Entropie zdroje
Je to střední množství informace připadající na jeden signál zdroje informace.
Definuje se jako střední hodnota I(xi):
H(X) = − ∑ p(xi) log p(xi)
Definici H(X) lze rozšířit i na spojité signály, kde se pracuje s hustotou pravděpodobnosti.
