Název článku:
Shannonova entropie
Obsah článku:
Ukazuje se, že funkce H je jediná funkce Shannonova typu:
H(P) = −∑ P(A_i) log P(A_i)
V textu jsou uvedeny lemmata vedoucí k tomuto závěru, například:
- H(1,0) = 0,
- H(p_1,…,p_n,0) = H(p_1,…,p_n),
- pro dané n nabývá funkce H maximum při stejných pravděpodobnostech.
Maximum entropie
Pro dané n nabývá entropie maximum:
max H(P) = log n
pokud platí:
- p_1 = p_2 = … = p_n = frac{1}{n}
Příklady
a)
Pokud:
- p(X_0) = frac{2}{3}
- p(X_1) = frac{1}{3}
pak:
- H(P) = − left(frac{2}{3} log frac{2}{3} + frac{1}{3} log frac{1}{3}right)
b)
Pokud:
- p(X_0) = frac{1}{2}
- p(X_1) = frac{1}{2}
pak:
- H(P) = log_2 2 = 1 bit
