Název článku:
Entropie jako střední hodnota náhodné veličiny
Obsah článku:
Pokud máme pravděpodobnostní prostor (X, e, j) a informaci:
- j(A) = −log P(A)
můžeme uvažovat o entropii pokusu
- P = {A₁, …, Aₙ}
s pravděpodobnostmi P(A₁), …, P(Aₙ).
Shannonova formule
H(P) = ∑ j(Aᵢ) ⋅ P(Aᵢ) = − ∑ P(Aᵢ) log P(Aᵢ)
