Axiomatičká definice entropie
Někteří autoři nezavádějí pojem j(A) pro jednotlivý jev A, ale chtějí pokusu
- P = {A_1, …, A_n}
přímo přiřadit entropii
- H(P) = H(p_1, …, p_n)
kde p_i = P(A_i).
Shannon definoval soustavu axiomů, my používáme Fadejevovu soustavu z roku 1956.
Fadejevovy axiómy
A0
H(p_1, …, p_n) je definována pro všechna p_i ≥ 0, ∑ p_i = 1 a nabývá reálných hodnot.
A1
H(p, 1−p) je spojitá funkce proměnné p ∈ ⟨0,1⟩.
A2
H(p_1, …, p_n) je symetrická funkce.
A3
Pokud p_n = g_1 + g_2 > 0, s g_1 ≥ 0, g_2 ≥ 0, potom platí princip větvení.
Axiómy A0 – A2 jsou přirozené. Axióma A3 – princip větvení – oceňuje přírůstek entropie při přechodu na jemnější rozklad.
