Entropie
Entropie je střední hodnota množství informace ze statistického hlediska.
Je to:
- míra informační výdatnosti pokusu,
- míra neurčitosti pokusu.
Hodnota j(A) představuje množství informace, které získáme, pokud víme, že nastane jev A. Tímto uvažováním přisuzujeme příjemci informace pasivní úlohu. Příjemce však může být i aktivní, pokud provede pokus, pomocí kterého zjišťuje, která z konečné množiny možností nastane.
Pokus v teorii informace
V teorii informace definujeme pokus P jako konečný měřitelný rozklad určitého jevu X:
- P = {A₁, …, Aₙ}
- Aᵢ ∈ 𝔼
- Aᵢ ∩ Aⱼ = ∅, pokud i ≠ j
Pokus je tím informačně výdatnější, čím větší průměrnou informaci poskytuje.
Musíme proto pokusu P přiřadit nezáporné číslo H(P), které vyjadřuje průměr hodnot j(A₁), …, j(Aₙ). Tuto hodnotu H(P) nazýváme entropie.
