Vlastnosti míry informace
Míra informace není aditivní.
Příklad:
- EEE – při hodu kostkou padla sudá hodnota,
- FFF – při hodu kostkou padla hodnota 3.
Pak platí:
- j(E∪F) < j(E)
- j(E∪F) < j(F)
Z analogie víme, že můžeme nahradit vlastnost aditivity vlastností pseudoaditivity.
Pseudoaditivita
Definuje se za stejných podmínek jako aditivita:
- j(E∪F) = j(E) + j(F)
Míra informace j není aditivní množinová funkce.
Základní vlastnosti míry informace
- je klesající funkcí,
- příslušná operace je komutativní,
- je asociativní,
- je distributivní,
- j(W) = 0 pro celý prostor,
- je spojitou funkcí,
- j(E∩F) = j(E) + j(F) pro nezávislé jevy.
Operace a jednotky
Pro operaci platí:
- k > 0,
- k = 1,
- parametr a rozhoduje, v jakých jednotkách budeme pracovat.
Pokud:
- a = 2 → jednotka bit (Shannon),
- a = e ≈ 2,7 → jednotka nat.
Čím větší jev, tím menší množství informace. Například:
- {2} < {2,4,6}
- j({2}) > j({2,4,6})
Vzorec pro míru informace
Z definice operace vyplývá:
j(E) = −k loga P(E)
Pro k = 1:
j(E) = −loga P(E)
Pokud porovnáme míru informace s klasickou mírou pravděpodobnosti, platí:
- P(E∪F) = P(E) + P(F)
