Podmíněná a vzájemná informace
Pokud I(x_i) je množství informace, které potřebujeme získat, abychom určili výskyt konkrétního x_i ze souboru X, a přijmeme y_i, potom podmíněnou pravděpodobnost P(x_i|y_i) nazýváme podmíněnou informací.
- I(x_i|y_i) = – log P(x_i|y_i)
Ta udává množství informace, které budeme potřebovat, abychom určili x_i ze souboru X, pokud jsme přijali y_i.
Množství informace získané přijetím y_i je:
- I(x_i) – I(x_i|y_i)
Toto nazýváme vzájemná informace.
