Informace a její přenos

Informace a její přenos

Míra informace

Vhodné struktury:

• Nositel informace – výpovědi v telekomunikačních přenosech, signály atd.
• Výrok nesoucí informaci můžeme zkoumat z různých hledisek: schematické – významové, kvantitativní – objemové, pravdivostní …
• Z kvantitativního hlediska můžeme hovořit o množství informace
• Hlavně z pohledu kapacitních přenosových možností sítí zajímá kvantitativní hledisko
• Protože výrok hovoří o určitém jevu, existuje zde korespondence mezi výroky a jevy
• Stačí nám kvalifikovat jevy z hlediska množství informace, tj. výroků nebo jevů

Vznikají otázky:

• Jak měřit informaci, výrok, jev?
• Můžeme měřit všechny jevy?
• Co je to obecně míra?

Ze zkušenosti víme, že všechny systémy objektů měřitelných v určitěm smyslu tvoří různou strukturu. Struktura je množina prvků, při kterých platí určité vlastnosti.
Definice míry informace:

1. – okruh
2. – okruh
3. 3.

X={{1}, {2}, …, {6}} elementární jevy při hodu kostkou
Věta: je vždy algebra
Věta:
Důkaz:
Věta: Neprázdný systém podmnožin množiny X je algebra
Důkaz:
Věta₁: Pokud je okruh g-okruh nebo – okruh
Věta₂: Každý – okruh je okruh
Každý okruh je g – okruh
Věta₃: Pokud je okruh
Věta₄: Pokud
Definice:_{V5, V6} Okruh e podmnožin množiny X (s – okruh) nazýváme algebra (s – algebra), jestliže X EURe
Definice: Nechť e je systém podmnožin množiny X. Funkce definovaná na e, která nabývá hodnot v R (včetně )
Nazýváme množinovou funkcí.
Definice: Říkáme, že množinová funkce j definovaná na systému e je konečná pokud „E EURe j(E) EURR
Definice: Množinovou funkcí j definovanou na systému e, kde Æ EURe nazýváme aditivní, pokud j(Æ)=0 a „E, F EURe kde EÇF=Æ, EÈF EURe platí j(EÈF) = j(E) + j(F).
Definice: Nechť U je systém podmnožin množiny X, kde Æ EURU. Množinovou funkci j definujeme na U a nazýváme ji s – aditivní, pokud j(Æ)=0 a takovou funkci, že
Definice: Nezápornou s-aditivní funkci definovanou na okruhu R pro E, F EURR nazýváme mírou.
Věta₆: Neprázdný systém e podmnožin množiny X je s-algebra {E_n} EURe È E_n EURe
„E EURe E‘ EURe
(důkaz stejný jako k Větě₅)

Míra informace

Je zřejmé, že není aditivní.
E – při hodu kostkou padla sudá hodnota
F – při hodu kostkou padla hodnota 3
j(EÈF) < j(E), j(EÈF) < j(F)
Z analogie víme, že můžeme pokusit nahradit vlastnost aditivity.
Definujeme si pseudoaditivitu za stejných podmínek jako aditivitu:
j(EÈF) = j(E) + j(F)
Míra informace j (množství informace( ^x ) není aditivní množinová funkce.
Její vlastnosti:

• klesající funkce
• operace je komutativní i asociativní i distributivní
• j(W) = 0 (celý prostor = 0)
• j(A) + j(B) = 0
• spojitá funkce
• j(EÇF) = j(E) + j(F) pro nezávislé jevy

Operace °

k > 0, k = 1 a – rozhoduje v jakých jednotkách budeme pracovat
pokud a = 2 [bit] v Shannonově teorii
a = e = 2,7 [nat]
Čím větší je jev, tím menší množství informace {2} < {2, 4, 6}
j{2} > j{2, 4, 6}
Definice míry informace vyplývá z definice operace °.
!!! j(E) = – k.log_aP(E), k = 1 ⇒ j(E) = – log_aP(E) – elementární !!!
V závislosti na volbě a rozlišujeme jednotky klasicky (?)
Pokud porovnáme míru informace s klasickou mírou:
P(EÈF) = P(E) + P(F)

Entropie (neurčitost)

– je střední hodnota množství informace (ze statistického hlediska)

Entropie – míra informační výdatnosti pokusu, neurčitost pokusu
Hodnota j(A) představuje množství informace, které získáme, pokud víme, že nastane jev A. Touto úvahou přisuzujeme příjemci informace pasivní roli. Příjemce může být aktivní, pokud hodlá provést pokus, pomocí kterého zjistí, která z jisté konečné množiny možností nastane. Množinu možností jevů – výsledků pokusu obvykle můžeme zvolit vhodným výběrem otázky, pokusu, … V teorii informace definujeme pokus P jako konečný měřitelný rozklad určitého jevu X ⇒ P = {A₁, …, A_n} přes A_i ∈ e, přičemž A_i ∩ A_j = Ø pro i ≠ j.
Pokus je tím nevýhodnější, čím více poskytuje informace, ale jaké je kritérium vhodnosti daného pokusu? Hodnoty j(A_i) to nemohou být, protože mohou být různé a tedy při jednom výsledku pokusu P dostaneme více informace, při jiném méně. Musíme přiřadit pokusu P nezáporné číslo H(P) vyjadřující průměr čísel j(A₁)…j(A_n). Čím je hodnota H(P) vyšší, tím je pokus P informačně výhodnější. Hodnotu H(P) nazýváme entropií.

Entropie jako střední hodnota náhodné veličiny

Máme-li pravděpodobnostní prostor (X, e, j) a informaci j(A) = – log P(A), můžeme uvažovat entropii H(P) pokusu P = {A₁, …, A_n} s pravděpodobností P(A₁)…P(A_n), pak Shannonova formula je
H(P) = ∑ j(A_i)·P(A_i) = – ∑ P(A_i)·log P(A_i)

Axiomatická definice entropie v pravděpodobnostním prostoru

Mnozí, kteří nezavádějí pojem j(A) v jevu A, chtějí také pokusu P = {A₁, …, A_n} přiřadit H(P). Víme, že H(P) je funkcí pravděpodobností p₁ = P(A₁), …, p_n = P(A_n), tedy H(P) = H(p₁, …, p_n). Funkce H(P) by měla mít určité vlastnosti vyplývající z jejího významu. Z nich můžeme sestavit soustavu axiomů, ze kterých lze určit funkci H. Shannon definoval funkci (soustavu) axiomů, my použijeme Fadejevovu z roku 1956:
A₀: H(p₁, …, p_n) je definovaná pro „n p_i ≥ 0″, i ∈ {1, …, n}, ∑ p_i = 1 a nabývá reálných hodnot.
A₁: H(p₁, 1 – p) je spojitá funkce proměnné p ∈ ⟨0, 1⟩.
A₂: H(p₁, …, p_n) je symetrická funkce, tj. pro permutace S₁,…,Sₙ čísel 1,…,n platí
H(p_S1, …, p_Sn) = H(p₁, …, p_n)
A₃: Pokud p_n = g₁ + g₂ > 0, g₁ ≥ 0, g₂ ≥ 0, pak platí
H(p₁, …, p_n-1, g₁, g₂) = H(p₁, …, p_n) + p_n·H(g₁/p_n, g₂/p_n).
Axiomy A₀ – A₂ jsou přirozené. Axiom A₃, tzv. princip větvení, hodnotí přírůstek entropie, když od rozkladu P = {A₁…A_n} s pravděpodobnostmi p₁…p_n přejdeme k rozkladu P’ = {A₁…A_n-1; B₁, B₂}, kde přírůstek by měl být tím menší, čím menší je p_n. Je zřejmé, že pokud nastane jev A_n (pravděpodobnost p_n), tak stále máme dostatečnou neurčitost při pokusu P’ zda nastane B₁ s podmíněnou pravděpodobností q₁ / p_n nebo B₂ s q₂ / p_n. Tuto neurčitost vyjadřuje entropie.

Shannonova entropie

Ukážeme, že funkce H je jediná funkce Shannonova typu H(P) = – ∑ P(A_i)·log P(A_i)
Lema 1: H(1, 0) = 0
Lema 2: H(p₁,…,p_n, 0) = H(p₁,…,p_n) Definice: (pro diskrétní signály) H(P) = – ∑ P(A_i)·log₂ P(A_i)
Lema 3: Nechť p_n = q₁ + … + q_m > 0 ⇒ H(p₁,…,p_n-1; q₁,…,q_m) = H(p₁,…,p_n) + p_n·H(q₁/p_n,…,q_m/p_n)
Lema 4: Nechť pro i = 1…n platí p_i = ∑ q_i,j > 0, potom
H({q_i,j}) = H(p₁,…,p_n) + ∑ p_i H(q_i,·)
Lema 5: Pro n → ∞ platí A_n = F(n) – F(n – 1) → 0
Lema 6: F(n) = c·log n, kde c je konstanta
Věta: Nechť „i = 1…n; p_i > 0, q_i > 0, ∑ p_i = 1, ∑ q_i = 1 ⇒ -∑ p_i log p_i = -∑ p_i log q_i
Důsledek: Pro dané n funkce H(p₁,…,p_n) nabývá maxima log n pro p₁ =…= p_n = „1/n“.
max H(P) =

3. a) p(X₀) = 2/3 H(P) = -(2/3·log 2/3 + 1/3