Podmíněná entropie

Vennův diagram ukazující aditivní a subtraktivní vztahy různých informačních měr přiřazených ke korelovaným proměnným $X$ a $Y$. Plocha pokrytá některou z kružnic je sdružená entropie $\mathrm{H}(X,Y)$. Kružnice vlevo (červená a fialová) je entropie $\mathrm{H}(X)$, přičemž červená je podmíněná entropie $\mathrm{H}(X|Y)$. Kružnice vpravo (modrá a fialová) je $\mathrm{H}(Y)$, přičemž modrá je $\mathrm{H}(Y|X)$. Fialová je vzájemná informace $\mathrm{I}(X;Y)$.

Podmíněná entropie (Šablona:Vjazyce2) v teorii informace kvantifikuje množství informace potřebné pro popsání výsledku náhodného pokusu $Y$, pokud je známá hodnota jiné náhodné proměnné $X$. Měří se stejně jako informační entropie v bitech (kterým se v této souvislosti také říká „shannons“), někdy v „přirozených jednotkách“ (natech) nebo v desítkových číslicích (nazývaný „dits“, „bans“ nebo „hartleys“). Jednotka měření závisí na základu logaritmu použitého pro výpočet entropie.

Entropii $Y$ podmíněnou $X$ zapisujeme $\mathrm{H}(Y|X)$, kde $\mathrm{H}$ je velké řecké písmeno Éta.

Definice

Podmíněná entropie $Y$, je-li dáno $X$, je definována jako

kde $𝒳$ a $𝒴$ označuje nosič náhodných proměnných $X$ a $Y$.

Poznámka: při výpočtech se neurčité výrazy $0\log 0$ a $0\log c/0$ pro pevné $c>0$ považují za rovné nule, protože $\underset{\theta \to 0^{+}}{\lim }\theta \log c/\theta =0$ a $\underset{\theta \to 0^{+}}{\lim }\theta \log \theta =0$.

Intuitivní vysvětlení definice: Podle definice platí, že $H(Y|X)=𝔼(f(X,Y))$ kde $f:(x,y)\to -\log (p(y|x)).$ $f$ přiřazuje dvojici $(x,y)$ informační obsah $(Y=y)$, je-li dáno $(X=x)$, což je množství informace potřebné pro popsání události $(Y=y)$, je-li dáno $(X=x)$. Podle zákona velkýich čísel, $H(Y|X)$ je aritmetický průměr velkého počtu nezávislých realizací $f(X,Y)$.

Motivace

Nechť $\mathrm{H}(Y|X=x)$ je entropie diskrétní náhodné proměnné $Y$ podmíněná tím, že diskrétní náhodná proměnná $X$ nabývá hodnotu $x$. Označme nosiče funkcí $X$ a $Y$ $𝒳$ a $𝒴$. Nechť $Y$ má pravděpodobnostní funkci $p_Y(y)$. Nepodmíněná entropie $Y$ se spočítá jako $\mathrm{H}(Y):=𝔼[\mathrm{I}(Y)]$, tj.

$\mathrm{H}(Y)=\sum _{y\in 𝒴}\mathrm{P}\mathrm{r}(Y=y)\mathrm{I}(y)=-\sum _{y\in 𝒴}{p}_Y(y){\log }_2{p}_Y(y),$

kde $\mathrm{I}(y_i)$ je informační obsah toho, že výsledek $Y$ má hodnotu $y_i$. Entropie $Y$ podmíněná tím, že $X$ nabývá hodnotu $x$, je definována podobně podmíněné očekávání:

$\mathrm{H}(Y|X=x)=-\sum _{y\in 𝒴}\mathrm{Pr}(Y=y|X=x){\log }_2\mathrm{Pr}(Y=y|X=x).$

Pamatujte, že $\mathrm{H}(Y|X)$ je výsledek průměrování $\mathrm{H}(Y|X=x)$ přes všechny možné hodnoty $x$, kterých může nabývat $X$. Také pokud se výše uvedený součet bere přes vzorek $y_1,\dots ,y_n$, očekávaná hodnota $E_X[\mathrm{H}(y_1,\dots ,y_n\mid X=x)]$ je známa v nějakém oboru jako ekvivokace (Šablona:Vjazyce2).

Jsou-li dány diskrétní náhodné proměnné $X$ s obrazem $𝒳$ a $Y$ s obrazem $𝒴$, podmíněná entropie $Y$, je-li dáno $X$ se definuje jako vážený součet $\mathrm{H}(Y|X=x)$ pro každou možnou hodnotu $x$, s použitím $p(x)$ jako váhy:Šablona:Rp

$\begin{array}{cc}\mathrm{H}(Y|X)& \equiv \sum _{x\in 𝒳}p(x)\mathrm{H}(Y|X=x)\\ & =-\sum _{x\in 𝒳}p(x)\sum _{y\in 𝒴}p(y|x)\log p(y|x)\\ & =-\sum _{x\in 𝒳}\sum _{y\in 𝒴}p(x,y)\log p(y|x)\\ & =-\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log p(y|x)\\ & =-\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log \frac{p(x,y)}{p(x)}.\\ & =\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log \frac{p(x)}{p(x,y)}.\\ \end{array}$

Vlastnosti

Nulová podmíněná entropie

$\mathrm{H}(Y|X)=0$ právě tehdy, když hodnota $Y$ je úplně určena hodnotou $X$.

Podmíněná entropie of nezávislý náhodné proměnné

Naopak $\mathrm{H}(Y|X)=\mathrm{H}(Y)$ právě tehdy, když $Y$ a $X$ jsou nezávislé náhodné proměnné.

Řetízkové pravidlo

Předpokládejme, že kombinovaný systém určený dvěma náhodnými proměnnými $X$ a $Y$ má sdruženou entropii $\mathrm{H}(X,Y)$, tj. potřebujeme průměrně $\mathrm{H}(X,Y)$ bitů informace pro popsání jeho přesného stavu. Pokud nejdříve zjistíme hodnotu $X$, získali jsme $\mathrm{H}(X)$ bitů informace. Pokud je $X$ známé, potřebujeme pouze $\mathrm{H}(X,Y)-\mathrm{H}(X)$ bitů pro popsání stavu celého systému. Tato hodnota se přesně rovná $\mathrm{H}(Y|X)$, kterou dává řetízkové pravidlo podmíněné entropie:

$\mathrm{H}(Y|X)=\mathrm{H}(X,Y)-\mathrm{H}(X).$Šablona:Rp

řetízkové pravidlo vyplývá z výše uvedené definice podmíněné entropie:

$\begin{array}{cc}\mathrm{H}(Y|X)& =\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log \left(\frac{p(x)}{p(x,y)}\right)\\ & =\sum _{x\in 𝒳,y\in 𝒴}p(x,y)(\log (p(x))-\log (p(x,y)))\\ & =-\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log (p(x,y))+\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log (p(x))\\ & =\mathrm{H}(X,Y)+\sum _{x\in 𝒳}p(x)\log (p(x))\\ & =\mathrm{H}(X,Y)-\mathrm{H}(X).\end{array}$

Řetízkové pravidlo platí obecně pro více náhodné proměnné:

$\mathrm{H}(X_1,X_2,\dots ,X_n)=\sum _{i=1}^n\mathrm{H}(X_i|X_1,\dots ,X_{i-1})$Šablona:Rp

Tento vztah se podobá řetízkovému pravidlu z teorie pravděpodobnosti, ale místo násobení využívá sčítání.

Bayesovo pravidlo

Bayesovo pravidlo pro podmíněnou entropii říká

$\mathrm{H}(Y|X)=\mathrm{H}(X|Y)-\mathrm{H}(X)+\mathrm{H}(Y).$

Důkaz: $\mathrm{H}(Y|X)=\mathrm{H}(X,Y)-\mathrm{H}(X)$ a $\mathrm{H}(X|Y)=\mathrm{H}(Y,X)-\mathrm{H}(Y)$. Symetrie má za následek $\mathrm{H}(X,Y)=\mathrm{H}(Y,X)$. Odečtením obou rovnic dostaneme Bayesovo pravidlo.

Pokud $Y$ je podmíněně nezávislé na $Z$, je-li dáno $X$ máme:

$\mathrm{H}(Y|X,Z)=\mathrm{H}(Y|X).$

Další vlastnosti

Pro jakékoli $X$ a $Y$:

$$\begin{array}{cc}\mathrm{H}(Y|X)& \le \mathrm{H}(Y)\\ \mathrm{H}(X,Y)& =\mathrm{H}(X|Y)+\mathrm{H}(Y|X)+\mathrm{I}(X;Y),\\ \mathrm{H}(X,Y)& =\mathrm{H}(X)+\mathrm{H}(Y)-\mathrm{I}(X;Y),\\ \mathrm{I}(X;Y)& \le \mathrm{H}(X),\end{array}$$

kde $\mathrm{I}(X;Y)$ je vzájemná informace mezi $X$ a $Y$.

Pro nezávislé $X$ a $Y$:

$\mathrm{H}(Y|X)=\mathrm{H}(Y)$ a $\mathrm{H}(X|Y)=\mathrm{H}(X)$

Přestože určitá podmíněná entropie $\mathrm{H}(X|Y=y)$ může být menší i větší než $\mathrm{H}(X)$ pro dané náhodné variace $y$ $Y$, $\mathrm{H}(X|Y)$ nemůže nikdy přesáhnout $\mathrm{H}(X)$.

Podmíněná diferenciální entropie

Definice

Výše uvedená definice platí pro diskrétní náhodné proměnné. Spojitá verze diskrétní podmíněné entropie se nazývá podmíněná diferenciální (nebo spojitá) entropie. Nechť $X$ a $Y$ jsou spojité náhodné proměnné se sdruženou hustotou pravděpodobnosti $f(x,y)$. Diferenciální podmíněná entropie $h(X|Y)$ se definuje taktoŠablona:Rp

Vlastnosti

Oproti podmíněné entropii pro diskrétní náhodné proměnné může být podmíněná diferenciální entropie záporná.

Stejně jako v diskrétním případě platí řetízkové pravidlo pro diferenciální entropii:

$h(Y|X)=h(X,Y)-h(X)$Šablona:Rp

Toto pravidlo však neplatí, pokud se příslušné diferenciální entropie neexistují nebo jsou nekonečné.

Sdružené diferenciální entropie se také používají v definici vzájemné informace mezi spojitými náhodnými proměnnými:

$\mathrm{I}(X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)$

$h(X|Y)\le h(X)$, přičemž rovnost nastává právě tehdy, když $X$ a $Y$ jsou nezávislé.Šablona:Rp

Vztah k chybě odhad

Podmíněné diferenciální entropie dává spodní mez očekávané druhé mocniny chyby odhadu. Pro jakoukoli náhodnou proměnnou $X$, pozorování $Y$ a odhad $\hat{X}$ platí:Šablona:Rp

$$𝔼\left[\right(X-\hat{X}(Y){)}^2]\ge \frac{1}{2\pi e}{e}^{2h(X|Y)}$$

Což se podobá principu neurčitosti z kvantové mechaniky.

Zobecnění na kvantovou teorii

V kvantové teorii informace se podmíněná entropie zobecňuje na podmíněnou kvantovou entropii, která na rozdíl od svého klasického protějšku může nabývat záporných hodnot.

Odkazy

Související články

• Informační entropie
• Vzájemná informace
• Podmíněná kvantová entropie
• Věrohodnostní funkce