Kullbackova nerovnost

Kullbackova nerovnost je v teorii informace a statistice spodní mez Kullbackovy–Leiblerovy divergence vyjádřená pomocí poměrové funkce teorie velkých odchylek. Pokud P a Q jsou rozdělení pravděpodobnosti na reálné ose taková, že P je absolutně spojitá funkce vzhledem ke Q (píšeme P<<Q) a jejich první momenty existují, pak

$D_{KL}(P\Vert Q)\ge {\mathrm{\Psi }}_Q^{*}(\mu {\text{'}}_1(P)),$

kde ${\mathrm{\Psi }}_Q^{*}$ je poměrová funkce, tj. konvexní transformace kumulantové vytvořující funkce rozdělení $Q$, a $\mu {\text{'}}_1(P)$ je první moment rozdělení $P.$

Důsledkem Kullbackovy nerovnosti je Cramérova–Raova mez.

Důkaz

Nechť P a Q jsou rozdělení pravděpodobnosti (míry) na reálné ose, jejichž první momenty existují, a P<<Q.

Uvažujme přirozenou rodinu exponenciálních rozdělení rozdělení Q danou vztahem

$Q_{\theta }(A)=\frac{\underset{A}{\int }{e}^{\theta x}Q(dx)}{\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}{e}^{\theta x}Q(dx)}=\frac{1}{M_Q(\theta )}\underset{A}{\int }{e}^{\theta x}Q(dx)$

pro každou měřitelnou množinu A, kde $M_Q$ je momentová vytvořující funkce rozdělení Q. Přitom Q₀=Q. Pak

$D_{KL}(P\Vert Q)=D_{KL}(P\Vert Q_{\theta })+\underset{\mathrm{s}\mathrm{u}\mathrm{p}\mathrm{p}P}{\int }(\log \frac{\mathrm{d}{Q}_{\theta }}{\mathrm{d}Q})\mathrm{d}P.$

Gibbsova nerovnost říká, že $D_{KL}(P\Vert Q_{\theta })\ge 0$, z čehož plyne

$D_{KL}(P\Vert Q)\ge \underset{\mathrm{s}\mathrm{u}\mathrm{p}\mathrm{p}P}{\int }(\log \frac{\mathrm{d}{Q}_{\theta }}{\mathrm{d}Q})\mathrm{d}P=\underset{\mathrm{s}\mathrm{u}\mathrm{p}\mathrm{p}P}{\int }(\log \frac{e^{\theta x}}{M_Q(\theta )})P(dx)$

Zjednodušením pravé strany dostáváme pro každé reálné θ, pro něž $M_Q(\theta )<\mathrm{\infty }:$

$D_{KL}(P\Vert Q)\ge \mu {\text{'}}_1(P)\theta -{\mathrm{\Psi }}_Q(\theta ),$

kde $\mu {\text{'}}_1(P)$ je první moment neboli střední hodnota rozdělení P, a ${\mathrm{\Psi }}_Q=\log M_Q$ se nazývá kumulantová vytvořující funkce. Použitím suprema uzavřeme proces konvexní transformace a dostaneme vzorec pro poměrovou funkci:

$D_{KL}(P\Vert Q)\ge \underset{\theta }{\sup }\{\mu {\text{'}}_1(P)\theta -{\mathrm{\Psi }}_Q(\theta )\}={\mathrm{\Psi }}_Q^{*}(\mu {\text{'}}_1(P)).$

Důsledek: Cramérova–Raova mez

Použití Kullbackovy nerovnosti

Nechť X_θ je rodina rozdělení pravděpodobnosti na reálné ose indexované reálným parametrem θ vyhovující určitým podmínkám regularity. Pak

$\underset{h\to 0}{\lim }\frac{D_{KL}(X_{\theta +h}\Vert X_{\theta })}{h^2}\ge \underset{h\to 0}{\lim }\frac{{\mathrm{\Psi }}_{\theta }^{*}({\mu }_{\theta +h})}{h^2},$

kde ${\mathrm{\Psi }}_{\theta }^{*}$ je konvexní transformace kumulantové vytvořující funkce rozdělení $X_{\theta }$ a ${\mu }_{\theta +h}$ je prvním momentem $X_{\theta +h}.$

Levá strana

Postupnými úpravami levé strany dostáváme:

$\begin{array}{cc}\underset{h\to 0}{\lim }\frac{D_{KL}(X_{\theta +h}\Vert X_{\theta })}{h^2}& =\underset{h\to 0}{\lim }\frac{1}{h^2}\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}\log \left(\frac{\mathrm{d}{X}_{\theta +h}}{\mathrm{d}{X}_{\theta }}\right)\mathrm{d}{X}_{\theta +h}\\ & =\underset{h\to 0}{\lim }\frac{1}{h^2}\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}\log (1-(1-\frac{\mathrm{d}{X}_{\theta +h}}{\mathrm{d}{X}_{\theta }}))\mathrm{d}{X}_{\theta +h}\text{... funkci }\log (1-t)\text{ vyjádříme Taylorovým rozvojem }\\ & =\underset{h\to 0}{\lim }\frac{1}{h^2}\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}[(1-\frac{\mathrm{d}{X}_{\theta }}{\mathrm{d}{X}_{\theta +h}})+\frac{1}{2}{(1-\frac{\mathrm{d}{X}_{\theta }}{\mathrm{d}{X}_{\theta +h}})}^2+o\left({(1-\frac{\mathrm{d}{X}_{\theta }}{\mathrm{d}{X}_{\theta +h}})}^2\right)]\mathrm{d}{X}_{\theta +h}\\ & =\underset{h\to 0}{\lim }\frac{1}{h^2}\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}\left[\frac{1}{2}{(1-\frac{\mathrm{d}{X}_{\theta }}{\mathrm{d}{X}_{\theta +h}})}^2\right]\mathrm{d}{X}_{\theta +h}\\ & =\underset{h\to 0}{\lim }\frac{1}{h^2}\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}\left[\frac{1}{2}{\left(\frac{\mathrm{d}{X}_{\theta +h}-\mathrm{d}{X}_{\theta }}{\mathrm{d}{X}_{\theta +h}}\right)}^2\right]\mathrm{d}{X}_{\theta +h}\\ & =\frac{1}{2}{ℐ}_X(\theta )\end{array}$

což je polovina Fisherovy informace parametru θ.

Pravá strana

Pravou stranu nerovnosti lze upravit takto:

$\underset{h\to 0}{\lim }\frac{{\mathrm{\Psi }}_{\theta }^{*}({\mu }_{\theta +h})}{h^2}=\underset{h\to 0}{\lim }\frac{1}{h^2}\underset{t}{\sup }\{{\mu }_{\theta +h}t-{\mathrm{\Psi }}_{\theta }(t)\}.$

Tohoto suprema je dosaženo pro t=τ, kde první derivace kumulantové vytvořující funkce je $\mathrm{\Psi }{\text{'}}_{\theta }(\tau )={\mu }_{\theta +h},$ přičemž $\mathrm{\Psi }{\text{'}}_{\theta }(0)={\mu }_{\theta },$, takže

${\mathrm{\Psi }}^{\prime }{\text{'}}_{\theta }(0)=\frac{d{\mu }_{\theta }}{d\theta }\underset{h\to 0}{\lim }\frac{h}{\tau }.$

Navíc

$\underset{h\to 0}{\lim }\frac{{\mathrm{\Psi }}_{\theta }^{*}({\mu }_{\theta +h})}{h^2}=\frac{1}{2{\mathrm{\Psi }}^{\prime }{\text{'}}_{\theta }(0)}{\left(\frac{d{\mu }_{\theta }}{d\theta }\right)}^2=\frac{1}{2\mathrm{V}\mathrm{a}\mathrm{r}(X_{\theta })}{\left(\frac{d{\mu }_{\theta }}{d\theta }\right)}^2.$

Dosazení do původní nerovnosti

Máme:

$\frac{1}{2}{ℐ}_X(\theta )\ge \frac{1}{2\mathrm{V}\mathrm{a}\mathrm{r}(X_{\theta })}{\left(\frac{d{\mu }_{\theta }}{d\theta }\right)}^2,$

což lze upravit na

$\mathrm{V}\mathrm{a}\mathrm{r}(X_{\theta })\ge \frac{(d{\mu }_{\theta }/d\theta {)}^2}{{ℐ}_X(\theta )}.$

Odkazy

Související články

• Kullbackova–Leiblerova divergence
• Cramérova–Raova mez
• Fisherova informace
• Teorie velkých odchylek
• Konvexní transformace
• Poměrová funkce
• Momentová vytvořující funkce