Min-entropie

Srovnání entropií na příkladu házení mincí s pravděpodobnostmi $(p,1-p)$.

Min-entropie (značená obvykle $H_{\mathrm{\infty }}$) je pojem z oboru teorie informace. Jedná se o nejkonzervativnější definici entropie z rodiny Rényiho entropie, tedy o nejkonzervativnější odhad neurčitosti možných výsledků. Různé Rényiho entropie jsou si rovny pro případ rovnoměrného rozdělení, ovšem liší se pro jiná rozdělení pravděpodobnosti. Přitom platí, že min-entropie není nikdy větší než Shannonova entropie a Shannonova entropie není nikdy větší než max-entropie.

Definice

Min-entropie při daných pravděpodobnostech $p_i$ je rovna $-{\log }_2\underset{1\le i\le n}{\max }{p}_i$.