Zobrazení zdroje stránky Informační entropie

[[Soubor:Entropy flip 2 coins.jpg|náhled|300px|Dva bity entropie: Při dvou hodech poctivou mincí je informační entropie vyjádřená v bitech logaritmus o základu 2 počtu možných výsledků; při hodu dvěma mincemi existují čtyři možné výsledky, což odpovídá dvěma bitům entropie. Informační entropie je obecně průměrné množství informace obsažené v události, pokud uvažujeme všechny možné výsledky.]]

'''Informační''' nebo též '''shannonovská entropie''' je [[střední hodnota]] množství [[informace]] připadající na jeden symbol generovaný [[Stochastika|stochastickým]] zdrojem dat.

Míra informační entropie přiřazená ke každé možné datové hodnotě je záporným [[logaritmus|logaritmem]] [[pravděpodobnostní funkce]] dané hodnoty:

:<math display> S = - \sum_i P_i\log{P_i} = -\operatorname{E}_P[\log P], </math>

kde <math>\operatorname{E}_P[X] = \sum_i P_i X_i</math> je střední hodnota definovaná pravděpodobností <math>P</math>.<ref name="pathriaBook">{{Citace monografie
 | příjmení = Pathria
 | jméno = R. K.
 | příjmení2 = Beale
 | jméno2 = Paul
 | datum = 2011
 | titul = Statistical Mechanics
 | vydání = 3
 | url = https://books.google.com/?id=KdbJJAXQ-RsC&printsec=frontcover#v=onepage&q&f=false
 | vydavatel = Academic Press
 | strany = 51
 | isbn = 978-0123821881
}}</ref>

Když datový zdroj vyprodukuje hodnotu (symbol), která má nízkou pravděpodobnost (tj. nastane událost s nízkou pravděpodobností), nese tato událost více „informace“ (způsobí větší „překvapení“), než vyprodukování hodnoty, která má pravděpodobnost vysokou. Pokud množství informace, které nese každá událost, považujeme za [[Náhodná veličina|náhodnou veličinu]], informační entropie je střední hodnota této náhodné události.

''Entropie'' obecně vyjadřuje neuspořádanost nebo nejistotu, a definice entropie používaná v teorii informace je přímou analogií [[entropie]] používané ve [[statistická termodynamika|statistické termodynamice]]. Koncept informační entropie představil [[Claude Shannon]] v roce 1948 ve svém článku „[[A Mathematical Theory of Communication]]".<ref name="shannonPaper">{{Citace periodika
 | příjmení = Shannon
 | jméno = Claude E.
 | odkaz na autora = Claude Shannon
 | titul = A Mathematical Theory of Communication
 | periodikum = Bell System Technical Journal
 | ročník = 27
 | číslo = 3
 | strany = 379–423
 | datum = červenec–říjen 1948
 | doi = 10.1002/j.1538-7305.1948.tb01338.x
 | title-spoj = A Mathematical Theory of Communication
 | hdl = 11858/00-001M-0000-002C-4314-2
 | url = http://dml.cz/bitstream/handle/10338.dmlcz/101429/CzechMathJ_26-1976-4_6.pdf
}} ([https://web.archive.org/web/20120615000000*/https://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf PDF], archivováno z [http://www.alcatel-lucent.com/bstj/vol27-1948/articles/bstj27-3-379.pdf původního zdroje])</ref>

Základní model systému [[datová komunikace|datové komunikace]] obsahuje tři prvky: zdroj dat, [[komunikační kanál]] a přijímač a – jak vyjádřil Shannon – „základním problémem komunikace“ je, aby přijímač byl schopen ze signálu, který přijímá z přenosového kanálu, identifikovat, jaká data byla vygenerovaná zdrojem.<ref>{{Citace periodika
 | url = http://math.harvard.edu/~ctm/home/text/others/shannon/entropy/entropy.pdf
 | titul = A Mathematical Theory of Communication
 | jméno = Claude E.
 | příjmení = Shannon
 | periodikum = Bell System Technical Journal
 | ročník = 27
 | číslo = 3
 | strany = 379–423
 | rok = 1948
 | doi = 10.1002/j.1538-7305.1948.tb01338.x
 | hdl = 10338.dmlcz/101429
}}, červenec a říjen</ref>{{Rp|379–423 a 623–656}} Entropie vyjadřuje absolutní dolní mez průměrné délky [[Bezeztrátová komprese|bezztrátového]] kódování dat vytvářených zdrojem. Pokud je entropie zdroje menší než [[kapacita kanálu|kapacita komunikační kanálu]], je možné data generovaná zdrojem spolehlivě přenést k přijímači (alespoň teoreticky, případně se zanedbáním určitých praktických kritérií jako například času potřebného pro přenos dat a složitosti systému k tomuto účelu).

Informační entropie se nejčastěji měří v [[bit]]ech (kterým se v této souvislosti také říká „[[shannon (jednotka)|shannons]]“), někdy v „přirozených jednotkách“ ([[nat (jednotka)|natech]]) nebo v desítkových číslicích (nazývaný „dits“, „bans“ nebo „[[Hartley (jednotka)|hartleys]]“). Jednotka měření závisí na základu logaritmu použitého pro výpočet entropie.

Logaritmus rozdělení pravděpodobnosti je vhodný jako míra entropie, protože pro nezávislé zdroje je aditivní. Například entropie vrhu poctivou mincí je 1 bit a entropie {{Math|''m''}} vrhů je {{Math|''m''}} bitů. V přímočaré reprezentaci je potřeba {{Math|log<sub>2</sub>(''n'')}} bitů pro reprezentaci proměnné, která může nabývat jedné z {{Math|''n''}} hodnot, jestliže {{Math|''n''}} je mocninou dvojky, tj. {{Math|''n'' {{=}} 2<sup>''k''</sup>}}. Pokud jsou všechny hodnoty stejně pravděpodobné, entropie (v bitech) bude {{Math|log<sub>2</sub>(''n''){{=}} ''k''}}. Pokud se jedna z hodnot bude objevovat častěji než ostatní, pozorování této hodnoty je méně informativní, než kdyby došlo k méně obvyklému výsledku. Naopak pozorování vzácnější události poskytuje více informace. Protože pozorování méně pravděpodobných událostí se objevují méně často, způsobují, že entropie (braná jako průměrná informace) pocházející z nerovnoměrně distribuovaných dat je vždy menší nebo rovna {{Math|log<sub>2</sub>(''n'')}}. Entropie je nulová, pokud je jisté, že nastane jedna určitá událost. Entropie je veličina, která kvantifikuje tato kritéria pro známé rozdělení pravděpodobnosti zdrojových dat. Entropie nezávisí na ''obsahu'' pozorovaných událostí (významu ''zprávy''), ale bere v úvahu pouze pravděpodobnosti jejich výskytu. To znamená, že entropie závisí pouze na podkladovém rozdělení pravděpodobnosti, nikoli na významu událostí samých.

== Úvod ==
Základní myšlenkou teorie informace je, že „informační hodnota“ předávané zprávy závisí na míře, jak je obsah zprávy překvapivý. Není žádným překvapením, když dojde k události, která je velmi pravděpodobná. Naopak, v případě málo pravděpodobných událostí, je jejich výskyt mnohem informativnější. Například znalost, že určité číslo ''nevyhraje'' v loterii, nese velmi malou informaci, protože jakékoli určité číslo téměř určitě nevyhraje. Ale znalost, že určité číslo v loterii ''vyhraje'', má vysokou informační hodnotu, protože informuje o události s velmi nízkou pravděpodobností. [[Vlastní informace|Informační obsah]] (také nazývaný {{Cizojazyčně|en|''surprisal''}} – překvapení) události <math>E</math> je rostoucí funkcí převrácené hodnoty pravděpodobnosti <math>p(E)</math> události, přesněji <math>I(E) = -\log_2(p(E)) = \log_2(1/p(E))</math>. Entropie měří očekávané (tj. průměrné) množství informace obsažené v informaci o výsledku náhodného pokusu. Z toho vyplývá, že vrh kostkou má vyšší entropii než házení mincí, protože každý z výsledků vrhu kostkou má menší pravděpodobnost (<math>p=\frac{1}{6}</math>) než každý z výsledků vrhu mincí (<math>p=\frac{1}{2}</math>).

Entropie je míra ''nepředvídatelnosti'' výsledku, jeho ''průměrného informačního obsahu''. Chceme-li získat intuitivní porozumění těmto termínům, můžeme si představit průzkum veřejného mínění. Takové průzkumy se provádějí, aby se zjistila informace, která není známá. To znamená, že výsledek průzkumu je těžko ''předpověditelný'' a provedení průzkumu přináší nějakou ''novou informaci''; to je jen jiný způsob jak říct, že ''apriorní'' entropie výsledků průzkumu je velká. Pokud by se stejný průzkum prováděl znovu, krátce po prvním průzkumu, když je výsledek prvního průzkum už známý, bylo by možné výsledek druhého průzkum dobře předvídat, a jeho výsledky sotva obsahují mnoho nové informace; to znamená, že ''apriorní'' entropie výsledku druhého průzkumu je relativně malá v porovnání s prvním průzkumem.

Uvažujme vrh mincí. Pokud pravděpodobnost padnutí panny je stejná jako pravděpodobnost padnutí orla, pak entropie vrhu mincí je stejně vysoká jako u libovolného pokusu se dvěma stejně pravděpodobnými výsledky. Výsledek vrhu mincí nelze předpovědět: pokud si máme vybrat, neexistuje žádná průměrná výhoda předvídat určitý výsledek, protože každá předpověď bude správná s pravděpodobností <math>1/2</math>. Takový vrh mincí má jeden bit entropie, protože existují dva možné výsledky se stejnou pravděpodobností, a víme, že výsledek má jeden bit informace. Naproti tomu, vrh mincí, které by měla dvě panny a žádného orla má nulovou entropii, protože při vrhu takovou mincí vždy padne panna a výsledek lze dokonale předpovědět. Libovolná událost se stejně pravděpodobnými výsledky má Shannonovu entropii <math>\log_2 2=1</math> bit. Podobně každý pokus se [[Trojková soustava|třemi]] stejně pravděpodobnými hodnotami obsahuje <math>\log_2 3</math> (asi 1,58496) bitů informace, protože může nabývat jednu ze tří hodnot.

Pokud budeme anglický text považovat za řetězec znaků, má docela nízkou entropii; to znamená, že je docela dobře předvídatelný. I v případě, že nevíme přesně, jaký znak bude následovat, můžeme si být jisti, že například 'e' bude mnohem obvyklejší než 'z', nebo že kombinace 'qu' bude mnohem obvyklejší než 'q' následované jiným písmenem, a že i kombinace 'th' bude obvyklejší než 'z', 'q' nebo 'qu'. Zbytek slova můžeme často odhadnout z několika prvních písmen. Anglický text má entropii 0,6 až 1,3 bitů na znak zprávy.<ref name="Schneier, B stránka 234">{{Citace monografie
 | příjmení = Schneier
 | jméno = B
 | titul = Applied Cryptography
 | rok = 1996
 | url = https://archive.org/details/Applied_Cryptography_2nd_ed._B._Schneier
 | vydání = 2
 | vydavatel = John Wiley and Sons
}}</ref>{{Rp|234}}

Pokud je [[Komprimace dat|komprimační]] schéma bezztrátové – takové, že původní zprávu lze vždy dekomprimovat – pak komprimovaná zpráva obsahuje stejné množství informace jako původní, ale je zakódována méně znaky. Obsahuje tedy více informace na znak (má vyšší entropii). Komprimovaná zpráva má menší [[redundance (teorie informace)|redundanci]]. [[Shannonova věta o zdrojovém kódování]] říká, že bezztrátové komprimační schéma nemůže v průměru komprimovat zprávy, aby měly ''více'' než jeden bit informace na bit zprávy, ale, že jakoukoli hodnotu ''menší'' než jeden bit informace na bit zprávy lze dosáhnout použitím vhodného kódovacího schématu. Entropie zprávy na bit znásobená délkou zprávy je mírou, kolik informace zpráva celkem obsahuje.

Uvažujme, že bychom měli vysílat posloupnosti obsahující 4 znaky 'A', 'B', 'C' a 'D' – například zprávu 'ABADDCAB'. Teorie informace říká, jak spočítat nejmenší možné množství informace, kterou je třeba přenést. Jsou-li všechna 4 písmena stejně pravděpodobná (25 %), není možné najít lepší kódovací schéma (pro binární kanál), než zakódování každého písmene dvěma bity: 'A' například jako '00', 'B' jako '01', 'C' jako '10' a 'D' jako '11'. Pokud se však 'A' objevuje s 70% pravděpodobností, 'B' s 26%, a 'C' i 'D' s 2% pravděpodobností, bylo by možné přiřadit jednotlivým znakům kódy s různou délkou, takže přijetí '1' by znamenalo, že je třeba se podívat na jiný bit pokud žádná posloupnost 2 bitů jedniček už byla přijata. V tomto případě může být 'A' kódované jako '0' (jeden bit), 'B' jako '10' a 'C' a 'D' jako '110' a '111'. Je snadno vidět, že v 70 % případů stačí jeden bit informace, v 26 % případů dvou bitů a pouze ve 4 % případů 3 bitů. Průměrně stačí méně než 2 bity, protože entropie je nižší (kvůli vysoký prevalenci symbolů 'A' následovaných 'B' – současně 96 % znaků). Tento vliv zachycuje výpočet sumy pravděpodobnosti vážené logaritmem míry pravděpodobnosti.

Ze Shannonovy věty také vyplývá, že žádné bezztrátové komprimační schéma nemůže zkrátit ''úplně všechny'' zprávy. Pokud některé zprávy vyjdou kratší, alespoň jedna musí vyjít delší kvůli [[Dirichletův princip|Dirichletově principu]]. Při praktickém použití to obecně není problém, protože typicky přenášíme pouze určitý typ zpráv, například dokumenty v angličtině nikoli náhodné řetězce znaků, nebo digitální fotografie a nikoli šum, a proto není důležité, že komprimační algoritmus nějaké nepravděpodobné nebo nezajímavé posloupnosti prodlužuje.

== Definice ==
[[Soubor:Binary entropy plot.png|náhled|Graf binární entropie (v intervalu <0;1>)]]
Shannon definoval entropii {{Math|Η}} [[diskrétní náhodná proměnná|diskrétní náhodné proměnné]] <math displej="inline">X</math> s možnými hodnotami <math displej="inline">\left\{x_1, \ldots, x_n \right\}</math> a [[Pravděpodobnostní funkce|pravděpodobnostní funkcí]] <math displej="inline">\mathrm{P}(X)</math> takto:

:<math>\Eta(X) = \operatorname{E}[\operatorname{I}(X)]
= \operatorname{E}[-\log(\mathrm{P}(X))].</math>

Pro entropii používá znak {{Math|Η}} (velké řecké písmeno [[éta]]), podle [[H-věta|Boltzmannovy Η-věty]]. <math>\operatorname{E}</math> je [[střední hodnota|operátor střední hodnoty]] a {{Math|I}} je [[vlastní informace|informační obsah]] {{Math|''X''}}.<ref>{{Citace monografie
 | příjmení = Borda
 | jméno = Monica
 | titul = Fundamentals in Information Theory and Coding
 | vydavatel = Springer
 | rok = 2011
 | isbn = 978-3-642-20346-6
 | url = https://books.google.com/books?id=Lyte2yl1SPAC&pg=PA11
}}</ref>{{Rp|11}}<ref>{{Citace monografie
 | autoři = Han, Te Sun & Kobayashi, Kingo
 | titul = Mathematics of Information and Coding
 | vydavatel = American Mathematical Society
 | rok = 2002
 | isbn = 978-0-8218-4256-0
 | url = https://books.google.com/books?id=VpRESN24Zj0C&pg=PA19
}}</ref>{{Rp|19–20}}
<math>I(X)</math> je také náhodná proměnná.

Entropii můžeme explicitně zapsat jako

{{Rámeček| <math>\Eta(X) = -\sum_{i=1}^n {\mathrm{P}(x_i) \log_b \mathrm{P}(x_i)}</math>| pozice = left | popisek = | šířka = 6 | rámeček = #0073CF | barva = #F5FFFA }}
{{Clear}}

kde {{Math|''b''}} je [[Logaritmus#Speciální báze|základ]] použitého [[Logaritmus|logaritmu]]. V tomto případě se nejčastěji jako základ {{Math|''b''}} používá hodnota 2, méně často [[Eulerovo číslo]] {{Math|''e''}}, nebo 10. Entropie je pro {{Math|''b'' {{=}} 2}} vyjádřena v [[bit]]ech, pro {{Math|''b'' {{=}} ''e''}} v jednotkách nazývaných [[Nat (jednotka)|nat]] a pro {{Math|''b'' {{=}} 10}} v jednotkách nazývaných [[ban (jednotka)|ban]], hartley nebo dit.<ref>{{Citace elektronické monografie
 | příjmení = Schneider
 | jméno = T.D
 | url = http://alum.mit.edu/www/toms/paper/primer/primer.pdf
 | titul = Information theory primer with an appendix on logarithms
 | vydavatel = National Cancer Institute
 | datum = 2007-04-14
 }}{{Nedostupný zdroj}}</ref>

Pokud {{Math|P(''x''<sub>''i''</sub>) {{=}} 0}} pro nějaké {{Math|''i''}}, bere se hodnota odpovídajícího členu {{Math|0 log<sub>''b''</sub>(0)}} nulová, což odpovídá [[limita funkce|limitě]]

:<math>\lim_{p\to0^+}p\log (p) = 0.</math>

Můžeme také definovat [[Podmíněná entropie|podmíněnou entropii]] dvou událostí <math>X</math> a <math>Y</math>, které nabývají hodnot <math>x_i</math> a <math>y_j</math>, vzorcem

:<math> \Eta(X|Y)=-\sum_{i,j}p(x_{i},y_{j})\log\frac{p(x_{i},y_{j})}{p(y_{j})}</math>

kde <math>p(x_i,y_j)</math> je pravděpodobnost, že <math>X=x_i</math> a <math>Y=y_j</math>. Tuto hodnotu chápeme jako množství náhodnosti v náhodné proměnné <math>X</math> pro danou hodnotu náhodné proměnné <math>Y</math>.

== Příklad ==
[[Soubor:Binary entropy plot.svg|náhled|vpravo|200px|Entropie {{Math|Η(''X'')}} (tj. [[střední hodnota|střední]] [[vlastní informace|překvapení]]) vrhu mincí měřené v bitech vynesené podle poctivosti mince {{Math|Pr(''X'' {{=}} 1)}}, kde {{Math|''X'' {{=}} 1}} reprezentuje padnutí panny.<br />Entropie je v tomto případě nejvýše 1 bit a předání výsledku vrhu mincí (se dvěma možnými výsledky) vyžaduje průměrně nejvýše 1 bit informace (pro poctivou minci je to přesně 1 bit). Zakódování vrhu poctivou kostkou (6 hodnot se stejnou pravděpodobností) vyžaduje průměrně log<sub>2</sub>6 bitů.]]
{{Podrobně|Binární funkce entropie|Bernoulliho proces}}
Uvažujme házení mincí se známými, ne nutně poctivými pravděpodobnostmi, že padne panna nebo orel; to lze modelovat [[Bernoulliho proces]]em.

Entropie neznámého výsledku dalšího vrhu mincí je nejvyšší, jestliže mince je poctivá (tj. jestliže panna i orel mají stejnou pravděpodobnost 1/2). U poctivé mince je nejobtížnější předpovídat výsledek dalšího vrhu; výsledek každého vrhu mincí přináší celý jeden [[bit]] informace. Důvodem je, že
:<math>\begin{align}
\Eta(X) &= -\sum_{i=1}^n {\mathrm{P}(x_i) \log_b \mathrm{P}(x_i)}
\\ &= -\sum_{i=1}^2 {\frac{1}{2}\log_2{\frac{1}{2}}}
\\ &= -\sum_{i=1}^2 {\frac{1}{2} \cdot (-1)} = 1
\end{align}</math>

Pokud však víme, že mince není poctivá, ale pravděpodobnosti hodu panny případně orla jsou {{Math|''p''}}, příp. {{Math|''q''}}, kde {{Math|''p'' ≠ ''q''}}, pak je nejistota menší. Při každém vrhu je pravděpodobnější, že padne jedna strana než druhá. Snížení nejistoty je kvantifikováno nižší entropií: každý vrh mincí přináší v průměru méně než jeden [[bit]] informace. Jestliže například {{Math|''p''}}=0,7, pak
:<math displej="blok">\begin{align}
\Eta(X) &=  - p \log_2 (p) - q \log_2 (q)
\\ &= - 0,7 \log_2 (0,7) - 0,3 \log_2 (0,3)
\\ &\approx - 0,7 \cdot (-0,515) - 0,3 \cdot (-1,737)
\\ &= 0,8816 < 1
\end{align}</math>

Rovnoměrné rozdělení pravděpodobnosti má maximální nejistotu a tedy maximální entropii. Entropie se pak může pouze snížit z hodnoty odpovídající rovnoměrné pravděpodobnosti. Extrémním případem je, že mince má dvě panny, takže nikdy nemůže padnout orel, nebo dva orly, takže nikdy nemůže padnout panna. Vrh takovou mincí v sobě neobsahuje žádnou nejistotu, žádnou novou informaci, protože výsledek vrhu je předem známý, takže entropie je nulová.

Entropii lze normalizovat tím, že ji vydělíme délkou informace. Výsledný poměr se nazývá [[metrika entropie]] a je mírou náhodnosti informace.

== Zdůvodnění ==
Pro pochopení významu {{Math|-∑ ''p''<sub>''i''</sub> log(''p''<sub>''i''</sub>)}}, nejdříve definujeme informační funkci {{Math|I}} pomocí události {{Math|''i''}} s pravděpodobností {{Math|''p''<sub>''i''</sub>}}. Množství informace získané pozorováním události {{Math|''i''}} vyplývá z Shannonova řešení základních [[#Charakterizace|vlastností]] [[Informace obsah|informace]]:<ref>{{Citace monografie
 | příjmení = Carter
 | jméno = Tom
 | datum = březen 2014
 | titul = An introduction to information theory and entropy
 | url = http://csustan.csustan.edu/~tom/Lecture-Notes/Information-Theory/info-lec.pdf
 | místo = Santa Fe
 | strany =
 | isbn =
 | přístup-datum = 2017-08-04}}</ref>
# {{Math|I(''p'')}} je [[monotonně klesající]] v {{Math|''p''}}: zvýšení pravděpodobnosti události snižuje množství informace získané pozorováním události a naopak.
# {{Math|I(''p'') ≥ 0}}: informace je [[Nezáporné číslo|nezáporná]] veličina.
# {{Math|I(1) {{=}} 0}}: události, ke kterým dojde vždy, nepřinášejí žádnou informaci.
# {{Math|I(''p''<sub>1</sub> ''p''<sub>2</sub>) {{=}} I(''p''<sub>1</sub>) + I(''p''<sub>2</sub>)}}: informace [[Nezávislá událost|nezávislých událostí]] je aditivní.

Klíčová je poslední vlastnost. Říká, že sdružená pravděpodobnost nezávislých zdrojů informace přináší stejné množství informace jako obě události samostatně. Speciálně jestliže první událost je jedním z {{Math|''n''}} [[stejně pravděpodobný]]ch výsledků a druhá jedním z {{Math|''m''}} stejně pravděpodobných výsledků, pak sdružená událost má {{Math|''mn''}} možných výsledků. To znamená, že jestliže je potřeba {{Math|log<sub>2</sub>(''n'')}} bitů pro zakódování první hodnoty a {{Math|log<sub>2</sub>(''m'')}} bitů pro zakódování druhé, potřebujeme {{Math|log<sub>2</sub>(''mn'') {{=}} log<sub>2</sub>(''m'') + log<sub>2</sub>(''n'')}} pro zakódování obou. Shannon objevil, že funkce pro určení množství informace, zachovávající tuto aditivitu, je logaritmická, tj.,

:<math>\mathrm{I}(p) = \log\left(\tfrac{1}{p}\right) = -\log(p):</math>

Jestliže <math displej="inline">I</math> je informační funkce, o které předpokládáme, že je dvakrát spojitě derivovatelná, dostáváme:

:<math>\begin{array}{lcl}
I(p_1 p_2) &=& I(p_1) +  I(p_2) \\
p_2 I'(p_1 p_2) &=& I'(p_1) \\
I'(p_1 p_2) + p_1 p_2 I''(p_1 p_2) &=& 0 \\
I'(u) + u I''(u) &=& 0 \\
(u I'(u))' &=& 0
\end{array}</math>

Tato [[diferenciální rovnice]] má k řešení <math>I(u) = k \log u</math> pro jakékoli <math>k \in \mathbb{R}</math>. Z podmínky 2. vyplývá, že k <math>k < 0</math>. <math>k </math> lze zvolit ve tvaru <math>k = - 1/\log x</math> pro <math>x > 1</math>, což je ekvivalentní s výběrem určitého [[Logaritmus|základu logaritmu]]. Různé [[Jednotka informace|jednotky informace]] ([[bit]]y pro [[Logaritmus#Binární logaritmus|binární logaritmus]] {{Math|log<sub>2</sub>}}, [[Nat (jednotka)|naty]] pro [[Logaritmus#Přirozený logaritmus|přirozený logaritmus]] {{Math|ln}}, [[Ban (jednotka)|bany]] pro [[Logaritmus#Desítkový logaritmus|desítkový logaritmus]] {{Math|log<sub>10</sub>}} atd.) jsou [[Přímá úměrnost|konstantní násobky]] jiného. Pokud například uvažujeme vrh poctivou mincí, hození panny dává {{Math|log<sub>2</sub>(2) {{=}} 1}} bit informace, což je přibližně 0,693&nbsp;natů nebo 0,301&nbsp;desítkových číslic. {{Math|''n''}} vrhů přináší díky aditivitě {{Math|''n''}} bitů informace, což je přibližně {{Math|0,693''n''}} natů nebo {{Math|0,301''n''}} desítkových číslic.

Pokud existuje rozdělení, u kterého událost {{Math|''i''}} může nastat s pravděpodobností {{Math|''p''<sub>''i''</sub>}} a provedeme {{Math|''N''}} pokusů, při kterých výsledek {{Math|''i''}} nastane {{Math|''n''<sub>''i''</sub> {{=}} ''N'' ''p''<sub>''i''</sub>}} krát, celkové množství přijaté informace je
:<math>\sum_i {n_i \mathrm{I}(p_i)} = -\sum_i {N p_i \log{p_i}}</math>.
''[[Aritmetický průměr|Průměrné]]'' množství informace, kterou získáme z události je proto
:<math>-\sum_i {p_i \log {p_i}}.</math>

== Aspekty ==

=== Vztah k termodynamické entropii ===
<!-- {{Podrobně|Entropie v termodynamice a teorii informace}} -->
Inspirace pro použití slova ''entropie'' v teorii informace pochází z podobnosti mezi Shannonovým vzorcem a velmi podobnými vzorci známými ze [[Statistická mechanika|statistické mechaniky]].

Nejobecnější vzorec pro termodynamickou [[entropie|entropii]] {{Math|''S''}} [[Termodynamický systém|termodynamického systému]] ve [[Statistická termodynamika|statistické termodynamice]] je [[Gibbsova entropie]]:
:<math>S = - k_\text{B} \sum p_i \ln p_i \,</math>
kde {{Math|''k''<sub>B</sub>}} je [[Boltzmannova konstanta]] a {{Math|''p''<sub>''i''</sub>}} je pravděpodobnost [[Mikrostav (statistická mechanika)|mikrostavu]]. [[Entropie|Gibbsovu entropii]] definoval [[J. Willard Gibbs]] v roce 1878, krátce po publikaci díla [[Ludwig Boltzmann|Ludwiga Boltzmanna]] v roce 1872.<ref>Srovnejte: Boltzmann, Ludwig (1896, 1898). Vorlesungen über Gastheorie : 2 Volumes – Lipsko 1895/98 UB: O 5262-6. anglická verze: Lectures on gas theory. Překlad Stephen G. Brush (1964) Berkeley: University of California Press; (1995) New York: Dover {{Isbn|0-486-68455-5}}</ref>

Gibbsovu entropii lze použít téměř nezměněnou ve světě [[Kvantová fyzika|kvantové fyziky]], kde dává [[von Neumannova entropie|von Neumannovu entropii]], kterou zavedl [[John von Neumann]] v roce 1927:
:<math>S = - k_\text{B} \,{\rm Tr}(\rho \ln \rho) \,</math>
kde ρ je [[Operátor hustoty|matice hustoty]] kvantově mechanického systému a Tr je [[Stopa (lineární algebra)|stopa matice]].

Při každodenním praktickém používání není spojitost mezi informační entropií a termodynamickou entropií evidentní. Fyzici a chemici se spíše zajímají o ''změny'' entropie, protože systém se vyvíjí spontánně ze svých počátečních podmínek ve shodě s [[Druhý termodynamický zákon|druhým zákonem termodynamiky]], než o neměnné rozdělení pravděpodobnosti. Malá hodnota [[Boltzmannova konstanta|Boltzmannovy konstanty]] {{Math|''k''<sub>B</sub>}} ukazuje, že změny {{Math|''S'' / ''k''<sub>B</sub>}} i pro velmi malé množství látky v chemických a fyzikálních procesech reprezentuje entropii, která je extrémně velká v porovnání s čímkoli při [[komprese dat|kompresi dat]] nebo [[zpracování signálu]]. V klasické termodynamice je entropie definována pomocí makroskopických měření bez odkazů na nějaké rozdělení pravděpodobnosti, což je hlavním aspektem pro definici informační entropie.

Spojení mezi termodynamikou a tím, co nyní nazýváme teorie informace, si poprvé všiml [[Ludwig Boltzmann]], který je vyjádřil svou [[Boltzmannův vzorec pro entropii|proslulou rovnicí]]:

:<math>S=k_\text{B} \ln(W)</math>

kde <math>S</math> je termodynamická entropie určitého makroskopického stavu (definovaná termodynamickými parametry jako například teplotou, objemem, energií, atd.), ''W'' je počet mikroskopických stavů (různých kombinací částic v různých energetických stavech), které mohou dávat daný makroskopický stav a ''k<sub>B</sub>'' je [[Boltzmannova konstanta]]. Předpokládá se, že každý mikroskopický stav je stejně pravděpodobný, takže pravděpodobnost daného mikroskopického stavu je ''p<sub>i</sub> = 1/W''. Pokud tyto pravděpodobnosti dosadíme do výše uvedeného výrazu pro Gibbsovu entropii (nebo ekvivalentně ''k<sub>B</sub>'' krát Shannonovu entropii), dostaneme Boltzmannovu rovnici. Použijeme-li termíny z teorie informace, je informační entropie systému rovna množství „chybějící“ informace potřebné pro určení mikroskopického stavu pro daný makroskopický stav.

V přístupu [[Edwin Thompson Jaynes|Edwina Thompsona Jaynese]] (1957) se na termodynamickou entropii, jak ji vysvětluje [[statistická mechanika]], musí nahlížet jako na ''aplikaci'' Shannonovy teorie informace: termodynamická entropie se interpretuje jako množství další Shannonovy informace potřebné pro určení konkrétního mikroskopického stavu systému, který při popisu systému výhradně makroskopickými proměnnými klasické termodynamiky zůstává skrytý, přičemž konstanta úměrnosti je právě [[Boltzmannova konstanta]]. Dodáváním tepla do systému se zvyšuje jeho termodynamická entropie, protože se zvyšuje počet možných mikroskopických stavů systému, které jsou konzistentní s měřitelnou hodnotou své makroskopické proměnné, což způsobuje, že jakýkoli úplný popis stavu je komplikovanější. (Viz článek: ''[[Termodynamika maximální entropie]]''). [[Maxwellův demon]] může (hypoteticky) snižovat termodynamickou entropii systému použitím informací o stavech jednotlivých molekul; ale jak ukázal v roce 1961 [[Rolf Landauer]] se svými spolupracovníky, aby démon sám fungoval, musí sám zvyšovat termodynamickou entropii v procesu, alespoň o množství Shannonovy informace, kterou potřebuje nejdřív získat a uložit; kvůli tomu se celková termodynamická entropie nesnižuje (což vysvětluje paradox). [[Landauerův princip]] určuje mimo jiné nejnižší množství tepla, které musí počítač vyprodukovat při zpracování určitého množství informací. Ani moderní počítače se k této efektivitě ani zdaleka neblíží.

=== Entropie jako informační obsah ===
{{Podrobně|Shannonova věta o zdrojovém kódování}}
Entropie je definovaná v kontextu pravděpodobnostního modelu. Nezávislý vrh poctivou mincí má entropii 1 bit na hod. Zdroj, které vždy generuje dlouhý řetězec znaků B má entropii 0, protože následující znak bude vždy 'B'.

[[Poměr entropie]] datového zdroje je průměrný počet [[bit]]ů na symbol potřebných pro kódování tohoto zdroje. Shannonovy pokusy s lidmi jako prediktory ukazují, že anglický text má informační poměr 0,6 až 1,3 bitů na znak.<ref>{{Citace elektronické monografie
 | url = http://marknelson.us/2006/08/24/the-hutter-prize/
 | titul = The Hutter Prize
 | datum přístupu = 2008-11-27
 | datum = 2006-08-24
 | autor = Mark Nelson
 | url archivu = https://web.archive.org/web/20180301161215/http://marknelson.us/2006/08/24/the-hutter-prize/
 | datum archivace = 2018-03-01
 | nedostupné = ano
 }}</ref> Komprimační algoritmus [[Prediction by partial matching]] (PPM) může na anglickém textu dosáhnout komprimačního poměru 1,5 bitu na znak.

V předchozím příkladě jsou důležité tyto body:

# Entropie vyjádřená v bitech nemusí být celé číslo.
# Mnoho bitů dat nenese žádné informace. Datové struktury často obsahují redundantní informace nebo mají identické části bez ohledu na to, jaké informace obsahují.

Pokud je Shannonova definice entropie aplikována na zdroj informace, může určovat minimální kapacitu kanálu nezbytnou pro spolehlivý přenos dat ze zdroje, pokud jsou zakódovány jako binární hodnoty (viz varování níže v kurzívě). Vzorec pro tuto kapacitu může být odvozen výpočtem matematického očekávání ''množství informace'' obsažené v každé číslici přenášených dat. ''Viz také'' [[Shannonova–Hartleyova věta]].

Shannonova entropie měří informaci obsaženou ve zprávě jako protiklad k části zprávy, která je pevně určena (nebo předvídatelná). ''K dalším příkladům patří redundance ve struktuře jazyka nebo statistické vlastnosti týkající se frekvence výskytu dvojic, trojic, atd., písmen nebo slov.'' Viz [[Markovův řetězec]].

=== Entropie jako míra rozmanitosti ===
{{Podrobně|Index rozmanitosti}}
Entropie je jedním ze způsobů, jak měřit rozmanitost. Konkrétně Shannonova entropie je logaritmus {{Math|<sup>1</sup>D}}, [[skutečný rozmanitost]] index s parametr rovné 1.

=== Komprese dat ===
{{Podrobně|Komprimace dat}}
Entropie efektivně limituje výkonnost nejsilnější bezztrátové komprimační metody, což lze teoreticky provést pomocí [[Typická množina|typické množiny]] nebo v praxi pomocí [[Huffmanovo kódování|Huffmanova kódování]], [[LZW|Lempel–Ziv]] nebo [[aritmetické kódování|aritmetického kódování]]. Viz také [[Kolmogorovova složitost]]. V praxi komprimační algoritmy úmyslně zahrnují nějakou rozumnou redundanci ve formě [[kontrolní součet|kontrolního součtu]] pro zabezpečení proti chybám.

=== Světová technologická kapacita uložených a přenášených informací ===
Studie z roku 2011 v časopisu ''[[Science]]'' odhaduje světovou technologickou kapacitu pro uložení a přenos optimálně komprimovaných informací normalizovanou na nejefektivnější komprimační algoritmy dostupné v roce 2007, je vlastně odhadem entropie technologicky dostupný zdrojů.<ref name="HilbertLopez2011">[http://www.sciencemag.org/content/332/6025/60 "The World's Technological Capacity to Store, Communicate, and Compute Information"], Martin Hilbert a Priscila López (2011), [[Science]], 332(6025); volný přístup k článku: [martinhilbert.net/WorldInfoCapacity.html]</ref> {{Rp|60–65}}
{| class="wikitable"
|+
Hodnoty v entropicky komprimovaných [[exabyte]]ch
|-
! Typ Informace !! 1986 !! 2007
|-
| Uložení || 2,6  || 295
|-
| Vysílání || 432 || 1900
|-
| Telekomunikace || 0,281 || 65
|}
Autoři odhadli technologickou kapacitu pro uložení (plně entropicky komprimovaných) informací, kterou má lidstvo k dispozici, v roce 1986 a 2007. Informace rozdělují do tří kategorií: objem datových médií, která byla k dispozici pro ukládání informací, množství informací předaných pomocí jednosměrných [[vysílání|vysílacích]] sítí a výměnu informací pomocí obousměrných [[telekomunikace|telekomunikační]] sítí.<ref name="HilbertLopez2011"/>

=== Omezení entropie jako informačního obsahu ===
Existuje několik dalších konceptů příbuzných entropii, které určitým způsobem matematicky kvantifikují informační obsah:
* '''[[Vlastní informace]]''' jednotlivé zprávy nebo symbolu vzatého z daného rozdělení pravděpodobnosti,
* '''entropie''' daného rozdělení pravděpodobnosti zpráv nebo symbolů a
* '''[[poměr entropie]]''' [[stochastický proces|stochastického procesu]].
(pro určité posloupnosti zpráv nebo symbolů generované daným stochastickým procesem může také definovat „poměr vlastní informace“, který je vždy roven poměru entropie v případě [[stacionární proces|stacionárního procesu]].) Jiná [[množství informace]] se také používají pro porovnávání různých zdrojů informace.

Výše uvedené koncepty si nesmíme plést. Často je zřejmé pouze z kontextu, který koncept se myslí. Když například někdo říká, že „entropie“ angličtiny je asi 1 bit na znak, jedná se o modelování angličtiny jako stochastického procesu a mluví se o ''poměru'' entropie. I sám Shannon používal termín podobně.

Při použití velmi velkých bloků může být odhad entropie na jeden znak uměle nízký, protože rozdělení pravděpodobnosti posloupnosti není známo přesně; je to pouze odhad. Pokud bychom uvažovali text každé dosud publikované knihy jako posloupnost, a text celé knihy bychom považovali za symbol, a jestliže je celkem {{Math|''N''}} publikovaných knih a každá kniha je publikovaná pouze jednou, odhad pravděpodobnosti každé knihy je {{Math|1/''N''}} a entropie (v bitech) je {{Math|−log<sub>2</sub>(1/''N'') {{=}} log<sub>2</sub>(''N'')}}. Jako praktický kód to odpovídá přiřazení [[International Standard Book Number|jednoznačného identifikátoru]] každé knize a používat ho místo textu knihy, když se chceme odkázat na text knihy. To je mimořádně užitečné pro mluvení o knihách, ale není to tak užitečné pro charakterizaci informačního obsahu jednotlivých knih nebo jazyka obecně: z identifikátoru knihy nelze rekonstruovat obsah knihy bez znalosti rozdělení pravděpodobnosti, tj. úplného textu všech knih. Klíčovou myšlenkou je, že musíme uvažovat složitost pravděpodobnostního modelu. [[Kolmogorovova složitost]] je teoretické zobecnění této myšlenky, která umožňuje zvážení informačního obsahu posloupnosti nezávislý na jakýkoli určitý pravděpodobnost model; uvažuje nejkratší [[Počítačový program|program]] pro [[univerzální počítač]], který vytvoří požadovanou posloupnost. Kód, který dosahuje poměru entropie posloupnosti pro daný model, plus kódová kniha (tj. pravděpodobnostní model), je jedním takovým programem, ale nemusí být nejkratší.

Fibonacciho posloupnost je 1, 1, 2, 3, 5, 8, 13, .... pokud uvažujeme posloupnost jako zprávu a každé číslo jako symbol, existuje téměř stejně symbolů jako znaků ve zprávě, což dává entropii přibližně {{Math|log<sub>2</sub>(''n'')}}. Prvních 128 symbolů Fibonacciho posloupnost má entropii přibližně 7 bitů/symbol, ale posloupnost lze vyjádřit pomocí vzorce [{{Math|F(''n'') {{=}} F(''n''−1) + F(''n''−2)}} pro {{Math|''n'' {{=}} 3, 4, 5, …}}, {{Math|F(1) {{=}}1}}, {{Math|F(2) {{=}} 1}}] a toto vzorec má mnohem nižší entropie a je použita na jakýkoli délka Fibonacciho posloupnosti.

=== Omezení entropie v kryptografii ===
V [[Kryptoanalýza|kryptoanalýze]] se entropie často používá jako přibližná míra nepředvídatelnosti kryptografického klíče, jehož reálná [[Princip nejistoty|nejistota]] je neměřitelná. Například 128bitový klíč, který je rovnoměrně a náhodně generovaný, má entropii 128 bitů. Také je třeba (v průměru) <math>2^{128-1}</math> pokusů pro prolomení šifry hrubou silou. Entropie však selhává, jestliže možné klíče nejsou voleny rovnoměrně.<ref>{{Citace sborníku
 | jméno = James
 | příjmení = Massey
 | rok = 1994
 | titul = Guessing and Entropy
 | sborník = Proc. IEEE International Symposium on Information Theory
 | url = http://www.isiweb.ee.ethz.ch/archive/massey_pub/pdf/BI633.pdf
 | datum přístupu = 2013-12-31}}</ref><ref>{{Citace sborníku
 | jméno = David
 | příjmení = Malone
 | jméno2 = Wayne
 | příjmení2 = Sullivan
 | rok = 2005
 | titul = Guesswork is not a Substitute for Entropy
 | sborník = Proceedings of the Information Technology & Telecommunications Conference
 | url = http://www.maths.tcd.ie/~dwmalone/p/itt05.pdf
 | datum přístupu = 2013-12-31}}</ref> Místo toho lze použít míru nazývanou ''guesswork'' pro změření úsilí potřebného pro útok hrubou silou.<ref>{{Citace sborníku
 | jméno = John
 | příjmení = Pliam
 | rok = 1999
 | titul = Guesswork and variation distance as measures of cipher security
 | sborník = International Workshop on Selected Areas in Cryptography
 | doi = 10.1007/3-540-46513-8_5 }}</ref>

V kryptografii se mohou objevit další problémy při používání entropie kvůli nerovnoměrnému rozdělení. Například [[jednorázová šifra]], která šifruje text pomocí funkce xor s miliónem binárních číslic. Pokud má tabulka entropii milión bitů, je šifrování dokonalé. Pokud má šifra entropii jen 999&nbsp;999 bitů, rovnoměrně distribuovaný (každý jednotlivý bit jednorázového hesla má entropii 0,999999 bitů) může stále poskytovat dobrou bezpečnost. Ale jestliže jednorázové heslo má entropii 999&nbsp;999 bitů, přičemž první bit je pevný a zbývajících 999&nbsp;999 bitů je naprosto náhodných, první bit šifrového textu nebude vůbec zašifrovaný.

=== Data jako Markovův proces ===
Obvyklý způsob, jak definovat entropii textu, vychází z [[Markovův model|Markovova modelu]] textu. Pro zdroj 0. řádu (každý znak je vybraný nezávisle na posledních znacích) je binární entropie:

:<math>\Eta(\mathcal{S}) = - \sum p_i \log p_i ,</math>

kde {{Math|''p''<sub>''i''</sub>}} je pravděpodobnost {{Math|''i''}}. Pro [[Markovův zdroj]] prvního řádu (zdroj, u něhož je pravděpodobnost výběru znak závislá pouze na předchozím znaku), je '''[[poměr entropie]]''' ({{Vjazyce2|en|''[[entropy rate]]''}}):

:<math>\Eta(\mathcal{S}) = - \sum_i p_i \sum_j  \  p_i (j) \log p_i (j) ,</math>

kde {{Math|''i''}} je '''stav''' ({{Vjazyce2|en|''state''}}) (určitý předchozí znaky) a <math>p_i(j)</math> je pravděpodobnost {{Math|''j''}} daný {{Math|''i''}} jako předchozí znak.

Pro Markovův zdroj druhého řádu je poměr entropie

:<math>\Eta(\mathcal{S}) = -\sum_i p_i \sum_j p_i(j) \sum_k p_{i,j}(k)\ \log \  p_{i,j}(k) .</math>

=== {{Math|''b''}}-ární entropie ===
Obecně '''{{Math|''b''}}-ární entropie''' zdroje <math>\mathcal{S}</math> {{Math|{{=}} (''S'', ''P'')}} se [[Zdrojová abeceda|zdrojovou abecedou]] {{Math|''S'' {{=}} {''a''<sub>1</sub>, …, ''a''<sub>''n''</sub>}}} a [[Diskrétní rozdělení|diskrétním rozdělením pravděpodobnosti]] {{Math|''P'' {{=}} {''p''<sub>1</sub>, …, ''p''<sub>''n''</sub>}}}, kde {{Math|''p''<sub>''i''</sub>}} je pravděpodobnost {{Math|''a''<sub>''i''</sub>}} (značíme {{Math|''p''<sub>''i''</sub> {{=}} ''p''(''a''<sub>''i''</sub>))}} je definovaný vztahem:

:<math> \Eta_b(\mathcal{S}) = - \sum_{i=1}^n p_i \log_b p_i ,</math>

Hodnota {{Math|''b''}} v „{{Math|''b''}}-ární entropie“ je počet různých symbolů ''ideální abecedy'' používané jako standardní měřítko pro měření zdrojové abecedy. V teorii informace je pro kódování informací [[Nutná a postačující podmínka|nutné a postačující]], aby abeceda obsahovala dva symboly. Proto implicitně pracujeme s {{Math|''b'' {{=}} 2}} („binární entropie“). Entropie zdrojové abecedy spolu s daným empirickým rozdělením pravděpodobnosti je číslo rovné počtu (případně zlomkovému) symbolů „ideální abecedy“ s optimálním rozdělením pravděpodobnosti nezbytných pro kódování každého symbolu zdrojové abecedy. Přitom „optimální rozdělení pravděpodobnosti“ zde znamená [[Rovnoměrné rozdělení#Diskrétní rozdělení|rovnoměrné rozdělení]]: zdrojová abeceda s {{Math|''n''}} symboly má nejvyšší možnou entropii (mezi abecedami s {{Math|''n''}} symboly), je-li rozdělení pravděpodobnosti abecedy rovnoměrné. Ukazuje se, že tato optimální entropie je {{Math|log<sub>''b''</sub>(''n'')}}.

== Efektivita ==
Zdrojová abeceda s nerovnoměrným rozdělením bude mít menší entropii, než kdyby její symboly měly rovnoměrné rozdělení („optimalizovaná abeceda“). Tento nedostatek entropie lze vyjádřit poměrem nazývaným efektivita:

:<math>\eta(X) = -\sum_{i=1}^n \frac{p(x_i) \log_b (p(x_i))}{\log_b (n)}
</math>
Použitím základních vlastností logaritmu lze tuto hodnotu také vyjádřit jako:
:<math>\eta(X) = -\sum_{i=1}^n \frac{p(x_i) \log_b (p(x_i))}{\log_b (n)} = \sum_{i=1}^n \frac{\log_b(p(x_i)^{-p(x_i)})}{\log_b(n)} =
\sum_{i=1}^n \log_n(p(x_i)^{-p(x_i)}) =
\log_n (\prod_{i=1}^n p(x_i)^{-p(x_i)})</math>

Efektivita je vhodnou mírou pro využití [[komunikační kanál|komunikačního kanálu]]. Uvedená veličina se také označuje normalizovaná entropie, protože entropie je dělena maximální entropií <math>{\log_b (n)}</math>. Efektivita je navíc nezávislá na volbě základu {{Math|''b''}}, jak je ukázáno výše.

== Charakterizace ==
Shannonova entropie je [[charakterizace (matematika)|charakterizována]] malým počtem dále uvedených kritérií. Jakákoli definice entropie, která těmto kritériím vyhovuje, má tvar
:<math>-K\sum_{i=1}^np_i\log (p_i)</math>
kde {{Math|''K''}} je konstanta, která závisí na volbě jednotek měření.

V dalším textu budeme psát {{Math|''p''<sub>''i''</sub> {{=}} Pr(''X'' {{=}} ''x''<sub>''i''</sub>)}} a {{Math|Η<sub>''n''</sub>(''p''<sub>1</sub>, …, ''p''<sub>''n''</sub>) {{=}} Η(''X'')}}.

=== Spojitost ===
Míra musí být [[Spojitá funkce|spojitá]], takže změna hodnoty pravděpodobnosti o velmi malou hodnotu způsobí pouze malou změnu entropie.

=== Symetrie ===
Míra nesmí záviset na pořadí výsledků {{Math|''x''<sub>''i''</sub>}}.
:<math>\Eta_n\left(p_1, p_2, \ldots \right) = \Eta_n\left(p_2, p_1, \ldots \right)</math> atd.

=== Maximální ===
Míra musí být maximální, jestliže všechny výsledky jsou stejně pravděpodobně (nejistota je nejvyšší, když všechny možné události mají stejnou pravděpodobnost).
:<math> \Eta_n(p_1,\ldots,p_n) \le \Eta_n\left(\frac{1}{n}, \ldots, \frac{1}{n}\right) = \log_b (n).</math>

Pro stejně pravděpodobné události se entropie musí zvyšovat s počtem výsledků.
:<math>\Eta_n\bigg(\underbrace{\frac{1}{n}, \ldots, \frac{1}{n}}_{n}\bigg) = \log_b(n) < \log_b (n+1) = \Eta_{n+1}\bigg(\underbrace{\frac{1}{n+1}, \ldots, \frac{1}{n+1}}_{n+1}\bigg).</math>

Rozdělení, které má maximální [[diferenciální entropie|diferenciální entropií]] pro spojité náhodné proměnné, je [[vícerozměrné normální rozdělení]].

=== Aditivita ===
Velikost entropie musí být nezávislá na tom, jak je proces rozdělen do složek.

Tato poslední funkcionální podmínka charakterizuje entropii systému se subsystémy. Vyžaduje, aby entropii systému bylo možné spočítat z entropií jeho subsystémů, jestliže interakce mezi subsystémy jsou známé.

Je-li dán soubor {{Math|''n''}} rovnoměrně distribuovaných prvků, které jsou rozděleny do {{Math|''k''}} podsystémů, každý s {{Math|''b''<sub>1</sub>, ..., ''b''<sub>''k''</sub>}} prvky, entropie celého systému se musí rovnat sumě entropií jednotlivých podsystémů a entropií jednotlivých boxů, každý vážený s pravděpodobností, že je v příslušném podsystému.

Pro [[Kladné celé číslo|kladná celá čísla]] {{Math|''b''<sub>''i''</sub>}} kde {{Math|''b''<sub>1</sub> + … + ''b''<sub>''k''</sub> {{=}} ''n''}},
:<math>\Eta_n\left(\frac{1}{n}, \ldots, \frac{1}{n}\right) = \Eta_k\left(\frac{b_1}{n}, \ldots, \frac{b_k}{n}\right) + \sum_{i=1}^k \frac{b_i}{n} \, \Eta_{b_i}\left(\frac{1}{b_i}, \ldots, \frac{1}{b_i}\right).</math>

Pokud zvolíme {{Math|''k'' {{=}} ''n''}}, {{Math|''b''<sub>1</sub> {{=}} … {{=}} ''b''<sub>''n''</sub> {{=}} 1}}, z toto vyplývá, že entropie určitého výsledku je nulová: {{Math|Η<sub>1</sub>(1) {{=}} 0}}. Z toho vyplývá, že efektivitu zdrojové abecedy s {{Math|''n''}} symboly lze definovat jednoduše jako její {{Math|''n''}}-ární entropii. Viz také [[Redundance (teorie informace)]].

== Další vlastnosti ==
Shannonova entropie splňuje další vlastnosti; pro některé z nich je užitečné interpretovat entropii jako množství dodané informace (nebo odstraněné nejistoty), kterou přinese zjištění hodnoty náhodné proměnné {{Math|''X''}}:

* Přidání nebo odstranění události s nulovou pravděpodobností nepřispívá k entropii:
::<math>\Eta_{n+1}(p_1,\ldots,p_n,0) = \Eta_n(p_1,\ldots,p_n)</math>.
* Entropie diskrétní náhodné proměnné je nezáporné číslo:
::<math>\Eta(X) \ge 0</math>.<ref name="cover1991">{{Citace monografie
 | author1 = Thomas M. Cover
 | author2 = Joy A. Thomas
 | titul = Elements of Information Theory
 | rok = 1991
 | url = https://archive.org/details/elementsofinform0000cove
 | vydavatel = Wiley
 | místo = Hoboken, New Jersey
 | isbn = 978-0-471-24195-9
 | datum = 2006-07-18 }}</ref>{{Rp|15}}
* Užitím [[Jensenova nerovnost|Jensenovy nerovnosti]] lze dokázat, že
::<math>\Eta(X) = \operatorname{E}\left[\log_b \left( \frac{1}{p(X)}\right) \right] \leq \log_b \left( \operatorname{E}\left[ \frac{1}{p(X)} \right] \right) = \log_b(n)</math><ref name="cover1991" />.{{Rp|29}}
:Této maximální entropie {{Math|log<sub>''b''</sub>(''n'')}} se efektivně dosáhne takovou zdrojovou abecedou, která má rovnoměrné rozdělení pravděpodobnosti: nejistota je maximální, když jsou všechny možné události stejně pravděpodobné.
* Entropie nebo množství informace získané vyhodnocením {{Math|(''X'',''Y'')}} (tj. vyhodnocování {{Math|''X''}} a {{Math|''Y''}} současně) se rovná informaci získané provedením dvou pokusů po sobě: nejdříve vyhodnotíme hodnotu {{Math|''Y''}}, potom hodnotu {{Math|''X''}} se znalostí hodnoty {{Math|''Y''}}. To lze napsat jako
::<math> \Eta(X,Y)=\Eta(X|Y)+\Eta(Y)=\Eta(Y|X)+\Eta(X).</math>
* Pokud <math>Y=f(X)</math> kde <math>f</math> je funkce, pak <math>H(f(X)|X) = 0</math>. Použití předchozího vzorce na <math>H(X,f(X))</math> dává
::<math> \Eta(X)+\Eta(f(X)|X)=\Eta(f(X))+\Eta(X|f(X)),</math>
:takže <math>H(f(X)) \le H(X)</math>, entropie jedné náhodné proměnné se může snížit pouze tehdy, když na druhou proměnnou aplikujeme nějakou funkci.
* Pokud {{Math|''X''}} a {{Math|''Y''}} jsou dvě nezávislé náhodné proměnné, pak znalost hodnoty {{Math|''Y''}} neovlivňuje naši znalost hodnoty {{Math|''X''}} (protože tyto proměnné se vzájemně neovlivňují):
::<math> \Eta(X|Y)=\Eta(X).</math>
* Entropie dvou současných událostí není větší než suma entropií každé z událostí, přičemž rovnost nastane, jsou-li události nezávislé. Konkrétněji, jestliže {{Math|''X''}} a {{Math|''Y''}} jsou dvě náhodné proměnné na stejném pravděpodobnostním prostoru a {{Math|(''X'', ''Y'')}} označuje jejich [[kartézský součin]], pak
::<math> \Eta(X,Y)\leq \Eta(X)+\Eta(Y).</math>
* Entropie <math>\Eta(p)</math> je [[Konkávní funkce|konkávní]] v pravděpodobnostní funkci <math>p</math>, tj.
::<math>\Eta(\lambda p_1 + (1-\lambda) p_2) \ge \lambda \Eta(p_1) + (1-\lambda) \Eta(p_2)</math>
:pro všechny pravděpodobnostní hmotové funkce <math>p_1,p_2</math> a <math> 0 \le \lambda \le 1</math><ref name="cover1991" />.{{Rp|32}}

== Rozšíření diskrétní entropie na spojitý případ ==

=== Diferenciální entropie ===
{{Podrobně|Diferenciální entropie}}

Shannonova entropie je definována pouze pro náhodné proměnné nabývající diskrétních hodnot. Odpovídající vzorec pro spojitou náhodnou proměnnou s [[hustota pravděpodobnosti|hustotou pravděpodobnosti]] {{Math|''f''(''x'')}} s konečným nebo nekonečným nosičem <math>\mathbb X</math> na reálné ose je možné definovat analogicky použitím výše uvedeného tvaru entropie jako střední hodnoty:

:<math>h[f] = \operatorname{E}[-\ln (f(x))] = -\int_\mathbb X f(x) \ln (f(x))\, dx.</math>

Tato veličina se obvykle nazývá '''spojitá entropie''' nebo [[diferenciální entropie]]. Předchůdcem spojité entropie {{Math|''h''[''f'']}} je výraz pro funkcionál {{Math|''Η''}} v [[Boltzmann]]ově [[H-věta|H-větě]].

Přestože analogie mezi oběma funkcemi je sugestivní, je třeba položit otázku, zda je diferenciální entropie povoleným rozšířením Shannonovy diskrétní entropie. Diferenciální entropie postrádá některé vlastnosti Shannonovy diskrétní entropie&nbsp;– může být mimo jiné záporná&nbsp;– proto byly doporučovány opravy, především [[omezující hustota diskrétních bodů]].

Aby bylo možné odpovědět na tuto otázku, je nutné ukázat spojení mezi těmito dvěma funkcemi:

Pro získání obecně konečné míry, když se [[Histogram|velikost intervalů]], na které je rozsah hodnot rozdělen, blíží k nule. V diskrétním případě je velikost intervalu (implicitní) šířkou každého z {{Math|''n''}} (konečných nebo nekonečných) intervalů, jejíchž pravděpodobnosti jsou označeny {{Math|''p''<sub>''n''</sub>}}. Když uvažujeme rozšíření na spojitý případ, šířka intervalu musí být stanovena explicitně.

Vyjdeme od spojité funkce {{Math|''f''}} diskretizované na intervaly velikosti <math>\Delta</math>.
<!-- Obrázek: Diskretizační funkce $ f$ na intervaly šířky $ \Delta$ \includegraphics[šířka=\textwidth]{funkce-s-bins.eps} --><!-- Tento obrázek pochází z v http://planetmath.org/shannonsentropy ale je tam příliš rozbitý -->
Podle věty o střední hodnotě existuje hodnota {{Math|''x''<sub>''i''</sub>}} v každém intervalu tak, že

:<math>f(x_i) \Delta = \int_{i\Delta}^{(i+1)\Delta} f(x)\, dx</math>

[[integrál]] funkce {{Math|''f''}} lze aproximovat (v Riemannovském smyslu) jako

:<math>\int_{-\infty}^{\infty} f(x)\, dx = \lim_{\Delta \to 0} \sum_{i = -\infty}^{\infty} f(x_i) \Delta</math>

kde tato limita odpovídá tomu, že „velikost intervalu se blíží k nule“.

Označíme

:<math>\Eta^{\Delta} := - \sum_{i=-\infty}^{\infty} f(x_i)  \Delta \log \left(  f(x_i)  \Delta \right)</math>

a rozepsáním logaritmu dostáváme

:<math>\Eta^{\Delta} = - \sum_{i=-\infty}^{\infty}  f(x_i)  \Delta \log (f(x_i)) -\sum_{i=-\infty}^{\infty} f(x_i) \Delta \log (\Delta).</math>

Pro Δ → 0 máme

:<math>\begin{align}
\sum_{i=-\infty}^{\infty} f(x_i) \Delta &\to \int_{-\infty}^{\infty} f(x)\, dx = 1 \\
\sum_{i=-\infty}^{\infty} f(x_i) \Delta \log (f(x_i)) &\to \int_{-\infty}^{\infty} f(x) \log f(x)\, dx.
\end{align}</math>

Pamatujte, že {{Math|log(Δ) → −∞}} pro {{Math|Δ → 0}}, vyžaduje speciální definici diferenciální nebo spojité entropie:

:<math>h[f] = \lim_{\Delta \to 0} \left(\Eta^{\Delta} + \log \Delta\right) = -\int_{-\infty}^{\infty} f(x) \log f(x)\,dx,</math>

čemuž říkáme, jak již bylo řečeno, '''diferenciální entropie'''. To znamená, že diferenciální entropie ''není'' limitou Shannonovy entropie pro {{Math|''n'' → ∞}}. Naopak, liší se od limity Shannonovy entropie o nekonečné posunutí (viz také článek [[informační rozměr]]).

=== Omezení hustoty diskrétních bodů ===
{{Podrobně|Omezení hustoty diskrétních bodů}}

Ukazuje se, že diferenciální entropie, na rozdíl od Shannonovy entropie, obecně ''není'' dobrou mírou nejistoty nebo informace. Diferenciální entropie může být například záporná; také není invariantní vůči spojité transformaci souřadnic. Tento problém může být ilustrován změnou jednotek, pokud by ''x'' byla veličina, která má fyzikální rozměr. ''f(x)'' pak bude mít rozměr ''1/x''. Argument logaritmu musí být bezrozměrný, jinak je nevlastní, takže diferenciální entropie definovaná výše bude nevlastní. Pokud ''Δ'' je nějaká „standardní“ hodnota ''x'' (tj. „velikost intervalu“) a proto má stejný rozměr, pak lze modifikovanou diferenciální entropii zapsat v patřičném tvaru jako:

:<math>
H=\int_{-\infty}^\infty f(x) \log(f(x)\,\Delta)\,dx
</math>

Přičemž výsledek bude stejný pro jakoukoli volbu jednotek veličiny ''x''. Totiž limita diskrétní entropie pro <math> N \rightarrow \infty </math> by také obsahovala člen <math> \log(N)</math>, který by obecně byl nekonečný. To se dalo očekávat, protože po změně spojitých proměnných na diskrétní obvykle vyjde entropie nekonečná. [[Omezující hustota diskrétních bodů]] je skutečně mírou, o kolik snazší je popsat nějaké rozdělení než rozdělení, které je rovnoměrně přes své kvantizační schéma.

=== Relativní entropie ===
{{Podrobně|Zobecněná relativní entropie}}
Další užitečnou mírou entropie, která funguje stejně dobře pro diskrétní i spojitý případ, je '''relativní entropie''' rozdělení. Je definovaná jako [[Kullbackova–Leiblerova divergence]] z rozdělení na reference míra {{Math|''m''}} takto. Předpokládejme, že rozdělení pravděpodobnosti {{Math|''p''}} je [[Absolutně spojitá funkce|absolutně spojité]] vzhledem k míře {{Math|''m''}}, tj. má tvar {{Math|''p''(''dx'') {{=}} ''f''(''x'')''m''(''dx'')}} pro nějakou nezápornou {{Math|''m''}}-integrovatelnou funkci {{Math|''f''}} s {{Math|''m''}}-integrálem 1, pak lze relativní entropii definovat jako
:<math>D_{\mathrm{KL}}(p \| m ) = \int \log (f(x)) p(dx) = \int f(x)\log (f(x)) m(dx) .</math>

V tomto tvaru relativní entropie zobecňuje (až na změnu znaménka) jak diskrétní entropii, kde míra {{Math|''m''}} je [[Aritmetická míra|počítací míra]], tak diferenciální entropii, kde míra {{Math|''m''}} je [[Lebesgueova míra]]. Pokud míra {{Math|''m''}} je samotné rozdělení pravděpodobnosti, relativní entropie je nezáporná, a je nulová, jestliže {{Math|''p'' {{=}} ''m''}} jako míry. Je definována pro jakýkoli prostor s mírou, je tedy nezávislá na volbě souřadnic a invariantní vůči změně souřadnic, jestliže správně bereme v úvahu transformaci míry {{Math|''m''}}. Relativní entropie a implicitně entropie a diferenciální entropie, závisí na „referenční“ míře {{Math|''m''}}.

== Použití v kombinatorice ==
Entropie se stala užitečnou veličinou v [[kombinatorika|kombinatorice]].

=== Loomisova–Whitneyova nerovnost ===
Jejím jednoduchým příkladem je alternativní důkaz [[Loomisova–Whitneyova nerovnost|Loomisovy–Whitneyovy nerovnosti]]: pro každou podmnožinu {{Math|''A'' ⊆ '''Z'''<sup>''d''</sup>}}, máme
:<math> |A|^{d-1}\leq \prod_{i=1}^{d} |P_{i}(A)|</math>
kde {{Math|''P''<sub>''i''</sub>}} je [[ortogonální projekce]] v {{Math|''i''}}-té souřadnici:
:<math> P_{i}(A)=\{(x_{1}, \ldots, x_{i-1}, x_{i+1}, \ldots, x_{d}) : (x_{1}, \ldots, x_{d})\in A\}.</math>

Důkaz je jednoduchým důsledkem [[Shearerova nerovnost|Shearerovy nerovnosti]]:, jestliže {{Math|''X''<sub>1</sub>, …, ''X''<sub>''d''</sub>}} jsou náhodné proměnné a {{Math|''S''<sub>1</sub>, …, ''S''<sub>''n''</sub>}} jsou podmnožiny množiny {{Math|{1, …, ''d''}}} takové, že každé celé číslo mezi 1 a {{Math|''d''}} leží přesně v {{Math|''r''}} těchto podmnožinách, pak
:<math> \Eta[(X_{1}, \ldots ,X_{d})]\leq \frac{1}{r}\sum_{i=1}^{n}\Eta[(X_{j})_{j\in S_{i}}]</math>
kde <math> (X_{j})_{j\in S_{i}}</math> je kartézský součin náhodné proměnné {{Math|''X''<sub>''j''</sub>}} s indexy {{Math|''j''}} v {{Math|''S''<sub>''i''</sub>}} (takže rozměry tohoto vektoru se rovnají velikosti {{Math|''S''<sub>''i''</sub>}}).

Načrtneme, jak z uvedeného vyplývá Loomisova–Whitneyova nerovnost: Nechť {{Math|''X''}} je rovnoměrně distribuovaná náhodná proměnná s hodnotami v {{Math|''A''}}, takže každá hodnota {{Math|''A''}} má stejnou pravděpodobnost. Pak (z dalších vlastností entropie zmíněných výše) <math> \Eta(X) = \log |A|</math>, kde <math>|A|</math> označuje [[mohutnost množiny]] <math>A</math>. Nechť {{Math|''S''<sub>''i''</sub> {{=}} {1, 2, …, ''i''−1, ''i''+1, …, ''d''}}}. Hodnoty <math>(X_{j})_{j\in S_{i}}</math> jsou obsaženy v {{Math|''P''<sub>''i''</sub>(''A'')}}, a tedy <math> \Eta[(X_{j})_{j\in S_{i}}]\leq \log |P_{i}(A)|</math>. To nyní použijeme pro omezení pravé strany Shearerovy nerovnosti a aplikujeme exponenciální funkci na obě strany výsledné nerovnosti.

=== Aproximace binomickým koeficientem ===
Pro celá čísla {{Math|0 < ''k'' < ''n''}} položíme {{Math|''q'' {{=}} ''k''/''n''}}. Pak
:<math>\frac{2^{n\Eta(q)}}{n+1} \leq \tbinom nk \leq 2^{n\Eta(q)},</math>
kde
:<math>\Eta(q) = -q \log_2(q) - (1-q) \log_2(1-q).</math><ref>Aoki, New Approaches to Macroeconomic Modeling.</ref>{{Rp|43}}

Zde je náčrt důkazu. Uvědomíme si, že <math>\tbinom nk q^{qn}(1-q)^{n-nq}</math> je jeden člen výrazu
:<math>\sum_{i=0}^n \tbinom ni q^i(1-q)^{n-i} = (q + (1-q))^n = 1.</math>
Přeskupení dává horní mez. Pro dolní mez musíme nejdřív ukázat pomocí nějaké algebry, že se jedná o největší člen v sumě. Ale pak,
:<math>\binom nk q^{qn}(1-q)^{n-nq} \geq \frac{1}{n+1}</math>
protože suma má {{Math|''n'' + 1}} členů. Přeskupení dává dolní mez.

Hezkým důsledkem je, že počet binárních řetězců délky {{Math|''n''}}, které obsahují přesně {{Math|''k''}} jedniček, je přibližně <math>2^{n\Eta(k/n)}</math>.<ref>Probability and Computing, M. Mitzenmacher and E. Upfal, Cambridge University Press</ref>

== Odkazy ==

=== Reference ===
{{Překlad|en|Entropy (information theory)|933748908}}
<references />
''Tento článek obsahuje informace z článku '''Shannon's entropy''' z encyklopedie [[PlanetMath]], jejíž licence je podobná licencím [[Wikipedie:Text licence Creative Commons Attribution-ShareAlike 3.0 Unported|Creative Commons Attribution/Share-Alike]].

=== Související články ===
* [[Podmíněná entropie]]
* [[Křížová entropie]] – míra průměrného počtu bitů potřebné pro identifikaci události ze sady možností mezi dvěma rozděleními pravděpodobnosti
* [[Index rozmanitosti]] – alternativa se blíží pro určení množství rozmanitost v rozdělení pravděpodobnosti
* [[Entropie (šipka času)]]
* [[Entropické kódování]] – kódovací schéma, které přiřazuje kódy na symboly tak jako vyhovovat délkám kódu s pravděpodobností symbolů.
* [[Odhad entropie]]
* [[Nerovnost entropické síly]]
* [[Poměr entropií]]
* [[Fisherova informace]]
* [[Grafová entropie]]
* [[Hammingova vzdálenost]]
* [[Historie entropie]]
* [[Historie teorie informace]]
* [[Informační geometrie]]
* [[Sdružená entropie]] – míra, kolik entropie je obsaženo ve sdruženém systému dvou náhodných proměnných.
* [[Kolmogorovova–Sinaiova entropie]] v [[Dynamický systém|dynamických systémech]]
* [[Levenštejnova vzdálenost]]
* [[Vzájemná informace]]
* [[Negentropie]]
* [[Perplexita]]
* [[Kvalitativní variace]] – jiné míry [[Variabilita|variability]] pro [[Typy proměnných|nominální rozdělení]]
* [[Kvantová relativní entropie]] – míra rozlišitelnosti mezi dvěma kvantovými stavy.
* [[Rényiho entropie]] – zobecnění Shannonovy entropie; je jedním z rodiny funkcionálů pro kvantifikaci rozmanitosti, nejistoty nebo náhodnosti systému.
* [[Náhoda]]
* [[Shannonův index]]
* [[Theilův index]]
* [[Typoglykemie]]

=== Literatura ===
* Arndt, C. (2004), ''Information Measures: Information and its Description in Science and Engineering'', Springer, {{Isbn|978-3-540-40855-0}}
* [[Thomas M. Cover|Cover, T. M.]], Thomas, J. A. (2006), ''Elements of information theory'', 2. Edition. Wiley-Interscience. {{Isbn|0-471-24195-4}}.
* Gray, R. M. (2011), ''Entropy and Information Theory'', Springer.
* [[David J. C. MacKay|MacKay, David J. C.]]. ''[http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms]'' Cambridge: Cambridge University Press, 2003. {{Isbn|0-521-64298-1}}
* {{Citace monografie
 | autoři = Martin, Nathaniel F.G. & Anglie, James W.
 | titul = Mathematical Theory of Entropy
 | vydavatel = Cambridge University Press
 | rok = 2011
 | isbn = 978-0-521-17738-2
 | url = https://books.google.com/books?id=_77lvx7y8joC}}
* [[Claude Shannon|Shannon, C.E.]], [[Warren Weaver|Weaver, W.]] (1949) ''The Mathematical Theory of Communication'', Univ of Illinois Press. {{Isbn|0-252-72548-4}}
* Stone, J. V. (2014), Chapter 1 of [http://jim-stone.staff.shef.ac.uk/BookInfoTheory/InfoTheoryBookMain.html ''Information Theory: A Tutorial Introduction''], University of Sheffield, Anglie. {{Isbn|978-0956372857}}.

=== Externí odkazy ===
* {{Commonscat}}

* [https://encyclopediaofmath.org/index.php?title=Entropy Entropy] [[Matematičeskaja encyklopedija|Encyclopædia of Mathematics]], EMS Press 2004 (1994)
* [http://pespmc1.vub.ac.be/ENTRINFO.html Introduction to entropy and information] na webu [[Principia Cybernetica Web]]
* ''[http://www.mdpi.com/journal/entropy Entropy]'' interdisciplinární časopis o různých aspektech konceptu entropie. Volný přístup.
* [https://web.archive.org/web/20110515195708/http://www.rheingold.com/texts/tft/6.html Description of information entropy from "Tools for Thought" by Howard Rheingold]
* [http://math.ucsd.edu/~crypto/java/ENTROPY/ A java applet representing Shannon's Experiment to Calculate the Entropy of English]
* [https://web.archive.org/web/20190207130355/https://www.autonlab.org/tutorials/infogain.html Slidy o nárůstu informace a entropii]
* [[Wikibooks:An Intuitive Guide to the Concept of Entropy Arising in Various Sectors of Science|''An Intuitive Guide to the Concept of Entropy Arising in Various Sectors of Science'']] – wikibook o interpretaci konceptu entropie.
* [//researchspace.auckland.ac.nz/handle/2292/3427 Network Event Detection With Entropy Measures], Dr. Raimund Eimann, University of Auckland, PDF; 5993&nbsp;kB – PhD práce, která se zabývá tím, jak lze měření entropie použít pro detekci anomálií v sítích.
* [http://rosettacode.org/wiki/Entropy "Entropy"] na [[Rosetta Code]] – repozitář implementací výpočtu Shannonovy entropie v různých programovacích jazycích.
* [http://tuvalu.santafe.edu/~simon/it.pdf "Information Theory for Intelligent People"] {{Wayback|url=http://tuvalu.santafe.edu/~simon/it.pdf |date=20200613105841 }}. Krátký úvod do axiómů teorie informace, entropie, vzájemné informace, Kullbackovy–Lieblerovy divergence a Jensenovy–Shannonovu vzdálenosti.
* [http://www.shannonentropy.netmark.pl Online nástroj pro výpočet entropie (plain text)]
* [https://servertest.online/entropy Online nástroj pro výpočet entropie (binary)]
{{Autoritní data}}

{{Portály|Matematika}}

[[Kategorie:Entropie a informace| ]]
[[Kategorie:Teorie informace]]