Kódování (přenos informace)

Mějme informační zdroj $(𝒳,p)$. Pod pojmem kódování tohoto zdroje chápeme přiřazování určitých řetězců znaků konkrétním zprávám $x\in 𝒳$, jež vycházejí ze zdroje. Znaky v řetězcích přitom tvoří jistou abecedu $𝒟$. Pokud mají všechny řetězce stejnou délku $n$, pak za obor hodnot takového přiřazení stačí brát množinu ${𝒟}^n$, pokud se ale délka řetězců pro různé zprávy může lišit, bude obor hodnot takového přiřazení podmnožina množiny

${𝒟}^{\ast }=\bigcup _{n=1}^{\mathrm{\infty }}{𝒟}^n.$

Matematicky pak můžeme kód zdroje $(𝒳,p)$ definovat jako zobrazení

$C:𝒳\to {𝒟}^{\ast },$

kde $𝒟$ je jistá abeceda znaků. Obvykle se bere $𝒟=\{0,\dots ,D-1\}$ pro nějaké $D\ge 2$. Mluvíme pak o kódu $𝑫$-znakovém. Jestliže $D=2,3,\dots$, nazýváme daný kód binární, ternární, ...

Kód $C:𝒳\to {𝒟}^{\ast }$ se nazývá nesingulární, jestliže je $C$ prosté zobrazení.

Pod označením rozšířením kódu $C:𝒳\to {𝒟}^{\ast }$ chápeme zobrazení

$C^{\ast }:{𝒳}^{\ast }\to {𝒟}^{\ast },\text{kde}{𝒳}^{\ast }=\bigcup _{i=1}^{\mathrm{\infty }}{𝒳}^i,$

jež kóduje zdroj $({𝒳}^{\ast },p^{\ast })$ s libovolným rozdělením pravděpodobnosti $p^{\ast }$.

Kód nazýváme jednoznačně dekódovatelný, jestliže jeho rozšíření je nesingulární kód.

Mějme zprávu $x\in 𝒳$, resp $x\in {𝒳}^{\ast }$ a kód $C$, resp. $C^{\ast }$. Řetězce $C(x)$, resp. $C^{\ast }(x)$ (tj. obrazy zprávy $x$ při zobrazení $C$, resp. $C^{\ast }$) se pak nazývají kódová slova.