Zobrazení zdroje stránky Umělá neuronová síť

[[Soubor:Colored neural network.svg|náhled|Příklad neuronové sítě: vstup, skrytá vrstva, výstup]]
'''Umělá neuronová síť''', anglicky '''Artificial Neural Network''' či jen '''Neural Network (ANN, NN)''', je jeden z výpočetních modelů používaných v oblasti [[Umělá inteligence|umělé inteligence]]. Vzorem je chování neuronů v mozku, od toho je odvozen i název, v současnosti se však princip neuronových sítí od původního zamýšleného napodobení neuronů liší.<ref>{{Citace monografie
| titul = Tomáš Mikolov - Hyde Park Civilizace {{!}} Česká televize
| url = https://www.ceskatelevize.cz/porady/10441294653-hyde-park-civilizace/220411058090215/
| jazyk = cs
}}</ref> 

Umělá neuronová síť je struktura určená pro distribuované paralelní zpracování dat. Skládá se z umělých (formálních) neuronů, jejichž volným předobrazem je biologický [[neuron]]. Neurony jsou vzájemně propojeny [[Synapse|synaptickými]] vazbami a navzájem si předávají signály a transformují je pomocí [[Umělá neuronová síť#Aktivační funkce|aktivačních přenosových funkcí]]. Neuron má libovolný počet vstupů, ale pouze jeden výstup.

== Využití ==
Neuronové sítě se používají mimo jiné pro [[Počítačové vidění|rozpoznávání obrazů]]<ref>{{cite book |last1=Venkatesan |first1=Ragav |last2=Li |first2=Baoxin |url=https://books.google.com/books?id=bAM7DwAAQBAJ&q=vanishing+gradient |title=Convolutional Neural Networks in Visual Computing: A Concise Guide |date=2017-10-23 |publisher=CRC Press |isbn=978-1-351-65032-8 |language=en}}</ref> (např. ve formě [[pixel|pixelů]]) či [[Akustika|akustických]] (např. [[rozpoznávání řeči]]) nebo elektrických (např. [[Elektrokardiogram|EKG]], [[Elektroencefalografie|EEG]]) [[Signál|signálů]]<ref>{{cite book |last1=Zha |first1=Xiong |last2=Peng |first2=Hua |last3=Qin |first3=Xin |last4=Li |first4=Guang |url=https://www.mdpi.com/1424-8220/19/18/4042 |title=A Deep Learning Framework for Signal Detection and Modulation Classification |date=2019-9-19 |publisher=MDPI |language=en}}</ref>, dále ke [[klasifikace (umělá inteligence)|klasifikaci]], [[Komprese dat|kompresi]] či [[Shluková analýza|segmentaci]] dat<ref>{{Citace monografie| příjmení = Kohonen| jméno = Teuvo| titul = The self-organizing map| vydavatel = Proceedings of the IEEE 78 (9)| rok = 1990| počet stran =17| jazyk = en}}</ref>, k [[Predikce|predikci]] vývoje časových řad (např. [[Burzovní index|burzovních indexů]]), k [[Zpracování přirozeného jazyka|analýze psaného textu]]<ref>{{Citace elektronického periodika |titul = A Beginner's Guide to Word2Vec and Neural Word Embeddings |periodikum = Pathmind |url = http://wiki.pathmind.com/word2vec |jazyk = en |datum přístupu = 2022-10-29}}</ref> či k [[Filtrování zpráv|filtrování]] [[spam]]u. V lékařství slouží k diagnostice onemocnění či k prohlubování znalostí o fungování informačních systémů ([[Nervová soustava|nervových soustav]]) živých organismů. Například [[Grossbergova síť]]<ref>{{Citace monografie| příjmení = Grossberg| jméno = Stephen| titul = Recurrent neural networks| url = http://www.scholarpedia.org/article/Recurrent_neural_networks| vydavatel = Scholarpedia| rok = 2013| jazyk = en}}</ref> vznikla původně jako simulace fyziologického modelu rozpoznávání vzorů na [[Sítnice|sítnici]] lidského oka.

== Historie ==
První umělé neurony byly vytvořeny Warrenem McCullochem a Walterem Pittsem v roce 1943.<ref name=neuron>{{Citace monografie
| příjmení = McCulloch
| jméno = W. S. T.
| příjmení2 = Pitts
| jméno2 = W.
| titul = A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biophysics 5
| počet stran = 19
| jazyk = en
| rok = 1943
}}</ref> Tyto neurony fungovaly tak, že byl jejich výstup 0 nebo 1 v závislosti na tom, jestli vážená suma vstupních signálů překročila prahovou hranici, nebo ne. Jejich teorie byla, že takový neuron v principu spočte jakoukoli aritmetickou či logickou funkci. Tehdy však nebyla vypracována žádná tréninková metoda.

V padesátých letech přišel Frank Rosenblatt<ref>{{Citace monografie| příjmení = Rosenblatt| jméno = F.| titul = The Perceptron - a perceiving and recognizing automaton, Report 85–460–1, Cornell Aeronautical Laboratory| rok = 1957| jazyk = en}}</ref> s [[Perceptron|perceptrony]], které doprovázela již i učící pravidla. Perceptrony využíval k rozpoznávání vzorů. Mimo to dokázal, že pokud existují váhy, které zadaný problém řeší, pak k nim učící pravidlo konverguje.

Počáteční nadšení však uvadlo, když se zjištilo, že takovýto perceptron umí řešit pouze lineárně separovatelné úlohy. Frank Rosenblatt se sice snažil model upravit a rozšířit, ale nedařilo se mu to a tak až do osmdesátých let přestal být o perceptrony a neuronové sítě zájem.

V 80.&nbsp;letech došlo k vývoji vícevrstvých perceptronových sítí s asociačními pravidly, schopných aproximovat libovolnou [[Funkce (matematika)|vektorovou funkci]], díky čemuž nastala nová vlna zájmu o neuronové sítě,<ref>{{Citace monografie| příjmení = Hagan| jméno = Martin T.| titul = Neural network design| url = https://hagan.okstate.edu/NNDesign.pdf| rok = 2014| počet stran =800| vydání = druhé| jazyk = en}}</ref> který později částečně upadl kvůli neschopnosti učit sítě o větším počtu vrstev. Až okolo roku 2010 opět došlo k renesanci neuronových síti díky objevu hloubkového učení.

Nejužívanější způsob učení neuronových síti je algoritmus zpětného šíření chyby. Podle různých zdrojů<ref name="dreyfus1990">Stuart Dreyfus: ''Artificial Neural Networks, Back Propagation and the Kelley-Bryson Gradient Procedure.'' In: ''J. Guidance, Control and Dynamics.'' 1990.</ref><ref name="schmidhuber2015">[[Jürgen Schmidhuber]]: ''Deep learning in neural networks: An overview.'' In: ''Neural Networks.'' 61, 2015, S. 85–117. [http://arxiv.org/abs/1404.7828 ArXiv]</ref><ref name="scholarpedia2015">Jürgen Schmidhuber: ''Deep Learning.'' In: ''Scholarpedia.'' 10(11), 2015, S. 328–332. [http://www.scholarpedia.org/article/Deep_Learning#Backpropagation Section on Backpropagation]</ref> byly základy algoritmu zpětného šíření chyby v kontextu [[teorie řízení]] odvozeny z principů [[Dynamické programování|dynamického programování]]; konkrétně se na tom podíleli Henry J. Kelley v roce 1960<ref name="kelley1960">Henry J. Kelley: ''Gradient theory of optimal flight paths.'' In: ''Ars Journal.'' 30(10), 1960, S. 947–954. [http://arc.aiaa.org/doi/abs/10.2514/8.5282?journalCode=arsj (online)]</ref> a Arthur E. Bryson v roce 1961.<ref name="bryson1961">Arthur E. Bryson: ''A gradient method for optimizing multi-stage allocation processes.'' In: ''Proceedings of the Harvard Univ. Symposium on digital computers and their applications.'' April 1961.</ref> Roku 1962 publikoval Stuart Dreyfus jednodušší odvození pomocí [[Řetízkové pravidlo|řetězového pravidla]].<ref name="dreyfus1962">Stuart Dreyfus: ''The numerical solution of variational problems.'' In: ''Journal of Mathematical Analysis and Applications.'' 5(1), 1962, S. 30–45. [https://www.researchgate.net/publication/256244271_The_numerical_solution_of_variational_problems (online)]</ref> Vladimir Vapnik cituje ve své knize o [[support vector machines]] článek z roku 1963.<ref>A. E. Bryson, W. F. Denham, S. E. Dreyfus: ''Optimal programming problems with inequality constraints. I: Necessary conditions for extremal solutions.'' In: ''AIAA J.'' 1, 11, 1963, S. 2544–2550.</ref> V roce 1969 Bryson a Yu-Chi Ho algoritmus popsali jako vícestupňovou optimalizaci dynamických systémů.

V roce 1970 Seppo Linnainmaa publikoval obecnou metodu automatického derivování (AD) diskrétních sítí vnořených [[Diferencovatelnost|diferencovatelných]] funkcí.<ref name="lin1970">[[Seppo Linnainmaa]]: ''The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors.'' Master’s Thesis (in Finnish), Univ. Helsinki, 1970, S. 6–7.</ref><ref name="lin1976">[[Seppo Linnainmaa]]: ''Taylor expansion of the accumulated rounding error.''In: ''BIT Numerical Mathematics.'' 16(2), 1976, S. 146–160.</ref> Jedná se o moderní variantu metody zpětného šíření chyby, která je efektivní i v řídkých sítích.<ref name="grie2012">Andreas Griewank: ''Who Invented the Reverse Mode of Differentiation?'' Optimization Stories. In: ''Documenta Matematica.'' Extra Volume ISMP, 2012, S. 389–400.</ref><ref name="grie2008">Andreas Griewank, Andrea Walther: ''Principles and Techniques of Algorithmic Differentiation.'' 2. Auflage. SIAM, 2008.</ref>

V roce 1973 Stuart Dreyfus pomocí zpětného šíření chyby upravoval parametry řídicích systémů úměrně jejich chybovým gradientům.<ref name="dreyfus1973">Stuart Dreyfus: ''The computational solution of optimal control problems with time lag.'' In: ''IEEE Transactions on Automatic Control.'' 18(4), 1973, S. 383–385.</ref> Paul Werbos zmínil možnost uplatnění tohoto principu na umělé neuronové sítě roku 1974<ref name="werbos1974">[[Paul Werbos]]: ''Beyond regression: New tools for prediction and analysis in the behavioral sciences.'' PhD thesis. Harvard University 1974.</ref> a v roce 1982 tak učinil způsobem, který se používá nyní.<ref name="werbos1982">Paul Werbos: ''Applications of advances in nonlinear sensitivity analysis.'' In: ''System modeling and optimization.'' Springer, Berlin/ Heidelberg 1982, S. 762–770. [http://werbos.com/Neural/SensitivityIFIPSeptember1981.pdf (online)]</ref> O čtyři roky později David E. Rumelhart, Geoffrey E. Hinton a Ronald J. Williams experimentálně prokázali, že tato metoda může vést k užitečným interním reprezentacím vstupních dat v hlubších vrstvách neuronových sítí, což je základem hlubokého učení.<ref name="Rumelhart1986">[[David Rumelhart|David E. Rumelhart]], [[Geoffrey Hinton|Geoffrey E. Hinton]], [[Ronald J. Williams]]: ''Learning representations by back-propagating errors.'' In: ''[http://www.nature.com/nature/journal/v323/n6088/abs/323533a0.html Nature].'' Band 323, 1986, S. 533–536.</ref> V roce 1993 byl Eric A. Wan první, kdo vyhrál pomocí backpropagace mezinárodní soutěž v modelování dat.<ref name="wan1993">Eric A. Wan: ''Time series prediction by using a connectionist network with internal delay lines.'' In: ''Santa Fe Institute Studies in the Sciences of Complexity-Proceedings.'' Vol. 15, Addison-Wesley Publishing Co., 1993, S. 195–195.</ref>

V současnosti se neuronové sítě převážně užívají v úlohách [[zpracování přirozeného jazyka]] v rámci tzv. [[Jazykový model|jazykových modelů]] jako např. [[Word2Vec]] či [[Transformer]] a v úlohách [[Počítačové vidění|počítačového vidění]] v rámci tzv. [[Konvoluce|konvolučních]] neuronových sítí.

== Model umělého neuronu ==
Je popsána celá řada modelů neuronů. Od těch velmi jednoduchých používajících skokové přenosové funkce ([[perceptron]]) až po velmi složité popisující každý detail chování neuronu živého organismu, jako např. [[Hindmarshův-Roseův model neuronu]]<ref>{{Citace monografie | příjmení = Hindmarsh | jméno = J. L. | příjmení2 = Rose | jméno2 = R. M. | titul = A model of neuronal bursting using three coupled first order differential equations. Biological Sciences 221 (1222) | vydavatel = The Royal Society| místo = London | rok = 1984| počet stran = 16 | jazyk = en}}</ref>.
[[Soubor:NeuronModel.jpg|náhled|vpravo|Model umělého neuronu]]

Jedním z nejpoužívanějších je model popsaný McCullochem a Pittsem<ref name=neuron/>:

<math>y=f(\sum_{i=1}^N (w_i{}x_i{}) - \vartheta)</math>

kde:
* <math>x_i{}</math> jsou vstupy neuronu
* <math>w_i{}</math> jsou synaptické váhy
* <math>\vartheta</math> je práh
* <math>f</math> je aktivační funkce neuronu
* <math>y</math> je výstup neuronu
[[Soubor:Pásma citlivosti.png|náhled|Aktivační funkce. V levém sloupci sigmoida spolu se svými limitními případy, v pravém sloupci možné transformace dat přiváděných na vstupní resp. výstupní neurony.]]
Velikost vah <math>w_i{}</math> vyjadřuje uložení zkušeností do [[Synapse|synapsí]] neuronu. Čím je vyšší hodnota, tím je daný vstup důležitější. V biologickém neuronu práh <math>\vartheta</math> označuje prahovou hodnotu [[Akční potenciál|aktivace]] neuronu. Tzn. je-li <math>\sum_{i=1}^N (w_i{}x_i{})</math> menší než práh, je neuron pasivní (inhibovaný) a je-li <math>\sum_{i=1}^N (w_i{}x_i{})</math> větší než práh, je neuron aktivní (excitovaný).

== Aktivační funkce ==
Aktivační (přenosová) funkce neuronu v umělých neuronových sítích definuje výstup neuronu při zadání sady vstupů neuronu. Příkladem často užívané aktivační funkce je '''sigmoida''' (logistická funkce) o parametrech strmosti (určující šířku pásma citlivosti neuronu na svůj aktivační potenciál) a prahové hodnoty (určující posunutí počátku funkce) spolu s jejími limitními tvary jako je linearita pro strmost blížící se nekonečnu resp. ostrá nelinearita (skoková funkce) pro strmost blížící se nule:<ref name=UNS>{{Citace monografie| příjmení = Křivan| jméno = Miloš| titul = Umělé neuronové sítě| url = https://www.intelligentsoftware.eu/upload/pdf/Scriptum.pdf| vydavatel = Oeconomica| místo = Praha| rok = 2021| počet stran =76| vydání = první| isbn = 978-80-245-2420-7| jazyk = cs}}</ref>
:<math>f(x)={1\over (1+e^{-p(x-\vartheta)} )}</math>, tj. <math>\lim_{p\rightarrow \infty} f(x)=0</math> pro <math>x<0</math> a <math>\lim_{p\rightarrow \infty} f(x)=1</math> pro <math>x>0</math> resp. <math>\lim_{p\rightarrow 0} f(x)={1\over 2}</math>
Volbou aktivační funkce neuronů vstupní resp. výstupní vrstvy neuronové sítě můžeme určit způsob transformace dat na síť přiváděných:

* [[Logistická funkce|Sigmoida]]: <math>f(x)=(1+e^{-p(x-\vartheta)})^{-1}</math> - z ad 1) a ad 2) (viz níže) plyne <math>p={\ln 0,95-\ln 0,05 \over 3\sigma}\cong {1 \over \sigma}</math>

ad 1) z <math>0,95=(1+e^{-3p\sigma})^{-1}</math> plyne <math>e^{-3p\sigma}={0,05\over 0,95}</math>

ad 2) z <math>0,05=(1+e^{3p\sigma})^{-1}</math> plyne <math>e^{3p\sigma}={0,95\over 0,05}</math>

* [[Gaussova funkce|Gaussova křivka]]: <math>g(x)=e^{-p(x-\vartheta)^{2}}</math> - z <math>0,05=e^{-p6\sigma^{2}}</math> plyne <math>p=-{\ln 0,05 \over 6\sigma^{2}}\cong {1 \over 2\sigma^{2}}</math>

* [[Mexický klobouk (vlnka)|Mexický klobouk]]: <math>h(x)=-\sigma^{2}g''(x)</math> - uvedené transformaci resp. její nezáporné části odpovídají různá pásma citlivosti.

Parametry uvedených transformací mají následující význam:

ϑ – [[střední hodnota]] dat přiváděných na daný neuron z trénovací množiny

σ – [[směrodatná odchylka]] dat přiváděných na daný neuron z trénovací množiny

Kromě uvedených aktivačních funkcí se užívají ještě jejich různé modifikace:
* [[Identita (matematika)|Identita]] – linearita modifikovaná posunutím středu symetrie do počátku
* [[Hyperbolický tangens|Hyperbolická tangenta]] – rozšíření oboru hodnot sigmoidy na interval od -1 do +1
* [[ReLU]] – složení ostré linearity (vlevo od počátku) s identitou (vpravo od počátku)
* Radiální báze – Gaussova křivka resp. Mexický klobouk

== Architektury sítě ==
[[Soubor:Architektury neuronové sítě.png|náhled|Příklady architektury neuronových sítí: rekurentní autoasociativní paměť RAM, samorganizující síť SOM, vícevrstvý perceptron MLP.]]
Podle způsobů propojení neuronů existuje více různých architektur neuronových sítí, neurony se řadí do jednotlivých vrstev umístěných nad sebou:<ref name=UNS/>

[[Dopředná neuronová síť]]:
* [[Lineární heteroasociativní paměť]] – dvouvrstvá síť
* [[Perceptron]] – pouze jeden neuron
* [[Vícevrstvý perceptron]] – libovolný počet skrytých vrstev (minimálně třívrstvá síť)
* [[Samoorganizující síť]] – dvouvrstvá síť
[[Rekurentní neuronová síť]]:
* [[Lineární autoasociativní paměť]] – jednovrstvá síť
* Nelineární autoasociativní paměť [[Hopfieldova síť|(Hopfieldova)]] – jednovrstvá síť
* Nelineární heteroasociativní paměť [[Bidirektní asociativní paměť|(Bidirektní)]] – dvouvrstvá síť
* [[Grossbergova síť|Grossbergova]] či [[Adaptivní rezonanční teorie|ART]] dvouvrstvá síť spojitého času

== Učení sítě ==
Cílem učení neuronové sítě je nastavit síť tak, aby dávala co nejpřesnější výsledky. V biologických sítích jsou zkušenosti uloženy v synapsích. V umělých neuronových sítích jsou zkušenosti uloženy v jejich matematickém ekvivalentu – váhách. Učení neuronové sítě rozlišujeme na '''učení s učitelem (supervised learning)''' a '''učení bez učitele (unsupervised learning)'''. Fáze učení neuronové sítě bývá nazývána adaptivní, fáze vybavování po naučení neuronové sítě bývá nazývána aktivní.

=== Učení s učitelem ===
Při [[učení s učitelem]] trénovací data sestávají ze vstupních objektů (vektorů jejich příznaků) a jejich požadovaných výstupních ohodnocení, tj. závisle proměnných (obecně také ve tvaru vektorů), tj. výroků učitele o objektu. Podobně jako v biologických sítích je zde využita zpětná vazba. Neuronové síti je předložen vzor. Na základě aktuálního nastavení sítě je zjištěn aktuální výsledek. Ten porovnáme s vyžadovaným výsledkem a určíme chybu. Poté spočítáme nutnou korekci (dle typu neuronové sítě) a upravíme hodnoty vah či prahů, abychom snížili hodnotu chyby. Toto opakujeme až do dosažení námi stanovené minimální chyby. Poté je síť adaptována. Výstupem naučené funkce (jejíž příklady jsou obsaženy v trénovacích datech) pak mohou být spojité hodnoty (při [[regresní analýza|regresi]]) anebo binární hodnoty označující příslušnost vstupních objektů do daných tříd (při [[klasifikace (umělá inteligence)|klasifikaci]]). Naučená funkce pak dokáže odhadovat výstupní ohodnocení každého vstupního objektu (i neobsaženého v trénovacích datech) poté, co zpracuje trénovací příklady (tj. dvojice vstup a požadovaný výstup). Aby to dokázala, musí umět zobecnit (generalizovat) souvislost mezi vstupy a výstupy danou příklady obsaženými v trénovacích datech „smysluplným“ způsobem.<ref>{{Citace monografie | příjmení = Gentleman | jméno = R. | příjmení2 = Carey | jméno2 = V. J. | titul = Supervised Machine Learning. Bioconductor Case Studies | url = https://archive.org/details/bioconductorcase0000unse | vydavatel = Springer| místo = New York | rok = 2008| počet stran = 16 | isbn = 978-0-387-77239-4 | jazyk = en}}</ref>

Pozn.: Pokud se vstupní objekty shodují s požadovanými výstupními ohodnoceními, mluvíme o tzv. '''samoučení (self-supervised learning)''', tj. síť (např. [[Vícevrstvý perceptron|autoenkodér]]) se pak učí tzv. autoasociativní fuknkci.

=== Učení bez učitele ===
Na rozdíl od učení s učitelem trénovací data při učení bez učitele nemají vstupní data provázaná s cílovými proměnnými (ohodnocením, závisle proměnnou...), tj. schází výrok učitele a učení bez učitele tedy vykazuje samoorganizaci, která zachycuje vzory jako [[Hustota pravděpodobnosti|hustotu pravděpodobnosti]].<ref name="Hinton99a">{{cite book|first1=Geoffrey|last1=Hinton|first2=Terrence|last2=Sejnowski|title=Unsupervised Learning: Foundations of Neural Computation|publisher=MIT Press|year=1999|isbn=978-0262581684}}</ref> Učení bez učitele si tedy lze představit jako kompresi vstupních dat, např. snížení jejich dimense (v [[Analýza hlavních komponent|analýze hlavních komponent]]) nebo jejich redukci na diskrétní body (jako je tomu ve [[Shluková analýza|shlukové analýze]], kde vstupní data reprezentujeme označenými shluky), či jejich vyhlazení (odhad [[Distribuční funkce|distribučních funkcí]]). U neuronových sítí se učení bez učitele užívá typicky u [[Samoorganizující síť|kompetičních]] sítí. Při učení bez učitele nevyhodnocujeme správnost výsledku. Při tomto učení nám vyžadovaný výsledek není znám. Síť dostává na vstup sadu vzorů, které si sama třídí přizpůsobením své topologie. Vzory třídí do skupin a reaguje dle jejich typického zástupce.<ref>{{Citace monografie | příjmení = Gentleman | jméno = R. | příjmení2 = Carey | jméno2 = V. J. | titul = Unsupervised Machine Learning. Bioconductor Case Studies | url = https://archive.org/details/bioconductorcase0000unse | vydavatel = Springer| místo = New York | rok = 2008| počet stran = 21 | isbn = 978-0-387-77239-4 | jazyk = en}}</ref>

Pozn.: Kombinaci učení s učitelem a učení bez učitele označujeme jako '''semi-supervised learning'''.

=== Hebbovské učení ===
[[Donald Hebb|Hebbův]]<ref name="Hebb 1949">{{Citace monografie|příjmení=Hebb|jméno=D.O.|titul=The Organization of Behavior|url=https://archive.org/details/organizationofbe0000hebb|vydavatel=Wiley & Sons|místo=New York|rok=1949|jazyk=en}}</ref> princip učení lze popsat jako metodu určování, jak měnit váhy mezi umělými neurony. Váha mezi dvěma neurony se zvyšuje, pokud se oba neurony aktivují současně, a snižuje, pokud se aktivují odděleně. Uzly, které mají tendenci být buď oba pozitivní, nebo oba negativní současně, mají silné pozitivní váhy, zatímco ty, které mají tendenci být opačné, mají silné negativní váhy. Hebbovské učení se užívá u asociativních pamětí, jako je [[Hopfieldova síť|Hopfieldova]] či [[Bidirektní síť|bidirektní]] síť.

=== Přeučení ===
Přeučení je stav, kdy je systém příliš přizpůsoben množině trénovacích dat, ale nemá schopnost generalizace a selhává na validační množině dat. To se může stát např. při malém rozsahu trénovací množiny nebo pokud je systém příliš komplexní, např. příliš mnoho skrytých neuronů v neuronové síti. Řešením je zvětšení trénovací množiny, snížení složitosti systému nebo různé techniky regularizace, jako je zavedení náhodného šumu (což v zásadě odpovídá rozšíření trénovací množiny), zavedení omezení na parametry systému, které v důsledku snižuje složitost popisu naučené funkce, nebo předčasné ukončení učení (průběžné sledování chyby na validační množině a konec učení ve chvíli, kdy se chyba na této množině dostane do svého minima).

=== Data ===
Data určená pro učení neuronové sítě se skládají ze vstupních vektorů dat a odpovídajících vstupních vektorů dat (učení s učitelem). Pro správné naučení inteligentního systému je obvykle potřeba dostatečně reprezentativní množství trénovacích dat. Inteligentní systémy jsou v podstatě funkce, které ze vstupního vektoru vypočítají výstupní vektor a podle rozdílu od správného výstupního vektoru upraví své vnitřní parametry. Tento proces se opakuje, dokud není systém dostatečně naučen. Při učení se používají trénovací data, validační data či testovací data. Tato data mají být [[Disjunktní množiny|disjunktní]]. Pomocí trénovacích dat probíhá vlastní učení, podle chování na validačních datech se kontroluje přeučování a na testovacích datech se určuje úspěšnost učení na nových, neznámých datech. Trénovací data se tedy dle způsobu užití dělí do tří skupin:

* '''Trénovací množina''' je sada dat, ve které algoritmus nachází určitý vztah mezi vstupy a výstupy, tj. provádí jejich [[Regresní analýza|regresní analýzu]], čímž se učí.

* '''Validační množina''' je sada dat, která se používají pro případnou úpravu parametrů učení (hyperparametrů) ve snaze vyhnout se jeho přeučení. Systém je správně naučený tehdy, jestliže se shodnou úspěšností vyhodnocuje trénovací množinu i validační množinu. Pokud má vyhodnocení trénovací množiny výrazně vyšší úspěšnost, je systém přeučený.

* '''Testovací množina''' je sada dat, která se používají pro ověření kvality naučeného systému. 

V případě učení bez učitele se trénovací data skládají pouze ze vstupních vektorů dat obsažených v trénovací množině.

== Algoritmus zpětného šíření chyby ==
[[Soubor:Gradient descent.gif|náhled|Gradientní sestup]]
Algoritmus zpětného šíření chyby je typická metoda učení umělých neuronových sítí. Používá se u [[Vícevrstvý perceptron|vícevrstvých]] sítí při učení s učitelem, tedy pokud je na množině příkladů použitých k učení vždy znám požadovaný výsledek. Zpětné šíření chyby je založeno na metodě [[Gradientní sestup|gradientního sestupu]].

Kvalita naučení umělé neuronové sítě je popsána chybovou funkcí, nejčastěji kvadratickou chybou<ref name=UNS/>:

: <math>E\;=\;\frac{1}{2} \sum\limits^{N}_{j=1} \sum\limits^{n}_{i=1} (z_{ij}-y_{ij})^{2}\;=\;\sum\limits^{N}_{j=1} E_{j}</math>, pak <math>\Delta w\;=\;-\alpha {\partial E_{j} \over \partial w}</math>

: <math>E</math> – chyba
: <math>N</math> – počet vzorků předložených síti
: <math>n</math> – počet neuronů výstupní vrstvy
: <math>z_{ij}</math> – požadovaný výstup daného neuronu a daného vzorku
: <math>y_{ij}</math> – vypočítaný výstup daného neuronu a daného vzorku
: <math>\Delta w</math> – vektor přírůstků vah gradientního kroku
: <math>\alpha</math> – velikost gradientního kroku
[[Soubor:Zpětné šíření chyby.png|náhled|Zpětné šíření chyby]]

Jeden sestupný gradientní krok pak může vypadat následovně:<ref name=UNS/>

: <math>w_{ij}\left(T\right)=w_{ij}\left(T-1\right)+\alpha \ y_i\left(T\right)\ g_j(x_j(T))+\mu \ \Delta w_{ij}\left(T-1\right)</math>
: <math>{\vartheta }_i\left(T\right)={\vartheta }_i\left(T-1\right)+\alpha \ g_i(x_i(T))+\mu \ \Delta {\vartheta }_i\left(T-1\right)</math>
: <math>p_i\left(T\right)=p_i\left(T-1\right)+\alpha \ x_i\left(T\right)\ g_i(x_i(T))+\mu \ \Delta p_i\left(T-1\right)</math>

: <math>g_k(x_k)=p_ky_k(1-y_k)(z_k-y_k) \ \ \ \ \ g_i(x_i)=p_iy_i\left(1-y_i\right) \sum_j{g_j(x_j)\ w_{ij}}</math>

: <math>k\in V_M, j\in V_L, i\in V_{L-1}, L\in \left\{2,\dots ,M\right\}, T\in \left\{1,\dots ,N\right\}</math>

{{Sloupce|2|
: <math>x_i</math> – potenciál i-tého neuronu
: <math>y_i</math> – skutečný stav i-tého neuronu
: <math>z_i</math> – požadovaný stav i-tého neuronu
: <math>g_i</math> – adaptační funkce i-tého neuronu
: <math>p_i</math> – strmost aktivační funkce i-tého neuronu
: <math>\vartheta_i</math> – práh i-tého neuronu
: <math>w_{ij}</math> – váha vazby i-tého neuronu s j-tým neuronem
: <math>\alpha</math> – velikost gradientního kroku
: <math>\mu</math> – míra setrvačnosti gradientního sestupu
: <math>V_L</math> – populace neuronů L-té vrstvy
: <math>M</math> – počet vrstev sítě
: <math>\Delta</math> – předcházející přírůstek příslušné proměnné
}}

Cílem učení je minimalizovat [[Účelová funkce|chybovou funkci]] závislou na vstupních vahách neuronů, přičemž [[gradientní sestup]] obecně najde pouze [[Extrém funkce|lokální minimum]], proto se do gradientního sestupu zavádí jistá jeho setrvačnost, spočívající v míře respektování směru jeho minulého sestupného kroku, tj. k aktuálnímu gradientu se připočte minulý gradient a aktuální sestupný krok se provede ve směru jejich součtu. Tato deformace gradientního sestupu pak umožní vyklouznutí z mělkého lokálního minima. Učení neuronové sítě spočívá ve změně vah vstupů neuronů. Algoritmus zpětného šíření chyby v každém kroku postupuje v následujících třech fázích:

* Aplikují se vzorky a pro každý vzorek se postupně směrem vpřed napočítají výstupy (vstupní signál se sítí šíří směrem dopředu).
* Napočítané výstupy se porovnají s požadovanými výstupy, tj. spočte se chyba, jak byla popsána výše.
* Na základě spočtené chyby se počítají hodnoty adaptačních funkcí ve směru od poslední vrstvy k první vrstvě (pro výpočet hodnoty adaptačních funkcí podřazené vrstvy již musí být vypočteny hodnoty adaptačních funkcí nadřazené vrstvy), tj. spočítá se gradient chybové funkce, na základě kterého se provede sestupný gradientní krok, tj. upraví se vstupní váhy neuronů tak, že klesne hodnota chyby. Výpočet tedy postupuje zpětně od výstupní vrstvy až po vstupní vrstvu (odtud zpětné šíření chyby), váhy se mění podle jejich vlivu na chybu.

== Hluboké učení ==
[[Soubor:Tlumení chyby.png|náhled|Míra změn vah po jednotlivých vrstvách, daná tlumením zpětného šíření chyby, tj. první tři vrstvy se neučí prakticky vůbec, smysluplně se učí pouze poslední tři.]]
[[Hluboké učení]] je disciplína v rámci [[Strojové učení|strojového učení]], která se zabývá učením neuronových sítí s velkou hloubkou.<ref name=":0">{{Citace knihy
| příjmení = Goodfellow
| jméno = Ian
| příjmení2 = Bengio
| jméno2 = Yoshua
| příjmení3 = Courville
| jméno3 = Aaron
| titul = Deep Learning
| url = https://books.google.cz/books?hl=cs&lr=&id=omivDQAAQBAJ&oi=fnd&pg=PR5&dq=GOODFELLOW,+Ian%3B+BENGIO,+Yoshua%3B+COURVILLE,+Aaron.+Deep+Learning.&ots=MNS-aumIWT&sig=1qcDsOY9RgsiGTDJsJwcr4D78Ro&redir_esc=y#v=onepage&q&f=false
| vydavatel = MIT Press
| počet stran = 767
| jazyk = en
| rok = 2016
}}</ref> Hloubkou modelu se myslí počet vrstev neuronů, které jsou za sebou zapojeny tak, že výstup jedné vrstvy je vstupem vrstvy následující. U modelů hlubokého učení se přitom hloubka nachází často v řádech desítek a více vrstev. Pro odhad parametrů sítě (trénování) se obvykle používá algoritmus zpětného šíření chyby. Trénování probíhá ve dvou fázích, tj. nejprve předučení sítě dopředným směrem např. pomocí [[Autoenkodér|autoenkodérů]] (učení bez učitele) a poté doučení sítě zpětným směrem (učení s učitelem), eliminuje se tak tlumení zpětného šíření chyby. Metodologie hlubokého učení se prosadila kolem roku 2010 jako základní možnost pro řešení složitých problémů strojového učení jako je klasifikace obrazů, mluvené či psané řeči nebo překlady z jednoho přirozeného jazyka do jiného.

== Modulární neuronová síť ==
Biologické studie ukazují, že lidský mozek nepracuje jako jediná masivní síť, ale jako soubor malých sítí. Tento výzkum dal zrod konceptu modulárních neuronových sítí, ve kterých několik malých sítí spolupracuje nebo soutěží, aby vyřešily daný problém.
{{Upravit|poznámky=následují část je prakticky neozdrojovaná}}
=== Komise strojů ===
[[Komise strojů]] (''Committee of Machines''; CoM) je soubor různých modelů, které „hlasují“ pro zadaný příklad. To obvykle dává lepší výsledky ve srovnaní s dalšími modely neuronových sítí. Tato metoda směřuje ke stabilizaci výsledku. Je podobná obecné metodě [[bagging]], až na to, že nutná rozmanitost strojů se získává trénováním vycházejícím z různých náhodně vybraných startovních vah, oproti trénování na různých náhodně vybraných podmnožinách trénovacích dat.

=== Asociativní neuronové sítě (ASNN) ===
[[Asociativní neuronové sítě]] jsou rozšíření CoM, které jde za jednoduché průměrování výsledků různých neuronových sítí. ASNN představuje kombinaci souboru dopředných neuronových sítí a techniky [[K-nejbližší soused|k-nejbližšího souseda]]. Tato metoda používá korelaci mezi jednotlivými odezvami sítí souboru jako míru vzdálenosti mezi analyzovanými vzory pro techniku k-nejbližšího souseda. Asociativní neuronová síť má paměť, která obsahuje tréninkovou sadu vzorů. Pokud jsou k dispozici nová data v tréninkové sadě neobsažená, síť poskytuje přiměřenou aproximaci jejich odezvy bez nutnosti přetrénování souboru neuronových sítí, a to korekcí zkreslení nových dat vůči tréninkové sadě. Tato vlastnost ASNN zlepšuje její prediktivní schopnost oproti tradičním neuronovým sítím.

== Odkazy ==

=== Reference ===
<references/>

=== Související články ===
* [[Genetický algoritmus]]
* [[Simulované žíhání]]
* [[Prediktivní analýza]]

=== Externí odkazy ===
* {{Commonscat}}
* {{TDKIV}}
* [http://www.obitko.com/tutorials/predpovidani-neuronovou-siti/ Předpovídání pomocí neuronové sítě] – včetně Java appletu pro experimenty s předpovídáním funkce

{{Autoritní data}}
{{Portály|Informační věda a knihovnictví}}

[[Kategorie:Umělé neuronové sítě]]