Grossbergova neuronová síť

Zvýšení kontrastu (červená) obrazu na sítnici (modrá) ve vizuálním kortexu.

Grossbergova síť je dvouvrstvá dopředná umělá neuronová síť představená Stephenem Grossbergem. Je to samoorganizující síť pracující ve spojitém čase zvyšující na druhé vrstvě kontrast na první vrstvu předloženého vzoru. Grossberg, neurovědec a biomedicínský inženýr, navrhl tuto síť na základě modelu lidského vidění.

Shunting model

Grossbergův model vývoje úrovně aktivace neuronu je popsaný diferenciální rovnicí:

$\frac{dx}{dt}+Ax=(B-x)I^{+}-(C+x)I^{-}$,

kde $x$ představuje úroveň aktivace neuronu, $I^{+}$ a $I^{-}$ představují excitační a inhibiční vstupy neuronu a $A$, $B$ a $C$ jsou nezáporné konstanty představující rychlost vývoje úrovně aktivace neuronu a maximální a minimální úroveň aktivace neuronu.

Leaky integrator a Instar učení

Vývoj aktivace výstupního neuronu ve formě Leaky integratoru.

Pro $A+I^{+}+I^{-}=1$ a $B{I}^{+}-C{I}^{-}=Z$ dostaneme model vývoje úrovně aktivace výstupního neuronu resp. jeho řešení ve tvaru:

$\frac{dy}{dt}+y=Z$ resp. $y=Z(1-e^{-t})$, tj. pro $t\to \mathrm{\infty }$ dostaneme $y=Z$ (Short-term memory (STM)),

přičemž učící instar pravidlo (učení bez učitele), tj. ukládání úrovně aktivace vstupního neuronu (presynaptická aktivita) do váhy vstupu výstupního neuronu resp. jeho řešení pro $t\to \mathrm{\infty }$ máme ve tvaru:

$\frac{dw}{dt}+yw=xy$ resp. $w=x$ (Long-term memory (LTM)),

kde $w=w(t)$ představuje váhu vstupu výstupního neuronu a $x=x(t)$ resp. $y=y(t)$ představují úroveň aktivace vstupního resp. výstupního neuronu.

Outstar učení a Hebbovské učení

Model synaptické vazby ohodnocené vahou w mezi vstupním a výstupním lineárním neuronem s úrovní aktivace x resp. y a injektovaným vstupem X resp. Y.

Pro srovnání učící outstar pravidlo (učení s učitelem), tj. ukládání úrovně aktivace výstupního neuronu (postsynaptická aktivita) do váhy vstupu výstupního neuronu resp. jeho řešení pro $t\to \mathrm{\infty }$ máme ve tvaru:

$\frac{dw}{dt}+xw=xy$ resp. $w=y$

a učící Hebbovo pravidlo (učení s učitelem), tj. ukládání úrovně aktivace vstupního neuronu vážené úrovní aktivace výstupního neuronu do váhy vstupu výstupního neuronu resp. jeho řešení pro $t\to 1$ při zanedbání změny úrovně aktivace neuronů v čase máme ve tvaru:

$\frac{dw}{dt}=xy$ resp. $w=xy\underset{0}{\overset{1}{\int }}dt$ tj. $w=xy$.

Normalizace vzoru

Vazby výstupního (středního) neuronu Grossbergovy sítě.

Přepišme model vývoje úrovně aktivace neuronu do vektorového tvaru, tj. pro vstupní vrstvu o n neuronech pro $I^{+}=W^{+}I$ a $I^{-}=W^{-}I$:

$\frac{dx}{dt}+Ax=(B-x)W^{+}I-(C+x)W^{-}I$,

kde $W^{+}$ resp. $W^{-}$ je jednotková matice řádu n resp. jednotková matice řádu n modifikovaná záměnou jedniček za nuly a naopak, určující propojení neuronů vrstvy vzájemnými excitačními (on-center) resp. inhibičními (off-surround) vazbami, pak pro i-tou složku modelu pro $A=1$, $B=1$ a $C=0$ dostaneme:

$\frac{d{x}_i}{dt}=-x_i+(1-x_i)I_i-x_i(I_1+...+I_n-I_i)=-(1+I_{\mathrm{\Sigma }})x_i+I_i$,

kde $I_{\mathrm{\Sigma }}=I_1+...+I_n$ a pro nulové počáteční podmínky pak obdržíme předpis vývoje úrovně aktivace neuronu resp. ustálený stav aktivace neuronu ve tvaru:

$x_i(t)={\mu }_i\frac{I_{\mathrm{\Sigma }}}{(1+I_{\mathrm{\Sigma }})}(1-e^{-(1+I_{\mathrm{\Sigma }})t})$ resp. $x_i(\mathrm{\infty })={\mu }_i\frac{I_{\mathrm{\Sigma }}}{(1+I_{\mathrm{\Sigma }})}$,

kde ${\mu }_i=\frac{I_i}{I_{\mathrm{\Sigma }}}$ pro $I_{\mathrm{\Sigma }}>0$ a pro lineární přenosovou funkci představuje normalizovaný vzor.

Kontrast vzoru

Vliv volby typu přenosové funkce na zobrazení předloženého vzoru na výstupní vrstvě.

V případě výstupní vrstvy se k excitačnímu vstupu daného neuronu ještě připočte příspěvek vstupní vrstvy, tj. skalární součin aktivit vstupních neuronů s vahami vstupu daného výstupního neuronu. Volba přenosové funkce výstupních neuronů má vliv na zobrazení předloženého vzoru na výstupní vrstvě. Zvýšení kontrastu předloženého vzoru na výstupní vrstvě při sigmoidální přenosové funkci výstupních neuronů je automaticky dosaženo vývojem úrovně aktivace výstupních neuronů k ustáleným stavům (Lateral inhibition). Sigmoidní funkce jsou rychlejší než lineární pro malé signály, lineární pro střední signály a pomalejší než lineární pro velké signály.

Související články

• Adaptivní rezonanční teorie

Literatura

• Šablona:Citace monografie

• Šablona:Citace monografie