Zobrazení zdroje stránky Support vector machines

'''Support vector machines''' ('''SVM''') neboli '''metoda podpůrných vektorů''' je metoda [[Strojové učení|strojového učení]] s [[Učení s učitelem|učitelem]], sloužící zejména pro [[Klasifikace (umělá inteligence)|klasifikaci]] a také pro [[Regresní analýza|regresní analýzu]]. Na jejím vynalezení se podílel zejména [[Vladimir Vapnik]].

== Popis metody ==
Základem metody SVM je [[lineární funkce|lineární klasifikátor]] do dvou tříd. Cílem úlohy je nalézt [[nadrovina|nadrovinu]], která [[prostor příznaků]] optimálně rozděluje tak, že [[trénovací data]] náležející odlišným třídám leží v opačných poloprostorech. [[Optimalita|Optimální]] nadrovina je taková, že hodnota minima vzdáleností bodů od [[Rovina|roviny]] je co největší. Jinými slovy, okolo nadroviny je na obě strany co nejširší pruh bez bodů (''[[maximální odstup]]'', angl. ''maximal margin'', česky je tento pruh někdy nazýván také ''pásmo necitlivosti'' nebo ''hraniční pásmo''). Na popis nadroviny stačí pouze body ležící na okraji tohoto pásma a těch je obvykle málo - tyto body se nazývají ''podpůrné [[vektor]]y'' (angl. support vectors) a odtud název metody.

Důležitou součástí techniky Support vector machines je [[jádrová transformace]] (angl. kernel transformation) prostoru příznaků dat do prostoru transformovaných příznaků typicky vyšší [[Dimenze vektorového prostoru|dimenze]]. Tato jádrová transformace umožňuje převést původně lineárně neseparovatelnou úlohu na úlohu lineárně separovatelnou, na kterou lze dále aplikovat optimalizační [[algoritmus]] pro nalezení rozdělující nadroviny. Trik je v tom, že nadrovina je popsána a při výpočtech je použitý pouze [[skalární součin]], a skalární součin transformovaných dat ''<f(x), f(x1)>'' ve vysokorozměrném prostoru se nepočítá explicitně, ale počítá se ''K(x, x1)'', tj. hodnota [[Jádrová funkce|jádrové funkce]] ''K'' na datech v původním prostoru parametrů.

Používají se různé kernelové transformace. Intuitivně, vyjadřují podobnost dat, tj. svých dvou vstupních argumentů. Výhodou této metody (a jiných metod založených na jádrové transformaci) je, že transformace se dá definovat pro různé typy objektů, nejen body v R<sup>n</sup>. Např. pro grafy, stromy, posloupnosti DNA atd.

== Lineární SVM ==
Lineární SVM je jednodušší varianta SVM metody, při které zůstáváme v původním prostoru příznaků a nedochází k žádné jádrové transformaci. Výsledkem potom je čistě lineární klasifikátor.

=== Separabilní případ ===
[[Soubor:Svm_max_sep_hyperplane_with_margin.png|vpravo|náhled|Optimální rozdělující nadrovina a hraniční pásmo pro lineární SVM. Body na okrajích pásma jsou podpůrné vektory.]]

Nejjednodušším případem použití SVM je lineární klasifikátor pro lineárně separabilní data, tedy data, ve kterých lze obě třídy od sebe rozdělit nadrovinou. Mějme množinu trénovacích dat v podobě dvojic <math> (\vec{x}_i, y_i) </math>, kde <math> \vec{x}_i </math> je vektor a <math>{y_i}</math> je informace od učitele nabývající hodnoty +1 nebo -1.

Nadrovinu, rozdělující body do dvou tříd, lze popsat rovnicí {{vzorec|<math> \vec{w} \cdot \vec{x} + b = 0, </math>|1}}
kde <math>{\vec{w}}</math> je normála nadroviny, <math>{||\vec{w}||}</math> její Eukleidovská norma a <math>{|b|/||\vec{w}||}</math> vzdálenost nadroviny od počátku souřadnic.

Nejkratší vzdálenosti nejbližších bodů na každé straně nadroviny od ní značíme <math>{d_{+}}</math> a <math>{d_{-}}</math>. Součet <math>{d_{+} + d_{-}}</math> pak představuje šířku hraničního pásma. Cílem trénování SVM pak je nalézt takovou rozdělující nadrovinu, aby hraniční pásmo bylo nejširší možné. Body, ležící na hranici tohoto pásma a jejichž odebráním by se poloha optimální nadroviny změnila, jsou [[Podpůrný vektor|podpůrné vektory]] (angl. ''support vectors'').

==== Formulace úlohy ====
Předpokládejme, že pro všechny body platí
{{vzorec|<math> \vec{x}_i \cdot \vec{w} + b \ge +1 \quad \text{pro } y_i = +1, </math>|2}}
{{vzorec|<math> \vec{x}_i \cdot \vec{w} + b \le -1 \quad \text{pro } y_i = -1, </math>|3}}

což lze sloučit do jediné [[nerovnice]]
{{vzorec|<math> y_i(\vec{x}_i \cdot \vec{w} + b) - 1 \ge 0 \quad \forall i.</math>|4}}

Body, pro které platí rovnost v ({{odkaz na vzorec|2}}), leží na nadrovině <math> H_1: \vec{w} \cdot \vec{x} + b = 1</math>.

Body, pro které platí rovnost v ({{odkaz na vzorec|3}}), leží na nadrovině <math> H_2: \vec{w} \cdot \vec{x} + b = -1</math>.

Nadroviny <math>H_1</math> a <math>H_2</math> jsou kolmé na stejný [[Normála|normálový vektor]] <math> \vec{w}</math> a jejich vzdálenost od rozdělující nadroviny je <math> 1/||\vec{w}||</math>. Šířka hraničního pásma tedy je <math> 2/||\vec{w}||</math> a nadroviny s nejširším pásmem můžeme určit minimalizací <math> ||\vec{w}||</math> vzhledem k podmínkám ({{odkaz na vzorec|4}}).

Pozn.: Z praktických důvodů se místo <math>||\vec{w}||</math> minimalizuje <math>||\vec{w}||^2 / 2</math>.

==== Lagrangeovská formulace ====
[[Lagrangeovská formulace]] úlohy má dvě hlavní výhody:
* Namísto podmínky ({{odkaz na vzorec|4}}) je omezení na samotné [[Lagrangeův multiplikátor|Lagrangeovy multiplikátory]], s čímž se lépe pracuje.
* Trénovací data se ve všech výrazech vyskytují jen ve [[skalární součin|skalárních součinech]], což je velmi důležité u nelineárního případu.

Zavedené nezáporné Lagrangeovy [[multiplikátor]]y <math>\lambda_i, i=1,\dots,l </math>, jeden pro každou nerovnost v ({{odkaz na vzorec|4}}).

Lagrangeova funkce:
{{vzorec|<math> L_P = \frac{1}{2}||\vec{w}||^2 - \sum_{i=1}^{l}\lambda_i y_i(\vec{x}_i \cdot \vec{w} + b) + \sum_{i=1}^{l}\lambda_i </math>|5}}

Je třeba minimalizovat <math>L_P</math> vzhledem k <math>\vec{w}</math>, <math></math> a derivace <math>L_P</math> vzhledem ke všem <math>\lambda_i</math> musejí být nulové, vše za omezení <math>\lambda_i\ge 0</math>.

Jedná se o konvexní problém [[Kvadratické programování|kvadratického programování]], proto lze místo toho řešit duální problém - hledání ''[[Maximum|maxima]]'' <math>L_P</math> za následujících podmínek: že [[Gradient (matematika)|gradient]] <math>L_P</math> vzhledem k <math>\vec{w}</math> a <math>b</math> je nulový, a že <math>\lambda_i\ge 0</math>.

Aby gradient podle <math>\vec{w}</math> a <math>b</math> byl nulový, musí platit
{{vzorec|<math>\vec{w} = \sum_i\lambda_i y_i \vec{x}_i\;</math>|6}}
{{vzorec|<math>\sum_i \lambda_i y_i = 0\;</math>|7}}

Dosazením do ({{odkaz na vzorec|5}}) se získá duální [[Lagrangeova funkce]] (<math>L_P</math> - primární, <math>L_D</math> - duální)
{{vzorec|<math>L_D = \sum_i \lambda_i - \frac{1}{2}\sum_{i,j}\lambda_i\lambda_j y_i y_j \mathbf{x}_i \cdot \mathbf{x}_j\;</math>|8}}

Trénování SVM spočívá v maximalizaci <math>L_D</math> vzhledem k <math>\lambda_i</math>, při omezení ({{odkaz na vzorec|8}}) a <math>\lambda_i \ge 0</math>, s řešením daným ({{odkaz na vzorec|6}}).

Máme jedno <math>\lambda_i</math> pro každý [[trénovací bod]], přičemž body, pro které <math>\lambda_i>0</math> jsou podpůrné vektory a leží v nadrovinách <math>H_1</math> nebo <math>H_2</math>, zatímco všechny ostatní mají <math>\lambda_i = 0</math> a leží buď v jedné z nadrovin, nebo na té straně od nich, pro kterou platí ostrá nerovnost v ({{odkaz na vzorec|4}}).

Podpůrné vektory jsou nejdůležitějšími body trénovací množiny - pokud by se všechny ostatní body odstranily, novým natrénováním by se získala tatáž rozdělující nadrovina.

==== Karushovy-Kuhnovy-Tuckerovy podmínky ====
[[Karushovy-Kuhnovy-Tuckerovy podmínky|Karushovy-Kuhnovy-Tuckerovy (KKT) podmínky]] jsou nutné podmínky pro optimální řešení v úloze [[Nelineární programování|nelineárního programování]] za předpokladu splnění určitých podmínek regularity. Pro [[konvexní problém]]y jsou zároveň i postačujícími podmínkami.

SVM představují konvexní problém a podmínky regularity jsou pro ně splněné vždy. KKT podmínky jsou tím pádem nutné a postačující, aby <math>\vec{w}, b, \lambda</math> byly řešením.

Pro primární problém KKT podmínky vypadají následovně:

: <math>
\begin{align}
\frac{\partial}{\partial w_{\nu}}L_P = w_{\nu} - \sum_i \lambda_i y_i x_{i\nu} = 0 &  \qquad \nu = 1,\dots,d\\
\frac{\partial}{\partial b}L_P = -\sum_i \lambda_i y_i = 0\\
y_i(\mathbf{x}_i\cdot \mathbf{w} + b) - 1 \ge 0 & \qquad i=1,\dots,l\\
\lambda_i \ge 0 &  \qquad \forall i\\
\lambda_i (y_i(\mathbf{w} \cdot \mathbf{x}_i + b) - 1) = 0 & \qquad\forall i
\end{align}
</math>

KKT podmínky hrají roli při [[Numerická metoda|numerickém řešení]] SVM úlohy (viz [[#Metody řešení|sekce Metody řešení]]).

==== Testovací fáze ====
V testovací fázi klasifikujeme neznámé body, u nichž nevíme, do které třídy skutečně náležejí. Toto zjistíme tak, že spočítáme <math>\sgn (\vec{w} \cdot \vec{x} + b)</math> a výsledné znaménko nám řekne, na které straně rozdělující nadroviny daný bod leží. Podle toho ho přiřadíme do odpovídající třídy.

=== Neseparabilní případ ===
Složitější variantou lineárních SVM je případ, kdy se snažíme lineárně oddělit data, která nejsou plně lineárně separovatelná. Například se může jednat o zašuměná data, kde se jednotlivé třídy částečně překrývají a není proto možné najít jednoznačnou hranici. V takovémto případě chceme najít takovou rozdělující nadrovinu, aby k chybné klasifikaci docházelo co nejméně.

V takovéto situaci se provádí zmírnění podmínek ({{odkaz na vzorec|2}}) a ({{odkaz na vzorec|3}}) s přidanou cenou za jejich porušení, a to zavedením přídavné proměnné <math>\xi</math>:

{{vzorec|<math> \vec{x}_i \cdot \vec{w} + b \ge +1-\xi_i \quad \text{pro } y_i = +1, </math>|14}}
{{vzorec|<math> \vec{x}_i \cdot \vec{w} + b \ge -1-\xi_i \quad \text{pro } y_i = -1, </math>|15}}
{{vzorec|<math> \xi_i \ge 0 \quad \forall i</math>|16}}

Pro přiřazení ceny navíc za chyby se pak minimalizovaná funkce stanoví místo <math>||\vec{w}||^2 / 2</math> jako <math>||\vec{w}||^2 / 2 + C\cdot\sum_i \xi_i</math>, kde <math>C</math> je volitelný parametr a větší <math>C</math> znamená větší penalizaci chyb.

Duální problém pak je:

Maximalizovat
{{vzorec|<math> L_D = \sum_i \lambda_i - \frac{1}{2}\sum_{i,j}\lambda_i\lambda_j y_i y_j \vec{x}_i \cdot \vec{x}_j</math>|17}}
za podmínek
{{vzorec|<math> 0 \le \lambda_i \le C </math>|18}}
{{vzorec|<math> \sum_i \lambda_i y_i = 0. </math>|19}}

Řešení je opět
{{vzorec|<math> \vec{w} = \sum_{i=1}^{N_S}\lambda_i y_i \vec{x}_i, </math>|20}}
kde <math> N_S</math> je počet podpůrných vektorů.

Jediný rozdíl oproti předchozímu případu je tedy ten, že <math> \lambda_i </math> nyní jsou shora omezené <math> C </math>.

Primární Lagrangeova funkce je
{{vzorec|<math>L_P = \frac{1}{2}||\vec{w}||^2 + C\sum_i\xi_i - \sum_i\lambda_i\{ y_i(\vec{x}_i \cdot \vec{w} + b) - 1 + \xi_i\} + \sum_i\mu_i\xi_i,</math>|21}}
kde <math>\mu_i</math> jsou Lagrangeovy multiplikátory zavedené pro zajištění <math>\xi_i \ge 0</math>.

KKT podmínky pro primární problém pak jsou
{{vzorec|<math> \frac{\partial L_P}{\partial w_{\nu}} = w_{\nu} - \sum_i \lambda_i y_i x_{i\nu} = 0</math>|22}}
{{vzorec|<math> \frac{\partial L_P}{\partial b}= -\sum_i \lambda_i y_i = 0</math>|23}}
{{vzorec|<math> \frac{\partial L_P}{\partial \xi_i}= C -\lambda_i -\mu_i = 0</math>|24}}
{{vzorec|<math> y_i(\mathbf{x}_i\cdot \mathbf{w} + b) - 1 + \xi_i \ge 0</math>|25}}
{{vzorec|<math> \xi_i \ge 0</math>|26}}
{{vzorec|<math> \lambda_i \ge 0</math>|27}}
{{vzorec|<math> \mu_i \ge 0</math>|28}}
{{vzorec|<math> \lambda_i \{y_i(\vec{x}_i \cdot \vec{w} + b) - 1 + \xi_i\} = 0</math>|29}}
{{vzorec|<math> \mu_i \xi_i = 0</math>|30}}
kde <math>i</math> jde od 1 do počtu trénovacích bodů, <math>\nu</math> jde od 1 do [[Dimenze vektorového prostoru|dimenze]] dat.

Práh <math>b</math> lze určit na základě podmínek ({{odkaz na vzorec|29}}) a ({{odkaz na vzorec|30}}) dosazením jednoho z trénovacích bodů.

== Nelineární SVM ==
[[Soubor:Nonlinear SVM example illustration.svg|náhled|Ilustrace jádrové transformace: původní data ve 2D prostoru (vlevo) nejsou lineárně separabilní. Po transformaci do 3D prostoru (vpravo) je lze oddělit rovinou. Použita jádrová funkce <math>K(x_i,x_j) = (x_i \cdot x_j)^2</math>, zobrazení <math>\Phi(\vec{x}) = (x_1^2, \sqrt{2}x_1x_2, x_2^2)</math>.]]

V lineárním případě se jednalo o data, která byla plně nebo téměř lineárně separovatelná. Obecně toto však často neplatí a z toho důvodu byly zavedeny nelineární SVM. Základní myšlenkou je použití tzv. [[Jádrový trik|jádrového triku]] (anglicky ''kernel trick''), s jehož pomocí se provádí transformace dat z původního prostoru příznaků do prostoru vyšší dimenze, ve kterém již jsou lineárně separabilní.

Jinými slovy, provádíme zobrazení trénovacích dat z původního prostoru do jiného [[Eukleidovský prostor|eukleidovského prostoru]] <math>\mathcal{H}</math>, ve kterém toto už platit bude:
{{vzorec|<math> \Phi : \mathbf{R}^d \mapsto \mathcal{H} </math>|31}}

Prostor <math>\mathcal{H}</math> je obvykle mnohem větší, i až nekonečné, dimenze než původní prostor, dále značený <math>\mathcal{L}</math>, a v <math>\mathcal{L}</math> většinou neexistuje vektor, jehož obrazem by byl vektor <math>\vec{w}</math>.

Jelikož v rovnicích ({{odkaz na vzorec|17}}-{{odkaz na vzorec|19}}) se trénovací data vyskytují jen v podobě skalárních součinů mezi sebou, nemusíme vůbec znát zobrazení <math>\Phi</math>, stačí pouze znát vztah pro skalární součin <math>\Phi(x_i) \cdot \Phi(x_j)</math>. Využívá se tzv. jádrová funkce (angl. ''kernel function''}) <math>K(x_i,x_j) = \Phi(x_i) \cdot \Phi(x_j)</math>.

V testovací fázi lze použití <math>\vec{w}</math> také obejít - pro určení, do které třídy bod spadá, počítáme [[funkce signum|funkci signum]] z výrazu
{{vzorec|<math> f(x) = \sum_{i=1}^{N_S} \lambda_i y_i \Phi(\vec{s}_i) \cdot \Phi(\vec{x}) + b = \sum_{i=1}^{N_S}\lambda_i y_i K(\vec{s}_i,\vec{x}) + b,</math>|32}}
kde <math> \vec{s}_i </math> jsou podpůrné vektory.

=== Příklady nelineárních SVM ===
Mezi často používané jádrové funkce patří například:

* [[Polynom]] stupně <math>p</math>:
{{vzorec|<math> K(\mathbf{x},\mathbf{y}) = (\mathbf{x} \cdot \mathbf{y} + 1)^p </math>|33}}

* Radiální bázové funkce:
{{vzorec|<math> K(\mathbf{x},\mathbf{y}) = e^{-||\mathbf{x} - \mathbf{y}||^2 /2\sigma^2} </math>|34}}

* Dvouvrstvá neuronová síť:
{{vzorec|<math> K(\mathbf{x},\mathbf{y}) = \tanh(\kappa\mathbf{x} \cdot \mathbf{y} - \delta) </math>|35}}

== Metody řešení ==
Problém optimalizace pomocí podpůrných vektorů lze řešit analyticky jen pokud je množství trénovacích dat velmi malé nebo v separovatelném případě pokud je předem známo, která data se stanou podpůrnými vektory. Při většině reálných použití je třeba rovnice ({{odkaz na vzorec|17}}-{{odkaz na vzorec|19}}) řešit numericky (se skalárními součiny nahrazenými <math>K(x,y)</math>).

Pro jednodušší úlohy postačují standardní metody řešení konvexních úloh kvadratického programování s lineárními vazbovými podmínkami, pro složitější úlohy pak existují speciální techniky řešení.

Základní postup:
# Volba jádrové funkce a jejích parametrů.
# Volba parametru <math>C</math> reprezentujícího kompromis mezi minimalizací chyby na trénovací množině a maximalizací šířky hraničního pásma.
# Vyřešení duálního problému pomocí vhodné techniky kvadratického programování:
## Určení podmínek optimality (KKT), které musí řešení splňovat.
## Definování strategie dosažení optimality zvyšováním duální [[Váhová funkce|váhové funkce]] vzhledem k vazbovým podmínkám.
## U rozsáhlejších úloh: volba algoritmu [[dekompozice]] tak, aby bylo třeba pracovat jen s částí dat najednou.
# Výpočet parametru <math>b</math> na základě podpůrných vektorů.
# Klasifikace nových bodů.

Algoritmy dekompozice pro rozměrné úlohy:

Příkladem je "hroudová" metoda (angl. ''"chunking" method'') - SVM se nejdříve natrénuje na malé podmnožině dat, na zbytku se otestuje a udělá se seznam chybných rozhodnutí seřazený podle toho, jak moc byly porušeny KKT podmínky. Další trénovací množina se vytvoří z prvních <math>N</math> bodů ze seznamu a ze všech <math>N_S</math> už nalezených podpůrných vektorů, kde <math>N+N_S</math> je určeno heuristicky. Proces pokračuje dokud pro všechny body není rozhodnuto správně.

Tato metoda vyžaduje, aby počet podpůrných vektorů <math>N_S</math> byl dostatečně malý na to, aby se [[Hessova matice]] o rozměru <math>N_S \times N_S</math> vešla do paměti počítače. Pro ještě rozměrnější úlohy existují jiné algoritmy.

== SVM regrese ==
Kromě klasifikace se SVM využívají také pro [[Regresní analýza|regresní analýzu]].

SVM regrese využívá <math>\varepsilon</math>-necitlivou ztrátovou funkci (angl. ''<math>\varepsilon</math>-insensitive loss function'') - pokud rozdíl mezi očekávanou a skutečnou hodnotou je méně než <math>\varepsilon</math>, není to považováno za chybu. Tedy chceme, aby platilo
{{vzorec|<math> - \varepsilon \le \mathbf{w} \cdot \mathbf{x_i} - b - y_i \le \varepsilon. </math>|36}}

Opět se minimalizuje <math>||\vec{w}||</math> a jsou zavedené přídavné proměnné (angl. ''slack variables'') <math>\xi_i</math> a <math>\hat \xi_i</math>.

Pro lineární <math>\varepsilon</math>-necitlivou funkci je pak úkolem minimalizovat
{{vzorec|<math> \min_{w,b,\xi,\hat \xi} C\sum_i(\xi_i + \hat \xi_i) + \frac{1}{2}||\mathbf{w}||^2 </math>|37}}
za podmínek
: <math>(\vec{w} \cdot \vec{x_i} - b - y_i) + \xi_i \ge -\varepsilon </math>
: <math>(\vec{w} \cdot \vec{x_i} - b - y_i) - \hat \xi_i \le \varepsilon </math>
: <math>\xi_i, \hat \xi_i \ge 0 \quad i = 1,\dots, m</math>

Pro nelineární regresní funkce se používá podobný postup jako u klasifikace - duální Lagrangeova funkce, jádrová transformace, atd.

Namísto pevně daného parametru <math>\varepsilon</math> je také možné stanovit maximální podíl bodů, pro které nebude platit vztah ({{odkaz na vzorec|36}}).

== Uplatnění SVM ==
Support Vector Machines mají široké uplatnění, zejména pro klasifikaci. Reálné aplikace zahrnují například oblasti zpracování textu, [[Počítačové vidění|počítačového vidění]] (např. rozpoznávání obličejů, rozpoznávání ručně psaného textu) nebo [[Bioinformatika|bioinformatiky]] (např. klasifikace proteinů).

Oproti některým srovnatelným typům klasifikátorů mají SVM několik výhod:
* Trénování vždy najde globální řešení. Na rozdíl od například [[Umělá neuronová síť|neuronových sítí]] u SVM neexistují žádná [[Lokální minimum|lokální minima]], která by nebyla zároveň globálním minimem.
* Reprodukovatelné výsledky, nezávislé na volbě konkrétního algoritmu nebo např. [[Počáteční bodu|počátečního bodu]].
* Malý počet parametrů modelu, které je třeba určit po výběru typu jádrové funkce (může být zároveň i nevýhodou - viz níže).

SVM s sebou nese i problémy či nevýhody:
* Správná funkce SVM z velké části záleží na vhodné volbě jádrové funkce. Jakmile ji stanovíme, máme jen jeden parametr, tedy penaltu chyb. Správnou jádrovou funkci ale nemusí být snadné najít.
* U velmi rozsáhlých úloh (miliony podpůrných vektorů) je problém s rychlostí a paměťovými nároky. Vhodné algoritmy pro jejich řešení jsou stále ještě předmětem výzkumu.

Myšlenky vycházející ze SVM (málo podpůrných vektorů, maximální odstup a jádrové transformace) byly také použity i pro návrh algoritmů pro další úlohy strojového učení, např. úlohy [[binární klasifikace]] na zašuměných datech (tzv. [[soft margin]]), diskrétní klasifikace (do více tříd), regrese, jádrová [[analýza hlavních komponent]] (PCA), [[ranking]], [[strukturované učení]], [[učení z jedné třídy]] (one class support vector, single class data description).

== Odkazy ==

=== Literatura ===
* Bernhard Schölkopf, Alex Smola: Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond (Adaptive Computation and Machine Learning), MIT Press, Cambridge, MA, 2002, {{ISBN|0-262-19475-9}}.
* Ingo Steinwart, Andreas Christmann: Support Vector Machines, Springer, New York, 2008. {{ISBN|978-0-387-77241-7}}. 602 pp.
* Nello Cristianini, John Shawe-Taylor: Kernel Methods for Pattern Analysis, Cambridge University Press, Cambridge, 2004, {{ISBN|0-521-81397-2}}
* Christopher J. C. Burges: A Tutorial on Support Vector Machines for Pattern Recognition, Data Mining and Knowledge Discovery, 2(2):121-167, 1998.
* Vladimir Vapnik: Statistical Learning Theory, Wiley, Chichester, GB, 1998.
* Vladimir Vapnik: The Nature of Statistical Learning Theory, Springer Verlag, New York, NY, USA, 1995.
* K. Bennett, C. Campbell: Support Vector Machines: Hype or Hallelujah?, ACM SIGKDD Explorations Newsletter, 2(2):1-13, New York: ACM, 2000
* R. Freund, F. Girosi, E. Osuna: An Improved Training Algorithm for Support Vector Machines, Neural Networks for Signal Processing [1997] VII. Proceedings of the 1997 IEEE Workshop, pp. 276-285, IEEE, 1997

=== Externí odkazy ===
* {{Commonscat}}
{{Autoritní data}}

[[Kategorie:Strojové učení]]
[[Kategorie:Anglická slova a fráze]]