Tugivektor-masin

Tugivektor-masinaid (TVM) kasutatakse juhendatud masinõppes klassifikatsiooni ja regressiooni analüüsiks. Tugivektor vajab treenimiseks eelnevalt märgendatud treenimishulka ning treenitud mudel teeb oma ennustuse märgendamata andmetele olenevalt sellele, kummale poole treenitud hüpertasandit vektor jääb, kusjuures eraldava hüpertasandi kaugus lähimatest treeningandmetest võiks olla võrdne. Eristatakse kõva ja pehme äärega TVM-e: esimesel juhul eeldatakse, et treeningandmeid on võimalik lineaarselt hüpertasandiga eraldada, ja teisel juhul saab TVM-i treenida ka kattuvuse korral.
Tugivektor-masinad leiutasid Vladimir N. Vapnik ja Alexey Chervonenkis 1963. 
Tugivektor-masinaid on modifitseeritud, et need tegeleksid ka märgendamata andmete klasteranalüüsiga ja tõenäosusjaotuste väljastamisega (Platti skaleerimine). Samuti kasutatakse kernelitrikki olukorras, kus treeningandmeid ei ole võimalik lineaarselt eraldada, kuid leidub funktsioon treeningandmeid eraldava hüpertasandi kirjeldamiseks.
Lineaarne TVM.
Antud on treeningandmed, mis koosnevad treeningolemi formula_1 ja sellele vastava märgendi formula_2 paaridest
formula_3,
kus formula_4 vastavalt selle märgendile. Iga formula_5 on reaalarvuline formula_6-dimensionaalne vektor. TVM treenimise ülesanne on leida maksimaalse eraldatusega hüpertasand, mis eraldab punkte formula_7 punktidest formula_8. Maksimaalse eraldatusega tähendab siin kohal, et hüpertasand on lähimatest vastandmärgenditega treeningolemitest võrdsel ja maksimaalsel kaugusel.
Eraldav hüpertasand koosneb punktidest formula_5, mis rahuldavad võrrandit
formula_10,
kus formula_11 on hüpertasandi normaalvektor.
Kõva äärega TVM.
Kui treeningandmed on lineaarselt eraldatavad, me võime valida kaks hüpertasandit, mis mõlemad eraldavad binaarse märgendusega andmed ning on sealjuures suurima võimaliku omavahelise kaugusega. Neid kaht hüpertasandit kirjeldavad kaks võrrandit:
formula_12 (kõik treeningolemid, mis on kas hüpertasandil või sellest kõrgemal, saavad ennustuseks märgendi 1),
formula_13 (kõik treeningolemid, mis on kas hüpertasandil või sellest madalamal, saavad ennustuseks märgendi -1).
Et kahe hüpertasandi kaugus peab olema maksimaalne ning seda kaugust kirjeldav võrrand on formula_14, siis me peame minimeerima formula_15.
Eelmised kaks võrratust võib ümber kirjutada kujule:
formula_16,
kus optimeerimisülesandeks jääb formula_15 minimeerimine eelnevast võrrandist sõltuvalt.
Siinkohal vajab märkimist, et tulemus formula_11 sõltub vaid lähimatest punktidest, mida kutsutaksegi "tugivektoriteks".
Pehme äärega TVM.
Et saaksime kasutada TVM-e juhul, kus treeningandmed ei ole lineaarselt eraldatavad ülekattuvuse tõttu, tutvustame "hinge kaotusfunktsiooni"
formula_19, siis me peame minimeerima formula_15. 
Kaotusfunktsiooni väärtus on 0 juhtudel, kus õpitakse ennustama õige märgendiga olemit. Kui aga olem on valel pool hüpertasandit, siis funktsiooni väärtus on proportsionaalne kaugusega sellest tasandist.
Me soovime minimeerida
 formula_21,
kus parameeter formula_22 määrab ära, kui palju soovitakse karistada vale märgendi ennustamist ning kui tähtis on minimaalne formula_15. Juhul kus formula_22 on väike, muutub minimeeritava funktsiooni teine liige tühiselt väikseks ning algoritm käitub nagu kõva äärega TVM.