Otsustusmets

Otsustusmetsa (Inglise keeles random forest) algoritm kuulub ansambelõppe meetodite hulka. Ansambelmeetodi mõte on kasutada koos paljusid "nõrku õppijaid" (siinkohal otsustuspuu), et moodustada nendest üks "tugev õppija". Nagu ka teised masinõppe meetodid, kasutab otsustusmets õppimiseks ja väärtuste ennustamiseks treeningandmeid. 

Klassifikatsiooni algoritmide täpsus suurenes, kui esmakordselt loodi eri puudest koosnev ansambel, sellise algoritmi väljundiks on puude poolt kõige enam ennustatud klass. Selliste ansamblite kasvatamiseks kasutatakse tavaliselt juhuslikke vektoreid, mis juhivad iga puu kasvu ansamblis.

Varajane näide sellisest algoritmist on bagging-algoritm, mille koostas Breiman aastal 1996. Bagging-meetodi puhul kasutatakse puu kasvatamiseks juhuslikku hulka treeningandmete hulgast.

Ajalugu 

Aastal 1995 pakkus Tin Kam Ho välja meetodi, mis eemaldaks otsustuspuude klassifitseerija keerukuse limitatsiooni. Sellised klassifitseerijad ei saa meelevaldselt keerukuses kasvada nii, et klassifitseerija ei kaotaks oma üldistamisoskust veel nägemata andmetel. Ho pakutud meetod kasutab kaldus otsustuspuid (ingl oblique decision tree), mis on head treenimisandmete täpsuse optimeerimiseks. Põhiline idee on koostada palju otsustuspuid juhuslikult valitud tunnuste alamruumides.

Algoritm 
Otsustusmetsa algoritmil on kaks staadiumi. Üks on otsustusmetsa loomine ja teine on loodud otsustusmetsa põhjal ennustuste tegemine.

Otsustusmetsa loomise pseudokood: 

 Vali juhuslikult  tunnust kõikide m tunnuste hulgast, kus .
 k tunnuste seas arvuta puu tipp , kasutades parimat lahknemispunkti.
 Jaota tipp tütartippudeks, kasutades parimat lahknemispunkti.
 Korda 1.–3. sammu, kuni otsustuspuus on loodud  arv tippe.
 Koosta mets, korrates 1.–4. sammu  korda, et koostada mets, mis koosneb n otsustuspuust.

Omadused

Muutujate tähtsus 
Otsustusmetsa saab kasutada selleks, et hinnata erinevate muutujate tähtsust klassifikatsiooni- või regressiooniprobleemis. Tähtsamad muutujad mõjutavad  väljastatavaid väärtuseid rohkem. Seevastu vähetähtsad tunnused avaldavad mudeli ennustustele väiksemat mõju ja seega võib need tunnused otsustusmetsa mudelist välja jätta, tehes nii mudeli lihtsamaks ja kiiremaks.

Muutujate tähtsuse hindamiseks on kaks mõõdet. Esimene mõõde põhineb sellel, kui palju väheneb täpsus, kui tunnus mudelist välja jäetakse. Teine mõõde põhineb sellel, kui palju väheneb andmete ebapuhtus Gini indeksiga, kui muutujat kasutatakse puutipu lahknemiseks.

Otsustusmetsa eelised ja puudused  
Otsustusmetsa eelised: 
 kasutatav nii regressiooni kui ka klassifikatsiooniprobleemide korral;
 oskab eristada tähtsamad tunnused vähetähtsatest;
 ülesobitamise oht on minimaalne;
 anomaaliad andmetes ei mõjuta algoritmi väljundit;
 algoritm oskab hästi ennustada puuduvaid andmeid.

Otsustusmetsa puudused: 
 algoritm võib muutuda aeglaseks, kui puude arv metsas on väga suur, ja pole seetõttu päriselu probleemide lahendamisel kõige efektiivsem;
 ei oska ennustada andmetevahelisi sidemeid;
 otsustusmets pole väga hea regressiooniülesande puhul.

Viited