教師あり学習
ここで、 y i {\displaystyle y_{i}} は0または1の2値を取るラベルで、 x i {\displaystyle {\mathbf {x} }_{i}} は i {\displaystyle i} 番目のデータの座標を表す。そして「学習」とは、これらのデータに何らかの基準でもっとも合う関数関係 y = f ( x ) {\displaystyle y=f(x)} を求めることである。回帰問題でもほぼ同様で、違いは y i {\displaystyle y_{i}} が離散値の代わりに実数値を取るということである。
このような関数関係が求められれば、未知のデータ x {\displaystyle {\mathbf {x} }} にそれを適用して、予言 y = f ( x ) {\displaystyle y=f({\mathbf {x} })} を与えることができる。分類問題であればこれを分類器、回帰問題であればこれを回帰曲線などと称する。