機械学習
Ryszard S. Michalski, Jaime G. Carbonell, Tom M. Mitchell (1986), Machine Learning: An Artificial Intelligence Approach, Volume II, Morgan Kaufmann, ISBN 0-934613-00-1.
Yves Kodratoff, Ryszard S. Michalski (1990), Machine Learning: An Artificial Intelligence Approach, Volume III, Morgan Kaufmann, ISBN 1-55860-119-8.
Ryszard S. Michalski, George Tecuci (1994), Machine Learning: A Multistrategy Approach, Volume IV, Morgan Kaufmann, ISBN 1-55860-251-8.
Bishop, C.M. (1995). Neural Networks for Pattern Recognition, Oxford University Press. ISBN 0-19-853864-2.
Richard O. Duda, Peter E. Hart, David G. Stork (2001) Pattern classification (2nd edition), Wiley, New York, ISBN 0-471-05669-3.
L ( y ^ , y ) = | | y ^ − y | | 2 {\displaystyle L({\hat {\mathbf {y} }},\mathbf {y} )=||{\hat {\mathbf {y} }}-\mathbf {y} ||^{2}}
により定義し、さらに ( x , y ) ∼ p {\displaystyle (\mathbf {x} ,\mathbf {y} )\sim p} をDとは独立に選び、
y ̄ ( x ) = E y ∼ p | x [ y | x ] {\displaystyle {\bar {\mathbf {y} }}(\mathbf {x} )=E_{\mathbf {y} \sim p|_{\mathbf {x} }}[\mathbf {y} |\mathbf {x} ]}
F ̄ ( x ) = E D [ F ^ D ( x ) ] {\displaystyle {\bar {F}}(\mathbf {x} )=E_{D}[{\hat {F}}_{D}(\mathbf {x} )]}
とする。
このとき、予測誤差の訓練データ集合Dに関する期待値(期待予測誤差)
E D [ E ( x , y ) ∼ p [ L ( F ^ D ( x ) , y ) ] = E ( x , y ) ∼ p , D [ | | F ^ D ( x ) − y | | 2 ] {\displaystyle E_{D}[E_{(\mathbf {x} ,\mathbf {y} )\sim p}[L({\hat {F}}_{D}(\mathbf {x} ),\mathbf {y} )]=E_{(\mathbf {x} ,\mathbf {y} )\sim p,D}[||{\hat {F}}_{D}(\mathbf {x} )-\mathbf {y} ||^{2}]}
入力とそれに対応すべき出力 を写像する関数を生成する。例えば、分類問題では入力ベクトルと出力に対応する分類で示される例を与えられ、それらを写像する関数を近似的に求める。
ラベルのインフォメーションが不足の場合は半教師あり学習である。
回帰の目標は入力xが与えられたとき、 p ( y ∣ x ) {\displaystyle p(\mathbf {y} \mid \mathbf {x} )} に関する情報を予想する事である。典型的には
y = F ( x ) + ε {\displaystyle \mathbf {y} =F(\mathbf {x} )+\mathbf {\varepsilon } }
のようにyが未知の関数Fの像F(x)にランダムなノイズεを加えたデータであるケースにおいて、入力xからyの可能な限り正確な予想値 y ^ {\displaystyle {\hat {\mathbf {y} }}} を出力する事が求められる。なお回帰で扱う目的変数yは連続量であり、典型的には実数を複数並べた数値ベクトルである。
他の教師あり機械学習アルゴリズムと同様、回帰アルゴリズムは p ( x , y ) {\displaystyle p(\mathbf {x} ,\mathbf {y} )} に従って選ばれた訓練データの集合 D = { ( x 1 , y 1 ) , ... , ( x n , y n ) } {\displaystyle D=\{(\mathbf {x} _{1},\mathbf {y} _{1}),\ldots ,(\mathbf {x} _{n},\mathbf {y} _{n})\}} をとして受け取る事ができ、これらの訓練データをヒントにして入力xに対応するyの予想値
y ^ = F ^ D ( x ) {\displaystyle {\hat {\mathbf {y} }}={\hat {F}}_{D}(\mathbf {x} )}
を出力する。
多くの教師あり機械学習のモデルでは、実際の汎化を行う前に訓練もしくは学習と呼ばれる作業が発生し、機械学習のモデルは「訓練アルゴリズム」と「汎化アルゴリズム」のペアとして捉える事ができる。訓練アルゴリズムは訓練データを入力として受け取り、パラメータと呼ばれる値θを出力する。パラメータは直観的には訓練データから有用な情報を引き出した「学習結果」であり、汎化の際にはこの「学習結果」であるθを使って汎化を行う。すなわち、汎化アルゴリズムは入力xの他にパラメータθをも入力として受け取り、 p ( y ∣ x ) {\displaystyle p(\mathbf {y} \mid \mathbf {x} )} (ないしそこから決まる値)を求める。