機械学習
自乗損失を損失関数として選んだ場合、次の定理が成り立つ:
定理 (自乗損失に関する回帰のベイズ規則) ― p(x,y)を R l × R k {\displaystyle \mathbb {R} ^{\ell }\times \mathbb {R} ^{k}} 上の確率分布とし、
L ( y ^ , y ) = | | y ^ − y | | 2 {\displaystyle L({\hat {\mathbf {y} }},\mathbf {y} )=||{\hat {\mathbf {y} }}-\mathbf {y} ||^{2}}
とする。このとき、汎化誤差 R L ( F ) = E ( x , y ) ∼ p [ L ( F ( x ) , y ) ] {\displaystyle R_{L}(F)=E_{(x,y)\sim p}[L(F(x),y)]} を最小にする F ( x ) {\displaystyle F(\mathbf {x} )} は、
F ( x ) = E [ y | x ] {\displaystyle F(\mathbf {x} )=E[\mathbf {y} |\mathbf {x} ]}
である。ここでEはp(x,y)から定まる条件付き確率分布 p ( y ∣ x ) {\displaystyle p(\mathbf {y} \mid \mathbf {x} )} からランダムにyを選んだときの期待値である。
機械学習のタスクは、以下の代表的な3種類のカテゴリーに分けられる。ただしこれらの3つで機械学習で扱う全てのタスクをカバーしているわけではないし、複数のカテゴリーに属するタスクや、どのカテゴリーに属するのか曖昧なタスクもある。
強化学習(きょうかがくしゅう、英: reinforcement learning)とは、ある環境内におけるエージェントが、現在の状態を観測し、取るべき行動を決定する問題を扱う機械学習の一種。エージェントは行動を選択することで環境から報酬を得る。強化学習は一連の行動を通じて報酬が最も多く得られるような方策(policy)を学習する。環境はマルコフ決定過程として定式化される。代表的な手法としてTD学習やQ学習が知られている。
強化学習とは、試行錯誤を通じて「価値を最大化するような行動」を学習する 手法
あらかじめ正しい答えが分かっていなくても(=教師データが存在しない) 学習が可能
対戦ゲームやロボットなどでの応用例が多い
深層学習を用いた強化学習のことを深層強化学習(deep reinforcement learning)という
強化学習という名前は、Skinner博士の 提唱した脳の学習メカニズムである オペラント学習に由来する
Skinner博士は、スキナー箱と呼ばれる ラット実験によって、「特定の動作に 対して報酬を与えると、その動作が 強化される」ことを発見し、これを オペラント学習と呼んだ (1940年頃)
予想の正確さは損失関数 L ( y ^ , y ) {\displaystyle L({\hat {\mathbf {y} }},\mathbf {y} )} によって測られる。回帰では損失関数 L ( y ^ , y ) {\displaystyle L({\hat {\mathbf {y} }},\mathbf {y} )} としては自乗誤差損失
L ( y ^ , y ) = | | y ^ − y | | 2 {\displaystyle L({\hat {\mathbf {y} }},\mathbf {y} )=||{\hat {\mathbf {y} }}-\mathbf {y} ||^{2}}
を用いる事が多い。
回帰の目標は、汎化誤差(予測誤差、予測損失とも)
E [ L ( y ^ ( x ) , y ) ] = ∫∫ L ( y ^ ( x ) , y ) p ( x , y ) d x d y {\displaystyle E[L({\hat {\mathbf {y} }}(\mathbf {x} ),\mathbf {y} )]=\iint L({\hat {\mathbf {y} }}(\mathbf {x} ),\mathbf {y} )p(\mathbf {x} ,\mathbf {y} )\mathrm {d} \mathbf {x} \mathrm {d} \mathbf {y} }
を小さく抑える事である。ここで y ^ ( x ) = M ( x , θ ) {\displaystyle {\hat {\mathbf {y} }}(\mathbf {x} )=M(\mathbf {x} ,\theta )} は汎化アルゴリズムの出力であり、E[・]は期待値を表す。
例えば以下のものがある
機械学習とデータマイニングは交差する部分が大きく、技法も同じなので混同されることが多いが、次のように定義できる。
機械学習の目的は、訓練データから学んだ「既知」の特徴に基づく予測である。
データマイニングの目的は、それまで「未知」だったデータの特徴を発見することである。
この2つは、さまざまな面でオーバーラップしている。データマイニングは、機械学習の技法を使うが、その目的は若干異なることが多い。一方、機械学習もデータマイニングの技法を「教師なし学習」として、あるいは学習者の正確性を向上させる前処理として用いる。2つの研究領域は、ECML PKDD という例外はあるが、基本的に学会も学術誌も別々である。それらの間の混同の最大の原因は、それらの基本的前提に由来する。機械学習では、既知の知識を再生成できるかどうかで性能を評価するが、データマイニングではそれまで「未知」だった知識を発見することが重視される。したがって、既知の知識によって評価するなら「教師なしの技法」よりも「教師ありの技法」の方が容易に優れた結果を示すことができる。しかし、典型的なデータマイニングでは、訓練データが用意できないので、「教師ありの技法」を採用することができない。
回帰では、入力xに対応するyの予測値 y ^ = F ^ D ( x ) {\displaystyle {\hat {\mathbf {y} }}={\hat {F}}_{D}(\mathbf {x} )} を出力する事を求められ、 y ^ {\displaystyle {\hat {\mathbf {y} }}} はyの期待値に近いことが望ましく、しかも y ^ {\displaystyle {\hat {\mathbf {y} }}} のばらつきは小さい方が望ましい。しかし下記に示すようにこの2つの要件はトレードオフの関係にある:
定理 (バイアスと分散のトレードオフ) ― p(x,y)を R l × R k {\displaystyle \mathbb {R} ^{\ell }\times \mathbb {R} ^{k}} 上の確率分布とし、Dを R l × R k {\displaystyle \mathbb {R} ^{\ell }\times \mathbb {R} ^{k}} 上の何らかの確率分布に従って選ばれた訓練データの集合とし、 F ^ {\displaystyle {\hat {F}}} を回帰アルゴリズムとし、Dによってこの回帰アルゴリズムを訓練して得られた関数を y ^ = F ^ D ( x ) {\displaystyle {\hat {\mathbf {y} }}={\hat {F}}_{D}(\mathbf {x} )} とし、誤差関数を自乗誤差
前述した機械学習の定義に沿って言えば、教師あり機械学習は以下のような機械学習であるといえる:
教師あり学習では事前知識である ( x 1 , y 1 ) , ... , ( x n , y n ) {\displaystyle (\mathbf {x} _{1},\mathbf {y} _{1}),\ldots ,(\mathbf {x} _{n},\mathbf {y} _{n})} から、未知のxに対応するyの分布 p ( y ∣ x ) {\displaystyle p(\mathbf {y} \mid \mathbf {x} )} を当てる事が求められる。このため、アルゴリズムが未知のxから p ( y ∣ x ) {\displaystyle p(\mathbf {y} \mid \mathbf {x} )} (ないしそこから決まる値)を求める操作を汎化もしくは推論(inference)と呼ぶ。タスクによっては「予測」「判断」「認識」等と呼ばれる事もある。
アルゴリズムは未知のデータxからxに対応するyの分布の情報を推測する必要があるが、この推論の為に事前知識として与えられる訓練データにはxiから推論しなければならないyiが「解答」としてついている。「教師あり学習」という名称は、このように既知の「問題」xiに対する「解答」yiを「教師」が教えてくれるというセッティングで「生徒」であるアルゴリズムが未知の「問題」xに対応する「解答」yを推論する事から名付けられたものである。同様の理由により、教師あり学習では訓練データの事を教師データとも呼ぶ。
Thomas Mitchell "Machine Learning" McGraw-Hill (1997) ISBN 978-0071154673 (入門用の教科書) →サポートページ
Trevor Hastie, Robert Tibshirani, and Jerome H. Friedman "The Elements of Statistical Learning: Data Mining, Inference, and Prediction" Springer-Verlag (2001) ISBN 978-0387952840 (高度な内容も含む.数理・統計系の手法が中心) →サポートページ(ここから、全章をpdf形式で入手可能)
David MacKay "Information Theory, Inference, and Learning Algorithms" (2003) (ベイズ推論を中心に、情報理論と機械学習を包括的にカバーした教科書) →著者ページ(ここから全文をPDF形式で入手可能)
Sergios Theodoridis, Konstantinos Koutroumbas (2009) "Pattern Recognition", 4th Edition, Academic Press, ISBN 978-1-59749-272-0.
Ethem Alpaydın (2004) Introduction to Machine Learning (Adaptive Computation and Machine Learning), MIT Press, ISBN 0-262-01211-1