機械学習
(確信度ではなくクラスを直接出力するタイプの)分類タスクにおいて、0-1損失関するベイズ規則は以下のようになる:
ここで y j ^ {\displaystyle {\widehat {y_{j}}}} はxがj番目のクラスに属しているとどの程度確信しているかを表す尺度であり、 0 ≤ y j ^ ≤ 1 {\displaystyle 0\leq {\widehat {y_{j}}}\leq 1} と y 1 ^ + ⋯ + y k ^ = 1 {\displaystyle {\widehat {y_{1}}}+\cdots +{\widehat {y_{k}}}=1} を満たす。
確信度を出力させる分類タスクでは、訓練データ ( x i , y i ) {\displaystyle (\mathbf {x} _{i},\mathbf {y} _{i})} のyiも確信度と整合性が取れるように符号化する。すなわち、xiがj番目のクラスに属している場合、 y i = e j {\displaystyle \mathbf {y} _{i}=\mathbf {e} _{j}} とする。ここでejはj番目の成分が1でそれ以外の成分が0のベクトルである(このように1つの成分だけが1でそれ以外は0となるベクトルをone-hotベクトルとい、one-hotベクトルによりデータを表現する事をone-hot表現 という)。損失関数としては典型的には交差エントロピー
L ( y ^ , y ) = − ∑ k y k log  y k ^ {\displaystyle L({\hat {\mathbf {y} }},\mathbf {y} )=-\sum _{k}y_{k}\log {\widehat {y_{k}}}}
を使う。
教師あり機械学習において、変数xを説明変数(explanation variable)、yを目的変数、目標変数(target variable)、もしくは標的(target)と呼ぶ。これらは別の名称で呼ばれる事も多く、xを予測変数(predictor)、yを応答変数(response variable)と呼んだり、xを独立変数(independent variable)、yを従属変数(dependent variable)と呼んだりする事もある。またタスクによってはこれら以外の名称で呼ばれる事もある。
L、p(x,y)をそれぞれ回帰や分類といった教師あり学習のタスクに対する損失関数、データ分布とし、関数Fに関する予測損失を R L ( F ) = E ( x , y ) ∼ p [ L ( F ( x ) , y ) ] {\displaystyle R_{L}(F)=E_{(x,y)\sim p}[L(F(x),y)]} と書き表す。このとき、予測損失の下限
i n f F R L ( F ) {\displaystyle {\underset {F}{\mathrm {inf} }}R_{L}(F)}
を損失関数Lのもとでのベイズ誤差(Bayes error)と呼び、下限を達成するFをベイズ規則(Bayes rule)という。ここで i n f F {\displaystyle {\underset {F}{\mathrm {inf} }}} は可測関数全体の集合における下限である。
機械学習には以下のような応用分野がある。
2006年、オンラインDVDレンタル会社ネットフリックスは、同社のレコメンダシステムより10%以上高性能な(ユーザーの好みをより正確に予測する)プログラムを捜す競技会 Netflix Prize を開催した。この競技会は数年かけて行われ、AT&T Labs のチームが「プラグマティック・ケイオス」 という機械学習プログラムで2009年に優勝し100万ドルを獲得した。
関連する複数の問題について同時に学習させ、主要な問題の予測精度を向上させる。
能動学習アルゴリズムは、予算に基づいて限られた入力のセットに対して所望の出力(訓練ラベル)にアクセスし、訓練ラベルを取得する入力の選択を最適化する。インタラクティブに使用される場合、これらはラベリングのために人間のユーザーに提示することができる。強化学習アルゴリズムは、動的な環境で正または負の強化の形でフィードバックを与えられ、自動運転車や人間の対戦相手とゲームをするための学習に使用される。機械学習における他の専門的なアルゴリズムには、コンピュータプログラムに自然言語文書のセットを与え、類似したトピックをカバーする他の文書を見つけるトピックモデリングがある。機械学習アルゴリズムは、密度推定問題において、観測不可能な確率密度関数を求めるために使用することができる。メタ学習アルゴリズムは、過去の経験に基づいて独自の帰納バイアスを学習する。発達ロボティクスでは、ロボット学習アルゴリズムは、カリキュラムとも呼ばれる学習経験のシーケンスを独自に生成し、自己誘導型の探索や人間との社会的相互作用を通じて、新しいスキルを累積的に獲得する。これらのロボットは、能動的学習、成熟、運動相乗効果、模倣などの誘導メカニズムを使用する
1層もしくは複数の隠れ層を有する順伝播型ニューラルネットワークであり,分類や回帰,クラスタリングへ適用できる。
モデルおよび学習規則に加え、様々なデータ前処理技法が採用される。