機械学習
分類タスクでは、事前に定められた有限個のクラスが定められていて、各クラスには、「ネコ」、「イヌ」などのクラスラベル(もしくは単にラベル)と呼ばれるクラス名が割り振られている。分類タスクの目的は与えられた入力xがのいずれに属するかを当てる事である。
分類タスクを解くアルゴリズムには大まかに「決定論的アプローチ」と「確率論的アプローチ」の2種類があり、前者は分類タスクでは入力xが与えられたとき、xが属すると思われるクラスラベルを出力するというものであり、損失関数としては典型的には0-1損失
L ( y ^ , y ) = { 1 if y ^ ≠ y 0 otherwise {\displaystyle L({\hat {y}},y)={\begin{cases}1&{\text{if }}{\hat {y}}\neq y\\0&{\text{otherwise}}\end{cases}}}
を使う。
一方、後者はクラスラベルを直接出力するのではなく、確信度(confidence score) y 1 ^ , ... , y k ^ {\displaystyle {\widehat {y_{1}}},\ldots ,{\widehat {y_{k}}}} を出力するというものである。
よりSが最小になるのは、
F ( x ) = E [ y ∣ x ] {\displaystyle F(\mathbf {x} )=E[\mathbf {y} \mid \mathbf {x} ]}
の場合である。
関数 f ( x ) = E [ y | x ] {\displaystyle f(\mathbf {x} )=E[\mathbf {y} |\mathbf {x} ]} を回帰関数と呼ぶ事もある。
入力のみ(ラベルなしの例)からモデルを構築する。データマイニングや自己符号化器なども参照。
x ∽ p ( x | θ ^ ) {\displaystyle x\backsim p(x|{\widehat {\theta }})}
統計的機械学習とは、機械学習のうちデータの確率的な生成規則を学習するもの を指す。
統計学は母集団と標本、そこに存在する確率分布に着目した方法論である。統計的機械学習ではデータが母集団から確率的に得られると考え、データの生成過程を確率分布を用いてモデル化し、実際のデータに基づいてモデルの学習(あるいはモデル選択自体の学習)をおこなう。母集団からデータが得られる、母集団からのサンプリングによってデータが生成されると解釈できるため、統計的機械学習のモデルは生成モデル・統計モデルとも呼ばれる。
標本に基づいた母集団(パラメータ)の推定・選択は統計学において長く研究され、多くの理論が存在する。統計的機械学習における学習はまさに母集団の推定・選択であるため、統計学の理論が機械学習に適用できる。学習の収束や汎化性能など様々な機械学習の課題が統計学の知識体系を用いて研究されている。
統計的機械学習の例としては、ニューラルネットワークにおける生成モデル、例えば自己回帰型生成ネット、変分オートエンコーダー(VAE)、敵対的生成ネットワーク(GAN)などが挙げられる。これらのモデル(=母集団)から実際にサンプリングすれば画像や音声といったデータが生成できるため、特にニューラルネットワークの分野では2010年代後半に非常によく研究され大きな成果をあげている(WaveNet、VQ-VAE-2、BigGANなど)。