機械学習
多くの機械学習手法はデータに対するモデル出力の誤差を定義し、誤差を最小化するようにパラメータの更新(学習)をおこなう。誤差を計算する関数、すなわち損失関数を最小化する学問体系は応用数学において数理最適化(解かれる問題は最適化問題)と呼ばれる。
例えばニューラルネットワークでは損失関数に対して微分をおこなう勾配法(確率的勾配降下法など)で学習がしばしばおこなわれる。勾配法による最適化が最適解に収束するか否かは数理最適化の理論によって研究される。また用いられる最適化法によってニューラルネットワークに課される制約も異なり、勾配法を用いるには連続する関数適用がすべて微分可能である(バックプロパゲーションが可能である)ことが求められる(生成モデルのサンプリングに強く制約を与える)。
教師なし学習の興味の一つは確率密度関数 p ( x ) {\displaystyle p(\mathbf {x} )} それ自身を推定する密度推定のタスクであり、カーネル密度推定など統計学で様々なノンパラメトリック密度推定の手法が知られている。しかしxの次元が高い場合は次元の呪いが原因でこうした推定はうまくいかず、それゆえ多くの教師なし学習では、 p ( x ) {\displaystyle p(\mathbf {x} )} の何らかのパラメトリックなモデルで p ( x ) {\displaystyle p(\mathbf {x} )} を近似することを試みたり、訓練データから p ( x ) {\displaystyle p(\mathbf {x} )} の何らかの重要な性質を抽出するといったアプローチが取られる。
具体的な例として以下のようなものがある。
クラスター分析
主成分分析
ベクトル量子化
自己組織化マップ
K平均法
機械学習アルゴリズムとその性能についての分析は、理論計算機科学の一分野であり、計算論的学習理論(英語版)と呼ばれている。訓練例は有限であるのに対して、未来は不確かであるため、学習理論は一般にアルゴリズムの性能を保証できない。その代わりに、性能の確率的範囲を与える。 Wassily Hoeffding(英語版)によるヘフディングの不等式(英語版)など統計的学習理論という表現もある。
それに加えて、学習の時間複雑性と実現可能性についても研究している。計算論的学習理論では、多項式時間で終了する計算を実現可能とみなす。
機械学習と統計学は、多くの点で似ているが、使用する用語は異なる。