標本に基づいた母集団（パラメータ）の推定・選択は統計学において長く研究され、多くの理論が存在する。統計的機械学習における学習はまさに母集団の推定・選択であるため、統計学の理論が機械学習に適用できる。学習の収束や汎化性能など様々な機械学習の課題が統計学の知識体系を用いて研究されている。
数理最適化.
多くの機械学習手法はデータに対するモデル出力の誤差を定義し、誤差を最小化するようにパラメータの更新（学習）をおこなう。誤差を計算する関数、すなわち損失関数を最小化する学問体系は応用数学において数理最適化（解かれる問題は最適化問題）と呼ばれる。
例えばニューラルネットワークでは損失関数に対して微分をおこなう勾配法（確率的勾配降下法など）で学習がしばしばおこなわれる。勾配法による最適化が最適解に収束するか否かは数理最適化の理論によって研究される。また用いられる最適化法によってニューラルネットワークに課される制約も異なり、勾配法を用いるには連続する関数適用がすべて微分可能である（バックプロパゲーションが可能である）ことが求められる（生成モデルのサンプリングに強く制約を与える）。
データマイニングとの関係.
機械学習とデータマイニングは交差する部分が大きく、技法も同じなので混同されることが多いが、次のように定義できる。
機械学習における変数の種類.
カテゴリー.
学習モデル.
機械学習では、タスクや問題設定によって様々な学習モデルがある。
モデルおよび学習規則に加え、様々なデータ前処理技法が採用される。
人間との相互作用.
人間の直観によるデータ解析の必要性を排除しようとしているが、人間と機械の協調的相互作用を取り入れた機械学習モデルもある。しかし、そもそもモデルのデータ表現方法やデータの特徴を探る機構は、人間が設計したものであり、人間の直観を完全に排除することはできない。
応用分野.
機械学習には以下のような応用分野がある。
ソフトウェア.
データロボット社 による複数の手法を並列計算させて比較する方法がある。
ジャングルリベンジ
建設系産業廃棄物