損失関数
まず、頻度主義の文脈で期待損失(expected loss)L を定義する。これは、観測データ X の確率分布 Pθ に対する期待値をとることで得られる。これは、決定則 δ とパラメータ θ の危険関数(英: risk function、リスク関数)とも呼ばれる。ここでは決定則が X の結果に依存する。危険関数 R(θ, δ) は次のように定義される。
R ( θ , δ ) = E θ  L ( θ , δ ( X ) ) = ∫ X L ( θ , δ ( x ) ) d P θ ( x ) {\displaystyle R(\theta ,\delta )=\operatorname {E} _{\theta }L{\big (}\theta ,\delta (X){\big )}=\int _{X}L{\big (}\theta ,\delta (x){\big )}\,\mathrm {d} P_{\theta }(x)}
ここで、θ は固定値であるが、おそらくは未知の自然状態、 X は母集団から確率論的に抽出された観測値のベクトル、 E θ {\displaystyle \operatorname {E} _{\theta }} は X の母集団すべての値に対する期待値、dPθ は X の事象空間上の確率測度(θ でパラメータ化される)、積分は X の全台上で評価される.
決定則(英語版)(decision rules)は、最適化基準を使用して選択を行うものである。よく使われる基準として次のようなものがある。
ミニマックス(minimax)最悪の損失が最も少ない決定則を選ぶ。つまり最悪の場合の損失(最大可能損失)を最小限に抑える。 a r g m i n δ max θ ∈ Θ R ( θ , δ ) . {\displaystyle {\underset {\delta }{\operatorname {arg\,min} }}\ \max _{\theta \in \Theta }\ R(\theta ,\delta ).}
不変性(英語版)(invariance):不変性要件を満たす決定則を選択する。
平均損失が最も少ない(つまり損失関数の期待値を最小化する)決定則を選ぶ。 a r g m i n δ E θ ∈ Θ  [ R ( θ , δ ) ] = a r g m i n δ ∫ θ ∈ Θ R ( θ , δ ) p ( θ ) d θ . {\displaystyle {\underset {\delta }{\operatorname {arg\,min} }}\operatorname {E} _{\theta \in \Theta }[R(\theta ,\delta )]={\underset {\delta }{\operatorname {arg\,min} }}\ \int _{\theta \in \Theta }R(\theta ,\delta )\,p(\theta )\,d\theta .}