損失関数
レナード・サヴェッジ(英語版)は、ミニマックス(minimax)のような非ベイズ法を用いる場合、損失関数は後悔(リグレット)(英語版)の考え方に基づくべきであると主張した。すなわち、意思決定に伴う損失は、根底にある状況を知っていれば下せたであろう最善の決定の結果と、それを知る前に実際に行った決定との差であるべきという。
統計学や決定理論において、よく使用される損失関数は 0-1損失関数(0-1 loss function)
L ( y ^ , y ) = I ( y ^ ≠ y ) {\displaystyle L({\hat {y}},y)=I({\hat {y}}\neq y)}
で、ここに I {\displaystyle I} は指示関数である。つまり、入力が真と評価されれば、出力は 1 となる。そうでなければ、入力が偽(英語版)と評価された場合、出力は 0 となる。