偏りと分散
E  [ y ] = E  [ f + ε ] = E  [ f ] = f . {\displaystyle \operatorname {E} [y]=\operatorname {E} [f+\varepsilon ]=\operatorname {E} [f]=f.}
Var  [ ε ] = σ 2 {\displaystyle \operatorname {Var} [\varepsilon ]=\sigma ^{2}} より
Var  [ y ] = E  [ ( y − E  [ y ] ) 2 ] = E  [ ( y − f ) 2 ] = E  [ ( f + ε − f ) 2 ] = E  [ ε 2 ] = Var  [ ε ] + ( E  [ ε ] ) 2 = σ 2 {\displaystyle \operatorname {Var} [y]=\operatorname {E} [(y-\operatorname {E} [y])^{2}]=\operatorname {E} [(y-f)^{2}]=\operatorname {E} [(f+\varepsilon -f)^{2}]=\operatorname {E} [\varepsilon ^{2}]=\operatorname {Var} [\varepsilon ]+{\Big (}\operatorname {E} [\varepsilon ]{\Big )}^{2}=\sigma ^{2}}
データとして入力 x 1 , ... , x n {\displaystyle x_{1},\dots ,x_{n}} があり、出力は y i {\displaystyle y_{i}} とする。真の関数 y = f ( x ) + ε {\displaystyle y=f(x)+\varepsilon } が存在し、 ε {\displaystyle \varepsilon } は平均0分散 σ 2 {\displaystyle \sigma ^{2}} のノイズである。
真の関数 f ( x ) {\displaystyle f(x)} を可能な限り近似した f ^ ( x ) {\displaystyle {\hat {f}}(x)} を推定したいとする。可能な限りの意味として、ここでは二乗誤差 ( y − f ^ ( x ) ) 2 {\displaystyle (y-{\hat {f}}(x))^{2}} を訓練データだけでなく、全てのデータにおいて最小化したいとする。ここで y i {\displaystyle y_{i}} はノイズ ε {\displaystyle \varepsilon } を含んでいるので、原理上、完璧に推定することは不可能である。
訓練データから f ^ {\displaystyle {\hat {f}}} を推定する教師あり学習のアルゴリズムは無数にあるが、どのアルゴリズムであっても、二乗誤差の期待値は以下のように分解できる。