偏りと分散
E  [ ( y − f ^ ) 2 ] = E  [ ( f + ε − f ^ ) 2 ] = E  [ ( f + ε − f ^ + E  [ f ^ ] − E  [ f ^ ] ) 2 ] = E  [ ( f − E  [ f ^ ] ) 2 ] + E  [ ε 2 ] + E  [ ( E  [ f ^ ] − f ^ ) 2 ] + 2 E  [ ( f − E  [ f ^ ] ) ε ] + 2 E  [ ε ( E  [ f ^ ] − f ^ ) ] + 2 E  [ ( E  [ f ^ ] − f ^ ) ( f − E  [ f ^ ] ) ] = ( f − E  [ f ^ ] ) 2 + E  [ ε 2 ] + E  [ ( E  [ f ^ ] − f ^ ) 2 ] + 2 ( f − E  [ f ^ ] ) E  [ ε ] + 2 E  [ ε ] E  [ E  [ f ^ ] − f ^ ] + 2 E  [ E  [ f ^ ] − f ^ ] ( f − E  [ f ^ ] ) = ( f − E  [ f ^ ] ) 2 + E  [ ε 2 ] + E  [ ( E  [ f ^ ] − f ^ ) 2 ] = ( f − E  [ f ^ ] ) 2 + Var  [ y ] + Var  [ f ^ ] = Bias  [ f ^ ] 2 + Var  [ y ] + Var  [ f ^ ] = Bias  [ f ^ ] 2 + σ 2 + Var  [ f ^ ] {\displaystyle {\begin{aligned}\operatorname {E} {\big [}(y-{\hat {f}})^{2}{\big ]}&=\operatorname {E} {\big [}(f+\varepsilon -{\hat {f}})^{2}{\big ]}\\[5pt]&=\operatorname {E} {\big [}(f+\varepsilon -{\hat {f}}+\operatorname {E} [{\hat {f}}]-\operatorname {E} [{\hat {f}}])^{2}{\big ]}\\[5pt]&=\operatorname {E} {\big [}(f-\operatorname {E} [{\hat {f}}])^{2}{\big ]}+\operatorname {E} [\varepsilon ^{2}]+\operatorname {E} {\big [}(\operatorname {E} [{\hat {f}}]-{\hat {f}})^{2}{\big ]}+2\operatorname {E} {\big [}(f-\operatorname {E} [{\hat {f}}])\varepsilon {\big ]}+2\operatorname {E} {\big [}\varepsilon (\operatorname {E} [{\hat {f}}]-{\hat {f}}){\big ]}+2\operatorname {E} {\big [}(\operatorname {E} [{\hat {f}}]-{\hat {f}})(f-\operatorname {E} [{\hat {f}}]){\big ]}\\[5pt]&=(f-\operatorname {E} [{\hat {f}}])^{2}+\operatorname {E} [\varepsilon ^{2}]+\operatorname {E} {\big [}(\operatorname {E} [{\hat {f}}]-{\hat {f}})^{2}{\big ]}+2(f-\operatorname {E} [{\hat {f}}])\operatorname {E} [\varepsilon ]+2\operatorname {E} [\varepsilon ]\operatorname {E} {\big [}\operatorname {E} [{\hat {f}}]-{\hat {f}}{\big ]}+2\operatorname {E} {\big [}\operatorname {E} [{\hat {f}}]-{\hat {f}}{\big ]}(f-\operatorname {E} [{\hat {f}}])\\[5pt]&=(f-\operatorname {E} [{\hat {f}}])^{2}+\operatorname {E} [\varepsilon ^{2}]+\operatorname {E} {\big [}(\operatorname {E} [{\hat {f}}]-{\hat {f}})^{2}{\big ]}\\[5pt]&=(f-\operatorname {E} [{\hat {f}}])^{2}+\operatorname {Var} [y]+\operatorname {Var} {\big [}{\hat {f}}{\big ]}\\[5pt]&=\operatorname {Bias} [{\hat {f}}]^{2}+\operatorname {Var} [y]+\operatorname {Var} {\big [}{\hat {f}}{\big ]}\\[5pt]&=\operatorname {Bias} [{\hat {f}}]^{2}+\sigma ^{2}+\operatorname {Var} {\big [}{\hat {f}}{\big ]}\end{aligned}}}