正則化
統計および機械学習において、正則化はモデルのパラメータの学習に使われ、特に過学習を防ぎ、汎化能力を高めるために使われる。
機械学習において最も一般的なのは L1 正則化 (p=1) と L2 正則化 (p=2) である。損失関数 E ( w ) {\displaystyle E({\boldsymbol {w}})} の代わりに、
E ( w ) + λ 1 p ‖ w ‖ p p = E ( w ) + λ 1 p ∑ i | w i | p {\displaystyle E({\boldsymbol {w}})+\lambda {\frac {1}{p}}\|{\boldsymbol {w}}\|_{p}^{p}=E({\boldsymbol {w}})+\lambda {\frac {1}{p}}\sum _{i}|w_{i}|^{p}}
を使用する。 w {\displaystyle {\boldsymbol {w}}} はパラメータのベクトルで、 ‖ ⋅ ‖ p {\displaystyle \|\cdot \|_{p}} は L1 ノルム (p=1) や L2 ノルム (p=2) などである。 λ {\displaystyle \lambda } はハイパーパラメータで、正の定数で、大きくするほど正則化の効果が強くなるが、交差確認などで決める。
損失関数をパラメータで偏微分すると、
"Regularized Least Absolute Deviations Regression and an Efficient Algorithm for Parameter Tuning". Sixth International Conference on Data Mining. pp. 690–700. doi:10.1109/ICDM.2006.134。
↑ Candes, Emmanuel; Tao, Terence (2007). “The Dantzig selector: Statistical estimation when p is much larger than n”. Annals of Statistics 35 (6): 2313–2351. arXiv:math/0506081. doi:10.1214/009053606000001523. MR2382644.
↑ Małgorzata Bogdan, Ewout van den Berg, Weijie Su & Emmanuel J. Candes (2013). “Statistical estimation and testing via the ordered L1 norm”. arXiv preprint arXiv:1310.1969. arXiv:1310.1969v2.
↑ Tikhonov, Andrey Nikolayevich (1943). “Об устойчивости обратных задач [On the stability of inverse problems]”. Doklady Akademii Nauk SSSR 39 (5): 195–198.
下記は一般化線形モデルで使用される正則化の手法の一覧である。