ラッソ回帰
log  p ( y , β ∣ X ) = ∑ n = 1 N log  p ( y n ∣ β , x n ) + ∑ k = 0 K log  p ( β k ) {\displaystyle \log {p(\mathbf {y} ,{\boldsymbol {\beta }}\mid \mathbf {X} )}=\sum _{n=1}^{N}\log {p(y_{n}\mid {\boldsymbol {\beta }},\mathbf {x} _{n})}+\sum _{k=0}^{K}\log {p(\beta _{k})}}
である。
ここで、 y {\displaystyle \mathbf {y} } の事前分布として平均 X β {\displaystyle \mathbf {X} {\boldsymbol {\beta }}} 、分散 σ 2 {\displaystyle \sigma ^{2}} の正規分布を仮定すると、右辺第1項は
∑ n = 1 N log  ( 1 2 π σ exp  ( − ( y n − x n ⊤ β ) 2 2 σ 2 ) ) = − N log  ( 2 π σ ) − 1 2 σ 2 ∑ n = 1 N ( y n − x n ⊤ β ) 2 {\displaystyle \sum _{n=1}^{N}\log {\left({\frac {1}{{\sqrt {2\pi }}\,\sigma }}\exp {\left(-{\frac {(y_{n}-\mathbf {x} _{n}^{\top }{\boldsymbol {\beta }})^{2}}{2\sigma ^{2}}}\right)}\right)}=-N\log({\sqrt {2\pi }}\,\sigma )-{\frac {1}{2\sigma ^{2}}}\sum _{n=1}^{N}(y_{n}-\mathbf {x} _{n}^{\top }{\boldsymbol {\beta }})^{2}}
さらに、パラメータ β {\displaystyle {\boldsymbol {\beta }}} の事前分布として平均 0 {\displaystyle 0} 、分散 2 b 2 {\displaystyle 2b^{2}} のラプラス分布を仮定すると、右辺第2項は
∑ k = 0 K log  ( 1 2 b exp  ( − | β k | b ) ) = − ( K + 1 ) log  ( 2 b ) − 1 b ∑ k = 0 K | β k | {\displaystyle \sum _{k=0}^{K}\log {\left({\frac {1}{2b}}\exp {\left(-{\frac {|\beta _{k}|}{b}}\right)}\right)}=-(K+1)\log(2b)-{\frac {1}{b}}\sum _{k=0}^{K}|\beta _{k}|}
以上から、 λ = 2 σ 2 b N {\displaystyle \lambda ={\frac {2\sigma ^{2}}{bN}}} を用いて次のように表される。
log  p ( y , β ∣ X ) = − N 2 σ 2 ( 1 N ∑ n = 1 N ( y n − x n ⊤ β ) 2 + λ ∑ k = 0 K | β i | ) + c o n s t . {\displaystyle \log {p(\mathbf {y} ,{\boldsymbol {\beta }}\mid \mathbf {X} )}=-{\frac {N}{2\sigma ^{2}}}\left({\frac {1}{N}}\sum _{n=1}^{N}(y_{n}-\mathbf {x} _{n}^{\top }{\boldsymbol {\beta }})^{2}+\lambda \sum _{k=0}^{K}|\beta _{i}|\right)+\mathrm {const.} }
括弧内は、ラグランジュの未定乗数法に基づく記載と同等である。
係数の事前分布として正規分布を仮定した場合の MAP推定値がリッジ回帰に相当するのと同様に、係数の事前分布としてラプラス分布を仮定した場合の MAP推定値がラッソ回帰に相当する。
ラプラス分布はゼロで鋭くピークに達し(その1次導関数は不連続)、確率分布は正規分布よりもゼロに近く集中する。 このことからも、なぜラッソ回帰では一部の係数をゼロに設定する傾向があるのに、リッジ回帰はそうではないのか、ということを説明できる。
p ( y , β ∣ X ) = p ( y ∣ β , X ) p ( β ∣ X ) = ∏ n = 1 N p ( y n ∣ β , x n ) ∏ k = 0 K p ( β k ) {\displaystyle p(\mathbf {y} ,{\boldsymbol {\beta }}\mid \mathbf {X} )=p(\mathbf {y} \mid {\boldsymbol {\beta }},\mathbf {X} )\;p({\boldsymbol {\beta }}\mid \mathbf {X} )=\prod _{n=1}^{N}p(y_{n}\mid {\boldsymbol {\beta }},\mathbf {x} _{n})\;\prod _{k=0}^{K}p(\beta _{k})}
すなわち、