No. 23-09

データ解析入門 18 <スパース推定の適用例>
キーワード：正則化法、スパース推定、連結 Lasso、一般化 Lasso、ADMM

𝐿𝜆 (𝜷) =12𝑁

‖𝒚 − 𝑋𝜷‖22 + 𝜆‖𝜷‖1(1)Lasso 回帰では、回帰係数 β = (β 1 , …, β p ) T にスーパス性を仮定しています。式(1)の損失関数は、第1 項がデータとの整合性、第 2 項が事前知識を反映した正則化項というように解釈できます。問題に応じて正則化項の定式化などを工夫することで、柔軟なスパース推定法が実行可能になります。
連結 Lasso と呼ばれる手法では、式(1)の正則化項に隣接する回帰係数の差分の 絶対値を追加します［式(2)］。
𝐿𝜆 (𝜷)
1‖𝒚 − 𝑋𝜷‖22 + 𝜆′ ‖𝜷‖1 + 𝜆 ∑𝑝𝑗=2|𝛽𝑗 − 𝛽𝑗−1 |=2𝑁

この正則化項により、隣接する回帰係数の値が同じ値に推定されやすくなります。なお、λ および λ ′は、いずれも正則化の強さを制御するハイパーパラメータです。
図 1 に、比較ゲノムハイブリタイイゼーション（CGH）法により計測された、ある病気の患者と健康な人のゲノムのコピー数を対数比で示します（灰点）。CGH データは R 言語の cghFLasso パッケージ 2) から取得しました。このデータに連結 Lasso を適用すると、ステップ状の推定結果が得られ、データの特徴が強調されます（青線）。連結 Lasso では、
式 (2) の 行 列 X を 単 位 行 列 と し て い ま す 。 連 結Lasso により、対数比が大きくなる特徴的な遺伝子

log2 Ratio

λ = 0.26420-26420-2100200300400500600700

800

100200300400500600700800

100200300400500600700800

Genome order

λ = 0.50

Genome order

λ = 3.00

Genome order

図 1 連結 Lasso の適用結果
一般化 Lasso
連結 Lasso の損失関数［式(2)］の正則化項は、
̃ を用いて以下のように変形できます 3) 。
行列𝐷𝑝1𝜆′‖𝒚 − 𝑋𝜷‖22 + 𝜆 ( ‖𝜷‖1 + ∑ |𝛽𝑗 − 𝛽𝑗−1 |)2𝑁
𝜆𝑗=2=(2)6420-20log2 Ratio

連結 Lasso
前稿 1) では、Lasso 回帰などのスパース推定法について説明しました。Lasso 回帰の損失関数を再掲します［式(1)］。N、y、X は、それぞれデータ数、目的変数ベクトル、データ行列です。

領域が明瞭になっています。λ を大きくすると、平滑化の効果が大きくなります。連結 Lasso は、隣接するデータ間の相関が強い時系列データなどに適用されます。

log2 Ratio

はじめに前稿 1) では、線形回帰モデルにスパース性を仮定することでいくつかの回帰係数が 0 に推定されることを確認しました。本稿では、系列データ、グラフデータ、および画像データにスパース推定を適用し、各スパースモデリングの特徴を説明します。

12𝑁̃ 𝜷‖‖𝒚 − 𝑋𝜷‖22 + 𝜆‖𝐷(3)1𝑇 𝑇̃ = ((𝜆′ ⁄𝜆)𝐼, 𝐷1𝑑𝐷)−10
𝐷1𝑑 = [
⋮01 0−1 1⋮⋮0 0⋯ 0⋯ 0⋱⋮⋯ −100]⋮1

ここで、I は p×p 型の単位行列、D 1d は(p − 1)×p 型の 1 次差分行列です。
この最小化問題はさらに一般化でき、式(3)第 2
̃ を所与の行列 D に置き換えた最小化問
項の行列𝐷
題は一般化 Lasso と呼ばれます［式(4)］。
𝐿𝜆 (𝜷) =12𝑁

‖𝒚 − 𝑋𝜷‖22 + 𝜆‖𝐷𝜷‖1(4)行列 D を単位行列とすると、Lasso 回帰の損失関数［式(1)］となることがわかります。
データ点のつながりを表す隣接行列を用いることで、グラフデータに連結 Lasso を適用することができます（図 2）。具体的には、各都道府県をグラフのノードとし、隣接関係をエッジで表現します。本稿では、都道府県ごとの人口 10 万人当たりのコン
ビニ店舗数 4) に連結 Lasso を適用しました。特に、
λ = 2 とした場合、同じ色の隣接した領域が拡大しており、比較的シンプルな色分けが得られます。
続いて、画像データに 2 次元連結 Lasso を適用します。本解析では、縦および横方向に隣接するピクセルの画素値の差分に L1 正則化を課しました。
このようにすることで、各ピクセルにおいて周辺の画素値に近づくような推定が行われます。ここで、人工的にノイ ズ（ガウス乱数） を付与し た画像［ 図3(b)］に 2 次元連結 Lasso を適用した結果を示します。2 次元連結 Lasso により、図 3(b)のノイズが低減されていることがわかります。

上式より、制約付き最小化問題などに用いられる拡張ラグラジアンは以下のようになります。
1𝜌‖𝒚 − 𝑋𝜷‖22 + 𝜆‖𝜸‖1 + 𝒖𝑇 (𝐷𝜷 − 𝜸) + ‖𝐷𝜷 − 𝜸‖222𝑁2

ここで、u = (u 1 , …, u p ) T はラグランジュ乗数、ρ（> 0）は調整パラメータです。ADMM では、拡張ラグラジアンをもとに、β という単一のパラメータではなく、3 つのパラメータ β、γ、u を交互に更新することで最小化を実行します。更新する 3 つのパラメータは互いに依存し ておらず、式 (4)の最小化は単純な下記ステップで実行できます。
1
𝜷(𝑡+1) = (𝑋 𝑇 𝑋 + 𝑁𝜌𝐷𝑇 𝐷)−1 {𝑋 𝑇 𝒚 + 𝑁𝜌𝐷𝑇 (𝜸(𝑡) − 𝒖(𝑡) )}𝜌(𝑡+1)

𝜸𝑗1(𝑡) 𝜆𝜌= 𝑆 ((𝐷𝜷(𝑡+1) )𝑗 + 𝑢𝑗 , ) (j = 1, …, p)𝜌𝒖(𝑡+1) = 𝒖(𝑡+1) + 𝜌(𝐷𝜷(𝑡+1) − 𝜸(𝑡+1) )ここで、 𝑆(・, ・)は軟閾値作用素と呼ばれるもので、変数 x の絶対値を縮小させ ます（ 図 4 ） 。なお、
(𝐷𝜷(𝑡+1) )𝑗 はベクトル 𝐷𝜷(𝑡+1) の第 j 成分です。
上記数式の形に最適化問題を定式化できれ
図 2 グラフデータへの連結 Lasso 適用結果

ば ADMM は適用可能です 。 そ の た め 、 ADMMは、様々な制約条件に適用できる汎用性の高い最適化アルゴリズムであるといえます。

図 3 (a) 元画像、(b) ノイズを加えた画像、(c) 2次元連結 Lasso を適用した画像

図 4 軟閾値作用素（λ = 1）

おわりに
本稿で紹介した手法はよく知られたスパース推定法です。R 言語などでスパース推定のための多くのパッケージが公開されており、連結 Lasso などを実行することができます。
参考文献

交互方向乗数法（ADMM）
本稿では、連結 Lasso の最小化問題に交互方向乗数法（ADMM）を用いました。ADMM では、式(4)の最小化問題を次の等式制約付き最小化問題へと置き換えます。 𝐷𝜷 = 𝜸 で条件づけられた変数 γ = (γ 1 , …, γ p ) T を導入することで制約条件に対応した最適化を行います。

1) 永廣卓哉：データ解析入門 17 <Lasso・Ridge・

1min { ‖𝒚 − 𝑋𝜷‖22 + 𝜆‖𝜸‖1 }𝛽,𝛾 2𝑁4) https://todo-ran.com/t/kiji/10328

subject to 𝐷𝜷 = 𝜸Elastic Net>、ORIST テクニカルシート、No. 23-06(2023)
2) https://cran.r-project.org/src/contrib/Archive/cghF
Lasso/ (accessed on November 18th, 2022)
3) 川野秀一・松井秀俊・ 廣瀬慧、 スパース推定法による統計モデリング、共立出版（2018）(accessed on November 14th, 2022)

発行日 2023 年 12 月 1 日
作成者 高分子機能材料研究部 生活環境材料研究室 永廣卓哉
Phone: 0725-51-2611
E-mail: ehirot@orist.jp