日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 5, 2022 年 3 月

潜在変数を用いた Gaussian Graphical

くつかの問題設定においては必ずしも適応的な方法ではないと考Model の柔軟な疎構造推定

何らかの関連が認められる場合や，個々の依存関係への解析者のえられる．例えば，変数間の個別ないし複数の依存関係に対して興味関心が異なる場合，あるいはデータに関する事前知識やノウ

小山 和輝 1切通 恵介 2

ハウを反映した推定を行いたい場合などが挙げられる．このよう

大川内 智海 3に，変数や依存関係の中に何らかの構造を当てはめたい場合，単
純な 𝐿 1 正則化を用いた Graphical LASSO では，全ての依存関係

泉谷 知範 4に同等の罰則が課されるのみであるため，現象をうまく捉えられない可能性がある [8–10]．

変数間の依存関係を表現する Gaussian Graphical Model に対し

本論文では，潜在構造正則化学習のひとつである Latent Groupて，Graphical LASSO はスパースなグラフ構造を抽出する．本論

LASSO [11–14] の枠組みに着目し，Gaussian Graphical Model に

文では，これに潜在構造正則化学習の枠組みを取り入れて，変数内在する構造化されたスパースな依存関係を抽出する手法を提案に内在する構造を反映させた新しい正則化手法を提案する．提案

する．提案手法における構造化されたスパースな関係性とは，1

手法では精度行列を分解した潜在変数に対してグループ構造を設

つ以上の依存関係に対して重複を許容して複数のグループを定定し，スパース性を誘導する多変量 Student’s t 分布を事前分布と義し，グループ構造に沿ったスパースな推論を行うことを意味

した確率モデルで，各グループの重要度とスパースな精度行列をする．Graphical LASSO に対して，このような構造を導入する

同時推定する．本論文では提案手法を人工データと実データに適研究は様々あるが [15–19]，提案手法は個々のグループに対して用し，スパース度合いや異常スコアなどを用いて有効性を検証し潜在変数と確率モデルを設定する点で大きく異なる．特に Tao

た．その結果，提案手法は入力構造に沿って変数間の依存関係を

らは重複を許容したグループノルムに基づく手法を提案していスパースに抽出することが確認された．

1

るが [18]，提案手法では確率モデルに基づいた最適化の過程で，個々のグループの重要度も自動調整し，不要なグループに適応的

はじめにに強い罰則を与えるという点で，より柔軟性が高い手法であると考えられる．

高次元データやグラフからの知識発見は，多くの社会科学現象のデータマイニングにおける重要な課題である．特に，システム

関連研究

2

が複数の要因で構成されている場合には，変数間に相互依存性があると仮定し，データからその依存関係を抽出してシステムの理

2.1 Group LASSO

解に繋げたいとすることは自然な着想である [1]．変数間の依存

構造正則化学習を行う最もシンプルかつ重要な手法として，関係をグラフ化する最も直感的な方法のひとつとして，2 つの変

Yuan らによって提案された Group LASSO がある [10]．Group

数間の依存関係にのみ着目し，他の全ての変数が与えられた条件

LASSO は LASSO [8] に似たスパースな解を導出するが，LASSO

下で 2 つの変数が条件付き独立であることと 2 つの変数間に辺がとは異なり事前に与えられた離散構造に沿ったスパースな解が誘ないことを等価として，条件付き独立性に基づいたグラフを構築

導される．

する Pairwise Markov Graph がある [2–4]．特に，データが多変

ここで，パラメータ 𝝎 = [𝜔1 , 𝜔2 , . . . , 𝜔 𝑃 ] ⊤ のインデックス集量正規分布に従うと仮定する場合には Gaussian Graphical Model

合を I = {1, 2, . . . , 𝑃} とし，変数間の離散構造を集合で表現すと呼ばれ，解析的な簡便さや性質の良さもあり，様々な分野で広る．すなわち，例えば {𝑖, 𝑗, 𝑘 } は 𝑖 番目， 𝑗 番目， 𝑘 番目のパラく応用されている [5]．

メータで構成されるグループ構造を意味する．これに従うと，2 I

こ の よ う な Gaussian Graphical Model の 枠 組 み に 対 し て ，を I の冪集合として，変数間の離散構造全体の集合は G ⊆ 2 I とBanerjee ら及び Friedman らによって，スパースなグラフ構造を表現できる．このとき，Group LASSO の正則化項 Ω(𝝎) は以下抽出する Graphical LASSO が体系的に提案された [6, 7]．Graph-のように与えられる．

Õ

ical LASSO では，データの従う多変量正規分布の精度行列に対Ω(𝝎) =

して，スパース性を誘導するラプラス分布を事前分布として仮定∥𝝎𝐺 ∥ 2

(1)

𝐺∈Gすることにより，変数間の依存関係を反映したスパースなグラフ構造を得ることができる．しかし，Graphical LASSO は全ての

ただし，𝝎𝐺 ∈ R 𝑃 は 𝝎 のうち I\𝐺 に属するインデックスをゼ依存関係が同一の事前分布に従っていることを仮定しており，いロとしたベクトルを意味する．
2.2

Latent Group LASSOGroup LASSO に対して，Latent Group LASSO は潜在変数を
1 非会員

NTT コミュニケーションズ株式会社
kazuki.koyama@ntt.com
2 非会員 NTT コミュニケーションズ株式会社
k.kiritoshi@ntt.com
3 非会員 NTT コミュニケーションズ株式会社
t.okawachi@ntt.com
4 非会員 NTT コミュニケーションズ株式会社
tomonori.izumitani@ntt.com用いた構造正則化学習であり，𝐺 を台にもつ独立な潜在ベクトル 𝝂𝐺 ∈ R 𝑃 の和で 𝝎 が与えられる [11–14]．そのため GroupLASSO とは異なり，個々のグループ 𝐺 に対して（線形和で 𝝎を定義していることを除いて）独立に潜在変数が導入されており，潜在変数の各成分が複数のグループ間で共有されていない

1

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 5, 2022 年 3 月【Example】<latexit sha1_base64="aHJHmNf1o1kSXz+1VYb5D0V0LsA=">AAAClnichVHLSsNAFD3GV32nuim4EYviqkxVfC2kKKLLaq0KVkISpzU0L5K0UkN/wB9wIS4UVMQP8APc+AMu+gniUsGNC2/SoIioN0zmzJl77pyZq9i65nqMNVqE1rb2js5YV3dPb1//gBgf3HKtiqPyvGrplrOjyC7XNZPnPc3T+Y7tcNlQdL6tlJeD/e0qd1zNMje9ms33DLlkakVNlT2iJDFeUAy/YBm8JNclf1VK1yUxyVIsjJGfIB2BJKLIWuIdCtiHBRUVGOAw4RHWIcOlbxdpMNjE7cEnziGkhfscdXSTtkJZnDJkYsv0L9FqN2JNWgc13VCt0ik6DYeUIxhjj+yGvbAHdsue2PuvtfywRuClRrPS1HJbGjhO5N7+VRk0ezj4Uv3p2UMRc6FXjbzbIRPcQm3qq0cnL7mFjTF/nF2wZ/J/zhrsnm5gVl/Vy3W+cfqHH4W80IuFDZoPYuazHT/B1mQqPZWaWp9OZpaiVsUwjFFMUD9mkcEasshT/UOc4QrXQkJYFFaE1Waq0BJphvAthOwHS5KXNQ==</latexit>{A1 , ,AG
2, A
3}
GA=={G
1
2 , G3 }= {{1, 2}, {2, 3, 4, , 6}, {4, 5}}<latexit sha1_base64="LotfJWggLYWuYvcnjDNCdE8hCGg=">AAAChnichVG7SgNBFD1ZX/EdtRFsgiFitUx8Ra2CFlrmYUxAQ9hdx7hkX+xuAjH4A4KtKawULMQP8ANs/AGLfIJYRrCx8O5mUUSMd5mdM2fuuXNmrmxpquMy1g4Jff0Dg0Ph4ZHRsfGJycjU9L5j1myF5xVTM+2iLDlcUw2ed1VX40XL5pIua7wgV7e9/UKd245qGntuw+IlXaoY6rGqSC5RuZ3yUjkSYyLzI/obJAIQQxBpM/KAQxzBhIIadHAYcAlrkODQd4AEGCziSmgSZxNS/X2OM4yQtkZZnDIkYqv0r9DqIGANWns1HV+t0CkaDZuUUcTZM7tjHfbE7tkL+/izVtOv4Xlp0Cx3tdwqT57P5t7/Vek0uzj5VvX07OIY675XlbxbPuPdQunq66etTm4zG28usBv2Sv6vWZs90g2M+ptym+HZqx5+ZPJCL+Y3aMOLta92/Ab7S2JiWVzOrMRSW0GrwpjDPBapH0mksIs08lS/ggtcoiWEBVFYFZLdVCEUaGbwI4TUJwQqkJo=</latexit><latexit sha1_base64="w8ri+XeaS5DsgyvmgGFkGM1hrOw=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmE0EJFkERLPMwD0hC2F0ncci+2J0EYvAHLG0sYqNgIX6AH2DjD1jkE8Qygo2FdzcLosF4l9k5c+aeO2fmyqbKbE7IwCdMTc/MzvnnAwuLwaVQeHmlaBttS6EFxVANqyxLNlWZTguccZWWTYtKmqzSktw6cPZLHWrZzNCPedekNU1q6qzBFIkjVa4aGm1KdbEejpI4cSMyDkQPRMGLjBF+hCqcgAEKtEEDCjpwxCpIYONXAREImMjVoIechYi5+xTOIYDaNmZRzJCQbeG/iauKx+q4dmrarlrBU1QcFiojECMv5J4MyTN5IK/k889aPbeG46WLszzSUrMeuljLf/yr0nDmcPqtmuiZQwN2Xa8MvZsu49xCGek7Z1fDfCoX622SW/KG/m/IgDzhDfTOu3KXpbn+BD8yesEXwwaJv9sxDoqJuJiMJ7Lb0fS+1yo/rMMGbGE/diANR5CBgtuHS+jDtRAUkkJK2BulCj5Pswo/Qjj8AjB/krY=</latexit><latexit sha1_base64="uEQpu9j5i4OjUVZ1B+Sz9npeKto=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmE0EJFkERLPMwD0hC2F0ncci+2J0EYvAHLG0sYqNgIX6AH2DjD1jkE8Qygo2FdzcLosF4l9k5c+aeO2fmyqbKbE7IwCdMTc/MzvnnAwuLwaVQeHmlaBttS6EFxVANqyxLNlWZTguccZWWTYtKmqzSktw6cPZLHWrZzNCPedekNU1q6qzBFIkjVa4aGm1K9UQ9HCVx4kZkHIgeiIIXGSP8CFU4AQMUaIMGFHTgiFWQwMavAiIQMJGrQQ85CxFz9ymcQwC1bcyimCEh28J/E1cVj9Vx7dS0XbWCp6g4LFRGIEZeyD0ZkmfyQF7J55+1em4Nx0sXZ3mkpWY9dLGW//hXpeHM4fRbNdEzhwbsul4ZejddxrmFMtJ3zq6G+VQu1tskt+QN/d+QAXnCG+idd+UuS3P9CX5k9IIvhg0Sf7djHBQTcTEZT2S3o+l9r1V+WIcN2MJ+7EAajiADBbcPl9CHayEoJIWUsDdKFXyeZhV+hHD4BTKfkrc=</latexit><latexit sha1_base64="qIkl7lfAw/1SNCkkI23Q64SKDCE=">AAAChnichVFNLwNRFD0dX/VdbCQ2oqlYNbeKYtWwYImqSpBmZrzWi+nMZGbahMYfkNiysCKxED/AD7DxByz8BLEksbFwZzoh0qg7efPOO++e+857V7MN6XpEzxGlrb2jsyva3dPb1z8wGBsa3nKtqqOLvG4ZlrOtqa4wpCnynvQMsW07Qq1ohihoh8v+fqEmHFda5qZ3ZIu9ilo2ZUnqqsdUbqWYLsbilKQgxptBKgRxhLFmxe6xi31Y0FFFBQImPMYGVLj87SAFgs3cHurMOYxksC9wgh7WVjlLcIbK7CH/y7zaCVmT135NN1DrfIrBw2HlOBL0RLf0Ro90Ry/0+WetelDD93LEs9bQCrs4eDqa+/hXVeHZw8GPqqVnDyXMB14le7cDxr+F3tDXji/ecosbifokXdMr+7+iZ3rgG5i1d/1mXWxctvCjsRd+saBBC37MfbejGWxNJ1PpZHp9Jp5dClsVxRgmMMX9yCCLVawhz/XLOMM5LpSoklRmlUwjVYmEmhH8CiX7BQZKkJs=</latexit>

ここで，𝚲 ∈ R 𝑀 ×𝑀 は分散共分散行列の逆行列であり，一般に<latexit sha1_base64="9GzyO+sWtVednqQPC1SHiXp9VUw=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmk4ASLIIiWOZhHpCEsLuOcci+2J0EYvAHLG0sYqNgIX6AH2DjD1jkE8Qygo2FdzcLosF4l9k5c+aeO2fmyqbKbE7IwCdMTc/MzvnnAwuLwaVQeHmlZBttS6FFxVANqyJLNlWZTouccZVWTItKmqzSstzad/bLHWrZzNCPeNekdU1q6uyEKRJHqlIzNNqUGqlGOErixI3IOBA9EAUvskb4EWpwDAYo0AYNKOjAEasggY1fFUQgYCJXhx5yFiLm7lM4hwBq25hFMUNCtoX/Jq6qHqvj2qlpu2oFT1FxWKiMQIy8kHsyJM/kgbySzz9r9dwajpcuzvJIS81G6GKt8PGvSsOZw+m3aqJnDiew43pl6N10GecWykjfObsaFtL5WG+T3JI39H9DBuQJb6B33pW7HM33J/iR0Qu+GDZI/N2OcVBKxMVkPJFLRTN7Xqv8sA4bsIX92IYMHEIWim4fLqEP10JQSAppYXeUKvg8zSr8COHgCzbfkrk=</latexit><latexit sha1_base64="9GzyO+sWtVednqQPC1SHiXp9VUw=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmk4ASLIIiWOZhHpCEsLuOcci+2J0EYvAHLG0sYqNgIX6AH2DjD1jkE8Qygo2FdzcLosF4l9k5c+aeO2fmyqbKbE7IwCdMTc/MzvnnAwuLwaVQeHmlZBttS6FFxVANqyJLNlWZTouccZVWTItKmqzSstzad/bLHWrZzNCPeNekdU1q6uyEKRJHqlIzNNqUGqlGOErixI3IOBA9EAUvskb4EWpwDAYo0AYNKOjAEasggY1fFUQgYCJXhx5yFiLm7lM4hwBq25hFMUNCtoX/Jq6qHqvj2qlpu2oFT1FxWKiMQIy8kHsyJM/kgbySzz9r9dwajpcuzvJIS81G6GKt8PGvSsOZw+m3aqJnDiew43pl6N10GecWykjfObsaFtL5WG+T3JI39H9DBuQJb6B33pW7HM33J/iR0Qu+GDZI/N2OcVBKxMVkPJFLRTN7Xqv8sA4bsIX92IYMHEIWim4fLqEP10JQSAppYXeUKvg8zSr8COHgCzbfkrk=</latexit><latexit sha1_base64="xq9zwWEc7pC3cTbrlfxWbKCB+VI=">AAAChHichVG7SgNBFD1ZNcb4SNRGsAmGiIWE2URRLCRoY5mHeYCK7K5jXLIvdjeBGPwBbRULKwUL8QP8ABt/wCKfIJYRbCy82SyIivEus3PmzD13zsyVLU11XMbaAWFgcCg4HBoJj46NT0Sik1Mlx6zbCi8qpmbaFVlyuKYavOiqrsYrls0lXdZ4Wa5tdvfLDW47qmlsu02L7+lS1VAPVUVyicqJ+9E4SzIvYr+B6IM4/Mia0Qfs4gAmFNShg8OAS1iDBIe+HYhgsIjbQ4s4m5Dq7XOcIEzaOmVxypCIrdG/SqsdnzVo3a3peGqFTtFo2KSMIcGe2R3rsCd2z17Yx5+1Wl6NrpcmzXJPy639yOlM4f1flU6zi6MvVV/PLg6x6nlVybvlMd1bKD194/iyU1jLJ1rz7Ia9kv9r1maPdAOj8abc5nj+qo8fmbzQi1GDxJ/t+A1KqaSYTqZyS/HMht+qEGYxhwXqxwoy2EIWRarPcYZzXAhBYVFIC8u9VCHga6bxLYT1Tz3Dj6w=</latexit><latexit sha1_base64="w8ri+XeaS5DsgyvmgGFkGM1hrOw=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmE0EJFkERLPMwD0hC2F0ncci+2J0EYvAHLG0sYqNgIX6AH2DjD1jkE8Qygo2FdzcLosF4l9k5c+aeO2fmyqbKbE7IwCdMTc/MzvnnAwuLwaVQeHmlaBttS6EFxVANqyxLNlWZTguccZWWTYtKmqzSktw6cPZLHWrZzNCPedekNU1q6qzBFIkjVa4aGm1KdbEejpI4cSMyDkQPRMGLjBF+hCqcgAEKtEEDCjpwxCpIYONXAREImMjVoIechYi5+xTOIYDaNmZRzJCQbeG/iauKx+q4dmrarlrBU1QcFiojECMv5J4MyTN5IK/k889aPbeG46WLszzSUrMeuljLf/yr0nDmcPqtmuiZQwN2Xa8MvZsu49xCGek7Z1fDfCoX622SW/KG/m/IgDzhDfTOu3KXpbn+BD8yesEXwwaJv9sxDoqJuJiMJ7Lb0fS+1yo/rMMGbGE/diANR5CBgtuHS+jDtRAUkkJK2BulCj5Pswo/Qjj8AjB/krY=</latexit><latexit sha1_base64="ukhiIOs9e89DnoHrhsqA+/On5YU=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmE0UJFkERLPMwD0hC2F3HOGRf7E4CMfgDljYWsVGwED/AD7DxByzyCWIZwcbCu5sF0WC8y+ycOXPPnTNzZVNlNiek7xMmJqemZ/yzgbn54EIovLhUtI2WpdCCYqiGVZYlm6pMpwXOuErLpkUlTVZpSW7uO/ulNrVsZuhHvGPSmiY1dHbCFIkjVa4aGm1I9a16OErixI3IKBA9EAUvMkb4EapwDAYo0AINKOjAEasggY1fBUQgYCJXgy5yFiLm7lM4hwBqW5hFMUNCton/Bq4qHqvj2qlpu2oFT1FxWKiMQIy8kHsyIM/kgbySzz9rdd0ajpcOzvJQS8166GIl//GvSsOZw+m3aqxnDiew43pl6N10GecWylDfPrsa5FO5WHed3JI39H9D+uQJb6C335W7LM31xviR0Qu+GDZI/N2OUVBMxMVkPJHdjKb3vFb5YRXWYAP7sQ1pOIQMFNw+XEIProWgkBRSwu4wVfB5mmX4EcLBFzj/kro=</latexit><latexit sha1_base64="toxRPkcelXNr+YiFu3HdgtIBgJ8=">AAAChHichVHLTsJAFD1URcQHqBsTN0SCcWHIABqNC0N045KHPBIkpK0jNpS2aQsJEn9AtxoXrjRxYfwAP8CNP+CCTzAuMXHjwktpYpSIt5nOmTP33DkzVzJUxbIZ63iEkdEx77hvwj85NT0TCM7O5S29Yco8J+uqbhYl0eKqovGcrdgqLxomF+uSygtSbbe3X2hy01J0bd9uGbxcF6uacqTIok1UOl4JhlmUOREaBDEXhOFGSg8+4gCH0CGjgTo4NNiEVYiw6CshBgaDuDLaxJmEFGef4xR+0jYoi1OGSGyN/lValVxWo3WvpuWoZTpFpWGSMoQIe2H3rMue2QN7ZZ9/1mo7NXpeWjRLfS03KoGzhezHv6o6zTaOv1VDPds4wqbjVSHvhsP0biH39c2Tq252KxNpL7Nb9kb+b1iHPdENtOa7fJfmmeshfiTyQi9GDYr9bscgyMejsUQ0nl4LJ3fcVvmwiCWsUD82kMQeUshRfY5zXOBS8AqrQkJY76cKHlczjx8hbH8BP+OPrQ==</latexit><latexit sha1_base64="uEQpu9j5i4OjUVZ1B+Sz9npeKto=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmE0EJFkERLPMwD0hC2F0ncci+2J0EYvAHLG0sYqNgIX6AH2DjD1jkE8Qygo2FdzcLosF4l9k5c+aeO2fmyqbKbE7IwCdMTc/MzvnnAwuLwaVQeHmlaBttS6EFxVANqyxLNlWZTguccZWWTYtKmqzSktw6cPZLHWrZzNCPedekNU1q6qzBFIkjVa4aGm1K9UQ9HCVx4kZkHIgeiIIXGSP8CFU4AQMUaIMGFHTgiFWQwMavAiIQMJGrQQ85CxFz9ymcQwC1bcyimCEh28J/E1cVj9Vx7dS0XbWCp6g4LFRGIEZeyD0ZkmfyQF7J55+1em4Nx0sXZ3mkpWY9dLGW//hXpeHM4fRbNdEzhwbsul4ZejddxrmFMtJ3zq6G+VQu1tskt+QN/d+QAXnCG+idd+UuS3P9CX5k9IIvhg0Sf7djHBQTcTEZT2S3o+l9r1V+WIcN2MJ+7EAajiADBbcPl9CHayEoJIWUsDdKFXyeZhV+hHD4BTKfkrc=</latexit>

分布の精度行列と呼ばれている．また 𝒙 −{𝑖, 𝑗 } を 𝑥 𝑖 と 𝑥 𝑗 以外の<latexit sha1_base64="ukhiIOs9e89DnoHrhsqA+/On5YU=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmE0UJFkERLPMwD0hC2F3HOGRf7E4CMfgDljYWsVGwED/AD7DxByzyCWIZwcbCu5sF0WC8y+ycOXPPnTNzZVNlNiek7xMmJqemZ/yzgbn54EIovLhUtI2WpdCCYqiGVZYlm6pMpwXOuErLpkUlTVZpSW7uO/ulNrVsZuhHvGPSmiY1dHbCFIkjVa4aGm1I9a16OErixI3IKBA9EAUvMkb4EapwDAYo0AINKOjAEasggY1fBUQgYCJXgy5yFiLm7lM4hwBqW5hFMUNCton/Bq4qHqvj2qlpu2oFT1FxWKiMQIy8kHsyIM/kgbySzz9rdd0ajpcOzvJQS8166GIl//GvSsOZw+m3aqxnDiew43pl6N10GecWylDfPrsa5FO5WHed3JI39H9D+uQJb6C335W7LM31xviR0Qu+GDZI/N2OUVBMxMVkPJHdjKb3vFb5YRXWYAP7sQ1pOIQMFNw+XEIProWgkBRSwu4wVfB5mmX4EcLBFzj/kro=</latexit>

全ての変数とすると，多変量正規分布の仮定から 𝑥 𝑖 と 𝑥 𝑗 の依存<latexit sha1_base64="k92LJ+djKujSBoOLZsPXELogbzY=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmE1EJFkERLPMwD0hC2F3HOGRf7E4CMfgDljYWsVGwED/AD7DxByzyCWIZwcbCu5sF0WC8y+ycOXPPnTNzZVNlNiek7xMmJqemZ/yzgbn54EIovLhUtI2WpdCCYqiGVZYlm6pMpwXOuErLpkUlTVZpSW7uO/ulNrVsZuhHvGPSmiY1dHbCFIkjVa4aGm1I9a16OErixI3IKBA9EAUvMkb4EapwDAYo0AINKOjAEasggY1fBUQgYCJXgy5yFiLm7lM4hwBqW5hFMUNCton/Bq4qHqvj2qlpu2oFT1FxWKiMQIy8kHsyIM/kgbySzz9rdd0ajpcOzvJQS8166GIl//GvSsOZw+m3aqxnDiew43pl6N10GecWylDfPrsa5FO5WHed3JI39H9D+uQJb6C335W7LM31xviR0Qu+GDZI/N2OUVBMxMVkPJHdjKb3vFb5YRXWYAP7sQ1pOIQMFNw+XEIProWgkBRSwu4wVfB5mmX4EcLBFzsfkrs=</latexit><latexit sha1_base64="XMGhGu82vQddkCWynxsNl6kz7G0=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmE0EJFkERLPMwD0hC2F0ncci+2J0EYvAHLG0sYqNgIX6AH2DjD1jkE8Qygo2FdzcLosF4l9k5c+aeO2fmyqbKbE7IwCdMTc/MzvnnAwuLwaVQeHmlaBttS6EFxVANqyxLNlWZTguccZWWTYtKmqzSktw6cPZLHWrZzNCPedekNU1q6qzBFIkjVa4aGm1K9WQ9HCVx4kZkHIgeiIIXGSP8CFU4AQMUaIMGFHTgiFWQwMavAiIQMJGrQQ85CxFz9ymcQwC1bcyimCEh28J/E1cVj9Vx7dS0XbWCp6g4LFRGIEZeyD0ZkmfyQF7J55+1em4Nx0sXZ3mkpWY9dLGW//hXpeHM4fRbNdEzhwbsul4ZejddxrmFMtJ3zq6G+VQu1tskt+QN/d+QAXnCG+idd+UuS3P9CX5k9IIvhg0Sf7djHBQTcTEZT2S3o+l9r1V+WIcN2MJ+7EAajiADBbcPl9CHayEoJIWUsDdKFXyeZhV+hHD4BTS/krg=</latexit>

⌫
⌫GA11

<latexit sha1_base64="9GzyO+sWtVednqQPC1SHiXp9VUw=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmk4ASLIIiWOZhHpCEsLuOcci+2J0EYvAHLG0sYqNgIX6AH2DjD1jkE8Qygo2FdzcLosF4l9k5c+aeO2fmyqbKbE7IwCdMTc/MzvnnAwuLwaVQeHmlZBttS6FFxVANqyJLNlWZTouccZVWTItKmqzSstzad/bLHWrZzNCPeNekdU1q6uyEKRJHqlIzNNqUGqlGOErixI3IOBA9EAUvskb4EWpwDAYo0AYNKOjAEasggY1fFUQgYCJXhx5yFiLm7lM4hwBq25hFMUNCtoX/Jq6qHqvj2qlpu2oFT1FxWKiMQIy8kHsyJM/kgbySzz9r9dwajpcuzvJIS81G6GKt8PGvSsOZw+m3aqJnDiew43pl6N10GecWykjfObsaFtL5WG+T3JI39H9DBuQJb6B33pW7HM33J/iR0Qu+GDZI/N2OcVBKxMVkPJFLRTN7Xqv8sA4bsIX92IYMHEIWim4fLqEP10JQSAppYXeUKvg8zSr8COHgCzbfkrk=</latexit><latexit sha1_base64="D92PQ1KaYcVaAJcV0nL/c4fOaak=">AAAChHichVFNLwNBGH6sr6qPFheJi2iIgzSzbYU4iHBx1FZVgsjuGjXpfmV32qQaf4ArcXAicRA/wA9w8Qcc/ARxJHFx8O52E0HwbmbnmWfe551n5tVdU/iSscc2pb2js6s71hPv7esfSCQHh9Z9p+YZvGQ4puNt6JrPTWHzkhTS5BuuxzVLN3lZry4H++U693zh2Guy4fJtS6vYYk8YmiQqn9tJpliahTH2E6gRSCGKVSd5iy3swoGBGixw2JCETWjw6duECgaXuG00ifMIiXCf4xBx0tYoi1OGRmyV/hVabUasTeugph+qDTrFpOGRcgwT7IFdsxd2z27YE3v/tVYzrBF4adCst7Tc3UkcjRTf/lVZNEvsf6r+9Cyxh7nQqyDvbsgEtzBa+vrB2UtxvjDRnGSX7Jn8X7BHdkc3sOuvxlWeF87/8KOTF3oxapD6vR0/wXomrWbTmXwutbgUtSqGUYxjivoxi0WsYBUlqs9xjBOcKl3KtJJVZlqpSlukGcaXUBY+AEQjj68=</latexit>⌫G
A22<latexit sha1_base64="8rui2J121I5pNXCq5jjHQHeOqMk=">AAACkXichVG7SgNBFD1ZX/GZaBrBJhgUqzAxosYqaKFgkxijgtGwu07ikn2xj0Bc8gP+gIKVAQvxA/wAG3/AIp8glgo2Ft5dF0VEvcvsnDlzz50zcyVTVWyHsW5E6Ont6x+IDg4Nj4yOxeLjEzu24VoyL8uGalh7kmhzVdF52VEcle+ZFhc1SeW7UmPN399tcstWDH3baZn8QBPrulJTZNEh6rAiaV5Fd9tVb72aaVfjKZZmQSR/gkwIUgijYMRvUcERDMhwoYFDh0NYhQibvn1kwGASdwCPOIuQEuxztDFEWpeyOGWIxDboX6fVfsjqtPZr2oFaplNUGhYpk5hhD+yaPbN7dsMe2duvtbyghu+lRbP0oeVmNXY6WXr9V6XR7OD4S/WnZwc1LAdeFfJuBox/C/lD3zw5ey6tbM14s6zDnsj/JeuyO7qB3nyRr4p86+IPPxJ5oRcLGpTzY/GzHT/Bznw6k01niwup/GrYqiimMI056scS8thAAWWqb+Ecl+gICSEn5IUwV4iEmgS+hbD5Ds0VlcA=</latexit>

⌫G
⌫
A33

<latexit sha1_base64="c290RSziOgqBqXAz484E9WRkm/Q=">AAACkXichVHLSsNAFD2Nr/qudiO4KRbFVZm2otZV0YWCm9paFdpakjitwbxI0kIN/QF/QMGVggvxA/wAN/6ACz9BXFZw48KbGBQp1hsmc+bMPXfOzJVMVbEdxp5DQl//wOBQeHhkdGx8YjIyNb1nGw1L5kXZUA3rQBJtrio6LzqKo/ID0+KiJql8XzrZ8Pb3m9yyFUPfdVomr2hiXVdqiiw6RB2WJc0t64121d2sptrVSJwlmB+xbpAMQBxB5IzIPco4ggEZDWjg0OEQViHCpq+EJBhM4ipwibMIKf4+RxsjpG1QFqcMkdgT+tdpVQpYndZeTdtXy3SKSsMiZQzz7Indsg57ZHfshX38Wcv1a3heWjRLX1puVifPZgrv/6o0mh0c/6h6enZQw6rvVSHvps94t5C/9M3T805hLT/vLrBr9kr+r9gze6Ab6M03+WaH5y97+JHIC72Y36CMF8vf7egGe6lEMp1I7yzFs+tBq8KYxRwWqR8ryGILORSpvoULXOFaiAoZISsEuUIo0ETxK4TtT882lcE=</latexit><latexit sha1_base64="faW5eDhVKf/Mq9SoOYW0A5/DPvU=">AAACkHichVHNLgNRGD0df/Xbqo3ERjRELJpbFcpGsRGrthSJVjMzbmvS+TMzbVJNX8ALWNggsRAP4AFsvIBFH0EsSWwsfDOdEBH1Te7cc8/9znfPvZ9kqortMNYKCF3dPb19wf6BwaHhkVB4NLJrG1VL5jnZUA1rXxJtrio6zzmKo/J90+KiJql8T6psuPt7NW7ZiqHvOHWTFzSxrCslRRYdogp5SWvkDY2XxebhXDEcZTHmxeRvEPdBFH6kjfA98jiCARlVaODQ4RBWIcKm7wBxMJjEFdAgziKkePscTQyQtkpZnDJEYiv0L9PqwGd1Wrs1bU8t0ykqDYuUk5hmT+yWvbJHdsee2ceftRpeDddLnWapreVmMXQ2vv3+r0qj2cHxt6qjZwclJD2vCnk3Pca9hdzW107PX7dXstONGXbNXsj/FWuxB7qBXnuTbzI8e9HBj0Re6MW8Bi27sfjVjt9gdz4WT8QSmYVoat1vVRATmMIs9WMJKWwijRzVP8E5LnElRISksCqstVOFgK8Zw48Qtj4BkfeVNg==</latexit><latexit sha1_base64="YNhjkbpNzDNVxC2F5KltsWP09g8=">AAACkXichVG7SgNBFD2u72eiaQSbYFCswsSIrypooWCTGGMCiYbddRIX98U+AnHJD/gDClYGLMQP8ANs/AGLfIJYKthYeHezKCLqXWbnzJl77pyZK5mqYjuMdXqE3r7+gcGh4ZHRsfGJSHRyat82XEvmBdlQDaskiTZXFZ0XHMVRecm0uKhJKi9KJ5v+frHBLVsx9D2nafIDTazrSk2RRYeow4qkeRXdbVW9rWq6VY0mWJIFEf8JUiFIIIysEb1DBUcwIMOFBg4dDmEVImz6ykiBwSTuAB5xFiEl2OdoYYS0LmVxyhCJPaF/nVblkNVp7de0A7VMp6g0LFLGMcce2Q17YQ/slj2x919reUEN30uTZqmr5WY1cjadf/tXpdHs4PhL9adnBzWsBl4V8m4GjH8LuatvnJ6/5Nd357x51mbP5P+Kddg93UBvvMrXOb57+YcfibzQiwUNWvNj+bMdP8H+YjKVTqZzS4nMRtiqIcxgFgvUjxVksI0sClTfwgWu0BZiwpqQEcJcoSfUxPAthJ0P0VeVwg==</latexit><latexit sha1_base64="Lqujucw0x9jiK29bCGPqueaB030=">AAAChHichVG7SgNBFD1ZNcZ31EawEUPEQsIkMSgWItpYJsY8IIawu050yb7Y3QRi8Ae0VSysFCzED/ADbPwBi3yCWEawsfDuZkE0GO8yO2fO3HPnzFzJVBXbYawdEAYGh4LDoZHRsfGJyanw9EzeNuqWzHOyoRpWURJtrio6zzmKo/KiaXFRk1RekGo77n6hwS1bMfR9p2nysiYe6UpVkUWHqEyqEo6wGPNioRfEfRCBH2kj/IgDHMKAjDo0cOhwCKsQYdNXQhwMJnFltIizCCnePscpRklbpyxOGSKxNfof0arkszqt3Zq2p5bpFJWGRcoFRNkLu2cd9swe2Cv7/LNWy6vhemnSLHW13KxMnc1lP/5VaTQ7OP5W9fXsoIp1z6tC3k2PcW8hd/WNk6tOdmMv2lpit+yN/N+wNnuiG+iNd/kuw/eu+/iRyAu9GDUo/rsdvSCfiMWTsURmNbK17bcqhHksYpn6sYYt7CKNHNXnOMcFLoWgsCIkhVQ3VQj4mln8CGHzC0ZDj7A=</latexit>

関係を表現する条件付き確率は次のように書き下せる．

!⇤

= ⌫⌫
c11 =
AG
, 1 1 ,1!
= ⌫⌫G+,2⌫ + ⌫G ,2
c22 =
!
1
2

⌫⌫G
A11, ,1
1<latexit sha1_base64="ukhiIOs9e89DnoHrhsqA+/On5YU=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmE0UJFkERLPMwD0hC2F3HOGRf7E4CMfgDljYWsVGwED/AD7DxByzyCWIZwcbCu5sF0WC8y+ycOXPPnTNzZVNlNiek7xMmJqemZ/yzgbn54EIovLhUtI2WpdCCYqiGVZYlm6pMpwXOuErLpkUlTVZpSW7uO/ulNrVsZuhHvGPSmiY1dHbCFIkjVa4aGm1I9a16OErixI3IKBA9EAUvMkb4EapwDAYo0AINKOjAEasggY1fBUQgYCJXgy5yFiLm7lM4hwBqW5hFMUNCton/Bq4qHqvj2qlpu2oFT1FxWKiMQIy8kHsyIM/kgbySzz9rdd0ajpcOzvJQS8166GIl//GvSsOZw+m3aqxnDiew43pl6N10GecWylDfPrsa5FO5WHed3JI39H9D+uQJb6C335W7LM31xviR0Qu+GDZI/N2OUVBMxMVkPJHdjKb3vFb5YRXWYAP7sQ1pOIQMFNw+XEIProWgkBRSwu4wVfB5mmX4EcLBFzj/kro=</latexit>

1<latexit sha1_base64="UM6iLAxFafw6WFFtVQMQz9J/nBs=">AAAClXichVHLSsNAFD3G9zvqQsFNsVRcSJmo+AKhoKg7a2tVsBKSOGowL5K0oKE/4A+40I1CBfED/AA3/oALP0FcVnDjwps0KCLqDZM5c+aeO2fmqo6hez5jTw1CY1NzS2tbe0dnV3dPr9jXv+nZJVfjBc02bHdbVTxu6BYv+Lpv8G3H5YqpGnxLPVoM97fK3PV029rwjx2+ayoHlr6va4pPlCyKRdUMilapIgcrsjQuVWQxydIsisRPIMUgiTiytniHIvZgQ0MJJjgs+IQNKPDo24EEBoe4XQTEuYT0aJ+jgg7SliiLU4ZC7BH9D2i1E7MWrcOaXqTW6BSDhkvKBFLskd2wGntgt+yZvf9aK4hqhF6OaVbrWu7IvadD+bd/VSbNPg6/VH969rGP2cirTt6diAlvodX15ZOzWn4+lwpG2RV7If+X7Ind0w2s8qtWXee58z/8qOSFXixq0FwY05/t+Ak2J9LSZHpyfSqZmY9b1YZhjGCM+jGDDFaRRYHql3GBKq6FQWFBWBKW66lCQ6wZwLcQ1j4AcQiWWg==</latexit><latexit sha1_base64="w8ri+XeaS5DsgyvmgGFkGM1hrOw=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmE0EJFkERLPMwD0hC2F0ncci+2J0EYvAHLG0sYqNgIX6AH2DjD1jkE8Qygo2FdzcLosF4l9k5c+aeO2fmyqbKbE7IwCdMTc/MzvnnAwuLwaVQeHmlaBttS6EFxVANqyxLNlWZTguccZWWTYtKmqzSktw6cPZLHWrZzNCPedekNU1q6qzBFIkjVa4aGm1KdbEejpI4cSMyDkQPRMGLjBF+hCqcgAEKtEEDCjpwxCpIYONXAREImMjVoIechYi5+xTOIYDaNmZRzJCQbeG/iauKx+q4dmrarlrBU1QcFiojECMv5J4MyTN5IK/k889aPbeG46WLszzSUrMeuljLf/yr0nDmcPqtmuiZQwN2Xa8MvZsu49xCGek7Z1fDfCoX622SW/KG/m/IgDzhDfTOu3KXpbn+BD8yesEXwwaJv9sxDoqJuJiMJ7Lb0fS+1yo/rMMGbGE/diANR5CBgtuHS+jDtRAUkkJK2BulCj5Pswo/Qjj8AjB/krY=</latexit><latexit sha1_base64="zMrxbWNJ4N2H7WHOS5EF/xcSTiQ=">AAAClnichVHLSsNAFD3G97vqpuBGLIoLKRMrvkApiuiyPvqAVkISxxrMiyStaOgP+AMuxIWCivgBfoAbf8CFnyAuFdy48CYNioh6w2TOnLnnzpm5iq1rrsfYY4PQ2NTc0trW3tHZ1d3TG+vrz7lWxVF5VrV0yykosst1zeRZT/N0XrAdLhuKzvPK3lKwn69yx9Usc9M7sPmWIZdNbUdTZY8oKdY3X1IMv2RWapK/IonjYk2KJViShTH0E4gRSCCKjBW7RQnbsKCiAgMcJjzCOmS49BUhgsEmbgs+cQ4hLdznqKGDtBXK4pQhE7tH/zKtihFr0jqo6YZqlU7RaTikHMIIe2DX7IXdsxv2xN5/reWHNQIvBzQrdS23pd6j+MbbvyqDZg+7X6o/PXvYwUzoVSPvdsgEt1Dr+urh8cvG3PqIP8rO2TP5P2OP7I5uYFZf1Ys1vn7yhx+FvNCLhQ2aDWLqsx0/QW4iKaaSqbXJRHoxalUbBjGMMerHNNJYRQZZqr+PU1ziSogLC8KysFJPFRoizQC+hZD5AB6slqk=</latexit>⌫G
A11, ,22<latexit sha1_base64="k92LJ+djKujSBoOLZsPXELogbzY=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmE1EJFkERLPMwD0hC2F3HOGRf7E4CMfgDljYWsVGwED/AD7DxByzyCWIZwcbCu5sF0WC8y+ycOXPPnTNzZVNlNiek7xMmJqemZ/yzgbn54EIovLhUtI2WpdCCYqiGVZYlm6pMpwXOuErLpkUlTVZpSW7uO/ulNrVsZuhHvGPSmiY1dHbCFIkjVa4aGm1I9a16OErixI3IKBA9EAUvMkb4EapwDAYo0AINKOjAEasggY1fBUQgYCJXgy5yFiLm7lM4hwBqW5hFMUNCton/Bq4qHqvj2qlpu2oFT1FxWKiMQIy8kHsyIM/kgbySzz9rdd0ajpcOzvJQS8166GIl//GvSsOZw+m3aqxnDiew43pl6N10GecWylDfPrsa5FO5WHed3JI39H9D+uQJb6C335W7LM31xviR0Qu+GDZI/N2OUVBMxMVkPJHdjKb3vFb5YRXWYAP7sQ1pOIQMFNw+XEIProWgkBRSwu4wVfB5mmX4EcLBFzsfkrs=</latexit>⌫G
A22, ,22<latexit sha1_base64="9mCdVAL3G4w/KnqjgXQZxaBdwgE=">AAAClXichVHLSsNAFD3GV31HXSi4EUvFhZSpii8QBEXdWR+thbaEJI4azIskLdTQH/AHXOhGQUH8AD/AjT/gop8gLhXcuPAmDYqI9YbJnDlzz50zcxVb11yPsVqT0NzS2tYe6+js6u7p7RP7B7KuVXJUnlEt3XJyiuxyXTN5xtM8nedsh8uGovM95Xgl2N8rc8fVLHPXq9i8aMiHpnagqbJHlCSKBcXwC2apKvnrUmpyqiqJcZZkYYz+BqkIxBFF2hLvUcA+LKgowQCHCY+wDhkufXmkwGATV4RPnENIC/c5qugkbYmyOGXIxB7T/5BW+Yg1aR3UdEO1SqfoNBxSjiLBntgte2WP7I49s48/a/lhjcBLhWalruW21Hc6vPP+r8qg2cPRt6qhZw8HmA+9auTdDpngFmpdXz45e91Z3E744+yKvZD/S1ZjD3QDs/ymXm/x7fMGfhTyQi8WNmghiNmvdvwG2alkajo5vTUTX16MWhXDCMYwQf2YwzI2kEaG6pdxgWvcCEPCkrAqrNVThaZIM4gfIWx+AnMplls=</latexit>

A1 , 2<latexit sha1_base64="wt+o3sDmBzX5AkwyhfO6ADIoods=">AAAClXichVHLSsNAFD3GV3026kLBjVgUF1KmrfgoCAVF3fmsClZCEqc1NC+StFBDf8AfcKEbBQXxA/wAN/6ACz9BXCq4ceFNGhQR9YbJnDlzz50zcxVb11yPsccmobmlta091tHZ1d3TGxf7+rddq+KoPK9auuXsKrLLdc3keU/zdL5rO1w2FJ3vKOWFYH+nyh1Xs8wtr2bzfUMumVpRU2WPKEkUC4rhF8xKXfKXpfRkui6JCZZkYYz8BKkIJBDFmiXeooADWFBRgQEOEx5hHTJc+vaQAoNN3D584hxCWrjPUUcnaSuUxSlDJrZM/xKt9iLWpHVQ0w3VKp2i03BIOYIx9sCu2Qu7Zzfsib3/WssPawReajQrDS23pfjx0ObbvyqDZg+HX6o/PXsoYjb0qpF3O2SCW6gNffXo5GUzuzHmj7ML9kz+z9kju6MbmNVX9XKdb5z+4UchL/RiYYPmgpj+bMdPsJ1OpjLJzPpUIpeNWhXDMEYxQf2YQQ4rWEOe6ldxhktcCYPCvLAoLDVShaZIM4BvIax+AHVMllw=</latexit>

𝑝(𝑥𝑖 , 𝑥 𝑗 |𝒙 −{𝑖, 𝑗 } )1∝ exp − Λ𝑖𝑖 𝑥𝑖2 + 2Λ𝑖 𝑗 𝑥𝑖 𝑥 𝑗 + Λ 𝑗 𝑗 𝑥 2𝑗2

A2 , 2<latexit sha1_base64="uEQpu9j5i4OjUVZ1B+Sz9npeKto=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmE0EJFkERLPMwD0hC2F0ncci+2J0EYvAHLG0sYqNgIX6AH2DjD1jkE8Qygo2FdzcLosF4l9k5c+aeO2fmyqbKbE7IwCdMTc/MzvnnAwuLwaVQeHmlaBttS6EFxVANqyxLNlWZTguccZWWTYtKmqzSktw6cPZLHWrZzNCPedekNU1q6qzBFIkjVa4aGm1K9UQ9HCVx4kZkHIgeiIIXGSP8CFU4AQMUaIMGFHTgiFWQwMavAiIQMJGrQQ85CxFz9ymcQwC1bcyimCEh28J/E1cVj9Vx7dS0XbWCp6g4LFRGIEZeyD0ZkmfyQF7J55+1em4Nx0sXZ3mkpWY9dLGW//hXpeHM4fRbNdEzhwbsul4ZejddxrmFMtJ3zq6G+VQu1tskt+QN/d+QAXnCG+idd+UuS3P9CX5k9IIvhg0Sf7djHBQTcTEZT2S3o+l9r1V+WIcN2MJ+7EAajiADBbcPl9CHayEoJIWUsDdKFXyeZhV+hHD4BTKfkrc=</latexit><latexit sha1_base64="sarJ9K9omEMWPcs6tjQq9RCflfo=">AAACp3ichVHLSsNAFD3Gd3206kZwIy2KopRpK75AKLrQnc/WgpWQxFFD8yJJCxq6F3/AhSsFFyK4rXs3/oALP0FcKrhx4U0afCDqDZM5c+aeO2fmypamOi5jDw1CY1NzS2tbe6Sjs6s7GuvpzTtm2VZ4TjE10y7IksM11eA5V3U1XrBsLumyxjfl0oK/v1nhtqOaxoZ7YPFtXdoz1F1VkVyixFh8rijrXtEoV0VvUUyNp6tjX4k0EWIswZIsiMGfIBWCBMJYMWM1FLEDEwrK0MFhwCWsQYJD3xZSYLCI24ZHnE1IDfY5qoiQtkxZnDIkYkv036PVVsgatPZrOoFaoVM0GjYpBzHE7tkle2Z37Io9srdfa3lBDd/LAc1yXcstMXrcv/76r0qn2cX+p+pPzy52MR14Vcm7FTD+LZS6vnJ48rw+uzbkDbNz9kT+z9gDu6UbGJUX5WKVr53+4UcmL/RiQYNm/Jj8aMdPkE8nU5lkZnUikZ0PW9WGAcQxQv2YQhZLWEGO6h/hGjXcCKPCspAXCvVUoSHU9OFbCNI7NxOdbg==</latexit>

W<latexit sha1_base64="v43TtgO4Yg9p91KcR+E7M67J5uY=">AAACjnichVHLSsNAFL2Nr1ofjboR3BRLxVWZWqkPEItuuuzDPqAtksRpG5oXybRQQ3/AvbgQFAUX4gf4AW78ARf9BHFZwY0Lb9KgSLHeMJkzZ+65c2auaCiyxQjp+bix8YnJKf90YGZ2bj7ILywWLL1lSjQv6YpulkTBooqs0TyTmUJLhkkFVVRoUWweOvvFNjUtWdeOWMegVVWoa3JNlgSGVLmiCqwhCYpd7B7zYRIlboSGQcwDYfAirfOPUIET0EGCFqhAQQOGWAEBLPzKEAMCBnJVsJEzEcnuPoUuBFDbwiyKGQKyTfzXcVX2WA3XTk3LVUt4ioLDRGUIIuSF3JM+eSYP5JV8/lnLdms4Xjo4iwMtNY6DZ8u5j39VKs4MGj+qkZ4Z1GDb9Sqjd8NlnFtIA3379KKf281G7DVyS97Q/w3pkSe8gdZ+l+4yNHs5wo+IXvDF3AbtOJH4bscwKGxEY/FoPLMZTh54rfLDCqzCOvZjC5KQgjTk3Rc9hyu45nguwe1x+4NUzudpluBXcKkvFdGUlw==</latexit>

潜在Group Lasso
Latent〜 〜 Corresponding toW(G2f ) !ff (A(A1))
22<latexit sha1_base64="KAw50MRim6TklZjZxqgGAA9hfLU=">AAACnnichVG7SgNBFD2u72eiNopNMCjahIkRX5UoqI34jAkYCbvrxAzui91JIAax9wcsrBQsRNDSD7DxByz8BLFUsLHw7mZRRNS7zM6ZM/fcOTNXcwzhScYe65T6hsam5pbWtvaOzq5ItLtny7NLrs7Tum3YblZTPW4Ii6elkAbPOi5XTc3gGW1/3t/PlLnrCdvalBWH75jqniUKQlclUflof85UZVFXjWrmcGQxPzaak3ZOWAVZyUfjLMGCiP0EyRDEEcaqHb1FDruwoaMEExwWJGEDKjz6tpEEg0PcDqrEuYREsM9xiDbSliiLU4ZK7D7992i1HbIWrf2aXqDW6RSDhkvKGIbYA7tkL+yeXbEn9v5rrWpQw/dSoVmrabmTjxz3bbz9qzJplih+qf70LFHAVOBVkHcnYPxb6DV9+eDkZWNmfag6zM7ZM/k/Y4/sjm5glV/1izW+fvqHH4280IsFDZr2Y+KzHT/B1lgimUqk1sbjs3Nhq1owgEGMUD8mMYslrCJN9Y9wgWvcKDFlQVlWVmqpSl2o6cW3ULIfha2aQg==</latexit><latexit sha1_base64="JxfHhsKDFR89WjAlymVMKfmVjY4=">AAACiXichVG7SgNBFD2u70RN1EawCYaINmE2CoqVj8bSJCYG4oPddRLHbHaX3UlAgz9gZSdqpWAhfoAfYOMPWOQTxFLBxsKbzYKoqHeZnTNn7rlzZq7umMKTjDU7lM6u7p7evv5QeGBwKBIdHsl7ds01eM6wTdst6JrHTWHxnBTS5AXH5VpVN/mGXllp7W/UuesJ21qXBw7fqmplS5SEoUmi8qWppe3U9E40zpLMj9hPoAYgjiDW7OgdNrELGwZqqILDgiRsQoNHXxEqGBzittAgziUk/H2OI4RIW6MsThkasRX6l2lVDFiL1q2anq826BSThkvKGBLskd2wF/bAbtkTe/+1VsOv0fJyQLPe1nJnJ3I8ln37V1WlWWLvU/WnZ4kS5n2vgrw7PtO6hdHW1w9PX7ILmURjkl2xZ/J/yZrsnm5g1V+N6zTPXPzhRycv9GLUIPV7O36CfCqpziRT6dn44nLQqj6MYwJT1I85LGIVa8hR/X2c4AznSlhRlXlloZ2qdASaUXwJZeUD1rORNQ==</latexit>

1
ff(A
(A1))

3
ff(A
(A ))
<latexit sha1_base64="q7rO8oBNCnRw1Iw5+lv4mhom+Uo=">AAACiXichVG7SgNBFD1ZX/GZqI1gIwYlNmE2EQyp1DSWiZoo+GJ3ncQ1+2J3EtDgD1jZiVopWIgf4AfY+AMWfoJYKthYeHezICrGu8zOmTP33DkzV3UM3ROMPUWkjs6u7p5ob1//wOBQLD48UvbsuqvxkmYbtruuKh43dIuXhC4Mvu64XDFVg6+ptby/v9bgrqfb1qo4cPiWqVQtvaJriiCqXEkubGdmduIJlmJBTPwGcggSCKNgx++wiV3Y0FCHCQ4LgrABBR59G5DB4BC3hSZxLiE92Oc4Qh9p65TFKUMhtkb/Kq02QtaitV/TC9QanWLQcEk5gSn2yG7YK3tgt+yZffxZqxnU8L0c0Ky2tNzZiR2Prbz/qzJpFtj7UrX1LFBBNvCqk3cnYPxbaC194/D0dSW3PNWcZlfshfxfsid2TzewGm/adZEvX7Txo5IXejFqkPyzHb9BOZ2SM6l0cTYxvxi2KopxTCJJ/ZjDPJZQQInq7+MEZziX+iVZykq5VqoUCTWj+BZS/hPY1JE2</latexit>

3<latexit sha1_base64="S0dIETGyXr2yfG0iB7wC3uIWDOI=">AAACiXichVG7SgNBFD1ZX/EdtRFsxKDEJsyqYEgVtbH0lQfEB7vrREf3xe4kEIM/YGUnaqVgIX6AH2DjD1j4CWIZwcbCm82CaFDvMjtnztxz58xc3TWFLxl7jiht7R2dXdHunt6+/oHB2NBwznfKnsGzhmM6XkHXfG4Km2elkCYvuB7XLN3kef1wqbGfr3DPF469Iasu37K0PVuUhKFJonKlxMK2Or0Ti7MkC2K8FaghiCOMFSd2j03swoGBMixw2JCETWjw6StCBYNL3BZqxHmERLDPcYwe0pYpi1OGRuwh/fdoVQxZm9aNmn6gNugUk4ZHynFMsid2y+rskd2xF/bxa61aUKPhpUqz3tRyd2fwZHT9/V+VRbPE/pfqT88SJaQCr4K8uwHTuIXR1FeOzurr6bXJ2hS7Zq/k/4o9swe6gV15M25W+drlH3508kIvRg1Sf7ajFeRmkupscmZ1Lp5ZDFsVxRgmkKB+zCODZawgS/UPcIpzXCi9iqqklHQzVYmEmhF8C2XpE9SSkTQ=</latexit>⌫⌫G
A22,,33＋ ⌫⌫<latexit sha1_base64="faAiCBR1dGZ/SP8mVN0dhOERLoA=">AAAClXichVHLSsNAFD2N72ejLhTciEVxIWXaio+CUFDUnc+qYCUkcVpD8yJJCxr6A/6AC90oVBA/wA9w4w+48BPEpYIbF96kQRFRb5jMmTP33DkzV7F1zfUYe4wJTc0trW3tHZ1d3T29cbGvf9u1Ko7K86qlW86uIrtc10ye9zRP57u2w2VD0fmOUl4I9neq3HE1y9zyjmy+b8glUytqquwRJYliQTH8glmpSf6ylJ7M1CQxwZIsjJGfIBWBBKJYs8RbFHAACyoqMMBhwiOsQ4ZL3x5SYLCJ24dPnENIC/c5augkbYWyOGXIxJbpX6LVXsSatA5quqFapVN0Gg4pRzDGHtg1e2H37IY9sfdfa/lhjcDLEc1KQ8ttKX4ytPn2r8qg2cPhl+pPzx6KmA29auTdDpngFmpDXz0+fdnMboz54+ySPZP/C/bI7ugGZvVVra/zjbM//CjkhV4sbNBcENOf7fgJttPJVCaZWZ9K5LJRq9oxjFFMUD9mkMMK1pCn+lWco44rYVCYFxaFpUaqEIs0A/gWwuoHd22WXQ==</latexit><latexit sha1_base64="5z9j+qHIkyc/u/FevheMPl9lCeg=">AAAClXichVHLSsNAFD3GV3026kLBjVgUF1KmtvgoCIKi7nxWBVtCEqcamhdJWqihP+APuNCNgoL4AX6AG3/AhZ8gLhXcuPAmDYqI9YbJnDlzz50zcxVb11yPsacmobmlta091tHZ1d3TGxf7+ndcq+yoPKdauuXsKbLLdc3kOU/zdL5nO1w2FJ3vKqXFYH+3wh1Xs8xtr2rzgiEfmlpRU2WPKEkU84rh581yTfJXpKnJTE0SEyzJwhj5DVIRSCCKdUu8Qx4HsKCiDAMcJjzCOmS49O0jBQabuAJ84hxCWrjPUUMnacuUxSlDJrZE/0Na7UesSeugphuqVTpFp+GQcgRj7JHdsFf2wG7ZM/v4s5Yf1gi8VGlW6lpuS/GToa33f1UGzR6OvlUNPXsoYjb0qpF3O2SCW6h1feX49HUruznmj7NL9kL+L9gTu6cbmJU39WqDb5418KOQF3qxsEFzQUx/teM32JlKptLJ9EYmsZCNWhXDMEYxQf2YwQJWsY4c1a/gHFe4FgaFeWFJWK6nCk2RZgA/Qlj7BHmOll4=</latexit>

G
A22,,44＋ ⌫⌫<latexit sha1_base64="iqcnJJC0KhAaZDjvIK7Nz3UoZiI=">AAAClXichVHLSsNAFD3G97NRFwpuxFJxIWVqxRcIgqLurI8+wJaQxFGDeZGkBQ39AX/AhW4UFMQP8APc+AMu+gniUsGNC2/SoEhRb5jMmTP33DkzV7F1zfUYqzUJzS2tbe0dnV3dPb19MbF/IOdaZUflWdXSLaegyC7XNZNnPc3TecF2uGwoOs8rR8vBfr7CHVezzB3v2OYlQz4wtX1NlT2iJFEsKoZfNMtVyV+T0pPTVUmMsyQLY7QRpCIQRxQZS7xHEXuwoKIMAxwmPMI6ZLj07SIFBpu4EnziHEJauM9RRRdpy5TFKUMm9oj+B7TajViT1kFNN1SrdIpOwyHlKBLsid2yV/bI7tgz+/i1lh/WCLwc06zUtdyWYqfD2+//qgyaPRx+q/707GEfc6FXjbzbIRPcQq3rKydnr9sLWwl/nF2xF/J/yWrsgW5gVt7U602+df6HH4W80IuFDZoPYuarHY0gN5VMpZPpzen40kLUqg6MYAwT1I9ZLGEdGWSpfgUXuMaNMCQsCivCaj1VaIo0g/gRwsYne7GWXw==</latexit>

A33,,44G= ⌫⌫AG, 3 ,3=2= !
= ⌫⌫G+,4⌫ + ⌫G ,4c44 =2<latexit sha1_base64="gIiJQzRNKTz61xCg7XdX+SH8zl8=">AAAClnichVHLSsNAFD2N72erbgpuxKK4kDJtxRcoooguq7W2YCUkcarBvEjSiob+gD/gQlwoqIgf4Ae48Qdc+AnisoIbF96kQRFRb5jMmTP33DkzV7Y01XEZe4oITc0trW3tHZ1d3T290Vhf/6ZjVmyF5xVTM+2iLDlcUw2ed1VX40XL5pIua7wg7y/5+4Uqtx3VNDbcQ4tv69KuoZZVRXKJEmN9cyVZ90pGpSZ6K2J6PFMTYwmWZEEM/QSpECQQRtaM3aGEHZhQUIEODgMuYQ0SHPq2kAKDRdw2POJsQmqwz1FDJ2krlMUpQyJ2n/67tNoKWYPWfk0nUCt0ikbDJuUQRtgju2F19sBu2TN7/7WWF9TwvRzSLDe03BKjx/Hc278qnWYXe1+qPz27KGM68KqSdytg/FsoDX316KSem10f8UbZBXsh/+fsid3TDYzqq3K5xtdP//Ajkxd6saBBM35MfrbjJ9hMJ1OZZGZtIrGwGLaqHYMYxhj1YwoLWEUWeap/gDNc4VqIC/PCsrDSSBUioWYA30LIfgAlEZas</latexit><latexit sha1_base64="9GzyO+sWtVednqQPC1SHiXp9VUw=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmk4ASLIIiWOZhHpCEsLuOcci+2J0EYvAHLG0sYqNgIX6AH2DjD1jkE8Qygo2FdzcLosF4l9k5c+aeO2fmyqbKbE7IwCdMTc/MzvnnAwuLwaVQeHmlZBttS6FFxVANqyJLNlWZTouccZVWTItKmqzSstzad/bLHWrZzNCPeNekdU1q6uyEKRJHqlIzNNqUGqlGOErixI3IOBA9EAUvskb4EWpwDAYo0AYNKOjAEasggY1fFUQgYCJXhx5yFiLm7lM4hwBq25hFMUNCtoX/Jq6qHqvj2qlpu2oFT1FxWKiMQIy8kHsyJM/kgbySzz9r9dwajpcuzvJIS81G6GKt8PGvSsOZw+m3aqJnDiew43pl6N10GecWykjfObsaFtL5WG+T3JI39H9DBuQJb6B33pW7HM33J/iR0Qu+GDZI/N2OcVBKxMVkPJFLRTN7Xqv8sA4bsIX92IYMHEIWim4fLqEP10JQSAppYXeUKvg8zSr8COHgCzbfkrk=</latexit><latexit sha1_base64="MGANjWyvITaU3JvFqnrMXNyzgCI=">AAACp3ichVHLSsNAFD2N7/po1Y3gplgURSlTK75AKLrQnc/WgpWQxFGDeZGkhRq6F3/AhSsFFyK4rXs3/oALP0FcKrhx4U0afCDqDZM5c+aeO2fmypamOi5jDxGhobGpuaW1Ldre0dkVi3f35B2zZCs8p5iaaRdkyeGaavCcq7oaL1g2l3RZ45vywYK/v1nmtqOaxoZbsfi2Lu0Z6q6qSC5RYnxgrijrXtEoVUVvURwfm6iOfiUyRIjxJEuxIBI/QToESYSxYsZrKGIHJhSUoIPDgEtYgwSHvi2kwWARtw2POJuQGuxzVBElbYmyOGVIxB7Qf49WWyFr0Nqv6QRqhU7RaNikTGCQ3bNL9szu2BV7ZG+/1vKCGr6XCs1yXcstMXbct/76r0qn2cX+p+pPzy52MR14Vcm7FTD+LZS6vnx48rw+uzboDbFz9kT+z9gDu6UbGOUX5WKVr53+4UcmL/RiQYNm/Jj8aMdPkB9PpTOpzOpEMjsftqoV/RjAMPVjClksYQU5qn+Ea9RwI4wIy0JeKNRThUio6cW3EKR3RBCddA==</latexit>⌫⌫G
A33,,55<latexit sha1_base64="OEyc6yNzderDKMzT9dwCKZcahzE=">AAAClXichVHLSsNAFD3G9zvqQsGNWBQXUqbWNwiCou7U1tpCW0ISRw3mRZIWNPQH/AEXulFQED/AD3DjD7jwE8SlghsX3qRBkWK9YTJnztxz58xcxdY112PsuUFobGpuaW1r7+js6u7pFfv6d12r5Kg8o1q65eQU2eW6ZvKMp3k6z9kOlw1F51nlaCXYz5a542qWueMd27xoyAemtq+pskeUJIoFxfALZqki+etScnKmIokxFmdhjNSCRARiiGLLEu9RwB4sqCjBAIcJj7AOGS59eSTAYBNXhE+cQ0gL9zkq6CBtibI4ZcjEHtH/gFb5iDVpHdR0Q7VKp+g0HFKOYIw9sVv2xh7ZHXthn3/W8sMagZdjmpWqlttS7+lQ+uNflUGzh8MfVV3PHvYxH3rVyLsdMsEt1Kq+fHL2ll5Mjfnj7Iq9kv9L9swe6AZm+V293uap8zp+FPJCLxY2aCGI2e921ILdqXgiGU9uT8eWF6NWtWEYo5igfsxhGRvYQobql3GBa9wIg8KSsCqsVVOFhkgzgF8hbH4BfdKWYA==</latexit>

A2 , 4 2

A3 , 4

3

= ⌫⌫
c55 =
!
AG
, 5 3 ,5
3

<latexit sha1_base64="AqEF8QIJJETd4M+38AZjmjsM8HI=">AAAClnichVHLSsNAFD3G97NVN4IbsSgupEytb1BEEV3WR1WwJSRxqoN5kaQVDf0Bf8CFuFBQET/AD3DjD7jwE8SlghsX3qRBEbHeMJkzZ+65c2auauvC9Rh7qpFq6+obGpuaW1rb2jti8c6uDdcqOhrPapZuOVuq4nJdmDzrCU/nW7bDFUPV+aa6vxDsb5a44wrLXPcObZ43lF1TFISmeETJ8c6ZnGr4ObNYlv0lOT08VpbjCZZkYfT9BqkIJBBFxorfIYcdWNBQhAEOEx5hHQpc+raRAoNNXB4+cQ4hEe5zlNFC2iJlccpQiN2n/y6ttiPWpHVQ0w3VGp2i03BI2YcB9shu2Ct7YLfsmX38WcsPawReDmlWK1puy7HjnrX3f1UGzR72vlVVPXsoYDL0Ksi7HTLBLbSKvnR08ro2vTrgD7IL9kL+z9kTu6cbmKU37XKFr55W8aOSF3qxsEFTQYx/teM32BhJptLJ9MpoYm4+alUTetGPIerHBOawjAyyVP8AZ7jCtdQjzUqL0lIlVaqJNN34EVLmEyt2lq8=</latexit>

従って，もし Λ𝑖 𝑗 = 0 であるならば，𝑥 𝑖 と 𝑥 𝑗 が条件付き独立と2<latexit sha1_base64="wTPsvpD5XI+7PmtYfIi7i/h3EFk=">AAAClnichVHLSsNAFD3G97vVTcGNWBQXUqZV6gOUoogua2tVsBKSONZgXiRpRUN/wB9wIS4UVMQP8APc+AMu/ARxqeDGhTdpUKRYb5jMmTP33DkzV7Y01XEZe24Smlta29o7Oru6e3r7+iPRgQ3HLNsKLyimZtpbsuRwTTV4wVVdjW9ZNpd0WeOb8sGSv79Z4bajmsa6e2TxHV0qGeqeqkguUWIkOl+Uda9olKuityKmJtJVMRJnCRbEcD1IhiCOMLJm5B5F7MKEgjJ0cBhwCWuQ4NC3jSQYLOJ24BFnE1KDfY4qukhbpixOGRKxB/Qv0Wo7ZA1a+zWdQK3QKRoNm5TDGGVP7Ja9sUd2x17Y55+1vKCG7+WIZrmm5ZbYfxLLf/yr0ml2sf+jaujZxR5mAq8qebcCxr+FUtNXjk/f8nO5UW+MXbJX8n/BntkD3cCovCtXazx31sCPTF7oxYIGzfqR/m5HPdhIJZKTicm1qXhmMWxVB4YwgnHqxzQyWEUWBap/iHNc40aICQvCsrBSSxWaQs0gfoWQ/QIrdJav</latexit>

G1 G2 G3
<latexit sha1_base64="LotfJWggLYWuYvcnjDNCdE8hCGg=">AAAChnichVG7SgNBFD1ZX/EdtRFsgiFitUx8Ra2CFlrmYUxAQ9hdx7hkX+xuAjH4A4KtKawULMQP8ANs/AGLfIJYRrCx8O5mUUSMd5mdM2fuuXNmrmxpquMy1g4Jff0Dg0Ph4ZHRsfGJycjU9L5j1myF5xVTM+2iLDlcUw2ed1VX40XL5pIua7wgV7e9/UKd245qGntuw+IlXaoY6rGqSC5RuZ3yUjkSYyLzI/obJAIQQxBpM/KAQxzBhIIadHAYcAlrkODQd4AEGCziSmgSZxNS/X2OM4yQtkZZnDIkYqv0r9DqIGANWns1HV+t0CkaDZuUUcTZM7tjHfbE7tkL+/izVtOv4Xlp0Cx3tdwqT57P5t7/Vek0uzj5VvX07OIY675XlbxbPuPdQunq66etTm4zG28usBv2Sv6vWZs90g2M+ptym+HZqx5+ZPJCL+Y3aMOLta92/Ab7S2JiWVzOrMRSW0GrwpjDPBapH0mksIs08lS/ggtcoiWEBVFYFZLdVCEUaGbwI4TUJwQqkJo=</latexit>(4)<latexit sha1_base64="ukhiIOs9e89DnoHrhsqA+/On5YU=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmE0UJFkERLPMwD0hC2F3HOGRf7E4CMfgDljYWsVGwED/AD7DxByzyCWIZwcbCu5sF0WC8y+ycOXPPnTNzZVNlNiek7xMmJqemZ/yzgbn54EIovLhUtI2WpdCCYqiGVZYlm6pMpwXOuErLpkUlTVZpSW7uO/ulNrVsZuhHvGPSmiY1dHbCFIkjVa4aGm1I9a16OErixI3IKBA9EAUvMkb4EapwDAYo0AINKOjAEasggY1fBUQgYCJXgy5yFiLm7lM4hwBqW5hFMUNCton/Bq4qHqvj2qlpu2oFT1FxWKiMQIy8kHsyIM/kgbySzz9rdd0ajpcOzvJQS8166GIl//GvSsOZw+m3aqxnDiew43pl6N10GecWylDfPrsa5FO5WHed3JI39H9D+uQJb6C335W7LM31xviR0Qu+GDZI/N2OUVBMxMVkPJHdjKb3vFb5YRXWYAP7sQ1pOIQMFNw+XEIProWgkBRSwu4wVfB5mmX4EcLBFzj/kro=</latexit>

= ⌫⌫
=
AG
, 6 2 ,6⌫⌫G
A22,,6
6<latexit sha1_base64="xZQScN2jwh3qXU9w7knSYsNtHeE=">AAAClXichVHLSsNAFD3GV31HXSi4EUvFhZSplaoFQVDUndpaFayEJI4amhdJWqihP+APuNCNgoL4AX6AG3/AhZ8gLiu4ceFNGhQR9YbJnDlzz50zcxVb11yPsacmobmlta091tHZ1d3T2yf2D2y5VtlReUG1dMvZUWSX65rJC57m6XzHdrhsKDrfVkqLwf52hTuuZpmbXtXme4Z8aGoHmip7REmiWFQMv2iWa5K/Ik1NZmqSGGdJFsboT5CKQBxRrFviHYrYhwUVZRjgMOER1iHDpW8XKTDYxO3BJ84hpIX7HDV0krZMWZwyZGJL9D+k1W7EmrQOarqhWqVTdBoOKUeRYI/shtXZA7tlz+z911p+WCPwUqVZaWi5LfWdDOff/lUZNHs4+lL96dnDAWZDrxp5t0MmuIXa0FeOT+v5bC7hj7NL9kL+L9gTu6cbmJVX9WqD587+8KOQF3qxsEFzQWQ+2/ETbE0lU+lkemM6vpCNWhXDCMYwQf2YwQJWsY4C1a/gHFe4FoaEeWFJWG6kCk2RZhDfQlj7AH3QlmA=</latexit>

A1 A2 A3<latexit sha1_base64="gro8zNWeT66uczAyh/2bRjJg+R0=">AAAChnichVG7SgNBFD2urxgfidoINmKIWIWJb62CFlqaxDwgSthdxzhks7vsTgIx+AOCrSmsFCzED/ADbPwBCz9BLBVsLLy7WRQR9S6zc+bMPXfOzNVsQ7iSsccupbunt68/NBAeHBoeiURHx/KuVXd0ntMtw3KKmupyQ5g8J4U0eNF2uFrTDF7QqhvefqHBHVdY5o5s2nyvplZMcSB0VRKV3Swny9EYSzA/pn6CZABiCGLbit5iF/uwoKOOGjhMSMIGVLj0lZAEg03cHlrEOYSEv89xjDBp65TFKUMltkr/Cq1KAWvS2qvp+mqdTjFoOKScQpw9sGv2wu7ZDXti77/Wavk1PC9NmrWOltvlyMlE9u1fVY1micMv1Z+eJQ6w4nsV5N32Ge8WekffOGq/ZNcy8dYMu2TP5P+CPbI7uoHZeNWv0jxz/ocfjbzQi/kNWvVi6bMdP0F+LpGcT8ynF2Kp9aBVIUxiGrPUj2WksIVt5Kh+Bac4Q1sJKQllUVnupCpdgWYc30JJfQACCpCZ</latexit>(3)<latexit sha1_base64="XMGhGu82vQddkCWynxsNl6kz7G0=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmE0EJFkERLPMwD0hC2F0ncci+2J0EYvAHLG0sYqNgIX6AH2DjD1jkE8Qygo2FdzcLosF4l9k5c+aeO2fmyqbKbE7IwCdMTc/MzvnnAwuLwaVQeHmlaBttS6EFxVANqyxLNlWZTguccZWWTYtKmqzSktw6cPZLHWrZzNCPedekNU1q6qzBFIkjVa4aGm1K9WQ9HCVx4kZkHIgeiIIXGSP8CFU4AQMUaIMGFHTgiFWQwMavAiIQMJGrQQ85CxFz9ymcQwC1bcyimCEh28J/E1cVj9Vx7dS0XbWCp6g4LFRGIEZeyD0ZkmfyQF7J55+1em4Nx0sXZ3mkpWY9dLGW//hXpeHM4fRbNdEzhwbsul4ZejddxrmFMtJ3zq6G+VQu1tskt+QN/d+QAXnCG+idd+UuS3P9CX5k9IIvhg0Sf7djHBQTcTEZT2S3o+l9r1V+WIcN2MJ+7EAajiADBbcPl9CHayEoJIWUsDdKFXyeZhV+hHD4BTS/krg=</latexit><latexit sha1_base64="ve0YxQOgcKOgE3Lzqx+N1SdaESU=">AAACjnichVHLSsNAFL2Nr1ofjboR3BRLxVWZVFERxKKbLvuwD2hLSeK0Ds2LJC3U0B9wLy4ERcGF+AF+gBt/wEU/QVxWcOPCmzQgWqw3TObMmXvunJkrGQqzbEJ6AW5sfGJyKjgdmpmdmw/zC4sFS2+ZMs3LuqKbJUm0qMI0mreZrdCSYVJRlRRalJqH7n6xTU2L6dqR3TFoVRUbGqszWbSRKlck1anoKm2I3RofJXHiRWQYCD6Igh9pnX+EChyDDjK0QAUKGtiIFRDBwq8MAhAwkKuCg5yJiHn7FLoQQm0LsyhmiMg28d/AVdlnNVy7NS1PLeMpCg4TlRGIkRdyT/rkmTyQV/L5Zy3Hq+F66eAsDbTUqIXPlnMf/6pUnG04+VaN9GxDHXY8rwy9Gx7j3kIe6NunF/3cbjbmrJFb8ob+b0iPPOENtPa7fJeh2csRfiT0gi+GDRJ+t2MYFBJxYSOeyGxGkwd+q4KwAquwjv3YhiSkIA1570XP4QquOZ7b4va4/UEqF/A1S/AjuNQXBNaUZw==</latexit><latexit sha1_base64="gro8zNWeT66uczAyh/2bRjJg+R0=">AAAChnichVG7SgNBFD2urxgfidoINmKIWIWJb62CFlqaxDwgSthdxzhks7vsTgIx+AOCrSmsFCzED/ADbPwBCz9BLBVsLLy7WRQR9S6zc+bMPXfOzNVsQ7iSsccupbunt68/NBAeHBoeiURHx/KuVXd0ntMtw3KKmupyQ5g8J4U0eNF2uFrTDF7QqhvefqHBHVdY5o5s2nyvplZMcSB0VRKV3Swny9EYSzA/pn6CZABiCGLbit5iF/uwoKOOGjhMSMIGVLj0lZAEg03cHlrEOYSEv89xjDBp65TFKUMltkr/Cq1KAWvS2qvp+mqdTjFoOKScQpw9sGv2wu7ZDXti77/Wavk1PC9NmrWOltvlyMlE9u1fVY1micMv1Z+eJQ6w4nsV5N32Ge8WekffOGq/ZNcy8dYMu2TP5P+CPbI7uoHZeNWv0jxz/ocfjbzQi/kNWvVi6bMdP0F+LpGcT8ynF2Kp9aBVIUxiGrPUj2WksIVt5Kh+Bac4Q1sJKQllUVnupCpdgWYc30JJfQACCpCZ</latexit><latexit sha1_base64="6QHhA033W1P68CViMIWJ6VOGido=">AAAClnichVHLSsNAFD3G97NRNwU3YlFclakVXwspiuiyPtoKtoQkTmswL5K0oqE/4A+4EBcKKuIH+AFu/AEXfoK4VHDjwps0KCLWGyZz5sw9d87MVWxdcz3GnlqE1rb2js6u7p7evv6BmDg4lHetqqPynGrplrOtyC7XNZPnPM3T+bbtcNlQdF5Q9peD/UKNO65mmVveoc1LhlwxtbKmyh5RkjhYVAy/aBm8Itclf1VK1yUxwZIsjNHfIBWBBKLIWuIditiFBRVVGOAw4RHWIcOlbwcpMNjEleAT5xDSwn2OOnpIW6UsThkysfv0r9BqJ2JNWgc13VCt0ik6DYeUoxhnj+yGvbIHdsue2ceftfywRuDlkGaloeW2FDuOb77/qzJo9rD3rWrq2UMZc6FXjbzbIRPcQm3oa0cnr5sLG+P+BLtgL+T/nD2xe7qBWXtTL9f5xmkTPwp5oRcLGzQfxMxXO36D/FQylU6m16cTmaWoVV0YwRgmqR+zyGANWeSo/gHOcIVrIS4sCivCaiNVaIk0w/gRQvYTT9SXNw==</latexit><latexit sha1_base64="uEQpu9j5i4OjUVZ1B+Sz9npeKto=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmE0EJFkERLPMwD0hC2F0ncci+2J0EYvAHLG0sYqNgIX6AH2DjD1jkE8Qygo2FdzcLosF4l9k5c+aeO2fmyqbKbE7IwCdMTc/MzvnnAwuLwaVQeHmlaBttS6EFxVANqyxLNlWZTguccZWWTYtKmqzSktw6cPZLHWrZzNCPedekNU1q6qzBFIkjVa4aGm1K9UQ9HCVx4kZkHIgeiIIXGSP8CFU4AQMUaIMGFHTgiFWQwMavAiIQMJGrQQ85CxFz9ymcQwC1bcyimCEh28J/E1cVj9Vx7dS0XbWCp6g4LFRGIEZeyD0ZkmfyQF7J55+1em4Nx0sXZ3mkpWY9dLGW//hXpeHM4fRbNdEzhwbsul4ZejddxrmFMtJ3zq6G+VQu1tskt+QN/d+QAXnCG+idd+UuS3P9CX5k9IIvhg0Sf7djHBQTcTEZT2S3o+l9r1V+WIcN2MJ+7EAajiADBbcPl9CHayEoJIWUsDdKFXyeZhV+hHD4BTKfkrc=</latexit>

Group Lasso

G
G
G
!
c
A11
A22
A33
c11
!
1
c22
!
22
2
!
c33
3
＋ ＋
c44 =
!
4
4
c55
!
5
c66
!
6




 (det 𝚲) 12
1 ⊤N 𝒙 0, 𝚲−1 =
exp
−
𝒙
𝚲𝒙
𝑀
2
(2𝜋) 2<latexit sha1_base64="faW5eDhVKf/Mq9SoOYW0A5/DPvU=">AAACkHichVHNLgNRGD0df/Xbqo3ERjRELJpbFcpGsRGrthSJVjMzbmvS+TMzbVJNX8ALWNggsRAP4AFsvIBFH0EsSWwsfDOdEBH1Te7cc8/9znfPvZ9kqortMNYKCF3dPb19wf6BwaHhkVB4NLJrG1VL5jnZUA1rXxJtrio6zzmKo/J90+KiJql8T6psuPt7NW7ZiqHvOHWTFzSxrCslRRYdogp5SWvkDY2XxebhXDEcZTHmxeRvEPdBFH6kjfA98jiCARlVaODQ4RBWIcKm7wBxMJjEFdAgziKkePscTQyQtkpZnDJEYiv0L9PqwGd1Wrs1bU8t0ykqDYuUk5hmT+yWvbJHdsee2ceftRpeDddLnWapreVmMXQ2vv3+r0qj2cHxt6qjZwclJD2vCnk3Pca9hdzW107PX7dXstONGXbNXsj/FWuxB7qBXnuTbzI8e9HBj0Re6MW8Bi27sfjVjt9gdz4WT8QSmYVoat1vVRATmMIs9WMJKWwijRzVP8E5LnElRISksCqstVOFgK8Zw48Qtj4BkfeVNg==</latexit><latexit sha1_base64="nw3YI/2KFiMigwqeoIAkOQk5Lmg=">AAAClnichVHLSsNAFD3GV3221Y3gRiwVV2Wq4mshRRFdVmurYCUkcVpD8yJJKzX0B/wBF+JCQUX8AD/AjT/gwk8QlxXcuPAmDYqIesNkzpy5586ZubKlqY7L2FOb0N7R2dUd6ent6x8YjMbiQwXHrNoKzyumZto7suRwTTV43lVdje9YNpd0WePbcmXF39+ucdtRTWPLrVt8T5fKhlpSFcklSozFi7LuFU2dl6WG6K2JUw0xlmApFsTYT5AOQQJhZM3YHYrYhwkFVejgMOAS1iDBoW8XaTBYxO3BI84mpAb7HA30krZKWZwyJGIr9C/TajdkDVr7NZ1ArdApGg2blGNIskd2w5rsgd2yZ/b+ay0vqOF7qdMst7TcEqPHI7m3f1U6zS4OvlR/enZRwnzgVSXvVsD4t1Ba+trRSTO3uJn0JtgFeyH/5+yJ3dMNjNqrcrnBN0//8COTF3qxoEELfsx+tuMnKEyl0tOp6Y2ZRGY5bFUEoxjHJPVjDhmsI4s81T/EGa5wLYwIS8KqsNZKFdpCzTC+hZD9AE2zlzY=</latexit><latexit sha1_base64="w8ri+XeaS5DsgyvmgGFkGM1hrOw=">AAACi3ichVG7SgNBFL1ZXzEaE7URbIIhYhVmE0EJFkERLPMwD0hC2F0ncci+2J0EYvAHLG0sYqNgIX6AH2DjD1jkE8Qygo2FdzcLosF4l9k5c+aeO2fmyqbKbE7IwCdMTc/MzvnnAwuLwaVQeHmlaBttS6EFxVANqyxLNlWZTguccZWWTYtKmqzSktw6cPZLHWrZzNCPedekNU1q6qzBFIkjVa4aGm1KdbEejpI4cSMyDkQPRMGLjBF+hCqcgAEKtEEDCjpwxCpIYONXAREImMjVoIechYi5+xTOIYDaNmZRzJCQbeG/iauKx+q4dmrarlrBU1QcFiojECMv5J4MyTN5IK/k889aPbeG46WLszzSUrMeuljLf/yr0nDmcPqtmuiZQwN2Xa8MvZsu49xCGek7Z1fDfCoX622SW/KG/m/IgDzhDfTOu3KXpbn+BD8yesEXwwaJv9sxDoqJuJiMJ7Lb0fS+1yo/rMMGbGE/diANR5CBgtuHS+jDtRAUkkJK2BulCj5Pswo/Qjj8AjB/krY=</latexit>= {{1, 2}, {2, 3, 4, 6}, {4, 5}}<latexit sha1_base64="a2QzViYvgFl6m4ARLzut3ZvP3hI=">AAADAXichVE7S/RAFL2Jr3V9rdoINuKiWMgyu6vrAwRBYbXztSo4EpI4ajAvktkFjans/AMWVn7wFWIjNhaWNv4BC1s7sVSwsfBmNvhA1BvuzM2Zc27O5GquafickDtJrqmtq29INCabmlta21LtHcu+U/Z0VtId0/FWNdVnpmGzEje4yVZdj6mWZrIVbWcqOl+pMM83HHuJ77ps3VK3bGPT0FWOkJLap5bKt3XVDGbD/gkaZAfpeA4zjzmEOYxZoCGlyXdiURCLSkQtKjmx5gUlwuMWNMSVBp9bDRZiUPRFQaik0iRDRPR8L7JxkYY45pzUJVDYAAd0KIMFDGzgWJuggo/PGmSBgIvYOgSIeVgZ4pxBCEnUlpHFkKEiuoPrFr6txaiN71FPX6h1/IqJ6aGyB/rILTklT+SGnJEH8vpjr0D0iLzs4q5VtcxV2g67Fl/+VFm4c9j+UP3qmcMmjAqvBnp3BRLdQq/qK3tHT4vjC31BP/lHHtH/Cbkj13gDu/Ks/59nC8e/+NHQC/4xMaCxKArv4/heLOcy2XwmPz+UnpyOR5WAbuiFAZzHCEzCDMxBCfvfSwmpXeqQD+RT+Vy+qFJlKdZ0wpeQr94A9s23iw==</latexit>の辺の存在が定義される [5]．

Group LASSO!AG33!
cAG22 c
!⇤
c11
c11
!
!
c22
c22
!
!
!
c33
＋!
c44 ＋ !
c44 =
c55
c55
!
!
c66
!

!
cGA11

IP ==6で次のようにグループ構造をとる場合{1, 2, 3, 4, 5, 6}

Latent Group LASSO

なることがわかる．

<latexit sha1_base64="qIkl7lfAw/1SNCkkI23Q64SKDCE=">AAAChnichVFNLwNRFD0dX/VdbCQ2oqlYNbeKYtWwYImqSpBmZrzWi+nMZGbahMYfkNiysCKxED/AD7DxByz8BLEksbFwZzoh0qg7efPOO++e+857V7MN6XpEzxGlrb2jsyva3dPb1z8wGBsa3nKtqqOLvG4ZlrOtqa4wpCnynvQMsW07Qq1ohihoh8v+fqEmHFda5qZ3ZIu9ilo2ZUnqqsdUbqWYLsbilKQgxptBKgRxhLFmxe6xi31Y0FFFBQImPMYGVLj87SAFgs3cHurMOYxksC9wgh7WVjlLcIbK7CH/y7zaCVmT135NN1DrfIrBw2HlOBL0RLf0Ro90Ry/0+WetelDD93LEs9bQCrs4eDqa+/hXVeHZw8GPqqVnDyXMB14le7cDxr+F3tDXji/ecosbifokXdMr+7+iZ3rgG5i1d/1mXWxctvCjsRd+saBBC37MfbejGWxNJ1PpZHp9Jp5dClsVxRgmMMX9yCCLVawhz/XLOMM5LpSoklRmlUwjVYmEmhH8CiX7BQZKkJs=</latexit>

Λ𝑖 𝑗 = 0 ⇒ 𝑥 𝑖 ⊥⊥ 𝑥 𝑗 | 𝒙 −{𝑖, 𝑗 }図 1 Group LASSO と Latent Group LASSO の推定解の違い．
ここでは 6 変数と重複 3 グループの例を考えている．𝐺 2 のみ

(5)が不要なグループと判断されたとき，Group LASSO の推定解でよって，Gaussian Graphical Model に基づいたグラフ構造の学習は 𝜔2 と 𝜔4 が 0 に縮退するのに対して，Latent Group LASSO

は，データから確率分布を学習する問題に帰着される [20]．

では潜在変数 𝝂𝐺2 がゼロベクトルとなるのみで，最終的な推定

2.4

解でも 𝜔2 と 𝜔4 は 0 に縮退しない．このとき対応する重要度

Graphical LASSO

Graphical LASSO の目的は，Gaussian Graphical Model の枠組

W (𝐺 2 ) は W (𝐺 1 ) や W (𝐺 3 ) に対して十分大きな値をとる．

みに基づいて変数間の依存関係を表現するスパースな精度行列 𝚲を抽出することである．抽出された 𝚲 は，𝑥 𝑖 と 𝑥 𝑗 に本質的な依存関係が存在する場合には Λ𝑖 𝑗 ≠ 0 となり，依存関係が存在しことが特徴である．このような潜在変数を用いて，Latent GroupLASSO の正則化項は以下のように与えられる．
ÕÕ
𝝂𝐺 = 𝝎
∥𝝂𝐺 ∥ 2 W (𝐺) s.t.
Ω(𝝎) =
𝐺∈G

ない場合や，ノイズなどの影響による見かけの関係性に対しては

Λ𝑖 𝑗 = 0 となることが期待される．
あらかじめ平均 0 と標準偏差 1 に正規化された観測データを

(2)

𝐺∈G

D = {𝒙 (𝑛) |𝒙 (𝑛) ∈ R 𝑀 , 𝑛 = 1, . . . , 𝑁 } とする．このとき D を適当

ここで，W (𝐺) は個々の 𝝂𝐺 の重要度を調整する関数であり，実に並べたデータ行列を 𝑿 = [𝒙 (1) , . . . , 𝒙 ( 𝑁 ) ] ∈ R 𝑀 ×𝑁 とすれば，数の正値全体の集合 R+ を用いて W : 2 I → R+ で定義されてい標本分散共分散行列は 𝚼 = 𝑿 𝑿 ⊤ /𝑁 で与えられる．Graphical

る．正則化項 (2) の形式から，W (𝐺) の値が小さいほど，対応

LASSO では，次のようなスパースな解を誘導するラプラス分布する 𝝂𝐺 は非ゼロベクトルとなりやすくなり，𝐺 はより重要なグを精度行列 𝚲 の事前分布として仮定し，最大事後確率推定に基ループであるとみなすことができる．

づいて 𝚲 を求める [6, 7, 21]．

潜在変数を導入することで，単純にモデルの表現力が増すだけ

𝑝 (𝚲) =

でなく，Group LASSO の欠点を補うことができる．図 1 で例示するように，Group LASSO は各グループでパラメータを共有し(6)

ここで，1/𝜌 はラプラス分布の尺度パラメータで， 𝜌 はスパースているため，ゼロベクトルに縮退するグループの影響で最終的な推定における正則化係数に対応する．従って，(3) と (6) から，解の非ゼロパターンは個々のグループの非ゼロパターンの積集Graphical LASSO では次の最適化問題を考える．

合となる．一方，Latent Group LASSO では，各グループに個別(の潜在変数を導入することでパラメータの共有を回避している𝚲∗ = arg max log 𝑝 (𝚲)ため，最終的な解の非ゼロパターンは個々のグループの非ゼロパ𝚲

ターンの和集合となる．従って，Latent Group LASSO は重要と

𝑁
Ö



N 𝒙 (𝑛) |0, 𝚲−1

!)
(7)

𝑛=1

さらに (7) の最適化問題は，定数項が最適解に影響を与えないこ判断された構造に属する全てのパラメータが最終的な解に反映さとに注意すると，以下の最適化問題と等価となる．

れるため，解析者にとってより自然な解を与えることができる．
2.3

𝜌
exp (−𝜌 ∥𝚲∥ 1 )2

Gaussian Graphical Model𝚲∗ = arg max 𝑓 (𝚲; 𝚼, 𝜌)(8)𝑓 (𝚲; 𝚼, 𝜌) ≡ log det 𝚲 − tr (𝚼𝚲) − 𝜌∥𝚲∥ 1(9)𝚲あらかじめ平均 0 に中心化されたデータ 𝒙 ∈ R 𝑀 に対して，

Gaussian Graphical Model では 𝑀 個の変数を頂点とするグラフ構造を考える．このモデルにおいて 𝑥 𝑖 と 𝑥 𝑗 の間に辺がないこと

Friedman らは (8) が凸最適化問題であることに着目し，このは，これら 2 つの変数以外の全ての変数が与えられた場合に 𝑥 𝑖 と問題を効率的に解く次のような劣勾配アルゴリズムを提案してい𝑥 𝑗 が条件付き独立であることを意味する [5]．従って，Gaussian

る [7]．すなわち，特定の変数 𝑥 𝑖 に注目し，それが最後の行となGraphical Model は次の 𝑀 次元多変量正規分布に従って変数間るようにデータ行列 𝑿 を並び替えても一般性は失われないこと

2日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 5, 2022 年 3 月

を利用すれば，次のように 𝚲, 𝚺 ≡ 𝚲−1 , 𝚼 を 𝑥 𝑖 に関連する要素がメータ，目的変数，説明変数を，次のように適当に並べて最適化

最後の行と列となるように分割することができる．

問題を構成する．

𝚲, 𝚺, 𝚼 =

 
𝒍𝑖
𝑺𝑖
,
𝜆𝑖
𝒔𝑖⊤

𝑳𝑖
𝒍𝑖⊤

 
𝒔𝑖
𝑼𝑖
,
𝜎𝑖
𝒖⊤
𝑖

𝒖𝑖
𝑣𝑖





⊤ ⊤
𝝎 = 𝝎⊤
1 , . . . , 𝝎𝑀
⊤ ⊤𝒚 = 𝒚⊤
1 , . . . , 𝒚𝑀
 𝒁1 0 · · · 0 ... ...
𝒁 =  .
..
..
 ..
.
.

 0 ···0

(10)

この分割に基づけば，𝑥 𝑖 にのみ注目した 𝜕 𝑓 /𝜕𝚲 = 0 の条件は，次のように表現される．

𝜎𝑖 = 𝑣 𝑖 + 𝜌(11)

𝒔𝑖 = 𝒖 𝑖 + 𝜌 sign (𝒍𝑖 )

(12)

(15)
(16)






0 
𝒁 𝑀 
0
..
.

(17)

ただし (11) は，𝚲 が正定値行列であり，その対角成分は正値に

ここで， 𝒁 は 𝒁1 , . . . , 𝒁 𝑀 についてのブロック対角行列である．

なることを利用している．ところで，(12) の非対角成分に関する(15)，(16)，(17) のような結合の仕方は、精度行列の対称性などの条件は， 𝑳 𝑖 と 𝑺𝑖 を固定し，𝝎𝑖 ≡ 𝑺−1
𝑖 𝒔𝑖 と 𝑺 𝑖 𝒍 𝑖 + 𝜆 𝑖 𝒔𝑖 = 0 である

影響で同じ目的変数と説明変数の組みを複数回含んでいるため，ことを用いると，次の方程式と等価である．

このまま定式化すれば最適化問題は不必要に冗長となるが，ここ

0=

𝜕
𝜕𝝎𝑖



1 ⊤
𝝎 𝑺 𝑖 𝝎𝑖 − 𝒖 ⊤𝑖 𝝎𝑖 + 𝜌 ∥𝝎𝑖 ∥ 12 𝑖

では表記の簡単化を優先して冗長性を許容することとする．冗長(13)

性を取り除いて定式化しても等価な最適解を得ることは可能である．以上の準備から，提案手法では (14) の最適化問題を一括し，したがって，Graphical LASSO における最適な 𝜔∗𝑖 は (13) を満た

潜在構造正則化学習に基づく正則化項を追加して，次の最適化問

し，これは次の最適化問題と等価となる．

(
𝝎∗𝑖 = arg min
𝝎𝑖

1
𝑺 𝒖 𝑖 − 𝑺𝑖 𝝎𝑖
2 𝑖
− 21

1
2

題を解くことを考える．

)

2+ 𝜌 ∥𝝎𝑖 ∥ 1

(

(14)

∗

𝝎 = argminÍ𝝎=(14) は 𝐿 1 制約をもつ通常の二次計画問題であり，通常の LASSO

𝐺∈G 𝝂 𝐺Õ11∥ 𝒚 − 𝒁𝝎∥ 2 +∥𝝂𝐺 ∥ 2 W (𝐺) 2
2
𝐺∈G

)
(18)

(18) を解いて獲得した 𝝎∗ から， 𝒍 𝑖∗ = 𝜆𝑖 𝝎∗𝑖 によって，所望のなどで良く知られた劣勾配アルゴリズムなどで効果的に解くことができる．よって，最適な 𝝎∗𝑖 は (14) から容易に求まり，それに構造に沿ったスパースな精度行列の最適解 𝚲∗ の非対角成分(14) を 𝑖 = 1, . . . , 𝑀 に関して収束するまで繰り返すことで，ス

対角成分に関しては，提案手法は (18) の形式で全ての変数を⊤𝒍 ∗ = 𝒍1⊤ , . . . , 𝒍 ⊤が得られる．
𝑀

基づいて最適な 𝒔𝑖∗ や 𝒍 𝑖∗ も決定される．数値計算的には，(11) と結合した最適化問題を考えているため，(11) のような単純な更新

パースな精度行列の最適解 𝚲∗ を得る．

則は適用することができない．よって，提案手法では非対角成分

3

提案手法

を 𝒍 ∗ に固定した上で，対角成分 𝝀 = [𝜆 1 , . . . , 𝜆 𝑀 ] ⊤ を次のように

3.1

定式化

尤度が最大化するように最適化する方法を採用する．

(

提案手法である Latent Structured Graphical LASSO の問題設定∗

𝝀 = arg max logを与える．提案手法は潜在構造正則化学習を Graphical LASSO

𝝀の枠組みに適用し，Gaussian Graphical Model に内在する構造に

𝑁
Ö



N 𝒙

(𝑛)

0, 𝚲

−1

∗

(𝝀, 𝒍 )



)
(19)

𝑛=1

ここで，𝚲−1 (𝝀, 𝒍 ∗ ) は対角成分が 𝝀 で非対角成分が 𝒍 ∗ であるよ

沿ったスパースな依存関係の抽出を目標としている．
まず非対角成分の定式化に関して，提案手法では (14) の着想

うな精度行列とする．このように対角成分を更新しても，(19) はに基づいた最適化問題を考える．Graphical LASSO との最大の観測データ D に基づく最尤推定であるため，精度行列 𝚲 が満た

違いは，精度行列 𝚲 の各要素に重複を許したグループ構造 G をすべき正則性や正定値性などを保つよう働く．数値計算的には最導入し，G に沿ったスパースな精度行列の最適解 𝚲∗ を，Latent

適解が収束するまで (18) と (19) を繰り返し，所望の構造に沿っGroup LASSO を適用した最適化問題に基づいて得ることであたスパースな精度行列の最終的な最適解 𝚲∗ を得る．

る．精度行列は対称行列なので Λ𝑖 𝑗 と Λ 𝑗𝑖 は同一のパラメータ

3.2

入力構造

とみなせることに注意すると，提案手法では非対角成分に関する提案手法では最適化の過程で不要と判断されるグループの重𝑀 (𝑀 − 1)/2 個のパラメータに対してグループ構造 G を設定す

要度は W (𝐺) → ∞ と無限大に発散し，対応する潜在変数はることとなる．入力構造と期待される推定解の挙動についての詳𝝂𝐺 → 0 と 0 に縮退していくので，基本的には G に解析者が考え

細は 3.2 節を参照されたい．

得る全てのグループを任意に含めることができる．計算時間などを考慮するならば，何らかの基準に基づいて G を設定することも表記の簡単化のために，(14) の最適化問題において目的変数に−1

1対応する部分を 𝒚 𝑖 ≡ 𝑺𝑖 2 𝒖 𝑖 ，説明変数に対応する部分を 𝒁𝑖 ≡ 𝑺𝑖2可能である．例えば，4.2 節の数値実験でみるように，国や地域とする．Graphical LASSO では (14) を 𝑖 = 1, . . . , 𝑀 について解などの観測データ特有の特徴に基づいて G を決めることもできが収束するまで繰り返すが，提案手法では全ての非対角成分に対る．あるいは，データに対する事前知識がない場合は，Graphical

してグループ構造 G を設定したいので，これらを一括して最適

LASSO などの他の手法で得られた結果に基づいてグループ分化する方法を採用する．このため各 𝑖 = 1, . . . , 𝑀 についてのパラ

けしてもよい．いずれにせよ，提案手法は W (𝐺) を介して各グ

3

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 5, 2022 年 3 月

Algorithm 1: Latent Structured Graphical LASSO
Input: 観測データ {D (𝑘) } 𝑘 ，グループ構造 G ，事前分布 𝑞 𝐺∗

Output: 最適精度行列 {𝚲 (𝑘) } 𝑘⊤

1: {𝚼 (𝑘) } 𝑘 ← 𝑿 (𝑘) 𝑿 (𝑘) /𝑁 𝑘
2: {𝚲

(𝑘)

3: while {𝚲
4:
5:

−1
2

12:

1
2

𝒖 𝑖(𝑘) } 𝑘 , {𝑺𝑖(𝑘) } 𝑘

周辺尤度 𝑝 {𝒚 (𝑘) } 𝑘 |W 最大化で11:

ここでは特に 𝑀 = 5 の場合を考えることとする．このような{𝒚 𝑖(𝑘) } 𝑘 , {𝒁𝑖(𝑘) } 𝑘 ← {𝑺𝑖(𝑘)end for10:精度行列の非対角成分に導入するグループ構造の例．表} 𝑘 未収束 dofor 𝑖 = 1 to 𝑀 do

7:

9:

記の簡単化のため図のようにインデックスを割り当てた後に，

(𝑘)

6:

8:

図2

−1

} 𝑘 , {𝚺 (𝑘) } 𝑘 ← {𝚼 (𝑘) } 𝑘 , {𝚼 (𝑘) } 𝑘



(𝑘)
{𝝂𝐺
} 𝑘,𝐺 , {W (𝐺)}𝐺 , 𝜎 更新
Í (𝑘){𝝎 (𝑘) } 𝑘 ← { 𝐺 𝝂𝐺}𝑘for 𝑖 = 1 to 𝑀 do{𝒍𝑖(𝑘) } 𝑘 ← {−𝜆𝑖(𝑘) 𝝎𝑖(𝑘) } 𝑘(

end for{𝝀 (𝑘) } 𝑘 ← arg max N D (𝑘) 0, 𝚲(𝑘) −1𝝀 (𝑘)13:ように単一の要素をひとつのグループとしたり，𝐺 𝐶 や 𝐺 𝐷 の

14: end while)𝑘{𝒍 (𝑘) } 𝑘 , {𝝀 (𝑘) } 𝑘 から {𝚲 (𝑘) } 𝑘 , {𝚺 (𝑘) } 𝑘 更新

インデックスの割り当てに対して，提案手法では 𝐺 𝐴 や 𝐺 𝐵 のようにデータに対する事前知識や何らかの基準に基づいて複𝝀 (𝑘) , 𝒍(𝑘)

数の要素をひとつのグループに含めることができる．これらのグループ構造は重複を許して任意に柔軟に設定することがで

ガウス雑音を加えた，以下のような関係が仮定される．

きる．

𝒚 (𝑘) ∼ N ( 𝒁 (𝑘) 𝝎 (𝑘) , 𝜎 2 𝑰)

(20)
(𝑘)

ここで 𝑰 ∈ R 𝑁𝑘 ×𝑁𝑘 は単位行列である．潜在変数 𝝂𝐺 は各 𝑘 とループ 𝐺 の重要度を比較し，G に応じて適応的に重要な構造を(𝑘)グループ 𝐺 に対して独立に導入され，𝝎 (𝑘) は {𝝂𝐺 } 𝐺 ∈ G の線形抽出することができる．

和で与えられるとする．すなわち，(20) は以下のように置き換

特に，提案手法は 𝑀 (𝑀 − 1)/2 個の非対角パラメータに対わる．

して，それぞれ単一の要素を単一のグループとするグループ𝒚

構造 G = {{1}, . . . , {𝑀 (𝑀 − 1)/2}} を設定し，全ての重要度

(𝑘)

∼N 𝒁

(𝑘)

Õ
𝐺∈G

∀ W (𝐺) (𝐺 ∈ G) を同じ値に固定すれば，提案手法の最適化問題

!
(𝑘)
𝝂𝐺
, 𝜎2 𝑰(21)(𝑘)

個別の 𝝂𝐺 の確率密度関数については，スパースな解を誘導

1(18) は Graphical LASSO の最適化問題 (14) を 𝜌 = W (𝐺) 2 としたものと一致する．最適化手法の違いによる誤差はあるものの，する性質を持った裾の重い分布で，特に 𝐺 の基数 |𝐺 | と重要度

このようなグループ構造を入力した提案手法は Graphical LASSO

W (𝐺) について以下の形式で表現できる分布が仮定されている．

と同様の精度行列を抽出することが確認されている．よって，提

(𝑘)
(𝑘)
𝑝(𝝂𝐺
|W (𝐺)) = 𝑞 𝐺 (∥𝝂𝐺
∥ 2 W (𝐺) 2 )W (𝐺) 2
1

案手法は Graphical LASSO を内包する純粋な拡張であるとみな

|𝐺|

(22)

なお，𝑞 𝐺 は 𝐺 の構造に対して等方的で，そのスケールは W (𝐺)すこともでき，入力するグループ構造 G に {{1}, . . . , {𝑀 (𝑀 −1)/2}} を含めることで，Graphical LASSO との比較も最適化問の逆数で与えられるような関数である．以上より，𝝎 (𝑘) の確率

題に内包することができる．これらの提案手法の挙動について密度関数については，(22) を用いて以下のように表現される．

は，図 2 で模式的に示している．
3.3

𝑝(𝝎 (𝑘) |W) =

最適化

Ö
𝐺∈G

非対角成分の最適化については，Shervashidze らが提案した手

(𝑘)
𝑝(𝝂𝐺
|W (𝐺))(23)

図 3 は潜在構造正則化学習で導入されている確率モデルのグラ法を応用して最適化を行う [14]．全般的な提案手法の最適化のフ

フィカルモデルである．この確率モデルにおいて，対数尤度関数

ローは，アルゴリズム 1 にまとめている．

の (22)(23) の部分は (2) の正則化項に対応している．すなわち，(18) の具体的な最適化では，線形モデルの 𝐾 分割マルチタス

𝝎 (𝑘) の事前分布として (22)(23) を仮定し，最大事後確率推定を

ク学習に確率モデルを導入することで，潜在変数 𝝂𝐺 及び対応す行うことは，(2) の正則化項を用いて潜在構造正則化学習を行う

る重要度 W (𝐺) の推定を行う．ここでは，データから説明変数

ことに対応している．よって，周辺尤度

𝒁 (𝑘) ∈ R 𝑁𝑘 ×𝑃 と目的変数 𝒚 (𝑘) ∈ R 𝑁𝑘 を用意したとする．ただし， 𝑘 ∈ {1, 2, . . . , 𝐾 } であり，簡単化のため本研究では分割サン

𝑝({𝒚 (𝑘) } 𝑘 |W) =プル数 𝑁 𝑘 は各 𝑘 に対して同一とする．

𝐾 ∫
Ö
𝑘=1

各分割において，目的変数と説明変数の間には標準偏差 𝜎 の

4𝑝( 𝒚 (𝑘) |𝒁 (𝑘) 𝝎 (𝑘) , 𝜎 2 𝑰) 𝑝(𝝎 (𝑘) |W)d𝝎 (𝑘)(24)日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 5, 2022 年 3 月

𝑝(W (𝐺)) ∝ W (𝐺) 𝛽 を仮定したモデルを考えている [14]．
Ö(𝑘)𝑝(𝝎 (𝑘) |W) =𝑝(𝝂𝐺|W (𝐺)) 𝑝(W (𝐺))
(28)
𝐺∈G

評価実験

4
図 3 Latent Structured Graphical LASSO のグラフィカルモデル．

評価実験全体を通して，潜在変数 𝝂𝐺 の確率密度関数 (22) には，以下のような多変量に拡張した Student’s 𝑡-分布を用いた．

 |𝐺|Γ(𝛼 + |𝐺2 | ) W (𝐺) 2(𝑘)𝑝(𝝂𝐺 |W (𝐺), 𝛼) =Γ(𝛼)2𝜋を最大化することで，構造 𝐺 に対応する重要度 W (𝐺) と潜在変(𝑘)
数 𝝂𝐺 の最適解を決定する．

数値計算では，Palmer らによって提案された非ガウス潜在変数
モデルの変分 EM アルゴリズムによって周辺尤度を最大化して

× 1+

いる [22]．Palmer らによると (22) で登場する 𝑞 𝐺 (𝑢) について，

log 𝑞 𝐺 (𝑢) を凸共役な関数 𝜙𝐺 (𝑠) で次のように表現できる．

log 𝑞 𝐺 (𝑢) = sup −
𝑠 ≥0

𝑢2
2𝑠

(25)

(𝑘)

𝜉𝐺 ≥0

𝛼 = 1.5 及び 𝐾 = 100 で実験を行うこととした．
4.1

まず最初に，簡単なトイデータを用いて提案手法の基本的な性

(𝑘)
𝜉𝐺

W (𝐺)

!
𝐼

(𝑘)
2𝜋𝜉𝐺

! |𝐺|
2

に 1，非対角成分は 50% の確率で 0，50% の確率で [−0.5, 0.5](𝑘)
−𝜙𝐺 ( 𝜉𝐺 )

e

W (𝐺)

の範囲の一様分布に従う値として，あらかじめランダムに生成し(26)たものを用いた（生成した真の精度行列の値は図 4 中の Ground

Truth を参照）．このように生成した精度行列をもち，平均ベ
クトルが 0 ベクトルとなる多変量正規分布に従ってトイデー

ることができる．

タを生成し，さらに平均 0，標準偏差 0.5 のガウスノイズを印

log 𝑝({𝒚 (𝑘) } 𝑘 |W)
∫
𝐾
Õ
=
log
𝑝( 𝒚 (𝑘) | 𝒁 (𝑘) 𝝎 (𝑘) , 𝜎 2 𝑰) 𝑝(𝝎 (𝑘) |W)d𝝎 (𝑘)
≥

n
sup
(𝑘)

+

加して観測データとした．ただし，この実験ではサンプルサイ
ズは 𝑁 = 10000，データの次元は 𝑀 = 5 としてデータを生成
し，対称性を考慮した精度行列の非対角成分のパラメータ数は𝑀 (𝑀 − 1)/2 = 10 である．ここでは比較手法として，最尤推定
log N ( 𝒚

(𝑘)

|0, 𝒁

(𝑘)

𝑴𝚵

(𝑘)

⊤

𝑴 𝒁

𝑘=1 𝜉𝐺 ≥0

"

トイデータ

質を確認する．この実験で用いる真の精度行列は，対角成分は常これにより，(24) の対数周辺尤度は次のように変分下限で評価す

𝑘=1
𝐾
Õ

(29)

散を定義することができない．本研究では簡単化のために，全ていた形式に置き換えることができる．

(𝑘)= sup N 𝝂𝐺
0,2が小さいほど分布の裾は重くなる．ただし，𝛼 ≤ 1 では (29) の分

この等式を利用すれば，(22) の右辺は次のようにガウス分布を用

1(𝑘)𝑞 𝐺 (∥𝝂𝐺∥ 2 W (𝐺) 2 )! −𝛼− |𝐺|2

ここで，𝛼 ∈ R+ は分布の形状を決めるハイパーパラメータで，𝛼− 𝜙𝐺 (𝑠)(𝑘) 2∥𝝂𝐺∥ 2 W (𝐺)

(𝑘)
2𝜋𝜉𝐺

(𝑘) ⊤

（MLE）と Graphical LASSO（GL）の 2 つの手法を採用した．

+ 𝜎 𝑰)
2!

Õ |𝐺 ||𝐺 |(𝑘)log W (𝐺) +log− 𝜙𝐺 (𝜉𝐺
)
2
2
W
(𝐺)
𝐺∈G

Graphical LASSO については正則化係数を 0 から 1 まで 0.01 刻#)

みで変化させ，Ground Truth に最も近いグラフ構造をもつ正則化(27)係数を採用している．
図 4 はグループ構造 G = {{1}, {2}, . . . {10}} に対して，提案手Í(𝑘)
ここで，{𝝂𝐺 } 𝐺 ∈ G を適当に並べたベクトルを 𝝂 (𝑘) ∈ R 𝐺∈G |𝐺 |とすれば，𝑴 は 𝝎 (𝑘) = 𝑴𝝂 (𝑘) を満たす行列であり，𝚵 (𝑘) は 𝝂 (𝑘)法で 𝛽 = 0.8, 1.0, 1.2 として推定された精度行列の推定解である．
ここでは比較のため，精度行列から計算された偏相関行列を示し(𝑘)の並べ順で対応する 𝜉𝐺 /W (𝐺) を |𝐺 | 回繰り返し対角に配置している．比較手法である Graphical LASSO ではスパースな精度た対角行列である．また，(27) の不等式は上限と積分の交換によ行列が得られているものの，全ての成分に等価なペナルティが課るものである．よって，(24) に対して対数周辺尤度を最大化するされるモデルのため，濃淡が薄く全体的にぼやけたような精度行

代わりに，(27) の変分下限の最大化を考えることができ，特に列が推定される．これに対して提案手法では，例えば 𝛽 = 0.8 の(27) の最大化では関連するパラメータに対して閉じた更新則が得場合に着目すると，Graphical LASSO と同じく 0 に縮退すべき要られるので，煩雑な数値計算を回避することができる．

素は十分縮退している一方，縮退すべきでない要素は明瞭な非ゼ(𝑘)
ところで，この確率モデルにおいては 𝑝(𝝂𝐺 |W (𝐺)) の標準偏ロ値を取ることがわかる．さらに 𝛽 = 1.0 や 𝛽 = 1.2 も確認する

差が 𝜎 より小さいとき，W (𝐺) を分離して適切に評価できず，と，新たに 0 に縮退する成分が現れたとしても，他の成分の縮小

値が過小評価になる傾向が確認されている．このことは，本来重推定度合いは抑制されていることも見て取れる．これは提案手法

要ではないグループ，すなわち W (𝐺) → ∞ となるべきグルーのモデルにおける重要度 W がデータから適応的に調整されるた

プ 𝐺 が，過大に重要であると評価されゼロベクトルとなりづらめである．

いことを意味する．これを回避するために，Shervashidze らはハ

次に 𝑀 = 20 とし，先ほどと同様の手法で生成した精度行列

イパーパラメータ 𝛽 ∈ R+ を導入し，W (𝐺) にも冪関数の分布と観測データに対して，推定されたグラフ構造の性能をいくつ

5日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 5, 2022 年 3 月

4.2

Actual Spot Rates

次に実データを用いて，提案手法で入力するグループ構造 Gの変化が推定に与える影響を検討した．ここでは 1986 年 10 月 9日から 1996 年 9 月 8 日までの 567 日間のドルに対する諸通貨ス
ポット価格データを用いる．ここで用いた通貨は，AUD（オーストラリア），BEF（ベルギー），CAD（カナダ），CHF（スイス），

DEM（ドイツ），ESP（スペイン），FRF（フランス），GBP（イギリス），JPY（日本），NLG（オランダ），NZD（ニュージーランド），SEK（スウェーデン）である [20]．
データを平均 0，標準偏差 1 となるように正規化した後に，正則化係数を（a’） 𝜌 = 0.3，（a”） 𝜌 = 0.6，（a”’） 𝜌 = 0.9，としたGraphical LASSO の推定解と，（b’） 𝛽 = 1.5 でグループ構造 G𝑏を 4.1 節のように 1 つの成分を 1 つのグループとした提案手法の

図 4 4.1 節の方法で生成した真の精度行列（Ground Truth）に推定解を図 6 に示した．（c）に関しては 𝛽 = 2.1 であるが，後述

対する，提案手法と比較手法の精度行列の推定解．ここでは，のようにいくつかの成分をひとまとめにしたグループ構造 G𝑐 を精度行列から計算された偏相関行列を示している．上段は左かもつ．図 6 の各グラフにおいて，辺の太さは精度行列の絶対値のら，データ生成に用いた Ground Truth，最尤推定解，Graphical
LASSO の推定解，下段は左から，提案手法における 𝛽 = 0.8,
𝛽 = 1.0, 𝛽 = 1.2 の場合の推定解を示している．

大きさに対応しており，さらに正値は赤色で負値は青色で表現している．また，頂点の色は Frey らの Aﬃnity Propagation によるクラスタリング結果を意味している [23]．
結果を見てみると 4.1 節の実験と同様，（a’）（a”）（a”’）のGraphical LASSO では辺の存在の有無が曖昧になりがちであるが，（b’）の提案手法では辺の存在する要素では非常に太い辺で示され，より明瞭に依存関係が抽出されていることが確認できる．
この（b’）の結果における各グループの重要度 W (𝐺) の値を，より重要な順，すなわち W (𝐺) の値が小さい順に上位 20 グループを並べた結果が（b”）である．縦軸は各グループ 𝐺 を表現し，特にここでは精度行列の各要素をそれぞれひとつのグループとしたグループ構造 G𝑏 を考えているので，G𝑏 は全ての 2 通貨の組み合わせに対応している．横軸は重要度 W (𝐺) を対数スケールでプロットしている．その結果，不要と判断されたグループ 𝐺 に対応する重要度 W (𝐺) は，対数スケールの意味で相対的に発散

図 5 提案手法と比較手法で抽出されたグラフ構造の Ground

傾向を示していることが確認でき，このことからも W (𝐺) は最

Truth に対するスコア．ここでは最尤推定解，Graphical LASSOの推定解，提案手法の 𝛽 = 0.0, 0.2, . . . , 1.8 の場合の推定解について，正解率（Accuracy），適合率（Precision），再現性（Recall），
及びそれらの F1 スコア（F1）を示している．

適化の過程で各グループの縮退加減を適応的に調整していることがわかる．提案手法の定式化を考慮すれば，最終的な W (𝐺) の収束値は各グループの重要度を定量的に評価する有用な指標であると考えることもできる．
ところで，（b’）の頂点の色を見てみると，Aﬃnity Propagation

かの指標で比較した．ここでは，推定されれた精度行列の絶対では{BEF, CHF, DEM, FRF, NLG}と{CAD, ESP, GBP, SEK}の間値をグラフ構造における辺の存在確率とみなし，Ground Truthに何らかのクラスターが存在している可能性が示唆されている．

に応じたグラフ構造との比較を行っている．図 5 は実験結果のそこで（c）では，これを事前知識と考え，グループ構造 G𝑐 に対スコアで， 𝛽 = 0.0, 0.2, . . . , 1.8 とした提案手法と，比較手法でして（b’）で使用したグループ構造 G𝑏 に{BEF, CHF, DEM, FRF,

ある最尤推定解と Graphical LASSO の推定解について，正解率

NLG}と{CAD, ESP, GBP, SEK}を追加して次のように与えた．

（Accuracy），適合率（Precision），再現性（Recall），及びそれら

G𝑐 = G𝑏 ∪ {{BEF, CHF, DEM, FRF, NLG},の F1 スコア（F1）を示したものである．結果を俯瞰すると，提{CAD, ESP, GBP, SEK}}

案手法は Graphical LASSO よりも適合率（Precision）の面でか(30)なり有利なモデルであり，特に 𝛽 = 0.2, 0.4, 0.6, 0.8, 1.0 の提案手

このように追加したグループについても，提案手法ではデータか法については F1 スコアによる総合評価でも高いスコアが読み取ら不適と判断されれば W (𝐺) → ∞ 及び 𝝂𝐺 → 0 となるため，れる．これらの実験により，提案手法は従来の Graphical LASSO

G𝑐 の中でその重要性が比較検討されることとなる．この実験のよりも学習モデルとしての表現力が高く，データから所望の精度結果，（c）では（b’）と同様に辺の存在の有無が明瞭でありつつ行列を柔軟に適応的に抽出できることが確認される．

も，Aﬃnity Propagation のクラスタリング結果とも齟齬のないグ

6

日本データベース学会和文論文誌
一般論文

Vol. 20-J, Article No. 5, 2022 年 3 月

図 7 各手法の異常スコア ∥ 𝒅∥ 2 に対するパーセンタイル値．
尤度交差検証でチューニングした Graphical LASSO（GL）と，

𝛽 = 0.0, 0.1, . . . , 0.5 とした提案手法の結果を示している．

49,200 件にランダムに分割している．従って，今回使用したデータではテストデータに 1% の不正な取引が含まれていることにな
る．このデータを平均 0 標準偏差 1 に正規化した後，正則化係数を尤度交差検証によりチューニングした Graphical LASSO（GL）と，いくつかの 𝛽 に対する提案手法に対して，それぞれ推定された精度行列に基づいた異常スコアを比較した．なお，ここでは変数 𝑥 𝑖 に対する，各テストサンプルの 𝑖 番目の変数についての異常
スコア 𝑑𝑖 を次のように定義した．
′
𝑑𝑖 ∝ − log 𝑝(𝑥 𝑖′ |𝒙−𝑖
, Dtrain ),(31)∗

ただし，訓練データから推定された精度行列 𝚲 に対して，テス−1

トデータは N (0, 𝚲∗ ) に従うと仮定し，Dtrain は訓練データセッ′ はテストサンプル 𝒙 ′ から 𝑖 番目の変数を除いたベクトル
ト，𝒙 −𝑖

図 6 スポット価格データから推定されたグラフ構造とクラスタリングの結果．上段は正則化係数が（a’） 𝜌 = 0.3，（a”）

を意味する．また，各テストサンプルごとの総合的な異常スコア

𝜌 = 0.6，（a”’） 𝜌 = 0.9 の場合の Graphical LASSO 推定解，中段は（b’） 𝛽 = 1.5 で各成分をそれぞれひとつのグループとしたグループ構造 G𝑏 の場合の提案手法の推定解と，（c） 𝛽 = 2.1

は，(31) を並べたベクトルに対して ∥𝑑 ∥ 2 とした．
図 7 は，49,200 個のテストデータそれぞれから計算された∥𝑑 ∥ 2 を小さい順に並べて，横軸のパーセンタイルに沿って縦軸

でクラスタリング結果を事前情報として追加したグループ構に ∥𝑑 ∥ 2 をプロットしたものである．テストデータに含まれる

造 G𝑐 の場合の提案手法の推定解である．（b’）の結果について
は，重要度 W (𝐺) から上位 20 グループの結果を（b”）に示し

不正な取引の割合は 1% であるので，99 パーセンタイルまではている．

どの手法でも ∥𝑑 ∥ 2 はほぼ横ばいであるが，その後はいずれの手法も劇的に値が増加している．しかし，その伸び方は Graphical

LASSO よりも提案手法の方が激しく，提案手法によって推定さラフが得られていることがわかる．このように提案手法では，入れた精度行列は異常検知タスクにおいてもより明瞭に異常を発見力するグループ構造 G を通して，事前知識や任意の基準を推定しやすいことが示唆されている．途中まで Graphical LASSO よに反映することができ，入力した G に沿ったスパースな精度行

りも下回っていた 𝛽 = 0.5 の提案手法についても，100 パーセン

列やグラフを得ることができる．
4.3

タイル付近では上回る結果となっている．

Credit Card Fraud Detection

さらに，表 1 に示すように，いくつかの手法で精度行列のス

最後に，クレジットカードの不正利用が含まれるデータセット

パース度合いと，テストデータに対する異常スコアの ROC 曲に対して，抽出した精度行列を用いた異常検知タスクを通した性線下面積（AUC）及び適合率-再現性曲線下面積（AUPRC）を比

能比較を行った．このデータセットには，ある 2 日間に発生し較した．ここでは，比較手法として最尤推定解（MLE），Oracle

た 284,807 件の取引が含まれており，このうち 492 件の取引は不Approximating Shrinkage（OAS），Basic Shrinkage（BS）を追加

正であったとわかっている．データは主成分分析によって匿名化している [25, 26]．また，スパース度合いを比較する頑健な指標されており，含まれる変数は第 28 主成分までの値（V1〜V28）

として Hurley らによって提案されたジニ指数を用いた [27]．具と，各取引の経過時刻（Time），各取引での金額（Amount）であ体的には，精度行列 𝚲 に対するスパース度合い 𝑆 𝑝(𝚲) は次のよる [24]．

うに定義している．

ここでは Time を除いた V1〜V28 と Amount の計 29 個の変数を使用することとした．データは 492 件の不正は全てテスト

𝑆 𝑝(𝚲) = 1 −

データに含まれるようにした上で，訓練用 235,907 件，テスト用

7



𝑀2
Õ
1
1
2
|𝑟
|
𝑀
−
𝑝
+
𝑝
2
2𝑀 2 ∥𝚲∥ 1 𝑝=1(32)

日本データベース学会和文論文誌
一般論文

表1

Vol. 20-J, Article No. 5, 2022 年 3 月[6] Onureena Banerjee, Laurent El Ghaoui, Alexandre d’Aspremont, andGeorges Natsoulis. Convex optimization techniques for ﬁtting sparsegaussian graphical models. In William W. Cohen and Andrew W.
Moore, editors, ICML, volume 148 of ACM International Conference
Proceeding Series, pages 89–96. ACM, 2006.
[7] Jerome Friedman, Trevor Hastie, and Robert Tibshirani. Sparse inverse covariance estimation with the graphical lasso. Biostatistics,
9(3):432–441, 2008.
[8] R. Tibshirani. Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society (Series B), 58:267–288, 1996.
[9] Hui Zou. The adaptive lasso and its oracle properties. Journal of theAmerican Statistical Association, 101(476):1418–1429, 2006.
[10] Ming Yuan and Yi Lin. Model selection and estimation in regression
with grouped variables. Journal of the Royal Statistical Society: Series
B (Statistical Methodology), 68(1):49–67, 2006.
[11] Laurent Jacob, Guillaume Obozinski, and Jean-Philippe Vert. Grouplasso with overlap and graph lasso. In Andrea Pohoreckyj Danyluk,
Léon Bottou, and Michael L. Littman, editors, ICML, volume 382
of ACM International Conference Proceeding Series, pages 433–440.
ACM, 2009.
[12] Francis R. Bach, Rodolphe Jenatton, Julien Mairal, and GuillaumeObozinski. Optimization with sparsity-inducing penalties. Foundations and Trends in Machine Learning, 4(1):1–106, 2012.
[13] Francis Bach, Rodolphe Jenatton, Julien Mairal, and GuillaumeObozinski. Structured sparsity through convex optimization. Statistical Science, 27(4):450–468, 2012.
[14] Nino Shervashidze and Francis R. Bach. Learning the structure forstructured sparsity. IEEE Trans. Signal Processing, 63(18):4894–
4902, 2015.
[15] Benjamin M. Marlin and Kevin P. Murphy. Sparse gaussian graphicalmodels with unknown block structure. In Andrea Pohoreckyj Danyluk,
Léon Bottou, and Michael L. Littman, editors, ICML, volume 382 of
ACM International Conference Proceeding Series, pages 705–712.
ACM, 2009.
[16] Patrick Danaher, Pei Wang, and Daniela M. Witten. The joint graphical lasso for inverse covariance estimation across multiple classes.
Journal of the Royal Statistical Society Series B, 76(2):373–397, 2014.
[17] Alex Gibberd and J.D.B. Nelson. Regularized estimation of piecewise
constant gaussian graphical models: The group-fused graphical lasso.
Journal of Computational and Graphical Statistics, 2015.
[18] Shaozhe Tao, Yifan Sun, and Daniel Boley. Inverse covariance estimation with structured groups. In ĲCAI, pages 2836–2842, 2017.
[19] Veronica Tozzo, Federico Tomasi, Margherita Squillario, and Annalisa Barla. Group induced graphical lasso allows for discovery of molecular pathways-pathways interactions. arXiv preprint
arXiv:1811.09673, 2018.
[20] Tsuyoshi Idé, Aurelie C. Lozano, Naoki Abe, and Yan Liu. Proximitybased anomaly detection using sparse structure learning. In SDM,
pages 97–108. SIAM, 2009.
[21] Trevor Park and George Casella. The Bayesian Lasso. Journal of theAmerican Statistical Association, 103(482):681–686, 2008.
[22] Jason Palmer, David Wipf, Kenneth Kreutz-Delgado, and Bhaskar
Rao. Variational em algorithms for non-gaussian latent variable models. Advances in neural information processing systems, 18:1059,
2006.
[23] Brendan J J. Frey and Delbert Dueck. Clustering by passing messages
between data points. Science, 2007.
[24] Andrea Dal Pozzolo, Olivier Caelen, Reid A. Johnson, and Gianluca
Bontempi. Calibrating probability with undersampling for unbalanced
classiﬁcation. In SSCI, pages 159–166. IEEE, 2015.
[25] Olivier Ledoit and Michael Wolf. A well-conditioned estimator forlarge-dimensional covariance matrices. Journal of Multivariate Analysis, 88(2):365 – 411, 2004.
[26] Yilun Chen, Ami Wiesel, Yonina C. Eldar, and Alfred O. Hero III.
Shrinkage algorithms for mmse covariance estimation. IEEE Trans.
Signal Processing, 58(10):5016–5029, 2010.
[27] Niall Hurley and Scott Rickard. Comparing measures of sparsity.
IEEE Transactions on Information Theory, 55(10):4723–4741, 2009.
[28] Tsuyoshi Idé, Ankush Khandelwal, and Jayant Kalagnanam. Sparsegaussian markov random ﬁeld mixtures for anomaly detection. In
Francesco Bonchi, Josep Domingo-Ferrer, Ricardo Baeza-Yates, ZhiHua Zhou, and Xindong Wu, editors, ICDM, pages 955–960. IEEE
Computer Society, 2016.

各手法から推定された精度行列のスパース度合いと，テストデータに対する AUC 及び AUPRC．

Sparsity

AUC

AUPRC

MLE
OAS

0.91490.9152

0.94940.94940.77840.7784

BS

0.93260.95020.7651GL

0.91750.94950.7784𝛽 = 0.0

0.91840.94940.7782𝛽 = 0.1

0.91900.94940.7782𝛽 = 0.2

0.93770.95050.7752

ここで，𝑟 𝑝 は精度行列 𝚲 の各成分を小さい順で並べ替えた（𝑟 1 ≤ 𝑟 2 ≤ . . . ≤ 𝑟 𝑀 2 ）ものである．従って，定義から 0 ≤ 𝑆 𝑝 ≤ 1
であり，その値が大きいほど精度行列のスパース度合いが高いといえる．結果的に表 1 から，提案手法で抽出した精度行列はス
パース度合いが非常に高く，異常検知タスクにおいても高い性能を示すものであることが示唆される．

5

まとめ
本研究では，Graphical LASSO の枠組みに潜在構造正則化学習を応用した新しい正則化手法を提案した．4.2 節にみるように，提案手法では事前知識や任意の基準などをグループ構造という形で反映することができ，入力したグループ構造に沿ったスパー
スな精度行列の抽出を可能としている．さらに 4.3 節にみるように，提案手法で得られた精度行列を用いて，一般的な異常検知タ
スクなどにおいても従来法よりも高い性能が得られることも確認された．これらは，従来の Graphical LASSO が全ての要素に対して正則化係数に応じた等価なペナルティを与える一方で，提案手法は個々の変数グループに対してデータから適応的に調整されたペナルティを与えるためである．
今後の展望としては，事前に入力するグループ構造 G それ自体も，モデルの尤度比較を通して最適なものを決定し，よりデータに応じた学習の枠組みを検討している．また，一般的にデータが単峰性の多変量正規分布に従っているとは言い切れないため，
従来の Graphical LASSO でも研究されているように，多峰性の混合正規分布への拡張なども行いたい [28]．

参考文献[1] Tsuyoshi Idé and Hisashi Kashima. Eigenspace-based anomaly detection in computer systems. In Proceedings of the Tenth ACM SIGKDDInternational Conference on Knowledge Discovery and Data Mining,
KDD 04, page 440–449, New York, NY, USA, 2004. Association
for Computing Machinery.
[2] R. Kinderman and S.L. Snell. Markov random ﬁelds and their applications. American mathematical society, 1980.
[3] Judea Pearl. Probabilistic Reasoning in Intelligent Systems: Networks
of Plausible Inference. Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 1988.
[4] D. Koller and N. Friedman. Probabilistic Graphical Models: Principles and Techniques. Adaptive computation and machine learning.
MIT Press, 2009.
[5] Steﬀen L. Lauritzen. Graphical Models. Oxford University Press,
1996.

8