数理統計学チーム
下平 英寿
Mathematical Statistics Team
Hidetoshi Shimodaira

数理統計学チーム@京大クラスタ

選択的推測の理論と特徴量選択への応用

全部で８個の特徴量があったが，Lasso は 6個を選択した{ lcavol ,<latexit sha1_base64="5kCPBuQE5PWUmtcePQhQ1Y/6vbg=">AAAC3nichVHPSxtBFH67rdambZLWi9BLaEjpIYRJqiieBC8e/dGo4IZ0dn3ZDJnsLruTrXHZqwdBPFroqQWR0j/Di/9AD548S48KXnroy2ahNaHtG2bmm2/e9+abGdOTIlCMXWr6g4cTk4+mHmeePH2WzeWfv9gM3J5vYd1ypetvmzxAKRysK6Ekbns+8q4pccvsLA/2t0L0A+E671Tfw0aX245oCYsropr5vhEVDBMVbxoK91QkLR66Mi7fJz+gsNtqhOU2juaZXnuECkIRl/8kPNuenYsLRtzMF1mFJVEYB9UUFCGNVTd/BgbsggsW9KALCA4owhI4BNR2oAoMPOIaEBHnExLJPkIMGdL2KAspgxPbodGm1U7KOrQe1AwStUWnSOo+KQtQYt/ZV3bDLtg3ds1+/rVWlNQYeOnTbA616DVzhzMbd/9VdWlW0P6t+qdnBS1YSLwK8u4lzOAW1lAf7p/cbCyul6LX7Av7Qf4/s0t2TjdwwlvrdA3XP0GGPqA6+tzjYLNWqb6t1NZmi0sL6VdMwUt4BW/ovedhCVZgFep07pU2oWW1nP5eP9CP9ONhqq6lmmm4F/rHXyF/uYw=</latexit>

lweight ,age ,lbph ,選択後の棄却確率 (alpha=0.05)

80

100

pgg45 }

svi ,特徴量重み（回帰係数）の95% 信頼区間

602005WNNsvilbphage• そこで弊チームの先行研究 (Terada, ShimodairaarXiv:1711.00949v2) によるマルチスケール・ブートストラップ法を用いた選択的推測の理論を特徴量選択に適用してアルゴリズムを開発した

p xp + ✏0.5Black: non-selec?ve CI
Selec?ve Inference CI
Green: Lee et al. (2016) for model
Blue: Liu et al. (2018) for variable
Red: Terada and Shimodaira (2019)for variable (via mul?scale bootstrap)

1.0上段：重要な特徴量を正しく重要と判断する確率 (True Posi?ve Rate)•

下段：重み=0の重要でない特徴量を誤って重要と判断してしまう確率 (FalsePosi?ve Rate)

MCP• カーネル法による特徴量選択(MMD, HSIC)にも適用できた（山田チーム）

k-近傍法 (k-NN) のバイアスをゼロにする• Okuno, Shimodaira (arXiv:2002.03054), Extrapolation Towards Imaginary 0-Nearest Neighbour and Its
Improved Convergence Rate
• 田中，奥野，福井，Kim，下平 (IBIS 2019), マルチスケールk-近傍法を用いた画像のタグ推定• k-NNは最も単純な判別，分類の手法．特徴量をみて最も近い過去事
例をk個選び，そのラベルの平均値を出力する• 小さいkはバイアスが小さく，大きいkは分散が小さくなる．両者の影響は分類誤差でトレードオフの関係にある

選択的推測の理論とクラスタリングへの応用• Shimodaira, Terada (arXiv:1902.04964, Fron4ers in Ecology and Evolu4on 2019), Selec?ve Inference forTes?ng Trees and Edges in Phylogene?cs• Terada, Shimodaira (arXiv:1711.00949v2), Selec?ve Inference for the Problem of Regions via Mul?scale
SI=Selec4ve Inference 選択的推測（提案法）, AU=Approximately Unbised 近似的に不偏な検定(従来法）, BP=ブートストラップ確率（ベイズ）
Bootstrap• 「データを見てから仮説を選択すること」を設定に組み込んだ選択的推測 (selec?ve inference)，選択後の推測 (post selec?on inference) の統計手法や理論が近年，構築されつつある

fetal_lungïB$GHQRïB$GHQRïB$GHQR

16  
10  30
25  0  3
0  16
0  366
0  1565     15  55064
 200  21
31  4461  6042  62 63  62
100100   56


55
54 56
  36  40




15  4553 265251 2  26 2150




22


545
 
46 31100100 100
62  44  43 100100 100
12  524241
40        36  100100 100
3534  
33
32
31

30
30

60 155342
    


100
100
100
26
25
24
23 100100 10021
22  10010010041
 66
20100100 100


16
100100 100  100100 100
15
14 100100 100
100100 100
1312100100 100100 
1110100
100
10054

100100100100
100100 666100100 100
5100100 100
100100 100 432100100 100
1ïB$GHQRïB$GHQRïB$GHQRïB$GHQRïB$GHQRïB$GHQRïB$GHQRïB$GHQRïB$GHQRïB$GHQRBFïB$GHQRBSïB$GHQRïB$GHQRïB$GHQRï37B$GHQRïB$GHQRBSïB$GHQRBFïB6&/&
ïB6&/&
ïB6&/&
ïB6&/&
ïBQRGHïB$GHQRïB$GHQRïBFRPELQHG
ïB$GHQRïB6&&ïB6&&
ïB6&&ï6&&ïB6&&
ïB6&&
ïBQRGHïB6&&
ïBQRGHïB6&&
ïB6&&
ïB6&&
ïBQRGHïB6&&BSïB6&&BF
ïB$GHQRïB$GHQR
ïB/&/&
ïB/&/&ïB/&/&ïB$GHQRïB/&/&ïB6&&
ïB$GHQRïB$GHQRïBQRGHïB$GHQRï07B$GHQRï07B$GHQRïB$GHQRïB$GHQRïB$GHQR

0.00.2

0.4+HLJKW

0.6



• 従来の統計的仮説検定では，事前に仮説を定める必要がある．ところが医学，科学全般で必ずしもこれが守られず，実際にはデータを見てから仮説を設定し，その同じデータを再び用いて仮説検定を実行するため，偽の発見となりやすくその危険性が指摘されてきた．頻度論のp値の代わりにベイズ事後確率を用いてもこの問題は解決しない26  26ïBQRrmalïBQRrmal
ïBQRrmal
ïBQRrmal
ïBQRrmal
ïB$GHQRïB$GHQRïB$GHQRïBQRGHï37B$GHQRï07B$GHQR

1.0

VL au ES
HGJH

肺腫瘍の発現データ解析例. 弊チームで開発したソフトウエアpvclustの最新版に選択的推測も実装済み'LVWDQFHFRUUHODWLRQ&OXVWHUPHWKRGaverage

2 seal1 human(100, 100, 100)

3 cow

1 human

E3 (90, 72, 58)
4 rabbit

E1
E2• 弊チームの先行研究 (Terada, ShimodairaarXiv:1711.00949v2)ではマルチスケール・ブートスト
ラップ法 (Shimodaira 2002, 2004, 2008)によってブートストラップ確率のスケーリング則から選択的推測のp-値を計算する数理統計理論を与えている．確率分布の空間における仮説領域の曲率や距離といった幾何学にもとづいてアルゴリズムが構成される(11, 7, 2) E8(90, 96, 93)

BP<5となってしまう
AU>95となってしまう
6 opssum

5 mouse4 rabbit

5 mouseT1 (37, 75, 56)

6 opssumE6 (14, 7, 6)
E1
2 seal
3 cow
0.1
T7 (15, 10, 2)

BP<5となってしまう

系統樹推定の例．T1はデータが支持する系統樹だが，実際にはT7が真実の系統樹と考えられる．

 real−valued
non−negative0.6
wi−0.20• 提案手法の収束レートは理論的な最適レートを達成

50

100

150iSamworth (2012)の最適な重み関数050

提案手法の重み関数• Kim, 横井, 下平 (言語処理学会 2020 to appear), 単語埋め込みの二種類の加法構成性• 奥野, 矢野,下平 (IBIS 2019), ノンパラメトリックなリンク回帰とその理論的性質について (優秀プレゼンテーション賞)• 水谷, 奥野, 福井, Kim, 金澤, 白石, 岡田 , 下平 (IBIS 2019), グラフと近傍グラフの確率的同時埋め込みによるマルチモーダルデータの可視化• Kim, 奥野, 下平 (言語処理学会 2019), 擬ユークリッド空間への単語埋め込み (若手奨励賞，最優秀ポスター賞)• Okuno, Shimodaira (arXiv:1908.02573), Hyperlink Regression via Bregman Divergence• Kim, Okuno, Fukui, Shimodaira (arXiv:1902.10409, IJCAI 2019), Representa?on Learning with Weighted Inner
Product for Universal Approxima?on of General Similari?es• Kim, Fukui, Shimodaira (arXiv:1809.00918, NAACL-HLT 2019), Segmenta?on-Free Composi?onal n-gramEmbedding• Okuno, Kim, Shimodaira (arXiv:1810.03463, AISTATS 2019), Graph Embedding with ShiRed Inner Product
Similarity and Its Improved Approxima?on Capability• Okuno, Shimodaira (arXiv:1902.08440, AISTATS 2019), Robust Graph Embedding with Noisy Link Weights• Okuno, Hada, Shimodaira (ICML 2018), A Probabilis?c Framework for Mul?-view Feature Learning with
Many-to-many Associa?ons via Neural Networks• 弊チームの先行研究(Okuno, Hada, Shimodaira ICML 2018) では，内積だけでも十分に大きなニューラルネットワークを併用することで広いクラスの類似度関数を学習できることを数学的に証明（UniversalApproxima?on定理とMercer定理，推定量の漸近的一致性の証明）．しかし，内積類似度 (IPS) が表現できるのは 正定値関数（posi?ve deﬁnite, PD)だけである ．
• 内積だけでなくバイアス項も学習するモデルShiRed Inner Product Similarity (SIPS)の提案．SIPSは任意の条件付き正定値関数 (condi?onally PD, CPD)を学習できることを数学的に証明．CPDは十分に広いクラスである (例) ユークリッド空間の距離，Poincare埋め込み，双曲空間の距離• さらに，２つの内積の差を学習するモデル Inner Product Diﬀerence Similarity (IPDS)も提案．IPDSは不定値(indeﬁnite)カーネルを含む類似度関数を学習できることを数学的に証明．重み付き内積を学習するモデル
Weighted Inner Product Similarity (WIPS)の提案と高速でスケーラブルな学習法の実装．重みの値として負も許して学習することにより，不定値 (indeﬁnite)カーネルを含む類似度関数を学習できることを数学的に証明および実験で検証

正定値カーネルGeneƌĂůsimŝůĂƌiƟes
NegaƟve Jeīrey’s divergence, …

ŽŶĚŝƟŶĂůůǇW;WͿsimŝůĂƌiƟes
NegaƟve distances(Euclidean distance, Poincaré distance, … )WŽƐŝƟǀĞĞĮŶŝƚĞ;WͿsimŝůĂƌiƟes
Inner product, Polynomial kernel,
Cosine similarity, Gauss kernel, …

類似度関数のクラス

Weighted IPS (WIPS) 重み付き内積類似度モデル^ŚŝŌĞĚ/W^;^IPS) シフト付き内積類似度モデル
Inner Product 内積類似度モデル
Similarity (IPS)

ニューラルネットのモデル

系統樹推定における仮説の領域
エッシャーの絵は双曲空間への埋め込み

A Fitting to Tree T1●●ïnextrapolation k=2poly.2+poly.3+sing.3



N

N

ï3



2

B Fitting to Edge E2

extrapolation k=2
poly.3

●

●
●
●●
●
●

0●

●

2●
●

ï●

ï

マルチスケールブートストラップ
サンプルサイズはデータn，リサンプリングn’sm2

●

●

ï



n0

ï

3

2●

1sm2

ï



●

4m2

68●
●
●
●●
●

0

●

2

4

68m2

マルチスケールブートストラップによる確率の外挿（サンプルサイズn’ = -nまたは分散=-1へ外挿）

確率分布の空間における幾何（平均曲率と符号付き距離）100i

グラフ埋め込みの学習理論，表現学習, 可視化

条件付き正定値
カーネル

系統樹推定における最尤推定0.2• Flickrの画像からタグ推定で有効性を確認

不定値カーネル• 本研究ではその手法をもとに発現解析や分子進化
系統樹を推定する問題へ実際に応用し，クラスタリングや系統樹のクレードのp値において選択的推測による調整の重要性を示した

k=0 (または距離r=0) への外挿

wi0.05• 頻度論，ベイズ，情報論的方法など従来の統計学・機械学習で帰納的推論の方法論が議論されていたが，「p値の誤用」など様々な問題が指摘されている．AIに限らずあらゆる分野で重要な「データからの推論」のより良い原理を探求する．とくに選択的推論の手法開発と応用を行う．
• 単語ベクトルで確認されている意味の演算 (king – man + woman = queen) など，「構成性」に関連してNeurIPS (2019/12) でも注目されているが，このための理論にとりくみ，高度な思考を実現するステップとしたい．

−0.05

目指すゴール，今後の展開• 理論上はk=0とすればバイアスがゼロになる．そこで複数のkの値でkNNを実行し，それをk=0へ外挿する．分散をおさえつつ，現実には存在しない架空の「0-NN」を計算する「マルチスケール k-近傍法」 を提案

1.0• マルチスケール・ブートストラップ法による信頼度計算： 複雑な機械学習による予測や推定値の信頼区間や仮説のp値でも使える汎用手法を弊研究室で開発し，遺伝子発現解析等の標準手法となっている（4論文の被引用数＞9000，50近くの国際特許でも利用）．しかし選択バイアスの問題があったが，選択的推測として理論的にほぼ解決に成功した．
• グラフ埋め込みによる次元削減： マルチモーダルデータの関連性を深層学習によるグラフ埋め込みとして定式化し，従来の多変量解析などを一般化．表現可能な類似度の関数クラスを明らかにし，従来の内積よりも擬ユークリッド空間，双曲空間への埋め込みは表現力を飛躍的に拡大し，実装も容易であることを証明した．

これまでの代表的な研究成果

12.0

•

Lasso

• 従来法よりLassoにおける検出力が向上し，本来は重要な特徴量が誤って重要でないと判断されてしまう（偽陰性）をへらすことができた．また，従来法では困難であった非凸の正則化項（SCAD, MCP)に初めて適用できた

1.5


•

帰納的推論の原理の探求： とくに多数の仮説について統計推測するときの信頼度計算の方法論．多重検定，多重比較，モデル選択，選択的推測などの手法を開発する理論研
究．系統樹推定や発現解析など生命科学における標準手法になっている．今後，AIによる「発見」（仮説生成と検証）を実用化するときの基盤技術になる．
情報統合の多変量解析と適切な情報表現の探求： とくにマルチモーダル関連性データのグラフ埋め込みによる表現学習．画像認識や自然言語処理での実践や擬ユークリッド空間への埋め込みや加法構成性の理論など．今後，AIによる「高度な思考」を実装するときの基盤技術になる．

1 x1 + · · · +0+<latexit sha1_base64="Xe7+swedyx/iqcp+ZVc+w9gRNQc=">AAACoXichVFBSxtBFP7c2pqmtaZ6KXhZGiyCEN6q0FAsBHppbzE2iZCEsLuOOrjZHXYnoWnoH/AP9NBTA6WIP8OL1xY8+BPEo4KXHvp2s7RoUN8yO9/75n1vvplxlCcjTXQ6YTyYfPhoKvM4++Tp9LOZ3PPZWhR0Q1dU3cALwk3HjoQnfVHVUntiU4XC7jieqDt77+L1ek+EkQz8j7qvRKtj7/hyW7q2ZqqdW+ubb82mI7TdJnMpRZb5iQdn7lago3+0YlpxZjaFiqQXy/NUoCTMcWClII80ykHuJ5rYQgAXXXQg4EMz9mAj4q8BCwTFXAsD5kJGMlkX+IIsa7tcJbjCZnaP/zucNVLW5zzuGSVql3fxeISsNLFAJ3RAF3RMh3RGf27tNUh6xF76PDsjrVDtmf0XG1f3qjo8a+z+V93pWWMbxcSrZO8qYeJTuCN97/PXi403lYXBKxrSOfv/Tqd0xCfwe5fuj3VR+YYsP4B187rHQW25YK0UltdX86Vi+hQZzOMlFvm+X6OE9yijyvsOcYxf+G3kjQ9G2aiMSo2JVDOHa2E0/gIdOZ3w</latexit>

lweight•• 選択した特徴量の重みについて信頼区間を計算すると，重み＝０という帰無仮説が有意に棄却されやすくなるバイアスがある．これは選択バイアスの影響であり，本来は重要でない特徴量にもかかわらず，誤って重要と判断されてしまう (偽陽性）y=lcavol統計的推測の方法論の研究• さまざまな特徴量（説明変数）から判別や予測を行うとき，データに当てはめて特徴量の重み（回帰係数）を推定する．すべての特徴量を使わずに，Lassoなどの手法で有用な特徴量だけを選択したほうが性能が良くなる

下平英寿（チームリーダー），Thong Pham（特別研究員），奥野彰文（テクニカルスタッフI），福井一輝（パートタイマー），井上雅章（パートタイマー），KIM GEEWOOK（パートタイマー），田中卓磨（パートタイマー），岩田具治（客員研究員），寺田吉壱（客員研究員） ，伊森晋平（客員研究員） ，廣瀬慧（客員研究員） ，白石友一（客員研究員）• Lim, Yamada, JitkriMum, Terada, Matsui, Shimodaira (arXiv:1910.06134v1, AISTATS 2020), More PowerfulSelec?ve Kernel Tests for Feature Selec?on [山田チームの共同研究]• Terada, Shimodaira (arXiv:1905.10573v3）, Selec?ve Inference aRer Feature Selec?on via Mul?scale Bootstrapë ë ë 下平研究室（情報学研究科，京都大学）

150