助成番号

５－２170206
研 究 成 果 報 告 書（国立情報学研究所の民間助成研究成果概要データベース・登録原稿）

研究テーマ（和文） ＡＢ

統計力学的アプローチによる、大規模スパースモデリングの理論と技術の強化

研究テーマ（欧文） ＡＺ

Statistical mechanical approach to massive sparse modeling techniques

研究氏
代表名
者

ｶﾀｶﾅ ＣＣ姓）オブチ名）トモユキ

研究期間 Ｂ

２０１７ ～ ２０１９ 年

漢字 ＣＢ

小渕智之

報告年度 ＹR

２０１９ 年

Tomoyuki

研究機関名

東京工業大学

ﾛｰﾏ字 ＣＺ Obuchi

研究代表者 ＣＤ
所属機関・職名

東京工業大学・助教

概要 ＥＡ (600 字～800 字程度にまとめてください。)

スパースモデリング(SpM)とは，対象となるデータを少数の変数・自由度で表現することにより，膨大な高次元データの処理を可能にするモデリング技術である．本研究では、SpM の実行において問題になる計算量的困難を統計力学的手法によって克服し，SpM の理論的技術的基盤を強化することを目指したものである．
申請時に目標に掲げたのは次の３つである：
1. 統計力学におけるモンテカルロ法を駆使することで，効率的に変数選択を行うアルゴリズムを構築する．
2. ベイズ推定・統計力学の考え方を文脈に応じて選択適用することにより，各変数に選択される確率分布を設定し，それを利用して各変数の重要度が評価する．それを実際に変数選択に応用する．
3. モデルの解釈・選択を行う上で，汎化誤差の評価を行う一般的枠組みである交差検定法が重要であるが，一般に計算量的な負荷がたかい．そこでデータが大規模であることを逆用して摂動論の技術を用いて交差検定法を低計算量で実行する方法論を開発する．
実際の研究において，この３つすべてに対応する研究成果を上げることが出来た．次ページに載せた発表文献の１つ目が１．，２つ目が３．３つめが２．に対応する．これ以外にも２つ原著論文を査読あり雑誌に発表することが出来たが，紙面制約上次ページでは省略する．発表論文はいず
れも統計力学/機械学習分野で知られた著名な雑誌に掲載されている．開発したアルゴリズムは広くユーザーに使われるよう Github などを利用して公開している．

キーワード ＦＡ

スパースモデリング

統計力学

機械学習

（以下は記入しないでください。）
助成財団ｺｰﾄﾞ ＴＡ

研究課題番号 ＡＡ

研究機関番号 ＡＣ

シート番号- 1 -多自由度推定発表文献（この研究を発表した雑誌・図書について記入してください。）
論文標題ＧＢ

Statistical mechanical analysis of sparse linear regression as a variable selection
problem

著者名 ＧＡ

Tomoyuki Obuchi et al.

雑誌名 ＧＣ

Journal of Statistical Mechanics

ページ ＧＦ

1～41

発行年 ＧＥ

2

雑誌

in18

巻号 ＧＤ

103401

Multinomial

LogisticRegression

論文標題ＧＢ

Accelerating Cross-Validation
L1-Regularization

著者名 ＧＡ

Tomoyuki Obuchi andYoshiyuki Kabashima

雑誌名 ＧＣ

Journal of Machine Learning Research

ページ ＧＦ1～30

発行年 ＧＥ

2

雑誌

0018

巻号 ＧＤ

with19(52)

論文標題ＧＢ

Semi-Analytic Resampling in Lasso

著者名 ＧＡ

Tomoyuki Obuchi andYoshiyuki Kabashima

雑誌名 ＧＣ

Journal of Machine Learning Research

ページ ＧＦ

1～33

発行年 ＧＥ

2

雑誌

019

巻号 ＧＤ

20(70)

著者名 ＨＡ
図書

書名 ＨＣ
出版者 ＨＢ発行年 ＨＤ

総ﾍﾟｰｼﾞ ＨＥ

発行年 ＨＤ

総ﾍﾟｰｼﾞ ＨＥ

著者名 ＨＡ
図書

書名 ＨＣ
出版者 ＨＢ

欧文概要 ＥＺ
Sparse Modeling (SpM) is a modelling technique by representing target data with a small number ofvariables and degrees of freedom. This technique enables the processing of vast amounts ofhigh-dimensional data using the sparsity of the representation, but some techniques in SpM tend to sufferfrom computational complexity. In this study, We overcome the computational difficulties by using
statistical mechanical methods. By this, we aim at strengthening the theoretical and technical basisof SpM.
We have suggested the following three goals in the beginning of this project:
1.
Invention of an algorithm for efficient variable selection
by using Monte Carlo method in statistical mechanics.
2.
Invention of a framework computing the importance of eachvariable in the model by using the Bayesian statistics and statistical mechanics. Applicationof it to actual variable selection algorithm.
3.
Cross-validation is an important method for selecting a modelin a model family. However, it tends to suffer from the computational complexity problem. We
invent methods to overcome this computational difficulty by using some perturbative techniques.
In the actual research, we have achieved the results corresponding to all these three. The above
publications are corresponding to all these three points. Additional two publications were obtainedin this project but they are not shown above due to the restriction of the space. All of the publishedpapers have been published in well-known journals in the field of statistical mechanics/machinelearning. The algorithms we developed are available on Github and other sites for wider use.

- 2 -