情報系 Winter Festa Episode 2@一橋講堂

２０１６年１２月２３日

理化学研究所
革新知能統合研究センターの紹介
センター長
杉山 将

文科省AIPプロジェクト：

2(Advanced Integrated Intelligence Platform Project)

人工知能/ビッグデータ/IoT/
サイバーセキュリティ統合プロジェクト
理化学研究所は，２０１６年４月１４日付で革新知能統合研究（AIP）センターを設置
AIPセンター
AIPセンター（理化学研究所）（理化学研究所）
事業
1.
2.
3.
4.
5.

戦略的創造研究推進事業（一部）1,450百万円

次世代基盤技術開発
一体的サイエンスを発達に実施
社会実装に貢献
倫理・社会的課題への対応
人材育成（科学技術振興機構）
ファンディング
新規採択課題分
1,150百万円
関連する既存採択課題分
2,849百万円

AIPセンターの研究体制図（2016年12月1日現在）

特別顧問
金出 武雄
コーディネータ(丸山 宏)

センター長
杉山 将
副センター長上田 修功

特任顧問
合原 一幸川人 光男(喜連川 優)汎用基盤技術研究グループ

目的指向基盤技術研究グループ

杉山 将
武田 朗子
河原 吉伸
清水 昌平
下平 英寿
Emtiyaz Khan
金森 敬文
鈴木 大慈
畑埜 晃平
竹之内 高志坂内 健一
佐々木 博昭
本多 淳也
前原 貴憲

上田 修功
竹内 一郎
鹿島 久嗣
佐久間 淳
乾 健太郎
松本 裕治
鈴木 晶子
津田 宏治
原田 達也
中川 裕志
岡谷 貴之
川鍋 一晃
山下宙人

不完全情報学習
連続最適化
構造的学習
因果推論
数理統計学
近似ベイズ推論
非凸学習理論
深層学習理論
計算論的学習理論
幾何学的学習
数理科学
トポグラフィック特徴学習
オンライン意志決定
離散最適化ユニット

防災科学
データ駆動型生物医科学
ヒューマンコンピュテーション
人工知能セキュリティ･プライバシー
自然言語理解知識獲得
人工知能倫理分子情報科学
医用機械知能プライバシーと社会制度
インフラ管理ロボット技術
脳情報統合解析
計算脳ダイナミクス

3

4

AIPセンターの研究戦略１：
国籍を問わず優秀なメンバーを集める外国人を積極的に登用：
 優秀な研究者を国際的に競争力のある待遇で雇用
 助っ人外国人でなく，真に国際的な研究拠点にする

国内外から訪問者を受け入れやすい環境を準備： オフィスは東京駅近く
 自由にディスカッションできる部屋

東京駅徒歩６分，日本橋駅直結の日本橋一丁目ビルディング15階に入居（２０１７年１月オープン予定）5

AIPセンターの研究戦略２：
１０年後を見据えた基礎研究を推進
研究費は米国より２桁程度少ない：

 メジャーな応用研究は予算規模の勝負になりつつある

基礎研究は未だ個人勝負：
 AlphaGoはDeepMindの少数の研究者の成果
 現在大流行している深層学習も，10年前は冷ややかに 数は多くないが日本にも優秀な理論研究者がいる

 深層学習の原理を理論的に解明し，更なる性能・効率の向上
 深層学習で太刀打ちできない難題解決を目指した
次世代AI基盤技術の開発
 研究費が少なくても逆転のチャンスはある！

AIPセンターの研究戦略３：
応用研究はテーマを厳選

6

日本が元々強い分野をAIで更に強化：
 iPS細胞：京都大学iPS細胞研究所（山中伸弥所長［2012年ノーベル 生理学・医学賞受賞］）
 モノづくり：名古屋大学未来材料・システム研究所（天野浩センター長［2014年ノーベル物理学賞受賞］）

国内で行う必要のある社会的課題：
 （高齢者）ヘルスケア：日本人のデータを解析すべき 防災・減災：日本（地域）に特化したシステムが必要
 橋梁・トンネル等の検査：高度成長期からの課題
 観光：地方再生の鍵

AIPセンターの研究戦略４：
人材育成を重視現状：日本のAI研究者は層が薄い高度な研究開発人材を育成：
 大学の非常勤研究者経由で学生を集める：
 東大，京大，阪大，東北大，九大，名大，東工大，筑波大，名工大，奈良先端大，滋賀大，静岡大，はこだて未来大，慶大，．．．
 連携企業の研究者・エンジニアを集める：
 現在，様々な企業と具体的な連携プランを議論中

データサイエンティストを育成： 大学や研究所と協力して教育プログラムを実施

7

研究課題例：次世代基盤技術開発
深層学習の原理解明：
 更なる予測性能と計算効率の向上

深層学習でできないことを実現：
 疎・不完全・超高次元データからの学習 ストリーミングデータに対するリアルタイム学習
 異常値・雑音を含むデータに対するロバスト学習
 マルチモーダルデータに対する学習 限られた情報からの学習

8

研究課題例：サイエンスの発達
iPS細胞の品質評価の自動化：
 iPS細胞の分化能の評価
 移植した細胞の腫瘍化リスクの評価
 ゲノム上の点変異，挿入・欠失，コピー数変異，構造変異を検出

生産製造技術の最適化：
 効率的データ取得法
 解析結果のフィードバックに基づいた製造装置の改良

分子・物質設計の効率化
 最適な分子構造を効率的に探索

9研究課題例：社会実装に貢献超高齢社会へ向けた医療サポート
 循環器医療画像からの診断支援
 電子医療記録からの予後予測
 会話を通じた高齢者の認知機能の維持向上

老朽化が進むインフラへの対応
 自動操縦ドローンを駆使し，動画から橋梁などの危険個所を自律的に特定

甚大な自然災害への対応
 甚大災害をもたらす異常気象を予測し，被害を最小限に抑え迅速に復旧できる社会システムを構築

10

11

研究課題例：社会的課題への対応
人工知能技術が社会に浸透する際の倫理的・法的・社会的影響を議論
 技術的特異点（シンギュラリティ）の影響分析

人工知能の倫理を数理的に解決：
 プライバシ：暗号化データ上で動作する人工知能
 セキュリティ：人工知能への敵対的攻撃に対する耐性
 倫理：予測・意思決定における公平性の保証研究課題例：人材育成
大学や研究所と協力して，データサイエンティストやサイバーセキュリティ人材等の教育を実施クラウドソーシングを用いた遠隔データ解析人材育成システムの構築

12理研AIPセンターの取組のまとめ

13

短～中期の取組：現在のAI先端技術を活用して
 日本が元々強い分野を更に強化（iPS，モノづくり等）
 国内で行う必要のある社会課題を解決（ヘルスケア，防災・減災，インフラ検査，観光等）
 国内大学・企業の人材育成（先端研究OJT，教育） 深層学習の原理を解明し，更なる性能・効率の向上

中～長期の取組：次世代のAI基盤技術を開発して
 深層学習で太刀打ちできない難題を解決（限定情報学習，オンライン学習，ロバスト学習，因果推論等）
 新産業の創生（産業界と連携して，高度な数学に基づく次世代AI基盤技術をいち早く実用化）

Inference	   on	  Complex	  Bayesian	  Models	   using	  Simple	  Computations.
Mohammad	  Emtiyaz	   Khan	  and	  Wu	  Lin	  (AIP,	  RIKEN)q New	  method	  for	  inference	   probabilistic	  graphical	  models	  that	  contain	  difficult terms	  by	  using	  Stochastic	  Message-­‐Passing.
§ Non-­‐conjugate	  terms	  (e.g.	  in	  logistic	  regression,	  we	  have	  Gaussian	  distribution	  with	  logistic likelihood).
q Main	  Idea:	  conjugate	  approximations	  for	  non-­‐conjugate	  terms	  by	  using	  “proximal-­‐gradient”	  method.
§ E.g.	  approximate	  logistic	  likelihood	  by	  Gaussian,	  which	  converts	  logistic	  regression	   to	  linear	  regression.
q Benefit:	  Modular,	  scalable,	  generalizable,	  and	  convergent	  updates.

数理最適化から機械学習へのアプローチ	
武田 朗子 (統計数理研究所 / 理研AIPセンター)	
l 難しいクラスの数理最適化問題に対し，効率の良い解法の開発
ü 非凸最適化 (非凸二次最適化，スパース最適化)ü 不確実性下での最適化法 (ロバスト最適化)l これらの最適化手法を機械学習へ適用：
３つの成果を紹介

二値判別問題	  健康	 病気	成果１	

ロバスト最適化のアイディアに基づく，	  統一的な二値判別モデル	SVM, ロジスティック回帰，
FDA等，様々な判別法	
1／43	

既存モデルとの関係 	
統一的な二値判別モデル：	
交わりあり	

接する	交わりなし	

なし

Fisher Discriminant
Analysis (FDA)

Sparse Feature
Selection

楕円１ : 	

楕円２ : 	なし

Fukunaga (’90)	

Bhattacharyya (’04)	

Minimax Probability
Machine (MPM)

Minimum MarginMPM
Nath &Lanckriet et al. (’02)	

Bhattacharyya (’07)	

縮退凸包： 	

ν-SVM

Scholkopf et al. (’00)

Eν-SVM
凸包： 	

Perez-Cruz et al. (‘03) 	

------	

Hard Margin SVM
Boser et al. (‘92)	

凸計画	
2／43	

既存モデルとの関係 	
統一的な二値判別モデル：	

楕円１ : 	

交わりあり	

接する	交わりなし	

モデル提案

Fisher Discriminant
Analysis (FDA)

Sparse Feature
Selection(非凸２次最適化)

Fukunaga (’90)	

Bhattacharyya (’04)	

Minimax Probability
Machine (MPM)

Minimum MarginMPM
Nath &Lanckriet et al. (’02)	

Bhattacharyya (’07)	

成果２	

楕円２ : 	

モデル提案
(非凸２次最適化)

縮退凸包： 	

ν-SVM

Scholkopf et al. (’00)

Eν-SVM
凸包： 	

Perez-Cruz et al. (‘03) 	

------	

Hard Margin SVM
Boser et al. (‘92)	

CDT問題の解法提案	

成果３	

統一的な解法の提案	  3／43	

凸計画	

カーネル法に基づく特徴選択
Makoto Yamada (Kyoto Univ, JST PRESTO)
with Y. Umezu, K. Fukumizu, I. Takeuchi• Feature selecEon/variable selecEon
d– Input, Output vectors: x 2 R , y 2 Ri.i.d.
n– Pair data: {(xi , yi )}i=1 ⇠ p(x, y)• Goal: Select k (k < d) features of input x thatare responsible for output y .
• ApplicaEon:𝐺 , …Biomarker
detecEon
𝑌,𝐺Features01
変数選択 𝑆
1ng (Fan & Lv JASA2008)

𝑝Samples1

𝑆𝑛𝑋𝑖 >
X𝑎10…に依存するか行う

1

１

10
1
00
11

2

Post SelecEon inference with Kernels• Feature selecEon is not good enough forscienEsts!
• We may want to test whether the selectedfeatures are staEsEcally signiﬁcant (p-values!!).
• Idea: First selecEng features from data, andthen tesEng the selected features.
• HSIC based post selecEon inference (hsicInf)– Can be used for any types of data J– Can handle nonlinearity through kernels J

組合せ論的メトリカルタスクシステム
問題
九州大学 / 理研AIP 計算論的学習理論チーム
畑埜 晃平
共同研究者：
中薗 拓己・森富 賢一郎・瀧本 英二（九州大学）

1

メトリカルタスクシステム（MTS）問題

 オンライン意思決定問題の１つアルゴリズムFor 𝑡𝑡 = 1, … , 𝑇𝑇:

意思決定 𝒄𝒄𝑡𝑡 ∈ 𝐶𝐶

 各試行 𝑡𝑡 毎のコスト：
フィードバック
意思決定𝒄𝒄𝑡𝑡 に対する損失
𝑓𝑓𝑡𝑡 ∈ 𝐹𝐹＋意思決定の変更に対するペナルティ（意思決定間の「距離」に基づく）
 具体例
株式投資（手数料）ページング ゴール：競合比＝アルゴリズムの累積コスト/全能神様の累積コスト の最小化

環境2

本研究:組合せ論的MTS問題[Nakazono-Moridomi-H-Takimoto ALT16]

組合せ論的MTS問題
 意志決定の集合 𝐶𝐶 ⊆ 0,1 𝑑𝑑 （dに対して指数的に大） 例：ルーティング，全域木, 完全マッチングなど
既存研究
 様々な距離指標に対してほぼ最適な競合比
 最悪時指数時間
本研究
 一様距離に対してほぼ最適オーダの競合比
 多くの意思決定の集合に対して多項式時間
 キーアイデア：学習理論におけるオンライン予測の知見を3競合比解析に導入

Stochastic Primal Dual Coordinate Method
における適応的サンプリング柴垣 篤志, 竹内 一郎 (名古屋工業大学)

目的: 確率的最適化手法である SPDC, Doubly SPDC の高速化

SPDC: 双対変数の一部をランダムに選び更新 →主変数すべてを更新
DSPDC: 双対変数の一部をランダムに選び更新 →主変数の一部をランダムに選び更新

手法:
更新する変数のサンプリングを一様分布からではなく,任意の分布を考えて収束の解析を行う→ サンプリングの分布を適応的に変更することを考える
1/2

数値実験の結果
理想的には最適解と現在の解の差が大きい変数を更新したいが,不可能なので最適性条件の違反度に依存した分布を採用
Duality Gap (λ =1e-4λmax )10 − 11111111
100−− 0 − 0 − 0 − 0 − 0 − 0 − 0 − 10109876543210

Elastic net + Smoothed hinge loss
w8a
SDCA-uniform
SDCA-uniform Safe scr.
Iprox-SDCA
Affine-SDCA
Quartz-uniform
Quartz-IP
SPDC-uniform
SPDC-WS
Proposed (Ada-SPDC)

020406080100#(updated dual coordinates)/n120

2/2

劣モジュラ関数を用いた構造正則化学習とその応用
河原 吉伸 （阪大／理研）

1

パラメータに対する構造的な制限を加える正則化項の多くは，劣モジュラ関数の連続緩和として表現できる：

minw2RdnX
1

構造正則化項l(yi , f (xi ; w)) +· ⌦(w)

n i=1Sparsity patterns induced for L(w ) + ⌦(w )P
Lasso: ⌦(w学習モデル) = i |wi |損失関数

こういった変数間の組合せ的な構造が，PGroup Lasso (Yuan and Lin, 2006): ⌦(w ) = g 2G kwg k
正則化項として組み込まれる

連続緩和 で表される⇒ 劣モジュラ関数の P

Group Lasso when groups overlap: ⌦(w ) =グラフ構造

グループ構造階層構造g 2G kwg kその他，有向グ
ラフ上のパスや，２次元グリッド上でのブロック構造など．

劣モジュラ関数を用いた構造正則化学習とその応用
河原 吉伸 （阪大／理研）

2

結合正則化のフロー計算への帰着, アルツハイマー病診断などへの応用 (Bo et al., AAAI’14, ACM TIST (2015))（結合正則化項）X⌦(w) =(i,j)2E

aij |wiwj |ADNIデータへの適用例

代表的サンプル選択への適用(Wang et al., Pattern Recognition (2017))
1minkX
V2Rn⇥n 2

分類精度（30MCI）

89.8 %

supグループ的疎性 => t2P+ (F )X 1/rti |wi |2i,j=1i2V

5✓ij |vijv |+多様性

3nX

ij=1

⇢ij |vi

非減少な劣モジュラ関数

KX

k=10@

局所的鋭敏性Xi2gkck,i kziz̄k,i k1 + ✓k (zsk )1zt k ) A

時空間温度分布の推定への適用例

MNP
10
代表的な既存
PARA
アルゴリズム計 10
算時
間 1024Time (log) [s]Log

Time (log) [s]

20

100

10−210PARASLEPADMM−2−4

10102

フロー計算へ帰着した
101010Dimensionality d (log)
アルゴリズム10345610210103410105

Dimensionality d (log)スケール）
次元（Logvj |8 11 16 17 18 20 21 29 31 37 42 43 46 49 50 51(Takeuchi et al., ECML-PKDD’15, TensorLeran’16)⌦(w) =グループ正則化の計算時間例

TTkv k +nX

高階結合正則化への拡張

結合的な疎性 => 対称劣モジュラ関数のLovasz拡張

4i

動画像の代表的シーンの選択への適用例(Kawahara & Yamaguchi, Arxiv (2015))

結合正則化の計算時間例

1i=1

1

高速に解ける条件の導出（パラメトリックフローへの帰着）

10

XVk +nX

5 16 20 29 37 42 46 50

カット関数のLovasz拡張である性質を利用して，proxの計算を高速に計算可能なネットワークフローの計算へ帰着⌦(w)

2

New YorkとFloridaの時間変化

September, 2014

クロスドメインマッチング相関分析とその応⽤
⼤阪⼤学 下平研究室, 理研AIP 数理統計学チーム

Cross-Domain Matching Correlation Analysis (CDMCA) (Shimodaira 2016)
・ 複数のドメインにおけるデータを次元削減により統合する多変量解析⼿法
・ 関連するデータベクトル対がより近くなるように，共通の低次元空間へ埋め込む

Flickr GroupImagepizza

Travelfunny
cat
cute

Food food food!
Animal Planet

minimize
A1 ...ADTagnd X
neD X
D XX12d=1 e=1 i=1 j=1dewij||(Ad )> xdi(Ae )> xej ||2画像と単語の同時埋め込み

多⾔語単語埋め込み- day + night =- brown + white =リンクの重みによるロバスト化

≒∽∰
≂≂
≂≂≂
≂≂
≂≂ 0.8≂≀ 0.2

“dog”

“car”
“animal”

0.7 0.9 0.7“dog” “car” “animal”∱≃≃(Symmetric) ≃≃≃≃≃≃≃誤った関連度の修正≃≁
1.0 -> 0.2

深層学習の組み込み