エジソンの会@国際高等研究所，けいはんな2016年7月22日

人工知能研究の現状とこれから取り組むべきこと理化学研究所 革新知能統合研究センター
東京大学 大学院新領域創成科学研究科
杉山 将

2

これまでの研究：
機械学習の理論とアルゴリズム開発
教師付き学習：人間が教師となり， 強化学習：エージェントが試行
錯誤を通じて学習する
コンピュータを学習させる
 ロボット制御，アートなど 回帰，分類など

脳波によるコンピュータの操作（独フラウンホーファーとの共同研究）

Sugiyama & Kawanabe,
Machine Learning
in Non-Stationary
Environments,
MIT Press, 2012

ヒューマノイドの運動制御（NICT・ATRとの共同研究）

教師なし学習：コンピュータが人間の手を介さずに学習する
 異常検知，クラスタリング，
密度比推定など

Sugiyama, Statistical
Reinforcement Learning,
Chapman and Hall/CRC, 2015

Sugiyama, Suzuki & Kanamori,Density Ratio Estimationin Machine Learning,
Cambridge University Press, 2012

これまでの研究：
機械学習技術の実世界応用
非定常環境
適応学習

マルチタスク
学習

3

密度比推定

能動学習

発表の流れ1. 研究業界の動向
2. 政府の政策
3. 理研・革新知能統合研究センターの概要
4. これから行うべき基盤研究（私見）4人工知能ブームコンピュータ囲碁，自動運転車，会話ロボットなど，私達の身の回りの様々な場面で「人工知能」が利用されるようになってきた．

5

人工知能と機械学習

6

「人工知能」という用語は，ICT技術， IoT技術，
ロボティクスなどと組み合わさり，非常に広い意味で用いられる傾向がある．
 本講演では，「人工知能」という用語の厳密な定義は議論しないことにし，「ヒトのように賢い機械」程度の緩やかな意味で用いる

「人工知能」の背後では，コンピュータにヒトのような学習能力を持たせる機械学習の技術が用いられている．

アメリカ⼈⼯知能学会

最近の10年間においては、機械学習のトレンドが顕著となっている。
科学技術・学術政策研究所 小柴研究員 作成

7

「人工知能」に関係する国際会議

8

Discretestatistical8※産総研・神嶌先⽣資料より抜粋（⼀部改変）

9

各国の研究動向
基礎理論（離散構造・組合せ論）

日本

米国

欧州

中国

機械学習・
深層学習

知能ロボティクス

言語情報
処理応用

ビッグデータ
解析技術

基礎研究

◎

○

◎

◎

△

応用研究・開発

○

○

◎

○

○

産業界

△

○

○

◎

○

基礎研究

◎

◎

◎

○

◎

応用研究・開発

◎

◎

◎

○

◎

産業界

◎

○

◎

◎

◎

基礎研究

◎

○

◎

○

○

応用研究・開発

○

△

○

○

○

産業界

○

△

○

○

○

基礎研究

△

◎

△

◎

○

応用研究・開発

△

○

○

○

○

産業界

×

○

○

○

○

＜ＪＳＴ 研究開発戦略センター（CRDS） 研究開発の俯瞰報告書 情報科学技術分野（2015年）より抜粋＞

2016: 3000+

Geoff Hinton, Yann LeCun, Yoshua BengioなどもNIPSが主戦場※産総研・神嶌先⽣資料より抜粋（⼀部改変）

10

NIPS2015（2015年12月）でのアジア勢の動向11

著者のメールアドレスに.jpが含まれる採択件数は
４０３件中８件（約２％）： .cnは１３件，.krは０件．ただし，中国・韓国は欧米の大学・企業に所属している学生・研究者が多数いる

体感的には，NIPSでの日本人の存在感は皆無：
 韓国は日本よりやや存在感があり，

中国はかなり溶け込んでいるという印象

世間は人工知能ブームで大騒ぎだが，日本の機械学習研究は厳しい状況 音声，画像，自然言語，ウェブ，データベースなどの関連分野でも楽観できる状況ではない

ICML2016（2016年6月）

ドイツ カナダ
スイス 日本（１０件≒３％）
イスラエル
イギリス
フランス

企業
.com

12

アメリカ

.eduと.comが支配的
それ以外はわずか

322 accepted papers(out of 1322 submissions)

NIPS2015の採択論文のカテゴリ

13
Deep
Learning (11%)

Convex
Optimization(5%)

403 accepted papers(out of 1838 submissions)

Statistical
Learning
Theory(3%)
深層学習は多いが，支配的ではない機械学習分野の研究動向

14

…

学習法
モデルとデータ量だけでなく，学習法に関する研究が重要

強化学習
異常検知
クラスタリング
分類

データ量

回帰

社会一般
でのトレンド

ビッグ
スモール
線形

加法

カーネル

深層

…

モデル

発表の流れ1. 研究業界の動向
2. 政府の政策
3. 理研・革新知能統合研究センターの概要
4. これから行うべき基盤研究（私見）15人工知能研究の予算規模

16欧米：巨大民間企業等が数百億～数兆円規模の莫大な予算を投じて研究開発を開始
 Google, Microsoft, Facebook, Amazon,

Toyota, OpenAI,…

国内：政府が中心となって，数十億～数百億円
規模の予算を幅広い分野に配分

⽂部科学省
AIP: Advanced Integrated Intelligence Platform Project
⼈⼯知能/ビッグデータ/IoT/サイバーセキュリティ統合プロジェクト
平成２８年度予算額 ： 5,448百万円（新規）（関連する既存事業（2,849百万円）を含む）※運営費交付⾦中の推計額含む

戦略的創造研究推進事業（⼀部）

AIPセンター（理化学研究所）
事業①次世代基盤技術開発②サイエンスを発達③社会実装に貢献④倫理・社会的課題の対応⑤⼈材育成（科学技術振興機構）
ファンディング

1,450百万円
⼀体的に実施

新規採択課題分 1,150百万円
関連する既存採択課題分 2,849百万円○従来の研究に加え、新たなセンサー開発等による多様かつ⼤量データを活⽤し、新たな価値の創造とAI開発をスパイラルに推進。
○同時に、これらの活⽤を通じて、⼈材を育成。

17

18

第5回「未来投資に向けた官⺠対話」における総理発⾔参考２

 平成２８年４⽉１２⽇に開催された第5回「未来投資に向けた官⺠対話」で、安倍総理から次の発⾔あり。
 人工知能の研究開発目標と産業化のロードマップを、本年度中に策定します。
そのため、産学官の叡智を集め、縦割りを排した『人工知能技術戦略会議』を創設します。

19

20

参考３

総理指⽰を受けた⼈⼯知能研究の体制

参考４

 総理指⽰を受け、「⼈⼯知能技術戦略会議」を設置。今年度から、本会議が司令塔となり、その下で総務省・⽂部科学省・経済産業省の⼈⼯知能（AI）技術の研究開発の３省連携を図る。
 本会議の下に「研究連携会議」と「産業連携会議」を設置し、AI技術の研究開発と成果の社会実装を加速化する。
⼈⼯知能技術戦略会議○AI研究開発・イノベ-ション施策の３省連携の司令塔（議⻑、顧問（CSTI）、５法⼈の責任者、学術界、３省の局⻑、産業界）（３省で共同事務局）

研究連携会議（センター⻑会議）○研究の総合調整（具体的な研究連携テーマを了解）

情報通信研究機構（総務省）

CiNetセンター⻑：柳⽥ 敏雄

理化学研究所⾰新知能統合研究センター（⽂部科学省）センター⻑（内定者）：杉⼭ 将

産業連携会議協⼒

産業技術総合研究所
⼈⼯知能研究センター（経済産業省）○研究開発と産業の連携総合調整（⼈材育成、標準化・ロード
マップ作成、技術・知財動向分析、規制改⾰分析等）

タスクフォース○例えば、ロードマップの策定など、課題ごとにタスクフォースを設置して具体的に推進センター⻑：辻井 潤⼀

成果の展開

出⼝分野の省庁／企業等

21

『⼈⼯知能技術戦略会議』の概要と議⻑及び構成員

22

参考５

 ⼈⼯知能研究者でもある安⻄議⻑（(独)⽇本学術振興会理事⻑）と、総合科学
技術・イノベーション会議の久間議員の下、産学のトップを構成員とするAI技術戦略の
司令塔。
◎ 議⻑
安⻄ 祐⼀郎（独⽴⾏政法⼈⽇本学術振興会 理事⻑）○ 顧問
久間 和⽣（内閣府総合科学技術・イノベーション会議常勤議員）○ 構成員
内⼭⽥ ⽵志⼩野寺 正
五神 真
⻄尾 章治郎
坂内 正夫
松本 紘
中鉢 良治
濵⼝ 道成
古川 ⼀夫

(⽇本経済団体連合会未来産業・技術委員会共同委員⻑)(⽇本経済団体連合会未来産業・技術委員会共同委員⻑)(国⽴⼤学法⼈東京⼤学総⻑)(国⽴⼤学法⼈⼤阪⼤学総⻑)(国⽴研究開発法⼈情報通信研究機構理事⻑)(国⽴研究開発法⼈理化学研究所理事⻑)(国⽴研究開発法⼈産業技術総合研究所理事⻑)(国⽴研究開発法⼈科学技術振興機構理事⻑)(国⽴研究開発法⼈新エネルギー・産業技術総合開発機構理事⻑)※上記のほか、総務省、⽂部科学省、経済産業省より局⻑級が参加

産業連携会議の議論

参考６

 産業連携会議が発⾜次第、同会議に対して、産業連携上の課題（例えば、ロードマ
ップ策定、⼈材育成等）を整理し、その課題解決のための具体的推進⽅策（タスクフ
ォースの設置等）を検討（次回６⽉に進捗状況を踏まえて議論） その際に、CSTIや、産業構造審議会、情報通信審議会等における議論、IoT推進コンソーシアムの議論等も踏まえ、課題を整理○ 産業連携会議の具体的活動イメージ（案）
産業連携会議議⻑、ＡＩユーザ代表、ＡＩベンダ代表、ＶＣ代表等

事務局 （ＮＥＤＯ，ＮＩＣＴ，ＪＳＴ等事務貢献⽴候補機関による合同事務局）＜タスク例＞＜検討体制イメージ＞

ロードマップＴＦ

現在、 2020 、 30 年 まで の AI
技術の潮流と出⼝の可視化

⼈⼯知能研究者（⼤学）
⼈⼯知能研究者（公的機関）
産 業界ＡＩ責任者
産 業界ＡＩ活⽤者
等

⼈材育成ＴＦAI 時代の即戦⼒育成（ データサイエンティストエンジニア等 ）＜実⾏・協⼒メンバーイメージ＞

⼈材育成関係者（⼤学：研究者）
独法等のＩＴ⼈材育成部署
⼤学、国研、企業等の⾼専等⾼等教育関係者
ＡＩ有識者・関係者
等
⺠間 学習 サービス提供者
等

から 構成

データＴＦ
オープンツールＴＦ

AI 研究のためのデータ共有
枠組み（政府保有データの
データセット化、収集・提供等）
AI 汎⽤オープンツールの整備

⼤学、国研（ NICT 、 理研、
AIST ）、 JST 、 NEDO 、産業 団体等で分担実施

知財関係者（⼤学：研究者）
地図情報関係者（⼤学：研究者）
オープンデータ関係者（⼤学：研究者）

地図 情報 ユーザ研究オープンデータユーザ

等

アーキテクチャ研究者（公的機関）
ＡＩ・ビッグデータインフラ関係者（⼤学：研究者）
独法 等

23

発表の流れ1. 研究業界の動向
2. 政府の政策
3. 理研・革新知能統合研究センターの概要
4. これから行うべき基盤研究（私見）

24

25

理研・革新知能統合研究センター
場所は東京駅徒歩１０分で入札開始
 高等研に関西支部を設置

2016年度秋～冬頃から運用開始予定
文科省の方針に従い，次の５つの研究を推進
1.
2.
3.
4.
5.

次世代基盤技術開発
サイエンスを発達
社会実装に貢献
倫理・社会的課題の対応
人材育成

センターの体制
金出 武雄 特別顧問
杉山 将 センター長

ｘｘｘｘ コーディネータ

合原 一幸 特任顧問
川人 光男 特任顧問
ｘｘｘｘ 特任顧問
上田 修功 副センター長

基盤技術構築グループ（仮称）
汎用基盤技術グループ（仮称）

目的志向基盤技術グループ（仮称）連携研究グループ（仮称）非常勤研究者を中心に十数名程度からスタート

非常勤研究者を中心に十数名程度からスタート26

１．次世代基盤技術開発

27

深層学習の原理を解明し，更なる予測性能・計算効率の向上
疎・不完全・超高次元データからの高精度学習ストリーミングデータに対するリアルタイム学習
汎用的な学習技術
異常値・雑音を含むデータに対する超ロバスト学習
マルチモーダルデータに対する最適学習

２．サイエンスを発達

28

論文・特許・実験結果をもとに科学研究の発展を支援（自然言語処理，クラウドソーシング）これまで埋もれていた発見を見逃さない技術を開発（統計的検定）
次に実験すべき項目を過去のデータに基づいて決定（実験計画，ベイズ最適化）
大学や研究所と連携して，マテリアル，機能分子設計など日本が強みを持つ分野での応用を模索
小論文の採点支援

３．社会実装に貢献29

超高齢社会へ向けた医療サポート
 高度な手術支援（動画認識，センサ情報解析，

アクチュエータ制御）
 電子医療記録の自動解析・予後予測（機械学習，
自然言語処理） 会話を通じた高齢者の認知機能の維持向上（機械学習， 対話解析）

老朽化が進むインフラへの対応
 自動操縦ドローンを駆使し，動画や打診音から

橋梁などの危険個所を自律的に特定

３．社会実装に貢献（続き）

30

甚大な自然災害への対応
 ビッグデータ解析技術とシミュレーション技術を統合し，甚大災害をもたらす異常気象を適確に予測し，被害を最小限に抑え迅速に復旧できる
社会システムを構築

これらの社会実装に取り組んでいる企業や，他の国プロジェクトとの連携を模索

４．倫理・社会的課題の対応

31

プライバシー，説明責任，公平性，差別配慮などを考慮した人工知能技術の開発
人工知能技術が社会に浸透する際のELSI問題や社会的影響を，人文科学・社会科学の視点で検討５．人材育成

大学や研究所と協力して，データサイエンテ
ィスト等の教育を実施クラウドソーシングを用いた遠隔データ解析
人材育成システムの構築

32

発表の流れ1. 研究業界の動向
2. 政府の政策
3. 理研・革新知能統合研究センターの概要
4. これから行うべき基盤研究（私見）
限られた情報からの学習技術
B) 汎用的な学習技術A)

33

ビッグデータ ＋ 深層学習
＝ 究極の人工知能？

34

データがたくさんあれば，古典的な
最近傍分類でもそこそこうまくいく
データ
深層学習（CNN） 最近傍分類
0.01%
印刷数字60万文字
0%
0.11%
0.97%
手書き数字80万文字[PRMU2016/2内田ほか］

最近傍分類：
一番近くのデータと同じクラスに分類

35

次元呪い

センサーの数を増やすとデータの次元数が増加
 学習に必要なデータ数

は，データの次元数 に対して指数関数的に増加

いくらビッグデータを集めても，データはまばら
データの次元数

高次元化

学習に必要なデータ数

天文学的な数究極の人工知能は汎化能力！

36

汎化能力：教わっていないことを，過去の事例から類推する能力
まばらなデータの間を補完・予測[パターン認識と機械学習Bishop2006］

汎化の原理37

6面体のさいころを何回も振れば，その平均値は大体3.5
真の期待値（答え）がわからなくても，たくさんのデータの平均を取れば大体答えがわかる
中心極限定理：同じさいころを 回振ると，その平均値は本当の期待値にの速さで近づくビッグデータを用いれば答えが簡単に予測できそう？

38

ビッグデータの現実
同じさいころを多数回振れない 例：同じ病状の患者はそれほどたくさんいないそもそも答えのないデータばかり 例：ドローンで橋梁の画像をたくさん撮っても，危険個所は人間が特定しないといけない限られた情報からの学習が重要！
高

教師付き学習半教師付き学習限られた情報から
精度良く学習！

教師無し学習
低

精度

高

コ
ス
ト
低

２クラスの教師付き分類
ラベル付きデータ：d 入力 x はd 次元の実ベクトル x ∈ R
 出力 y は２値のクラスラベル

クラス +1
クラス-1
分離境界

大量のラベル付きデータを用いれば，精度良く分類境界が学習できる39

教師なし分類40

ラベル付きデータの収集にはコストがかかるため，容易に入手できるラベルなしデータを用いる

教師なし分類はただのクラスタリングに過ぎない
データがクラス毎にクラスタに分かれていないと，
正しく分類できない

半教師付き分類41

少量のラベル付きデータと大量のラベルなしデータを利用する
ラベルなしデータがなすクラスタ構造に従って分類
クラス－１

クラス＋１

ラベルなし

同じクラスタに属するデータが同じラベルを持つ
とき，うまく分類できる
そのような仮定が常に成り立つとは限らない

新手法１：教師なし分類（２）42クラスタ構造がない場合でも，クラス比の異なる
ラベルなしデータが２セットあれば，教師付き学習と同じ収束率を達成可能
クラス比
=3:7

3
2

クラス比
=7:3

4

2

1
0

0

−1
−2
−2
−3
−4

−2

0

2

4

4

−4
−4

0

2

4

0

2

4

4
class 1class 2class 1class 2

2

2

0

0

−2

−2

−4
−4

−2

−2

0

2

4

−4
−4

−2

新手法２：正例とラベルなし
データからの分類

43

負例が全くなくても，正例とラベルなしデータだけから，教師付き学習と同じ収束率を達成可能
クラス +1
ラベルなし（クラス +1とクラス -1の混合）

新手法３：半教師付き分類（２）
クラス＋１
クラス－１

ラベルなし

「正例とラベルなしデータからの分類」と「正例と負例からの分類」を組み合わせるラベルなしデータが必ず役に立つことを理論的に保証44まとめ：限られた情報からの学習
同じ分布からラベル付きデータを大量に集めることは，必ずしも容易ではない限られた情報からの学習が重要 ２セットのラベルなしデータからの学習
 正例とラベルなしデータからの学習
 性能保証付き半教師付き学習高

教師付き学習半教師付き学習限られた情報から
精度良く学習！

教師無し学習
低

精度

高

コ
ス
ト
低

45

発表の流れ1. 研究業界の動向
2. 政府の政策
3. 理研・革新知能統合研究センターの概要
4. これから行うべき基盤研究（私見）
限られた情報からの学習技術
B) 汎用的な学習技術
A)

i. 枠組みii. 方法論
iii. 応用例

46機械学習のタスク
機械学習には様々なタスクがある：
 非定常環境下での適応学習，ドメイン適応，

マルチタスク学習 二標本検定，異常値検出，変化点検知，
クラスバランス推定 相互情報量推定，独立性検定，特徴選択，
十分次元削減，独立成分分析，因果推論，
クラスタリング，オブジェクト適合 条件付き確率推定，確率的パターン認識

47

48

最も汎用的なアプローチ

データを生成する規則（確率分布）を推定すれば，あらゆる機械学習タスクが解決できる！
データの生成規則を知る
 例：各クラスのデータの

データの
全てを知る
クラス+1

クラス-1

生成分布がわかれば，
パターン認識ができる生成的アプローチとよばれる

決定境界

各タスクに特化したアプローチ49

しかし，確率分布の推定は困難であるため，生成モデル推定に基づくアプローチによって，必ずしも高い学習精度が得られるとは限らない
確率分布の推定を行わず，各タスクを直接解く
 例：サポートベクトルマシンでは，各クラスのデータ生成分布を推定せず，パターン認識に必要な決定境界のみを学習 パターン認識に対しては，識別的アプローチとよばれる

クラス+1

クラス-1

決定境界

各タスクに特化したアプローチ50

各タスクに特化したアルゴリズムを開発した方が原理的には生成的アプローチよりも性能が良い
しかし，様々なタスクに対して個別に研究開発を行うのは大変： アルゴリズム考案
 理論的性能評価
 高速かつメモリ効率の良い実装 エンジニアの技術習得

実用的な狙い所

51

中間的なアプローチ：あるクラスのタスク群に対して，研究開発を行う
 確率密度比，確率密度差，距離，情報量，確率密度微分などの抽象的な量の推定を通して，
データ解析を行う
生成的アプローチ

中間アプローチ

タスク特化アプローチ

確率密度比に基づく機械学習前述の機械学習タスク群は複数の確率分布を含む

52

非定常環境下での適応学習，ドメイン適応，
マルチタスク学習，二標本検定，異常値検出，変化点検知，クラスバランス推定，相互情報量推定，独立性検定，特徴選択，十分次元削減，独立成分分析，因果推論，クラスタリング，
オブジェクト適合，条件付き確率推定，確率的パターン認識しかし，これらのタスクを解くのに，それぞれの確率分布そのものは必要ない
確率密度関数の比が分かれば十分である
p(x)r(x) =q(x)各確率分布は推定せず，密度比を直接推定することにする

直感的な正当化

53

バプニックの原理 Vapnik (1998)
ある問題を解くとき，それより一般的な問題を途中段階で解くべきでないp(x)r(x) =
q(x)

が分かる
が分かる
密度を求めるよりも，密度比を求めるほうが易しい

発表の流れ1. 研究業界の動向
2. 政府の政策
3. 理研・革新知能統合研究センターの概要
4. これから行うべき基盤研究（私見）
限られた情報からの学習技術
B) 汎用的な学習技術
A)

i. 枠組みii. 方法論
iii. 応用例

54最小二乗密度比適合
p np i.i.d.
{xi }i=1 ∼ p(x)q nq i.i.d.
{xj }j=1 ∼ q(x)

55

データ：
，
真の密度比 r(x)との二乗誤差を最小にする
J(α)
ように密度比モデルを学習： min
α
Z ³
´2
p(x)
1
r(x) =
J(α) =rα (x) − r(x) q(x)dxq(x)
2ガウスカーネル密度比モデル
rα (x) =

np
X
`=1

56

µ
p 2¶
kx − x` kα` exp −2σ2

パラメータ α に関して線形標本点上にガウスカーネルをおき，線形結合する
ことにより，滑らかな関数が学習できる
rα (x)
xp1

xp2

···

xpnp

x

多次元の場合，多様体次元削減効果が得られる（標本が存在しない領域を自動的に無視）

57

学習アルゴリズム正則化学習規準：nqX1b`,`0 =
Gexp
nq j=1Ãkxqj − xp` k2
−
2σ 2

!

exp

Ã

kxqj − xp`0 k2
−
2σ2

!

µ
µ
np
np
p
p 2¶
p 2¶
X
X
kx
kx
−
x
−
x
k
1
i
`k
`
b
h` =
exp −
rα (x) =α` exp −22σ2
np i=12σ`=1

大域的最適解が解析的に計算可能：

 カーネルを間引けば，ビッグデータに対しても計算可能

 σ と λ は交差確認によって決定： 80％の標本で学習して20％の標本で二乗誤差を評価

58

最小二乗密度比適合のMATLABによる実装
b`,`0 =
Gnq
1 X

nq j=1exp

Ãkxqj − xp` k2
−
2σ2

np
1 X

µ

!

exp

Ã

kxqj − xp`0 k2
−
2σ 2

p
p 2
−
x
k
kx
b
exp − i 2 `h` =np i=12σ!

¶%人工データの生成
n=300; x=randn(n,1); y=randn(n,1)+0.5;%密度比の推定x2=x.^2; xx=repmat(x2,1,n)+repmat(x2',n,1)-2*x*x';y2=y.^2; yx=repmat(y2,1,n)+repmat(x2',n,1)-2*y*x';r=exp(-yx); s=r*((r'*r+eye(n))¥(mean(exp(-xx),2))); plot(y,s,'rx');59

最小二乗密度比推定の理論解析
パラメトリックモデルの場合： rα (x) =bXα` φ` (x)`=1

 学習したパラメータはの速さで最適値に収束
n = min(np , nq )
 最適な収束率を達成しているnp
Xノンパラメトリックモデル rα (x) = α` exp`=1の場合：
 学習した関数はµ

p 2¶kx − x` k−
2σ2の速さで真の関数に収束（ガウス関数空間のブラケットエントロピーに依存） 最適な収束率を達成している発表の流れ1. 研究業界の動向
2. 政府の政策
3. 理研・革新知能統合研究センターの概要
4. これから行うべき基盤研究（私見）
限られた情報からの学習技術
B) 汎用的な学習技術
A)

i. 枠組みii. 方法論
iii. 応用例

60

共変量シフト適応

61共変量とは入力変数の別名
共変量シフト：訓練時とテスト時で入力分布が変化するが，入出力関数は変わらない
外挿問題が典型的な例
入力分布

訓練
データ

関数
テスト
データ
学習したい
関数

重要度重み付き最小二乗学習
min
w

n
X
ptest (xi ) ³
i=1

ptrain (xi )62

fw (xi ) − yi´2 共変量シフト下では，通常  共変量シフト下でも一致性を持つの最小二乗学習は一致性  様々な学習法に適用可能：を持たない（でも  ニューラルネット，サポートベクトルマシン，
最適解に収束しない）
ロジスティック回帰，条件付き確率場など

63

実世界応用例
 顔画像からの年齢予測：
 照明環境の変化

 話者認識： 声質の変化 テキスト分割：
 ドメイン適応

こんな・失敗・は・
ご・愛敬・だ・よ・．

 ブレイン・コンピュータインターフェース： 心理状態の変化

正常値に基づく異常値検出64

正常データと傾向が異なるテストデータを異常値とみなす．

異常値

 正常データを有効活用することにより，高精度な解が得られる
 交差確認によるモデル選択が可能

実世界応用例
製鉄プロセスの異常診断
光学部品の品質検査
ローン顧客の審査

65

二標本検定目的：二つのデータセットの背後にある確率分布が同じかどうかを検定する

66

p np i.i.d.
{xi }i=1 ∼ p(x)q nq i.i.d.
{xj }j=1 ∼ q(x)

アプローチ：密度比を用いて分布間の距離を
推定する
Z

p(x)
 カルバック・ライブラー距離： KL =dxp(x) log
q(x)
¶2
µ
Z
p(x)
 ピアソン距離： PE =− 1 dxq(x)q(x)（最小二乗密度比
推定と相性が良い）67

実世界応用例
画像中の注目領域抽出

q(x)動画からのイベント検出
a

b

c

d

時間
e

f

g

h

q(x)

ツイッターデータ解析ij相互情報量推定
相互情報量：と は統計的に独立相互情報量は密度比を用いて計算できる
最小二乗密度比推定には，二乗損失相互情報量が自然：

68

相互情報量に基づく機械学習

69

入出力間の独立性判定：
 特徴選択入力

 次元削減 クラスタリング入力間の独立性判定：
 医療画像の位置合わせ
 移動ロボットの位置推定
 半導体の内部検査

出力

x0
入力

入力

70

条件付き確率の推定
回帰：条件付き期待値の推定
 非対称なノイズや多峰データに対しては，回帰は不十分
 ヒューマノイドロボット制御

分類：カテゴリの推定
 出力がカテゴリのとき，予測確率が分かる
 加速度データからの
行動認識

x

70%
20%
10%

1
2
3

まとめ：汎用的な機械学習

71密度比を，単純な最小二乗法で精度・効率良く推定すれば，多くの学習タスクが解ける 適応学習： 距離推定： 相互情報量推定：
 条件付き確率推定：

中間的なアプローチにより，精度と汎用性を両立

中間アプローチ発表の流れ1. 研究業界の動向
2. 政府の政策
3. 理研・革新知能統合研究センターの概要
4. これから行うべき基盤研究（私見）

72

まとめ

73

世の中では，産業応用・社会実装などの応用研究が非常に重視されている
しかし，ビジネスモデルやマーケティングを伴わない中途半端な応用研究に価値はない
革新知能統合研究センターでは，出口を見据えた基盤技術の開発に軸足をおき，企業や他のプロジェクトと積極的に連携する