第1回設計情報駆動研究会@葉山 湘洋閣
2017/3/5

データ空間の解析と学習
株式会社富士通研究所
知識情報処理研究所人工知能研究センター
梅田 裕平

Coryright 2017 FUJITSU LABORATORIES LTD.

Zinrai: 富士通が保有するAI技術を体系化

人・企業・社会センシング

知覚・認識

知識化

アクチュエーション

判断・支援

画像処理

自然言語処理

推論、計画

音声処理

知識処理・発見

予測、最適化

感情・状況認識

パターン発見

対話、推薦

学習

Deep Learning

機械学習

強化学習

先端研究

脳科学

社会受容性シミュレーション

1

Coryright 2017 FUJITSU LABORATORIES LTD.

人工知能といっても対象となるのは・・・

結局はデータ処理⇒データについて見直してみようまずは教師ありの機械学習を対象として見直してみます2

Coryright 2017 FUJITSU LABORATORIES LTD.

データ空間データを構成するデータの空間
Ex.:各ピクセルの値分類したいデータの空間
Ex.:画像対象

圏
3

Coryright 2017 FUJITSU LABORATORIES LTD.

データ空間まずはこちらの話

データを構成するデータの空間
Ex.:各ピクセルの値分類したいデータの空間
Ex.:画像対象

圏
4

Coryright 2017 FUJITSU LABORATORIES LTD.

統計的データ解析平均・分散データ空間が距離空間であることが前提となっている

5

Coryright 2017 FUJITSU LABORATORIES LTD.

距離とは
距離の定義2点x,y,zに対して
正定値性：
非退化性：
対称性 ：
三角不等式：

6

Coryright 2017 FUJITSU LABORATORIES LTD.

データ空間は距離空間なのか？
たとえば時系列データ
よく使われる距離:DTW(=Dynamic Time Warping)DTW• 2系列の点の対応の距離の合計で最小となるもの• 時間方向のサイズや位相のずれを吸収して計測できる

DTWは一方の時系列から見た，その他の時系列の類似度⇒順番があり，対称性がない三角不等式が成り立たない例は多く存在正定値・非退化性のみ・・・
距離空間が前提にある統計解析は使ってはいけない！

7

Coryright 2017 FUJITSU LABORATORIES LTD.

距離とは
距離の定義2点x,y,zに対して
正定値性：
非退化性：
対称性 ：
三角不等式：満たさないデータは数多い正定値/非退化性程度の仮定でやれるのか？
coarse幾何学

8

Coryright 2017 FUJITSU LABORATORIES LTD.

距離空間と機械学習
機械学習はデータ空間が距離空間が前提
SVM
 サポートベクターからの距離の中間に直線を引く⇒距離空間であることが必要決定木/ランダムフォレスト
 データがラベルに従って分離し固まっている⇒距離空間であることが必要

9

Coryright 2017 FUJITSU LABORATORIES LTD.

距離空間でない場合
最近傍法・k-Nearest Neighbor 一番近いデータと同じラベルにする

正定値性・（弱い）非退化性だけで成立する

ただし，データ間の距離が大きくなると，問題が出てくる

10Coryright 2017 FUJITSU LABORATORIES LTD.

Deep Learning
Deep Learningは特徴量を自動抽出するというけれど・・・
例えばＳＶＭはDeep Learningは正解ラベル

例：交差エントロピー

ラベル空間で目的関数を定義

データの距離空間で目的関数を定義

データ空間の距離を考えるのではなく，汎用的なラベル空間の距離を使っているのがポイント
11

Coryright 2017 FUJITSU LABORATORIES LTD.

Deep Learningならいいのか？
何でDeep Learningがうまくいった例は画像くらいなのか？

Convolutional Neural Networkがはまっただけ？
仮説
少し回転/拡大縮小/平行移動はあるけど，同じ種類のデータ自体だいたい同じような位置に同じ形がある→実際に画像はDLの前にうまくクリッピングする必要がある！
入力データにもある程度基準がそろっている必要はあるということでは？
→DLもある種の数理モデルである以上，基準が必要
12

Coryright 2017 FUJITSU LABORATORIES LTD.

データ空間つまりこちらの話

分類したいデータの空間Ex.:画像

データを構成するデータの空間
Ex.:各ピクセルの値

対象

圏
13

Coryright 2017 FUJITSU LABORATORIES LTD.

データの基準をどうそろえるのか？
1つのデータの中にある情報の基準をそろえる方法は？
キーとなるいくつかの点をそろえることが多いのでは？
• 画像であれば対象がきれいに入るように四隅を決定• スマホを見比べるとき画面が正面を向くように・・・基準をそろえる方法として，特徴的な”形”をそろえることでうまく比べられることが多い→データの”形”を見ることができればうまくいくかも→“幾何学”を利用する

Shape of DATA

14

Coryright 2017 FUJITSU LABORATORIES LTD.

Shape of Data
近年一部で流行しているTopological Data Analysis
位相幾何学の手法を利用してデータの形状を把握位相幾何学の手法だけでなく微分幾何学の手法も使えるはず

15

Coryright 2017 FUJITSU LABORATORIES LTD.

時系列データの学習

16Coryright 2017 FUJITSU LABORATORIES LTD.

「時系列データ」の種類と対象とする領域
ある対象の時間変化•画像の時間変化≒動画•文字・単語の時間変化≒自然言語（文章など）

値の時間変化
動きの軌跡•文字を書く際のペンの位置の変化•目的地までの移動経路•音声

今回の技術の対象領域

ある自然法則などルールに基づく変化•心拍・脈拍・血圧などの生体データ•ジャイロセンサーなど各種センサーデータ•環境センサー（震度計など）

心拍数
110
9070

•株価など経済指標

116
3146
6176
91
106
121
13650

17

Coryright 2017 FUJITSU LABORATORIES LTD.

時系列解析
時系列データの生のデータは基準がそろっていない位相ずれが存在
②
①
①

1②22

10

12

10

12

位相が1ずれている
12

10

12

101

ベクトルとして違うように見えても，同じものとして認識しなければならない
画像でいえば…
この２つを同じものと認識する必要があるということと同じ．
画像のDLでもまだ困難

18「基準」が必要

Coryright 2017 FUJITSU LABORATORIES LTD.

開発した技術力学系理論と位相幾何学の概念を活用し，時系列データの幾何学的な特徴を抽出することで時系列データを高度に分類ルールを基準とする

19

Coryright 2017 FUJITSU LABORATORIES LTD.

グラフデータの学習

20

Coryright 2017 FUJITSU LABORATORIES LTD.

「グラフ」データとは棒グラフ、折れ線グラフ…

数学の グラフ理論 の「グラフ」「頂点」と「辺」の集合
頂点

辺

人、モノ、コトのつながりを抽象的に表現したもの（関係を表現）21

Coryright 2017 FUJITSU LABORATORIES LTD.

Deep Learningはグラフの入力が困難
2

34560111101000011111111011011111110100

10(1,1)
(1,2)
(1,3)
(1,4)
～
入力
2111416235561243123456123456

ノード数が10なら362万通り
ノード数が100なら9×10157通り

32456

入力
01110101001011001300

100111000014

1100

10001

5000

1000～

座標番号の振り方で結果が異なる

入力
12012345600101100100013111010001000140010000115110001022～…

123456

グラフデータ
座標番号の振り方が数多く存在

1…

画素の座標番号は固定

…

画像データ

Coryright 2017 FUJITSU LABORATORIES LTD.

グラフデータの学習：新技術「Deep Tensor」
グラフデータを直接入力し、自動で特徴を抽出する新技術
グラフ全体構造を含んだ統一的表現 【独自技術1】【独自技術2】
コアテンソル学習技術

テンソル表現拡張誤差逆伝搬法
23

構造マッピング技術

従来の誤差逆伝搬法
Coryright 2017 FUJITSU LABORATORIES LTD.

24

Copyright 2010 FUJITSU LIMITED