超高速オンライン転移学習
東京工業大学木村大毅, Kankuekul Pichai,Aram Kawewong, 長谷川修
2011年07月05日版

Introduction
 実世界の物体認識は極めて困難
現在、この問題を根本的に解決する「現実的な」手法は存在しない

実世界の難しさ・多種多様の物体・高ノイズ
・新しい物が増える
・オクルージョンなど・・・
2011/07/05

2これまでは、Caltech 256 など
対象を個別に学習・認識させる試み

対象毎に、沢山の学習画像を用意

しかし、私たちの身の周りには膨大な数のモノがあり、その数は増え続けている

パラダイムシフトが必要！
• 「月」に行くには？
– 飛行機をどんなに改良しても「絶対」月には行けない×○本研究の成果と意義 下記を兼ね備えた、現実的な物体認識手法を構築
 転移学習を導入
 実世界を少数の基本的な属性知識の組合せで認識（例：赤＋球＝リンゴ）

 命令するだけで「自力で・直ちに」賢くなる 学習データはインターネットから自動収集 超高速にオンライン追加学習＆認識 画像以外にも多様・Noisy・曖昧な情報に対応
 多様な曖昧情報を複合的に利用可能
2011/07/05

7

Transfer learning (転移学習)
 対象について学習するのではなく、基本的な概念（「属性」と呼ぶ）を学習 属性の組み合わせで未学習物体も認識

学
習
画像

窓ダイヤルボール箱

転移電子レンジ

ダイヤルと窓がある箱型のもの＝ 電子レンジ
人間が定義

8

Transfer learning (転移学習) この関係はアルファベットと辞書の関係に類似
 英語の場合、26文字の組合せで数十万の単語
 前頁の例では「ダイヤル＋箱＝金庫」もわかる

 さらに、提案手法はベクトルデータ全般を属性として超高速オンライン追加学習可能 画像、音声、各種センサデータ、モータの制御信号など、あらゆるパターンデータが入力可能
2011/07/05

9提案手法の実施例
 従って、こんなことが出来る
他のロボットの学習結果

楽チン！

イ ン タ ー ネ ット

膨大な情報オンラインで超高速に学習

物理的経験
人の命令

学習データ
準備不要

属性知識

獲得した属性知識を未知対象に適用し認識「箱＋窓＋ダイヤル＋チン♪」⇒電子レンジ10

Previous methods
 DAP & IAP [Lampert et al., CVPR09]
 SVMを用いて属性と画像特徴の関連性を学習し、それを用いて認識
DAPとIAPの違い
x:画像特徴
a:属性
y:学習クラス
z:未知クラス

DAP
SVMで学習する部分
2011/07/05

IAP
11

Previous methods AT-SOINN[Kawewong et al., IJCNN11]
 SOINNを用いて属性と画像特徴の関連性を学習し、それを用いて認識SOINNの数＝２×属性の数×特徴の数
2011/07/05

12

SOINN [Shen, Hasegawa, NN06]
 自己増殖型ニューラルネットワーク
 オンラインかつ追加的に学習可能 クラス数や分布の形などの事前知識が丌要 実世界での運用を考慮したノイズ耐性
 マルチモーダルなパターン情報を記録

強力なノイズ耐性入力情報
2011/07/05

SOINN内の情報
13

Proposed SOINN AT-SOINN：1つのノード＝1つのクラス
 提案：1つのノード＝複数のクラス（度合い）New Input

Online Learning

Attr.01 : 70%
Attr.02 : 30%・・・
Attr.85 : 45%

Attr.01 : 95%
Attr.02 : 10%・・・
Attr.85 : 30%
Noise Robust
2011/07/05

Attr.02
Attr.01

属性をSOINNのクラスとする
Attr.01 : 20%
Attr.02 : 80%・・・
Attr.85 : 50%

Recognition

Attr.01 : 10%
Attr.02 : 85%
・・・
Attr.85 : 45%

Attr.01 : 15%
Attr.02 : 80%
・・・
Attr.85 : 45%
14

Proposed Method (Training phase)e.g. SIFT

Features
Extraction

Proposed-SOINN…

Labeling
Attributes

・・・
Feature-1

Images ofTraining classes

F-Q
Q : Number of Features

Class/AttributeMatrix

Images of
Test classes
2011/07/05

F-2

Dataset画像の特徴と属性の関連を学習
SOINNの数＝特徴の数
これを利用してクラスから属性へ変換ex) 「りんご」⇒「赤＋球」
15

Proposed Method (Test phase)e.g. SIFT

Features
Extraction

Proposed-SOINN…

Labeling
Attributes

・・・
Feature-1

Images ofTraining classes

F-Q

F-2

不えられた特徴から各々の属性の度合いを算出
Class/Attribute
MatrixCalculate Attributes using statistical recognition
未知クラスも属性のみは知っているImages of
Test classes
2011/07/05

Dataset

Guess the Class according to these Attributes
各々の属性からクラスへ変換ex) 「赤＋球」⇒「りんご」Q : Number of Features

16

Experiments
 Lampertら[1]の動物の画像で比較実験
 50種類の動物
 ライオン、シマウマ、豚、シロクマ、イルカなど

 85種類の属性（基本的な概念）
 肉食動物、尻尾がある、速く走る、賢いなど

 6種類の画像特徴
 SIFT、SURF、pHOG、rgSIFT、LSS、CQのそれぞれのヒストグラム（Bag-of-Features）※上で挙げた従来手法以外にも多くの論文で使用されている
2011/07/05

17

Experiments例）未知の豚を当てる方法
草食動物
だろう

肉食動物

飛べないだろう足が短い肉食動物

飛べない学習動物

40
種類

足が短い

草食動物

飛べる属性

見たことがない動物

10
種類を転移

足が長い飛べないライオン

コウモリ

馬

足が短いだろう足が短く飛べない草食動物＝豚
2011/07/05

未知動物も属性の組み合わせで当てさせる

18

Results
オンライン学習
提案手法
認識率

ATSOINN[2]

バッチ学習
DAP[1]

IAP[1]

26.82% 26.96% 40.51% 27.83%

学習時間

7分

6時間

>70日

認識時間

1分半

4時間

>2日

データ量

1,825 347,082（ノード数）SOINNの数－99.47%削減

61020－

なお学習時間と認識時間は、特徴検出の時間を含めない
2011/07/05

19

Results
オンライン学習

バッチ学習

提案手法

ATSOINN[2]

DAP[1]

IAP[1]

曖昧な属性※

○×××

属性の追加

○△××

※曖昧な属性とは、連続値での属性の定義が出来るという意味である
提案手法は、54枚／秒で学習、16ミリ秒／枚で認識
更に、曖昧な属性や柔軟な属性の追加が可能
2011/07/05

20

今後の課題Multimodal 情報の利用
 曖昧な実世界パターン情報全般を属性として利用
 人に近い、音声、温度、圧力、質量などの感覚情報もコンピュータやロボットに「経験」を通じて学習させることで…
人の持つより高次な概念の共有と理解 「ほんわか」「しゃきしゃき」などを理解させる 「蝙蝠、人、ロボットであるとはどのようなことか？」
2011/07/05

22

インターネットの活用
 その場で、直ちに賢くなる例）

 高速性やオンライン学習性を活用
 複雑な実環境では、有効な属性を事前に想定するのは困難 有効な属性を、人や環境とのインタラクションを通じて決定 ネットの情報は極めてノイジー
 SOINNのノイズ耐性を活用

 大規模評価実験の実施を予定
2011/07/05

23

主要参考文献[1] C. H. Lampert, H. Nickisch, and S. Harmeling, “Learning todetect unseen object classes by between-class attributetransfer”, CVPR 2009.
[2] A. Kawewong, Sirinart Tangruamsub, Pichai Kankuekool andOsamu Hasegawa, “Fast Online Incremental Transfer
Learning for Unseen Object Classification Using SelfOrganizing Incremental Neural Networks”, The 2011
International Joint Conference on Neural Networks (IJCNN).
[3] F. Shen, O. Hasegawa, “An Incremental Network for On-line
Unsupervised Classification and Topology Learning”, NeuralNetworks 2006.
2011/07/05

24