アシストテクニカルフォーラム2019in名古屋

2019年10⽉25⽇

撮影はご遠慮ください

社会に浸透するAIロボットの現状と未来〜ロボットはなぜお茶を持ってきてくれないのか 〜

中京⼤学 ⼯学部
橋本 学

略歴
1987
1987

⼤阪⼤学⼤学院⼯学研究科 博⼠前期課程 修了
三菱電機(株) ⽣産技術研究所，先端技術総合研究所，開発本部（R&D戦略・研究企画）

2008
2013

中京⼤学 情報理⼯学部 教授
中京⼤学 ⼯学部（改組）教授

2017〜

中京⼤学 ⼯学部⻑

兼務

産業技術総合研究所 ⼈⼯知能研究センター 客員研究員
中京⼤学 ⼈⼯知能⾼等研究所 研究員
ロボットビジョン，3次元物体認識，ヒューマンセンシング

専⾨

アシストテクニカルフォーラム2019 Oct. 25, 20192

AIへの⼤きな期待【橋本研究室作成】

参考データ︓主要耐久消費財の普及（総務省），通信利⽤動向調査平成26年報告書（総務省），年間統計推移表（⽇本ロボット⼯業会）▲深層学習(2012)

普及率
[%]

台数
[千台]

AlphaGo(2016) ▲Chef Watson(2015) ▲ 160160▲Watson(2011)

100

100

▲畳み込みNN(1989)▲将棋電王戦(2010)▲エキスパートシステム(1970) ▲ボルツマンマシン(1970) ▲DeepBlue(1997)
140▲Industrire4.0(2011) 140▲Prolog(1972)▲ホップフィールド・ネットワーク(1982)▲ダートマス会議(1956)▲Siri(2007) Society5.0(2016) ▲▲MYCIN(1974) ▲ネオコグニトロン(1979)8080▲遺伝的プログラミング(1990)▲パーセプトロン(1958) ▲フレーム理論(1975)
120
AI冷蔵庫(2015)▲
120▲チェス ▲ファジー推論(1965) ▲プロダクションシステム(1977)▲
スマホ(2008)
70▲IoT(1999)▲
C
⾔語(1978)▲第5世代コンピュータ(1982)
70▲ハノイの塔 ▲ELIZA(1966)▲フレーム問題(1969) ▲中国語の部屋(1980)
100
▲ロボット
3原則(1950)
100▲ICOT設⽴(1982) ▲WWW(1989) ▲Google 検索(1997)
6060▲ ARPA-net稼働(1969)▲⽇本⼈⼯知能学会設⽴(1986)▲iPhone(2007)▲「⼼の社会」(1987)▲Ethernet(1976)

9090 ▲チューリングテスト(1950)

5050

80
80

▲スーパーファミコン(1990)▲鉄腕アトム出版(1955)
インベーダーゲーム(1978) ▲ ▲ファミコン(1983)

4040

3030 ▲ENIAC(1946)

Intel 8086(1978) ▲2020▲楽天(1997)▲ガラケー(1993)

60
60

RoBoHoN(2016) ▲ 4040

▲PC-9801(1982)Pentium(1993) ▲20
60▲ルンバ(2002)

1010
00

▲Windows 7(2009)▲⾳楽配信(1998)▲ Pepper(2014)▲ムーブマスター(1982) AIBO(1999) ▲▲ASIMO(2000)
1950

1970

1980

1990

2000

2010

2012

アシストテクニカルフォーラム2019 Oct. 25, 201900

2020 [年]3

GAFAの動向 v.s. ⽇本型知能化
GAFAにおけるロボティクス開発

Princeton, MITらとTossingBot

⽇本型知能化

分解ロボットDaisy

ロボット⼯学研究所を設⽴

Amazon Robotics

⾃動ピッキング

⾃動加⼯

⾃動検査

ロボットの知能化

加⼯機 の知能化検査装置 の知能化

アシストテクニカルフォーラム2019 Oct. 25, 20194

（資料）GAFA の動向
2010

2015
⼈型ロボットSchaft.inc

Google買収された企業
⾃社による研究ビジネス2019

ロボット型カメラ スマートホーム
Nest Labs
Bot & Dolly

スマートホーム
ロボットアーム
ロボット
Redwood Robotics Boston Dynamics Dropcam
ロボット
Meka Robotics

スマートホーム
Revolvロボット
SCHAFTロボット
Boston Dynamics売却（ソフトバンクが買収）

⼤学（MIT,Princeton,Colimbia）と共同のロボット研究
Robots Learning to Toss

⾃動⾞
Lumedyne Technologies

Apple Inc. Facebook

Amazon.com

ロボット
Holomni

⽣産⽤機械
Kiva Systems

住宅⽤
セキュリティ機器
Blink

棚を運ぶ AGV
Kiva

スマートホーム
ドアベル
Ring
ハードウェアOculus VR

2機のチャットボット
ボブとアリスAmazon Robotics
Challenge 開催
2015〜2017

機械学習⽤の仮想ホーム

Kiva を改良した AGV
Xanthus と Pegasus

6⾜ロボットを使⽤した研究

航空機（ドローン）
Ascenta
スマートフォン
iPhoneタブレット
iPad

リサイクルロボット
Liam（新事業）
分解ロボットDaisy（⾃社開発）

モーションキャプチャ
IKinema
⾃動運転Drive.ai
アシストテクニカルフォーラム2019 Oct. 25, 2019

でも，ロボットはお茶を持ってきてくれない︕

5

本⽇の話題１．イントロダクション■ 機械学習とディープラーニング

２．AI搭載ロボットの現状■ 国際ロボット競技⼤会に⾒る世界レベル

３．AIとロボット研究の最先端■ End-to-End の広がり

■ お茶会ロボットが⽬指すもの

４．AI・ロボットの未来像■ AIの強みと弱み■ AI・ロボットのビジネス展開

アシストテクニカルフォーラム2019 Oct. 25, 2019

7

本⽇の話題
１．イントロダクション■ 機械学習とディープラーニング

２．AI搭載ロボットの現状■ 国際ロボット競技⼤会に⾒る世界レベル

３．AIとロボット研究の最先端■ End-to-End の広がり

■ お茶会ロボットが⽬指すもの

４．AI・ロボットの未来像■ AIの強みと弱み■ AI・ロボットのビジネス展開

アシストテクニカルフォーラム2019 Oct. 25, 20198

AI・機械学習・Deep Learning
ベテラン︖

若⼿︖

ＡＩ（⼈⼯知能）

ＡＩ（⼈⼯知能）
Machine Learning（機械学習）

Machine Learning（機械学習）

Deep Learning（深層学習）

Deep Learning（深層学習）

アシストテクニカルフォーラム2019 Oct. 25, 20199画像認識問題
例題︓写真に写っている５種類の動物の名前を推定する．

1.Dog

2.Cat

3.Lion 4.Panda 5.Giraffe𝑦𝑓 𝐱

y = 1 (Dog)𝑦𝑓 𝐱y = 1 (Dog)𝑦𝑓 𝐱y = 2 (Cat)𝑦𝑓 𝐱y = 4 (Panda)

⼊⼒データ（画像 x ）考え⽅︓理想的な関数 f が決まれば，画像 x に対する正しい y が出⼒される．
では，いったい，どうやって f を決めればよいのか︖
アシストテクニカルフォーラム2019 Oct. 25, 201910

関数 f の求め⽅𝑦𝑓 𝐱

y = 1 (Dog)

⼊⼒データ（画像 x ）もし，事前に f のカタチがわかっていたら︖‥‥いくつかの ( x, y ) の組を与えればよい．
（例）

ならば，少なくとも２組の ( x, y )

𝑦

𝑓 𝒙

𝑎𝑥

𝑏

𝑦

𝑓 𝒙

𝑎𝑥2

𝑏𝑥

𝑐

ならば，少なくとも３組の ( x, y )しかし，もし 𝑓 𝑥 が n 次の多項式じゃなかったら︖
そもそも，x と y の関係は，関数で表せるのか︖‥‥何らかの解法が必要．
11

アシストテクニカルフォーラム2019 Oct. 25, 2019

機械学習によって f を決める
Neural Network（従来）

⼊⼒層

データ

x

中間層

出⼒層

特徴
抽出器

識別結果

y

例︓多層パーセプトロン（原型は1958）
学習法︓誤差逆伝播法（1986）

脳の神経回路網（イメージ）

Deep Learning（現在）

…
データ x
プーリング
コンボリューション

プーリング
コンボリューション

識別結果

y

プーリング

出⼒
フルコネクション

アシストテクニカルフォーラム2019 Oct. 25, 201912

30年のコンピュータの進歩
1987年

2019年

Sun Microsystems Sun-4

Apple iPhone 11
100倍

CPU: 25MHz

CPU: 2.65GHz（x6コア）

35倍

メモリ: 128MB

メモリ: 4GB

アシストテクニカルフォーラム2019 Oct. 25, 2019

13

⼤量の画像群を⽤いた機械学習
学習のために使⽤する模範解答つき画像群
・・・
y=1
(Dog)

y=2
(Cat)

y=3
y=4
y=5
(Lion) (Panda) (Giraffe)y  f (x )⼊⼒データ
（画像 x ）

y = 1 (Dog)x（ベクトル）と y のセットをたくさん与えることによって， f を決める．

y  f (x)y = 1 (Dog)

未知画像 x

アシストテクニカルフォーラム2019 Oct. 25, 201914

Deep Learning の開発環境


Deep Learning 向きシステム（NVIDIA社の例）
DGX station

DGX-2

DGX-1



Deep Learning に向いた⼤量データベースの整備
ImageNet http://image-net.org/index[スタンフォード・プリンストン⼤学]

ShapeNet http://shapenet.cs.stanford.edu/[プリンストン・スタンフォード⼤学，TTIC]

2009年から公開
総画像数︓14,197,122 枚
カテゴリ数︓21,841

2015年から公開
モデル数︓3,000,000 個
カテゴリ数︓3,135

アシストテクニカルフォーラム2019 Oct. 25, 2019

Deep Learning による物体認識

アシストテクニカルフォーラム2019 Oct. 25, 201915

（0分30秒）16

Deep Learning は，とりわけ画像認識の分野では，
予想以上の実⼒が確認されている

本⽇の話題
１．イントロダクション■ 機械学習とディープラーニング

２．AI搭載ロボットの現状■ 国際ロボット競技⼤会に⾒る世界レベル

３．AIとロボット研究の最先端■ End-to-End の広がり

■ お茶会ロボットが⽬指すもの

４．AI・ロボットの未来像■ AIの強みと弱み■ AI・ロボットのビジネス展開

アシストテクニカルフォーラム2019 Oct. 25, 201918

AIロボットの利⽤分野
②物流

①⽣産

商品の認識

製造物の認識注⽂③家庭
配送

⽇⽤品の認識アシストテクニカルフォーラム2019 Oct. 25, 201919

主要３分野におけるAIロボットの課題整理
⽣産

物流

家庭

Pick and Operation

Pick and Place
動作パターン種類 少（事前に⽣成）

動作パターン種類 多（その場で⽣成）物体モデル利⽤ 可物体モデル利⽤ 難品種 複数だがほぼ既知
特定物体認識zyx

品種 多量かつ未知モデルを利⽤して，対象物の位置と姿勢を認識する

⼀般物体認識モデルを使わず，
クラス名（モノの名前）を認識する“コップ” というクラス

アシストテクニカルフォーラム2019 Oct. 25, 201920

事例① Amazon Robotics Challenge

物流ロボットAmazon チャレンジへの挑戦履歴
2015年
2016年
2017年

（三菱電機，中部⼤とコラボ）

第１回⼤会（シアトル）
第２回⼤会（ライプツィヒ）
第３回⼤会（名古屋）2017年度 Stowタスク部⾨世界3位

制限時間内にどれだけ正確にアイテムをピッキングできたかを競う

アシストテクニカルフォーラム2019 Oct. 25, 201922

アイテムの例（39種類）‥‥2016年度

アシストテクニカルフォーラム2019 Oct. 25, 201923

アイテムの例（39種類）‥‥2016年度



形状や重量，表⾯の硬さが異なる多様なアイテム
認識や把持が困難なアイテムには加点あり
アシストテクニカルフォーラム2019 Oct. 25, 201924

Amazon Robotics Challenge 2017︓16 Finalists

Applied Robotics
Netherland, AustraliaMC^2（Japan）

NimbRo Picking
Germany

UJI RobInLabSpain

CMU PLAIDUSAIFL PiRo
Germany
IITK-TCSIndia
TKU M-Bot
TaiwanNanyang
Singapore

NAIST-Panasonic
Japan
Team KJapan
Team T2
Japan

MIT-Princeton
USA
GMU-Negev
USA, Israel

Team DukeUSA

ACRVAustralia

アシストテクニカルフォーラム2019 Oct. 25, 201925

ロボットビジョンの基本課題

どこに，なにがある︖

どう掴む︖

アシストテクニカルフォーラム2019 Oct. 25, 201926

Amazonチャレンジで開発した物体認識アルゴリズム
Deep Learning
による物体認識

低信頼

⾼信頼

異種データを利⽤した再識別
センサデータDeep Learning
による
把持パラメータ推定

重さ・カラー
ヒストグラム

認識結果

アシストテクニカルフォーラム2019 Oct. 25, 201927

Deep Learning による認識結果の例

Bin I
・オーダーアイテム
ID 10 (カーテン)・Binの中のアイテム
ID 7 (Tシャツ)
ID 10 (カーテン)
ID 35 (ダンベル)
・認識成功率14 / 14

アシストテクニカルフォーラム2019 Oct. 25, 201928

物体認識結果
箱状物体

形が変形しやすい袋状物体
対象物

⼊⼒シーン外観

⼊⼒シーン外観認識結果

認識結果
アシストテクニカルフォーラム2019 Oct. 25, 201929

アシストテクニカルフォーラム2019 Oct. 25, 2019

30

複数物体の同時位置姿勢認識

プリミティブ形状近似に基づく把持位置推定
プリミティブ形状

平板

直⽅体

球

円柱

Deep Learning
を利⽤した
プリミティブ形状のあてはめ把持位置
推定
領域セグメン
テーション

把
持
位
置

あてはめ結果緑: 球 ⾚: 平⾯

把持位置の推定結果

アシストテクニカルフォーラム2019 Oct. 25, 201931

Amazon チャレンジに出場した協調ロボット

アシストテクニカルフォーラム2019 Oct. 25, 2019

32

競技開始

アシストテクニカルフォーラム2019 Oct. 25, 201933

Amazon チャレンジ 名古屋⼤会（2分21秒）

出典： Amazon Story, https://www.amazon.co.jp/b?node=3573739051

アシストテクニカルフォーラム2019 Oct. 25, 201934

ARC2017 Stowタスク部⾨の 順位表
順位

チーム名

得点

所属

1

MIT-Princeton

160

マサチューセッツ⼯科⼤学，プリンストン⼤学

2

Nanyang125

南洋理⼯⼤学

3

MC^2

120

中京⼤学，三菱電機，中部⼤学

4

NAIST-Panasonic110

奈良先端科学技術⼤学⼤学院，パナソニック

5

IITK-TCS

105

インド⼯科⼤学カーンプル校，タタ・コンサルタンシーサービシズ

6

ACRV

55

クイーンズランド⼯科⼤学

7

IFL PiRo

25

カールスルーエ⼯科⼤学，ヘルムートシュミット⼤学

8

NimbRo Picking

20

ボン⼤学

9

PLAID

20

カーネギーメロン⼤学

10

UJI RoblnLab20

ジャウメ1世⼤学

11

Team T2

10

⿃取⼤学，東芝

12

Team Duke10

デューク⼤学13

Team K

5

東京⼤学

14

Applied Robotics

5

スマートロボティクス，シドニー⼤学

15

TKU M-Bot

5

淡江⼤学

16

GMU-Negev0

ジョージメイソン⼤学，ネゲヴ・ベン＝グリオン⼤学

アシストテクニカルフォーラム2019 Oct. 25, 2019

Stow優勝︓

35

MIT-Princeton（アメリカ）

 特徴

 ロボットシステム全体


単腕ロボットアーム ビジョン部

16 個の 3D センサを利⽤
Deep Learning を⽤いた物体認識

 ハンド部


吸着＋挟持複数設置された
3D センサアシストテクニカルフォーラム2019 Oct. 25, 201936

Pick優勝︓ Nanyang（シンガポール）
 特徴

 ロボットシステム全体


双腕ロボットアーム
拡張可能なストレージ ビジョン部

キーポイントマッチングをメインとしたアイテム認識

 ハンド部
吸着

アシストテクニカルフォーラム2019 Oct. 25, 201937

Final優勝︓ ARCV（オーストラリア）
 特徴

 ロボットシステム全体XYZ ステージによる制御

 ビジョン部
Deep Learning を⽤いた物体認識

 ハンド部


吸着＋挟持

吸着ハンド

挟持ハンド

アシストテクニカルフォーラム2019 Oct. 25, 201938

事例② World Robot Summit

コンビニロボット

World Robot Summit（WRS）
Future Convenience Store Challenge（コンビニロボット）

コンビニを模した競技会場（セブンイレブン様が協⼒）
サンドイッチの「陳列・廃棄」タスク
アシストテクニカルフォーラム2019 Oct. 25, 201940

⽣産・物流分野では，
AI搭載ロボットが着実に実⽤域に近づいている

本⽇の話題
１．イントロダクション■ 機械学習とディープラーニング

２．AI搭載ロボットの現状■ 国際ロボット競技⼤会に⾒る世界レベル

３．AIとロボット研究の最先端■ End-to-End の広がり

■ お茶会ロボットが⽬指すもの

４．AI・ロボットの未来像■ AIの強みと弱み■ AI・ロボットのビジネス展開

アシストテクニカルフォーラム2019 Oct. 25, 201942

従来のロボット制御 v.s. End-to-End 機械学習
センサ
データ

認識

動作⽣成

座標変換

関節⾓度
算出

物体認識

動作⽣成

座標変換

逆運動学

モデル照合
座標系設定
特徴記述
特徴量マッチング
YOLO

把持位置推定ハンド動作計画
⾏動計画

キャリブレーション

ヤコビ⾏列
速度制御
特異姿勢回避関節⾓ディープラーニング
End-to-End拡張
⼤量学習データEnd-to-End が広がっている
ただし，ネットワークが複雑化し，必要な学習数も⼤きい

アシストテクニカルフォーラム2019 Oct. 25, 2019

43

RGBD画像 ⇒ ハンド位置＋⾓度
RGB 画像と Depth 画像からハンドの把持位置と⾓度（４次元）を推定Deep Learning による把持位置検出に関するおそらく初めての論⽂
RGB画像とDepth画像を効率よく学習するためのマルチモーダル正則化
２段階カスケード構造を持つ Deep Learning
学習枚数︓1035 枚

教⽰タグ付き画像の例

把持位置の推定結果
出典︓ I Lenz et al., “Deep Learning for Detecting Robotic Grasps”, IJRR, 2014. http://y2u.be/f9CuzqI1SkE
アシストテクニカルフォーラム2019 Oct. 25, 201944

画像 ⇒ モータ指令[Google 2016]

3000 時間（80万回）×14 台のロボットの把持試⾏により，⼊⼒画像とモータ指令をもとに把持成功率を推定するモデルを構築
 対象物への接近中に様々なモータ指令を与えて，把持成否サンプルを記録
 サンプルを利⽤してネッ
トワークで学習（把持成否は 2 値） 把持成功率が⾼いモータ
指令を採⽤

アームホームポジションで取得した RGB 画像
時間 t の RGB 画像

時間 t のモータ指令把持成功確率（成否学習モデルでの尤度）

モータ指令と RGB 画像を同時⼊⼒する逆強化学習ネットワーク

S. Levine et al., "Learning Hand-Eye Coordination for Robotic Grasping with Large-Scale Data Collection", ISER, pp.173-184, 2016.
S. Levine et al., “Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection” IJRR, 2018.

アシストテクニカルフォーラム2019 Oct. 25, 201945

画像 ⇒ モータ指令 （強化学習）

マグカップをコースターの上に移動させると「成功」
ゴールを教えておき，成否によって報酬を与える（強化学習）
End-to-End の学習により，正しい⾏動パターンを獲得．

University of California, Berkeley，出典：https://www.youtube.com/watch?v=9pWJzb4G-CA

アシストテクニカルフォーラム2019 Oct. 25, 201946

全⾃動お茶会ロボット
ロボットはなぜお茶を持ってきてくれないのか

お茶をたてる動作（ロボットの場合）お茶を⼊れる

お湯を⼊れる

かきまぜる

茶さじを探す

柄杓を探す

茶筅を探す

持ち⽅を決定持ち⽅を決定持ち⽅を決定茶さじを持つ

柄杓を持つ

茶筅を持つ

ナツメを探すすくい⽅を決定

茶碗を探す

すくい⽅を決定

お湯をすくうまぜ⽅を決定お茶をすくう

茶碗を探す

まぜる

茶碗を探す

⼊れ⽅を決定⼊れ⽅を決定茶碗に⼊れる

茶碗に⼊れる

⼈間なら，道具の使⽤⽬的を想定して持つことができる．
⇒ 道具の使い⽅がわかるロボット
アシストテクニカルフォーラム2019 Oct. 25, 201948

⽇⽤品は “形” に “機能” を持っている
⽔を蓄える
つまむ

つまむ

すくう

つまむ

たたく

つまむ

⽀える

つかむ
つまむ

挿す

49

アシストテクニカルフォーラム2019 Oct. 25, 2019

モノの “機能” を認識するロボットビジョン

Deep Learning

蓄える
つまむ

…

つかむ

模範解答は，⼈間が教える

アシストテクニカルフォーラム2019 Oct. 25, 201950

機能を認識しているようす
（44秒）

51

アシストテクニカルフォーラム2019 Oct. 25, 2019

機能属性ラベル付き全周囲３Ｄデータセット（2019年5⽉24⽇公開）
データセット公開のねらい︓ 機能認識に関する研究活性化
http://isl.sist.chukyo-u.ac.jp/archives/nedopro/a. ⽇⽤品 全周囲 3D モデル [モデル16品種321個，機能9クラス]
使⽤例

データ形式
3Dモデル

全周囲データを⽤いた
セグメンテーション【PointNet など】

ply 形式obj 形式
stl 形式

機能属性ラベル ply 形式
⽇⽤品の例

機能属性ラベル付き 3D モデルの例

b. ⽇⽤品シーン（2.5D） [モデル10品種11014枚，機能9クラス]

使⽤例
データ形式

RGB画像
2.5Dデータ
⽇⽤品シーンと機能属性ラベルの例

png 形式
pcd 形式

画像・点群ベースの機能認識（セグメンテーション）【SegNet，U-Net など】
a. のデータを⽤いた
モデルマッチング

機能属性ラベル png 形式

c. 機能属性セグメンテーション⽤シーン（2D）[モデル6品種2799枚，機能6クラス]
データ形式
RGB画像

jpg 形式

機能属性ラベル png 形式

使⽤例

画像ベースの機能認識（セグメンテーション）【SegNet，U-Net など】

茶道具シーンと機能属性ラベルの例
アシストテクニカルフォーラム2019 Oct. 25, 201952

機能情報を利⽤した動作パラメータ⾃動⽣成

スプーンの
点群

機能認識

重⼼と法線の算出

機能間の距離を算出「持つ」動作の⽣成「すくう」動作の⽣成

アシストテクニカルフォーラム2019 Oct. 25, 201953

機能情報を利⽤した動作パラメータ⾃動⽣成

アシストテクニカルフォーラム2019 Oct. 25, 201954

お茶会ロボットシステムの試作
CEATEC Japan 2018

センサ

センサ

センサ

茶筅
茶さじ

柄杓
茶碗

なつめ（お茶）アシストテクニカルフォーラム2019 Oct. 25, 2019

CEATEC Japan 201855

（2018年10⽉16⽇〜19⽇）

アシストテクニカルフォーラム2019 Oct. 25, 201956

⼈間ってナンだ︖超AI⼊⾨
NHK Eテレ

2019年3⽉7⽇放送

シーズン２ 第9回「暮らす」

http://www4.nhk.or.jp/aibeginner/x/2019-03-07/31/13497/1723021/

アシストテクニカルフォーラム2019 Oct. 25, 201957

試作したお茶会ロボット（2分46秒）YouTube で公開中

アシストテクニカルフォーラム2019 Oct. 25, 201958

ロボットはなぜお茶を持ってきてくれないのか「お茶を持ってきて」‥‥この⼀⾔に，まだ多くの難題が残っている︕
そもそも，この⾔葉を，細かいタスクに分解できない
・必要ならお湯を沸かす
・ナツメに蓋があったら開ける
・⾜らない道具があったら取ってくる︓
︓

お茶会ロボット（2019）にできないこと

茶さじが裏向きだ
ったら掴めない
⼩さな茶さじは掴めない

お湯を沸かす⽅法を知らない

お茶の量の調節ができない余ったお湯を茶釜に戻すことができない泡⽴ち具合は運次第

アシストテクニカルフォーラム2019 Oct. 25, 2019

59

AIとロボットの融合は，かつてないレベルに．
だが，⼈間のようなロボットの実現には，課題が多い

本⽇の話題１．イントロダクション■ 機械学習とディープラーニング

２．AI搭載ロボットの現状■ 国際ロボット競技⼤会に⾒る世界レベル

３．AIとロボット研究の最先端■ End-to-End の広がり

■ お茶会ロボットが⽬指すもの

４．AI・ロボットの未来像■ AIの強みと弱み■ AI・ロボットのビジネス展開

アシストテクニカルフォーラム2019 Oct. 25, 2019

61

AIの強み‥‥パターン処理が得意

⼊出⼒の間に，⼀定のパターンがある対象には強い
データの分析，相関の発⾒，⼈間の戦略策定⽀援に向いている．


AIはなぜゲームに強いのか︖→ パターン化・数値化できるから（決定論的）．
膨⼤だが無限ではない探索空間から，近似最適解を求めればよい．
オセロ（実際は 8x8）
1.
2.

最初は●からスタート．可能性は12通り．
次は○で，11通り．

3.
4.
5.
6.

‥‥
すべての場合の数は，12! ≒ 4.8億 通り．
実際のオセロでは，60! ≒ 8×1080 通り．
可能性は有限（事実上は無限だが）∴コンピュータがすべての⼿を記憶できたら，じつは，勝敗は最初から決まっている．

アシストテクニカルフォーラム2019 Oct. 25, 201962

AIの強み‥‥パターン処理が得意

⼊出⼒の間に，⼀定のパターンがある対象には強い
データの分析，相関の発⾒，⼈間の戦略策定⽀援に向いている．
囲碁
将棋
チェス

1997 AI vs カスパロフ

2012
2017

AI vs ⽶⻑永世棋聖
AI vs 佐藤名⼈

2016
2017

AI vs イ・セドル九段
AI vs カ・ケツ九段

AlphaGo Google DeepMind

PONANZAIBM Deep Blue
アシストテクニカルフォーラム2019 Oct. 25, 2019

63

AIの強み‥‥⾼速かつ⾼効率な進化サイクル
⼈間の成⻑

V.S.

AIの進化

共有

進化

共有

進化
共有

①発達の初期値がリセットされる①優秀な結果をもとにして進化する②知識の伝達にコストがかかる②よい結果は瞬時にシェアされる
アシストテクニカルフォーラム2019 Oct. 25, 201964

「好奇⼼」をもつロボット

現在のAIは，まだ「⾃ら学ぼう」とはしない．
しかし，ロボットに「好奇⼼」を持たせるための研究は，もう始まっている．実現した場合には，爆発的な進化が予想される．

University of California, Berkeley
出典：https://www.youtube.com/watch?v=Q4bMcUk6pcw

アシストテクニカルフォーラム2019 Oct. 25, 2019

65

AIの弱み‥‥脆弱な⾯がある
認識結果を混乱させる画像（Adversarial example）を⽣成する技術


画像全体の画素値を操作し，Deep Learning を欺く⼿法

パンダ 57.7%



⼈とDLの判断基準の違いを利⽤して⼈が気づけない画像加⼯でDLを欺く→＋
特定パターン付与

テナガザル 99.3%

画像の⼀部の領域に特別なパターンを付与する⼿法

バナナ 97.0%
ナメクジ 0.5%

特別なパターン（⼩領域）[T.B.Brown 2017]

任意パターンを映り込ませる（実物or画像加⼯）ことによってDLの誤識
別を誘発

→

＋

[Goodfellow 2015]

トースター 99.０%
バナナ 1.0%

出典︓G.Szegedy et al.,” Intriguing properties of neural networks” arXiv 2017. https://arxiv.org/pdf/1312.6199.pdf, Ian J. Goodfellow et al., “EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES”, ICLR 2015.
https://arxiv.org/pdf/1412.6572.pdf, Tom B. Brown et al., “Adversarial Patch”, arXiv 2017. https://arxiv.org/pdf/1712.09665.pdf

アシストテクニカルフォーラム2019 Oct. 25, 201966

AIの弱み‥‥抽象化が苦⼿Deep Learning は，現状では「シンボル」を扱っているに過ぎない
⼈間は，単語（シンボル）の意味や概念を理解して正しく解釈できるが，AIにはできない．
シンボルグラウンディング問題
曲がりネギ「曲がっている」

ネギ

三省堂 辞典[1] まっすぐでない[2] 向きを変える
栃⽊県，宮城県などの特産（意味，概念）アシストテクニカルフォーラム2019 Oct. 25, 201967

AIの弱み‥‥⾼次の解釈が苦⼿

これも⼀種のシンボルグラウンディング問題
ただし，セマンティクス（意味論），⽂脈を利⽤した解釈をおこなうことによって，解決しつつある．

アシストテクニカルフォーラム2019 Oct. 25, 201968

AIの弱み‥‥膨⼤な学習データが必要

ImageNet[スタンフォード・プリンストン⼤学]



総画像数︓14,197,122 枚
カテゴリ数︓21,841

アシストテクニカルフォーラム2019 Oct. 25, 201969

データ拡充（Data Augmentation）
実在するデータをもとに，学習⽤データを⼈⼯⽣成する（≒⽔増し） 学習サンプルに幾何変換やノイズを施してデータを⽣成 近年は，２つ以上の学習サンプルを混合した新サンプル⽣成が主流に
 ⽣成より，それに付与すべき教師信号のほうが重要（品質は⼤丈夫︖）
2012

2017

2018

mixup
[Zhang17]

Random Erasing[Zhong17]

CutOut[Devries17]

BC-Learning[Tokozume18]

RICAP[Takahashi18]

単⼀サンプルからの拡充

複数サンプルペアからの拡充

アシストテクニカルフォーラム2019 Oct. 25, 201970

AIの弱み‥‥説明責任の不⾜ 注⽬領域の可視化が可能になってきた しかし，それで⼗分か︖ なぜ，そこに注⽬したのかは不明なまま．
 ⼀⽅で，説明責任は本当に必要か︖（事業性とのバランス）

Class Activation Map[B.Zhou 2016]

多クラス識別の推論時に Deep Learning が注⽬していた領域を可視化

Activation map

可視化⽅法

畳み込み層の出⼒値と重みからマップを算出

Class Activation Map

アシストテクニカルフォーラム2019 Oct. 25, 2019

71

AI・ロボットのビジネス展開
下線は想定する実⽤化・ビジネス例

難易度
パターン認識主体
ソフト

⼈間⼼理との融合







翻訳，記事作成，⾳声認識
Deep Learning の本領発揮
⼊出⼒は定義しやすい
学習データ準備が鍵
コモディティ化もしやすい







データ解析そのものがビジネス（⼯作機械メーカがコンペティタに）
⼊⼒データ収集の環境は整ってきている（まずは収集から始めるのが吉︕）
出⼒をうまく設定できるかどうかが鍵分析法はDLにこだわる必要なし（アカウンタビリティ重視の顧客が多そう）
データシェア効率とセキュリティのバランス







UX，商品リコメンド，官能検査
⼊⼒は制約⼤きく，出⼒定義も困難
マルチモーダル化が必須
⾔語，⼼理学との融合「魅⼒」のセンシング

データ分析（IoT，BigData）

ソフト＋
センサ群

ソフト＋
⾝体（ロボ）

定型動作主体






⽣産ライン
Pick&Operationは⾼難度
経済性と性能要求がシビア
汎⽤化にはセンサもネック
⾃律進化に期待⼤定型＋臨機応変




物流・配送
認識・ハンドともに多品種対応必須
経済性と性能要求

⾼⾃律性




⽣活⽀援
タスク⽣成，エラーリカ
バリ，⼈間との対話必須
保守性・経済性もネック

アシストテクニカルフォーラム2019 Oct. 25, 201972

まとめ ロボットビジョンのさらなる進化に向けて
20XX

2019
1968

お茶をもって
きてくれる
ロボット

2017

Marvin Minsky in a lab at M.I.T. in 1968.
出典︓The New York Times, Jan. 25, 2016.

アシストテクニカルフォーラム2019 Oct. 25, 201973