画像応⽤技術専⾨委員会 2020年度 第1回研究会

2020年5⽉15⽇

録画はご遠慮ください

なぜロボットはお茶を持ってきてくれないのか〜 お茶会ロボットに残された課題 〜

中京⼤学 ⼯学部
橋本 学
関連資料

→

http://isl.sist.chukyo-u.ac.jp/archives3/

本⽇の話題
１．イントロダクション■ ロボットビジョンの基本課題■ 研究のモティベーション

２．実現できたこと，できそうなこと■特定物体の認識（位置・姿勢認識）■把持動作のためのロボットビジョン

３．“機能” 認識とその応⽤■ 全⾃動お茶会ロボットを⽬指して■ ⼈による教⽰動作のロボットへの転移

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 20202

本⽇の話題１．イントロダクション■ ロボットビジョンの基本課題■ 研究のモティベーション

２．実現できたこと，できそうなこと■特定物体の認識（位置・姿勢認識）■把持動作のためのロボットビジョン

３．“機能” 認識とその応⽤■ 全⾃動お茶会ロボットを⽬指して■ ⼈による教⽰動作のロボットへの転移

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

3

AIロボットの利⽤分野
②物流

①⽣産

商品の認識

製造物の認識注⽂③家庭
配送

⽇⽤品の認識精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

4

ロボットビジョンの基本課題

どこに，なにがある︖

どう掴む︖

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 20205

主要３分野におけるロボットとビジョンの課題傾向
⽣産

物流

家庭

Pick and Place

Pick and Operation

動作パターン種類 少（事前に⽣成）

動作パターン種類 多（その場で⽣成）物体モデル利⽤ 可物体モデル利⽤ 難品種 複数だがほぼ既知
特定物体認識zyx

品種 多量かつ未知モデルを利⽤して，対象物の位置と姿勢を認識する

⼀般物体認識モデルを使わず，
クラス名（モノの名前）を認識する“コップ” というクラス

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 20206

この10年くらいの取り組み
現在（2020/5）

2009

⼈⼯知能プロジェクト（2015〜2019）

モノを観る

Amazonチャレンジ2019

⼈とロボットの共進化

⼯場への応⽤産総研・⼤阪⼤学などと共同

産業⽤ロボットへの展開

ロボット0号（2011〜2015）

ロボット1号

お茶会ロボット2号（2020年1⽉）

ばら積み部品の認識

コンビニロボット

ヒトを観る

⽣産システムへの展開（2011〜2012）

2次元⾼速マッチング（CPTM技術）2009

JST-COIプロジェクト（2013〜2021）
⼈間の感性に基づく次世代ものづくり社会の実現
関⻄学院⼤学・慶應義塾⼤学・⾦沢美術⼯芸⼤学などと共同

2021

匠の技センシング（2014〜2019）2019

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

7

⼈間ならごく⾃然にできること（26秒）

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 20208

お茶を持ってきてくれるロボットに必要な主要技術
タスク⽣成
意味理解
は〜い

⾳声認識

お茶持ってきて〜

物体認識
状況理解

本⽇の話題はこのあたり‥

動作・⾏動⽣成ロボット動作精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

9

最近の興味
 物体認識とロボット動作の接点領域“⼈間味” を添えて‥‥
⼈間のような⾃然さ
⾏動計画
動作計画
センサ
データ

認識

制御指令
⽣成

動作⽣成

動作指令
（関節⾓etc）

ディープラーニング
End-to-End拡張
⼤量学習データ

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202010

本⽇の話題１．イントロダクション■ ロボットビジョンの基本課題■ 研究のモティベーション

２．実現できたこと，できそうなこと■特定物体の認識（位置・姿勢認識）■把持動作のためのロボットビジョン

３．“機能” 認識とその応⽤■ 全⾃動お茶会ロボットを⽬指して■ ⼈による教⽰動作のロボットへの転移

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202011

ロボットビジョンの基本構成
ロボットビジョン＝

3次元センサ＋

物体認識（アルゴリズム）

3次元データを取得

物体認識

3次元センサ
⼊⼒データ

対象物同定，
位置姿勢計測ピッキング
認識結果

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202012

３次元センサのありがたみ
普通のカメラ3次元センサiBuffalo 200万画素カメラ

Intel RealSense SR300

Color

Depth

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202013

３次元センサの分類（光学センサ）
⻘︓⽂献例 緑︓商品例

パッシブ

アクティブ
光切断法（スポット光）

ステレオ視（ 2 眼，3 眼，多眼 ）TDS-A（パルステック 1997）

光切断法（スリット光）

Bumblebee 2 / XB3（Point Grey 2006 / 2007）
TVS（三次元メディア 2011）
SV-M-S1（リコー）

三⾓測量

TVS

Bumblebee2
SV-M-S1

マルチベースラインステレオ法[Okutomi1993]

視体積交差法 [Matsuyama2002]

MELFA-3D

VIVID9i（KONICA MINOLTA 2004）

空間コード化法[Posdamer1982], [Sato1985]
Cartesia（SPACEVISION 2004）
MELFA-3D Vision（三菱電機 2013） Cartesia
RV1100（キヤノン）

ランダムドットパターン投光法[Hashimoto1999]
Xtion PRO LIVE（ASUS 2011）
Leap Motion（Leap Motion 2012）
ASTORA（Orbbec 2016）
SR300（Intel 2016）

ステレオ＋パターン投光法

ENSENSO N35

位相シフト法[Halioua1989], [Zhao1994]

同軸測量[Hiura1999]

Shape from Motion

Xtion PRO LIVE

R200

R200（Intel 2015）
D415（Intel 2018）
D435（Intel 2018）
ENSENSO N35 （iDS 2015）

Shape(depth) from (De) Focus

RV1100ASTRASR300, 305
D415

D435

TOF: Time Of Flight

Swiss Ranger SR3000 / SR4000（MESA 2005 / 2008）
D-Imager（パナソニック2010）
DepthSense325（SoftKinetic2012）
Kinect v2（Microsoft 2014）

照度差ステレオ[Woodham1980]

Kinect v2

HeliosDepthSense325

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202014

３次元センサの⽐較
販売開始年度順

Kinect V2m

ENSENSO

R200

Astra

SR300

D415

D435

メーカ名

Microsoft

iDS

Intel

Orbbec

Intel

Intel

Intel

型番

GT3-00005

N35-804-16-IR

82634DSB2P

Orbbec Astra

82535IVCQSPL04N

82635ASRCDVKHV

82635AWGDVKPRQ

販売時期

2014

2015

2015

2016

2016

2018

2018

概略価格

2万1578円

約80万円

約1万9000円（開発ツール
セット料⾦）

約1万7000円

約1万8000円

約2万2677円

約2万4400円

デプス解像度

512x424

1280x1024

628x468

640x480

640x480

1280x720

1280x720

⽔平69.4°x
垂直425.°x
斜め77°

⽔平91.2°x
垂直65.5°x
斜め100.6°

⽔平70°×垂直60°

撮影範囲

⽔平60°x垂直49.5°（⾓度・距離）0.6〜8.0m(最適0.6〜5.0m)

0.2m〜1.5m

0.3m〜10m

0.2m〜10m

Stereo +Light Coding

ランダムドット
パターン（Light Coding）

ランダムドット
パターン（Light Coding）

Stereo +Light Coding

Stereo +Light Coding

Ethernet

USB 3.0

USB 2.0

USB 3.0

USB 3.0

USB 3.0

〇

×

×

×

×

×

0.5〜4.5m

0.3〜3.0m

0.5〜3.5m

計測形式

Time of Flight

Stereo +Light Coding

インター
フェイス

USB 3.0

電源○

15

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

３次元センサの⽐較
 計測データの⽐較① コップ（鏡⾯加⼯ステンレス）② 蝶番（SPCC）③ 像（⽯膏）④ 像（⽯膏・つや消し⿊⾊塗装）⑤ ビン（透明ガラス）⑥ ギア（プラスチック）⑦ ボルト・ナット（ステンレス）

③
①

④
⑤

②

⑥

⑦

撮影シーン

撮影条件

⽩⾊照明（LED）

25.5 ㎝センサ

50.0 ㎝

12.0 ㎝
精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202016

３次元センサの⽐較

【所感】






拡散表⾯物体については ENSENSO による計測が⾼品質
全体的に情報⽋落が少ないのは D415・D435，逆に多いのはSR300（鏡⾯・⿊⾊部分）である．
平⾯安定性が⾼い（平⾯が平⾯として計測される）のは ENSENSO・ASTRA である．逆に低いのは D415・D435 である．
⿊い物体に対する計測制度は D415・D435 が⾼い．
死⾓が少ないのは Kinect v2・ENSENSO・SR300 である．

 ⾒えにくいもの

①⾦属

②⿊⾊

③透明

④⼩型

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

どこにある︖

なにがある︖

どう掴む︖

17

局所特徴量を利⽤した特定物体認識

物体認識の基本技術

特定物体認識技術の例（キーポイントマッチング）
2
3
c
d

b

a

8

7
9

13

マッチング

e

1
4

5 6

10 11
12
14
15

f

コンピュータに格納された3次元モデル
a
b
：
d
：
g
j
：
：

座標（x,y,z）

点を特徴づける数値（特徴量）

43.5,50.2,73.6
37.0,25.3,43.1

5,2,6,‥‥9,20‥‥
45,2,4,‥‥1,3‥‥：
3,52,3,‥‥11,4‥‥：
50,32,4,‥‥3,13‥‥
1,95,34,‥‥13,5‥‥：：

81.6,25.2,33.8
11.5,9.5,234.1
8.9,794.4,212.3→

センサから得られた⼊⼒シーン

1
2
：
4
：
13
14
：
27
30
：

座標（x,y,z）

点を特徴づける数値（特徴量）

53.5,55.1,71.4
64.2,60.0,71.4

74,36,35,‥‥19,76‥‥
103,2,45,‥‥1,34‥‥：
5,2,6,‥‥9,20‥‥：
3,52,3,‥‥11,4‥‥
8,34,24,‥‥92,44‥‥：
3,52,3,‥‥11,4‥‥
58,29,99,‥‥45,320‥‥：101.6,35.3,71.8
25.1,220.9,5.1
734.7,5.4,20.1
21.2,7.5,265.6
95.0,26.1,578.8

マッチングを成功させるためには よい3次元特徴量 の設計が重要
精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

20

特定物体認識（モデルベース⼿法）の研究マップ
1980

2000

1990

2005

物体認識（粗認識）

キーポイントベース

2or3点間の位置・法線間の関係
ISS
Multimodal PPF
Efficient Ransac
PPF[Zhong2009] [Drost2010] [Papazov2010][Drost2012]
点群の位置関係の記述
Scale-Dependent
PPF B2B, S2B, L2L
3D
ShapeContexts
DAI+M-ICP
Depth Aspect Image
Local Shape Descriptor
VC-PPF[Choi2012] VPM[Frome2004][Kitaaki2007] [Novatnack2008]
USC[Takeguchi2001]
RoPS[Kim2011][Tombari2010b][Akizuki2012, Takei2014]
Spin Image
3D Point‘s Fingerprint[Guo2013][Johnson1997, [Sun2001]
TriSI
CSHOT
HONV
Point Feature Histogram
Johnson1999][Guo2015]
Spherical Spin Image[Tombari2011][Tang2012] DoN[Rusu2008]
SHOT[Ruiz-Correa2001]
B-SHOT[Ioannou2012][Tombari2010a]
Fast PFH[Prakhya2015]
CCDoN[Rusu2009]
その他の特徴量
SHORT[Nagase2014]
Local Surface Patches Mesh HOG[Takei2015][Zaharescu2009] NARF
[Chen2007]
法線⽅向分布[Steder2010]
注⽬点周りの特徴記述

⾮キーポイントベース

シーン解釈
COSMOS
3DPO
Aspect Graph
EGI[Horn1984] [Bolles1986] [Dorai1995] [Hashimoto1999] [Cyr2001]

LRF

多⾯体認識 3Dモデルのエッジと濃淡画像の照合[Shirai1971] [Lowe1991] VVV[Sumi1997]

精密位置決め

研究室HPにて公開中

2010

H/Wの⼯夫GPU利⽤
MFC利⽤[Germann2007,Park2010][Liu, Okuda2010]

Local Feature Histogram[Hetzel2001]

Elevation Descriptor[Shih2007]

個別算出型

Point Signatures 3D Point‘s Fingerprint[Sun2001][Chua1997]

Exponential Map[Novatnack2008]

OUR-CVFH[Aldoma2012]

多段解像度探索
DGI
GRSD[Ulrich2009][Adán2011][Marton2010]

ISS
Eigen Vector[Zhong2009] [Mian2010]

⼀括算出型

VFH
[Rusu2010]

Mesh Hog[Zaharescu2009]

DosSantos
SHOT
RoPS[Tombari2010a][Santos2011] [Guo2013]
BOARD[Petrelli2011]

PetrelliLRF
GRF[Petrelli2012] [Akizuki2014]

TriSI[Guo2015]
DPN[Akizuki2015]

Alignment（代表的なもの）
point-to-plane[Chen1991]

Topics
空間コード化法

APO

TrICP
FICP
[Chetverikov2002][Phillps2007]
EM-ICP
Picky-ICP[Granger2002]
LM-ICP
ICP(point-to-point)
ICP+Cached K-d tree search[ZinBer2003][Fitzgibbon2003] [Nuchter2007][Besl1992]
複数枚の同時位置合わせ
重み付けと外れ値除去 [Nishino2002]
距離変換の利⽤ インデックス画像
M-ICP[Zhang1994][Kaneko2003] [Masuda2003] [Oishi2006]
パラメトリック固有空間法[Ikeuchi1993] [Murase1994][Posdamer1982][sato1985]

PCL[2009~]
Cartesia[SPACEVISION2004]
640x480

シリコンレンジファインダ[阪⼤/ソニー1994]

TDS-A

距離・濃淡の最尤統合[Tateno2011][パルステック1997] Swiss Ranger SR1
液晶レンジファインダ[MESA2001]
441x280[sato1988]
ランダムドットパターン投光ステレオ Digiclops[Point Grey1999][Hashimoto1999]
640x480

VIVID9i[KONICA MINOLTA2004]
640x480
Swiss Ranger SR3000

200Hz⼩型距離画像センサ[Tateishi2008]

Swiss Ranger SR4000[MESA2008][MESA2005]
茶︓TOF⽅式
176x144
176x144
⻘︓TOF以外のActive計測
Bumblebee XB3
Bumblebee2
FZD
紫︓Passive計測[Point Grey2006] [Point Grey2007] [オムロン2007]
緑︓etc.
1280x960
648x488

Kinect[Microsoft2010]
640x480
D-IMager[パナソニック2010]
160x120MELFA-3D Vision
DepthSense 311[三菱電機2013][SoftKinetic2011]
約30万point
160x120
DepthSense 325 LEAP
[SoftKinetic2012] [Leap Motion2013]
TVS 320x240[三次元メディア2011]

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

21

物体認識結果箱状物体

形が変形しやすい袋状物体
対象物

⼊⼒シーン外観

⼊⼒シーン外観

認識結果

認識結果
精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202022

どこにある︖

なにがある︖

どう掴む︖

モデルレスでの把持

プリミティブ形状近似による把持位置決定アイデア

プリミティブ形状

乱雑に詰め込まれた物品

（平板）

球

直⽅体

円柱

⼊⼒データ
プリミティブ形状のあてはめ領域セグメン
テーション

あてはめ結果

把持位置
推定

把
持
位
置

緑: 球 ⾚: 平⾯
推定結果
精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202025

プリミティブ形状近似に基づく把持位置推定
近似・把持位置推定モジュール

⼊⼒データ

点群のセグメンテーション
セグメントの抽出

学習モジュール

学習データ群

点群のセグメンテーション
点群を分割した学習データ

セグメントの統合

3D-DNNの学習

点群を分割した⼊⼒データ

学習済みネットワーク

把持位置推定ルール

⾯プリミティブの尤度推定
尤度

尤度統合による⽴体プリミティブ近似

把持位置推定⽴体プリミティブで近似した結果

把持位置推定の結果
精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202026

評価実験結果
⾯プリミティブ・⽴体プリミティブの近似性能
⾯プリミティブの近似成功率 [%]⼿法

RANSAC法

提案⼿法“Rectangle”

81.7

85.3

“Disk”

0.0

69.8“Cylindrical
Surface”

52.9

92.3

“Spherical Cap”

96.0

95.1

⽴体プリミティブの近似成功率 [%]⼿法

曲率法

End-To-End
3D DNN *

提案⼿法

“直⽅体”

92.0

83.0

94.0

“円柱”

20.0

85.0

94.0

“球”

87.0

96.0

96.0

＊︓3D ShapeNets 法

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

周囲の状況に応じた把持

ピッキングリスク最⼩化によるロボット動作パラメータ決定27

ロボットハンドによる対象物ピッキング

失敗例

成功例

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202029

基本アイデア
1. 環境内の各物体間の相対的な余裕度を数値化
2. 余裕度指標を統合し，最⼤化する動作パラメータを決定
３種類の余裕度指標

対象物
掴みやすさ

静的クリアランス

動的
クリアランスロボットハンド

障害物

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202030

把持余裕度推定モデルによる把持パラメータ推定
３つの余裕度指標を統合した把持余裕度推定モデル

把持余裕度推定モデル
把持余裕度①ハンドと障害物の動的クリアランス

-

-

②対象物の
掴みやすさ

③対象物と障害物の静的クリアランス※ 𝐩︓把持パラメータ（把持位置，姿勢，開⼝幅）

𝑃 𝐩 を最⼤化する把持パラメータ 𝐩 を推定

𝐩argmax 𝑃 𝐩
𝐩∈𝕊

𝕊 : 𝐩 の候補集合

31

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020算出された余裕度指標

対象物① 掴みやすさ② 静的クリアランス
⼊⼒データ（点群）

低

把持余裕度

⾼

③ 動的クリアランス
低⾼精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202032

ロボット競技⼤会への適⽤認識＋ロボット制御の総合技
どこにある︖

なにがある︖

Amazon チャレンジへの挑戦
2015年
2016年
2017年

どう掴む︖

（三菱電機，中部⼤とコラボ）

第１回⼤会（シアトル）
第２回⼤会（ライプツィヒ）
第３回⼤会（名古屋）2017年度 Stowタスク部⾨世界3位



制限時間内にどれだけ正確にアイテムをピッキングできたかを競う．
課題は年々実⽤的に，また，難しくなった．

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

34

ARC2017の把持対象物＋当⽇配布（未知）アイテム

挑戦的な対象物

Reynolds_Wrap

Burts_Bees

73

Colgate_Toothbrush

8

14

Measuring_Spoons

25

Expo_Eraser

Ice_Cube_Tray

21

Mouse_Traps

26

FlashlightBlack_Fashion_Gloves

18

23

Poland_Spring28

Duct_Tape

Laugh_Out_Loud_Jokes

Hinged_ruled_Index_Cards

競技開始の45 分前に配布

12

17

22

Composition27

Mesh_Cup

Windex16

Robots_Everywhere

6

11

10

15

20

5

Speed_Stick

Crayons

Hand_Weight

Glue_Sticks

19

Avery_Binder

Marbles4

9

Epsom_Salts

Robots_DVD

13

Bath_Sponge

Balloons

2

1

Tissue_Box

24

Band_Aid_Tape

Ticonderoga_Pencils

30

29

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

35

本⽇の話題
１．イントロダクション■ ロボットビジョンの基本課題■ 研究のモティベーション

２．実現できたこと，できそうなこと■特定物体の認識（位置・姿勢認識）■把持動作のためのロボットビジョン

３．“機能” 認識とその応⽤■ 全⾃動お茶会ロボットを⽬指して■ ⼈による教⽰動作のロボットへの転移

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202036

お茶をたてる動作（ロボットの場合）お茶を⼊れる

お湯を⼊れる

かきまぜる

茶さじを探す

柄杓を探す

茶筅を探す

持ち⽅を決定持ち⽅を決定持ち⽅を決定茶さじを持つ

柄杓を持つ

茶筅を持つ

ナツメを探すすくい⽅を決定

茶碗を探す

すくい⽅を決定

お湯をすくうまぜ⽅を決定お茶をすくう

茶碗を探す

まぜる

茶碗を探す

⼊れ⽅を決定⼊れ⽅を決定茶碗に⼊れる

茶碗に⼊れる

⼈間なら，道具の使⽤⽬的を想定して持つことができる．
⇒ 道具の使い⽅がわかるロボット
精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

37

⽇⽤品は “形” に “機能” を持っている
⽔を蓄える
つまむ

つまむ

すくう

つまむ

たたく

つまむ

⽀える

つかむ
つまむ

挿す

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

38

機能の発現に影響を与える主な要因
形状

動き（強さ・⽅向）

⽔を蓄える

つまむ

刺す

つかむ
持つ

持つ

叩く

⽀える

材質

すくう

切る

39

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

機械学習による “機能” 認識
Depth or RGB

Deep Learning（他⼿法も検討）

蓄える
つまむ

…

つかむ
学習⽤の正解データベース

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202040

機能認識の結果

⼊⼒(RGB-D)

仮ラベル

最終結果

Contain

GT

Grasp

⼊⼒
(RGB-D)
Wrap-Grasp

仮ラベル

最終結果

Scoop

SupportGT41

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

機能属性ラベル付きデータセットの公開（2019年5⽉24⽇公開）

http://isl.sist.chukyo-u.ac.jp/archives/nedopro/a. ⽇⽤品 全周囲 3D モデル [モデル16品種321個，機能9クラス]
使⽤例

データ形式

⽇⽤品の例

3Dモデル

ply 形式obj 形式
stl 形式

機能属性ラベル

ply 形式

全周囲データを⽤いた
セグメンテーション【PointNet など】

機能属性ラベル付き 3D モデルの例

b. ⽇⽤品シーン（2.5D） [モデル10品種11014枚，機能9クラス]

使⽤例
データ形式

⽇⽤品シーンと機能属性ラベルの例

RGB画像
2.5Dデータ

png 形式
pcd 形式

機能属性ラベル

png 形式

画像・点群ベースの機能認識（セグメンテーション）【SegNet，U-Net など】
a. のデータを⽤いた
モデルマッチング

c. 機能属性セグメンテーション⽤シーン（2D）[モデル6品種2799枚，機能6クラス]
データ形式
RGB画像

jpg 形式

機能属性ラベル

png 形式使⽤例

画像ベースの機能認識（セグメンテーション）【SegNet，U-Net など】

茶道具シーンと機能属性ラベルの例
精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

42

機能を認識しているようす（10fps）（44秒）

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

43“機能” から対象物の名前（種類）を知ることもできる
さまざまな機能属性の含有⽐率を利⽤してカテゴリ名を推定「コップ」カテゴリ

⽔を蓄える「スプーン」カテゴリ

つかむ

つまむ

「ハンマー」カテゴリ

すくう

テーブルトップシーンの例

たたく

該当無し

（34秒）

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202044

“機能” がわかると何がうれしいか︖①
初めて⾒るスプーンでも，適切なすくい動作（パラメータ）を決定できる．
ロボットハンド

ハンドの動作軌跡 𝒑𝟐

𝒙

𝑑
スプーン

𝒙

𝒙

アプローチ位置（Grasp 点群の重⼼）

スプーン先端の移動軌跡 𝒑𝟏

なつめ

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202045“機能” がわかると何がうれしいか︖②
道具の姿勢によらず，動作を作ることができる．
機能が発現する姿勢としない姿勢
Scoop

機能なし

Scoop が発現する（表向き︔ON）

Scoop が発現しない（裏向き︔OFF）

Contain

機能なし

Contain が発現する（表向き︔ ON）

Contain が発現しない（裏向き︔ OFF）

機能情報をもとに，
機能＝ON ならば そのまま動作
機能＝OFF ならば ONにしてから動作
精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202046

①と②の実証（22秒）

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

お茶会ロボット２号

47（2020年1⽉16⽇完成，YouTube公開中）（3分50秒）精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

48

お茶会ロボットにできないことの⼀例「お茶を持ってきて」‥‥この実現に，まだ多くの難題が残っている︕
そもそも，この⾔葉を，細かいタスクに分解できない
・必要ならお湯を沸かす
・ナツメに蓋があったら開ける
・⾜らない道具があったら取ってくる︓
︓

現在のお茶会ロボットにできないこと
茶さじが裏向きだ
ったら掴めない
お湯を沸かす⽅法を知らない

⼩さな茶さじは掴めない

余ったお湯を茶釜に戻すことができないお茶の量の調節ができない泡⽴ち具合は運次第
精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

⼈による動作教⽰のロボットへの転移

49

組⽴て作業で扱われている代表的な部品(a) リンク(b) コネクティングロッド(c) コネクタ(d)ボルト(e) ナット(f) ギア

出典︓ミスミ総合カタログ，https://jp.misumi-ec.com/

株式会社ゴーシュー，http://www.gohsyu.com/product/

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202051

代表的な組⽴て作業
組⽴て作業
道具⾮使⽤

道具使⽤

挿⼊タスク
回転タスク
能動型タスクボルトを⽳に挿⼊
コネクタを⽳に挿⼊
シャフトを⽳に挿⼊

受動型タスク
完全分離型
ロッドを棒に挿⼊
リンクを棒に挿⼊
圧着端⼦を棒に挿⼊

ドライバでネジを固定
スパナでネジを固定

打ち込みタスク
ハンマーで釘を打つ
ハンマーでビスを打つ

重なり型

ファンを軸に挿⼊
ギアを軸に挿⼊
ナットをボルトに挿⼊

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202052

ロボットによる組み⽴て作業の動作⽣成
⼈から学ぶロボット

ロボットが部品の機能を理解して，⾃ら動作を⽣成

⼈が部品ごとに
動作教⽰

モノの「機能」概念に基づく⼈からロボットへの動作転移
基準部品

類似A
類似B

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

53

基本アイデア⽬的

⼈間が教⽰したロボットパラメータを、未知部品に転移
ロボットパラメータとは，把持位置と作⽤位置

把持位置転移作⽤位置転移把持領域
作⽤領域
作⽤補助領域
教⽰した把持位置
教⽰した作⽤位置転移した把持位置転移した作⽤位置

教⽰部品 A

未知部品 B

未知部品 C

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 202054

提案⼿法の流れ
教⽰部品の点群
機能認識
⼈が教⽰した把持位置，作⽤位置，
動作パターン

⾃動転移

領域同⼠で
対応付け

未知部品の点群
機能認識

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

55

ロボットによるロッド挿⼊実験

部品 A

部品 B

部品 C

部品 D

部品 E

部品 F

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

56

ロボットによるロッド挿⼊（予備実験）（1分2秒）

精密⼯学会 IAIP 2020年度第1回研究会 May 15, 2020

Thank you for your attention!

57