ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

日本ロボット学会学術講演会2021 オープンフォーラム
食品評価委サンプル規格標準化 ～食品業界のDX・自動化推進に向けて～

食材やそのサンプルを用いた料理動作の計画
大阪大学大学院基礎工学研究科
原 田研 介(C) Sonoyama

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

ロボットによるヒト作業の代替(C) Sonoyama

製品組立

日常生活
物流

問題点
• 新たな作業への適応・多様な作業の実現
例• 製造における多品種少量生産• 多様な日常の家事

2

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

本発表では(C) Sonoyama

ロボットを使った調理作業の自動化の研究を紹介使われる実際の食材，食材サンプル，食材の画像

3

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

料理ロボットの実現のための作業計画
料理レシピを理解(C) Sonoyama

加工方法の決定

食材のハンドリング料理の盛り付け
4

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

本日の発表内容(C) Sonoyama• レシピを基にした料理の作業計画(Robomech2020, SI2020)• （食材の物理的特徴に基づく調理動作の推定）• 食材のピッキング作業(Robomech2020)• 盛り付けのための食品配置生成(SI2019)

5

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

本日の発表内容(C) Sonoyama• レシピを基にした料理の作業計画(Robomech2020, SI2020)• （食材の物理的特徴に基づく調理動作の推定）• 食材のピッキング作業(Robomech2020)• 盛り付けのための食品配置生成(SI2019)

6

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

本研究の概要
料理レシピ(C) Sonoyama

レシピにある動作例)人参を切る“人参”を切る

包丁を把持しまな板の上で“食材”を切る
レシピにない動作“まな板”の上に “包丁”を“人参”を置く 把持する“容器”の上に“食材”を置く“道具”を把持する 7

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICSノード(C) Sonoyama

オブジェクトノード：対象物の名称、存在位置と状態を定義
モーションノード：動作の名称と動作前後の把持対象物を定義
Knife

Knife

Hand Clean

Cut

CarrotCutting board

Whole[Knife, Knife]
属性

状態

把持される対象物[開始時, 終了時]

属性

存在位置

Hand Dirty

Cutting board
Work ingredient insidespace(Carrot)

CarrotCutting board

Cut

Cutting board
Work ingredient insidespace(Carrot)

8

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

変数付き機能ユニット(C) Sonoyama

名称，属性の一部を変数として持つ機能ユニット
変数に値を代入することで機能ユニットになる
Knife

Knife

Hand Clean

Cut

“食材”
CarrotCutting board

Hand Dirty

Whole[Knife, Knife]“食材” を切る
変数

Cutting board
Work ingredient insidespace(Carrot)(“食材”)“食材”
CarrotCutting board

Cut値

食材←人参

Cutting board
Work ingredient inside(“食材”)
space(Carrot)

9

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

変数付き機能ユニット(C) Sonoyama

名称，属性の一部を変数として持つ機能ユニット
変数に値を代入することで機能ユニットになる
Knife

Knife

Hand Clean

Cut“Carrot”
CarrotCutting board

Hand Dirty

Whole

Cutting board
Work ingredient inside
space(“Carrot”)(Carrot)(“食材”)[Knife, Knife]“人参” を切る“Carrot”“食材”
CarrotCutting board

Cut

Cutting board
Work ingredient inside(“Carrot”)(“食材”)
space(Carrot)

10

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

モーションDB(C) Sonoyama“変数付き機能ユニット”が保存される
レシピにある動作
“食材”

“食材”
“容器A”
“容器B”

Pour
“食材”を“容器A”から“容器B”へ注ぐ

“食材”
包丁
まな板

“容器A”

レシピにない動作

“道具”

Cut

包丁

“食材”を切る

まな板“道具”“道具”を把持する

“容器B”
“食材”

Grasp

“食材”

“食材”
“容器”

Pick & Place“食材”を“容器”へ移動する“容器”

11ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

ネットワーク作成手順の概要(1/2)
Step２(C) Sonoyama

Step１

料理レシピ
目的語→動詞 A
目的語→動詞 B
修飾語→動詞 A

作業環境の認識＋⋮
レシピにある動作

レシピにある動作

Main M.

Main M.

Sub M.

Sub M.

レシピにない動作

レシピにない動作

12

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

ネットワーク作成手順の概要(2/2)
Step２(C) Sonoyama

Step１

料理レシピ
目的語→動詞 A
目的語→動詞 B
修飾語→動詞 A

作業環境の認識

Step３＋⋮
レシピにある動作

レシピにある動作

Main M.

Main M.

②④①③

Sub M.

Sub M.

レシピにない動作

レシピにない動作

13

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS(C) Sonoyama“Cut a potato and put it into a bawl”

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS(C) Sonoyama“Heat a frypan and grill the pork”

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

本日の発表内容(C) Sonoyama• レシピを基にした料理の作業計画(Robomech2020, SI2020)• （食材の物理的特徴に基づく調理動作の推定）• 食材のピッキング作業(Robomech2020)• 盛り付けのための食品配置生成(SI2019)

16

ENGINEERING SCIENCEOSAKA UNIVERSITY

寿司種のピッキング

ROBOTICS(C) Sonoyama

ヒトは重なっている物体の間に指を滑らせながら把持→この動作を参考に，ロボットで寿司種を把持
17

ENGINEERING SCIENCEOSAKA UNIVERSITY

提案手法の概要

ROBOTICS
セグメンテーション2種類(C) Sonoyama

把持方法2種類
点群取得

セグメンテーション

計4通り
把持方法

ヒトの把持動画

ヒトの把持動画

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

把持方法1(C) Sonoyama

クラスタの間の谷に指を当てる
ここから挿入指を揺らしながら対象物の間に指を挿入
前後＋斜め下19

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

把持方法2(C) Sonoyama

クラスタの端に指を当てる

ここから挿入対象物の端(対象物とまな板の間)に指を挿入
平行移動＋回転20

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

実験(C) Sonoyama• 二種類のセグメンテーション方法- Plane Model Segmrntation(PMS)- LCCP Segmentation(LS)• 二種類の把持方法

PMSLS- 対象物の谷に指を前後に動かしながら入れる方法(把持方法1)- 対象物の下に平行移動+回転で指を入れる方法（把持方法2）

把持方法1

把持方法2

• 置く間隔が異なる3通り，異なる寿司種1通り合計4通り• 各10回ピッキング

サーモン
10[mm]

サーモン
15[mm]

サーモン
20[mm]

ホタテ
15[mm] 21

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

実験(C) Sonoyama

×2.0

把持方法1×2.0

把持方法2
22

ENGINEERING SCIENCEOSAKA UNIVERSITY

結果

ROBOTICS
把持方法1はすべての間隔，寿司種で把持可能→谷に指さえ入ればよい

10080
把持成
功率（％）

(C) Sonoyama

100

把持方法180
把持成
功率（％）

60
40200

把持方法2604020

ここから挿入0種類

種類

Plane Model Segmentstion

Plane Model Segmentstion

LCCP Segmentation

LCCP Segmentation

23

ENGINEERING SCIENCEOSAKA UNIVERSITY

結果

ROBOTICS
把持方法2は間隔が狭いとき把持困難→隣の寿司種に干渉する

100
80
把持成
功率（％）

(C) Sonoyama

100

把持方法1

80
把持成
功率（％）

6040200

把持方法2

60
40200

種類

種類

Plane Model Segmentstion

Plane Model Segmentstion

LCCP Segmentation

LCCP Segmentation

24

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

本日の発表内容(C) Sonoyama• レシピを基にした料理の作業計画(Robomech2020, SI2020)• （食材の物理的特徴に基づく調理動作の推定）• 食材のピッキング作業(Robomech2020)• 盛り付けのための食品配置生成(SI2019)

25ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

研究の位置付け(C) Sonoyama

自律的な料理ロボットに必要なスキル
レシピの解
読

食材の調理

自然言語処理食材の認識
carrot

食品の盛り付け26

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

フレームワーク(C) Sonoyama

シミュレータ:食品の配置生成
ロボット：生成された配置の再現
Input

Simulator

Robot

Image

CNN

Score

highlocation

Place

Rearrangement

low:Information:Action

27

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

提案手法(C) Sonoyama• CNNによる配置画像の学習• アルゴリズムによる食材の配置

Input

Simulator

Robot

Image

CNN

Score

highlocation
Place

Rearrangement

low28

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

データセット画像の作成(C) Sonoyama

×1×3
使用する食品を様々な組合せで作成

ランダム配置生成

29

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

データセットの作成(C) Sonoyama

AWSのAmazon Mechanical Turkを使用し食品配置に対する評価を回収• 配置の絶対的評価が難しい→相対的な評価を行う
There are two cook pictures.
Which food arrangement do you think is better ?
(Please try to avoid choosing
theこの2枚のフルーツの
option 'Not sure', as much as you can.)

配置画像について以下の選択肢からお答えください
•
•
•
•
•

左が良い
どちらかと言えば左が良いどちらともいえない
どちらかと言えば右が良い
右が良い

設問

Worker30

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

アンケートについて(C) Sonoyama

アンケート1つに20の設問
1770個のアンケートを提示（回答者数:478）

1%(5)

4%
5% (17)9%(26)
(45)

27%
(130)

-20
20-29

53%
(254人)

30-39
40-49
50-59
60-69

年
齢
層

70-79

回
答時
間[s]

平均
10分10秒
8%(36)
インド

28%(135)

64%(307人)

最短52

アメリカ
その他

国
籍
31

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

食品配置の評価手法(C) Sonoyama

配置の絶対的な評価が難しい

食品の組合せが同じ画像同士で相対的に評価を行う

上の二つの食品の配置について以下の選択肢からお答えください
•
•
•
•
•

左が良い(1,0)
どちらかと言えば左が良い (0.75,0.25)
どちらともいえない(0.5,0.5)
どちらかと言えば右が良い (0.25,0.75)
右が良い(0,1)

一枚の画像に対し，複数の比較を行う
複数の評価の平均値をその画像のスコアとする(左のスコア，右のスコア)

32

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

提案手法(C) Sonoyama• CNNによる配置画像の学習• アルゴリズムによる食材の配置
Input

Simulator

RobotImage

CNN

Score

highlocation
Place

Rearrangementlow

初期配置はランダムに生成

33

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

再配置アルゴリズム(C) Sonoyama

CNN学習器を利用した配置生成

食品の移動スコア≧閾値

ロボットによる食品の盛り付けorスコア＜閾値
近傍

ランダム

食品の配置更新の有無を判定

34

ENGINEERING SCIENCEOSAKA UNIVERSITY

食品の移動について(1)ROBOTICS(C) Sonoyama

食品を1つをランダムに選択し…
90%の確率で近傍へ移動

8方向の内，最もスコアの高い配置を採用

10%の確率でランダムに移動3回試行し，最もスコアの高い配置を採用
35

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS

×2

動画

×2

シミュレーションで作成した配(C) Sonoyama

36

ENGINEERING SCIENCEOSAKA UNIVERSITYROBOTICS
Thank you!

研究室における料理作業の自動化に関する研究の紹介を行った．
研究の中で用いた食品やそのサンプルについて述べた(C) Sonoyama