実世界の事物と紐づいた対話機能を持つロボットを目指して
理化学研究所 ガーディアンロボットプロジェクト (GRP)
吉野 幸一郎奈良先端大
ロボット対話知能研究室

知識獲得・対話研究チーム
Knowledge Acquisition &Dialogue Research Team

2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKENIntelligent robot dialoguelaboratory, NAIST

Language and Robotics 研究会

1

運営より
◆質疑は Slido を利用します

2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

2

自己紹介
◆吉野 幸一郎 (Koichiro Yoshino)⚫ 2009
学士（環境情報学） 慶應義塾大⚫ 2014修士（情報学） 京都大, 博士（情報学） 京都大⚫ 2014
学振PD 京都大 学術情報メディアセンター⚫ 2015
特任助教、助教 奈良先端大⚫ 2020
現職（理研GRP知識獲得・対話研究チームリーダー）⚫ 自然言語処理、音声言語処理、対話システム、対話ロボット（と機械学習）の研究⚫ 2016-2020⚫ 2017-2020⚫ 2019-2020⚫ 2020-2022⚫ 2022-

さきがけ研究員 JST
客員研究員 理研AIP
客員研究員 ハインリッヒハイネ大客員准教授 奈良先端大客員教授 奈良先端大（ロボット対話知能研）

2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

3Dialog System Technology Challenge◆世界を巻き込んだ対話研究のオープンサイエンス化⚫Google, Amazon, Meta, Microsoft, NTT, Mitsubishiなどが shared task としてデータを公開・ベンチマーク化する活動を主導 (2015-)⚫毎年 AAAI 併設のワークショップを実施⚫研究のトレンドとしては実世界化、○○-grounded

2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

4研究室のメンバー◆特別研究員⚫湯口 彰重
⚫河野 誠也⚫Angel Garcia Contreras◆テクニカルスタッフ⚫波部 英子◆JRA⚫田中 翔平

◆客員研究員◆パートタイマー・研修生⚫中村 泰貴⚫金﨑 翔大⚫山本 賢太⚫植田 暢大⚫稲積 駿⚫山﨑 康之介⚫渡邉 寛大⚫大戸 康隆⚫飯尾 尊優（同志社）⚫品川 政太朗（NAIST）
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

5理研ガーディアンロボットプロジェクト◆人間の認知機能を中心とするこころのメカニズム（認識、記憶、思考、注意、感情、知能、動機）を計算論的に解明し、ロボット実装を通じて構成論的に実証する

原理的解明

生命系
人文系

脳の高次機能研究
心の科学

モデル
アルゴリズム

心の計算論

構成論的解明
AI研究
心の構成論

心理学
相互作用
フィードバック
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

工学系
情報系

メディア
情報処理

ロボット
研究

Language and Robotics 研究会

6生活空間におけるロボット

Astro, Amazon

HSR, Toyota

Pepper, Softbank

Stretch, hello-robot

これらのロボットに次に期待されるのは言語・対話インタフェースを備えつつ我々の生活を豊かにすること
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

7なぜ言語か？
◆情報システムに人間の意志を伝え、仕事をさせるために、プログラミング言語や種々の約束を持った指令、ハードウェ
ア操作など、いわゆるヒューマンインタフェースが開発されて来ているが、人間の意志を伝える道具としてもっとも大切なものが自然言語であることは間違いない。言語はすべての人が特別な訓練を経なくても使え、自分の意志を非常に微妙な所まで伝えることができる道具である。
「自然言語処理（編: 長尾 真） まえがきより」◆これは真でもあり偽でもある⚫わざわざ言わなくても手伝って欲しい⚫言ったことは確実に手伝って欲しい
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

8なぜ言語か◆人、人のこころ、人の意識に興味がある⚫ こころ、意識とは？
⚫ 人が「知能」と呼んでいるものは何か？

◆言語はコミュニケーション・知識構築のツールとして発展⚫ 高度な言語運用能力は知能の働きと明確な関係がある⚫ 他人の知恵を「言語」として積み重ねることが知能の本質⚫ 巨人の肩に立つ⚫ コミュニケーションを通じた情報の伝達・蓄積・推論◆ロボットと自然言語⚫ 現在のロボットには「経験を蓄積して利用する能力」「他者の経験・知識を利用する能力」が足らない⚫ 自身の経験を言語化（符号化）できていない⚫ 他者から与えられた説明から学ぶことができない
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

9言語処理と実世界処理◆人間との対話でのコンテキストを理解しなければならない◆対話コンテキストとは「何を話したか」と「どういう状況にあるか」の両方を指す⚫話した内容に応じて答えるべき内容が変わる⚫見ているものに応じて話すべき内容が変わる
例 DSTC: Visual dialogue
犬についての話をしていたので犬の色を答えるのが適当

2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

10状況を理解するあれ、一個足りない

ユーザはグラスを持っている机にグラスがあるグラスをもう一個持っていきましょうか？

×言語を理解して欲しい○空気を読んで欲しい

2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

11気の利いた行動◆Reactive⚫behave in response to what happens to them, rather
than deciding in advance how they want to behave⚫ユーザに言われたことをする行動（従来の家庭内ロボット）◆Proactive⚫intended to cause changes, rather than just reacting tochange⚫ロボット・システムが主導権を持ってユーザに提案する◆Reflective⚫thinking deeply about something⚫ユーザのことを慮ったユーザに言われた以上の内容を含む
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

12

関連研究: SayCan◆Google が発表した家庭内ロボット [https://say-can.github.io/]◆「テーブルを拭いて」などの要求に対して言語モデルと行動評価関数を用いてロボットの行動系列を導く⚫ スポンジを見つける -> スポンジを持ってくる -> テーブルを拭く

◆ユーザがロボットに対して明確に行動系列を命令しないというタスク設定は本研究と類似している◆本研究はより曖昧な要求 (そもそも命令しない) に焦点を絞る
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

13データ収集◆どう気の利いた行動を収集するか？
◆ワーカーにロボットが定義された行動をとっている
動画を教示し、その行動が気が利いているとみなせるような先行発話と状況を入力してもらう

入力

お酒を飲もうと話していて準備をしているときに、足らないグラスを探して「あれ？もう一個足りない」と言った。

グラスはいりますか？
クラウドワーカー

2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

あらかじめ定義

Language and Robotics 研究会

14ワーカーに見せた動画

2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

15◆ロボットは Stretch RE1 を使用⚫カメラとロボットアームを備えている家庭用
モバイルマニピュレータ⚫ロボットアームの耐荷重は 1.5 kg◆ロボットの行動カテゴリは Stretch RE1 が実行可能な行動に基づいて定義
カテゴリ

カテゴリ数

グラスを持ってくる、コップを片付ける、ゴミをゴミ箱に捨てる、など

40◆カテゴリごとに10対話、合計400対話を収集
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

16作成したデータの例

2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

17

状況の認識uttr: ``あれ？もう一個足りない’’ action: グラスを持ってくる
viewpoint: 1 position: キッチン
pose: 立っている
has: グラス, お酒
coffee table: (なし)
dining table: お菓子, コップ, など
kitchen: (なし)

◆ロボットの視点番号、ユーザの位置、ユーザが持っているもの、キッチンにあるもの、など状況を説明するラベルを人手で付与
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

18気の利いた行動の選択

2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

19

実験設定
◆事前学習された日本語 RoBERTa と EfficientNet を利用◆400本のデータを五分割交差検証にて評価◆各分割データについて10回実験を試行◆評価指標• Accuracy• R@5: 正解カテゴリが上位5位以内に含まれている割合• Mean Reciprocal Rank (0 < MRR <= 1):
正解カテゴリの順位
テストデータ中のユーザ要求
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

20

実験結果
モデル

Accuracy (%) R@5 (%) MRR

uttr**27.02**53.85**0.4054

uttr+img**27.23**54.50**0.4064

63.58

87.12

0.7417

uttr+img+desc

uttr:
ユーザ発話のみを入力とした場合
uttr+img:
ユーザ発話と画像を入力とした場合
uttr+img+desc: ユーザ発話と画像に加え説明的な特徴量も入力とした場合◆どの指標についても画像から得られる説明的な特徴量も利用したほうが性能が劇的に向上◆こうした気の利いた行動の選択に有効な特徴量ラベルを画像から抽出することが重要→ 状況理解として何を用いるかが重要
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

21分類成功の例と注視重み

user uttr: ``あれ？もう一個足りない’’
gold: グラスを持ってくる
uttr+img: じゃがいもを持ってくる
uttr+img+desc: グラスを持ってくる
has attention:
[CLS]

グラス

[SEP]お酒[SEP]◆説明的な特徴量を利用することで、ユーザ発話と画像のみでは選択できなかった気の利いた行動を選択可能
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

22分類成功の例と注視重み

user uttr: ``ごちそうさま’’
gold: ケチャップを片付ける
uttr+img: ゴミをゴミ箱に捨てる
uttr+img+desc: ケチャップを片付ける
has attention:
[CLS]

ケチャップ

[SEP] ラップ [SEP] ペット [SEP]
トップ

ボトル

◆説明的な特徴量を利用することで、ユーザ発話と画像のみでは選択できなかった気の利いた行動を選択可能
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

23分類成功の例と注視重み

user uttr: ``食べ終わったよ’’
gold: お菓子を片付ける
uttr+img: カップを片付ける
uttr+img+desc: お菓子を片付ける
has attention:
[CLS]

お菓子

[SEP]

ラップ
トップ

[SEP] ペット
ボトル

[SEP]

◆説明的な特徴量を利用することで、ユーザ発話と画像のみでは選択できなかった気の利いた行動を選択可能
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

24

分類失敗の例

user uttr: ``明日はやっと休みだ’’
gold: 水筒を棚にしまう
uttr+img: バナナを持ってくる
uttr+img+desc: グラスを棚にしまう
has attention:
[CLS]

水筒

[SEP]

ペット
ボトル

[SEP]

◆適切に注視を当てられていない場合もある◆因果推論などの枠組みでより正確に状況と気の利いた行動を結びつける仕組みが必要
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

25

ロボットに求められること◆言語を含む周囲の状況を適切に理解すること⚫対話コンテキストと実世界の事物との「接地」が必要⚫観測したものの何について話しているか「選択」が必要

あの建物は？
東京スカイツリーです
高さは？
634mです言語+マルチモーダル情報を使った状況の理解
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

26

周囲の状況の理解

2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会27

一人称視点での認識結果

2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

28

ロボットの認識・記憶・行動記憶

記憶

対話

内部状態

B脳の機能

意図生成

内部表現のバッ
ファ＝短期記憶？

行動計画

認識結果

自己位置

内部表現

発話内容生成

話す内容
感情付き

目的地

A脳の機能
発話制御
周囲環境認識自己位置推定

センサ入力

認識

障害物回避

移動制御
移動

外界
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

外界
Language and Robotics 研究会29

理解と言語◆いかに理解結果を説明するか？
⚫自身の動作や周囲の状況を言語表現で記述する
支援動作前の状態 (A)

支援動作後の状態 (B)

説明: トイレの便座の蓋を開ける
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会30

理解と言語◆三人称視点でも同じ⚫ロボットは家庭内環境システムの一部とみなしてよい
支援動作前の状態 (A)

支援動作後の状態 (B)説明: フォークをテーブルの上の皿の脇に並べる
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会31

シーングラフの利用◆画像中のイベント（事態）をグラフ形式で記述⚫画像中の情報を主語-関係-目的語 の triple で表現⚫言語とシーングラフの関係◆どの状況を理解することが重要か？
⚫おそらくシーングラフが変化した点が重要⚫事態に変化が生じた⚫その変化を説明する

2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Activity

person -> holding -> fork

person -> putting -> fork
動画の時間系列

支援動作前の状態 (A)

支援動作後の状態 (B)フレーム

主語(subject)persondishpersondishdish

関係(relation;動作/事態)

holdingon

putting

next toon

目的語(object)

fork

table

fork

fork

table

変化した部分Language and Robotics 研究会

32

関連研究: Diff の説明◆DUDAモデル⚫2枚の画像中のどこが変化したかを説明するモデル⚫変化点に着目した画像の埋め込み表現を作成

小さい円柱の位置が変化した．

◆本研究: 変化のイベントを捉える⚫ロボットが捉えるべきは変化の事態⚫DUDAと類似するモデルを利用可能

2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

小さい円柱を立方体の前へ移動させる．
Language and Robotics 研究会

33

動作行動予測モデル◆DUDA を拡張した変化に関連する事態を捉える仕組み⚫変化に関するのエンコーダを利用することで着目点を決定⚫補助タスクとしてシーングラフ予測を利用
Current state (A)Auxiliary task: scene graph prediction
person putting fork, dish next_to fork …

Attention on images

(A)

diff

Repr. diff(B)diff

Spatial attention

Target state (B)Image encoder (CNN)

Repr. (A)Scene graph prediction model𝑙(A)Dynamic attention𝑙(diff)

Dynamic attention𝑙(B)Captioning modelRepr. (B)Arrange the forks by the plates on the table .

Main task: operative action captioning
DUDA

2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

34

動作行動予測の評価◆ベースラインはシンプルなDUDA⚫シーングラフを同時予測する場合を追加⚫交互に言語生成とシーングラフ予測を学習するか⚫シーングラフ全体を予測するか差分を予測するか◆自動評価: BLEU, ROUGE-L, CIDEr

2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

35

動作行動予測の人手評価◆人手評価で内容の適切性だけでなく流暢性も向上⚫事態の理解にシーングラフの予測が有効

支援動作前の状態 (A)

支援動作後の状態 (B)ベースラインバスケットの中の服をバスケットに移したシーングラフ（全体）バスケットに入っている服を洗濯しているシーングラフ（差分）バスケットの服を取り出している

2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

36

予測例
支援動作前の状態 (A)

支援動作後の状態 (B)ベースライン
ボウルに野菜の入った食器を入れるシーングラフ（全体）
ボウルにサラダを入れているシーングラフ（差分）ボウルの中から食べ物を出している

ベースライン
服を物干しにかけてかけているシーングラフ（全体）
服を干すシーングラフ（差分）
服を物干しに干す

ベースライン
IH機を洗っている
シーングラフ（全体）
食洗機にコップを入れたシーングラフ（差分）
食洗機のかごを引き出している
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会37動作軌跡と言語◆入力: ロボットが一人称視点で観測可能なもの⚫各関節の動作軌跡⚫一人称視点からえられる動画情報◆出力: 動作を説明するテキスト⚫自然言語による動作結果の説明
正解

床のティーポットを取る

A: E2Eてててててててて

e:9

B: 分節化

床のソースを取る

a:7, b:1, c:1

C: 注意機構

テーブルのソースを取る

b:1, c7, d:1

D: B+C

床にあるソースを取る

a:7, c:2

a: 正解、b: おおよそ正解、c: 間違いがある、
d: 文法は正しい、e: 意味不明
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会38

言語を使った状況の理解
現在地と課題◆様々な入力を言語で説明することが可能に⚫ロボットが持つマルチモーダル性の解釈⚫言語に結び付ける＝知識に結び付けるための入り口◆大規模事前学習モデルを用いた理解の拡張⚫数少ない fine-tuning data から理解モデルを構築可能⚫大規模 LM の場合、そもそもテキストに書かれていないことは出てこないのでは？

◆言語から動作（動作・観測から言語）⚫シンボル化・離散化の方がタスクとしては容易⚫言語からの生成タスクは言明されない部分がある⚫e.g., 音声認識と音声合成
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

39

真に言語と動作を結び付けるために◆言語に明に暗に含まれる部分の理解⚫言語が持つ裏の（あれば）意図の理解⚫常識的知識の利用⚫周囲の状況の利用⚫特に言語を動作化するとき⚫どのように肉付けを行うのか⚫どのように個々のロボットの身体性に合わせるのか⚫「もっと優しく持って」を実現できるか◆物理世界における制約の利用⚫シミュレータだけでは物理的制約が満たせない⚫実世界だけでは学習データが足りない⚫タスクに必要なシミュレーションの粒度
2022/11/11 ⒸKoichiro Yoshino,
Guardian Robot Project, RIKEN

Language and Robotics 研究会

40