実世界にグラウンドされた
自然言語理解のこれまでとこれから理化学研究所AIP
JST さきがけ栗田修平
第7回 Language and Robotics 研究会

まず最初にこの場を用意してくださったみなさま、特に、
LangRobo研究会幹事の一人ひとりに厚く御礼申し上げます🙇Shuhei Kurita
PhD of Informatics, Kyoto University
RIKEN AIP, JST PRESTONew York University (Visiting Researcher)

CURRENT INTEREST:
Grounded Visual / 3D and Language Understandings.
shuhei.kurita@riken.jp@ShuheiKurita

SELECTED
PUBLICATIONSØ ScanQA: 3D Question Answering for Spatial Scene Understanding @ CVPR2022
Daichi Azuma (*), Taiki Miyanishi (*), Shuhei Kurita (*), Motoaki Kawanabe (*):Eq. Cont.
Ø Generative Language-Grounded Policy in Vision-and-Language Navigation with Bayes’ Rule,
Shuhei Kurita and Kyunghyun Cho, @ICLR2021
Ø Reconstructing neuronal circuitry from parallel spike trains,
Ryota Kobayashi, Shuhei Kurita, Anno Kurth, Katsunori Kitano, Kenji Mizuseki, Markus Diesmann,
Barry J Richmond, Shigeru Shinomoto @ Nature Communications (2019)Ø Multi-Task Semantic Dependency Parsing with Policy Gradient for Learning Easy-First Strategies,
Shuhei Kurita and Anders Søgaard, @ACL2019
Ø Neural Adversarial Training for Semi-supervised Japanese Predicate-argument Structure Analysis,
Shuhei Kurita, Daisuke Kawahara and Sadao Kurohashi, @ACL2018
Ø Neural Joint Model for Transition-based Chinese Syntactic Analysis,
Shuhei Kurita, Daisuke Kawahara and Sadao Kurohashi, @ACL2017 Selected Out-standing paper!

目次
1.

2.

はじめに
1.

Embodied AI： 身体に基づいたAI

2.
3.

Generative language grounded policy (GLGP) on VLN
SayCan: Do As I Can, Not As I Say (Google Robotics & Everyday Robotics, 2022)

言語の役割
1.
2.

3.

言語モデル
1.
2.
3.
4.

4.

参照表現を理解する
テキストに紐付いた物体検出
3D世界に対応づいた言語理解

言語を使って指示を出す
1.
2.
3.

6.

歴史 (Markov process, n-gram, RNN)PaLM & Big-BENCH
Chain of thought
基盤モデルたち（省略）グランディングと参照表現理解
1.
2.
3.

5.

名付けによる世界の分節 （F. Saussure）
言語による指示と実世界との対応付け（L. Wittgenstein）

SHRDLU (T. Winograd, 1971)
ナビゲーション：Vision & Language Navigation (VLN)
プランニング：AI2THORとSayCan

まとめ：Language & Robotics の これから
1.
2.

言語指示が有効なのはどのような課題か？
言語理解技術がどのようにロボティクスを助けるか？

はじめに：Embodied AI – 身体に基づいたAI
R2R Nav. on Matterport 3D• 仮想環境では，視覚・言語理解・動作の全てをモデルに包括的に学習させうる• 人間が身につけている常識的な知識を
仮想環境データセットで再現できる• 現実世界よりも優れた試行速度・多様性

ALFRED on AI2-THOR
R2Rナビゲーションタスク
仮想のエージェントが写実的な仮想の室内環境中を指示文
章に従って行動する．R2Rは
視覚，言語および動作の情報を統合しなければ解くことが困難である．

ALFRED
仮想環境の内部で指示に従って簡単な家事をこな
す．家具や家電などの一般的な知識，食材など登場する物体の常識的な性質，課題を解くために求められる操作の計画性，などが求められている．
To heat a cup as well as place it in the fridge.
Turn around and walk across the room and look up to face the cabinet above the left side of the
microwave.
Pick up the cup from the cabinet above the left side of the microwave.
Step to the right and look down to face the microwave.
Heat the cup in the microwave and remove it.
Turn around and walk across the room and then turn right and step forward to face the fridge.
Place the cup in the fridge.

はじめに：Embodied AIへの関⼼の⾼まり
深層学習と3Dモデリング技術の発達により広い分野の国際会議で論文が出ている:
2017
R2R Navigation (Seq2Seq)
2018
Speaker-follower + Beam decoding [NeurIPS2018]
Reinfoced cross-modal matching [CVPR2018]2019
EnvDrop + data aug. [NAACL2019]
Self-monitoring [ICLR2019]
Analysis on visual fetaures of VLN [ACL2019]
FAST decoding [CVPR2019]
A joint pretraining for vision and language [EMNLP2019]
BERT for VLN [EMNLP2019]2020
A joint pretraining with VLN [CVPR2020]
BabyWalk [ACL2020]

VLN
RoomNav [2017]
R2R [2017; CVPR2018]
仮想環境上でのQA
EQA [CVPR2018], IQA [CVPR2018]

Google Street View上でのVLN
Touchdown [CVPR2019]
複雑経路VLN
R4R [ACL2019]

対話的VLN
CVDN
Help! ANNA
[RL2019] [EMNLP2019]

物体操作が可能なEAIALFRED [CVPR2020]

Habitat[ICCV2019]はじめに：視覚と言語によるナビゲーション (VLN)• A navigation task for a robotic agent to reachthe goal place following the textual instruction.
• Photorealistic environment.
Based on real houses, corrected with 3D scans.
• The dataset was released in 2017.
• Possible application to the robotic navigationVLNで言語モデルを利用した解決法

Generative Language-Grounded Policy
in Vision-and-Language Navigation
with Bayes’ Rule
Shuhei Kurita and Kyunghyun Cho
ICLR2021

提案手法

既存手法

深層学習モデル(ニューラルネット)を視覚・動作からの条件付き言語モデルとする

視覚・動作情報

Reinforced Cross-modal Matching [Wang et al. 2018]

こんな当たり前のアプローチのどこがダメなのか？

モデルへの入力が視覚情報とテキストの双方だと，
Vision & Language共通の問題として，
深層学習モデルが画像・テキストのいずれかの情報に大きく依存してしまうことがある．
見たことがない環境では，精度が落ちやすい！

ニューラルネット

指示文章

ニューラルネット（言語モデルを内部に含む）は画像から文生成（スコアリング）を行う
画像・テキストのいずれが欠けてもタスクを解けない見たことがない環境で，精度が落ちづらい！
言語モデルを仮想環境でのデータ作成や拡張に使用する研究はこれまでにも存在した．
[Fried et al. 2018], [Magassouba et al. 2019]
言語モデルをVLNタスク解決に直接用いる手法は世界初
R4Rデータセットでも有効性を確認，

Generative language-grounded policy (GLGP)
言語指示 𝑋 、環境（視覚情報や過去に動作情報） ℎ! としたとき
VLNの先行研究では 𝑝 𝑎! ℎ! , 𝑋 をモデルしている。
本研究では、どの動作も同一のpriorを持つこと 𝑝 𝑎! ℎ! = 1/|𝐴| (𝐴 は動作集合)を仮定してのように、言語モデル 𝑝 𝑋 𝑎! , ℎ! を利用する。
言語モデル 𝑝 𝑋 𝑎! , ℎ! は、次の動作から指示 𝑋の尤度を計算することで、動作選択する。

言語指示に紐付けられた判断の可視化

Take a right and walk out of the kitchen. Take a left and wait by the dining room table.

可能な動作集合が与えられた際に，言語モデルによる指示文章のトークンひとつひとつへのスコアリングを利用し，特に動作ごとに各トークンの予測がどのように変化するか？
に着目して可視化した．

VLNのロボットのナビゲーションへの応用
VLNモデルを現実世界のロボット上で動作させることは出来るのか ?

– Yes!

Sim-to-Real Transfer for Vision-and-Language Navigation
P. Anderson et al. (2020) – The same first author with the original VLN paper.

Possible future direction:
Integration of high-level machine-learning agents and low-level robotic manipulation.

はじめに：ロボットへの言語での指示
Google Robotics
SayCan: Do As I Can, Not As I Say (2022)
私が言ったようにではなく私ができるように動作しなさい

C.f. Do as I say, not as I do:“私が教えるように行動しなさい、
私がするようにではなく”
ジョン・セルデン 「茶話」 1654年

INPUT: I spilled my coke on the table, how would you
throw it away and bring me something to help clean?
ROBOT:Do As I Can, Not As I Say: Grounding Language in Robotic Affordances (Google Robotics, April 2022)

はじめに：ロボットへの言語での指示
Robotics at Google & Everyday Robots
SayCan: Do As I Can, Not As I Say (2022)
私が言ったようにではなく私ができるように動作しなさい

C.f. Do as I say, not as I do:“私が教えるように行動しなさい、
私がするようにではなく”
ジョン・セルデン 「茶話」 1654年

INPUT: I spilled my coke on the table, how would you
throw it away and bring me something to help clean?
ROBOT: I would
1. find a coke can
2. pick up the coke can
3. go to trasj can
4. put down the coke can
5. find a sponge
6. pick up the sponge
7. go to the table
8. put down the sponge
9. __Do As I Can, Not As I Say: Grounding Language in Robotic Affordances (Google Robotics, April 2022)

SayCan: Do As I Can, Not As I Say (2022)

511 preset skill-set+ text-description+ value function
101 task instructions in
7 classes (via MTurk)Do As I Can, Not As I Say: Grounding Language in Robotic Affordances (Google Robotics, April 2022)

SayCan: Do As I Can, Not As I Say (2022)• 大規模言語モデル (LLM) に既存行動を
promptingとして入力し、次の行動を skill-set の中から選択する• 一方で、環境から各skill毎に計算される
value関数の値と合わせることで次の行動を決定する（あれ…GLGPとどこか似ている… 🤔 ）Do As I Can, Not As I Say: Grounding Language in Robotic Affordances (Google Robotics, April 2022)

はじめに：ロボットへの言語での指示
ちなみに、必要な将来動作の予測についてGPT-3も結構賢い？

はじめに：ロボットへの言語での指示
ちなみに、必要な将来動作の予測についてGPT-3も結構賢い？

目次
1.

2.

はじめに
1.

Embodied AI： 身体に基づいたAI

2.
3.

Generative language grounded policy (GLGP) on VLN
SayCan: Do As I Can, Not As I Say (Google Robotics & Everyday Robotics, 2022)

言語の役割
1.
2.

3.

言語モデル
1.
2.
3.
4.

4.

参照表現を理解する
テキストに紐付いた物体検出
3D世界に対応づいた言語理解

言語を使って指示を出す
1.
2.
3.

6.

歴史 (Markov process, n-gram, RNN)PaLM & Big-BENCH
Chain of thought
基盤モデルたち（省略）グランディングと参照表現理解
1.
2.
3.

5.

名付けによる世界の分節 （F. Saussure）
言語による指示と実世界との対応付け（L. Wittgenstein）

SHRDLU (T. Winograd, 1971)
ナビゲーション：Vision & Language Navigation (VLN)
プランニング：AI2THORとSayCan

まとめ：Language & Robotics の これから
1.
2.

言語指示が有効なのはどのような課題か？
言語理解技術がどのようにロボティクスを助けるか？

言語の役割：• 言葉には世界を分節する作用がある
例：虹の色は何色ですか？
７色、３色、４色、…
雪国には雪を表す言葉が多い
綿雪、粉雪、 細雪、乾雪、湿雪、べと雪、 吹雪、 ドカ雪、
根雪、雪庇、雪塊、風雪、 雪煙、 着雪、氷柱、樹氷、…

近代言語学の父
ソシュール(1857-1913)

ル・グウィンの小説『 ゲド戦記』人や物には「真の名前」が存在し知ることでその事物を操ることができる

話し言葉の音韻では、ある音と他の音との差異だけが意味を持つ。
同様に、意味についても、言葉により言葉の指し示す対象が世界からの差異をもつ。（切り取られ方は言葉により規定される。）

世界から、テキストによって名前を付けられた物体を 分節 認識できないか？
テキスト条件付き物体検出器 (桂&栗田 MIRU2022)

やっていることは
MDETR (Kamath et al. NYU 2021)の応用なのですが…

言語の役割：• 言語による指示「哲学探求」の言語ゲーム
親方Aは石材建築を行なう。石材には角、柱、板、梁がある。
弟子BはAに石材を渡さねばならないが、その順番はAがそれらを必要とする順番である。この目的のため、二人は「角」「柱」「板」「梁」という単語からなる言語を使用する。
Aはこれらを叫ぶ。Bは、それらの叫びに応じて、もっていくよう覚えた石材を持っていく。これを完全に原初的な言語と考えよ。

傍目には、「角」や「柱」と言われてもなんのことだかわからない
しかし、親方と弟子の間では、明瞭な指示（角石を持ってこい等）
ヴィトゲンシュタインに対応する(1889-1951)『論理哲学論考』 （言語ゲームの解釈は難しいが）ウィトゲンシュタインは、言葉の意味は『哲学探究』
その言葉の使用される状況と意図伝達によって規定されると考えたのではないか。同じ言葉でも言語ゲームが異なれば全く違う意味を持ちうる：
わかりやすい例：指示語や代名詞は言語ゲームにより全く違う対象を指す
この例では、かなりクローズドな世界での指示を考えていたようにも見える…
（実際には広範なコミュニティを含みうる）

目次
1.

2.

はじめに
1.

Embodied AI： 身体に基づいたAI

2.
3.

Generative language grounded policy (GLGP) on VLN
SayCan: Do As I Can, Not As I Say (Google Robotics & Everyday Robotics, 2022)

言語の役割
1.
2.

3.

言語モデル
1.
2.
3.
4.

4.

参照表現を理解する
テキストに紐付いた物体検出
3D世界に対応づいた言語理解

言語を使って指示を出す
1.
2.
3.

6.

歴史 (Markov process, n-gram, RNN)PaLM & Big-BENCH
Chain of thought
基盤モデルたち （省略）グランディングと参照表現理解
1.
2.
3.

5.

名付けによる世界の分節 （F. Saussure）
言語による指示と実世界との対応付け（L. Wittgenstein）

SHRDLU (T. Winograd, 1971)
ナビゲーション：Vision & Language Navigation (VLN)
プランニング：AI2THORとSayCan

まとめ：Language & Robotics の これから
1.
2.

言語指示が有効なのはどのような課題か？
言語理解技術がどのようにロボティクスを助けるか？

言語モデル : 歴史
• 𝑝 𝑋 = Π! 𝑝(𝑤! |𝑤" , ⋯ , 𝑤!#$)= 𝑝 𝑤% 𝑤" , ⋯ , 𝑤! , ⋯ , 𝑤%#$ 𝑝 𝑤%#$ 𝑤" , ⋯ , 𝑤! , ⋯ , 𝑤%#& ⋯ 𝑝 𝑤$ 𝑤" 𝑝(𝑤")Markov, A. A. 1913 Essai d’une recherche statistique sur le texte
du roman “Eugene Onegin” illustrant la liaison des epreuve enchain (bi-gram, tri-gram)
Shannon, C. E. 1948. A mathematical theory of communication.
Bell System Technical Journal, 27(3):379–423. Continued in thefollowing volume. (n-gram)
Markov, A. A

Shannon, C. E

Rumelhart’s RNN(1985)

Rumelhart, David E; Hinton, Geoffrey E, and Williams, Ronald J(Sept. 1985). Learning internal representations by error
propagation. (RNN)

言語モデル : PaLM & BIG-bench dataset• PaLMはdecoder-only large language model論文である• BIG-Benchは途方もない巨大科学論文に見えるが公開 github への pull request を介して既存のものを含め204個のタスクを集めたもの

言語モデル : PaLM
• 5400億パラメータの 118層 Decoder-only Transformer+ SwiGLU Activation, + Parallel Layers, + Multi-Query Attention+ RoPE Embeddings+ 7800億 tokens の多言語 (人工言語含む) 学習データ

言語モデル : PaLM
• 一定以上のパラメータを持つ言語モデルは
それまでに持たなかった問題解決能力を創発する？？？

言語モデル : PaLM
• 一定以上のパラメータを持つ言語モデルは
それまでに持たなかった問題解決能力を創発する？？？
イベント間グラフ推論

動作・イベントなどの論理的な順番

論理推論

ナビゲート

英語ことわざ

数学的推論(from BIG-bench dataset)言語モデル : PaLM
• 一定以上のパラメータを持つ言語モデルは
それまでに持たなかった問題解決能力を創発する？？

ナビゲート と 数学的推論は540Bでも難しいらしい不連続な増加が見られる

言語モデル : PaLM
• Chain of thought prompting (Google Research, 2022)

37%“思考”の途中経過を例としてモデルに入力することで、モデルに途中経過を出力させながら正解出力へと導くことができる。

PaLM論文の結論で著者らは、（単なる理解でなく）生成する能力こそが、カテゴリ分類や回帰タスクのような言語生成を必要としないタスクにも有効でありうる、と主張している。

シンボリックな情報を予測することで精度が向上したとする実験論文は昔からあるが、ここまで明確に実験で示したことがすごい※ Chain of thought については、最近、東大松尾研&Googleから興味深い論文が出ています:“Large Language Models are Zero-Shot Reasoners”, (Kojima et al. 2022)

言語モデル : Chain of thought• Chain of thought prompting (Google Research, 2022)

Chain of Thought Prompting Elicits Reasoning in Large Language Models
Google Research (2022)

言語モデル : Chain of thought• Chain of thought prompting (Google Research, 2022)
入力では something to eat とは全く言っていない！
（推論としては完全に間違いである！）
しかし「フルーツじゃないものを持ってきて」と言われて、食べられないものを持ってくる人はどのくらいいるだろうか？
指示文での論理（の欠陥）を”常識”によりoverrideしている？

（実際には、SayCanに登場する objects は食品関係に強くbiasされており、それを学習しているだけかもしれない）

言語モデル : Chain of thought• Chain of thought prompting (Google Research, 2022)• ただし、chain of thoughtそのものもモデルサイズによって創発するものらしい• 小さなモデルでchain of thoughtの効果を得ることは難しいかもしれない（有害ですらありえるケースも）• シンボル情報を生成して後の解析に使うアイディアは、今に始まったことでもない• 例えばNLPの transition-based parser あたりでもシンボル情報を生成して後の解析に使っています• もっとも、そういう環境では、得られた情報はむしろ“error-propagation”等としてノイズの原因扱いされることが多かった気がします• そもそも、PaLMは汎用選手であり
例えば機械翻訳や読解理解のような個別タスクでは専用選手であるモデルで教師あり学習したほうが効率がよいだろう
Chain of Thought Prompting Elicits Reasoning in Large Language Models

Google Research (2022)

目次
1.

2.

はじめに
1.

Embodied AI： 身体に基づいたAI

2.
3.

Generative language grounded policy (GLGP) on VLN
SayCan: Do As I Can, Not As I Say (Google Robotics & Everyday Robotics, 2022)

言語の役割
1.
2.

3.

言語モデル
1.
2.
3.
4.

4.

参照表現を理解する
テキストに紐付いた物体検出
3D世界に対応づいた言語理解

言語を使って指示を出す
1.
2.
3.

6.

歴史 (Markov process, n-gram, RNN)PaLM & Big-BENCH
Chain of thought
基盤モデルたち （省略）グランディングと参照表現理解
1.
2.
3.

5.

名付けによる世界の分節 （F. Saussure）
言語による指示と実世界との対応付け（L. Wittgenstein）

SHRDLU (T. Winograd, 1971)
ナビゲーション：Vision & Language Navigation (VLN)
プランニング：AI2THORとSayCan

まとめ：Language & Robotics の これから
1.
2.

言語指示が有効なのはどのような課題か？
言語理解技術がどのようにロボティクスを助けるか？

参照表現を理解する• 参照表現とは，ある対象を指し示すテキスト中の表現である• 栗田は大学院ではテキスト中での参照表現を中心に解析していた• これらを特に照応解析，省略解析等と呼ぶ• 文に対する文法的な解析や意味的な解析とも関連が深い分野です
Predicate

NOM

ACC

DAT

Neural Adversarial Training for Semi-supervised Japanese Predicate-argument Structure Analysis, Kurita, Kawahara & Kurohashi, ACL2018

参照表現を理解する• テキストには，外部への参照も当然に存在する• 照応・省略解析では，”著者”や”読者”を解析に入れる [萩行2014]• 固有表現解析では，”科学技術振興機構” や ”栗田修平”のような固有表現を，テキストから抽出した固有表現言及に対応付ける．
理研の栗田らは，JSTの研究費で研究を行い，ICLR2021で発表を行った．

理化学研究所栗田修平

科学技術振興機構

International Conference on
Learning Representations, 2021

• この技術を応用することで，
Wikipedia等を処理し，大規模な知識ベースを
精度良く構築できる
Co-Teaching Student-Model through Submission Results of Shared Task
[Nakayama, Kurita, Kobayashi, Baba and Sekine, EMNLP2021 findings]

参照表現を理解する• レシピテキスト中の参照表現• レシピテキストには，調理動作と調理対象の素材への言及が出現する• “素材が調理動作によりどのように変化するか？”に着目し，レシピテキストに紐付いたアノテーションを行った

⽩井圭佑, 橋本敦史, ⽜久祥孝,栗⽥修平,
⻲甲博貴, 森信介 NLP2022※ドメインは限られているが，自動調理ロボットのような現実的な応用可能性

参照表現を理解する• 画像の参照表現理解(referring expression comprehension)• テキストが与えられて，画像からテキストに対応した物体・人物を検出する• いわゆるVisual Groundingと呼ばれることも※実世界で動作させるためには，前述の3Dアノテーション等，何らかの拡張が必要だろう

画像と言語の事前学習：MDETR モデル

MDETR (Kamath et al. ICCV2021, NYU)
• 物体検出モデルであるDETR (DEtection TRansformer)を基に，
vision & language用にテキストエンコーダーを追加したモデル• Soft Token Prediction 事前学習：文内の単語・熟語にマッチする物体領域を学習させる

画像と言語の対応付け事前学習

物体検出

属性抽出

間の
en 関係
eg
rap 抽出
h)
(Sc

物体

ob
j
52 ect a4c
at. ttribu
te

を抽

出

ob
j
Vin ect b
VLな box
ら esを
18
48 検出
cat し
.に
分類

そもそも、画像と言語を対応付けるとは、どういうことか？
（例）画像中の物体検出・属性抽出・関係抽出 (VinVL)

関係抽出

VinVL - VQA
このように画像からdetailedなシンボル特徴をグラフ形式で抽出しようとするscene graphの試みは、
自然言語文から構文木/意味/関係グラフを作るための解析器パイプラインにも似ている。

画像と言語の対応付け事前学習

画像と言語の対応付け事前学習
言語に条件付けられた画像からの情報抽出
Ø 初めに、文の解析器や画像からのScene Graphは、非常に便利なものですØ しかし、テキスト/画像からのSymbolicな情報抽出と統合には、限界があるのではないか？
Ø 精度の限界、他モダリティとの対応付けの限界、情報粒度の問題、ill-pose性、フレーム問題、etc…
Ø 言語による指示文章（もしくは指示表現やキャプションの言語情報）がある状況で、画像からのsymbolic extractionに頼らずに、言語中に含まれる表現を中心に画像と直接に対応付けできないか？
「近所のしま猫に花壇を荒らされると困るから
しま猫が花壇の上に来たらメールしてね」

関連研究: MDETR [Kamath et al., 2021, NYU]

テキスト条件付き物体検出器

テキスト条件付き物体検出器と参照表現理解への応⽤, 桂&栗⽥ MIRU2022

3D世界に対応づいた言語理解• 3D世界を捉える手段はいくつかある（RGBカメラ・深度センサ）• 3D世界のデータと言語情報はまだあまり紐付いていない(2D) Image

Panorama RGB (+ Depth) Image

3D Point Cloud Data

How many doors are open?

Visual QA
画像+QA• 一枚の画像からQA• 独立した画像から現実世界の知識が取れるのか?

Embodied QA

3D Data QA

ナビゲーション+画像+QA

3D世界情報+QA• 3D環境中を物体の位置まで移動してQA• まだあまり良いデータセットがなかった• カメラやSLAM情報から得られた情報を統合してQA

Embodied QA datasets
Embodied Question Answering
CVPR2018• QA on House3D, based on SUNCG• Limited datasize 😢 • Licensing issue 😢

Embodied Question Answering in Photorealistic Environmentswith Point Cloud Perception
CVPR2019• Photorealistic EQA, based onmatterport 3D scan data
• Very limited datasize 😢

mrof
ed ates
t
ra pl
e
n m
Ge w te
fe
ta
a
dd
e
it
m
Li

m
ro
f
d tes
e
t
ra plaen m
Ge w te
ta
a
fe
dd
e
it
lim
y
r
Ve

3D環境におけるQA• 例えば ”How many white chairs are in
the kitchen?”という質問が与えられたエージェントは、SLAM等を利用しながらキッチン内部を探索するだろう• 探索で見つかった椅子の色や同一性の判定が問題となる• 従来の2D画像に頼るQAではなく将来的には、 SLAM等から得られる観測情報を統合したQAが必要になるのでは？

3D モデリング上の質問応答例• How many chairs are there on the brown table?
• Answer: four
• 適切な回答のためには視点を転回する必要がある• What color is the chair?
• この質問は物体が特定できない (不適当 )3D-QA dataset: ScanQA を作成
3D点群(3D-pcd) からQA + Object Localizationを行うタスクを提案
大規模データセットを作成した• 3D空間から質問に応じて物体位置を取得、質問応答を行うタスク• 2Dのbaselineモデルには、広い部屋の中から正解の物体を含む画像を拾ってくることが難しい
ScanQA: 3D Question Answering for Spatial Scene Understanding
Daichi Azuma, Taiki Miyanishi, Shuhei Kurita, Motoki Kawanabe
CVPR2022

大規模 3D-QA dataset: ScanQA

目次
1.

2.

はじめに
1.

Embodied AI： 身体に基づいたAI

2.
3.

Generative language grounded policy (GLGP) on VLN
SayCan: Do As I Can, Not As I Say (Google Robotics & Everyday Robotics, 2022)

言語の役割
1.
2.

3.

言語モデル
1.
2.
3.
4.

4.

参照表現を理解する
テキストに紐付いた物体検出
3D世界に対応づいた言語理解

言語を使って指示を出す
1.
2.
3.

6.

歴史 (Markov process, n-gram, RNN)PaLM & Big-BENCH
Chain of thought
基盤モデルたち（省略）グランディングと参照表現理解
1.
2.
3.

5.

名付けによる世界の分節 （F. Saussure）
言語による指示と実世界との対応付け（L. Wittgenstein）

SHRDLU (T. Winograd, 1971)
ナビゲーション：Vision & Language Navigation (VLN)
プランニング：AI2THORとSayCan

まとめ：Language & Robotics の これから
1.
2.

言語指示が有効なのはどのような課題か？
言語理解技術がどのようにロボティクスを助けるか？

言語を使って指示を出す
SHRDLU (Winograd, 1971)

Person: PICK UP A BIG RED BLOCK.
Computer: OK. (does it)
Person: GRASP THE PYRAMID.
Computer: I DON'T UNDERSTAND WHICH PYRAMID YOU MEAN.
Person: FIND A BLOCK WHICH IS TALLER THAN THE ONE YOU ARE HOLDING AND PUT
IT INTO THE BOX.
Computer: BY "IT", I ASSUME YOU MEAN THE BLOCK WHICH IS TALLER THAN THE
ONE I AM HOLDING.
Computer: OK. (does it)
Person: WHAT DOES THE BOX CONTAIN?
Computer: THE BLUE PYRAMID AND THE BLUE BLOCK.
Person: WHAT IS THE PYRAMID SUPPORTED BY?
Computer: THE BOX.
Person: HOW MANY BLOCKS ARE NOT IN THE BOX?
Computer: FOUR OF THEM.

https://hci.stanford.edu/~winograd/shrdlu/

Interactively Picking Real-World Objects with
Unconstrained Spoken Language Instructions(Hatori et al. 2018, PFN)

視覚と言語によるナビゲーション (VLN)• A navigation task for a robotic agent to reachthe goal place following the textual instruction.
• Photorealistic environment.
Based on real houses, corrected with 3D scans.
• The dataset was released in 2017.
• Possible application to the robotic navigation

ナビゲーション: VLN からHabitatへナビゲーション: VLN-CE on Habitat
Bridging the Gap Between Learning in Discrete and Continuous Environments
for Vision-and-Language Navigation (Yicong et al. CVPR2022)
高いレベルのway-point選択
低いレベルでの連続動作生成

プランニング: ALFRED & SayCan

To heat a cup as well as place it in the fridge.

Open the drawer
Pick up a mug
Open the microoven door
Put the mug onto the microoven…

現状では、実世界でできることを学習させたいのであれば、仮想/現実ともにまだ動作/物体の集合が大きくはないという問題がある気がする※仮想世界系では、最近は3Dアセットのデータセットが充実してきている
限られた物体という制限は取り払われるかもしれないが…

目次
1.

2.

はじめに
1.

Embodied AI： 身体に基づいたAI

2.
3.

Generative language grounded policy (GLGP) on VLN
SayCan: Do As I Can, Not As I Say (Google Robotics & Everyday Robotics, 2022)

言語の役割
1.
2.

3.

言語モデル
1.
2.
3.
4.

4.

参照表現を理解する
テキストに紐付いた物体検出
3D世界に対応づいた言語理解

言語を使って指示を出す
1.
2.
3.

6.

歴史 (Markov process, n-gram, RNN)PaLM & Big-BENCH
Chain of thought
基盤モデルたち（省略）グランディングと参照表現理解
1.
2.
3.

5.

名付けによる世界の分節 （F. Saussure）
言語による指示と実世界との対応付け（L. Wittgenstein）

SHRDLU (T. Winograd, 1971)
ナビゲーション：Vision & Language Navigation (VLN)
プランニング：AI2THORとSayCan

まとめ：Language & Robotics の これから
1.
2.

言語指示が有効なのはどのような課題か？
言語理解技術がどのようにロボティクスを助けるか？

まとめ：Language & Robotics のこれから
1. 言語指示が有効なのはどのような課題か？
まず、指示とは (1) 制約であり拘束条件である、(2) ヒントにもなり、終状態を規定する。
言語による指示が非常に有効であるためには、以下の条件を満たす必要がある？
[1] 指示による制約数 << 動作によって可能な状態数（環境条件）[2] 理想とする終状態をシンボリックな制約を用いて書き下すことが現実的でない（報酬条件）[1]の条件が満たされていない状況は、タスクを解くために必要十分な指示を与えることが可能
直感的な操作以外での言語指示のメリットは薄いかもしれない（2D/3Dグラウンディングはこの場合でも重要なまま残り続けるでしょう）[2]の条件が満たされていない状況では、理想とする終状態へ向かう経路を絞り込めるはじめに：ロボットへの言語での指示
Google Robotics
SayCan: Do As I Can, Not As I Say (2022)
私が言ったようにではなく私ができるように動作しなさい

C.f. Do as I say, not as I do:“私が教えるように行動しなさい、
私がするようにではなく”
ジョン・セルデン 「茶話」 1654年

INPUT: I spilled my coke on the table, how would you
throw it away and bring me something to help clean?
ROBOT:Do As I Can, Not As I Say: Grounding Language in Robotic Affordances (Google Robotics, April 2022)

まとめ：Language & Robotics のこれから
1. 言語指示が有効なのはどのような課題か？
SayCan: Do As I Can, Not As I Say (2022)
私が言ったようにではなく私ができるように動作しなさい

ALFREDやSayCanは言えること > やれること ？

画像生成(DALLE-2)

画像生成は言えること < やれること？

まとめ：Language & Robotics のこれから
1. 言語指示が有効なのはどのような課題か？
SayCan: Do As I Can, Not As I Say (2022)
私が言ったようにではなく私ができるように動作しなさい

ALFREDやSayCanは言えること > やれること ？

画像生成(DALLE-2)

画像生成は言えること < やれること？

まとめ：Language & Robotics のこれから
1. 言語指示が有効なのはどのような課題か？
指示とは (1) 制約であり拘束条件である、(2) ヒントにもなり、終状態を規定する。
言語による指示が非常に有効であるためには、以下の条件を満たす必要がある（？）[1] 指示による制約数 << 動作によって可能な状態数（環境条件）[2] 理想とする終状態をシンボリックな制約を用いて書き下すことが現実的でない（報酬条件）[1]の条件が満たされていない状況は、タスクを解くために必要十分な指示を与えることが可能
直感的な操作以外での言語指示のメリットは薄いかもしれない（2D/3Dグラウンディングはこの場合でも重要なまま残り続けるでしょう）[2]の条件が満たされていない状況では、理想とする終状態へ向かう経路を絞り込める（将来の）実世界デバイスやロボットを自由な言語指示から動作させようとした場合明らかに[1]と[2]をみたす課題になるだろう
現状の技術でも [1]と[2]をみたしうるLanguage & Robotics課題とは何か？

まとめ：Language & Robotics のこれから
2. 言語理解技術がどのようにロボティクスを助けるか？
入力では something to eat とは全く言っていない！
（推論としては完全に間違いである！）
しかし「フルーツじゃないものを持ってきて」と言われて、食べられないものを持ってくる人はどのくらいいるだろうか？
指示文での論理（の欠陥）を言語モデルが”常識”によりoverrideしている？ (※)

この例では先の[2]の終状態を絞り込むために
言語モデルを使用していると言えるだろう「言えること > やれること」タスクでもグラウンディングや終状態の絞り込みでLLMが役に立つ？