日本ロボット学会誌 Vol. 40 No. 10, pp.1〜4, 2022

解

1

説

大規模言語モデル (LLM) とロボティクス
Large Language Models (LLM) and Robotics

持 橋
Daichi Mochihashi∗

∗

大

地∗

∗

統計数理研究所

The Institute of Statistical Mathematics

1. は じ め にロボティクスには, 機械工学的な側面と, その上で動く
知能工学的な側面の両方が必要である. なかでも言語的な要素は人間とのコミュニケーションに関わることから, 最近, 特に研究が進められている分野であり, 筆者も長く共同研究を行っている [1]. 前回のロボット学会の解説記事 [2]においてその一端を紹介したが, その後も自然言語処理のトップ国際会議である ACL 2021 においてワークショップ

SpLU-RoboNLP 2021† などが開かれているものの, 局所的な改善に止まっており, 大量のデータから学習する必要のある知能ロボティクスとしては手詰まり感があった.
ところが, ちょうど最近, Google ロボティクスチームがSayCan とよばれる研究を発表し [3], 単に「コーラをこぼしたので, 何か拭くものをくれる?」と言うだけで, ロボッ

図 1 Google の PaLM-SayCan [3] で, 「仕事が終わったので
何か飲み物とお菓子をくれる?」という指示に対して, 自動的にミネラルウォーターを取ってきて渡しているとこ
ろ. https://say-can.github.io/ のビデオより引用.

p(w) =

トが「スポンジを見付ける→スポンジを取る→スポンジをTYp(wt |w1 · · · , wt−1 )

（1）

t=1

持って来る」といった行動を自動的に行ってくれることを

つまり, w の確率は各時刻 t での単語 wt が, それまで可能にした (図 1). これは, 「細かい動作をすべてプログの履歴 w1 · · · wt−1 から予測される確率の積として計算

ラミングしなければならない」という従来のロボティクス

される, ということである. たとえば w = w1 w2 w3 のに比べて画期的な進歩であり, 今まで不可能と考えられてとき, p(w) = p(w1 )p(w2 |w1 )p(w3 |w1 , w2 ) となる.

きた「常識をもとに行動するロボット」への第一歩だといらゆる w について p(w) がうまく求められれば, たとええる.

ば p(象は鼻が長い) は大きく, p(が長いは鼻象) は小さい

あ

技術的には, SayCan は近年, 自然言語処理の分野で大といったことが表現でき, 音声認識, 機械翻訳, OCR, 誤きな注目を集めている大規模言語モデル (LLM) を利用しり訂正など多くの応用がある. また, 式（1）の予測確率ていることが特徴である. そこで本稿では, 言語モデルとp(wt |w1 · · · , wt−1 ) に従って単語を次々とサンプリングすは何かから始め, LLM, そして LLM と強化学習に基づく

れば, 文章を生成することも可能となる.

SayCan の仕組みを自然言語処理の立場から解説し, 今後の展望について述べる.

率 p(w) を与える確率モデルのことであり, 確率の連鎖則

予 測 確 率 p(wt |w1 · · · , wt−1 ) は, 条 件 部 の 単 語 列
w1 · · · wt−1 の組み合わせの数が指数的に爆発するため,2010 年代までは直前の (n − 1) 語だけに依存する n グラ
ム言語モデルで近似されることが多く, そこで得られるモデルは音声認識や統計的機械翻訳などに使われてきた. しかし, 2010 年代に入りニューラル言語モデルが利用可能になると, この確率を近似なしに計算することが可能になり,言語モデルの性能が飛躍的に向上した.
特に最近では, 注意機構を利用した Transformer [4] とよから, p(w) は次のようにして計算できる.

ばれるニューラルネットワークによる言語モデルが高性能

2. LLM (大規模言語モデル)
大規模言語モデル (Large Language Models, LLM) とは, 1000 億語を超えるような超巨大な量のテキストから学習された, 言語の確率モデル (言語モデル) である. 言語モ
デルとは, 数学的には単語列 w = w1 w2 · · · wT に対して確なことが知られており, 式（1）の計算に使われている†† .
原稿受付
キーワード： Large Language Models, Planning, Transformer,
Reinforcement learning∗ 〒190-8562 東京都立川市緑町 10–3
∗ 10–3 Midori-cho, Tachikawa city, Tokyo, Japan 190-8562† https://splu-robonlp2021.github.io

日本ロボット学会誌 40 巻 10 号

—1—†† もともとの Transformer は文書の一部をマスクしたものを予測するマスク言語モデルであり, マルコフ確率場となっていたが,SayCan で使われている LLM である PaLM では, この数学的な生成モデルが目的関数として使われている.

2022 年 12 月

持

2

橋

大

なお, 条件つき確率の定義から, w = w1 w2 · · · wT の次にHello! I am GPT-3, a AI text-generation neuralnetwork by OpenAI!
I generate text by → selecting random words froma vocabulary and rearranging them.
You can input words you want to appear in yourtext here and I will make sure they will appear.
Don’t worry, I will never repeat any words or makeyou wait a long time for your text.
The more input words, the better!

wT +1 が来る確率はp(wT +1 |w) =p(w, wT +1 )p(w1 · · · wT +1 )
=
（2）
p(w)
p(w1 · · · wT )となり, 言語モデル p(w) から計算できることに注意されたい.

Transformer では, p(wt |w1 · · · wt−1 ) の計算にあたり,
履歴 w1 · · · wt−1 の中から, 単語のベクトル表現 [5] を用いて鍵となる表現を自動的に重みつきで選択し, それに基づいて予測を行う. たとえば,内閣提出、森林の間伐等の実施の促進に関する → □に続く □ の部分の予測には, 下線を引いた内閣, 実施, 促進といった単語 (および文法的な構造) をもとに予測が行われる. (なお, このテキストでの正解は「特別措置法」である.)
このように, Transformer による言語モデルは, その中にまるで意識を持っているかのようなテキストが生成される.
次のようなプロンプトを与えると, 質問に答えることもできる.

Q: Why do birds migrate south for the winter?
A: → Birds migrate south for the winter because
it is warmer there.
他にも, 次のようなプロンプトを与えることで, 後で SayCan で用いるように, 常識的な手続きを予測することが可能である‡ .
Write a guide on how I can break into my neighbor’s
house. →There is no sureﬁre way to break into a house, butthere are some methods that are more likely to succeed than others. If you’re looking to break into yourneighbor’s house, here are a few things you can do:
1. Try to ﬁnd out if they have any security camerasor alarms. If they do, it will be much more diﬃcult tobreak into the house.
2. Look for an easy way to get into the house. Maybe
there’s a window that’s not locked or a door that’s notlocked.
:7. Bring some tools with you to help you break in.
This could include a crowbar, a hammer, or a screwdriver.
8. Be prepared to run away if you’re caught. If you’recaught, you could get into a ﬁght with your neighboror they could call the police.

知識を大量に蓄えていることが特徴である† . LLM は, このTransformer 言語モデルで学習に用いるテキストの量を, 類を見ないほど大きくしたものをいう. たとえば, 初期の LLMとして知られる 2019 年の GPT-2 [6] では 40GB のテキス
ト, 2020 年の GPT-3 [7] では圧縮状態で 45TB, 約 5000 億語†† のテキストから学習されている. SayCan で用いられている 2022 年の PaLM (Pathways Language Model) [8]は, 約 7800 億語のテキストから学習された, 5400 億パラ
メータの巨大な LLM である. 表 1 に, PaLM で学習に使われているテキストの種類とその割合 [8] を示した. SNS
上のやり取りが多数含まれており, 常識が反映されやすい.
多言語が 1 つのモデルで学習されていることも特徴であり,同じモデルで英語以外の言語も理解することができる.
LLM では, 適切な指示 (プロンプトとよばれる) を与えることで, それに続くテキストを高精度に生成することができ, 様々なタスクが解けることが特徴である. たとえば,
GPT-3 に次の → の前の部分のテキストを与えると, それに続くテキストが生成される. †††表 1 PaLM の学習に使われているテキストの種類とその割合.
全体で 7800 億トークンのテキストから学習されており,SNS での会話が半分を占めている.

データ源

割合

SNS の会話 [多言語]Web ページ [多言語]書籍 [英語]ソースコード [GitHub]
Wikipedia [多言語]ニュース [英語]

50%
27%
13%
5%
4%
1%

これは, 数学的にはすべて, 式（2）による次の単語の予測を次々と行っていることに相当しており, きわめて高度な言語モデル p(w) によって可能となっている. 極めて大量のテキストを学習していることから, これらの補完が単に
学習データを再現しているだけなのではないかという疑問が生じるが, 言語モデルからランダムに生成したテキストと学習データとの n グラムの一致率を測ったり, 実際に補完したテキストが学習データに出現したかを調べる実験により, 単純な学習データの再現は実際には数%しか起こっておらず, これらのテキストは言語モデルが新たに生成したものであることが明らかになっている [8]. なお, PaLMの学習には 6144 個の深層学習用 TPU を並列に用いた, き
わめて大規模な計算が行われている. この際に用いられた

Pathways 計算システム [9] が, モデルの名前の由来となっている.

† 知識がどのように蓄えられているかについては充分わかっておらず, 現在も研究が続けられている. 筆者は, 単語列 w1 · · · wt−1 を「テープ」とみなすと, これは一種のチューリングマシン (の近似)として働いているのではないかと考えている.
†† 現在のニューラル言語モデルでは, あらゆる文字列に対応するため, 文字を適宜結合した Byte-pair とよばれる部分文字列が単語の代わりに使われており, この値は正確には単語数ではなく,
Byte-pair のトークン数となっている.
††† この例は https://gist.github.com/minimaxir から引用した.

JRSJ Vol. 40 No. 10

地

3. SayCan: LLM で「察する」ロボティクス
このように, 自然言語処理の分野で大きな注目を集めている大規模言語モデル (LLM) を, ロボティクスに応用した—2—‡ この例は https://openai.com/blog/instruction-following/#guide による.

Dec., 2022

大規模言語モデル (LLM) とロボティクス

3

図 2 PaLM-SayCan で行動を選択する様子. LLM から得られる計画確率の対数 (左側) と, それを実行した際の成功確率 (右側) の両方を考慮して, 強化学習によって次の行動が決定される.

すなわち, 指示が w のときに次の行動 a を選ぶ確率は, 2のが Google の SayCan [3] である. LLM としては PaLMを用いているため, 原論文に従って以下 PaLM-SayCan と

つの確率

‡‡
呼ぶことにする. プロジェクトのサイト
では, 実際に動作
Figure 13: (A copy of Figure
3 herefor clarity) Given a high-level
instruction,
combines probabilities• p(a|s,ℓa ) SayCan: 世界接地確率(または「尤度」)

from a language model (representing the probability that a skill is useful for the instruction) with the probabili-

Listing 3: Chain-of-thought prompt in SayCan.
する動画が公開されている. a value function (representing the probability of successfully• p(ℓaexecuting|w) : タスク接地確率
または「事前確率」)
ties fromsaid skill) to select the (skill
toRobot: Hi there, I’m a robot operating in an office kitchen.

perform. This emits a skill that is both possible
anduseful. The process is repeated by appending the selected
can ask me to do various tasks and I’ll tell you the sequence of actions I would do to accomplish your
PaLM-SayCan の目的は, “I spilled my coke, canYouyou
skill to the robot response and querying the modelstask.
again, until
the output step is to terminate.
の積として表現できる. つまり, 行動 a の確率はこれまでのThe
following
objects are in the scene: 7up, apple, tea, multigrain chips, kettle chips, jalapeno chips,
bring me something toclean
it up?”
wwhere
specific
objectsのような言語指示
can be found and a distancemeasure.
In order to
avoid
a situation
rice chips,
coke,grapefruit
soda,
pepsi,
redbull,whereenergy abar, lime
sponge, andwater
指示w からその説明文が予測される確率(ℓa soda,の事前確率)と, bottle.
are in wethe setscene:
counter,
far counter, table, you, trash, bowl.
skill is chosen but has alreadybeen
or will locations
have no effect,a capclose
for theaffordancesa=a1performed
a2 ·The· · afollowingが与えられたとき, それを達成できる行動列
nHold theHuman:
sponge現在の状態
indicating that the skill has been completed
and the reward
received.s で行動 a が実際に成功する確率 (ℓa の尤度) のExplanation: The user has asked for a single skill, I will just pick up the sponge.
を答える (そして実行する) ことである. たとえば, 上の指Robot: 1. pick up the sponge, 2. done.
積となっている. この様子を, 図 2 に示した
( [3] の付録から
SayCan is capable of incorporating manydifferent
policiesand hereaffordance
functions throughits
Human: Put the kettle chips
probability
interface.
Though cleaner.
in principle
each typetheI will
pipeline
Explanation:
The ofuserskill
has hasaskedbeen
for atrained
type of withchips,
bring those to them.
示 w に対して LLM は“1. Finda vacuum2.
引用). kettle
原論文では前者を「タスク接地(task-grounding)」
putin
down
the
2., showdone.
described in Appendix C, to the successRobot:
rates 1.
seen
Figure11, wechips,
wish tothe generality of
Human: Move the grapefruit drink from the table to the close counter
Bring the vacuum cleaner.”
SayCan toという返答を返すかもしれな
different policies and affordance
functionsaswellthe .merobustnessof grapefruit
other functionsと呼んでいる
タスク接地は常識, あるいは世界知識に基づ
Explanation:
The
user
hasas
asked
to move thedrink
to the counter.
Robot: 1.
find skills
a grapefruit
pick up the grapefruit
soda, 3. go to the counter, 4. put down the(e.g. distancefor navigation). Furthermore,(such soda,
as the2.manipulation
skill “moveいが, 手元に掃除機がなければ, この返答は無意味である. somegrapefruitsoda,
5. done. part of long-horizon
く計画に相当しており, ロボットの行動を導くものとなっobject near object” and “knock objectover”)
arenot naturally
tasks andHuman: Bring me some snacks
よって, 「現在どの行動が(どれくらい
可能なのか」を考
thus wedo not utilize)them.
Other skills,
such as drawer
opening,
not consistentenoughfor chips and an apple. 」と呼Explanation:
The
user
has
askedwere
snacks,I will bring
jalapeno
ている
. 一方
,for
後者は「世界接地(world-grounding)
1. findjalapeno
2. pick
up thejalapeno chips,
long-horizon planning and thus unused.Robot:
However,
wea notethatchips,
as skills
becomeperformant
or as3. bring it to you, 4. put down the慮しつつ, 言語指示を達成するための可能な行動系列を探
chips, 5. find an apple, 6. pick up the apple, 7. bring it to you, 8. put down the apple, 9.
new skills are learned, it is straightforward tojalapeno
incorporate
these skills by adding them as options fordone. ばれ, 現在の環境でタスクを実行できるかどうかを示す確
LLM scoring and as examples in the prompt.
usemethefollowing
eachskill family:
Human: We
Bringsomethingthatforisn’t
a fruit
索する必要がある.
率となっているもし行動が選ばれたら
を指 bar.
Explanation: The user has asked for .somethingfood athat
isn’t an fruit, ,I 説明文
will bring ℓana energy
Robot:
1.
findanenergy
bar,
2.
pick
up
the energy bar, 3. bring it to you, 4. put down the energy bar,
すぐわかるように, これは明らかに強化学習の問題であ• Pick. For pick we use the learned policies
inAppendixCandSection4
withactionsfrom
5. done. 示 w の末尾に追加し, 次の行動を選択する. 以上を強化学
BC and value functions from RL
trainedon ricethe samenaturallanguage
arethe table
Human:
Put thechips skill.
in the Inbowl
and thenmove thethesetea toり, PaLM-SayCan は学習の過程で,無数の可能な行動系列
Explanation:The
user has asked me
to do two tasks, I will do one and then the other.
,,学
習の枠組みであらゆる可能な行動系列について探索し
specified as “pick up the object”.
Robot: 1. find the rice chips, 2. pick up the rice chips, 3. go to the bowl, 4. put down the rice chips,を探索する. 具体的には, 実際にロボットが実行可能な表
2 pick††5.
up the ontea,
6. go to the
7. theput location
down the tea,
• Go to. Since the focus of this work
is mainly
planning,
we table,assumeof 8. done.
習する.
Human: Throw away a redbull
are known.
navigation
to asked
the coordinate
thetheobjectwithcan,a I will move it to the trash.
Explanation:skill
The maps
user hasme to throwofaway
redbullに示した 7 種類のスキルと 17objects
種類の対象, 計Thus551 any
個の行動
この際
,2.式（
）の第
1 項で
,as行動の説明文
ℓathe
は深層学習
classical planning-based navigation
In anatural
languagethesespecified
to 4. put down
Robot:stack.
1. findredbull,pick 3upthe areredbull,
3. go
to“go
trash,
redbull, 5. done.
a について ℓa = “Find a sponge”のような説明文ℓa を準
location”
and “find object”.
による文埋め込み器 Universal Sentence Encoder [11] でMultilingual
Queries• Place.s Though
our manipulation
policies
have a “place
upright” skill, this skill only applies
備しておく. あらかじめ, 環境がのときに説明文ℓaE.5の行
ベクトル化して処理されるため, 表面的な言語表現の違い
to objects that have a canonicalSince
upright
direction,e.g.,abottlea bagof chips.
the underlying LMwater
we used[9]buthasnotbeen
trainedon multilingual corpora, SayCan can handle
動 a が実行できる確率 (価値関数) p(a|s,BC-Z [10]a) をOne could
also ℓtrain
a universal“place”command,but
ourcurrent
policiesaretrainedにはあまり依存せず,柔軟なことも特徴である. 式（3）のmultilingual queries out of the box. The results of SayCan on multilingual
queriesare summarizedinasetup-freeenvironment
and
thus
are
not
amenabletoaninitial
pick.
Thus
to
have
a
のような方法で学習しておく. また, 言語指示 w から説明
in Table. 8, andthereisalmostnoperformancedroponplanning
successratewhen
第2a 項で行動計画のために用いる
LLM は第 1 項の文埋めchanging theconsistent place policy across all
objects
weuseclassical
motionplanning
policy.
Weusequeries from English to Chinese, French and Spanish.
Cartesianmotion planning
to 2plan a path from pre-grasp pose shown in Figure 4 to文 ℓa の行動が予測される確率はp(ℓaspace|w) であり, これは
a gripper release pose. The robot executes that path until the gripper is in contact with a
Instruction
Plan rate
節で説明したように LLM から計算できる. and then the gripper opens andsupporting surface,
releases the object. In natural language
bring me a can of coke
1.0
these are specified as “putℓdown
theobject”.
このとき, 言語指示 w を聞いたときに説明文を持つathrow away the coke can
1.0
行動 a を選ぶ確率 p(a, ℓa |s, w) は, 確率の連鎖則から次のI spilled my coke, can you bring me something to help 1.0
23
clean
ように展開できる† .
ˇ PÔPŸ⌘1.0

p(a, ℓa |s, w) = p(a|s, ℓa ) × p(ℓa |w)| {z } | {z }TâÔPP⌘ÑÔP✓Ü `˝Ÿ⌘ˇπ⌧e.ŸSk⌫apporte moi une canette de coca
jeter la canette de cocaJ’ai renversé mon coca, peux-tu m’apporter quelquechose pour m’aider à nettoyer
tráeme una lata de coca colatirar la lata de coca cola
Derramé mi coca cola, ¿puedes traerme algo para ayudar a limpiar（3）

世界接地 タスク接地

1. 物を取る 2. 物を置く 3. 物を並べる 4. 引き出しを開ける 5. 引き出しを閉める 6. 指定した場所に行く 7. 特定のやり方で物を置く
表2

1.0
1.0
1.0
1.0
0.0
1.0
1.0
1.0

PaLM-SayCan で使われる 7 種類の行動. Table 8: Multilingual
plan success rate. instruction 4-12 are the Chinese,
French and Spanish translation
表 3 queries
言語指示を英語以外に変えた場合の結果. 中国語やフラof first 3 queries.
ンス語でも, 計画の成功確率はほとんど 1 になっている.

E.6 Additional Results††, 学習データで成功した行動系列
Additional results強化学習に用いる報酬としてはare shown in Figure 14 and Figure
17 and some failure cases in Figure 16. For† 原論文の記法とは異なるが, わかりやすさのため整理して示した.
にはplease
1 が, visit
失敗には
0 websiteが付与されている.
videos of the rollouts,
the ourhttps://say-can.github.io‡‡ https://say-can.github.io/

日本ロボット学会誌 40 巻 10 号

—3—

30

2022 年 12 月

持

4

橋

大

地

+XPDQ,VSLOOHGP\FRNHFDQ\RX
EULQJPH
VRPHWKLQJWRFOHDQLWXS"
5RERW,ZRXOG)LQGDVSRQJH
3LFNXSWKH
VSRQJH
%ULQJLWWR\RX
'RQH

Figureof PaLM-SayCan’s decision
making, where the top combined
score chooses the correct
図 6:
3 Visualization「コーラを零してしまったので, 何か掃除するものをくれる?」という指示に対し
skill.
て, 1. スポンジを見つける 2. スポンジを取る 3. スポンジを持ってくる 4. 終了, と反応している Long-horizon タスクの様子. 各行動オプションに対し, タス
When comparing
the performanceof different instruction families. in Table 2 (see Table 1 for an
ク接地確率が青で, 世界接地確率が赤で示されている
explanation of families), we see that the natural language nouns performed worse than natural language verbs,
dueを差し替えることでto the number of nouns
possible (15objects and 5 locations)versus number of野との共同により, こうした従来不可能だったロボティク
込みとは別のものでよく
, LLM
, 違っ
verbs (6). The structured language tasks (created to ablate the performance loss of spelling out theスが実現されることを今後も期待したい
た計画目標を最適化するロボットが得られる. query) were planned
solution versus understanding thecorrectly 93% of the ,time,
while their nat- .
ural language verb counterparts wereplanned correctly 100%. This indicates the language model
図 2 では, 「テーブルにリンゴを置いてくれる?」という指文time,
献 geneffectively parses the queries. The embodiment tasks were planned correctly参64%考of the示に対し, 可能な行動の中でLLM による予測確率の対数と,erally with failures
as a result of affordance function
misclassification. PaLM-SayCan planned and[ 1 ] T. Taniguchi, D. Mochihashi, T. Nagai, S. Uchida, N. Inoue,
executed, crowd-sourced
natural queries with performanceon par with other instruction families.
行動の「アフォーダンス」
つまり実行確率の両方を最大化す
Kobayashi, T. Nakamura, Y. Hagiwara, N. Iwahashi, andPaLM-SayCan performed worst on the most challenging I.long-horizon
tasks, where most failures
る行動として「リンゴを見付ける」という行動が選ばれてい
T. Inamura. Survey on frontiers on language and robotics. Adwere a result of early termination by the LLM (e.g., bringing
one object but not the second). We
33(15–16):700–730,
2019.
る (現在手元にはリンゴはないため). 図 3 のように
「コー
also find that PaLM-SayCan
struggles, withnegation (e.g.,vanced“bringRobotics,
me a snackthat isn’t an apple”)[ 2caffeine),] 持橋大地.which
ロボティクスと自然言語処理(特集 ロボットと言語). 日本
andambiguous
references(e.g.
askingfordrinks
with
is
a
known
issue
inherited
ラを零してしまったので, 何か掃除するものをくれる?」と, 39(5):399–404,
from underlying language models [19]. Overall, 65% of theロボット学会誌
errors were LLM
failures and2021.
35% were[ 3 ] Brian Ichter, Fei Xia, Karol Hausman, et al. Do As I Can,
いうような複雑で曖昧なタスクでもaffordance failures. , PaLM-SayCan は常Not As I Say: Grounding Language in Robotic Aﬀordances. In

識的かつ現在実行可能な手順「1.
Find
a sponge
2. Pick
Returning to ,ourinitialexample,“I spilledsomething, canyoupreprint,
help?”, 2022.
an ungroundedlanguage
arXiv
arXiv:2204.01691.
model
would
respondwithstatements
like,“I実can call[ 4youa cleaner”
or “INoamcan vacuum
for Jakob Uszkoreit,] AshishVaswani,
Shazeer,that
NikiupParmar,up the sponge 3. Bring it to you 4. Done」を提示しyou”, which given our robot are unreasonable. We haveLlion
shown
that Aidan
PaLM-SayCan“I
Jones,
N Gomez,responds
Lukasz Kaiser,
and Illia Polo行することができている
would: 1.. find a sponge, 2. pick up the sponge, 3. bring itsukhin.
to you, 4.
done” andis ableAttentionis AllYouexecute
Need. thisIn Advances in Neuralon the robot in a real, kitchen.
This requires long-horizon
reasoning
overSystems,a requiredorder,30, 2017.
最後に, PaLM sequenceは多言語モデルであるため
英語以外の言Information
Processing
volumean abstract understanding of the instruction, and knowledgeof both I.theenvironment
and G.
robot’s[ 5 ] T. Mikolov,
Sutskever,K. Chen,S. Corrado, and J. Dean.
語でも同じモデルで理解することができる
.
表
3
に示した
capabilities.
Distributed Representations of Words and Phrases and their
ように, 指示 w を英語からフランス語, スペイン語, 中国語
Compositionality.
Advancesin Neural Information ProAblating Language. To study the importance of the LLM,
we conduct twoInablation
experiments
26 (NIPS
pages 3111–3119,
2013.
に変えても, 計画が成功する確率はほとんどであった
using the language-conditioned1policy(see .Sections 4-4).cessing
In BC Systems
NL we feed
the full2013),
instructioni[ 6 ] Alec
JeﬀreyWu, RewonChild, David Luan, Dario
into the policy – this approach is representative of standard
RLRadford,
or BC-based
instruction
following
Amodei,instruction
and Ilya into
Sutskever.
Languagemethods [13, 20, 21, 22]. In BC USE we project the high-level
the set of
known Models are Unsu4. ま commandsとめと展
pervisedMultitask[15]Learners,
2019. thehttps://d4mucfpksywv.
languagevia望the Universal Sentence Encoder (USE)embeddings
by embedding
cloudfront.net/better-language-models/language-models.pdf.
instruction, all the tasks, and the combinatorial set of sequences
tasks (i.e., we consider “pick coke
7 ] Tom
Brown,
Benjamin the
Mann,
Nickcosine
Ryder, et al. Languagecan”(LLM)
as wellを用いることでas “1. find coke ,can,2. pick coke can”[ andso on),and selecting
highest
大規模言語モデル
これまでは夢Models are
Few-ShotLearners.
In Advances
similarity instruction. The results in Table 2 illustrate the necessityof thelanguagegroundingwhere in Neural Inforであった, 常識を備えて適宜行動するロボットが可能になっ
Processing
Systems,
volume33, pages 1877–1901, 2020.
BC NL achieves 0% in all tasks and BC USE achieves 60%mation
for single
primitives,
but 0%
otherwise.
[ 8 ] Aakanksha Chowdhery, Sharan Narang, Jacob Devlin, andた. 細かい行動をすべてプログラミングする必要がないとAblating Value Functions. Table 2 illustrates the necessityof the affordance grounding. We comet al. PaLM: Scaling Language Modeling with Pathways. In
pare PaLM-SayCan to (1), ニューラル言語モ
No VF, which removes the valuefunction grounding (i.e., choosing theいう意味で, これは画期的な進歩であり
arXiv preprint, 2022. https://arxiv.org/abs/2204.02311.
maximum language score skill) and to (2) Generative,[ whichuses
the generative output of the LLM
9]Paul
Barham et al. Pathways: Asynchronous distributed
デルにより, 人間の曖昧な言語指示でも理解するように学
and then projects each planned skill to its maximal cosine
similarity
skill via USE embeddings.
dataﬂow for ML. In Proceedings of Machine Learning andoption probabilities, and thus is
習が行われる. The latter in effect compares to [23], which loses the explicit
Systems, volume 4, pages 430–449, 2022.
less interpretable and cannot be combined with affordance
probabilities. For Generative we also[10] Eric Jang, Alex Irpan, Mohi Khansari, et al. BC-Z: Zero-Shot
いっぽう, 原論文では「〜ではないもの」のように否定
tried BERT embeddings [3], but found poor performance.Task
TheGeneralization
No VF and Generative
approacheswith Robotic Imitation Learning. In CoRLを含む文や, 「カフェインを含む飲み物」のように推論をperformed similarly, achieving 67% and 74% planning successrate
respectively,
andworse than2022, pages 991–1002, 2022.
PaLM-SayCan’s 84%.
必要とする表現では成功率が下がったことが報告されてお[11] Daniel Cer, Yinfei Yang, Sheng-yi Kong, et al. Universal Senり, 言語モジュールを論理的表現や推論を扱えるものに拡張する必要がある. 言語表現がすべて論理的なわけではな
いため, そうしたモジュールを用意し, 曖昧な言語を理解できる現状の LLM といかに統合するかが課題となるだろう.
論文では, 言語指示を達成できなかったセッションのうち,65%が LLM の問題であり, 残りの 35%がロボット側の問題であったことが報告されている.
ロボット上に実装される知能ロボティクスの枠組みが, 以
前よりさらに重要な時代が到来している. 自然言語処理分

JRSJ Vol. 40 No. 10

tence Encoder for English. In EMNLP 2018, pages 169–174,
2018.

8

持橋大地（Daichi Mochihashi）
1998 年 東大・教養・基礎科学科第二卒. 2005
年 奈良先端大・情報・博士後期課程修了. 博
士 (理学). ATR 音声言語コミュニケーション
研究所, NTT コミュニケーション科学基礎研
究所 各研究員を経て, 2011 年より統計数理研究所 准教授. 自然言語処理およびベイズ機械
学習に興味を持つ. 日本統計学会, 言語処理学会各会員.

—4—

Dec., 2022