言語処理学会 第29回年次大会 発表論文集 (2023年3月)

大規模言語モデルの活用による効率的なロボット制御の学習
高城頌太 1 谷口 尚平 1 中野 聡大 1
上田 亮 1 松尾 豊 1 谷中 瞳 1
1 東京大学{takashiro,taniguchi,nakano.akihiro,matsuo}@weblab.t.u-tokyo.ac.jp{ryoryoueda,hyanaka}@is.s.u-tokyo.ac.jp

概要
GPT-3 や ChatGPT に代表される大規模言語モデルは，様々なタスクで汎用的に高い性能を示し，自然言語処理のみならず様々な領域での応用が広がっている．本稿では，大規模言語モデルをロボット制御の模倣学習に活用し，その学習効率やサンプル効率の向上への寄与について検証を行う．実験では，RLBench というベンチマークデータセットを用いて，提案手法の有効性を検証する．具体的には，単腕ロボットがモノをゴミ箱に捨てるというタスクをデモンストレーションデータから模倣学習する際に，大規模言語モデルへのプロンプティングを活用して，タスクを解く手順を説明するテキストを生成し，それを補助情報として用いることで，学習効率の向上を図る．

1

はじめに

GPT-3 [1] に代表される大規模言語モデルの登場により，自然言語処理の様々なタスク（機械翻訳，質問応答，コードの自動生成・補完 [2] など）を高精度に解くことが可能になりつつある [3]．特に，昨年秋に公開された ChatGPT [4] はチャット形式のインターフェースと高精度な文章生成性能をもつことから，世界的に注目を集めたことは記憶に新しい．
また，こうした大規模言語モデルの活用は，自然言語処理のみに留まらず，様々な領域まで広がり始めている.
近年は，ロボット制御の文脈でも，大規模言語モデルを活用する研究が行われ始めている [5, 6]．ロ
ボット制御において，大規模言語モデルの活用が注目されている背景として，強化学習や模倣学習に代表される機械学習ベースのロボット制御のサンプル効率の悪さが挙げられる [7]．インターネット上から大量の学習データを収集することが容易な画像や自然言語などの領域と異なり，ロボット制御はデー
タを収集するコストが高く，効率よく学習する方法論の確立が重要である．高い汎用性をもつ大規模言語モデルの活用は，このようなロボット学習の課題を解決する糸口になりうると考えられる．例えば，床に落ちているモノを掴んでゴミ箱に捨てるというタスクを単腕ロボットに学習させることを考えた場
合，ロボットは (1) モノにロボットハンドを近づけて，(2) グリッパーを操作してモノを把持し，(3) ハンドをゴミ箱の上に移動させて (4) グリッパーを開いてモノをゴミ箱の中に落とす，という多段階の操作をデータから学習する必要がある．このような段階的な操作の必要性は，人間であれば常識的に持ち合わせている知識であるが，事前知識を持たないロボットはこれを一から学習することが要求され，大量のデータと学習時間が必要となってしまう．一方で，大規模言語モデルは，ウェブ上の大量のテキストデータから学習されており，人間が持ち合わせている常識的な知識に関する質問にも非常に精度よく回答できることが知られている [1, 8]．特に，大規模言語モデルに対して，タスクの説明や少数の正解例を与えることで，新しいタスクへ適応させるテク
ニックはプロンプティングと呼ばれ，その有効性が翻訳や文書要約などの様々なタスクで検証されている [3]．そこで，前述のようなロボットにとって複雑なタスクを解くための手順（以下，処理指示文と呼ぶ）を，大規模言語モデルへのプロンプティングを通して獲得し，それを補助情報としてロボットの制御モデルに与えてやることで，学習を促進することが期待できる．
本稿では，このような大規模言語モデルへのプロンプティングを活用したロボット学習の手法を提案し，その有効性を検証する．具体的には，前述のようなモノをゴミ箱に捨てるタスクをデモンストレー
ションデータからの模倣学習によって学習する際― 2460 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

(b) データセット(a) モデル

図 1: (a) 提案手法の概念図．提案手法では，HiveFormer におけるテキスト入力として，タスクの説明文の代わりに，ChatGPT へのプロンプティングの結果得られるタスクを解く手順の説明文を用いる．(b) RLBench
データセットの PutRubbishInBin タスクのエピソード例．いずれのエピソードも 1 つのゴミ箱，1 つのゴミ，2 つの無関係なオブジェクトから構成される．配置されるオブジェクトの形状はエピソード間で共通であり，初期の位置関係のみランダムで変化する問題設定である．に，タスクを解く手順を ChatGPT へのプロンプティ得し，順序立てた手続的な推論も行うことが可能でングによって獲得し，それをロボットの行動を決定する方策モデルへ補助情報として入力する手法を提あることが報告されている [6, 15]．
模倣学習や強化学習などを用いた学習ベースのロ案する．実験では，RLBench [9] というシミュレーボット制御においても，画像情報に加えてこうしたタ環境でのロボット制御のベンチマークを利用し，大規模言語モデルによる観測やタスクに関する言語学習過程におけるタスクの成功率の推移や，データ情報を入力として取り入れることで，性能向上を図

効率を従来手法と比較する形で，提案手法の有効性る手法が注目を集めている [5, 6, 16, 17]．GPT-3 のよを検証する．

うな大規模言語モデルがロボット学習に寄与できる

2

要素としては，学習効率や汎化性能の向上が挙げら関連研究れる．人間の一般常識に相当するような知識を持ち深層学習を用いたロボット制御モデルを学習さ合わせる大規模言語モデルからその知識を引き出すせる上で，十分な学習データを収集するコストは高ことで，新しいタスクを素早く学習し，適応できるい．そのため，より効率の良い学習方法に関してことが期待できる．しかし，現状では，ロボット学様々な研究が行われている [7]．とりわけ，複数ス

習における大規模言語モデルの活用は，物体の説明テップを要する構成的なタスクにおいて効率的な学文生成のような比較的単純な補助情報の付与のみに習手法の開発は重要である．構成的なタスクの例として，例えば，家具を組み立てるタスク [10] や積み留まっており，制御の方策自体を直接ガイドするような枠組みは確立されていない．本稿では，そのよ

木を積み上げるタスク [11, 12] がある．このようなうな枠組みの確立の第一歩として，デモンストレー

タスクは，制御モデルを学習する上で特に難しいこションデータをもとに制御方策を学習する枠組みでとが知られており，汎用的な方法論は未だに確立さある模倣学習 [18, 19] において，大規模言語モデルれていない．

を活用して制御モデルの方策を補助する枠組みに関一方で，深層学習において言語モデルは，GPT モ
デルの進展 [13, 14, 1, 4] からも分かるように，データセットのサイズとモデルのパラメータをスケールして検討する．

手法

3させることで，より汎用性のあるモデルへと発展し本稿では，Transformer [20] をベースとした模倣学てきた．近年では，GPT-3 [1] をはじめとした大規模習手法である HiveFormer [21] をベースラインとし言語モデルについて，プロンプティングを行うことて採用する．HiveFormer では，各時刻における複で新しいタスクに少ないデータのみで適応できるこ

数視点からの画像とタスクの説明文を，それぞれとが検証されている [3]．検証を通じて，大規模言U-Net（セグメンテーションを行うのに一般的に使語モデルは，人間が持ち合わせている一般常識を獲われる畳み込みニューラルネットワーク） [22] と― 2461 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

CLIP（ウェブ上の大量のデータを用いて画像とテキストが対応するように学習させたモデル） [23] の言語エンコーダに入力して，特徴抽出を行い，それらを Transformer に入力して，その出力を再び別の U-Net に入力することで，最終的な行動（グリッパーの位置・回転・状態の制御値）を出力する．長What are the 4 steps for the robotic arm to place the rubbish inthe bin? The instructions must be short, informative, and concise.
Please give me the coordinates of where to move it. Coordinates
are given by (x, y, z).
State: bin (0.10, 0.21, 0.85), rubbish (0.23, -0.30, 0.77), tomato1(0.22, -0.15, 0.78), tomato2 (0.16, -0.02, 0.78)
Instruction:
1. Move the robotic arm to the position of the rubbish: (0.23,-0.30, 0.77)
2. Grip the rubbish with the gripper on the robotic arm.
3. Move the robotic arm to the position of the bin: (0.10, 0.21,0.85)
4. Release the grip on the rubbish.

期的なステップ数にわたる行動の予測が必要となるが，keyframe discovery [24] を適用することで，取る行動が大きく変化する時刻を特定し，よりマクロなステップでの予測が可能となっている．
るタスクの説明文の代わりに，大規模言語モデルへ
図 2: ChatGPT へ与えるプロンプト（黒字）と生成さのプロンプティングを通して得られた，処理指示文れた処理指示文（青字）の例．

（タスクを解く手順についての説明文）をテキストの入力として与えることで，モデルの学習を促進すを作成し，模倣学習に用いた．

ることを目的とする．本稿では，大規模言語モデル

4.2

提案手法では，図 1a のように，HiveFormer に与えとして，ChatGPT [4] を用いて検証を行う．図 2 は，ChatGPT へのプロンプティングとその結果の例である．このように，段階的な操作が必要なタスクにおいて，ChatGPT へ適切なプロンプトを与えることで，具体的な手順を説明したテキストを引き出し，制御モデルの学習効率を高めることが期待できる．

実験

4

ChatGPT は，これまでの GPT-3 などのモデルとは異なり，対話型のインタフェースを介して大規模言語モデルと「会話」することが可能である．会話のスタイルとして，質問応答やロールプレイなどの方法も可能だが，今回は，文章補完の形でプロンプティングを行った．
プロンプト文としては様々な文章が考えられる

本実験では，大規模言語モデルから生成された処
理指示文 (タスクの解き方) によって，どの程度ロボット制御の学習が効率化するかについて実験を行う．具体的には，ロボット制御タスクにおいて，ChatGPT からの処理指示文があり/なしの場合を比較してどれほど学習が効率化されたかを比較する．

4.1

大規模言語モデルに与えるプロンプトシミュレーション環境とデータセット

ロボット制御のシミュレーション環境とし て は，図 1b に 示 す RLBench デ ー タ セ ッ ト の
PutRubbishInBin タスクを用いた．RLBench データセットは 7 次元の自由度を持つ manipulator を用いた
100 種類のロボット制御タスクを含んだベンチマー
クである．7 次元の自由度は，manipulator のグリッパーの位置を表す 3 次元と，その回転を表す 4 次元ベクトルを指す．PutRubbishInBin タスクはロボット制御タスクの一つであり，複数の物体からゴミを特定しゴミ箱に入れるタスクである．
本手法では模倣学習を用いるため，エキスパートによるデモンストレーションデータが必要となる．
そのため，100 エピソード分のエキスパートデータが，Hiveformer の入力として用いるにあたって，(1)処理指示に関する情報のみ生成されること，(2) 生成されるステップ数が固定であること，(3) 各処理指示の文章が冗長でないこと，(4) 実際の現在の状況に対応する処理指示が生成されること，の 4 つが求められると考えた．例えば，付録の図 4 に示すように，プロンプト文の情報が不十分だと生成される処理指示文は曖昧かつ冗長になることがある．したがって，これらの要件を満たすようにプロンプト文を指定することで，Hiveformer の入力に適した処理指示文を生成した．特に，ステップ数は Hiveformerのマクロステップ数と一致させることで画像情報と言語情報がより対応づけられる形で学習が進むように図った．また，エピソードの初期状態をテキストとして表すことで，エピソードに対応した手順の生成を促した．実際に使用したプロンプトと ChatGPTを通して得られた結果の例を図 2 に示す．

4.3

実験設定

本実験では，ベースラインとして HiveFormer [21]を用いた．HiveFormer はカメラからの RGB 画像と，距離センサからの Depth 情報（RGBD），そしてタス― 2462 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

(a) タスクの成功率(b) アームの位置に関する指標(c) アームの回転に関する指標

図 3: 学習中の評価指標とタスクの成功率に関する図．成功率は 30 エピソード中の成功割合．評価指標は予測値と真の値の誤差がある一定の閾値以下の時に 1, それ以外は 0 として各イテレーションで平均を取っている．
ク自体の説明文を入力として模倣学習を行うマルチが具体的になるにつれて高い値を示しており，よりタスク学習のフレームワークであるが，本実験では学習効率が向上しているといえる．

1 つのタスクのみを解くシングルタスク学習として用いる．また，Hiveformer ではタスク自体の説明文

4.5

考察

(“Put rubbish in bin.”) を与えているが，本実験では，本実験から，提案手法のアプローチは，段階的なChatGPT を用いて生成された処理指示文を与える．

手順が必要なタスクにおいて，学習効率の向上に寄よって， HiveFormer の入力として，与することが確認できた．一方で，エピソードによ1. RGBD とタスクの説明文を与えた場合 (baseline)

らず固定のタスク説明文を加えた場合との比較に

2. RGBD とエピソード毎で固定の指示文を与えた

おいては，改善の幅は比較的小さい結果となった．
この結果から，制御モデルの学習においては，物体場合 (with ﬁxed instruction)
3. RGBD と エ ピ ソ ー ド 毎 で 物 体 の 位 置 に よ っの位置などのような各エピソードに固有の情報よて変化する指示文を与えた場合 (with variable

りも，タスク内で共通する一般的な操作に関する情instruction)

報が，より学習効率を向上させる上での補助情報との 3 種 類 を 用 い て ChatGPT の 出 力 す る 処 理 指 示
文 の 有 効 性 を 検 証 し た． 各 実 験 設 定 に お け る 入
力文章は，付録の図 5 に示すように，baseline, ﬁxedinstruction, variable instruction の順により具体的な指示になっている．
また，手法の評価方法としては (1) タスクの成功率の推移，(2) 学習の収束の速さの 2 点を評価した．

4.4

して有効に機能しているのではないかと考えられる．また，提案手法が，特にグリッパーの回転角の操作に関して，大きく性能が改善した点について
は，ChatGPT によるタスクの処理指示文によって，グリッパーの位置の操作に関する補助情報が得られたために，処理指示文にない回転角の制御についての学習が促進されたのではないかと考察できる．

おわりに

5

結果

図 3a に学習中のタスクの成功率を示す．横軸が学習のイテレーション回数，縦軸が成功率を示している．図より， タスクの指示文が具体的になるにつれて，少ない学習回数で高い成功率を達成していることがわかる．
また，図 3b, 3c に，各手法における評価指標の値を示している．図より， ロボットアームの位置に関する指標は各手法で差は見られなかったが，ロボットアームの回転に関する指標では，タスクの指示文

本稿では，深層学習を用いたロボット制御において，ChatGPT へのプロンプティングによって得た言語情報を補助情報として与えた場合の学習効率への影響について実験を行った．RLBench データセッ
トの PutRubbishInBin タスクを用いた実験結果から，言語モデルによるタスクの手順説明は，制御モデルの学習効率の向上に寄与することが確認できた．今後は，別のタスクにおける実験を加えることで，提案手法の汎用性に関する検証をさらに進めていく．

― 2463 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本研究は JST さきがけ JPMJPR21C8 の助成を受けたものです．

参考文献

[13]

[14]

[1] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell,
et al. Language models are few-shot learners. Advancesin neural information processing systems, Vol. 33,
pp. 1877–1901, 2020.
[2] Mark Chen, Jerry Tworek, Heewoo Jun, Qiming Yuan,Henrique Ponde de Oliveira Pinto, Jared Kaplan, HarriEdwards, Yuri Burda, Nicholas Joseph, Greg Brockman,
et al. Evaluating large language models trained on code.
arXiv preprint arXiv:2107.03374, 2021.
[3] Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, and Graham Neubig. Pre-train, prompt,
and predict: A systematic survey of prompting methods in natural language processing. arXiv preprint
arXiv:2107.13586, 2021.
[4] OpenAI. Chatgpt: Optimizing language models for dialogue, 2022. https://openai.com/blog/chatgpt.
[5] Dhruv Shah, Blazej Osinski, Brian Ichter, and Sergey
Levine. Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action. 2022.
[6] Allen Z Ren, Bharat Govil, Tsung-Yen Yang, Karthik R
Narasimhan, and Anirudha Majumdar. Leveraging language for accelerated learning of tool manipulation. In
Workshop on Language and Robotics at CoRL 2022.
[7] Oliver Kroemer, Scott Niekum, and George Konidaris. A
review of robot learning for manipulation: Challenges,representations, and algorithms. The Journal of Machine Learning Research, Vol. 22, No. 1, pp. 1395–1476, 2021.
[8] Jason Wei, Yi Tay, Rishi Bommasani, Colin Raﬀel, Barret Zoph, Sebastian Borgeaud, Dani Yogatama, Maarten
Bosma, Denny Zhou, Donald Metzler, et al. Emergent abilities of large language models. arXiv preprint
arXiv:2206.07682, 2022.
[9] Stephen James, Zicong Ma, David Rovick Arrojo, and Andrew J. Davison. Rlbench: The robot learning benchmark& learning environment. IEEE Robotics and Automation Letters, 2020.
[10] Youngwoon Lee, Edward S Hu, and Joseph J Lim. Ikea
furniture assembly environment for long-horizon complex
manipulation tasks. In 2021 IEEE International Conference on Robotics and Automation (ICRA), pp. 6343–6349. IEEE, 2021.
[11] Jungtaek Kim, Hyunsoo Chung, Jinhwi Lee, Minsu Cho,and Jaesik Park. Combinatorial 3d shape generation via
sequential assembly. arXiv preprint arXiv:2004.07414,2020.
[12] Seyed Kamyar Seyed Ghasemipour, Satoshi Kataoka, Byron David, Daniel Freeman, Shixiang Shane Gu, and Igor
Mordatch. Blocks assemble! learning to assemble with

[15]

[16]

[17]

[18]
[19]

[20]

[21]

[22]

[23]

[24]

― 2464 ―large-scale structured reinforcement learning. In International Conference on Machine Learning, pp. 7435–7469. PMLR, 2022.
Alec Radford, Karthik Narasimhan, Tim Salimans, IlyaSutskever, et al. Improving language understanding bygenerative pre-training. 2018.
Alec Radford, Jeﬀrey Wu, Rewon Child, David Luan,Dario Amodei, Ilya Sutskever, et al. Language models areunsupervised multitask learners. OpenAI blog, Vol. 1,No. 8, p. 9, 2019.
Takeshi Kojima, Shixiang Shane Gu, Machel Reid, YutakaMatsuo, and Yusuke Iwasawa. Large language models arezero-shot reasoners. arXiv preprint arXiv:2205.11916,2022.
Michael Ahn, Anthony Brohan, Noah Brown, Yevgen
Chebotar, Omar Cortes, Byron David, Chelsea Finn,
Keerthana Gopalakrishnan, Karol Hausman, Alex Herzog,
et al. Do as i can, not as i say: Grounding language inrobotic aﬀordances. arXiv preprint arXiv:2204.01691,
2022.
Oier Mees, Jessica Borja-Diaz, and Wolfram Burgard.
Grounding language with visual aﬀordances over unstructured data. arXiv preprint arXiv:2210.01911, 2022.
Faraz Torabi, Garrett Warnell, and Peter Stone. Behavioral
cloning from observation. In IJCAI, 2018.
Corey Lynch, Mohi Khansari, Ted Xiao, Vikash Kumar,Jonathan Tompson, Sergey Levine, and Pierre Sermanet.
Learning latent plans from play. In Conference on robot
learning, pp. 1113–1132. PMLR, 2020.
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser,
and Illia Polosukhin. Attention is all you need. Advancesin neural information processing systems, Vol. 30, ,2017.
Pierre-Louis Guhur, Shizhe Chen, Ricardo Garcia,
Makarand Tapaswi, Ivan Laptev, and Cordelia Schmid.
Instruction-driven history-aware policies for robotic manipulations. In CoRL (oral), 2022.
Olaf Ronneberger, Philipp Fischer, and Thomas Brox. Unet: Convolutional networks for biomedical image segmentation. In International Conference on Medical image computing and computer-assisted intervention,
pp. 234–241. Springer, 2015.
Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya
Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry,Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In International Conference on Machine
Learning, pp. 8748–8763. PMLR, 2021.
Stephen James and Andrew J Davison. Q-attention: Enabling eﬃcient learning for vision-based robotic manipulation. IEEE Robotics and Automation Letters, Vol. 7,No. 2, pp. 1612–1619, 2022.

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

ChatGPT を用いたプロンプティ

各手法における実際の入力文章例の比較

B

ング例

ChatGPT を用いたプロンプティングを行うにあ

本実験では３つの実験設定を用いて有効性を検たって，プロンプト文に十分な情報が含まれていな証した．各手法において，実際に Hiveformer に入力い場合，生成される手順が冗長になる傾向があるこ

した文章例を図 5 に示す．図より， baseline, ﬁxedとが確認された．例えば，図 4 では，「ロボットアーinstruction, variable instruction の順に具体的な指示にムを用いて 4 ステップでゴミをゴミ箱に入れる方法なっていることが読み取れる．
は何か」と聞いており，実際に生成された手順は図2 と類似している．しかし，各ステップにおける文[baseline]
pick up the rubbish and leave it in the trash can.に不要な情報（“This can be done by...”）が含まれてしまっている．


[with ﬁxed instruction]
1. Position the arm above the rubbish.
2. Use the arm’s gripper to pick up the rubbish.
3. Move the arm to the bin.
4. Release the rubbish into the bin by opening the gripper.

What are the 4 steps to put the rubbish in the bin using anrobotic arm?
Instructions:
1. Position the robotic arm in front of the bin: The ﬁrst
step is to move the robotic arm so that it is in frontof the bin and in the correct position to pick up therubbish. This can be done by programming the arm tomove to a speciﬁc location or by manually controlling
it with a joystick or other input device.
2. Grab the rubbish: The next step is to use the robotic
arm’s gripper or other end eﬀector to pick up the rubbish. This can be done by closing the gripper aroundthe rubbish or by using a vacuum system to suck it up.
3. Move the arm to the bin: Once the rubbish has been
picked up, the robotic arm needs to be moved over tothe bin. This can be done by programming the arm tomove to a speciﬁc location or by manually controlling
it with a joystick or other input device.

[with variable instruction]
1. Move the robotic arm to the position of the rubbish:(0.23, -0.30, 0.77)
2. Grip the rubbish with the gripper on the robotic arm.
3. Move the robotic arm to the position of the bin: (0.10,0.21, 0.85)
4. Release the grip on the rubbish.


図 5: 各実験設定 (baseline, with ﬁxed instruction, withvariable instruction) における入力文章例．

4. Deposit the rubbish in the bin: The ﬁnal step is todeposit the rubbish in the bin. This can be done byreleasing the gripper or vacuum, allowing the rubbish
to fall into the bin. It can also be done by using
the robotic arm to place the rubbish carefully in thebin. Once the rubbish has been placed in the bin, therobotic arm can return to its starting position and wait
for the next command.


図 4: 不十分なプロンプトを用いたときの，ChatGPTへ与えるプロンプト（黒字）と生成された手順（青字）の例．

― 2465 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).