大規模言語・視覚モデルを用いたロボティクス基盤モデル
LLM • LVM for Robotics Foundation Models
牧原 昂志*，山田 亮佑**，花井 亮*，中條 亨一*，板寺 駿輝*,
元田 智大*，篠田 理沙**，中原 龍一#，片岡 裕雄**，堂前 幸康*
産総研 {オートメーション*, コンピュータビジョン**}研究チーム
岡山大学#

cvpaper.challenge: http://xpaperchallenge.org/cv
robotpaper.challenge: https://sites.google.com/view/robotpaperchallenge本資料について■{cv/robotics}paper.challenge メタサーベイの一環➤ 2023/03/23〜2023/06/09に実施した調査➤ 論文調査はもちろん，背景・メタ知識も含め収集➤ 今回は「ロボティクス基盤モデル」が主題➤ さらにLLM/LVMをいかにロボット適用できるかを検討
産総研 Robotics x Computer Vision 研究者が大型連携

2

本資料について■

主な参考資料➤ Transformer メタサーベイ- https://www.slideshare.net/cvpaperchallenge/transformer-247407256➤ 基盤モデル メタサーベイ- https://www.slideshare.net/cvpaperchallenge/foundation-models➤ NVIDIA GTC 2022 「2022年 コンピュータビジョン分野のトレンド」- https://hirokatsukataoka.net/temp/presen/220324GTC2022.pdf➤ 講義資料- https://hirokatsukataoka.net/temp/presen/230119Juntendo_ImageRecognition(2).pdf➤ 基盤モデルとロボティクス-

https://speakerdeck.com/mertcooking/foundation-model-and-robotics-ji-pan-moderutoroboteikusu?slide=173

本資料の構成■

イントロダクション➤ 基盤モデルまでの深層学習の歴史について簡単に振り返り■

論文紹介（N+論文）➤ CV/NLP/Roboticsの分野の論文を選出して紹介■

メタサーベイ➤ 論文サマリーからメタな知識を収集■

著者紹介・研究協力者募集

4

イントロダクション

5深層学習の歴史●

DNN時代以前の動向○ Perceptron, MLP, Neocognitron, BackProp, CNN, RNN○ DNNが流行る直前の画像認識では局所特徴(e.g., SIFT, HOG)を使用○ 深層学習 (Deep Learning)の隆盛期にある現在は第3次AIブーム

1st - 3rd AIまでの流れ
2nd AI

1st AI
n

o
ptr

rce
e
P
0
196

0
197

ron

oc

Ne

nit
g
o

0
198

p

ck
Ba

.
rop

0

199

3rd AI
N
N
R
/

N

CN

0

200

ep ing
e
D arn
Le
0

201

3

202

6

深層学習の歴史
2nd AI

1st AI
n

o
ptr

rce
e
P
0
196

0
197

ron

oc

Ne

nit
og

0
198

3rd AI

ck

Ba

N
/RN

.

p
pro

0

199

N

CN

0

200

ep ing
e
D arn
Le
0

201

3

202

1st AIの重要技術
Perceptron○ 入力とコネクション(重み)の線形和，
活性化関数により構成○

ニューラルネットワーク構造の土台
Perceptron (パーセプトロン)
7

深層学習の歴史
2nd AI

1st AI
n

o
ptr

rce
e
P
0
196

0
197

ron

oc

Ne

nit
og

0
198

2nd AIの重要技術
MLP: Multi-layer Perceptron○ Perceptronの多層化
Neocognitron/ConvNet○ 畳込みの概念を導入

N
/RN

.

p
pro

ck

Ba

3rd AI

0

199

N

CN

ep ing
e
D arn
Le

0

0

200

201

3

202

Neocognitron
K. Fukushima, “Neocognitron: A Self-organizing Neural Network Model for a
Mechanism of Pattern Recognition Unaffected by Shift in Position,” Biol.
Cybenetics 36, pp.193-202, 1980.
https://www.rctn.org/bruno/public/papers/Fukushima1980.pdf

Convolutional Neural Net
Y. LeCun et al. “Gradient-Based Learning Applied to Document
Recognition,” IEEE, 1998.
http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf

特に隣接ピクセルに類似関係のある画像処理に有効8

深層学習の歴史
2nd AI

1st AI
n

o
ptr

rce
e
P
0
196

0
197

ron

oc

Ne

nit
og

0
198

3rd AI(特に初期)の重要技術
CV: AlexNet, ResNet

3rd AI

ck

Ba

N
/RN

.

p
pro

0

199

N

CN

0

200

ep ing
e
D arn
Le
0

201

3

202

AlexNet
引用：A. Krizhevsky et al. “ImageNet Classification with Deep Convolutional Neural Networks”, NIPS 2012,https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

ResNet
引用：K. He et al., “Deep Residual Learning for Image Recognition”, CVPR 2016,
https://arxiv.org/pdf/1512.03385.pdf○ 画像認識コンペILSVRC2012で圧勝し，深層学習ブームが再来○ 深層化/データ量/計算力により目覚ましい精度向上

NLP: Word2Vec, RNN○ 自然言語を深層学習で利用可能な表現にした

Word2Vec
引用: T. Mikolov et al, "Efficient Estimation of Word Representations in
Vector Space", ICLR 2013, https://arxiv.org/pdf/1301.3781

Seq2Seq (RNN)
引用: I. Sutskever et al, "Sequence to Sequence Learning with Neural
Networks", NIPS 2014, f https://arxiv.org/pdf/1409.3215.pdf

9Transformerから基盤モデルへ (NLP編)
Transformerが流れを変えた！
Self-Attention(自己注意)機構により系列データを一括同時処理可能に
学習時間短縮/性能向上を同時に実現
ブレイクスルーを引き起こした（2017年時の翻訳タスクでSoTAを達成）
急発達するHPCによるGPU/TPU並列計算技術と相性抜群
前処理でトークン化できればマルチモーダルも処理可能，
近代のほぼ全ての大規模基盤モデルは， Transformerがベース
引用：A. Vaswani et al. “Attention Is All You Need”, arXiv
pre-print:1706.03762, 2017. https://arxiv.org/abs/1706.03762

10

Transformerから基盤モデルへ (NLP編)
BERT / GPTにより大規模化が始まる
BERTの学習方法
BERTでは多くのタスクを単一モデルで解くことができるが，「文章のマスクと復元（MLM）」と「連続する２つの文章が意味的に同じか異なるか推論（NSP）」により自己教師あり事前学習
MLMの例
Attention is All You Need.（元データ）↓ 意図的に欠損作成
Attention is All ___ Need.（復元前）↓ BERTにより推定
Attention is All You Need.（復元後）
引用：J. Delvin et al. “BERT: Pre-training of Deep Bidirectional Transformers for Language
Understanding”, arXiv pre-print:1810.04805, 2018. https://arxiv.org/abs/1810.04805

11Transformerから基盤モデルへ (NLP編)
BERT / GPTにより大規模化が始まる
GPTの学習方法
事前学習の後に各タスクごとに
Fine-turningを行う
タスクを意識したアーキテクチャの構成でFine-tuningを行う
アーキテクチャの構造の変更を最小限に抑えつつ，様々なタスクで効果的に学習できている
引用：A. Redford et al. “Improving Language Understanding by Generative Pre-training”, 2018.
https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/langu
age_understanding_paper.pdf

12Transformerから基盤モデルへ (NLP編)
2019年以降の大規模言語モデル
Large Language Models(LLM)は大規模言語モデルと総称，サーベイ論文では10B以上のモデルをLLMと定義

引用：W. X. Zhao et al. “A Survey of Large Language Models”, arXiv 2023,
https://arxiv.org/abs/2303.18223

13

Transformerから基盤モデルへ (NLP編)
OpenAIのLLM (GPTシリーズ)
GPT-{1,2,3}
GPT-1(2018)
GPT-2*(2019)

GPT-3**(2020)

1.2 Billion
15 Billion
175 Billion
モデルの構造は同じ＋モデルサイズとデータ量+モデルサイズとデータ量が増加がさらに増加
+Fine-turningを行わない
新しい仕組み*引用：I. Solaiman et al. “Release Strategies and the Social Impacts of Language Models”(GTP-2), arXiv, 2019 https://arxiv.org/ftp/arxiv/papers/1908/1908.09203.pdf

段階的にモデルサイズとデータ量を増やしつつ，人間に匹敵するような文章生成を行う
Text predictionを行うモデルで，in-context
learningによって目的のタスクに迅速に対応できる{Few, One, Zero}-shotにおいて，Fine-tuning時に匹敵する性能を出す
モデルサイズとパラメータを増やせば精度が上がっていくことがわかっている**引用：Tom B. Brown et al. “Language Models are Few-Shot Learners” (GTP-3), arXiv, 2020
https://arxiv.org/pdf/2005.14165.pdf

14

Transformerから基盤モデルへ (NLP編)
OpenAIのLLM (GPTシリーズ){Instruct*, Chat*} GPT

RLHF（Reinforcement Learning from
Human feedback）で人間にとって望ましい出力を得る
Step1: Supervised Finetuningによってベースモ
デルを得る
Step2: 望ましい出力かどうかを判断する報酬モデ
ルを人間が判断したデータから学習
Step3: ベースモデル，報酬モデルを使ってPPO（強化学習手法）で学習する*引用：L. Ouyang et al. “Training language models to follow instructions withhuman feedback” ,arXiv, 2022.
https://arxiv.org/abs/2203.02155**引用：C. Leiter et al. “ChatGPT: A Meta-Analysis after 2.5 Months”, arXiv, 2023.
https://arxiv.org/abs/2302.13795

真実性の向上と有害な出力生成を削減し，ChatGPT（これをチャット形式に拡張）が波及
15

Transformerから基盤モデルへ (NLP編)
OpenAIのLLM (GPTシリーズ)
GPT-4

GPT-3に対してモデルとデータサイズを格段にスケールアップさせることでより正確な文章を生成できるようになった
モデルサイズを大きくしていくと最終的な損失も小さくなる（＝性能が良くなる）ことを小さいモデルから検証し，GPT-4まで大きくしたときの性能の予測を正確に行った
HumanEvalデータに対しても同様の効果を確認

引用：OpenAI, “GPT-4 Technical Report”, arXiv, 2023.
https://arxiv.org/pdf/2303.08774.pdf

16

Transformerから基盤モデルへ (NLP編)
OpenAIのLLM (GPTシリーズ)
GPT-4
専門的，学術的なベンチマークで人間レベルの性能を発揮できることを確認
さまざまな分野の試験において，
GPT-3.5よりも全体的に性能が向上．
これ以外の様々なベンチマークタスクの性能が向上していることを確認しており，言語の違いに対しても高い性能．
引用：OpenAI, “GPT-4 Technical Report”, arXiv, 2023.
https://arxiv.org/pdf/2303.08774.pdf

17

Transformerから基盤モデルへ (NLP編)
GoogleのLLM● PaLM○○○

Googleの540BパラメータLLM
LLMの異なるタスクを分割・結合させスケーリング学習
Wikipedia/CommonCrawl/BookCor
pus/OpenWebTextから収集された大規模なデータセットや6144 TPUv4を用いて学習

引用：A. Chowdhery et al. “PaLM: Scaling Language
Modeling with Pathways”, arXiv 2022,
https://arxiv.org/pdf/2204.02311● Bard○○○Googleの対話型AI
PaLM2をベースに構築したLLMにより実装
PaLMよりもさらに高い性能を誇る生成AIとして機能

引用：W. X. Zhao et al. “A Survey of Large Language
Models”, arXiv 2023, https://arxiv.org/pdf/2303.18223

18

Transformerから基盤モデルへ (NLP編)
METAのLLM
LLaMA (Alpaca, Vicuna)
トレーニングデータ量（数兆個のトークン）を増やす

データのリークによって，様々な派生手法が出てきた

7B/65Bのモデルサイズ
比較的小さなモデルで高い性能

Alpaca: ChatGPTの生成データでLLaMAをfine-tuning
Vicuna: ユーザとChatGPTの会話ログでLLaMAをfine-tuning

LLaMa-13BはGPT-3(175B)に，LLaMa-65BはChinchilla-70BやPaLM-5の性能に匹敵する性能
オープンソースで公開
引用：H. Touvron et al. “LLaMA: Open and Efficient Foundation Language Models”, arXiv, 2023.
https://arxiv.org/pdf/2302.13971.pdf

引用：R. Taori et al. “Stanford Alpaca: An Instruction-following LLaMA model”,
Github, 2023. https://github.com/tatsu-lab/stanford_alpaca
引用：W.-L. Chiang et al. :Vicuna: An Open-Source Chatbot Impressing GPT-4 with
90%* ChatGPT Quality”, 2023.
https://lmsys.org/blog/2023-03-30-vicuna/19Transformerから基盤モデルへ (CV編)
Vision Transformer (ViT)の登場●

画像分割した画像パッチを単語（トークン）と見做して入力●

ほとんどのCNNによる画像認識精度を超越●

事前学習データの増加に伴い精度向上することを発見

CNNからViTへ（2020年10月）[He al. CVPR16]
Attention is all you need [Vaswani+, NIPS17]
Figure from [Dosovitskiy+, ICLR21]

ViT / Swin Transformerは2023年現在
においてもベーシックな手法として扱われている
ViT [Dosovitskiy+, ICLR21]

Swin Transformer [Liu+, ICCV21]

20

Transformerから基盤モデルへ(CV編)
ViT向けの自己教師あり学習● 実画像に対して自動で一貫した教師を付与○○○

DINO：ラベルなしでの自己蒸留
MoCoV3：対照学習MoCoと同様だが，ViT向けに改善
MAE：パッチの復元（BERTのMLMを画像版タスク）

PT: DINO + ViT-B/16
FT: 78.2 @ ImageNet-1k val.

PT: MoCoV3 + ViT-B/16
FT: 83.2 @ ImageNet-1k val.

DINO [M. Caron+, ICCV2021]
https://arxiv.org/abs/2104.14294

MoCoV3 [X. Chen+, arXiv2021]
https://arxiv.org/abs/2104.02057

PT: MAE + ViT-B/16
FT: 83.6 @ ImageNet-1k val.
(ViT-H448では87.8まで向上)
MAE [K.He+, CVPR2022]
https://arxiv.org/abs/2111.06377

21

Transformerから基盤モデルへ (CV編)
大規模視覚モデル: Large Vision Models (LVM)
ViT-22B (画像認識), Segment Anything (セグメンテーション)
Data/ModelのスケールはCVでも有効●●

ViT-22Bではゼロショット認識，セグメンテーション，距離
画像推定，動画認識などで最高水準
もしくはそれに準ずる精度まで到達
Segment Anything Model（SAM）は10億以上のセグメ
ントで学習，データ収集の半自動化手法も考案してSA-1Bデータセット構築（左図）

Segment Anything Model (SAM)
引用：A. Kirillov et al. “Segment Anything”, 2023. https://arxiv.org/abs/2304.02643

22

Transformerから基盤モデルへの流れ(V&L編)
言語と視覚の関係を紐付けるCLIPの登場
言語・視覚タスクをゼロショット認識●

言語・視覚の特徴空間を画像・テキストでペアリング
されたデータセットで対照学習（画像とテキストのエ
ンコーダ特徴を対応づけることで学習）●画像に対しテキストが埋め込まれているので，ゼロショット画像認識を始め，画像キャプションやテキストからの画像生成など広く応用される

引用：A. Radford et al. “Learning Transferable Visual Models From Natural Language Supervision”, arXiv
pre-print:2103.00020, 2021. https://arxiv.org/abs/2103.00020
参考：Zero-shot Learning網羅的サーベイ： CLIPが切り開いた Vision & Languageの新しい世界
https://techblog.exawizards.com/entry/2023/05/10/055218

23

Transformerから基盤モデルへの流れ(V&L編)
テキストからの画像生成（Text-to-Image）
代表例：DALL・E1/2, Stable Diffusion, Midjourney
【概略図】

圧縮

“こっち見てる白黒ぶち猫”

復元

Text
Encoder

テキストから潜在表現を獲得するブロック（Text Encoder）

テキストの潜在表現から画像を生成するブロック（Image Generator）

基盤モデル間で異なる主な要素は，● Text Encoder に何を使うか（CLIPが多い）● Image Generator に何を使うか（VAE/Diffusion Models）
24

ここまでのおさらい
Transformer登場以降のNLP, CV, V&L
NLP

CV

V＆L

Transformer

大規模モデル時代へ突入し，Zero-shot
でも高い性能を出す

BERT

Billion規模のモデルサイズ，データを扱い，計算リソースをフル活用して精度をさらに上げる競
争が激化

ViT

CLIP

次は実世界へのGroundingをいかに行うか＝ロボティクスへの応用
GPT
PaLM, Bard
LLaMA

ViT-22B
SAM

DALL•E1/2
Stable Diffusion
Midjourney25

ロボティクスの歴史: 自動運転とマニピュレーション•

深層学習登場以降の動向● 自動運転：SLAMや深層強化学習が中心● マニピュレーション：タスク特化の学習モデルやEnd-to-Endの動作生成

本資料では，ロボティクスのタスクとして
マニピュレーションを扱うことが多い．
引用：J. Mahler et al. “Learningambidextrous robot grasping policies,”
Science Robotics 2019https://www.science.org/doi/10.1126/scirob
otics.aau4984

引用：C. Wang et al. “DenseFusion: 6D Object Pose Estimation by
Iteratibve Dense Fusion,” in CVPR 2019http://openaccess.thecvf.com/content_CVPR_2019/papers/Wang_DenseFusion_6D_Object_Pose_Estimation_by_Iterative_Dense_Fusion_CVPR_2019_paper
.pdf

26

ロボット学習の経緯: End-to-End学習
End-to-end training● 前設計が必要だった画像特徴量を深層学習に置き換えて，画像から行動までをひとつのパスで決定可能に● 画像特徴量をもとに，報酬に則って方策を更新する● 実環境のオンライン学習は相当な時間・設備が必要○○

Google や U.C. Berkeley が共同で実験
Sim上の学習・Sim2Real にシフト
引用：S. Levine et al., “End-to-End Training of Deep Visuomotor
Policies”, 2016, https://arxiv.org/pdf/1504.00702.pdf

Arm Farm [Google, 2016]
引用：S. Levine et al., “Learning Hand-Eye Coordination for Robotic Grasping with Deep
Learning and Large-Scale Data Collection,” 2016. https://arxiv.org/pdf/1603.02199.pdf

27

ロボット学習の経緯: 学習データ
Simulationのロボットデータ● 収集コストが低い，安全に収集可能● 環境の再現が容易なため学習理論の検証・ベンチマーク利用に適する● 現実に関するリッチな情報（ダイナミクスなど）には限界がある→ Sim2Real 転移の技術が必要

robomimic: 8タスク2500+のシミュレータ上でのhumandemonstration．
[Stanford, Univ. of Texas, ‘21]

MetaWorld: 強化学習のベンチマーク．50タスクの作業環
境．GATOの学習でも利用された．
[Stanford他4組織, ‘21]
28

ロボット学習の経緯: 学習データ
Realのロボットデータ• 時間，リソースを含め収集コストが高い• データの多様性には限りがある• 現実に関するリッチな情報（ダイナミクスなど）が取れる

RoboNet：7種類のロボットを利用，15M+フレームの多視点から撮影した作業動画[UC Berkeley他3大学, 2020]

RT-1: 人による操作で，700以上のタスク130kのdemonstrationデータを17ヶ月かけて収集[Google, 2022]29

ロボット学習の経緯: Sim2real
シミュレーション技術の発展● 視覚の質向上○ Physically based rendering● ダイナミクスの質向上○ 接触モデルの改良○ 干渉判定の高精度化○ FEMによる変形物表現● 高速化○ GPUを利用した高速な物理計算

Drake [TRI, MIT]工場における組立作業
Isaac Sim を利用 [Nvidia, RSS2022]• 個別タスクでは，高難度タスクの学習に利用されている
30

ロボット学習の経緯: 学習データ
Sim2Realの転移のアプローチ
1.
2.
3.
4.

詳細はLil’logを参照：
https://lilianweng.github.io/posts/2019-05-05-domain-randomization/

シミュレーション自体を限りなく現実に近づける（システム同定）
現実からシミュレーション間の変換を学習する（ドメイン適応）
シミュレーション内で幅広い範囲を学習する（ドメイン乱択化）
シミュレーションでのみ得られる情報を活用して学習を促進する

TuneNet [Allevato+, PMLR2020]

1. 現実に合うようにシミュレーション
パラメータを調整

RL-CycleGAN [Rao+, CVPR2020]

2. 現実とシミュレーション間の変換を学習．変換方向によって sim2real,
real2simと呼ばれる[OpenAI, arXiv2019]

3. 色やテクスチャ等の視覚，質量や摩擦等の物理，遅延時間等のシ
ステムのパラメータをランダムに与えデータ生成[ETH, Science Robotics2022]

4.摩擦や真の環境形状などシミュレー
ションでのみ得られる情報を使って学習したteacherの挙動を模倣するように
studentを学習

やはり現実世界で大量にデータ収集する必要性に気づいた → ロボティクス基盤モデルの時代へ
31

ロボット学習の経緯: 学習モデル
主流は模倣学習とオフライン強化学習• 模倣学習 (imitation learning, behavioral cloning)– 事前に集めたデータを再現するよう学習• 強化学習 (reinforcement learning)– 観測した状態から報酬を大きくする行動を選ぶよう学習• 世界モデル (world model)– 行動＋抽象化した環境情報を予測するよう学習する– 基盤モデルではナビゲーションへの応用が見られる
参考：

東大松尾研のAdvent Calendar URL: https://qiita.com/advent-calendar/2022/robot-ai>> 世界モデルに関する資料●●

https://qiita.com/MENDY/items/c70741665356cd27449c
https://qiita.com/Jumpei-Arima/items/9348ab187852e200a287

32

ロボット学習の経緯: 模倣学習
収集したデータから行動を再現する学習● ユーザによる直接教示や遠隔操作で画像や言語，運動データを集める● 2018年ごろから事例が増え，収集データのバリエーションと共に汎化性・頑健性が向上
One-shot imitation[Yu+, 2018]
約600 ~ 1300エピソード

Interactive language [Google, 2022]
87kエピソード
BC-Z [Jang+, CoRL2021] 約26kエピソード33

ロボット学習の経緯: 強化学習
観測した状態から報酬を増やす行動を選ぶ学習● ロボットが観測した画像から報酬（タスクの成否・障害物への衝突など）をもとに次の行動する方策を獲得する● 2016年当初は行動決定に現在の方策を利用するon-policyな学習○○

タスクの複雑化によってon-policyな学習は次第に困難にOffline dataとの併用やoff-policyな学習にシフト

Arm Farm [2016]
on-policy RL

QT-opt [2018]offline data & on-policy RL

MT-opt [2021]
off-policy RL
34

ロボット学習の経緯: オフライン強化学習
Decision Transformer [Chen+, arXiv2021]● Transformer を強化学習で利用するためのパラダイム○

状態の入力 s(t) に対して行動 a(t) を予測する● 将来の報酬和 R(t) で条件付け○○大きい報酬和->エキスパート／小さい報酬和->ビギナー
報酬和で条件付けした Behavioral cloning とも解釈可能

引用：https://arxiv.org/pdf/2106.01345.pdf
35

ロボティクス基盤モデル
RT-1の登場
ロボット向けの実環境の大規模データ（言語，画像，行動）とモデル(Transformerベース)によって様々なタスクをこなす
言語，画像の基盤モデルが実環境へのGroundingを可能にした
●
●
●
●
●

700以上のタスク処理
高い汎化能力
環境に対するロバスト性
多様なタスクへの適用
新規データへの対応 など

ロボットのためのデータとモデルが初めて大規模になった
36

RT-1の主要技術: 大規模データ
実環境の大量の行動データを収集
長期間・大量のデータを様々な環境やタスク設定において，人間のデモンストレーション（テレオペレーション）から収集→ 言語指示のアノテーション/ ロボットの行動 / 視点画像，のデモデータ）

●
●
●
●

デモ ：130K
タスク ：744
ロボット：13台（EBR）
収集期間：17ヶ月
37

RT-1の主要技術：大規模データ
SimulationとRealのデータを活用
Real
デモ数：130k

模倣学習

Real2Sim

強化学習

Sim
データ数：520k

これまでの学習戦略 (効果的な強化学習 )，Sim2Realの技術が統合されているRealのみよりもSimで経験データを拡張すること
で高い汎化性能を持たせる

38

RT-1の主要技術：大規模データ
データの量に関するスケーリング則Transformerベースのモデルが言語，画像に置いてデータの量が増えると性能も上がるという報告がRobotics分野においても確認
実環境での動作を考えるとモデルサイズよりもデータを重視
データの量を増やすと，汎化性能も向上するが，データの多様性もかなり重要→ データ量の49%削減と多様性（タスクの種類）の25%削減が同じくらいの性能
ロボットのデータ収集はコストが大きいが，闇雲に集めるだけではいいデータにはならない！
39

RT-1の主要技術: 学習モデル
Transfomerをベースとした非自己回帰モデル● 多様なタスクをこなせるモデルサイズ● ロボットがスムーズに動けるくらい速い推論の双方を満たすことが必須● Tokenlearner● Transformerでは自己回帰をしないことにより
言語・画像入力からの動作出力を高速化 (約3Hz)

40大規模言語モデルの活用：ロボティクス
ロボティクスへの展開● ATLA [Ren+, 2022]
道具の形状と役割を言語から解釈
ロボットの操作に活用● VIMA [Jiang+, 2023]
画像（イメージ）と言語（命令）を組み合わせたプロンプトマニピュ
レーションタスクの表現に適することを証明

例：’ハンマー’の知識を言語モデルがから得ている● Gato [Reed+, 2022]

テキストと図を指示に使う！

任意の入力に対応するエージェントの操作を含むLLM→Atari（ゲーム）～Pick-and-Placeを実現● SayCan [Ahn+, 2022]
抽象的な指示からロボットが実行可能な動作を選択→ LLMが現実世界から文脈を理解
ロボットが理解・実行できるレベルに調整

あらゆるのタスクに人間レベルで対応できるモデルを目指している

41

大規模言語モデルの活用：LLM/LVM
CLIPの活用●

CLIPort [Shridhar+, CoRL2021]●

CLIPの言語・画像対応を活用してロボットタス
クのためのアフォーダンス予測
ゼロショット認識の能力を活用してタスク特有のエンジニアリングが不要に●●

CLIP-Field [Shafiullah+, RSS2023]●

V&Lのモダリティから3D空間のセマンティック表現を獲得

42

大規模言語モデルの活用：3D (NeRF)
ロボットが人間との会話を通じて三次元世界の理解
LERF: Language Embedded Radiance Fields[Kerr+, 2023]

LLMとNeRFにより再構成されたデジタル3D世界の架け橋に
CLIPからNeRFへ言語埋め込みを実現
抽象的なクエリ:「Electricity」，視覚的なクエリ:「Yellow」，long-tailな物体:「Waldo」，文章読み上げ: 「Boops」等の幅広いクエリに対応可能
引用：https://www.lerf.io/

Chat with NeRF

GPT-4/LLaVA/BLIP-2/NeRF Studio/LERFの技術を組み合わせる
ことで，3Dシーン環境/物体についての対話が可能

デモ必見!! http://sled-whistler.eecs.umich.edu:7777/
43

ロボティクスにおける重要技術と今後
•

•

•

•

•

学習データ (Sim2Real)○ 現状: シミュレーションデータとSim2Real or 実環境データ○ 今後: RT-1は実環境を重視していたが，シミュレータもまだ可能性はある(Differentiable
simulationなど)，継続学習
継続学習○ シミュレーションでのデータスケーリング（無限に生成）○ 比較的少量ながら現実世界で調整
学習モデル○ 現状: CNNからTransformerへ○ 今後: クロスモーダル，推論速度
学習方法 (模倣学習&強化学習)○ 現状: On-policyからOff-policyへ，○ 今後: 模倣学習と強化学習は組み合わされる
大規模言語モデルの活用○ 現状: 言語と画像,3Dの関係を利用してロボットができることと対応づける○ 今後: 言語をフルに活用して常識を引き出しロボットの行動を生成※ 詳細な説明はp.130以降のメタサーベイスライドをご覧ください．

44

論文紹介
※全ての論文を網羅していないことにご注意ください45Transformerから基盤モデルへ (NLP編)
46

A Survey of Large Language Models (arXiv)
W. X. Zhao et al.

●

https://arxiv.org/abs/2303.18223【概要】LLMのサーベイ論文

主要なLLMの流れ：T5, GPT以降の10Bパラメータ以上のモデルの発展がひと目でわかるようにまとめられている．

言語モデル一覧：公開・非公開と基本情報がまとめられている

片岡/{FM, Language}

47

A Survey of Large Language Models (arXiv)
W. X. Zhao et al.

●

https://arxiv.org/abs/2303.18223【概要】LLMのサーベイ論文○ LLMを包括的に知ろうとしたらまずはこのサーベイを読むべき！LLMについての基礎情報・この数年の流れ・具体的な言語モデル・言語データセットの構築方法・利用とリスクなど，50ページ以上に渡りまとめられている．

典型的なデータ前処理の流れ：クローリング，フィルタリング，重複除外，プライバシ対策，トークナイズを経て事前学習ができる形に加工される

片岡/{FM, Language}

48

Emergent Abilities of Large Language Models (TMLR 2022)
J. Wei et al.

●

https://arxiv.org/abs/2206.07682【概要】LLMにおける，言語モデル規模と言語能力の関係性に関する調査を行った論文．
○ 【新規性】大規模モデルは小規模モデルより高度な言語処理能力を獲得できることを示した（下図参照）．
○ 【実験結果】テキスト分類・質問応答タスクにより小規模と大規模な言語モデルでは挙動が異なることが明らかになった○ 【議論】議論として，LLMの学習・運用は高コストであることが指摘されている．今後，より効率的な学習方法やリソース削減する手法の開発が求められる．また，多言語処理やマルチモーダ
ル処理など，より高度なAI学習の応用も期待される．

論文中のFigure 2：LLMの性能とモデルスケールの関係．横軸には，モデルのモデル
スケール（学習のFLOPs），縦軸には，言語処理タスクの性能がプロットされている．
図中には，GPT-3やLaMDAなど，従来から知られているLLMの性能とスケールが示されている．図からは，パラメータ数が増えるにつれて言語処理タスクの性能が向上することがわかる．ただし，一定以上のパラメータ数を超えると性能向上が鈍化する傾向がある．

片岡/{FM, Language}

49

Training language models to follow instructions with human feedback (arXiv)
L. Ouyang et al.

●

https://arxiv.org/abs/2203.02155【概要】InstructGPTの提案論文○ 【新規性】人間のフィードバックによる教示により言語モデルをFine-tuningして出力結果を改善．
○ 【手法】下図参照○ 【実験結果】COCO Caption, Visual Genome, CLEVR, GQAにより有効性を確認．

InstructGPTの概要：
LLMに対して人間が望ましい出力結果に関する教師あり学習のラベルを与える（Step 1）．出力結果を比較して，順位付けを行うことで報酬を獲得（Step 2）．報酬を元にして強化学習（Step 3）．

片岡 /{FM, Language}50

Introducing ChatGPT (OpenAI Blog)
OpenAI●

https://openai.com/blog/chatgpt【概要】OpenAIによる対話型AIサービスChatGPTのリリース・紹介である．2022/11/30に公表され，瞬く間に世界中に広がり最短で100万・１億ユーザを獲得した．GPT-3やInstructGPTの後継モデル（さらにGPT-4の前身）として紹介されたChatGPT．同時にWEBベースのアプリケーションもリリースされた．
○ 【手法】RLHFを用いたInstructGPTモデルをベースとして，学習をしているが学習データセットが拡張され，Supervised Fine-tuningにより学習されている．
○【実験結果】ChatGPTは言語に対する受け答えに対して汎用的に機能するモデルとなり，言語モデルの有効性を世界中に示す結果となった．右図に示すようにコードに対する質問や回答もできるようになっている．

ChatGPTによるユーザのコードデバッグの様子．
エラー出力からユーザとChatGPTがインタラクティ
ブにエラー解消に取り組んでいる．画像は一部を転載．
片岡 /{FM, Language}51

ChatGPT: A Meta-Analysis after 2.5 Months (arXiv)
OpenAI●

https://arxiv.org/abs/2302.13795【概要】2022/11のリリース後，ChatGPTがどのように使われているのかをメタ解析．ChatGPTに関する
30万Tweet，150論文をダウンロードして調査を行った．次第に喜びよりも驚き・恐怖が多くなってきた．
医療分野においても用いられるようになった．英語以外のツイートも増えている．研究的な要素というよ
りもOpenAIによるメタな解析である．

片岡 /{Language}52

PaLM: Scaling Language Modeling with Pathways (arXiv 2022)
Aakanksha Chowdhery et al.

●

https://arxiv.org/abs/2204.02311【概要】Googleの提案する540BパラメータのLLM○ 【新規性】LLMの異なるタスクに対応するPathwayに分割してスケーリング．自然言語のみならず，コード生成にも長けている．
○ 【手法】基本構造はTransformerであり，Wikipedia/CommonCrawl/BookCorpus/OpenWebText
から収集された大規模なデータセットや，計算リソースとして6144枚のTPUv4を用いて学習されている．
○ 【実験結果】少量サンプル学習の文脈で最高精度の言語理解タスクを記録している．さらに，BIG-Benchにおいては，平均的な人間の性能を超える性能を示した．
○ 【議論】過去最高パラメータのPaLMモデルであるが，まだ性能は止まるところを知らない．さらに，モデル・計算リソース・データをスケーリングさせること，データセットの品質改善が課題と位置付けられている．

片岡 /{FM, Language}53

LLaMA: Open and Efficient Foundation Language Models (arXiv)
H. Touvron, et al.

●

https://ai.facebook.com/blog/large-language-model-llama-meta-ai/【概要】Metaが提案したLLMであるLLaMA論文○ 【新規性】7~65Bのモデルを学習，LLaMA-13Bでは少ないパラメータながらGPT-3（175B）の性能を上回る．LLaMA-65BはChinchilla-70B/PaLM-540Bに匹敵．
○ 【手法】基本はTransformer構造によりモデルが形成されており，一兆を超える単語のデータセッ
トで学習された．
○ 【議論】比較的少ないパラメータで高性能なLLaMAモデルを公開することにより，LLM開発が加速する．また，今後はより大規模なデータセットを使用して学習することで，さらに高度な性能を発揮することができる可能性も示唆される．

言語データセットをどこから取得したのかが示されている．
CommonCrawlが最も多く，GitHub/Wikipedia/arXivなどからも言語情報が抽出されている．
片岡/{FM, Language}

54

Transformerから基盤モデルへ (CV編)55

An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ICLR2021)
A. Dosovitskiy et al.

●【概要】TransformerアーキテクチャをComputer Visionタスクに適用○ 【新規性】従来畳み込みが主流だったCVのモデルに対して，計算効率が高く精度も良い○ 【手法】画像をパッチに分割してPositional embeddingと共にTransformer Encorderに入力する仕組みで画像を扱えるようにした○ 【実験結果】多くの画像分類データに対して高い性能を出し，データ量が大きくすれば畳み込み
ベースよりも高精度になる【16x16に画像をパッチ分割して入力する】
牧原 / {Vision}【同一データ量で比較した時，データ量が多区すればさらに性能が向上し，畳み込みベースより高止まりしにくい】56

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows (ICCV 2021)
Z. Liu et al.

●

https://github.com/microsoft/Swin-Transformer【概要】物体のスケールと画像の解像度に対応できるtransformerのモデルの提案○ 【新規性】Windowsizeを変化させられる階層構造によって計算効率を上げる○ 【手法】階層的に分割されるWindowの量を減らしてマージすること，Shifted windowによってWindow間の接続を行う．
○ 【実験結果】画像分類，物体検出，セグメンテーションにおいてSOTA【そうごとに同じWindowサイズを使っていたViTに対して，階層的に分解してその数を減らしていく】
牧原 / {Vision}【各Window内でSelf-attentionが計算され，次の層でWindowの分割がシフトされ，新しいWindowが生成される】57

Segment Anything (arXiv 2023)
A. Kirillov et al.

●

https://segment-anything.com【概要】Zero-shotでさまざまなシーンでセグメンテーションが可能な基盤モデル．
○ 【新規性】著作権問題に配慮した11Mの画像と1Bのマスクのデータセットとプロンプト（言語）を対応付けた学習モデル○ 【手法】セグメンテーションに加えて，プロンプトとセグメントの対応関係を学習し，１つのプロンプ
トに対して複数のマスクを予測する．アシストマニュアル，セミオート，フルオートの3つのステー
ジで，人とSAMでデータを生成する○ 【実験結果】Zero-shotで既存の教師ありモデルと同等またはそれ以上の精度【プロンプトとマスクを対応づけることでOpenなカテゴリでタスクを可能にし，言語からもマスクを集めることができる．また，人間によるアノテーションを参加することでデータを大量に増やしていく，】
牧原 / {Language, Vision}

58

ロボット学習の経緯: 学習データ

59

RoboNet: Large-Scale Multi-Robot Learning (CORL 2019)

Sudeep Dasari et al.

●

https://bair.berkeley.edu/blog/2019/11/26/robo-net/【概要】ロボット学習のための大規模データセットRoboNetの提案論文．異なる研究室で収集された多様なデータで構成，ロボットの相互作用，環境，カメラの視点などを含む．RoboNet事前学習により，新規環境での性能が大幅向上し，学習効率が向上．
○ 【新規性】ロボット学習の大規模事前学習を可能とした○ 【実験結果】RoboNet事前学習したモデルが，新規環境でのタスクに対して従来の約4倍高いロ
ボットピッキング成功率を示した．また，少量データ学習の文脈でも5-20分の1の学習で従来法のモデルと同等の精度を実現．
○ 【その他】RoboNetは拡張可能であり，今後もデータセットサイズをスケールできる．タスク・環境
・ロボット種類・実験設定に対する一般化が進むとされる．

RoboNetの環境一覧．グリッパー，物体，ロボット種類，視点やシーンの例を示しており，さらに表では統計的な数値についても説明されている．
【図表のキャプション】
片岡/ {Robotics}

60

RT-1: Robotics Transformer for Real-world Control at Scale (Google Research Blog 2022)

A. Brohan et al.

●

https://robotics-transformer.github.io/【概要】ロボティクス分野における基盤モデル構築に挑戦！大規模かつ多様，タスク非依存のデータから知識転移させることで，ゼロ/少量教師で個別タスクに高い汎化性能を達成○ 【新規性】効率的な推論によるリアルタイム制御，構造化されたデータセットによる学習やロボティクスタスクに特化したモデル（RT-1: Robotics Transformer）の提案○ 【実験結果】700以上のロボティクスタスクにおいて，97%以上の成功率を達成

コメント：データとモデルをこれまでより大きくスケールアップさせたRobotics向けの基盤モデル

RT-1は画像や自然言語の教示からロボットの移動やアームの行動を促す．35Mパラメータであるにも関わらず，1秒に3FPSで動作するなど効率的である．モデルはFiLMにより条件付けられたEfficientNet, TokenLearner,
Transformerにより構成される．
片岡 / {FM, Robotics, Language, Vision}

RT-1の大規模かつ実世界での学習により，700以上のタスク処理，高い汎化能力，環境に対するロバスト性，多様なタスクへの適用，新規データへの対応，などが実現できた．

61

ロボット学習の経緯: Sim2Real62

RL-CycleGAN: Reinforcement Learning Aware Simulation-To-Real (CVPR2020)
K.Rao et al.

●【概要】sim-to-realの手法としてドメイン適応を用いた強化学習．
○ 【新規性】強化学習側の情報をドメイン変換に持ち込むことで，タスクに適したfeatureを保存する
ドメイン変換を提案○ 【手法】CycleGANを用いた画像のドメイン変換において，シミュレーション画像と実画像に対するQ関数が一致するという制約（loss）を追加○ 【実験結果】把持タスクにおいてドメイン乱択化やCycleGANによるドメイン変換を用いた先行研
究より高い成功率を達成

シミュレータから実画像への変換と強化学習タスクを一緒に学習させることでタスクに有用な情報が変換先に含まれるようにする．
花井 / {Robotics}

把持タスクにおいてCycleGANを用いた一般的なドメイン変換より高い成功率を実現

63

Solving Rubik’s Cube with a Robot Hand (arXiv2019)
I. Akkaya et al.

●

https://openai.com/research/solving-rubiks-cube【概要】多指ハンドによるin-handマニピュレーションタスクの学習○ 【新規性】ルービックキューブを揃えるという非常に複雑度が高いマニピュレーションタスクを
simulation上の学習とドメイン乱択化を用いることで実環境で実現したこと○ 【手法】ドメイン乱択化の自動調整，動作学習はシミュレーション上での強化学習，ロボットプラッ
トフォームの工夫○ 【実験結果】平均26.8回の操作（回転，フリップ）に成功．43回の操作が必要な状態からキューブ
を完全に揃えるタスクの成功率20%，半分揃えるタスクの成功率60%．

【ドメイン乱択化を用いてシミュレーションで学習データを生成．強化学習で制御方策を学習．画像からキューブの状態を予測するモデルをCNNで学習】
花井/ {Robotics}【学習した方策は，学習時に存在しない多様な外乱に対してもロバスト】

64

ロボット学習の経緯: 学習モデル

65

BC-Z: Zero-Shot Task Generalization with Robotic Imitation Learning (CoRL 2021)
E. Jang et al.

●

https://sites.google.com/view/bc-z/home【概要】Video/language で条件付け可能な zero- or few-shot 模倣学習モデルの提案○ 【新規性】大規模かつインタラクティブに多種マニピュレーションを学習するシステム○ 【手法①】学習済みモデルによるタスクを人が修正可能な shared-autonomy で学習データセットを増強する．
○ 【手法②】Video/language の特徴でロボットの視覚処理ネットワークを条件付け．同じ
video/language の特徴をコサイン類似度で近づけるよう学習する．
○ 【実験結果】100種のマニピュレーションを学習し，未経験の24種のタスクにも約44%で成功

模倣学習システムの概要．データ収集ではまず人が遠隔操作した11,108回の学習データを収集して事前学習する．学習済みネットワークがタスクを実施し，修正が必要であれば人が介入してデータを増やす．合計25,877回・125時間のマニピュレーションデータで学習している．
中條 / {Robotics, Language}

66

Interactive Language: Talking to Robots in Real Time (arXiv 2022)
Corey Lynch, Research Scientist, and Ayzaan Wahid●

Talking to Robots in Real Time – Google AI Blog (googleblog.com)【概要】リアルタイムにopen vocabulary対応ロボットの模倣学習を実現．
○ 【新規性】咄嗟の指示（「e.g. 少し右へ」）にリアルタイムで対応するLLM○ 【手法】ロボットの軌道（教示用遠隔操作デモ）に対して人がラベル化情報を与え，大規模モデルを構成→言語志向のBehaiviour cloning．
○ 【実験結果】リアルタイムの指示にも93.5%（成功率）で正しく対応できた○ 【その他】87,000のユニークな教示を含むモデルで検証．言語ラベル付き軌道データ【人のリアルタイムの指示に対応した模倣学習．人の教示は5Hz間隔で送信可能．】
元田 / {FM, Robotics, Language}【既存のビデオデータに再ラベル化を与えることでデータを構成．ここでは一般被験者の説明（ラベル化）に基づく．】

67

ロボット学習の経緯: 強化学習

68

MT-Opt: Continuous Multi-Task Robotic Reinforcement Learning at Scale (arXiv 2021)
Dmitry Kalashnikov, Jake Varley, Yevgen Chebotar, Ben Swanson, Rico Jonschkowski, Chelsea Finn, Sergey Levine, Karol Hausman●

MT-Opt (karolhausman.github.io)【概要】大規模データセットを効果的に学習するロボットシステムおよび強化学習手法○ 【新規性】デモ動画からデータの成否を事前に管理．データセットの効率を調整．
○ 【手法】多数のロボットが経験を共有しながら，複数タスクを学習する深層強化学習○ 【実験結果】既知のタスクは既存手法同等だが，データセットに多く含まれない(<50%)タスクやほ
とんど未知のタスク(<1%)にも対応できることを示した．
○ 【その他】7台のロボットによる9,600時間分のデータ．
成否の数のバランス調整などによって，「質」を改善し「量」以上の重要性を指摘．

【簡単なインターフェイスにより人のデモにラベルをつけて成否に関する情報を付加する】
元田 / {FM, Robotics, Language, Vision}【MT-Optの概要】【タスク別成功率比較．データの偏りに影響されない．】

69

ロボット学習の経緯: オフライン強化学
習70

Decision Transformer: Reinforcement Learning via Sequence Modeling (NeurIPS 2021)
L. Chen et al.

●

https://sites.google.com/berkeley.edu/decision-transformer【概要】Transformer で逐次予測可能なオフライン強化学習モデル○ 【新規性】強化学習で Transformer を利用できる学習モデル○ 【手法】（報酬・状態・行動）を１組としたトークン列を Transformer に入力，状態から行動を予測する．報酬には逐次報酬ではなく期待できる将来の報酬和を入力する．
○ 【実験結果】複数の行動決定タスクでベースラインを上回る性能．特に長期タスクで高いパ
フォーマンスを示した．
○ 【その他】指定する目標の報酬和で習熟度が変わる．大きい報酬和でエキスパートに，小さい報酬和でビギナーのように振る舞う．

将来の報酬和・状態・行動を入力し，状態から行動を予測する Transformer モデル．
Causal transformer は GPT と同じアーキテクチャを利用できる．
中條 / {FM}

学習結果の性能比較．将来の報酬和を入力することでパフォーマンスに重要でないデータも方策の学習に適用できる．長期タスク(Key-To-Door) では状態や報酬の予測を後半のタスクに引き継ぐことが重要となる．

71

RT-1の主要技術: 学習モデル

72

Token-learner: Adaptive space-time tokenization for videos (NeurIPS 2021)
M. Ryoo et al.

●

https://github.com/google-research/scenic/tree/main/scenic/projects/token_learner【概要】視覚データから適応的に少数のトークンを見つけ出す表現学習手法○ 【新規性】画像と動画において，パッチや解像度によらないトークン数で効率的かつ効果的に得ることができる○ 【手法】チャンネルと時間方向に対してそれぞれ分割してトークンの集合を生成する○ 【実験結果】動画認識に対して，計算量を抑えつつ，高い性能を発揮した【入力を分割して複数のトークンベクトルを生成する】
牧原 / {Vision}【トークンを統合して再構成するTokenFuserを一緒に用いて表現学習を行う】

73

大規模言語モデルの活用：ロボティク
ス74

Leveraging Language for Accelerated Learning of Tool Manipulation (CoRL 2022)
Allen Z. Ren et al.

●

https://irom-lab.github.io/ATLA/【概要】道具のアフォーダンスの認識に向けた言語付きメタ学習フレームワークモデル○ 【新規性】言語が道具の共有する構造やアフォーダンス理解の補助に活用．
○ 【手法】道具の情報を示すGPT-3のプロンプトと画像を入力したOff-policy RL．
収集されたエピソードは学習済みBERTに入力され効果的にサンプリング．
○ 【実験結果】メタ学習の効果により４つの異なるタスクについて性能の向上．
ゼロショット性能についても未知の道具に対するアフォーダンスの獲得が確認．
○ 【その他】道具の初期姿勢（見え方）によってはアフォーダンスが得られにくい場合がある．基本
的にはシンプルなタスクに限定→Keypointの動作認識などを考慮した既存アプローチとの統合が今後の解決策．

GPT-3が説明する各種の道具の情報が視覚認識とマッチングすることで，自動的にアフォーダンスを獲得することができる
元田/ {FM, Robotics}

75

A Generalist Agent (TMLR 2022)
S. Reed et al.

●

A Generalist Agent (deepmind.com)【概要】単一のモデルでのマルチモーダル，マルチタスクを実行「万能型AIモデル」○ 【新規性】大規模言語モデルを他のタスク（制御など）での利用のために拡張．
○ 【手法】エキスパートの教師データを用いる模倣学習．特にモダリティ毎にTokenize及びEmbedding（ViTなど）を行い，Decision Transformerベースの時系列の予測．
○ 【実験結果】ゲーム，画像のキャプション付け，テキストチャット，
本物のロボットアームによるブロック積上げ，など604種類のタスクを学習○ 【その他】約12億程度のパラメータ数で興味深い結果．
完全/完璧ではないが，万能AIに近づく取り組みの一つとして注目すべき．

【ゲーム，キャプション付け，ロボットなど全く異なるタスクに一つのモデルで対応】
元田 / {FM, Robotics, Language, Vision}【Gato: 各モダリティに専用の処理を行った上，統一的な空間に知覚を落とし込む．】【GatoにおいてもScaling lawが関係】

76VIMA: General robot manipulation with multimodal prompts (arXiv 2022)
Author: Y. Jiang et al.

●

https://vimalabs.github.io【概要】視覚に関するいくつかの種類のプロンプトを入力としてさまざまなマニピュレーションタスクを実行するシミュレーション環境とモデルの提案○ 【新規性】１つの文としての言語命令だけでなく視覚的な意味を持ったプロンプトに分割して扱い，さまざまなマニピュレーションのタスクを実行可能にした．
○ 【手法】言語指示と物体情報の画像のトークンの組み合わせから動作を生成する．このとき，過去の動作と物体情報のトークンを共に入力することで連続的に次の動作を生成○ 【実験結果】データとモデルサイズにおいてスケーリングの効果が示され，Gatoなどの従来手法
より成功率が高い【さまざまなプロンプトを入力として元の命令を達成するように次の行動を生成する】
牧原/ {Robotics, Language, Vision}【いろんなタスクの難しさ（物か組み合わせが未知かどうか，シーケンスの長さ）で既存の動作生成モデルとの比較】

77

Do As I Can, Not As I Say: Grounding Language in Robotic Affordances (CORL 2022)

M. Ahn, et al.

●

https://say-can.github.io/【概要】事前学習済の大規模言語モデル（LLM）と行動を統合，LLMにより文脈を把握し，ロボットが現実世界にて適切に行動．
○ 【新規性】現実世界の煩雑な状況においてもLLMにより文脈を把握できた○ 【実験結果】主に台所環境にて自然言語による101タスクに対して評価，溢した飲み物を拭くた
めのタオルを持って来るように指示した際にもロボットが適切に対応○ 【その他】ロボットが現実世界の状況に応じた行動を適切に選択できるようになる．また，SayCanの決定プロセスの可視化による解釈可能性が主張されている．
コメント：SayCanはRT-1に つながる流れとして重要 ！

LLMを現実世界で動作させるためにロボットに実装．事前学習済のロボットスキルを適切に用いるためにLLM/行動の双方を対応付．
PaLM-SayCanの意思決定を可視化．
片岡 / {FM, Robotics, Language}78

LLM/LVMを用いたロボティクス基盤モ
デル
79

CLIPort: What and Where Pathways for Robotic Manipulation (CoRL 2021)
Shridhar et al.

●

https://cliport.github.io【概要】指示やシーンの意味情報と操作精度を両立する２つ経路を持つ模倣学習モデル○ 【新規性】Vision-language モデルをマニピュレーションの条件付けに応用○ 【手法】指示やシーンの意味情報を CLIP，空間的特徴を Transporter で抽出し，マニピュ
レーション用の学習モデルを条件付けする affordance マップを出力○ 【実験結果】２つの経路がタスク精度を向上，マルチタスクで汎化性を示した○ 【その他】LLM + manipulation で一つのベンチマークとして利用可能① Semantic stream は学習済みの CLIP がシーンの意味情報を，② spatial stream は未学習の Transporter が空間的特徴を抽出する．
中條 / {Robotics, Language}

経路が１つの学習モデル (Transporter only, CLIP only) と比較して高い成功率を示し，マルチタスクで他手法より汎化性が見られた

80

CLIP-Fields: Weakly Supervised Semantic Fields for Robotic Memory (arXiv 2023)
M. Shafiullah et al.

●

https://mahis.life/clip-fields/【概要】LLMとLVMを使って3D空間と言語の紐付けを行い，言語クエリに対してナビゲーションを可能にする○ 【新規性】セグメンテーション，空間と言語検索や自己位置推定などを追加の教師付けなしで様々なタスクに使用できる○ 【手法】DeticとSentence BERT, CLIPを使った2D空間と言語の対応付け，カメラ軌跡からの2Dと3D対応の２つを統合して学習○ 【実験結果】少数サンプルでも３Dセグメンテーションの精度が高い【事前学習済みのセグメンテーションモデルを使って，３D空間に言語情報をマッピングするように学習する．その後，言語クエリから３Dの空間を検索して目的の画像を見つけるように
ナビゲーションを実行する】【RGB,Depthの画像とカメラ軌跡を利用して2Dと言語，2Dと3Dの対応付けをCLIPで学習する】
牧原 / {FM, Language, Vision}81

Deep RL at Scale: Sorting Waste in Office Buildings with a Fleet of Mobile Manipulators (arXiv 2023)
Alexander Herzog, Kanishka Rao, Karol Hausman, Yao Lu, Paul Wohlhart●

https://rl-at-scale.github.io【概要】リサイクル品とゴミの分別を実行する深層強化学習のシステム．実世界のデータとシミュレー
ションデータで構成される大量のデータを同時に学習する○ 【新規性】End-to-Endの枠組みを維持しつつ，シミュレーションと実世界のデータを１つのポリシーとして学習するシステムとした○ 【手法】スクリプトを実環境とシミュレーションで使えるように用意することで自動でデータを収集
し，PI-QT-optでE2Eモデルを学習○ 【実験結果】84％の物体を正確に仕分けることができ，未知では2年の実証で40-50%の成功率

トレーニングデータやテストシーン
牧原 / {Robotics}

未知物体
82

論文紹介：メタサーベイ

83

Learning Universal Policies via Text-Guided Video Generation (arXiv, 2023)
Y. Du, M. Yang, B. Dai, H. Dai, O. Nachum, J. B. Tenenbaum, D. Schuurmans, P. Abbeel●

https://ai.googleblog.com/2023/04/unipi-learning-universal-policies-via.html【概要】テキスト付きの動画生成モデルからロボットの動作を生成○ 【新規性】動画ベースなので汎用的．環境やタスクに応じた報酬設計が不要○ 【手法】動画生成は3D Unet，動作生成は小規模なNN○ 【実験結果】シミュレーション上でのピックアンドプレースタスクを実現○ 【その他】実世界タスクでロボット行動の動画生成も成功
Fine-tuning用ロボットタスク動画・テキストペアは7200個

全体像．Video Diffusionはインプット（画像，テキスト）→アウトプット（動画）の3D U-Net．超解像した動画から行動（６軸ロボットアーム各関節変位量，グリッパ操作合計７自由度）を小規模なニューラルネットワークで推定（Inverse Dynamicsの部分）．
堂前 / {Robotics}

シミュレーション上でのテキスト条件付き動画生成の結果．
タスクのAccuracyは46-60%程度．タスクの物理状態はあまり考慮されていない（吸着ON→無条件で近くにある物体をピック）．
そのためか，現実ではロボット動作動画を生成するところまでになっている(23.4.18時点)．

84Real-World Robot Learning with Masked Visual Pre-training (CoRL 2022)
Ilija Radosavovic, Tete Xiao, Stephen James, Pieter Abbeel ,Jitendra Malik, Trevor Darrell●

https://tetexiao.com/projects/real-mvp【概要】実世界のロボットタスクのための多様な実画像を用いた自己教師事前学習を検討○ 【新規性】 NLP/CV分野で成功しているMAEをロボットタスクの事前学習に適用○ 【手法】 Ego4D含めた複数の一人称視点動画データセット(4.5M)にてMAE○ 【実験結果】 ImageNet/CLIP事前学習モデルより8種類のタスクにおいて高精度■ ImageNet: 1.2M (image only), CLIP: 400M (text-image pair)

5つのデータセット(主に一人称視点動画）から4.5億枚の学習画像を確保
Transformer×MAEにて事前学習し，その事前学習モデルをRoboticsに適用

山田 / {Robotics, Vision}

ImageNet事前学習モデル (画像) / CLIP事前学習モデル (画像と言語)の両者と比較して提案手法が高精度

85Language Conditioned Imitation Learning over Unstructured Data (RSS 2021, Robotics at Google)
C. Lynch et al.

●

https://language-play.github.io/【概要】マルチタスクの模倣学習において，僅かな言語ラベルでタスク指示を可能に○ 【新規性】ラベルなしのdemonstrationデータを活用することで，僅かの言語ラベルで，free-formの言語によるrobotに対するタスク指示を可能にした点○ 【手法】タスク指示なしのdemonstration(=Play)を使った学習(=Learning from PlY; LfP)は著者らの先行研究．LfPではタスクゴールを画像として与えていたが，これは実環境では難しい．本研
究では後付けでゴール画像と言語ゴールを共通の潜在空間に写像するmulticontext imitationを導入した．
○ 【実験結果】1%以下の言語ラベルでゴール画像を与えていた場合と同等以上の成功率．

手法のイメージ図花井/ {Robotics}

Playを学習に使うとタスク成功率が向上する（LangBC < LfP），Playを使った場合でGoal指示
を言語にすると同等（LfP≒LangLfP, 僅かによくなっている）．言語の部分に事前学習を使うと更に改善（LangLfP < TransferLangLfP）

86

ImageBind: One Embedding Space To Bind Them All (arXiv, MetaAI)
R. Girdhar et al.

●

https://imagebind.metademolab.com/【概要】画像をキーにして多様なモダリティを関連付け（Imageにbind）．
○ 【新規性】6つのモダリティのjoint embedding spaceの構築．全てのモダリティが揃ったデータは必要としない．
■ images, text, audio, depth, thermal, IMUデータ○ 【手法】pairが近く，pairになっていないものが遠くになるように埋め込む○ 【実験結果】異なるモダリティの検索，生成，演算○ 【その他】IMUが入っている（身体情報の一種という点でロボットやドローン応用の参考になるかもしれない）【異なるデータソースから得られるimage+別モダリティを共通のembedding
spaceに埋め込む】【アプリケーション】
花井 / {Language, Vision}87

Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (arXiv 2023)
Tony Z. Zhao et al.

●

Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware (tonyzhaozh.github.io)【概要】ALOHAを用いた手先の繊細な作業に対するEnd-to-End学習○ 【新規性】低コストシステム「ALOHA」の提案/Transformerによるアクションの学習○ 【手法】ALOHAによるデータ収集から条件付きVAEによるアクションの学習○ 【実験結果】他手法（RT-1など）が対応しない繊細なタスク（両手での挿入作業やジップロックを開ける，など）への適応を示した．
○ 【その他】20k USD (約300万円)で実現可能．多くの研究者が利用できるよう公開．

【双腕テレオペレーション・ALOHA】
元田 / {Robotics}

88

The CRAM Cognitive Architecture for Robot Manipulation in Everyday Activities (arXiv 2023)
Michael Beetz, Gayane Kazhoyan, David Vernon●【概要】ロボットの日常タスクの実現に有用な認知モデルCRAMの紹介．
○ 【新規性】CRAMがロボットの日常タスクの実現の課題点を克服するのにどのように効果的であるかを解説．
○ 【手法】タスクはロボットの具体的で最小の行動として細分化され理解．
構文を構築するスキームにより行動を計画．生成モデルを用いてこれらを構築．
○ 【その他】ロボットと環境およびタスクに関するクエリに答える具体的な方法を提示．
ビデオの動画からモデルを構築し，現実のロボットへの適用の効果を示した．

【最小単位の実現可能な行動に分類】
元田 / {Robotics, Language}【NEEMs (Narrative-Enabled Episodic Memories)】【home - KnowRob】

89

Scaling Robot Learning with Semantically Imagined Experience (arXiv 2023)
T. Yu et al.

●

Scaling Robot Learning with Semantically Imagined Experience(diffusion-rosie.github.io)【概要】画像データセットを言語モデルを用いて拡張（教師なしで大規模化）する手法．
○ 【新規性】最新の画像生成モデルを活用した基盤モデルの拡張に着目．
○ 【手法】既存の画像生成モデルによりRT-1を拡張．指定範囲（手動）の対象に
言語ベース（GPT-3）に拡張内容を考え，新しい画像を生成．
○ 【実験結果】RT-1の拡張→データに含まれない対象物がある場合に成功率向上．
○ 【その他】既存モデル（複数のFM）を組み合わせることの有用性を示す好例．

【テキストの補助の下，拡散モデルによりデータ拡張．
タスクの学習に適する”妥当”な画像を生成している．】
元田 / {Robotics}【まず画像のマスキング（認識）により領域を特定し，言語ベースに画像を加工する．拡張されたデータはRT-1の学習に用いられる】90

A Comprehensive Realization of Robot Skin: Sensors, Sensing, Control, and Applications (Proc.
IEEE 2019)
G. Cheng et al.

●【概要】スキンパッチ/ 皮膚全体の知覚を処理するネットワーク構成を提案．
全身人工皮膚を備えた敏感なヒューマノイドロボット.
○ 【新規性】ロボットスキンの開発/ 多量のセンサを処理するアイディアを提案．
○ 【手法】上体，腕，脚，足の裏に1260個のセル（13000個以上のセンサー）を搭載．大量のセンサ
情報を扱うために「イベント駆動型」処理を提案（変化のみに着目）○ 【実験結果】不均一な床面に対応．片足でバランス...人と安全にハグ（抱擁）．
○ 【その他】介護ロボットなど，人協調への新たな展開．安全性．

【各センサセル】【図表のキャプション】
参考：https://shiropen.com/seamless/a-comprehensive-realization-of-robot-skin
元田 / {Robotics}【全体を処理に用いるのではなく，変化があった部分に着目することで通信や処理の問題を解消している】

91

Personalize Segment Anything Model with One Shot (arXiv 2023)
Zhang et al.

●

Personalize-SAM: Personalize Segment Anything Model (SAM) (github.com)【概要】One-shotでSegment Anything modelを任意に調整．
○ 【新規性】簡単な入力と学習でSegment Anythingの活用の幅を拡大．
○ 【手法】明示的にプロンプト（マスク-画像の対）を与えることで画像中のPositive（対象物）/Negative（背景）の関係を抽出→Segment Anythingへ入力．
○ 【実験結果】Fine-Tuneの容易さに加え，高精度に実施可能であることを証明．
○ 【その他】SAMの重みは固定．10秒以内/ 2つのパラメータによってマスクを学習可能である．

【PerSAMの概要】
元田/ {Vision}【ファインチューニングが必要なパラメータ数に着目．少量で高い精度を実現】

92

DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation (CVPR 2023)
N. Ruiz et al.

●DreamBooth【概要】生成モデルをユーザーの目的に特化（e.g. 特定の「犬」の写真をベースに生成）○ 【新規性】text-to-imageの課題であった任意の出力方向の調整を実現．
○ 【手法】特定の被写体の画像（3-5枚）から再生成誤差（→①特定画像の特徴）とPrior Preventing Loss（→②汎用な特徴）という2つの損失関数を用いてモデルの
Fine-tuningを実施．
○ 【実験結果】生成画像と元画像の類似性に関する指標を定義し検証．
○ 【その他】Stable Diffusionの追加学習方法として界隈で着目．
an award candidate at CVPR 2023 [link]．

【一般的な生成モデルの場合，普通のテキストで「Dog」とすると様々な種類の「Dogs」が出力．ここでは任意の画像中の「The Dog」が保持可能．】
元田/ {Language, Vision}【二つのLoss関数によってユーザの固有の入力情報と大規模モデルが持つ一般的な特徴とのバランスをとっている】

93

Factory: Fast Contact for Robotic Assembly (RSS2022)
Y. Narang, et al.

●

Factory (google.com)【概要】Omniverse Isaac Simでのアセンブリタスクのシミュレーションツールの開発○ 【新規性】複雑な接触の簡易表現やRL環境の構築○ 【手法】SDFに基づいた接触のGPUを用いた統合, 接触削減, Gauss-Seidel solver○ 【実験結果】1,000同時のボルト・ナットの接触シミュレーションを高速に実行○ 【その他】60のパーツモデル, 3つのアセンブリ環境, 7つのロボットコントローラを含むツール群として公開予定.

図表を添付【1,000ペアのボルト・ナットをシミュレーション】
板寺/ {Robotics}

図表を添付【ボルト・ナット間の複雑な多点接触】

94

IndustReal: Transferring Contact-Rich Assembly Tasks from Simulation to Reality (RSS2023)
B. Tang et al.

●

IndustReal (google.com)【概要】アセンブリタスクにおけるSim-to-RealでのRLを実現するアルゴリズム・システム・ツールを一体として提案○ 【新規性】従来のFactoryに加えて学習ツールや実験環境を一体化して提供○ 【手法】学習手法としては1) simulation-aware policy updates, 2) signed-distance-field rewards,
and 3) sampling-based curriculaを提案○ 【実験結果】右下表【図表のキャプション】
板寺/ {Robotics}

95

Manipulation by Feel: Touch-Based Control with Deep Predictive Models (ICRA2019)
S. Tian, et al.

●

Manipulation by Feel (google.com)【概要】GelSightの画像から接触状態を学習により推定．モデル予測制御によりボール操作○ 【新規性】視触覚として接触モデルを獲得して制御に活用○ 【手法】下図○ 【実験結果】右下表←Deep tactile MPCを
３つの異なるタスクで評価（右に結果を掲載）

板寺/ {Robotics, Vision}

96Tactile Gym 2.0: Sim-to-Real Deep Reinforcement Learning for Comparing Low-Cost High-Resolution Robot Touch (RA-Letter2022)
Y. Lin, et al.
Tactile Gym 2.0 (Multi-Sensor) (google.com)●【概要】視触覚に基づいたSim-to-Real強化学習○ 【新規性】視触覚として接触モデルを獲得して制御○ 【手法】従来のTactile Gym の拡張として、新たなセンサ形式に対応○ 【実験結果】下図参照

板寺/ {Robotics, Vision}

97

ViNet: Pushing the limits of Visual Modality for Audio-Visual Saliency Prediction (IROS 2021)
S. Jain et al.

●【概要】動画と音声から注目する場所であるSaliency Mapを予測する手法○ 【新規性】SOTAを超える性能．さらに提案手法も現在のSOTAも実は音声を利用しないモデル
を学習していたことを示した（音声はもっと上手く使える可能性がある）．
○ 【手法】シンプルな畳み込みベースのencoder-decoderアーキテクチャ．backboneは動作認識タ
スクで事前学習○ 【実験結果】9つのデータセットでSOTAを更新．AVEデータセットでは3つの指標で人間を上回る
性能．

シンプルな畳み込みベースのencoder-decoderアーキテクチャ．
skip-connectionで階層的な特徴をdecoderに入力．video encoderはKinectsデータセットで事前学習．
花井/ {Vision}

予測したvisual saliencyはSOTAであるSTAVISとTASED-NetよりGround Truthに近い．

98Code as Policies: Language Model Programs for Embodied Control (ICRA 2023)
J. Liang, et al.

●

https://code-as-policies.github.io/【概要】LLMを使ってロボットのポリシーを生成することで，空間的な理解を行い新しい命令に一般化
し，コンテキスト（行動常識）に応じて曖昧な記述に正確な制御を実行する○ 【新規性】行動シーケンスに加えて，ピックアンドプレースの軌道や速度などの低レベルの動
作命令のコードを生成して実行することができる○ 【手法】いくつかのモジュールにコードとして行動の種類を分割しておき，適切なパラメータまでLLMを使って生成して当てはめて行動生成をする○ 【実験結果】特にLong-horizonなタスクに対して学習ベースのポリシーより正確【LLMから行動シーケンスとローレベルな制御をコードで記述】
牧原 / {Robotics, Language}【画像認識モデルと組み合わせることで実環境でも動作可能で，さまざまな空間的理解が必要なタスクをさまざまなロボットで実行できる】

99

Perceiver-Actor: A Multi-Task Transformer for Robotic Manipulation (CoRL 2022)
M. Shridhar et al.

●

https://peract.github.io/【概要】Transformerベースで言語の条件付けに基づいて6次元の物体操作を行う○ 【新規性】Transformerを使って，3D情報と言語から行動生成を行う○ 【手法】Perciever Transformerを改良して，言語による条件付けとボクセル情報を入力して，次の行動のボクセルを予測することから行動を生成する．少数のデモから学習を行う．
○ 【実験結果】多くの操作タスクにおいて性能が高く，デモ数を増やすと既存手法との性能差が大きくなる【RLBenchや実環境で言語に対応した少数のデモンストレー
ションを収集する】
牧原 / {Robotics, Language}【RGB-Dの３次元情報をボクセルとして，言語条件と共に入力し，将来の３D状態を予測する】

100

OpenScene: 3D Scene Understanding with Open Vocabularies (CVPR 2023)
S. Peng et al.

●【概要】CLIP特徴空間においてテキストや画像のピクセルと3Dシーンのポイントを対応付けを学習する○ 【新規性】タスクに依存することなく，特定のカテゴリに囚われない３D認識○ 【手法】クラスラベルのEmbeddingと2Dとカメラパラメータから紐づく3D情報を対応付けたCLIP特徴で，2Dのみまたは3Dのみ入力された場合において言語特徴を抽出できるようにする○ 【実験結果】複雑な3Dシーンにおける意味的な情報を高い精度で推定できる【3Donラベルなし，Zero-shotで3D空間と言語を対応づけられた】
牧原 / {Language, Vision}【2Dと3D対応を学習して，CLIPで言語と対応付ける．推定時は2Dと3D特徴をアンサンブルする】

101

Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World (IROS2017)
Josh Tobin, Rachel Fong, Alex Ray, Jonas Schneider, Wojciech Zaremba, Pieter Abbeel●【概要】simulationでの生成データで学習したモデルを実環境で適用できるように画像のランダマイズを行う．
○ 【新規性】シミュレータに十分な変動性を持たせて学習させ実環境のドメインに転移○ 【手法】物体の位置やテクスチャ，カメラ，光源に関するパラメータ，画像へのノイズを網羅的に与える○ 【実験結果】Object Localizationタスクに関して実環境の様々なシーンにおいて高い性能で推定ができた【上記をランダムに変更してシミュレー
ション画像をレンダリング】【できるだけ広い範囲でランダマイズすると性能がいい】
牧原 / {Robotics}

102

RetinaGAN: An Object-aware Approach to Sim-to-Real Transfer (ICRA2021)
D. Ho et al.

●

https://retinagan.github.io【概要】タスクに適した情報を「物品に関する知識を保存すること」とみなし，タスク非依存な形でドメイ
ン適応に組み込み，強化学習に利用○ 【新規性】物体検出をsim-to-realのドメイン変換に組み合わせた点○ 【手法】CycleGANを用いた画像のドメイン変換において，シミュレーション画像と実画像に対して物体検出をした結果が一致するという制約（loss）を追加○ 【実験結果】把持タスクにおいて，ドメイン乱択化やCycleGAN, RL-CycleGANによるドメイン変換手法より高い成功率を達成．

事前学習をしたperception modelを用いてsim-to-realのモデルを学習（左図）．行動のpolicyをこのsim-to-realモデルで生成した画像を用いて学習する（右図）
花井 / {Robotics}

RetinaGANは他の手法と比べて物体のテクスチャを保存し，実シーンの特徴をより上手く再構築している

103

Learning Quadrupedal Locomotion over Challenging Terrain (Science Robotics 2020)
J. Lee et al.

●

Link to Project Page

【概要】学習による4足歩行ロボットの移動制御○ 【新規性】複雑な自然地形における4足歩行ロボットの移動制御をシミュレータを使った学習によって実現○ 【手法】teacher-student学習，privileged informationの利用，カリキュラム学習○ 【実験結果】剛体の地面，少数の手続き的に生成した地面で学習しただけで，変形も含む複雑な実環境の地面でも歩行が可能

シミュレーションでのみ利用できる情報（privileged informatio）を用いてteacher policyを学習．
teacherを模倣するようにstudent policyを学習．カリキュラム学習で地面の難しさを調整．
提案手法により多様で挑戦的な環境における移動を実現
花井/ {Robotics}

104

Can Wikipedia Help Offline Reinforcement Learning? (ICLR 2023 Submission)
M. Reid, Yutaro Yamada, Shixiang Shane Gu●

https://github.com/machelreid/can-wikipedia-help-offline-rl【概要】学習済みのLLMがオフライン強化学習（Offliine RL）において，収束速度と報酬の性能改善をもたらすかどうかを調査．
○ 【新規性】Offline RLを文脈のあるタスクとして捉え言語・視覚などのドメインで事前学習されたシーケンスモデルの転移可能性を調査．事前学習を強化学習に適用する○ 【実験結果】Wikipedia / GPT-2を適用し，種々の環境における学習を3-6倍加速，最先端の性能を達成．OpenAI Gym / AtariにおいてDecision Transformerと比較して優位性を確認．
○ 【その他】Offline RLにおける事前学習の有用性を示唆．言語事前学習→RLでも効果的と結論．

事前学習済み言語モデルをOffline RLに適用．Wikipediaの文章の事前学
習，GPT-2を用いた言語モデルを適用してRLのタスクに対して適用した．
片岡 / {Language}105

PI-QT-Opt: Predictive Information Improves Multi-Task Robotic Reinforcement Learning at Scale (CoRL 2022, Google Research)
K. Lee et al.

https://piqtopt.github.io/●【概要】データ収集コストが高いロボット分野で，大規模モデルのように多数のタスクを1つのモデルで学習させる目的に適した強化学習手法○ 【新規性】過去と未来の相関である”predictive information”を強化学習に利用．これは多くのタスクに共通するのでモデル化すると汎用エージェントの性能向上につながる．
○ 【手法】QT-Optにpredictive informationのauxiliary lossを追加．ちなみにQT-Optは○ 【実験結果】Bin pickingタスクにおいて，有名なLevinらの研究（Googleの14台のロボットを使ったもの）より高い成功率

視覚によるbin pickingタスク
花井/ {Robotics}106One-shot Imitation from Observing Humans via Domain-adaptive Meta-learning (RSS 2018)
T. Yu et al.

●

https://sites.google.com/view/daml【概要】人のデモンストレーションを模倣する教示システムの提案○ 【新規性】人のデモからロボットが方策を推定するメタ学習システム○ 【手法】人・ロボットのデモの視覚的なドメインギャップを埋めるようメタ学習○ 【実験結果】マニピュレーションで新規デモに対しても方策を推定可能．
複数の画像フレームを考慮するよう学習すると精度向上○ 【その他】ロボットの方策を behavioral cloning で学習，BC-Z につながる．
ロボットの動作データは3～8秒のデータがおよそ600～1300エピソード

人・ロボットの視覚的ドメインギャップを埋める学習から
学習後は人間のデモからロボットの行動方策を決定する．
中條 / {Robotics}

人のデモで訓練するとき複数フレームを畳みこんだ特徴を求める．この特徴でネットワークを正則化して人・ロボットのドメインギャップを埋める．

107

Actionable Models: Unsupervised Offline Reinforcement Learning of Robotic Skills (arXiv 2021)
Y. Chebotar, K. Hausman, Y. Lu, T. Xiao, D. Kalashnikov, J. Varley, A. Irpan, B. Eysenbach, R. Julian, C. Finn, S. Levine●

Actionable Models (actionable-models.github.io)【概要】教師なしオフラインデータによるスキルの獲得，中間ゴールによる学習効率の向上○ 【新規性】手動アノテーションを用いずに過去のデータを再利用し，新たにゴールを設定するモデルを構築．
○ 【手法】オフラインのゴール志向方策および大域的な目的に合わせてサブタスクを組み合わせることで様々なタスクに適用．
○ 【実験結果】特に下流タスクの獲得に有用．事前学習の効果を確認．
○ 【その他】Hindsight Experience Replay (HER)の類似．元のデータセットから教師なし学習に発展させたことに着目．

【サブタスクおよび一連の動作をつなぎ合わせることで多くの作業に展開】【既存のデータからゴール地点を再ラベル化】
元田 / {Robotics}108

VIP: Towards Universal Visual Reward and Representation via Value-Implicit Pre-Training (ICLR 2023)
J. Ma et al.

●

https://sites.google.com/view/vip-rl【概要】人の作業映像を動作学習に応用できる特徴／報酬を推定する事前学習モデル○ 【新規性】人の作業の表現学習をオフライン強化学習と捉えて，特徴空間内で状態価値を導出する○ 【手法】作業画像の特徴空間内で目標画像との距離を評価，時間方向に対照学習する○ 【実験結果】事前学習モデルから動作学習するとR3Mより高いタスク成功率を示した

人が作業時の画像を特徴空間に埋め込み，目標画像の特徴との距離に基づいて対照学習する．大規模な作業
映像データセット（論文中では Ego4D）で事前学習することで，fine-tuning なしに報酬を推定できる．

事前学習したVIPでオフライン強化学習するとR3Mと比較して高い成功率を示した．
中條/ {FM, Robotics}

109

Learning Transferable Visual Models From Natural Language Supervision (PMLR 2021)
A. Radford et al.

●

https://openai.com/research/clip【概要】CLIP: 大規模な画像・テキストのペアを対照学習した V&L 基盤モデル○ 【新規性】画像・テキストを別々にエンコードし，類似度を大きくするよう対照学習○ 【手法】ウェブから4億組の画像・テキストペアを収集し，クリーニングしたデータセットで学習○ 【実験結果】学習後はクラスをテキストに埋め込み，類似度スコアを評価することで zero-shot
画像認識を実現○ 【その他】CLIP を事前学習モデルとして言語と視覚を結びつける手法が次々に登場

CLIP のシステム図．(1) 画像・テキストの組を各エンコーダでベクトル化，内積が大きくなるよう学習する．(2) 画像認識にはクラスを埋め込んだテキストデータを作成，(3) 画像とテキストの類似度スコアでクラスを推定する．
中條/ {FM, Language, Vision}

110

iLab-20M: A large-scale controlled object dataset to investigate deep learning (CVPR2016)
A. Borji et al.

●【概要】多様な条件下での玩具の車画像によるRNN深層学習用大規模データセット○ 【新規性】RNN深層学習に用いるための大規模データセットを構築○ 【手法】15カテゴリー，88カメラ設置条件，5照明条件，3カメラ焦点設定，14–40背景画像．
合計22百万画像のデータセットを構築○ 【実験結果】下図参照

板寺/ {FM, Vision}

111

ChatGPT Empowered Long-Step Robot Control in Various Environments: A Case Application (arXiv, 2023)
N. Wake, A. Kanehira, K. Sasabuchi, J. Takamatsu, K. Ikeuchi
GPT Models Meet Robotic Applications: Long-Step Robot Control in Various Environments - Microsoft Research●【概要】ChatGPTで自然言語指示からロボットアクションシーケンスのJSONファイルを生成○ 【新規性】ChatGPTをロボット行動生成にいち早く応用○ 【手法】自然言語をアクションシーケンスに変更．Teach by showingで実動作推定○ 【実験結果】少数タスクで適切なJSONファイルを獲得できた○ 【その他】 Teach by Showing（2212.09242.pdf (arxiv.org)）ありき

自然言語で指示：例）青いカップをとって，赤い皿の上に置いて→JSON形式のアクションシーケンスを出力→視覚的なデモンストレーションで物理量を推定
堂前 / {Robotics, Language}

ChatGPTの利用インターフェース例．
自然言語で指示し，人間に視覚的にデモンストレーションしてもらうことで，ロボット実行に必要なパラメータ（＝具体的アクション）を取得する．

112

Mind’s Eye: Grounded Language Model Reasoning through Simulation (Google Research)
R. Liu et al.

●【概要】大規模言語モデル(LLM)が得意でない問題に対して，外部知識（ロボティクスで重要となる物理エンジン）を利用することでLLMの推論能力を強化○○○【新規性】物理現象に関する質問に対し，物理エンジンを使った試行の結果を解釈して回答【手法】質問文から「物理エンジンMuJoCoのコード」を生成するモデルを学習【実験結果】GPTやPaLMで3〜4割の正答率にとどまる質問に対して，few-shot, PaLMベースで92.5%の正答率，ChatGPTで使われているInstructGPTベースでは99.1%の正答率を達成生成したMuJoCoコードには，シミュレーション結果において関心がある物
理量（加速度や運動エネルギーなど）をテキストとして埋め込む．

花井 / {FM, Robotics, Language}

物理量に関する質問からなるUTOPIAデータセットを提案．絶対量を問うのでなく，大小など相対的な関係を問う．39タスク．通常のLLMはスケールしないが，提案手法であるMind’s Eyeはモデルパラメータ数に関してスケールする．

113

Scaling Vision Transformers to 22 Billion Parameters (arXiv 2023)
M. Dehghani et al.

●【概要】ViTのスケーリングに関して，パラメータ数を大きくするとさまざまタスクに関してLLMと同様なスケーリングの効果が見られた．
○ 【新規性】ViTのスケーリング○ 【手法】学習を安定化させるためにQueryとKeyの正規化の組み込みを行った．また，大規模モ
デルを効果的に学習するための並列演算のテクニックを用いている．
○ 【実験結果】認識精度以外にも，公平性と性能のトレードオフの改善，形状/テクスチャの偏りに関する人間の視覚認識との最新の整合性，ロバスト性の改善が見られた【Q,KのNormalizeを入れたViT】
牧原/ {Vision}【Classification】

114

PaLM-E: An Embodied Multimodal Language Model(arXiv2023)
Danny Driess et al.

●【概要】大規模言語モデル（LLM）を用いたロボットタスクモデル○ 【新規性】大規模言語モデルの言語空間にViTを用いて画像情報を埋め込むことに成功○ 【手法】ViTとPaLMの融合○ 【実験結果】OK-VQA でSOTA

様々なモダリティーの画像をViTを介して大規模言語モデル空間（PaLM)に入れることで行動計画を行うことに成功している
中原龍一 / {FM, Robotics, Language, Vision}

3つの異なるロボットタスク．独自に学習するよりも言語モデルを介して統合した方が良い成績

115

Scaling Laws for Neural Language Model(arXiv 2020)
Jared Kaplan et al.

●【概要】LLMに関して，ある一定以上の巨大なモデル，データサイズ，計算資源で表されるスケーリングのべき乗則によって性能が向上する．
○ 【手法】テスト時のLossを性能と定義し，PF-days, token数，パラメータ数をBillionスケールまで増やしてWeb2Testデータセット検証する○ 【実験結果】各パラメータ（モデル，データサイズ，計算資源）と性能に関してそれぞれべき乗則を確認し，それぞれの組み合わせについても成り立つことがわかった○ 【その他】【トークン数と計算量を増やして行った時に，モデルのサイズを増やすとTest lossがどう変化していくか】
牧原 / {Language}【モデルサイズと計算時間を増やすと性能が上がりやすいが，データに関しては並列計算の量が増えるだけなので比較的効果は少ない】

116

Scaling Language Models: Methods, Analysis & Insights from Training Gopher (arXiv)
J. W. Rae et al. (DeepMind)●

https://arxiv.org/abs/2112.11446【概要】DeepMindが提案した基盤モデル・Gopherの提案論文．DeepMindが収集したデータセットに対して，4400万〜2800億パラメータのTransformerモデルを適用して学習．最大パラメータのモデルを
Gopherと呼称．
○ 【新規性】○ 【手法】Massive Multitask Language Understanding（MMLU）ベンチマークにより学習され，発表当時の既存言語モデルの性能よりも高いことを示した．
○ 【実験結果】モデルパラメータを増加させることでゼロショットによる読解・ファクトチェック，倫理解析などのタスクにおいて性能が向上することが明らかになったが，一方で論理推論などについてはそれほど性能向上に寄与しないことがわかった．対話により受け答えが一貫性を持つことも明らかにしている．また，生成が繰り返されること，バイアスによる影響，誤った情報も含まれることも改善点として指摘された．
○ 【その他】下流タスクにおけるリスク分析も行われており，実際に使用される際のリスクに対しても議論が行われている．

片岡 /{FM, Robotics, Language, Vision}

117

Training data-efficient image transformers & distillation through attention (ICML 2021)
Hugo Touvron, Matthieu Cord, Matthijs Douze, Francisco Massa, Alexandre Sablayrolles, Hervé Jégou●【概要】従来，ViTは何百万枚もの画像での事前学習が必要であったが，蒸留手法を用いることで，ImageNet
のみで高精度な結果を達成するDeiTを提案した．
○ 【新規性】蒸留トークンを採用することにより，蒸留の損失を計算する．
○ 【手法】ViTと同じ構造を用い，蒸留手法を組み込み，データ拡張も行うことで，効率的な学習を可能にした．
○ 【実験結果】ImageNetのみの学習で最新のモデルと同等の精度を達成し，さらに学習コストも大幅に下げた．

【蒸留トークンを用いることで，精度が向上】【ImageNet top-1 accuracyで高い精度を達成】
篠田 / {Vision}

118

Grounded Decoding: Guiding Text Generation with Grounded Models for Robot Control (arXiv 2023)
W. Huang et al.

●

https://grounded-decoding.github.io/【概要】LLMと環境に接地したモデル (grounded model, GM) を組み合わせた行動系列の計画○ 【新規性】LLMの目的指向な推論をロボット環境に接地するアルゴリズムの提案○ 【手法】LLMや複数のGMの提示から同時確率をもとに対象トークンを決定する○ 【実験結果】GMと組み合わせると長期かつ複雑なタスクの計画で高い成功率

LLMは指示に対する目的指向な提案を行う．加えて，環境に根差した複数のGM (affordance,
preference, safety など) の提案から得られる同時確率を基に対象トークンを決定する．

中條 / {Robotics, Language}

Tabletop におけるタスクを比較すると，ベースライン (CLIPort: LLM なしでプランニング) は未学習のシーンに不安定．接地モデルを含むモデル(+GD) は LLM のみで推論した場合と比較して長期かつ未学習のシーンで高い成功率を示した．

119

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (JMLR 2020)
C. Raffel et al.

●

https://arxiv.org/abs/1910.10683【概要】Text-to-Text Transfer Transformer（T5）の提案論文○ 【新規性】テキスト同士の入出力でNLPタスクの転移学習を高度化したこと．
○ 【手法】テキスト同士の入出力形式で言語タスクを行い事前学習．要約・翻訳などを統一的な枠組みで扱うことに成功した．
○ 【実験結果】要約，質問回答，テキスト識別，翻訳などにより有効性を確認した（WMT, GLUE,
SQuAD, RACEデータセットで検証）．
○ 【その他】単一モデル・複数タスクに対応．BERTの提案後に発表されているため，MLMに関する検討も含まれている．

T5のフレームワーク．翻訳，質問回答，識別，要約などをモデルで処理させることにより転移学習のための言語
モデルの事前学習ができることを明らかにした．

片岡 /{Language}120

Can Foundation Models Perform Zero-Shot Task Specification For Robot Manipulation?
Yuchen Cui, Scott Niekum, Abhinav Gupta, Vikash Kumar, Aravind Rajeswaran●

ZeST: Zero-Shot Task-Specification (google.com)【概要】ZeSTスコアを報酬関数の代理として使用することで，行動クローンベースラインよりも優れた
パフォーマンスを発揮するポリシーの学習が可能．
○ 【新規性】ロボット操作タスクのゼロショットタスク指定を可能にする○ 【手法】基盤モデルの研究のためのフレームワークZeSTを提案．
○ 【実験結果】ランダム推測のベースラインと比較して14倍の性能向上が得られる．
○ 【その他】ロボットの動作成功試行では，観測画像とタスク内容の類似性が高まっていることが観測できた

板寺 / {FM, Robotics, Language, Vision}

121

Inner Monologue: Embodied Reasoning through Planning with Language Models (arXiv 2022)
W. Huang et al.

●

Inner Monologue: Embodied Reasoning through Planning with
Language Models. Robotics at Google.

【概要】人との対話による閉ループフィードバックを導入したLLMベースの行動計画手法○ 【新規性】アクション間のフィードバック（LLMのプロンプト/人間の回答）の追加により，より詳細なシーンの制御が可能に．
○ 【手法】成否判断，受動的記述，能動的記述の3種のフィードバックを含む対話形式のモノローグを構成し，リアルタイムにロボットの動作を計画・修正．
○ 【実験結果】物体及びシーンを含む本手法は「現在の理解」「長期的な記憶」に有用性○ 【その他】対話から自発的に代替案を提案するなど言語による応用の範囲が広い【直接的なシーンに関する質問によりフィードバックを行う】
元田 / {Robotics}【物体識別による環境の理解から，クエリを構成し，必要なフィードバックを人から直接的に得ることで，複雑なタスクにも対応できる】

122

Concept2Robot: Learning Manipulation Concepts from Instructions and Human Demonstrations (RSS 2020)
L. Shao et al.

●Concept2Robot (google.com)【概要】視覚的教示および言語による指示を組み合わせたマニピュレーションの学習○ 【新規性】人のデモ動画＋言語から行動を得るための学習モデルを提案○ 【手法】デモ動画をタスクごとに分類．78のタスクをベースに個別には強化学習にて，複合したタ
スクは模倣学習により学習．これらは画像と言語による入力からニューラルネットワークで最終的な出力が得られるようにモデルを設計．cf. DMP○ 【実験結果】未知の指示に対する動作の生成の可能性を示した．
○ 【その他】後に続く研究の方向性を示した基礎的な検証【フレームワークの全体図-画像および指示から7dofの終端姿勢おとび力を表現するベクトルを出力】
元田 / {Robotics}【自然言語を含む人のデモ動画によりmanipulation conceptsを獲得．本モデルはロボットの動作軌道が出力可能】

123

R3M: A Universal Visual Representation for Robot Manipulation (CoRL 2022)
Suraj Nair, Aravind Rajeswaran, Vikash Kumar, Chelsea Finn, and Abhinav Gupta●

R3M (google.com)【概要】事前学習済みの視覚表現はロボットのマニピュレーションの学習効率を高める○ 【新規性】既存の認識モデルを組み合わせることで，サブタスクの学習効率が向上○ 【手法】時間対比学習，キャプション付き動画の学習，スパースな誤差関数を組み合わせることで，基盤モデルであるR3Mを構築．
○ 【実験結果】R3Mをベースにした模倣学習が非常に効率的であることを示した○ 【その他】効果は模倣学習などの小規模なタスクを目的とした場合に限定されるが，単なる画像への他の情報の埋め込みの可能性を示した．

【既存のビデオによる学習から認識に重要な前処理が行われる】
元田 / {FM, Robotics}【時間の流れと対応するキャプションから空間にEmbeddingするイメージ】【他の優れた手法による認識に比べて模倣学習の効果がもっとも良いことを示した】

124Supersizing Self-supervision: Learning to Grasp from 50K Tries and 700 Robot Hours (ICRA 2016)
L. Pinto and A. Gupta●【概要】大量のデータセットを用いた学習による把持位置予測○ 【新規性】700時間・5万回のデータセット．
○ 【手法】大規模場把持試行データを基に画像パッチに対する多段階学習モデル．
○ 【実験結果】訓練用のデータ量を多ければ認識の正確さも向上（未知/既知ともに）○ 【その他】2016年当時のロボット学習のScaling Law？画像をパッチに分割し把持の向きを離散的に分けて判断する多段階の行動計画を採用したことも効果の一因．

【上記のランダムな把持データを実際のロボットを用いた実験を通じて取得している】
元田 / {Robotics}【データセットサイズ別のAccuracyの比較．データ量に対する相関関係は明らかである．】

125

Dex-Net 2.0: Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics (RSS2017)
Jeffrey Mahler, Jacky Liang, Sherdil Niyaz, Michael Laskey, Richard Doan, Xinyu Liu, Juan Ojea, Ken Goldberg●

https://berkeleyautomation.github.io/dex-net/【概要】シミュレーションで生成した大量の画像データを学習して幅広い単一対象物を実環境でピッキングする○ 【新規性】シミュレーションのみを用いて画像からの把持のデータを収集して学習した○ 【手法】サンプリングされた把持位置とそのスコアをペアとしてデータを自動生成し，把持性能を推定するGQ-CNNを学習させる○ 【実験結果】従来の点群ベースの方法より高速で高い成功率でピッキングに成功した○ 【その他】実環境で動くシミュレーションベースの把持の学習で最初の論文？

【大量の3Dモデルを利用して，シミュレーションの画像データと把持性能のペアを生成し，モデルを学習したのちに実環境で動作させる】
牧原 / {Robotics}【学習したデータによって現実の様々な形状の物体に対してピッキングを可能にしている】

126

Translating Videos to Commands for Robotic Manipulation with Deep Recurrent Neural Networks (ICRA 2018)
Anh Nguyen, Dimitrios Kanoulas, Luca Muratore, Darwin G. Caldwell, Nikos G. Tsagarakis●【概要】人のデモ動画をロボット用のコマンドに変換する手法○ 【新規性】動画から一連の構文を抽出することでロボットに有用な情報を提供．
○ 【手法】CNNによる視覚情報のエンコード．フレーム間を二層のRNNにより解析し視覚的な特徴とロボット用のコマンドの関連性を学習．
○ 【実験結果】人型ロボットでデモ動画からの操作生成を簡単に適用．
○ 【その他】Transformerは流行前の方法であるため，VGGやResNetなどモデルの選定が重要な点に注目．論文内でモデル別の効果などについて検討が行われている．

【動画に対するラベルの結果】【フレーム毎の視覚情報のエンコードとそれらからRNNを用いてラベルとなる構文を解析している】
元田 / {Robotics, Language}

127

Learning Modular Neural Network Policies for Multi-Task and Multi-Robot Transfer (ICRA 2017)
C. Devin, A. Gupta, T. Darrell, P. Abbeel, S. Levine●【概要】タスク別，ロボット別にモデルをモジュール化した方策の学習を展開．マルチタスク強化学習に効果的であることを示した．
○ 【新規性】タスクorロボットの共通する特徴の抽出を想定した転移学習．
○ 【手法】モジュール化した構築．あるタスクについてロボット別に学習を実施し，特徴の共有を目指している．
○ 【実験結果】4DoF のロボットでの検証では未知のロボットとタスクの組み合わせにも対応する
zero-shotの結果を示した．
○ 【その他】少ないデータも，転移学習の工夫からzero-shotを目指せる工夫．

【ロボットやタスクが変わると強化学習でも，
データセットの拡充が必要になってしまう】
元田 / {Robotics}【モデルの時点でタスク別・ロボット別にモジュール化．組み合わせで表現し，未知のタスクへの対応を示す】

128

Language Models as Zero-Shot Planners: Extracting Actionable Knowledge for Embodied Agents (ICML 2022)
W. Huang et al.

●

https://wenlong.page/language-planner/【概要】LLMを使って事前学習なしでAgentの行動シーケンスを生成する○ 【新規性】言語で表現できるハイレベルな行動タスクをLLMを使ってZero -shotで行動可能なシーケンスに分割できるかの調査○ 【手法】分割されたステップを既存のデモ行動との類似度から選択して実行する○ 【実験結果】LLMのモデルサイズが大きければハイレベルなタスクに対してより実行可能な行動
シーケンスを生成できる【正確な行動シーケンスをLLMで生成し，シミュレーションでエージェントの行動を実行する】
牧原 / {Robotics, Language}【アブレーション：Action Translationを省くと大きく性能が低下することから，行動と言語の意味的変換が最も重要であることがわかった】

129

メタサーベイ130

メタサーベイ 目次● Google DeepMindの軌跡● sim-to-realの動向● 学習方法● データ作成方法● モデル構造131

Google DeepMindの軌跡 (1/4)
機械学習とロボット工学のシナジーによるAGI開発と知能の解明へ●

Google ResearchのBrainチームとDeepMindを統合し「Google DeepMind」を設立

参考：Stanford Seminarhttps://youtu.be/ct4tdyyNDY4

https://blog.google/technology/ai/april-ai-update/ (2023/05/25 時点)

https://twitter.com/demishassabis/status/1647893015032365057?s=20 (2023/05/25 時点)

Co-founder & CEO
Demis Hassabis132

Google DeepMindの軌跡 (2/4)
Google DeepMind(旧Google Research)

におけるRobotics研究動向

2018

2016

Arm Farm [Sergey Levin+, IJRR2018]
深層学習によるRobot Pickingの火付け役

2020

2021

RL-CycleGAN [Kanishka Rao+, CVPR2020]
CycleGANを活用したSim2Real

MT-Opt [Dmitry Kalashnikov+, arXiv]
QT-Opt [Dmitry Kalashnikov+, arXiv]

複数タスクの経験データを複数ロボットから同時収集可能なフレームワーク

Experience Replayに過去の学習時における経験データを活用

133

Google DeepMindの軌跡 (3/4)
Google DeepMind(旧Google Research)

におけるRobotics研究動向
2022

2021

PaLM-SayCan [Michael Ahn+, arXiv2022]
周囲環境を理解した上でユーザからの指示文に対して最適な行動を実現

AM-Z [Yevgen Chebotar+, arXiv2021]
ユーザが報酬を設定なしに，大規模マルチタスクDBを
Goal-reaching Policyにて事前学習可能に
汎化性向上のために言語モデルと融合

BC-Z [Eric Jang+, CoRL2021]
言語モデルを利用して学習データに含まれない未知タスクへ汎化

RT-1 [Dmitry Kalashnikov+, arXiv]
ロボティクスにおいてタスク・環境に依存せず，
ゼロショットを実現する初の基盤モデル

134

Google DeepMindの軌跡 (4/4)
Google DeepMind(旧Google Research)

におけるRobotics研究動向

2023

2024

UniPi [Alexander Herzog+, arXiv2023]
テキストガイドを利用して異なる環境&異なるタスクにて動作

2025

What's next?

RLS [Alexander Herzog+, arXiv2023]
実際のオフィスにてゴミをゴミステーションまで運搬・分別

135

sim-to-real (1/5)
sim-to-realのブームは過ぎたのか？
● OpenAI [Akkaya+, arXiv2019]○ 2019年にシミュレータを使った強化学習でルービックキューブのin-hand manipulatioinを実現し話題になった○ しかし，2021年にロボットから撤退● 膨大なドメイン乱択化●●

視覚・物理・システムパラメータ
乱択化範囲の自動調整（カリキュラム学習）

136sim-to-real (2/5)
ブームは過ぎたのか？(GoogleとUC Berkeleyの取組み)● sim-to-realと強化学習を進めていた○ ドメイン乱択化のロボットマニピュレーションへの応用○ ドメイン適応の強化学習における利用

RL-CycleGAN [K. Rao+, CVPR2020]
ドメイン変換と強化学習タスクを一緒に学習させることでタスクに有用な情報を保存

非現実的なくらい大胆な乱択化[Tobin+, IROS2017]

RetinaGAN [D. Ho+, ICRA2021]
ドメイン変換と物体検出を一緒に学習させることで物体理解に必要な情報を保存○ 近年のRT-1では，実ロボットでデータを集める方向に向かっている137

sim-to-real (3/5)
simulator≒realが必須とは限らない● 4足ロボットの不整地歩行 (ANYmal), ドメイン乱択化の成功例の1つ● simulationを実世界に近づけなくとも，実世界でロバストなコントローラを学習可
能な点が興味深い

学習は，剛体の地面，少数の手続き的に生成した地面[J. Lee+, ScienceRobotics 2020]

変形する複雑な地面で歩行が可能
138

sim-to-real (4/5)
実画像への拡張● シミュレータにおける乱択化でなく，実画像を意味的に拡張する研究も複数出
てきている
○
○
○

Diffusion modelを利用 (ROSIE, CACTI (Meta), GenAug)○ 実画像に近いdemonstrationと異なるシーンを生成可能
× 動作の多様性を増やすことはできない，Diffusion Modelはデータ生成コストが大ROSIE [Google, RSS2023]
LLMとdiffusion modelを用いた
意味的データ拡張139

sim-to-real (5/5)
シミュレーションをベースにした大規模モデルは来るか？
2017

2019
sim-to-real

ドメイン乱択化

2020

2021

2022

2023

実データに回帰

ドメイン適応RetinaGAN

RT-1
ROSIE：
実画像を意味的に増やす

OpenAIがロボットから撤退？

Nvidia:Isaac Simを大幅にアップデート

TRI: Drake140

学習方法: オンライン学習からオフライン学習へ
タスクの複雑化・データスケールアップ
2018年頃から
模倣学習手法が増える
one-shot imitation (2018)

BC-Z (zero-shot generation, 2022)

2016

RT-1 (2022)

2023

強化学習手法はon-policy から off-policy に
Arm Farm(on-policy RL, 2016)

QT-opt(offline data & on-policy
RL, 2018)

MT-opt(off-policy RL, 2021)
141学習方法: 模倣学習によるオフライン学習
Imitation learning / behavioral cloning● ロボットから画像や関節角・速度・トルクなど運動データを記録，データを再現するように学習する● ユーザによる直接教示や遠隔操作で画像や運動データを収集する● どのように複雑な学習データやタスクバリエーションを増やすか？

BC-Zではユーザの遠隔操作で学習データを収集する．ビデオと言語指示で条件づけられたネットワークがロボットの運動情報を再現するように模倣学習．
142

データ作成方法: 効率的な模倣学習データ収集
ALOHA [Zhao+, 2023]● Leader-followerで双腕を遠隔操作するハードウェアシステム○○

低コスト ($20kほど) ながら細かい手作業が可能
ユーザがfollowerを一人称視点で操作できる設置が学習データの収集に効果的● 4台のカメラで画像を撮影○

学習に扱うデータとしてビジョン・モータのみのモダリティで十分か？

引用：ALOHA (trossenrobotics.com)

143データ作成方法: どんなデータが使われるかロボットの一人称 or 俯瞰画像・制御入力＋何か
制御入力は■ マニピュレーション：関節角度，角速度，手先位置姿勢など■ 移動ロボット：ベース速度など● さらにマルチモーダルなセンサ情報，言語インストラクションやアクションなどが加えられる● この新たなモーダルをどのように選択し，どのように教示・獲得して学習するかが重要[Tian+, ICRA2019]
RT-1 [Brohan+, arXiv2022]

144

データ作成方法: どのように計測するかセンサによって直接に計測・間接的に推定● ベースとなる関節角度・手先位置姿勢・ベース速度などモータ動作と構造に起因する情報○ 回転軸に取り付けるエンコーダ：高分解能，高精度，低ノイズ■ インクリメンタル or アブソリュート● 画像情報○ RGBカメラ（画質と情報量とのトレードオフ）● 接触情報○ 力覚センサ（歪ゲージ，静電容量）

FingerVision○ 視触覚センサ（ロボットハンドの指先に追加可能な画像を用いた接触推定）● 非接触（近接，depth）情報○ ステレオカメラ（２画像の視差から距離を推定する）○ ToF（赤外線の反射がはね返ってくる時間）● その他
Robot Skin [Cheng+, Proc. IEEE 2019]○ 表面接触，温度，加速度

145

データ作成方法: 人デモによる教師データの獲得
手軽に多様なデータを集めるインターフェイス● 手先運動を教示するためのインターフェイス○ ジョイスティック操作による手先速度操作○ 手先位置姿勢操作：従来の操作に近い教示■ XRデバイスの振動などによるハプティックフィードバック■ バイラテラル制御○ ダイレクトティーチング
○ 操作インターフェイス自体を学習によって獲得する研究もある● どのような人が教示するか

A. Sasagawa, et al., IEEE RA Letters○ エキスパート：高い精度，無駄のない動き○ 素人：ばらつきは大きくとも最終的にはタスクが遂行できる● 収集されたデータの質・量との関係○ 現在の基盤モデルでは質よりも量を優先させた収集が有効
146データ作成方法: Simulation or Real data
リアルの手間かシミュレーションギャップ● リアルでのデータ収集○ 多数ロボットを並列して長期間作業■ RT-1 :使用ロボット数：13台 収集期間：17ヶ月○ シミュレーションでのデータ収集■ 力接触含めてリアルデータが得られるか/どのようにギャップを補完するか[R. Elandt+, IROS20219][B. Tang+., RSS2023]
147

データ作成方法: ロボット作業データの権利問題
人権に配慮したデータセット● 将来スマート社会として気軽に運動データが収集できるようになったときに，
現在の言語モデルのような権利関係の問題は起こりうる．
● 作業データに対する○ 匿名化技術○ データオーグメンテーションなどが今後重要になってくる．

[T. Maeda+, CVPR2022)][Su, Le+, Journal of Visual Languages & Computing 2018]148

モデル構造 (1/8)
アーキテクチャと入出力●●●

ニューラルネットワーク（NN）
畳み込みニューラルネットワーク（CNN）
例）Dex-NetのGrasp-Quality-CNN [Mahler et al., 2017]
その他ResNet, VGG，LSTMなどから特性合わせた設計→ 構築の一部が標準でライブラリに提供

Dex-Net by BerkeleyAutomation

大規模言語モデルへの連携・展開・活用→ Transformerを用いた学習と応用がブーム●

画像やロボットアクションを入力とする既存モデルに Transformerの処理の組み込み，さらにテキスト（あるいは文脈）情報を付加することで高品質な出力を獲得．

特にCV分野の進捗は対象を認識する上で非常に有用なツールとなりうる例）Segment Anything, CLIP等は今後の活用が期待される
Segmentation: U-net/FCN/AutoEncoder ect. → Transformerに基づく物体識別が主流に？ (後述)149

モデル構造 (2/8)
アーキテクチャと入出力●

深度画像から把持姿勢の検出

Transformer主体のモデルが開発→CNNに置き換わるエンコーダとして利用

Dex-Net by BerkeleyAutomation [Mahler+, 2017]

ビデオ（連続写真）から命令を抽出

ViT [2021]

CLIP [2021]
Translating Videos to Command [Nguyen+, 2017]150

モデル構造 (3/8)
Transformerを軸とした実装モデル
Transformerの適用：入出力関係の設計/ 学習時の更新則の工夫●

画像の畳み込みによる適用事例：画像（複数視点）や動画からスキル/行動を取得
例）Fine-Grained Bimanual Manipulation [Zhao+, RSS2023]

静止画
（多視点）

アクション

RT-1 [Google, arXiv2023]

指示内容

モーション

連続写真（数フレーム）●

強化学習への適用事例：方策や価値関数などによらない意思の決定が可能
Decision Transformer [Chen+, arXiv2020]
151

モデル構造 (4/8)
モダリティの課題● モダリティのマージと選定○○

入力情報に応じた性能向上例) ViNet 【sound+image】
今後はLMからの適切な選択が必要になる

Modular Neural Network[Jain+, IROS2021]

ViNet[Jain +., IROS2021]● ハードウェア及びタスクの汎化性能○○○

個別の学習フローとその統合
例）Learning Modular NN 【task+robot】
大規模モデル≒模倣学習であるため性能の限界が見える
異なるモダリティを統一的に連携する→参考）ImageBind152

モデル構造 (5/8)
推論速度の課題
応答速度重視のタスクの実行時には...？
〇 画像などをトークン単位すると精度向上
× 指数関数的に計算量増加，推論時間が長い
例：コンタクトレンズをつける様子

精度とリアルタイム性がトレードオフになる

Learning Fine-Grained Bimanual Manipulation with
Low-Cost Hardware (tonyzhaozh.github.io)

次元圧縮や入力データの選択による処理速度向上●

畳み込みニューラルネットワークによる前処理●

TokenLearner によるトークン圧縮（2.4倍の推論速度向上）参考）RT-1→ RT-1の3HzはTransformerを用いた手法としては高速だが...
→ 繊細/器用な作業については学習データの質に関わらずに不十分？
153

モデル構造 (6/8)
基盤モデルの組み合わせ→ 対象が異なるモダリティ/スケールのモデルの統合●

言語と画像および指示に基づくロボットスキル獲得』
RT-1，Google 2022
○ ① 個別のスキル獲得→RT-1○ ② 各スキルをつなぐ戦略→PaLM-SayCan
SayCan●『言語による動画生成』 と 『ロボットの行動制御』
UniPi (Universal Policy), Google 2023
○ ①生成されたシーン（時間ごとのロボットの状態○ ② 逆動力学によりロボットの行動を取得
UniPi→ロボットの仕様や安全性に対応．モデルの切り替えが重要でないか？
154

モデル構造 (7/8)
基盤モデルの注意点●●●

大規模な基盤モデルの利用について
各タスクへの適用は今までの組み合わせを考慮すべき
データの多様性>>データの量

RT-1の事例→ データ量は模倣の性能を向上（見たことある，に強くなる）→ データの多様性（見たことない，に強くなる）

引用：@hausman_k155

モデル構造 (8/8)
基盤モデルの利用 (ゼロショット転移)● 別のタスクに転用することで真価を発揮！
○ Segment Anything Model (SAM) [Meta, arXiv2023]→ 11M の画像，1B+のマスクの大規模データ
Segment Anything→ Zero-shotにあらゆる対象のマスキングの可能性○ Personalize-SAM [Zhang+, arXiv2023]→ One-shotのドメイン適用を実現→ DreamBooth [Ruiz+, CVPR2023] を強化（Few-shot特徴空間を構築）
数枚で任意の画像が生成可能
Zero-shot（ゼロショット転移）のモデルを用いた新しい対象への展開→ 組み合わせるだけで新しいタスクが解けるようになる！
•

CLIPとGPTを接続●●

CLIP：言語と2D画像 X GPT：言語を拡張 → 2D,3Dシーンの拡張
参考）OpenScene: 3D Scene Understanding with Open Vocabularies
156

Prompting vs Learning
LLMまたは強化・模倣学習どちらで行動生成するか●●●言語で指定可能な簡単な行動 (Pick-and-Placeなど)の組み合わせであれば，Long-termなタスクでもLLMのCodingとLVMを組み合わせることで実環境でもZero-shot実現できる(Progprompt,
Code as Policies)
一方で言語での記述が困難な行動 (Grasping, Assemblyなど)は強化学習または模倣学習を使って行動を生成する必要がある(DeepRL at Scale)
タスク階層構造を理解し，PromptingとLearningどちらで実現可能かを切り替えるといい？
Progprompt [I. Singh+, ICRA2023]

Code as Policies [J. Liang+, ICRA2023]

DeepRL at Scale [A. Herzog+, arXiv2023]

157

研究協力者募集・著者紹介

158

産総研 ICPS研究センター オートメーション研究チーム
共に研究を推進する方（研究者、企業、学生）を広く募集しています。
博士前期・後期課程の学生：産総研リサーチアシスタント制度
こちら（産総研リサーチアシスタント制度紹介ページ）
博士号取得済みの若手研究者：ポスドク採用，常勤採用
常勤：こちら（産総研研究職員採用情報ページ）
ポスドク：こちら（産総研契約職員採用情報ページ）
エンジニア志望者：テクニカルスタッフ採用
こちら（産総研契約職員採用情報ページ）
相談連絡先：下記のメールアドレス先にお送りください．
M-icps-am-contact-ml[＠]aist.go.jp＊[＠]を半角の@にしてお送りください．

https://unit.aist.go.jp/icps/icps-am/

159

顔写真

●

名前：中原龍一●

所属：岡山大学整形外科●

出身：愛媛県●

趣味：読書，数学，散歩【研究テーマや研究の趣味】●

医療画像のAI研究●

電子カルテの言語情報のAI研究●

AIの社会人教育，リスキリング【何かひとこと】●

医療と工学の懸け橋になれるように頑張ります160●

名前：牧原昂志（まきはら こうし）●

所属：大阪大学 D3 / 産総研 RA●

出身：佐賀県●

趣味：ゴルフ

【研究テーマ：物体把持】【何かひとこと】
楽しく頑張ります161山田 亮佑 (やまだりょうすけ)❏❏❏

筑波大学 博士課程2年
産業技術総合研究所 リサーチアシスタント
日本学術振興会 特別研究員 (DC1)【研究テーマ: 3D物体認識】【最後に一言】

AIスターに俺はなるっ!!!!

162

●

名前：篠田理沙（しのだ りさ）●

所属：京都大学 D2 / 産総研・東工大 RA●

https://sites.google.com/view/risashinoda/home【研究テーマ：セグメンテーション、農業✖画像認識】【何かひとこと】
ロボットのこともっと知りたい。

163

●

名前： 花井 亮（ハナイ リョウ）●

所属： 産業技術総合研究所 主任研究員●

出身： 和歌山県●

趣味： テニス【研究テーマ：視覚から力の推定，ロボット動作生成への応用】【何かひとこと】
●

生涯現役

164

●

名前：中條 亨一（なかじょう りょういち）

●

所属：

●

○

産業技術総合研究所 産総研特別研究員○

早稲田大学 次世代ロボット研究機構AIロボット研究所 客員次席研究員

出身：神奈川県【研究テーマ：模倣学習によるロボットの動作生成、人－ロボットインタラクション】【何かひとこと】
とても楽しいメタサーベイでした！

●

名前： 板寺駿輝（イタデラ シュンキ）●

所属： 産業技術総合研究所 研究員●

出身： 千葉？

●趣味： ドライブ
https://staff.aist.go.jp/s.itadera/【研究テーマ：遠隔操作インターフェイス，物理的インタラクション，人支援ロボティクス】
https://github.com/itadera/OpenHRC【何かひとこと】
上記テーマでも共同研究者，学生さん募集中

166

●

名前：元田 智大（モトダ トモヒロ）●

所属：産業技術総合研究所 研究員●

出身：大阪府●

趣味：実家の愛猫/ ピアノ演奏
個人ウェブサイト：https://tomohiromotoda.github.io/

Researchmap：https://researchmap.jp/tomohiro.mo
toda【研究テーマ：双腕ロボットを用いた”安全”なマニピュレーション】

図：両手で補助しながら作業することで密集したところから取り出せる！

【何かひとこと】
日進月歩→（臥薪嘗胆）→ テール・トゥ・ウィン

図：複雑なシーンでも物理現象に基づく経験から「崩れ」の発生が予想可能．
これらの予測から基にサポート関係を推定．
167

顔写真

●

名前：

●

所属：

●

出身：

●

趣味：

【研究テーマや研究の趣味】
●

????

●

????

●

????

【何かひとこと】
●

????

●

????

168