一人称視点に基づく
テキスト駆動型アフォーダンス及び軌跡の学習
吉田智哉 1,2 栗田修平 2 西村太一 3 森信介 12 理化学研究所 3 LINE ヤフー株式会社
yoshida.tomoya.25h@st.kyoto-u.ac.jp shuhei.kurita@riken.jp
tainishi@lycorp.co.jp forest@i.kyoto-u.ac.jp
1 京都大学

概要

Take the knife
Turn off the faucet

視覚的アフォーダンス学習は，入力画像中のインタラクションするべき領域を局限する課題である．
先行研究によって，この課題がロボットの把持課題

Adjust the faucet to the left
入力画像

入力テキスト入力画像

物体検出に有効であることが示されている一方で，多様な行動に対するアフォーダンスの学習が次の問題となっTurn off the faucetている．本研究では，この問題の解決のためにテキスト駆動型視覚的アフォーダンス及び軌跡の学習を
Take the knife

提案する．この課題は，テキストで表現された様々Adjust the faucet to the left

な行動に対して，それを達成するために，画像中の(a) 先行研究どの領域に，どのようにインタラクションするべきかを学習することを目的とした課題である．この課

図 1 テキスト駆動型視覚的アフォーダンス学習．

題を解決するために，一人称視点動画データセットボットに適用する試みが盛んに行われており，これから自動で擬似教師データセットを構築し，それをらの試みは視覚的アフォーダンス学習課題として定(b) 提案手法利用したモデルを提案する．実験の結果，提案手法

式化されている [2, 3, 4, 5, 6, 7]．視覚的アフォーダが先行研究のモデルと比べて優れた性能を示したこ

ンス学習とは，図 1（左）に示されるように，入力とを報告する．

画像（もしくは動画）中の物体に対して，インタラ

1

はじめにクションすべき領域を局限する課題である．先行研
究 [2, 3] では，主に把持に焦点が当てられており，人間は物体のどの領域に，どのようにインタラク

いくつかの研究によって，それらがロボットに応用ションするべきかを理解しており，その知識を利用可能であることが示されている [8, 9]．先行研究にすることで安全に，かつ効率的に作業を行うことがより，把持などの手と物体間のインタラクションにできる．例えば，ドアを開けようとする際には，ノおいてアフォーダンスの学習が有効であることが示

ブに触れそれを回転させることにより達成する．こされた一方で，手で把持された道具と物体間のイン
タラクション [5, 6] や目的に応じたインタラクショ

うした人間と物体間のインタラクションは短いテキストとして表すことが可能であり，それらで条件づけられた行動のために，視覚中のどの領域に，どのンなどのより高次なアフォーダンス学習が次の問題ようにインタラクションするべきかを推論可能なモ

本研究では，この問題を解決するためにテキスト

デルは，ロボット工学やヒューマンコンピュータイ駆動型視覚的アフォーダンス及び軌跡の学習を提案となっている．

ンタラクションの領域において有用なツールになるする．この課題は，図 1（右）に示されるように，テと思われる．

キストで表現された様々な行動に対して，それを達近年，Gibson [1] が提案した，環境が動物に提供成するために，画像中のどの領域に，どのような方する行動の可能性を表すアフォーダンスの概念をロ法でインタラクションするべきかを学習することを目的とした課題である．この課題の解決のために，

一人称視点動画(x1, y1), (x2, y2), . . . , (xn, yn)

システムプロンプト

C open thedrawer

Judge the interaction
type of the target
narration.

Yes ✔

Is toolobject?

LLM

No X

C pick chopstickin the drawer
Text input
chopstickC stir the pasta inthe cooking pot
Dense point
tracker

Open-vocabulary
object detector

Deprojector

DeconvolutionalLayer…

TrasnformerDecoder…

Text input
hand

It is tool-object
interaction withthe chopsticks

…

MDETR

Projector
接触点軌跡…

観察フレーム

射影＋領域化

C close thedrawer.

(x0, y0), (x1, y1), . . . , (xn, yn)

入力テキスト

入力座標シーケンス

作用時フレーム

入力画像

自動アノテーションの流れ

図2

モデルの学習自動で擬似教師データを作成するための手法（左）及び，モデルの概要（右）．

大規模な一人称視点動画データセットから自動で擬表し，TOI は，把持された道具が対象の物体と接触似教師データを作成する手法及び，構築したデータするインタラクションを表す．各クリップがどちらセットを利用したモデルを提案する．実験の結果，に属すかの分類，さらに TOI の場合は利用されてい提案手法が先行研究におけるモデルと比べて優れたる道具を特定することを狙いとする．これを達成す性能であることが確認できた．

るために，あるクリップとその過去のクリップに付

テキスト駆動型視覚的アフォーダ
ンス及び軌跡の学習

与されているテキスト列を入力として，大規模言語テキスト駆動型視覚的アフォーダンス学習は，テるために，システムプロンプトを与え，数例のサンキストで表現された様々な行動に対して，それを達プルを提示する．プロンプトの詳細は付録 A.1 に添成するために，画像中のどの領域に，どのような方付する．

2法でインタラクションするかを学習することを目的

モデル，LLaMA2 [12] を利用する．適切な出力を得

インタラクション領域の射影．

短い動画クリッとした課題であり，領域は確率分布，方法は軌跡とプ内の隣接する 2 フレームの動きは基本的に小さして表現される．この課題の解決のためのデータを人手で作成するには，多くの時間と費用を必要とす

いため，それらの関係はホモグラフィで表すことができる [13]．したがって，クリップ内の任意のフるため，本研究では自動で擬似教師データを作成す

レーム同士の射影行列はその 2 フレーム間中のフる手法を提案する．手法の流れを図 2（左）に示す．

レームらの射影行列を掛け合わせることによって得2.1

擬似教師データの作成られる．SURF [14] アルゴリズムを用いて二つのフレーム間の特徴点マッチングを行い，4 つの特徴点

大規模一人称視点動画データセット [10, 11] には，ペアをサンプリングし，RANSAC [15] を適用するこ

短いクリップ内の撮影者の行動を表す短いテキスとで 𝐹𝑜𝑏𝑠 と 𝐹𝑖𝑛𝑡𝑒𝑟 間の射影行列を取得する．次に，ト及び，それらの行動の開始時刻 𝑡 𝑜𝑏𝑠 と終了時刻

任意のテキストを受け付ける物体検出モデル2）を利𝑡 𝑖𝑛𝑡𝑒𝑟 が付与されている1）．各 𝑡 𝑜𝑏𝑠 , 𝑡 𝑖𝑛𝑡𝑒𝑟 に対応する用し，𝐹𝑖𝑛𝑡𝑒𝑟 フレーム中のインタラクションしてい画像フレームを 𝐹𝑜𝑏𝑠 , 𝐹𝑖𝑛𝑡𝑒𝑟 と表記する．

る物体（道具もしくは手）のセグメンテーションマ

インタラクションの分類．

人間と物体間のインスクを取得する．得られたセグメンテーションマス

タラクションの種類は大きく，“手と物体間のインクは，計算した 𝐹𝑜𝑏𝑠 と 𝐹𝑖𝑛𝑡𝑒𝑟 間の射影行列により，タラクション（HOI）” あるいは “道具と物体間の𝐹𝑜𝑏𝑠 へと射影される．

インタラクション（TOI）” に分類可能である．HOI
は，手が対象の物体と接触するインタラクションを
1） Ego4D [10] は下流タスクである Short-term action acticipation
課題のためのデータセットを利用した．

軌跡の射影．

点追跡モデルである CoTracker [16]を利用し，𝐹𝑖𝑛𝑡𝑒𝑟 中のインタラクション領域に対し
2） https://github.com/luca-medeiros/
lang-segment-anythingテキストの有無

Hotspots [2]
VRB [8]Lang-SAM
提案手法
提案手法

✓✓

領域

軌跡

Sim ↑

CC ↑

AUC-J ↑

D-Sim ↑

ADE ↓

DTW ↓

6.4
9.8
9.4
17.4
19.3

6.5
10.1
11.2
27.5
29.4

56.5
59.6
57.1
89.2
90.4

12.8
34.9

17.6
11.1

21.6
16.3

表 1 擬似テストセットにおける各ベースライン及び提案手法の結果．テキストの有無は，モデルが予測のためにテキスト情報を利用するかどうかを表す．て 0.5 秒間の領域追跡を行う．各フレームにおける追跡結果の座標平均を計算し，それらの点を，領域件の検証データ，3,000 のテストデータに分割した．
評価指標．

領域推定では，先行研究や顕著性の射影と同様の手法によって，𝐹𝑜𝑏𝑠 に射影する．操マップ推定にて一般的に利用される評価指標で作の詳細は付録 A.2 に添付する．

ある，Pearson’s correlation coeﬃcient (CC)，Similarity

2.2

metrics (Sim) [22] 及び AUC-Judd (AUC-J) [23] を利用モデルした [2, 13]．また，Kullback-Leibler divergence は分布

前節で構築したデータセットを用いて，チャンネ
ル数 𝑐，幅 𝑤，高さ ℎ からなる入力画像 𝐹𝑜𝑏𝑠 ∈ ℝ𝑐×𝑤×ℎの裾野に敏感であるであるため利用しない [24]．軌
跡推定では，先行研究にて一般的に利用される評と入力テキストに対し，インタラクションするべき価指標である，Average displacement error (ADE) 及び領域 𝑃 ∈ ℝ𝑤×ℎ 及び，軌跡 𝐿 = {(𝑥0 , 𝑦 0 ), ..., (𝑥 𝑛 , 𝑦 𝑛 )}Dynamic time warping (DTW) [25] を利用した．さらを生成する．図 1（右）に示されるように，モデルに，座標シーケンス間の偏角を評価する Direction

は MDETR [17] における最終層の出力を利用し，𝑃，similarity metrics (D-Sim) を利用した．各指標の詳細𝐿 を生成する．MDETR は Transformer [18] を利用しは付録 B に添付する．

た物体検出器である DETR [19] をテキストを受けベースライン．

付けるように拡張したモデルであり，物体検出及視覚的アフォーダンス学習課題に取り組んだ先行研究のモデルである，VRB [8]，び物体セグメンテーションが可能なモデルである．

Hotspots [2] と 比 較 を 行 う．ど ち ら の モ デ ル も 言

領域予測では，セグメンテーション課題 [20] のた

語 を 入 力 と し て と ら ず，対 象 の 物 体 の み が 写 っめにファインチューニングされた MDETR を利用ている画像に対して領域推定を行うモデルであし，目的関数 𝐿 𝑟 𝑒𝑔 をバイナリ交差エントロピーとる．また，言語を介したモデルとの比較のために，する．軌跡予測では，各入力座標は先行研究に倣Open-vocabrualy object detection において性能が最もい，線形層から成る座標エンコーダを介して高次の特徴量に変換される [21]．また，始点は領域 𝑃 の中優れている Grounding DINO [26] を利用したセグメンテーションモデルである Lang-SAM3）と比較を行

心座標とし，その後の軌跡を学習する．各座標はう．これらのモデルは領域予測におけるベースライ

MDETR から得られる特徴量を相互注意機構を介しンであり，軌跡予測におけるベースラインではないて，Transformer デコーダによって再帰的に生成されことを強調しておく．ベースラインの詳細は付録 C

る．目的関数 𝐿 𝑡𝑟 𝑎 𝑗 は二乗誤差とする．訓練時は，に添付する．

損失を 𝐿 = 𝐿 𝑟 𝑒𝑔 + 𝜆𝐿 𝑡𝑟 𝑎 𝑗 として同時学習を実施す
る．また，𝜆 はハイパーパラメータである．

3実験

3.1

実験設定

3.2

結果

表 1 に，擬似テストセットにおける提案手法とベースラインの結果を示す．ヒートマップ推定では，どの評価指標においても提案手法がベースラインよりも優れていることが確認できる．また，領域擬似教師データを作成するため予測，軌跡予測のどちらにおいてもテキスト情報なの一人称視点動画データセットとして Ego4D [10] をしで学習した提案手法の性能が，ありのときよりもデータセット．

利用した．これにより 75,655 件の擬似データの作成を行い，それらを 69,655 件の教師データ，3,000

3） https://github.com/luca-medeiros/
lang-segment-anything(b) C pick a knife.

(c) c cut the chiken in (d) c dip a brush into
to small piece.
a paint can.

擬似教師

提案手法

Lang-SAM

VRB(a) C open the watertap.

図 3 領域予測及び軌跡予測の例．(a)，(b) は手と物体間のインタラクションの例であり，(c)，(d) は道具と物体間のインタラクションの例を示す．赤い線は軌跡を表し，矢印は終点を表す．

低いことからテキスト中に表される行動を利用す物体全体にかかっており，前節で考察した AUC-J がることが重要であることがわかる．セグメンテー

低くなっている原因が反映されている．

ションモデルである Lang-SAM は，評価指標 CC に

軌跡予測については，正解データの軌跡と比較しおいて他のベースラインよりも優れている一方で，て方向のずれは大きくないものの，始点のずれが目AUC-J においては劣る結果となっている．これは，立つことが確認できる．始点のずれは領域予測の結物体中の局所的な領域でなく物体全体に対して領域果によるものであるため，改善のためには領域予測を予測しているため，偽陰性に敏感な AUC-J においの精度を向上させる必要がある．て低くなっていることが考えられる．

3.3

生成例

4

おわりに
本研究では，新規の課題であるテキスト駆動型視前節において性能が優れていたベースラインで覚的アフォーダンス及び軌跡の学習を提案した．こある VRB と Lang-SAM 及び提案手法の生成例を図の課題の解決のために，自動で擬似教師データを作3 に示す．また，ベースラインは領域予測のための成する手法を提案し擬似データセットを構築した．

モデルであるため軌跡はない．手と物体間のインタラクションである (a)，(b) では，ベースライン，提また，構築したデータセットを利用し，領域と軌跡を予測するためのモデルを提案した．実験の結果，案手法ともに正しい領域を示していることが確認で先行研究における手法と比べて提案手法が優れたきる．一方で，道具と物体間のインタラクションで性能であることが確認できた．今回の評価は擬似テある (c)，(d) ではベースラインが道具や物体全体なストデータで行ったが，これはモデルが真に有用でど予測に失敗しているのに対して，提案手法では道あることを示すためには不十分である．今後の課題

具がインタラクションするべき領域を予測できていとして，人手で作成したデータで評価を行うとともる．しかし，予測された領域は広く，改善の余地がに，モデルの改良を行っていきたい．

ある．また，Lang-SAM の領域はどの例においても

謝辞
本研究は JST さきがけ JPMJPR20C2 および JSPS
科 研 費 JP22K17983，Microsoft Accelerate Foundation
Models Research の支援を受けたものです．

参考文献[1] James J Gibson. The ecological approach to visual
perception: classic edition. Psychology press, 2014.
[2] Tushar Nagarajan, Christoph Feichtenhofer, and Kristen
Grauman. Grounded human-object interaction hotspots
from video. In ICCV, 2019.
[3] Gen Li, Varun Jampani, Deqing Sun, and Laura SevillaLara. Locate: Localize and transfer object parts for weakly
supervised aﬀordance grounding. In CVPR, 2023.
[4] Kuan Fang, Te-Lin Wu, Daniel Yang, Silvio Savarese, andJoseph J. Lim. Demo2vec: Reasoning object aﬀordancesfrom online videos. In CVPR, 2018.
[5] Austin Myers, Ching L Teo, Cornelia Fermüller, and Yiannis Aloimonos. Aﬀordance detection of tool parts fromgeometric features. In ICRA, 2015.
[6] Zecheng Yu, Yifei Huang, Ryosuke Furuta, Takuma Yagi,
Yusuke Goutsu, and Yoichi Sato. Fine-grained aﬀordance
annotation for egocentric hand-object interaction videos.
In WACV, 2023.
[7] Lorenzo Mur-Labadia, Jose J. Guerrero, and Ruben
Martinez-Cantin. Multi-label aﬀordance mapping fromegocentric vision. In ICCV, 2023.
[8] Shikhar Bahl, Russell Mendonca, Lili Chen, Unnat Jain,and Deepak Pathak. Aﬀordances from human videos as aversatile representation for robotics. In CVPR, 2023.
[9] Toan Nguyen, Minh Nhat Vu, An Vuong, Dzung Nguyen,
Thieu Vo, Ngan Le, and Anh Nguyen. Open-vocabularyaﬀordance detection in 3d point clouds. In IROS, 2023.
[10] Kristen Grauman, Andrew Westbury, Eugene Byrne,
Zachary Chavis, Antonino Furnari, Rohit Girdhar, Jackson Hamburger, Hao Jiang, Miao Liu, Xingyu Liu, et al.
Ego4d: Around the world in 3,000 hours of egocentric
video. In CVPR, 2022.
[11] Dima Damen, Hazel Doughty, Giovanni Maria Farinella,Sanja Fidler, Antonino Furnari, Evangelos Kazakos, Davide Moltisanti, Jonathan Munro, Toby Perrett, Will Price,and Michael Wray. Scaling egocentric vision: The epickitchens dataset. In ECCV, 2018.
[12] Hugo Touvron, Louis Martin, Kevin Stone, Peter Albert,
Amjad Almahairi, Yasmine Babaei, Nikolay Bashlykov,
Soumya Batra, Prajjwal Bhargava, Shruti Bhosale, et al.
Llama 2: Open foundation and ﬁne-tuned chat models.
arXiv preprint arXiv:2307.09288, 2023.
[13] Shaowei Liu, Subarna Tripathi, Somdeb Majumdar, andXiaolong Wang. Joint hand motion and interaction
hotspots prediction from egocentric videos. In CVPR,2022.
[14] Herbert Bay, Andreas Ess, Tinne Tuytelaars, and Luc
Van Gool. Speeded-up robust features (surf). Computer
vision and image understanding, Vol. 110, No. 3,
2008.

[15] Martin A. Fischler and Robert C. Bolles. Random sample
consensus: A paradigm for model ﬁtting with applications
to image analysis and automated cartography. Commun.
ACM, Vol. 24, No. 6, 1981.
[16] Nikita Karaev, Ignacio Rocco, Benjamin Graham, Natalia
Neverova, Andrea Vedaldi, and Christian Rupprecht. Cotracker: It is better to track together. arXiv:2307.07635,2023.
[17] Aishwarya Kamath, Mannat Singh, Yann LeCun, Gabriel
Synnaeve, Ishan Misra, and Nicolas Carion. Mdetr - modulated detection for end-to-end multi-modal understanding.
In ICCV, 2021.
[18] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser,
and Illia Polosukhin. Attention is all you need. In I. Guyon,U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, NeurIPS, Vol. 30, 2017.
[19] Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko.
End-to-end object detection with transformers. In ECCV,2020.
[20] Chenyun Wu, Zhe Lin, Scott Cohen, Trung Bui, andSubhransu Maji. PhraseCut: Language-based Image Segmentation in the Wild. In CVPR, 2020.
[21] Francesco Giuliari, Irtiza Hasan, Marco Cristani, andFabio Galasso. Transformer networks for trajectory forecasting. In ICPR, 2021.
[22] Michael J Swain and Dana H Ballard. Color indexing.
International journal of computer vision, Vol. 7, No. 1,1991.
[23] Tilke Judd, Krista Ehinger, Frédo Durand, and Antonio
Torralba. Learning to predict where humans look. InICCV, 2009.
[24] Zoya Bylinskii, Tilke Judd, Aude Oliva, Antonio Torralba,and Frédo Durand. What do diﬀerent evaluation metrics
tell us about saliency models? PAMI, Vol. 41, No. 3, 2019.
[25] Dynamic time warping. Information Retrieval for Musicand Motion, 2007.
[26] Shilong Liu, Zhaoyang Zeng, Tianhe Ren, Feng Li, HaoZhang, Jie Yang, Chunyuan Li, Jianwei Yang, Hang Su, JunZhu, et al. Grounding dino: Marrying dino with grounded
pre-training for open-set object detection. arXiv preprint
arXiv:2303.05499, 2023.
[27] Dandan Shan, Jiaqi Geng, Michelle Shu, and David F.
Fouhey. Understanding human hands in contact at internet
scale. In CVPR, 2020.
[28] Tomas Mikolov, Kai Chen, Greg Corrado, and Jeﬀrey
Dean. Eﬃcient estimation of word representations in vector space. In ICLR, 2013.

A

擬似教師データ作成の詳細

A.1

インタラクションの分類

ケンス中の各座標における二乗誤差の平均．
• Dynamic Time Warping (DTW): 2 つの座標シーケ
ンス間の距離を，総当たりで計算し，最小となる組み合わせの絶対誤差を計算したもの．

大規模言語モデルはオープンソースであり，高い• Direction Similarity Metrics (D-Sim): 座標シーケ性能を持つ LLaMA2-60B [12] を利用した．また，シンスを各座標間の偏角シーケンスに変換し，変ス テ ム プ ロ ン プ ト は，“
 Please analyze

換後の 2 つのシーケンスのコサイン類似度を計

the provided sequence of actions,算したもの．

focusing

primarily on the last action to determine
the tool for the interaction.

を利用した．

Context fromprevious actions can be considered if necessaryCベースラインの詳細

to fully understand the last action. Sequence

実 験 で は ベ ー ス ラ イ ン と し て，VRB [8],of actions: [’action1’, ’action2’, ’action3’,

Hotspots [2], Lang-SAM4）と 比 較 を 行 っ た．VRB と...] 
” とし，3 つの例を生成前に提示した．

Hotspots は，対象の物体のみが写っている画像に対して領域予測をするモデルであるため，入力テキス

A.2

領域・軌跡の射影

𝐹𝑜𝑏𝑠 から 𝐹𝑖𝑛𝑡𝑒𝑟 までの射影行列を取得するため

ト中の物体名を spaCy5）を用いて抽出し，その結果を Lang-SAM に入力することにより，画像中の対象に，hand-object detector [27] をクリップ中の各フレーの物体の矩形領域を抽出し，対象の物体のみが写るムに対して適用した．これにより，各フレーム中の画像を取得した．また，Hotspots は，事前に定義さ手の矩形領域と，その手が触れている物体の矩形領れた数種類の行動ラベルを指定することで，その行域が得られる．これらは射影行列の計算時にマスク動に対応する領域を出力するモデルであるため，入する領域として利用され，これを利用することで，力テキスト中の動詞を抽出後，Word2Vec [28] を用

射影結果のずれを軽減させる．射影後のセグメン

いて，Hotspots の持つ最も類似度が高いラベルに置テーションマスクを領域として表現するために，混き換えることで推論を行った．

合ガウスモデル（GMM）を得られたセグメンテー
ションマスクに適用し，GMM からサンプリングした点にガウシアンぼかしを適用することで，領域として取得した．これらの作業により，射影結果のずれを緩和させることが期待できる．

B

評価指標の詳細
領域推定では：• Pearson’s Correlation Coeﬃcient (CC): 2 つの分布間の相関を測定したもの．
• Similarity Metrics (Sim): 2 つの確率分布間の類似度を測る計算したものであり，2 つの確率分布間の各座標における最小値を取り，それらを合計で計算される．
• AUC-Judd (AUC-J): Area of Under Curve (AUC) 指標の派生であり， 異なる閾値における 2 つの分布の一致率を計算したもの．

を利用した．
軌跡推定では：• Average Displacement Error (ADE): 2 つの座標シー

4） https://github.com/luca-medeiros/
lang-segment-anything5） https://spacy.io