Learning-to-Rank Physical Objects:
ランキング学習による物理世界検索エンジン
Finding Everyday Objects Using Physical-World Search Engines: a Learning–To–Rank Approach
兼田 寛大 ∗1

神原 元就 ∗1

杉浦 孔明 ∗1

Kanta Kaneda

Motonari Kambara

Komei Sugiura∗1

慶應義塾大学

Keio University

In this study, we focus on the learning-to-rank physical objects task, which involves retrieving target objects
from open-vocabulary user instructions in a human-in-the-loop setting. We propose MultiRankIt, which introduces
the Crossmodal Noun Phrase Encoder to model the relationship between referring expressions and target boundingbox, and the Crossmodal Region Feature Encoder to model the relationship between the target object and its
surrounding contextual environment. Our model outperforms the baseline method in terms of mean reciprocal
rank and recall@K.

1.

はじめに

少子高齢化に伴い在宅介護者の不足は喫緊の社会問題となっており，生活支援ロボット（DSR）はその解決策として期待されている．DSR の応用に対する現実的なアプローチとして，自動化とオペレータによる介入を組み合わせた human-in-theLoop 設定が考えられる．そこで本研究では，DSR がユーザのためのサイバネティックアバター [Ishiguro 21] として機能することを考える．また，このような環境ではオペレータに適切な選択肢を提供することが重要である．
本論文では，human-in-the-loop 設定において，家庭環境内の物体を操作するようなオープンボキャブラリのユーザ指示から対象物体を検索するタスクに着目し，本タスクを learning–to–rank physical objects (LTRPO) タスクと定義する．図 1に本タスクの典型的な場面を示す．“Go to the bathroom witha picture of a wagon. Bring me the towel under the picture
directly across from the sink” という指示文が与えられた場
合，本タスクにおいてモデルは対象物体のランク付けリストを出力することが期待される．Human-in-the-loop 設定では人間の注意力は限られているため，ユーザやオペレーターが容易に選択できる数の対象物体を表示することが重要である．
しかし，複雑な指示文から対象物体を正確に特定することは困難であるため，LTRPO タスクは容易ではない．具体的には，単純な参照表現を用いた参照表現理解タスクにおける人間の成功率は 90.76%であるのに対し，SoTA モデル [Yu 18] では 48.98%にとどまっている．さらに，LTRPO タスクは複数の参照表現を含む指示から対象物体を特定するため，参照表現
理解タスクよりも困難である．(例: “Go to the dining roomwith the round table. Pick up the bottle on it )近年の CLIP [Radford 21] などのマルチモーダル表現学習の発展により，クロスモーダル検索の性能は向上している．しかし，上述のように，複雑な参照表現を含むテキストに対するクロスモーダル検索の性能はまだ十分ではない．これは，既存の手法が単純な表現しか用いないタスクを扱うことが多いためである．(例: “A photo of {label}” [Radford 21])
このような背景から，本論文では human-in-the-loop 設定
においてオープンボキャブラリの指示文から対象物体を検索する MultiRankIt を提案する．MultiRankIt では，指示文から抽出された句を扱い，抽出された句と対象物体領域の関係をモデル化する Crossmodal Noun Phrase Encoder (CNPE)

図 1: LTRPO タスクの典型的な例．
を導入する．これにより，複雑な参照表現を含む指示文から適切な対象物体を検索することが期待される．さらに，複数の周辺画像を扱う Crossmodal Region Feature Encoder (CRFE)を導入する．対象物体領域に近接した画像だけでなく，より広い範囲を捉えた周辺画像を扱うことで，対象物体とその周囲の環境との関係を効果的にモデル化することが期待される．
本研究は learning-to-rank タスク [Liu 09] として物理世界
検索を扱い，DSR がユーザやオペレータに対して対象物体候補のランク付けリストを出力する点で既存手法と異なる．提案手法は自動化と人為的介入のバランスを取ることを目的としている．本研究の新規性であるマルチモーダル物体検索への learning–to–rank アプローチの導入は，マルチモーダル画
像検索（例: [Wu 21]）などの他タスクにも応用可能であると考えられる．本研究の独自性は以下の通りである．

• Human-in-the-loop 設定において，ユーザによるオープ
ンボキャブラリの指示文から対象物体を特定する新しいアプローチである MultiRankIt を提案する．
• 参照表現を含む句と対象物体領域との関係をモデル化す
る CNPE を導入する．
• 対象物体と複数の周囲画像との関係をモデル化する CRFEを導入する．

2.

関連研究

Vision and Language (V&L) の研究分野では VQA [Zhou20] や画像キャプション生成 [Yang 20]，V&L Navigation [Anderson 21] など，多くの研究が行われている．[Uppal 22] はV&L タスクに関する様々なタスクと最新の手法について包括的な概観を提示している．以下では，V&L 分野における関連研究，特に本研究と密接に関連するクロスモーダル検索とロボ
ティクス分野における V&L に焦点を当てる．

連絡先: 兼田寛大，慶應義塾大学，神奈川県横浜市港北区日吉3-14-1，k.kaneda@keio.jp1図 2: MultiRankIt の構造．“FFN” は順伝播型ネットワーク層を示す．
クロスモーダル検索は，あるモダリティで表現されたクエリに基づき，別のモダリティからサンプルを検索するタスクであり，幅広い応用がなされている (例: ファッション検索 [Wu21])．[Vo 19] は，画像とそれに付随するテキストからなる入力
クエリを用いた画像検索手法を提案している．この論文では，ゲーティング関数と残差接続を用いて参照画像とテキストク
エリを結合する TIRG (Text Image ResidualGating) を紹介している．DCNet [Kim 21] は TIRG を拡張し，さらにターゲット画像と参照画像の差分を用いてロバストなマルチモーダ
ル表現を学習する Correction Network を導入している．
また，ロボット分野での V&L に関連する研究として，以下のような既存研究がある．[Magassouba 19] は，制約のない
文章からユーザが指示した対象物体を予測することを目的とした，multimodal language understanding task for fetching instructions タスクを扱っている．Target-Dependent UNITER[Ishikawa 21] は，テキストと視覚特徴の関係をモデル化するために，UNITER ベースの変換器アーキテクチャを導入している．HLSM-MAT [Ishikawa 22] は，摂動更新に 2 種類のモー
メントを用いる Moment-based Adversarial Training アルゴ
リズムにより，指示文に基づく家事タスクの実行における V&L
タスクを扱っている．
前述のように，本手法は，DSR がユーザやオペレータに対して対象物体の候補のランク付けを行う learning–to–rank タ
スク [Liu 09] として扱う点で，既存手法（例: [Vo 19]）と異なっている．また，[Hatori 18] が固定視点による 1 枚の画像
から対象物体を特定するのに対し，本手法は家庭内環境を示す
複数の画像から対象物体を検索する点でも [Hatori 18] と異なり，また本手法では対象物体とその周囲の環境画像との関係をモデル化するモジュールを導入している．加えて名詞句を扱う
既存の手法（例: [Subramanian 22]）とは異なる点として，参照表現を含む句と対象物体の領域画像との関係をモデル化するモジュールを導入していることが挙げられる．

3.

本モデルへの入力は指示文，対象物体領域，周辺画像であり，出力はランク付けされたリストである．画像中の対象物体の座標は与えられていると仮定し，また MRR（Mean reciprocalrank）と Recall@K でモデルを評価する．

4.

提案手法

入力 x を以下のように定義する．

x = (xI , T, C)

(1)

(n)

T = {xt |n = 1, 2, ..., Ntarg }(2)

C = {Xc(n) |n = 1, 2, ..., Ntarg }

(3)

(n)
(n)
Xc(n) = (x(n)
c , xl , xr )(4)

ここで xI ∈ RV ×L は語彙数 V と最大トークン長 L で 1–of–K(n)ベクトルとしてトークン化された指示文，xt ∈ R3×W ×H は幅(n)

W と高さ H の対象物体領域を示す．また，xt ∈ R3×256×256 ,(n)(n)
xt ∈ R3×256×256 , xt ∈ R3×256×256 はそれぞれ対象物体(n)(n)
領域が含まれる画像，xc の左側の画像，そして xc の右側の画像を示す．
(n)(n)
まず，xI と (xt , Xc ) の間の類似度を計算するため，ク(n)(n)
エリ (xI , xt , Xc ) を作成する．ここで，1 章でも述べたよ
うに，LTRPO タスクの指示文には対象物体やランドマーク，部屋などに関する複雑な参照表現が多く含まれている．そこ
で，xI から抽出した名詞句と前置詞句を扱う CNPE を導入
し，抽出した句と xt の関係をモデル化する．
CNPE は以下の手順で xI から Np 個の句を抽出する．まず，Stanford Parser [Schuster 16] を用いて名詞句と前置詞句を抽出する．次に，隣接する名詞句と前置詞句をグループ化し，(k)
Np 個の句 xp (k = 1, 2, ..., Np ) を得る．その後，事前学習済(k)
みの CLIP text encoder [Radford 21] を用いて xI と xp か(k)らそれぞれ言語特徴量 hI ∈ R768 と hp ∈ R768 を得る．
(k)(n)
次に，hp と ht の関係を以下のように計算する．

問題設定

本論文では，オープンボキャブラリの指示文から，DSR が家庭環境内で撮影した対象物体画像を検索するタスクである
LTRPO タスクを扱う．本タスクでは，出力されるリストにおいて適切な対象物体領域を含む画像が上位にランク付けされることが望ましい．本論文で使用する用語を以下のように定義
する．

(n)

(2)
(k)
hp = finst (h(1)
p ; hp ; ...hp ; ht )
(n)

(5)
(n)

ここで，finst は Linst 層の transformer 層，ht は xt から得られた画像特徴量を示す．また，各 transformer 層は multihead self attention 層 [Vaswani 17] と順伝播型ネットワーク
層によって構成される．最後に，指示文に対する埋め込み表現
hinst = fFFN (hI ; hp ) を得る．ここで，fFFN は順伝播型ネッ
トワーク層を示す．
CRFE は，対象物体領域に近接した画像だけでなく，より広い範囲を捉えた画像を扱うことで，対象物体とその周囲の文脈
環境との関係を計算する．まず，事前学習済みの CLIP image• 指示文: DSR が家事を行うためのオープンボキャブラリの指示文．
• 対象物体: 指示の対象である物体．
• 対象物体領域: 対象物体のバウンディングボックス.
• 周辺画像: 対象物体とその周辺を撮影した画像．

2

表 1: 定量的結果．

(a)
(b)
(c)
(d)

ベースライン
提案手法

(n)

条件
(n)
w/ CNPE w/ Xc
✓
✓
✓
✓
✓
(n)

(n)

(n)

encoder を用いて xt , xc , xl , xr

MRR
0.415 + 0.009
0.373 + 0.015
0.426 + 0.004
0.501 + 0.008(n)から画像特徴量 htを計算する．ここで，fimg は Limg 層の transformer 層を示す．
(n)最後に，xI と (xt , Xc ) の類似度をコサイン類似度を用いて以下のように計算する．
hinst · htarg(n)s(xI , xt , Xc(n) ) =(6)∥hinst ∥∥htarg ∥
(n)

5.2

(n)

本モデルの出力は s(xI , xt , Xc ) に基づいて T をランク付
けしたリストである．各バッチにおける損失は以下のように計
算される．
(n)
(n)
exp (s(xI , xt , Xc ))1 ∑(7)
log ∑|B|
LB = −(n)(n)|B| (n)j=1 exp (s(xI , xt , Xc ))xt

ここで |B| はバッチサイズを示し，この損失関数は InfoNCE[Radford 21] において xI のみを考慮した場合と等しい．

実験

5.1

データセットと実験設定

R@10[%]
63.8 + 2.5
56.1 + 1.1
66.1 + 1.7
69.8 + 1.5

R@20[%]
80.8 + 2.0
70.2 + 0.7
80.6 + 0.9
83.8 + 0.6

実験結果

我々の知る限り，LTRPO タスクを扱った既存研究は限られている．そこで，CLIP を拡張し，LTRPO タスクを扱うベー
スライン手法を開発した．ベースライン手法は，xI , xt , xlcr
を入力とする．ここで，xlcr は xc ， xl , と xr を横方向に結合し，256×256 ピクセルにリサイズして得られた．xlcr はその後 CLIP image encoder と MLP に入力され，画像特徴量が得られる．また，xI を CLIP text encoder に入力し，言語特徴量を得る．これらの特徴量を用いて式 6 に従って類似度を計算し，この類似度に基づいて得られた T のランク付けリストを出力とする．
表 1 にテスト集合におけるベースライン手法，提案手法，および ablation study の定量結果を示す．表中の数値は 5 回の試行における平均値と標準偏差であり，ablation study の詳細については，下記で説明する．タスクの評価尺度には MRR とrecall@K（K= 1, 5, 10, 20）を使用し，本論文では MRR を主
要評価尺度とした．
∑Ninst 1
MRR は MRR = N 1(j) のように定義される．こ
j=1

∈B

5.

テスト集合
R@5[%]
45.3 + 1.7
39.6 + 1.4
45.3 + 0.5
52.2 + 1.4

ラメータを調整するために使用された．そして，テスト集合においてモデルを評価した．ハイパーパラメータは，Linst = 4,
Limg = 4, #A = 4, #H = 756 とした．ここで，#H と #A
はそれぞれ fimg と finst の transformer 層における隠れ層の数と attention head の数である．最適化には Adam を使用し，学習率は 2.0 × 10−5 ，バッチサイズは 128 とした．学習には11GB 搭載の GeForce RTX 2080 および Intel Core i9-9900Kを使用した．モデルの学習には約 60 分かかり，推論時間は約20ms/サンプルであった．

∈

(n)
(n)
(n)
R , hc ∈ R768 , hl ∈ R768 , hr ∈ R768 を得る．その後，
(n)
(n)
(n)
(n)
画像に対する埋め込み表現 htarg = fimg (ht ; hc ; hl ; hr )
768

(n)

R@1[%]
14.0 + 1.0
12.1 + 0.5
14.6 + 0.4
18.3 + 1.0

我々の知る限り，LTRPO タスクのための標準的なデータセットは存在しない．Object-goal navigation タスクの標準
データセットである REVERIE データセット [Qi 20] は，実環
境の室内画像と物体操作指示を扱っているという点で，物体位置特定タスクにとって重要な要素を含むが，REVERIE データ
セット単体では LTRTO タスクには適さない．そこで，我々はLTRPO タスクのための新しいデータセットである LTRRIE(Learning–to–Rank in Real Indoor Environments) データ
セットを構築した．
LTRRIE データセットは以下の手順で得られた．まず，REVERIE データセットから指示文を，Matterport3D Simulator [Chang 17] からパノラマ画像を収集した．次に，REVERIE
データセットで提供された対象物体の座標を用いてパノラマ画
像を切り出し，対象物体領域を取得した．なお，元画像の端に対象物体領域があるサンプルは，切り出すと対象物体全体が含まれない可能性があるため除外した．REVERIE データセッ
トに含まれる指示文は，Amazon Mechanical Turk を利用して 1000 人以上のアノテータによって収集された．アノテータには，移動経路の動画とランダムに選択された対象物体が提示され，その対象物体を操作するための指示文を作成するよう指示された．
LTRRIE データセットは，58 の環境，5501 の命令文，そして 4352 の対象物体領域から構成される．語彙数は 53118 語，
総語数は 103118 語，平均文長は 18.78 語である．LTRRIE
データセットには，訓練集合に 4210 個，検証集合に 397 個，
テスト集合に 501 個のサンプルが含まれる．各集合にはそれぞれ 50, 4, 4 個の環境が含まれ，環境の重複はない．したがって，
検証セットに含まれるサンプルは，unseen object とみなすことができる．なお，訓練集合の指示文は REVERIE の train
set から，検証集合とテスト集合の指示文は REVERIE デー
タセットの val unseen set を分割して得られた．訓練集合はモデルのパラメータを更新するため，検証集合はハイパーパ

inst

r1

(j)

こで，Ninst と r1 はそれぞれ指示文の数と検索されたサン
プルの中で最も高くランク付けされたサンプルの順位を示す．
∑Ninst |A∩B|
Recall@K は Recall@K = N 1のように定義さ
j=1
|A|
inst

れる．ここで，A は正解サンプルの集合，B は検索上位 K 個のサンプル集合を示す．MRR と recall@K は learning–to–rank
設定において標準的な評価尺度のため用いた．[Liu 09]
表 1 に示すように，ベースライン手法 (a) と提案手法 (d) のMRR はそれぞれ 0.415 と 0.501 であった．したがって，提案
手法 (d) はベースライン手法 (a) よりも 0.086 ポイント MRRが優れていた．同様に，提案手法は recall@K (K ≤ 20) においてもベースライン手法を上回った．また，recall@20 を除く全ての結果において，統計的に有意であった (p < 0.05)．
図 3 に定性的結果を示す．図 3(a) は xI “Go to the bathroom with a picture of a wagon and bring me the towel
directly across from the sink” に対する上位二件の検索結果を示す．このサンプルでは，提案法の MRR は 1，ベースラ
イン法の MRR は 0.1 であった．ここで，指示文に示された“sink” は xc に含まれず，一方で xr に含まれている．この結果より，広い範囲を捉える周辺画像を扱う CRFE の導入が，性能に寄与したと考えられる．
図 3(b) は xI “Go to the hallway on level 1 that is linedwith wine bottles and pull out the high chair closest to thewine bottles at the second table from the door” に対する上
位二件の検索結果を示す．このサンプルでは，提案法の MRR
は 1，ベースライン手法の MRR は 0.091 であった．このサン3図 3: 定性的結果．黄色の枠で囲まれた領域は xt ，緑の点線で囲まれた領域は指示に示されている xt 以外のオブジェクトを示す．
黒枠内の左下と右下の画像は、それぞれ xl と xr を示す．一部の xl と xr は可視性の都合上省略している．
プルでは xI に “the high chair closest to the wine bottles atthe second table from the door” という複雑な参照表現が含まれているが，提案手法は適切な xt を “rank 1” として検索することに成功した．この結果より，名詞句と対象物体との関係をモデル化する CNPE モジュールの導入が性能に寄与したと考えられる．
Ablation 条件として，以下を定めた．(i) w/o C: x = (xI , T )を入力とした場合の性能を調べるため，C を削除した. (ii) w/o
CNPE: 性能への影響を調べるため，CNPE を削除した. 表 1
は ablation studies の定量的結果を示す．条件 (b) において，
テスト集合の MRR は 0.128 ポイント減少した．この結果から，CRFE を導入したことで性能が向上したと考えられる．同様に，条件 (c) の結果より，名詞句を扱う CNPE の導入も性能の向上に寄与していると考えられる．

6.

[Ishikawa 22] Ishikawa, S. and Sugiura, K.: Moment-based Adversarial Training for Embodied Language Comprehension, inIEEE ICPR, pp. 4139–4145 (2022)[Kim 21] Kim, J., Yu, Y., Kim, H., and Kim, G.: Dual Compositional Learning in Interactive Image Retrieval, in AAAI,
Vol. 35, pp. 1771–1779 (2021)[Liu 09] Liu, T.: Learning to Rank for Information Retrieval,Foundations and Trends in Information Retrieval, Vol. 3,
No. 3, pp. 225–331 (2009)[Magassouba 19] Magassouba, A., Sugiura, K., Quoc, A., et al.:Understanding Natural Language Instructions for Fetching
Daily Objects Using GAN-Based Multimodal Target–Source
Classification, IEEE RAL, Vol. 4, No. 4, pp. 3884–3891 (2019)[Qi 20] Qi, Y., et al.: REVERIE: Remote Embodied Visual
Referring Expression in Real Indoor Environments, in IEEE
CVPR, pp. 9982–9991 (2020)

おわりに

本論文では，ユーザからのオープンボキャブラリの指示文
から DSR が家庭環境内で撮影した対象物体画像を検索する
LTRPO タスクを扱った．提案手法による貢献は以下である．

[Radford 21] Radford, A., Kim, J., Hallacy, C., et al.: Learning
Transferable Visual Models from Natural Language Supervision, in ICML, pp. 8748–8763 (2021)• Human-in-the-loop 設定において，ユーザによるオープ
ンボキャブラリの指示文から対象物体を特定する新しいアプローチ，MultiRankIt を提案した．
• 参照表現を含む句と対象物体領域との関係をモデル化す
る CNPE を導入した．
• 対象物体と複数の周囲画像との関係をモデル化する CRFEを導入した．
• すべての評価尺度において提案手法がベースライン手法
を上回る性能を確認した．
謝辞[Schuster 16] Schuster, S., et al.: Enhanced English Universal
Dependencies: An Improved Representation for Natural Language Understanding Tasks, in LREC, pp. 2371–2378 (2016)[Subramanian 22] Subramanian, S., Merrill, W., Darrell, T.,
Gardner, M., Singh, S., and Rohrbach, A.: ReCLIP: A Strong
Zero-shot Baseline for Referring Expression Comprehension,
arXiv preprint arXiv:2204.05991 (2022)[Uppal 22] Uppal, S., et al.: Multimodal Research in Vision andLanguage: A Review of Current and Emerging Trends, Information Fusion, Vol. 77, pp. 149–171 (2022)[Vaswani 17] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A., Kaiser, L., et al.: Attention
is All You Need, in NeurIPS, Vol. 30, pp. 5998–6008 (2017)

本研究の一部は，JSPS 科研費 20H04269，JST ムーンショット，
NEDO の助成を受けて実施されたものである．

参考文献[Vo 19] Vo, N., Jiang, L., Sun, C., Murphy, K., Li, J., Fei, L., andHays, J.: Composing Text and Image for Image Retrieval-An
Empirical Odyssey, in IEEE CVPR, pp. 6439–6448 (2019)[Anderson 21] Anderson, P., Shrivastava, A., Truong, J., Majumdar, A., Parikh, D., et al.: Sim-to-Real Transfer for Visionand-Language Navigation, in CoRL, pp. 671–681 (2021)[Chang 17] Chang, A., Dai, A., Funkhouser, T., Halber, M.,
et al.: Matterport3D: Learning from RGB-d Data in Indoor
Environments, arXiv preprint arXiv:1709.06158 (2017)[Wu 21] Wu, H., Gao, Y., Guo, X., Al, Z., Rennie, S., Grauman, K., and Feris, R.: Fashion IQ: A New Dataset Towards
Retrieving Images by Natural Language Feedback, in IEEE
CVPR, pp. 11307–11317 (2021)[Hatori 18] Hatori, J., Kikuchi, Y., et al.: Interactively Picking
Real-World Objects with Unconstrained Spoken Language Instructions, in IEEE ICRA, pp. 3774–3781 (2018)[Yang 20] Yang, Z., Garcia, N., Chu, C., Otani, M.,
Nakashima, Y., and Takemura, H.: BERT Representations forVideo Question Answering, in WACV, pp. 1556–1565 (2020)[Ishiguro 21] Ishiguro, H.: The Realisation of an AvatarSymbiotic Society where Everyone can Perform Active Roles
without Constraint, Advanced Robotics, Vol. 35, No. 11, pp.
650–656 (2021)[Yu 18] Yu, L., Lin, Z., Shen, X., Yang, J., Lu, X., Bansal, M.,
and Berg, T.: MattNet: Modular Attention Network for Referring Expression Comprehension, in IEEE CVPR, pp. 1307–
1315 (2018)[Ishikawa 21] Ishikawa, S. and Sugiura, K.: Target-Dependent
UNITER: A Transformer-based Multimodal Language Comprehension Model for Domestic Service Robots, IEEE RAL,
Vol. 6, No. 4, pp. 8401–8408 (2021)[Zhou 20] Zhou, L., Palangi, H., Zhang, L., Hu, H., Corso, J.,
and Gao, J.: Unified Vision-Language Pre-training for Image Captioning and VQA, in AAAI, Vol. 34, pp. 13041–13049(2020)

4