*1慶應義塾大学

1.
はじめに
高齢化が進行する現代社会において，日常生活における介助支援の需要は高まっている．これに伴い，在宅介助者不足が社会問題となっており，一つの解決策として被介助者を物理的に支援することが可能な生活支援ロポットに注目が集まっている[Yamamoto 19]. しかし，人間からの自然言語による指示をロボットが理解する能力についてはいまだ不十分である.本研究では，物体の把持および配置に関する物体操作指示文を生活支援ロボットが理解し実行するための手法の構築を目的とする．図１に，提案手法の概要を示す．具体的には，“Move the bottle on the left side of the plate to the empty chair."という指示文が与えられるとする.このとき，ロボットが周囲の物体および家具の中からボトルを対象物体として，椅子を配置目標として認識したうえで，ボトルを把持して椅子へ配置することが望ましい.人間の発する指示はしばしば曖昧であり，対象となる物体やその配置目標をロボットが特定することは困難である．実際に、物体操作を含むVision-and-Language Navigation (VLN)における標準ベンチマークであるALFRED [Shridhar 20]では，人間の精度は91.0%と報告されている一方，最先端の手法(e.g., [Inoue 22])では46%以下しか達成できていない.物体操作指示文のためのマルチモーダル言語理解モデルは広く研究されている[Hatori 18, Magassouba 19, Ishikawa 21].しかし，これらの既存手法に配置目標候補の入力を追加することで本研究で扱うタスクに拡張した場合，計算量の点で非実用的であることが多い．これは，環境中に多数存在する対象物体候補および配置目標候補に関するすべての組合せについて推論を行う必要があるためである．例えば，対象物体候補および配置目標候補がそれぞれ100個存在する場合を想定すると，最尤の組を探索するために合計10000回もの推論が必要となる. 1回の推論時間を0.004秒と仮定すると，ロボットの判断に変する時間が40秒と見込まれるため，非実用的である．図 1:提案手法の概要本論文では，対象物体および配置目標に関する予測を単一モデルで個別に行う方法でタスクを解くことが可能なSwitching Head–Tail Funnel UNITER (SHeFU)を提案する．これにより，対象物体候補および配置目標候補がそれぞれMおよびN個存在する状況において，推論回数をO(M × N)ではな〈 O ( M + N )とすることが可能になる．既存手法と異なる点は，Switching Head–Tail機構を導入することで，単一モデルで対象物体候補および配置目標候補のどちらも入力として扱う．Switching Head機構では，対象物体および配置目標を予測するためのパラメータを暗黙的に共有するモデルの条件付けを行う．一方で，Switching Tail機構ではマルチタスク学習を可能にする．これらにより，対象物体を予測する際に配置目標に関する視覚および言語の情報を活用することが期待され,その逆もまた然りである．また，単一モデルでの学習が可能になるため，別々のモデルを用意する必要がなくなる. 2. Embodied AI分野は現在にいたるまで多くの研究が行われており，例えば標準化された家庭環境における生活支援ロボットのベンチマーク競技会(e.g., World Robot Summit [Okada 19])は本研究で扱うタスクと関連が深い．ただし，本研究ではこれらの競技会とは異なりテンプレートに基づく指示文は用いない. Embodied AI分野の代表的なタスクとして，VLN [Anderson 18]やObject Goal Navigation [Fukushima 22]が存在する. ALFREDデータセット[Shridhar 20]は，自然言語による指示文とロボットのカメラ画像から，家事タスクにおけるロボットの行動を訓練するためのデータセットである.マルチモーダル言語処理分野のサーベイ論文として，[Uppal 22]などが挙げられる.画像および言語を扱う分野としては, Referring Expression Comprehension (e.g., [Wang 22]),  Re- ferring Expression Segmentation (RES),  Multimodal Lan- guage Understanding for Fetching Instructions (MLU-FI) (e.g., [Ishikawa 21]),およびDual Referring Expression Comprehension (DREC) (e.g., [是方22])などが挙げられる．本手法は，TDU [Ishikawa 21]のようなMLU-FIタスクを扱う手法と関連が深い. 3.本研究で扱うタスクは，Dual Referring Expression Com- prehension with fetch-and-carry (DREC-fc)タスクである. DREC-fcタスクは，日用品および家具が写る複数の画像から，参照表現を含む指示文の対象物体および配置目標の両方を特定し，ロボットが対象物体を配置目標まで運搬するタスクである。すなわち，本タスクは言語理解および動作実行という二つのサプタスクに分けられる．本論文で使用する用語は，[是方22]に従う、入出力を以下のように定義する. ●入力：指示文，対象物体候補が写る画像，配置目標候補が写る画像●出力：対象物体候補および配置目標候補が，対象物体および配置目標にともに一致する確率の予測値p( g ) transformer [Vaswani 17]などの大規模モデルの訓練には,大量のデータが必要であることが多い．しかし，実機ロボットを用いたデータ収集は人間が物体の配置を行う必要があるため多くの時間を要する．そこで，大量の訓練データを短時間で収集可能なシミュレーション環境で訓練し，実環境へゼロショット転移することでコストの削減を図る.ロボットの移動，把持，および配置に関する軌道生成はヒューリスティックに行われるものとする．詳細は5.1節で後述する．
4.
提案手法
図2にモデルの構造を示す。モデル全体は2つの主要モジュールから構成され，それぞれSwitching Image EmbedderおよびFunnel Transformerである．本手法は，自然言語によって指示を与えられるfetch-and-carryタスク[Okada 19]と関連が深い．なお，本研究ではテンプレートに基づく指示文は用いない.図において, Target, Destination, Detected Objects,およびInstructionはそれぞれ対象物体候補，配置目標候補，画像中の各物体または家具，および指示文を表す．また，“FC”， “Emb”，“⊕”，および角の丸い矢印の合流はそれぞれ全結合層、埋め込み、加算、および連結を示す.本研究では，２つの参照表現を含むマルチモーダル言語理解タスクにおいて提案手法を検証する．一方で，本手法におけるSwitching Head–Tail機構は，３つ以上の参照表現を含む指示文理解タスクやRESタスクに対しても広く適用可能であると考えられる．また，提案手法は同様の入力であればシミュレーション環境および実機環境のいずれに対しても適用可能である．詳細については，[是方22]を参照されたい．
入力
4.1
モデルへの入力をx = {xtarg, x dest, x txt}と定義する．ここkこ, Xtarg E R 1024 , Xdest E R 1024 ,およびXtxt E {0,1}Dv ×Dlはそれぞれ対象物体候補の領域，配置目標候補の領域，および指示文を表す.また，D ,およびD 1はそれぞれ語彙サイズおよび指示文中のトークン数の最大値を表す.
Switching Image Embedder
4.2
Switching Image Embedderでは，Switching Head機構を用いてモードに応じて入力を切り替えながら対象物体候補，配置目標候補，および画像中の各物体または家具の領域に対する埋め込み処理を行う．ここで，対象物体について予測を行うことをtarget mode,配置目標について予測を行うことをdestination modeと定義する.本モジュールへの入力は， x targおよびx destから構成される. Xtargおよびxdestについて，以下に示す式により切り替え処理を行う.
すなわち，各モードにおいて不要な入力を0埋めする．これにより，0埋めが予測対象を切り替える条件付けとして機能すると期待される．また，target modeにおいては対象物体候補が写る画像，destination modeにおいては配置目標候補が写る画像に対して物体検出を行い，画像中の周辺物体または家具の領域{x ( i ) ∈ R 1024 | i = 1, . . , K }を得る.ここで，KはFaster R-CNN [Ren 16]により検出された画像中の領域の数を示す.なお，画像特徴量抽出やpositional encodingについてはx targおよびx destと同様に行う.
Funnel Transformer
4.3
Switching Tail機構では，モードに応じて最後のネットワークを切り替える処理を行う.  Funnel Transformerモジュールの出力h'outについて，以下に示す式により対象物体に関する予測確率p(Ytarg)を得る.
p(Ytarg) = softmax(ffc(h'out))
ここで，ffcは全結合層を表す．また，配置目標に関する予測確率p( ýdest )についても異なる全結合層を用いて同様に得る. target modeにおいてはp(ŷtarg)を，destination modeにおいてはp(ŷdest)をモデル全体の最終的な出力とみなす.各モードにおける予測ラベルîtargまたはîdestは，予測確率を閾値0.5で二値化することで得られる．ただし，Switching tail機構により，対象物体および配置目標について個別に推論を行う．したがって，以下に示す式により予測ラベルgを得る. (1) ŷ = Ytarg ∩ Ydest
実機実験
5.
設定
5.1
提案手法の訓練可能パラメータ数は約3277万である．訓練には，メモリ24GB搭載のGeForce RTX 3090およびメモリ64GB搭載のIntel Core i9-10900KFを使用した．訓練には約20分，推論には約4 × 10−³秒/sampleを要した．合計20000ステップの訓練のうち，2000ステップごとに検証集合における精度を測定した．検証集合においてもっとも高い精度を得たときの重みを用いて，実瞭境へのゼロショット転移を行った.その他のパラメータ設定は，[是方22]と同様とした.図1に，実機実験で使用した環境を示す．本環境は，家庭内の実環境における片付けタスクのベンチマークである国際的なロボット競技会World Robot Summit 2020 Partner Robot Challenge/Real Space (WRS2020RS) [WRS 20]の標準環境に基づいている．環境の広さは6.0 × 4.0 m²である．家具はWRS2020RSに準拠しており，6種類存在する．家具の配置は図1に示された通りであり，収納箱は青色のものと黒色のもの，長机および椅子は同一のものがそれぞれ2つずつ存在する．このため，環境中に家具は合計9つ存在する．このうち，無作為に1つの家具を選択して配置目標として用いた.実機実験においては，図３ (a)に示すトヨタ自動車製の生活支援ロボットHuman Support Robot (HSR) [Yamamoto 19]
を用いた.図３ (b)に，実機実験で使用した物体を示す.これらの物体は，WRS2020RSで標準物体として指定されたYCBオプジェクト[Calli 15]から構成される．上部の20種類の物体群および下部の19種類の物体群は，それぞれ対象物体および背景オプジェクトとして用いた．対象物体については，[Calli 15]において“Food”, “Kitchen”, “Shape”,および“Task”カテゴリに属する物体から，HSRのエンドエフェクタで把持可能なものを選択した．また，背景オプジェクトについてはそれら以外から無作為に選択した.以下では，実機実験の環境について説明する．本実験では， 12種類の物体配置を作成した．各物体配置において，物体は無作為な位置に配置された．ただし，本実験ではすべての物体が家具の上に配置されていることを前提とする．各試行において，対象物体を図３ (b)上部の物体群から，配置目標を図1中の家具からそれぞれ無作為に決定した．そのうえで，ロボットに対して“Pick up the apple and put it down on the right-hand chair."などの指示文を与えた．指示文は英語で，合計418文与えられた.次に，ロボットの動作について説明する．はじめに，事前に定められた16個のwaypointをロボットが初期位置から順に巡回することで，環境中の画像収集を行った．ロボットの移動については，事前に与えられた地図を用いて標準的な手法で経路計画を行った.各waypointは，ロボットが各家具に正対して複数の視点角度から物体および家具を撮影できるように定めた．画像の取得には，HSRの頭部に搭載されたAsus Xtion Proカメラを用いた．これらの画像を提案手法への入力とし，推論にはALFRED-fcデータセット[是方22]で訓練されたモデルを利用することでゼロショット転移を行った．ロポットの把持動作については，深度画像および矩形領域を基に把持点を決定した．具体的には，深度画像の矩形領域内に対してカメラの内部パラメータを掛け合わせることでカメラ座標系に変換した点群を取得し，各座標軸における中央値を把持点とした．なお，ロボットが把持に成功した場合のみ配置動作を行うものとした．ロボットの配置動作については，家具を撮影したwaypointを利用しルールベースで行った.
定量的結果
5.2
表1および表2に，実機実験の定量的結果を示す．評価指標として，言語理解精度およびタスク成功率SR =  Nanccess を用いた.ここで，NattemptsおよびNsuccessはそれぞれ試行回数および成功回数を表す．なお，言語理解性能を評価するには負例も必要であるため，ALFRED-fcデータセットと同様の前処理により負例を作成した．正例と負例に偏りがないため，このような場合に標準的な精度を評価指標として採用した．ただし，提案手法は対象物体候補および配置目標候補について個別に推論を行う点でベースライン手法と異なるため，正解ラベルをy = ytarg ∩ ydestと定義することで統一的に評価した.ここで，y.は対象物体候補または配置目標候補がそれぞれのground truthに一致するかの真偽値を表す.言語理解におけるベースライン手法として，TDU [Ishikawa 21]をDREC-fcタスクへ拡張した手法を用いた．これは，TDUはDREC-fcタスクと関連の深いMLU-FIタスクにおいて良好な結果が報告されているためである．ベースライン手法では，対象物体候補および配置目標候補の両方が入力に含まれる.表1に，実機における言語理解精度を示す．表1より，ベースライン手法は精度が52.0%であるのに対し，提案手法は55.9%であり，提案手法が3.9ポイント上回った.表2に，実機における把持および配置タスクの成功率を示す.なお，言語理解タスクにおいて予測がTrue Positiveであった場合のみ，ロボットに把持および配置動作を行わせた．本研究は把持および配置動作について学習に基づく新規手法を提案するものではないが，表２から，実機において言語理解と動作実行を統合可能であることが示唆される.
定性的結果および考察
5.3
図４に，定性的結果として成功例を示す．左から順に，対象物体候補，配置目標候補，物体把持動作，および配置動作を示す．赤色，橙色，および青色の矩形領域はそれぞれ対象物体のground truth，配置目標のground truth，および対象物体候補または配置目標候補を表す.図４の例において，対象物体および配置目標はそれぞれ赤いポテトチップス缶およびサッカーボールの乗った白いテープルである．対象物体候補および配置目標候補はともにground truthに一致しているため，( ytarg, ydest ) = (1, 1)が成り立つ.この例に対して，提案手法は(ŷtarg, ŷdest) = (1,1)であると正しく予測した.その上で，ロボットが正確にポテトチップス缶を把持し，机への配置に成功した.典型的なシーンにおいて，対象物体候補および配置目標候補はそれぞれ平均して73個および89個検出された．1回の推論時間は約4 × 10−³秒であるため，ベースライン手法および提案手法の計算時間はそれぞれ26秒（6497回の推論）および0.6秒（162回の推論）であると考えられる.
6.
おわりに
本研究では，複数の画像から指示文の対象物体および配置目標の両方を特定し，ロボットが対象物体を配置目標まで運搬するDREC-fcタスクを扱った．本研究の貢献を以下に示す． ●対象物体候補および配置目標候補がそれぞれMおよびN個存在する場合に，推論回数をO(M × N)ではなくO(M + N)とすることが可能なSHeFUを提案した. ● Switching Head–Tail機構を導入することで、対象物体および配置目標について，単一モデルで個別に予測することを可能にした. ●実機ロボットを用いて実験を行い，SHeFUがベースライン手法を言語理解精度で上回った．さらに，実機において言語理解と動作実行を統合可能であることを示した.謝辞本研究の一部は、JSPS科研費20H04269、JST CREST、NEDOの助成を受けて実施されたものである.