はじめに
1.
高齢化が進行している現代社会において，日常生活における介助支援の重要性が一層高まっている.それに伴い，在宅介助者の不足が社会問題になっている．これを解決するために，被介助者に物理的な支援が可能な生活支援ロボットが注目されている．被介助者が自然言語による指示で生活支援ロボットの物体把持や移動に関する操作ができると便利である．しかし，生活支援ロボットの命令文理解性能には改善の余地がある.また，ロボットが物体を把持する場面では，その形状や位置を特定する必要がある.そのため，画素単位での把持物体の領域予測が有用である.本研究では，自然言語による命令文の内容を解釈し，動作の対象となる物体を特定するObject Segmentation from Manipulation Instructions (OSMI)タスク[1]を扱う．OSMIタスクと関係が深いタスクとして、Refer- ring Expression Segmentation（RES）タスク[2]がある．RESタスクは命令文ではなく参照表現を含む文から予測を行う．一方，本研究で扱うOSMIタスクでは，命令文に複数の参照表現が複数含まれる場合，動作対象と同じカテゴリに属する複数の物体が存在する場合があり，一般的なRESタスクよりも困難な問題である．参照表現理解タスクに関する既存研究は数多く存在する[1,3,4]. しかし，これらの既存手法では，部分的なマスクしか生成されない場合や，複雑な参照表現を理解できず，対象と同カテゴリの異なる物体を予測してしまう場合があるため，ロボットの把持操作を目的とすOSMIタスクのモデルとしては不十分である.本研究では，複雑な参照表現を理解するために，マルチモーダル特徴量を用いてマスクを洗練する手法を提案する．既存手法[1,5]との主要な相違点は，拡散モデルの1つであるDDPM [6]を拡張し，言語特徴量との交差注意機構を導入することで，マルチモーダルセグメンテーションを行う点である.
関連研究
2.
参照表現理解タスクは，画像および画像中の特定の領域を指すテキストをもとに，その領域を矩形領域や画素単位で予測するタスクであり，広く研究が行われている[7–9].  LAVT [3]はRESタスクを扱う代表的なモデルであり、言語特徴と視覚特徴のearly fusionによって特徴量を抽出する．また，近年では対象物体を画素単位で予測するのではなく，ポリゴンの頂点群と矩形領域のシーケンス予測として参照表現理解タスクを解くアプローチも存在する[10,11]. 一方，生活支援ロボットの参照表現理解を目的として，物体操作の指示文から把持物体を推定する問題に取り組んだ研究も存在する[12, 13]. 飯岡らはOSMIタスクに初めて取り組み, OSMIの評価のためのSHIMRIEデータセットを作成し，2段階のセグメンテーションモデルであるMDSMを提案している[1].  MDSMは，Encoder-Decoderモデルで生成したマスクに対し、DDPM [6]を用いて洗練を行っている.
3.問題設定
本研究では，Object Segmentation from Manipula- tion Instructions (OSMI)タスク[1]を扱う.本タスクの目的は，複数の参照表現を含む物体操作に関する命令文から，動作の対象物体の領域を画素単位で予測することである．図１はOSMIタスクの例を示している．ここで，望ましい出力は図中の緑色で示されたセグメンテーションマスクである.本稿において，入出力を以下とする. ●入力:命令文と画像のペア● 出力: 対象物体の2値マスク画像また，本論文で使用する用語を以下に定義する. •対象物体:与えられた命令文をロボットが実行する際に，動作の対象となる物体本研究では，それぞれの入力における対象物体は１つしか存在しないことを前提とする。また，評価尺度は， RESタスクにおいて標準的であるmean IoU (mIoU), overall IoU (oIoU)，Precision@0.5 (P@0.5)を用いる。
4.
提案手法
本研究ではMDSM [1]を拡張する．この拡張は，拡散モデルを通じて得られた潜在表現と言語特徴量の関係をモデル化するアプローチであり，参照表現を用いたセグメンテーションタスク一般に応用可能な広範な手法であると考えられる.本手法のネットワーク構造を図２に示す．図において，Convは畳み込みを表す．提案手法はintermediate training step (ITS)およびdiffusion step (DS)から構成される．ITSで用いるモデルは，Multimodal Encoder， PMAM,  PWAM  [3]の3つの主要なモジュールを含む．DSで用いるモデルはForward Encoder [1]およびMRMの2つの主要なモジュールから成る.
Intermediate training step (ITS)
4.1
4.1.1入力
ITSにおける入力は画像X ∈ RH×W×C及びone-hot vectorの形式で表現されている命令文L ∈ {0,1}v×Tである.ここで, H, W, C, v, Tはそれぞれ画像の幅，高さ，チャネル数，命令文の語彙サイズ，最大トークン数に対応する. Lに対しては，BERT [14]を用いて言語特徴量H 1 ∈ RC i×Tを抽出する。ただし，C iは各トークンにおける特徴量の次元数を表す.
4.1.2   Multimodal Encoder
Multimodal Encoderでは，階層構造によって命令文と画像から特徴抽出を行う．以降，層の数をMとする．第i層目のMultimodal Encoderでは，マルチモー
ダル特徴量E(i-1) ∈ RH(i-1)×W(i-1)×C(i-1)を入力として，E(i)を出力する．ここで，H(i)，W(i)，C(i)，はそれぞれ第i層での画像特徴量の高さ，幅，チャネル数に対応する。なお，E(0) = Xとする．以下，Swin Transformerによる特徴抽出をfswin( · )と表す.  E( · )は,後述するPWAMを用いて得られたマルチモーダル特徴量F ( i ) ∈ RH ( i ×W ( i ×C ( i )およびSwin Transformerによって得られる画像特徴量V(*) RH(*)×W(*)×C(*)を用いて，以下のように計算できる. E(i) = F(i) ⊙ tanh (ω) (F(i) ) + V(i) (1)ここで，ω.，⊙はそれぞれ，１×１の登み込み，アダマール積を表す.
4.1.3  PMAM
PMAMでは，特徴量抽出器を組み合わせることで，画像と言語の特徴抽出を行う．本モジュールにおける入出力を次のように定義する．入力はMultimodal En- coderの入– 1層目で得られたマルチモーダル特徴量E(^-¹)とする. 出力はマルチモーダル特徴量E(^)とする．まず，E(^−¹)をそれぞれSwin TransformerおよびCLIP image encoderに入力する. このとき，前者の出力をV (d)とし，後者の出力をV clp ∈ R C clpとする。次に，V'lpの次元数がV'swinと等しくなるように整形したものをVclpとする。これらを用いて，出力は式(1)と同様に以下の形で表せる. E(^) = F(^) ⊙tanh (ωƒ ( F(^) ) +Conv ([Vswin; Vclp])ただし，Convおよび[ ;  ]は，それぞれ畳み込みおよびチャネル方向への結合を表す.
4.1.4  PWAM
Pixel-Word Attention Module (PWAM) [3]は，E(i)およびH tを入力にとり，マルチモーダル特徴量F (i)を出力する．計算過程は以下で表せる．
| | ○ Wiw ( unflatten | G(c) |また，この演算をF ( i = PWAM ( E ( i ), H i )と表す。 4.1.5 Decoder ITSでは各F ( )を用いて最終的なセグメンテーションマスクを生成する．計算過程を以下に示す．
ここで，upsampleはbilinear補完を用いたアップサンプリングを表す.  ITSにおけるマスクの予測確率の推定値p (ŷits)は，p (ŷits) = softmax (Conv (D (1)))と計算できる．ITSの出力は，p (ŷits)を閾値0.5で二値化したマスク画像ŷitsである.

Diffusion step (DS)
4.2
DSの入力はX，H 1 ,  p ( ˆ ˆ θ its)，D ( ˙ )である．DSの構造は，主にForward EncoderとMRMからなる.
4.2.1   Forward Encoder
Forward Encoderでは一般的な拡散モデル[6]で用いられるように，マルコフ過程に基づいてノイズを徐々に加算する．入力はXであり，出力はも回ノイズが加算された画像X t ∈ RH×W×Cである.加算されるノイズは，正規分布q(X t |X 0) = N (X t ; √ α t X, √ 1 − α t I)に従う．ただし，Iは単位行列を表す．したがって，X tは以下のように表せる. X t = √α t X + √1 − α t ε,    ε ～ N (0, I)

4.2.2  MRM
MRMでは，入力はX t，H t，p ( ŷ its )，D ( ˙ )，出力はITS終了時と同様にマスク画像ŷdiffである．まず，X tを用いても回目に加算されたノイズε t ∈ RH×W×Cをニュース( )学習されたDDPM [6]に対して，X tを入力して抽出する.ここで，n,はU-Net構造における各層のインデックスを表し，H(nb)，W(nb)は，第nb層の画像の高さ，幅，チャネル数に対応する．次に，以下の式に従い，第n,層でのマルチモーダル特徴量であるH'(nb) E RH(nb)xW(nb)を得る.
ここで，文(π ь)は第n ь層においてノイズがt回加算された画像χ (π ь)の予測値を表す. 次に，H ′(π ь)をbilinear補完によって，H (π ь)に変形する．以下に，DSで得られる特徴量H ( i ) ∈ RH ( i ×W ( ) ×C ( i ) ∈の計算過程を示す.
最後に，DSにおけるマスクの予測確率の推定値p(ŷdiff)はHdiffとp(ŷits)を用いて次のように表せる. p (ŷdiff) = p (ŷits) + f (Conv (H (π ь) )ただし，nςは畳み込みの回数を表す。 fはHardtanh関数を用いた．DSの出力は，p (ŷdiff)を閾値0.5で二値化した予測マスク画像ydiffである.損失関数として，ITSにおいては交差エントロピー誤差を，DSにおいては平均絶対誤差を用いた.
5.
実験設定
データセット
5.1
本研究では，SHIMRIEデータセット[1]を使用した. ITSにおいて，訓練集合はモデルの学習に，検証集合はハイパーパラメータを調整するために使用した．また，テスト集合はモデルの性能評価に使用した．DSにおいては，訓練集合内の一部をモデルの学習に，テスト集合のすべてをモデルの性能評価に使用した.
5.2 学習設定
ITSおよびDSにおける学習可能パラメータの総数は，それぞれ1.23 × 10 8と2.68 × 10 8であった．また，積和演算数の総数はそれぞれ5.04 × 10¹¹と1.06 × 10¹²であった．学習はメモリ容量24GBのNvidia GeForce RTX 3090およびIntel Corei9 12900K，64GBのRAMを搭載した計算機上で行った.  ITSおよびDSにおける学習時間はそれぞれ1時間程度および3分程度であった．また，1サンプルあたりの推論時間は，約0.53秒であった．さらに，早期終了の条件は以下であった． ●  ITS:検証集合においてmIoUが最高となるモデル

実験結果
6.
定量的結果
6.1
表1に提案手法(iii)とベースライン手法(i)(ii)との定量的な比較を示す。各スコアは、５回の実験における平均と標準偏差を表す.ベースライン手法としてLAVT [3]及びMDSM [1]を使用した．MDSMはOSMIタスクで良好な結果が得られている．また，LAVTはOSMIタスクと関連が深いRESタスクで高い性能が得られていることから，これらをベースラインとして選定した.本実験における評価尺度には、mIoU、oIoU、およびP@0.5を用いた．我々は，OSMIタスクと関連が深い測マスク，MDSM [1]での予測マスク，提案手法での予測マスク、正解マスク. RESタスクにおいて標準的な尺度であるためこれらの評価指標を用いた.表１より，主要尺度であるmIoUにおいて，ベースライン手法(i), (ii)と提案手法(iii)は順に24.27%, 33.02%，36.15%であり，提案手法が各ベースラインに対しそれぞれ11.88，3.13ポイント上回った．oIoU， P@0.5もおいても同様に，提案手法ではベースライン手法(i)，(ii)を上回った．したがって，提案手法がすべての評価尺度において最も良好な性能であった．また，３つの評価尺度におけるLAVTと提案手法の性能差は統計有意であった（p<0.05）.図３に提案手法における成功例を示す．４枚の画像は，左列から，LAVTでの予測マスク，MDSMでの予測マスク，提案手法での予測マスク，正解マスクである．ここで，予測マスクは緑，正解マスクは赤で示している．上段における命令文は“Go to the bathroom on level 3 and bring me the picture frame that’s further into the room”であり，対象物体は壁に掛けられた額縁である．ベースライン手法では，対象物体の領域のマスクが生成されていないのに対して，提案手法では対象物体の領域を正しく予測できている.また，下段における命令文は，“Empty the tissue box in the bathroom on level one"であり，対象物体はティッシュの箱である．ベースライン手法であるLAVTおよびMDSMの場合,命令文内の“tissue”の部分しかマスクが生成されておらず，正解マスクに対して不十分な領域しか予測できていない．一方で，提案手法では“tissue box”という正しい対象物体のマスク画像を予測している．これは，画素単位で参照表現を利用するMRMが適切に機能しているからであると考えられる. Ablation studies 6.2 Ablation studyとして，以下の条件を定めた. (a)  PMAMの位置の変更(b)  MRMにおけるPWAMの有無表1より，条件(a-1)， (a-2)， (a-3)におけるmIoUは条件(a-4)と比較して，それぞれ2.24，1.66，1.04ポイント低かった. これより，PMAMはより深い層であるほど性能向上に寄与するといえる.また,表1より,条件(b)におけるmIoUは,条件(a- 4)よりも3.13ポイント低かった．また，oIoU，P@0.5においても，条件(b)は(a-4)よりもそれぞれ2.93ポイント，3.86ポイント低かった．以上から，マスクの洗練においてPWAMによるマルチモーダル特徴量が有効に機能しているといえる.
7.
結論
本研究では，実環境における室内の画像および物体操作に関する命令文から対象物体のマスク画像を生成するOSMIタスクを扱った.本研究の貢献を以下に示す. ● Multimodal Encoderの最終層に並列クロスモーダル特徴抽出機構(Parallel Multimodal Attention Module）を導入した. ● MDSM [1]を拡張し，マルチモーダル入力によるマスク改善を行うMultimodal Refine Moduleを導入した. ●標準的な評価尺度であるmIoU，oIoU，P@0.5に関して，提案手法はベースライン手法を上回った.本研究の一部は，JSPS科研費23H03478，JSTムーンショット, NEDOの助成を受けて実施されたものである. [1] Y. Iioka, Y. Yoshida, Y. Wada, S. Hatanaka, et al., "Mul- timodal diffusion segmentation model for object segmen- tation from manipulation instructions." IROS, 2023. [2] R. Hu, M. Rohrbach, and T. Darrell, "Segmentation from Natural Language Expressions," ECCV, pp.108–124, 2016. [3] Z. Yang, J. Wang, et al., "LAVT: Language-Aware Vision Transformer for Referring Image Segmentation," CVPR, pp.18155–18165, 2022. [4] P. Wang, et al., "OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learn- ing Framework," ICML, pp.23318–23340, 2022. [5] D. Baranchuk, A. Voynov, I. Rubachev, V. Khrulkov, and A. Babenko, "Label-Efficient Semantic Segmentation with Diffusion Models," ICLR, 2022. [6] J. Ho, A. Jain, and P. Abbeel, "Denoising Diffusion Prob- abilistic Models," NeurIPS, vol.33, pp.6840–6851, 2020. [7] L. Yu, Z. Lin, X. Shen, J. Yang, X. Lu, M. Bansal, et al., "MAttNet: Modular Attention Network for Referring Ex- pression Comprehension," CVPR, 2018. [8] L. Ye, M. Rochan, Z. Liu, and Y. Wang, "Cross-Modal Self-Attention Network for Referring Image Segmenta- tion," CVPR, 2019. [9] G. Luo, Y. Zhou, X. Sun, L. Cao, et al., "Multi-Task Col- laborative Network for Joint Referring Expression Com- prehension and Segmentation," CVPR, 2020. [10] C. Zhu, Y. Zhou, Y. Shen, G. Luo, X. Pan, M. Lin, C. Chen, L. Cao, et al., "SeqTR: A Simple yet Universal Net- work for Visual Grounding," ECCV, pp.598–615, 2022. [11] J. Liu, H. Ding, Z. Cai, Y. Zhang, R.K. Satzoda, et al., "PolyFormer:  Referring Image Segmentation as Sequential Polygon Generation," CVPR, pp.18653–18663, 2023. [12] A. Magassouba, et al., "Understanding Natural Language Instructions for Fetching Daily Objects Using GAN-Based Multimodal Target-Source Classification," IEEE RA-L, vol.4, no.4, pp.3884-3891, 2019. [13] S. Ishikawa, et al., "Target-dependent UNITER: A Transformer-Based Multimodal Language Comprehension Model for Domestic Service Robots," IEEE RA-L, vol.6, no.4, pp.8401–8408, 2021. [14] J.D.M.-W.C. Kenton and L.K. Toutanova, "BERT: Pre- training of Deep Bidirectional Transformers for Language Understanding," Proceedings of NAACL-HLT, pp.4171– 4186, 2019.