物体再配置タスクのためのCo-Scale Cross-Attentional Transformer
Co-Scale Cross-Attentional Transformer for Object Rearrangement Task
松尾 榛夏 ∗1

石川 慎太朗 ∗1

杉浦 孔明 ∗1

Haruka Matsuo

Shintaro Ishikawa

Komei Sugiura∗1

慶應義塾大学

Keio University

In this paper, we propose Co-Scale Cross-Attentional Transformer for Rearrangement Target Detection, where
the model generates a change mask for objects that should be rearranged. We intorduce the Serial Encoder which
consists of CoaT serial blocks and the Cross-Attentional Encoder which models the relationship between the goal
and current states. We validated our method on the new dataset, and the results demonstrated that our method
outperformed a baseline method on mean IoU and F1 -score.

1.

はじめに

Encoder

Goal

高齢化社会では，介助従事者の不足が社会問題になっており，この人手不足の解決策の一つとして，家庭用の生活支援ロ
ボットが有望視されている [Yamamoto 19]．生活支援ロボットにとって，家庭環境内で位置に変化が生じた物体を認識し元の状態に片付ける rearrangement タスクを扱うことができれば便利である [Batra 20]．rearrangement タスクには元の状態と現在の状態の比較により再配置すべき物体の検出が重要であるが，その性能は現状十分ではない．
本研究では，事前に観察した部屋の状態を復元するため，元の状態および現在の状態から再配置すべき物体を検出する
Rearrangement Target Detection (RTD) を扱う．例えば，目標状態では机の端にあった物体が，現在の状態では机の中央に移動している場合，それぞれの状態の画像から変化があった物体を検出し，その物体をマスクした画像を出力することが望ましい．また，目標状態では閉じていた扉が，現在の状態では開いている場合，それぞれの状態の画像から変化があった扉を検出し，その扉をマスクした画像を出力することが望ましい．
2 枚の入力画像の画素値を比較する手法では，再配置すべき物体をセグメンテーションできないことが多いため，RTD は困難である．このような手法を用いる場合，物体の移動によって変化した光および影の影響や，扉や引き出しの開閉により値が大きく変化する画素の少なさが原因で，セグメンテーション誤りが発生する可能性がある．RTD と関連の深い Scene Change
Detection には広く既存研究が存在する（CSCDNet [Sakurada20], DR-TANet [Chen 21]）．しかし，その多くは複雑な形状の物体やドアの角度の変化した領域のセグメンテーションに失敗することが多い．
そこで，本研究では Co-Scale Cross-Attentional Transformer を提案する．提案手法は，複数の CoaT serial block [Xu21] を組み合わせたもので構成されている Serial Encoder を導入しているため，視覚情報の強化が可能になると考える．さらに，cross-attention 構造を用いることにより，目標状態と現在の状態の関係性をモデル化する Cross-Attentional Encoderを導入しているため，適切なマスク画像の取得が可能になると考える．既存手法と異なる点は，CoaT serial block [Xu 21]
を用いた Serial Encoder を 2 個並列に導入している点，目標
状態と現在の状態の関係性をモデル化する Cross-Attentional
Encoder を導入している点である．
本論文の主要な貢献は以下である．

SerialEncoder
Cross-Attentional
EncoderCurrent
SerialEncoder

i=1

Conv-Attention
Modulei=M

Conv-Attention
Modulei=1

i=M
Decoder

図 1: 提案手法の概要.

• 目標状態および現在の状態のそれぞれに対して CoaT serial block [Xu 21] を用いて特徴量を抽出する Serial Encoder を導入する．
• 目標状態と現在の状態の画像特徴量の関係性をモデル化する Cross-Attentional Encoder を導入する．

2.

関連研究

変化検出分野では多くの研究が行われている [Shi 20]．変化検出分野は Remote Sensing Change Detection（RS）とScene Change Detection（SCD）の 2 種類に分けることができる．RS は，衛星画像や航空画像を用いて，建物，道路，
農地などの変化を検出するタスクである [Lyu 18, Bandara
22]．SCD は，ストリートビュー画像や室内環境で得られた画像を用いて，街並みや物体の変化を検出するタスクである．
CSCDNet [Sakurada 20] は，カメラ視点誤差による推定誤差を解決するために correlation layer を導入した新しいシャム
ネットワーク構造をもつ手法である．
CSCDNet [Sakurada 20] などの多くの SCD 手法とは異なり，ドアや引き出しの角度の変化を検出することができる．また，ResNet [He 16] で抽出した画像特徴量を連結する CSCDNet[Sakurada 20] の変化検出性能は，2 枚の画像の関係性をモデル化するには不十分である．一方，本手法では，複数の CoaT
serial block [Xu 21] を並列で用いた Serial Encoder，および• RTD のための Co-Scale Cross-Attentional Transformerを提案する．
連絡先: 松尾榛夏，慶應義塾大学，神奈川県横浜市港北区日吉3-14-1，haruka.matsuo-25@keio.jp1

Serial Encoder
Serial block1

Serial block3

Serial block2

Decoder

Serial block4©
Conv-Attention©
Conv-Attention

Goal state

Cross-Attentional
Encoder
Downsample

Downsample©
Crossattention©
Cross
attention©

Downsample©

Downsample©
Conv-Attention©
Conv-Attention
Conv© concatenation

Current state

Serial block1

Serial block2

Serial block3

argmaxSerial block4

Serial Encoder

Change mask

図 2: 提案手法のネットワーク構造．
ネットワークの入力は x = {xgoal , xcur } と定義する．ここに，xgoal ∈ R3×256×256 および xcur ∈ R3×256×256 はそれぞれ
目標状態の RGB 画像および現在の状態の RGB 画像を表す．

cross-attention を用いた Cross-Attentional Encoder を導入している．
物体再配置タスクの分野でも，多くの研究が行われている[Batra 20]．[Trabucco 22] は再配置すべき物体を決めるために，ボクセルベースのセマンティックマップを使用する手法を提案している．
生活支援ロボットが家庭環境から取得した画像を用いて行うタスクとして，RTD 以外に，[Matsubara 22, Magassouba
21, Iocchi 15] が挙げられる．[Matsubara 22] は容器の 3D モ
デルを推定する際に最適なフレームを選択するために，マスク
ベースの幾何学的アルゴリズムを提案している．[Magassouba
21] では，視覚情報の入力のみから衝突可能性を推定する手法である PonNet を提案している．RoboCup@Home は片付け
タスクを行うロボットのベンチマークとして実施されており，
目標状態は画像では与えられていない [Iocchi 15]．

3.

4.1

(i)

Wi , Ci はそれぞれ ogoal の高さ，幅，チャネル数を表す．
(i)

次に，ogoal を平坦化して画像トークンとし，画像トーク(i)

ンに CLS トークン vgoal ∈ RCi を結合する．そして，Conv(i)Attention Module を通して vtoken に Depthwise Convolution
および Factorized Attention [Xu 21] を適用する．
その後，画像トークンと CLS トークンを分離し，画像トー(i)(i)
クンを変形して hgoal ∈ RCi ×Hi ×Wi を得る．{hgoal | i =1, . . . , M } がこのモジュールの出力である．同様に，入力 xcur(i)から {hcur | i = 1, . . . , M } を得る．

問題設定

本論文は，様々な室内環境において，目標状態および現在の状態から再配置すべき物体を検出する RTD を対象とする．本
対象タスクでは，目標状態と現在の状態の画像が与えられたとき，モデルは位置が変化した物体を検出し，その物体をマスクした画像を出力する．
入力は目標状態および現在の状態の RGB 画像である．出力は変化マスク画像である．本論文で使用する用語を以下のように定義する．

4.2

Cross-Attentional Encoder

本モジュールでは，ダウンサンプリングと cross-attention を層ごとに適用することにより，目標状態と現在の状態の間の潜在(i)(i)
的な特徴を抽出する．入力として {hgoal , hcur | i = 1, . . . , M }
を用いる．
(1)
(1)
まず，hgoal と hcur を連結して z (1) ∈ R(C1 ×2)×H1 ×W1• 再配置対象：位置と向きが変更された物体．目標状態および現在の状態の間で角度が変化した引き出しや扉．
本論文は再配置対象の検出が目的である為，物体のカテゴ
リ認識および再配置は扱わない．また，2022 AI2-THOR Rearrangement Challenge [Weihs 21] の設定と合わせるため，1
画像中の再配置対象の個数は 5 個以下であることを前提とす
る．評価尺度として mean Intersection over Union (mIoU)と F1 -score を使用する．

4.

Serial Encoder

Serial Encoder は M 個の serial block [Xu 21] を用いて画像特徴量を抽出する．i 番目の serial block での処理は以下である．まず，入力 xgoal にパッチ埋め込み層を用いてダウンサ(i)ンプリングを行い，ogoal ∈ RHi Wi ×Ci を得る．ここで，Hi ,(1)を得る．次に，z (1) をダウンサンプリングして zdown ∈R

C1 ×H2 ×W2

(1)
(2)
(2)
を得る．その後，zdown , hgoal , hcur を連結して(C1 +C2 ×2)×H2 ×W2(2)z (2) ∈ Rを得る．そして，z をダウンサ(2)ンプリングして zdown ∈ RC2 ×H3 ×W3 を得る．
任意の行列 XA および XB を用いた cross-attention を以下のように定義する．

提案手法(Wq XA )(Wk XB )⊤(j)√)(Wv XB )
d
(j)

(j)

図 2 に提案手法のネットワーク構造を示す．本モデルの主要モジュールは Serial Encoder, Cross-Attentional Encoder,
Decoder の 3 個である．

fattn (XA , XB ) = softmax((j)

ここで，Wq , Wk , Wv は学習可能な重みであり，d はスケーリ
ングファクターである.

2表 1: 定量的結果および Ablation study
FeatureCross attention
(3)
(3)
(4)
(4)
Extractor
hgoal , hcur hgoal , hcur

MethodCSCDNet [Sakurada 20]
(i-a)
Ours
(i-b)
(full)

CoaT [Xu 21]
CoaT [Xu 21]
CoaT [Xu 21]

(i)

✓
✓

(j)

(i,j)

Sattn = {fattn (hgoal , h(i,j)
cur ) | j = 1, . . . , A}
ここで，A は attention ヘッドの数を表す．
(i−1)
(i)
(i)
(i)
以上より，zdown , Sattn , hgoal および hcur を連結して z (i) ∈R(Ci−1 +Ci ×3)×Hi ×Wi を得る．その後，z (i) に対してダウンサ(i)ンプリングを行い，zdown ∈ RCi ×Hi+1 ×Wi+1 を得る．
同様に，Sattn および z (M ) ∈ R(CM −1 +CM ×3)×HM ×WM
(M )

(M )

が得られる．また，z (M ) に畳み込み層を適用し，zdown ∈RCM ×HM ×WM を得る．したがって，本モジュールの出力は(M ){z (i) | i = 1, . . . , M } および zdown である．

4.3

5.2

Decoder(M )スク画像を得る．まず，パッチ埋め込み層を {zdown , z (M ) }に適用して t(M ) ∈ RHM WM ×CM −1 を得る．次に，ConvAttention Module およびアップサンプリング層を t(M ) に適用して u(M ) ∈ RCM −1 ×HM −1 ×WM −1 を得る．
さらに，t(i) ∈ RHi Wi ×Ci−1 (i ∈ {M − 1, . . . , 2}) を得る
ために，{u(i+1) , z (i) } にパッチ埋め込み層を適用する．その後，Conv-Attention Module およびアップサンプリング層をt(i) に適用して，u(i) ∈ RCi−1 ×Hi−1 ×Wi−1 を得る．最後に，{u(2) , z (1) } から u(1) ∈ R(C1 /2)×256×256 を生成する．カーネ
ルサイズ 1 の畳み込み層を u(1) に適用した後，2 値化し，モデルの最終出力であるサイズ 256 × 256 の変化マスク ŷ を得る．

Soft Dice Loss

損失関数 L は以下のように定義される．

L = λce Lce (y, ŷ) + λsDice LsDice (y, p(ŷ))

5.3

ここで，K, N , yi,j , ŷi,j はそれぞれクラス数，全画素数，正解マスク画像の i 番目のクラスの j 番目の画素値，予測マスク
画像の i 番目のクラスの j 番目の画素値を示す．ϵ はゼロ除算を避けるための小さな正の値で，1 × 10−7 に設定されている．

実験

5.1

データセット81.7±1.983.1±0.1
82.5±0.0
83.3±0.1

実験設定

定量的結果

定量的結果を表 1 に示す．なお実験は 5 回行い，その平均値
および標準偏差を示す．表 1 より，ベースラインおよび提案手法の mIoU はそれぞれ 52.5%および 55.0%であり，提案手法がベースラインを 2.5 ポイント上回った．同様に，F1 -score はそれ
ぞれ 81.7%および 83.3%であり，提案手法がベースラインを 1.6
ポイント上回った．したがって，ベースラインと比較して提案手法の方が優れるという結果が得られた．CSCDNet [Sakurada
20] は SCD タスクへの適用に成功しているため，ベースライン手法として選択した．
評価尺度は mIoU と F1 -score を用いた．mIoU が主要尺度である．mIoU および F1 -score は RTD と密接に関連するタスクである SCD の標準的な指標であるため，これらを選択した．

ここで，λce および λsDice は重みである．Lce および LsDice はそれぞれ交差エントロピー誤差および soft Dice loss を表す．
マスクされていない領域を改善するために，soft Dice loss
を新たに導入する．この損失は IoU loss [Rahman 16] およびDice loss [Milletari 16] と関連が深い．Dice loss [Milletari 16]とは異なり，soft Dice loss はハードアサインではなくマスク
画像の予測値のソフトアサインを取り入れている．LsDice は
以下のように定義される．
∑
K
2 N
1 ∑
j=1 yi,j p(ŷi,j )LsDice = 1 −∑N∑
K i=1 Nj=1 p(ŷi,j ) + ϵ
j=1 yi,j +5.

52.5±4.1
54.7±0.1
53.6±0.1
55.0±0.4

最適化関数は Adam (β1 = 0.5, β2 = 0.999) を使用し，学習率は 0.001 に，バッチサイズは 16 に，損失関数の重みは λce =1, λsDice = 1 にした．また，Serial Encoder の serial block および Decoder における Conv-Attention Module の層数はそれぞれ [2, 2, 2, 2], [1, 1, 1, 1] にした．ただし，左から i 番目の値が，i 番目の serial block または Conv-Attention Module の層数を示す．Serial Encoder, Cross-Attentional Encoder, Decoderのそれぞれにおける Attention の Head 数はすべて 8 とした．
さらに，H1 = W1 = C1 = 64 および (Hi+1 , Wi+1 , Ci+1 ) =(Hi /2, Wi /2, Ci × 2) とする．ただし，C3 = 320 および C4 =
512 である．
提案手法における訓練可能パラメータ数は約 2500 万である．
積和演算数は 990M である．学習は GeForce RTX 3090（メモリ 24GB）および Intel Corei9 10900K を搭載した計算機上で行った．学習は 2 時間半程度で完了した．また，1 サンプルあたりの推論に要した時間は 2ms 程度であった．各エポック
で検証集合による評価を行い，損失関数の値が 5 エポック連続で改善しなかった場合に学習を停止した．

Decoder では，M 個の Conv-Attention Modules を用い、(M )与えられた {z (i) | i = 1, . . . , M } および zdown から予測マ

4.4✓

F1 -score [%]向けではなく，室内環境でもないため，対象タスクには適さない．そのため，今回は AI2-THOR [Kolve 17] を用いてこの
データセットを以下の手順で構築した．
まず，ロボットの一人称視点画像を保存した．次に，ランダ
ムに物体を移動させ，引き出しやドアの角度を変えた．さらに，再びロボットの一人称視点画像を保存した．RGB 画像を収集する際，目標状態および現在の状態のそれぞれについて，再配置された物体の ID および位置を保存した．これらを用いて，再配置対象の画素をマスクした画像を得た．再配置対象
は，50cm 以上移動させた物体と定義する．
RTD データセットには 12,000 サンプル含まれ，各サンプル
は目標状態および現在の状態の RGB 画像，変化マスク画像で構成される．RTD データセットの訓練集合，検証集合，テス
ト集合のサンプル数はそれぞれ 10,000，1,000，1,000 である．

(i)i = 3, . . . , M − 1 のとき，hgoal および hcur に crossattention を適用する．それらに multi-head attention を適(i)
用して，以下のように attention スコア Sattn を求める．
(i)✓mIoU [%]

5.4

定性的結果

図 3 に提案手法の成功例の定性的結果を示す．左列から順
番に xgoal , xcur , y, ベースライン手法によって得られた ŷ, 提案手法によって得られた ŷ である.
図 3(a) に関して，目標状態から現在の状態において，机上でのダンボールおよび像の移動がある成功例である．ベースラ
イン手法では，段ボールの領域全体をマスクすることができず，さらに別の物体の後ろにある再配置対象を検出することが本論文では，シミュレーション環境における新しい RTD デー
タセットを構築した．既存のデータセットは物体再配置タスク

3

(a)

(b)

図 3: 定性的結果（成功例）．左列から順番に xgoal , xcur , y, ベースライン手法によって得られた ŷ, 提案手法によって得られた ŷ.
できなかった．一方で，提案手法はオクルージョンを考慮した
うえで，再配置された両方の物体のマスク画像をほぼ完全に生成することができている．図 3(b) に関して，目標状態から現在の状態において，半透明の扉の角度の変化，洗面台上のボト
ルおよびトイレットペーパーの芯の移動がある成功例である．
ベースライン手法では，ボトルの形状やドアの角度の変化を正確に検出することができなかった．一方で，提案手法は半透明な扉およびボトルの正しい形状をマスクした画像を生成することに成功した．

5.5[Iocchi 15] Iocchi, L., et al.: RoboCup@ Home: Analysis and results of evolving competitions for domestic and service robots,
Artiﬁcial Intelligence, Vol. 229, pp. 258–281 (2015)[Kolve 17] Kolve, E., et al.: AI2-THOR: An Interactive 3D Environment for Visual AI, arXiv preprint arXiv:1712.05474(2017)[Lyu 18] Lyu, H., et al.: Long-term annual mapping of four cities
on diﬀerent continents by applying a deep information learning
method to landsat data, Remote Sensing, Vol. 10, No. 3, p.
471 (2018)

Ablation Study

Ablation study には以下を定めた．
(i)[Magassouba 21] Magassouba, A., et al.: Predicting and attending to damaging collisions for placing everyday objects
in photo-realistic simulations, Advanced Robotics, Vol. 35,
No. 12, pp. 787–799 (2021)(i)(i)
cross-attention の適用位置を変更した場合: {hgoal , hcur }を 1 個削除し，どの組合せが有効かを調査した．
表 1 に ablation study の定量的結果を示す．なお実験は 5回行い，その平均値および標準偏差を示す．表 1 より，本手法，(i-a)，(i-b) の mIoU はそれぞれ 55.0%, 54.7%, 53.6%であり，F1 -score はそれぞれ 83.3%, 83.1%, 82.5%であった．こ
(3)
(3)
(4)
(4)
のことから，{hgoal , hcur } および {hgoal , hcur } に対する crossattention の除去は提案手法と比較して性能が低下することが示唆される．

6.

[Matsubara 22] Matsubara, T., Otsuki, S., Wada, Y., Matsuo, H., Komatsu, T., Iioka, Y., et al.: Shared Transformer
Encoder with Mask-Based 3d Model Estimation for Container
Mass Estimation, in ICASSP, pp. 9142–9146 (2022)[Milletari 16] Milletari, F., et al.: V-net: Fully convolutional
neural networks for volumetric medical image segmentation,
in 3DV, pp. 565–571 (2016)[Rahman 16] Rahman, M. A., et al.: Optimizing intersectionover-union in deep neural networks for image segmentation,in ISVC, pp. 234–244 (2016)

おわりに本論文では，ロボットがいる部屋の中において，目標状態および現在の状態の間で移動した再配置対象を検出する RTD を扱った．RTD データセットにおいて，提案手法がベースライン手法を全ての評価尺度で上回る性能を得た．

[Sakurada 20] Sakurada, K., et al.:
Weakly supervised
silhouette-based semantic scene change detection, in ICRA,
pp. 6861–6867 (2020)[Shi 20] Shi, W., et al.: Change detection based on artiﬁcial
intelligence: State-of-the-art and challenges, Remote Sensing,Vol. 12, No. 10, p. 1688 (2020)

謝辞
本研究の一部は，JSPS 科研費 20H04269，JST ムーンショット，
NEDO の助成を受けて実施されたものである．

[Trabucco 22] Trabucco, B., et al.: A simple approach for visual rearrangement: 3d mapping and semantic search, arXiv
preprint arXiv:2206.13396 (2022)

参考文献[Bandara 22] Bandara, C., et al.: A Transformer-Based Siamese
Network for Change Detection, in IGARSS, pp. 207–210(2022)[Weihs 21] Weihs, L., et al.: Visual Room Rearrangement, in
CVPR, pp. 5922–5931 (2021)[Xu 21] Xu, W., et al.: Co-scale conv-attentional image transformers, in ICCV, pp. 9981–9990 (2021)[Batra 20] Batra, D., et al.: Rearrangement: A challenge for
embodied ai, arXiv preprint arXiv:2011.01975 (2020)[Yamamoto 19] Yamamoto, T., et al.: Development of human
support robot as the research platform of a domestic mobile
manipulator, ROBOMECH journal, Vol. 6, No. 1, pp. 1–15
(2019)[Chen 21] Chen, S., et al.: Dr-tanet: Dynamic receptive temporal attention network for street scene change detection, in IV,
pp. 502–509 (2021)[He 16] He, K., et al.: Deep residual learning for image recognition, in CVPR, pp. 770–778 (2016)4