社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

分離されたデコーダとノイズ除去学習を用いた HOI 検出
陳

俊文†

王

瀛成†

柳井 啓司†† 電気通信大学 大学院情報理工学研究科 情報学専攻
E-mail: †{chen-j,wang-y}@mm.inf.uec.ac.jp, ††yanai@cs.uec.ac.jp
あらまし 現在の one-stage HOI 検出手法は，物体デコーダの検出ターゲットを変更し，ボックスターゲットがクエ
リ埋め込みから明示的に分離されていないため，学習収束が遅い．本研究では主語デコーダ，物体デコーダ，動詞
デコーダからなる新しい one-stage フレームワークを提案する．さらに，学習効率を向上させるために，学習可能な
物体と動詞のラベル埋め込みを用いたノイズ除去学習方法を提案する．HICO-DET で本手法は学習エポックの 3 分の 1 で最先端手法より 6.39% 高い精度を達成することを示した．
キーワード

1.

HOI 検出，Transformer

はじめに

最近の HOI（Human-Object Interaction）検出の研究は，主に物体検出のフレームワークに基づいて構築されている．最も広く使用されるデータセットである HICO-DET [2] と V-COCO [6]は，MS-COCO データセット [16] と同じ物体カテゴリを共有している．HOI インスタンス {𝐵 𝑠 , (𝐵𝑜 , 𝑂), 𝑉 } は，主語（人間）ボックス 𝐵 𝑠 ，クラス 𝑂 を持つ物体ボックス 𝐵𝑜 ，動詞クラス 𝑉のトリプレットの定義に従い，検出方法は one-stage と two-stageに分かれる．
One-stage アプローチでは，検出効率が高く，トレーニング
が容易であるため，近年注目されている．最初に，CNN を用いた one-stage 手法 [14], [21], [24] は，インタラクションポイン
トを利用して，人間と物体間のインタラクションの確率を検出し，有望なパフォーマンスを達成した．
Transformer のアテンションメカニズム [5] は，特徴マップの異なる位置にある特徴の関係を扱い，グローバルなコンテキス
ト情報を抽出する上で，CNN アーキテクチャよりも柔軟である．DETR [1] は，Transformer を用いて，物体検出の one-stage
フレームワークを提案した．最近，Transformer ベースの HOI
検出手法 [4], [10], [20], [27] は，DETR [1] を採用することにより，アテンションメカニズムのメリットを示した．QPIC [20]は，HOI 検出問題を集合予測問題として捉え，DETR と同様の学習パイプラインを使用している．QPIC は，one-stage および
two-stage の CNN ベースの手法におけるマッチング処理を行わず，エンコーダ・デコーダのアーキテクチャを採用し，イン
タラクションヘッドを用いて HOI インスタンスを直接予測する．しかし，QPIC の単一のデコーダは，人間と物体の位置関係やインタラクション認識の特徴が混ざっているため，HOI の予測精度が低下する．単一のデコーダの設計を改善するため，
物体検出とインタラクション認識をカスケード的に分離した
one-stage 手法 [8], [15], [22], [23], [25] が提案された．カスケー
ド型の設計は HOI の予測精度を向上させるが，インスタンス
デコーダでは人間と物体の検出はまだ混ざっているため，物(a) MSTR

図1(b) SOV

Deformable DETR ベースの HOI 検出手法のパイプライン

体検出タスクで事前学習したモデルの性能を活用していない．
DN-DETR [13] は，物体検出タスクの Denoising 学習方法を提案し，ground-truth を入力クエリとして利用することで，物体検出の性能を大きく向上させた．HOI 検出において，DOQ [19] はオラクルクエリを導入し，人間と物体ペアの ground-truth ボッ
クスと物体ラベルを符号化し，ground-truth の HOI インスタン
スを再構成するためにデコーダを学習するように誘導する．このように，DOQ は ground-truth に関する知識をデコーダに抽出し，モデルの性能と学習収束を向上させた．しかし，オラク
ルクエリは検出と認識に共有されるため，ground-truth 情報の利用による学習加速効果は制限されている．
本論文の貢献は主に以下の 2 点である．
• HOI 検出の要素を分離した新たな one-stage フレームワ(SOV) を提案する．
• Ground-truth から位置とラベルの事前知識を学習する新たな（Split Target Guided, STG）Denoising 学習方法を提案する．
提案した手法 SOV-STG は，HOI 検出ベンチマークにおいて，現在の最先端手法よりも 3 倍少ない学習エポック数（HICO-DET
では 30 エポック）でより高い精度を達成した．

2.

関連研究

最近の研究 [3], [11] では，Deformable-DETR [26] のアテンショ
ンメカニズムを利用して，DETR ベースの学習収束が遅い点を改善する．QAHOI [3] は，Deformable Transformer デコーダの

—1—

図2

SOV-STG のフレームワークの全体図

参照点を HOI インスタンスのアンカーと見なし，アンカーを用いて人間と物体検出を誘導する．QAHOI は HOI クエリの埋め込みから参照点の埋め込みを分割しているが，QPIC と同じ
ように，HOI クエリの埋め込みは HOI インスタンスの全要素の予測に使われることに変わらない．図 1(a) では，MSTR [11]が人間，物体，コンテキストの参照点を用いて HOI インスタンスを表現し， 参照点に基づいて人間，物体，動詞を予測する．しかし，MSTR のクエリ埋め込みは，HOI インスタンスの最終的なボックスとラベルの予測に使用され，クエリ表現は
複数のタスクに共有されるため，学習が遅くなる．特定の用途のためのクエリ埋め込みを明確にするために，本論文では，
図3

DAB-Deformable-DETR [17] のアテンションメカニズムを活用

ASMBR のデザイン

する SOV を提案した．図 1(b) に示すように，SOV は学習可能な人間（subject）と物体（object）のアンカーボックスを使用

クス 𝑩𝑜 = (𝑥 𝑜 , 𝑦𝑜 , 𝑤𝑜 , ℎ𝑜 )（(𝑥, 𝑦)：ボックス中心）を与えると，し，人間と物体のボックスを直接予測する．

ASMBR（動詞ボックス）は，次のように定義される：()
𝑥 𝑠 + 𝑥 𝑜 𝑦𝑠 + 𝑦𝑜
𝑩𝑣 =,, 𝑤𝑣 , ℎ 𝑣
(1)
2
2

3.

手

法

図 2 は，SOV-STG のフレームワークを示している．SOV はカーボックスとラベル埋め込みは，推論とノイズ除去学習の𝑤 𝑠 + 𝑤𝑜ℎ𝑠 + ℎ𝑜+ |𝑥 𝑠 − 𝑥 𝑜 |, ℎ 𝑣 =+ |𝑦𝑠 − 𝑦𝑜 |(2)22
MBR の縮小 (adaptive) と移動 (shift) の目的は，インタラクショ

ために HOI に特化した事前知識を提供する．ネットワーク全ン領域から遠い関連性が低い情報を取り除き，インタラクショ

体はエンコーダ・デコーダの設計に従っており，end-to-end でン領域周辺のコンテキスト情報をより多くカバーすることで学習できる．

ある．

特徴抽出器と SOV デコーダから構成される．学習可能なアン

3. 1

アンカーボックスによる HOI インスタンスの予測

𝑤𝑣 =

3. 2

SOV Decoders

クエリ埋め込みのデコーディングターゲットを明確にする

デコーディングターゲットを明確にするために，分離さために，SOV フレームワークは DAB-Deformable-DETR [17] のれたデコーダの設計が重要である．QAHOI [3] や MSTR [11]アテンションメカニズムを活用し，学習可能な subject と objectと同様に，CNN バックボーンと Deformable Transformer エンのアンカーボックスを直接使用して人間と物体のボックスを

コーダ [26] を利用して，マルチスケールグローバル特徴量予測する．アンカーボックスは層ごとに更新され，最終層の𝒇𝑔 ∈ R 𝑁𝑔 ×𝐷 を抽出する．ここで，𝑁𝑔 はマルチスケール特徴

subject と object のボックスが verb ボックスを形成するため

マップの全画素数，𝐷 は全 Transformer アーキテクチャにおけに使用される．図 1(b) に示すように，本研究では，adaptive

る埋め込みの潜在次元である．図 2 に示すように，グローバ

shifted minimum bounding rectangle（ASMBR）を提案し，人間

ル特徴量は学習可能なアンカーボックスを持つ主語および物

ボックスと物体ボックスの空間的な関係を考慮しながら動詞

体デコーダに入力される．物体検出器の検出能力を維持する

ボックスを生成している．図 3 に示すように，デコーダの最終ため，フィードフォワード（FFN）ヘッドを持つ物体デコーダ層で予測された人間ボックス 𝑩 𝑠 = (𝑥 𝑠 , 𝑦𝑠 , 𝑤𝑠 , ℎ 𝑠 ) と物体ボッが検出タスクで学習されたものと同じ重みから初期化される．

—2—

図 4 S-O アテンションモジュール

さらに，物体デコーダの重みを用いて，主語デコーダの初期化

図 5 DN クエリの生成を行い，主語デコーダの学習負担を軽減させる．主語デコーダと物体デコーダは，人間アンカーボックス 𝑩 𝑠 と物体アンカー
ボックス 𝑩𝑜 とクエリ埋め込み 𝒆 を層ごとに並列に更新する．
物体デコーダからの物体埋め込み 𝒆 𝑜 を用いて物体クラスを予測し，人間ボックスと物体ボックスを用いて動詞ボックス 𝑩𝑣を生成する．次に，物体と人間の埋め込みを S-O アテンショ
ンモジュール（セクション 3. 3）に入れ，動詞の埋め込みを融合させる．最後に，人間ボックスと物体ボックスと動詞の埋め込みから生成された動詞ボックスを動詞デコーダに与え，動詞クラスを予測する．
3. 3いる．物体検出のノイズ除去学習方法 [13] とは異なり，本手法は学習と推論の両方でラベル埋め込みを使用する．これにより，推論するとき，最初からラベルの事前知識を入力クエリとして使用することができる．𝐷 次元の 𝐶𝑜 個ベクトルからなる（𝐶𝑜 は物体クラス数，𝐷 は Transformer の潜在次元）Object
label embedding 𝒕 𝑜 ∈ R𝐶𝑜 ×𝐷 は，物体ラベルの事前分布（知識）として定義する．同様に，verb label embedding 𝒕 𝑣 ∈ R𝐶𝑣 ×𝐷 を動詞ラベル事前分布として定義する．物体ラベルと動詞ラベルの事前分布を用いて，物体ラベルのクエリ埋め込み 𝒒 𝑜 ∈ R 𝑁𝑞 ×𝐷

動詞デコーダと S-O アテンションモジュール

提案した動詞ボックス（ASMBR）は人間と物体のボックスから直接生成されるため，動詞デコーダは動詞ボックスの予測学習をすることなく，動詞認識に集中することができる．図 2に示すように，動詞認識部分は主に S-O アテンションモジュー
ルと動詞デコーダの 2 つの部分から構成されている．特徴量と動詞ラベルの埋め込み 𝒒 𝑣 ∈ R 𝑁𝑞 ×𝐷 を線形結合により初期化する．次に，物体ラベルと動詞ラベルの埋め込みを加算して，推論クエリ埋め込み 𝒒 𝑜𝑣 ∈ R 𝑁𝑞 ×𝐷 が得られる．線形結合
は２つの学習可能な行列 𝑨𝑜 ∈ R 𝑁𝑞 ×𝐶𝑜 と 𝑨𝑣 ∈ R 𝑁𝑞 ×𝐶𝑣 を用いて以下のように定義される．

融合時に動詞ラベルの知識を統合するために，S-O アテンショ

𝒒 𝑜 = 𝑨𝑜 𝒕 𝑜 ,ンで動詞ラベルの事前分布を融合させる．さらに，S-O アテン(4)

𝒒 𝑜𝑣 = 𝒒 𝑜 + 𝒒 𝑣

ションに bottom-up path を設計し，下層から上層への情報を強化させる．図 4 で，S-O アテンションモジュールの計算を示し

𝒒 𝑣 = 𝑨𝑣 𝒕 𝑣

3. 5

(5)

Split Target Guided Denoising∈ R 𝑁𝑞 ×𝐷

物体ラベルと動詞ラベルは HOI 検出のターゲットであるたと物体の埋め込み 𝒆 𝑜𝑖 ∈ R 𝑁𝑞 ×𝐷 を与え，𝑁𝑞 はクエリ数である

め，2 つのラベル埋め込みは分割した事前分布と見なすことと仮定する．まず，GEN-VLKT [15] と同様に，S-O アテンシンができる．ノイズ除去クエリ埋め込み（DN クエリ）は分割

モジュールも人間と物体の埋め込みを multi-layer sum で融合した事前分布から生成され，ノイズ除去学習の監督に用いらする．そして，融合した埋め込み量 𝒆 𝑠𝑜𝑖 = (𝒆 𝑜𝑖 + 𝒆 𝑠𝑖 )/2 を用いれるので，提案したノイズ除去学習方法を Split Target Guidedて，動詞ラベル埋め込み量 𝒕 𝑣 とのクロスアテンションの計算(STG) denoising と名付ける．図 5 では，DN クエリの初期化と，を行う．動詞ラベルの基礎知識として学習可能な動詞ラベル

ground-truth HOI インスタンスにノイズを追加する過程を示し

埋め込み 𝒕 𝑣 ∈ R 𝑁𝑞 ×𝐷 については，次のセクション 3. 4 で紹介

𝑘 と動詞ラている．Ground-truth の物体ラベル集合 𝑶 𝑔𝑡 = {𝒐𝑖 }𝑖=1ている．𝑖 番目の層 (𝑖 > 1) から，人間の埋め込み 𝒆 𝑠𝑖

する．さらに，レイヤーの情報を強化するために，bottom-up
path を追加する．最後に，bottom-up path を追加した後の動詞
埋め込み 𝒆 𝑣𝑖 は次のように定義できる：
𝒆 𝑣𝑖 =((CrossAttn(𝒆 𝑠𝑜𝑖−1 , 𝒕 𝑣 ) + 𝒆 𝑠𝑜𝑖−1 )+ (CrossAttn(𝒆 𝑠𝑜𝑖 , 𝒕 𝑣 ) + 𝒆 𝑠𝑜𝑖 ))/2
3. 4

𝑘 を与えると，2 種類のラベル DN クエリ
ベル集合 𝑽𝑔𝑡 = {𝒗𝑖 }𝑖=1が初期化されている．ここで，𝒐 𝑖 と 𝒗𝑖 は物体クラスと動詞ク

ラスの one-hot ラベルであり，𝑘 は ground-truth の HOI インス
タンス数である．DN-DETR [13] に従い，𝑘 番目の ground-truth(3)

Split Label Embeddings

図 2 に示すように，SOV デコーダのクエリ埋め込みを初期化するために，2 種類の学習可能なラベル埋め込みを使用しての HOI インスタンスに対して，物体ラベル 𝒐 𝑘 の ground-truthのインデックスを他の物体クラスのインデックスにランダムに反転させ，ノイズ物体ラベル 𝒐 ′𝑘 を得て，𝑁 𝑝 グループのノイズ(𝑜)

ラベルが生成される．次に，物体 DN クエリ 𝒒 𝑑𝑛 ∈ R 𝑁 𝑝 ·𝑘×𝐷

′ のイ
が，物体ラベル埋め込み 𝒕 𝑜 から，ノイズ物体ラベル 𝑶 𝑔𝑡

—3—

Default
MethodBackbone

Full

Rare

Non-RareKnown Object

MethodRare

𝑆1𝐴𝑃𝑟𝑜𝑙𝑒𝑆2
𝐴𝑃𝑟𝑜𝑙𝑒UnionDet [9]

47.5

56.2

#

IP-Net [21]

51.0

-

(1)

-

(2)

3

(3)

3

(4)

3

Full

Non-RareCNN-based
UnionDet [9]ResNet-50-FPN

17.58

11.72

19.33

19.76 14.68

21.27

IP-Net [21]Hourglass-104

19.56

12.79

21.58

22.05 15.77

23.92

AS-Net [4]PPDM [14]Hourglass-104

21.73

13.78

24.10

24.58 16.65

26.84

GGNet [24]

54.7

-

GGNet [24]Hourglass-104

23.47

16.48

25.60

27.36 20.23

29.48

HOTR [10]

55.2

64.4

Transformer-based

61.0

MSTR [11]

62.0

65.2

SOV-STG-B

62.0

63.8

26.18

18.06

28.61

AS-Net [4]ResNet-50

28.87

24.25

30.25

31.74 27.07

33.14

QPIC [20]ResNet-50

29.07

21.85

31.23

31.68 24.14

33.93

CDN-S [23]ResNet-50

31.44

27.39

32.64

34.09 29.63

35.42

MSTR [11]ResNet-50

31.17

25.31

32.92

34.02 28.83

35.57

Zhou et al. [25]ResNet-50

31.75

27.45

33.03

34.50 30.13

35.81

CDN-B [23]ResNet-50

31.78

27.55

33.05

34.53 29.73

35.96

GEN-S [15]ResNet-50

31.88

26.24

33.57

-

-

-

DOQ (CDN-S) [19]ResNet-50

33.28

29.19

34.50

-

-

-

SOV-STG-S

ResNet-50

32.97

29.28

34.07

35.58 31.73

36.73

SOV-STG-S+CCS

ResNet-50

33.63

30.40

34.59

36.24

37.48

MBR

32.09

-

58.8

ResNet-50

SOV-STG-B-

QPIC [20]QAHOI [3]SOV-STG-Swin-L-

Verb Box

(5)
(6)

3

Default

Verb

Full

Rare

Non-Rare32.48 27.76

33.89

31.71 26.94

33.13

32.11 27.03

33.63

3

32.26 28.39

33.41

3

3

32.24 28.37

33.40

3

3

32.97 29.28

34.07

3

表 4 ノイズ除去のアブレーション実験

Default

MethodDefault
Full

Rare

Non-Rare

Full

Rare

Non-Rare

31.93

27.08

33.38

SOV-STG-S

32.97 29.28

34.07

Subject Box 32.15

26.97

33.70

-STG

32.44 27.30

33.98

32.20

27.55

33.59

-DN

30.61 24.91

33.32

32.44

27.98

33.78

-Subject Decoder

29.87 24.92

31.35

32.97

29.28

34.07

-Verb Decoder

28.74 22.63

30.57

Object Box

33.81

29.51

35.09

36.44

31.78

37.83

Swin-Large-22k 43.62

43.36

43.70

45.67 44.70

45.96

ASMBR

表 1 HICO-DET での結果

Box Obj

表 2 V-COCO での結果

SMBR

ResNet-50

53.9

Denoising Strategies

表 5 各モジュールの貢献

表 3 動詞のボックスのデザイン

ンデックスによって収集される．動詞ラベルは co-occurrence
ground-truth クラスがあるため，co-occurrence ground-truth イン#

デックスがノイズ動詞ラベルに現れるように，ground-truth 動(1)

詞ラベルの他のインデックスをランダムに反転してノイズ動(2)

詞ラベル 𝒗 𝑘′ を生成する．物体 DN クエリと同じように，動詞(𝑣)

ラベル DN クエリ 𝒒 𝑑𝑛 ∈ R 𝑁 𝑝 ·𝑘×𝐷 は，動詞ラベル埋め込み 𝒕 𝑣′ のインデックスによって選択の中から，ノイズ動詞ラベル 𝑽𝑔𝑡

S-O Attention Designs
last layer multi-layer
33

Default

Attention

Full

Rare

Non-RareS-O Fuse

32.97 29.28

34.07

S-O Fuse

30.80 25.16

32.48

(3)

3

S-O w/o bottom-up

32.57 29.12

33.60

(4)

3

Sum Fuse

32.54 27.61

34.01

Sum Fuse

29.73 24.90

31.17

3

(5)

表 6 異なる S-O アテンション設計のアブレーション実験

された動詞ラベル DN 埋め込みを合計したものである．最後に，物体 DN クエリと動詞 DN クエリを連結し，ノイズ除去学
習用の DN クエリ 𝒒 𝑑𝑛 ∈ R2𝑁 𝑝 ·𝑘×𝐷 を形成する．このように，

セット 38,118 枚，テストセット 9,658 枚）から構成されており，
データセットは，600 種類の HOI クラス（117 種類のアクショ

ノイズ除去学習により分割した事前分布を学習し，SOV の推ンクラスと 80 種類の物体クラスの組合せ）のインスタンス数論を誘導することができる．

によって，3 つのカテゴリ Full（全ての HOI クラス）
，Rare（イ

学習と推論

ンスタンスが 10 個未満の 138 クラス）
，Non-Rare（インスタン

3. 6

提案するフレームワーク SOV-STG は，end-to-end で学習でスが 10 個以上の 462 クラス）に分けられる．V-COCO データ

きる．推論クエリ埋め込みには，Hungarian algorithm [12] を用

セットには，トレーニング用の 5,400 画像とテスト用の 4,946

いて，ground-truth の HOI インスタンスと予測 HOI インスタン

画像が含まれている．COCO [16] と同じ 80 種類の物体クラス

スをマッチングし，マッチングコストと学習損失は QAHOI [3]と 29 種類の動詞クラスがアノテーションされており，29 種類と同じである．さらに，ノイズ除去部分と推論部分は同じ損失の動詞クラスがあるシナリオ 1 と 25 種類の動詞クラスがある関数で学習される．同じ ground-truth ラベルの反転率は，学習シナリオ 2 の 2 つのシナリオ設定がある．

初期にはモデルにとってノイズ除去が困難であるが，学習中に評価指標容易できるようになるという考えに基づき，dynamic DN scale

る．True Positive の HOI インスタンスでは，予測された人間のfactor 𝛾 ∈ (0, 1) を導入した．物体ラベル反転率 𝜂𝑜 ∈ (0, 1) と動ボックスと ground-truth の人間のボックスの間の IoU が 0.5 よ

詞ラベルノイズ除去率 𝜂 𝑣 ∈ (0, 1) を学習エポックに応じて制御

り高く，予測された物体と ground-truth の物体のボックスの間することによってノイズ除去学習をさらに改善する．Dynamicの IoU も 0.5 より高くなる必要がある．HICO-DET の Default

DN scale factor では，ラベル反転率 𝜂 を学習開始時に 𝛾 · 𝜂 に設

設定（未知物体あり）と Known Object 設定（未知物体なし）で定し，学習中に 𝜂 まで線形に増加させる．また，動詞ラベル反Full，Rare，Non-Rare カテゴリに対する mAP を報告する．

転率 𝜆 𝑣 ∈ (0, 1) は，𝜂 𝑣 で選択されたマルチホット動詞ラベル

学習設定

内の要素の反転率を制御するために使用される．ボックスノを初期化するために，COCO データセットで学習した DAB-

イズ除去は DN-DETR [13] と同じである．

Deformable-DETR を採用する．特徴抽出器は，ResNet-50 [7]

4.

実

験

評価指標は mAP（mean average precious）を採用す

特徴抽出器，主語デコーダ，物体デコーダの重み

バックボーンと 6 層の Deformable Transformer エンコーダから構成される．CDN [23] と同様に，全てのデコーダの層数を調

4. 1

実験設定

データセットHICO-DET [2] と V-COCO [6] データセットで整することにより，SOV-STG の 2 つのバリエーションを実装
し，3 層デコーダの SOV-STG-S と 6 層デコーダの SOV-STG-B

実験を行った．HICO-DET は 47,776 枚の画像（トレーニング—4—

各モジュールの貢献

SOV-STG は柔軟なデコーディングアー

キテクチャと学習方法で構成されている．各提案モジュールの貢献を明らかにするため，表 5 では，提案モジュールを一つずつ削除し，アブレーション実験を行った．2 行目は，STGを削除し，推論クエリ埋め込みを学習可能な埋め込みから初期化する一般的な DN 学習に置き換えた実験である．1 行目の結果と比べて，STG は Full カテゴリにおいて 1.63% 精度を向上させることが分った．次に，3 行目では，DN 学習を削除し
図6

Dynamic DN scale factor 𝛾 の効果

た．その結果，3 行目と 1 行目を比較すると，ground-truth から事前知識を学習しない場合，性能が 7.71% 低下することがと表記する．Transformer の潜在次元は 𝐷 = 256，クエリ数は
𝑁𝑞 = 64 とする．DN 部分では，各 ground-truth HOI インスタンスに対して，2𝑁 𝑝 = 6 グループのノイズラベルを生成する．
Dynamic DN scale factor を 𝛾 = 32 とし，ボックスの反転率を𝛿 𝑏 = 0.4，物体ラベルの反転率を 𝜂𝑜 = 0.3，動詞ラベルノイズ除去率を 𝜂 𝑣 = 0.6，物体ラベル反転率を 𝜆 𝑣 = 0.6 として学習開始分かった．しかし，DN 学習を用いない場合でも，提案したフレームワークは QPIC（ResNet-50）に対して，5 分の 1 の学習エポックで 5.30% の大幅な性能向上が得られる．次に，4 行目
で主語デコーダと S-O アテンションモジュールを削除し，人間と物体ボックスの両方を物体デコーダで更新する．検出のデコーディング負担のバランスを取らない場合，3 行目と比較

時と同じノイズ除去レベルを維持する．HICO-DET データセッ

して，精度は 2.48% 低下する．最後に，動詞デコーダを削除しトに対して，AdamW オプティマイザーで学習率 2e-4（バックた 5 行目と 4 行目を比較すると，精度は 3.93% 低下する．動ボーンは 1e-5），重み減衰 1e-4 でモデルを学習する．バッチサ

詞デコーダから洗練された動詞表現は動詞予測に役立つこと

イズは 32（GPU あたり 4 枚画像）
，学習エポックは 30（20 エを示した．

ポックで学習率減衰）とし，CDN [23] の 3 分の 1，QPIC [20] とS-O アテンションモジュール S-O アテンションメカニズムのQAHOI [3] の 5 分の 1 としている．V-COCO については，オー効果を調べるため，試したデザインの異なるバリエーションを

バーフィッティングを防ぐため，バックボーンをフリーズして

表 6 に示した．1 行目は SOV-STG-S で使用されている S-O アいる．全ての実験は 8 枚の NVIDIA A6000 GPU で行っている．

テンションモジュールを示している．2 行目では，GEN [15] と

4. 2

最先端手法との比較

同様に，全ての層の融合された埋め込みを動詞デコーダに入力

表 1 では，HICO-DET データセットにおいて，提案したする．しかし，その結果，Full カテゴリでは 7.05%，Non-Rare

SOV-STG と最近の SOTA 手法を比較した．ResNet-50 をバッ

カテゴリでは 16.38% 精度が低下している．4 行目では，S-O ア

クボーンとする SOV-STG-B は，Default 設定の Full カテゴ

テンションのクロスアテンションを削除し，1 行目と比較してリで 33.81mAP を達成した．Deformable Transformer を用いた

1.32% 精度が低下している．クロスアテンションにより，動詞

one-stage の手法である QAHOI や MSTR と比較すると，アン表現を抽出する能力が向上していることが分かった．同様に，

カーポイントを用いた手法と比較して，SOV-STG はアンカー

5 行目は GEN と同じようなアーキテクチャを試したが，精度ボックス事前分布とラベル事前分布の知識を受け，それぞは低下した．精度低下の原因は，Deformable Transformer のア

れ 29.14% と 8.47% の mAP 改善を達成した．さらに，SOV-

テンションが局所的なアテンションメカニズムであり，異なSTG-B は CDN-B を 1/3 の学習エポックで 6.39% の mAP で上る層で元特徴の異なる部分に注目するためと考えられる．具回る．また，SOV-STG-S+CCS は ground-truth 情報を明示的に体的には，動詞デコーダのサンプリング点は，物体デコーダや利用するため，ground-truth を利用して学習を行う DOQ と比

主語デコーダのサンプリング点とは関係がなく，グローバル

較して，DOQ と同じデータセット拡散方法（CCS）を利用しな意味特徴の異なる位置に着目している．

て DOQ（80 エポック）より少ない学習エポック（30 エポッ

ノイズ除去学習方法 表 4 では，ボックス座標，物体ラベル，ク）で 1.05%mAP の改善を達成した．SOV-STG はデコーディ

動詞ラベルの 3 つの部分について，ノイズ除去学習方法を

ングターゲットを完全に分離し，学習ターゲットを明確にする実験した．6 行目は SOV-STG-S の結果である．1 行目では，

ことで，SOV-STG-S は GEN-S [15] を 3.42% 上回る精度を達成

ground-truth のボックス座標，物体ラベル，動詞ラベルをノイした．V-COCO において，表 2 に示すように，SOV-STG-B はズなしで直接モデルへ入力する．その結果，6 行目の完全なノ𝐴𝑃𝑟𝑆1𝑜𝑙𝑒 で 62.0 mAP を達成し，QPIC を 5.44% で上回っているイズ除去学習と比較して，精度が 1.51% 低下していることがことが示されている．また，Swin Transformer [18] を用いてベ分かった．1 行目と 2 行目，5 行目と 6 行目の結果を比較する

ストモデルの SOV-STG-Swin-L を学習した，43.62 mAP で新しと，ボックスのノイズ除去のみではパフォーマンスが低下す

い SOTA を達成した．

るが，物体と動詞のラベルのノイズ除去とともにボックスの

4. 3

アブレーション実験

SOV-STG-S モデルを用いて，HICO-DET データセットでア
ブレーション実験を行った．

ノイズ除去を使用すると，パフォーマンスを向上させることができる．3 行目と 4 行目の結果では，動詞ラベルとボックスのノイズ除去の方が，物体ラベルとボックスのノイズ除去より優れていることを示した．また，6 行目の Rare の結果は 3
—5—

[5]

[6]
[7]
[8]

[9]

[10]
図7

SOTA との学習中の精度の比較．

行目の結果より 8.32% 高く，動詞ラベルのノイズ除去が希少な HOI インスタンスの検出に有効であることを示した．
Dynamic DN

Dynamic DN scale factor は，ノイズ除去学習の

[11]

[12]
[13]

難しさを調整するために使用される．図 6 では，dynamic DN
scale factor 𝛾 を調整し，𝛾 による効果を明らかにする．𝛾 = 23[14]としたとき，最良の性能が得られる．Dynamic DN を用いない
𝛾 = 1 と比較して，dynamic DN は主に Full と Non-Rare のカテ[15]

ゴリで性能を向上させることが分かった．
学習コストの軽減提案手法が学習コストを軽減することを[16]示すために，提案手法と SOTA モデル，QPIC と GEN の学習プ
ロセスを可視化して比較した．図 7 に示すように，SOV-STG-S[17]

は，学習最初から高い AP を達成し，QPIC と GEN よりも早く収束することができる．

5.

[18]

おわりに

本論文では，ターゲットに特化した分離されたデコーダ SOV[19]とノイズ除去学習方法 STG を用いた新たな one-stage のフレームワークを提案する．提案したフレームワーク SOV-STG は，[20]

HOI インスタンスをボックスで表現する新しい形式を採用し，デコーディングに特化した事前知識を学習できる．また，設計[21]されたアーキテクチャと効率的な学習方法により，より少ない
学習コストで最先端の性能を達成することができる．SOV-STG[22]

は，HOI の検出を特定の事前分布とデコーダで分離している
ため，それらのいずれかを改良することも容易である．今後[23]

は，言語モデルから初期化された物体ラベルや動詞ラベルの事
前分布を導入し，性能向上をさらに向上させることを目指す．
文
[1]

[24]

献

Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier,Alexander Kirillov, and Sergey Zagoruyko. End-to-end object detection with transformers. In ECCV, 2020.
[2] Yu-Wei Chao, Yunfan Liu, Xieyang Liu, Huayi Zeng, and Jia Deng.
Learning to detect human-object interactions. In WACV, 2018.
[3] Junwen Chen and Keiji Yanai. Qahoi: Query-based anchors for humanobject interaction detection. arXiv preprint arXiv:2112.08647, 2021.
[4] Mingfei Chen, Yue Liao, Si Liu, Zhiyuan Chen, Fei Wang, and Chen
Qian. Reformulating hoi detection as adaptive set prediction. In CVPR,
2021.

[25]

[26]

[27]

Alexey Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani,
Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit,
and Neil Houlsby. An image is worth 16x16 words: Transformers forimage recognition at scale. In ICLR, 2021.
Saurabh Gupta and Jitendra Malik. Visual semantic role labeling. arXiv
preprint arXiv:1505.04474, 2015.
Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep
residual learning for image recognition. In CVPR, 2016.
ASM Iftekhar, Hao Chen, Kaustav Kundu, Xinyu Li, Joseph Tighe,and Davide Modolo. What to look at and where: Semantic and spatial
reﬁned transformer for detecting human-object interactions. In CVPR,
2022.
Bumsoo Kim, Taeho Choi, Jaewoo Kang, and Hyunwoo J Kim. UnionDet: Union-level detector towards real-time human-object interaction
detection. In ECCV, 2020.
Bumsoo Kim, Junhyun Lee, Jaewoo Kang, Eun-Sol Kim, and Hyunwoo J Kim. HOTR: End-to-end human-object interaction detection
with transformers. In CVPR, 2021.
Bumsoo Kim, Jonghwan Mun, Kyoung-Woon On, Minchul Shin, Junhyun Lee, and Eun-Sol Kim. Mstr: Multi-scale transformer for endto-end human-object interaction detection. In CVPR, 2022.
Harold W Kuhn. The hungarian method for the assignment problem.
Naval Res. Logist. Quart, pages 83–97, 1955.
Feng Li, Hao Zhang, Shilong Liu, Jian Guo, Lionel M. Ni, and Lei
Zhang. Dn-detr: Accelerate detr training by introducing query denoising. In CVPR, 2022.
Yue Liao, Si Liu, Fei Wang, Yanjie Chen, Chen Qian, and Jiashi Feng.
PPDM: Parallel point detection and matching for real-time humanobject interaction detection. In CVPR, 2020.
Yue Liao, Aixi Zhang, Miao Lu, Yongliang Wang, Xiaobo Li, and Si
Liu. Gen-vlkt: Simplify association and enhance interaction understanding for hoi detection. In CVPR, 2022.
Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft
COCO: Common objects in context. In ECCV, 2014.
Shilong Liu, Feng Li, Hao Zhang, Xiao Yang, Xianbiao Qi, Hang Su,
Jun Zhu, and Lei Zhang. DAB-DETR: Dynamic anchor boxes are
better queries for DETR. In ICLR, 2022.
Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang,
Stephen Lin, and Baining Guo. Swin transformer: Hierarchical visiontransformer using shifted windows. In ICCV, 2021.
Xian Qu, Changxing Ding, Xingao Li, Xubin Zhong, and Dacheng
Tao. Distillation using oracle queries for transformer-based humanobject interaction detection. In CVPR, 2022.
Masato Tamura, Hiroki Ohashi, and Tomoaki Yoshinaga. QPIC:
Query-based pairwise human-object interaction detection with imagewide contextual information. In CVPR, 2021.
Tiancai Wang, Tong Yang, Martin Danelljan, Fahad Shahbaz Khan,
Xiangyu Zhang, and Jian Sun. Learning human-object interaction
detection using interaction points. In CVPR, 2020.
Hangjie Yuan, Mang Wang, Dong Ni, and Liangpeng Xu. Detecting
human-object interactions with object-guided cross-modal calibrated
semantics. In AAAI, 2022.
Aixi Zhang, Yue Liao, Si Liu, Miao Lu, Yongliang Wang, Chen Gao,and Xiaobo Li. Mining the beneﬁts of two-stage and one-stage hoi
detection. In NeurIPS, 2021.
Xubin Zhong, Xian Qu, Changxing Ding, and Dacheng Tao. Glanceand Gaze: Inferring action-aware points for one-stage human-object
interaction detection. In CVPR, 2021.
Desen Zhou, Zhichao Liu, Jian Wang, Leshan Wang, Tao Hu, Errui
Ding, and Jingdong Wang. Human-object interaction detection via
disentangled transformer. In CVPR, 2022.
Xizhou Zhu, Weijie Su, Lewei Lu, Bin Li, Xiaogang Wang, and Jifeng
Dai. Deformable DETR: Deformable transformers for end-to-end object detection. In ICLR, 2020.
Cheng Zou, Bohan Wang, Yue Hu, Junqi Liu, Qian Wu, Yu Zhao,
Boxun Li, Chenguang Zhang, Chi Zhang, Yichen Wei, et al. End-toend human object interaction detection with hoi transformer. In CVPR,
2021.

—6—