社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

クエリベースのアンカーを用いた人間と物体のインタラクション検出陳俊文†

柳井 啓司†† 電気通信大学 大学院情報理工学研究科 情報学専攻
E-mail: †chen-j@mm.inf.uec.ac.jp, ††yanai@cs.uec.ac.jp
あらまし

人間と物体のインタラクション（HOI）検出では，人間と物体のペアをローカライズし，画像から人間と物体間の意味的関係を抽出する必要がある．既存の one-stage の手法は，可能なインタラクションポイントの検出や人間と物体のペアのフィルタリングに注目している．空間スケールにおける異なる物体の位置やサイズの違いを考慮していない．本研究では，Transformer を用いたマルチスケールアーキテクチャを採用し，クエリに基づくアンカーを用いて HOI インスタンスの全ての要素を予測する one-stage の手法を提案する．また，Transformer ベースのバックボーンを用いて，HICO-DET ベンチマークで提案手法が最高精度を達成したことを示した．
キーワード HOI 検出，Transformer

1.

はじめに

近年，人間と物体のインタラクション（HOI）検出は，大きな応用可能性を持つ分野として注目されている．HOI 検出ア
プローチでは，人間と物体の間の意味的関係を抽出し，画像
内の ⟨human, object, action⟩ のトリプレットセットを予測する．
具体的には，HOI インスタンスは人間と物体のバウンディン
グボックスのペアであり，対応するアクションクラスはそれらの間の関係を表す．HOI 検出は，物体検出と人間と物体の(a) 人間と物体の中心点の距離

インタラクション認識の 2 つの部分の組み合わせとみなすことができる．

(b) 人間と物体のボックスのうち，大きい方の領域

図1

One-stage ア プ ロ ー チ で は ，イ ン タ ラ ク シ ョ ン ポ イ ン ト

HICO-DET [2] データセットにおける HOI インスタンスの空間
分布

ベースの手法 [5], [6], [9], [16], [18] と Transformer [17] ベースの手法 [3], [7], [15], [20] がある．人間と物体のペアを検出し，対応するアクションクラスを並行して認識できる．最近の Transformer ベースの手法は良い結果を達成しているが，CNN バック
ボーンの低解像度特徴マップを利用するだけで，Transformer エンコーダに空間情報の抽出の負担を残している．また，Transformer の学習は収束が遅い問題点があり，物体検出タスクでの事前学習モデルが必要である．
図 1(a) に示すように，広く使われている HOI 検出データ
セット HICO-DET [2] では，人間と物体のボックスの中心距離が画像サイズの 3 分の 1 以上ある HOI インスタンスが普通に存在する．図 1(b) に示すように，ほとんどの HOI インスタン
スは，人間と物体のボックスの面積は画像サイズの 0.1 倍未満である．小さな物体の検出と画像全体の意味的情報抽出の能力を向上させるために，本論文では，Query-based Achor を用いた新しい Transformer ベースの one-stage 手法 QAHOI を提案する．また，本論文は最初に one-stage の HOI 検出に関するTransformer ベースのバックボーンを研究し，HOI 検出タスク
に対する大きな可能性を示す．

2.

関連研究

2. 1

One-stage アプローチ

One-stage アプローチは特別なデザインで提案され，一般的に 2 ブランチアーキテクチャを採用している．PPDM [9] は，
人間の中心点と物体の中心点の中点をインタラクションポイ
ントと定義する．インタラクションポイントを介して人間と物体のインスタンスを一致させる．GGNet [18] は，特徴マップの各ピクセルの周囲に action-aware points (ActPoints) を推論することにより，インタラクションポイントのアイディアを拡張したものである．しかし，インタラクションポイントを用いる手法では，HOI インスタンスを明らかにするためのマッチングやクラスタリングのプロセスが必要である．
一方，Transformer の self-attention メカニズムを利用してコン
テキスト情報を抽出し，埋め込みによって HOI インスタンスを表現する Transformer ベースの手法 [3], [7], [15], [20] は，HOI
検出タスクの新しいトレンドとなっている．Tamura ら [15] は，Transformer ベースの物体検出器 DETR [1] の物体検出ヘッド
をインタラクション検出ヘッドに変換し，HOI インスタンス—1—

図 2 モデル全体図の全ての要素を直接予測する QPIC を提案した．同様に，Zouをデコードする際に提供する．𝑁 𝑆 はバックボーンからの 3 つら [20] は CNN バックボーンと Transformer を組み合わせて，の特徴マップの画素数の和である．

クエリ埋め込みから直接 HOI インスタンスを予測する．Chen

3. 2

アンカーベースのデコーディング処理

ら [3] と Kim ら [7] は，HOI インスタンスのボックスとアクDeformable DETR に従い，QAHOI の Deformable Transformer

ションクラスをデコードするために，インスタンスデコーダ

デコーダのクエリ埋め込みは，等しく 2 つの部分に分割さとインタラクションデコーダを並行して構築し，Transformer

れる．HOI クエリ埋め込み 𝑄 𝐻𝑂𝐼 ∈ R 𝑁𝑞 ×𝐶𝑑 と位置埋め込み

ベースの two-branch アーキテクチャを提案した．

𝑄 𝑃𝑜𝑠 ∈ R 𝑁𝑞 ×𝐶𝑑 である．アンカー 𝑃 ∈ R 𝑁𝑞 ×2 は位置埋め込み

3.

手

𝑄 𝑃𝑜𝑠 から線形層を介して生成されたものである．Deformable

法

Transformer エンコーダからの意味特徴量 𝑆，HOI クエリ埋め

Deformable DETR [19] は，Deformable マルチスケールアテン

込み 𝑄 𝐻𝑂𝐼 とアンカー 𝑃 を用いて，HOI 埋め込み 𝐸 ∈ R 𝑁𝑞 ×𝐶𝑑

ションモジュールを設計し，DETR におけるアテンションの複を Deformable Transformer デコーダのアテンションメカニズム

雑度を空間サイズに応じた線形複雑度に軽減し，マルチスケー

によりデコーディングする．Deformable Transformer デコーダ

ル Transformer ベースの物体検出を実現した．QPIC が DETRのデコーディング処理を図 3 に示す．HOI クエリ埋め込みのを HOI 検出タスクに拡張したのと同様に，QAHOI は，このア

self-attention は，位置埋め込みを用いて，マルチヘッドアテ

イディアに従い，Deformable Transformer を HOI 検出に適用しンションモジュール [17] で計算する．アンカーは Deformable

た．QAHOI は，クエリ埋め込みを利用してアンカーを生成し，Transformer エンコーダの出力から意味的特徴を集約してマル

HOI 埋め込みをデコードすることで，Deformable Transformer

チスケール Deformable Attention [19] を計算する．Self-attention

デコーダを HOI インスタンス検出器に適応させる．QAHOI のとマルチスケール attention を 𝑁 𝐿 個のデコード層で 𝑁 𝐿 回計算

全体的なアーキテクチャを図 2 に示す．

し，最後の層で HOI インスタンスを予測するためにインタラ

3. 1

クション検出ヘッド用の HOI 埋め込みを出力する．

マルチスケール特徴抽出器

Self-attention メカニズムを持つ Transformer は，画像から意味

3. 3

アンカーベースのインタラクション検出ヘッド的情報を抽出することに優れているため，最近の one-stage のQPIC に従い，QAHOI はシンプルなインタラクション検出

手法 [3], [7], [15], [20] は CNN バックボーンと Transformer エン

ヘッドを設計しており，アンカーをベースにして HOI の全てのコーダからなる特徴抽出器を構築する．これらの特徴抽出器は要素を予測する．QAHOI におけるインタラクションヘッドのバックボーンからの低解像度の特徴マップを使用するため，小予測処理を図 4 に示す．アンカーセット 𝑃 ∈ R 𝑁𝑞 ×2 の各アン

さなスケールの空間情報を抽出することが困難である．モデル

カー ( 𝑝 𝑥 , 𝑝 𝑦 ) は，人間と物体のペアのボックスの基点として使のパフォーマンスを向上させるため，QAHOI は図 2 に示すよ

用する．インタラクションヘッドにおいて Feed-foward Network

うに，階層型バックボーンと Deformable Transformer エンコー

（FFN）が予測する人間と物体のボックス要素 𝐵 ℎ ，𝐵𝑜 ∈ R 𝑁𝑞 ×4

ダを組み合わせて，マルチスケール特徴抽出器を構築していは，{𝑑 𝑥 , 𝑑 𝑦 , 𝑤, ℎ} で構成される．ここで，𝑑 𝑥 と 𝑑 𝑦 は，アンる．CNN ベース（ResNet）や Transformer ベースのバックボー

カーとボックスの中心とのオフセット，𝑤 と ℎ は，ボックスの幅と高さを表す．最終的なバウンディングボックス 𝐵ˆ ℎ ，𝐵ˆ 𝑜 はン（Swin-Transformer [13]）を使用することができる．QAHOI
は階層型バックボーンの 4 つのステージからマルチスケール特{𝑑 𝑥 + 𝑝 𝑥 ，𝑑 𝑦 + 𝑝 𝑦 ，𝑤, ℎ} で構成される．最後に，物体ボックス

徴マップを抽出する．QAHOI は最後の 3 つのステージの特徴の物体クラス 𝑂 ∈ R 𝑁𝑞 ×𝐾𝑜 と HOI インスタンスのアクション

𝐻

𝑊

𝐻

𝑊

𝐻

𝑊

マップ 𝑥 1 ∈ R2𝐶𝑠 × 8 × 8 ，𝑥 2 ∈ R4𝐶𝑠 × 16 × 16 と 𝑥 3 ∈ R8𝐶𝑠 × 32 × 32

を使用する．1 × 1 の畳み込み層により，𝑥 1 , 𝑥 2 , 𝑥 3 の特徴マップを 𝐶𝑠 次元から 𝐶𝑑 次元へ射影する．Deformable Transformer

クラス 𝐴 ∈ R 𝑁𝑞 ×𝐾𝑎 を，人間と物体のバウンディングボックス𝐵ˆ ℎ , 𝐵ˆ 𝑜 と組み合わせて，出力 HOI インスタンスを構築する．
3. 4

Top K スコアと HOI NMS

エンコーダは，意味的特徴量 𝑆 ∈ R 𝑁𝑆 ×𝐶𝑑 をマルチスケールで

QAHOI は，マルチスケール特徴を抽出するために十分なア抽出し，Deformable Transformer デコーダが HOI インスタンス

ンカーが必要である．一般に，アンカー数は画像中の HOI イ—2—

図 3 QAHOI のデコーディング処理

図4

アンカーベースのインタラクション検出ヘッド

ンスタンス数を大きく上回っている．HICO-DET データセッ

評価指標

予測された HOI インスタンスの評価には，mAP

トでは，96% の画像に 10 個以下の HOI インスタンスしか含ま（mean average precious）が使用される．True Positive の HOI イ

れていない．QAHOI は，2 つのステップで結果をフィルタリ

ンスタンスでは，予測された人間のボックスと ground-truth のングする．まず，物体クラスのスコアが上位 𝑁𝑡 の HOI イン

人間のボックスの間の IoU が 0.5 より高く，予測された物体とスタンスが選択される．その後，HOI Non-Maximal Suppression

ground-truth の物体のボックスの間の IoU も 0.5 より高くなっ（NMS）を用いて，最終的な結果をフィルタリングする．HOIている．HICO-DET の Default 設定（未知物体あり）と Known

NMS は，HOI インスタンス間の人間と物体の Intersection of

Object 設定（未知物体なし）で Full，Rare，Non-Rare カテゴリ

Union（IoU）と，HOI スコアに基づいて算出される．HOI スコ

に対する mAP を報告する．

アは，物体スコアとアクションスコアを掛け合わせたもので，学習設定 バックボーンには，ImageNet [4] で事前に学習させ

𝑐 HOI = 𝑐 𝑜 · 𝑐 𝑎 となる．HOI インスタンス 𝑖 と 𝑗 の間の人間とた Swin-Transformer [13] をベストモデルとして QAHOI を学習

物体の複合 IoU は，次のように計算されるさせる．具体的には，ImageNet-1K で事前学習した Swin-Tiny と(ℎ)

IoU(𝑖, 𝑗) = IoU(𝐵𝑖

(ℎ)

(𝑜)

(𝑜)

, 𝐵 𝑗 ) · IoU(𝐵 𝑗 , 𝐵 𝑗 )Swin-Base，ImageNet-22K で事前学習した Swin-Base と Swin(1)Large を使用している．Deformable Transformer エンコーデと物体検出タスクと同様に，IoU に基づき，各アクションクラス

デコーダはともに 6 層（𝑁 𝐿 = 6）である．クエリ埋め込み数のスコアが低い HOI インスタンスを閾値 𝛿 で除去する．

は 𝑁𝑞 = 300 であり，物体スコアにより上位 𝑁𝑡 = 100 の HOI

3. 5

モデルの学習と推論

インスタンスがモデルの出力として選択される．NMS 処理で

人間と物体をペアで予測するため，インタラクションポイ

は，𝛿 = 0.5 を使用する．Swin-Tiny，Swin-Base，Swin-Large をントに基づくアプローチで重要となるマッチング処理が不要

バックボーンとした場合，第 1 ステージの特徴マップの次元はになる．QPIC の学習手順に従って，ハンガリアン法 [8] を用

𝐶𝑠 = 96，𝐶𝑠 = 128，𝐶𝑠 = 192 となる．Deformable Transformer

いて，𝑁𝑞 個の予測値を全て ground-truth セットと一致させる．

の埋め込み次元は 𝐶𝑑 = 256 である．バックボーンの学習率をDeformable DETR に従って，物体クラスの損失は Focal Loss [11]10−5 ，その他を 10−4 ，重みの減衰を 10−4 とした AdamW [14]を使用する．クエリ埋め込みは学習可能なパラメータである

オプティマイザを使用する．バッチサイズ 16（1GPU あたり 2

ため，クエリ埋め込みから得られたアンカーの位置は学習時

枚画像，8GPU）で 150 エポックの学習を行った．

に学習され，推論時に固定される．

4.

実

験

4. 1

実験設定

4. 2

最先端手法との比較

HICO-DET において最先端手法と比較した結果を表 1 に示
す．マルチスケール特徴マップとマルチスケール Deformable
Attention を用いて，モデルの物体検出部分に有益な検出器を

47,776 枚の画像（トレーニングセット 38,118

事前学習しない場合でも，Swin-Large バックボーンを用いた枚，テストセット 9,658 枚）を含む HICO-DET [2] データセッ

QAHOI は，最先端の one-stage 手法の QPIC と比べて，5.88 mAP

トで実験を行った．HICO-DET には 117 のアクションクラス

（相対 19.7%）上回った．ImageNet-20K で事前学習した Swin-と 80 の物体クラス（物体クラスは MS-COCO [12] データセッ

Base バックボーンを用いた QAHOI の mAP は，ImageNet-1K

トと同じ）が含まれている．アクションクラスと物体クラスでで事前学習した同じバックボーンより 4.1（相対 13.9%）高く

600 の HOI クラスが構成されている．データセットに含まれなる．分類タスクで事前学習したバックボーンの性能が上がる 600 の HOI クラスのインスタンス数に基づいて，これらのれば上がるほど，HOI 検出の精度がさらに向上することがわ

HOI クラスは 3 つのカテゴリ Full（全ての HOI クラス）
，Rare

かった．

データセットアブレーション実験（インスタンスが 10 個未満の 138 クラス），Non-Rare（インス4. 3

タンスが 10 個以上の 462 クラス）に分類される．

CNN ベースと Transformer ベースのバックボーンを用いてア—3—

(a) 人間と物体のボックスのうち，大きい方の面積

図5
Fine-tuned

Query

PointsArch.

表1(b) 人間と物体の中心点の距離

異なる空間スケールでの評価結果

Default

Known Object

Fine-tuned

MethodBackbone

Detection

Full

Rare

Non-Rare

Full

Rare

Non-Rare

IP-Net [16]ResNet-50-FPN

7

19.56

12.79

21.58

22.05

15.77

23.92

PPDM [9]Hourglass-104

3

21.73

13.78

24.10

24.58

16.65

26.84

GGNet [18]Hourglass-104

3

23.47

16.48

25.60

27.36

20.23

HOITrans [20]ResNet-101

3

26.61

19.15

28.84

29.13

HOTR [7]ResNet-50

7

23.46

16.21

25.65

HOTR [7]ResNet-50

3

25.10

17.34

27.42

Arch.

Default
Non-RareBackbone

Detection

Multi-scale(1)

ResNet-50

7𝑥3

24.21 17.51

26.21

(2)

ResNet-50

3

𝑥3

29.07 21.85

31.23

29.48

(3)

Swin-Tiny

7𝑥3

27.19 21.32

28.95

20.98

31.57

(4)

ResNet-50

7𝑥1 , 𝑥 2 , 𝑥 3 , 𝑥 4

24.35 16.18

26.80

-

-

-

(5)

ResNet-50

3𝑥1 , 𝑥 2 , 𝑥 3 , 𝑥 4

26.18 18.06

28.61

-

-

-

(6)

Swin-Tiny

7𝑥1 , 𝑥 2 , 𝑥 3 , 𝑥 4

28.09 21.65

30.01

(7)

Swin-Tiny

7𝑥1 , 𝑥 2 , 𝑥 3

28.47 22.44

30.27

QPIC

QAHOI

Full

Rare

Model

AS-Net [3]ResNet-50

7

24.40

22.39

25.01

27.41

25.44

28.00

AS-Net [3]ResNet-50

3

28.87

24.25

30.25

31.74

27.07

33.14

(8)

Swin-Tiny

𝑥2 , 𝑥 3

28.12 20.43

30.41

QPIC [15]ResNet-101

3

7

29.90

23.92

31.69

32.38

26.06

34.27

(9)

Swin-Tiny

𝑥3

26.65 19.13

28.89

QAHOI

Swin-Tiny

7

7

28.47

22.44

30.27

30.99

24.83

32.84

QAHOI

Swin-Base

7

29.47

22.24

31.63

31.45

24.00

33.68

QAHOI

Swin-Base∗+

7

33.58

25.86

35.88

35.34

27.24

37.76

QAHOI

Swin-Large∗+

7

35.78

29.80

37.56

37.59

31.66

39.36

表 2 アーキテクチャについてのアブレーション実験
Default
methodFullRare

この図は HICO-DET において最先端手法との比較である．∗ と + は，

base

26.64 20.62

Non-Rare28.44+ topk scores (𝑁𝑡 = 100)

26.70 20.89

28.43

ImageNet-22K で 384×384 の入力解像度で事前学習したことを表す．

+ NMS ( 𝛿 = 0.5)

28.47 22.44

30.27

表 3 フィルタリングステップのアブレーション実験
𝑁𝑡
50

topk scores

表4

IoU threshold

100

150

IoU

0.4

0.5

0.6

0.7

𝑐𝑎

26.63 26.63

26.63

IoUℎ

27.85

27.93

27.96

27.93

𝑐𝑜

26.69 26.70

26.64

IoU𝑜

26.69

26.77

26.84

26.85

𝑐𝑎 · 𝑐𝑜26.63 26.63

26.63

IoUℎ · IoU𝑜

28.41

28.47

28.37

28.07

Top K スコアのアブレーション実験

表 5 NMS 処理のアブレーション実験

ブレーション実験を行った．CNN ベースのバックボーンにはFull カテゴリにおいて 1.82 mAP（相対 6.8%）の精度向上が得

ResNet-50 を用い，ゼロからスタートと検出器の重みの ﬁne-tune

られている．

という 2 つの学習方法の違いを調査した．

バックボーン

学習方法

QPIC と同様に MS-COCO データセットで学習し量が似ているが，ImageNet での精度は ResNet-50 より高い．物た Deformable DETR の重みを用いて QAHOI を初期化し，そ体検出器の学習を行わない場合，表 2 (1)(4) の ResNet-50 で学

Swin-Tiny は ResNet-50 とモデルサイズや計算の後 HICO-DET データセットで QAHOI を ﬁne-tune する．De-

習したモデルと比較して，Transformer ベースのバックボーン

formable DETR の実装に従い，特徴マップ 𝑥 3 に対して 3 × 3

Swin-Tiny は，(3) QPIC（2.98 mAP，相対 12.3%）と (7) QAHOIの畳み込み層を用いて，低解像度特徴マップ 𝑥 4(4.12 mAP，相対 16.9%) の精度を向上させることができる．(7)𝐻 𝑊∈ R𝐶𝑑 × 64 × 64を追加する．また，QAHOI と QPIC をそれぞれ ResNet-50 とQAHOI-Swin-Tiny は精度，改善ともに (3) QPIC-Swin-Tiny より

Swin-Tiny でゼロから学習する実験を行った．表 2 の結果から，優れており，提案手法が優れた設計のバックボーンに基づいて物体検出器の学習を行わない場合，(4) QAHOI-ResNet-50 また大きな可能性を持っていることがわかった．表 1 にある Swin-

は (7) Swin-Tiny は，(1) QPIC-ResNet-50 または (3) Swin-Tiny とBase と Swin-Large で学習した QAHOI の結果からも，分類タス比較して，Full および Non-Rare カテゴリで良い結果を達成し，クでより精度の高いバックボーンを用いることで HOI 検出の

QPIC を上回ることがわかった．

精度を大幅に向上できることがわかった．(5) Deformable DETR

マルチスケール特徴マップ

Swin-Tiny バックボーンを用いて，から ﬁne-tune した QAHOI の結果は，(2) DETR から ﬁne-tune

特徴マップの組み合わせの違いによる提案手法の精度への影した QPIC より低い．QPIC は 500 エポックの学習を行った

響を調査した．表 2 (6)(7) の結果より，特徴マップを追加しDETR を使用するのに対し，QAHOI は 50 エポックの学習をても精度は向上しない．QAHOI の (7)(8)(9) のモデルでは，マ行った Deformable DETR を使用することである．Deformable

ルチスケール特徴マップの削除に伴い，精度が低下している．

DETR の学習エポック数が不足であるため，ﬁne-tune するとき

(9) と (7) を比較すると，3 つの特徴マップを用いることで，em学習の収束が遅くなることが原因だと考えられる．

—4—

(a) ride, elephant(b) ride, elephant(c) ﬂy, kite

図6(d) ﬂy, kite(e) ﬂy, kite(a)

図 7 アンカーの分布

アンカーの柔軟性．

(a)

(b)

(b)

(c)

(d)

(e)

図 8 Top 1 スコア HOI インスタンスのアテンションの可視化．(a) は QPIC の Transformer デコーダの最終層におけるアテンショ
ンマップを示す．(b)~(e) は QAHOI の Deformable Transformer デコーダの最終層のサンプリング点のアテンションを示す．
(b) は全解像度のサンプリング点，(c)~(e) はそれぞれ異なる解像度（特徴マップ 𝑥1 , 𝑥2 , 𝑥3 に従って）のアテンションである．アンカーによりアテンションが高いサンプリング点は赤色で表示されている．

後処理のアブレーション実験

QAHOI ではフィルタリング処理が重要であり，表 3 では，top K スコアステップと NMS

インスタンスを 10 個のビンに分割し，インスタンス数が 1000以上のビンを選択して AP 結果を表示させた．

ステップにより，full カテゴリで，QAHOI-Swin-Tiny の精度が人間や物体の領域が小さいうちは，低解像度の特徴マップで1.83 mAP 向上している．また，Top K スコアと HOI NMS のパはインタラクティブ情報を含む領域の特徴を抽出することは難ラメータを調整してアブレーション実験を行った．Top K のス

しい．図 5(a) では，最初の 3 つのビンにおける小さな HOI イ

テップを最適化するために，異なる種類のスコアと K の数値をンスタンスの検出において，Transformer ベースのバックボーン

テストした．表 4 の結果から，アクションスコアを使用するよを持つ QAHOI が ResNet-101 を持つ QPIC より優れていること

り物体スコアを使用する方が適切だと考える．𝑐 𝑎 と 𝑐 𝑎 · 𝑐 𝑜 のがわかった．Deformable DETR から ﬁne-tune した ResNet-50 を

結果は同じであり，アクションスコアが Top K に影響を与えな用いた QAHOI は，0.0~0.1 のビンにおいて ResNet-101 を用い

いことがわかった．物体スコアの上位 100 個の HOI インスタた QPIC を上回り，0.1~0.2 のビン，0.2~0.3 のビンにおいては同ンスを出力とする条件で最良の結果が得られた．HOI NMS の等の結果を得ることができた．また，Swin-Large と Swin-BaseIoU 計算と閾値をテストした結果を表 5 に示す．IoUℎ と IoU𝑜を用いた QAHOI は大きなインスタンスで良好な性能を発揮す

は，2 つの HOI インスタンス間の人間または物体ボックスをることができる．

使用して IoU を計算することを表す．人間または物体ボック

HOI インスタンスの人間と物体の距離が短いほど，特徴を区

スのみを使用して重複する HOI インスタンスをフィルタリン

別することが難しくなる．図 5(b) では，人間と物体のボックスグする場合，人間ボックスの方が良い結果を得られることがの中心点の距離が画像サイズの 0.3 倍未満である場合，QAHOIわかった．2 つの HOI インスタンスの重なり程度を表す複合

は QPIC よりも精度が高いと示した．QPIC，QAHOI ともに，

IoU，IoUℎ · IoU𝑜 を用いると，IoU 閾値を 𝛿 = 0.5 とすることで人間と物体の距離が離れると精度が低下するが，バックボー

最適な結果が得られることがわかった．

ンを改善することでこの問題を緩和することができる．

4. 4

異なる空間スケールでの評価

QAHOI のマルチスケールアーキテクチャは，小さな物体の4. 5

定量的な結果クエリベースのアンカーの柔軟性

クエリベースのアンカー

検出には有利である．異なる空間スケールでの検出能力を調は，マルチスケール特徴マップから特徴を抽出することができ

べ，QPIC の評価方法と同じ，最先端の方法と比較するために，

るため，アンカーは位置に関係なく HOI インスタンスを検出異なるスケールでの HOI インスタンスの異なる中心距離と大することが可能である．アンカーの柔軟性を図 6 に示す．青

きな領域の両方を評価した．結果は図 5(a) と図 5(b) に示す．

色と灰色の点は，物体クラススコアが上位 100 位までの選択実験において，HICO-DET テストセット中の ground-truth HOI

アンカーと未選択アンカーを表し，緑色の点は，検出された各—5—

HOI インスタンスの HOI スコアが最も高いアンカーを表す．

Deformable DETR のように 2 段階で精度をさらに上げること

図 6 (a)(b) に示すように，女性 2 人が象に乗っており，インタが可能だと考える．また，物体検出器を事前に学習させる必ラクションポイントに基づく手法とは異なり，最も信頼度の要がなく，提案手法は大規模なモデルをゼロから学習させる

高いインタラクションを検出するアンカーは，人間と物体のことができ，最先端の結果を得ることができる．QAHOI が，ペアの中心から遠くても，人に近くてもよいのである．図 6

最新の物体検出器で使用されている技術でさらに発展し，将(c)(d)(e) は，結果を上位 3 つのアクションクラスのスコアで順来の研究において HOI 検出タスクの強力なベースラインとしに表示する．このシーンでは，人間と物体が離れているため，て使用されることを期待している．
文(c) に人間と物体のペアの真ん中にあるアンカーは，人間をよく検出するが，物体をうまく囲んでいない．(d) に，アンカー[1]

物体に近いが人間からは離れており，物体はよく検出するが，人間をうまく囲んでいない．また，(e) に，アンカーが人間か
らも物体からも離れており，人間と物体のペアを見つけることはできても，それぞれをうまく囲んでいない．この 3 つの

[2]
[3]

アンカーは位置が異なるが，正確な人間と物体のペアに注目し，正解の HOI インスタンスを出力できる．
図 7 は，さらに HOI インスタンスが 1 つの画像に対する物
体クラスのスコアが上位 100 のアンカー分布を示している．物

[4]
[5]
[6]

体スコアの高いアンカーは，人間と物体の中心に近い位置にあるが，HOI スコアが高いアンカーは，テニスラケットを持つ人のように，人間と物体の中心に限定されていない．以上の[7]

定量的な結果から，クエリベースアンカーは HOI インスタン
スに対して，有効な手法であることがわかった．
図 8 では，QPIC-ResNet-101 と QAHOI-Swin-Large の両方の

[8]
[9]

アテンションを可視化している．(a) により，QPIC は人間やイ
ンタラクションの領域より，物体に着目していることがわかっ[10]

た．(b) により，QAHOI はアンカー周辺に注目し，サンプリン
グ点は人間や物体の周囲に柔軟に配置される．(c) に示すよう[11]に，高解像度・低レベルのサンプリング点は，アンカーに近い特徴を抽出する．また，(d)(e) では，低解像度・高レベルのサ[12]ンプリングポイントは，広い領域で特徴を抽出することがで
[13]

きる．

5.

おわりに

本論文では，マルチスケール特徴を抽出するための階層的

[14]
[15]

バックボーンと Transformer エンコーダ，HOI 埋め込みをデコードするための Transformer デコーダ，HOI インスタンスを予測するためのインタラクション検出ヘッドで構築され[16]

た one-stage の HOI 検出フレームワーク QAHOI を提案した．
Transformer デコーダとインタラクションヘッドは，クエリに基づくアンカーを利用して HOI 埋め込みをデコーディングし，

[17]
[18]

HOI インスタンスを予測する．アテンションメカニズムを持つ Transformer ベースのバックボーンは HOI 検出において大き[19]な改善を示し，クエリベースのアンカーも HOI インスタンス
を柔軟に検出できることが実験で示された．
提案手法はマルチスケールアーキテクチャを持ち，物体検出のようにアンカーを活用して HOI インスタンスを検出す
るため，いくつかの改善点を追加することが可能だと考え

[20]

献

Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier,Alexander Kirillov, and Sergey Zagoruyko. End-to-end object detection with transformers. In ECCV, 2020.
Yu-Wei Chao, Yunfan Liu, Xieyang Liu, Huayi Zeng, and Jia Deng.
Learning to detect human-object interactions. In WACV, 2018.
Mingfei Chen, Yue Liao, Si Liu, Zhiyuan Chen, Fei Wang, and Chen
Qian. Reformulating hoi detection as adaptive set prediction. In CVPR,
2021.
Jia Deng, Wei Dong, Richard Socher, Li-Jia Li, Kai Li, and Li Fei-Fei.
Imagenet: A large-scale hierarchical image database. In CVPR, 2009.
Georgia Gkioxari, Ross Girshick, Piotr Dollár, and Kaiming He. Detecting and recognizing human-object interactions. In CVPR, 2018.
Bumsoo Kim, Taeho Choi, Jaewoo Kang, and Hyunwoo J Kim. UnionDet: Union-level detector towards real-time human-object interaction
detection. In ECCV, 2020.
Bumsoo Kim, Junhyun Lee, Jaewoo Kang, Eun-Sol Kim, and Hyunwoo J Kim. HOTR: End-to-end human-object interaction detection
with transformers. In CVPR, 2021.
Harold W Kuhn. The hungarian method for the assignment problem.
Naval Res. Logist. Quart, pages 83–97, 1955.
Yue Liao, Si Liu, Fei Wang, Yanjie Chen, Chen Qian, and Jiashi Feng.
PPDM: Parallel point detection and matching for real-time humanobject interaction detection. In CVPR, 2020.
Tsung-Yi Lin, Piotr Dollár, Ross Girshick, Kaiming He, Bharath Hariharan, and Serge Belongie. Feature pyramid networks for object detection. In CVPR, 2017.
Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr
Dollár. Focal loss for dense object detection. In ICCV, 2017.
Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays, Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft
COCO: Common objects in context. In ECCV, 2014.
Ze Liu, Yutong Lin, Yue Cao, Han Hu, Yixuan Wei, Zheng Zhang,
Stephen Lin, and Baining Guo. Swin transformer: Hierarchical visiontransformer using shifted windows. In ICCV, 2021.
Ilya Loshchilov and Frank Hutter. Decoupled weight decay regularization. In ICLR, 2018.
Masato Tamura, Hiroki Ohashi, and Tomoaki Yoshinaga. QPIC:
Query-based pairwise human-object interaction detection with imagewide contextual information. In CVPR, 2021.
Tiancai Wang, Tong Yang, Martin Danelljan, Fahad Shahbaz Khan,
Xiangyu Zhang, and Jian Sun. Learning human-object interaction
detection using interaction points. In CVPR, 2020.
A Waswani, N Shazeer, N Parmar, J Uszkoreit, L Jones, AN Gomez, L
Kaiser, and I Polosukhin. Attention is all you need. In NeurIPS, 2017.
Xubin Zhong, Xian Qu, Changxing Ding, and Dacheng Tao. Glanceand Gaze: Inferring action-aware points for one-stage human-object
interaction detection. In CVPR, 2021.
Xizhou Zhu, Weijie Su, Lewei Lu, Bin Li, Xiaogang Wang, and Jifeng
Dai. Deformable DETR: Deformable transformers for end-to-end object detection. In ICLR, 2020.
Cheng Zou, Bohan Wang, Yue Hu, Junqi Liu, Qian Wu, Yu Zhao,
Boxun Li, Chenguang Zhang, Chi Zhang, Yichen Wei, et al. End-toend human object interaction detection with hoi transformer. In CVPR,
2021.

る．例えば，マルチスケール特徴を強化するために，Feature
Pyramid Networks（FPN）[10] などを追加することができる．アンカーの予測は HOI のプロポーザルとして利用でき，two-stage—6—