クエリベースのアンカーを用いた人間と物体のインタラクション検出
PRMU2022
電気通信大学 大学院 情報学専攻
陳 俊文
柳井 啓司

Human-Object Interaction (HOI) Detection
 HOI 検出
• 一枚の画像から＜human, object, interaction＞の組合せを検出する

 HOI インスタンス

2

HICO-DET• HICO-DET [1] は HOI 検出に最もよく使われるデータセット• トレーニングセット：38,118 枚，テストセット：9,658 枚• HOI クラス：117 個の動詞と 80 個の物体から構成される 600 種類[1] Chao, Yu-Wei, et al. "Learning to detect human-object interactions." 2018 ieee winter conference on applications of computer vision (wacv). IEEE, 2018.

3

HOI 検出手法
 Two-stage• 事前学習済の物体検出器が必要• 2つのステップで物体検出とインタラクション認識を行う

 One-stage• 1つのステップで検出と認識を行う（プロポーザルの必要がない）

4

5

モチベーション
 HICO-DET における人間と物体の空間分布• 人間と物体が離れている• 小さなターゲット

 One-stage のマルチスケールアーキテクチャがない(a) 人間と物体の中心点の距離(b) 人間と物体のボックスのうち，大きい方の領域

6

モチベーション
 従来手法の問題点• Transformer ベースの one-stage 手法 QPIC [2]• DETR [3] のアーキテクチャを HOI タスクに適用したものである• 学習の収束が遅く，アテンションの計算量は特徴マップの２乗に比例する

DETR
QPIC

[2] Tamura, Masato, Hiroki Ohashi, and Tomoaki Yoshinaga. "Qpic: Query-based pairwise human-object interaction detection with image-wide contextual information." Proceedings of the IEEE/CVF Conference
on Computer Vision and Pattern Recognition. 2021.
[3] Carion, Nicolas, et al. "End-to-end object detection with transformers." European conference on computer vision. Springer, Cham, 2020.

QAHOI• 小さな物体の検出と画像全体の意味的情報抽出の能力を向上させる• DETR
Deformable DETR [4]• Query-based Anchor + マルチスケールアーキテクチャ[4] Chao, Yu-Wei, et al. "Learning to detect human-object interactions." 2018 ieee winter conference on applications of computer vision (wacv). IEEE, 2018.

7

マルチスケール特徴抽出器
 QPIC の特徴抽出器• CNN バックボーン + Transformer エンコーダ [5]• 計算コストが高いため，低解像度特徴マップを使用する

 QAHOI のマルチスケール特徴抽出器• 階層型バックボーン + Deformable Transformer エンコーダ• バックボーンの複数ステージの特徴マップを利用できる[5] Dosovitskiy, Alexey, et al. "An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale." International Conference on Learning Representations. 2020.

8

アンカーベースのデコーディング処理• Deformable DETR に従い，クエリ埋め込みは，等しく 2 つの部分に分割される• HOI クエリ埋め込み• 位置埋め込み• アンカーは位置埋め込みから線形層を介して生成されたものである

9

アンカーベースのインタラクション検出ヘッド• QAHOI は，QPIC と同じくシンプルなインタラクション検出ヘッドを採用している• アンカーをベースにして Feed-forward Network (FFN) を用いて HOI の全ての要素を予測する• 物体のクラスとアクションのクラスを人間と物体のバウンディングボックスと組み合わせて，HOIインスタンスを構築する

10

11

Top K スコアと HOI NMS Top K スコア• 物体クラスのスコアが上位 K の HOI インスタンスを選択する

 HOI NMS
• HOI インスタンス間の人間と物体の複合 IoU と，HOI スコアに基づいて算出する• HOI スコアは，物体スコアとアクションスコアを掛け合わせたものである• HOI インスタンス 𝑖 と 𝑗 の間の人間と物体の複合 IoU は，物体と物体の IoU 掛ける人間と人間のIoU の積である

HOI
Instance

Top K
objectclass score

Top K HOI
Instance

HOI NMS

Results

モデルの学習と推論• QPIC の学習手順に従って，ハンガリアン法 [6] を用いて，予測値を全ての ground-truth セットと一致させる• Deformable DETR に従って，物体クラスの損失は Focal Loss [7] を使用する• クエリ埋め込みは学習可能なパラメータであるため，クエリ埋め込みから得られたアンカーの位置は学習時に学習され，推論時に固定される[6] Kuhn, Harold W. "The Hungarian method for the assignment problem." Naval research logistics quarterly 2.1‐2 (1955): 83-97.
[7] Lin, Tsung-Yi, et al. "Focal loss for dense object detection." Proceedings of the IEEE international conference on computer vision. 2017.

12

実験
 データセット• HICO-DET で実験を行う• データセットに含まれる 600 個の HOI クラスのインスタンス数に基づいて，これら HOI クラスは3つのカテゴリに分類される• Full：全ての HOI クラス• Rare：インスタンスが 10 個未満の 138 個のクラス• None-rare：インスタンスが 10 個以上の 462 個のクラス

 評価指標• mAP (mean average precious) が使用される• HICO-DET の Default 設定（未知物体あり）と Known Object 設定（未知物体なし）で Full，Rare，Non-Rare カテゴリに対する mAP を報告する

13

14実験
 最先端手法との比較+5.88(19.7%)+4.1(13.9%)

15実験
 アブレーション実験

物体検出器の学習を行わない場合，QAHOI はQPIC より優れている

マルチスケール特徴マップの効果

アーキテクチャについてのアブレーション実験

16実験
 後処理のアブレーション実験• QAHOI-Swin-Tiny を用いて実験を行った

Top K と NMS のステップが重要である(a) フィルタリングステップのアブレーション実験(b) Top K スコアのアブレーション実験(c) NMS 処理のアブレーション実験

実験
 異なる空間スケールでの評価• 異なるスケールでの HOI インスタンスの異なる中心距離と大きな領域の両方を評価した• 10 個のビンに分割し，インスタンス数が 1000 以上のビンを選択して AP 結果を表示させた

17

18

定量的な結果 クエリベースのアンカーの柔軟性• アンカーは位置に関係なく HOI インスタンスを検出することが可能である• 人間と物体が離れている場合も検出できるアンカーの柔軟性

19

定量的な結果 アンカーの分布• 物体スコアの高いアンカーは，人間と物体の中心に近い位置にある• HOI スコアが高いアンカーは人間と物体の中心に限定されていない

アンカーの分布20

定量的な結果 アテンションの可視化

Top 1 スコア HOI インスタンスのアテンションの可視化

まとめ• 本論文では，マルチスケール特徴を活用できるアンカーベースの新たな one-stage
HOI 検出フレームワーク QAHOI を提案した• アテンションメカニズムを持つ Transformer ベースのバックボーンは HOI 検出において大きつ Transformer ベースのバックボーンは HOI 検出において大きを柔軟に検出できることが実験で示された• 提案手法はマルチスケールアーキテクチャとアンカーベースの設計を持ち，いくつかの改善点を追加することが可能• QAHOI が，最新の物体検出器で使用されている技術でさらに発展し，将来の研究において HOI 検出タスクの強力なベースラインとして使用されることを期待している

21