分離されたデコーダとノイズ除去学習を用いた
HOI 検出PRMU2023
電気通信大学 大学院 情報学専攻

陳 俊文王 瀛成柳井 啓司

Human-Object Interaction (HOI) Detection
 HOI 検出
• 一枚の画像から ＜human, object, interaction＞ の組合せを検出する

 HOI インスタンス

2

HICO-DET• HICO-DET [1] は HOI 検出に最もよく使われるデータセット• トレーニングセット： 38,118 枚，テストセット： 9,658 枚• HOI クラス：117 個の動詞と 80 個の物体から構成される 600 種類[1] Chao, Yu-Wei, et al. "Learning to detect human-object interactions." 2018 IEEE winter conference on applications of computer vision (WACV), 2018.

3

HOI 検出手法
 Two-stage• 事前学習済の物体検出器が必要• 2つのステップで物体検出とインタラクション認識を行う

 One-stage• 1つのステップで検出と認識を行う（プロポーザルの必要がない）

4

5

HOI 検出手法
 Transformer-based HOI 検出手法
• Transformer-based one-stage 手法 QPIC [2]• DETR [3] のアーキテクチャを HOI タスクに適用したものである• 学習の収束が遅く，アテンションの計算量は特徴マップの２乗に比例する

HOI に対するヘッド
DETRQPIC

同じ[2] Tamura, Masato, Hiroki Ohashi, and Tomoaki Yoshinaga. "QPIC: Query-based pairwise human-object interaction detection with image-wide contextual information." Proceedings of the IEEE/CVF Conference
on Computer Vision and Pattern Recognition. 2021.
[3] Carion, Nicolas, et al. "End-to-end object detection with transformers." European conference on computer vision. Springer, Cham, 2020.

6モチベーション
 Deformable DETR [4] ベースの one-stage 手法• Deformable Transformer デコーダの参照点をアンカーとして使用• しかし，アンカーまたクエリ埋め込みは各 HOI 要素の予測に共用されているすべての要素が同じアンカーによって予測される[5]

同じクエリ表現は複数のタス
クに共有される[6][4] Zhu, Xizhou, et al. "Deformable DETR: Deformable Transformers for End-to-End Object Detection." International Conference on Learning Representations, 2021.
[5] Junwen Chen and Keiji Yanai. QAHOI: Query-based anchors for human-object interaction detection. arXiv preprint arXiv:2112.08647, 2021.
[6] Kim, Bumsoo, et al. "MSTR: Multi-scale transformer for end-to-end human-object interaction detection." Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022.

7

提案手法
 Subject Object Verb – Split Target Guided (SOV-STG)
1.
2.
3.

人間，物体，動詞の予測を分離した Subject Object Verb （SOV） フレームワークを提案
アンカーボックスで HOI を表現するパイプラインを提案
事前知識を学習導入する新たな Split Target Guided （STG） Denoising 学習方法を提案
クエリ埋め込みを分離した
アンカーボックスで HOI 要素を予測

8

SOV-STG• DAB-Deformable-DETR [7] をベースにして，位置情報をコンテキストクエリから分離された• SOV は特徴抽出器と SOV デコーダから構成される• 学習可能なアンカーボックスとラベル埋め込みは，推論とノイズ除去学習に事前知識を提供する

SOV-STG フレームワークのパイプライン[7] Liu, Shilong, et al. "DAB-DETR: Dynamic Anchor Boxes are Better Queries for DETR." International Conference on Learning Representations, 2022.

9

１ アンカーボックスによる HOI インスタンスの予測 Adaptive-shifted Minimum
Bounding Rectangle (ASMBR)• 空間的な関係を考慮しながら動詞ボックスを生成している• Adaptive： インタラクション領域から遠い関連性が低い情報を取り除く• Shift： インタラクション領域周辺のコンテキスト情報をより多くカバーする

ASMBR のデザイン

２ 動詞デコーダと S-O アテンションモジュール
 動詞認識• S-O アテンションモジュールと動詞デコーダ• 動詞ラベルの事前知識を融合させる• Bottom-up path： 下層から上層への情報を強化させる

10

11

３ ノイズ除去学習 Split Target Guided （STG）
 DN クエリの初期化• Ground-truth HOI インスタンスにノイズを追加• 物体ラベル ground-truth のインデックスを他の物体クラスに反転させ，ノイズ物体ラベルを得る• 物体 DN クエリが物体ラベル埋め込みから収集• 物体 DN クエリと動詞 DN クエリを連結し，DN ク
エリを構成

DN クエリの生成

学習と推論12 学習• End-to-end で学習• Hungarian algorithm [8] を用いて，ground-truth の HOI インスタンスと予測 HOI インスタンスをマッチングし，損失を計算• ノイズ除去部分と推論部分は同じ損失

 推論• ラベルの事前知識を入力クエリとして使用• 物体ラベルと動詞ラベルの埋め込みを加算して，推論クエリ埋め込みが得られる[8] Harold W Kuhn. The hungarian method for the assignment problem. Naval Res. Logist. Quart, pages 83–97, 1955.

実験 データセット➢ HICO-DET （トレーニングセット 38,118 枚，テストセット 9,658 枚）• データセットに含まれる 600 個の HOI クラスのインスタンス数に基づいて，これら HOI クラスは 3つのカテゴリに分類される• Full： 全ての HOI クラス• Rare： インスタンスが 10 個未満の 138 個のクラス• None-rare：インスタンスが 10 個以上の 462 個のクラス➢ V-COCO （トレーニングセット 5,400 枚，テストセット 4,946 枚）• 80 個の物体クラス• 29 個の動詞クラス

 評価指標• mAP (mean average precious) が使用される• HICO-DET の Default 設定（未知物体あり）と Known Object 設定（未知物体なし）で Full，Rare，Non-Rare
カテゴリに対する mAP を報告する

13

最先端手法との比較

150 training epochs
150 epochs
100 epochs
50 epochs+2.03(6.39%)

90 epochs
80 epochs
30 epochs

14

Ablation 実験

15

定性的な結果

16

まとめ• 分離されたデコーダ SOV とノイズ除去学習方法 STG を用いた新たなone-stage のフ
レームワークを提案• SOV-STG はより少ない学習コストで最先端の性能を達成することができる
 今後の課題• 言語モデルから初期化された物体ラベルや動詞ラベルの事前分布を導入し，性能向上をさらに向上させることを目指す

17