Pair-wise AttentionNet による歩行者候補領域の補正に関する研究
指導教授：藤吉 弘亘

TP17013 小芝 駿王
1. はじめに歩行者検出は画像中の歩行者の位置と大きさを推定する技術であり，自動運転支援に必要とされている．歩行者検出のベンチマーク CityPersons において高精度である Faster
R-CNN[1] は，Region Proposal Network(RPN) により歩行者候補領域を検出し，歩行者か背景かの 2 クラスに識別する．RPN が検出した領域にずれがある場合，歩行者領域全体の特徴を抽出できないため，歩行者を誤って棄却することがある．歩行者候補領域を補正する手法として
AttentionNet[2] が提案されている．AttentionNet はオクルージョンが発生した歩行者領域に対し，補正が困難という問題がある．そこで，本研究では，矩形の左上と右下の移動方向を連動させて補正を行う Pair-wise AttentionNetを提案する．従来手法では補正が困難な歩行者領域に対しても正確な歩行者領域の検出を実現する．

2.AttentionNet
AttentionNet は，物体候補領域の左上と右下の座標位置に対する移動方向を予測するネットワークである．AttentionNet の構造を図 1 に示す．AttentionNet は矩形の左上，右下の座標位置を補正する方向をそれぞれ推定する．
推定した方向に補正した矩形を用いて，画像を切り出し，再び AttentionNet へ入力する．加えて，AttentionNet は補正終了と背景クラスの判定も行う．左上，右下の両方の座標で補正終了と推定された場合は，繰り返し処理を終了する．また，背景と推定された場合，その領域は背景として判定し，棄却する．このように補正処理を繰り返すことで正確な歩行者矩形を出力することができる．

図 3 : 2 段階の検出の流れ

3.1 セマンティックラベルの入力
本研究では精度向上のために，RGB 画像だけでなく，PSPNet[3] によるセマンティックセグメンテーションのセマンティックラベルを入力する．セマンティックラベルは道路などの flat クラス，建造物などの construction クラス，信号機などの object クラス，植物などの nature クラス，歩行者などの human クラス，乗り物などの vehicleクラス，その他の void クラスを使用する．また，vehicleクラスのうち，乗車している人が見えている自転車やバイクを別クラスとして計 8 クラスのセマンティックラベルを
Pair-wise AttentionNet に入力する．

3.2 Pair-wise AttentionNet の構造
従来の AttentionNet はネットワークを途中で分岐させるため，頭頂や足元などの局所的な領域に着目して特徴を抽出する．そのため，オクルージョンが発生した歩行者領域に対して背景と判別して棄却してしまう．Pair-wise
AttentionNet は，図 4 のように左上と右下に対応する座標の移動方向を個別に出力しない．すなわち，ネットワー
クを途中で分岐させず，矩形の左上，右下の座標の移動方向を連動させている．そのため，頭頂や足元などの局所的な領域に着目せず，与えられた検出領域に対して大域的な特徴を抽出することができる．本研究では，畳み込み層が13 層，全結合層が 3 層から構成される VGG16 をベースのネットワークとする．

図 1 : AttentionNet の構造

AttentionNet は矩形の左上と右下の座標位置の動きを独立して推定する．そのため，図 2 のような下半身にオクルージョンが発生した歩行者領域に対して足元の特徴が獲得できず，右下の両方の座標を背景として判定し，棄却するしまう．

図 4 : Pair-wise AttentionNet の構造

4. 評価実験
図 2 : オクルージョンが発生した歩行者の例

3. 提案手法
本研究では，オクルージョンに頑健な Pair-wise AttentionNet を提案する．Pair-wise AttentionNet は，Faster
R-CNN の RPN で検出した歩行者候補領域に対して，矩形の補正を繰り返し行う．その際，矩形の左上と右下の移動方向を連動させることで，従来の AttentionNet の問題点であるオクルージョンの生じた歩行者領域に対する棄却を抑制する．本研究では Pair-wise AttentionNet を歩行者検出に応用するために，図 3 に示すような 2 段階の検出構造を用いる．2 段階の検出構造は前段の RPN により入力画像から歩行者候補領域の検出を行う．そして，後段のPair-wise AttentionNet で検出領域の補正を行い，最終的な検出結果を出力する．

Pair-wise AttentionNet の有効性を示すため，従来のAttentionNet と検出精度の比較を行う．

4.1 実験概要
データセットには CityPersons Dataset[4] を用いる．Pairwise AttentionNet の学習には歩行者 1,687,950 枚，背景21,842 枚，評価に Faster R-CNN の RPN で検出した歩行者 5,826 枚，背景 3,886 枚用いる．入力画像サイズは
224 × 224 とし，学習回数は 200 エポック，ミニバッチサ
イズを 12 とする．評価指標には，式 (1) の正解領域との重なり率 IoU を用いる．ここで，正解領域の面積を T ，出力される領域の面積を S とする．
重なり率 =

S∩TS∪T(1)図 5 : 従来手法と提案手法による検出結果例
表 2 : Heavy occlusion の平均 Miss Rate[%]

従来の歩行者検出の評価では，IoU が 50%以上と設定するが，本実験では，より正確な歩行者検出精度を確認するため，50%から 90%まで変化させて各手法の比較を行う．

IoU

50%

60%

70%

80%

90%

Faster R-CNN

48.75

61.69

75.85

89.28

98.41

4.2 Reasonable での精度の比較

RPN+

64.42

72.35

83.25

92.52

99.32

45.25

60.64

74.73

86.54

97.79

44.34

57.52

73.02

85.78

95.72評価基準 Reasonable(検出サイズ：50 ピクセル，体の1%から 35%にオクルージョンが発生した歩行者) における精度評価を行う．従来手法と提案手法の平均 Miss Rate を
表 1 に示す．表 1 より，提案手法はすべての IoU において従来手法よりも Miss Rate を削減できた．また，提案手法にセマンティックセグメンテーションのセマンティックラベルの入力すると，すべての IoU において RGB のみを入力としたときよりも Miss Rate を削減できている．そのため，セマンティックセグメンテーションのセマンティックラベルを入力した提案手法による補正が，オクルージョンの少ない歩行者領域に対しても有効であるといえる．
表 1 : Reasonable の平均 Miss Rate[%]
IoU

50%

60%

70%

80%

90%

Faster R-CNN

18.42

21.89

34.06

60.78

91.42

18.30

21.34

33.02

58.48

90.34

17.22

19.51

29.92

51.24

89.32

16.92

18.32

27.84

49.93

88.95

RPN+AttentionNet
提案手法

(RGB)
提案手法

(RGB+segmentation)

AttentionNet
提案手法

(RGB)
提案手法

(RGB+segmentation)

4.4 補正回数の評価
Reasonable における各手法の補正回数を表 3 に示す．
RGB 画像のみを入力した提案手法は従来手法よりも補正回数が増加した．一方，セマンティックセグメンテーショ
ンのセマンティックラベルを入力した提案手法は他の手法よりも補正回数を削減できた．
表 3 : Reasonable における補正回数 [回]
IoU

50%

60%

70%

80%

90%

AttentionNet

3.2

4.2

4.9

6.2

6.9

3.9

5.0

5.4

6.6

7.1

3.3

4.1

4.4

5.2

5.7

提案手法

(RGB)

4.3 オクルージョンした歩行者に対する精度の比較
次に，評価基準 Heavy occlusion(35%から 75%までオクルージョンした歩行者) における各手法の検出精度を比較する．従来手法と提案手法の平均 Miss Rate を表 2 に示す．表 2 より，従来の AttentionNet は，すべての IoU
で Faster R-CNN よりも Miss Rate が増加した．従来のAttentionNet はオクルージョンが大きく発生した歩行者領域に対して補正ができない．一方，セマンティックセグメンテーションのセマンティックラベルの入力した提案手法は，他の手法よりも Miss Rate を削減できた．そのため，セマンティックセグメンテーションのセマンティックラベ
ルを入力した Pair-wise AttentionNet による補正がオクルージョンが発生した歩行者領域に対して有効であるといえる．
従来手法と提案手法による検出結果の例を図 5 に示す．
図 5 より，RPN の検出領域が後段の AttentionNet によって Faster R-CNN よりも正解に近い領域に補正できている．
また，Pair-wise AttentionNet は従来の AttentionNet で補正ができなかったオクルージョンが発生した歩行者に対しても，補正を可能にした．

提案手法(RGB+segmentation)

5. おわりに本研究では，歩行者候補領域の右上と左下の座標位置を連動して補正可能な Pair-wise AttentionNet を提案した．
評価実験により，オクルージョンが発生した歩行者に対して Pair-wise AttentionNet が有効であることを示した．今後は，前段に使用する手法の検討やセマンティックセグメンテーションのセマンティックラベルの組み合わせ方法を検討することで，更なる精度向上を目指す．

参考文献[1] S.Ren, et al.,“Faster R-CNN: Towards Real-Time Object
Detection with Region Proposal Networks”, NIPS, 2015.
[2] D.Yoo, et al.,“Attentionnet:Aggregating weak directionsfor accurate objectdetection”, ICCV, 2009.
[3] H. Zhao, et al.,“Pyramid Scene Parsing Network”,
CVPR, 2017.
[4] S.Zhang, et al.,“CityPersons: A Diverse Dataset forPedestrian Detection”, CVPR, 2017.

研究業績[1] 小芝駿王 等, Pair-wise AttentionNet による歩行者候補領域の高精度化”,ViEW, 2018.