Attention-Mask 機構を導入した YOLOv3 による歩行者検出の高精度化
指導教授：藤吉弘亘
ER16058 丹羽勇人
1. はじめに歩行者検出は，自動運転を行う際には不可欠な技術である．You Only Look Once v3 (YOLOv3) [1] は，Resblockを導入し，3 つの異なるスケールでの検出を行うことで高精度な物体検出を可能にした．しかし，グリッドセルよりも小さい物体や物体の重なりによるオクルージョンが発生すると十分な特徴抽出ができず検出率が低下する．本研究では，識別に有効な物体領域を強調する Attention-Mask機構を YOLOv3 に導入した手法を提案する．

ここで，式 (2) は，Attention-Mask 機構から獲得した
GAMApred とセグメンテーション情報から生成した GAMの教師データ Atrue 全グリッドセルに対する平均 2 乗誤差である．式 (3) は，式 (2) の損失関数に対して，教師データにおける物体領域のグリッドセル Apredk と獲得した GAMの教師データに対応するグリッドセルに対する平均 2 乗誤差を追加した損失関数である．式 (3) は，物体が含まれる領域の誤差をより重視するようにしている．

2.YOLOv3
YOLOv3 は，入力画像から 3 つの異なるスケールの特徴マップを獲得する．獲得した特徴マップの各グリッドセルからバウンディングボックスの情報 (中心座標，高さ，幅)に加え，物体らしさ，クラス確率を出力する．この各グリッドセルの物体らしさとクラス確率に対して閾値処理を行い物体検出する．これにより，バウンディングボックスの情報と信頼スコア，クラスラベルを出力する．

3. 提案手法
本研究では，Attention-Mask 機構を導入した YOLOv3を提案する．

3.1. ネットワーク構造

Attentionmodule

1×1 Conv

Resblock × 2
1× 1 Conv
3×3 Conv

3× 3 Conv

Resblock × 8
3× 3 Conv
Resblock × 4

Resblock × 2

3× 3 Conv
Resblock × 8Resblock

3× 3 Conv

3× 3 Conv

Input

3× 3 Conv

Attention-Mask 機構を導入した YOLOv3 を図 1 に示
す．Attention-Mask 機構を導入した YOLOv3 では，従来の YOLOv3 と同様に特徴抽出器から特徴マップを獲得する．
そして，獲得した特徴マップを Attention-Mask 機構へ入力し，画像内における物体領域を注視した Grid Attention
Map (GAM) を獲得する．最終的に，GAM を特徴マップに対して重み付けすることで物体領域を強調した特徴マッ
プから推論できる．

OutputConcatAttention
module

1×1 Conv

Resblock×1
1×1 Conv
3×3 Conv

1×1 Conv

Resblock×2

Concat
1×1 Conv：Upsampling：Concatenation

Attention
module

3×3 Conv：畳み込み層×2，Shortcut connection

1×1 Conv：畳み込み層，正規化，ReLU

Upsampling

ConcatAttention module

Concat
1×1 Conv
3×3 Conv

1×1 Conv
Conv
ResblockUpsampling

Upsampling

Darknet - 53

図 2 : Attention-Mask 機構の構造

4. 評価実験
本実験では，従来法の YOLOv3 と Attention-Mask 機構を導入した YOLOv3 との比較する．また，2 種類のAttention-Mask 機構の損失関数についても比較する．評価指標には F1 スコアを用いる．評価データセットにはCityPersons [2] を用いる．CityPersons は，pedestrianや rider など人に関連するクラスを含むデータセットである．本実験では，学習に 2.303 枚，評価に 393 枚を使用し，pedesrian を学習・評価対象とする．また，バッチサイズ
は 3 で，40epoch 学習する．

4.1. 評価結果
YOLOv3 と Attention-Mask 機構を導入した YOLOv3の精度を表 1 に示す．表 1 より，YOLOv3 と比べ，Latt1 を用いた場合，各 IoU において精度が向上し，最大で 8.1 ポイント増加した．また，Latt1 と比べ，Latt2 を比較すると，各 IoU において同等もしくは最大で 2.5 ポイントが増加した．よって，Attention-Mask 機構の損失関数には Latt2 の方が良い．YOLOv3 と Attention-Mask 機構を導入した
YOLOv3 の検出例を図 3 に示す．図 3 より YOLOv3 にAttention-Mask 機構を導入することで従来手法に比べて検出に失敗していた歩行者に対しての検出に成功した．さらに獲得した GAM にも画像内の物体箇所に注視していることを確認した．
表 1 : F1 スコア [％]IoU：Attention-Mask機構

図 1 : Attention-Mask 機構を導入した YOLOv3

YOLOv3

提案手法

Latt 1

Latt 2

0.25

59.0

67.1

67.1

3.2.Attention-Mask 機構

0.5

58.6

65.265.9

本研究で導入した Attention-Mask 機構を図 2 に示す．
特徴抽出器から得られた特徴マップに GAM の領域を式(1) のように加えて新たな特徴マップを獲得する．

0.75

48.4

50.7

Tc′ (xi ) = (1 + A(xi ))・Tc (xi )

従来法

入力画像

53.2
提案手法

GAM

(1)

ここで，A(xi ) は GAM，Tc (xi ) は c チャンネルの特徴マップ，Tc (xi ) は GAM を用いて重み付けした後の特徴マップを示す．その後，YOLOv3 と同様の処理を行いバウンディングボックスと信頼スコアとクラスラベルを出力する．
従来の YOLOv3 の損失 Lyolo に加え，Attention-Mask機構の学習も同時に行う．Attention-Mask 機構の学習では，セグメンテーションの真値をマスク領域で覆った領域に対して，1 で正規化を行った領域を用いた Latt から損失を計算する．ここで，本研究では，Latt として式 (2) および式 (3) の Latt1 ，Latt2 の 2 つを提案し，いずれかを用いる．
Latt1 = M SE(Apred , Atrue )(2)

Latt2 = M SE(Apred , Atrue ) + M SE(Apredk , Atruek )
(3)

：真値

5. おわりに：出力

図 3 : 検出結果の比較

今回は，YOLOv3 に Attention-Mask 機構を導入した手法を提案した．Attention-Mask 機構の導入により精度が向上し，従来法では一部の未検出であった歩行者や隠れが生じた歩行者に対しても検出が可能となったことを確認した．今後は，提案手法のさらなる高精度化を目指す．

参考文献[1] J. Redmon, et al., YOLOv3: An Incremental Improvement , arXiv:[1804.02767], 2018.
[2] S. Zhang, et al., CityPersons: A Diverse Dataset
for Pedestrian Detection , CVPR, 2017.