第 18 回画像の認識・理解シンポジウム

Heterogeneous Learning と重み付き誤差関数の導入による顔画像解析
加藤 優1,a)福井 宏1,b)

山下 隆義1,c)

1. はじめに

山内 悠嗣1,d)

藤吉 弘亘1,e)

3. 提案手法

画像認識分野において，Deep Convolutional Neural Net-提案手法では，顔器官点検出，性別認識，年齢推定，人work(DCNN) が高精度な識別が可能であることから注目

種認識，笑顔度推定の 5 つのタスクを対象とする．そして，されている．DCNN の学習法に，複数の識別タスクを単体

性別認識と人種認識を認識のタスク，顔器官点検出と年齢の DCNN で識別できる Heterogeneous Learning がある．

推定，笑顔度推定を回帰推定のタスクとする．また，学習

しかし，Heterogeneous Learning は識別タスクに認識のタの誤差関数には 2 乗誤差関数を用いる．単一タスクの学習

スクと回帰推定のタスクが共存した場合，ラベル値が連続誤差は図 2 のように出力される．

値と離散値の違いが原因で，算出される学習誤差に大きな10 0差が発生し，学習に影響を与える場合がある．そこで，本10 -1
10 -2

研究では，Heterogeneous Learning に重み付き誤差関数を10 -3重み付き誤差関数により軽減することで，HeterogeneousLearning の学習を安定させ，高精度な認識を実現する．

2. Heterogeneous LearningᏛ⩦ㄗᕪ

導入する．認識のタスクで発生する突発的な学習誤差を，

1010 -6

㢦ჾᐁⅬ(ᅇᖐ)

10 -7
1010

Heterogeneous Learning は，図 1 に示すように複数のタ-410 -510ᖺ㱋(ᅇᖐ)-8➗㢦ᗘ(ᅇᖐ)ᛶู(ㄆ㆑)-9ே✀(ㄆ㆑)-100

1×1052×105

図 2
左目 x 座標左目 y 座標・・・・

入力画像

図 1Convolution 層

Pooling 層・・3×1054×1055×1056×1057×1058×1059×1051×106᭦᪂ᅇᩘ

スクを単体の DCNN で学習する学習法である．

・・・Convolution 層
全結合層
出力層
Pooling 層

笑顔度

Heterogeneous Learning を導入した DCNN の構造

各識別タスクの学習誤差

図 2 から，認識のタスクと回帰推定のタスクを比較した
場合，学習誤差に大きな振幅の差が生じていることが確認できる．回帰推定のタスクのラベル値は，連続値であるため中間的な表現をラベル値に反映できる反面，認識のタス
クは 0 か 1 の 2 値しか存在しない．そのため，認識のタス
クでは学習誤差が突発的に増減する現象が発生する．突発的な学習誤差の増減は，学習誤差が常に小さい回帰推定の一般に複数の識別タスクを扱う場合，タスクの数に比例して識別器を構築する必要がある．それにより，識別タスクの数に比例して計算コストが増加するため，実用化の面で非現実的である．Heterogeneous Learning を用いて，一つの識別器を構築することで，複数のタスクを同時に学習，識別することが可能である．

タスクの学習に大きな影響を与えるため，精度が低下しやすい．
この突発的な学習誤差の増減の影響を軽減するため，本稿では式 (1) のように重み付き誤差関数 EM を導入する．
認識のタスクと回帰推定のタスクに異なる重みを与えることで認識のタスクで発生する突発的な誤差を減少し，回帰推定のタスクに与える影響を低減する．ここで，M はバッ

1a)b)c)d)e)

中部大学 〒 487-0027 愛知県春日井市松本町 1200
u kato@vision.cs.chubu.ac.jp
fhiro@vision.cs.chubu.ac.jp
yamashita@cs.chubu.ac.jp
yuu@vision.cs.chubu.ac.jp
hf@cs.chubu.ac.jp

チサイズ，Tc ，Tr は認識と回帰推定のタスク数，wtc ，wtr
は認識と回帰推定のタスクに与える重み，L はラベル値，

O は DCNN により出力される値を示している．

1

第 18 回画像の認識・理解シンポジウム

1 ∑EM =M m=1
M

( Tc∑

MFM

M

wtc ||Ltc − Otc ||2 +47 歳

19 歳

61 歳

4歳

WAAA)

29%

46%

6%

10%

2tc =1Tr∑

2wtr ||Ltr − Otr ||2(1)tr =1

4. 評価実験

MM

FM

1歳

20 歳

27 歳

15 歳

AAW

B

16%

42%

1%

2%

図 5

提案手法の有効性を示すために，各識別タスクを単一タ
スクの DCNN と従来の Heterogeneous Learning，重み付き誤差関数を導入した Heterogeneous Learning の識別精度を比較する．本実験では，顔器官点検出，性別認識，年齢推定，人種認識，笑顔度推定を行う．顔器官点検出では右目，左目，鼻，口の右端，口の左端の計 5 点の位置を回帰により推定し，笑顔度推定は 0 から 99 までの値を回帰により推定する．また，人種認識では，アジア人，白人，黒人の 3 種類を判別する．回帰推定の重みは，器官点検出識別結果の一例

4.1 重み付き誤差関数の重みを変更した際の精度の比較
図 3 より，回帰推定のタスクは認識のタスクの重み wtcを小さくすることで精度が向上している．これは，認識のタスクで突発的に発生する学習誤差の増減を重み付き誤差関数により抑制したため，回帰推定のタスクの精度が向上したと考えられる．また，認識のタスクは重みを小さくした場合，精度に大きな変化は見られなかった．

4.2 従来法と提案手法の比較が他のタスクと比べ非常に誤差のレンジが低いため，年齢

図 4 より，従来の Heterogeneous Learning と比較したと推定と笑顔度推定にかけるものとする．データセットにき，顔器官点の検出精度の平均が約 15%向上している．まは，Web から収集した 53,663 枚のデータセットを使用す

た，年齢推定，笑顔度推定においても推定精度がそれぞれる．ここで，学習サンプル 42,663 枚，評価サンプル 11,000

約 2%，約 6%向上している．一方，性別認識と人種認識に枚とする．入力するサンプルは 100 × 100 画素のグレース

おいては従来の Heterogeneous Learning と同等の識別精ケール画像である．

度であり，単一タスクで識別した DCNN と比較した場合
では，提案手法の検出精度は同程度の識別精度であった．

100

図 5 に，重み付き誤差関数を導入した Heterogeneous

9080

Learning の識別例を示す．図 5 では，図中の緑の点が顔器ㄆ㆑㽢10%䠈ᅇᖐ㽢10%

官点を示している．また，右枠の上から順に性別 (M : 男㆑ู⋡[%]ㄆ㆑㽢10%䠈ᅇᖐ㽢1%70

性，F : 女性)，年齢，人種 ( A : アジア人，W : 白人，B :ㄆ㆑㽢10%䠈ᅇᖐ㽢0.1%
ㄆ㆑㽢1%䠈ᅇᖐ㽢10%6050黒人)，笑顔度を示している．

ㄆ㆑㽢1%䠈ᅇᖐ㽢1%ㄆ㆑㽢1%䠈ᅇᖐ㽢0.1%

ま た ，1 枚 あ た り の 処 理 時 間 は ，Intel Core i7-ㄆ㆑㽢0.1%䠈ᅇᖐ㽢10%404790(3.60GHz)，メモリ 8GB の環境で行った場合，単一ㄆ㆑㽢0.1%䠈ᅇᖐ㽢1%ㄆ㆑㽢0.1%䠈ᅇᖐ㽢1%

タスクの DCNN で 5 つのタスクを実行するには約 110ms

30
ᕥ┠

ྑ┠

㰯

ཱྀᕥ

ཱྀྑ

ᖹᆒᛶู

ᖺ㱋

図 3

重みの変化による識別精度の比較ே✀➗㢦ᗘの処理時間を有する．しかし，重み付き誤差関数を導入した Heterogeneous Learning では，5 つのタスクの識別時

㆑ู⋡[%]間は約 22ms であった．よって，単一タスクの DCNN で100は識別するタスクに比例して処理時間が増加していくが，

90

Heterogeneous Learning では識別するタスクが増加しても80処理時間は変化しないことが確認できる．

70

5. おわりに
本稿では，Heterogeneous Learning に重み付き誤差関数60の導入を提案した．Heterogeneous Learning における各タ50
䝅䞁䜾䝹䝍䝇䜽䛾CNN40

スクに適した重み付き誤差関数を導入することで，従来のHeterogeneous Learningᥦ᱌ᡭἲ(ㄆ㆑0.1%䠈ᅇᖐ1%)

Heterogeneous Learning より高精度な識別を実現した．今30ᕥ┠ྑ┠㰯ཱྀᕥཱྀྑᖹᆒᛶูᖺ㱋

図 4 従来法と提案手法の識別精度の比較ே✀➗㢦ᗘ

後は，高精度かつ効率的な顔画像解析を行う．
参考文献
[1]
[2]

Z. Zhang, et al., Facial Landmark Detection by Deep
Multi-task Learning , ECCV, 2014.
M. Kimura, et al., Facial Point Detection Based on Deep
Convolutional Neural Network with Optimal Minibatch ,PRMU, 2015.

2