DEIM Forum 2019 P2-135

深層学習表情認識システム
田坂 征也†

金子 邦彦‡†福山大学工学部情報工学科 〒729-0292 広島県福山市学園町 1 番地三蔵
E-mail: †sisii0522@gmail.com
あらまし 近年の交通事故の原因のほとんどがヒューマンエラーによるものである。ヒューマンエラーによる事故を防ぐべく、カメラ付きのパソコンとディープラーニング基盤 Keras を使った人工知能カメラ(AI カメラ)の制作に取り組んでいる。顔画像に関する実験を重ねることによって、運転者本人の顔色やその他顔の変化を読み取ることができる「ディープラーニング顔画像解析基盤システム」の機能を備えた人工知能カメラを作り、事故を未然に防ぐことに役立てたいと思っている。制作のために確認することは表情認識するときの性能と精度評価・顔検知・肌色部分の抽出・顔領域の色の変化である。これらを確認するために ezgiakcora/Facial-Expression-Keras を用いた表情認識の精度と性能の評価の実験。ipazc/MTCNN を用いて顔検知の実験。mpatacchiola/DeepGaze を用いて肌色部分の抽出実験。

キーワード

ディープラーニング, 顔識別, 顔検知, 人工知能カメラ

1. は じ め に情認識

近年の交通事故の中で多いのはハンドル操作を誤

ezgiakcoro/Facial-Expression-Keras を 用 い て 表 情 認 識った、ブレーキとアクセルの踏み間違えたなどの運転の 精 度 と 性 能 を 確 認 し て み た 。USB カ メ ラ か ら 画 像 を操作ミスや、脇見運転や同乗者とのおしゃべり、居眠撮り、その画像の中から人の顔に対して青い四角い枠り、単にボーッとしていたなどの漫然運転が原因としが付き、さらに青い枠の上に枠内の顔の表情がどんなてあがり、この 3 つは全てヒューマンエラーによって感情を表しているかを英語で表す。コマンドプロント起こされるものである。このようなヒューマンエラーに ど の 感 情 が ど れ く ら い の %か で 表 し 、 最 も 高 い も のによる事故を防ぐべく、カメラ付きの コンピュータとを青い四角の枠の上に出す。

デ ィ ー プ ラ ー ニ ン グ 基 盤 Keras を 使 っ た 、 人 工 知 能 カメ ラ (AI カ メ ラ )の 制 作 に 取 り 組 ん で い る 。下 の「 概 要 」に示す種々の取り組みを重ねることによって、運転者本人の顔色やその他顔の変化を読み取ることができる「ディープラーニング顔画像解析基盤システム」の機能を備えた人工知能カメラを作り事故を未然に防ぐこと に 役 立 て た い 。表 情 認 識 に つ い て の 研 究 [4]も あ る が 、自分は表情認識と共に顔検知や肌色部分にも視点をお図 1

ezgiakcoro/Facial-Expression-Keras の 表 情 認 識いた。
図 1 で は 、 顔 の 表 情 で 感 情 ご と に %表 記 さ れ て い る

2. 概 要のでわかりやすいが、大袈裟な反応をしないと思った

人工知能カメラを作る上で確認したいことは、表情通りの感情という結果にならないことが 確認できた。

認識するときの性能と精度評価、 顔検知の精度、肌色

コマンドプロント上にて顔の表情によって、感情を数部 分 の 抽 出 の 精 度 で あ る 。既 存 の 関 連 ソ フ ト ウ エ ア [1]、値化するのは複数顔があった場合、先に顔として認識[2]、 [3]を 用 い て 、 次 の 3 つ の 実 験 を 実 施 し た 。

された方を優先されるということが確認できた。

1.

ezgiakcora/Facial-Expression-Keras[1] を 用 い ての表情認識

2.
3.

ipazc/MTCNN[2]を 用 い て の 顔 検 知(2) ipazc/MTCNN を 用 い て の 顔 検 知
画像や映像から顔の部分を検出して、右目、左目、mpatacchiola/DeepGaze[3] を 用 い て の 肌 色 部 分

鼻 、口 の 右 、口 の 左 の そ れ ぞ れ に (255,255,255)の 色 に 設の抽出

定 し た 点 を 置 き 、 そ れ ぞ れ の 座 標 を 参 考 に 2:4 の 四 角で囲む。

3. 実 験
(1) ezgiakcora/Facial-Expression-Keras[1] を 用 い て の 表

て認識するといった結果になった。顔検知は目・鼻・口と検知しているため大まかではあるが正確であるが、一部別のものも顔として検知するといった結果になった。肌色部分の抽出は大まかに肌色を 切り抜くことには成功しているが、肌の色に似た木の机等肌色に近いものも切り抜いているという結果になった。

5. 謝 辞本 研 究 は 科 研 費 (16K00163)の 助 成 を 受 け た も の で あ る 。

参図 2

ipazc/MTCNN の 顔 検 知

図 2 では、顔は検知されているが、一部別のものも顔として検知するということが確認できた 。
(3) mpatacchiola/DeepGaze を 用 い て 肌 色 部 分 の 抽 出
プ ロ グ ラ ム 中 に て 肌 色 の HSV 境 界 を 設 定 し 、最 小 は[0,48,70]で 、 最 大 は [20,155,255]と い う こ と に し て お く 。
プログラムに画像を通すと先ほど設定した範囲内の部分のみを切り出し、範囲外のものをすべて黒くする ものである。

図 3

mpatacciola/DeepGaze の 肌 色 部 分 の 抽 出

図 3 では、肌色部分を切り出せて入るが、一部光の反射で切り出しから除外されていたり、肌色に似た色の机や木の部分が一部切り出されている。

4. ま と め
以上 3 つのソフトウェアで実験した結果、表情認識の性能と精度評価としては、顔としては認識されているが、表情となると個人差がでるためか人間がわかったとしても、コンピューターにとっては別のものとし

考文

献[1] GitHub - ezgiakcora/Facial-Expression-Keras: The
aim of this project is to recognize facial expression
from a video streaming by using deep learning.
https://github.com/ezgiakcora/Facial -ExpressionKeras[2] GitHub - ipazc/mtcnn: MTCNN face detection
implementation for TensorFlow, as a PIP package.
https://github.com/ipazc/mtcnn[3] GitHub - mpatacchiola/deepgaze: Computer Visionlibraryfor
human-computerinteraction.
It
implements Head Pose and Gaze Direction Estimation
Using Convolutional Neural Networks, Skin
Detection through Backprojection, Motion DetectionandTracking,Saliency
Map.
https://github.com/mpatacchiola/DeepGaze[4] Deep Convolutional Neural Network に よ る 顔 画 像
からの表情識別http://www.ieice.org/jpn/event/FIT/2016/data/pdf/J 014.pdf