計測自動制御学会東北支部

第 284 回研究集会（2013.11.8）

資料番号284-2

ニューラルネットワークに基づく顔画像特徴量の自動抽出
Automatic Face Feature Extraction Based on NeuralNetworks○皆川祐太郎, 阿部満, 趙強福○Yutaro Minakawa, Mitsuru Abe, Qiangfu Zhao
会津大学システム知能学講座
System Intelligence Lab in University of Aizu
キーワード：パターン認識(Pattern Recognition), ニューラルネットワーク(Neural Network), 特徴点(Feature Point), 顔画像(Face Image), 移動ベクトル(Moving Vector)
連絡先：福島県会津若松市一箕町鶴賀
公立大学法人会津大学 システム知能学講座
皆川祐太郎, Tel：090-9426-3643, Email: m5161130@u-ziau.ac.jp

1. はじめに情報を使い, 特徴点として定義することでモ1-1.

ーフィングをしている.

背景

近年, 画像を使ったサービスが多く提供さ以上の背景から, 顔画像内の特徴量としてれている. その中でも顔認識システムは幅広特徴点を自動抽出することが出来れば, これく普及している.

からの顔認識分野とわれわれの研究に貢献

現在, 顔画像の認識分野において顔画像の中から特徴として各器官できると考え, 特徴点を自動的に抽出する方（目や鼻, 口など）の位置情報を使用するこ法について提案する.とで, 顔の認識をしている. それらの位置情報を正確に抽出することが, 顔認識の精度向1-2.

上のための要素になっている. この顔の各パーツを特徴として抽出するとき, パターン認

画像モーフィングと特徴点画像モーフィングというのは画像同士を識の技術が応用されている.

合成して, その両方の要素を持っている合成

またわれわれは, 顔画像を使った画像モー画像を生成する方法のことである. 図 1 のよフィングに関する研究を行っており, この画

うに画像 1 と画像 2 をモーフィングした場合像モーフィングを行う際にも, 各器官の位置には右端のような合成画像が生成される. こ1

のモーフィングを行う際に特徴点を使用しは存在するが, その論文の中で学習データにてモーフィングをしている.

よっては解が求められない可能性が考えられることから, 非線形回帰による手法の提案が必要になることが記載されている[1]. そこでわれわれは非線形的に求める方法としてニューラルネットワークを採用した. ニューラルネットワークは人の脳に似た構造や働きを持った数学モデルで, その学習にはパターンと教師信号が使われる.

図 1. 画像モーフィングの例

この方法の主な考え方として, あらかじめパターンと教師信号を使って学習を行い, 特この時の特徴点は各器官の位置情報を表徴点ごとにニューラルネットワークを設計す重要な点になり, 主に器官の両端が使われする. そして特徴点を抽出したい画像に対しる. 図 2 に特徴点を打ったものの一例を示す.て各ニューラルネットワークを適用することで各特徴点を自動的に抽出するという流れになっている. 具体的なアプローチについて次に記す.

2-2.

アプローチ前準備としてあらかじめ特徴点を打ってある画像を用意しておく. この用意した画像
図 2. 特徴点の例

を使ってニューラルネットワークの学習のためのデータを生成していく.

この各器官の両端に見られるのが特徴点で

まず学習用特徴点を中心として, ある程度あり, 位置情報を表す重要な点になる. 現在,の範囲をカバーするように学習範囲を設定

われわれはこの特徴点を手動により定義しする. その学習範囲内に学習サンプルをランており, 1 枚に対して 90 秒の時間がかかってダムに配置し, 各学習サンプル周辺の輝度値いる. 今後, 特徴点を定義したい画像が増えを取得してそれをパターンとする. 次に教師ると人が打つのも大変な作業になるので, こ信号の設定について説明する. 教師信号にはの特徴点を自動的に抽出することが目標に特徴点から各学習サンプルへの相対的な位なる.

置を表した, 移動ベクトルを使用する. 具体的な式について説明したものが式 1 になる.

2. 方法
2-1.

提案する方法われわれは, ニューラルネットワークを用いたパターン認識を提案する. 先行研究の中式 1. 移動ベクトル算出の式

で重回帰分析を使った線形回帰による手法
2

る. 検出の際に繰り返す回数は 10 回とする.
特徴点の座標を(xfeature, yfeature)とし, 学習学習において学習用特徴点ごとに 10 個のニサンプルを(xi, yi), 各移動ベクトルを(xmove i,ューラルネットワークを設計して, その中でymove i)としたとき, 各移動ベクトルは式 1 の一番性能のいいものをテストに使用する. ニように計算されて, その値は教師信号としてューラルネットワークのパラメータは, 中間定義される.

層のユニットの数は 20, 学習回数はニュー

次にニューラルネットワークの学習につラルネットワークの的中率が 60 パーセントいて説明する. 生成したパターンと教師信号以上になるまで繰り返す. ただし 1000 回かを使ってニューラルネットワークを設計しら 500 回刻みで増やしていき, その上限はていく. パターン画像を x の移動ベクトルと10000 回までとする.

y の移動ベクトルのそれぞれを 1 セットとして, 器官ごとに設計していく.
特徴点を検出する方法は, まず学習の際に使用した学習用特徴点の位置を基準にして探索範囲を定め, その中からランダムに 1 点を選択する. 次に選択された点の周辺の輝度値を取得して, その輝度値を学習で設計した対応する器官のニューラルネットワークに入力する. そして出力された値によって, 現在の座標の位置を動かしていく. 移動した先
図 3. 学習画像

でまた輝度値を取得し, ニューラルネットワークに入力し, また出力された値によって座標を動かしていく. この操作を任意の回数だけ繰り返して終了する. 以上が, 具体的な学習と検出に関する紹介になる.

3. 実験
3-1.

実験の概要

今回は, われわれが提案した方法によって顔画像内から特徴量として各器官の特徴点
図 4. テスト画像を検出できるのかを試す. この実験では両眉,両目, 鼻と口の各両端を検出する特徴点とし,使用する画像の大きさは 256*256 に正規化

今回, 学習画像には図 3 の画像を, テスト用したものを用いる. また学習において 1 つのの画像には図 4 の画像を使用する.

学習用特徴点の周囲に配置する学習サンプ
ルの数を 300 とし, 学習と探索の範囲は33*33, パターン画像のサイズを 17*17 とす

3-2.
3

実験結果と考察実験の結果は次のようになった.

特徴点を抽出することが出来ない場合があった. 本実験では, 使用した画像の枚数や特徴点の数の不足があると考えている.
今後の課題としては, 学習の際にパターンとしての特徴量をどのようにして適切に抜き出していくのかという考察と実験の際に,学習用の画像の枚数を増やして学習用特徴点の正解位置に関する情報を増やした状態で試行していくことをこれからの方針と課
題とする.
参考文献
[1]

図 5. 実験結果

松田龍英, 原朋也, 前島謙宣, 森島繁生,“顔形状の制約を付加した Linear Predictorsに基づく特徴点検出”, 電子情報通信学会論文

図 5 の結果を見ると鼻と口の両端に関して

誌 , Vol. J95-D, No. 8, pp.1530-1540, Aug
2012.

は十分に近いところを検出している. しかし,両目の内側の点に関してはよくない結果になった.
今回の結果から, われわれの提案した方法
ではおおよその特徴点付近を検出することには成功した. しかし目の内側付近の特徴点に関しては検出精度が悪いと感じた. またニューラルネットワークの的中率が閾値の 60パーセントを超えているのにもかかわらず,こういった結果になったのは, パターン生成の時にパターンに関する特徴量をうまく抜き出せておらず, 間違った学習をしているためと考えている. それと今回の実験では, 学習用の特徴点に関する情報が 1 つしかないた
め正解位置の情報不足があると考えられる.

4. 結論
今回の実験では, われわれの提案した方法
で鼻や口の両端の特徴点を検出することには成功した. しかし, ニューラルネットワー
クの的中率が高いものであっても,正確に4