平成9年度 研究報告 大分県産業科学技補センタ叫

顔部分特徴抽出と威儀域検出
佐藤辰雄
機械電子部

ぎ盈eeDeもeeも迅m毯SingP盈君もia且ぎe汲も硯雷eEx恵訂盈￡も皇onTa七SuO Sa℃0
Ⅸ‡echanics＆ElectIゝOnics D主vision

要旨
個人特定のために顔画像を用いてパターン認識を行う場合，髪型や着ている服の襟形などが認識結果に影響を与える．

そこで，このような髪や胸部などを含んだ画像で認識を行った場合と，顔の中でも通常は隠れたりすることの少ない目，鼻，ロの一部を部分特徴として検出し，これらを含んだ矩形領域を切出し，この画像を用いて認識を行った場合とについて，その認識結果を比較した。これらの顔部分特徴は，目を伏せたり，見開いたり，閉じたり，あるいはロをパクバクさせたり，といった具合いに，比較的変化が激しいため，一般には検出が難しい．このような検出は通常テンプレートマッチングとして画像空間で行なわれるが，ここでは，特徴空間上の距離を用いて，向きや表情などにより変化した顔にも対処できる柔軟な手法を採用した．

本研究では，／ヾターン認識で行われているように，最初1．はじめにマルチメディア技術やマンマシン対話システムなどのに画像から特徴抽出を行った後，その特徴空間上で画インターフェースとして，顔画像の認識技術の研究が盛像間距離を定義することにより，マッチングするパターンんに行われており，実際のシステムでは安定性の見地かに変化のある場合でも柔軟なマッチングを行えるようにしら顔画像に限定しないで他の情報を併用して行うにして∴
二．

特徴空間の構成には，カラー画像に拡張した高次局も，顔画像から個人を特定する技術は重要である．

個人特定のために顔画像を対象としたパターン認識

所自己相関特徴やと線形判別分析を用いた．

を行う場合，免許証写真などのような胸から上を碑影した画像をそのまま用いると，髪型，着ている服の色や形，2．部分特徴抽出と顔領域切出し

背景の違いなどが認識結果に影響を与える．この影響を顔を構成する部品としての目夕鼻，口を顔部品と呼び，避けるためには顔領域を検出し切り出す必要がある．

その一部持上 ⊂では両端，鼻では中央下部）をさ顔を特

この顔領域の検出には，顔全体を表現するテンプレ

徴づける部品の一部という意味で部分特徴と呼び〉画像ートやモデルを用いて直接検出する方法と，目，鼻，⊂などの特徴的な構成要素（顔部品）をまず検出し。それを基準として顔領域を決定する方法が考えられる．本研究では後者の方法をとっている．

顔部品の検出は通常テンプレ山トマッチングとして相関係数などの方法により画像空間で行なわれるが，顔全体が傾いたり，冒を伏せたり、見開いたり，閉じたり、あるいは口をバクバクさせたり，といった具合いに比較的変化が激しいため，想定されるすべての変化に対応した多数のテンプレートを準備しなければならず，WW・般には検出が難しい．

テンプレートマッチングは画像問距離を画像空間で定義して類似（一致）度を測るもCりと考えることができるが，Fig．1顔部分特徴の例

90平成9年度 研究報告 大分県産業組学技術センタ】
上で部分特徴と最も良くm一致する場所を検出することをに示す．

ここでは部分特徴抽出と呼ぶ−顔部品全体を使わずそパターン認識では画像から抽出する特徴によってシスの一部とした理由は，顔の傾きや向きの変化で見え方はテムの性能が大きく左右される，大津ら針刷は高次局所かなり変化するが，これらの変化に対してできるだけ頑健自己相関特徴と多変量解析手法を組み合わせることで，に対応したいため，一部を使用することにした．ここで採2値画像の認識や計測が可能であることを示した。

栗田ら閏はそれを濃淡画像に拡張し，顔画像の認識用した部分特徴の例をm思1に示す．に適用した．さらに栗田らi8−はカラー画像に対応する1次2．1部分特徴抽出までの局所自己相関特徴を使って絵画データベースの画像から顔を検出するのに同様な部分特徴を使用す検索を行っている．また、赤穂ら持lは2値画像の場合にる方法はすでにいくつか提案されている．たとえば宗ら川ついて高次局所自己相関特徴から画像の回転に関すは顔画像を前処理して得たエッジ画像から，PFTと呼ぷる不変特徴を構成する方法を示した．

本研究では栗田らのカラー画像に対応する局所自己モデル化したテンプレートを使って特殊なマッチングを行い，得られた候補群の中からさらに，GFM と呼ぶ各部相関特徴を2次までの高次で使用し，さらに赤穂らの方分特徴点から各特徴点の幾何中心に対して構成された法を適用して，回転不変特徴を構成して画像特徴とした。

ベクトルの相対長と相対角度で表したモデルにしたがっその概要は以下のようになる．

いま画像を拍）（fは2次元座標（エラ封）を表す）として，て，最適な組合せを探索する方法で、目と口の両端，眉A7次自己相関関数7∧ は次式で表される．の内側端の検出を試みている．
本研究はこのアプローチと戦略的には類似しているが，「′〃（Tl，T2∋…．丁一Ⅴ）

モデル化したテンプレートではなく多数の実画像から切＝∑葎）∫（そ＋Tlト・イ（ま＋T〃）

り出した部分特徴テンプレートを学習サンプルとして使（1）用して画像のマッチングを汎用な特徴空間上で行ない，

これは変移Tlっ丁2ヲ…7T∧一のとり方により無数の可能性がパターン間距離が近いものを上位としたマッチング点のあるが，次数を2次（Ar＝2）までとし，範囲を3×3局所

上位複数候補の中から，顔構造を表現した幾何学的なに限定してシフトにより同じとなるパターンを除けば，パタ…ンの総数はFig．3のような25通りとなる．ところが，こ部分特徴抽出のためのの画像∫（そ）はカラー画像であることから未知の画像

Jけ）＝（r酢g（そ）。む（ま））rと表される．ただしr（ま）g（壬）わ（≠）は画素まにおける赤，学習サンプル「緑，青色成分である．したがって（1）式の積をすべての組合わせによる色成分の積に置き換えれば0次の場合を除いて全部で576通りの式が得られる．したがって576次元の特徴が抽出できる．このような関数は以下のように表せ，G∋d17α2の取り方をFig．3のようにすれば良い

次に赤穂ら刑の方法によれば，この高次局所自己相関特徴の打／4［司転同値類の和の比は近似的に回転不変となることから，赤，緑，音の組み合わせが同じで，かつ回転同値となるパターンの特徴値の和をとればよい．
これにより最終的に90次元の特徴が得られる．例として／／〆′￣■＼ 、＼その〉肌山部を以下に示す，

廟構造ルセ（rl、rア（Ho・2）十ふ −トrlコ717イドo・5）‡rl†アーr（Ho・1）‡r2．タらγ（No・6）⊥‥ケ＋r2．か（ド0・9））

巨＝＝㍉午斗r2．gむ㌣（No・1）（r2．むrガ（No・川）ト・・＋r2かタ（No・17））

Fig．2システム概要

r2，わγタ（Ho・りモデルに基づく適合度／レールにマッチするような組合わ

ただし添字の的′7−。わ7マタなどは色成分の組合せをr（No・6）せを探索する方式をとっている。システムの概要をぎig．2

じ7〕表現はぎig。3中No．6に対応した局所自己相関特徴¶∨〈ル 91平成9年度 研究報告 大分県産業科学技術センタ皿える方法として遺伝的アルゴリズム（GA）がある．

を表す．

・∴・0次 1次 2次生物はその遺伝機構によって進化と環境への適応を

注）牢「は don，tcareである可能にし，集団としての頑健性を保っている．GAはコン0︵U′﹂U

O

ピュータで問題を解くとき，この生物が進化する過程をま＼ねて解自体を進化させ，解を正解に近づけていく方法で，N

確率的探索法の一種である．GAの特徴は，一つの処
ド0．3

㍉07

Yo．11

理系（個体）ではなく集団を対象として並列処理を行うこ「㌻コ可 可工可 Ⅱ三下

No．5．ミ、＿∴i＿」と，処理系群の生成・消滅のダイナミックスとして個体のNo g Yo．三2

複製，遺伝子組み替え（交差）∴突然変異などの確率的No．ウドo，13要因を持たせること，評価関数の微分値でなく関数値の冊卜 牒 ＊ ＊No．17 No．21 No．25

みを用いることなどが挙げられる．複製は個体の適応の度合いに比例した確率で次世代の個体を生成させる規Fig．3変移の取り方のパターン則で，適合度の高い個体の割合を増加させる。交差は2．2 パターンマッチング

一対の個体がその遺伝子構造の一部を交換するもので，ここでは画像間距離を画像空間上ではなく，特徴空部分構造を保持しながら新しい組合わせを作り出すこと間上で定義することにより，柔軟なパターンマッチングをができる。突然変異は遺伝子構造の一部をランダムに置実現する．特徴空間は判別分析に基づいて構成し，判き換えるもので，全く新しい性質の個体を発生させる．

別空間上での幾何学距離を画像間の一致度とする．つ遺伝子の構造としては，各部分特徴毎に8bitを与えて画像間距離の順位を書き込み，それをすべての部分まり距離が近いほど画像が良く一致（類似）している．

特徴について連結したものとした．これにより各部分特徴毎に，距離の近い方から上位256位真でを探索できる。

2．3顔構造モデル
顔画像に着目すると，日，鼻，ロなどの顔を構成する部品は一定の位置関係を保っている。これは人物や表Aヱ）×βC

Cl＝情が変わっても大きく変わることはない．したがってこれらの位置関係を顔構造のルールとして用いることができれ

但ガ茸q▲4上）×gダ

C2 ＝ト4か笹下ば，前節のアルゴリズムで得られる画像間距離の近い方

βC x且ダC3 ＝から複数点を部分特徴の候補とし，このルールに基づい≦βC某省てその中から最適なものを選び出すことができる．

ガC x月7

C4 ＝

本研究では以下のような簡単なルールを用いた。

但qガJ

ガ＝（A，β，C，β）ノ4T（a）左右の目尻を結んだ直線と左右の目頭を結んだ直J＝（且，F）′′′ノ2線とはほぼ重なり，かつ，口の両端を結んだ直線が線上にある．

∂1＝ト4β喜一；C∂1（c）左右の目の横幅がほぼ同じである．

C7 ＝（d）目尻同士，目頭同士を結んだ直線がほぼ一致す

11＋（語）2㍑ E ユ F二：．

∂2＝▲4か巨′2−βCし2Fig。4顔構造モデルと適合蜜評価関数2。4遺伝的アルゴリズムによる組合わせ探索

複数候補の中から，あるルール基準で最適なものをまた，順位と画像上での座標との対応はテーブルで準選びだす過程は，候補数や選定対象の種類が少ない備しておく．

場合には全組合せによる逐次探索などの単純な方法を適合度評価関数は以下のようにした。

使っても簡単に行えるが，候補数や対象数が多くなると

ダ葎＝rl＋［C 2：T仁イ3＋［C4］十［Cア5：＋［C6］＋［C7］ここで仁1…r7はFig。4のとおりである．

いわゆる組み合わせ爆発となり，実用的な時間で行うことは難しい．このような問題に準最適解を手っ取り早く与wm 92＼−−−−1．一−11十（籍）2■′▲ 雇×↓酎C■1ト↓β↓＋ ＋↓′⁚ilノ1−しC6l⊥

んだ線分の中点，口の中心，鼻の中心がほぼ1直−引V−C（b）左右の目尻を結んだ線分の中点，左右の目頭を結ニ■O

それとほぼ平行である．

2

平成9年度 研究報告 大分県産業科学技繍センタ仙3】実験と結果
実験は，ビデオカメラで輯影した動画像から，フレーム毎に取出したデジタルカラー画像をファイルとして蓄え，それを用いて行った．入力画像の解像度はすべて150×150画素である．

3．1パターンマッチング

本手法の有効性を確かめるため、回転を含むたくさん（a）マッチング1位 （b）GAによる最適探索のテンプレートを準備したマルチテンプレートによるテン

Fig．5部分特徴抽出結果の例

プレートマッチング法および宗らのPFTと比較した．

結果はノ〈ターンマッチングの結果の上位複数候補

4．まとめと考察
顔画像を用いてパターン認識を行う場合，髪型や着の中から最適な組合わせを選択することを考慮して，100位，200位，256位までの候補の中に正しい特徴ている服の襟の形などが認識結果に影響を与える。そこ点が含まれるかどうかを調べ，累積検出率で表した．

で，顔の中でも通常は隠れたりすることの少ない目，鼻，テンプレート画像としては，本手法では10名各10枚口の一部を部分特徴として検出し，これらをすべて含んずつの入力画像から部分特徴に相当する部分画像をだ矩形領域を顔領域とすることで，顔領域の検出（切出）切出し学習サンプルとした．マルチテンプレートマッチンを行った．

グでは10名各1枚ずつの画像から切り出した部分画

真た，部分特徴の抽出には画像空間上で行ういわゆ像を−300から300まで50ずつ回転させたものを使用した．

るテンプレートマッチングを行うのではなく，カラー画像に切出しは人手により行った，結果をTab．1に示す。

拡張した高次局所自己相関特徴を基に構成した回転不変量を画像特徴として，判別分析により（判別）特徴空間を構成し，その特徴空間上でパターンマッチングを行

Tab．1部分特徴抽出（累積検出率）

う方法を用いた．
また，パターンマッチングだけで検出しようとすると寸本手法 99．7 95 100 98 100 98
相関 ，96・8 75．9 98．1 85．2 98．6 86．9
PFT

82．3

41．3

93．3

57．7

9説7

分な性能とはならないが，得られた複数候補の中から（GAを用いて）顔の構造モデルにしたがって良さそうな6∠皇組合わせを探索する手法も検討した。

＊平常とは正立で表情変化の少ない顔画像で，＋変化とは傾パターンマッチングについて，本手法と，回転を含むいたり笑っているなど表情に変化のある顔をいう。

多数のテンプレートを準備したいわゆるマルチテンプレ
3．2GAを用いた組合せ探索ートによるテンプレートマッチング，およびPFTとの部分

前節の実験では同一の顔画像に対してすべての部分特徴の検出率を比較実験を行い，本手法の優位性を確特徴が同時に検出されているかどうかは考慮していなかめた．

ここで使用した部分特徴は，目を伏せたり，見開いたいGÅを使って構造ルールを適用した場合は同時検出り，閉じたり，あるいは口をバクバクさせたり，といった具合が前提となるので，Tab．1と比較して見劣りする結果とな

いに，比較的変化が激しいため，相関係数などの方法るが。実験結果はTab．2 のようになり，かなりよく抽出さによるテンプレートマッチングでは，傾き．向き，表情のあれている．

らゆる変化を含む多数のテンプレートを準備する必要が

Tab．2GAを用いた最適探索

あり，一般には検出が難しいが，本手法では特徴空間での距離尺度に顔情造のルールを併用して，GÅによる最適組合せの探索を行い，顔の向きや傾き，表情などの変化した顔にも柔軟に対処できる〜

去た、この手法は部分特徴の学習サンプルを認識しよ

上記の例でパターンマッチングだけで検出する場合と，GAにより下位候補の中から正しい部分特徴が抽出されうとする本人の顔画像から毎回抽出する必要はなく7あた結果をFig．5に示す，らかじめ準備可能な数人の顔画像からとっておくだけで良い，蓋た傾きの変化に対しては回転不変特徴を使用しているため正立♂つサンプルだけを準備すれば良い、なこ十平成9年度 研究報告 大分県産業科学技術センタ】
囲大津： 適応学習型高速画像計測認識システム， 映どシステムの構成が簡単化できるという特徴がある◆

像情報∴Vol．21，No．5，pp。41−46（1989）．

部分特徴の抽出や顔領域の検出は特に向きや表情に大きな変化のある画像に対してまだ十分な性能が得ら［5j栗軋大津： 高次局所自己相関特徴に基づく適応れているとは言えないが，表情の変化に伴う顔部品の変的画像計測， 第 4回産業における画像センシング技

形度合いを，たとえば丸く見開いた目，細く閉じた目など術シンポジュウム講演論文集（1989）．

といった具合いに系統的に整理していくつかに類別でき［6］大津，栗田： パターン認識・一理論と応用…， 朝倉書れば，それを部分特徴のテンプレートとして学習させるこ店（1996）．となどにより，さらに改善可能と思われる．このように学習［7］T．Kurita，N．Ots㍑，T．Sato： A飽ce recogn主tion

用テンプレートの選び方が結果に大きく影響すると考え

method using宣iigbeご0ごdeごiocala㍑tOCOrrelation

られるため，今後その辺の研究を行うとともに，もう少し実and mtlltivariate analysis， pごOC．OfllthIAPR

験量を増やしてみる必要があると考えている．

‡ntl。Conf・On PatteTn Recognition，Vol．II，PP．
213−216（1992）［8］栗臥加藤，福田，坂倉： 印象語による絵画デ…夕文 献m宗，徐，李，辻： 部分特徴テンプレートとグローバル

べ−スの検索， 情処論

制約による顔器官特徴の抽出， 信学論（D−ⅠⅠ），J77−1383（1992）．

，Vol．3，No．11，pp。1373−

D−ⅠⅠ，8，pp．1601−1609（1994・08）．

閻赤穂，佐藤，関臥梅山，大津： 高次自己相関関数

関大津，島軋森： N次自己相関マスクによる図形のを用いた図形の位置・大小および回転不変な特徴量の特徴抽出， 1言草技報，PRL78−31（1978）．

構成， 電子情報通信学会春季全国大会（1991）．

閏大津： パターン認識における特徴抽出に関する数理［10］佐藤，三浦，福軋大城，遠藤： 部分特徴を用いた的研究， 電総研研究報告，818（198往

顔領域検出と顔画像の認識， 信学技報，PRMU97・70，pp。103−110（1997・07）．

Ⅵ冊 94