計測自動制御学会東北支部第179回研究集会（1粥胤1ユ．14）
資料番号179−7

画像からの複傲の情報の統合によす顔の頻出
FaceDetectionhyIntegrationofMultiI）1eCuesfromImages
O徐明、赤塚孝雄
O MingXU，Takao Akatsuka
山形大学工学部電子情報工学科

Yamagata University，Information Science andElectricalEngineering Department
キーワード：顔検出（facedetection），複数情報の統合（integrationof tnultiple cues），
色・運動・幾何・顔特徴（color／motion／geometry／facialfeature〕

連絡先：〒992呂510 山形県米沢市城南4−3叫16山形大学工学部電子情報工学科赤塚研究室

徐明、Tel：（0238）26−3323，Fax：（023郎26−20日2，Email：ⅩLu）＠eat72．yz．ya皿agata−u．aC．jp

で、情報の統合による顔の検出について議論

1．はじめにする。

画像から人間の顔を自動的に検出すること2．色情報の利用

は顔認識、データベース検索、Very］owbil−rat巳
videocodi叩、ヒューマンコンピュータインタ

ユ．1色モデルの構築

ラクションなど多数の応用分野において重要な課題である。画像から顔を検出するために、顔のパターンを統計モデルで表現し、パター色情報は画像から顔と他の物体を区別するための重要な辛がかりである。色による検出

ン認識の問題として取り上げる方法が多用さ手法は諷の姿勢によらず、高速な処理が可能である。頗の色分布が使用する色空間に係っれている。しかL、人間の顔は変動の多いパターンである。例えば、顔の表情、特徴、色 ているので、色空間の選択は色セグメンテーは人によって異なる。顔の化粧、眼儲、ひげションの効果に影響してくる。RGB色空間はなどが魔の様子を変える。頭の姿勢ヤ環境のデジタル画像の表現に通Lているので、RGI箋

照明状況も見た顔の様子を変えてしまう。人がいる環境や背景が複雑である場合、顔を検色空間を利用することにLた。顔の色は様々に見えるが、その違いは主に照明強度による出することは更に難Lくなる。

ので、正規化処理によって取り除くことがで画像から頗に関わる情報をより多く抽山し、きる。

複数の情報を統合することは腐パターンの多G様性多変性に対処するための有効な方法と考尺十G＋眉 U 尺十G十β

月尺＋G十月えられる。揖々は顔の色と幾何情報を取り込r＋g十わ＝lであるから、正規化きれたRGB

んだマルチモジュールの手法を試みた【1】が、色空間は（r、g〕空間で表わすことができる。

ここでは、頗と宴の色、頭の運動、頗の幾何性質、頗の特徴（瞳孔）に着日する。画像か顔画像を〔r、g〕に変換し、二次元の色分布ヒらこれらの情報を抽出する方法を議論Lた上として多数の異なる頗で実験した結果、顔色ー1−ストグラムを計算する。対象を東南アジア人

の分布が（r、g）空間の狭い領域に集中し、ガウシアンのような分布があることが分かった。

か転．γ，−r）2十（富山，−g）ユ（5）Jしい．）

従って、顔色の分布を二次元ガウシアンモデル（叫三F）で表示する。

VmJ＝（r，g）′仙＝255＊（1−㈲〟血）（6．I（2）

批ーは距離値月毎γ）

ロ）

−
1
r＝−
〃＝∫＝［：ニニ：：］

同様に、葉色モデルに基づいて入力画像を変〃換する。

∑1I盲；gf（4）

J＝】v佃＝ユ55＊亡酢（1一語）〔7）

ここで、r、gは色分布のrとgの平均値、d（∫，カ＝lJ（∬，カー椚∫l∑．はrとgの分散値である。
頻画像の集合から、ペイントツールによって顔の領域を切出す。式（2ト（4）によって顔色の分布モデルを計算Lた。結果をFi即rel

棚＝に示している。

‡可三恒，芸訟：≡：二（呂）（9）軋，γ，は葉色モデルとの距敵で、屯，髪の照明「

0．00・25 0．5 0．751．0

強度モデルとの距離で、中ま宴の照明モデ
ルの分散値である

Figurel．顔色の分布モデル

Figure2．色変換の例：（左卜入力画像、（中）顔色変換画像、（右）葉色変換画像

人間の撃と頗の位置関係は、顔の位置を決めるための有用な手がかりである。髪を検出するため、菓の色分布モデルを構築する。アジ3．連動情報の利用

ア系の人の繋は殆ど黒いので、画像で髪の輝3．1運動情報の抽出度値が低いため、色の反映が不安定になるこ

人間の動き情報は回りの静止物体と区別すとがある。そのため、髪の色モデルには、色る有力な辛がかりである。人力が時系列画像の場合、連動情報が顔の検出に利用すること以外に、照明強度も要素として入れた。RGB空間を正規化する前に、強度Ⅰ＝（R＋G＋B）／3の平均値と分散値を計算しておく。

が出来る。式（10）に示すように、連続画像の差分によって画像にある運動物体を検出することが出来る。

ユ．ユ 色変換〟（ユ，）1り＝T（け（∫，γ，り一丁（ズ，γ，f−1）l，L）（10）

人力カラー画像は、式（5）、（句に示しているように、各々の正規化された画素が顔色モデルに基づいて、算出する顔色との相違鹿によって濃淡画像に変換する。

肘（J，γ，g）は差分画像の絶対値を間借Lで二倍化処理した結果であり、値がゼロでない画−2−

素は運動画素と見なす。

4．幾何情報の利用

顔色モデルと葉色モデルに基づいて変換した二つの画像の各画素に村Lて、運動情報に4．1顔の形状情報よる重みを付ける。変換画像の画素（X、y）に形状情報は顔を判定する要素の一つである。

対して、運動画像の（X、y）画素と隣接の八画素を調べる。この九画素の中に運動画素があエッジ検出Lて楕円を当てはめる方法やモーれば、変換画像の画素（Ⅹ、y）に重み仙を付けヤすいので、安定的な形状判定法にはならない。ここでは、S⊥とsユという二つのパラメーメント分析などは魔の姿勢や頗型に影響される。

・刷≠0（1りⅣ（癖タを定義L、クラスタの形状を記述する。ク
ラスタの外接四方形を求める（Fi糾r84（a））。

‡

その両辺長がWと〃であり、クラスタの面積をAとすれば、

Ⅴ恒）＝Ⅴ佃＊（1＋Ⅳ（∬，州（12）Sl＝A／（W＊ガ），Sユ＝叫Ⅳ，（15）〔16）頗を楕円で近似する時、楕円の辺長はaとbとなる0顔が正面・垂直の姿勢をとる時、Slは最大値巧ムになるロ顔はこの姿勢を離れると、Slの値が減少する。5ヱは脚a，叫】の聞の値である0姿勢や髪型の変動を考慮し、昔≦2aという比を設定Lた。従って、クラスの形状パラ（c〕

Figure3．運動画素の抽出

メータslと占2は以下の数値であれば、頗候補と（a）と（b）は二つの連続画像、（C）は運動画像判断することにした。

3．ユ 顔画素の抽出
連動情報からの重みを付けた顔色変換画像に対して、闘値処理によって戯画薫を抽出する。
尺＝可呂＜s．≦1（17）0■5＜S2＜2（柑）2

2 Jrr相月g（13）

Rは顔色の分布半径であり、式（6）に代人して聞値乃化！九を算出する。

4．ユ 顔と車の憧憬朋傭
頗と贅の空間関係はクラスタが顔であるかない中を決めるもう一つの辛がかりである。Fig此4（b〕に示している様に、クラスタの外接四方形

乃「ビ止＝ユ55＊（1−）（14）

をA丑CDとL、A丑CDと重なる四方形EMm肝に着目する。もしこのクラスタが顔領域であれば、運動体は頭が主であると仮定できれば、運動

四方形EM蘭に髪画素要素が多くある。ここで量み恥−を付けたm柁∫わ＊（1＋WmJ

は、葉色変換した画像を聞値処理せず、その値を直接利用する。四方形EMNF中のクラスタ以を新たな間借にする。

聞値処理の結果を更に5＊5又はT＊7のモル外の画素の値を集計L、平均値を計算する。計フォルジの開放演算を行い、蘭画素をつなが算した結果をサンプル画像集合から得られた数ったクラスタにする。

値と比較し、既知の値の範囲内であれば、四方†ヨ＿形E朋肺肝は要領域と判断し、四方形ABCDの中．複数情報町統合のクラスタは顔候補とする。

色二道臥幾何特性、顔特徴など各々の情報で顔を確定することができるが、安定性と唯一一性が保証できない。従って、これら複数の情報を兢合することで真の顔領域を信頼性良く絞り出すことができると考えられる。
丁子l叩山rm叩8l十−−J ‥1（b）

Figure4．幾何情報の説明図：（a）顔形状パラメータ（b）顔と繋の空間関係

5．顔特徴による検証
頗の特徴、例えば、目、鼻、口などは人間の頗を確定するには有力な辛がかりである。
検出された顔候補クラスタ領域から顔特徴を検出することができれば、検出結果の確信度が一層高まる。瞳孔は照明や表情などに影響されにくいので、より安定的に抽出できる。

顔領域において、瞳孔が最も低い画素値を持つ。この性質を利用L、開催処理によって瞳孔を抽出することが出来る。
まず、候補クラスタの領域で、人力画像を対象にモルフォルジの膨張処理を行い、低い輝度値から反復閥値処理を行う。クラスタの形状にあう一定の範囲で、二つの小さい領域

D811】￠t郎＝㌔い摘を検出できれば、その中心を瞳孔の位置と見なす。一定の反復処理の後でも、瞳孔を抽出

Figure6．複数情報の統合の流れすることが出来なければ、このタラ．スタは顔でないとか、顔瞳孔が見えない位置であるとFigure＿6は複数の情報を統合する一例を示しか、という結論を出すことが出来る。ている。各情報が各々のモジュールに組込まれ、スイッチによって多種の統合方式が選択できる。顔色と顔形状情報はすペてのカラー画像に適応するため、基本モジュールとして使われる。各情報の使用可能かどうかの状況によって、Table3．1の五つの統合倒が考えら（a）

（b）

れる。
また、各情報を選択的に組み合わせることによって、どの情報が、どんな画像に対Lて、（c）

FiguT亡5．反復闘値処理による瞳孔の検出（a）Di】atedirLPutimage（b）resultwhenT＝25（c〕
resu）twhenT＝26．Tは開催である。
−ヰー

顔検出に一番役に立つかをLらべる辛が出来る。

報を用いる場合よりも安定的かつ信頼性の高恥bl巳1：情報の統合例

Prolotype
ACu亡Sinuse
Facecolor，Sh叫妃

B

DA＋hair
A＋mOlion
B＋mOtionE

D＋facefeatureverjfica（ionC

い検出結果ができる。
特例の場合、情報の統合をどうするか、、照明状況が赦しく変動する場合に、カラーモデルの自動更新はどうするか等々、今後の問題も少なくない。

顔は非常に多様であるから、提案Lた四つの特散情報でもカバーしきれないことがある。

参考文献

例えば、顔色について東南アジアの人を対象に限定していても、贅がないとか、カラーリ

1〕M．XUandT．Akatsuka：

Multi−ModuleMe［hodfor Detection of Human Face丘om Complex

ンダによる多種多様な葉色とか、というようBackgroundな例にも対応できない。また、頭が動かず、T，SPIEProceedinBOfConftrenc仁On

Applications ofl〕igi（alImage ProcessLng，Ⅵ）l．

手だけ動くという場合、連動画素の利用も問

3460，pp・T粥制札1耶吼

題がある。従って、複数情報の統合による顔ユ）Kah−Ⅹay Sung 且nd Tbmaso Poggio，二の検出法は一般的な状況において有効な手法

Example−Based Learnmg foT View−Basedであるが、以上のような例外の場合、統合のHumanFace D伽乱：lion効果が落ちることがある。

，JEEg升α椚d仁山耶8れ且甜emA帽叫∫由α托d〟瓜仁山爪e山鹿措g帥仁g，Ⅵ正ヒューマンコンピュータインタラクション

20−No・1，pP・39−51，J且nua町1粥胤などの応用において、顔色情報と運動情報が3）J．YhnB and A．VhLilbel，

最も基本的な役割を果たしている。例外的で

廿誠k巳r

ないような場合、髪の情報が有力な決め手でLA Real−Time Face，Pmrビどd加即げI榊CV■p氏 Sarasota，Florid且，USA，1996．

ある。瞳孔という顔の特徴は正面に近い顔に

4）HaiyuanWu，QianChen且ndMasahikoYachida，

対して特に有効である。

Face Detection斤om ColorImages by Fu三三y
Pattern M且tChing 1．7hzrlSaCtioltS qf〃汀CEⅥ）l．

J80−D−ⅠINo．7pp，1774−1785，Julyl錮7．

Figure7．裸検出の結果例
乳 酪わりに
本文は画像から複数の情報の検出と統合による顔の検出法について検討した。単一の情

一5−