(57)【要約】【課題】  どのようなタイプの顔画像が入力されても、入力された顔画像が隠れているか否かを正確かつ迅速に判断できる顔検出システム及び方法、並びに顔画像認証方法を提供する。【解決手段】  主成分分析を用いて入力された顔画像から固有ベクトル及び重みが抽出され、前記抽出された使用者の固有ベクトル及び重みが、隠れ判断アルゴリズムに代入される。それによって、顔画像が隠れているか否かが判断される。【選択図】      図２
2004158013.tif 000002
【特許請求の範囲】
【請求項１】
複数のトレーニング画像から抽出された固有ベクトル及び重みを格納するメモリ部と、
入力された顔画像から各顔構成要素の固有ベクトル及び重みを抽出する顔画像認識部と、
前記メモリ部に格納されたトレーニング画像の固有ベクトル及び重みを用いて前記顔画像が隠れているか否かを判断するアルゴリズムを導出し、前記顔画像認識部で抽出された前記入力された画像の固有ベクトル及び重みを前記導出されたアルゴリズムに代入することによって、前記入力された顔画像が隠れているか否かを判断する顔画像判断部と、
を備えることを特徴とする顔検出システム。
【請求項２】
前記トレーニング画像の固有ベクトル及び重みは、正常な顔画像クラスと隠れた顔画像クラスとに分類されて、前記メモリ部に格納されていることを特徴とする請求項１に記載の顔検出システム。
【請求項３】
前記顔画像認識部は、前記トレーニング画像から各顔構成要素の固有ベクトル及び重みを抽出することを特徴とする請求項１に記載の顔検出システム。
【請求項４】
前記顔画像認識部は、
入力されたカラー画像を白黒画像に変換する白黒化部と、
前記変換された白黒画像から顔領域を検出する顔画像検出部と、
前記検出された顔領域を正規化する顔画像正規化部と、
前記正規化された顔領域を上位領域と下位領域とに分割する顔画像分割部と、
前記分割された顔領域ごとに主成分分析を用いて、各顔構成要素の固有ベクトル及び重みを抽出する固有ベクトル／重み抽出部と、
を備えることを特徴とする請求項１に記載の顔検出システム。
【請求項５】
前記顔画像分割部は、全体顔領域を、目を中心とする上位領域と、鼻及び口を中心とする下位領域とに分割することを特徴とする請求項４に記載の顔検出システム。
【請求項６】
前記固有ベクトル／重み抽出部は、前記顔画像分割部で既に設定された前記上位領域及び前記下位領域から固有ベクトル及び重みを抽出することを特徴とする請求項４に記載の顔検出システム。
【請求項７】
前記顔画像判断部は、正常な顔画像クラス値と、隠れた顔画像クラス値とを互いに異なる値に設定し、前記トレーニング画像の前記設定された各クラス値、固有ベクトル及び重みを用いて前記アルゴリズムを導出することを特徴とする請求項２に記載の顔検出システム。
【請求項８】
前記アルゴリズムは、下記式として表されることを特徴とする請求項１に記載の顔検出システム。
【数１】
2004158013.tif 000016
（ただし、ｙi，λi，ｂは、トレーニング画像から得られた因子であり、Ｋ（ｘ，ｘi）は、入力された顔画像から抽出された固有ベクトル及び重みである。）
【請求項９】
前記顔画像判断部は、使用者の顔画像の固有ベクトル及び重みを前記アルゴリズムに代入して得られた結果値が１の場合、入力された顔画像が正常であると判断し、結果値が−１の場合、入力された顔画像が隠れていると判断することを特徴とする請求項８に記載の顔検出システム。
【請求項１０】
前記顔画像判断部は、前記上位領域及び前記下位領域において前記顔画像が隠れているか否かを同時に判断することを特徴とする請求項５に記載の顔検出システム。
【請求項１１】
入力された顔画像から各顔構成要素の固有ベクトル及び重みを抽出するステップと、
前記抽出された固有ベクトル及び重みを、複数のトレーニング画像から得られた隠れ判断アルゴリズムに代入することによって、前記顔画像が隠れているか否かを判断するステップと、
を含むことを特徴とする顔検出方法。
【請求項１２】
前記入力された顔画像から各顔構成要素の固有ベクトル及び重みを抽出するステップは、
入力された顔画像を白黒画像に変換するステップと、
前記変換された白黒画像から顔領域を検出するステップと、
前記検出された顔領域を正規化するステップと、
前記正規化された顔領域を上位領域と下位領域とに分割するステップと、
前記分割された顔領域ごとに主成分分析を用いて、各顔構成要素の固有ベクトル及び重みを抽出するステップと、
を含むことを特徴とする請求項１１に記載の顔検出方法。
【請求項１３】
前記隠れ判断アルゴリズムを得るステップとして、
正常な顔画像及び隠された顔画像が含まれ、正常な顔画像クラス値と、隠れた顔画像クラス値とが互いに異なる値に設定されたトレーニング画像から、各顔構成要素の固有ベクトル及び重みを抽出するステップと、
前記抽出されたトレーニング画像の各クラス値、固有ベクトル及び重みを用いて前記隠れ判断アルゴリズムを導出するステップと、
を含むことを特徴とする請求項１１に記載の顔検出方法。
【請求項１４】
前記トレーニング画像は、スケーリングシフトまたは回転変化が反映された顔画像であることを特徴とする請求項１３に記載の顔検出方法。
【請求項１５】
前記正規化された顔画像を上位領域と下位領域とに分割するステップでは、
全体顔領域が、目を中心とする上位領域と、鼻及び口を中心とする下位領域とに分割されることを特徴とする請求項１２に記載の顔検出方法。
【請求項１６】
前記分割された顔領域ごとに主成分分析を用いて、各顔構成要素の固有ベクトル及び重みを抽出するステップでは、
既に設定された前記上位領域及び前記下位領域から固有ベクトル及び重みを抽出することを特徴とする請求項１２に記載の顔検出方法。
【請求項１７】
前記隠れ判断アルゴリズムは、下記式として表されることを特徴とする請求項１１に記載の顔検出方法。
【数２】
2004158013.tif 000017
（ただし、ｙi，λi，ｂは、トレーニング画像から得られた因子であり、Ｋ（ｘ，ｘi）は、入力された顔画像から抽出された固有ベクトル及び重みである。）
【請求項１８】
前記顔画像が隠れているか否かを判断するステップは、
固有ベクトル及び重みを、前記隠れ判断アルゴリズムに代入することによって得られた結果値が１の場合、入力された顔画像が正常であると判断し、結果値が−１の場合、入力された顔画像が隠れていると判断するステップを含むことを特徴とする請求項１７に記載の顔検出方法。
【請求項１９】
前記顔画像が隠れているか否かを判断するステップでは、
前記上位領域及び前記下位領域において前記顔画像が隠れているか否かを同時に判断することを特徴とする請求項１５に記載の顔検出方法。
【請求項２０】
正常な顔画像及び隠れた顔画像が含まれ、正常な顔画像のクラス値と、隠れた顔画像のクラス値とが互いに異なる値に設定されたトレーニング画像から、各顔構成要素の固有ベクトル及び重みを抽出するステップと、
前記抽出されたトレーニング画像の各クラス値、固有ベクトル及び重みを用いて隠れ判断アルゴリズムを導出するステップと、
入力された顔画像から各顔構成要素の固有ベクトル及び重みを抽出するステップと、
前記抽出された顔画像の固有ベクトル及び重みを、前記導出された隠れ判断アルゴリズムに代入して顔画像が隠れているか否かを判断するステップと、
前記入力された顔画像が隠れていると判断されると、警告メッセージを伝送し、入力された顔画像が隠れているか否かを再度判断するステップと、
前記入力された顔画像が隠れていると３回以上判断されると、認証を拒否するステップと、
を含むことを特徴とする顔画像認証方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔検出システム及び方法、並びに顔画像認証方法に関し、より詳しくは、隠れ判断アルゴリズムを利用して、入力された顔画像が隠れているか否かを正確かつ迅速に判断できる顔検出システム及び方法、並びに顔画像認証方法に関する。
【背景技術】
【０００２】
情報化社会の発展に伴い、現金自動預払機（ＡＴＭ；Automatic Teller Machine）が急速に普及している。他人のクレジットカードや暗証番号を用いて、お金が不正に引き出される金融犯罪が急増している。このような金融犯罪を抑止するため、ＣＣＴＶ（監視カメラ）が無人自動化機器にインストールされ、犯人を識別している。しかし犯人は、自分の顔がＣＣＴＶに撮影されないようにサングラスや帽子を着用して犯罪を起こすことが多く、このような場合には犯人の顔を識別することは困難である。
【０００３】
そこで特許文献１（使用者識別システム及びこれを用いた現金自動預払機）には、使用者の顔画像を得て、皮膚色の領域のみをフィルタリングして顔領域を得て、得られた領域から目の位置を抽出し、目の位置を基準にして口や鼻の範囲を設定し、認証可能な特徴点が存在するかを確認することによって、使用者の顔を認識する使用者識別システム（user identification system）が開示されている。しかし、目の位置が抽出され、それから抽出された目の位置を基準にして口や鼻の位置が抽出されている。そのため目の位置が抽出されない場合には、鼻や口を抽出することは困難である。しかも使用者の画像データがチェックされるわけではなく、使用者を識別するために、単に顔の構成要素（例えば目、鼻、口など）の存在がチェックされるだけである。このように、使用者の顔検出が正確に行われないという問題点があった。
【０００４】
また特許文献２（銀行取引システムの取引者の顔認識方法）には、チェーントラッキング（chain tracking）を用いて、入力された使用者画像と合致する顔候補個体（facial candidate entities）を決定するステップと、複数の輪郭点を抽出してこれら輪郭点の輝度値を比較し、使用者の目や口に該当する図形を探し出すステップと、顔認知指数（recognition index for the face）を計算するステップと、一つの顔候補個体のみを抽出するステップと、抽出された顔候補個体の顔認知指数と参考の顔認知指数とを比較するステップとを含み、使用者の顔を認識する顔認識方法が開示されている。しかし目や口の存在は、目や口の輪郭点が抽出されたか否かによって判断されている。そのため使用者が着けたサングラスが形や大きさの点で使用者の目に似ている場合には、サングラスを目と誤認する可能性があるという問題点があった。
【０００５】
さらに従来の顔検出技術はカラー画像を使用しているため、照明の影響で使用者の鼻や口の特徴点を検出することが困難であった。そのため、正当な使用者が不正使用者として認識されるおそれがあるという問題点があった。
【特許文献１】韓国特許第０３０６３５５号明細書
【特許文献２】韓国特許第０２９３８９７号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、前記問題点を解決すべく創案されたものであり、異なる条件下で様々な顔画像が入力されても、入力された顔画像が隠れているか否かを正確かつ迅速に判断することができる顔検出システム及び方法、並びに顔画像認証方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的を達成するため、本発明は、主成分分析（PCA;Principal Component Analysis）を用い、入力された使用者の顔画像から固有ベクトル及び重みを抽出し、ＳＶＭ（Support Vector machine）を画像が隠れているか否かを判断するアルゴリズムに代入することによって、顔画像が隠れているか否かを判断することができる使用者の顔画像検出システム及び方法、並びに顔画像認証方法を提供する。
【発明の効果】
【０００８】
かかる構成の本発明によると、様々な顔画像が入力されても、隠れ判断アルゴリズムを利用して、入力された使用者の顔画像が隠れているか否かを正確かつ迅速に判断することができるという効果がある。
【０００９】
また顔画像が上位領域と下位領域に分割され、顔構成要素それぞれの探索領域を制限しているので、顔構成要素それぞれの固有ベクトル及び重みを抽出するのに必要な処理時間が短縮され、画像における髪、背景等ノイズ成分が減り、関連領域それぞれにおいて目、鼻及び口の固有ベクトル及び重みが同時に抽出可能であるという効果がある。
【００１０】
また、白黒画像を利用することにより、背景や照明による影響が低減され、これにより、固有ベクトルの抽出時における誤認識の発生が低減可能であるという効果がある。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施形態について、添付図面に基づいて詳しく説明する。
【００１２】
図１は、本発明に係る顔検出システムの概略ブロック図である。（使用者の）顔検出システムは、メモリ部１００と、顔画像認識部（facial image recognition unit）２００と、顔画像判断部（facial image decision unit）３００とを備えている。
【００１３】
メモリ部１００は、複数のトレーニング画像（training images）から抽出された固有ベクトル及び重み（weight）を格納しており、これらは正常な顔画像クラス（normal facial image class）と隠れた顔画像クラス（occluded facial image class）とに分類されている。正常な顔画像クラスは、照明の変化、表情（countenance）の変化、ヒゲ、スケーリングシフト（scaling shift）、回転（rotation）変化等が反映された正常な顔画像から固有ベクトル及び重みを抽出し、抽出された固有ベクトル及び重みを格納することによって得られている。そして隠れた顔画像クラスは、照明の変化、表情の変化、ヒゲ、スケーリングシフト（scaling shift）、回転変化等が反映された部分的に隠れた顔画像から固有ベクトル及び重みを抽出し、抽出された固有ベクトル及び重みを格納することによって得られている。すなわち正常な顔画像は、識別可能な顔画像のことであり、隠れた顔画像は、サングラス、マスク、マフラー等で顔が部分的に隠れているために識別不可能な顔画像のことである。ここで前記正常な顔画像クラス及び隠れた顔画像クラスは、使用者の顔画像が隠れているか否かを判断するための隠れ判断アルゴリズム（occluding-decision algorithm）を導出するために用いられる。正常な顔画像クラスは１の値を、隠れた顔画像クラスは−１の値を有している。顔画像が隠れているか否かを判断するアルゴリズムを導出する過程については、後ほど数式を用いて説明する。
【００１４】
顔画像認識部２００は、入力された顔画像から主成分分析（PCA;Principal Component Analysis）を用いて固有ベクトル及び重みを抽出し、ＳＶＭ（Support Vector Machine）を用いて正常な顔と隠れた顔とを分類する機能を有しており、白黒化部（monochrome part）２１０と、顔画像検出部（facial image detection part）２２０と、顔画像正規化部（facial image normalization part）２３０と、顔画像分割部（facial image division part）２４０と、ＳＶＭを用いた固有ベクトル／重み抽出部（eigenvector/weight extraction part）２５０とを備えている。
【００１５】
白黒化部２１０は、入力されたカラー画像（input color image）を白黒画像（monochrome image）に変換する。これは、ＲＧＢ(Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ)方式のカラー画像において、色相（color）成分と輝度（brightness）成分とが混在しているため、固有ベクトル抽出時に輝度変化によるエラーが生じることがあるためである。
【００１６】
顔画像検出部２２０は、入力された画像を、背景領域と顔領域とに分離する役割を有しており、ガボールフィルタ（Gabor filters）を用い、入力された画像から顔領域を検出する。ここでガボールフィルタを用いた顔領域の検出方法は、様々な方向性や周波数を有するガボールフィルタのセットをいくつか適用し、その反応値に応じて顔領域を検出することによって行われる。
【００１７】
顔画像正規化部２３０は、照明による画像輝度、カメラとの距離による顔画像のサイズ、顔画像の傾き等に対する補正を行い、顔領域を正規化する。
【００１８】
顔画像分割部２４０は、正規化された顔領域を、目を中心とする上位領域（higher region）と、鼻や口を中心とする下位領域（lower region）とに分割する。ここで、顔領域を上位領域と下位領域とに分割させる理由は、各顔構成要素の探索領域のサイズを制限することによって、各顔構成要素の固有ベクトルを迅速かつ正確に抽出するためである。探索領域が広すぎて各顔構成要素を抽出することができない場合には、固有ベクトルが誤った領域から抽出されるおそれがある。また、周辺領域（peripheral regions）が除去されるため、ノイズ成分が減少する。
【００１９】
固有ベクトル／重み抽出部２５０は、分割された顔領域ごとに主成分分析を用い、主要な顔構成要素である目、鼻及び口の固有ベクトル及び重みを抽出する。ここで固有ベクトルの抽出時に、目、鼻及び口が位置する顔領域が制限されていることから、目、鼻及び口の固有ベクトルが同時に抽出可能である。
【００２０】
以下、主成分分析を用いて固有ベクトル及び重みを抽出する際に用いられる数式について説明する。
【数３】
2004158013.tif 000003
【数４】
2004158013.tif 000004
【数５】
2004158013.tif 000005
【数６】
2004158013.tif 000006
【００２１】
式（１）のΓは、メモリ部１００の正常な顔画像クラスに格納されたサイズI×Jの顔画像を表し、式（２）のΓ´は、メモリ部１００の隠れた顔画像クラスに格納されたサイズI×Jの顔画像を表している。
【００２２】
式（３）は、平均顔画像を求める式であり、それぞれ正常な顔画像と隠れた顔画像の平均顔画像を示す。ここで、Ｎは正常な顔画像の総数、Ｍは隠れた顔画像の総数である。
【００２３】
まず、正常な顔画像に基づいて固有ベクトル及び重みを抽出する方法について説明する。
【００２４】
前記Γを式（３）のΨに適用して平均顔画像を求め、顔画像（Γ）から平均顔画像（Ψ）を引くことによってベクトルΦiが計算される。
【００２５】
すなわち、  Φi＝Γ−Ψ  である。
【００２６】
このようにして計算されたベクトルΦiを用いて、共分散行列（covariance matrix）が、下記式（５）及び式（６）に従い生成される。
【数７】
2004158013.tif 000007
【数８】
2004158013.tif 000008
【００２７】
固有値λi及び固有ベクトルｕiは、式（５）及び式（６）を用いて計算可能である。その場合には、まず固有値が等式  Ｃｘ＝λｘ  を用いて計算されてから、固有ベクトルが計算される。
【００２８】
続いて、下記式（７）にしたがい計算された固有ベクトルを用いて、重みが計算される。
【数９】
2004158013.tif 000009
【００２９】
式（７）を用いて、重み（ｗf）が計算される。
【００３０】
前記したように、正常な顔画像から固有ベクトル及び重みを抽出する方法のみを説明したが、これと同様の方法で、部分的に隠れた顔画像から固有ベクトル及び重みを抽出する方法が行われる。さらに固有ベクトル及び重みは、顔領域の上位領域及び下位領域のそれぞれから抽出される。
【００３１】
顔画像判断部３００は、メモリ部１００に格納されたトレーニング画像から得られた隠れ判断アルゴリズムを利用して、入力された顔画像が隠れているか否かを判断する。隠れ判断アルゴリズムは下記式（８）として表される。
【数１０】
2004158013.tif 000010
【００３２】
式（８）の隠れ判断アルゴリズムから求められた値が１である場合には、顔画像は正常なものであると判断される。一方、隠れ判断アルゴリズムの値が−１である場合には、顔画像は部分的に隠れたものと判断される。これは、メモリ部１００に格納された正常な顔画像及び隠れた顔画像が、それぞれクラス値１及び−１を持つように設定され、トレーニングを受けることによって構成されているためである。
【００３３】
前記式（８）において、ｙi，λi，ｂは、メモリ部１００に格納されている正常なトレーニング画像のクラス値（本発明では、１）、固有ベクトル及び重みと、部分的に隠されたトレーニング画像のクラス値（本発明では、−１）、固有ベクトル及び重みとを前記式（８）にそれぞれ代入することにより設定され、これらの値はメモリ部に格納されているトレーニング画像の更新により変化される。
【００３４】
多項式カーネル（polynomial kernel）Ｋは、次のように表される。
【数１１】
2004158013.tif 000011
【００３５】
ここでＫは、ｘとｘiとの内積（すなわち、ｘ・ｘi＝｜ｘ｜｜ｘi｜ｃｏｓ（θ））によって求められる。なお、ｘは重み、ｘiは固有ベクトル、ｄは定数である。
【００３６】
したがって、前記トレーニング画像の固有ベクトル及び重みを用いて求められたｙi，λi，ｂ値を適用し、顔画像から抽出された固有ベクトル及び重みをＫ（ｘ，ｘi）に適用することによって、隠れているか否かを判断しようとする顔画像のクラス値ｆ（ｘ）が得られる。
【００３７】
以下、隠れ判断アルゴリズムのｙi，λi，ｂを計算する過程を例示によって説明する。
【００３８】
例えば、メモリ部１００に正常な顔画像が５枚、部分的に隠れた顔画像が８枚格納されている場合、前記式（８）の隠れ判断アルゴリズムの因子（ｙi，λi，ｂ）を導き出す方法は、次のようになる。
【数１２】
2004158013.tif 000012
【数１３】
2004158013.tif 000013
【００３９】
前記したように、正常な顔画像及び部分的に隠れた顔画像に対応して、クラス値ｆ（ｘ）が１及び−１にそれぞれ設定され、各顔画像の固有ベクトル及び重みがＫ（ｘ，ｘi）に適用され、前記式を満たすｙi，λi，ｂを計算する。
【００４０】
つまり、入力された顔画像から固有ベクトル及び重みを抽出し、抽出された固有ベクトル及び重みを隠れ判断アルゴリズムに代入することによって、顔画像が隠れているか否かを正確に判断することができる。
【００４１】
図２は、本発明に係る顔検出方法を説明するフローチャートである。図２を参照して、顔が隠れているか否かを判断するアルゴリズムを導出するステップＳ１５０〜Ｓ１５８について先に説明する。
【００４２】
入力されたトレーニング画像から顔領域を検出する（Ｓ１５０）。ここで入力されたトレーニング画像は、照明の変化、表情の変化、髭、スケーリングシフト、回転変化等が反映された正常な顔画像と、照明の変化、表情の変化、スケーリングシフト、回転変化等が反映された部分的に隠れた顔画像とを含んでいる。
【００４３】
検出された顔領域を正規化し（Ｓ１５２）、その後正規化された顔領域を、目を中心とした上位領域と、鼻及び口を中心とした下位領域とに分割する（Ｓ１５４）。分割された顔領域ごとに主成分分析を用いて各顔構成要素の固有ベクトル及び重みを抽出し、メモリ部１００に格納する（Ｓ１５６）。顔領域の固有ベクトル及び重みの検出については、前記式（３）〜（７）で詳しく説明しているため、詳細な説明を省略する。
【００４４】
その次に、格納された固有ベクトル及び重みに基づいて隠れ判断アルゴリズムの因子を設定する（Ｓ１５８）。
【００４５】
ステップＳ１５０〜Ｓ１５８は、顔が隠れているか否かを判断するためのアルゴリズムを導出するためのものである。隠れ判断アルゴリズムが導出された後には、隠れ判断アルゴリズムの導出過程（Ｓ１５０〜Ｓ１５８）は、それ以上行われない。
【００４６】
以下、入力された使用者画像が隠れているか否かを判断する過程を説明する。
【００４７】
使用者画像が入力されると（Ｓ１００）、入力されたカラー画像を白黒画像に変換し（Ｓ１０２）、ガボールフィルタ応答を用いて白黒画像から顔領域を検出する（Ｓ１０４）。このように、白黒の顔画像を利用しているため、化粧、皮膚の色等の影響による顔色相（facial color）にともなう誤認識を減らすことができる。
【００４８】
その次に、顔画像のサイズ、輝度、傾き等を補正して顔領域を正規化する（Ｓ１０６）。その後、正規化された顔領域を、目を中心とした上位領域と、鼻及び口を中心とした下位領域とに分割する（Ｓ１０８）。これにより、各顔構成要素（目、鼻及び口）の探索領域のサイズが制限される（図４参照）。
【００４９】
図４に示すように、全体顔画像（３２０×２４０）を６０×６０に正規化し、正規化された顔画像での目の領域を（０，５）〜（６０，３０）、すなわち６０×２５に設定し、鼻及び口の領域を（０，２５）〜（６０，６０）、すなわち６０×３５に設定することが好ましい。目の領域と、鼻及び口の領域とが前記サイズに設定される場合には、（０，２５）〜（６０，３０）に対応する領域が約１０％程度重なり合う。これは目、鼻及び口のサイズや位置が、入力された顔画像によって多様に変化し、目の領域と、鼻及び口の領域とが非常に小さい場合には、該当領域で検出される目、鼻及び口の画像が分離されているおそれがあるためである。
【００５０】
そのうえ、制限された領域から各顔構成要素を抽出しているため、探索領域のサイズが制限されている。このように、顔構成要素の固有ベクトルを抽出するのに要する時間を減らすことができ、髪、背景等のノイズ成分を減らすことができる。
【００５１】
分割された顔領域に基づき主成分分析を用いて、上位領域で目の固有ベクトル及び重みを抽出し、同時に下位領域で鼻及び口の固有ベクトル及び重みを抽出する（Ｓ１１０）。
【００５２】
続いて、抽出された使用者画像の固有ベクトル及び重みをステップＳ１５０〜Ｓ１５８で導出した隠れ判断アルゴリズムに適用する（Ｓ１１２）。すなわち、検出された使用者画像の固有ベクトル及び重みをＫ（ｘ，ｘi）に適用し、トレーニング画像の固有ベクトル及び重みを用いて求められたｙi，λi，ｂを用いてクラス値ｆ（ｘ）を計算する。ここでクラス値ｆ（ｘ）は、上位領域、下位領域ごとに求められる。
【００５３】
その後、それぞれ求められた上位領域のクラス値ｆ（ｘ）と下位領域のクラス値ｆ（ｘ）が、1または−１のいずれであるかを判断し、顔画像が隠れているか否かを判断する（Ｓ１１４，Ｓ１１８）。つまり、隠れ判断アルゴリズムによって得られた値が1の場合には、顔画像が正常であると判断する（Ｓ１１６）。一方、隠れ判断アルゴリズムによって得られた値が−１の場合には、顔画像が部分的に隠れていると判断する（Ｓ１２０）。
【００５４】
一方、顔画像が隠れているか否かの判断は、使用者画像の上位領域及び下位領域で同時に行われる。上位領域及び下位領域のいずれかが隠れた顔画像であると判断される場合には、使用者の顔画像は隠れていると判断される。このとき、上位領域及び下位領域で顔画像が隠れているか否かが同時に判断されるので、顔画像が隠れていることがより迅速に判断可能である。
【００５５】
図３は、本発明に係る顔検出方法が適用された顔画像認証方法を説明するフローチャートである。まず、入力された使用者の顔画像が隠れているか否かを判断する（Ｓ２００）。ここで使用者の顔画像が隠れているか否かの判断は、図２に示されるステップＳ１００〜Ｓ１２０と同様に行われる。
【００５６】
その結果、使用者の顔画像が正常であると判断される場合には、使用者認証（user authentication）が行われる（Ｓ２０２）。使用者の顔画像が隠れていると判断される場合には、警告メッセージが使用者に伝送される（Ｓ２０６）。そして使用者の顔画像を検出し、顔画像が隠されているか否かを判断する動作が再度行われる（Ｓ２００）。このとき、使用者の顔画像が隠れていると３回以上判断される場合には（Ｓ２０８）、使用者認証が拒否される（Ｓ２１０）。
【００５７】
図５ａ及び図５ｂは、複数のトレーニング画像の例を説明する図である。特に図５ａは、照明条件が異なる画像、表情が互いに異なる画像、髭のある画像、スケーリングシフトや回転変化が行われた画像等を含んだ正常な顔画像クラスを示している。照明の変化、表情の変化、髭、及び顔の傾きによって可変な顔構成要素（目、鼻、口等）の特徴をいずれも考慮した顔画像の固有ベクトル及び重みが、正常な顔画像クラスに格納されている。一方で図５ｂは、サングラス、マフラー等を着用した使用者の画像を含んだ隠れた顔画像クラスを示している。サングラス、マフラー、マスク、照明の変化、表情の変化、スケーリングシフト、回転変化等によって可変な顔構成要素の特徴をいずれも考慮した顔画像の固有ベクトル及び重みが、隠れた顔画像クラスに格納されている。したがって、全ての条件下の顔画像がトレーニング画像としてクラスに含まれているため、入力された顔画像が隠れているか否かを正確に判断することができる。
【００５８】
下記表１及び表２は、３２００枚の正常な顔画像、２９００枚のサングラスを掛けた顔画像、４５００枚のマスク及びマフラーを着用した顔画像、顔画像の含まれていない別の画像等が格納されたメモリ部１００を用いて、本発明に係る、顔が隠れているか否かを判断するアルゴリズムの性能をテストした例を示している。
【００５９】
表１は、正常な顔画像クラス及び隠れた顔画像クラスからそれぞれ１００個の固有ベクトルを抽出したテスト結果を表している。
【表１】
2004158013.tif 000014
【００６０】
すなわち、抽出された固有ベクトルに基づいて、顔画像が隠れているか否かの判断を少なくとも２００回行うと、結果として低いエラー発生率が得られることが分かる。
【００６１】
下記表２は、正常な画像に関する、画像が隠れているか否かの判断によって得られた結果が９８％の検索率を示す場合に、隠れた顔画像にも同様にテストを行って得た結果を表している。ここで表２は、３７０枚のサングラスを掛けた顔画像（すなわち、上位領域）と、３９０枚のマフラーを着用した顔画像（すなわち、下位領域）とに関するテスト結果を表している。
【表２】
2004158013.tif 000015
【００６２】
テストの結果、９５％以上の検索率で使用者の顔領域が隠れているか否かを判断しており、使用者の顔の特徴が隠れていることに起因する誤認識率は、極めて低いことが分かる。
【００６３】
従って、トレーニング画像に発生可能な全ての条件下の顔画像が含まれていることから、様々な条件下で全ての顔画像に使用可能な隠れ判断アルゴリズムが導出可能である。このように、使用者の顔画像が隠れているか否かを判断するに当たって高い成功検索率を得ることができる。
【００６４】
以上本発明の好ましい実施形態について、図面を参照して説明したが、これらは本発明の一例にすぎず、本発明の要旨を逸脱しない範囲内で適宜設計変更可能である。また本発明は、添付の特許請求の範囲によって解釈されるべきであることは言うまでもない。
【図面の簡単な説明】
【００６５】
【図１】本発明に係る顔検出システムの概略ブロック図である。
【図２】本発明に係る顔検出方法を説明するフローチャートである。
【図３】本発明に係る顔検出方法が適用された顔画像認証方法を説明するフローチャートである。
【図４】顔画像のサイズを正規化した一実施形態を説明する図である。
【図５ａ】複数のトレーニング画像の例を説明する図である。
【図５ｂ】複数のトレーニング画像の例を説明する図である。
【符号の説明】
【００６６】
１００  メモリ部
２００  顔画像認識部
２１０  白黒化部
２２０  顔画像検出部
２３０  顔画像正規化部
２４０  顔画像分割部
２５０  固有ベクトル／重み抽出部
３００  顔画像判断部
【図１】
2004158013.tif 000018
【図２】
2004158013.tif 000019
【図３】
2004158013.tif 000020
【図４】
2004158013.tif 000021
【図５ａ】
2004158013.tif 000022
【図５ｂ】
2004158013.tif 000023