(57)【要約】【課題】  画像の中から人の顔画像が存在する可能性が高い領域を高速に検索することができる新規な顔画像候補領域検索方法及び検索システム並びに検索プログラムの提供。【解決手段】サンプル画像を円周フィルタ28でフィルタリングした画像特徴量を識別手段30に学習させておき、検索対象画像Ｇを円周フィルタ28でフィルタリングしてフィルタリングされた領域毎の回転不変な画像特徴量を検出し、検出した各画像特徴量を前記識別手段30に入力する。これによって、フィルタリング領域が顔画像候補領域であるかどうかを高速に判別できると共に、画像特徴量の次元数が大幅に減少するため、識別作業のみならず、サンプル画像の学習時間も大幅に短縮できる。【選択図】        図１
2005122351.tif 000002
【特許請求の範囲】
【請求項１】
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索する方法であって、
複数の学習用のサンプル画像を所定の円周フィルタでフィルタリングしてそれぞれ回転不変な画像特徴量を検出すると共にこれら各画像特徴量を識別手段に学習させておき、その後、前記検索対象画像内を前記円周フィルタで順次フィルタリングしてそれぞれフィルタリングされた領域毎の回転不変な画像特徴量を検出すると共に、検出した各画像特徴量を順次前記識別手段に入力し、その識別手段を用いて入力された画像特徴量に対応するフィルタリング領域が前記顔画像候補領域であるか否かを順次判別するようにしたことを特徴とする顔画像候補領域検索方法。
【請求項２】
請求項１に記載の顔画像候補領域検索方法において、
前記識別手段として、サポートベクタマシンまたはニューラルネットを用いることを特徴とする顔画像候補領域検索方法。
【請求項３】
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索する方法であって、
複数の学習用のサンプル画像を所定の円周フィルタでフィルタリングしてそれぞれ回転不変な画像特徴量を検出すると共にこれら各画像特徴量から前記サンプル画像の平均顔ベクトルを算出し、その後、前記検索対象画像内を前記円周フィルタで順次フィルタリングしてそれぞれフィルタリングされた領域毎の回転不変な画像特徴量を検出すると共にその画像特徴量からその領域毎の画像ベクトルを算出し、しかる後、算出した各画像ベクトルと前記平均顔ベクトルとのベクトル間距離を計算してこの距離に応じてその画像ベクトルに対応する領域が顔画像候補領域であるか否かを順次判別するようにしたことを特徴とする顔画像候補領域検索方法。
【請求項４】
請求項１〜３のいずれかに記載の顔画像候補領域検索方法において、
前記回転不変な画像特徴量は、各画素におけるエッジの強さ、またはエッジの分散値、あるいは輝度のいずれか、あるいはその組み合わせを平均化した数値を前記円周フィルタの各円の円周に沿って線積分した値をその円の数だけ合計したものを用いることを特徴とする顔画像候補領域検索方法。
【請求項５】
請求項４に記載の顔画像候補領域検索方法において、
前記各画素におけるエッジの強さ、またはエッジの分散値は、ｓｏｂｅｌのオペレータを用いて算出することを特徴とする顔画像候補領域検索方法。
【請求項６】
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索するシステムであって、
前記検索対象画像内の所定の領域及び学習用のサンプル画像を読み取る画像読取手段と、
前記画像読取手段で読み取った前記検索対象画像内の所定の領域及び学習用のサンプル画像をそれぞれ同じ円周フィルタでフィルタリングしてそれぞれの回転不変な画像特徴量を算出する特徴量算出手段と、
前記特徴量算出手段で算出した学習用のサンプル画像の回転不変な画像特徴量を学習すると共に、その学習結果から前記特徴量算出手段で算出した前記検索対象画像内の所定の領域が前記顔画像候補領域であるかが否かを識別する識別手段と、
を備えたことを特徴とする顔画像候補領域検索システム。
【請求項７】
請求項６に記載の顔画像候補領域検索システムにおいて、
前記識別手段は、サポートベクタマシン又はニューラルネット識別器であることを特徴とする顔画像候補領域検索システム。
【請求項８】
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索するシステムであって、
前記検索対象画像内の所定の領域及び学習用のサンプル画像を読み取る画像読取手段と、
前記画像読取手段で読み取った前記検索対象画像内の所定の領域及び学習用のサンプル画像をそれぞれ同じ円周フィルタでフィルタリングしてそれぞれの回転不変な画像特徴量を算出する特徴量算出手段と、
前記特徴量算出手段で得られた回転不変な画像特徴量から前記学習用のサンプル画像の平均顔ベクトルと、前記検索対象画像内の所定の領域の画像ベクトルとを算出すると共に、算出した両ベクトル間の距離を計算してこの距離に応じて前記検索対象画像内の所定の領域が前記顔画像候補領域であるか否かを識別する識別手段と、
を備えたことを特徴とする顔画像候補領域検索システム。
【請求項９】
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索するためのプログラムであって、
前記検索対象画像内の所定の領域及び学習用のサンプル画像を読み取る画像読取手段と、前記画像読取手段で読み取った前記検索対象画像内の所定の領域及び学習用のサンプル画像をそれぞれ同じ円周フィルタでフィルタリングしてそれぞれの回転不変な画像特徴量を算出する特徴量算出手段と、前記特徴量算出手段で算出した学習用のサンプル画像の回転不変な画像特徴量を学習すると共に、その学習結果から前記特徴量算出手段で算出した前記検索対象画像内の所定の領域が前記顔画像候補領域であるかが否かを識別する識別手段と、をコンピュータに機能させることを特徴とする顔画像候補領域検索プログラム。
【請求項１０】
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索するためのプログラムであって、
前記検索対象画像内の所定の領域及び学習用のサンプル画像を読み取る画像読取手段と、前記画像読取手段で読み取った前記検索対象画像内の所定の領域及び学習用のサンプル画像をそれぞれ同じ円周フィルタでフィルタリングしてそれぞれの回転不変な画像特徴量を算出する特徴量算出手段と、前記特徴量算出手段で得られた回転不変な画像特徴量から前記学習用のサンプル画像の平均顔ベクトルと、前記検索対象画像内の所定の領域の画像ベクトルとを算出すると共に、算出した両ベクトル間の距離を計算してこの距離に応じて前記検索対象画像内の所定の領域が前記顔画像候補領域であるか否かを識別する識別手段と、をコンピュータに機能させることを特徴とする顔画像候補領域検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パターン認識（Pattern recognition）やオブジェクト認識技術に係り、特に画像の中から人物の顔画像が存在する可能性が高い領域を高速に検索するための方法及び検索システム並びに検索プログラムに関するものである。
【背景技術】
【０００２】
近年のパターン認識技術やコンピュータ等の情報処理装置の高性能化に伴って文字や音声の認識精度は飛躍的に向上してきているが、人物や物体・景色等が映っている画像、例えば、ディジタルカメラ等によって取り込まれた画像のパターン認識のうち、特にその画像中に人の顔が映っているか否かを正確かつ高速に識別するといった点に関しては未だに極めて困難な作業であることが知られている。
【０００３】
しかしながら、このように画像中に人の顔が映っているか否か、さらにはその人物が誰であるのかをコンピュータ等によって自動的に正確に識別することは、生体認識技術の確立やセキュリティの向上、犯罪捜査の迅速化、画像データの整理・検索作業の高速化等を実現する上で極めて重要なテーマとなってきており、このようなテーマに関しては従来から多くの提案がなされている。
【０００４】
例えば、以下の特許文献１等では、ある入力画像について、まず、人物肌色領域の有無を判定し、人物肌色領域に対して自動的にモザイクサイズを決定し、候補領域をモザイク化し、人物顔辞書との距離を計算することにより人物顔の有無を判定し、人物顔の切り出しを行うことによって、背景等の影響による誤抽出を減らし、効率的に画像中から人間の顔を自動的に見つけるようにしている。
【特許文献１】特開平９−５０５２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来技術は、回転して（傾いて）いる顔画像は、顔画像と判断せずに別のパターンとして扱うため、このような顔画像を抽出するまでに長時間かってしまうといった問題がある。
すなわち、傾いて（回転して）いる顔画像を検出する場合には、その回転角を仮定し、仮定した回転角毎（例えば１０゜毎）に画像辞書との一致度を計算するか、あるいは画像を一定角度毎に回転させてその角度毎に一致度を計算する必要があるため、膨大な計算時間を要するといった問題点がある。
【０００６】
そこで、本発明はこのような課題を有効に解決するために案出されたものであり、その目的は、画像の中から人の顔画像が存在する可能性が高い領域を高速に検索することができる新規な顔画像候補領域検索方法及び検索システム並びに検索プログラムを提供するものである。
【課題を解決するための手段】
【０００７】
〔発明１〕
上記課題を解決するために発明１の顔画像候補領域検索方法は、
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索する方法であって、複数の学習用のサンプル画像を所定の円周フィルタでフィルタリングしてそれぞれ回転不変な画像特徴量を検出すると共にこれら各画像特徴量を識別手段に学習させておき、その後、前記検索対象画像内を前記円周フィルタで順次フィルタリングしてそれぞれフィルタリングされた領域毎の回転不変な画像特徴量を検出すると共に、検出した各画像特徴量を順次前記識別手段に入力し、その識別手段を用いて入力された画像特徴量に対応するフィルタリング領域が前記顔画像候補領域であるか否かを順次判別するようにしたことを特徴とするものである。
【０００８】
すなわち、本発明は従来から顔画像の識別等に利用されている識別手段の学習の際に、複数の学習用サンプル画像の画像特徴量をそのまま入力して学習させるのではなく、所定の円周フィルタでフィルタリングした後の画像特徴量を対象として学習させるようにしたものである。
そして、このようにしてサンプル画像の回転不変な画像特徴量を学習した後の識別手段を用いて検索対象画像中の所定の領域画像が顔画像候補領域であるか否かを判別するに際して、同じくその領域の画像特徴量をそのまま入力するのではなく、前記学習時に用いた円周フィルタでフィルタリングし、フィルタリング後の回転不変な画像特徴量を算出してその画像特徴量を入力するようにしたものである。  
【０００９】
これによって、検索対象画像中に存在する顔の回転によらず、フィルタリング領域が顔画像候補領域であるかどうかを高速に判別することができると共に、画像特徴量の次元数が大幅に減少するため、識別作業における計算時間のみならず、サンプル画像の学習時間も大幅に短縮することができる。
〔発明２〕
発明２の顔画像候補領域検索方法は、
発明１に記載の顔画像領域検索方法において、前記識別手段として、サポートベクタマシンまたはニューラルネットワークを用いることを特徴とするものである。
【００１０】
すなわち、このサポートベクタマシン（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ：以下、適宜「ＳＶＭ」と称する）とは、後に詳述するが、１９９５年にＡＴ＆ＴのＶ．Ｖａｐｎｉｋによって統計的学習理論の枠組みで提案され、マージンという指標を用いて全ての入力データを線形分離するのに最適な超平面を求めることができる学習機械のことであり、パターン認識の能力において最も優秀な学習モデルの一つであることが知られている。また、線形分離不可能な場合でもカーネルトリックというテクニックを用いることにより、高い識別能力を発揮することが可能となっている。
【００１１】
一方、ニューラルネットワークとは、生物の脳の神経回路網を模倣したコンピュータのモデルであり、特に多層型のニューラルネットワークであるＰＤＰ（Ｐａｒａｌｌｅｌ  Ｄｉｓｔｒｉｂｕｔｅｄ  Ｐｒｏｃｅｓｓｉｎｇ）モデルは、線形分離不可能なパターン学習が可能であってパターン認識技術の分類手法の代表的なものとなっている。
従って、前記識別手段として具体的にはこのような高精度の識別器を用いれば、誤識別が大幅に減って高精度な識別を実施することができる。
【００１２】
〔発明３〕
発明３の顔画像候補領域検索方法は、
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索する方法であって、複数の学習用のサンプル画像を所定の円周フィルタでフィルタリングしてそれぞれ回転不変な画像特徴量を検出すると共にこれら各画像特徴量から前記サンプル画像の平均顔ベクトルを算出し、その後、前記検索対象画像内を前記円周フィルタで順次フィルタリングしてそれぞれフィルタリングされた領域毎の回転不変な画像特徴量を検出すると共にその画像特徴量からその領域毎の画像ベクトルを算出し、しかる後、算出した各画像ベクトルと前記平均顔ベクトルとのベクトル間距離を計算してこの距離に応じてその画像ベクトルに対応する領域が顔画像候補領域であるか否かを順次判別するようにしたことを特徴とするものである。
【００１３】
すなわち、発明１がＳＶＭ等の識別器からなる識別手段を用いてフィルタリング領域が顔画像候補領域であるか否かを判別したのに対し、本発明は、サンプル顔画像から得られた平均顔ベクトルと、フィルタリング領域から得られた画像ベクトルとのベクトル間距離を計算してこの距離に応じてその画像ベクトルに対応する領域が顔画像候補領域であるか否かを判別するようにしたものである。
【００１４】
これによって、ＳＶＭ等の識別器からなる専用の識別手段を用いなくともフィルタリング領域が顔画像候補領域であるか否かを高い精度で識別することが可能となる。
〔発明４〕
発明４の顔画像候補領域検索方法は、
発明１〜３のいずれかに記載の顔画像領域検索方法において、前記回転不変な画像特徴量は、各画素におけるエッジの強さ、またはエッジの分散値、あるいは輝度のいずれか、あるいはその組み合わせを平均化した数値を前記円周フィルタの各円の円周に沿って線積分した値をその円周の数だけ合計したものを用いることを特徴とするものである。
【００１５】
これによって、複数の学習用のサンプル顔画像と各フィルタリング領域におけるそれぞれの回転不変な画像特徴量、及びその画像特徴量から前記サンプル顔画像の平均顔ベクトルとフィルタリング領域毎の画像ベクトルをそれぞれ確実に検出することができる。
〔発明５〕
発明５の顔画像候補領域検索方法は、
発明４に記載の顔画像領域検索方法において、前記各画素におけるエッジの強さ、またはエッジの分散値は、ｓｏｂｅｌのオペレータを用いて算出することを特徴とするものである。
【００１６】
すなわち、このｓｏｂｅｌのオペレータとは、画像中のエッジや線のように濃淡が急激に変化している箇所を検出するための差分型のエッジ検出オペレータの一つであり、ＲｏｂｅｒｔｓやＰｒｅｗｉｔｔ等の他の差分型エッジ検出オペレータに比べて、特に人間の顔の輪郭等を検出するのには最適なオペレータであることが知られている。
従って、このようなｓｏｂｅｌのオペレータを用いて各画素におけるエッジの強さ、またはエッジの分散値を算出することにより、画像特徴量を的確に検出することができる。
【００１７】
尚、このｓｏｂｅｌのオペレータの形状は、図９（ａ：横方向のエッジ）、（ｂ：横方向のエッジ）に示す通りであり、それぞれのオペレータで算出した結果を二乗和した後、平方根をとることでエッジの強度を求めることができる。
〔発明６〕
発明６の顔画像候補領域検索システムは、
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索するシステムであって、前記検索対象画像内の所定の領域及び学習用のサンプル画像を読み取る画像読取手段と、前記画像読取手段で読み取った前記検索対象画像内の所定の領域及び学習用のサンプル画像をそれぞれ同じ円周フィルタでフィルタリングしてそれぞれの回転不変な画像特徴量を算出する特徴量算出手段と、前記特徴量算出手段で算出した学習用のサンプル画像の回転不変な画像特徴量を学習すると共に、その学習結果から前記特徴量算出手段で算出した前記検索対象画像内の所定の領域が前記顔画像候補領域であるかが否かを識別する識別手段と、を備えたことを特徴とするものである。
【００１８】
これによって、発明１と同様に、検索対象画像中に存在する顔の回転によらず、フィルタリング領域が顔画像候補領域であるかどうかを高速に且つ自動的に判別することができると共に、画像特徴量の次元が大幅に減少するため、識別作業のみならず、サンプル画像の学習時間も大幅に短縮することができる。
〔発明７〕
発明７の顔画像候補領域検索システムは、
発明６に記載の顔画像領域検索システムにおいて、前記識別手段は、サポートベクタマシン又はニューラルネット識別器であることを特徴とするものである。
【００１９】
これによって、発明２と同様にフィルタリング領域に対する誤識別が大幅に減って高精度な識別を実施することができる。
〔発明８〕
発明８の顔画像候補領域検索システムは、
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索するシステムであって、前記検索対象画像内の所定の領域及び学習用のサンプル画像を読み取る画像読取手段と、前記画像読取手段で読み取った前記検索対象画像内の所定の領域及び学習用のサンプル画像をそれぞれ同じ円周フィルタでフィルタリングしてそれぞれの回転不変な画像特徴量を算出する特徴量算出手段と、前記特徴量算出手段で得られた回転不変な画像特徴量から前記学習用のサンプル画像の平均顔ベクトルと、前記検索対象画像内の所定の領域の画像ベクトルとを算出すると共に、算出した両ベクトル間の距離を計算してこの距離に応じて前記検索対象画像内の所定の領域が前記顔画像候補領域であるか否かを識別する識別手段と、を備えたことを特徴とするものである。
【００２０】
これによって、発明３と同様にＳＶＭ等の識別器からなる専用の識別手段を用いなくともフィルタリング領域が顔画像候補領域であるか否かを判別することが可能となる。
〔発明９〕
発明９の顔画像候補領域検索プログラムは、
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索するためのプログラムであって、前記検索対象画像内の所定の領域及び学習用のサンプル画像を読み取る画像読取手段と、前記画像読取手段で読み取った前記検索対象画像内の所定の領域及び学習用のサンプル画像をそれぞれ同じ円周フィルタでフィルタリングしてそれぞれの回転不変な画像特徴量を算出する特徴量算出手段と、前記特徴量算出手段で算出した学習用のサンプル画像の回転不変な画像特徴量を学習すると共に、その学習結果から前記特徴量算出手段で算出した前記検索対象画像内の所定の領域が前記顔画像候補領域であるかが否かを識別する識別手段と、をコンピュータに機能させることを特徴とするものである。
【００２１】
これによって、発明１と同様な効果が得られると共に、パソコン等の汎用のコンピュータシステムを用いてソフトウェア上でそれらの各機能を実現することができるため、それぞれ専用のハードウェアを製作して実現する場合に比べて、経済的かつ容易に実現することが可能となる。また、プログラムの書き換えだけでそれら各機能の改良も容易に行うことができる。
【００２２】
〔発明１０〕
発明１０の顔画像候補領域検索プログラムは、
顔画像が含まれているか否かが判明しない検索対象画像中から当該顔画像が存在する可能性が高い顔画像候補領域を検索するためのプログラムであって、前記検索対象画像内の所定の領域及び学習用のサンプル画像を読み取る画像読取手段と、前記画像読取手段で読み取った前記検索対象画像内の所定の領域及び学習用のサンプル画像をそれぞれ同じ円周フィルタでフィルタリングしてそれぞれの回転不変な画像特徴量を算出する特徴量算出手段と、前記特徴量算出手段で得られた回転不変な画像特徴量から前記学習用のサンプル画像の平均顔ベクトルと、前記検索対象画像内の所定の領域の画像ベクトルとを算出すると共に、算出した両ベクトル間の距離を計算してこの距離に応じて前記検索対象画像内の所定の領域が前記顔画像候補領域であるか否かを識別する識別手段と、をコンピュータに機能させることを特徴とするものである。
【００２３】
これによって、発明３と同様な効果が得られると共に、発明９と同様にパソコン等の汎用のコンピュータシステムを用いてソフトウェア上でそれらの各機能を実現することができるため、それぞれ専用のハードウェアを製作して実現する場合に比べて、経済的かつ容易に実現することが可能となる。また、プログラムの書き換えだけでそれら各機能の改良も容易に行うことができる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明を実施するための最良の形態を添付図面を参照しながら詳述する。
図１は、本発明に係る顔画像候補領域検索システム１００の実施の一形態を示したものである。
図示するように、この顔画像候補領域検索システム１００は、学習用のサンプル画像と検索対象画像を読み取る画像読取手段１０と、この画像読取手段１０で読み取った画像の回転不変な画像特徴量を算出する特徴量算出手段２０と、この特徴量算出手段２０で算出した回転不変な画像特徴量から前記検索対象画像が顔画像候補領域であるか否かを識別する識別手段３０とから主に構成されている。
【００２５】
この画像読取手段１０は、具体的には、ディジタルスチルカメラやディジタルビデオカメラ等のＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ：電荷結合素子）カメラやビジコンカメラ、イメージスキャナ、ドラムスキャナ等であり、読み込んだ検索対象画像内の所定の領域及び学習用のサンプル画像となる複数の顔画像と非顔画像をＡ／Ｄ変換してそのディジタルデータを特徴量算出手段２０へ順次送る機能を提供するようになっている。
【００２６】
特徴量算出手段２０は、さらに、画像中の輝度を算出する輝度算出部２２と、画像中のエッジの強度を算出するエッジ算出部２４と、エッジの強度又は輝度の平均又はエッジの強度の分散値を求める平均・分散値算出部２６と、複数の同心円をもった円周フィルタ２８とから構成されており、平均・分散値算出部２６で離散的にサンプリングされる画素値を円周フィルタ２８の円周に沿って線積分し、その値を各円の円周の数で合計することでサンプル画像及び検索対象画像毎の回転不変な画像特徴量を算出してこれを識別手段３０に順次送る機能を提供するようになっている。
【００２７】
識別手段３０は、具体的には、サポートベクタマシン（ＳＶＭ）からなる識別器３２を供えたものであり、前記特徴量算出手段２０で算出した学習用のサンプルとなる複数の顔画像及び非顔画像の回転不変な画像特徴量を学習すると共に、その学習結果から特徴量算出手段２０で算出した検索対象画像内の所定の領域が顔像候補領域であるか否かを識別する機能を提供するようになっている。
【００２８】
このサポートベクタマシンは、前述したようにマージンという指標を用いて全ての入力データを線形分離するのに最適な超平面を求めることができる学習機械のことであり、線形分離不可能な場合でもカーネルトリックというテクニックを用いることにより、高い識別能力を発揮できることが知られている。
そして、本実施の形態で用いるＳＶＭは、１．学習を行うステップと、２．識別を行うステップに分かれる。
【００２９】
先ず、１．学習を行うステップは、図１に示すように学習用のサンプル画像となる多数の顔画像及び非顔画像を画像読取手段１０で読み取った後、特徴量算出部２０で円周フィルタ２８によるフィルタリング後の各画像の特徴量を算出し、これを特徴ベクトルとして学習するものである。
その後、２．識別を行うステップでは、検索対象画像内の所定の領域を順次読み込んでこれを同じく円周フィルタ２８によってフィルタリングしてフィルタリング後の画像の回転不変な特徴量を算出し、これを特徴ベクトルとして入力し、入力された特徴ベクトルがその識別超平面に対していずれの領域に該当するかで顔画像が存在する可能性が高い領域か否かを検出するものである。
【００３０】
ここで、学習に用いられるサンプル用の顔画像及び非顔画像の大きさは、円周フィルタ２８の大きさと同じ大きさ、例えば円周フィルタ２８が１９×１９画素であれば、１９×１９画素で行われ、また、顔画像の検出に際しても同じ大きさの領域について行われることになる。
さらに、このＳＶＭについて「パターン認識と学習の統計学」（岩波書店、麻生英樹、津田宏治、村田昇著）ｐｐ．１０７〜１１８の記述に基づいて多少詳しく説明すると、識別する問題が非線形である場合、ＳＶＭでは非線形なカーネル関数を用いることができ、この場合の識別関数は以下の数式１で示される。
【００３１】
すなわち、数式１の値が「０」の場合に識別超平面になり、「０」以外の場合は与えられた画像特徴量から計算した識別超平面からの距離の距離となる。また、数式１の結果が非負の場合は、顔画像、負の場合は非顔画像である。
【００３２】
【数１】
2005122351.tif 000003
【００３３】
ｘ、ｘｉは画像特徴量である。Ｋはカーネル関数であり、本実施の形態では以下の数式２の関数を用いる。
【００３４】
【数２】
2005122351.tif 000004
【００３５】
尚、これら特徴量算出手段２０、識別手段３０並びに画像読取手段１０の制御等は、実際には、ＣＰＵ（中央制御装置）やＲＡＭ（主記憶装置）、ＲＯＭ（補助記憶装置）、各種インターフェース等がバス接続されたハードウェアシステムと、ハードディスクドライブ（ＨＤＤ）や半導体ＲＯＭ、あるいはＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の各種記憶媒体に予め保存された専用のコンピュータプログラム（ソフトウェア）によってパソコン等のコンピュータシステム上で実現されるようになっている。
【００３６】
次に、本発明に係る顔画像候補領域検索方法の一例を説明する。
図２は、実際に検索対象となる画像に対する顔画像候補領域検索方法の一例を示すフローチャートであるが、実際に識別を行う前に、識別に用いるＳＶＭからなる識別器３２に対する学習用のサンプル画像となる顔画像及び非顔画像を学習させるステップを経る必要がある。
【００３７】
この学習ステップは、従来通り、サンプル画像となる顔画像及び非顔画像毎の特徴量を算出してその特徴量を顔画像であるか非顔画像であるかの情報と共に入力するものであるが、この入力される画像特徴量は、図６〜図８に示すような９つの同心円からなる９次元の円周フィルタＦでフィルタリングされた後の回転不変な特徴量を使用することになる。
同図に示すように、この円周フィルタ２８は、フィルタサイズを１９×１９、すなわち正規化した画像サイズを１９×１９ｐｉｘｅｌ（画素）とした例であり、各図中「１」に相当する画素をその円周に沿って線積分し、その積分値を各円で合計することで各画像について９次元の回転不変な特徴量が得られるようになっている。
【００３８】
すなわち、図６（ａ）のフィルタＦ０は、線積分計算の対象となる画素を示す「１」からなる円が最も大きく、図６（ｂ）のフィルタＦ１は、これよりも縦横に１画素小さい円が示され、図６（ｃ）のフィルタＦ２はさらに図６（ｂ）よりも縦横に１画素小さい円が示されている。また、図７（ａ）〜（ｃ）のフィルタＦ３〜Ｆ５は、さらに縦横に１画素づつ小さい円が示され、図８の（ａ）〜（ｃ）のフィルタＦ６〜Ｆ８は、さらに縦横に１画素づつ小さい円が示され、フィルタＦ８の円が最小の円となっている。つまり、本実施の形態の円周フィルタ２８は、フィルタサイズが１９×１９画素であって、その中央から１画素づつ大きくなった９つの円周が同心円上に形成されているものである。
【００３９】
尚、予め学習させる学習画像が、１９×１９よりも大きい場合には、特徴量算出手段２０の平均・分散値算出部２８によってその画像を１９×１９のブロックにモザイク化処理されてから９次元の回転不変な特徴量が得られるようになっている。
そして、このような９つの同心円からなる円周フィルタ２８を用い、前述した学習と、以下の識別に用いる回転不変な画像特徴量は以下の数式３に示すような計算式を用いることによって求めることができる。
【００４０】
【数３】
2005122351.tif 000005
【００４１】
次に、このようにして識別器３２に対して回転不変な画像特徴量の学習が行われたならば、図２のステップＳ１０１に示すように、検索対象画像Ｇ内の識別対象となる領域を選択する。
この検索対象画像Ｇが、例えば図３及び図４に示すような男女の若いカップルの写真であって男性の顔は垂直で正面を向いているのに対し、女性の顔は斜めに傾いている（回転している）状態であり、かつ、利用する円周フィルタ２８の大きさはその検索対象画像Ｇの約１／４であったとする。
【００４２】
この場合、先ず最初に選択される検索対象領域としては、検索対象画像Ｇをその中央から縦横に４分割した左上の領域となり、図４に示すように、この領域の画像に対して前述した円周フィルタ２８をかけてその領域の回転不変な画像特徴量を生成する（ステップＳ１０３）。
次に、このようにしてその検索対象領域についての回転不変な画像特徴量が生成されたなら、次のステップＳ１０５に移行してその回転不変な画像特徴量を識別器３２であるＳＶＭに入力し、そのＳＶＭにてその領域が顔画像候補領域であるか否か判定する。尚、この判定結果は、別個図示しない記憶手段等に記憶させておく。
【００４３】
次に、このようにしてその検索対象画像Ｇの左上の領域についての判定が終了したならば、次のステップＳ１０７に移行して検索対象画像Ｇ内の全ての領域について判定が終了したか否かを判断し、終了していないと判断したとき（Ｎｏ）は、再度、最初のステップＳ１０１に移行して次の領域を選択して同様なステップを繰り返す。
図４の例にあっては、未だ検索対象画像Ｇの左上の領域についてのみしか判定が行われていないことから、ステップＳ１０７では当然にＮｏが選択されて最初のステップＳ１０１に移行した後、その最初の領域から図中右側に一定の距離、例えば、最初の領域から５画素分だけ図中右側に移動した領域を次の判定領域として選択して順次同様な判定を行う。その後、その円周フィルタ２８が検索対象画像Ｇ内の右端の領域に達したならば、そのフィルタ２８をそのまま下方向に例えば５画素移動させてから今度は検索対象画像Ｇ内を左方向に順次移動させながら各領域毎に判定を行う。
【００４４】
そして、このようにしてその検索対象画像Ｇ内を順に次の領域について判定を実施し、図５に示すように検索対象画像Ｇ内の最も右下の領域に達して全ての領域について判定が終了した（Ｙｅｓ）と判断したならば、次のステップＳ１０９に移行して前記ステップＳ１０５で顔画像領域であるとされた領域が実際に顔画像であるかを判定することで処理を終了することになる。図３〜図５の例では、円周フィルタ２８が男性の顔画像の領域に達したときは勿論、この領域に加えて同じく円周フィルタ２８が女性の顔画像の領域に達したときの２つの領域をも顔画像候補領域として検出することになる。尚、このステップＳ１０９における判定は先行技術、すなわち、前記特許文献１のように人物肌色領域をモザイク化し、人物顔辞書との距離を計算することにより人物顔の有無を判定するといった技術をそのまますることで容易かつ高精度に実施することができる。
【００４５】
このように本発明は、学習用の画像及び検索画像に円周フィルタをかけて回転不変な画像特徴量を求め、この回転不変な画像特徴量に基づいて顔画像候補領域であるか否かを判定するようにしたことから学習に要する時間のみならず、検索に要する時間を大幅に減らすことが可能となり、顔画像候補領域の検索を高速に達成することができる。
すなわち、前記の例では１９×１９個の画素そのままに対応した画像特徴量では３６１次元の特徴を計算する必要があるが、本発明によれば、計算に要する次元数は９次元であり、その分だけ計算時間を大幅に削減することができる。また、図３〜図５に示すように、各領域について原則として１回の判別作業で、垂直に立っている男性の顔のみならず傾いている女性の顔も確実に顔画像候補領域であると判別することが可能となる。
【００４６】
尚、本実施の形態では、フィルタリング領域が顔画像候補領域であるか否かを識別する識別手段３０としてＳＶＭ等の識別器３２を用いた例で説明したが、このような識別器３２を用いない方法によっても当該領域が顔画像候補領域であるか否かを識別することができる。
すなわち、前記数式３を用い、学習用のサンプル顔画像から平均顔ベクトルを生成すると共に、同じく数式３を用いてフィルタリング領域から画像ベクトルを生成し、この２つのベクトル間距離を計算して、このベクトル間距離が、顔画像及び非顔画像から予め求められた所定の閾値以下ならば顔画像候補領域と判定し、当該ベクトル間距離が当該閾値を越える場合には顔画像候補領域とでないと判定するようにしたものである。
【００４７】
つまり、以下の数式４の値が当該閾値よりも小さければ、顔画像領域と見なすようにしたものである。
【００４８】
【数４】
2005122351.tif 000006
【００４９】
これにより、前期実施の形態と同様に、顔画像候補領域の検索を高速に実施することができ、実際にこの方法によっても比較的高い確率で顔画像候補領域を抽出することが可能となる。
【図面の簡単な説明】
【００５０】
【図１】顔画像候補領域検索システムの実施の一形態を示すブロック図である。
【図２】顔画像候補領域検索方法の実施の一形態を示すフローチャート図である。
【図３】検索対象画像の一例を示す図である。
【図４】検索対象画像の一部の領域を円周フィルタでフィルタリングした状態を示す概念図である。
【図５】検索対象画像の一部の領域を円周フィルタでフィルタリングした状態を示す概念図である。
【図６】円周フィルタを構成する注目画素の配列を示す説明図である。
【図７】円周フィルタを構成する注目画素の配列を示す説明図である。
【図８】円周フィルタを構成する注目画素の配列を示す説明図である。
【図９】Ｓｏｂｅｌのオペレータの形状を示す図である。
【符号の説明】
【００５１】
１０…画像読取手段、２０…特徴量算出手段、２２…輝度算出部、２４…エッジ算出部、２６…平均・分散値算出部、２８…円周フィルタ、３０…識別手段、３２…識別器、１００…顔画像候補領域検索システム、Ｇ…検索対象画像。
【図１】
2005122351.tif 000007
【図２】
2005122351.tif 000008
【図３】
2005122351.tif 000009
【図４】
2005122351.tif 000010
【図５】
2005122351.tif 000011
【図６】
2005122351.tif 000012
【図７】
2005122351.tif 000013
【図８】
2005122351.tif 000014
【図９】
2005122351.tif 000015
【手続補正書】
【提出日】平成15年10月21日(2003.10.21)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】変更
【補正の内容】
【００３４】
【数２】
2005122351.tif 000016