(57)【要約】【課題】    画像情報から顔画像を抽出して実時間でその位置を追跡することが可能な方法を提供する。【解決手段】  人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備して、順次、対象となる画像領域内において、６つの矩形形状Ｓｉ（１≦ｉ≦６）の結合した眉間検出フィルタによるフィルタリング処理（ステップＳ１０２〜Ｓ１１０）により眉間候補点の位置を抽出する。さらに、抽出された眉間候補点の位置を中心として、所定の大きさで対象画像を切り出し、パターン判別処理に応じて、眉間候補点のうちから真の候補点を選択する。【選択図】        図８
2004185611.tif 000002
【特許請求の範囲】
【請求項１】
人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備するステップと、
前記対象となる画像領域内において、６つの矩形形状の結合した眉間検出フィルタによるフィルタリング処理により眉間候補点の位置を抽出するステップと、
抽出された前記眉間候補点の位置を中心として、所定の大きさで前記対象画像を切り出し、パターン判別処理に応じて、前記眉間候補点のうちから真の候補点を選択するステップとを備える、顔位置の抽出方法。
【請求項２】
前記眉間検出フィルタは、１つの矩形形状を６分割したものである、請求項１記載の顔位置の抽出方法。
【請求項３】
前記６つの矩形形状は、
鉛直方向に隣接する２つの第１の矩形形状と、
前記第１の矩形形状とは前記鉛直方向に所定量だけずれ、かつ前記鉛直方向に隣接する２つの第２の矩形形状と、
前記第２の矩形形状とは前記鉛直方向に所定量だけずれ、かつ前記鉛直方向に隣接する２つの第３の矩形形状とを含む、請求項１記載の顔位置の抽出方法。
【請求項４】
前記真の候補点を選択するステップは、
前記眉間候補点に対応する前記眉間検出フィルタを構成する矩形形状のうち、所定の２つの矩形形状に対応する前記対象画像に対して、目のパターン判別処理により、目の位置を検出するステップと、
前記検出された目の位置に基づいて、前記眉間候補点の位置を、２つの目の中点の位置に修正するステップと、
前記修正された眉間候補点位置を中心に２つの目が水平となるように入力画像を回転するステップと、
前記回転された入力画像について、前記修正された眉間候補点の位置を中心として、所定の大きさで前記対象画像を切り出し、パターン判別処理に応じて、前記眉間候補点のうちから真の候補点を選択するステップとを含む、請求項１記載の顔位置の抽出方法。
【請求項５】
デジタルデータを準備するステップは、前記対象画像をステレオ画像として準備するステップを含み、
前記真の候補点を選択するステップは、
前記ステレオ画像に基づいて検出される前記眉間候補点の観測点からの距離に応じて、前記眉間候補点のうちから真の候補点を選択するステップを含む、請求項１記載の顔位置の抽出方法。
【請求項６】
コンピュータに、対象となる画像領域内の顔位置を抽出する方法を実行させるためのプログラムであって、前記プログラムは、
人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備するステップと、
前記対象となる画像領域内において、６つの矩形形状の結合した眉間検出フィルタによるフィルタリング処理により眉間候補点の位置を抽出するステップと、
抽出された前記眉間候補点の位置を中心として、所定の大きさで前記対象画像を切り出し、パターン判別処理に応じて、前記眉間候補点のうちから真の候補点を選択するステップとを備える、プログラム。
【請求項７】
前記眉間検出フィルタは、１つの矩形形状を６分割したものである、請求項６記載のプログラム。
【請求項８】
前記６つの矩形形状は、
鉛直方向に隣接する２つの第１の矩形形状と、
前記第１の矩形形状とは前記鉛直方向に所定量だけずれ、かつ前記鉛直方向に隣接する２つの第２の矩形形状と、
前記第２の矩形形状とは前記鉛直方向に所定量だけずれ、かつ前記鉛直方向に隣接する２つの第３の矩形形状とを含む、請求項６記載のプログラム。
【請求項９】
前記真の候補点を選択するステップは、
前記眉間候補点に対応する前記眉間検出フィルタを構成する矩形形状のうち、所定の２つの矩形形状に対応する前記対象画像に対して、目のパターン判別処理により、目の位置を検出するステップと、
前記検出された目の位置に基づいて、前記眉間候補点の位置を、２つの目の中点の位置に修正するステップと、
前記修正された眉間候補点位置を中心に２つの目が水平となるように入力画像を回転するステップと、
前記回転された入力画像について、前記修正された眉間候補点の位置を中心として、所定の大きさで前記対象画像を切り出し、パターン判別処理に応じて、前記眉間候補点のうちから真の候補点を選択するステップとを含む、請求項６記載のプログラム。
【請求項１０】
デジタルデータを準備するステップは、前記対象画像をステレオ画像として準備するステップを含み、
前記真の候補点を選択するステップは、
前記ステレオ画像に基づいて検出される前記眉間候補点の観測点からの距離に応じて、前記眉間候補点のうちから真の候補点を選択するステップを含む、請求項６記載のプログラム。
【請求項１１】
人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備する撮影手段と、
前記対象となる画像領域内において、６つの矩形形状の結合した眉間検出フィルタによるフィルタリング処理により眉間候補点の位置を抽出する手段と、
抽出された前記眉間候補点の位置を中心として、所定の大きさで前記対象画像を切り出し、パターン判別処理に応じて、前記眉間候補点のうちから真の候補点を選択する選択手段とを備える、顔位置抽出装置。
【請求項１２】
前記眉間検出フィルタは、１つの矩形形状を６分割したものである、請求項１１記載の顔位置抽出装置。
【請求項１３】
前記６つの矩形形状は、
鉛直方向に隣接する２つの第１の矩形形状と、
前記第１の矩形形状とは前記鉛直方向に所定量だけずれ、かつ前記鉛直方向に隣接する２つの第２の矩形形状と、
前記第２の矩形形状とは前記鉛直方向に所定量だけずれ、かつ前記鉛直方向に隣接する２つの第３の矩形形状とを含む、請求項１１記載の顔位置抽出装置。
【請求項１４】
前記選択手段は、
前記眉間候補点に対応する前記眉間検出フィルタを構成する矩形形状のうち、所定の２つの矩形形状に対応する前記対象画像に対して、目のパターン判別処理により、目の位置を検出する手段と、
前記検出された目の位置に基づいて、前記眉間候補点の位置を、２つの目の中点の位置に修正する手段と、
前記修正された眉間候補点位置を中心に２つの目が水平となるように入力画像を回転する手段と、
前記回転された入力画像について、前記修正された眉間候補点の位置を中心として、所定の大きさで前記対象画像を切り出し、パターン判別処理に応じて、前記眉間候補点のうちから真の候補点を選択する手段とを含む、請求項１１記載の顔位置抽出装置。
【請求項１５】
前記撮影手段は、前記対象画像をステレオ画像として準備する手段を含み、
前記選択手段は、前記ステレオ画像に基づいて検出される前記眉間候補点の観測点からの距離に応じて、前記眉間候補点のうちから真の候補点を選択する手段を含む、請求項１１記載の顔位置抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はカメラ等からの画像を処理する画像処理に関し、特に、画像中の人物の顔を抽出するための画像認識の分野に関する。
【背景技術】
【０００２】
通信により、遠隔地にいる複数の人間で会議を行なうＴＶ会議システムが実用化されている。しかしこれらシステムにおいて、映像そのものを送ると通信データ量が増大するという問題点がある。そのために、たとえば対象となる人物の視線、顔の向き、表情等に関する特徴データを各地で抽出し、抽出したデータのみを互いに送信する技術が研究されている。受信側では、このデータに基づいて仮想的な人物の顔面の画像を生成して表示する。これにより、通信データ量を削減しながら、ＴＶ会議を効率良く行なえる。
【０００３】
さらに、このような画像中から人物を検出する技術は、ヒューマンコンピュータインタラクション、ジェスチャー認識、セキュリティーなどの分野の発展に欠かせない技術としても、盛んに研究されている。
【０００４】
これらの人物検出技術の応用においては、１）検出率が高い、２）照明環境の変化に強い、３）実時間で動作する、という条件を満たす安定したシステムを構築する必要がある。さらに今後、高品質画像（一画面を構成する画素数の多い画像）を対象にした実時間人物検出の必要性が高まってくると考えられ、今後はさらに、より高速な人物検出アルゴリズムの開発が必要になる。
【０００５】
人物を検出するには、まず顔を検出する手法が有効である。顔は表情など重要な情報を有しており、顔を検出できれば四肢の位置を推測して探索することが容易になる。
【０００６】
これまでに、肌色情報を用いた顔検出システムは報告が数多くなされている（たとえば、特許文献１、非特許文献１〜非特許文献４を参照）。
【０００７】
これらの手法は、画像から肌色領域を抽出し顔候補領域を求める。顔候補領域を限定できることから、処理の範囲が限定され、計算量を大幅に減らすことができるので、高速なシステムを構築することが可能である。しかし、色情報を利用する手法は照明環境の変動に弱く、一般的な環境下で動作させる場合、安定した性能を期待できない。
【０００８】
一方、色情報を用いない（濃淡情報を用いる）顔検出手法では、テンプレートマッチングやニューラルネットワーク等の学習的手法を利用した手法が数多く報告されている（たとえば、非特許文献５〜非特許文献６を参照）。これらの手法は高い検出率と照明環境に対するロバスト性が特徴である。たとえば、非特許文献５に開示された技術においては、ニューラルネットワークを応用し、非常に高い検出率を実現している。
【０００９】
しかし、これらの手法は、サイズを変えながら画像全体にわたってテンプレート（モデル）とのマッチングをとる必要があり、計算量が多いという問題がある。そのため、画素サイズが大きくなった場合には、計算量が飛躍的に増加するため、実時間システムを構築することは非常に困難である。
【００１０】
一方、非特許文献７に開示された技術では、分割預域の平均明るさの明暗関係から顔を検出するが、その領域が額から顎まで分布していて１６分割領域があり、まともにヘアスタイルや髭の影響を受けてしまうという問題がある。
【非特許文献１】川戸慎二郎、鉄谷信二、”リング周波数フィルタを利用した眉間の実時間検出”信学論（Ｄ−ＩＩ），ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，ｎｏ１２，ｐｐ．２５７７−２５８４，Ｄｅｃ．２００１．
【非特許文献２】川戸慎二郎、鉄谷信二、”目のリアルタイム検出と追跡”，信学技報，ＰＲＭＵ２０００−６３，ｐｐ．１５−２２、Ｓｅｐｔ．２０００．
【非特許文献３】チャイ  Ｄ，ガン  Ｋ．Ｎ．「テレビ電話アプリケーションにおける肌色マップを用いた顔の分割」ＩＥＥＥ  トランザクション  オン  サーキッツ  アンド  システムズ  フォー  ビデオ  テクノロジー，第９巻、Ｎｏ．４，ｐｐ．５５１−５６４，１９９０（Chai, D. and Ngan, K.N.:"Face Segmentation Using Skin-Color Map in Videophone Application," IEEE Trans. on Circuits and Systems For Video Technology, Vol.9, No., pp.551-564, 1990）
【非特許文献４】Ｊ．ヤン，Ａ．ワイベル，「実時間の顔追跡器」，プロシィーディング  ３ｒｄ  ＩＥＥＥ  ワークショップ  オン  アプリケーション  オブ  コンピュータ  ビジョン，ｐｐ．１４２−１４７，１９９６年（J. Yang and A. Waibel, "A real-time face tracker," Proc. 3rd IEEE Workshop on Application of Computer Vision, pp.142-147, 1996)
【非特許文献５】Ｈ．ローリー，Ｓ．バルージャ，Ｔ．カナダ，「ニューラルネットワークによる顔検知」  ＩＥＥＥ  トランザクション  パターン  アナリシス  アンド  マシン  インテリジェンス，第２０巻，ｎｏ．１，ｐｐ．２３−３８，  １月  １９９８年（H. Rowly, S. Baluja, and T. Kanada, "Neural-Network-Based Face Detection," IEEE Trans. Pattern Analysis and Machine Intelligence, vol.20, no.1, pp.23-38, Jan.1998）
【非特許文献６】Ｅ．ジェルマス、Ｂ．Ｋ．ロウ  「顔検知：サーベイ」  コンピュータ  ビジョン  アンド  イメージ  アンダスタンディング、８３（３）、ｐｐ．２３６−２７４，２００１年  (E. Hjelmas and B. K. Low, “Face Detection : A survey,” Computer Vision and Image Understanding, 83(3), pp.236-274, 2001)
【非特許文献７】ブライアン  スカセッラティ  「フォビーティッド  アクティブ  ビジョン  システムに対する顔検出による目の検出」  プロシィーディングズ  ＡＡＡＩ  １９９８年  ｐｐ．９６９−９７６（Brian Scassellati, “Eye Finding via Face Detection for a Foveated, Active Vision System”, Proc. AAAI ’98, pp.969-976）
【特許文献１】特開２００１−５２１７６号公報明細書  上述した特許文献１に開示された技術では、安定した顔の特徴点として両目の間の点（以下では眉間（Ｂｅｔｗｅｅｎ−ｔｈｅ−Ｅｙｅｓ）と呼ぶ）に着目している。つまり、眉間の周囲は、額部と鼻筋は相対的に明るく、両サイドの目と眉の部分は暗いパターンになっており、それを検出するリング周波数フィルタを用いている。
【００１１】
しかしリング周波数フィルタでは、肌色領域を抽出して、領域を限定する前処理が必要な点と、前髪が眉までかかっているような顔は上述のようなパターンが現れないために、検出できない場合があるという問題があった。
【発明の開示】
【発明が解決しようとする課題】
【００１２】
それゆえに本発明の目的は、照明の状況や人物の髪型の影響等を抑えて、画像情報から顔画像を抽出することが可能な顔位置抽出装置、そのための方法および当該方法をコンピュータを用いて実現するためのプログラムを提供することである。
【００１３】
さらに、本発明の他の目的は、照明の状況や人物の髪型の影響等を抑えて、顔の眉間の位置を特定して実時間でその位置を追跡することが可能な顔位置抽出装置、そのための方法および当該方法をコンピュータを用いて実現するためのプログラムを提供することである。
【課題を解決するための手段】
【００１４】
この発明のある局面に従うと、顔位置の抽出方法であって、人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備するステップと、対象となる画像領域内において、６つの矩形形状の結合した眉間検出フィルタによるフィルタリング処理により眉間候補点の位置を抽出するステップと、抽出された眉間候補点の位置を中心として、所定の大きさで対象画像を切り出し、パターン判別処理に応じて、眉間候補点のうちから真の候補点を選択するステップとを備える。
【００１５】
好ましくは、眉間検出フィルタは、１つの矩形形状を６分割したものである、請求項１記載の顔位置の抽出方法。
【００１６】
好ましくは、６つの矩形形状は、鉛直方向に隣接する２つの第１の矩形形状と、第１の矩形形状とは鉛直方向に所定量だけずれ、かつ鉛直方向に隣接する２つの第２の矩形形状と、第２の矩形形状とは鉛直方向に所定量だけずれ、かつ鉛直方向に隣接する２つの第３の矩形形状とを含む。
【００１７】
好ましくは、真の候補点を選択するステップは、眉間候補点に対応する眉間検出フィルタを構成する矩形形状のうち、所定の２つの矩形形状に対応する対象画像に対して、目のパターン判別処理により、目の位置を検出するステップと、検出された目の位置に基づいて、眉間候補点の位置を、２つの目の中点の位置に修正するステップと、修正された眉間候補点位置を中心に２つの目が水平となるように入力画像を回転するステップと、回転された入力画像について、修正された眉間候補点の位置を中心として、所定の大きさで対象画像を切り出し、パターン判別処理に応じて、眉間候補点のうちから真の候補点を選択するステップとを含む。
【００１８】
好ましくは、デジタルデータを準備するステップは、対象画像をステレオ画像として準備するステップを含み、真の候補点を選択するステップは、ステレオ画像に基づいて検出される眉間候補点の観測点からの距離に応じて、眉間候補点のうちから真の候補点を選択するステップとを含む。
【００１９】
この発明の他の局面に従うと、コンピュータに、対象となる画像領域内の顔位置を抽出する方法を実行させるためのプログラムであって、プログラムは、人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備するステップと、対象となる画像領域内において、６つの矩形形状の結合した眉間検出フィルタによるフィルタリング処理により眉間候補点の位置を抽出するステップと、抽出された眉間候補点の位置を中心として、所定の大きさで対象画像を切り出し、パターン判別処理に応じて、眉間候補点のうちから真の候補点を選択するステップとを備える。
【００２０】
好ましくは、眉間検出フィルタは、１つの矩形形状を６分割したものである。
【００２１】
好ましくは、６つの矩形形状は、鉛直方向に隣接する２つの第１の矩形形状と、第１の矩形形状とは鉛直方向に所定量だけずれ、かつ鉛直方向に隣接する２つの第２の矩形形状と、第２の矩形形状とは鉛直方向に所定量だけずれ、かつ鉛直方向に隣接する２つの第３の矩形形状とを含む。
【００２２】
好ましくは、真の候補点を選択するステップは、眉間候補点に対応する眉間検出フィルタを構成する矩形形状のうち、所定の２つの矩形形状に対応する対象画像に対して、目のパターン判別処理により、目の位置を検出するステップと、検出された目の位置に基づいて、眉間候補点の位置を、２つの目の中点の位置に修正するステップと、修正された眉間候補点位置を中心に２つの目が水平となるように入力画像を回転するステップと、回転された入力画像について、修正された眉間候補点の位置を中心として、所定の大きさで対象画像を切り出し、パターン判別処理に応じて、眉間候補点のうちから真の候補点を選択するステップとを含む。
【００２３】
好ましくは、デジタルデータを準備するステップは、対象画像をステレオ画像として準備するステップを含み、真の候補点を選択するステップは、ステレオ画像に基づいて検出される眉間候補点の観測点からの距離に応じて、眉間候補点のうちから真の候補点を選択するステップとを含む。
【００２４】
この発明のさらに他の局面に従うと、顔位置抽出装置であって、人間の顔領域を含む対象画像領域内の各画素の値のデジタルデータを準備する撮影手段と、対象となる画像領域内において、６つの矩形形状の結合した眉間検出フィルタによるフィルタリング処理により眉間候補点の位置を抽出する手段と、抽出された眉間候補点の位置を中心として、所定の大きさで対象画像を切り出し、パターン判別処理に応じて、眉間候補点のうちから真の候補点を選択する選択手段とを備える。
【００２５】
好ましくは、眉間検出フィルタは、１つの矩形形状を６分割したものである。
【００２６】
好ましくは、６つの矩形形状は、鉛直方向に隣接する２つの第１の矩形形状と、第１の矩形形状とは鉛直方向に所定量だけずれ、かつ鉛直方向に隣接する２つの第２の矩形形状と、第２の矩形形状とは鉛直方向に所定量だけずれ、かつ鉛直方向に隣接する２つの第３の矩形形状とを含む。
【００２７】
好ましくは、選択手段は、眉間候補点に対応する眉間検出フィルタを構成する矩形形状のうち、所定の２つの矩形形状に対応する対象画像に対して、目のパターン判別処理により、目の位置を検出する手段「と、検出された目の位置に基づいて、眉間候補点の位置を、２つの目の中点の位置に修正する手段と、修正された眉間候補点位置を中心に２つの目が水平となるように入力画像を回転する手段と、回転された入力画像について、修正された眉間候補点の位置を中心として、所定の大きさで対象画像を切り出し、パターン判別処理に応じて、眉間候補点のうちから真の候補点を選択する手段とを含む。
【００２８】
好ましくは、撮影手段は、対象画像をステレオ画像として準備する手段を含み、選択手段は、ステレオ画像に基づいて検出される眉間候補点の観測点からの距離に応じて、眉間候補点のうちから真の候補点を選択する手段を含む。
【発明の効果】
【００２９】
以上説明したとおり、本発明によれば、連続する画面情報から実時間で、人物の顔の位置、特に、眉間または目の位置を検出することができる。
【発明を実施するための最良の形態】
【００３０】
［実施の形態１］
［ハードウェア構成］
以下、本発明の実施の形態１にかかる顔位置抽出装置について説明する。この顔位置抽出装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、対象画像から人物の顔を抽出し、さらに人物の顔の映像から、眉間の位置および目の位置を検出するためのものである。図１に、この顔位置抽出装置の外観を示す。
【００３１】
図１を参照してこのシステム２０は、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）ドライブ５０およびＦＤ（Flexible Disk ）ドライブ５２を備えたコンピュータ本体４０と、コンピュータ本体４０に接続された表示装置としてのディスプレイ４２と、同じくコンピュータ本体４０に接続された入力装置としてのキーボード４６およびマウス４８と、コンピュータ本体４０に接続された、画像を取込むためのカメラ３０とを含む。この実施の形態の装置では、カメラ３０としてはＣＣＤ（固体撮像素子）を含むビデオカメラを用い、カメラ３０の前にいてこのシステム２０を操作する人物の眉間または目の位置を検出する処理を行なうものとする。
【００３２】
すなわち、カメラ３０により、人間の顔領域を含む画像であって対象となる画像領域内の各画素の値のデジタルデータが準備される。
【００３３】
図２に、このシステム２０の構成をブロック図形式で示す。図２に示されるようにこのシステム２０を構成するコンピュータ本体４０は、ＣＤ−ＲＯＭドライブ５０およびＦＤドライブ５２に加えて、それぞれバス６６に接続されたＣＰＵ（Central Processing Unit ）５６と、ＲＯＭ（Read Only Memory) ５８と、RAM （Random Access Memory）６０と、ハードディスク５４と、カメラ３０からの画像を取込むための画像取込装置６８とを含んでいる。ＣＤ−ＲＯＭドライブ５０にはＣＤ−ＲＯＭ６２が装着される。ＦＤドライブ５２にはＦＤ６４が装着される。
【００３４】
既に述べたようにこの顔位置抽出装置の主要部は、コンピュータハードウェアと、ＣＰＵ５６により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ６２、ＦＤ６４等の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブ５０またはＦＤドライブ５２等により記憶媒体から読取られてハードディスク５４に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク５４にコピーされる。そうしてさらにハードディスク５４からＲＡＭ６０に読出されてＣＰＵ５６により実行される。なお、ネットワーク接続されている場合には、ハードディスク５４に格納することなくＲＡＭ６０に直接ロードして実行するようにしてもよい。
【００３５】
図１および図２に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＦＤ６４、ハードディスク５４等の記憶媒体に記憶されたソフトウェアである。
【００３６】
なお、最近の一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該顔位置抽出装置を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて顔位置抽出装置が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールを含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。
【００３７】
［顔画像の抽出の基本的原理］
まず、本発明の手続きの概略をまとめると、顔を連続撮影したビデオ画像を処理するにあたり、横が顔幅、縦がその半分程度の大きさの矩形フィルターで画面を走査する。矩形は、たとえば、３×２に６分割されていて、各分割領域の平均明るさが計算され、それらの相対的な明暗関係がある条件を満たすとき、その矩形の中心を眉間候補とする。
【００３８】
連続した画素が眉間候補となるときは、それを取囲む枠の中心候補のみを眉間候補として残す。残った眉間候補を標準パターンと比較してテンプレートマッチング等を行なうことで、上述した手続きで得られた眉間候補のうちから、偽の眉間候補を捨て、真の眉間を抽出する。
【００３９】
以下、本発明の顔検出の手続きについて、さらに詳しく説明する。
【００４０】
（６分割矩形フィルタ）
図３は、上述した３×２に６分割された矩形フィルタ（以下、「６分割矩形フィルタ」と呼ぶ）を示す図である。
【００４１】
６分割矩形フィルタは、１）鼻筋は両目領域よりも明るい、２）目領域は頬部よりも暗い、という顔の特徴を抽出し、顔の眉間位置を求めるフィルタである。点（ｘ、ｙ）を中心として、横ｉ画素、縦ｊ画素（ｉ，ｊ：自然数）の矩形の枠を設ける。
【００４２】
図３のように、この矩形の枠を、横に３等分、縦に２等分して、６個のブロックＳ１〜Ｓ６に分割する。
【００４３】
図４は、このような６分割矩形フィルタを顔画像に当てはめた場合を示す概念図である。図４（ａ）は６分割矩形フィルタの形状を示し、図４（ｂ）は６分割矩形フィルタを顔画像の両目領域および頬部に当てはめた状態を示す。
【００４４】
なお、鼻筋の部分が目の領域よりも通常は狭いことを考慮すると、ブロックＳ２およびＳ５の横幅ｗ２は、ブロックＳ１，Ｓ３，Ｓ４およびＳ６の横幅ｗ１よりも狭い方がより望ましい。好ましくは、幅ｗ２は幅ｗ１の半分とすることができる。図５は、このような場合の６分割矩形フィルタの構成を示す概念図である。
【００４５】
実施の形態１では、図５に示すような６分割矩形フィルタを用いるものとする。
【００４６】
また、ブロックＳ１、Ｓ２およびＳ３の縦幅ｈ１と、ブロックＳ４、Ｓ５およびＳ６の縦幅ｈ２とは、必ずしも同一である必要もない。ただし、以下の説明では、縦幅ｈ１と縦幅ｈ２とは等しいものとして説明する。
【００４７】
図５に示す６分割矩形フィルタにおいて、それぞれのブロックＳｉ（１≦ｉ≦６）について、画素の輝度の平均値「バーＳｉ」（Ｓｉに上付きの“−”をつける）を求める。
【００４８】
ブロックＳ１に１つの目と眉が存在し、ブロックＳ３に他の目と眉が存在するものとすると、以下の関係式（１）が成り立つ。
【００４９】
【数１】
2004185611.tif 000003
【００５０】
図６は、このような６分割矩形フィルタを走査する対象となる画像を示す概念図である。
【００５１】
図６に示すとおり、顔画像を検知する対象画像は、横方向にＭ画素、縦方向にＮ画素のＭ×Ｎ画素から構成される。原理的には、左上隅の画素（０，０）から横方向および縦方向について順次１画素ずつずらせながら、上記６分割矩形フィルタを当てはめて、上記関係式（１）の妥当性をチェックする作業を行なえばよいことになる。しかしながら、このように６分割矩形フィルタをずらせるたびに、各ブロック内の輝度の平均値を求めるのでは、効率が悪い。
【００５２】
そこで、本発明では、矩形枠内の画素の総和を求める処理について、公知の文献（P. Viola and M. Jones, “Rapid Object Detection using a Boosted Cascade of Simple Features,” Proc. Of IEEE Conf. CVPR,1,pp.511-518, 2001）がにおいて開示されている、インテグラルイメージ（Ｉｎｔｅｇｒａｌ  Ｉｍａｇｅ）を利用した計算の高速化手法を取り入れる。
【００５３】
画像ｉ（ｘ、ｙ）から、「インテグラルイメージ」は、次式（２）で定義される。
【００５４】
【数２】
2004185611.tif 000004
【００５５】
インテグラルイメージは、以下の繰り返しで求めることができる。
【００５６】
【数３】
2004185611.tif 000005
【００５７】
ｓ（ｘ、ｙ）は行の画素の総和を表わす。ただしｓ（ｘ、−１）＝０、ｉｉ（−１、ｙ）＝０とする。重要な点は、画像全体を一回走査するだけで、インテグラルイメージを求めることができることである。
【００５８】
インテグラルイメージを用いると、長方形領域内の画素の輝度値の総和を簡単に求めることができる。図７は、このようなインテグラルイメージを用いて、総和を求める長方形領域を示す図である。
【００５９】
インテグラルイメージを用いて、図７に示す長方形Ｄの枠内の画素の輝度の総和Ｓｒは、以下のように４点の値の計算で求めることができる。
【００６０】
【数４】
2004185611.tif 000006
【００６１】
このように、インテグラルイメージを用いることによって、長方形領域内の画素の輝度値の総和、ひいては、画素の輝度値の平均を高速に求めることができるので、高速に６分割矩形フィルタに対する処理を行なうことが可能である。
【００６２】
（眉間候補点の抽出処理）
以下では、上述した６分割矩形フィルタを用いて、眉間の候補点を抽出する処理を説明する。
【００６３】
図８は、眉間の候補点を抽出する処理を説明するためのフローチャートである。
【００６４】
図８を参照して、まず、初期化処理として、変数ｍ、ｎの値を、ｍ＝０，ｎ＝０とする（ステップＳ１００）。
【００６５】
続いて、６分割フィルタの左上コーナーを画像の（ｍ，ｎ）画素に合わせる（ステップＳ１０２）。さらに、ブロックＳｉの領域の画素の平均濃度バーＳｉを計算する（ステップＳ１０４）。
【００６６】
次に、平均濃度バーＳｉの値の大小が、式（１）による眉間候補条件を満たすがどうかテストする（ステップＳ１０６）。
【００６７】
テスト条件を満たす場合は（ステップＳ１０８）、フィルタの中心点に相当する（ｍ＋ｉ/２，ｎ＋ｊ/２）の位置の画素に眉間候補マークをつける（ステップＳ１１０）。一方、テスト条件を満たさない場合は（ステップＳ１０８）、処理はステップＳ１１２に移行する。
【００６８】
ステップＳ１１２では、変数ｍの値が１だけインクリメントされる。次に、変数ｍの値が対象画像の中で横方向にフィルタが動ける範囲内であるかが判定される（ステップＳ１１４）。フィルタが動ける範囲内であるときは、処理はステップＳ１０２に復帰する。一方、フィルタが横方向に動ける限界になっているときは、変数ｍの値を０にリセットし、変数ｎの値を１だけインクリメントする（ステップＳ１１６）。
【００６９】
次に、変数ｎの値が対象画像の中で縦方向にフィルタが動ける範囲内であるかが判定される（ステップＳ１１８）。フィルタが動ける範囲内であるときは、処理はステップＳ１０２に復帰する。一方、フィルタが縦方向に動ける限界になっているときは、眉間候補マークのついて、画素の連結性を調べ、各連結要素ごとに連結要素の外形枠の中央の画素を眉間候補点とする（ステップＳ１２０）。ここで、「中央の画素」とは、特に限定されないが、たとえば、各連結要素の重心位置とすることができる。
【００７０】
図９は、以上のような処理による眉間候補点の抽出結果を示す図である。
【００７１】
図９（ａ）は、適用した６分割矩形フィルタの形状および大きさを示し、図９（ｂ）は、眉間候補マークのついた連結要素をハッチングした領域として示す。
【００７２】
なお、与えられた対象画像に対して、どのような大きさの６分割矩形フィルタを適用するかについては、たとえば、予め対象画像中の顔画像の大きさが分かっている場合は、その大きさに合わせて設定しておくことも可能である。あるいは、撮影対象となる範囲内（カメラ３０からの距離）に人物が存在する場合の顔の大きさに対応して、予め幾種類かの大きさの６分割矩形フィルタを準備しておき、一番最初に顔を検出する際には、この複数種類の６分割矩形フィルタのうちから、順次違う大きさのものを選択して適用して、以下に説明するような顔検出の適合度が最も高いものを選ぶこととしてもよい。
【００７３】
（目の候補点の抽出および真の眉間候補点の抽出）
以上のようにして抽出された眉間候補点には、真の眉間候補点以外に偽の眉間候補点も含まれる。そこで、以下に説明する手順で、真の眉間候補点を抽出する。
【００７４】
まず、眉間候補点の情報に基づいて、目の位置の候補点を抽出する。
【００７５】
そのために、複数の目の画像を顔画像データベースから抽出し、その平均画像を得る。
【００７６】
図１０は、このようにして得られた右目のテンプレートを示す図である。左目のテンプレートは、この右目テンプレートを水平方向に反転させればよい。
【００７７】
この右目テンプレートおよび左目のテンプレートを用いて、図３に示した眉間候補点を中心とする６分割矩形フィルタのブロックＳ１およびＳ３の領域において、テンプレートマッチング処理を行なえば、右目および左目の各々の候補点を抽出できる。
【００７８】
図１１は、このような目の候補点の抽出を行なった上で、真の眉間候補点の抽出を行なう処理を説明するためのフローチャートである。
【００７９】
図１１を参照して、まず、眉間候補抽出フィルターのブロックＳ１とＳ３のそれぞれの領域において、目のテンプレートともっとも良くマッチする点を探索し、左右の目の候補点とする（ステップＳ２００）。
【００８０】
次に、眉間候補点位置を左右の目の候補点の中点に修正する（ステップＳ２０２）。続いて、修正眉間候補点位置を中心に左右の目の候補点が水平に並ぶように入力画像を回転する（ステップＳ２０４）。
【００８１】
回転後の修正眉間候補点を中心とするパターンと、後に説明するような手続きで予め形成されている眉間テンプレートとの類似度を計算する（ステップＳ２０６）。
【００８２】
類似度が予め定めたしきい値以上かを判断し（ステップＳ２０８）、しきい値以上であれば、それを真の眉間候補点とする（ステップＳ２１０）。一方、しきい値未満であれば、それを偽の眉間候補点とする（ステップＳ２１２）。
【００８３】
このような処理をすべての眉間候補点について行なう。
【００８４】
図１２は、図１１のステップＳ２００における目の候補点の抽出処理を説明するための図である。
【００８５】
図１２において、白丸は、修正前の眉間の候補点であり、白十字は、目の候補点を示す。
【００８６】
（眉間テンプレート）
次に、図１１のステップＳ２０６において使用する眉間テンプレートの形成方法について説明する。
【００８７】
図１３は、眉間テンプレートの形成手順を説明するためのフローチャートである。
【００８８】
図１３を参照して、まず、複数の顔画像データを準備する（ステップＳ３００）。続いて、各顔画像について両目の位置をマウス等により、操作者が入力する（ステップＳ３０２）。
【００８９】
さらに、以下は、計算機内部での処理として、両目の位置が水平となるように、両目の中点を中心に画像を回転して、向きの正規化を行なう（ステップＳ３０４）。両目の間隔が所定の距離となるように画像を拡大あるいは縮小して、サイズの正規化を行なう（ステップＳ３０６）。次に、両目の中点を中心とする眉間パターンｉ×ｊ画素を抽出する（ステップＳ３０８）。
【００９０】
さらに、抽出した眉間パターンの平均濃度が所定の値、たとえばゼロとなるように、分散が他の所定の値、たとえば１．０になるように濃度を変換して、濃度の正規化を行なう（ステップＳ３１０）。
【００９１】
正規化した多数の眉間パターンの平均パターンを計算して（ステップＳ３１２）、得られた平均パターンを眉間のテンプレートとする（ステップＳ３１４）。
【００９２】
ただし、本発明では、ステップＳ３１４で得られた眉間テンプレートをさらに以下のように処理する。
【００９３】
すなわち、髪の毛が眉までかかっている人の場合は、額部が低い輝度値になるが、平均テンプレートは高い濃度値になっており、このままマッチング評価を行なうと、マッチング度が低くなってしまう。そこで、髪型の影響を受けないように上から所定の画素数、たとえば、３画素の額にあたる部分は評価しない。たとえば、ステップＳ３１４で得られた眉間テンプレートが３２×１６画素のパターンであるならば、結局、３２×１３画素のパターンを用いてテンプレートマッチングを行なう。
【００９４】
図１４は、眉間テンプレートを説明するための図である。
【００９５】
図１４（ａ）は、図１３のステップＳ３１４で得られた眉間テンプレートを示し、図１４（ｂ）は、額の影響を排除するための最終的な眉間テンプレートを示す。
【００９６】
なお、テンプレートマッチングは、顔の向きによって照明のあたり方が異なる場合を考慮して、左右独立に評価を行なうことも可能である。このときは、上述した眉間テンプレートを左右に２分割して、それぞれテンプレートマッチングを行なえばよい。たとえば、上記例のような大きさの眉間テンプレートであれば、左右それぞれ、片側１６×１３画素のパターンを用いてテンプレートマッチングを行なってもよい。
【００９７】
次に、図１１のステップＳ２０６のテンプレートマッチングの処理をさらに詳しく説明する。
【００９８】
図１５は、ステップＳ２０６のテンプレートマッチングの手続きを説明するためのフローチャートである。
【００９９】
図１５を参照して、まず、眉間候補点を抽出して（ステップＳ４００）、必要に応じて、眉間候補点を中心に回転を行ない、スケール補正を行なう（ステップＳ４０２）。
【０１００】
次に、眉間候補点を中心として、テンプレートと同じサイズの画像を切り出す（ステップＳ４０４）。切り出した眉間候補パターンと眉間テンプレートとの相関値を計算して類似度とする（ステップＳ４０６）。
【０１０１】
なお、類似度の計算としては、切り出した眉間候補パターンの濃度を正規化（平均ゼロ、分散１．０）して、画素ごとにテンプレートの対応画素との差の２乗を計算し、その総和を求めることとしてもよい。すなわち、この場合、総和の値は、不類似度とみなせるので、この逆数により類似度を評価してもよい。
【０１０２】
図１６は、このようにして対象画像から眉間および目の位置を抽出した例を示す図である。
【０１０３】
帽子をかぶり、かつ手で口を覆うという状態であるにも関わらず、眉間の位置（図中長方形の枠の中心）と目の位置（十字）が良好に検出されている。
【０１０４】
実施の形態１の本発明においては、濃淡情報を用いて６分割矩形フィルタにより、まず、眉間の候補点を抽出してから、最終的に目の位置を特定しているので、照明条件の変化に強く、かつ、高速な顔位置の抽出を行なうことができる。
【０１０５】
さらに、以上のような処理を、撮影されたビデオ画像の各フレームについて行なえば、動画像において、顔画像を追跡することも可能となる。
【０１０６】
このときは、既に顔画像が検出されている前フレームの情報を基にして、原フレームにおいてフィルタ処理をする領域を絞り込むことも可能である。
【０１０７】
なお、以上の説明では、眉間の候補点を探索する際に用いるフィルタは、矩形形状を３×２に６分割した６分割矩形フィルタを用いることとした。
【０１０８】
ただし、顔画像が水平から傾いている場合にも対応可能とするためには、フィルタの形状は、図３や図５に示したものに限定されない。
【０１０９】
図１７および図１８は、このようなフィルタの他の形状を説明するための図である。
【０１１０】
すなわち、図１７や図１８に示すように、図１におけるブロックＳ２およびＳ５に対して、ブロックＳ１およびＳ４と、ブロックＳ３およびＳ５とを、互いに反対方向に上下に所定の量だけずらせることも可能である。
【０１１１】
この場合、ずれた量に対応する角度だけ、顔画像が傾いている場合にも良好に眉間の候補点を抽出できる。
【０１１２】
本明細書中では、図３および図５に示した形状のフィルタ（６分割矩形フィルタ）と、図１７や図１８に示したようなフィルタとを総称して、「眉間検出フィルタ」と呼ぶことにする。
【０１１３】
［実施の形態２］
実施の形態１の図１１において説明したとおり、眉間候補点から真の候補点を抽出する際には、一般には、眉間候補点の位置の修正および入力画像の回転等を行なう必要がある。ただし、テレビ会議のように画像中の人物の動きが比較的小さい場合には、真の候補点の抽出処理を簡略化することも可能である。
【０１１４】
図１９は、このような実施の形態２の顔位置抽出装置において、真の眉間候補点の抽出を行なう処理を説明するためのフローチャートである。
【０１１５】
図１９を参照して、まず、入力画像における眉間候補点を中心とするパターンと、予め形成されている眉間テンプレートとの類似度を計算する（ステップＳ５００）。
【０１１６】
類似度が予め定めたしきい値以上かを判断し（ステップＳ５０２）、しきい値以上であれば、それを真の眉間候補点とする（ステップＳ５０４）。一方、しきい値未満であれば、それを偽の眉間候補点とする（ステップＳ５０６）。
【０１１７】
このような処理をすべての眉間候補点について行なう。
【０１１８】
その他の処理および構成は、実施の形態１の顔位置抽出装置と同様であるので、その説明は繰り返さない。
【０１１９】
このような構成でも、人物のカメラ３０からの位置や顔の向きの変化が小さい場合は、実施の形態１と同様の効果を奏することができる。
【０１２０】
［実施の形態３］
実施の形態１および２では、カメラ３０は１台で撮影を行なうこととしていた。
【０１２１】
これに対して、カメラ３０をたとえば２台として、２眼ステレオ構成とすると、人物についての距離の情報も得ることができる。
【０１２２】
すなわち、６分割矩形フィルタで抽出した候補点の中から、真の顔候補点を検出する手法は、実施の形態３でも、原理的には、実施の形態１または２と同様の方法を用いることができる。
【０１２３】
ただし、実施の形態３の顔位置抽出装置では、検出できる顔の大きさの範囲をより広げるため、カメラ３０を２眼ステレオ構成とし、距離情報に応じて顔候補領域を切りだすサイズを切り替える。
【０１２４】
顔候補領域の切り出すサイズを切り替えることで、平均顔テンプレートと同じ顔の大きさにスケーリングしてマッチングをとることができ、顔の大きさの検出範囲を広げることが可能である。
【０１２５】
実施の形態３では、上述のとおり、２眼ステレオ構成とし、候補点の視差情報を求める。顔の大きさは視差に反比例すると考えられるので、視差情報からその候補点を切り出すサイズを決定する。そのため、最適なサイズで顔候補領域を切り出してテンプレートとのマッチングを採ることができる。
【０１２６】
ここで、以下では、４０人、各人１０枚、計４００枚の表情や向き照明条件などを少しずつ変化させた画像が納められている顔画像データベースに対する評価を交えて説明する。
【０１２７】
このデータベース内の顔画像は、画像サイズが９２×１１２のモノクロ画像である。矩形サイズは、横が左右こめかみの間の画素数、縦が眉毛から鼻先までの画素数の大きさを基準とした。手動で計測した結果、顔画像（９２×１１２）に対して、基準の矩形サイズは６０×３０とした。
【０１２８】
まず、図２０は、異なるサイズの６分割矩形フィルタにより、同一の顔画像について、どの範囲で眉間候補点が検出可能であるかを示す図である。
【０１２９】
図２０では、矩形サイズを基準サイズから２０％ずつ変化させながら、眉間抽出処理を行なっている。実験では、真の候補点抽出率と候補点の個数を調べた。候補点に真の候補点が含まれているかは、眉間付近に候補点が存在するかを目視で判断した。
【０１３０】
図２０より、基準の矩形サイズ（６０×３０）での抽出率は、９２．０％であり、有効に機能していると考えられる。一方、矩形サイズが８４×４２の場合には抽出率が非常に悪くなっており、矩形が大きすぎて顔の特徴を抽出できていないと考えられる。
【０１３１】
図２０を参照すると、基準の矩形サイズから、０．６〜１．２倍のサイズの矩形で眉間候補点の抽出ができることを確認できる。顔の大きさと矩形サイズとは単純な比例関係にあると考えられる。したがって、矩形フィルタは、基準の大きさの顔から、０，８３〜１．６７倍の範囲の大きさの顔の眉間候補点が抽出できると考えられる。
【０１３２】
次に、人物の距離と切り出す顔候補領域の大きさの関係を求めるために、顔位置抽出装置で使用しているカメラ構成で人物の顔を撮影し、カメラ３０との距離を変えながら、眉間位置の視差と、その顔に最適な顔を切り出すサイズを計測しておく。
【０１３３】
たとえば、視差は左右のカメラ３０に写る人物の眉間の位置の横方向の画素数の差を手動で計測することにより得る。顔を切り出すサイズは、左右のこめかみの間の画素数を手動で測定する。特に限定されないが、６分割矩形フィルタの縦方向のサイズは横方向の半分と定めることができる。
【０１３４】
図２１は、視差と最適な顔を切り出すサイズの関係を示す図である。
【０１３５】
この図２１を基に、６分割矩形フィルタのサイズ、顔候補点を切り出すサイズ、視差と顔候補点を切り出すサイズの関係を決定する。
【０１３６】
図２２は、図２１より設定した６分割矩形フィルタサイズ、視差、候補点を切り出すサイズの関係を示す図である。あるサイズの６分割矩形フィルタが抽出できる顔候補領域を切り出すサイズが０．８３〜１．６７倍の範囲を持つことを利用し、たとえば、４０×２０、２４×１２の２段階のフィルタサイズで全体をカバーできるように設定した。顔候補領域を切り出すサイズは視差５画素ごとに切り替えるように設定した。切り出すサイズは細かく設定する方が制度が高くなると考えられるが、平均顔テンプレートのマッチング処理はある程度の大きさに対する柔軟性があるため、この範囲での切り替えで十分である。図２２では、例えば、矩形フィルタサイズが４０×２０のとき、ステレオマッチングの結果、視差が２０であれば、４８×２４の大きさで候補点を切り出すという意味である。
【０１３７】
もしも、この表に当てはまらない視差が出てきた場合、または、どこにもマッチングしなかった場合、その候補点は偽の候補点であるとして切り捨てる。
【０１３８】
以上の処理により、実施の形態３の顔位置抽出装置において、対象となる画像から眉間の候補点を抽出することができる。
【０１３９】
図２３は、実施の形態３の顔位置抽出装置において、真の眉間候補点の抽出を行なう処理を説明するためのフローチャートである。
【０１４０】
図２３を参照して、まず、候補点のカメラ３０からの距離を２眼ステレオ方式により推定する（ステップＳ６００）。
【０１４１】
次に、距離が予め定めた範囲内にあるかを判断する（ステップＳ６０２）。もしも、予め定めた範囲内に眉間の候補点がないならば、それは偽の候補点であると判断する（ステップＳ６１２）。
【０１４２】
一方、距離が予め定めた範囲内にある場合は、次に、距離に応じて、予め用意しておいたサイズの異なる眉間テンプレートを選択する（ステップＳ６０４）。
【０１４３】
入力画像における眉間候補点を中心とするパターンと、選択された眉間テンプレートとの類似度を計算する（ステップＳ６０６）。
【０１４４】
類似度が予め定めたしきい値以上かを判断し（ステップＳ６０８）、しきい値以上であれば、それを真の眉間候補点とする（ステップＳ６１０）。一方、しきい値未満であれば、それを偽の眉間候補点とする（ステップＳ６１２）。
【０１４５】
このような処理をすべての眉間候補点について行なう。
【０１４６】
その他の処理および構成は、実施の形態１の顔位置抽出装置と同様であるので、その説明は繰り返さない。
【０１４７】
このような構成では、人物のカメラ３０からの距離も考慮して、真の候補点の抽出を行なうので、より高速に顔画像の位置検出を行なうことが可能である。したがって、この実施の形態３の処理を動画像の各フレームに対して行なうことで、顔画像の追跡を行なうことも可能である。
【０１４８】
なお、実施の形態３においても、実施の形態１の図１１において説明したとおり、眉間候補点から真の候補点を抽出する際に、目の位置を検出した上で眉間候補点の位置の修正および入力画像の回転等を行なうことも可能である。
【０１４９】
［実施の形態４］
実施の形態３では、予め準備しておいたサイズの異なる眉間テンプレートから眉間候補点のカメラ３０からの距離に応じて、眉間テンプレートを選択した。
【０１５０】
しかしながら、眉間候補点のカメラ３０からの距離に応じて、基準となる眉間テンプレートのサイズに合うように入力画像を縮小（または拡大）して、テンプレートマッチングを行なうことも可能である。
【０１５１】
図２４は、このような実施の形態４の顔位置抽出装置において、真の眉間候補点の抽出を行なう処理を説明するためのフローチャートである。
【０１５２】
図２４を参照して、まず、候補点のカメラ３０からの距離を２眼ステレオ方式により推定する（ステップＳ７００）。
【０１５３】
次に、距離が予め定めた範囲内にあるかを判断する（ステップＳ７０２）。もしも、予め定めた範囲内に眉間の候補点がないならば、それは偽の候補点であると判断する（ステップＳ７１２）。
【０１５４】
一方、距離が予め定めた範囲内にある場合は、次に、距離に応じて、眉間像がテンプレートサイズに合うように入力画像を縮小する（ステップＳ７０４）。
【０１５５】
入力画像の候補点を中心とする縮小パターンと眉間テンプレートとの類似度を計算する（ステップＳ７０６）。
【０１５６】
類似度が予め定めたしきい値以上かを判断し（ステップＳ７０８）、しきい値以上であれば、それを真の眉間候補点とする（ステップＳ７１０）。一方、しきい値未満であれば、それを偽の眉間候補点とする（ステップＳ７１２）。
【０１５７】
このような処理をすべての眉間候補点について行なう。
【０１５８】
その他の処理および構成は、実施の形態３の顔位置抽出装置と同様であるので、その説明は繰り返さない。
【０１５９】
このような構成では、人物のカメラ３０からの距離も考慮して、真の候補点の抽出を行なうので、より高速に顔画像の位置検出を行なうことが可能である。したがって、この実施の形態４の処理を動画像の各フレームに対して行なうことで、顔画像の追跡を行なうことも可能である。
【０１６０】
なお、実施の形態４においても、実施の形態１の図１１において説明したとおり、眉間候補点から真の候補点を抽出する際に、目の位置を検出した上で眉間候補点の位置の修正および入力画像の回転等を行なうことも可能である。
【０１６１】
以上説明したような各実施の形態の処理で、時間軸について所定間隔で連続する画面情報、たとえば、連続するフレーム画像から、実時間で、眉間または目の位置を検出することができる。さらに、このような連続する画面情報の各々において、眉間または目の位置の検出を連続して行なっていくことで、眉間または目の位置のトラッキングを行なうことができる。
【０１６２】
［眉間の候補点の中から真の眉間を選択する処理の変形例］
以上説明した実施の形態では、顔位置の抽出処理において、眉間検出フィルタで画像中から眉間の候補点を抽出し、候補点の中から真の眉間を選択する、という処理を行なっている。
【０１６３】
この「真の眉間を検出する処理」は、言い換えると、複数の眉間候補点から、真の眉間に相当する候補点を選択するためのパターン判別処理を行なっていることに相当する。上述した実施の形態では、「眉間テンプレートとの類似度」に基づいて、パターン判別処理を行なうものとしたが、パターン判別の方法としては、必ずしもこのような方法に限定されるものではない。
【０１６４】
以下では、「眉間テンプレートとの類似度」によるパターン判別処理も含めて、このようなパターン判別処理として可能な変形例について説明する。
【０１６５】
（１）  パターンテンプレートとの類似度によるパターン判別処理
テンプレートをｆ＝｛ｔij｝、評価されるパターンをｆ＝｛ｆij｝とすると、単純な類似度評価値（ｑ）としては、以下の式（５）のような各対応画素値の差の絶対値の総和がある。
【０１６６】
【数５】
2004185611.tif 000007
【０１６７】
あるいは、以下の式（６）のような差の絶対値の２乗和を用いることもできる。
【０１６８】
【数６】
2004185611.tif 000008
【０１６９】
式（５）または（６）を用いる場合は値が小さいほど類似度が高いと判断することになる。
【０１７０】
一方、他の評価値としては次式（７）で表わされる正規化相関値を用いることもできる。
【０１７１】
【数７】
2004185611.tif 000009
【０１７２】
式（７）において、｛ｔij｝と、｛ｆij｝とが完全に一致していれば、ｑの値は１であり、完全に反転パターン（明暗が逆）ならばｑの値は−１になる。それ以外の場合は、ｑの値は１と−１の間の値となる。式（７）を用いるときは、ｑの値が大きいほど類似度は高いという評価になる。
【０１７３】
正規化相関値は、平均値からの差で評価しているので、全体的に明るさレベルがシフトしてもその評価に影響がない。また、例えば照明が暗くなると明るさの平均値が下がるだけでなく、明暗の差も小さくなる。この場合でも、分母の正規化項のおかげでｑの値に影響がない。
【０１７４】
また、以下の式（８）で示されるように、テンプレートととして多くのサンプルパターン（ｓn＝｛ｓnij｝）の平均パターンを使うこともできる。
【０１７５】
【数８】
2004185611.tif 000010
【０１７６】
この場合は、重み付きの類似度評価を行なうことができる。例えば、右目の右上部分や左目の左上部分は、人によっては前髪が下がっていたりいなかったりする。このため、その部分は、テンプレートと差があっても、あまり重要でないと考えられる。
【０１７７】
そこで、多くのサンプルパターンがある場合は、以下の式（９）に示すように、各画素位置で明るさがどれくらいサンプル間でばらついているかを示す分散をまず計算する。
【０１７８】
【数９】
2004185611.tif 000011
【０１７９】
次に、その分散の逆数を重みづけに使って、以下の式（１０）に示すような評価値ｑを用いた重み付き類似度評価を行なうこともできる。
【０１８０】
【数１０】
2004185611.tif 000012
【０１８１】
あるいは、「右目位置に対象な位置には左目があって同じように黒いはず」であり、「その中央は鼻筋で明るいはず」というように、互いの画素間にも関係があって、その関係がどれくらいばらついているかを表わす指標である共分散を考慮して重み付けを行なうことができる。なお、これに対して、式（９）は、自己分散の場合である。
【０１８２】
このような共分散を考慮して重みづけをした類似度は、「マハラノビス距離」と呼ばれる。
【０１８３】
すなわち、ｔijを１列にならべてベクトルのように表わすとすると、マハラノビス距離ｑは、以下の式（１１）のように表わされる。
【０１８４】
【数１１】
2004185611.tif 000013
【０１８５】
ここでΣはｓnの共分散行列である。このマハラノビス距離ｑを用いても、パターンテンプレートとの類似度によるパターン判別処理を実施することができる。
【０１８６】
（２）  統計的パターン判別処理
眉間検出フィルタで画像中から眉間の候補点を抽出し、候補点の中から真の眉間を選択する、という処理は、言い換えれば、眉間の候補点の中から、顔のパターンに対応するのか、あるいは、顔パターンではないのかを判別することで、真の眉間を抽出する、との手続きとみることもできる。
【０１８７】
この場合、「顔」と「非顔」の判別処理には、統計的パターン判別処理を適用することができる。
【０１８８】
すなわち、統計的パターン判別処理は、多数の「顔」と「非顔」のサンプルが与えられたときに、それらのデータを元に「不明」のパターンを「顔」か「非顔」に判別するものである。これに対して、上述した類似度計算では「非顔」という概念は、必要ない。
【０１８９】
（２−１）  線形判別法
パターンｆ＝｛ｆij｝を、その画素値を一列にならべたＩ×Ｊ次元のベクトルと考えると、１パターンはＩ×Ｊ次元空間の１点と考えられる。
【０１９０】
以下の説明では、３次元以上は平面上に図示しにくいので、２次元の場合を例にとって説明する。
【０１９１】
図２５は、「顔」のサンプルと「非顔」のサンプルの分布の一例を示す概念図である。
【０１９２】
図２５に示すように、「顔」のサンプル（○）と「非顔」のサンプル（×）が分布していたとすると、「顔」（○）と「非顔」（×）を分離する直線Ｌ１を予め求めておき、「不明」の入力パターンが直線Ｌ１のどちらにあるかで、「顔」（○）と「非顔」（×）かを判定することができる。
【０１９３】
２次元では直線ａｘ＋ｂｙになるが、３次元ではａｘ＋ｂｙ＋ｃｚで表現される平面になる。より一般に、さらに高次元では各次元要素の線形結合で表わされる超平面となる。このような超平面による判別を、「線形判別法」と呼ぶ。
【０１９４】
一般には、一つの超平面で完全に「顔」（○）と「非顔」（×）を分離できるとはかぎらないものの、「顔」（○）の側に「非顔」（×）がくる誤りと、「非顔」（×）の側に「顔」（○）がくる誤りの合計が最小になるように超平面を決定しておく。
【０１９５】
（２−２）  サポートベクターマシン
上述した線形判別法で誤りが最小になるように超平面を決定しても、実用上は、誤りが大きすぎる場合もあり得る。
【０１９６】
そのようなときであっても、例えば（ｘ，ｙ，ｚ）の３次元の空間の点を（ｘ2，ｙ2，ｚ2，ｘｙ，ｙｚ，ｚｘ）のようなより高次元（この場合６次元）の空間に写像してやると、その空間の超平面でうまく、上述したような「顔」（○）と「非顔」（×）とが分離できるようになる場合があることが知られている。しかも、サポートベクターマシンでは、実際には高次元の空間に写像することなく、もとの空間で写像先の高次元空間の超平面を計算することができる。
【０１９７】
サポートベクターマシンで顔の検出を行なう具体的な構成については、たとえば、文献：E.Osuna, R.Freund, and F.Girosi: "Training Support Vector Machines: an Application to Face Detection", Proc. of International Conference on Computer Vision and Pattern Recognition, pp.130-136(1997)に開示されている。
【０１９８】
以下では、サポートベクターマシンの概要について説明する。
【０１９９】
図２６は、サポートベクターマシンが適用される写像先の高次元空間を示す図である。
【０２００】
図２６でも、高次元空間を２次元空間として説明している。
【０２０１】
サポートベクターマシンでは平行な超平面が２つ想定される。この２つの超平面は、１つは「非顔」（図では×）のサンプルに接する超平面Ｐ１であり、もう１つは「顔」（図では○）のサンプルに接する超平面Ｐ２のようなペアである。
【０２０２】
他のペアの超平面Ｐ３および超平面Ｐ４も考えられる。しかし、サポートベクターマシンでは、可能な超平面のペアの中で間隔が最大となるペアが採用される。この間隔が、判別の際の余裕と考えられ、余裕が最大となるようなペアが採用されることになる。
【０２０３】
図２６に示すような超平面による、「顔」パターンと「非顔」パターンの判別は、超平面Ｐ１と超平面Ｐ２から等距離にある中間の超平面を、上述した線形判別におけるの判定のための超平面のようにみなして行なう。
【０２０４】
（２−３）  ベイズ推定による判別
排反事象Ｈ1（顔である）とＨ2（非顔である）があって、Ａを任意の事象（切り出した濃淡パターン）としたとき、ベイズの定理は、以下の式で表わされる。
【０２０５】
【数１２】
2004185611.tif 000014
【０２０６】
ここで、Ｐ（Ｈ1｜Ａ）はＡが生じた時にそれがＨ1である事後確率で、Ｐ（Ａ｜Ｈ1）は、Ｈ1の時にＡが生じる事前確率である。Ａが生じたとわかったあとで、それがＨ1である事後確率またはＨ2である事後確率の両者を比較して、ベイズ判定では確率の高い方のパターンであると判定を行なう。ふたつの事後確率の比は、以下の式で表わされる。
【０２０７】
【数１３】
2004185611.tif 000015
【０２０８】
式（９）が１より大きければ方１と判断することになる。式（９）は書き直せば、以下の式（１０）となる。
【０２０９】
【数１４】
2004185611.tif 000016
【０２１０】
そこで、事象Ｈ1とＨ2のサンプルをたくさん収集して、Ｐ（Ａ｜Ｈ1）とＰ（Ａ｜Ｈ2）を推定しておき、λをしきい値パラメータとして、式（１０）により判定すれば、事象Ａを事象Ｈ1と判断するか事象Ｈ2と判断するかを決めることができる。
【０２１１】
ベイズ判定方法で顔を検出する方法については、たとえば、文献：H.Shneiderman and T.Kanade:"Probabilistic Modeling Of Local Appearance and Spatial Relationships for Object Recognition", Proc. of International Conference on Computer Vision and Pattern Recognition, pp.45-51(1998)に開示されている。
【０２１２】
この他、ニューラルネットワークによる判別により、「顔」と「非顔」の判別処理を行なうことも可能である。
【０２１３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【０２１４】
【図１】本発明の１実施の形態にかかるシステムの外観図である。
【図２】本発明の１実施の形態にかかるシステムのハードウェア的構成を示すブロック図である。
【図３】６分割矩形フィルタを示す図である。
【図４】６分割矩形フィルタを顔画像に当てはめた場合を示す概念図である。
【図５】６分割矩形フィルタの他の構成を示す概念図である。
【図６】分割矩形フィルタを走査する対象となる画像を示す概念図である。
【図７】インテグラルイメージを用いて、総和を求める長方形領域を示す図である。
【図８】眉間の候補点を抽出する処理を説明するためのフローチャートである。
【図９】眉間候補点の抽出結果を示す図である。
【図１０】右目のテンプレートを示す図である。
【図１１】目の候補点の抽出を行なった上で、真の眉間候補点の抽出を行なう処理を説明するためのフローチャートである。
【図１２】図１１のステップＳ２００における目の候補点の抽出処理を説明するための図である。
【図１３】眉間テンプレートの形成手順を説明するためのフローチャートである。
【図１４】眉間テンプレートを説明するための図である。
【図１５】ステップＳ２０６のテンプレートマッチングの手続きを説明するためのフローチャートである。
【図１６】対象画像から眉間および目の位置を抽出した例を示す図である。
【図１７】眉間検出フィルタの他の形状を説明するための第１の図である。
【図１８】眉間検出フィルタの他の形状を説明するための第２の図である。
【図１９】実施の形態２の顔位置抽出装置において、真の眉間候補点の抽出を行なう処理を説明するためのフローチャートである。
【図２０】異なるサイズの６分割矩形フィルタにより、同一の顔画像について、どの範囲で眉間候補点が検出可能であるかを示す図である。
【図２１】視差と最適な顔を切り出すサイズの関係を示す図である。
【図２２】図２１より設定した６分割矩形フィルタサイズ、視差、候補点を切り出すサイズの関係を示す図である。
【図２３】実施の形態３の顔位置抽出装置において、真の眉間候補点の抽出を行なう処理を説明するためのフローチャートである。
【図２４】実施の形態４の顔位置抽出装置において、真の眉間候補点の抽出を行なう処理を説明するためのフローチャートである。
【図２５】「顔」のサンプルと「非顔」のサンプルの分布の一例を示す概念図である。
【図２６】サポートベクターマシンが適用される写像先の高次元空間を示す図である。
【符号の説明】
【０２１５】
２０  顔位置抽出装置、３０  カメラ、４０  コンピュータ本体、４２  モニタ。
【図１】
2004185611.tif 000017
【図２】
2004185611.tif 000018
【図３】
2004185611.tif 000019
【図４】
2004185611.tif 000020
【図５】
2004185611.tif 000021
【図６】
2004185611.tif 000022
【図７】
2004185611.tif 000023
【図８】
2004185611.tif 000024
【図９】
2004185611.tif 000025
【図１０】
2004185611.tif 000026
【図１１】
2004185611.tif 000027
【図１２】
2004185611.tif 000028
【図１３】
2004185611.tif 000029
【図１４】
2004185611.tif 000030
【図１５】
2004185611.tif 000031
【図１６】
2004185611.tif 000032
【図１７】
2004185611.tif 000033
【図１８】
2004185611.tif 000034
【図１９】
2004185611.tif 000035
【図２０】
2004185611.tif 000036
【図２１】
2004185611.tif 000037
【図２２】
2004185611.tif 000038
【図２３】
2004185611.tif 000039
【図２４】
2004185611.tif 000040
【図２５】
2004185611.tif 000041
【図２６】
2004185611.tif 000042