(57)【要約】【課題】  高速、かつ、高精度に対象画像内の所定の位置を検出する。【解決手段】  グローバルパターン画像ＧＰを構成する３枚のローカルパターン画像ＲＰ１〜ＲＰ３を記憶するパターン画像記憶部１２と、ローカルパターン画像ＲＰ１〜ＲＰ３と原画像とのそれぞれの相関を示す相関値画像Ｃ１〜Ｃ３を生成する相関値画像生成部１３と、相関値画像Ｃ１〜Ｃ３において相関の高い領域がグローバルパターン画像ＧＰの中心Ｏに重なるように、相関値画像Ｃ１〜Ｃ３を移動させる移動部１４と、相関値画像Ｃ１〜Ｃ３を重畳し、１枚の合成画像とする重畳部１５と、合成画像から相関の高い領域検出し、対象画像内の所定の位置を検出する検出部１６とを備える。【選択図】      図１
2006004051.tif 000002
【特許請求の範囲】
【請求項１】
対象画像を検出するための基準画像を構成する複数の断片画像を用い、原画像から前記対象画像を検出する画像処理プログラムであって、
各断片画像と原画像との相関を示す相関値画像を断片画像毎に生成する生成手段と、
各相関値画像内において、断片画像に対して高い相関を示す領域が重なるように、各相関値画像を移動させる移動手段と、
移動された各相関値画像を重畳して１枚の合成画像とする重畳手段と、
前記合成画像において、所定の値より相関値が高い領域を検出することにより、前記対象画像を検出する検出手段としてコンピュータを機能させることを特徴とする画像処理プログラム。
【請求項２】
前記移動手段は、前記基準画像に対する各断片値画像の相対的な位置関係を基に、各相関値画像内において、対応する断片画像に対して高い相関を示す領域が前記対象画像内の所定の位置に重なるように各相関値画像を移動させ、
前記検出手段は、前記対象画像内の所定の位置を検出することを特徴とする請求項１記載の画像処理プログラム。
【請求項３】
前記重畳手段は、移動された各相関値画像に対し、断片画像に対して高い相関を示す領域を拡大する処理を施し、各相関値画像を重畳することを特徴とする請求項１又は２記載の画像処理プログラム。
【請求項４】
前記重畳手段は、対応する画素データを乗算することにより各相関値画像を重畳することを特徴とする請求項１〜３のいずれかに記載の画像処理プログラム。
【請求項５】
前記生成手段は、前記原画像に対してモフォロジ処理を施し、前記相関値画像を生成することを特徴とする請求項１〜４記載のいずれかに記載の画像処理プログラム。
【請求項６】
前記生成手段は、前記モフォロジ処理を施した画像に対し、更に解像度を低下させる処理を施し、前記相関値画像を生成することを特徴とする請求項５記載の画像処理プログラム。
【請求項７】
前記原画像は人物の顔を含む画像であり、前記基準画像は左右の眼及び眉間を含む領域からなる眼領域画像であり、前記断片画像は、左眼の画像及び右眼の画像であり、前記所定の位置は眉間であり、
前記生成手段は、左眼に対して高い相関を示す領域を検出するための左眼相関値フィルタを用いて左眼相関値画像を生成すると共に、右眼に対して高い相関を示す領域を検出するための右眼相関値フィルタを用いて右眼相関値画像を生成し、
前記前記移動手段は、前記眼領域画像に対する前記左眼の画像及び前記右眼の画像の相対的な位置関係を基に、前記左眼相関値画像において左眼に対して高い相関を示す領域と、右眼相関値画像において右眼に対して高い相関を示す領域とが眉間の位置に重なるように、前記左眼相関値画像と前記左眼相関値画像とを移動させることを特徴とする請求項６記載の画像処理プログラム。
【請求項８】
前記重畳手段は、前記移動手段によって移動された前記左眼相関値画像と前記右眼相関値画像とを重畳することで得られる合成画像に対し、眉間を含む一部の領域の相関値を高くする処理を行うことを特徴とする請求項７記載の画像処理プログラム。
【請求項９】
対象画像を検出するための基準画像を構成する複数の断片画像を用い、原画像から前記対象画像を検出する画像処理装置であって、
各断片画像と原画像との相関を示す相関値画像を断片画像毎に生成する生成手段と、
各相関値画像内において、断片画像に対して高い相関を示す領域が重なるように、各相関値画像を移動させる移動手段と、
移動された各相関値画像を重畳して１枚の合成画像とする重畳手段と、
前記合成画像において、所定の値より相関値が高い領域を検出することにより、前記対象画像を検出する検出手段とを備えることを特徴とする画像処理装置。
【請求項１０】
対象画像を検出するための基準画像を構成する複数の断片画像を用い、原画像から前記対象画像を検出する画像処理方法であって、
コンピュータが、各断片画像と原画像との相関を示す相関値画像を断片画像毎に生成するステップと、
コンピュータが、各相関値画像内において、断片画像に対して高い相関を示す領域が重なるように、各相関値画像を移動させるステップと、
コンピュータが、移動された各相関値画像を重畳して１枚の合成画像とするステップと、
コンピュータが、前記合成画像において、所定の値より相関値が高い領域を検出することにより、前記対象画像を検出するステップとを備えることを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象画像を検出するための基準画像を構成する複数の断片画像を用いて、原画像から対象画像を検出する技術に関するものである。
【背景技術】
【０００２】
顔の画像から瞳の中心や眉間等の所定の位置を検出する場合、まず、眼のおよその領域を検出し、探索範囲を狭める処理を行うことが一般的になされている。そして、眼のおよその領域は、パターンマッチングにより検出されるケースが多い。パターンマッチングは、対象画像を示す所定の基準画像を用い、この基準画像を原画像上でラスタ走査し、相関の高い領域を検出し、原画像から対象画像を抽出する手法である。
【０００３】
かかるパターンマッチングでは、対象画像が基準画像に対して傾いている場合、対象画像を正確に抽出することができないという問題があった。そこで、対象画像が傾いている場合であっても、対象画像を正確に抽出することができる手法として、例えば特許文献１の手法が知られている。
【０００４】
この手法は、対象画像を表す基準画像（認識用モデル）を複数の断片画像（局所パターン）に分解し、原画像と各局所パターンとの相関を求め、原画像から各局所パターンに対する候補点を検出し、検出した各候補点の位置関係から、対象画像に対する認識用モデルの回転角度等を求め、この回転角度等を基に、認識用モデルを変形し、変形した認識用モデルと原画像との相関を求め、原画像から対象画像を抽出する手法である。（特許文献１）。
【特許文献１】特開２００３−２１６９３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の手法では、認識用モデルを変形し、変形した認識用モデルを用いて、再度、原画像との相関を求めるというように、相関を求める処理が原画像に対して２度に亘って行なわれている。
【０００６】
また、特許文献１の手法によれば、ある注目画素を中心とし、画面上向きを０度として時計周りに１周分角度を変化させながら、任意の半径の線分上の画素値を切り出し、横軸を角度軸、縦軸を注目点からの距離軸とした直交座標系上に転記し、極座標を直行変換座標に変換するというような処理を、認識対象画像及び認識基準画像の双方に施し、両画像の相関を求めることにより、対象画像に対する認識用モデルの回転角度が求められている。そのため、特許文献１の手法を用いて、眉間等の位置を検出すると、計算に膨大な時間がかかってしまうという問題があった。
【０００７】
本発明の目的は、基準画像に対して、対象画像が拡大、縮小、回転等されていても、高速、かつ、高精度に対象画像内を検出することができる画像処理プログラム、画像処理装置、及び画像処理方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明にかかる画像処理プログラムは、対象画像を検出するための基準画像を構成する複数の断片画像を用い、原画像から前記対象画像を検出する画像処理プログラムであって、各断片画像と原画像との相関を示す相関値画像を断片画像毎に生成する生成手段と、各相関値画像内において、断片画像に対して高い相関を示す領域が重なるように、各相関値画像を移動させる移動手段と、移動された各相関値画像を重畳して１枚の合成画像とする重畳手段と、前記合成画像において、所定の値より相関値が高い領域を検出することにより、前記対象画像を検出する検出手段としてコンピュータを機能させることを特徴とする。
【０００９】
また、前記移動手段は、前記基準画像に対する各断片画像の相対的な位置関係を基に、各相関値画像内において、対応する断片画像に対して高い相関を示す領域が前記対象画像内の所定の位置に重なるように各相関値画像を移動させ、前記検出手段は、前記対象画像内の所定の位置を検出することが好ましい。
【００１０】
また、前記重畳手段は、移動された各相関値画像に対し、断片画像に対して高い相関を示す領域を拡大する処理を施し、各相関値画像を重畳することが好ましい。
【００１１】
また、前記生成手段は、前記原画像に対してモフォロジ処理を施し、前記相関値画像を生成することが好ましい。
【００１２】
また、前記生成手段は、前記モフォロジ処理を施した画像に対し、更に解像度を低下させる処理を施し、前記相関値画像を生成することが好ましい。
【００１３】
また、前記原画像は人物の顔を含む画像であり、前記基準画像は左右の眼及び眉間を含む領域からなる眼領域画像であり、前記断片画像は、左眼の画像及び右眼の画像であり、前記所定の位置は眉間であり、前記生成手段は、左眼に対して高い相関を示す領域を検出するための左眼相関値フィルタを用いて左眼相関値画像を生成すると共に、右眼に対して高い相関を示す領域を検出するための右眼相関値フィルタを用いて右眼相関値画像を生成し、前記移動手段は、前記眼領域画像に対する前記左眼の画像及び前記右眼の画像の相対的な位置関係を基に、前記左眼相関値画像において左眼に対して高い相関を示す領域と、右眼相関値画像において右眼に対して高い相関を示す領域とが眉間の位置に重なるように、前記左眼相関値画像と前記左眼相関値画像とを移動させることが好ましい。
【００１４】
また、前記重畳手段は、前記移動手段によって移動された前記左眼相関値画像と前記右眼相関値画像とを重畳することで得られる合成画像に対し、眉間を含む一部の領域の相関値を高くする処理を行うことが好ましい。
【００１５】
本発明にかかる画像処理装置は、対象画像を検出するための基準画像を構成する複数の断片画像を用い、原画像から前記対象画像を検出する画像処理装置であって、各断片画像と原画像との相関を示す相関値画像を断片画像毎に生成する生成手段と、各相関値画像内において、断片画像に対して高い相関を示す領域が重なるように、各相関値画像を移動させる移動手段と、移動された各相関値画像を重畳して１枚の合成画像とする重畳手段と、前記合成画像において、所定の値より相関値が高い領域を検出することにより、前記対象画像を検出する検出手段とを備えることを特徴とする。
【００１６】
本発明にかかる画像処理方法は、対象画像を検出するための基準画像を構成する複数の断片画像を用い、原画像から前記対象画像を検出する画像処理方法であって、コンピュータが、各断片画像と原画像との相関を示す相関値画像を断片画像毎に生成するステップと、コンピュータが、各相関値画像内において、断片画像に対して高い相関を示す領域が重なるように、各相関値画像を移動させるステップと、コンピュータが、移動された各相関値画像を重畳して１枚の合成画像とするステップと、コンピュータが、前記合成画像において、所定の値より相関値が高い領域を検出することにより、前記対象画像を検出するステップとを備えることを特徴とする。
【発明の効果】
【００１７】
請求項１、９、１０記載の発明によれば、基準画像を構成する複数の断片画像と原画像との相関を示す相関値画像が断片画像毎に生成される。ここで、断片画像毎に相関値画像が生成されているため、対象画像が基準画像に対して回転、拡大等の変形を起こしている場合、この相関値画像は、基準画像全体と原画像との相関値画像に比べ、対応する断片画像に対して高い相関を示す画像となる。
【００１８】
そして、移動された各相関値画像は重畳され、１枚の合成画像とされ、合成画像において、所定の値よりも相関値が高い領域が検出され、対象画像が検出される。
【００１９】
ここで、全断片画像が、対象画像の対応する断片を検出している場合、すなわち、対象画像が画像中に含まれている場合、各相関値画像は対応する断片画像に対して高い相関を示すため、相関値の高い領域が重なるように各相関値画像を移動させて重畳し、１枚の合成画像にすると、当該合成画像は高い相関を示すこととなる。一方、対象画像が画像中に含まれていない場合、一部の相関値画像は高い相関を示す可能性はあるが、全ての相関値画像が高い相関を示すことは稀であり、合成画像は高い相関を示さないこととなる。
【００２０】
そのため、合成画像から高い相関を示す領域を検出すれば、対象画像を検出することが可能となる。したがって、基準画像に対して、対象画像が拡大、縮小、回転等されていても、高精度に対象画像を検出することができる。さらに、背景技術のように２度に亘って相関を算出するというような複雑な処理が行なわれていないため、対象画像を高速に検出することができる。
【００２１】
請求項２記載の発明によれば、各相関値画像が、対応する断片画像に対して高い相関を示す領域が対象画像内の所定の位置（検出対象位置）に重ね合わさるように移動されている。この移動量は、基準画像内の所定の位置に対する各断片画像の相対的な位置関係に基づいて特定することができる。そして、この移動量分、各相関値画像を移動させれば、必然的に、各相関値画像は、高い相関を示す領域が、検出対象位置において重ね合わせられることとなる。そして、合成画像において、所定の値より高い相関値を有する領域を検出すれば、検出対象位置を検出することが可能となる。
【００２２】
請求項３記載の発明によれば、相関値の高い領域を拡大する処理が施され、各相関値画像が重畳されているため、断片画像が小さく設定されている場合や、基準画像に対する対象画像の変形が大きい場合であっても、相関値の高い領域を精度よく重ね合わせることができる。
【００２３】
請求項４記載の発明によれば、対応する画素データが乗算され、各相関値画像が重畳されているため、相関の高い領域と相関の低い領域との差を顕著に示す合成画像を得ることができ、検出精度を高めることができる。
【００２４】
請求項５記載の発明によれば、対象画像の周辺の画像よりも輝度が低い（又は高い）画像を強調させるモフォロジ処理が、原画像に対して施され、対象画像のテクスチャが強調され、モフォロジ処理が施された原画像から相関値画像が生成されているため、各断片画像と原画像との相関をより正確に示す相関値画像を得ることができる。
【００２５】
請求項６記載の発明によれば、モフォロジ処理が施された原画像に対し、更に解像度を低下させる処理が施されているため、相関値画像を高速に生成することができるとともに、後の処理を簡略化することができる。
【００２６】
請求項７記載の発明によれば、人物の顔画像から左眼に対して高い相関を示す領域を検出するための左眼相関値フィルタと、右眼に対して高い相関を示す領域を検出するための左眼相関値フィルタとを用い、右眼相関値画像と左眼相関値画像とが生成され、両画像が眉間に位置するように移動されるため、顔画像中から眉間の位置を、高速、かつ、高精度に検出することができる。
【００２７】
請求項８記載の発明によれば、眉間付近の相関値を高くする処理が行なわれるため、左眼及び右眼に対する領域と他の領域との相関値の差が顕著となり、眉間をより正確に検出することができる。
【発明を実施するための最良の形態】
【００２８】
（第１実施形態）
図１は、本発明の第１実施形態による画像処理装置のブロック図を示している。本画像処理装置は、本発明にかかる画像処理プログラムがインストールされた通常のコンピュータより構成され、画像メモリ１１、パターン画像記憶部１２、相関値画像生成部１３、移動部１４、重畳部１５、検出部１６、表示制御部１７、及び表示部１８を機能的に備えている。画像メモリ１１は、ＲＡＭ（Random Access Memory）等から構成され、パターン画像記憶部１２は、ハードディスク等の外部記憶装置から構成され、相関値画像生成部１３〜表示制御部１７は、ＣＰＵ(Central Processing Unit)等から構成され、表示部１８は、ＣＲＴ（陰極線管）、液晶パネル、プラズマパネル等の表示装置から構成されている。
【００２９】
画像メモリ１１は、対象画像を含む画像（原画像）の画像データを記憶する。ここで、原画像は、所定行×所定列のマトリックス形式で表現される画素からなる矩形状の画像であり、各画素の画素データは、Ｒ（赤），Ｇ（緑），Ｂ（青）の色成分を含み、各色成分は、例えば０〜２５５の階調で表される。また、原画像は、例えば左下の頂点の座標を原点とし、横方向にｘ軸、縦方向にｙ軸が設定されている。また、各画素の輝度値は、例えば、各画素のＲ，Ｇ，Ｂ値を用いて所定の演算を行なうことにより算出される。本実施形態では、対象画像は三角形の画像である。
【００３０】
パターン画像記憶部１２は、パターンマッチングに使用されるローカルパターン画像を記憶している。ローカルパターン画像は、対象画像であるグローバルパターン画像を構成する画像である。図２は、グローバルパターン画像とローカルパターン画像との関係を示した図面である。グローバルパターン画像ＧＰは、対象画像である三角形である。ローカルパターン画像は、３個のローカルパターン画像ＲＰ１〜ＲＰ３が存在し、それぞれグローバルパターン画像ＧＰの３個の頂点を含む一部の領域からなる画像である。また、パターン画像記憶部１２は、ローカルパターン画像ＲＰ１〜ＲＰ３の中心Ｏ１，Ｏ２，Ｏ３を始点とし、グローバルパターン画像ＧＰの中心Ｏを終点とする差分ベクトルＤ１，Ｄ２，Ｄ３を記憶している。
【００３１】
相関値画像生成部１３は、パターンマッチングにより、パターン画像記憶部１２に記憶されたローカルパターン画像ＲＰ１〜ＲＰ３と原画像とのそれぞれの相関を求め、両画像の相関値を画素データとする３枚の相関値画像Ｃ１，Ｃ２，Ｃ３を生成する。
【００３２】
移動部１４は、相関値画像Ｃ１〜Ｃ３の各画素の座標に差分ベクトルＤ１〜Ｄ３の値を加えることにより、相関値画像Ｃ１〜Ｃ３を差分ベクトルＤ１〜Ｄ３分移動させる。これにより、原画像中に対象画像が含まれている場合、高い相関を示す領域が同じ座標上に位置するように相関値画像Ｃ１〜Ｃ３が移動されることとなる。
【００３３】
重畳部１５は、移動部１４によって移動された相関値画像Ｃ１〜Ｃ３に対して、最大値フィルタを用いたフィルタ処理を実行した後、対応する画素の相関値を乗算することにより相関値画像Ｃ１〜Ｃ３を重畳し、相関値画像Ｃ１〜Ｃ３を１枚の合成画像とする。最大値フィルタを用いたフィルタ処理は、注目画素と、注目画素を取り巻く８個の近傍画素とにおいて、最大の輝度を注目画素の輝度として採用する処理である。
【００３４】
検出部１６は、合成画像において輝度が所定の値より大きな領域を検出し、検出した領域の中心の座標を対象画像である三角形の中心の位置として検出する。
【００３５】
表示制御部１７は、原画像に対し、検出された三角形の中心の位置をマーキングし、表示部１８に表示させる。表示部１８は、表示制御部１７の制御の下、種々の画像を表示する。
【００３６】
本実施形態では、相関値画像生成部１３が生成手段の一例に相当し、移動部１４が移動手段の一例に相当し、重畳部１５が重畳手段の一例に相当し、検出部１６が検出手段の一例に相当する。
【００３７】
次に、図３に示すフローチャートを用いて、本画像処理装置の動作を説明する。まず、ステップＳ１０１において、相関値画像生成部１３は、パターンマッチングにより、原画像から相関値画像Ｃ１〜Ｃ３を抽出する。図４は、本画像処理装置の処理の流れを模式的に示した図面である。この場合、（ａ）に示すように、対象画像である三角形のグローバルパターン画像ＧＰ上、左、及び右側の頂点部分に対応するローカルパターン画像ＲＰ１〜ＲＰ３と、原画像Ｇとに対して、パターンマッチングより、両画像の相関が算出され、（ｂ）に示すローカルパターン画像ＲＰ１〜ＲＰ３に対応する相関値画像Ｃ１〜Ｃ３が生成される。相関値画像Ｃ１〜Ｃ３において、グレー色の矩形状の領域Ｒ１〜Ｒ３は、相関値が高い領域を示している。
【００３８】
すなわち、ローカルパターン画像ＲＰ１は、グローバルパターン画像ＧＰの上側の頂点部分に対応しているため、相関値画像Ｃ１は（ｂ）に示すように、上側の頂点部分に対応する領域の相関値が高くなって現れていることが分かる。同様に、ローカルパターン画像ＲＰ２，ＲＰ３は、それぞれグローバルパターン画像ＧＰの左及び右側の頂点部分に対応しているため、相関値画像Ｃ２，Ｃ３は（ｂ）に示すように、左及び右側の頂点部分に対応する領域Ｒ２，Ｒ３の相関値が高くなって現れていることが分かる。
【００３９】
ステップＳ１０２において、移動部１４は、相関値画像Ｃ１〜Ｃ３を差分ベクトルＤ１〜Ｄ３分移動させる。この場合、（ｃ）に示すように、相関値画像Ｃ１〜Ｃ３は、相関の高い領域Ｒ１〜Ｒ３が、同じ座標に位置するように移動されることとなる。
【００４０】
ステップＳ１０３において、重畳部１５は、移動された相関値画像Ｃ１〜Ｃ３に対し、最大値フィルタを用いたフィルタ処理を施し、領域Ｒ１〜Ｒ３の範囲を大きくする。この場合、（ｄ）に示すように、相関値画像Ｃ１〜Ｃ３において、領域Ｒ１〜Ｒ３の範囲が大きくなっていることが分かる。対象画像が、グローバルパターン画像に対して所定角度回転している場合、拡大若しくは縮小している場合、又は、回転すると共に拡大若しくは縮小している場合、相関値画像Ｃ１〜Ｃ３を差分ベクトルＤ１〜Ｄ３分、移動させても、領域Ｒ１〜Ｒ３が重ならない場合がある。そこで、重畳部１５は、相関値画像Ｃ１〜Ｃ３に対し、最大値フィルタを用いたフィルタ処理を施すことにより、領域Ｒ１〜Ｒ３をより確実に重ね合わせることを実現している。
【００４１】
ステップＳ１０４において、重畳部１５は、対応する画素の相関値を乗算することにより、相関値画像Ｃ１〜Ｃ３を重畳し、１枚の合成画像とする。この場合、（ｅ）に示すように、相関値画像Ｃ１〜Ｃ３が重畳され、１枚の合成画像にされていることが分かる。この合成画像の中心に示された領域Ｒ４は、（ｄ）に示す領域Ｒ１〜Ｒ３よりも濃い色で表示され、領域Ｒ１〜Ｒ３よりも相関が高くなっていることが分かる。
【００４２】
このように、重畳部１５は、対応する画素の相関値を乗算することにより相関値画像Ｃ１〜Ｃ３を１枚の合成画像としているため、相関値画像Ｃ１〜Ｃ３において、相関値が高い領域と、低い領域との差が顕著に表れ、対象画像の抽出精度をより高めることができる。
【００４３】
ステップＳ１０５において、検出部１６は、合成画像に対して相関値が所定の値よりも大きな領域が存在するか否かを検出し、当該領域が存在する場合（ステップＳ１０５でＹＥＳ）、原画像中に対象画像が存在するとして処理をステップＳ１０６に進める。一方、ステップＳ１０５において、合成画像中に相関値が所定の値よりも高い領域が存在しない場合（ステップＳ１０５でＮＯ）、原画像中に対象画像が存在しないとして処理を終了する。
【００４４】
ステップＳ１０６において、検出部１６は、相関値が所定の値よりも高い領域の例えば中心の座標を対象画像の中心の位置として検出する。ステップＳ１０７において、表示制御部１７は、原画像に対し、検出された中心の位置に所定の色を付して、表示部１１０に表示する。このように第１実施形態の画像処理装置によれば、ローカルパターン画像ＲＰ１〜ＲＰ３との相関を示す相関値画像Ｃ１〜Ｃ３が生成され、これらの画像が差分ベクトルＤ１〜Ｄ３分移動され、１枚の合成画像とされている。そのため、グローバルパターン画像ＧＰの中心Ｏに対応する位置で高い相関を示す合成画像が得られ、グローバルパターン画像ＧＰの中心を高速、かつ、高精度に検出することができる。
【００４５】
（第２実施形態）
次に、本発明の第２実施形態による画像処理装置を説明する。第２実施形態による画像処理装置は、以下に示す左及び右眼ローカルパターン画像との相関が高い領域を検出し、人物の眉間の位置を抽出するものである。
【００４６】
図５は、第２実施形態による画像処理装置のブロック構成図を示している。本画像処理装置は、動画像を撮影するカメラと、本発明にかかる画像処理プログラムインストールされた通常のコンピュータから構成され、顔画像取得部１０１、フレームメモリ１０２、モフォロジ処理部１０３、解像度低下処理部１０４、相関値画像生成部１０５、移動部１０６、重畳部１０７、検出部１０８、表示制御部１０９、及び表示部１１０を機能的に備えている。顔画像取得部１０１は、上記カメラから構成され、フレームメモリ１０２は、ＲＡＭ等から構成され、モフォロジ処理部１０３〜表示制御部１０９はＣＰＵ等から構成され、表示部１１０は表示装置から構成されている。
【００４７】
顔画像取得部１０１は、人物の顔の動画像を所定のフレームレート（例えば、１秒あたり３０枚）で取得し、取得した動画像のフレーム画像をデジタルの画像データに変換し、フレームメモリ１０２に出力する。ここで、フレーム画像は、第１実施形態の原画像に相当し、そのデータ構造及び設定される座標軸は、第１実施形態の原画像と同一である。フレームメモリ１０２は、顔画像取得部１０１によって取得された所定枚数のフレーム画像を記憶する。
【００４８】
モフォロジ処理部１０３は、フレーム画像に対し最大値フィルタによるフィルタ処理を施した後、最小値フィルタによるフィルタ処理を施し、得られた画像から対応するフレーム画像を差し引き、モフォロジ画像を生成する。ここで、最小値フィルタを用いたフィルタ処理は、注目画素と、注目画素を取り巻く８個の近傍画素とにおいて、最小の輝度を注目画素の輝度として採用する処理である。
【００４９】
解像度低下処理部１０４は、モフォロジ画像を所定行所定列の画素からなるブロックに区画し、各ブロックの画素データの平均値、中央値等の代表値を、各ブロックの輝度とする解像度低下処理を施し、モフォロジ画像の解像度を低下させる。
【００５０】
相関値画像生成部１０５は、解像度が低下されたモフォロジ画像に対し、左眼相関値フィルタを用いたフィルタ処理を施し、左眼ローカルパターン画像との相関を示す左眼相関値画像を生成する共に、解像度を低下する処理が施されたモフォロジ画像に対し、右眼相関値フィルタを用いたフィルタ処理を施し、右眼ローカルパターン画像との相関を示す右眼相関値画像を生成する。
【００５１】
移動部１０６は、左眼相関値画像において左眼を示す領域と、右眼相関値画像において右眼を示す領域とが眉間の位置に移動されるように、左眼相関値画像と右眼相関値画像とを所定方向に所定距離移動させる。
【００５２】
重畳部１０７は、移動部１０６によって移動された右眼相関値画像と、左眼相関値画像とに対して、最大値フィルタを用いたフィルタ処理を実行した後、対応する画素の相関値を乗算することにより、右眼相関値画像と左眼相関値画像とを重畳し、１枚の合成画像とする。また、重畳部１０７は、合成画像に対して顔中心評価画像を乗算する。
【００５３】
検出部１０８は、合成画像において、輝度が所定の値より高い領域を検出し、当該領域の中心の座標を眉間の座標として検出する。
【００５４】
なお、本実施形態では、モフォロジ処理部１０３、解像度低下処理部１０４、及び相関値画像生成部１０５が生成手段の一例に相当し、移動部１０６が移動手段の一例に相当し、重畳部１０７が重畳手段の一例に相当し、左眼ローカルパターン画像及び右眼ローカルパターン画像が断片画像の一例に相当する。
【００５５】
次に、図６に示すフローチャートを用いて、本画像処理装置の動作について説明する。ステップＳ２０１において、顔画像取得部１０１は、顔画像を取得し、フレームメモリ１０２に記憶させる。本実施形態では、フレーム画像の解像度を、縦×横＝３６０×２４０とする。
【００５６】
ステップＳ２０２において、モフォロジ処理部１０３は、フレームメモリ１０２から１枚のフレーム画像を読み出し、モフォロジ処理を施す。この場合、図７に示すように、眼の輪郭、鼻筋、眉毛、唇等の顔の特徴部分を示す画像がフレーム画像から抽出される。なお、図７において、黒い部分は輝度が高いことを示し、白い部分は輝度が低いことを示している。また、図７は白黒の２色で表示されているが、実際には、濃淡画像である。
【００５７】
ステップＳ２０３において、解像度低下処理部１０４は、モフォロジ画像に対して解像度低下処理を施す。これにより、モフォロジ画像の解像度は、縦×横＝３０×２０とされる。なお、このサイズは、１画素が瞳１個分の大きさになることを想定している。
【００５８】
ステップＳ２０４において、相関値画像生成部１０５は、解像度が低下された相関値画像に対し、左及び右眼相関値フィルタを用いたフィルタ処理を施し左眼相関値画像及び右眼相関値画像を生成する。図８は左及び右眼相関値フィルタを示した図面であり、（ａ）は左眼相関値フィルタを、（ｂ）は右眼相関値フィルタを示している。（ａ）及び（ｂ）を比較すれば分かるように、左及び右眼相関値フィルタは線対称の関係にある。また、左及び右眼相関値フィルタにおいてＰが注目画素である。
【００５９】
相関値画像生成部１０５は、解像度低下処理が施されたモフォロジ画像の各画素を注目画素とし、左及び右眼相関値フィルタを用いて、Ｍａｘ（Ｐ，Ｑ）×５−（Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ）・・・式（１）の演算を行い、各注目画素の相関値を求めることにより、左及び右眼相関値画像を生成する。このフィルタは、周囲に対して輝度が高い領域を検出するフィルタである。
【００６０】
図９は、グローバルパターン画像と左及び右眼ローカルパターン画像とを示した図面であり、（ａ）はグローバルパターン画像を示し、（ｂ）は左及び右眼ローカルパターン画像を示している。グローバルパターン画像ＧＰ及び左及び右眼ローカルパターン画像ＲＰ１，ＲＰ２において、ハッチングが施された四角形からなる領域Ｍ１，Ｍ２は、それぞれ左眼の瞳及び右眼の瞳に対応している。また、グローバルパターン画像ＧＰに示すＯは、グローバルパターン画像の中心を示し、眉間に対応している。また、左及び右眼ローカルパターン画像ＲＰ１，ＲＰ２に示すＯ１，Ｏ２は、左及び右眼の瞳の中心に対応している。
【００６１】
図１０は、顔画像取得部１０１によって取得されるフレーム画像の一例を示した図面であり、（ａ）は顔が傾いていない場合のフレーム画像を示し、（ｂ）は顔が傾いている場合のフレーム画像を示している。
【００６２】
ここで、グローバルパターン画像ＧＰを基準画像とし、パターンマッチングにより、（ａ），（ｂ）に示すフレーム画像から両眼を含む領域Ｒ１を検出し、検出した領域Ｒ１を基に、眉間の位置を検出する処理を考える。（ａ）に示すように、顔が傾いていないフレーム画像に対しては、領域Ｒ１を抽出することができるため、領域Ｒ１から眉間の位置を検出することができる。しかし、（ｂ）に示すように、顔が傾いているフレーム画像から領域Ｒ１を検出することは困難であるため、眉間の位置を検出することはできない。そこで、本画像処理装置は、グローバルパターン画像ＧＰを左及び右眼ローカルパターン画像ＲＰ１，ＲＰ２に分け、両画像を個別に検出することにより、顔が傾いているフレーム画像に対しても眉間の位置を検出することを可能としている。なお、式（１）においてＭＡＸ（Ｐ，Ｑ）の式にＱが含まれているため、顔が傾いている場合における瞳の検出精度がさらに高められている。
【００６３】
図１１は左及び右眼相関値画像の一例を示した図面であり、（ａ）は左眼相関値画像を示し、（ｂ）は右眼相関値画像を示している。（ａ）及び（ｂ）において、色の濃さにより相関値が示され、色が濃いほど相関値が高い。（ａ）に示すように左眼相関値画像では、左眼に対応する領域Ｒ３の相関値が高く算出されていることが分かる。また、（ｂ）に示すように右眼相関値画像では、右眼に対応する領域Ｒ４の相関値が高く算出されていることが分かる。
【００６４】
図６に戻り、ステップＳ２０５において、移動部１０６は、左眼相関値画像の各画素の座標に、図９で示す差分ベクトルＤ１を加えることにより、左眼相関値画像を差分ベクトルＤ１分、移動させると共に、右眼相関値画像の各画素の座標に図９で示す差分ベクトルＤ２を加えることにより、右眼相関値画像を差分ベクトルＤ２分移動させる。なお、差分ベクトルＤ１は、グローバルパターン画像ＧＰの中心Ｏと、領域Ｍ１の中心Ｏ１を始点とし、グローバルパターン画像ＧＰの中心Ｏを終点とするベクトルであり、また、差分ベクトルＤ２は、領域Ｍ２の中心Ｏ２を始点とし、グローバルパターン画像ＧＰの中心Ｏを終点とするベクトルである。ここで、差分ベクトルＤ１，Ｄ２は、グローバルパターン画像ＧＰに対する左及び右眼ローカルパターン画像ＲＰ１，ＲＰ２の相対的な位置関係によって決定することができるため、差分ベクトルＤ１，Ｄ２は予め記憶装置に記憶されている。
【００６５】
図１２は、移動部１０６によって移動された左及び右眼相関値画像を示す図面であり、（ａ）は左眼相関値画像を示し、（ｂ）は右眼相関値画像を示している。（ａ）に示すように、左眼を示す領域Ｒ３が眉間に相当する位置に移動されていることが分かる。また、（ｂ）に示すように、右眼を示す領域Ｒ４が眉間に相当する位置に移動されていることが分かる。
【００６６】
図６に戻り、ステップＳ２０６において、重畳部１０７は、差分ベクトルＤ１移動された左眼相関値画像と差分ベクトルＤ２移動された右眼相関値画像とに対して最大値フィルタによるフィルタ処理を施す。図１３は最大値フィルタによる処理結果を示す図面であり、（ａ）は最大値フィルタによるフィルタ処理を施された左眼相関値画像を示し、（ｂ）は最大値フィルタによるフィルタ処理が施された右眼相関値画像を示している。図１３（ａ）、（ｂ）に示すように、図１２（ａ）、（ｂ）において、左及び右眼を示す領域Ｒ３，Ｒ４の範囲が大きくなり領域Ｒ５，Ｒ６とされ、左及び右眼を示す領域Ｒ３，Ｒ４がより確実に重なるようにされていることが分かる。
【００６７】
図６に戻り、ステップＳ２０７において、重畳部１０７は、左及び右相関値画像の対応する画素の相関値を乗算して両画像を重畳し、１枚の合成画像を生成し、この合成画像に対し顔中心評価画像を乗算し（ステップＳ２０８）、合成画像中の眉間に相当する位置付近の相関値をより高くする処理を行う。これにより、左及び右眼を示す画像以外の画像との相関値の差が顕著に表れることとなる。
【００６８】
図１４は、顔中心評価画像を示した図面である。図１４に示すように、顔中心評価画像は、長軸が縦方向に平行に設定された楕円状の画像であり、色が濃くなるにつれて輝度が高くなっている。この楕円は、顔の形を想定しており、眉間に相当する位置の輝度が最大であり、周囲から眉間に相当する位置に向かうにつれて輝度が高くなっている。図１５は、顔中心評価画像によるフィルタ処理が施された合成画像を示した図面である。図１５に示すように、左及び右眼に対応する画像以外の画像が除去されていることが分かる。
【００６９】
ステップＳ２０９において、検出部１０８は、顔中心評価画像によるフィルタ処理が施された合成画像において、相関値が所定の値よりも高い領域が存在するか否かを判定し、所定の値よりも大きい領域が存在する場合（ステップＳ２０９でＹＥＳ）、検出した領域の中心の位置を眉間の位置として検出する（ステップＳ２１０）。一方、相関値が所定の値よりも大きな領域を検出することができなかった場合（ステップＳ２０９でＮＯ）、フレーム画像に顔画像は含まれていないとして、処理をステップＳ２１２に進める。なお、検出部１０８は、相関値が高い領域を複数検出した場合、フレーム画像に顔画像は含まれていないとして処理をステップＳ２１２に進める、あるいは、輝度の平均値が最大の領域の中心を眉間の位置とする。
【００７０】
ステップＳ２１１において、表示制御部１０９は、検出した眉間の位置を対応するフレーム画像上にマーキングし、表示部１１０に表示する。全てのフレーム画像に対する処理が終了していない場合（ステップＳ２１２でＮＯ）、モフォロジ処理部１０３は、次のフレーム画像を読み出し（ステップＳ２１３）、処理をステップＳ２０２に戻す。一方、全てのフレーム画像に対する処理が終了している場合（ステップＳ２１２でＹＥＳ）、処理が終了される。
【００７１】
このように、本画像処理装置によれば、左及び右相関値フィルタによるフィルタ処理により左及び右眼ローカルパターン画像ＲＰ１，ＲＰ２に対する相関を示す左及び右相関値画像が生成されている。これにより、グローバルパターン画像ＧＰ全体との相関を示す画像を生成する場合に比べて、顔画像が回転、拡大、縮小等の変形を起こしている場合であっても、高い相関を示す相関値画像を得ることができる。そして、両画像が差分ベクトルＤ１，Ｄ２移動され、最大値フィルタによるフィルタ処理が施され、重畳されている。これにより、顔画像が上記変形を起こしている場合であっても、眉間に相当する位置において高い相関を示す合成画像を得ることができる。そのため、眉間の位置を高速、かつ、高精度に検出することができる。
【００７２】
なお、第２実施形態では、眉間の位置を検出することを目的としているが、検出した眉間の位置を基に、顔画像中の左及び右眼のそれぞれを含むおよその領域を設定してもよい。これにより、顔画像から左及び右眼のおよその領域を設定し、設定した領域から左及び右眼のエッジを検出する処理の前処理とし本発明を用いることができる。また、検出した眉間の位置を基に、顔画像中の他の顔部品を検出する処理を実行し、検出した顔部品を基に、顔画像に仮想的に化粧を施す化粧シミュレーション装置に本発明を適用してもよい。
【００７３】
なお、上記実施形態では、特に示さなかったが、本発明にかかる画像処理プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ等のコンピュータ読み取り可能な記録媒体に記録して販売してもよい。この場合、ユーザは、記録媒体を購入し、コンピュータに画像処理プログラムをインストールすればよい。また、画像処理プログラムをインターネット上のＷＥＢサーバに記憶させ、インターネットを介してダウンロードすることにより、コンピュータに画像処理プログラムをインストールさせてもよい。
【００７４】
また、上記実施形態では、対象画像内の所定の位置を検出していたが、これに限定されず、対象画像の存在の有無を検出し、処理を終了させてもよい。この場合、移動部１４，１０６は、検出対象となる位置において、高い相関を示す領域が重なるように、各相関値画像を移動させる必要はなく、原画像の所定の位置において、高い相関を示す領域が重なるように各相関値画像を移動させればよい。そして、検出部１６，１０８は、合成画像において、所定の値よりも相関が高い領域が存在すれば、原画像中に対象画像が存在すると判定すればよい。
【図面の簡単な説明】
【００７５】
【図１】本発明の第１実施形態による画像処理装置のブロック図を示している。
【図２】本実施形態に使用されるグローバルパターン画像とローカルパターン画像とを示した図面である。
【図３】本発明の第１実施形態による画像処理装置の動作を示したフローチャートである。
【図４】本画像処理装置の処理の流れを模式的に示した図面である。
【図５】第２実施形態による画像処理装置のブロック構成図を示している。
【図６】第２実施形態による画像処理装置の動作について説明する。
【図７】モフォロジ画像を示した図面である。
【図８】左及び右眼相関値フィルタを示した図面であり、（ａ）は左眼相関値フィルタを、（ｂ）は右眼相関値フィルタを示している。
【図９】グローバルパターン画像と左及び右眼ローカルパターン画像とを示した図面であり、（ａ）はグローバルパターン画像を示し、（ｂ）は左及び右眼ローカルパターン画像を示している。
【図１０】フレーム画像の一例を示す図面であり、（ａ）は顔が傾いていない場合のフレーム画像を示し、（ｂ）は顔が傾いている場合のフレーム画像を示している。
【図１１】左及び右眼相関値画像の一例を示した図面であり、（ａ）は左眼相関値画像を示し、（ｂ）は右眼相関値画像を示している。
【図１２】移動された左及び右眼相関値画像を示す図面であり、（ａ）左眼相関値画像を示し、（ｂ）は右眼相関値画像を示している。
【図１３】最大値フィルタによる処理結果を示す図面であり、（ａ）は最大値フィルタによるフィルタ処理を施された左眼相関値画像を示し、（ｂ）は最大値フィルタによるフィルタ処理が施された右眼相関値画像を示している。
【図１４】顔中心評価画像を示した図面である。
【図１５】顔中心評価画像によるフィルタ処理が施された合成画像を示した図面である。
【符号の説明】
【００７６】
１１  画像メモリ
１２  パターン画像記憶部
１３  相関値画像生成部
１４  移動部
１５  重畳部
１６  検出部
１７  表示制御部
１８  表示部
１０１  顔画像取得部
１０２  フレームメモリ
１０３  モフォロジ処理部
１０４  解像度低下処理部
１０５  相関値画像生成部
１０６  移動部
１０７  重畳部
１０８  検出部
１０９  表示制御部
１１０  表示部
【図１】
2006004051.tif 000003
【図２】
2006004051.tif 000004
【図３】
2006004051.tif 000005
【図４】
2006004051.tif 000006
【図５】
2006004051.tif 000007
【図６】
2006004051.tif 000008
【図７】
2006004051.tif 000009
【図８】
2006004051.tif 000010
【図９】
2006004051.tif 000011
【図１０】
2006004051.tif 000012
【図１１】
2006004051.tif 000013
【図１２】
2006004051.tif 000014
【図１３】
2006004051.tif 000015
【図１４】
2006004051.tif 000016
【図１５】
2006004051.tif 000017