(57)【特許請求の範囲】
【請求項１】
顔画像から顔の部品の端点の候補となる候補点を抽出する候補点抽出部と、
前記候補点の明度と該候補点周辺の画素の明度とを比較し、前記候補点を基準として、前記候補点の明度よりも明度が明るい画素が所定数以上連続する画素群が位置する方向を前記候補点の特徴として算出し、算出した各候補点の特徴の組み合わせと各候補点の位置関係とを基にして、顔の部品の端点に対応する特徴点を判定する特徴点判定部と
を備えたことを特徴とする特徴点判定装置。
【請求項２】
前記特徴点判定部は、前記候補点の特徴の組み合わせとして、各候補点と、当該候補点の周辺の画素の画素値の大小関係に基づく方向の組み合わせを用いて、前記特徴点を判定することを特徴とする請求項１に記載の特徴点判定装置。
【請求項３】
前記特徴点判定部は、前記端点の組の位置関係および各端点の特徴の組み合わせと、候補点の組の位置関係および各候補点の特徴の組み合わせとを基にして、端点の位置関係および所定の組み合わせに適合する候補点の組を特徴点として判定することを特徴とする請求項１または２に記載の特徴点判定装置。
【請求項４】
特徴点判定装置が、
顔画像から顔の部品の端点の候補となる候補点を抽出し、
前記候補点の明度と該候補点周辺の画素の明度とを比較し、前記候補点を基準として、前記候補点の明度よりも明度が明るい画素が所定数以上連続する画素群が位置する方向を前記候補点の特徴として算出し、算出した各候補点の特徴の組み合わせと各候補点の位置関係とを基にして、顔の部品の端点に対応する特徴点を判定する
ことを特徴とする特徴点判定方法。
【請求項５】
コンピュータに、
顔画像から顔の部品の端点の候補となる候補点を抽出し、
前記候補点の明度と該候補点周辺の画素の明度とを比較し、前記候補点を基準として、前記候補点の明度よりも明度が明るい画素が所定数以上連続する画素群が位置する方向を前記候補点の特徴として算出し、算出した各候補点の特徴の組み合わせと各候補点の位置関係とを基にして、顔の部品の端点に対応する特徴点を判定する
処理を実行させることを特徴とする特徴点判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特徴点判定装置、特徴点判定方法および特徴点判定プログラムに関する。
【背景技術】
【０００２】
人物の顔画像を解析し、顔の属性を認識する顔属性認識技術が知られている。この顔属性認識技術によって認識することができる顔の属性には、顔の表情や視線などが含まれる。このため、かかる顔属性認識技術を撮影機器などに適用することで、人物の表情が特定の表情になった瞬間の画像や、人物が特定の方向に視線を移した瞬間の画像を容易に撮影することが可能となる。
【０００３】
ここで、従来の顔属性認識技術では、顔画像に含まれる顔の部品の特徴点を複数抽出し、抽出した各特徴点を用いて顔の属性を認識している。特に、顔の目頭、目尻、口の両端などの端点は、顔の属性を顕著に表現する特徴点であるため、かかる特徴点を適切に抽出することが顔の属性を正確に認識するうえで重要となる。
【０００４】
これに対して、顔画像を解析し、特徴点を解析すると、上記端点だけが抽出されることは稀であり、他に余分な特徴点が多数含まれてしまう場合がほとんどである。このため、従来技術では、顔の各端点の組に所定の位置関係があることに着目し、この位置関係を利用して、顔画像から抽出された特徴点から、端点に対応する特徴点を絞り込んでいる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−２４２５０９号公報
【特許文献２】特開２００９−２１１１７７号公報
【特許文献３】特開２００８−３７４９号公報
【特許文献４】特開２００８−２６２２８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来の技術では、顔の皺や髪、照明などの影響により、顔の端点を絞り込むことができず、顔の部分の特徴点を正確に抽出することができないという問題があった。これは、皺や髪、照明などの影響により、各端点の組の位置関係に類似する特徴点の組がいくつも顔画像から抽出されてしまい、各特徴点の位置関係を利用して特徴点を絞り込んだとしても、端点以外の特徴点が抽出されてしまうためである。
【０００７】
開示の技術は、上記に鑑みてなされたものであって、顔の部品の特徴点を正確に抽出することができる特徴点判定装置、特徴点判定方法および特徴点判定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本願の開示する特徴点判定装置は、一つの態様において、顔画像から顔の部品の端点の候補となる候補点を抽出する候補点抽出部と、前記候補点抽出部によって抽出された候補点の特徴の所定の組み合わせと候補点の位置関係とに基づいて、顔の部品の端点に対応する特徴点を判定する特徴点判定部とを備えたことを要件とする。
【発明の効果】
【０００９】
本願の開示する特徴点判定装置の一つの態様によれば、顔の部品の特徴点を正確に抽出することができるという効果を奏する。
【図面の簡単な説明】
【００１０】
【図１】図１は、本実施例にかかる特徴点判定装置の構成を示す図である。
【図２】図２は、部品の各端点の位置関係を示す図である。
【図３】図３は、位置関係データのデータ構造の一例を示す図である。
【図４】図４は、候補点判定処理部が候補点を判定する処理を説明するための図である。
【図５Ａ】図５Ａは、第１の特徴点および第２の特徴点に分類する処理を説明するための図である。
【図５Ｂ】図５Ｂは、第１の特徴点および第２の特徴点に分類する処理を説明するための図である。
【図６】図６は、本実施例にかかる特徴点判定装置の処理手順を示すフローチャートである。
【図７】図７は、候補点判定処理の処理手順を示すフローチャートである。
【図８】図８は、特徴量算出処理の処理手順を示すフローチャートである。
【図９】図９は、特徴点判定処理の処理手順を示すフローチャートである。
【図１０Ａ】図１０Ａは、第３の特徴点および第４の特徴点に分類する処理を説明するための図である。
【図１０Ｂ】図１０Ｂは、第３の特徴点および第４の特徴点に分類する処理を説明するための図である。
【図１１】図１１は、本実施例にかかる特徴点判定装置を構成するコンピュータのハードウェア構成を示す図である。
【発明を実施するための形態】
【００１１】
以下に、本願の開示する特徴点判定装置、特徴点判定方法および特徴点判定プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例】
【００１２】
本実施例にかかる特徴点判定装置の構成の一例について説明する。図１は、本実施例にかかる特徴点判定装置の構成を示す図である。図１に示すように、この特徴点判定装置１００は、画像入力部１１０ａ、入力部１１０ｂ、出力部１２０、記憶部１３０、制御部１４０を有する。
【００１３】
画像入力部１１０ａは、カメラ等の撮像装置に接続され、撮像装置から画像データの入力を受け付ける処理部である。画像入力部１１０ａは、画像データを顔検出処理部１４１に出力する。入力部１１０ｂは、キーボードやマウスなどに対応する入力装置である。出力部１２０は、ディスプレイやモニタなどに対応する処理部である。
【００１４】
記憶部１３０は、位置関係データ１３１を有する。この位置関係データ１３１は、顔の部品毎に、部品の各端点の位置関係と、各端点の特徴の配列パターンとを対応付けて記憶する。ここで、各端点の位置関係、端点の特徴、特徴の配列パターンについて順に説明する。
【００１５】
図２は、部品の各端点の位置関係を示す図である。一例として、図２に示す端点１ａ〜１ｄは、目頭、目尻に対応する端点を示している。例えば、端点１ａは右目の目尻、端点１ｂは右目の目頭、端点１ｃは左目の目頭、端点１ｄは左目の目尻にそれぞれ対応する。ここで、部品の各端点の位置関係とは、端点間の距離に対応する。すなわち、部品「目」の各端点の位置関係とは、端点１ａと１ｂとの距離２ａ、端点１ｂと１ｃとの距離２ｂ、端点１ｃと１ｄとの距離２ｃとなる。目以外の顔の部品となる鼻や口の各端点の位置関係も、目の場合と同様に、端点間の距離となる。
【００１６】
端点の特徴は、端点の近隣画素の明度に基づいて、第１の特徴または第２の特徴に分類される。具体的には、端点を原点とするｘ、ｙ座標系において、端点の明度よりも明るい明度を有する近隣画素がｘ座標のプラス側よりもマイナス側に偏っている場合には、この端点の特徴は、第１の特徴となる。これに対して、端点を原点とするｘ、ｙ座標系において、端点の明度よりも明るい明度を有する近隣画素がｘ座標のマイナス側よりもプラス側に偏っている場合には、この端点の特徴は、第２の特徴となる。
【００１７】
特徴の配列パターンは、各端点が顔の部品に応じて、どのような特徴の組み合わせで並んでいるのかを定義するパターンである。例えば、部品「目」の端点は４つであり、特徴の配列パターンは、画像データ左側から順に「第１の特徴、第２の特徴、第１の特徴、第２の特徴」となる。部品「鼻」の端点は４つであり、特徴の配列パターンは、画像データ左側から順に「第１の特徴、第２の特徴、第１の特徴、第２の特徴」となる。部品「口」の端点は２つであり、特徴の配列パターンは、画像データ左側から順に「第１の特徴、第２の特徴」となる。
【００１８】
図３は、位置関係データのデータ構造の一例を示す図である。図３に示すように、この位置関係データ１３１は、部品識別情報と位置関係情報と配列パターンとを対応付けて記憶する。このうち、部品識別情報は、顔の部品を識別する情報である。位置関係情報は、図２を用いて説明した部品の各端点の位置関係に対応する情報である。配列パターンは、上述した部品毎の特徴の配列パターンに対応する情報である。
【００１９】
制御部１４０は、顔検出処理部１４１、顔部品領域検出処理部１４２、候補点判定処理部１４３、特徴量算出処理部１４４、特徴点判定処理部１４５を有する。
【００２０】
顔検出処理部１４１は、画像データから人物の顔が存在する領域を検出し、顔の存在する領域を画像データから切り出す処理部である。例えば、顔検出処理部１４１は、人物の顔の特徴を含むパターンを保持しており、このパターンと画像データとをマッチングさせることで、画像データから顔が存在する領域を判定する。そして、顔検出処理部１４１は、顔が存在する領域を画像データから切り出し、切り出した顔の画像データを顔部品領域検出処理部１４２に出力する。
【００２１】
顔部品領域検出処理部１４２は、画像データから顔の部品が存在する領域を検出する処理部である。例えば、顔部品領域検出処理部１４２は、顔の部品の特徴を含むパターンを保持しており、このパターンと画像データとをマッチングさせることで、顔の部品が存在する画像データの領域を判定する。例えば、顔部品領域検出処理部１４２が用いる各パターンには、目、鼻、口等の特徴を示すパターンが含まれる。顔部品領域検出処理部１４２は、顔の部品の識別情報とこの部品が存在する領域の座標とを対応付けた情報、および、画像データを候補点判定処理部１４３に出力する。
【００２２】
候補点判定処理部１４３は、顔の所定の部品が含まれる画像データから、部品の端点の候補となる候補点を判定する処理部である。候補点判定処理部１４３は、コーナー検出方法（ＦＡＳＴ）などの周知の技術を利用して候補点を判定する。
【００２３】
ここで、候補点判定処理部１４３が実行するコーナー検出方法の一例について説明する。候補点判定処理部１４３は、顔の部品が存在する領域内の１画素を中心画素として設定し、中心画素を囲む所定数の画素を近隣画素として設定する。候補点判定処理部１４３は、中心画素および近隣画素の明度をそれぞれ算出し、近隣画素のうち中心画素より明るい画素が連続する画素のグループを取得する。候補点判定処理部１４３は、取得した各グループの画素数を計数し、計数した画素数が最も多いグループをグループＡとする。候補点判定処理部１４３は、グループＡの画素数が所定の閾値内であるか否かを判定することで、中心画素が候補点であるか否かを判定する。候補点判定処理部１４３は、顔の部品が存在する領域内の全画素について同様の処理を実行することで、画像データから候補点を判定する。なお、候補点判定処理部１４３は、候補点を検出した場合に、候補点と、グループＡの情報とを対応付けて保持しておく。例えば、このグループＡの情報には、近隣画素の座標情報が含まれる。
【００２４】
図４は、候補点判定処理部が候補点を判定する処理を説明するための図である。図４に示すように、候補点判定処理部１４３は、処理対象である中心画素３ａと２０画素の近隣画素を設定する。候補点判定処理部１４３は、中心画素３ａと近隣画素の明度を算出し、近隣画素を中心画素３ａより明るい近隣画素３ｂと中心画素３ａより暗い近隣画素３ｃとに分ける。図４の例では、近隣画素３ｂが１１画素であり、近隣画素３ｃが９画素である。候補点判定処理部１４３は、近隣画素３ｂが連続する画素のグループ４ａが７画素であり、グループ４ｂが３画素であるので、画素数が多いグループ４ａをグループＡとする。候補点判定処理部１４３は、グループ４ａの画素数が所定の閾値範囲に含まれる場合に、中心画素３ａを候補点として判定する。例えば、候補点判定処理部１４３は、全近隣画素数が「２０画素」の場合には、グループＡに含まれる近隣画素３ｂの数が「６〜１６画素」の場合に、中心画素３ａを候補点として判定する。なお、閾値については、この例示に限るものではなく、特徴点判定装置１００を利用する者が任意の値に設定して良い。例えば、目頭や目尻、口角などの端点ごとに適した値を設定して良い。
【００２５】
特徴量算出処理部１４４は、顔の部品の端点のうち一部の端点が有する特徴量を候補点ごとに算出し、算出した特徴量を用いて候補点を分類する処理部である。例えば、特徴量算出処理部１４４は、候補点に対応するグループＡに基づいて、候補点を第１の特徴点または第２の特徴点に分類する。
【００２６】
図５Ａおよび図５Ｂは、第１の特徴点および第２の特徴点に分類する処理を説明するための図である。まず、特徴量算出処理部１４４は、候補点５ａの位置座標と、グループＡの近隣画素５ｂの位置座標とを比較する。そして、特徴量算出処理部１４４は、候補点５ａを原点とするｘ、ｙ座標系においてｘ軸のマイナス側に存在する近隣画素５ｂの数を計数する。特徴量算出処理部１４４は、計数した近隣画素５ｂの数が閾値以上の場合には、候補点５ａを第１の特徴点とする。これに対して、特徴量算出処理部１４４は、計数した近隣画素５ｂの数が閾値未満の場合には、候補点５ａを第２の特徴点とする。ここで比較される閾値は、例えば、「５」とする。なお、閾値については、この例示に限るものではなく、特徴点判定装置１００を利用する者が任意の値に設定して良い。
【００２７】
図５Ａに示す例では、ｘ軸のマイナス側に存在する近隣画素５ｂの数は「９」である。このため、特徴量算出処理部１４４は、候補点５ａを第１の特徴点に分類する。図５Ｂに示す例では、ｘ軸のマイナス側に存在する近隣画素５ｂの数は「２」である。このため、特徴量算出処理部１４４は、候補点５ａを第２の特徴点に分類する。
【００２８】
特徴点判定処理部１４５は、抽出した候補点の位置関係、および、候補点の特徴の配列パターンに基づいて、部品の端点に対応する特徴点を判定する。そして、特徴点判定処理部１４５は、判定結果を出力部１２０に出力する。
【００２９】
なお、特徴点判定処理部１４５は、候補点を第１の特徴点または第２の特徴点に分類した後に、所定の距離内に存在する同一の特徴の候補点をそれぞれ統合する。そして、特徴点判定処理部１４５は、位置関係データ１３１を基にして、検出対象となる部品に応じた配列パターンとなる候補点の組を選択する。
【００３０】
検出対象となる部品が「目」の場合には、配列パターンは、「第１の特徴、第２の特徴、第１の特徴、第２の特徴」となる。このため、特徴点判定処理部１４５は、画像データ左側から順に、第１の特徴点、第２の特徴点、第１の特徴点、第２の特徴点となる組の候補点を特定する。
【００３１】
検出対象となる部品が「鼻」の場合には、配列パターンは、「第１の特徴、第２の特徴、第１の特徴、第２の特徴」となる。このため、特徴点判定処理部１４５は、画像データ左側から順に、第１の特徴点、第２の特徴点、第１の特徴点、第２の特徴点となる組の候補点を特定する。
【００３２】
検出対象となる部品が「口」の場合には、配列パターンは、「第１の特徴、第２の特徴」となる。このため、特徴点判定処理部１４５は、画像データ左側から順に、第１の特徴点、第２の特徴点となる組の候補点を特定する。
【００３３】
特徴点判定処理部１４５は、配列パターンに該当する候補点の組を選択した後に、各候補点の位置関係と位置関係データ１３１とを比較して、各候補点間の距離が、端点間の距離に該当する候補点の組を特徴点として判定する。
【００３４】
特徴点判定処理部１４５は、判定結果を出力部１２０に出力する。特徴点判定処理部１４５は、特徴点の位置座標を出力部１２０に出力しても良いし、画像データに特徴点をプロットして出力部１２０に出力しても良い。
【００３５】
なお、特徴点判定処理部１４５の検出対象となる部品は、特徴点判定装置１００を利用する者によって予め指定されても良い。
【００３６】
次に、本実施例にかかる特徴点判定装置１００の処理手順について説明する。図６は、本実施例にかかる特徴点判定装置の処理手順を示すフローチャートである。例えば、図６に示す処理は、特徴点判定装置１００が、画像入力部１１０ａから画像データを取得したことを契機として実行される。
【００３７】
図６に示すように、特徴点判定装置１００は、画像データを取得し（ステップＳ１０１）、画像データから顔を検出する（ステップＳ１０２）。特徴点判定装置１００は、顔を検出した画像データから顔の部品が存在する領域を検出し（ステップＳ１０３）、候補点判定処理を実行する（ステップＳ１０４）。そして、特徴点判定装置１００は、特徴量算出処理を実行し（ステップＳ１０５）、特徴点判定処理を実行する（ステップＳ１０６）。
【００３８】
次に、図６のステップＳ１０４に示した候補点判定処理について説明する。図７は、候補点判定処理の処理手順を示すフローチャートである。図７に示すように、特徴点判定装置１００は、顔の部品が存在する領域内の一画素を中心画素として選択し（ステップＳ２０１）、中心画素と近隣画素との明度を算出する（ステップＳ２０２）。特徴点判定装置１００は、近隣画素のうち中心画素より明るい画素が連続する画素のグループを取得し（ステップＳ２０３）、取得した各グループの画素数を計数する（ステップＳ２０４）。
【００３９】
特徴点判定装置１００は、計数した画素数が最も多いグループをグループＡとして取得する（ステップＳ２０５）。特徴点判定装置１００は、グループＡの画素数が所定の閾値範囲に含まれない場合には（ステップＳ２０６，Ｎｏ）、ステップＳ２０１に移行する。
【００４０】
一方、特徴点判定装置１００は、グループＡの画素数が所定の閾値範囲に含まれる場合には（ステップＳ２０６，Ｙｅｓ）、中心画素を候補点として判定する（ステップＳ２０７）。特徴点判定装置１００は、顔の部品が存在する領域内の全ての画素について処理が終了していない場合には（ステップＳ２０８，Ｎｏ）、ステップＳ２０１に移行する。一方、特徴点判定装置１００は、顔の部品が存在する領域内の全ての画素について処理が終了した場合には（ステップＳ２０８，Ｙｅｓ）、処理を終了する。
【００４１】
次に、図６のステップＳ１０５に示した特徴量算出処理について説明する。図８は、特徴量算出処理の処理手順を示すフローチャートである。図８に示すように、特徴点判定装置１００は、候補点のうち一つを選択し（ステップＳ３０１）、候補点の位置座標と、グループＡの近隣画素の位置座標とを比較する（ステップＳ３０２）。
【００４２】
特徴点判定装置１００は、候補点を原点とするｘ、ｙ座標系においてｘ軸のマイナス側に存在する近隣画素の数を計数する（ステップＳ３０３）。特徴点判定装置１００は、計数した近隣画素の数が閾値以上の場合には（ステップＳ３０４，Ｙｅｓ）、候補点を第１の特徴点と判定する（ステップＳ３０５）。
【００４３】
一方、特徴点判定装置１００は、計数した近隣画素の数が閾値未満の場合には（ステップＳ３０４，Ｎｏ）、候補点を第２の特徴点と判定する（ステップＳ３０６）。特徴点判定装置１００は、全ての候補点について処理が終了していない場合には（ステップＳ３０７，Ｎｏ）、ステップ３０１に移行する。一方、特徴点判定装置１００は、全ての候補点について処理が終了した場合には（ステップＳ３０７，Ｙｅｓ）、処理を終了する。
【００４４】
次に、図６のステップＳ１０６に示した特徴点判定処理について説明する。図９は、特徴点判定処理の処理手順を示すフローチャートである。図９に示すように、特徴点判定装置１００は、所定の距離内に存在する同一の特徴の候補点をそれぞれ統合し（ステップＳ４０１）、位置関係データ１３１を基にして、検出対象となる部品に応じた配列パターンとなる候補点の組を選択する（ステップＳ４０２）。
【００４５】
特徴点判定装置１００は、各候補点の位置関係と位置関係データ１３１とを比較して、各候補点間の距離が、端点間の距離に該当する候補点の組を特徴点として判定する（ステップＳ４０３）。
【００４６】
なお、上記の処理手順は、上記の順番に限定されるものではなく、処理内容を矛盾させない範囲で適宜変更されても良い。例えば、上記の処理手順では、全ての候補点を判定した後に各候補点の特徴量を算出すると説明したが、候補点を１つ判定するごとに特徴量を算出しても良い。具体的には、特徴量を算出する処理であるステップＳ３０２〜ステップＳ３０７の処理は、候補点を判定する処理であるステップＳ２０７の処理の後に実行されても良い。
【００４７】
次に、本実施例にかかる特徴点判定装置１００の効果について説明する。通常、顔の部品の各端点は、所定の位置関係を有しているだけではなく、それぞれ固有の特徴を有しており、この特徴の組み合わせは部品毎に固有のものとなる。これに対して、皺や髪、照明などの影響により顔画像から抽出された各点の組は、各端点の組の位置関係に類似する場合はあるものの、それぞれの特徴の組み合わせは、端点の特徴の組み合わせに適合することはない。このため、候補点の組の位置関係だけでなく、候補点の特徴の組み合わせを利用することで、特徴点判定装置１００は、各端点の位置関係に類似する候補点の組がいくつも顔画像から抽出されたとしても、正確に端点に対応する特徴点を判定することができる。
【００４８】
また、本実施例にかかる特徴点判定装置１００は、候補点の明度と候補点周辺の画素の明度とを比較し、候補点を基準として、候補点の明度よりも明度が明るい画素が所定数以上連続する画素群が位置する方向を候補点の特徴として算出する。このため、特徴点判定装置１００は、各候補点の特徴を適切に分類できるので、端点の特徴の組み合わせに適合する候補点を正確に特定できる。
【００４９】
なお、図１に示した記憶部１３０は、例えば、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）、フラッシュメモリ（Flash  Memory）などの半導体メモリ素子、ハードディスクや光ディスクなどの記憶装置に対応する。また、図１に示した制御部１４０は、例えば、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）などの集積装置に対応する。または、制御部１４０は、例えば、ＣＰＵ（Central  Processing  Unit）やＭＰＵ（Micro  Processing  Unit）などの電子回路に対応する。
【００５０】
ところで、図１に示した特徴点判定装置１００の構成は一例であり、特徴点判定装置１００は、必ずしも図１に示した各処理部を全て有していなくても良い。例えば、特徴点判定装置１００は、候補点抽出部と、特徴点判定部の機能を有していれば良い。
【００５１】
このうち、候補点抽出部は、顔の画像データから顔の部品の端点の候補となる候補点を抽出する処理部であり、候補点判定処理部１４３に対応する。また、特徴点判定部は、候補点の特徴の所定の組み合わせと候補点の位置関係とに基づいて、顔の部品の端点の組に対応する特徴点を判定する処理部である。この特徴点判定部は、特徴量算出処理部１４４と特徴点判定処理部１４５とを組み合わせたものに対応する。
【００５２】
また、図１に示した特徴量算出処理部１４４は、必ずしも上述の如く候補点を第１の特徴点および第２の特徴点に分類することを要しない。特徴量算出処理部１４４は、候補点を原点とするｘ、ｙ座標系において、候補点の明度よりも明るい明度を有する近隣画素がｙ座標のプラス側に偏っているか否かによって、候補点を第３の特徴点および第４の特徴点に分類しても良い。
【００５３】
図１０Ａおよび図１０Ｂは、第３の特徴点および第４の特徴点に分類する処理を説明するための図である。特徴量算出処理部１４４は、候補点６ａの位置座標と、グループ７ａの近隣画素６ｂの位置座標とを比較する。そして、特徴量算出処理部１４４は、候補点６ａを原点とするｘ、ｙ座標系においてｙ軸のプラス側に存在する近隣画素６ｂの数を計数する。特徴量算出処理部１４４は、計数した近隣画素６ｂの数が閾値以上の場合には、候補点６ａを第３の特徴点とする。これに対して、特徴量算出処理部１４４は、計数した近隣画素６ｂの数が閾値未満の場合には、候補点６ａを第４の特徴点とする。ここで比較される閾値は、例えば、「５」とする。なお、閾値については、この例示に限るものではなく、特徴点判定装置１００を利用する者が任意の値に設定して良い。
【００５４】
図１０Ａに示す例では、ｙ軸のプラス側に存在する近隣画素６ｂの数は「９」である。このため、特徴量算出処理部１４４は、候補点６ａを第３の特徴点に分類する。図１０Ｂに示す例では、ｙ軸のプラス側に存在する近隣画素６ｂの数は「３」である。このため、特徴量算出処理部１４４は、候補点６ａを第４の特徴点に分類する。
【００５５】
このように、候補点を第３の特徴点および第４の特徴点に分類する場合、図３に示した位置関係データ１３１が記憶する配列パターンは、第３の特徴および／または第４の特徴の組み合わせの配列パターンに対応する情報である。この第３の特徴は、端点を原点とするｘ、ｙ座標系において、端点の明度よりも明るい明度を有する近隣画素がｙ座標のマイナス側よりもプラス側に偏っている端点の特徴である。また、第４の特徴は、端点を原点とするｘ、ｙ座標系において、端点の明度よりも明るい明度を有する近隣画素がｙ座標のプラス側よりもマイナス側に偏っている端点の特徴である。
【００５６】
また、図１に示した特徴量算出処理部１４４は、必ずしも上述の如く候補点および近隣画素の明度によって候補点の特徴を分類することを要しない。特徴量算出処理部１４４は、パターンマッチングによって候補点の特徴を分類しても良い。例えば、特徴量算出処理部１４４は、端点の特徴を含むパターンを保持しており、このパターンと各候補点の画像データとをマッチングさせることで、各候補点の特徴を判定する。例えば、特徴量算出処理部１４４が用いる各パターンには、第１の特徴、第２の特徴などを示すパターンが含まれる。特徴量算出処理部１４４は、第１の特徴を示すパターンとマッチングした候補点を第１の特徴点とする。また、特徴量算出処理部１４４は、第２の特徴を示すパターンとマッチングした候補点を第２の特徴点とする。
【００５７】
このように、特徴点判定装置１００は、パターンマッチングによって候補点の特徴を分類し、分類された候補点の特徴の所定の組み合わせと候補点の位置関係とに基づいて、顔の部品の端点に対応する特徴点を判定する。このため、特徴点判定装置１００によれば、顔の部品の特徴点を正確に抽出することができる。
【００５８】
また、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上述文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００５９】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、図１に示した顔検出処理部１４１〜特徴点判定処理部１４５のうちいずれかの機能をサーバに持たせ、かかるサーバと特徴点判定装置１００とが協働することで、顔の部品の端点の組に対応する特徴点を判定しても良い。
【００６０】
また、特徴点判定装置１００は、既知のパーソナルコンピュータ、ワークステーション、携帯電話、ＰＨＳ端末、移動体通信端末またはＰＤＡなどの情報処理装置に、特徴点判定装置１００の各機能を搭載することによって実現することもできる。
【００６１】
図１１は、本実施例にかかる特徴点判定装置を構成するコンピュータのハードウェア構成を示す図である。図１１に示すように、このコンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、モニタ２０３を有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読み取り装置２０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うネットワークインターフェース装置２０５を有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ（Random Access Memory）２０６と、ハードディスク装置２０７を有する。各装置２０１〜２０７は、バス２０８に接続される。
【００６２】
そして、ハードディスク装置２０７は、図１に示した、顔検出処理部１４１、顔部品領域検出処理部１４２、候補点判定処理部１４３、特徴量算出処理部１４４、特徴点判定処理部１４５と同様の機能を有する特徴点判定プログラム２０７ａを記憶する。また、ハードディスク装置２０７は、図１に示した位置関係データ１３１に対応する位置関係データ２０７ｂを記憶する。
【００６３】
ＣＰＵ２０１が特徴点判定プログラム２０７ａをハードディスク装置２０７から読み出してＲＡＭ２０６に展開することにより、特徴点判定プログラム２０７ａは、特徴点判定プロセス２０６ａとして機能する。そして、ＣＰＵ２０１がハードディスク装置２０７から位置関係データ２０７ｂを読み出して、ＲＡＭ２０６に展開し、特徴点判定プロセス２０６ａが位置関係データ２０６ｂを利用して処理を実行する。
【００６４】
なお、上記の特徴点判定プログラム２０７ａは、必ずしもハードディスク装置２０７に記憶されている必要はない。例えば、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたプログラムを、コンピュータ２００が読み出して実行するようにしても良い。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等にこのプログラムを記憶させておき、コンピュータ２００がこれらからプログラムを読み出して実行するようにしても良い。
【００６５】
以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。
【００６６】
（付記１）顔画像から顔の部品の端点の候補となる候補点を抽出する候補点抽出部と、
前記候補点抽出部によって抽出された各候補点の組の位置関係および各候補点の特徴の組み合わせを基にして、顔の部品の端点に対応する特徴点を判定する特徴点判定部と
を備えたことを特徴とする特徴点判定装置。
【００６７】
（付記２）前記特徴点判定部は、前記端点の組の位置関係および各端点の特徴の組み合わせと、候補点の組の位置関係および各候補点の特徴の組み合わせとを基にして、端点の位置関係および所定の組み合わせに適合する候補点の組を特徴点として判定することを特徴とする付記１に記載の特徴点判定装置。
【００６８】
（付記３）前記特徴点判定部は、候補点の明度と該候補点周辺の画素の明度とを比較し、前記候補点を基準として、前記候補点の明度よりも明度が明るい画素が所定数以上連続する画素群が位置する方向を前記候補点の特徴として算出し、算出した各候補点の特徴の組と各候補点の位置関係を基にして、顔の部品の端点に対応する特徴点を判定することを特徴とする付記１または２に記載の特徴点判定装置。
【００６９】
（付記４）特徴点判定装置が、
顔画像から顔の部品の端点の候補となる候補点を抽出し、
前記候補点抽出によって抽出された各候補点の組の位置関係および各候補点の特徴の組み合わせを基にして、顔の部品の端点に対応する特徴点を判定する
ことを特徴とする特徴点判定方法。
【００７０】
（付記５）前記特徴点を判定する処理は、前記端点の組の位置関係および各端点の特徴の組み合わせと、候補点の組の位置関係および各候補点の特徴の組み合わせとを基にして、端点の位置関係および所定の組み合わせに適合する候補点の組を特徴点として判定することを特徴とする付記４に記載の特徴点判定方法。
【００７１】
（付記６）前記特徴点を判定する処理は、候補点の明度と該候補点周辺の画素の明度とを比較し、前記候補点を基準として、前記候補点の明度よりも明度が明るい画素が所定数以上連続する画素群が位置する方向を前記候補点の特徴として算出し、算出した各候補点の特徴の組と各候補点の位置関係を基にして、顔の部品の端点に対応する特徴点を判定することを特徴とする付記４または５に記載の特徴点判定方法。
【００７２】
（付記７）コンピュータに、
顔画像から顔の部品の端点の候補となる候補点を抽出し、
前記候補点抽出によって抽出された各候補点の組の位置関係および各候補点の特徴の組み合わせを基にして、顔の部品の端点に対応する特徴点を判定する
処理を実行させることを特徴とする特徴点判定プログラム。
【００７３】
（付記８）前記特徴点を判定する処理は、前記端点の組の位置関係および各端点の特徴の組み合わせと、候補点の組の位置関係および各候補点の特徴の組み合わせとを基にして、端点の位置関係および所定の組み合わせに適合する候補点の組を特徴点として判定することを特徴とする付記７に記載の特徴点判定プログラム。
【００７４】
（付記９）前記特徴点を判定する処理は、候補点の明度と該候補点周辺の画素の明度とを比較し、前記候補点を基準として、前記候補点の明度よりも明度が明るい画素が所定数以上連続する画素群が位置する方向を前記候補点の特徴として算出し、算出した各候補点の特徴の組と各候補点の位置関係を基にして、顔の部品の端点に対応する特徴点を判定することを特徴とする付記７または８に記載の特徴点判定プログラム。
【符号の説明】
【００７５】
１００    特徴点判定装置
１１０ａ  画像入力部
１１０ｂ  入力部
１２０    出力部
１３０    記憶部
１３１    位置関係データ
１４０    制御部
１４１    顔検出処理部
１４２    顔部品領域検出処理部
１４３    候補点判定処理部
１４４    特徴量算出処理部
１４５    特徴点判定処理部
２００    コンピュータ
２０１    ＣＰＵ
２０２    入力装置
２０３    モニタ
２０４    媒体読み取り装置
２０５    ネットワークインターフェース装置
２０６    ＲＡＭ
２０６ａ  特徴点判定プロセス
２０７    ハードディスク装置
２０７ａ  特徴点判定プログラム
２０７ｂ  位置関係データ
２０８    バス
【図１】
0005593884.tif 000002
【図２】
0005593884.tif 000003
【図３】
0005593884.tif 000004
【図４】
0005593884.tif 000005
【図５Ａ】
0005593884.tif 000006
【図５Ｂ】
0005593884.tif 000007
【図６】
0005593884.tif 000008
【図７】
0005593884.tif 000009
【図８】
0005593884.tif 000010
【図９】
0005593884.tif 000011
【図１０Ａ】
0005593884.tif 000012
【図１０Ｂ】
0005593884.tif 000013
【図１１】
0005593884.tif 000014