(57)【要約】【課題】画像の識別を、精度良く行う。【解決手段】ゲート算出部４１は、入力画像の特徴的な部分の領域を表すゲート画像を求める。テクスチャ変換部４２は、ゲート画像を用いて、入力画像から特徴的な部分の画像である部分画像を抽出し、部分画像を、その部分画像の画素値の統計的な性質を表す統計情報、あるいは部分画像の画素値のみに依存する画素値依存情報というべきテクスチャ情報に変換する。そして、テクスチャ情報を用いて、入力画像の識別が行われる。本発明は、例えば、人の顔が写っている画像を識別する装置などに適用できる。【選択図】図１２
2007102518.tif 000002
【特許請求の範囲】
【請求項１】
入力された入力画像を識別する画像処理装置において、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出手段と、
前記特徴情報を用いて、前記入力画像を識別する識別手段と
を備え、
前記特徴情報抽出手段は、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出手段と、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値の統計的な性質を表す統計情報に変換する変換手段と
を有し、
前記統計情報を、前記特徴情報として出力する
画像処理装置。
【請求項２】
前記統計情報は、前記部分画像の画素値のヒストグラムである
請求項１に記載の画像処理装置。
【請求項３】
前記統計情報は、前記部分画像の画素値をソートして得られるソートデータである
請求項１に記載の画像処理装置。
【請求項４】
前記特徴情報抽出手段は、前記ゲート画像も前記特徴情報として出力する
請求項１に記載の画像処理装置。
【請求項５】
前記識別手段は、前記入力画像から得られた前記特徴情報である入力特徴情報と、あらかじめ登録されている前記特徴情報である登録特徴情報とのマッチングを行い、そのマッチング結果に基づき、前記入力画像を識別する
請求項１に記載の画像処理装置。
【請求項６】
前記統計情報は、前記部分画像の画素値のヒストグラムであり、
前記識別手段は、前記入力特徴情報としてのヒストグラムと、前記登録特徴情報としてのヒストグラムとのマッチングを行い、そのマッチング結果に基づき、前記入力画像を識別する
請求項５に記載の画像処理装置。
【請求項７】
前記統計情報は、前記部分画像の画素値をソートして得られるソートデータであり、
前記識別手段は、前記入力特徴情報としてのソートデータと、前記登録特徴情報としてのソートデータとのマッチングを行い、そのマッチング結果に基づき、前記入力画像を識別する
請求項５に記載の画像処理装置。
【請求項８】
前記識別手段は、前記入力特徴情報としてのソートデータに含まれる画素値の数と、前記登録特徴情報としてのソートデータに含まれる画素値の数とが異なる場合、前記入力特徴情報としてのソートデータの間引き若しくは補間を行うことにより、または、前記登録特徴情報としてのソートデータの補間若しくは間引きを行うことにより、前記入力特徴情報としてのソートデータに含まれる画素値の数と、前記登録特徴情報としてのソートデータに含まれる画素値の数とを一致させてマッチングを行う
請求項７に記載の画像処理装置。
【請求項９】
前記入力画像は、顔が写っている画像であり、
前記入力画像の特徴的な部分は、目または口の部分である
請求項１に記載の画像処理装置。
【請求項１０】
入力された入力画像を識別する画像処理方法において、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出ステップと、
前記特徴情報を用いて、前記入力画像を識別する識別ステップと
を含み、
前記特徴情報抽出ステップは、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出ステップと、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値の統計的な性質を表す統計情報に変換する変換ステップと
を含み、
前記統計情報を、前記特徴情報として出力する
画像処理方法。
【請求項１１】
前記統計情報は、前記部分画像の画素値のヒストグラムである
請求項１０に記載の画像処理方法。
【請求項１２】
前記統計情報は、前記部分画像の画素値をソートして得られるソートデータである
請求項１０に記載の画像処理方法。
【請求項１３】
前記特徴情報抽出ステップは、前記ゲート画像も前記特徴情報として出力する
請求項１０に記載の画像処理方法。
【請求項１４】
前記識別ステップは、前記入力画像から得られた前記特徴情報である入力特徴情報と、あらかじめ登録されている前記特徴情報である登録特徴情報とのマッチングを行い、そのマッチング結果に基づき、前記入力画像を識別する
請求項１０に記載の画像処理方法。
【請求項１５】
前記統計情報は、前記部分画像の画素値のヒストグラムであり、
前記識別ステップは、前記入力特徴情報としてのヒストグラムと、前記登録特徴情報としてのヒストグラムとのマッチングを行い、そのマッチング結果に基づき、前記入力画像を識別する
請求項１４に記載の画像処理方法。
【請求項１６】
前記統計情報は、前記部分画像の画素値をソートして得られるソートデータであり、
前記識別ステップは、前記入力特徴情報としてのソートデータと、前記登録特徴情報としてのソートデータとのマッチングを行い、そのマッチング結果に基づき、前記入力画像を識別する
請求項１４に記載の画像処理方法。
【請求項１７】
前記識別ステップは、前記入力特徴情報としてのソートデータに含まれる画素値の数と、前記登録特徴情報としてのソートデータに含まれる画素値の数とが異なる場合、前記入力特徴情報としてのソートデータの間引き若しくは補間を行うことにより、または、前記登録特徴情報としてのソートデータの補間若しくは間引きを行うことにより、前記入力特徴情報としてのソートデータに含まれる画素値の数と、前記登録特徴情報としてのソートデータに含まれる画素値の数とを一致させてマッチングを行う
請求項１６に記載の画像処理方法。
【請求項１８】
前記入力画像は、顔が写っている画像であり、
前記入力画像の特徴的な部分は、目または口の部分である
請求項１０に記載の画像処理方法。
【請求項１９】
入力された入力画像を識別する画像処理を、コンピュータに実行させるプログラムにおいて、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出ステップと、
前記特徴情報を用いて、前記入力画像を識別する識別ステップと
を含み、
前記特徴情報抽出ステップは、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出ステップと、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値の統計的な性質を表す統計情報に変換する変換ステップと
を含み、
前記統計情報を、前記特徴情報として出力する
画像処理をコンピュータに実行させるプログラム。
【請求項２０】
入力された入力画像の特徴を表す特徴情報を抽出する画像処理装置において、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出手段を備え、
前記特徴情報抽出手段は、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出手段と、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値の統計的な性質を表す統計情報に変換する変換手段と
を有し、
前記統計情報を、前記特徴情報として出力する
画像処理装置。
【請求項２１】
前記統計情報は、前記部分画像の画素値のヒストグラムである
請求項２０に記載の画像処理装置。
【請求項２２】
前記統計情報は、前記部分画像の画素値をソートして得られるソートデータである
請求項２０に記載の画像処理装置。
【請求項２３】
前記特徴情報抽出手段は、前記ゲート画像も前記特徴情報として出力する
請求項２０に記載の画像処理装置。
【請求項２４】
前記入力画像は、顔が写っている画像であり、
前記入力画像の特徴的な部分は、目または口の部分である
請求項２０に記載の画像処理装置。
【請求項２５】
入力された入力画像の特徴を表す特徴情報を抽出する画像処理方法において、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出ステップを含み、
前記特徴情報抽出ステップは、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出ステップと、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値の統計的な性質を表す統計情報に変換する変換ステップと
を含み、
前記統計情報を、前記特徴情報として出力する
画像処理方法。
【請求項２６】
前記統計情報は、前記部分画像の画素値のヒストグラムである
請求項２５に記載の画像処理方法。
【請求項２７】
前記統計情報は、前記部分画像の画素値をソートして得られるソートデータである
請求項２５に記載の画像処理方法。
【請求項２８】
前記特徴情報抽出ステップは、前記ゲート画像も前記特徴情報として出力する
請求項２５に記載の画像処理方法。
【請求項２９】
前記入力画像は、顔が写っている画像であり、
前記入力画像の特徴的な部分は、目または口の部分である
請求項２５に記載の画像処理方法。
【請求項３０】
入力された入力画像の特徴を表す特徴情報を抽出する画像処理を、コンピュータに実行させるプログラムにおいて、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出ステップを含み、
前記特徴情報抽出ステップは、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出ステップと、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値の統計的な性質を表す統計情報に変換する変換ステップと
を含み、
前記統計情報を、前記特徴情報として出力する
画像処理をコンピュータに実行させるプログラム。
【請求項３１】
入力された入力画像を識別する画像処理装置において、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出手段と、
前記特徴情報を用いて、前記入力画像を識別する識別手段と
を備え、
前記特徴情報抽出手段は、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出手段と、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値のみに依存する画素値依存情報に変換する変換手段と
を有し、
前記画素値依存情報を、前記特徴情報として出力する
画像処理装置。
【請求項３２】
入力された入力画像を識別する画像処理方法において、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出ステップと、
前記特徴情報を用いて、前記入力画像を識別する識別ステップと
を含み、
前記特徴情報抽出ステップは、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出ステップと、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値のみに依存する画素値依存情報に変換する変換ステップと
を含み、
前記画素値依存情報を、前記特徴情報として出力する
画像処理方法。
【請求項３３】
入力された入力画像を識別する画像処理を、コンピュータに実行させるプログラムにおいて、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出ステップと、
前記特徴情報を用いて、前記入力画像を識別する識別ステップと
を含み、
前記特徴情報抽出ステップは、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出ステップと、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値のみに依存する画素値依存情報に変換する変換ステップと
を含み、
前記画素値依存情報を、前記特徴情報として出力する
画像処理をコンピュータに実行させるプログラム。
【請求項３４】
入力された入力画像の特徴を表す特徴情報を抽出する画像処理装置において、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出手段を備え、
前記特徴情報抽出手段は、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出手段と、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値のみに依存する画素値依存情報に変換する変換手段と
を有し、
前記画素値依存情報を、前記特徴情報として出力する
画像処理装置。
【請求項３５】
入力された入力画像の特徴を表す特徴情報を抽出する画像処理方法において、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出ステップを含み、
前記特徴情報抽出ステップは、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出ステップと、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値のみに依存する画素値依存情報に変換する変換ステップと
を含み、
前記画素値依存情報を、前記特徴情報として出力する
画像処理方法。
【請求項３６】
入力された入力画像の特徴を表す特徴情報を抽出する画像処理を、コンピュータに実行させるプログラムにおいて、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出ステップを含み、
前記特徴情報抽出ステップは、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出ステップと、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値のみに依存する画素値依存情報に変換する変換ステップと
を含み、
前記画素値依存情報を、前記特徴情報として出力する
画像処理をコンピュータに実行させるプログラム。
【請求項３７】
コンピュータに実行させるプログラムが記録されている記録媒体において、
請求項１９，３０，３３、または３６のうちのいずれかに記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラム、および記録媒体に関し、特に、例えば、顔が写っている画像の識別を、精度良く行うことができるようにする画像処理装置、画像処理方法、プログラム、および記録媒体に関する。
【背景技術】
【０００２】
図１は、画像を識別する従来の画像識別装置の一例の構成を示している。
【０００３】
図１において、画像識別装置は、画像入力部１、顔画像抽出部２、顔画像正規化部３、識別部４、および登録顔画像記憶部５から構成されている。
【０００４】
画像入力部１は、例えば、ビデオカメラやディジタル（スチル）カメラ、画像が記録された記録媒体から画像を再生する再生装置、他の装置と通信を行うことにより、他の装置が送信してくる画像を受信する通信装置などで構成され、識別の対象となる画像（の画像データ）を取得し、入力画像として、顔画像抽出部２に入力する。なお、画像入力部１は、取得した画像が静止画である場合には、その静止画を、入力画像として、顔画像抽出部２に入力し、取得した画像が動画である場合には、その動画の中の１フレームの画像を、入力画像として、顔画像抽出部２に入力する。
【０００５】
顔画像抽出部２は、画像入力部１から入力された入力画像から、その入力画像において人の顔が写っている部分の画像を、顔画像として抽出し、顔画像正規化部３に供給する。
【０００６】
即ち、顔画像抽出部２は、例えば、入力画像の中で、肌色になっている肌色領域を抽出し、その肌色領域が、人の顔が写っている領域であるかどうかを、標準的な顔が写っているテンプレートとしての画像を用いて判定する。そして、顔画像抽出部２は、肌色領域が、人の顔が写っている領域であると判定した場合、その肌色領域を含む方形の領域の画像を、顔画像として、入力画像から抽出し、顔画像正規化部３に供給する。
【０００７】
顔画像正規化部３は、顔画像抽出部２からの顔画像を正規化し、その結果得られる正規化顔画像を、識別部４に供給する。
【０００８】
即ち、顔画像正規化部３は、例えば、顔画像抽出部２からの顔画像の輝度値を調整することにより明暗の調整を行い、さらに、顔画像に写っている目や口などの位置が、あらかじめ定められた位置になるように、顔画像にアフィン変換を施す。そして、顔画像正規化部３は、明暗が調整され、かつ、目や口などの位置が、あらかじめ定められた位置になった顔画像を、正規化顔画像として、識別部４に供給する。
【０００９】
識別部４は、顔画像正規化部３から供給される正規化顔画像と、登録顔画像記憶部５に記憶された登録顔画像とを用いて、入力画像を識別し、その識別結果を出力する。
【００１０】
即ち、登録顔画像記憶部５には、１人以上のそれぞれについて、顔が写っている画像から得られた正規化顔画像が、登録顔画像として記憶されている。識別部４は、登録顔画像記憶部５に記憶された登録顔画像のうちの１つを、注目画像として選択し、その注目画像と、顔画像正規化部３から供給された正規化顔画像とのマッチング、即ち、例えば、注目画像と正規化顔画像との一致性を表す一致度を求める演算を行う。
【００１１】
ここで、一致度としては、例えば、注目画像の各画素の画素値と、正規化顔画像の、対応する画素の画素値との差分絶対値の総和に反比例する値などを採用することができる。
【００１２】
識別部４は、登録顔画像記憶部５に記憶された１以上の登録顔画像のそれぞれを注目画像として、正規化顔画像とのマッチングを行い、登録顔画像記憶部５に記憶されたすべての登録顔画像について、正規化顔画像との一致度を求める。そして、識別部４は、マッチングの結果得られる一致度が最も高い（ここでは、上述した差分絶対値の総和が最も小さい）登録顔画像を表す情報を、入力画像の識別結果として出力する。
【００１３】
なお、特許文献１には、顔の部分の状態をリアルタイムで同定するための装置が記載されている。
【００１４】
【特許文献１】特開2005-025778号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
ところで、図１の画像識別装置では、登録顔画像記憶部５に、正規化顔画像に写っている人と同一の人の顔が写っている登録顔画像が記憶されていても、その登録顔画像に写っている顔の目や口などの位置と、正規化顔画像に写っている顔の目や口などの位置とが僅かにずれていると、そのずれによって、対応する画素どうしの画素値の差分絶対値が大きくなり、正規化顔画像に写っている人と同一の人の顔が写っている登録顔画像について、高い一致度が得られないことがあった。そして、その結果、入力画像を精度良く識別することができないことがあった。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、画像の識別を、精度良く行うことができるようにするものである。
【課題を解決するための手段】
【００１７】
本発明の第１の側面の画像処理装置は、入力された入力画像を識別する画像処理装置において、前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出手段と、前記特徴情報を用いて、前記入力画像を識別する識別手段とを備え、前記特徴情報抽出手段が、前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出手段と、前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値の統計的な性質を表す統計情報に変換する変換手段とを有し、前記統計情報を、前記特徴情報として出力する。
【００１８】
また、本発明の第１の側面の画像処理方法、またはプログラムは、入力された入力画像を識別する画像処理方法、または入力された入力画像を識別する画像処理を、コンピュータに実行させるプログラムにおいて、前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出ステップと、前記特徴情報を用いて、前記入力画像を識別する識別ステップとを含み、前記特徴情報抽出ステップが、前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出ステップと、前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値の統計的な性質を表す統計情報に変換する変換ステップとを含み、前記統計情報を、前記特徴情報として出力する。
【００１９】
以上のような第１の側面の画像処理装置、画像処理方法、またはプログラムにおいては、前記入力画像から、その入力画像の特徴を表す特徴情報が抽出されて出力される。即ち、前記入力画像の特徴的な部分の領域を表すゲート画像が求められ、前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像が抽出される。さらに、前記部分画像が、その部分画像の画素値の統計的な性質を表す統計情報に変換され、前記統計情報が、前記特徴情報として出力される。そして、前記特徴情報を用いて、前記入力画像が識別される。
【００２０】
本発明の第２の側面の画像処理装置は、入力された入力画像の特徴を表す特徴情報を抽出する画像処理装置において、前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出手段を備え、前記特徴情報抽出手段が、前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出手段と、前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値の統計的な性質を表す統計情報に変換する変換手段とを有し、前記統計情報を、前記特徴情報として出力する。
【００２１】
また、本発明の第２の側面の画像処理方法、またはプログラムは、入力された入力画像の特徴を表す特徴情報を抽出する画像処理方法、または入力された入力画像の特徴を表す特徴情報を抽出する画像処理を、コンピュータに実行させるプログラムにおいて、前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出ステップを含み、前記特徴情報抽出ステップが、前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出ステップと、前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値の統計的な性質を表す統計情報に変換する変換ステップとを含み、前記統計情報を、前記特徴情報として出力する。
【００２２】
以上のような第２の側面の画像処理装置、画像処理方法、またはプログラムにおいては、前記入力画像から、その入力画像の特徴を表す特徴情報が抽出されて出力される。即ち、前記入力画像の特徴的な部分の領域を表すゲート画像が求められ、前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像が抽出される。さらに、前記部分画像が、その部分画像の画素値の統計的な性質を表す統計情報に変換され、前記統計情報が、前記特徴情報として出力される。
【００２３】
本発明の第３の側面の画像処理装置は、入力された入力画像を識別する画像処理装置において、前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出手段と、前記特徴情報を用いて、前記入力画像を識別する識別手段とを備え、前記特徴情報抽出手段が、前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出手段と、前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値のみに依存する画素値依存情報に変換する変換手段とを有し、前記画素値依存情報を、前記特徴情報として出力する。
【００２４】
また、本発明の第３の側面の画像処理方法、またはプログラムは、入力された入力画像を識別する画像処理方法、または入力された入力画像を識別する画像処理を、コンピュータに実行させるプログラムにおいて、前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出ステップと、前記特徴情報を用いて、前記入力画像を識別する識別ステップとを含み、前記特徴情報抽出ステップが、前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出ステップと、前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値のみに依存する画素値依存情報に変換する変換ステップとを含み、前記画素値依存情報を、前記特徴情報として出力する。
【００２５】
以上のような第３の側面の画像処理装置、画像処理方法、またはプログラムにおいては、前記入力画像から、その入力画像の特徴を表す特徴情報が抽出されて出力される。即ち、前記入力画像の特徴的な部分の領域を表すゲート画像が求められ、前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像が抽出される。さらに、前記部分画像が、その部分画像の画素値のみに依存する画素値依存情報に変換され、前記画素値依存情報が、前記特徴情報として出力される。そして、前記特徴情報を用いて、前記入力画像が識別される。
【００２６】
本発明の第４の側面の画像処理装置は、入力された入力画像の特徴を表す特徴情報を抽出する画像処理装置において、前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出手段を備え、前記特徴情報抽出手段が、前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出手段と、前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値のみに依存する画素値依存情報に変換する変換手段とを有し、前記画素値依存情報を、前記特徴情報として出力する。
【００２７】
また、本発明の第４の側面の画像処理方法、またはプログラムは、入力された入力画像の特徴を表す特徴情報を抽出する画像処理方法、または入力された入力画像の特徴を表す特徴情報を抽出する画像処理を、コンピュータに実行させるプログラムにおいて、前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出ステップを含み、前記特徴情報抽出ステップが、前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出ステップと、前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値のみに依存する画素値依存情報に変換する変換ステップとを含み、前記画素値依存情報を、前記特徴情報として出力する。
【００２８】
以上のような第４の側面の画像処理装置、画像処理方法、またはプログラムにおいては、前記入力画像から、その入力画像の特徴を表す特徴情報が抽出されて出力される。即ち、前記入力画像の特徴的な部分の領域を表すゲート画像が求められ、前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像が抽出される。さらに、前記部分画像が、その部分画像の画素値のみに依存する画素値依存情報に変換され、前記画素値依存情報が、前記特徴情報として出力される。
【００２９】
なお、プログラムは、記録媒体に記録することができる。
【発明の効果】
【００３０】
本発明の第１乃至第４の側面によれば、画像の識別を、精度良く行うことが可能となる。
【発明を実施するための最良の形態】
【００３１】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３２】
本発明の第１の側面の画像処理装置は、
入力された入力画像を識別する画像処理装置（例えば、図２の画像識別装置）において、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出手段（例えば、図２の特徴情報抽出部１４）と、
前記特徴情報を用いて、前記入力画像を識別する識別手段（例えば、図２の識別部１５）と
を備え、
前記特徴情報抽出手段は、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出手段（例えば、図１２のゲート算出部４１）と、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値の統計的な性質を表す統計情報に変換する変換手段（例えば、図１２のテクスチャ変換部４２）と
を有し、
前記統計情報を、前記特徴情報として出力する。
【００３３】
本発明の第１の側面の画像処理方法、またはプログラムは、
入力された入力画像を識別する画像処理方法、または入力された入力画像を識別する画像処理を、コンピュータに実行させるプログラムにおいて、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出ステップ（例えば、図２５のステップＳ５）と、
前記特徴情報を用いて、前記入力画像を識別する識別ステップ（例えば、図２５のステップＳ７乃至Ｓ９）と
を含み、
前記特徴情報抽出ステップは、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出ステップ（例えば、図２５のステップＳ５1）と、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値の統計的な性質を表す統計情報に変換する変換ステップ（例えば、図２５のステップＳ５2）と
を含み、
前記統計情報を、前記特徴情報として出力する。
【００３４】
本発明の第２の側面の画像処理装置は、
入力された入力画像の特徴を表す特徴情報を抽出する画像処理装置（例えば、図２の画像識別装置）において、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出手段（例えば、図２の特徴情報抽出部１４）を備え、
前記特徴情報抽出手段は、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出手段（例えば、図１２のゲート算出部４１）と、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値の統計的な性質を表す統計情報に変換する変換手段（例えば、図１２のテクスチャ変換部４２）と
を有し、
前記統計情報を、前記特徴情報として出力する。
【００３５】
本発明の第２の側面の画像処理方法、またはプログラムは、
入力された入力画像の特徴を表す特徴情報を抽出する画像処理方法、または入力された入力画像の特徴を表す特徴情報を抽出する画像処理を、コンピュータに実行させるプログラムにおいて、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出ステップ（例えば、図２５のステップＳ５）を含み、
前記特徴情報抽出ステップは、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出ステップ（例えば、図２５のステップＳ５1）と、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値の統計的な性質を表す統計情報に変換する変換ステップ（例えば、図２５のステップＳ５2）と
を含み、
前記統計情報を、前記特徴情報として出力する。
【００３６】
本発明の第３の側面の画像処理装置は、
入力された入力画像を識別する画像処理装置（例えば、図２の画像識別装置）において、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出手段（例えば、図２の特徴情報抽出部１４）と、
前記特徴情報を用いて、前記入力画像を識別する識別手段（例えば、図２の識別部１５）と
を備え、
前記特徴情報抽出手段は、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出手段（例えば、図１２のゲート算出部４１）と、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値のみに依存する画素値依存情報に変換する変換手段（例えば、図１２のテクスチャ変換部４２）と
を有し、
前記画素値依存情報を、前記特徴情報として出力する。
【００３７】
本発明の第３の側面の画像処理方法、またはプログラムは、
入力された入力画像を識別する画像処理方法、または入力された入力画像を識別する画像処理を、コンピュータに実行させるプログラムにおいて、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出ステップ（例えば、図２５のステップＳ５）と、
前記特徴情報を用いて、前記入力画像を識別する識別ステップ（例えば、図２５のステップＳ７乃至Ｓ９）と
を含み、
前記特徴情報抽出ステップは、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出ステップ（例えば、図２５のステップＳ５1）と、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値のみに依存する画素値依存情報に変換する変換ステップ（例えば、図２５のステップＳ５2）と
を含み、
前記画素値依存情報を、前記特徴情報として出力する。
【００３８】
本発明の第４の側面の画像処理装置は、
入力された入力画像の特徴を表す特徴情報を抽出する画像処理装置（例えば、図２の画像識別装置）において、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出手段（例えば、図２の特徴情報抽出部１４）を備え、
前記特徴情報抽出手段は、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出手段（例えば、図２のゲート算出部４１）と、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値のみに依存する画素値依存情報に変換する変換手段（例えば、図２のテクスチャ変換部４２）と
を有し、
前記画素値依存情報を、前記特徴情報として出力する。
【００３９】
本発明の第４の側面の画像処理方法、またはプログラムは、
入力された入力画像の特徴を表す特徴情報を抽出する画像処理方法、または入力された入力画像の特徴を表す特徴情報を抽出する画像処理を、コンピュータに実行させるプログラムにおいて、
前記入力画像から、その入力画像の特徴を表す特徴情報を抽出して出力する特徴情報抽出ステップ（例えば、図２５のステップＳ５）を含み、
前記特徴情報抽出ステップは、
前記入力画像の特徴的な部分の領域を表すゲート画像を求めるゲート画像算出ステップ（例えば、図２５のステップＳ５1）と、
前記ゲート画像を用いて、前記入力画像から特徴的な部分の画像である部分画像を抽出し、前記部分画像を、その部分画像の画素値のみに依存する画素値依存情報に変換する変換ステップ（例えば、図２５のステップＳ５2）と
を含み、
前記画素値依存情報を、前記特徴情報として出力する。
【００４０】
以下、図面を参照して、本発明の実施の形態について説明する。
【００４１】
図２は、本発明を適用した画像識別装置の一実施の形態の構成例を示している。
【００４２】
図２において、画像識別装置は、画像入力部１１、顔画像抽出部１２、顔画像正規化部１３、特徴情報抽出部１４、識別部１５、および登録顔情報記憶部１６から構成されている。そして、図２の画像識別装置は、画像入力部１１によって入力される画像を識別し、その識別結果を出力する。即ち、画像識別装置は、例えば、画像入力部１１によって入力される画像に写っている顔が、誰の顔であるかを識別し、その識別結果を出力する。
【００４３】
画像入力部１１は、例えば、ビデオカメラやディジタル（スチル）カメラ、画像が記録された記録媒体から画像を再生する再生装置、他の装置と通信を行うことにより、他の装置が送信してくる画像を受信する通信装置などで構成され、識別の対象となる画像（の画像データ）を取得し、入力画像として、顔画像抽出部１２に入力する。なお、画像入力部１１は、取得した画像が静止画である場合には、その静止画を、入力画像として、顔画像抽出部１２に入力し、取得した画像が動画である場合には、その動画の中の１フレームの画像を、入力画像として、顔画像抽出部１２に入力する。
【００４４】
顔画像抽出部１２は、画像入力部１１から入力された入力画像から、その入力画像において人の顔が写っている部分の画像を、顔画像として抽出し、顔画像正規化部１３に供給する。
【００４５】
即ち、顔画像抽出部１２は、例えば、入力画像の中で、肌色になっている肌色領域を抽出し、その肌色領域が、人の顔が写っている領域であるかどうかを、標準的な顔が写っているテンプレートとしての画像を用いて判定する。そして、顔画像抽出部１２は、肌色領域が、人の顔が写っている領域であると判定した場合、その肌色領域を含む方形の領域の画像を、顔画像として、入力画像から抽出し、顔画像正規化部１３に供給する。
【００４６】
顔画像正規化部１３は、顔画像抽出部１２からの顔画像を正規化し、その結果得られる正規化顔画像を、特徴情報抽出部１４に供給する。
【００４７】
即ち、顔画像正規化部１３は、例えば、顔画像抽出部１２からの顔画像の輝度値を調整することにより明暗の調整を行う。また、顔画像正規化部１３は、例えば、顔画像に写っている目や口などの位置が、あらかじめ定められた位置になるように、顔画像にアフィン変換を施す。そして、顔画像正規化部１３は、明暗が調整され、かつ、目や口などの位置が、あらかじめ定められた位置になった顔画像を、正規化顔画像として、特徴情報抽出部１４に供給する。
【００４８】
特徴情報抽出部１４は、顔画像正規化部１３からの正規化顔画像から、その正規化顔画像の特徴を表す特徴情報を抽出して出力する。
【００４９】
識別部１５は、特徴情報抽出部１４が出力する特徴情報を用いて、入力画像（に写っている人の顔）を識別し、その識別結果を出力する。
【００５０】
即ち、識別部１５は、特徴情報抽出部１４が出力する、入力画像から得られた特徴情報である入力特徴情報と、登録顔情報記憶部１６にあらかじめ登録されている特徴情報である登録特徴情報とのマッチングを行い、そのマッチング結果に基づき、入力画像を識別する。
【００５１】
登録顔情報記憶部１６には、１人以上のそれぞれについて、顔が写っている画像から得られた特徴情報である登録特徴情報と、その顔の人を特定する情報としてのインデックスとが対応付けられた登録顔情報があらかじめ登録されている。
【００５２】
次に、図３は、図２の顔画像抽出部１２の構成例を示している。
【００５３】
顔画像抽出部１２は、HSV変換部２１、肌色領域抽出部２２、横枠検出部２３、縦枠検出部２４、顔領域抽出部２５、および顔画像識別部２６から構成されている。
【００５４】
画像入力部１１（図２）によって顔画像抽出部１２に入力される入力画像は、HSV変換部２１に供給される。
【００５５】
HSV変換部２１は、入力画像を構成する各画素の画素値を、HSV(Hue, Saturation, Value)に変換し、元の入力画像（画素値をHSVに変換する前の入力画像）とともに、肌色領域抽出部２２に供給する。即ち、入力画像を構成する画素の画素値が、例えば、RGB(Red, Green, Blue)であれば、HSV変換部２１は、そのRGBで表される画素値を、HSVで表される画素値に変換する。
【００５６】
肌色領域抽出部２２は、HSV変換部２１から供給される入力画像から、肌色領域を抽出する。即ち、肌色領域抽出部２２は、HSV変換部２１から供給される入力画像の画素のうち、画素値の１成分である色相Hが所定の範囲の値になっている画素を、肌色領域を構成する肌色画素として抽出する。
【００５７】
これにより、入力画像に顔が写っていれば、例えば、図４に示すように、目や、口、眉毛、頭髪、鼻の穴などを除く顔の部分（図４において影を付してある部分）を構成する画素が、肌色画素として抽出される。
【００５８】
なお、入力画像を構成する画素の画素値が、例えば、8ビットずつのR,G,Bの、合計24ビットであり、その24ビットを、HSV変換部２１において、8ビットずつのH,S,Vに変換することとした場合には、本件発明者によるシミュレーションによれば、人の顔の肌色の部分のほとんどの画素の色相Hは、式20<H<40で表される範囲となった。従って、この場合、肌色領域抽出部２２において、入力画像の画素から、色相Hが、式20<H<40で表される範囲の値になっている画素を、肌色領域を構成する肌色画素として抽出することにより、人の顔の肌色の部分の画素を適切に抽出することができる。
【００５９】
肌色領域抽出部２２は、入力画像から肌色画素を抽出すると、元の入力画像とともに、その入力画像において肌色画素になっている画素を表す肌色画素情報を、横枠検出部２３に供給する。
【００６０】
横枠検出部２３は、入力画像から顔が写っている部分を抽出するのに用いる抽出枠の水平方向（横方向）の位置と長さを表す横枠ラインを検出する。
【００６１】
即ち、横枠検出部２３は、肌色領域抽出部２２からの肌色画素情報を参照して、入力画像の水平方向のライン（水平ライン）ごとに、肌色画素の数をカウントする。さらに、横枠検出部２３は、例えば、図５に示すように、肌色画素の数が最大の水平ラインを、垂直基準ラインとして求める。
【００６２】
ここで、入力画像の最も左上の点を原点(0,0)として、左から右の水平方向にx軸をとるとともに、上から下の垂直方向にy軸をとった２次元座標系を定義すると、肌色画素の数が最大の水平ラインが、上からCymax+1番目の水平ラインであった場合、垂直基準ラインは、式y=Cymaxで表される。
【００６３】
横枠検出部２３は、垂直基準ラインを求めると、その垂直基準ライン上の肌色画素の数に、所定の値（例えば、0.8などの1.0に近い値）を乗算し、その乗算値を求めるとともに、垂直基準ライン上の左端の右端の肌色画素どうしを結ぶ線分の中点を求める。さらに、横枠検出部２３は、図５に示すように、垂直基準ライン上の左端の右端の肌色画素どうしを結ぶ線分の中点を中心として左右に延びる、垂直基準ライン上の肌色画素の数に所定の値を乗算した乗算値の長さの線分を、横枠ラインとして求める。
【００６４】
そして、横枠検出部２３は、横枠ラインを、肌色領域抽出部２２からの入力画像とともに、縦枠検出部２４と顔領域抽出部２５に供給する。
【００６５】
縦枠検出部２４は、入力画像から顔が写っている部分を抽出するのに用いる抽出枠の垂直方向（縦方向）の位置と長さを表す縦枠ラインを検出する。
【００６６】
即ち、縦枠検出部２４は、例えば、図６左側に示すように、横枠検出部２３からの横枠ラインの中心を中心として上下に延びる、横枠ラインの長さの所定数倍（例えば、1.3などの1.0に近い値）を長さとする線分を、いわば仮の縦枠ラインとして求める。
【００６７】
さらに、縦枠検出部２４は、例えば、図６右側に示すように、仮の縦枠ラインを、所定のオフセット値（例えば40画素分など）だけ上方向に移動した（例えば、y=-40とした）線分を、最終的な縦枠ラインとして求め、顔領域抽出部２５に供給する。
【００６８】
顔領域抽出部２５は、横枠検出部２３からの横枠ラインと、縦枠検出部２４からの縦枠ラインとによって決まる抽出枠を用い、横枠検出部２３から供給される入力画像から、顔が写っている部分を抽出する。
【００６９】
即ち、顔画像抽出部２５は、例えば、図７に示すように、横幅が横枠ラインに一致し、かつ、高さが縦枠ラインに一致する方形状の枠を抽出枠として、入力画像から、抽出枠の内部の画像を抽出し、抽出画像として、顔画像識別部２６に供給する。
【００７０】
顔画像識別部２６は、顔画像抽出部２５からの抽出画像が、人の顔が写っている画像であるかどうかを、標準的な顔が写っているテンプレートとしての画像（以下、適宜、顔判定用テンプレート画像という）を用いて判定する。
【００７１】
具体的には、顔画像識別部２６は、例えば、図８に示すように、抽出画像と顔判定用テンプレート画像とのマッチング、即ち、例えば、抽出画像の各画素の画素値と、顔判定用テンプレート画像の、対応する画素の画素値との差分絶対値の総和を求める演算を行う。
【００７２】
ここで、顔画像識別部２６は、抽出画像と顔判定用テンプレート画像とのサイズ（横または縦の長さ（画素数））が異なる場合には、抽出画像の画素の間引き若しくは補間を行うことにより、または、顔判定用テンプレート画像の画素の補間若しくは間引きを行うことにより、抽出画像と顔判定用テンプレート画像とのサイズを一致させて、抽出画像と顔判定用テンプレート画像とのマッチングを行う。
【００７３】
なお、抽出画像と顔判定用テンプレート画像とのサイズを一致させる場合においては、抽出画像と顔判定用テンプレート画像のいずれか一方についてだけ、画素の間引き若しくは補間を行っても良いし、抽出画像の画素の間引き若しくは補間を行うとともに、顔判定用テンプレート画像の画素の補間若しくは間引きを行っても良い。
【００７４】
顔画像識別部２６は、以上のように、抽出画像と顔判定用テンプレート画像とのマッチングを行い、そのマッチング結果に基づき、顔画像抽出部２５からの抽出画像が、人の顔が写っている画像であるかどうかを判定する。
【００７５】
即ち、顔画像識別部２６は、マッチングの結果得られた、抽出画像と顔判定用テンプレート画像との差分絶対値の総和を、抽出画像に顔が写っているかどうかの判定をするための顔判定用閾値と比較し、差分絶対値の総和が、顔判定用閾値より小さい場合、抽出画像に顔が写っていると判定し、その抽出画像を、人の顔が写っている顔画像として、顔画像正規化部１３（図２）に供給する。
【００７６】
なお、顔画像識別部２６において、顔判定用テンプレートとしては、例えば、人の顔が写っている複数の画像の平均をとった画像などを採用することができる。
【００７７】
また、顔画像識別部２６は、抽出画像と顔判定用テンプレート画像との差分絶対値の総和が、顔判定用閾値より小さくない場合、抽出画像に顔が写っていないと判定し、この場合、以降の処理は行われない。
【００７８】
次に、図９は、図２の顔画像正規化部１３の構成例を示している。
【００７９】
顔画像正規化部１３は、ラベリング部３１、重心算出部３２、目位置検出部３３、口位置検出部３４、アフィン変換部３５、および輝度値調整部３６から構成されている。
【００８０】
顔画像抽出部１２（図２）から顔画像正規化部１３に供給される顔画像は、ラベリング部３１とアフィン変換部３５に供給される。
【００８１】
ラベリング部３１は、顔画像抽出部１２からの顔画像において、顔画像抽出部１２の肌色領域抽出部２２（図３）で肌色画素として抽出されなかった画素（以下、適宜、非抽出画素という）を対象にラベリング処理を行い、１以上の非抽出画素で構成される領域であるオブジェクトを検出する。
【００８２】
即ち、ラベリング部３１は、顔画像の非抽出画素のうちの、まだラベルが付されていない画素を、例えば、ラスタスキャン順に、注目画素として、注目画素の上、下、左、右、左上、左下、右上、または右下に隣接する非抽出画素のうちのいずれかに、ラベル（例えば、数字など）が既に付されているかどうかを判定する。そして、ラベリング部３１は、注目画素に隣接する非抽出画素のいずれかに、ラベルが既に付されている場合には、そのラベルと同一のラベルを、注目画素に付加する。また、ラベリング部３１は、注目画素に隣接する非抽出画素のいずれにもラベルが付されていない場合には、いままでに非抽出画素に付加したラベルとは異なる新たなラベルを、注目画素に付加する。
【００８３】
ラベリング部３１は、顔画像の非抽出画素のうちのラベルが付されていない画素を、順次、注目画素としてラベルを付加し、顔画像の非抽出画素のすべてにラベルが付加されると、同一のラベルが付加された非抽出画素で構成される領域を、１つのオブジェクトとして検出し、（オブジェクトの情報を）重心算出部３２に供給する。
【００８４】
ここで、図４で説明したように、目や、口、眉毛、頭髪、鼻の穴などを除く顔の部分（図４において影を付してある部分）を構成する画素が、肌色画素となるから、目や、口、眉毛、頭髪、鼻の穴などの部分が、非抽出画素となる。従って、ラベリング部３１では、目や、口、眉毛、頭髪、鼻の穴などの部分それぞれが、オブジェクトとして検出される。
【００８５】
重心算出部３２は、ラベリング部３１から供給される各オブジェクトの重心を求め、目位置検出部３３と口位置検出部３４に供給する。
【００８６】
即ち、重心算出部３２は、ラベリング部３１から供給された各オブジェクトについて、そのオブジェクトとしての領域を構成する１以上の画素（非抽出画素）の座標の平均値を、オブジェクトの重心として求め、オブジェクト（を構成する画素の情報）とともに、目位置検出部３３と口位置検出部３４に供給する。
【００８７】
目位置検出部３３と、口位置検出部３４は、それぞれ、重心算出部３２から供給されるオブジェクトとその重心に基づき、例えば、図１０に示すように、顔画像における左右の目の位置（目位置）と、口の位置（口位置）を求め、アフィン変換部３５に供給する。
【００８８】
即ち、目位置検出部３３は、例えば、顔画像を上下に２等分して得られる上側の画像と下側の画像のうちの、上側の画像に、重心が存在し、かつ、面積が所定の値以上で（画素数が所定の数以上で）、上側の画像を左右に２等分する垂直線に対して、線対称に近い位置関係にある２つのオブジェクトのセットであって、上側の画像の一番下側にある２つのオブジェクトのセットを、左右の目の部分に対応するオブジェクトとして検出する。そして、目位置検出部３３は、左右の目の部分それぞれに対応するオブジェクトと、それぞれの重心を、アフィン変換部３５に供給する。
【００８９】
また、口位置検出部３４は、例えば、顔画像の下部１／４の領域に存在する、面積が最大のオブジェクトを、口の部分に対応するオブジェクトとして検出する。そして、口位置検出部３４は、口の部分に対応するオブジェクトと、その重心を、アフィン変換部３５に供給する。
【００９０】
ここで、目位置検出部３３では、上述したように、面積が所定の値以上のオブジェクトを検出することにより、例えば、ほくろなどの、目よりも小さい部分が、目の部分に対応するオブジェクトとして誤検出されることが防止される。さらに、目位置検出部３３では、上側の画像の一番下側にあるオブジェクトを検出することにより、目よりも上側にある眉毛の部分が、目の部分に対応するオブジェクトとして誤検出されることが防止される。
【００９１】
また、口位置検出部３４でも、上述したように、面積が最大のオブジェクトを検出することにより、鼻の穴やほくろなどの、口よりも小さい部分が、口に対応するオブジェクトとして誤検出されることが防止される。
【００９２】
アフィン変換部３５は、目位置検出部３３からの左目の部分に対応するオブジェクトの重心（以下、適宜、左目の重心という）、右目の部分に対応するオブジェクトの重心（以下、適宜、右目の重心という）、および、口位置検出部３４からの口の部分に対応するオブジェクトの重心（以下、適宜、口の重心という）の位置が、あらかじめ定められた標準の位置となるように、顔画像抽出部１２（図２）からの顔画像にアフィン変換を施す。
【００９３】
即ち、顔画像抽出部１２（図２）からの、アフィン変換前の顔画像の画素の座標を(x,y)と表すとともに、アフィン変換後の顔画像の画素の座標を(x',y')と表すこととすると、アフィン変換部３５は、例えば、アフィン変換を行うためのアフィン変換の式(x',y')T=A(x,y)T+Pを規定するパラメータAとPを求める。
【００９４】
ここで、パラメータAは、2×2の行列で、回転と、拡大または縮小とに関するパラメータである。また、パラメータPは、２次元ベクトルで、平行移動に関するパラメータである。
【００９５】
アフィン変換の式によるアフィン変換後の位置を、変換位置ということとすると、アフィン変換部３５は、例えば、目位置検出部３３からの左目の重心の変換位置と、あらかじめ定められた左目の標準の位置との距離である第１の距離、目位置検出部３３からの右目の重心の変換位置と、あらかじめ定められた右目の標準の位置との距離である第２の距離、および、口位置検出部３４からの口の重心の変換位置と、あらかじめ定められた口の標準の位置との距離である第３の距離の総和を最小にするパラメータAとPを求める。
【００９６】
そして、アフィン変換部３５は、そのパラメータAとPによって規定されるアフィン変換の式によって、例えば、図１１に示すように、顔画像抽出部１２（図２）からの顔画像（の各画素の位置）をアフィン変換し、アフィン変換後の画像から、左右の目の部分それぞれに対応するオブジェクトと、口の部分に対応するオブジェクトとを含む、横×縦がN×M画素の方形状の領域の画像を抽出する。
【００９７】
ここで、アフィン変換後の画像の横の画素数がN画素に満たない場合や、縦の画素数がM画素に満たない場合には、満たない分の画素が、アフィン変換後の画像に付加されることにより、アフィン変換後の画像は、N×M画素の画像とされる。
【００９８】
なお、付加される画素の画素値としては、例えば、顔画像の任意の肌色画素の画素値などが採用される。
【００９９】
また、NとMの値は、例えば、左目の標準の位置、右目の標準の位置、および口の標準の位置に基づき、N×M画素の領域内に、左右の目の部分それぞれに対応するオブジェクトと、口の部分に対応するオブジェクトが収まるように、あらかじめ定められている。ここで、NとMの値は、同一であっても良いし、異なっていても良い。
【０１００】
アフィン変換部３５は、アフィン変換後の画像から得られたN×M画素の画像を、左目の重心の変換位置（アフィン変換後の左目の重心）、右目の重心の変換位置（アフィン変換後の右目の重心）、および口の重心の変換位置（アフィン変換後の口の重心）とともに、輝度調整部３６に供給する。
【０１０１】
輝度調整部３６は、アフィン変換部３５からのN×M画素の画像の輝度（値）を調整し、その輝度の調整後のN×M画素の画像を、正規化顔画像として、アフィン変換部３５からの左目の重心の変換位置、右目の重心の変換位置、および口の重心の変換位置とともに、特徴情報抽出部１４（図２）に供給する。
【０１０２】
即ち、輝度調整部３６は、N×M画素の画像の画素の画素値をVと表すこととすると、例えば、画素値Vを、式V'=(V-Vave)×σ'2/σ2+V'aveにしたがって、画素値V'に変換し、その画素値の変換後のN×M画素の画像を、正規化顔画像として、特徴情報抽出部１４に供給する。
【０１０３】
ここで、Vaveとσ2は、それぞれ、アフィン変換部３５からのN×M画素の画像の画素値の平均値と分散を表す。また、V'aveとσ'2は、それぞれ、例えば、適正な明るさで、適正なコントラストの、顔が写っている画像の画素値の平均値と分散を表す。
【０１０４】
次に、図１２は、図２の特徴情報抽出部１４の構成例を示している。
【０１０５】
特徴情報抽出部１４は、ゲート算出部４１とテクスチャ変換部４２から構成され、顔画像正規化部１３（図２）から供給される正規化顔画像から、その正規化顔画像（ひいては、その正規化顔画像が得られた入力画像）の特徴を表す特徴情報を抽出して出力する。
【０１０６】
即ち、ゲート算出部４１には、顔画像正規化部１３（図２）から正規化顔画像が、左目の重心の変換位置、右目の重心の変換位置、および口の重心の変換位置とともに供給される。そして、ゲート算出部４１は、顔画像正規化部１３から供給される正規化顔画像の特徴的な部分としての、例えば、左目の部分、右目の部分、口の部分のそれぞれの領域を表すゲート画像を求め、正規化顔画像とともに、テクスチャ変換部４２に供給する。
【０１０７】
テクスチャ変換部４２は、ゲート算出部４１からのゲート画像を用いて、同じくゲート算出部４１からの正規化顔画像から特徴的な部分の画像である部分画像を抽出し、その部分画像を、後述するテクスチャ情報に変換する。
【０１０８】
そして、特徴情報抽出部１４は、ゲート算出部４１で得られたゲート画像と、テクスチャ変換部４２で得られたテクスチャ情報とを、特徴情報として、識別部１５（図２）に出力する。
【０１０９】
図１３は、図１２のゲート算出部４１の構成例を示している。
【０１１０】
ゲート算出部４１は、ヒストグラム生成部５１、データ抽出部５２、ラベリング部５３、目オブジェクト検出部５４、口オブジェクト検出部５５、ゲート抽出部５６、および２値データ生成部５７から構成されている。
【０１１１】
ヒストグラム生成部５１には、顔画像正規化部１３（図２）から正規化顔画像が、左目の重心の変換位置、右目の重心の変換位置、および口の重心の変換位置とともに供給される。
【０１１２】
ヒストグラム生成部５１は、例えば、図１４に示すように、顔画像正規化部１３からの正規化顔画像を構成するすべての画素の画素値のヒストグラムを求め（生成し）、正規化顔画像と、左目の重心の変換位置、右目の重心の変換位置、および口の重心の変換位置とともに、データ抽出部５２に供給する。
【０１１３】
データ抽出部５２は、ヒストグラム生成部５１からのヒストグラムに基づき、正規化顔画像を構成する画素の中で、画素値がより小さい所定数の画素を、正規化顔画像の特徴的な部分としての左目の部分、右目の部分、または口の部分の領域を構成する画素の候補（以下、適宜、候補画素という）として求める。
【０１１４】
即ち、データ抽出部５２は、正規化顔画像を構成する画素のうちの、画素値がより小さい画素から、候補画素として順次選択していき、例えば、図１５に示すように、正規化顔画像を構成する画素の数の所定の割合（例えば、12乃至14%程度）の数の画素を、候補画素とする。
【０１１５】
具体的には、データ抽出部５２は、まず、正規化顔画像を構成する画素の数の所定の割合の数を、候補画素として選択する選択画素数として求める。そして、データ抽出部５２は、正規化顔画像を構成する画素のうちの、画素値が0の画素を、候補画素として選択し、現在の候補画素の数と選択画素数とを比較する。現在の候補画素の数が選択画素数より少なければ、データ抽出部５２は、画素値が次に大きい画素、即ち、いまの場合、画素値が1の画素を、さらに、候補画素として選択し、再び、現在の候補画素の数と選択画素数とを比較する。現在の候補画素の数が選択画素数より少なければ、データ抽出部５２は、画素値が次に大きい画素を、さらに、候補画素として選択し、以下、同様にして、候補画素の選択を行っていく。
【０１１６】
そして、現在の候補画素の数が選択画素数以上となった場合、データ抽出部５２は、今までに選択した候補画素、または、今までに選択した候補画素から、直前に選択した候補画素を除いた残りの候補画素を、正規化顔画像と、左目の重心の変換位置、右目の重心の変換位置、および口の重心の変換位置とともに、ラベリング部５３に供給する。
【０１１７】
ここで、正規化顔画像において、肌色画素ではない画素、即ち、例えば、目や、口、眉毛、鼻の穴などの部分の画素は、一般に、肌色画素に比較して、画素値が小さくなる。また、正規化顔画像において、例えば、目や、口、眉毛、鼻の穴などの部分の、肌色画素ではない画素は、正規化顔画像を構成する画素の総数のある程度の割合を占める。従って、正規化顔画像を構成する画素から候補画素として選択する画素の数の、正規化顔画像を構成する画素の総数に対する所定の割合を適切に定めることにより、目や、口、眉毛、鼻の穴などの部分の、肌色画素ではない画素を、候補画素として選択することができる。
【０１１８】
なお、正規化顔画像を構成する画素から候補画素として選択する画素の数の、正規化顔画像を構成する画素の総数に対する所定の割合は、例えば、シミュレーションを行うこと等によって、少なくとも目と口の部分の画素が候補画素として選択されるように定めるのが望ましい。
【０１１９】
ラベリング部５３は、正規化顔画像を構成する画素のうちの、データ抽出部５２から供給される候補画素を対象にラベリング処理を行い、１以上の候補画素で構成される領域であるオブジェクトを検出する。
【０１２０】
即ち、ラベリング部５３は、正規化顔画像の候補画素のうちのラベルが付されていない画素を、例えば、ラスタスキャン順に、注目画素として、注目画素の上、下、左、右、左上、左下、右上、または右下に隣接する候補画素のうちのいずれかに、ラベルが既に付されているかどうかを判定する。そして、ラベリング部５３は、注目画素に隣接する候補画素のいずれかに、ラベルが既に付されている場合には、そのラベルと同一のラベルを、注目画素に付加する。また、ラベリング部５３は、注目画素に隣接する候補画素のいずれにもラベルが付されていない場合には、いままでに候補画素に付加したラベルとは異なる新たなラベルを、注目画素に付加する。
【０１２１】
ラベリング部５３は、正規化顔画像の候補画素のうちのラベルが付されていない画素を、順次、注目画素としてラベルを付加し、正規化顔画像の候補画素のすべてにラベルが付加されると、同一のラベルが付加された候補画素で構成される領域を、１つのオブジェクトとして検出する。そして、ラベリング部５３は、ラベリング処理によって得られたすべてのオブジェクト（の情報）を、データ抽出部５２からの正規化顔画像と、左目の重心の変換位置、右目の重心の変換位置、および口の重心の変換位置とともに、目オブジェクト検出部５４および口オブジェクト検出部５５に供給する。
【０１２２】
目オブジェクト検出部５４は、ラベリング部５３から供給されたオブジェクトの中から、同じくラベリング部５３から供給された左目の重心の変換位置を含むオブジェクトを、正規化顔画像に写っている顔の左目の部分の領域である左目オブジェクトとして検出する。さらに、目オブジェクト検出部５４は、ラベリング部５３から供給されたオブジェクトの中から、同じくラベリング部５３から供給された右目の重心の変換位置を含むオブジェクトを、正規化顔画像に写っている顔の右目の部分の領域である右目オブジェクトとして検出する。
【０１２３】
そして、目オブジェクト検出部５４は、左目オブジェクトと右目オブジェクト（の情報）を、ラベリング部５３からの正規化顔画像とともに、ゲート抽出部５６に供給する。
【０１２４】
一方、口オブジェクト検出部５５は、ラベリング部５３から供給されたオブジェクトの中から、同じくラベリング部５３から供給された口の重心の変換位置を含むオブジェクトを、正規化顔画像に写っている顔の口の部分の領域である口オブジェクトとして検出し、ゲート抽出部５６に供給する。
【０１２５】
ゲート抽出部５６は、目オブジェクト検出部５４からの正規化顔画像のうちの、同じく目オブジェクト検出部５４からの左目オブジェクトを囲む最小の方形の領域を、左目ゲート領域として検出するとともに、右目オブジェクトを囲む最小の方形の領域を、右目ゲート領域として検出する。さらに、ゲート抽出部５６は、正規化顔画像のうちの、口オブジェクト検出部５５からの口オブジェクトを囲む最小の方形の領域を、口ゲート領域として検出する。
【０１２６】
ここで、図１６を参照して、図１３のラベリング部５３、目オブジェクト検出部５４、口オブジェクト検出部５５、およびゲート抽出部５６の処理について、再度説明する。
【０１２７】
ラベリング部５３は、ラベリング処理を行うことにより、１以上の候補画素で構成される領域であるオブジェクトを検出する。これにより、図１６左から１番目に影を付して示すように、正規化顔画像における左目の部分や、右目の部分、口の部分などの領域が、オブジェクトとして検出される。
【０１２８】
そして、目オブジェクト検出部５４では、図１６左から２番目に示すように、ラベリング部５３で得られたオブジェクトの中から、左目の重心の変換位置を含むオブジェクトが、左目オブジェクトとして検出され、右目の重心の変換位置を含むオブジェクトが、右目オブジェクトとして検出される。また、口オブジェクト検出部５４では、図１６左から２番目に示すように、ラベリング部５３で得られたオブジェクトの中から、口の重心の変換位置を含むオブジェクトが、口オブジェクトとして検出される。
【０１２９】
その後、ゲート抽出部５６において、図１６左から３番目（右から１番目）に示すように、正規化顔画像の、左目オブジェクトを囲む最小の方形の領域が左目ゲート領域として、右目オブジェクトを囲む最小の方形の領域が右目ゲート領域として、口オブジェクトを囲む最小の方形の領域が口ゲート領域として、それぞれ検出される。
【０１３０】
図１３に戻り、ゲート抽出部５６は、左目ゲート領域、右目ゲート領域、および口ゲート領域を検出すると、その左目ゲート領域、右目ゲート領域、および口ゲート領域（の情報）を、目オブジェクト検出部５４からの正規化顔画像とともに、２値データ生成部５７に供給する。
【０１３１】
２値データ生成部５７は、ゲート抽出部５６からの左目ゲート領域、右目ゲート領域、および口ゲート領域に基づき、同じくゲート抽出部５６からの正規化顔画像（の画素値）を２値化し、その結果得られる２値化画像をゲート画像として、ゲート抽出部５６からの正規化顔画像とともに出力する。
【０１３２】
即ち、２値化データ生成部５７は、例えば、図１７に示すように、正規化顔画像の画素のうちの、左目ゲート領域、右目ゲート領域、および口ゲート領域を除く領域の画素の画素値を、例えば0とするとともに、左目ゲート領域、右目ゲート領域、および口ゲート領域の画素の画素値を、例えば1とする２値化を行うことにより、２値化画像であるゲート画像を生成する。
【０１３３】
次に、図１８を参照して、図１２のテクスチャ変換部４２で行われる処理について説明する。
【０１３４】
テクスチャ変換部４２には、ゲート算出部４１が出力するゲート画像と正規化顔画像が供給される。そして、テクスチャ変換部４２は、上述したように、ゲート算出部４１からのゲート画像を用いて、同じくゲート算出部４１からの正規化顔画像から特徴的な部分の画像である部分画像、つまり、例えば、左目の部分、右目の部分、口の部分のそれぞれの部分画像を抽出し、各部分画像を、テクスチャ情報に変換する。
【０１３５】
即ち、テクスチャ変換部４２は、正規化顔画像において、ゲート画像の左目ゲート領域に対応する領域の画像を、左目の部分の部分画像（以下、適宜、左目部分画像という）として抽出する。同様に、テクスチャ変換部４２は、正規化顔画像において、ゲート画像の右目ゲート領域に対応する領域の画像と、口ゲート領域に対応する領域の画像を、それぞれ、右目の部分の部分画像（以下、適宜、右目部分画像という）と、口の部分の部分画像（以下、適宜、口部分画像という）として抽出する。
【０１３６】
そして、テクスチャ変換部４２は、左目部分画像を、そのテクスチャの比較に適したテクスチャ情報に変換する。
【０１３７】
ここで、顔が写っている画像から、左目の部分を含む方形の第１の領域の画像を、第１の左目部分画像として抽出するとともに、サイズは第１の領域と同一であるが、位置が第１の領域から１画素あるいは数画素分だけずれた第２の領域の画像を、第２の左目部分画像として抽出し、第１と第２の左目部分画像を比較した場合、第１と第２の左目部分画像は、いずれも、同一の顔の画像の中の左目の部分の同一のサイズの画像であり、かつ、ほとんど同一の位置の画像であるから、例えば、人が見る限りは、（ほぼ）同一のテクスチャの画像に見える。つまり、第１と第２の左目部分画像は、同一のテクスチャであるように見える。
【０１３８】
しかしながら、第１と第２の左目部分画像のテクスチャの一致性（類似性）を判定するために、例えば、第１と第２の左目部分画像の、対応する位置にある画素どうしの画素値の差分絶対値の総和を求めると、第１と第２の左目部分画像は、１画素あるいは数画素だけ位置が異なることから、第１と第２の左目部分画像の、対応する位置にある画素どうしの画素値も異なり、その結果、画素値の差分絶対値の総和は大きな値となって、同一のテクスチャの第１と第２の左目部分画像のテクスチャが一致するとの判定結果が得られることが妨げられる。
【０１３９】
そこで、テクスチャ変換部４２は、上述したような僅かな位置のずれによって、同一のテクスチャの画像についてテクスチャが一致するとの判定結果が得られることが妨げられることを防止するために、画像を、テクスチャの比較に適したテクスチャ情報に変換する。
【０１４０】
即ち、例えば、図１８左上に示すように、正規化顔画像から、ゲート画像の左目ゲート領域を用いて抽出された左目部分画像を構成する画素の画素値を、ラスタスキャン順に取得して並べると、図１８右上に示すようになる。ここで、画像を構成する画素の画素値を、ラスタスキャン順に取得して並べることにより得られる、図１８右上に示したような波形を、以下、適宜、ラスタスキャン順波形という。
【０１４１】
いま、仮に、ゲート画像の左目ゲート領域が、左に１画素分だけずれていたとすると、その左目ゲート領域を用いて正規化顔画像から抽出される左目部分画像については、大雑把には、図１８右上に示したラスタスキャン順波形を、１画素分だけ左にずらしたようなラスタスキャン順波形が得られる。
【０１４２】
従って、ある左目ゲート領域を用いて抽出された左目部分画像と、その左目ゲート領域から左に１画素分だけずれた位置の左目ゲート領域を用いて抽出された左目部分画像とについては、形状だけはほとんど同一のラスタスキャン順波形が得られるが、同一の順番（位置）の画素値どうしには、左目ゲート領域のずれに起因して差が生じる。
【０１４３】
そこで、テクスチャ変換部４２は、左目部分画像を、左目ゲート領域が多少ずれても、そのずれの影響を受けにくい、テクスチャ自体の比較に適したテクスチャ情報に変換する。
【０１４４】
具体的には、テクスチャ変換部４２は、例えば、図１８の左下または右下に示すように、左目部分画像を、その左目部分画像の画素値のヒストグラム、または、左目部分画像の画素値を降順若しくは昇順にソートすることによって得られるソートデータに変換する。
【０１４５】
ここで、画像を構成する画素の画素値のヒストグラムやソートデータは、その画像に存在する画素値に注目して得られる情報であり、ある画素値の画素が、画像のどの位置にあるかの影響を受けない。従って、画像を構成する画素の画素値のヒストグラムやソートデータは、その画像に存在する画素値によって決まる、画像が有するテクスチャを比較するのに適したテクスチャ情報であるということができる。
【０１４６】
なお、画像を構成する画素の画素値のヒストグラムは、その画像に各画素値が現れる頻度を表す。また、画像を構成する画素の画素値のソートデータは、画像が、同じような画素値が多い、平坦な画像であれば、なだらかな波形になる傾向があり、画像が、大きく異なる画素値が多い、変化の激しい画像であれば、急峻に変化する波形になる傾向がある。かかる観点からは、テクスチャ情報としての、画像を構成する画素の画素値のヒストグラムやソートデータは、画像の画素値の統計的な性質を表す統計情報である、ということができる。
【０１４７】
また、画像を構成する画素の画素値のヒストグラムやソートデータは、画像に存在する画素値のみによって決まる。かかる観点からは、テクスチャ情報としての、画像を構成する画素の画素値のヒストグラムやソートデータは、画像の画素値のみに依存する画素値依存情報である、ということができる。さらに、画像を構成する画素の画素値のヒストグラムやソートデータは、上述したように、各画素値の画素が、画像のどの位置にあるかの影響を受けない。かかる観点からは、テクスチャ情報としての、画像を構成する画素の画素値のヒストグラムやソートデータは、画素の位置の拘束がない（位置の拘束を外した）情報である、ということもできる。
【０１４８】
テクスチャ変換部４２は、左目部分画像の他、右目部分画像と口部分画像のそれぞれも、テクスチャ情報としてのヒストグラムまたはソートデータに変換する。
【０１４９】
そして、特徴情報抽出部１４（図１２）では、ゲート算出部４１で得られるゲート画像と、テクスチャ変換部４２で得られるテクスチャ情報とが、特徴情報として出力される。
【０１５０】
次に、図１９乃至図２４を参照して、図２の識別部１５の処理について説明する。
【０１５１】
識別部１５は、上述したように、特徴情報抽出部１４が出力する特徴情報を用いて、入力画像（に写っている人の顔）を識別し、その識別結果を出力する。
【０１５２】
即ち、識別部１５は、特徴情報抽出部１４が出力する、正規化顔画像、ひいては入力画像から得られた特徴情報である入力特徴情報と、登録顔情報記憶部１６にあらかじめ登録されている特徴情報である登録特徴情報とのマッチングを行い、そのマッチング結果に基づき、入力画像を識別する。
【０１５３】
ここで、特徴情報抽出部１４は、上述したように、ゲート画像とテクスチャ情報を、特徴情報として出力する。従って、特徴情報抽出部１４が出力する特徴情報である入力特徴情報には、ゲート画像とテクスチャ情報が含まれ、登録顔情報記憶部１６（図２）に記憶されている特徴情報である登録特徴情報にも、ゲート画像とテクスチャ情報が含まれる。
【０１５４】
このため、識別部１５は、例えば、図１９に示すように、入力特徴情報に含まれるゲート画像（以下、適宜、入力ゲート画像ともいう）と、登録特徴情報に含まれるゲート画像（以下、適宜、登録ゲート画像ともいう）とのマッチングであるゲートマッチングと、入力特徴情報に含まれるテクスチャ情報（以下、適宜、入力テクスチャ情報ともいう）と、登録特徴情報に含まれるテクスチャ情報（以下、適宜、登録テクスチャ情報ともいう）とのマッチングであるテクスチャマッチングとを行い、それらのゲートマッチングとテクスチャマッチングとのそれぞれのマッチング結果に基づき、入力画像を識別する。
【０１５５】
また、テクスチャ情報には、左目部分画像、右目部分画像、口部分画像のテクスチャ情報が存在するため、識別部１５は、左目部分画像、右目部分画像、口部分画像のそれぞれについて、テクスチャマッチングを行う。
【０１５６】
図２０は、図２の識別部１５で行われるゲートマッチングを説明する図である。
【０１５７】
ここで、以下、適宜、ゲート画像の左目ゲート領域、右目ゲート領域、および口ゲート領域を、まとめて、ゲート領域ともいう。
【０１５８】
入力ゲート画像と登録ゲート画像とのマッチングであるゲートマッチングでは、入力ゲート画像または登録ゲート画像のうちの少なくとも一方でゲート領域になっている領域に対する、入力ゲート画像および登録ゲート画像の両方でゲート領域になっている領域（図２０において斜線を付して示す部分）の割合が、入力ゲート画像と登録ゲート画像との一致度として求められ、ゲートマッチングのマッチング結果とされる。
【０１５９】
具体的には、入力ゲート画像と登録ゲート画像との対応する画素の画素値どうしの論理和が求められ、その論理和を画素値とする論理和画像が求められる。
【０１６０】
さらに、ゲートマッチングでは、入力ゲート画像と登録ゲート画像との対応する画素の画素値どうしの論理積が求められ、その論理積を画素値とする論理積画像が求められる。
【０１６１】
そして、論理和画像において画素値が1になっている画素の総数に対する、論理積画像において画素値が1になっている画素の総数の割合が、入力ゲート画像と登録ゲート画像との一致度として求められ、ゲートマッチングのマッチング結果とされる。
【０１６２】
次に、図２１は、テクスチャ情報として、ヒストグラムを採用した場合の、図２の識別部１５で行われるテクスチャマッチングを説明する図である。
【０１６３】
なお、テクスチャマッチングでは、左目部分画像、右目部分画像、口部分画像のそれぞれについて、同一の処理が行われるため、以下では、左目部分画像について行われるテクスチャマッチングを説明し、右目部分画像と口部分画像のそれぞれについて行われるテクスチャマッチングの説明は、適宜省略する。
【０１６４】
いま、入力テクスチャ情報としての、左目部分画像のヒストグラムを、入力ヒストグラムというとともに、登録テクスチャ情報としての、左目部分画像のヒストグラムを、登録ヒストグラムということとすると、テクスチャマッチングでは、図２１に示すように、入力ヒストグラムの形状を有する領域（以下、適宜、入力ヒストグラム領域という）と、登録ヒストグラムの形状を有する領域（以下、適宜、登録ヒストグラム領域という）とを、同一の画素値が一致するように重ねた場合に、入力ヒストグラム領域または登録ヒストグラム領域のうちの少なくとも一方になっている領域に対する、入力ヒストグラム領域および登録ヒストグラム領域のいずれでもある領域（図２１において影を付してある部分）の割合が、入力ヒストグラムと登録ヒストグラムとの一致度として求められ、左目部分画像についてのテクスチャマッピングのマッチング結果とされる。
【０１６５】
次に、図２２は、テクスチャ情報として、ソートデータを採用した場合の、図２の識別部１５で行われるテクスチャマッチングを説明する図である。
【０１６６】
いま、入力テクスチャ情報としての、左目部分画像のソートデータを、入力ソートデータというとともに、登録テクスチャ情報としての、左目部分画像のソートデータを、登録ソートデータということとすると、テクスチャマッチングでは、図２２に示す入力ソートデータにおいて順番に並ぶ画素値と、図２２に示す登録ソートデータにおいて対応する順番の画素値との差分絶対値の総和に反比例する値が、入力ソートデータと登録ソートデータとの一致度として求められ、左目部分画像についてのテクスチャマッピングのマッチング結果とされる。
【０１６７】
ところで、テクスチャ情報として、ソートデータを採用した場合、ソートデータは、左目部分画像の画素値を降順若しくは昇順にソートすることによって得られるデータであるから、ソートデータの長さ、つまり、降順若しくは昇順にソートされた画素値の並びにおいて並んでいる画素値の数は、左目部分画像を構成する画素の数に等しく、その左目部分画像を構成する画素の数によって異なる。
【０１６８】
従って、例えば、図２３に示すように、入力ソートデータが得られた左目部分画像を構成する画素の数が、登録ソートデータが得られた左目部分画像を構成する画素の数よりも多い場合、入力ソートデータの後ろの方に並ぶ画素値については、差分絶対値を求めるのに用いる登録ソートデータの画素値が存在せず、差分絶対値を求めることができない。
【０１６９】
入力ソートデータが得られた左目部分画像を構成する画素の数が、登録ソートデータが得られた左目部分画像を構成する画素の数よりも少ない場合も、登録ソートデータの後ろの方に並ぶ画素値については、差分絶対値を求めるのに用いる入力ソートデータの画素値が存在せず、差分絶対値を求めることができない。
【０１７０】
即ち、入力ソートデータの長さと、登録ソートデータの長さとが異なる場合には、入力ソートデータまたは登録ソートデータのうちの一方の画素値の一部については、対応する他方の画素値が存在しないために、差分絶対値を求めることができない。
【０１７１】
そこで、識別部１５は、入力ソートデータの長さと、登録ソートデータの長さとが異なる場合には、入力ソートデータについて、画素値の間引き若しくは補間を行うことにより、または、登録ソートデータについて、画素値の補間若しくは間引きを行うことにより、入力ソートデータの長さと、登録ソートデータの長さとを一致させてから、テクスチャマッチングを行う。
【０１７２】
即ち、入力ソートデータの長さが、登録ソートデータの長さよりも長い場合には、識別部１５は、例えば、図２４上側に示すように、入力ソートデータとしての画素値の並びから、画素値を一定間隔で間引くことにより、入力ソートデータを構成する画素値の数（長さ）を、登録ソートデータを構成する画素値の数（長さ）に一致させる。
【０１７３】
また、例えば、入力ソートデータの長さが、登録ソートデータの長さよりも短い場合には、識別部１５は、例えば、図２４下側に示すように、入力ソートデータとしての画素値の並びに対して、画素値を一定間隔で補間することにより、入力ソートデータを構成する画素値の数を、登録ソートデータを構成する画素値の数に一致させる。
【０１７４】
なお、ソートデータについて、画素値の補間を行うにあたっては、例えば、画素値を補間する位置の左または右のうちの一方に位置する画素値を、そのまま補間する値として用いることができる。さらに、画素値の補間の方法としては、いわゆる線形補間を採用することも可能である。
【０１７５】
また、入力ソートデータの長さと、登録ソートデータの長さとが異なる場合に行う間引き若しくは補間の対象は、入力ソートデータだけであっても良いし、登録ソートデータだけであっても良い。さらに、間引き若しくは補間の対象は、入力ソートデータと登録ソートデータの両方であってもよい。即ち、入力ソートデータの画素値の間引き若しくは補間を行うとともに、登録ソートデータの画素値の補間若しくは間引きを行うことにより、入力ソートデータの長さと、登録ソートデータの長さとを一致させることができる。
【０１７６】
次に、図２５のフローチャートを参照して、図２の画像識別装置の動作について説明する。
【０１７７】
ステップＳ１において、画像入力部１１が、画像（の画像データ）を取得し、入力画像として、顔画像抽出部１２に入力して、ステップＳ２に進む。ステップＳ２では、顔画像抽出部１２は、画像入力部１１から入力された入力画像から、図３乃至図７で説明したようにして、入力画像において人の顔が写っている部分の画像を抽出するための抽出枠（図７）を求め、さらに、入力画像から抽出枠内の画像を、抽出画像として抽出して、ステップＳ３に進む。
【０１７８】
ステップＳ３では、顔画像抽出部１２（の顔画像識別部２６（図３））が、図８で説明したように、抽出画像と顔判定用テンプレート画像とのマッチングを行い、そのマッチング結果に基づき、抽出画像が、人の顔が写っている顔画像であるかどうかを判定する。
【０１７９】
ステップＳ３において、抽出画像が顔画像でないと判定された場合、即ち、抽出画像に人の顔が写っていない場合、処理は終了する。
【０１８０】
また、ステップＳ３において、抽出画像が顔画像であると判定された場合、顔画像抽出部１２は、その顔画像を、顔画像正規化部１３に供給して、ステップＳ４に進む。
【０１８１】
ステップＳ４では、顔画像正規化部１３が、顔画像抽出部１２からの顔画像を正規化し、その結果得られる、N×M画素の正規化顔画像（図１１）を、特徴情報抽出部１４に供給して、ステップＳ５に進む。
【０１８２】
ステップＳ５では、特徴情報抽出部１４は、顔画像正規化部１３からの正規化顔画像から、その正規化顔画像の特徴を表す特徴情報を抽出し、識別部１５に出力して、ステップＳ７に進む。
【０１８３】
即ち、ステップＳ５の処理は、ステップＳ５1とＳ５2の処理を含み、特徴情報抽出部１４を構成するゲート算出部４１（図１２）においてステップＳ５1の処理が行われ、特徴情報抽出部１４を構成するテクスチャ変換部４２（図１２）においてステップＳ５2の処理が行われる。
【０１８４】
具体的には、ステップＳ５1において、ゲート算出部４１が、顔画像正規化部１３からの正規化顔画像を用いて、図１７に示したようなゲート画像を求めて出力し、ステップＳ５2に進む。
【０１８５】
ステップＳ５2では、テクスチャ変換部４２が、ゲート算出部４１が出力したゲート画像を用いて、顔画像正規化部１３からの正規化顔画像から、その特徴的な部分の画像を、部分画像として抽出する。即ち、テクスチャ変換部４２は、正規化顔画像から、左目部分画像、右目部分画像、および口部分画像を抽出する。ここで、以下、適宜、左目部分画像、右目部分画像、および口部分画像をまとめて、部分画像ともいう。
【０１８６】
さらに、ステップＳ５2では、テクスチャ変換部４２が、部分画像をテクスチャ情報に変換して出力する。
【０１８７】
そして、ゲート算出部４１が出力するゲート画像と、テクスチャ変換部４２が出力するテクスチャ情報とが、特徴情報として、特徴情報抽出部１４から識別部１５に供給される。
【０１８８】
識別部１５は、ステップＳ７において、登録顔情報記憶部１６に記憶された登録顔情報の中で、まだ注目情報として選択されていない登録顔情報の１つを、注目情報として選択し、その注目情報に含まれる登録特徴情報と、特徴抽出部１４からの特徴情報である入力特徴情報とのマッチングを行う。
【０１８９】
即ち、識別部１５は、図２０で説明したように、入力特徴情報のうちのゲート画像（入力ゲート画像）と、注目情報に含まれる登録特徴情報のうちのゲート画像（登録ゲート画像）とのマッチングであるゲートマッチングを行い、入力ゲート画像と登録ゲート画像との一致度を求める。
【０１９０】
さらに、識別部１５は、図２１や図２２で説明したように、入力特徴情報のうちのテクスチャ情報（入力テクスチャ情報）と、注目情報に含まれる登録特徴情報のうちのテクスチャ情報（登録テクスチャ情報）とのマッチングであるテクスチャマッチングを行い、入力テクスチャ情報と登録テクスチャ情報との一致度を求める。
【０１９１】
そして、識別部１５は、入力ゲート画像と登録ゲート画像との一致度と、入力テクスチャ情報と登録テクスチャ情報との一致度とに基づき、入力特徴情報と、注目情報に含まれる登録特徴情報との一致度を求める。
【０１９２】
即ち、識別部１５は、例えば、入力ゲート画像と登録ゲート画像との一致度と、入力テクスチャ情報と登録テクスチャ情報との一致度とを重み付け加算する等の演算を行い、その演算結果を、入力特徴情報と、注目情報に含まれる登録特徴情報との一致度とする。
【０１９３】
ここで、本実施の形態では、テクスチャ情報が、左目部分画像、右目部分画像、口部分画像の３つについてそれぞれ存在するので、入力テクスチャ情報と登録テクスチャ情報との一致度も、左目部分画像、右目部分画像、口部分画像の３つについてそれぞれ存在する。入力テクスチャ情報と登録テクスチャ情報との一致度としては、例えば、左目部分画像、右目部分画像、口部分画像の３つについての一致度を重み付け加算する等の演算を行って得られる演算結果を採用することができる。
【０１９４】
識別部１５は、入力特徴情報と、注目情報に含まれる登録特徴情報とのマッチングを行うと、ステップＳ７からステップＳ８に進み、登録顔情報記憶部１６に記憶された登録顔情報のすべてを注目情報として、入力特徴情報と登録特徴情報とのマッチングを行ったか（終了したか）どうかを判定する。
【０１９５】
ステップＳ８において、まだ、登録顔情報記憶部１６に記憶された登録顔情報のすべてを注目情報として、入力特徴情報と登録特徴情報とのマッチングを行っていないと判定された場合、即ち、登録顔情報記憶部１６に、まだ、注目情報として選択されていない登録顔情報が存在する場合、ステップＳ７に戻り、識別部１５は、登録顔情報記憶部１６に記憶された登録顔情報の中で、まだ注目情報として選択されていない登録顔情報の１つを、注目情報として新たに選択し、以下、同様の処理を繰り返す。
【０１９６】
また、ステップＳ８において、登録顔情報記憶部１６に記憶された登録顔情報のすべてを注目情報として、入力特徴情報と登録特徴情報とのマッチングを行ったと判定された場合、即ち、登録顔情報記憶部１６に記憶されたすべての登録顔情報に含まれる登録特徴情報について、入力特徴情報とのマッチングが行われ、そのマッチング結果としての一致度が求められた場合、ステップＳ９に進み、識別部１５は、ステップＳ７でのマッチング結果に基づき、顔画像（ひいては入力画像）を識別し、その識別結果を出力して、処理を終了する。
【０１９７】
即ち、識別部１５は、例えば、登録顔情報記憶部１６に記憶された登録顔情報に含まれる登録特徴情報の中で、入力特徴情報との一致度が最も大きい登録特徴情報を求め、その登録特徴情報に対応付けられているインデックスを求めて、そのインデックスを、識別結果として出力する。
【０１９８】
以上のように、図２の画像識別装置では、入力画像の特徴的な部分の領域を表すゲート画像が求められ、そのゲート画像を用いて、入力画像から特徴的な部分の画像である部分画像が抽出される。さらに、部分画像が、その部分画像の画素値の統計的な性質を表す統計情報、あるいは、その部分画像の画素値のみに依存する画素値依存情報とも言えるテクスチャ情報に変換され、そのテクスチャ情報が、入力画像の特徴を表す特徴情報として出力される。そして、その特徴情報を用いて、入力画像の識別が行われる。
【０１９９】
従って、ゲート画像を用いて入力画像から抽出される部分画像の位置やサイズが多少ずれても、そのずれの影響がほとんどない（ずれの影響を、いわば吸収する）特徴情報としてのテクスチャ情報を得ることができる。そして、そのようなテクスチャ情報を用いて、入力画像を識別することにより、入力画像（に写っている顔）の識別を、精度良く行うことができる。
【０２００】
即ち、あるユーザＡの顔が写っている第１の画像から得られるゲート画像と、同一のユーザＡの顔が写っているが、目や口の位置が第１の画像とは多少異なる第２の画像から得られるゲート画像とでは、それぞれのゲート領域（図１７）は多少ずれるが、そのような第１の画像のゲート画像を用いて得られるテクスチャ情報と、第２の画像のゲート画像を用いて得られるテクスチャ情報とは、ほとんど同じになる。
【０２０１】
従って、同一のユーザＡの顔が写っている第１または第２の画像のうちの一方の画像から得られたテクスチャ情報を含む登録顔画像情報が、登録顔情報記憶部１６に記憶されていれば、他方の画像が画像識別装置に入力されたときに、その他方の画像に対して、ユーザＡの顔の画像であるという識別結果を得ることができる。つまり、ユーザＡの顔が写っている画像に対しては、目や口の位置などの多少の違いの影響によって、ユーザＡ（の顔の画像）でないという誤った識別が行われることを防止（低減）することができる。
【０２０２】
さらに、特徴情報として、テクスチャ情報の他に、ゲート画像も採用することにより、より精度の高い識別を行うことができる。
【０２０３】
即ち、例えば、ユーザＡとＢそれぞれの目や口の位置が異なる場合には、ユーザＡの顔が写っている画像から得られるゲート画像と、目や口の位置がユーザＡとは異なるユーザＢの顔が写っている画像から得られるゲート画像とのゲートマッチングの結果得られる一致度が小さくなり、これにより、ユーザＡまたはＢのうちの一方のユーザが写っている画像に対して、他方のユーザであるという誤った識別が行われることを防止することができる。
【０２０４】
また、例えば、ユーザＡとＢそれぞれの目および口の位置が似ている場合でも、そのユーザＡとＢそれぞれの目や口の部分のテクスチャは異なるから、ユーザＡの顔が写っている画像から得られるテクスチャ情報と、ユーザＢの顔が写っている画像から得られるテクスチャ情報とのテクスチャマッチングの結果得られる一致度が小さくなり、これにより、やはり、ユーザＡまたはＢのうちの一方のユーザが写っている画像に対して、他方のユーザであるという誤った識別が行われることを防止することができる。
【０２０５】
なお、上述の場合には、特徴情報として、ゲート画像とテクスチャ情報との両方を採用することとしたが、特徴情報としては、テクスチャ情報だけを採用することも可能である。
【０２０６】
また、識別部１５では、登録顔情報記憶部１６に記憶された登録顔情報に含まれる登録特徴情報の中で、入力特徴情報との一致度が最も大きい登録特徴情報に対応付けられているインデックスを、識別結果として出力するようにしたが、その他、入力特徴情報との一致度が最大の登録特徴情報の一致度（以下、適宜、最大一致度という）を、所定の閾値と比較し、その比較結果に基づいて、識別結果としてのインデックスの出力を制御することが可能である。
【０２０７】
即ち、例えば、識別部１５では、最大一致度が所定の閾値以上である場合には、その最大一致度が得られた登録特徴情報に対応付けられているインデックスを、識別結果として出力し、最大一致度が所定の閾値より小さい場合には、入力画像に写っている顔が不明である（入力画像が無効である）旨の識別結果を出力することが可能である。
【０２０８】
さらに、識別部１５では、入力ゲート画像との一致度が最大の登録ゲート画像と、入力テクスチャ情報との一致度が最大の登録テクスチャ情報とが、同一のインデックスに対応付けられている場合にのみ、そのインデックスを識別結果として出力し、入力ゲート画像との一致度が最大の登録ゲート画像と、入力テクスチャ情報との一致度が最大の登録テクスチャ情報とが、別のインデックスに対応付けられている場合には、入力画像に写っている顔が不明である旨の識別結果を出力することが可能である。
【０２０９】
また、入力ゲート画像との一致度が最大の登録ゲート画像と、入力テクスチャ情報との一致度が最大の登録テクスチャ情報とが、同一のインデックスに対応付けられている場合であっても、入力ゲート画像との一致度が最大の登録ゲート画像の一致度、または、入力テクスチャ情報との一致度が最大の登録テクスチャ情報の一致度が、ある閾値より小さいときには、入力画像に写っている顔が不明である旨の識別結果を出力することが可能である。
【０２１０】
ここで、テクスチャ情報としては、画素値のヒストグラムまたはソートデータのうちのいずれか一方だけを採用することもできるし、両方を採用することもできる。テクスチャ情報として、画素値のヒストグラムとソートデータの両方を採用する場合には、テクスチャマッチングでは、例えば、ヒストグラムとソートデータのそれぞれの一致度が求められ、そのヒストグラムの一致度とソートデータの一致度とに基づき、例えば、それらの一致度の重み付け加算等の演算結果が、テクスチャ情報の一致度として求められる。
【０２１１】
また、入力画像を構成する画素の画素値が、例えば、RGBの各成分を有する場合には、特徴情報抽出部１４において、特徴情報は、そのR,G,Bの各成分について求めることができる。そして、識別部１５では、R,G,Bのそれぞれの成分についてマッチングを行い、そのR,G,Bのそれぞれの成分についてのマッチング結果に基づき、同一のインデックスが得られた場合には、そのインデックスを識別結果として出力し、異なるインデックスが得られた場合には、入力画像に写っている顔が不明である旨の識別結果を出力することができる。あるいは、識別部１５では、R,G,Bのそれぞれの成分についてのマッチングによって得られる、R,G,Bのそれぞれの成分についての一致度を加算する等して、総合的な一致度を求め、その総合的な一致度に基づき、識別を行うことも可能である。
【０２１２】
さらに、特徴情報抽出部１４では、入力画像を構成する画素の画素値のRGBを、輝度信号と色信号からなる、例えば、YUVに変換し、そのY,U,Vの各成分について、特徴情報を求めることができる。そして、識別部１５では、Y,U,Vのそれぞれの成分について求められた特徴情報に基づき、R,G,Bのそれぞれの成分について求められた特徴情報を用いる場合と同様の処理を行って、識別を行うことが可能である。
【０２１３】
また、例えば、顔画像正規化部１３（図９）のアフィン変換部３５でのアフィン変換後に処理を行う輝度値調整部３６、特徴情報抽出部１４、および識別部１５では、Y,U,Vのうちの輝度信号Yのみを対象に処理を行うことが可能である。
【０２１４】
次に、図２６は、図２の登録顔情報記憶部１６に登録する（記憶させる）登録顔情報を生成する登録顔情報生成装置の一実施の形態の構成例を示している。
【０２１５】
図２６において、登録顔情報生成装置は、画像入力部７１、顔画像抽出部７２、顔画像正規化部７３、特徴情報抽出部７４、インデックス入力部７５、および登録顔情報生成部７６から構成されている。
【０２１６】
画像入力部７１、顔画像抽出部７２、顔画像正規化部７３は、図２の画像入力部１１、顔画像抽出部１２、顔画像正規化部１３とそれぞれ同様に構成されている。
【０２１７】
特徴情報抽出部７４は、ゲート算出部８１とテクスチャ変換部８２とから構成され、図２の特徴情報抽出部１４と同様に、顔画像正規化部７３から供給される正規化顔画像から特徴情報を抽出し、登録顔画像情報生成部７６に供給する。
【０２１８】
即ち、特徴情報抽出部７４において、ゲート算出部８１は、図１２のゲート算出部４１と同様に構成され、テクスチャ変換部８２は、図１２のテクスチャ変換部４２と同様に構成されている。特徴情報抽出部７４においては、ゲート算出部８１が、顔画像正規化部７３から供給される正規化顔画像からゲート画像を求め、テクスチャ変換部８２が、正規化顔画像とゲート画像から、部分画像を抽出し、さらに、その部分画像をテクスチャ情報に変換する。そして、特徴情報抽出部７４は、ゲート算出部８１で得られたゲート画像と、テクスチャ変換部８２で得られたテクスチャ情報とを、特徴情報として、登録顔情報生成部７６に供給する。
【０２１９】
インデックス入力部２５は、例えば、図２６の登録顔情報生成装置のオペレータによって操作される。オペレータが、インデックス入力部２５を操作することにより、特徴情報抽出部７４において特徴情報を抽出する対象となる正規化顔画像に顔が写っているユーザを特定する、例えば、そのユーザの氏名等の情報としてのインデックスが入力される。インデックス入力部２５を操作することにより入力されたインデックスは、インデックス入力部２５から登録顔情報生成部７６に供給される。
【０２２０】
登録顔情報生成部７６は、特徴情報抽出部７４から供給される特徴情報と、その特徴情報が抽出された正規化顔画像に顔が写っているユーザを特定する、インデックス入力部２５から供給されるインデックスとを対応付けた登録顔情報を生成して出力する。
【０２２１】
次に、図２７のフローチャートを参照して、図２６の登録顔情報生成装置の動作について説明する。
【０２２２】
ステップＳ１１において、入力画像と、その入力画像に顔が映っている人を特定するインデックスとが入力され、ステップＳ１２に進む。
【０２２３】
即ち、ステップＳ１１では、画像入力部７１が、画像（の画像データ）を取得し、入力画像として、顔画像抽出部７２に入力する。さらに、登録顔情報生成装置のオペレータが、インデックス入力部２５を操作し、これにより、インデックス入力部２５から登録顔情報生成部７６に、画像入力部７１が入力した入力画像に顔が映っている人を特定するインデックスが入力される。
【０２２４】
ステップＳ１２では、顔画像抽出部７２は、画像入力部７１から入力された入力画像から、図２の顔画像抽出部１２と同様に、入力画像において人の顔が写っている部分の画像を抽出するための抽出枠（図７）を求め、さらに、入力画像から抽出枠内の画像を、抽出画像として抽出して、ステップＳ１３に進む。
【０２２５】
ステップＳ１３では、顔画像抽出部７２が、図２の顔画像抽出部１２と同様に、抽出画像と顔判定用テンプレート画像とのマッチングを行い、そのマッチング結果に基づき、抽出画像が、人の顔が写っている顔画像であるかどうかを判定する。
【０２２６】
ステップＳ１３において、抽出画像が顔画像でないと判定された場合、処理は終了する。
【０２２７】
また、ステップＳ１３において、抽出画像が顔画像であると判定された場合、顔画像抽出部７２は、その顔画像を、顔画像正規化部７３に供給して、ステップＳ１４に進む。
【０２２８】
ステップＳ１４では、顔画像正規化部７３が、顔画像抽出部７２からの顔画像を正規化し、その結果得られる、N×M画素の正規化顔画像（図１１）を、特徴情報抽出部７４に供給して、ステップＳ１５に進む。
【０２２９】
ステップＳ１５では、特徴情報抽出部７４は、顔画像正規化部７３からの正規化顔画像から、その正規化顔画像の特徴を表す特徴情報を抽出し、登録顔情報生成部７６に出力して、ステップＳ１７に進む。
【０２３０】
即ち、ステップＳ１５の処理は、ステップＳ１５1とＳ１５2の処理を含み、特徴情報抽出部７４を構成するゲート算出部８１においてステップＳ１５1の処理が行われ、特徴情報抽出部７４を構成するテクスチャ変換部８２においてステップＳ１５2の処理が行われる。
【０２３１】
具体的には、ステップＳ１５1において、ゲート算出部８１が、図１２のゲート算出部４１と同様に、顔画像正規化部７３からの正規化顔画像を用いてゲート画像を求めて出力し、ステップＳ１５2に進む。
【０２３２】
ステップＳ１５2では、テクスチャ変換部８２が、図１２のテクスチャ変換部４２と同様に、ゲート算出部８１が出力したゲート画像を用いて、顔画像正規化部７３からの正規化顔画像から、その特徴的な部分の画像を、部分画像（左目部分画像、右目部分画像、および口部分画像）として抽出する。
【０２３３】
さらに、ステップＳ１５2では、テクスチャ変換部８２が、部分画像をテクスチャ情報に変換して出力する。
【０２３４】
そして、ゲート算出部８１が出力するゲート画像と、テクスチャ変換部８２が出力するテクスチャ情報とが、特徴情報として、特徴情報抽出部７４から登録顔情報生成部７６に供給される。
【０２３５】
登録顔情報生成部７６は、ステップＳ１７において、特徴情報抽出部７４からの特徴情報に、ステップＳ１１でインデックス入力部２５から入力されたインデックスを付加することにより、そのインデックスと特徴情報とを対応付けた登録顔情報を生成して出力し、ステップＳ１８に進む。
【０２３６】
ステップＳ１８では、例えば、登録顔情報生成部７６は、登録顔情報の生成を終了するかどうかを判定する。ステップＳ１８において、登録顔情報の生成を終了しないと判定された場合、即ち、例えば、登録顔情報生成装置のオペレータが、新たなインデックスを入力するように、インデックス入力部２５を操作した場合、ステップＳ１１に戻り、新たな入力画像と、その入力画像に顔が映っている人を特定する新たなインデックスとが入力され、以下、同様の処理が繰り返される。
【０２３７】
また、ステップＳ１８において、登録顔情報の生成を終了すると判定された場合、即ち、例えば、登録顔情報生成装置のオペレータが、登録顔情報の生成を終了するように、インデックス入力部２５を操作した場合、処理は終了する。
【０２３８】
次に、図２８は、本発明を適用した画像識別装置の他の一実施の形態の構成例を示している。
【０２３９】
なお、図中、図２の画像識別装置と共通する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図２８の画像識別装置は、画像入力部１１、顔画像抽出部１２、顔画像正規化部１３、特徴情報抽出部１４、識別部１５、および登録顔情報記憶部１６を備える点で、図２の画像識別装置と共通し、操作部９１、選択部９２、および登録顔情報生成部９３が新たに設けられている点で、図２の画像識別装置と相違する。
【０２４０】
操作部９１は、図２６のインデックス入力部７５と同様に、インデックスを入力するときに、ユーザ（オペレータ）によって操作される。さらに、操作部９１は、装置の動作モードを設定するときにも、ユーザによって操作される。
【０２４１】
即ち、図２８の画像識別装置は、動作モードとして、画像の識別を行う識別モードと、登録顔情報の登録を行う登録モードとを有しており、操作部９１は、動作モードを、識別モードまたは登録モードに設定する（切り替える）ときにも操作される。
【０２４２】
操作部９１は、その操作に対応する操作信号を、選択部９２または登録顔情報生成部９３に供給する。
【０２４３】
選択部９２は、操作部９１からの操作信号にしたがい、識別部１５または登録顔情報生成部９３のうちの一方を選択し、その選択した方に対して、特徴情報抽出部１４から供給される特徴情報を供給する。
【０２４４】
登録顔情報生成部９３は、選択部９２を介して特徴情報抽出部１４から供給される特徴情報と、操作部９１から供給される操作信号が表すインデックスとを対応付けた登録顔情報を生成し、新たな登録顔情報として、登録顔情報記憶部１６に供給して記憶させる（登録する）。
【０２４５】
以上のように構成される図２８の画像識別装置では、ユーザが操作部９１を操作することにより、動作モードが登録モードとされた場合、選択部９２は、特徴抽出部１４が出力する特徴情報を、登録顔情報生成部９３に供給する。
【０２４６】
また、登録モードでは、ユーザは、操作部９１を操作することにより、特徴抽出部１４が出力する特徴情報が抽出された入力画像に顔が写っているユーザを特定するインデックスを入力し、そのインデックスを表す操作信号が、操作部９１から登録情報生成部９３に供給される。
【０２４７】
登録情報生成部９３は、特徴情報抽出部１４から供給される特徴情報と、操作部９１から供給される操作信号が表すインデックスとを対応付けた登録顔情報を生成し、登録顔情報記憶部１６に供給して記憶させる。
【０２４８】
一方、ユーザが操作部９１を操作することにより、動作モードが識別モードとされた場合、選択部９２は、特徴抽出部１４が出力する特徴情報を、識別部１５に供給する。識別部１５は、上述したように、特徴抽出部１４が出力する特徴情報（入力特徴情報）と、登録顔情報記憶部１６に記憶された登録顔情報に含まれる特徴情報（登録特徴情報）とのマッチングを行い、そのマッチング結果に基づき、識別結果としてのインデックスを出力する。
【０２４９】
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２５０】
そこで、図２９は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２５１】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やＲＯＭ１０３に予め記録しておくことができる。
【０２５２】
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体１１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２５３】
なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部１０８で受信し、内蔵するハードディスク１０５にインストールすることができる。
【０２５４】
コンピュータは、CPU(Central Processing Unit)１０２を内蔵している。CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されており、CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部１０７が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、また、CPU１０２は、ハードディスク１０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部１０８で受信されてハードディスク１０５にインストールされたプログラム、またはドライブ１０９に装着されたリムーバブル記録媒体１１１から読み出されてハードディスク１０５にインストールされたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、LCD(Liquid Crystal Display)やスピーカ等で構成される出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。
【０２５５】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２５６】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２５７】
なお、本実施の形態では、人の顔が写っている入力画像の特徴的な部分として、目（左目と右目）と口の部分を採用したが、例えば、目の部分だけ、または口の部分だけを、特徴的な部分として採用することが可能である。さらに、特徴的な部分としては、その他、鼻の穴の部分などをも採用することが可能である。
【０２５８】
また、本実施の形態では、人の顔（が写っている画像）を識別の対象としたが、識別の対象は、人の顔に限られるものではなく、動物の顔やその他の物体であっても良い。
【０２５９】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２６０】
【図１】従来の画像識別装置の一例の構成を示すブロック図である。
【図２】本発明を適用した画像識別装置の一実施の形態の構成例を示すブロック図である。
【図３】顔画像抽出部１２の構成例を示すブロック図である。
【図４】肌色画素の抽出の様子を示す図である。
【図５】垂直基準ラインと横枠ラインを示す図である。
【図６】縦枠ラインを示す図である。
【図７】抽出枠を示す図である。
【図８】抽出画像と顔判定用テンプレート画像とのマッチングを説明する図である。
【図９】顔画像正規化部１３の構成例を示すブロック図である。
【図１０】目の位置と口の位置の検出を説明する図である。
【図１１】アフィン変換を説明する図である。
【図１２】特徴情報抽出部１４の構成例を示すブロック図である。
【図１３】ゲート算出部４１の構成例を示すブロック図である。
【図１４】正規化顔画像のヒストグラムを示す図である。
【図１５】候補画素として抽出する画素を説明する図である。
【図１６】ラベリング部５３、目オブジェクト検出部５４、口オブジェクト検出部５５、およびゲート抽出部５６の処理を説明する図である。
【図１７】ゲート画像を示す図である。
【図１８】テクスチャ変換部４２で行われる処理を説明する図である。
【図１９】特徴情報としてのゲート画像とテクスチャ情報を示す図である。
【図２０】ゲートマッチングを説明する図である。
【図２１】テクスチャ情報がヒストグラムである場合のテクスチャマッチングを説明する図である。
【図２２】テクスチャ情報がソートデータである場合のテクスチャマッチングを説明する図である。
【図２３】入力ソートデータと登録ソートデータとの長さが異なる様子を示す図である。
【図２４】入力ソートデータの間引きと補間を説明する図である。
【図２５】画像識別装置の動作を説明するフローチャートである。
【図２６】登録顔情報を生成する登録顔情報生成装置の一実施の形態の構成例を示すブロック図である。
【図２７】登録顔情報生成装置の動作を説明するフローチャートである。
【図２８】本発明を適用した画像識別装置の他の一実施の形態の構成例を示すブロック図である。
【図２９】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０２６１】
１１  画像入力部，  １２  顔画像抽出部，  １３  顔画像正規化部，  １４  特徴情報抽出部，  １５  識別部，  １６  登録顔情報記憶部，  ２１  HSV変換部，  ２２  肌色領域抽出部，  ２３  横枠検出部，  ２４  縦枠検出部，  ２５  顔領域抽出部，  ２６  顔画像識別部，  ３１  ラベリング部，  ３２  重心算出部，  ３３  目位置検出部，  ３４  口位置検出部，  ３５  アフィン変換部，  ３６  輝度値調整部，  ４１  ゲート算出部，  ４２  テクスチャ変換部，  ５１  ヒストグラム生成部，  ５２  データ抽出部，  ５３  ラベリング部，  ５４  目オブジェクト検出部，  ５５  口オブジェクト検出部，  ５６  ゲート抽出部，  ５７  ２値データ生成部，    ７１  画像入力部，  ７２  顔画像抽出部，  ７３  顔画像正規化部，  ７４  特徴情報抽出部，  ７５  インデックス入力部，  ７６  登録顔情報生成部，  ８１  ゲート算出部，  ８２  テクスチャ変換部，  ９１  操作部，  ９２  選択部，  ９３  登録顔情報生成部，  １０１  バス，  １０２  CPU，  １０３  ROM，  １０４  RAM，  １０５  ハードディスク，  １０６  出力部，  １０７  入力部，  １０８  通信部，  １０９  ドライブ，  １１０  入出力インタフェース，  １１１  リムーバブル記録媒体
【図１】
2007102518.tif 000003
【図２】
2007102518.tif 000004
【図３】
2007102518.tif 000005
【図４】
2007102518.tif 000006
【図５】
2007102518.tif 000007
【図６】
2007102518.tif 000008
【図７】
2007102518.tif 000009
【図８】
2007102518.tif 000010
【図９】
2007102518.tif 000011
【図１０】
2007102518.tif 000012
【図１１】
2007102518.tif 000013
【図１２】
2007102518.tif 000014
【図１３】
2007102518.tif 000015
【図１４】
2007102518.tif 000016
【図１５】
2007102518.tif 000017
【図１６】
2007102518.tif 000018
【図１７】
2007102518.tif 000019
【図１８】
2007102518.tif 000020
【図１９】
2007102518.tif 000021
【図２０】
2007102518.tif 000022
【図２１】
2007102518.tif 000023
【図２２】
2007102518.tif 000024
【図２３】
2007102518.tif 000025
【図２４】
2007102518.tif 000026
【図２５】
2007102518.tif 000027
【図２６】
2007102518.tif 000028
【図２７】
2007102518.tif 000029
【図２８】
2007102518.tif 000030
【図２９】
2007102518.tif 000031