(57)【要約】  情報処理装置（１００）は、第１の状態で撮像された顔画像に対応する識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合部（１０１）と、第１の状態とは異なる第２の状態で撮像された顔画像に対応する識別器を用いて、入力顔画像に対する第２のスコアを算出する第２の照合部（１０２）と、第１のスコアと第２のスコアの統合に用いる統合係数を、第１のスコアと第２のスコアとの関係と対応付けて保持する保持部（１０６）と、保持部（１０６）に保持されている統合係数のうち、第１のスコアと第２のスコアとの関係に対応する統合係数を選択する判定部（１０３）と、選択された統合係数を利用して、第１のスコアと第２のスコアを統合した統合スコアを算出する統合部（１０４）とを備える。
2013132695.tif 000002
【特許請求の範囲】
【請求項１】
第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合手段と、
前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合手段と、
前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持する保持手段と、
この保持手段に保持されている統合係数のうち、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を選択する判定手段と、
この判定手段が選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合手段とを備えることを特徴とする情報処理装置。
【請求項２】
請求項１記載の情報処理装置において、
前記第１の状態及び前記第２の状態は、顔画像に映っている人物の顔の向きの状態であることを特徴とする情報処理装置。
【請求項３】
請求項１記載の情報処理装置において、
照合対象となる人物の登録顔画像を予め記憶するデータベースをさらに備え、
前記第１の照合手段は、前記入力顔画像と前記登録顔画像とを照合して前記第１のスコアを算出する手段を含み、
前記第２の照合手段は、前記入力顔画像と前記登録顔画像とを照合して前記第２のスコアを算出する手段を含むことを特徴とする情報処理装置。
【請求項４】
請求項３記載の情報処理装置において、
前記入力顔画像に映っている人物の顔の向きを推定する推定手段をさらに備え、
前記データベースは、前記登録顔画像と共に、この登録顔画像の顔向き情報を予め記憶し、
前記保持手段は、前記統合係数を、前記第１のスコアと前記第２のスコアとの関係と前記入力顔画像の顔向き情報と前記登録顔画像の顔向き情報とに対応して保持する手段を含み、
前記判定手段は、前記保持手段に保持されている統合係数のうち、前記第１のスコアと前記第２のスコアとの関係と前記推定手段で推定された入力顔画像の顔向き情報と前記登録顔画像の顔向き情報とに対応する統合係数を選択する手段を含むことを特徴とする情報処理装置。
【請求項５】
請求項４記載の情報処理装置において、
前記推定手段で推定された入力顔画像の顔向き情報に基づき、前記データベースに予め記録された登録顔画像のうち入力顔画像の顔向きと同じ顔向きの登録顔画像を選択する選択手段をさらに備え、
前記データベースは、照合対象となる人物の登録顔画像とこの登録顔画像の顔向き情報に加えて、前記登録顔画像を左右反転した登録顔画像とこの登録顔画像の顔向き情報を予め記憶し、
前記判定手段は、前記保持手段に保持されている統合係数のうち、前記第１のスコアと前記第２のスコアとの関係と前記推定手段で推定された入力顔画像の顔向き情報と前記選択手段が選択した登録顔画像の顔向き情報とに対応する統合係数を選択する手段を含むことを特徴とする情報処理装置。
【請求項６】
請求項１記載の情報処理装置において、
前記第１のスコアと前記第２のスコアとの関係は、前記第１のスコアと前記第２のスコアの大小関係であることを特徴とする情報処理装置。
【請求項７】
請求項３記載の情報処理装置において、
前記統合スコアに基づいて、前記入力顔画像に映っている人物が、前記登録顔画像に映っている人物と同一であるか否かを判定した結果を出力する出力手段をさらに備えることを特徴とする情報処理装置。
【請求項８】
第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合ステップと、
前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合ステップと、
前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持している保持手段から、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を取得する判定ステップと、
この判定ステップで選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合ステップとを備えることを特徴とする情報処理方法。
【請求項９】
第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合ステップと、
前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合ステップと、
前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持している保持手段から、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を取得する判定ステップと、
この判定ステップで選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合ステップとを、コンピュータに実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像の照合技術に関するものである。
【背景技術】
【０００２】
姿勢の異なる顔画像の照合は、顔照合において大きな技術課題のひとつとなっている。複数のアルゴリズムを統合することで姿勢変動に対応する顔照合手法として提案されているものには、文献「Fu Jie Huang，Zhihua Zhou，Hong-Jiang Zhang，Tsuhan Chen，“Pose invariant face recognition”，Automatic Face and Gesture Recognition，2000」や特開平１１−２５３４２７号公報、特開２００６−０１８７０７号公報に開示された技術がある。【０００３】
Huang他の上記の文献に開示された技術は、顔の細かい角度ごとの辞書データを利用し、それらすべての照合結果を学習により統合する手法である。
特開平１１−２５３４２７号公報に開示された技術は、複数の異なる生体認証部から得られた照合スコアを統合し、照合スコアの個数を次元数とする照合スコアベクトルを生成し、照合スコアベクトル空間に基づいて「正当」または「不当」のいずれかのカテゴリを特定する手法である。
特開２００６−０１８７０７号公報に開示された技術は、目的とする被写体に応じて各識別器を設定する手法である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
Huang他の上記の文献に開示された技術の場合、入力された顔画像の姿勢によって角度ごとの識別器あるいは照合スコアが大きく異なる挙動を示すため、すべての照合結果を学習により統一的に統合するのは限界がある。例えば、入力画像が右向きの顔画像の場合には右向きの顔画像用の識別器の出力が高く左向きの顔画像用の識別器の出力が低いという識別結果を返し、逆に左向きの顔画像が入力された場合には左向きの顔画像用の識別器の出力が高く右向きの顔画像用の識別器の出力が低いという識別結果を返すため、すべての姿勢の顔画像を入力として識別結果の統合を学習しようとすると、結果として右向きの顔画像用および左向きの顔画像用の識別器の出力の重要性が低くなってしまう。【０００５】
照合スコアの挙動についても同様のことがいえるため、特開平１１−２５３４２７号公報に開示された技術のように照合スコアを統合した照合スコアベクトル空間で識別境界を学習する場合でも所望の学習結果を得るのが難しい。
また、特開２００６−０１８７０７号公報に開示された技術では、目的とする被写体に応じて各識別器を設定するので、目的と異なる姿勢の顔画像が入力されると顔画像の検出精度が低下してしまうという問題点があった。【０００６】
本発明は、上記課題を解決するためになされたもので、姿勢の異なる顔画像であっても高い精度で照合することができる情報処理装置、情報処理方法および記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の情報処理装置は、第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合手段と、前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合手段と、前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持する保持手段と、この保持手段に保持されている統合係数のうち、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を選択する判定手段と、この判定手段が選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合手段とを備えることを特徴とするものである。【０００８】
また、本発明の情報処理方法は、第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合ステップと、前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合ステップと、前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持している保持手段から、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を取得する判定ステップと、この判定ステップで選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合ステップとを備えることを特徴とするものである。【０００９】
また、本発明のコンピュータ読み取り可能な記録媒体は、第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合ステップと、前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合ステップと、前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持している保持手段から、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を取得する判定ステップと、この判定ステップで選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合ステップとを、コンピュータに実行させることを特徴とするものである。
【発明の効果】
【００１０】
本発明によれば、第１の状態で撮像された顔画像に対応する第１の識別器を用いて入力顔画像に対する第１のスコアを算出すると共に、第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて入力顔画像に対する第２のスコアを算出し、第１のスコアと第２のスコアの統合に用いる統合係数を、第１のスコアと第２のスコアとの関係と対応付けて予め保持している保持手段から、第１のスコアと第２のスコアとの関係に対応する統合係数を取得し、この統合係数を利用して、第１のスコアと第２のスコアを統合した統合スコアを算出することにより、姿勢の異なる顔画像であっても高い精度で照合することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本発明の第１実施例に係る情報処理装置の構成を示すブロック図である。
【図２】図２は、本発明の第１実施例に係る情報処理装置の動作を示すフローチャートである。
【図３】図３は、本発明の第２実施例に係る情報処理装置の構成を示すブロック図である。
【図４】図４は、本発明の第２実施例に係る情報処理装置の動作を示すフローチャートである。
【図５】図５は、本発明の第３実施例に係る情報処理装置の構成を示すブロック図である。
【図６】図６は、本発明の第３実施例に係る情報処理装置の動作を示すフローチャートである。
【図７】図７は、本発明の第４実施例に係る情報処理装置の構成を示すブロック図である。
【図８】図８は、本発明の第５実施例に係る情報処理装置の構成を示すブロック図である。
【図９】図９は、本発明の第５実施例に係る情報処理装置の別の構成を示すブロック図である。
【図１０】図１０は、本発明の第５実施例に係る情報処理装置の別の構成を示すブロック図である。
【図１１】図１１は、本発明の第５実施例に係る情報処理装置の別の構成を示すブロック図である。
【発明を実施するための形態】
【００１２】
以下に、図面を参照して、本発明の実施例について例示的に詳しく説明する。ただし、以下の実施例に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【００１３】
［第１実施例］
［構成の説明］
本発明の第１実施例に係る情報処理装置１００について、図１を用いて説明する。情報処理装置１００は顔画像の照合を行うための装置である。
図１に示すように、情報処理装置１００は、第１の照合部１０１（第１の照合手段）と、第２の照合部１０２（第２の照合手段）と、判定部１０３（判定手段）と、統合部１０４（統合手段）と、データベース部１０５と、保持部１０６（保持手段）とを含んでいる。
【００１４】
第１の照合部１０１は、ある特定の第１の姿勢の顔画像を用いて事前に学習されている識別器１０１０を用いて、入力顔画像Ａとデータベース部１０５に記録されている登録顔画像とを照合し、入力顔画像Ａと登録顔画像との類似度を示す照合スコアを算出する。
第２の照合部１０２は、前記第１の姿勢と異なる第２の姿勢の顔画像を用いて事前に学習されている識別器１０２０を用いて、入力顔画像Ａとデータベース部１０５に記録されている登録顔画像とを照合し、照合スコアを算出する。
【００１５】
このように、第１の照合部１０１と第２の照合部１０２とは、それぞれ異なる姿勢の顔画像照合に特化した識別器１０１０，１０２０を用いることが望ましい。また、照合部は必ず２つでなければならないわけではなく、３つ以上の照合部を備えていてもよい。
【００１６】
判定部１０３は、第１の照合部１０１で算出された照合スコアと第２の照合部１０２で算出された照合スコアの大小関係を判定し、この照合スコアの大小関係に基づいて、保持部１０６に記録されている照合スコアの統合係数の中から適切な統合係数を選択する。
統合部１０４は、判定部１０３が選択した統合係数を利用して、第１の照合部１０１で算出された照合スコアと第２の照合部１０２で算出された照合スコアとを統合して、統合照合スコアＳＴを出力する。
【００１７】
データベース部１０５には、照合対象となる人物の登録顔画像が予め記録されている。なお、第１の照合部１０１および第２の照合部１０２の構成によっては、顔画像ではなく特徴量ベクトルをデータベース部１０５に記録しておいてもよい。
【００１８】
保持部１０６には、第１の照合部１０１で算出された照合スコアと第２の照合部１０２で算出された照合スコアを統合する際に掛ける統合係数（統合重み）が予め記録されている。本実施例では、登録顔画像を正面顔の画像に制限して入力顔画像Ａを特定の顔向きの画像に制限した状況で、統合部１０４から所望のスコアが得られる最適な統合係数を決定する学習を予め行っておく。そして、このような学習を入力顔画像Ａに映っている人物の顔向きを変えて繰り返すことで、人物の異なる姿勢に対応する異なる複数パターンの統合係数を決定し、これら複数パターンの統合係数を保持部１０６に登録しておけばよい。つまり、本実施例においては、保持部１０６は、統合係数を、入力顔画像Ａの顔向き情報（照合スコアの大小関係）と対応付けて予め記憶している。
【００１９】
なお、データベース部１０５と保持部１０６は同一の記憶媒体を利用するように構成してもよい。
以上の構成によれば、より精度の高い顔照合を実現することができる。
【００２０】
［動作の説明］
次に、本実施例の情報処理装置１００の動作を図２を用いて説明する。まず、第１の照合部１０１および第２の照合部１０２は、入力顔画像Ａを取得する（ステップＳ１０１）。具体的には、第１の照合部１０１および第２の照合部１０２は、デジタルカメラやビデオカメラにより実空間中の静止画像または動画像を入力顔画像Ａとして取得する。あるいは、第１の照合部１０１および第２の照合部１０２は、静止画像または動画像が蓄積された記録媒体から入力顔画像Ａを取得する。
【００２１】
続いて、第１の照合部１０１および第２の照合部１０２は、それぞれステップＳ１０１で取得した入力顔画像Ａとデータベース部１０５に予め記録された登録顔画像とを照合し、照合スコアを算出する（ステップＳ１０２）。第１の照合部１０２および第２の照合部１０３で用いられる顔照合手法は任意の顔照合手法を利用してよく、例えば、Ｍ．Ｔｕｒｋにより提案されている固有顔（Eigenface）法などを用いてもよい。
【００２２】
次に、判定部１０３は、第１の照合部１０１で算出された照合スコアと第２の照合部１０２で算出された照合スコアの大小関係を判定する。そして、判定部１０３は、取得した照合スコアの大小関係情報に基づき、保持部１０６に予め記録されている複数の統合係数パターンの中から対応する統合係数を選択する（ステップＳ１０３）。仮に第１の照合部１０１が左向きの顔の照合に特化し、第２の照合部１０２が右向きの顔の照合に特化していたとすると、第１の照合部１０１で算出された照合スコアと第２の照合部１０２で算出された照合スコアの大小関係から入力顔画像Ａに映っている人物の大まかな姿勢（顔向き）を推定することができる。
【００２３】
上記のとおり、第１の照合部１０１が左向きの顔の照合に特化し、第２の照合部１０２が右向きの顔の照合に特化していたとし、入力顔画像Ａが左向き顔の画像であったとすると、第１の照合部１０１で算出された照合スコアの方が第２の照合部１０２で算出された照合スコアよりも大きくなる。この場合、判定部１０３は、入力顔画像Ａが左向き顔の画像であると推定し、左向き顔の画像に対応する統合係数を選択する。また、第１の照合部１０１で算出された照合スコアの方が第２の照合部１０２で算出された照合スコアよりも小さい場合、判定部１０３は、入力顔画像Ａが右向き顔の画像であると推定し、右向き顔の画像に対応する統合係数を選択する。
【００２４】
最後に、統合部１０４は、判定部１０３が選択した統合係数を利用して、第１の照合部１０１で算出された照合スコアと第２の照合部１０２で算出された照合スコアとを統合し、最終的な照合スコアを出力する（ステップＳ１０４）。第１の照合部１０１で算出された照合スコアをＳ１、第２の照合部１０２で算出された照合スコアをＳ２、選択された統合係数のうち照合スコアＳ１に対して作用させる統合係数をｗ１、選択された統合係数のうち照合スコアＳ２に対して作用させる統合係数をｗ２とすると、統合部１０４は、統合照合スコアＳＴを例えば次式のように算出する。
ＳＴ＝ｗ１×Ｓ１＋ｗ２×Ｓ２                          ・・・（１）
【００２５】
以上、本実施例によれば、顔画像の姿勢（顔向き）の違いに対しても最適な照合スコアの統合を実現することができる。
【００２６】
［第２実施例］
［構成の説明］
次に、本発明の第２実施例に係る情報処理装置２００について、図３を用いて説明する。本実施例の情報処理装置２００は、図１に示した第１実施例の情報処理装置１００の構成に加えて、推定部２０７（推定手段）をさらに備えており、また判定部１０３とデータベース部１０５の代わりに、判定部２０３（判定手段）とデータベース部２０５を備えている。他の構成については上記第１実施例と同様であるため、ここでは詳しい説明を省略する。
【００２７】
データベース部２０５には、照合対象となる人物の登録顔画像と共に、この登録顔画像に映っている人物の顔向きを示す顔向き情報が予め記録されている。第１の照合部１０１および第２の照合部１０２の構成によっては、顔画像ではなく特徴量ベクトルをデータベース部２０５に記録しておいてもよい。
【００２８】
推定部２０７は、入力顔画像Ａに映っている人物の顔の向きを推定する。顔の向きの推定手法としては、任意の手法を利用すればよく、例えば、文献「山田貢己，中島朗子，福井和広，“因子分解法と部分空間法による顔向き推定”，電子情報通信学会技術研究報告，１０１（５６８），２００２年」に開示されている手法などを用いればよい。推定部２０７は、推定した顔の向きを示す顔向き情報を出力する。
【００２９】
判定部２０３は、推定部２０７で推定された入力顔画像Ａの顔向き情報とデータベース部２０５に予め記録された登録顔画像の顔向き情報を基に、保持部１０６に予め記録されている複数の統合係数パターンの中から最適な統合係数を選択する。具体的には、事前に統合係数を学習する際に学習データの顔向きを制限して複数パターンの統合係数を学習しておき、照合の際には入力顔画像Ａの顔向き情報と登録顔画像の顔向き情報を基に対応する統合係数を選択する。
【００３０】
例えば、登録顔画像を正面顔の画像に制限して入力顔画像Ａを右向き顔の画像に制限した状況で学習された統合係数の組をＷａ、登録顔画像を正面顔の画像に制限して入力顔画像Ａを左向き顔の画像に制限した状況で学習された統合係数の組をＷｂとする。判定部２０３は、照合の際に登録顔画像の顔向き情報から登録顔画像が正面顔の画像であることが分かり、入力顔画像Ａの顔向き情報から入力顔画像Ａが右向き顔の画像であることが分かった場合、統合係数Ｗａを選択するようにする。つまり、本実施例においては、保持部１０６は、統合係数を、照合スコアの大小関係と入力顔画像Ａの顔向き情報と登録顔画像の顔向き情報と対応付けて予め記憶している。
【００３１】
また、顔向き情報だけでなく、第１の照合部１０１と第２の照合部１０２で算出される照合スコアも考慮して統合係数を選択するように判定部２０３を構成してもよい。例えば、第１の照合部１０１が正面顔の照合に特化した照合部であり、第２の照合部１０２が右向き顔の照合に特化した照合部であったとき、照合の際に登録顔画像が正面顔の画像であり、入力顔画像Ａが右向き顔の画像であったとすると、入力顔画像Ａの顔の角度によって第１の照合部１０１と第２の照合部１０２の照合スコアの大小関係が変化する。このような場合には、顔向き情報だけでなく照合スコアの大小関係も考慮して統合係数を決定する。
【００３２】
［動作の説明］
次に、本実施例の情報処理装置２００の動作を図４を用いて説明する。図４のステップＳ２０１の処理は、図２のステップＳ１０１と同様である。
推定部２０７は、入力顔画像Ａに映っている人物の顔の向きを推定する（ステップＳ２０２）。
【００３３】
ステップＳ２０３の処理は、図２のステップＳ１０２と同様である。判定部２０３は、ステップＳ２０２で推定された入力顔画像Ａの顔向き情報とデータベース部２０５に予め記録された登録顔画像の顔向き情報とを基に、保持部１０６に予め記録されている複数の統合係数パターンの中から最適な統合係数を選択する（ステップＳ２０４）。ステップＳ２０５の処理は、図２のステップＳ１０４と同様である。
以上の構成によれば、統合係数をより正確に選択することができるため、姿勢の異なる顔画像を高精度に照合することができる。
【００３４】
［第３実施例］
［構成の説明］
次に、本発明の第３実施例に係る情報処理装置３００について、図５を用いて説明する。本実施例の情報処理装置３００は、図３に示した第２実施例の情報処理装置２００の構成に加えて、選択部３０８（選択手段）をさらに備えており、またデータベース部２０５の代わりにデータベース部３０５を備えている。他の構成については上記第２実施例と同様であるため、ここでは詳しい説明を省略する。
【００３５】
データベース部３０５には、照合対象となる人物の登録顔画像と、この登録顔画像の顔向き情報に加えて、登録顔画像を左右反転した反転登録顔画像と、この反転登録顔画像に映っている人物の顔向きを示す顔向き情報とが予め記録されている。第１の照合部１０１および第２の照合部１０２の構成によっては、顔画像ではなく特徴量ベクトルをデータベース部３０５に記録しておいてもよい。言うまでもなく、反転登録顔画像の顔向きは登録顔画像の顔向きと逆になる。登録顔画像の顔向きが右向きであれば、反転登録顔画像の顔向きは左向きになる。
【００３６】
選択部３０８は、推定部２０７で推定された入力顔画像Ａの顔向き情報に基づき、データベース部３０５に予め記録された登録顔画像と反転登録顔画像のうち入力顔画像Ａの顔向きと同じ顔向きの画像を選択する。
【００３７】
［動作の説明］
次に、本実施例の情報処理装置３００の動作を図６を用いて説明する。図６のステップＳ３０１の処理は、図２のステップＳ１０１と同様である。ステップＳ３０２の処理は、図４のステップＳ２０２と同様である。
選択部３０８は、ステップＳ３０２で推定された入力顔画像Ａの顔向き情報に基づき、データベース部３０５に予め記録された登録顔画像と反転登録顔画像のうち入力顔画像Ａの顔向きと同じ顔向きの画像を選択する（ステップＳ３０３）。
【００３８】
ステップＳ３０４の処理は、図２のステップＳ１０２と同様である。ただし、第１の照合部１０１および第２の照合部１０２は、それぞれステップＳ３０１で取得した入力顔画像Ａと選択部３０８がステップＳ３０３で選択した画像とを照合することになる。
【００３９】
ステップＳ３０５の処理は、図４のステップＳ２０４と同様である。ただし、判定部２０３は、ステップＳ３０２で推定された入力顔画像Ａの顔向き情報と、選択部３０８が選択した画像に対応してデータベース部３０５に予め記録されている顔向き情報とを基に、保持部１０６に予め記録されている複数の統合係数パターンの中から対応する統合係数を選択することになる。ステップＳ３０６の処理は、図２のステップＳ１０４と同様である。
【００４０】
以上の構成によれば、入力顔画像Ａにより近い顔向きの登録顔画像を照合に利用することができるため、姿勢の異なる顔画像を高精度に照合することができる。
【００４１】
［第４実施例］
［構成の説明］
次に、本発明の第４実施例に係る情報処理装置４００について、図７を用いて説明する。図７に示すように、情報処理装置４００は、正面顔照合部４０１と、右向き顔照合部４０２と、左向き顔照合部４０３と、判定部４０４と、統合部４０５と、データベース部４０６と、保持部４０７とを含んでいる。本実施例は、第１実施例の具体例を示すものである。情報処理装置４００の処理の流れは図２に示した情報処理装置１００の処理の流れと同様である。
【００４２】
正面顔照合部４０１は、正面顔の顔画像を用いて事前に学習されている識別器４０１０を用いて、入力顔画像Ａとデータベース部４０６に記録されている登録顔画像とを照合し、入力顔画像Ａと登録顔画像との類似度を示す照合スコアを算出する。
【００４３】
右向き顔照合部４０２は、右向き顔の顔画像を用いて事前に学習されている識別器４０２０を用いて、入力顔画像Ａとデータベース部４０６に記録されている登録顔画像とを照合し、照合スコアを算出する。
【００４４】
左向き顔照合部４０３は、左向き顔の顔画像を用いて事前に学習されている識別器４０３０を用いて、入力顔画像Ａとデータベース部４０６に記録されている登録顔画像とを照合し、照合スコアを算出する。
このように、正面顔照合部４０１と右向き顔照合部４０２と左向き顔照合部４０３とは、それぞれ異なる姿勢の顔画像照合に特化した識別器４０１０，４０２０，４０３０を用いる。
【００４５】
データベース部４０６には、照合対象となる人物の登録顔画像が予め記録されている。登録顔画像は１人物につき正面、右向き、左向きの３姿勢分記録されていることが望ましい。この場合、正面顔照合部４０１は、入力顔画像Ａと正面顔の登録顔画像とを照合し、右向き顔照合部４０２は、入力顔画像Ａと右向き顔の登録顔画像とを照合し、左向き顔照合部４０３は、入力顔画像Ａと左向き顔の登録顔画像とを照合することになる。
【００４６】
ただし、１人物につき正面の登録顔画像１枚をデータベース部４０６に予め記録しておき、右向き顔照合部４０２は、画像を照合する際にデータベース部４０６に記録されている正面顔の登録顔画像から右向き顔の顔画像を生成して入力顔画像Ａと照合し、左向き顔照合部４０３は、画像を照合する際にデータベース部４０６に記録されている正面顔の登録顔画像から左向き顔の顔画像を生成して入力顔画像Ａと照合するようにしてもよい。
【００４７】
判定部４０４は、右向き顔照合部４０２で算出された照合スコアと左向き顔照合部４０３で算出された照合スコアの大小関係を判定し、入力顔画像Ａに映っている人物の顔向きを判定する。仮に入力顔画像Ａが右向き顔の画像だった場合には右向き顔照合部４０２の出力が高い照合スコアとなり、入力顔画像Ａが左向き顔の画像だった場合には左向き顔照合部４０３の出力が高い照合スコアとなる。したがって、入力顔画像Ａに映っている人物の顔向きを判定することができる。
【００４８】
保持部４０７には、正面顔照合部４０１で算出された照合スコアと右向き顔照合部４０２で算出された照合スコアと左向き顔照合部４０３で算出された照合スコアとを統合する際に用いる統合係数（統合重み）が予め記録されている。具体的には、登録顔画像を正面顔の画像に制限して入力顔画像Ａを右向き顔の画像に制限した状況で、統合部４０５から所望のスコアが得られる最適な統合係数を決定する学習を行い、学習した統合係数を保持部４０７に記録しておく。
【００４９】
正面顔照合部４０１で算出された照合スコアに対して作用させる係数をｗ１、右向き顔照合部４０２で算出された照合スコアに対して作用させる係数をｗ２、左向き顔照合部４０３で算出された照合スコアに対して作用させる係数をｗ３とし、これら統合係数ｗ１，ｗ２，ｗ３の組を保持部４０７に記録しておく。さらに、正面顔の顔画像を入力した場合の各照合スコアを学習データとした統合係数の組も保持部４０７に記録するようにしてもよい。
【００５０】
そして、判定部４０４は、入力顔画像Ａに映っている人物の顔向き（照合スコアの大小関係）に基づいて、保持部４０７に記録されている照合スコアの統合係数の中から適切な統合係数を選択する。具体的には、判定部４０４は、入力顔画像Ａが右向き顔の画像であると推定した場合には、右向き顔の画像に対応する統合係数を選択する。また、判定部４０４は、入力顔画像Ａが左向き顔の画像であると推定した場合には、右向き顔の画像に対応する統合係数を選択した上で、右向き顔照合部４０２で算出された照合スコアと左向き顔照合部４０３で算出された照合スコアを入れ替えるよう統合部４０５に対して指示を出す。
【００５１】
統合部４０５は、判定部４０４が選択した統合係数を利用して、正面顔照合部４０１で算出された照合スコアと右向き顔照合部４０２で算出された照合スコアと左向き顔照合部４０３で算出された照合スコアとを統合し、最終的な照合スコアを出力する。正面顔照合部４０１で算出された照合スコアをＳ１、右向き顔照合部４０２で算出された照合スコアをＳ２、左向き顔照合部４０３で算出された照合スコアをＳ３とすると統合部４０５は、統合照合スコアＳＴを例えば次式のように算出する。
ＳＴ＝ｗ１×Ｓ１＋ｗ２×ｍａｘ（Ｓ２，Ｓ３）＋ｗ３×ｍｉｎ（Ｓ２，Ｓ３）                                                  ・・・（２）
【００５２】
式（２）の関数ｍａｘ（Ｓ２，Ｓ３）はＳ２，Ｓ３のうち大きい方を選択する関数であり、ｍｉｎ（Ｓ２，Ｓ３）はＳ２，Ｓ３のうち小さい方を選択する関数である。
本実施例では、事前に入力顔画像Ａを右向き顔の画像に制限した状況で統合係数を学習しているため、ｗ１、ｗ２、ｗ３の大小関係はそれぞれｗ２＞ｗ１＞＞ｗ３となる。照合時に入力顔画像Ａが右向き顔の画像だった場合には照合スコアの大小関係がＳ２＞Ｓ１＞＞Ｓ３となるため、右向き顔の画像に対応する統合係数をそのまま各照合スコアへ作用させて統合照合スコアＳＴを算出すればよい。一方、照合時に入力顔画像Ａが左向き顔の画像だった場合には照合スコアの大小関係がＳ３＞Ｓ１＞＞Ｓ２となるため、右向き顔の画像に対応する統合係数をそのまま各照合スコアへ作用させると所望の統合照合スコアＳＴが得られない。ところが、右向きと左向きの顔画像を入力して統合係数を学習したとしてもｗ２とｗ３がおおよそ均等の重みとなってしまい、最適な統合とはいえない。
【００５３】
そこで、統合係数学習の際に入力顔画像Ａを右向き顔の画像に制限することで特定の顔向きに特化した統合係数を学習しておき、入力顔画像Ａが統合係数学習時と異なる顔向きの画像だった場合には照合スコアを入れ替えて対応する。つまり、照合時に入力顔画像Ａが右向き顔の画像だった場合には照合スコアの大小関係がＳ２＞Ｓ１＞＞Ｓ３となるため、式（２）のｍａｘ（Ｓ２，Ｓ３）＝Ｓ２、ｍｉｎ（Ｓ２，Ｓ３）＝Ｓ３となる。一方、照合時に入力顔画像Ａが左向き顔の画像だった場合には照合スコアの大小関係がＳ３＞Ｓ１＞＞Ｓ２となるため、ｍａｘ（Ｓ２，Ｓ３）＝Ｓ３、ｍｉｎ（Ｓ２，Ｓ３）＝Ｓ２となる。このように、入力顔画像Ａが統合係数学習時と異なる顔向きの画像だった場合には照合スコアを入れ替えて対応することにより、所望の統合照合スコアを算出することが可能となるだけでなく、右向きまたは左向きのどちらか一方の顔向きの入力顔画像Ａのみで統合係数学習を実施しておけばよいため、事前処理の軽減が期待できる。
【００５４】
実際に登録顔画像が正面顔の画像で、入力顔画像Ａが正面に対して右３０度、上２０度から撮影された左向き顔の画像であった場合、正面、右向き、左向きのすべての姿勢の顔画像を利用して学習した統合係数を用いて３つの照合スコアＳ１，Ｓ２，Ｓ３を統合する手法では認証エラー率（他人受入率を０．１％とした場合の本人拒否率）が約１３％であった。これに対して、３つの照合スコアＳ１，Ｓ２，Ｓ３の最大値を選択する手法では認証エラー率が約９％となり、正面と右向きの姿勢の顔画像のみを利用して学習した統合係数を用いて３つの照合スコアＳ１，Ｓ２，Ｓ３を適応的に統合する手法では認証エラー率が約４．６％となった。このように、本実施例の有効性を確認できた。
【００５５】
なお、本実施例では、入力顔画像Ａが統合係数学習時と異なる顔向きの画像だった場合には照合スコアを入れ替えて対応するが、統合部４０５は、統合係数を入れ替えるようにしてもよい。
ＳＴ＝ｗ１×Ｓ１＋ｗ２×Ｓ２＋ｗ３×Ｓ３              ・・・（３）
ＳＴ＝ｗ１×Ｓ１＋ｗ２×Ｓ３＋ｗ３×Ｓ２              ・・・（４）
【００５６】
統合係数学習の際に入力顔画像Ａを右向き顔の画像に制限した場合、照合時に入力顔画像Ａが右向き顔の画像だったときには式（３）を用いて統合照合スコアＳＴを算出すればよく、照合時に入力顔画像Ａが左向き顔の画像だったときには式（４）を用いて統合照合スコアＳＴを算出すればよい。
【００５７】
［第５実施例］
情報処理装置１００，２００，３００，４００は、統合照合スコアＳＴに基づいて、入力顔画像Ａに映っている人物が、登録顔画像に映っている人物と同一であるか否かを判定した結果を出力する出力部１０７（出力手段）を備えていてもよい。すなわち、出力部１０７は、統合照合スコアＳＴが所定の閾値以上の場合、入力顔画像Ａに映っている人物が登録顔画像に映っている人物と同一であることを示す判定結果を出力し、統合照合スコアＳＴが閾値未満の場合、入力顔画像Ａに映っている人物が登録顔画像に映っている人物と別人であることを示す判定結果を出力する。出力部１０７を第１実施例に適用した場合の構成を図８に示し、出力部１０７を第２実施例に適用した場合の構成を図９に示し、出力部１０７を第３実施例に適用した場合の構成を図１０に示し、出力部１０７を第４実施例に適用した場合の構成を図１１に示す。
【００５８】
以上、本発明の実施例について詳述したが、それぞれの実施例に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
第１実施例〜第５実施例で説明した情報処理装置１００，２００，３００，４００は、例えばＣＰＵ、記憶装置及びインタフェースを備えたコンピュータと、これらのハードウェア資源を制御する情報処理プログラムによって実現することができる。ＣＰＵは、記憶装置に格納された情報処理プログラムに従って第１実施例〜第５実施例で説明した処理を実行する。
【００５９】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、各実施例の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した、コンピュータ読み取り可能な非一時的記録媒体、そのプログラムをダウンロードさせるＷＷＷ（World Wide Web）サーバも、本発明の範疇に含まれる。
【００６０】
上記の実施例の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００６１】
（付記１）第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合手段と、前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合手段と、前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持する保持手段と、この保持手段に保持されている統合係数のうち、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を選択する判定手段と、この判定手段が選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合手段とを備えることを特徴とする情報処理装置。
【００６２】
（付記２）付記１記載の情報処理装置において、前記第１の状態及び前記第２の状態は、顔画像に映っている人物の顔の向きの状態であることを特徴とする情報処理装置。
【００６３】
（付記３）付記１記載の情報処理装置において、照合対象となる人物の登録顔画像を予め記憶するデータベースをさらに備え、前記第１の照合手段は、前記入力顔画像と前記登録顔画像とを照合して前記第１のスコアを算出する手段を含み、前記第２の照合手段は、前記入力顔画像と前記登録顔画像とを照合して前記第２のスコアを算出する手段を含むことを特徴とする情報処理装置。
【００６４】
（付記４）付記３記載の情報処理装置において、前記入力顔画像に映っている人物の顔の向きを推定する推定手段をさらに備え、前記データベースは、前記登録顔画像と共に、この登録顔画像の顔向き情報を予め記憶し、前記保持手段は、前記統合係数を、前記第１のスコアと前記第２のスコアとの関係と前記入力顔画像の顔向き情報と前記登録顔画像の顔向き情報とに対応して保持する手段を含み、前記判定手段は、前記保持手段に保持されている統合係数のうち、前記第１のスコアと前記第２のスコアとの関係と前記推定手段で推定された入力顔画像の顔向き情報と前記登録顔画像の顔向き情報とに対応する統合係数を選択する手段を含むことを特徴とする情報処理装置。
【００６５】
（付記５）付記４記載の情報処理装置において、前記推定手段で推定された入力顔画像の顔向き情報に基づき、前記データベースに予め記録された登録顔画像のうち入力顔画像の顔向きと同じ顔向きの登録顔画像を選択する選択手段をさらに備え、前記データベースは、照合対象となる人物の登録顔画像とこの登録顔画像の顔向き情報に加えて、前記登録顔画像を左右反転した登録顔画像とこの登録顔画像の顔向き情報を予め記憶し、前記判定手段は、前記保持手段に保持されている統合係数のうち、前記第１のスコアと前記第２のスコアとの関係と前記推定手段で推定された入力顔画像の顔向き情報と前記選択手段が選択した登録顔画像の顔向き情報とに対応する統合係数を選択する手段を含むことを特徴とする情報処理装置。
【００６６】
（付記６）付記１記載の情報処理装置において、前記第１のスコアと前記第２のスコアとの関係は、前記第１のスコアと前記第２のスコアの大小関係であることを特徴とする情報処理装置。
【００６７】
（付記７）付記３記載の情報処理装置において、前記統合スコアに基づいて、前記入力顔画像に映っている人物が、前記登録顔画像に映っている人物と同一であるか否かを判定した結果を出力する出力手段をさらに備えることを特徴とする情報処理装置。
【００６８】
（付記８）第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合ステップと、前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合ステップと、前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持している保持手段から、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を取得する判定ステップと、この判定ステップで選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合ステップとを備えることを特徴とする情報処理方法。
【００６９】
（付記９）第１の状態で撮像された顔画像に対応する第１の識別器を用いて、入力顔画像に対する第１のスコアを算出する第１の照合ステップと、前記第１の状態とは異なる第２の状態で撮像された顔画像に対応する第２の識別器を用いて、前記入力顔画像に対する第２のスコアを算出する第２の照合ステップと、前記第１のスコアと前記第２のスコアの統合に用いる統合係数を、前記第１のスコアと前記第２のスコアとの関係と対応付けて予め保持している保持手段から、前記第１のスコアと前記第２のスコアとの関係に対応する統合係数を取得する判定ステップと、この判定ステップで選択した統合係数を利用して、前記第１のスコアと前記第２のスコアを統合した統合スコアを算出する統合ステップとを、コンピュータに実行させることを特徴とするコンピュータ読み取り可能な記録媒体。
【００７０】
以上、上記実施例を参照して本発明を説明したが、本発明は、上記実施例だけに限定されるものではない。本発明の構成や詳細は、上記実施例を適宜組み合わせて用いてもよく、さらに本発明の請求の範囲内において、適宜変更することもできる。
この出願は、２０１２年３月９日に出願された日本出願特願２０１２−０５３１８７号を基礎とする優先権を主張し、その開示の内容を全てここに取り込む。
【産業上の利用可能性】
【００７１】
本発明は、顔画像の照合技術に適用することができる。
【符号の説明】
【００７２】
１００，２００，３００，４００…情報処理装置、１０１…第１の照合部、１０２…第２の照合部、１０３，２０３，４０４…判定部、１０４，４０５…統合部、１０５，２０５，３０５，４０６…データベース部、１０６，４０７…保持部、１０７…出力部、２０７…推定部，３０８…選択部、４０１…正面顔照合部、４０２…右向き顔照合部、４０３…左向き顔照合部、１０１０，１０２０，４０１０，４０２０，４０３０…識別器。
【図１】
2013132695.tif 000003
【図２】
2013132695.tif 000004
【図３】
2013132695.tif 000005
【図４】
2013132695.tif 000006
【図５】
2013132695.tif 000007
【図６】
2013132695.tif 000008
【図７】
2013132695.tif 000009
【図８】
2013132695.tif 000010
【図９】
2013132695.tif 000011
【図１０】
2013132695.tif 000012
【図１１】
2013132695.tif 000013
【国際調査報告】
2013132695.tif 000014
2013132695.tif 000015
2013132695.tif 000016
2013132695.tif 000017