(57)【要約】【課題】顔画像の照合において、メガネ、髪、マスク等のノイズデータによる影響を動的かつ適応的に低減すること。【解決手段】  顔照合装置１０は、顔画像におけるメガネ、髪、マスク等のノイズデータによる影響度を算出する際の基準となる無変動空間データ１３ａを学習データから生成し、登録データ及び入力データの各局所領域における無変動空間との近さを示す距離評価値を無変動空間データ１３ａから算出し、距離評価値に応じた重み付け類似度により照合処理を行う。このため、登録データ及び入力データにおいて、動的かつ適応的にメガネ、髪及びマスク等のノイズデータの影響を低減することができる。【選択図】図１
2015018401.tif 000002
【特許請求の範囲】
【請求項１】
照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合装置であって、
複数の学習用の顔画像を含む学習データを用いて、顔画像の局所領域が照合精度に与える影響度を算出する際の基準となる影響基準データを生成する影響基準データ生成手段と、
前記影響基準データ生成手段により算出された影響基準データに基づいて、前記入力データ及び／又は前記登録データの各局所領域における照合精度への影響度を算出する影響度算出手段と、
前記入力データの各局所領域近傍の局所パターンと前記登録データの対応する局所領域近傍における局所パターンとの間の類似度を算出する類似度算出手段と、
前記類似度算出手段により算出された各局所領域近傍における局所パターンの類似度と、前記影響度算出手段により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手段と
を備えたことを特徴とする顔照合装置。
【請求項２】
前記学習データは、照合精度を低下させる要因を除去した複数の顔画像を含み、
前記影響基準データ算出手段は、前記照合精度を低下させる要因を除去した複数の顔画像を含む前記学習データの局所領域の平均特徴量を前記影響基準データとして算出する
ことを特徴とする請求項１に記載の顔照合装置。
【請求項３】
前記影響度算出手段は、前記入力データ及び／又は前記登録データの各局所領域の特徴量と前記影響基準データの対応する局所領域の平均特徴量との距離を算出し、算出した距離の値が大きいほど前記照合精度を低下させる要因となる可能性が高いことを示す距離評価値を前記影響度として算出することを特徴とする請求項１又は２に記載の顔照合装置。
【請求項４】
前記影響度に応じて各局所領域近傍における局所パターンの類似度に対する類似度重みを算出する類似度重み算出手段をさらに備え、
前記照合処理手段は、前記類似度重み算出手段により算出された類似度重みを用いて前記各局所領域近傍における局所パターンの類似度に対する重み付けを行って前記入力データと前記登録データとを照合処理する
ことを特徴とする請求項１、２又は３に記載の顔照合装置。
【請求項５】
前記類似度重み算出手段は、前記影響度算出手段が前記入力データと前記登録データの双方について各局所領域における平均特徴量との距離評価値を前記影響度として算出した場合に、前記各局所領域について、距離の大きい方に対応する距離評価値を用いて類似度重みを算出することを特徴とする請求項４に記載の顔照合装置。
【請求項６】
照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合方法であって、
複数の学習用の顔画像を含む学習データを用いて、顔画像の局所領域が照合精度に与える影響度を算出する際の基準となる影響基準データを生成する影響基準データ生成ステップと、
前記影響基準データ生成ステップにより算出された影響基準データに基づいて、前記入力データ及び／又は前記登録データの各局所領域における照合精度への影響度を算出する影響度算出ステップと、
前記入力データの各局所領域近傍における局所パターンと前記登録データの対応する局所領域近傍における局所パターンとの間の類似度を算出する類似度算出ステップと、
前記類似度算出ステップにより算出された各局所領域近傍における局所パターンの類似度と、前記影響度算出ステップにより算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理ステップと
を含んだことを特徴とする顔照合方法。
【請求項７】
照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合プログラムであって、
複数の学習用の顔画像を含む学習データを用いて、顔画像の局所領域が照合精度に与える影響度を算出する際の基準となる影響基準データを生成する影響基準データ生成手順と、
前記影響基準データ生成手順により算出された影響基準データに基づいて、前記入力データ及び／又は前記登録データの各局所領域における照合精度への影響度を算出する影響度算出手順と、
前記入力データの各局所領域近傍における局所パターンと前記登録データの対応する局所領域近傍における局所パターンとの間の類似度を算出する類似度算出手順と、
前記類似度算出手順により算出された各局所領域近傍における局所パターンの類似度と、前記影響度算出手順により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手順と
をコンピュータに実行させることを特徴とする顔照合プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、事前に登録された人物の顔画像又は該顔画像の特徴量からなる登録データと、照合対象となる人物（以下、「照合対象者」と言う）の顔画像又は該顔画像の特徴量からなる入力データとを照合する顔照合装置、顔照合方法及び顔照合プログラムに関する。
【背景技術】
【０００２】
従来、照合対象者が事前に登録された人物と一致するか否かを判定するために、事前に登録された人物の顔画像又は該顔画像の特徴量からなる登録データと、照合対象者の顔画像又は該顔画像の特徴量からなる入力データとを照合処理する顔照合技術が知られている。
【０００３】
例えば、特許文献１、２及び３には、入力データの局所領域と登録データの対応する局所領域との距離を算出し、算出した距離を総合して顔照合を行う技術が開示されている。
【０００４】
また、特許文献４には、２つの画像を比較する際に、コントラスト指標及び非対称性指標に基づいてあらかじめ計算していた画像間の差ベクトルに対する分散値を用いて、マハラノビス距離を算出して類似度を求める技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２５１０３９号公報
【特許文献２】特許第４８０３２１４号
【特許文献３】特許第４１６１６５９号
【特許文献４】特許第３９０３７８３号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した従来の技術では、メガネ、髪、マスク等の影響を受けて顔照合の精度が低下する場合があるという問題点があった。例えば、目の周囲は個人の特徴が現れやすい場所であり、顔照合の特徴点として有効である。しかし、メガネを着用すると、目の周囲の画像が変化することにより、顔照合の照合率が大きく低下するのである。同様に、髪型、マスク、髭等も、特徴点の特徴量を変化させ、照合精度の低下を引き起こす場合がある。このように、画像における顔の特徴量を変化させ、顔照合の照合精度を低下させる要因となるものをノイズデータという。
【０００７】
このため、ノイズデータによる顔照合処理に対する影響をいかにして動的かつ適応的に低減するかが重要な課題となっている。なお、ノイズデータは、入力データと登録データのいずれにも生ずる可能性があり、いずれか一方にノイズデータが生じることで照合精度の低下を引き起こす。
【０００８】
本発明は、上記従来技術の課題を解決するためになされたものであって、ノイズデータによる顔照合に対する影響を動的かつ適応的に低減することのできる顔照合装置、顔照合方法及び顔照合プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するため、本発明は、照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合装置であって、複数の学習用の顔画像を含む学習データを用いて、顔画像の局所領域が照合精度に与える影響度を算出する際の基準となる影響基準データを生成する影響基準データ生成手段と、前記影響基準データ生成手段により算出された影響基準データに基づいて、前記入力データ及び／又は前記登録データの各局所領域における照合精度への影響度を算出する影響度算出手段と、前記入力データの各局所領域近傍の局所パターンと前記登録データの対応する局所領域近傍における局所パターンとの間の類似度を算出する類似度算出手段と、前記類似度算出手段により算出された各局所領域近傍における局所パターンの類似度と、前記影響度算出手段により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手段とを備えたことを特徴とする。
【００１０】
また、本発明は、上記発明において、前記学習データは、照合精度を低下させる要因を除去した複数の顔画像を含み、前記影響基準データ算出手段は、前記照合精度を低下させる要因を除去した複数の顔画像を含む前記学習データの局所領域の平均特徴量を前記影響基準データとして算出することを特徴とする。
【００１１】
また、本発明は、上記発明において、前記影響度算出手段は、前記入力データ及び／又は前記登録データの各局所領域の特徴量と前記影響基準データの対応する局所領域の平均特徴量との距離を算出し、算出した距離の値が大きいほど前記照合精度を低下させる要因となる可能性が高いことを示す距離評価値を前記影響度として算出することを特徴とする。
【００１２】
また、本発明は、上記発明において、前記影響度に応じて各局所領域近傍における局所パターンの類似度に対する類似度重みを算出する類似度重み算出手段をさらに備え、前記照合処理手段は、前記類似度重み算出手段により算出された類似度重みを用いて前記各局所領域近傍における局所パターンの類似度に対する重み付けを行って前記入力データと前記登録データとを照合処理することを特徴とする。
【００１３】
また、本発明は、上記発明において、前記類似度重み算出手段は、前記影響度算出手段が前記入力データと前記登録データの双方について各局所領域における平均特徴量との距離評価値を前記影響度として算出した場合に、前記各局所領域について、距離の大きい方に対応する距離評価値を用いて類似度重みを算出することを特徴とする。
【００１４】
また、本発明は、照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合方法であって、複数の学習用の顔画像を含む学習データを用いて、顔画像の局所領域が照合精度に与える影響度を算出する際の基準となる影響基準データを生成する影響基準データ生成ステップと、前記影響基準データ生成ステップにより算出された影響基準データに基づいて、前記入力データ及び／又は前記登録データの各局所領域における照合精度への影響度を算出する影響度算出ステップと、前記入力データの各局所領域近傍における局所パターンと前記登録データの対応する局所領域近傍における局所パターンとの間の類似度を算出する類似度算出ステップと、前記類似度算出ステップにより算出された各局所領域近傍における局所パターンの類似度と、前記影響度算出ステップにより算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理ステップとを含んだことを特徴とする。
【００１５】
また、本発明は、照合対象者の顔画像又はその特徴量からなる入力データをあらかじめ登録された顔画像又はその特徴量からなる登録データと照合処理する顔照合プログラムであって、複数の学習用の顔画像を含む学習データを用いて、顔画像の局所領域が照合精度に与える影響度を算出する際の基準となる影響基準データを生成する影響基準データ生成手順と、前記影響基準データ生成手順により算出された影響基準データに基づいて、前記入力データ及び／又は前記登録データの各局所領域における照合精度への影響度を算出する影響度算出手順と、前記入力データの各局所領域近傍における局所パターンと前記登録データの対応する局所領域近傍における局所パターンとの間の類似度を算出する類似度算出手順と、前記類似度算出手順により算出された各局所領域近傍における局所パターンの類似度と、前記影響度算出手順により算出された影響度とに基づいて、前記入力データと前記登録データとを照合処理する照合処理手順とをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、複数の学習用の顔画像を含む学習データを用いて、顔画像の局所領域が照合精度に与える影響度を算出する際の基準となる影響基準データを生成し、影響基準データに基づいて入力データ及び／又は登録データの各局所領域における照合精度への影響度を算出し、各局所領域における入力データ及び登録データの類似度と、各局所領域の影響度とに基づいて、入力データと登録データとを照合処理するよう構成したので、ノイズデータによる顔照合に対する影響を動的かつ適応的に低減することができる。
【図面の簡単な説明】
【００１７】
【図１】図１は、顔照合装置による顔照合処理の概念を説明するための説明図である。
【図２】図２は、顔照合装置の構成を示すブロック図である。
【図３】図３は、図２に示した無変動空間生成部のブロック図である。
【図４】図４は、登録及び照合の詳細について説明するための説明図である。
【図５】図５は、無変動空間データ及び登録データについて説明するための説明図である。
【図６】図６は、顔照合装置の学習に係る処理手順を示すフローチャートである。
【図７】図７は、顔照合装置の登録に係る処理手順を示すフローチャートである。
【図８】図８は、顔照合装置の照合に係る処理手順を示すフローチャートである。
【図９】図９は、顔照合装置の各機能部をプログラムにより実現する場合の説明図である。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照して、本発明に係る顔照合装置、顔照合方法及び顔照合プログラムの好適な実施例を説明する。以下に示す実施例では、メガネ、髪及びマスク等の影響をノイズデータとして低減する場合について説明するが、他のノイズデータの影響を低減する場合にも同様に適用することができる。
【実施例】
【００１９】
まず、本実施例に係る顔照合装置１０の顔照合処理の概念について説明する。図１は、顔照合装置１０による顔照合処理の概念を説明するための説明図である。同図に示す顔照合装置１０は、従来の顔照合装置のように、メガネ、髪及びマスク等を「顔の一部」として扱うのではなく、顔の一部ではないノイズデータとして扱い、ノイズデータの影響を低減しつつ顔照合を行う。同図に示す特徴量Ａは、照合対象領域内の複数の局所領域から算出され、登録データと入力データとの類似度算出のために用いられる。
【００２０】
具体的には、かかる顔照合装置１０は、被認識者の顔である登録画像を登録データとして登録する登録処理及び入力データを用いた照合処理に先立って、学習データを用いた学習処理を行う。この学習データには、変動のない顔画像の学習データが用いられる。変動のない顔画像とは、照合対象領域にメガネ、髪の毛及びマスク等のノイズデータを含まない顔画像である。
【００２１】
顔照合装置１０は、変動のないモデルとなる標準顔を利用する学習データを用いて、変動のない空間を構成する。ここで、変動のない空間とは、変動のない顔画像の集合である学習データを用いて作成された顔の各局所領域の特徴量Ｂの集合とする。ここで特徴量Ｂは画像パターンそのものでもよいし、あるいは、画像に部分フィルタを施したものとしても良い。特徴量Ｂの実施例の詳細は後述する。顔照合装置１０は、学習データを用いて、無変動空間データ１３ａを生成する。無変動空間データ１３ａは、顔照合の際にノイズデータの影響を低減する際に基準となるデータである。
【００２２】
無変動空間データ１３ａにより示される変動のない空間には、メガネ、髪及びマスク等に関するデータが含まれないため、一例として、変動のない空間としての特徴量Ｂの平均は、登録データ及び入力データがどれだけ「変動」しているのかの基準として用いることができる。具体的には、登録データや入力データにメガネや髪等のノイズデータが含まれている場合には、該ノイズデータの影響を受けた局所領域の特徴量Ｂは、変動のない空間の特徴量Ｂの平均から大きく隔たることとなる。
【００２３】
このようにして、学習段階において無変動空間データ１３ａを生成したならば、顔照合装置１０は、登録データの入力を受け付け、登録データの複数の局所領域における特徴量Ａ及び特徴量Ｂを算出する。
【００２４】
そして、学習データから生成した無変動空間データ１３ａを用いて、各局所領域の特徴量Ｂが変動のない空間の対応する特徴量Ｂの平均とどれだけ近いかを示す距離評価値を算出する。換言すれば、入力データ及び登録データの各局所領域がどれほど部分的に顔らしいデータなのか（ノイズデータの影響を受けている可能性が低いのか）を算出する。ここで、距離の値が小さい、すなわち、ノイズデータの影響を受けている可能性が低いほど距離評価値を大きくし、距離が大きいほど距離評価値は小さくする。図１では、顔照合装置１０が、登録データのｎ個（ｎは自然数）の局所領域についてそれぞれ特徴量Ａデータ１３ｃと、変動のない空間との距離評価値データ１３ｄとを算出した状態を示している。なお、かかる局所領域は、各種従来技術を用いて設定することができる。
【００２５】
次に、顔照合装置１０は、照合対象者の顔画像データからなる入力データを受け付けたならば、この入力データから各局所領域の特徴量Ａ及び特徴量Ｂを算出する。また、顔照合装置１０は、学習データから生成した無変動空間データ１３ａを用いて、入力データの各局所領域の特徴量Ｂが変動のない空間とどれだけ近いかを示す距離評価値を対応する局所領域ごとに算出する。図１では、入力データのｎ個の局所領域における特徴量Ａデータと距離評価値データとが算出された状態を示している。
【００２６】
そして、この顔照合装置１０は、登録データの距離評価値データ１３ｄと入力データの距離評価値データとを用いて、各局所領域における類似度重みを算出する。この類似度重みは、距離評価値が小さいほど（ノイズデータの影響を受けている可能性が高いほど）小さな値とする。
【００２７】
このようにして類似度重みを算出したならば、顔照合装置１０は、登録データと入力データの対応するｎ個の局所領域の特徴量Ａの類似度を求め、求めた類似度に当該局所領域における類似度重みを適用して重み付け類似度を算出し、この重み付け類似度を用いて登録データと入力データの照合処理を行う。例えば、かかる重み付け類似度の総和が所定のしきい値以上であれば同一人物と判定し、しきい値未満であれば異なる人物であると判定することになる。
【００２８】
このように、顔照合装置１０は、顔画像におけるメガネ、髪、マスク等のノイズデータによる影響を評価し、その影響を低減するための無変動空間データ１３ａを学習データから生成する。そして登録データ及び入力データの局所領域の特徴量Ｂと、無変動空間データ１３ａの対応する局所領域の特徴量Ｂの平均から距離評価値を算出し、この距離評価値の大きさに応じた重み付け類似度を用いた照合処理を行う。
【００２９】
無変動空間データ１３ａは、登録データ及び入力データに関してノイズデータの存在の程度を示すものとなる。このため、入力データにメガネ、髪及びマスク等のノイズデータが存在する場合には、変動のない空間との距離評価値が小さくなるために、類似度の重みが下げられ、ノイズデータの影響を低減することができる。
【００３０】
次に、図１に示した顔照合装置１０の構成について説明する。図２は、図１に示した顔照合装置１０の構成を示すブロック図である。図２に示すように、この顔照合装置１０は、画像入力受付部１１、表示操作部１２、記憶部１３及び制御部１４を有する。
【００３１】
画像入力受付部１１は、学習データとしての顔画像、登録データとしての顔画像及び入力データとしての顔画像をそれぞれカメラやスキャナ等から受け付けるインタフェースである。表示操作部１２は、タッチパネルディスプレイ、キーボードやマウス等のインタフェースである。
【００３２】
記憶部１３は、フラッシュメモリやハードディスク装置等からなる記憶デバイスであり、無変動空間データ１３ａ及び登録データ１３ｂを記憶する。
【００３３】
無変動空間データ１３ａは、学習データが入力された場合に生成されて記憶部１３に格納される。登録データ１３ｂは、登録データの各局所領域の特徴量Ａデータ１３ｃ及び変動のない空間との近さを示す距離評価値データ１３ｄを含むデータであり、登録データが入力された場合に生成されて記憶部１３に記憶される。
【００３４】
制御部１４は、顔照合装置１０を全体制御する制御部である。制御部１４は、無変動空間生成部１４ａ、特徴量算出部１４ｂ、距離評価値算出部１４ｃ、類似度算出部１４ｄ、類似度重み算出部１４ｅ及び照合処理部１４ｆを有する。
【００３５】
無変動空間生成部１４ａは、画像入力受付部１１が学習データを受け付けた場合に、学習データ全体から、各局所領域の特徴量Ｂの平均を算出したデータである変動空間データ１３ａを生成し、記憶部１３に格納する処理部である。
【００３６】
特徴量算出部１４ｂは、画像入力受付部１１が登録データ又は入力データを受け付けた場合に、受け付けたデータから各局所領域についての類似度算出用の特徴量Ａデータ１３ｃおよびこの局所領域の類似度重み算出用の特徴量Ｂを算出する処理部である。特徴量算出部１４ｂは、各局所領域の類似度重み算出のための特徴をｍ次元（ｍは自然数）で算出する。
【００３７】
距離評価値算出部１４ｃは、各局所領域における変動のない空間との近さの度合いを算出する処理部である。具体的には、特徴量算出部１４ｂから出力される特徴量Ｂと無変動空間データ１３ｂを用いて局所領域ごとに近さの度合いを算出する。
【００３８】
類似度算出部１４ｄは、登録データと入力データとの対応する局所領域の類似度を算出する処理部である。類似度重み算出部１４ｅは、距離評価値算出部１４ｃにより算出された距離評価値を用いて、各局所領域における類似度重みを算出する。メガネ及びマスク等のデータが入力データに含まれて、特徴量Ｂと無変動空間データ１３ａとの差が大きくなるほど距離評価値が小さくなり、類似度重み算出部１４ｅは類似度重みを小さな値とする。
【００３９】
照合処理部１４ｆは、類似度算出部１４ｄにより算出された類似度に対し、類似度重み算出部１４ｅにより算出された類似度重みを掛けて重み付け類似度を算出し、この重み付け類似度を用いて登録データと入力データとの照合処理を行う処理部である。
【００４０】
次に、無変動空間データ１３ａの生成についてさらに説明する。前述したように学習データとしてメガネ、髪及びマスク等のない変動のない顔画像集合が顔照合装置１０に入力される。無変動空間生成部１４ａは、この学習データにより、変動のない空間として、一例として、各局所領域の特徴量Ｂを平均化した無変動空間データ１３ａを生成する。
【００４１】
図３は、図２に示した無変動空間生成部１４ａのブロック図である。無変動空間生成部１４ａは、その内部に特徴量Ｂ算出部４１及び平均特徴量Ｂ算出部４２を有する。画像受付部１１から学習データを受け付けた場合に、特徴量Ｂ算出部４１は、設定された局所領域の特徴量Ｂを算出する。そして、全ての学習データの局所領域の特徴量Ｂを算出して平均特徴量Ｂ算出部４２に出力する。
【００４２】
平均特徴量Ｂ算出部４２は、局所領域ごとに、特徴量を集計してその平均を算出する。平均特徴量Ｂ算出部４２は、算出した局所領域ごとの特徴量を無変動空間データ１３ａとして記憶部１３に格納する。
【００４３】
次に、登録及び照合の詳細について説明する。図４は、登録及び照合の詳細について説明するための説明図である。図４に示すように、特徴量算出部１４ｂは、登録データから局所領域の類似度算出用の特徴量Ａを登録データ１３ｂの特徴量Ａデータ１３ｃとして記憶部１３に格納するとともに、局所領域の類似度重み算出用の特徴量Ｂを距離評価値算出部１４ｃに出力する。また、特徴量算出部１４ｂは、入力データから局所領域の類似度算出用の特徴量Ａを類似度算出部１４ｄに出力し、局所領域の類似度重み算出用の特徴量Ｂを距離評価値算出部１４ｃに出力する。
【００４４】
距離評価値算出部１４ｃは、特徴量算出部１４ｂから出力された類似度重み算出用の特徴量Ｂと無変動空間データ１３ａとから変動のない空間との近さを示す距離評価値を算出する。距離評価値算出部１４ｃは、登録データから距離評価値を算出した場合には、算出した距離評価値を距離評価値データ１３ｄとして記憶部１３に格納する。また、距離評価値算出部１４ｃは、入力データから同様にして距離評価値を算出した場合には、算出した距離評価値を類似度重み算出部１４ｅに出力する。
【００４５】
ここで、距離評価値の算出について説明する。距離評価値算出部１４ｃは、距離評価値を算出する際には、無変動空間データ１３ａ、登録データ及び入力データの各局所領域のｍ次元のそれぞれの特徴量Ｂをｍ項列ベクトルの要素と見なし、無変動空間データ１３ａのｍ項列ベクトルと、登録データ及び入力データのｍ項列ベクトルとの差ベクトルを求める。そして差ベクトルの長さを算出する。そして、差ベクトルの長さｘｊ（ｊ＝１，・・・，ｎ）を用いて、変動のない空間との近さを示す距離評価値ｄｊを次式により算出する。
ｄｊ＝ｅｘｐ（−ａ（ｘｊ∧２））・・・（１）
ここで、ａ（＞０）は一定である。∧はべき乗を表す。
【００４６】
（１）式は、差ベクトルが小さいほど、すなわち変動のない空間に近いほどｄｊの値が大きくなることを示し、差ベクトルが大きく、変動のない空間に遠いほどｄｊの値が小さくなることを示している。すなわちｄｊは変動のない空間との近さの度合いを表現したものになる。
【００４７】
類似度算出部１４ｄは、入力データと登録データとの類似度を局所領域ごとに算出して照合処理部１４ｆに出力する。
【００４８】
類似度重み算出部１４ｅは、距離評価値算出部１４ｃにより入力データから距離評価値ｄｊが出力された場合に、登録データ１３ｂの距離評価値データ１３ｄと入力データの距離評価値データのうち小さい方を選択して局所領域ごとの類似度重みを算出し、照合処理部１４ｆに出力する。
【００４９】
ここで、類似度重みの算出について説明する。類似度重み算出部１４ｅは、距離評価値算出部１４ｃが求めた距離評価値ｄｊを用いて、次式により各局所領域の類似度重みｗｊを算出する。
ｗｊ＝ｄｊ∧ｂ・・・（２）
ここでｂ（＞０）は一定、∧はべき乗を表している。また、最終的には、重みは和が１になるように正規化される。
【００５０】
（２）式では、変動のない空間との近さが近くなるほど距離評価値ｄｊが大きくなるため、算出される重みは大きくなる。逆に距離評価値ｄｊが小さい場合には重みが小さくなり、この場合には、メガネ、髪、マスク等の影響が低減されることを示している。
【００５１】
照合処理部１４ｆは、類似度算出部１４ｄにより算出された類似度に対し、類似度重み算出部１４ｅにより算出された類似度重みを掛けて重み付け類似度を算出し、この重み付け類似度を用いて登録データと入力データとの照合処理を行う。具体的には、照合処理部１４ｆは、重み付け類似度の総和を算出し、重み付け類似度の総和がしきい値以上である場合に、登録データと入力データとが同一人物であると判定する。
【００５２】
次に、無変動空間データ１３ａ及び登録データ１３ｂについて説明する。図５は、無変動空間データ１３ａ及び登録データ１３ｂについて説明するための説明図である。図５（ａ）は、無変動空間データ１３ａを示したものであり、図５（ｂ）は登録データ１３ｂを示したものである。図５（ａ）に示すように、無変動空間データ１３ａは、変動のない学習データを用いて算出した各局所領域のｍ次元の平均特徴量Ｂが記憶されたものである。具体的には、無変動空間データ１３ａの局所領域Ｐ１の平均特徴量ＢはＢ０１であり、局所領域Ｐ２の平均特徴量ＢはＢ０２であり、局所領域Ｐｎの平均特徴量ＢはＢ０ｎである。
【００５３】
図５（ｂ）に示す登録データ１３ｂは、登録ＩＤと、氏名と、ｎ個の局所領域に関する特徴量Ａと距離評価値を有する。登録ＩＤは、登録される人物の登録データを一意に識別するための情報である。氏名は、登録データに対応する人物の氏名である。なお、氏名に限らず、人物に関する任意の情報を登録データに含めることができる。
【００５４】
図５（ｂ）では、登録ＩＤ「００１」が氏名「ＡＢＣ」である人物の顔画像に対応する登録データあり、局所領域Ｐ１の特徴量ＡがＡ１１であり、局所領域Ｐ１の距離評価値がＮｒ１１であり、局所領域Ｐ２の特徴量ＡはＡ１２であり、局所領域Ｐ２における距離評価値はＮｒ１２であり、局所領域Ｐｎの特徴量ＡがＡ１ｎであり、局所領域Ｐｎにおける距離評価値はＮｒ１ｎであることを示している。
【００５５】
同様に、登録ＩＤ「００２」が氏名「ＥＦＧ」である人物の顔画像に対応する登録データであり、局所領域Ｐ１の特徴量ＡがＡ２１であり、局所領域Ｐ１における距離評価値はＮｒ２１であり、局所領域Ｐ２の特徴量ＡがＡ２２であり、局所領域Ｐ２における距離評価値がＮｒ２２であり、局所領域Ｐｎの特徴量ＡがＡ２ｎであり、局所領域Ｐｎにおける距離評価値がＮｒ２ｎであることを示している。
【００５６】
次に、顔照合装置１０の学習に係る処理手順について説明する。図６は、顔照合装置１０の学習に係る処理手順を示すフローチャートである。
【００５７】
まず、画像入力受付部１１は、学習データを受け付ける（ステップＳ１０１）。無変動空間生成部１４ａの特徴量Ｂ算出部４１は、各局所領域の特徴量Ｂを算出し（ステップＳ１０２）、平均特徴量Ｂ算出部４２に出力する。
【００５８】
全ての学習データに関して局所領域ごとの特徴量Ｂの算出が終了すれば、平均特徴量Ｂ算出部４２は、局所領域ごとに特徴量Ｂを集計して平均を算出する（ステップＳ１０３）。そして、顔照合装置１０は、算出した平均特徴量Ｂを無変動空間データ１３ａとして記憶部１３に格納して（ステップＳ１０４）、処理を終了する。
【００５９】
次に、顔照合装置１０の登録に係る処理手順について説明する。図７は、顔照合装置１０の登録に係る処理手順を示すフローチャートである。
【００６０】
まず、画像入力受付部１１は、登録データを受け付ける（ステップＳ２０１）。特徴量算出部１４ｂは、登録データから局所領域の特徴量Ａと特徴量Ｂを算出する（ステップＳ２０２）。距離評価値算出部１４ｃは、記憶部１３から無変動空間データ１３ａを読み出し（ステップＳ２０３）、（１）式を用いて登録データの局所領域ごとの距離評価値を算出する（ステップＳ２０４）。顔照合装置１０は、ステップＳ２０２で算出した特徴量Ａと、ステップＳ２０４で算出した距離評価値を登録データ１３ｂとして記憶部１３に格納し（ステップＳ２０５）、処理を終了する。
【００６１】
次に、顔照合装置１０の照合に係る処理手順について説明する。図８は、顔照合装置１０の照合に係る処理手順を示すフローチャートである。
【００６２】
まず、画像入力受付部１１は、入力データを受け付ける（ステップＳ３０１）。特徴量算出部１４ｂは、入力データから各局所領域について特徴量Ａと特徴量Ｂを算出する（ステップＳ３０２）。また、距離評価値算出部１４ｃは、記憶部１３から無変動空間データ１３ａを読み込み（ステップＳ３０３）、各局所領域の距離評価値を算出する（ステップＳ３０４）。
【００６３】
その後、顔照合装置１０は、入力データと照合処理する登録データ１３ｂを選択する（ステップＳ３０５）。類似度重み算出部１４ｅは、各局所領域について、選択した登録データ１３ｂの距離評価値と、入力データの距離評価値とを比較し、距離評価値の小さい方を選択する（ステップＳ３０６）。類似度重み算出部１４ｅは、選択した距離評価値により各局所領域の類似度重みを算出する（ステップＳ３０７）。
【００６４】
類似度算出部１４ｄは、各局所領域について、選択した登録データ１３ｂの特徴量Ａと、入力データの特徴量Ａとの類似度を算出する（ステップＳ３０８）。照合処理部１４ｆは、ステップＳ３０８で算出された類似度に対し、ステップＳ３０７で算出された類似度重みを掛けて重み付け類似度を算出し、重み付け類似度を合計する（ステップＳ３０９）。
【００６５】
照合処理部１４ｆは、合計した重み付け類似度（総和類似度）がしきい値以上であるならば（ステップＳ３１０；Ｙｅｓ）、選択した登録データ１３ｂと入力データとが同一人物のものであると判定し、選択した登録データ１３ｂに関する情報（氏名等）を照合結果として出力して（ステップＳ３１３）、処理を終了する。
【００６６】
総和類似度がしきい値未満であるならば（ステップＳ３１０；Ｎｏ）、照合処理部１４ｆは、全ての登録データ１３ｂを選択済みであるか否かを判定する（ステップＳ３１１）。
【００６７】
未選択の登録データ１３ｂが残っているならば（ステップＳ３１１；Ｎｏ）、照合処理部１４ｆは、未選択の登録データ１３ｂから入力データと照合処理する登録データ１３４ｂを選択する（ステップＳ３０５）。全ての登録データ１３ｂを選択済みであるならば（ステップＳ３１１；Ｙｅｓ）、照合処理部１４ｆは、「該当者無し」を照合果として出力して（Ｓ３１２）、処理を終了する。
【００６８】
次に、図２に示した顔照合装置１０の各機能部をプログラムにより実現する場合について説明する。図９は、図２に示した顔照合装置１０の各機能部をプログラムにより実現する場合の説明図である。同図に示すように、図２に示した顔照合装置１０は、ＣＰＵ１１１（メインメモリを含む）、フラッシュメモリ１１２、ディスプレイユニット１１３、操作受付ユニット１１４をバス１１９で接続した構成となる。
【００６９】
ここで、このフラッシュメモリ１１２に顔照合プログラム１３０を記憶しておき、ＣＰＵ１１１は、この顔照合プログラム１３０をフラッシュメモリ１１２から読み出して図示しないメインメモリに展開し、顔照合プログラム１３０が有するプロセスを実行する。
【００７０】
具体的には、かかる顔照合プログラム１３０により、無変動空間生成プロセス１２０ａ、特徴量算出プロセス１２０ｂ、距離評価値算出プロセス１２０ｃ、類似度算出プロセス１２０ｄ、類似度重み算出プロセス１２０ｅ及び照合処理プロセス１２０ｆが生成される。
【００７１】
この無変動空間生成プロセス１２０ａが図２に示した無変動空間生成部１４ａに対応し、特徴量算出プロセス１２０ｂが図２に示した特徴量算出部１４ｂに対応し、距離評価値算出プロセス１２０ｃが図２に示した距離評価値算出部１４ｃに対応し、類似度算出プロセス１２０ｄが図２に示した類似度算出部１４ｄに対応し、類似度重み算出プロセス１２０ｅが図２に示した類似度重み算出部１４ｅに対応し、照合処理プロセス１２０ｆが図２に示した照合処理部１４ｆに対応する。
【００７２】
上述してきたように、本実施例に係る顔照合装置１０は、顔画像におけるメガネ、髪及びマスク等の存在を検出する基準となる無変動空間データ１３ａを学習データから生成し、登録データ及び入力データの各局所領域における変動のない空間との近さを示す距離評価値を無変動空間データ１３ａから算出し、距離評価値に応じた重み付け類似度により照合処理を行う。このため、入力データにメガネ、髪及びマスク等が存在しても、顔照合装置１０は、動的かつ適応的に影響を低減させることができる。
【００７３】
なお、上記実施例では、いずれかの登録データと入力データとの総和類似度がしきい値以上となった場合には報知を行って処理を終了し、いずれの登録データとの総和類似度もしきい値未満であった場合にも報知を行うこととしたが、照合結果をどのように出力するかは適宜設定可能である。
【００７４】
例えば、全ての登録データについて総和類似度を算出し、総和類似度が最大となる登録データに関する情報を照合結果として出力することとしてもよい。また、総和類似度がしきい値を超えた登録データを全て照合結果として出力してもよい。また、いずれの登録データとの総和類似度もしきい値未満であった場合には、報知を行わなくてもよい。
【００７５】
また、上記実施例では、距離評価値によって重み付けを行った重み付け類似度をすべて合計した総和類似度に基づいて照合を行う場合について説明を行ったが、距離評価値の大きい局所領域の類似度を選択的に用いて照合を行ってもよい。
【００７６】
また、上記実施例では、距離評価値から無条件に算出式を適用して重みを算出する場合について説明を行ったが、メガネなどを着用した場合においても距離評価値が大きくなる可能性もあり、メガネ、髪、マスク等における重み付けの学習を行い、着用物及び着用部位に応じた重み算出式を用意して適用してもよい。
【００７７】
また、上記実施例では、入力データと登録データの双方について距離評価値を求め、その一方を類似度に対する重みの算出に使用する場合について説明を行ったが、入力データの距離評価値と登録データの距離評価値の双方を用いて重みを算出してもよい。また、入力データ又は登録データの一方についてのみ距離評価値を算出し、類似度に対する重みを算出してもよい。
【産業上の利用可能性】
【００７８】
以上のように、本発明に係る顔照合装置、顔照合方法及び顔照合プログラムは、メガネ、髪及びマスク等のノイズデータによる顔照合への影響を動的かつ適応的に低減することに適している。
【符号の説明】
【００７９】
１０  顔照合装置
１１  画像入力受付部
１２  表示操作部
１３  記憶部
１３ａ  無変動空間データ
１３ｂ  登録データ
１３ｃ  特徴量Ａデータ
１３ｄ  距離評価値データ
１４  制御部
１４ａ  無変動空間生成部
１４ｂ  特徴量算出部
１４ｃ  距離評価値算出部
１４ｄ  類似度算出部
１４ｅ  類似度重み算出部
１４ｆ  照合処理部
４１  特徴量Ｂ算出部
４２  平均特徴量Ｂ算出部
【図１】
2015018401.tif 000003
【図２】
2015018401.tif 000004
【図３】
2015018401.tif 000005
【図４】
2015018401.tif 000006
【図５】
2015018401.tif 000007
【図６】
2015018401.tif 000008
【図７】
2015018401.tif 000009
【図８】
2015018401.tif 000010
【図９】
2015018401.tif 000011