(57)【要約】【課題】顔において特徴的な部分を排除せずに、照明、隠蔽、顔向きの変化などによる悪影響を低減した、顔画像照合を行うことができる、顔画像照合装置を提供すること。【解決手段】ブロック別距離算出部１０２は、対応する分割ブロック毎の、入力画像の特徴ベクトルと登録画像の特徴ベクトルとの距離を求める。ブロック別重み算出部１０４は、対応する分割ブロック毎に、特徴ベクトルが入力画像の特徴ベクトルと閾値以下の距離にある登録画像の個数を求め、この個数に基づいて、分割ブロック毎の重みを求める。統合距離算出部１０５は、ブロック別重み算出部１０４によって求められたブロック毎の重みを用いて統合距離を算出する。【選択図】図５
2013242702.tif 000002
【特許請求の範囲】
【請求項１】
対応する分割ブロック毎の、入力画像の特徴ベクトルと登録画像の特徴ベクトルとの距離を求める、ブロック別距離算出部と、
対応する分割ブロック毎に、特徴ベクトルが入力画像の特徴ベクトルと閾値以下の距離にある登録画像の個数を求め、前記個数に基づいて、分割ブロック毎の重みを求める、ブロック別重み算出部と、
前記ブロック別距離算出部によって算出された、対応する分割ブロック毎の距離を、前記ブロック別重み算出部によって算出された、前記分割ブロック毎の重みを用いて、複数の分割ブロックに亘って重み付け加算することで、統合距離を求める、統合距離算出部と、
を具備する顔画像照合装置。
【請求項２】
前記ブロック別重み算出部によって用いられる前記閾値は、入力画像の特徴ベクトルと登録画像の特徴ベクトルとの最小距離を、正規化したものである、
請求項１に記載の顔画像照合装置。
【請求項３】
対応する分割ブロック毎に、特徴ベクトルが入力画像の特徴ベクトルと閾値以下の距離にある登録画像の個数を求めるステップと、
前記個数に基づいて、分割ブロック毎の重みを求めるステップと、
対応する分割ブロック毎の、入力画像の特徴ベクトルと登録画像の特徴ベクトルとの距離を、前記分割ブロック毎の重みを用いて、複数の分割ブロックに亘って重み付け加算することで、統合距離を求めるステップと、
を含む顔画像照合方法。
【請求項４】
対応する分割ブロック毎の、入力画像の特徴ベクトルと登録画像の特徴ベクトルとの距離を求める、ブロック別距離算出部と、
対応する分割ブロック毎に、特徴ベクトルが入力画像の特徴ベクトルと閾値以下の距離にある登録画像の個数を求め、前記個数に基づいて、分割ブロック毎の特異量を求める、ブロック別特異量算出部と、
を具備する特異領域検出装置。
【請求項５】
対応する分割ブロック毎に、特徴ベクトルが入力画像の特徴ベクトルと閾値以下の距離にある登録画像の個数を求めるステップと、
前記個数に基づいて、分割ブロック毎の特徴量を求めるステップと、
を含む特異領域検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された顔画像を登録された顔画像と比較することで顔照合を行う顔画像照合装置及び顔画像照合方法に関する。また、入力された画像と登録された画像とから、入力された画像の特異領域を検出する特異領域検出装置及び特異領域検出方法に関する。
【背景技術】
【０００２】
従来、入力された顔画像を登録された顔画像と照合する技術が広く利用されている。
【０００３】
ここで、図１に示すように、入力画像と登録画像とを比較する場合に、図２に示すように、照明、隠蔽、顔向きの変化などにより、画像のある部分が照合に悪影響を及ぼすことがある。
【０００４】
この悪影響を低減する方法として、特許文献１には、画像を複数の部分領域に分割して、部分領域ごとに類似度を算出し、さらに、照合に悪影響を及ぼす部分領域は排除して、最終的な類似度を算出する、技術が開示されている。
【０００５】
具体的に説明すると、先ず、図３に示すように、入力画像と登録画像を複数の部分領域に分割する。次に、図４に示すように、入力画像と登録画像との間で対応する部分領域について、特徴空間上での距離値ｄｉ、ｄｊを求める。ここで、距離値が小さい部分領域ほど類似度が高いことを意味する。そして、部分領域別に算出した距離値の中から、小さい順に所定数だけを使って統合距離値を算出する。このようにすることで、照明や隠蔽により不明瞭な部分は、距離値が大きくなり、統合距離値には含まれないため、照明や隠蔽による悪影響を排除できる。
【０００６】
また、照明、隠蔽、顔向きの変化などによる照合への悪影響を低減する別の方法が、特許文献２に記載されている。特許文献２では、入力画像の顔の状態を判断することで、部分領域別に信頼度を算出し、この信頼度を部分領域別の類似度に乗じることで、最終スコアを算出する。このようにすることで、照明、隠蔽、顔向きなどの悪条件を予め判断して、照合に悪影響を及ぼす部分の信頼度を下げることで、照合への悪影響を排除できる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第４１６１６５９号公報
【特許文献２】特許第４６９６８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところが、特許文献１の方法では、各登録画像に対して類似している部分領域だけを考慮した照合が行われるため、顔において特徴的な部分が悪影響を及ぼす部分として排除される可能性が高い。つまり、比較的似ている部分のみを用いた照合が行われるので、実際には入力顔画像と似ていない登録顔画像が類似度の高い顔画像と判断されるおそれがある。
【０００９】
具体的に説明すると、本来ならば、統合距離値Ｄは、Ｄ＝ｄ１＋ｄ２＋…＋ｄｉ＋…＋ｄｊ＋…＋ｄｎであり、距離値ｄｉ、ｄｊの大きさが統合距離値Ｄに反映される。この結果、統合距離値Ｄが大きくなるので、照合されている入力画像は登録画像とは異なると識別できる。しかしながら、特許文献１で記載された方法を用いると、距離値ｄｉ、ｄｊの大きさが他のｄ１，ｄ２，…と比較して大きいため、統合距離値の式からｄｉ、ｄｊが排除される。この結果、図３の本人（Ａさん）と他人（Ｂさん）とで大きく異なる特徴（部分領域ｉ，ｊ）が統合距離値Ｄに反映されないため、それらを識別しにくくなる。
【００１０】
また、特許文献２の方法では、「顔の状態の判断」のためのモデルを悪条件の要因（照明、隠蔽、顔向き）に応じて、複数用意する必要があり、その分だけ構成が複雑化する。また、最終的な照合スコアが「顔の状態の判断」の認識精度に依存するので、この認識精度が低下すると照合の精度も低下する欠点がある。
【００１１】
本発明は、以上の点を考慮してなされたものであり、顔において特徴的な部分を排除せずに、照明、隠蔽、顔向きの変化などによる悪影響を低減した、顔画像照合を行うことができる、顔画像照合装置及び顔画像照合方法を提供することを目的とする。また、照明、隠蔽などの悪影響をあまり受けることなく、特異領域を高精度で検出できる特異領域検出装置及び特異領域検出方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の顔画像照合装置の一つの態様は、対応する分割ブロック毎の、入力画像の特徴ベクトルと登録画像の特徴ベクトルとの距離を求める、ブロック別距離算出部と、対応する分割ブロック毎に、特徴ベクトルが入力画像の特徴ベクトルと閾値以下の距離にある登録画像の個数を求め、前記個数に基づいて、分割ブロック毎の重みを求める、ブロック別重み算出部と、前記ブロック別距離算出部によって算出された、対応する分割ブロック毎の距離を、前記ブロック別重み算出部によって算出された、前記分割ブロック毎の重みを用いて、複数の分割ブロックに亘って重み付け加算することで、統合距離を求める、統合距離算出部と、を具備する。
【００１３】
本発明の顔画像照合方法の一つの態様は、対応する分割ブロック毎に、特徴ベクトルが入力画像の特徴ベクトルと閾値以下の距離にある登録画像の個数を求めるステップと、前記個数に基づいて、分割ブロック毎の重みを求めるステップと、対応する分割ブロック毎の、入力画像の特徴ベクトルと登録画像の特徴ベクトルとの距離を、前記分割ブロック毎の重みを用いて、複数の分割ブロックに亘って重み付け加算することで、統合距離を求めるステップと、含む。
【００１４】
本発明の特異領域検出装置の一つの態様は、対応する分割ブロック毎の、入力画像の特徴ベクトルと登録画像の特徴ベクトルとの距離を求める、ブロック別距離算出部と、対応する分割ブロック毎に、特徴ベクトルが入力画像の特徴ベクトルと閾値以下の距離にある登録画像の個数を求め、前記個数に基づいて、分割ブロック毎の特異量を求める、ブロック別特異量算出部と、を具備する。
【００１５】
本発明の特異領域検出方法の一つの態様は、対応する分割ブロック毎に、特徴ベクトルが入力画像の特徴ベクトルと閾値以下の距離にある登録画像の個数を求めるステップと、前記個数に基づいて、分割ブロック毎の特徴量を求めるステップと、を含む。
【発明の効果】
【００１６】
本発明によれば、顔において特徴的な部分を排除せずに、照明、隠蔽、顔向きの変化などによる悪影響を低減した、顔画像照合を行うことができる。また、照明、隠蔽などの悪影響をあまり受けることなく、特異領域を高精度で検出できる。
【図面の簡単な説明】
【００１７】
【図１】入力画像と登録画像の比較の様子を示す図
【図２】照合に悪影響を及ぼす要因の説明に供する図
【図３】入力画像と登録画像を複数の部分領域に分割して照合する様子を示す図
【図４】入力画像と登録画像との間で対応する部分領域について、特徴空間上での距離値ｄｉ、ｄｊを求めるイメージを示す図
【図５】実施の形態の顔画像照合装置の構成を示すブロック図
【図６】実施の形態によるブロック別距離の算出のイメージを示す図
【図７】実施の形態で行われる、特徴空間での処理のイメージを示す図
【図８】実施の形態における表示例を示す図
【図９】実施の形態の動作の説明に供するフローチャート
【図１０】実施の形態の効果を検証するための図であり、図１０Ａは入力画像に他人にない特徴がある場合の処理の様子を示す図、図１０Ｂは入力画像にマスクや影等によって隠蔽されている箇所がある場合の処理の様子を示す図
【図１１】特異領域検出装置の構成を示すブロック図
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００１９】
図５は、本発明の実施の形態に係る顔画像照合装置の構成を示す。
【００２０】
顔画像照合装置１００は、ブロック別特徴ベクトル算出部１０１に入力画像を入力する。この入力画像は例えば顔画像である。ブロック別特徴ベクトル算出部１０１は、入力画像をＮ個のブロックに分割し、ブロック別に特徴ベクトルを算出し、ブロック別の特徴ベクトルをブロック別距離算出部１０２に出力する。
【００２１】
ブロック別距離算出部１０２は、ブロック別特徴ベクトル算出部１０１から入力画像についてのブロック別の特徴ベクトルと入力すると共に、登録画像記憶部１０３から登録画像についてのブロック別の特徴ベクトルを入力する。ここで、登録画像記憶部１０３には、Ｎ枚の顔画像が予め登録されている。
【００２２】
図６は、本実施の形態によるブロック別距離の算出のイメージを示す図である。図７は、本実施の形態で行われる、特徴空間での処理のイメージを示す図である。
【００２３】
ブロック別距離算出部１０２は、図６に示すように、入力画像と登録画像との間の対応するブロック間の距離をブロック別距離として算出する。登録画像はＮ枚あるので、入力画像の１ブロックに対してＮ個のブロック別距離が算出される。ここで、距離とは、図７に示すような特徴空間における、入力画像の１つのブロックの特徴ベクトルＩと、登録画像のその１つのブロックに対応するブロックの特徴ベクトルＴ（登録画像がＮ枚あるので特徴ベクトルＴはＮ個ある）とのユークリッド距離である。ブロック別距離算出部１０２は、全ての登録画像に対して、入力画像とのブロック別距離を算出する。ここで、ｎ番目のブロックのブロック別距離を、Ｄ（ｎ）と表す。因みに、ブロック別距離Ｄ（ｎ）は、その値が大きいほどブロック間の類似度が小さいことを表す。ブロック別距離算出部１０２は、算出したブロック別距離Ｄ（ｎ）をブロック別重み算出部１０４に出力する。
【００２４】
ブロック別重み算出部１０４は、先ず、ブロック別距離の最小値Ｄｍｉｎ（ｎ）に基づいて、近傍距離ＤＮＮ（ｎ）を算出する。具体的には、近傍距離ＤＮＮ（ｎ）は、次式により算出される。
【数１】
2013242702.tif 000003
【００２５】
この近傍距離ＤＮＮ（ｎ）は、図７の点線の円で示されている。式（１）のように、ブロック別距離Ｄ（ｎ）の最小値Ｄｍｉｎ（ｎ）に係数αを乗じることで近傍距離ＤＮＮ（ｎ）を求めたのは、近傍距離ＤＮＮ（ｎ）を正規化されたものとするためである。係数αは、各ブロック別距離Ｄ（ｎ）の分散等を考慮して設定することが好ましい。但し、簡易的に行う場合には、近傍距離ＤＮＮ（ｎ）を固定値として予め設定してもよい。
【００２６】
次に、ブロック別重み算出部１０４は、ブロック別距離Ｄ（ｎ）がＤＮＮ（ｎ）以下である登録画像の個数ＭＮＮ（ｎ）をカウントする。つまり、図７の点線の円の内側の特徴ベクトルＴの個数がカウントされる。
【００２７】
ここで、個数ＭＮＮ（ｎ）が大きいということは、ブロック別距離が比較的小さい登録画像が、多いことを意味する。換言すれば、入力画像を識別する上で、特異的ではないブロックであることを意味する。
【００２８】
これとは逆に、個数ＭＮＮ（ｎ）が小さいということは、ブロック別距離が比較的小さい登録画像が、少ないことを意味する。換言すれば、入力画像を識別する上で、特異的なブロックであることを意味する。
【００２９】
これらを考慮して、ブロック別重み算出部１０４は、個数ＭＮＮ（ｎ）の値が大きいほど小さい値の重みｗ（ｎ）を算出する。本実施の形態では、ブロック別重み算出部１０４は、次式により重みｗ（ｎ）を算出する。
【数２】
2013242702.tif 000004
【００３０】
統合距離算出部１０５は、ブロック別距離算出部１０２で算出されたブロック別距離Ｄ（ｎ）を、ブロック別重み算出部１０４で算出された重みｗ（ｎ）を用いて、全てのブロックについて重み付け加算することで、統合距離Ｄを算出する。つまり、統合距離Ｄは、Ｎ個のブロック別距離Ｄ（ｎ）の加重平均であり、次式により算出される。統合距離Ｄは、入力画像と、各登録画像との間で求められる。つまり、Ｎ枚の登録画像がある場合には、Ｎ個の統合距離が求められる。換言すれば、登録画像毎に、入力画像との類似度を表す統合距離が求められる。ここで、統合距離Ｄが大きいことは、その登録画像が入力画像に似ていないことを意味する。
【数３】
2013242702.tif 000005
【００３１】
照合部１０６は、各登録画像についての統合距離Ｄに基づいて、入力画像と登録画像とを照合する。例えば、各登録画像の統合距離Ｄを正規化することで、各登録画像のスコアを算出し、このスコアを照合結果とすればよい。また、照合部１０６は、例えば、統合距離Ｄの値が最も小さく、かつ、その値が所定の閾値よりも小さい登録画像を、入力画像と同一人物の顔画像であると判断してもよい。
【００３２】
表示部１０７は、照合部１０６による照合結果を表示したり、ブロック別重み算出部１０４によって算出されたブロック別の重みを表示する。図８は、表示部１０７に表示される画像の表示例を示す。図８の表示例では、上段に入力画像と、重みマップが示されている。また、下段には、入力画像との類似度の高い登録画像から順にスコアと共に示されている。
【００３３】
ここで、図８の重みマップは、ブロック毎の重みが表現されている。図８の例では、重みに応じてブロック内の画像の輝度が調整されている。具体的には、重みが大きいほど輝度が高くなるように調整されている。ここで、重みが大きいブロックは入力画像を識別する上で特異的なブロックであり、このようなブロックの輝度を高くすることにより、特異的なブロックを目立たせることができる。このような重みマップを表示することにより、ユーザは、入力顔画像の中でどの部分が特異的なブロックであるかを容易に認識できるようになる。
【００３４】
次に、図９を用いて、顔画像照合装置１００の動作について説明する。なお、図９では、照合部１０６及び表示部１０７の動作については省略してある。
【００３５】
顔画像照合装置１００は、ステップＳ０で処理を開始すると、ブロック別特徴ベクトル算出部１０１が、ステップＳ１で入力画像をＮ個のブロックにブロック分割し、ステップＳ２でブロック別に特徴ベクトルを算出する。
【００３６】
続いて、ブロック別距離算出部１０２が、ステップＳ３で入力画像と登録画像との間の対応するブロック間の距離をブロック別距離として算出する。ステップＳ４では、全ての登録画像を処理したか否かを判断し、全てを処理した場合にはステップＳ５に進み、全てを処理していない場合にはステップＳ３に戻る。このようにして、ブロック別距離算出部１０２によって、入力画像の１ブロックに対して登録画像の個数分のブロック別距離が算出される。
【００３７】
続いて、ブロック別重み算出部１０４が、ステップＳ５で近傍距離ＤＮＮ（ｎ）を算出し、ステップＳ６で近傍距離以下の登録画像をカウントし、ステップＳ７でそのカウント値を用いてブロック別の重みｗ（ｎ）を算出する。ステップＳ８では、全てのブロックを処理したか否か（つまり全てのブロックの重みを算出したか否か）を判断し、全てを処理した場合にはステップＳ９に進み、全てを処理していない場合にはステップＳ２に戻る。このようにして、ブロック別重み算出部１０４によって、入力画像の全ブロックに対する重みが算出される。
【００３８】
続いて、統合距離算出部１０５が、ステップＳ９で、式（３）を実行することにより、登録画像毎に入力画像との類似度を表す統合距離を算出する。
【００３９】
以上説明したように、本実施の形態によれば、ブロック別重み算出部によって、対応する分割ブロック毎に、特徴ベクトルが入力画像の特徴ベクトルと閾値（近傍距離ＤＮＮ（ｎ））以下の距離にある登録画像の個数ＭＮＮ（ｎ）を求め、この個数ＭＮＮ（ｎ）に基づいて、分割ブロック毎の重みｗ（ｎ）を求め、このブロック毎の重みｗ（ｎ）を用いて統合距離を算出したことにより、顔において特徴的な部分を排除せずに、照明、隠蔽、顔向きの変化などによる悪影響を低減した、顔画像照合を行うことができる顔画像照合装置１００を実現できる。
【００４０】
この効果について、図１０を用いて検証する。
【００４１】
先ず、入力画像のあるブロックに他人にない特徴（例えば、ほくろ、皺）がある場合を考える。この場合、入力画像と本人の登録画像とのブロック別距離は小さく、一方、入力画像と他人の登録画像とのブロック別距離は大きい。この結果、図１０Ａに示すように、最小値Ｄｍｉｎが小さいので図中の破線の円で示す近傍距離ＤＮＮも小さくなる。よって、点線の円の内側の特徴ベクトルＴの個数ＭＮＮが少なくなるので、ブロック別距離の重みが高くされる。このように、入力画像のあるブロックに他人にない特徴（例えば、ほくろ、皺）がある場合には、その部分は排除されない。
【００４２】
次に、入力画像のあるブロックが例えばマスクや影によって隠蔽されている場合を考える。この場合、入力画像とのブロック別距離は、どの登録画像でも大きくなる。この結果、図１０Ｂに示すように、最小値Ｄｍｉｎが大きいので図中の破線の円で示す近傍距離ＤＮＮも大きくなる。よって、点線の円の内側の特徴ベクトルＴの個数ＭＮＮが多くなるので、ブロック別距離の重みが低くされる。このように、入力画像のあるブロックに照明、隠蔽、顔向きの変化などによる悪影響がある場合には、その部分の影響は低減される。
【００４３】
なお、上述した主要構成を用いて、照明、隠蔽などの悪影響をあまり受けることなく、特異領域を高精度で検出できる、特異領域検出装置を実現できる。なお、特異領域とは、顔画像において他人と特徴が異なる領域であり、本人と他人の顔画像をより良く識別できる部分であることを意味する。図５との対応部分に同一符号を付して示す図１１に、特異領域検出装置２００の構成を示す。
【００４４】
特異領域検出装置２００は、ブロック別重み算出部１０４に代えて、ブロック別特異量算出部２０１が設けられている。ブロック別特異量算出部２０１は、ブロック別重み算出部１０４が重みを求めたのに対して、特異量を求める。この特異量の求め方は、重みの求め方と同じである。
【００４５】
つまり、ブロック別特異量算出部２０１は、対応する分割ブロック毎に、特徴ベクトルが入力画像の特徴ベクトルと閾値（近傍距離ＤＮＮ（ｎ））以下の距離にある登録画像の個数ＭＮＮ（ｎ）を求め、この個数ＭＮＮ（ｎ）に基づいて、分割ブロック毎の特異量を求める。具体的には、ブロック別特異量算出部２０１は、個数ＭＮＮ（ｎ）の値が大きいほど小さい値の特異量を算出する。ブロック別特異量算出部２０１によって算出された特異量は、表示部２０２に表示される。なお、特異量が所定の閾値以上の領域のみを特異量として検出してもよいし、特異量それ自身を表示したり後処理に用いるようにしてもよい。特異量の表示の方法は、図８で説明した重みマップと同様に輝度などで区別するとよい。
【００４６】
このようにすることで、照明、隠蔽などの悪影響をあまり受けることなく、特異領域を高精度で検出できる。
【００４７】
なお、上述の実施の形態の顔画像照合装置１００及び特異領域検出装置２００は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、表示映像形成装置１０を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。
【産業上の利用可能性】
【００４８】
本発明は、特徴的な部分を排除せずに、照明、隠蔽、顔向きの変化などによる悪影響を低減した、画像照合を行うことができるといった効果を有し、入力画像を複数の登録画像と照合する装置に広く適用できる。
【符号の説明】
【００４９】
１００  顔画像照合装置
１０１  ブロック別特徴ベクトル算出部
１０２  ブロック別距離算出部
１０３  登録画像記憶部
１０４  ブロック別重み算出部
１０５  統合距離算出部
１０６  照合部
１０７、２０２  表示部
２００  特異領域検出装置
２０１  ブロック別特異量算出部
【図１】
2013242702.tif 000006
【図２】
2013242702.tif 000007
【図３】
2013242702.tif 000008
【図４】
2013242702.tif 000009
【図５】
2013242702.tif 000010
【図６】
2013242702.tif 000011
【図７】
2013242702.tif 000012
【図８】
2013242702.tif 000013
【図９】
2013242702.tif 000014
【図１０】
2013242702.tif 000015
【図１１】
2013242702.tif 000016