(57)【要約】  【課題】顔画像認識結果を人間の主観的な判断の結果に近づけることができる顔画像認識装置を提供すること。  【解決手段】差分空間作成部１は、予め用意された主観的類似の顔画像ペアの差分画像を求め、該差分画像の共通成分を取り出して固有ベクトルｅ１,ｅ２,・・・,ｅＭＭを導出する。登録顔画像作成部２は、登録顔画像について、人間が主観的に類似判断を行う際に重視する成分を多く含んだ補間空間上のベクトルΔｘｊを導出する。認証処理部３は、入力顔画像について、人間が主観的に類似判断を行う際に重視する成分を多く含んだ補間空間上のベクトルΔｙを導出し、このベクトルΔｙと登録顔画像作成部２で導出されたベクトルΔｘｊを利用して登録顔画像ｘｊと入力顔画像ｙの類似度Ｓｊを求める。  【選択図】図１
2006227699.tif 000002
【特許請求の範囲】
【請求項１】
予め用意された主観的に類似した顔画像ペアの差分画像を求め、該差分画像を主成分分析して固有ベクトルを導出する差分空間作成部と、
登録顔画像から該登録顔画像を前記差分空間作成部により導出された固有ベクトルが張る差分空間に投射して得られる成分を取り除いた補間空間上のベクトルを導出する登録顔画像作成部と、
入力顔画像から該入力顔画像を前記差分空間作成部により導出された固有ベクトルが張る差分空間に投射して得られる成分を取り除いた補間空間上のベクトルを導出するとともに、該補間空間上のベクトルと前記登録顔画像作成部により導出された補間空間上のベクトルを利用して登録顔画像と入力顔画像の類似度を求める認証処理部を具備したことを特徴とする顔画像認識装置。
【請求項２】
前記認証処理部は、入力顔画像から該入力顔画像を前記差分空間作成部により導出された固有ベクトルが張る差分空間に投射して得られる成分を取り除いた補間空間上のベクトルと前記登録顔画像作成部により導出された補間空間上のベクトルの類似度を測定することにより登録顔画像と入力顔画像の類似度を求めることを特徴とする請求項１に記載の顔画像認識装置。
【請求項３】
前記登録顔画像作成部は、１人の人物の複数の登録顔画像各々について補間空間上のベクトルを導出し、
前記認証処理部は、前記登録顔画像作成部により導出された補間空間上のベクトルが張る主成分空間と前記登録顔画像作成部により導出された補間空間上のベクトルの類似度を測定することにより登録顔画像と入力顔画像の類似度を求めることを特徴とする請求項１に記載の顔画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像認識装置に関し、特に、人間の主観的な判断結果に近い顔画像認識ができ、類似顔画像の人物の検索などに利用することができる顔画像認識装置に関する。
【背景技術】
【０００２】
近年、コンピュータによる顔画像認識の研究開発が盛んに行われている。従来、顔画像による個人認証についてはいくつかの認識技術が提案されている。本件発明の発明者は、精度の高い個人認証を行うことができる画像認識装置を下記特許文献（先願）１，２で提案した。これでは部分空間法による認識技術を用いており、あらかじめ顔辞書を登録する際に、各人の顔画像を複数枚撮影し、その複数枚撮影された顔画像の共通成分を抽出し、辞書データとして用いることで、顔の傾きによる姿勢変動や環境の違いにより生じる照明変動の影響を吸収している。
【０００３】
図７は、下記特許文献（先願）１，２で提案した従来の画像認識装置のブロック構成図である。この画像認識装置は、ある人物の顔を提影して得られる画像から、その人物が本人であるか否かを照合もしくはその人物が誰であるかを識別するものであり、機能で大別すると、あらかじめ辞書データを登録する辞書登録部７１と入力画像から人物を照合および識別する認識処理部７２とから構成される。
【０００４】
辞書登録部７１ではデータベース７３へ登録するための辞書データを作成する。辞書データの作成に際しては、まず、識別情報ＩＤを持った１名の人物を撮影し、該人物の撮影画像を入力する。正規化処理部７４は、入力された画像を位置、領域、大きさ、輝度レベルなどに関して正規化した正規化画像ｘＩＤを出力する。このような正規化画像ｘＩＤを同一人物に対して複数枚作成する。
【０００５】
辞書データ作成部７５は、入力された複数枚の正規化画像ｘＩＤから自己相関行列を求め、その固有ベクトルを抽出し、それらによって張られる部分空間ΦＩＤを作成する。部分空間ΦＩＤに該人物の識別情報ＩＤを添えて辞書データＡとする。  データベース７３は、辞書データ作成部７５で作成された辞書データＡを蓄積する。データべース７３は、同様にして作成された他の人物の辞書データＢ，Ｃ，・・・も蓄積する。
【０００６】
以上のようにしてデータベース７３に辞書データＡ，Ｂ，Ｃ，・・を蓄積した後、不特定の人物の顔が撮影され、これにより得られた１枚の画像が認識処理部７２に入力されると、正規化処理部７６は、辞書登録時と同様に、入力画像を位置、領域、大きさ、輝度などに関して正規化して正規化画像ｘを出力する。この正規化画像ｘを相関値計算部７７に入力する。
【０００７】
相関値計算部７７は、正規化処理部７６から入力された正規化画像ｘとデータベース７３に蓄積されている辞書データＡ，Ｂ，Ｃ，・・・内の登録画像とを比較して類似度(相関値)Ｓを計算する。
【０００８】
照合処理の場合には、照合を行ないたい人物の識別情報ＩＤＳを指定し、正規化処理部７６から入力された正規化画像ｘとデータベース７３に蓄積されている識別情報ＩＤＳの人物の辞書データとを比較して類似度Ｓを求める。また、識別処理の場合には、正規化処理部７６から入力された正規化画像ｘとデータベース７３に蓄積されている各人物の辞書データＡ，Ｂ，Ｃ，・・・内の登録画像とを比較し、最大の類似度Ｓを示す人物の識別情報ＩＤｒを求める。
【０００９】
照合処理の場合には、類似度Ｓをしきい値判定部７８に入力し、類似度Ｓが閾値Ｔ以上であるか否かによって入力画像の人物は識別情報ＩＤＳの人物であるか否か(ＯＫorＮＧ)を判定する。また、識別処理の場合には、最大の類似度Ｓを示す人物の識別情報ＩＤｒ、さらに必要ならばその類似度Ｓを出力する。
【特許文献１】特願２００４−２３５２８１号（先願）
【特許文献２】特願２００４−３３７４６５号（先願）
【発明の開示】
【発明が解決しようとする課題】
【００１０】
人間は人の顔が似ているか否かを判断するときに、必ずしも顔全体に注目しているのではなく、目、鼻、口などの特定部分に注目していると考えられる。例えば、目、鼻、口などの全ての部位が類似していなくても目だけが非常に似ている、あるいは鼻だけが非常に似ていて他の部位が多少異なっているといった場合などには、両者の顔は類似しているという判断を主観的に下すことが多い。
【００１１】
しかしながら、個人認証の分野で用いられる認識技術では、顔画像の全体を対象とした空間での距離を用いて人物が類似しているか否かを客観的に判定しているため、これを類似顔画像の検索などに用いる場合、人間が主観的に判断した結果と異なることが生じる。
【００１２】
顔画像認識は、顔画像によるバイオメトリクス認証への応用の他、カメラに映った人物が誰に似ているか、また、どの程度似ているかなどを自動判別するエンターテイメントへの応用などが考えられるが、どのような応用にせよ、顔画像認識の結果を人間の主観的な判断結果に近づけることにより、画像認識装置の認識結果に信頼性を与えることができる。
【００１３】
似ている有名人の顔画像を検索して提示するなどのエンターテイメントへの応用を考えた場合、主観的な判断の結果に近い認識結果が得られるか否かによって興味を持つ度合いが異なると考えられるので、顔画像認識の結果を人間の主観的な判断結果に近づけることは特に好ましい。
【００１４】
本発明の目的は、顔画像認識結果を人間の主観的な判断結果に近づけることができる顔画像認識装置を提供することにある。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明は、予め用意された主観的に類似した顔画像ペアの差分画像を求め、該差分画像を主成分分析して固有ベクトルを導出する差分空間作成部と、登録顔画像から該登録顔画像を前記差分空間作成部により導出された固有ベクトルが張る差分空間に投射して得られる成分を取り除いた補間空間上のベクトルを導出する登録顔画像作成部と、入力顔画像から該入力顔画像を前記差分空間作成部により導出された固有ベクトルが張る差分空間に投射して得られる成分を取り除いた補間空間上のベクトルを導出するとともに、該補間空間上のベクトルと前記登録顔画像作成部により導出された補間空間上のベクトルを利用して登録顔画像と入力顔画像の類似度を求める認証処理部を具備した点に第１の特徴がある。
【００１６】
また、本発明は、前記認証処理部が、入力顔画像から該入力顔画像を前記差分空間作成部により導出された固有ベクトルが張る差分空間に投射して得られる成分を取り除いた補間空間上のベクトルと前記登録顔画像作成部により導出された補間空間上のベクトルの類似度を測定することにより登録顔画像と入力顔画像の類似度を求める点に第２の特徴がある。
【００１７】
さらに、本発明は、前記登録顔画像作成部が、１人の人物の複数の登録顔画像各々について補間空間上のベクトルを導出し、前記認証処理部は、前記登録顔画像作成部により導出された補間空間上のベクトルが張る主成分空間と前記登録顔画像作成部により導出された補間空間上のベクトルの類似度を測定することにより登録顔画像と入力顔画像の類似度を求める点に第３の特徴がある。
【発明の効果】
【００１８】
本発明の第１の特徴によれば、差分画像を主成分分析して導出した固有ベクトルが張る差分空間上の成分、つまり人間が主観的に類似判定を行う際に使われていないを成分を取り除き、その補間空間上の成分、つまり人間が主観的に類似判断を行う際に重視する成分を多く含んだ成分を利用して登録顔画像と入力顔画像の類似度を求めるので、顔の類似度の算出や類似した顔画像の検索の結果などを人間の主観的な判断結果に近づけることができる。したがって、顔画像を用いて人物の認証や検索を行う画像認識装置における認識結果に信頼性を与えることができる。また、エンターテインメントに効果的に応用できる。
【００１９】
また、第２の特徴によれば、登録顔画像作成処理で１つの登録顔画像についての補間空間上のベクトルを導出すればよいので、辞書データの登録が容易になる。
【００２０】
さらに、第３の特徴によれば、１人の人物の複数の登録顔画像各々について導出された補間空間上のベクトルが張る主成分空間を使用するので、登録顔画像作成の際に照明変動や顔の動きなどがあってもそれらに影響されることなく、登録顔画像と入力顔画像の類似度を正確に求めることができる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照して本発明を説明する。図１は、本発明に係る顔画像認識装置の一実施形態を示す機能ブロック図である。本実施形態の顔画像認識装置は、機能で大別すると、差分空間作成部１と登録顔画像作成部２と認証処理部３とから構成される。
【００２２】
まず、差分空間作成部１について説明する。ここでは、主観的に類似している人物の類似顔画像ペアｇａ１とｇｂ１、ｇａ２とｇｂ２、・・・、ｇａＮＮとｇｂＮＮを用意する。この類似顔画像ペアは１つ以上あればよい。差分画像作成部１−１は、各ペア間の差分画像を導出し、式(1)で表される画像空間上の差分画像(ベクトル)ｄｉを作成する。
【００２３】
【数１】
2006227699.tif 000003
【００２４】
次に、差分画像集合に対して主成分分析を施し、それらの共通成分を抽出することにより固有ベクトルｅ１,ｅ２,・・・,ｅＭＭを導出する。具体的には、まず、差分画像作成部１−１で作成した差分画像ｄｉを自己相関行列作成部１−２に入力して自己相関行列Ｒを式(2)により作成する。なお、式(2)中のＴは転置を表す。
【００２５】
【数２】
2006227699.tif 000004
【００２６】
次に、自己相関行列Ｒを固有ベクトル導出部１−３に入力してその固有ベクトルｅ１,ｅ２,・・・,ｅＭＭを導出する。式(3)で表される固有ベクトルｅ１,ｅ２,・・・,ｅＭＭは差分画像の主成分空間（差分空間と称す）Ψを張る。
【００２７】
【数３】
2006227699.tif 000005
【００２８】
図２は、本発明における差分画像導出の説明図である。主観的に類似していると判断した人物の類似顔画像ペアｇａ１とｇｂ１、ｇａ２とｇｂ２、・・・、ｇａＮＮとｇｂＮＮを用意し、これらの類似顔画像ペア間の差分画像を導出する。これにより導出された差分画像ｇａｉ−ｇｂｉは、人間が主観的に類似判定を行う際に使われていない成分といえる。
【００２９】
図３は、本発明における固有ベクトルｅ１,ｅ２,・・・,ｅＭＭの導出および差分空間の説明図である。各ペア間の差分画像ｇａｉ−ｇｂｉは画像空間上で表される。自己相関行列作成部１−２と固有ベクトル導出部１−３は、差分画像集合に対して主成分分析を施し、それらの共通成分を抽出して固有ベクトルｅ１,ｅ２,・・・,ｅＭＭを導出する。固有ベクトルｅ１,ｅ２,・・・,ｅＭＭは、差分空間Ψを張る。
【００３０】
次に、登録顔画像作成部２について説明する。登録顔画像作成部２には複数の登録顔画像ｘｊ(j＝1,2,・・・,L)を入力する。これらの登録顔画像ｘｊは、各々の人物の顔領域画像を正規化した画像である。
【００３１】
登録顔画像作成部２の差分空間投射部２−１は、入力された登録顔画像ｘｊを差分空間作成部１で作成された差分空間Ψに投射し、差分空間上のベクトルｘｊ′を導出する。
【００３２】
補空間ベクトル作成部２−２は、登録顔画像ｘｊから差分空間上のベクトルｘｊ′を差し引いて補空間上のベクトルΔｘｊを作成する。データベース(DB)４は、補空間ベクトル作成部２−２で作成された補空間上のベクトルΔｘｊを辞書データとして蓄積する。データベース４に蓄積する辞書データとして、補空間上のベクトルΔｘｊにリンクしてその人物の顔画像や名前を蓄積するのが好ましい。
【００３３】
図４は、本発明における補空間上のベクトル作成の説明図である。顔画像をｘとすると、まず、顔画像ｘを差分空間Ψに投射して差分空間Ψ上のベクトルｘ′を導出する。次に、顔画像ｘからベクトルｘ′を差し引いて補空間上のベクトルΔｘｊを作成する。
【００３４】
顔画像ｘを差分空間Ψに投射することにより導出される差分空間Ψ上のベクトルｘ′は、顔画像ｘ内で人間が主観的に類似判断を行う際に使っていない成分である。従って、補空間上のベクトルΔｘは、この成分が吸収され、人間が主観的に類似判断を行う際に重視する成分を多く含んだベクトルになる。
【００３５】
次に、認証処理部３について説明する。登録顔画像ｘｊについての補空間上のベクトルΔｘｊをデータベース４に蓄積した後、認識対象の人物の顔画像ｙを認識処理部３に入力する。入力顔画像ｙは、認識対象の人物の顔領域画像を正規化した画像である。
【００３６】
差分空間投射部３−１は、入力顔画像ｙについての差分空間Ψ上のベクトルｙ′を導出する。また、補間ベクトル作成部３−２は、補空間上のベクトルΔｙを作成する。これらは登録顔画像作成部２における差分空間投射部２−１および補空間ベクトル作成部２−２と同様である。差分空間Ψ上のベクトルｙ′は式(4)で表され、補空間上のベクトルΔｙは、式(5)で表される。
【００３７】
【数４】
2006227699.tif 000006
【００３８】
【数５】
2006227699.tif 000007
【００３９】
類似度測定部３−３は、補間ベクトル作成部３−２から入力された補空間上のベクトルΔｙとデータベース４に蓄積されている補空間上のベクトルΔｘｊとを比較して類似度Ｓｊを測定する。
【００４０】
類似度順位決定部３−４は、類似度Ｓｊを降順にソートし、類似度Ｓｊが最も大きい人物、あるいは類似度Ｓｊが大きい順に数人の人物の顔画像や名前をデータベース４から取り出して類似顔画像検索結果として送出する。
【００４１】
類似度測定は、種々の方法で行うことができる。上記実施形態では、ベクトルΔｘｊとベクトルΔｙの類似度Ｓｊを測定する第１の方法によって類似度を測定している。この方法は、図５に示すように、ベクトルΔｘｊとΔｙ間とがなす角度をθとしたとき、類似度Ｓｊとしてcosθを求めことで実現でき、cosθは、式(6)で表されるように、ベクトルΔｘｊとΔｙの内積を分子とし、ベクトルΔｘｊ、Δｙそれぞれの大きさの積を分子とする計算式で求めることができる。この場合、類似度Ｓｊは、−１≦Ｓｊ≦１となり、１に近いほど類似し、−１に近いほど非類似となる。
【００４２】
【数６】
2006227699.tif 000008
【００４３】
類似度は、以下に示す第２の方法によっても測定できる。この方法は、１人の人物についての複数Ｎの補空間上のベクトルΔｘｊｋ(k＝1,2,・・・,N)から作成される主成分空間とベクトルΔｙの類似度Ｓｊを測定する方法であり、図６に示すように、ベクトルΔｘｊｋの主成分空間とΔｙ間とがなす角度をθとしたとき、類似度Ｓｊは、式(7)で表されるcos２θを求めることで実現できる。この場合、類似度Ｓｊは、０≦Ｓｊ≦１となり、１に近いほど類似し、０に近いほど非類似となる。
【００４４】
【数７】
2006227699.tif 000009
【００４５】
この方法は、各人物についての補空間上のベクトルΔｘｊｋ(k＝1,2,・・・,N)をす成分分析し、その主成分空間の生成を必要とする。各人物についての補空間上のベクトルΔｘｊｋの主成分空間は、各人物の顔をＮ枚撮影して得られる顔画像ｘｊｐ(p＝1,2,,N)から各人物についての補空間上のベクトルΔｘｊｋを算出し、これらのベクトルΔｘｊｋから自己相関行列Ｒ(または共分散行列Ｃ)を算出し、算出された行列の固有ベクトルを導出し、固有値が大きい順にＭ個(M≦N)の固有ベクトルｕ１，ｕ２，・・・，ｕＭを取り出し、この固有ベクトルｕ１，ｕ２，・・・，ｕＭにより張られる空間を求めることにより生成できる。
【００４６】
本発明は、人間の主観的な判断に近い顔画像認識結果を提供するので、エンターテインメントに効果的に応用できる。例えば、エンターテインメントを提供する施設にカメラやディスプレイとともに本発明による顔画像認識装置を備えておき、入場者の顔をカメラで撮影し、その人物が似ている有名人の顔画像をデータベースから取り出してディスプレイに表示したり、どの程度似ているかなどを提示したりすることができる。また、、顔画像の領域ごとの類似度を測定すれば、領域ごとの類似度を何％などといった表現で提示できる。さらに、両者の顔画像や合成顔画像をディスプレイに表示させたりプリンタで出力させることもできる。
【図面の簡単な説明】
【００４７】
【図１】本発明に係る顔画像認識装置の一実施形態を示す機能ブロック図である。
【図２】本発明における差分画像導出の説明図である。
【図３】本発明における固有ベクトルの導出および差分空間の説明図である。
【図４】本発明における補空間上のベクトル作成の説明図である。
【図５】本発明における類似度測定の説明図である。
【図６】本発明における類似度測定の他の説明図である。
【図７】従来の画像認識装置のブロック構成図である。
【符号の説明】
【００４８】
１・・・差分空間作成部、１−１・・・差分画像作成部、１−２・・・自己相関行列作成部、１−３・・・固有ベクトル算出部、２・・・登録顔画像作成部、２−１，３−１・・・差分空間投射部、２−２，３−２・・・補空間ベクトル作成部、３・・・認証処理部、３−３・・・類似度測定部、３−４・・・類似順位決定部、４，７３・・・データベース、７１・・・辞書登録部、７２・・・認識処理部、７４，７６・・・正規化処理部、７５・・・辞書データ作成部、７７・・・相関値計算部
【図１】
2006227699.tif 000010
【図２】
2006227699.tif 000011
【図３】
2006227699.tif 000012
【図４】
2006227699.tif 000013
【図５】
2006227699.tif 000014
【図６】
2006227699.tif 000015
【図７】
2006227699.tif 000016