(57)【要約】【課題】従来の画像認証装置では、マスクやサングラス顔のように照合時の顔の一部分が隠れる場合など顔画像に大きな変化を伴う場合には、認証の対象となる画像として扱うことが困難であった。【解決手段】マスクやサングラス顔など照合時の顔の一部分が隠れる場合にも、対象抽出部によって抽出された顔画像を入力画像として、連想記憶回路を備えた画像想起部によって想起画像を出力することで、入力画像に含まれる部分隠れや表情変化などを補完することで、顔画像に大幅な変化が含まれる場合の顔画像でも顔認証可能となるよう適用範囲を拡大する。【選択図】図１
2007148872.tif 000002
【特許請求の範囲】
【請求項１】
フレーム画像を撮像する画像入力部、
前記フレーム画像から照合の対象領域の画像を抽出する対象抽出部、
登録した画像を蓄積している画像蓄積部、
連想記憶回路に前記画像蓄積部に蓄積されている登録画像をあらかじめ学習させた後に前記対象抽出部によって抽出された入力画像を前記連想記憶回路に入力して想起画像として出力する画像想起部、
前記登録画像と前記想起画像とを照合して類似度を求める画像照合部、
前記類似度によって認証を判定する結果判定部を備えたことを特徴とする画像認証装置。
【請求項２】
個人を特定するＩＤ入力部を備え、
画像照合部で用いられる登録画像は、前記ＩＤ入力部で特定された個人の画像を使用したことを特徴とする請求項１記載の画像認証装置。
【請求項３】
対象抽出部は、対象領域に隠れ部分があるかどうかを判定する隠れ判定回路を備えたことを特徴とする請求項１または２に記載の画像認証装置。
【請求項４】
隠れ判定回路が隠れ部分がないと判定した場合には、画像照合部は、登録画像と入力画像とを照合して類似度を求めることを特徴とする請求項３記載の画像認証装置。
【請求項５】
照合の対象を顔画像としたことを特徴とする請求項１から４のいずれかに記載の画像認証装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、顔画像に代表される画像からあらかじめ連想記憶を利用して記憶させておいた画像を想起して、サングラス・マスク等の顔の部分隠蔽に代表される大幅な画像の変化部分を補完し、登録画像と照合することで個人を認証する画像認証装置に関するものである。
【背景技術】
【０００２】
従来の画像認証装置では、マスクやサングラスなどで照合時の顔の一部分が隠れてしまう場合には、登録画像と照合画像間との類似度の低下によって本人照合が難しくなることを回避するため、以下のような方式がとられていた。照合時の顔画像に部分隠れを含むかどうかの判定回路を設け、部分隠れが含まれると判定される場合には、認証セッションを排除する方式である（例えば特許文献１）。また、顔画像を領域分割して照合することによって、マスクや偏った照明などで部分領域の輝度値が登録画像の該当する領域に比べて異常に大きく差が出る場合にその領域を除外する方式である（例えば特許文献２）。
【０００３】
【特許文献１】特開2004−158013号公報（段落［００４６］〜［００５４］、図４）
【特許文献２】特開2003−323622号公報（段落［００４０］〜［００４１］、図８）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
このような画像認証装置にあっては、例えば、マスクやサングラスを伴う顔は認証対象外となるため、顔認証システムの適用範囲を狭めるという問題があった。このため、不審者検知等を目的とするような監視システムへの適用が困難であった。また、従来の方式によれば、白いマスクや黒いサングラス等、輝度差の大きい顔の部分隠れにのみ適用可能な手法であり、手などで顔が隠れてしまう場合などには適用が困難であり、性能の低下をもたらしていた。あるいは、表情変化を伴う場合や、ひげの変化、眼鏡のずれなど付帯物による変化が伴う場合にも、認証時の類似度スコアが低下し、性能の低下をもたらしていた。
【０００５】
この発明は、上記のような問題点を解決するためになされたものであり、様々な部分隠蔽、表情変化、付帯物変化を伴う顔画像に対応できる画像認証装置を得ることを目的としている。なお、主として顔画像への適用を前提にしているが、この技術は顔画像に限ったものではなく、指紋画像などでも利用でき、さらに広く一般の画像においても適用できる技術である。
【課題を解決するための手段】
【０００６】
この発明に係る画像認証装置は、フレーム画像を撮像する画像入力部、フレーム画像から照合の対象領域の画像を抽出する対象抽出部、登録した画像を蓄積している画像蓄積部、連想記憶回路に前記画像蓄積部に蓄積されている登録画像をあらかじめ学習させた後に対象抽出部によって抽出された入力画像を前記連想記憶回路に入力して想起画像として出力する画像想起部、登録画像と想起画像とを照合して類似度を求める画像照合部、類似度によって認証を判定する結果判定部を備えたことを特徴とするものである。
【発明の効果】
【０００７】
この発明に係る画像認証装置によれば、フレーム画像を撮像する画像入力部、フレーム画像から照合の対象領域の画像を抽出する対象抽出部、登録した画像を蓄積している画像蓄積部、連想記憶回路に前記画像蓄積部に蓄積されている登録画像をあらかじめ学習させた後に対象抽出部によって抽出された入力画像を前記連想記憶回路に入力して想起画像として出力する画像想起部、登録画像と想起画像とを照合して類似度を求める画像照合部、類似度によって認証を判定する結果判定部を備えたので、入力される画像の一部分が登録画像の該当箇所と比較して大幅な変化を伴う場合であっても、本人照合がより適切に行えるようになる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
図１は、本発明の実施の形態１による画像認証装置の構成を示すブロック図である。このブロック図を用いて、隠れ部分や表情変化を含まない顔画像を新規登録して連想記憶を構築する動作について説明する。また、サングラスやマスク等により部分隠れを伴う入力顔画像を連想記憶により想起した画像と登録顔画像とを照合する動作について説明する。
【０００９】
まず、隠れを含まない顔画像を新規登録して連想記憶を構築する動作について説明する。カメラ等撮像系を含む画像入力部１によって撮影された撮像画像から、対象抽出部２によって照合の対象領域の画像が抽出される。具体的には、個人認証の対象となるユーザーの顔等の部分領域が抽出されることになる。
【００１０】
図２は、対象抽出部２における入力画像からの顔検出処理の動作を示す図である。以下、人間の顔を含む撮像画像９から顔検出用スキャン領域１０の画像を抽出する方法について説明する。スキャン領域１０は撮像画像９上を隅から隅まで、例えば、画像の左上から右下までをスキャンし、各位置におけるスキャン領域１０内部の画像が顔を含むかどうかを判定する。撮像画像９に含まれる顔のサイズが一定でない場合には、スキャン領域１０の大きさを可変にしてスキャンさせればよい。スキャン領域１０内に顔が含まれるかどうかの判定については、画像から顔を検出する技術の従来例、例えば、米国特許USP5642431に示される顔検出手法を用いればよい。
【００１１】
一方、個人を特定するＩＤ入力部３に新規登録を示すＩＤが入力されると、対象抽出部２により切り出された顔領域画像は画像想起部６を経由して画像蓄積部４に登録画像１４として登録される。なお、登録画像１４を画像蓄積部４に登録する手法は、この手法に限定されるものではなく、画像認証の対象になる人物の顔画像に個人を特定するＩＤを付加して登録しておけばよい。
【００１２】
ここで、画像蓄積部４に保存されている複数人物の登録画像１４を用いて、画像想起部６に内蔵する連想記憶回路１１上に自己連想記憶を構築するための自己想起学習について説明する。自己想起学習とは、出力パターンが入力パターンに等しくなるように学習するニューラルネットワークの一手法であり、自己連想記憶とは、content-addressable memory の一種で、出力パターンが入力パターンに等しくなるように自己想起学習を適用したネットワークのことであり、入力パターンの一部が欠けていても所望の出力パターン全体を出力する性質を持つ記憶回路である。
【００１３】
図３は、画像想起部における自己想起学習を説明するための図であり、入力画像１２と出力画像１３との入出力インタフェースおよび連想記憶回路１１から構成される。各顔画像は、入力画像１２の各画素を一次元、例えば左上隅から右下隅までの画素の順に並べることで構成される一次元ベクトルｘ＝（ｘ１,・・・,ｘｎ）として入力され、入力画像１２と同様に構成される出力画像１３の一次元ベクトルｙ＝（ｙ１,・・・,ｙｎ）と連想記憶回路１１の記憶内容である自己想起行列Ｗを経由して結合される。ここで、入力ｘｉと出力ｙｊ間の結合定数をＷijとすると、ｙ＝Ｗｘとなる。
【００１４】
ネットワークに学習させる二次元顔画像を一次元ベクトルｘとみなし、ｘと自己想起行列Ｗとの積で与えられるネットワークの出力ベクトルｙとの誤差ベクトル（ｘ−ｙ）のノルムを最小化することで学習が完了し、顔画像による自己連想記憶が構築できる。すなわち自己想起学習は、出力誤差（ｘ−ｙ）の絶対値が最小となる方向に自己想起行列Ｗの各要素を更新することでなされる。
【００１５】
具体的には、学習セットを構成するＫ個の顔画像を列ベクトルｘk(k＝1,・・・,Ｋ)で表し、ｘkを各列に並べて作られる行列Ｘを用いて自己想起行列Ｗを以下のように、次式である数式１を構成する。
【００１６】
【数１】
2007148872.tif 000003
【００１７】
自己想起行列Ｗと顔画像の積ｙk＝Ｗｘkは、自己想起結果を与えるが、出力ｙkと入力ｘkとの間に誤差があるため、自己想起行列ＷをWidrow-Hoff学習則によって更新することで誤差を最小化する。
【００１８】
具体的にはＮをステップ数として、次式である数式２
【００１９】
【数２】
2007148872.tif 000004
【００２０】
によって学習を進行させ、η(定数)をうまく選ぶことで所望の自己想起行列Ｗを得ることができる。
【００２１】
なお、上記行列Ｗ[N]は、行列ＸのMoore-Penrose擬似逆行列をＸ＋として、次式である数式３
【００２２】
【数３】
2007148872.tif 000005
【００２３】
に収束するので、Ｗ∞を直接所望の自己想起行列として利用することもできる。
【００２４】
つまり、登録画像１４の画像を一画像毎に入力画像１２として個々の画素値ｘ１,・・・,ｘｎに分解して、自己想起行列Ｗを経て得られる画素値ｙ１,・・・,ｙｎから出力画像１３を求めている。この入力ベクトルｘと出力ベクトルｙとの差が最小になるように収束させたのが自己想起行列Ｗである。ここで、自己想起行列Ｗを求める際には、登録画像１２毎に異なるものを求めるのではなく、登録画像１４として登録されている認証の対象者となる人物の全画像に対して、共通した一つの自己想起行列Ｗを求めることで上記の自己想起学習が完了する。
【００２５】
よって、出力パターンが入力パターンにできるだけ等しくなるように学習することで求まったものが自己想起行列Ｗであり、連想記憶回路１１を構成している。これにより、入力パターンの一部が欠けていても所望の出力パターンの全体を出力することが可能になる。画像想起部６では、対象抽出部２によって抽出された入力画像１２を入力として、あらかじめ画像蓄積部４に蓄積されている登録画像１４を用いて学習した連想記憶回路１１を経由して想起画像１３を出力することになる。
【００２６】
本実施の形態では、自己想起学習をして自己想起行列Ｗを求める際に使用される入力画像１２は、部分隠れや表情変形などが含まれていない画像としており、通常の顔認証で前提とされる登録画像の考え方と等価である。これを前提として部分隠れや表情変形などを含む顔画像からそれらを含まない元の顔画像を想起する。このようにして、登録画像１４を用いて学習することで連想記憶回路１１の記憶内容の実体となる自己想起行列Ｗを構築したのが画像想起部６である。この連想記憶回路１１が、以下で説明する部分隠れ等の画像に対して、隠れ部分等を補った想起画像１３を構築することになる。なお、出力画像と想起画像それぞれの意味する内容は、共に自己想起行列Ｗによって求まる画像であり同じものを指すが、本実施の形態では主として自己想起行列Ｗを求めることを意識した場合には出力画像の用語を用い、自己想起行列Ｗを用いて出力された場合には想起画像の用語を用いている。
【００２７】
ここで自己想起画像１３は、ＩＤ入力部３によって特定された本人の登録画像１４と、部分隠れがある入力画像１２との２枚の画像を用いて算出された結果ではなく、事前にすべての登録画像１４を用いて自己想起行列Ｗを確定させた上で画像想起部６の出力として求められる。後述のように画像照合部７においては、ＩＤ入力部３によって特定される本人の登録画像１４はあくまでも上記の想起画像１３とペアで用いられ、本人照合のための類似度スコアを算出するために使用される。
【００２８】
次に、部分隠れなどで代表される顔画像の変化部分を伴う入力顔画像を登録顔画像と照合する動作について説明する。画像登録時と同様、画像入力部１の撮像画像から対象抽出部２によって顔領域が切り出されると同時に、ＩＤ入力部３を経由して入力されたユーザーＩＤによって当該ユーザーの顔が登録済みであるかを確認する。ユーザーの顔が未登録であれば顔による個人認証を中止する。一方、登録済みであれば、画像想起部６は、切り出された顔画像である入力画像１２を連想記憶回路１１によって変化部分を補完した想起画像１３として画像照合部７に出力する。一方、ＩＤ入力部３で入力されたＩＤを元に画像蓄積部４に登録されている顔画像である登録画像１４を画像照合部７にロードし、想起顔画像である出力画像１３と登録画像１４との照合を行い、類似度１５を求めて結果判定部８に出力する。
【００２９】
ここで、上記の画像入力部１から画像照合部７に至る過程における顔画像のパーツ検出ステップおよび正規化ステップについて具体的に説明する。画像入力部１で撮影されたフレーム画像から照合の対象領域となる顔画像を対象抽出部２で抽出して切り出した後、パーツ検出ステップとして顔検出領域の中から目尻や唇等、比較的位置が安定している特徴点を検出する。次に、正規化ステップでは検出された特徴点を基準に、顔の位置ずれ・傾き・サイズ等の変動を補正し、顔認証のために必要な正規化処理を施し、画像想起部６に入力される。さらに、あらかじめ正規化された形でデータベースに登録されている登録画像１４と、画像想起部６で想起された想起画像１３とを画像照合部７で照合して、類似度１５のスコアを算出し、結果判定部８でしきい値判定によって本人か他人かを識別し、認証処理を完了する。よって結果判定部８は、類似度１５を元に本人認証を判定する。
【００３０】
類似度１５を元に、結果判定部８でしきい値判定が行われ、例えば、類似度がしきい値以上であれば本人であり、そうでなければ他人であるという判断結果を表示する。結果判定部８には、モニタ等の表示デバイスが含まれており、ユーザーは撮影された自分の顔を確認することができるとともに、システムの判定結果を知ることができる。
【００３１】
図４は、自己想起記憶による画像想起の例を示している図である。実運用上生じると思われる顔画像の部分隠蔽がどのように想起されるかについての例を示している。図４（ａ）を元画像である登録画像１４、図４（ｂ）を部分隠れなどを含む入力画像１２としたとき、これらに対して画像想起部６によって想起される想起画像が図４（ｃ）の出力画像１３である。部分隠れが補完され、登録画像１４との照合が可能になる。図４（ｂ）には、左側から順番に、マスク装着の例、サングラス装着の例、表情が変化している例、メガネ無しの例を示している。隠れ部分の補完が可能であるだけでなく、表情変形や眼鏡等装着物の変化が伴う場合にも、自己連想記憶を利用した顔画像想起が元画像の復元に有効にはたらいていることがわかる。
【００３２】
図４（ｃ）で示した顔画像想起結果がどの程度ロバストに元画像（ａ）を想起できているかを評価するにあたっては、画素値レベルで違いの大小を見るだけでは適切ではなく、顔画像による個人照合の観点から見た定量的な評価が必要である。つまり、（ａ）の元画像に対して（ｃ）の想起結果が（ｂ）の部分隠れを含む場合と比較して顔認証スコアである類似度がどの程度向上するかを見極める必要がある。
【００３３】
そこで、登録画像（蓄積画像）１４と、照合画像である出力画像（想起画像）１３とが、どのように照合され、類似度１５のスコアが算出されるかの例として、図５と図６とを用いて説明する。図５は、顔画像への顔識別フィルタの適用を説明するための図であり、図６は、本人・他人照合における顔認証類似度計算の説明図である。
【００３４】
まず、登録画像（蓄積画像）１４と照合画像である出力画像（想起画像）１３との２枚の顔画像を照合するにあたっては、上記で述べたように正規化ステップによって目や口の位置等が補正されている。このため、輝度勾配等のローカルな画像の特徴が顔画像の差として反映されている。これを前提として、図５に示すような顔識別フィルタφ０,φ１,・・・φｉ,・・・を用意して、この２枚の顔画像に適用する。ここで、各顔識別フィルタは正規化された顔画像と同じサイズを持ち、正規化顔画像の各画素に係数を適用する。
【００３５】
具体的には白領域が１、黒領域が−１、それ以外は０の係数を持ち(図中灰色領域)、各画素との乗算(実質上加減算)でフィルタ適用値が算出される。図中、画像Ｉ１,Ｉ２に対するフィルタφの適用値をφ(Ｉ１),φ(Ｉ２)、フィルタφ個別に計算される画像Ｉ１,Ｉ２の差の絶対値がＴより小さければ、２枚の画像の類似度は高いとしてフィルタφに関する出力結果をβ（＞０）、そうでない場合はα（＜０）とする。これを全ての顔識別フィルタφ０,φ１,・・・φｉ,・・・に適用し、αあるいはβの総和を計算することによって、二枚の顔画像の類似度１５が計算される。
【００３６】
図６は、上記の類似度計算の例を示した図である。左側の登録画像１４と想起画像１３である右側の照合画像との類似度１５の計算について、各フィルタ出力を交えて説明したものである。同一人物の同じ画像の場合は、全フィルタに対する出力がβとなり、類似度１５が最大となる。一方、同一人物の違う状況下で撮られた顔画像に対しては、一部のフィルタでαを伴うため、画像が完全に一致する場合に比べて、類似度１５は低下する。しかしながら、一般に類似度１５は正値の高スコアとなる。最後に、違う人物の顔照合においては、一部βが残るが、おしなべてαが出力値となるため、類似度１５としては低下することになる。
【００３７】
図７は、顔画像想起による認証スコアの改善を示す図である。具体的には、登録画像１４に対して、上段に想起前の画像である入力画像１２との類似度１５のスコアを示し、下段に想起後の画像である出力画像１３との類似度１５のスコアを示している。部分隠れおよび表情変化を含まない左端の登録画像１４に対し、サングラス、マスク、手による顔の部分隠れ、表情変化および眼鏡装着に関する変化など７通りのサンプル画像を用意している。登録画像１４に対する顔想起適用前および適用後の顔画像を照合顔画像として、先に述べた顔認証アルゴリズムを適用し、類似度１５のスコアを算出した。いずれの場合も想起後の方が想起前に対して類似度１５のスコアが向上している。仮に本人と判定するための類似度１５のスコアに関するしきい値を０とした場合、想起前の場合はいずれも本人と判定されないことになる。しかしながら、想起後はサングラス装着のケースを除いて、本人と判定される結果となっている。この結果はこれまで顔認証アルゴリズムの課題であった部分隠れを初め、表情変化や装着物の変化などに自己連想記憶を利用した顔想起が有効であることを示しており、特に本人拒否エラーに関する改善に貢献する。
【００３８】
図８は、位置ずれに対するロバスト性を評価した図である。具体的には、自己連想記憶を利用して顔画像を想起した場合の位置ずれに対する認証スコアの変化を評価した図である。図８（ａ）は中央に示した元の顔画像である登録画像１４を上下左右に±５画素まで移動させたときの入力画像１２を示し、中央の顔画像に対して画素移動させた場合の顔画像との類似度１５の分布を示している（垂直軸が類似度である）。図８（ｂ）は（ａ）に示した各画素移動に対応した入力画像１２を用いて顔画像を想起した場合の想起画像１３と画素移動後の入力画像１２との類似度１５の分布を示している。この結果から判断すると、位置ずれにより一般に想起能力は低下するが、±５画素程度までの位置ずれであれば類似度７０以上となり、十分な想起能力を維持できていることがわかる。
【００３９】
このような構成によれば、連想記憶回路を持つ画像想起部６で顔画像に対する補完作用が働き、照合画像における部分隠れなど顔の変化部分を補完して登録画像に近い顔画像を再現することになる。従って、マスクやサングラスなど顔の部分隠れを伴う場合や、その他表情変化の場合でも顔認証を適用することが可能となる。
【００４０】
このように連想記憶回路１１を持つ画像想起部６を設けることにより、マスクやサングラス等顔画像に隠れを含む場合でも顔画像による個人照合が可能になり、また部分隠れ以外の表情変化を伴う場合でも、顔画像想起を経由することで個人照合が可能になる。また、部分隠れでない他の場合、例えば、通常装着している眼鏡の変化、眼鏡のかけはずし、経年変化による髪型の変化、ひげの有り無しなど、これまで通常の顔認証システムが仕様から除外していた場合であっても、顔認証システムへの適用可能になる。
【００４１】
現在、顔認証アルゴリズムの性能改善には様々な課題があり、具体的には、部分隠れ、表情変化、経年変化、照明変動、顔方向変化の５要因が挙げられる。これに対して、本発明は特に、部分隠れ、表情変化、経年変化に対して有効である。もっとも、照明変動については、局所的な変化であれば部分隠れと同様とみなすことができる。また、顔方向変化についても、顔画像としての変化が部分的であれば部分隠れと同様とみなすことができるため、部分隠れ・表情変化・経年変化と同様に本発明が有効である。
【００４２】
よって、フレーム画像を撮像する画像入力部１、フレーム画像から照合の対象領域の画像を抽出する対象抽出部２、個人を特定するＩＤ入力部３、登録した画像を蓄積している画像蓄積部４、連想記憶回路１１に画像蓄積部４に蓄積されている登録画像１４をあらかじめ学習させた後に対象抽出部２によって抽出された入力画像１２を連想記憶回路１１に入力して想起画像１３として出力する画像想起部６、ＩＤ入力部３で特定された個人の登録画像１４と想起画像１３とを照合して類似度１５を求める画像照合部７、類似度１５によって認証を判定する結果判定部８を備えた画像認証装置なので、入力される画像の一部分が隠れてしまっている場合、表情変化を含む場合、付帯物の変化を含む場合であっても本人照合がより適切に行えるようになる。
【００４３】
実施の形態２．
実施の形態１においては、ＩＤ入力部３を経由してユーザーを特定し、１つの登録者候補と照合者１人の１：１顔認証システムとして利用する例について説明した。しかしながら、ユーザーを特定せず、全ての登録者と入力画像に含まれる任意の１個の顔画像に相当する１人とを照合する１：Ｎ照合に本発明を利用することもできる。
【００４４】
図９は、認証対象者を事前に特定せずに行う画像認証装置の構成を示すブロック図である。実施の形態１に対して、ＩＤ入力部３が省略された構成となっている。１対Ｎ照合に関連するところ以外は、実施の形態１で述べたことと同様である。
【００４５】
すなわち、事前に登録されているユーザーの登録画像１４を用いて、画像想起部６に備わる連想記憶回路１１によって事前に想起行列Ｗを求めておく。この連想記憶回路１１によって、事前に登録されているユーザーの顔画像に対しては、部分隠れのない場合は当然のこととして、部分隠れがあった場合でも、画像想起部６で想起される想起画像１３は、画像照合部７で１対Ｎ照合される全ての登録画像のうちで、本人の登録画像１４に対しては類似度１５が高くなる。一方、本人以外の登録画像１４と照合しても類似度は高くならない。一般に入力画像１２が部分隠れを伴うとしても、事前に登録されているどのユーザーとも異なる顔画像であれば、連想記憶回路１１によって想起される想起画像１３は、画像蓄積部４に登録されているどの登録画像１４とも、類似度１５が高くはならない。
【００４６】
実施の形態１では個人を特定するＩＤ入力部３を備え、画像照合部７においては、ＩＤ入力部３で特定された単一個人の登録画像１４を使用する例で説明した。これに対して、本実施の形態では、全登録者が認証の対象であるため、画像蓄積部４に登録されている全登録画像１４との照合を行う。
【００４７】
自己連想記憶学習に用いた１５人の顔画像に対し、そのうちの登録画像に含まれる一人について、部分隠れを伴う顔を照合画像として、自己連想記憶による想起前の元の顔画像と想起後の顔画像とについて、登録画像１５枚に対して顔認証アルゴリズムを適用して、想起前と想起後とで、類似度１５がどのように変化するかを確かめた。
【００４８】
図１０は、全登録画像との認証スコア評価について顔想起前と顔想起後とで類似度を評価した図である。図１０（ａ）は想起前の照合画像、（ｂ）は想起後の照合画像であり、（ｃ）は１５人分の登録顔画像であり、自己想起学習に用いた全ての顔画像である。（ｃ）の各顔画像の下にある数字は類似度１５を示し、上段・下段はそれぞれ想起前・想起後の照合画像との類似度１５である。
【００４９】
この結果から明らかなように、本人判定のしきい値を０としたとき、想起前では本人の登録画像を含めいずれもスコアがしきい値以下となり、本人拒否が生じている。一方、想起後では本人の登録画像に対するスコアのみが他のスコアに比べ格段に伸びている。つまり本人を拒否するという問題が解消され、正しく本人照合されることがわかる。
【００５０】
照合対象となる顔画像は登録・未登録の区別がなく、画像照合部７において２枚の顔画像から計算される類似度１５が所定のしきい値以上であるものが、結果判定部８で求められる。すべての登録画像１４を用いてもしきい値を越えない場合には、認証が拒否されることになる。一方、しきい値を越えた登録画像１４が複数あった場合には、例えば、結果判定部８の表示ディスプレイに複数の候補が表示されることになる。
【００５１】
また、１対Ｎ照合をするにあたっては、すべての登録画像１４に対して行うことは必ずしも必要ではなく、類似度１５がしきい値を越える登録画像１４が見つかった段階で本人と認証し、それ以降の照合を打ち切ることもできる。また、ＩＤ入力部３からの情報がなくても、犯罪歴等別の情報を元にして、画像想起部６および画像照合部７において、登録画像１４の画像に優先順位をつけることで、より早く認証を終えることができる。
【００５２】
さらに、本発明は入退室管理だけでなく不審者検知のためのブラックリスト検索にも利用可能である。
【００５３】
よって、フレーム画像を撮像する画像入力部１、フレーム画像から照合の対象領域の画像を抽出する対象抽出部２、登録した画像を蓄積している画像蓄積部４、画像蓄積部４に蓄積されている登録画像１４を連想記憶回路１１に記憶させた上で対象抽出部２によって抽出された入力画像１２を想起画像１３として出力する画像想起部６、登録画像１４と想起画像１３とを照合して類似度１５を求める画像照合部７、類似度１５によって認証を判定する結果判定部８を備えた画像認証装置なので、入力される画像の一部分が隠れてしまっている場合、表情変形など登録画像と比較して顔画像に大きな変化が伴う場合であっても、本人照合がより適切に行えるようになる。
【００５４】
実施の形態３．
実施の形態１および２の構成に加え、対象抽出部２に対象領域に隠れ部分があるかどうかを判定する隠れ判定回路を備えたものが実施の形態３である。隠れ判定回路による判定で、隠れ部分がないという結果になった場合には、画像照合部７は、想起画像１３との照合を行わずに、登録画像１４と入力画像１２とを直接照合して、類似度１５を求めることになる。
【００５５】
実施の形態２に隠れ判定回路を加えれば、例えば、映像監視システムにおいて、監視カメラの前を常時複数の人物がカメラを通過する場合に、サングラスやマスク等を着用した人物を不審者と定義することで、不審者に絞った監視をすることができる。このように、対象抽出部２の隠れ判定回路を利用することで不審者に限定した監視をすることで、全ての顔検出領域に対して画像想起部６の処理を経由する場合に比べ、システム実行時の処理を軽減することができる。
【００５６】
また、対象抽出部２の隠れ判定回路によって、顔画像に隠れ部分が含まれないと判断される場合には、画像想起部６の処理はスキップして顔画像はそのまま画像照合部７に格納され、照合処理が行われるか、あるいは不審者ではないとして何の処理も行わず、対象抽出部２の処理を繰り返してもよい。
【００５７】
隠れ判定回路を実現するためには、あらかじめサングラス顔やマスク顔をコンピュータに学習させておけば、すでに対象抽出部２が備えている顔検出機能に加え、以降監視カメラのフレーム画像に含まれるサングラス顔やマスク顔を検出することができる。よって、このアルゴリズムを対象抽出部２の隠れ判定回路として構成すればよい。あるいは、単に検出された顔領域内部の輝度分布等画像としての特徴を解析して顔画像の隠れ判定を行ってもよい。
【００５８】
なお、隠れ判定回路は、対象領域に隠れ部分があるかどうかを判定することに限定されるものではない。対象抽出部２の対象領域に特別な変化部分があるかどうかを判定するものであり、表情変化が大きな場合などを含むものである。
【００５９】
実施の形態４．
実施の形態１〜３では、画像に含まれる検出対象として顔を例として、照合の対象を顔画像で説明したが、指紋等他のバイオメトリクス情報を対象とした画像認証装置として構成してもよい。入力画像の一部が欠けていても画像想起部６に備わった連想記憶回路１１により隠れた部分が補完され、バイオメトリクス画像による個人照合の適用範囲を拡大することができる。
【００６０】
また、指紋等の場合においても、隠れ判定回路を対象抽出部２に設けることで、隠れがないと判定される場合には、画像想起部６の処理をスキップすることで処理の軽減化を図ることができる。
【００６１】
また、上記の実施の形態１から４で、画像入力部１が扱う画像は、カメラ入力から直接取り込まれるフレーム画像だけでなく、画像データベース等に蓄積されている静止画像を取り込むことで、カメラからのフレーム画像と同様に以降の処理を行ってもよい。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施の形態１による画像認証装置の構成を示すブロック図である。
【図２】本発明の実施の形態１による入力画像からの顔検出処理の動作を示す図である。
【図３】本発明の実施の形態１による画像想起部における自己想起回路を示す図である。
【図４】本発明の実施の形態１による自己想起回路による画像想起の例を示している図である。
【図５】本発明の実施の形態１による顔画像への顔識別フィルタの適用を説明するための図である。
【図６】本発明の実施の形態１による本人・他人照合における顔認証類似度計算の説明図である。
【図７】本発明の実施の形態１による顔画像想起による認証スコアの改善を示す図である。
【図８】本発明の実施の形態１による位置ずれに対するロバスト性を評価した図である。
【図９】本発明の実施の形態２による画像認証装置の構成を示すブロック図である。
【図１０】本発明の実施の形態２による入力画像の想起前と想起後とで全登録画像に対する類似度の変化を示す図である。
【符号の説明】
【００６３】
１  画像入力部、２  対象抽出部、３  ＩＤ入力部、４  画像蓄積部、６  画像想起部、７  画像照合部、８  結果判定部、９  撮像画像、１０  スキャン領域、１１  連想記憶回路、１２  入力画像、１３  出力画像（想起画像）、１４  登録画像（蓄積画像）、１５  類似度。
【図１】
2007148872.tif 000006
【図２】
2007148872.tif 000007
【図３】
2007148872.tif 000008
【図４】
2007148872.tif 000009
【図５】
2007148872.tif 000010
【図６】
2007148872.tif 000011
【図７】
2007148872.tif 000012
【図８】
2007148872.tif 000013
【図９】
2007148872.tif 000014
【図１０】
2007148872.tif 000015