(57)【要約】【課題】人手によることなく他人の画像の混入を確実に自動判別して、すり替わりによる不正登録を未然に防止する。【解決手段】カメラ１で顔を連続的に撮影して取得した画像から顔の位置を検出する顔位置検出部７と、検出された顔位置の今回の位置と前回の位置との変化量を算出する顔位置変化量演算部８と、算出された位置の変化量を予め定められた閾値と比較して、変化量が閾値に満たないときは今回の画像を登録可能な画像と判定し、変化量が閾値以上のときは今回の画像を登録不可能な画像と判定する判定部１１と、登録可能と判定された画像を登録して記憶する記憶部５とを設けた。【選択図】　　図１
2004054788.tif 000002
【特許請求の範囲】
【請求項１】
個人を撮像して得られる画像と予め登録された画像とを照合し、その照合結果に基づいて個人を認証する個人認証システムにおいて、
個人の所定部位を連続的に撮像して取得された複数の画像から所定部位の位置を検出する検出手段と、
前記検出手段で検出された２番目以降の位置について、今回の位置と前回の位置との変化量を算出する算出手段と、
前記算出手段で算出された変化量を予め定められた閾値と比較して、変化量が閾値に満たないときは今回の画像を登録可能な画像と判定し、変化量が閾値以上のときは今回の画像を登録不可能な画像と判定する判定手段と、
前記判定手段により登録可能と判定された画像を登録して記憶する記憶手段と、
を備えたことを特徴とする個人認証システムにおける不正登録防止装置。
【請求項２】
請求項１に記載の不正登録防止装置において、
前記判定手段は、前記算出手段で算出された変化量が閾値以上のときに、今回の画像を登録不可能な画像と判定するとともに、前記複数の画像のうち、登録不可能と判定された今回の画像以降に取得された画像をすべて登録不可能な画像と判定することを特徴とする個人認証システムにおける不正登録防止装置。
【請求項３】
個人を撮像して得られる画像と予め登録された画像とを照合し、その照合結果に基づいて個人を認証する個人認証システムにおいて、
個人の所定部位を連続的に撮像して取得された複数の画像から所定部位の位置を検出する検出手段と、
前記検出手段で検出された２番目以降の位置について、前回の位置が検出されてから今回の位置が検出されるまでの時間間隔を計測する計測手段と、
前記計測手段で計測された時間間隔を予め定められた閾値と比較して、時間間隔が閾値に満たないときは今回の画像を登録可能な画像と判定し、時間間隔が閾値以上のときは今回の画像を登録不可能な画像と判定する判定手段と、
前記判定手段により登録可能と判定された画像を登録して記憶する記憶手段と、
を備えたことを特徴とする個人認証システムにおける不正登録防止装置。
【請求項４】
請求項３に記載の不正登録防止装置において、
前記判定手段は、前記計測手段で計測された時間間隔が閾値以上のときに、今回の画像を登録不可能な画像と判定するとともに、前記複数の画像のうち、登録不可能と判定された今回の画像以降に取得された画像をすべて登録不可能な画像と判定することを特徴とする個人認証システムにおける不正登録防止装置。
【請求項５】
個人を撮像して得られる画像と予め登録された画像とを照合し、その照合結果に基づいて個人を認証する個人認証システムにおいて、
個人の所定部位を連続的に撮像して取得された複数の画像から所定部位の位置を検出する検出手段と、
前記検出手段で検出された２番目以降の位置について、今回の位置と前回の位置との変化量を算出する算出手段と、
前記検出手段で検出された２番目以降の位置について、前回の位置が検出されてから今回の位置が検出されるまでの時間間隔を計測する計測手段と、
前記算出手段で算出された変化量を予め定められた閾値と比較するとともに、前記計測手段で計測された時間間隔を予め定められた閾値と比較して、前記変化量および時間間隔が閾値に満たないときは今回の画像を登録可能な画像と判定し、前記変化量または時間間隔が閾値以上のときは今回の画像を登録不可能な画像と判定する判定手段と、
前記判定手段により登録可能と判定された画像を登録して記憶する記憶手段と、
を備えたことを特徴とする個人認証システムにおける不正登録防止装置。
【請求項６】
請求項５に記載の不正登録防止装置において、
前記判定手段は、前記変化量または時間間隔が閾値以上のときに、今回の画像を登録不可能な画像と判定するとともに、前記複数の画像のうち、登録不可能と判定された今回の画像以降に取得された画像をすべて登録不可能な画像と判定することを特徴とする個人認証システムにおける不正登録防止装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、個人を撮像して得られる画像と予め登録された画像とを照合し、その照合結果に基づいて個人を認証する個人認証システムにおいて、初期登録する画像の中に本人以外の者の画像が不正に混入されるのを防止する不正登録防止装置に関するものである。
【０００２】
【従来の技術】
個人認証システムとしては、たとえば特開平１１−１６７６３２号公報に記載されているような顔照合による認証システムが一般によく知られている。このシステムでは、本人の顔の画像を撮像してその特徴量を予め登録しておき、特定場所への入室時などには、入口に設けられたカメラで本人の顔の画像を撮像して特徴量を抽出し、この撮像された画像と登録されている画像とのそれぞれの特徴量を比較して、特徴量の一致度により本人か他人かを識別するようにしている。また、認証をより正確に行うために、顔画像の初期登録時にＩＤ（識別番号）を一緒に登録しておき、認証時にＩＤの入力を要求して、顔画像とＩＤの双方の一致をチェックすることも行われている。
【０００３】
【発明が解決しようとする課題】
しかしながら従来の個人認証システムにおいては、顔画像の初期登録時に、同じＩＤに対して本人の顔画像データ以外に他人の顔画像データが含まれると、認証時にその他人に対して誤って本人であると判定してしまうことになる。このため、本人以外の他人の顔画像データが含まれていないかどうかを管理者が目視でチェックする必要があり、そのぶん人件費がかさんでいた。また、登録済みの顔画像データの類似度をチェックして、他人の顔画像データが含まれているか否かを判定する方法もあるが、これによると、類似度の高い他人の場合は、顔の向きや明るさの変化による顔画像データのばらつきとの区別が難しいために、他人を正確に識別できない場合がある。
【０００４】
さらに、近年のインターネットの普及に伴い、ネットワークを通じて提供される有料のコンテンツサービス等に顔照合による認証システムを導入することも可能であるが、この場合、契約者が知人などに利用させるために、顔画像の初期登録時に他人の顔画像も一緒に混入させ不正に登録を行うことが考えられる。そうすると、契約していない他人でも顔照合の結果は正常に認証されるので、その他人は無料でコンテンツサービス等を受けることができることになってしまい、サービス提供者に損失が生じる。このような他人の画像の混入登録を発見する方法として、登録データのそれぞれの類似度を調べて類似度のクラスタリングを行い、２つ以上のクラスタが存在するかどうかをチェックする方法もあるが、撮像時の顔の向きやカメラの自動露光の変化等により、本人であっても類似度が分散してクラスタが分かれてしまうことがあるため、登録されているデータだけから他人の画像の混入有無を判定するのは困難な場合がある。
【０００５】
本発明は、上記問題点を解決するものであって、その課題とするところは、人手によることなく他人の画像の混入を確実に自動判別して、すり替わりによる不正登録を未然に防止することができる不正登録防止装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明では、個人の所定部位（たとえば顔）を連続的に撮像して得られた複数の画像から所定部位の位置を検出し、検出された２番目以降の位置について、今回の所定部位の位置と前回の所定部位の位置との変化量を算出する。そして、算出された変化量を予め定められた閾値と比較して、変化量が閾値に満たないときは今回の画像を登録可能な画像と判定し、変化量が閾値以上のときは今回の画像を登録不可能な画像と判定し、登録可能と判定された画像を登録して記憶するようにしている。
【０００７】
このようにすれば、本人の画像が撮像されているときは、顔等の位置の変化はほとんどないため変化量は閾値未満となり、撮像した画像は登録可能な画像と判定されて登録される。一方、本人が他人に交代して他人の画像が撮像される過程においては、本人が撮像範囲から出て行き、代わって他人が撮像範囲に入ってくるため、顔等の位置が大きく変化して変化量は閾値以上となり、撮像した画像は本人以外の他人の画像が含まれている登録不可能な画像と判定される。こうして、初期登録時において個人の所定部位の位置の変化を追跡することで、本人が他人にすり替わったかどうかを確実に自動判別することができる。
【０００８】
この場合、本発明の好ましい実施形態では、変化量が閾値以上のときに、今回の画像を登録不可能な画像と判定するとともに、連続撮像により取得した複数の画像のうち、登録不可能と判定された今回の画像以降に取得された画像をすべて登録不可能な画像と判定する。こうすることで、他人へのすり替わりがあった場合に、変化量が閾値以上となった最初の画像だけでなく、それ以降に取得された画像もすり替わりによる不正な画像として登録が禁止されるから、他人の画像の混入登録を確実に防止することができる。
【０００９】
また、本発明は、上述した位置の変化量に代えて、位置検出から位置検出までの時間を監視する方式を採用することもできる。この場合、本発明では、個人の所定部位（たとえば顔）を連続的に撮像して得られた複数の画像から所定部位の位置を検出し、検出された２番目以降の位置について、前回の位置が検出されてから今回の位置が検出されるまでの時間間隔を計測する。そして、計測された時間間隔を予め定められた閾値と比較して、時間間隔が閾値に満たないときは今回の画像を登録可能な画像と判定し、時間間隔が閾値以上のときは今回の画像を登録不可能な画像と判定し、登録可能と判定された画像を登録して記憶する。
【００１０】
このようにすれば、本人の画像が連続的に撮像されているときは、位置検出の時間間隔は短いため閾値未満となり、撮像した画像は登録可能な画像と判定されて登録される。一方、本人が他人と交代するためにカメラを手で塞ぎ、その間に本人と他人とが入れ替わる場合は、カメラが塞がれている間は顔等の位置が検出できないため、位置検出の時間間隔が長くなって閾値以上となり、撮像した画像は本人にすり替わった他人の画像で登録不可能な画像と判定される。こうして、初期登録時において特定部位の位置検出の時間間隔を監視することで、本人が他人にすり替わったかどうかを確実に自動判別することができる。
【００１１】
この場合も、本発明の好ましい実施形態では、時間間隔が閾値以上のときに、今回の画像を登録不可能な画像と判定するとともに、連続撮像により取得した複数の画像のうち、登録不可能と判定された今回の画像以降に取得された画像をすべて登録不可能な画像と判定する。こうすることで、他人へのすり替わりがあった場合に、変化量が閾値以上となった最初の画像だけでなく、それ以降に取得された画像もすり替わりによる不正な画像として登録が禁止されるから、他人の画像の混入登録を確実に防止することができる。
【００１２】
さらに本発明では、上述した位置の変化量を追跡する方式と、位置検出の時間間隔を監視する方式とを併用することもできる。この場合は、顔位置の変化量を予め定められた閾値と比較するとともに、位置検出の時間間隔を予め定められた閾値と比較して、変化量と時間間隔がともに閾値に満たないときは、今回の画像を登録可能な画像と判定し、変化量と時間間隔の少なくとも一方が閾値以上のときは、今回の画像を登録不可能な画像と判定する。
【００１３】
このようにすれば、カメラで撮像中に本人が他人に交代してすり替わった場合は、顔等の位置が大きく変化して変化量が閾値以上となることにより、撮像した画像は登録不可能な画像と判定することができ、また、カメラを手で塞いでいる間に本人が他人に交代してすり替わった場合は、顔等の位置を検出する時間間隔が長くなって閾値以上となることにより、撮像した画像は登録不可能な画像と判定することができる。したがって、いずれの場合においても、不正な登録を未然に防止することができ、判定精度をより高めることができる。
【００１４】
この場合も、本発明の好ましい実施形態では、位置の変化量または位置検出の時間間隔が閾値以上のときに、今回の画像を登録不可能な画像と判定するとともに、連続撮像により取得した複数の画像のうち、登録不可能と判定された今回の画像以降に取得された画像をすべて登録不可能な画像と判定する。こうすることで、他人へのすり替わりがあった場合に、変化量や時間間隔が閾値以上となった最初の画像だけでなく、それ以降に取得された画像もすり替わりによる不正な画像として登録が禁止されるから、他人の画像の混入登録を確実に防止することができる。
【００１５】
【発明の実施の形態】
図１は、本発明の第１実施形態に係る個人認証システムのブロック図であって、顔位置の変化量を追跡して人物のすり替わりを判別するものである。１は個人の顔を連続的に撮像する撮像手段としてのカメラ、２はカメラ１で撮像された顔の画像を取得する画像取得部、３は取得された画像に基づいて後述する演算や判定を行う制御部、４はＩＤなどのデータを入力する操作部、５はＲＯＭやＲＡＭなどのメモリから構成される記憶部、６はガイダンスや照合結果などを表示する表示部である。
【００１６】
制御部３は、７〜１１の各ブロックから構成される。７は画像取得部２で取得された画像から顔の位置を検出する顔位置検出部、８は顔位置検出部７で検出された顔の位置の時間的な変化量を演算する顔位置変化量演算部、９は顔位置検出部７で得られた顔画像から顔の特徴量を抽出する顔特徴量抽出部、１０は顔特徴量抽出部９で抽出された顔の特徴量を比較して類似度およびその変化量を演算する類似度演算部、１１は顔位置変化量演算部８および類似度演算部１０の演算結果に基づいて撮像画像の登録可否を判定する判定部である。
【００１７】
以上のような個人認証システムにおいて、顔位置検出部７は本発明における検出手段を構成し、顔位置変化量演算部８は本発明における算出手段を構成し、判定部１１は本発明における判定手段を構成し、記憶部５は本発明における記憶手段を構成する。そして、これらの各手段によって本発明の不正登録防止装置が構成される。
【００１８】
次に、上記システムにおいて他人の顔画像の混入有無を判別する原理を、図２〜図８に基づいて説明する。図２は、他人が本人にすり替わる様子を示した模式図である。（ａ）〜（ｅ）は顔データの初期登録時にカメラ１で撮像されるフレーム１〜５を表しており、各フレーム内の太枠は顔位置を表している。最初、（ａ）のように本人Ａ（正規の登録者）の顔がフレーム１のほぼ中央位置で撮像される。本来なら、この状態で本人Ａの顔が複数枚（たとえば５枚）撮像される。なお、複数枚を撮像するのは、表情や顔の向き、明るさ等のばらつきを吸収するためである。ところが、本人Ａが他人Ｂにすり替る場合は、（ｂ）のように本人Ａがフレーム２の片方（ここでは左）へ移動し、（ｃ）のように本人Ａが撮像範囲から出て行くとともに、他人Ｂが片方（ここでは右）から撮像範囲に侵入してくる。そして、（ｄ）のように本人Ａの顔が姿を消し、代わって他人Ｂの顔が現れて、（ｅ）のようにフレーム５のほぼ中央位置において、本人Ａにすり替わった他人Ｂの顔が撮像される。
【００１９】
図３は、上記のようなすり替わりがあった場合の顔位置の動きを示した図である。ここでは顔位置をＸ座標とＹ座標で表しており、図中の数字（１〜５）は、図２における各フレーム（１〜５）に対応している。
【００２０】
図４は顔位置のＸ座標の時間的変化を示した図であって、横軸には時間（フレーム）、縦軸にはＸ座標値をとっている。ここでは、Ｘ座標値として０〜１００が設定されている。なお、図中の数字（１〜５）は、図２の各フレーム（１〜５）に対応している。この図４からわかるように、フレーム３からフレーム４へ移行するときには、Ｘ座標の変化は、他のフレーム間でのＸ座標の変化に比べて極端に大きくなっており、このようなＸ座標の急激な変化は、本人Ａが他人Ｂにすり替わったことを示している。したがって、顔を連続的に撮像して得られた複数の画像から顔位置を検出し、検出された２番目以降の位置について、前回の顔位置と今回の顔位置との変化量を求めれば、変化量が一定値以上のときにすり替わりがあったことを判別することができる。
【００２１】
図５は、この判別原理を更に詳しく説明する図である。ここでは変化量として、前回の顔位置の座標と今回の顔位置の座標との差分値を用いている。図５の実線は、図４で示したＸ座標の時間的変化であり、点線はＸ座標の差分値を示している。たとえばフレーム２の場合は、前回（フレーム１）のＸ座標が５０、今回（フレーム２）のＸ座標が３０であるから、差分値は５０―３０＝２０となる。また、フレーム４の場合は、前回（フレーム３）のＸ座標が１０、今回（フレーム４）のＸ座標が８０であるから、差分値は８０―１０＝７０となる。こうして求めた差分値（変化量）をあらかじめ定められた閾値Ｘの値と比較する。ここでは、一例として閾値Ｘの値は６０に設定されているが、この値は任意に設定することができる。閾値Ｘを６０とした場合は、フレーム４以外の差分値は閾値未満となり、フレーム４の差分値のみが閾値以上となるので、これによってフレーム４で取得された画像、すなわち他人Ｂの顔画像は不正に混入した画像と判断して、その登録を禁止する。
【００２２】
また、すり替りの判定精度を上げるために、従来から行われている類似度の変化をチェックする方式を併用することもできる。ここで、類似度とは、顔画像から抽出された特徴量を比較して得られるパラメータであって、特徴量の一致度合いが高いほど類似度は高くなる。ただし、類似度による判定は本発明にとって必須ではなく、省略することも可能である。図６〜図８は、類似度の変化によるすり替り判定の原理を説明する図である（なお、これらの図では、横軸のフレームは図２のフレームと対応していない）。図６において、Ｐはすり替りのない場合の顔画像（本人のみ）から得られる類似度の変化、Ｑはすり替りがあった場合の顔画像（本人と他人）から得られる類似度の変化をそれぞれ示している。Ｐのように、同じ人物であっても類似度が変化するのは、顔の向きや表情が変わったり、カメラの自動露光が変化したりするためである。
【００２３】
図６からわかるように、本人のみの顔画像であれば、Ｐのように類似度の変化は緩やかであるが、すり替りが行われて本人の顔が他人の顔に置き換わると、本人と他人とでは顔の特徴量が大きく異なることから、Ｑのように類似度は急激に低下する。なお、図６では最初に取得した数フレーム（本人の顔画像）を基準として類似度を算出しているため、類似度はすり替り時に急激に低下した後も低い値を維持している。こうして、類似度の変化をチェックすることにより、類似度の変化量が一定値以上のときにすり替わりがあったことを判別することができる。
【００２４】
図７および図８は、この判別原理を更に詳しく説明する図である。ここでは変化量として、前回の類似度と今回の類似度との差分値を用いている。図７の実線は、図６で示したすり替りのない場合の類似度の変化Ｐを示しており、点線は類似度の差分値を示している。たとえばフレーム６の場合は、前回（フレーム５）の類似度が０．６５、今回（フレーム６）の類似度が０．５であるから、差分値は０．６５―０．５＝０．１５となる。また、フレーム１０の場合は、前回（フレーム９）の類似度が０．２、今回（フレーム１０）の類似度が０．１であるから、差分値は０．２―０．１＝０．１となる。こうして求めた差分値（変化量）をあらかじめ定められた閾値Ｙの値と比較する。ここでは、一例として閾値Ｙの値は０．４に設定されているが、この値は任意に設定することができる。閾値Ｙを０．４とした場合、各フレームの差分値はすべて閾値未満となるので、これによって各フレームの顔画像は本人のものであると判断して、撮像された画像の登録を行う。
【００２５】
一方、図８の実線は、図６で示したすり替りのある場合の類似度の変化Ｑを示しており、点線は類似度の差分値を示している。たとえばフレーム５の場合は、前回（フレーム４）の類似度が０．８５、今回（フレーム５）の類似度が０．０５であるから、差分値は０．８５―０．０５＝０．８となる。また、フレーム１０の場合は、前回（フレーム９）の類似度が０．１、今回（フレーム１０）の類似度が０．１であるから、差分値は０．１―０．１＝０となる。こうして求めた差分値（変化量）を前記の閾値Ｙの値と比較する。閾値Ｙを０．４とした場合、フレーム５以外の差分値は閾値未満となり、フレーム５の差分値のみが閾値以上となるので、これによってフレーム５で取得された画像は不正に混入した他人の画像と判断して、その登録を禁止する。
【００２６】
次に、図１の個人認証システムにおいて顔データの初期登録を行う場合の手順につき説明する。図９は、この手順を表したフローチャートであって、制御部３により実行される手順を示している。登録にあたっては、まずＩＤ（識別番号）を入力する（ステップＳ１）。このＩＤの入力は、操作部４のテンキーを用いて行われるが、これに代えて、あらかじめＩＤが記録されたカードをカードリーダ（図示省略）へ挿入することによって、ＩＤを入力するようにしてもよい。ＩＤが入力されると、カメラ１によって顔の撮像が開始され（ステップＳ２）、画像取得部２において顔画像が取得される（ステップＳ３）。次に、取得した顔画像から、顔位置検出部７において顔の位置が検出されるとともに（ステップＳ４）、顔特徴量抽出部９において顔の特徴量が抽出される（ステップＳ５）。そして、規定数（たとえば５枚）の画像を取得したかどうかを判定して（ステップＳ６）、画像が規定数に達してなければ（ステップＳ６：ＮＯ）、ステップＳ３〜Ｓ６を反覆する。
【００２７】
画像が規定数に達すると（ステップＳ６：ＹＥＳ）、次に、ステップＳ４で検出した２番目以降の顔位置について、顔位置変化量演算部８が顔位置の変化量を順次算出し（ステップＳ７）、その値が閾値Ｘ（図５）以上であるか否かを判定部１１で判定する（ステップＳ８）。顔位置の変化量が閾値Ｘ未満であれば（ステップＳ８：ＹＥＳ）、続いて、ステップＳ５で抽出した顔の特徴量に基づいて、類似度演算部１０が類似度を算出するとともに、類似度の変化量を算出し（ステップＳ９）、類似度の変化量が閾値Ｙ（図７、図８）以上であるか否かを判定部１１で判定する（ステップＳ１０）。類似度の変化量が閾値Ｙ未満であれば（ステップＳ１０：ＹＥＳ）、取得した顔画像はいずれも本人のものであり登録可能と判断して、ステップＳ１で入力したＩＤとともに各顔画像を記憶部５へ記憶させて登録する（ステップＳ１１）。
【００２８】
一方、ステップＳ８において顔位置の変化量が閾値Ｘ以上であれば（ステップＳ８：ＮＯ）、そのときの顔画像は本人のものではなく不正に混入した他人の顔画像であるから登録不可能と判断して、記憶部５への登録を禁止する。この場合、顔位置の変化量が閾値Ｘ以上となった今回の顔画像とともに、ステップＳ３で取得した顔画像のうち今回の顔画像以降に取得された顔画像もすべて登録を禁止する（ステップＳ１３）。また、ステップＳ１０において類似度の変化量が閾値Ｙ以上である場合も（ステップＳ１０：ＮＯ）、そのときの顔画像は本人のものではなく不正に混入した他人の顔画像であるから登録不可能と判断して、記憶部５への登録を禁止する。この場合も、類似度の変化量が閾値Ｙ以上となった今回の顔画像とともに、ステップＳ３で取得した顔画像のうち今回の顔画像以降に取得された顔画像もすべて登録を禁止する（ステップＳ１３）。
【００２９】
以上の手順を実行した後、規定数（たとえば５枚）の画像を登録したかどうかを判定部１１で判定する（ステップＳ１２）。すり替わりがなければ、通常はステップＳ３〜Ｓ６で取得した画像は正常に登録されるから、ステップＳ１２での判定はＹＥＳとなり、登録が終了する。一方、すり替わりがあった場合は、ステップＳ１３で登録不可となる画像があるため、ステップＳ１２での判定はＮＯとなり、ステップＳ２へ戻って再度カメラ１による本人の撮像を行う。この場合、たとえば「撮像した画像には他人の画像が含まれているため登録できません。本人の顔を再度撮像して下さい」というメッセージを表示部６に表示するとよい。
【００３０】
このようにしてＩＤと顔画像の初期登録が終了すれば、次回からは操作部４でＩＤを入力するとともにカメラ１で顔を撮影することで、制御部３は入力されたＩＤと記憶部５に登録されているＩＤとの照合、および撮影された顔の画像と記憶部５に登録されている顔画像の照合を行い、照合結果を表示部６へ表示する。そして、照合結果が正常であれば本人であることが認証されて、たとえばドアのロック解除による入室の許可や、ネットワークを通じた有料コンテンツサービスの提供などが行われる。
【００３１】
以上述べた第１実施形態では、顔位置の変化量を閾値と比較して、変化量が閾値に満たないときの画像を登録可能な画像と判定し、変化量が閾値以上のときの画像を登録不可能な画像と判定している。このため、本人に入れ替わって他人が顔を撮影しようとすると、顔画像の位置が急激に変化するので、顔位置の変化量が閾値以上となり、これによってすり替わりを自動的にかつ確実に判別することができ、他人の顔画像の不正登録を未然に防止することが可能となる。また、顔位置の変化量が閾値以上となったときに、それ以降の画像をすべて登録不可能な画像と判定するので、すり替わりがあった場合の最初の画像だけでなく、以降の画像もすり替わりによる不正な画像として登録が禁止されるから、他人の画像の混入登録を確実に防止することができる。さらに、上記に加えて類似度の変化量も判定要素としているため、判定精度を一層高めることができるが、前述のように、類似度変化量の判定は本発明にとって必須ではなく省略してもよい。この場合は、図１の類似度演算部１０は不要であり、また図９におけるステップＳ９、Ｓ１０も不要となる。
【００３２】
図１０は、本発明の第２実施形態に係る個人認証システムのブロック図であって、顔の位置が検出される時間間隔を計測することで人物のすり替わりを判別するものである。１は個人の顔を連続的に撮像する撮像手段としてのカメラ、２はカメラ１で撮像された顔の画像を取得する画像取得部、３は取得された画像に基づいて後述する演算や判定を行う制御部、４はＩＤなどのデータを入力する操作部、５はＲＯＭやＲＡＭなどのメモリから構成される記憶部、６はガイダンスや照合結果などを表示する表示部である。
【００３３】
制御部３において、７は画像取得部２で取得された画像から顔の位置を検出する顔位置検出部、１２は顔位置検出部７で前回の位置が検出されてから今回の位置が検出されるまで時間間隔を計測する時間間隔演算部、９は顔位置検出部７で得られた顔画像から顔の特徴量を抽出する顔特徴量抽出部、１０は顔特徴量抽出部９で抽出された顔の特徴量を比較して類似度およびその変化量を演算する類似度演算部、１１は時間間隔演算部１２および類似度演算部１０の演算結果に基づいて撮像画像の登録可否を判定する判定部である。図１と比較すれば明らかなように、図１０では図１の顔位置変化量演算部８に代わって、時間間隔演算部１２が設けられている。その他の構成については図１と同じである。
【００３４】
以上のような個人認証システムにおいて、顔位置検出部７は本発明における検出手段を構成し、時間間隔演算部１２は本発明における計測手段を構成し、判定部１１は本発明における判定手段を構成し、記憶部５は本発明における記憶手段を構成する。そして、これらの各手段によって本発明の不正登録防止装置が構成される。
【００３５】
次に、図１０の個人認証システムにおいて顔データの初期登録を行う場合の手順につき説明する。図１１は、この手順を表したフローチャートであって、制御部３により実行される手順を示している。登録にあたっては、まずＩＤ（識別番号）を入力する（ステップＳ２１）。このＩＤの入力は、操作部４のテンキーを用いて行われるが、これに代えて、あらかじめＩＤが記録されたカードをカードリーダ（図示省略）へ挿入することによって、ＩＤを入力するようにしてもよい。ＩＤが入力されると、カメラ１によって顔の撮像が開始され（ステップＳ２２）、画像取得部２において顔画像が取得される（ステップＳ２３）。次に、取得した顔画像から、顔位置検出部７において顔の位置が検出されるとともに（ステップＳ２４）、顔特徴量抽出部９において顔の特徴量が抽出される（ステップＳ２５）。そして、規定数（たとえば５枚）の画像を取得したかどうかを判定して（ステップＳ２６）、画像が規定数に達してなければ（ステップＳ２６：ＮＯ）、ステップＳ２３〜Ｓ２６を反覆する。以上の手順は、図９におけるステップＳ１〜Ｓ６の手順と全く同じである。
【００３６】
画像が規定数に達すると（ステップＳ２６：ＹＥＳ）、次に、ステップＳ２４で顔位置を検出したときの時間間隔、すなわち検出された２番目以降の位置について、前回の位置が検出されてから今回の位置が検出されるまでの時間間隔を時間間隔演算部１２が順次算出し（ステップＳ２７）、その値が予め定められた閾値（たとえば３秒）以上であるか否かを判定部１１で判定する（ステップＳ２８）。時間間隔が閾値未満であれば（ステップＳ２８：ＹＥＳ）、続いて、ステップＳ２５で抽出した顔の特徴量に基づいて、類似度演算部１０が類似度を算出するとともに、類似度の変化量を算出し（ステップＳ２９）、類似度の変化量が閾値Ｙ（図７、図８）以上であるか否かを判定部１１で判定する（ステップＳ３０）。類似度の変化量が閾値Ｙ未満であれば（ステップＳ３０：ＹＥＳ）、取得された顔画像はいずれも本人のものであり登録可能と判断して、ステップＳ２１で入力したＩＤとともに各顔画像を記憶部５へ記憶させて登録する（ステップＳ３１）。
【００３７】
一方、ステップＳ２８において位置検出の時間間隔が閾値以上であれば（ステップＳ２８：ＮＯ）、そのときの顔画像は本人のものではなくカメラ１を塞いでいる間にすり替った他人の顔画像であるから登録不可能と判断して、記憶部５への登録を禁止する。この場合、時間間隔が閾値以上となった今回の顔画像とともに、ステップＳ２３で取得した顔画像のうち今回の顔画像以降に取得された顔画像もすべて登録を禁止する（ステップＳ３３）。また、ステップＳ３０において類似度の変化量が閾値Ｙ以上である場合も（ステップＳ３０：ＮＯ）、そのときの顔画像は本人のものではなく不正に混入した他人の顔画像であるから登録不可能と判断して、記憶部５への登録を禁止する。この場合も、類似度の変化量が閾値Ｙ以上となった今回の顔画像とともに、ステップＳ２３で取得した顔画像のうち今回の顔画像以降に取得された顔画像もすべて登録を禁止する（ステップＳ３３）。
【００３８】
以上の手順を実行した後、規定数（たとえば５枚）の画像を登録したかどうかを判定部１１で判定する（ステップＳ３２）。すり替わりがなければ、通常はステップＳ２３〜Ｓ２６で取得した画像は正常に登録されるから、ステップＳ３２での判定はＹＥＳとなり、登録が終了する。一方、すり替わりがあった場合は、ステップＳ３３で登録不可となる画像があるため、ステップＳ３２での判定はＮＯとなり、ステップＳ２２へ戻って再度カメラ１による本人の撮像を行う。この場合、たとえば「撮像した画像には他人の画像が含まれているため登録できません。本人の顔を再度撮像して下さい」というメッセージを表示部６に表示するとよい。
【００３９】
このようにしてＩＤと顔画像の初期登録が終了すれば、次回からは操作部４でＩＤを入力するとともにカメラ１で顔を撮影することで、制御部３は入力されたＩＤと記憶部５に登録されているＩＤとの照合、および撮影された顔の画像と記憶部５に登録されている顔画像の照合を行い、照合結果を表示部６へ表示する。そして、照合結果が正常であれば本人であることが認証されて、たとえばドアのロック解除による入室の許可や、ネットワークを通じた有料コンテンツサービスの提供などが行われる。
【００４０】
以上述べた第２実施形態では、顔位置検出の時間間隔を閾値と比較して、時間間隔が閾値に満たないときの画像を登録可能な画像と判定し、時間間隔が閾値以上のときの画像を登録不可能な画像と判定している。このため、カメラを手で塞いでいる間に本人が他人にすり替わろうとしても、カメラが塞がれている間は顔位置の検出ができないから、顔位置の検出から検出までの時間間隔が長くなって閾値以上となり、これによってすり替わりを自動的にかつ確実に判別することができ、他人の顔画像の不正登録を未然に防止することが可能となる。また、時間間隔が閾値以上となったときに、それ以降の画像をすべて登録不可能な画像と判定するので、すり替わりがあった場合の最初の画像だけでなく、以降の画像もすり替わりによる不正な画像として登録が禁止されるから、他人の画像の混入登録を確実に防止することができる。さらに、上記に加えて類似度の変化量も判定要素としているため、判定精度を一層高めることができるが、前述のように、類似度変化量の判定は本発明にとって必須ではなく省略してもよい。この場合は、図１０の類似度演算部１０は不要であり、また図１１におけるステップＳ２９、Ｓ３０も不要となる。
【００４１】
図１２は、本発明の第３実施形態に係る個人認証システムのブロック図であって、図１の顔位置の変化量からすり替わりを判別する方式と、図１０の顔位置検出の時間間隔からすり替わりを判別する方式とを併用したものである。１は個人の顔を連続的に撮像する撮像手段としてのカメラ、２はカメラ１で撮像された顔の画像を取得する画像取得部、３は取得された画像に基づいて後述する演算や判定を行う制御部、４はＩＤなどのデータを入力する操作部、５はＲＯＭやＲＡＭなどのメモリから構成される記憶部、６はガイダンスや照合結果などを表示する表示部である。
【００４２】
制御部３において、７は画像取得部２で取得された画像から顔の位置を検出する顔位置検出部、８は顔位置検出部７で検出された顔の位置の時間的な変化量を演算する顔位置変化量演算部、１２は顔位置検出部７で前回の位置が検出されてから今回の位置が検出されるまでの時間間隔を計測する時間間隔演算部、９は顔位置検出部７で得られた顔画像から顔の特徴量を抽出する顔特徴量抽出部、１０は顔特徴量抽出部９で抽出された顔の特徴量を比較して類似度およびその変化量を演算する類似度演算部、１１は顔位置変化量演算部８と、時間間隔演算部１２と、類似度演算部１０とにおける各演算結果に基づいて撮像画像の登録可否を判定する判定部である。
【００４３】
以上のような個人認証システムにおいて、顔位置検出部７は本発明における検出手段を構成し、顔位置変化量演算部８は本発明における算出手段を構成し、時間間隔演算部１２は本発明における計測手段を構成し、判定部１１は本発明における判定手段を構成し、記憶部５は本発明における記憶手段を構成する。そして、これらの各手段によって本発明の不正登録防止装置が構成される。
【００４４】
次に、図１２の個人認証システムにおいて顔データの初期登録を行う場合の手順につき説明する。図１３は、この手順を表したフローチャートであって、制御部３により実行される手順を示している。登録にあたっては、まずＩＤ（識別番号）を入力する（ステップＳ４１）。このＩＤの入力は、操作部４のテンキーを用いて行われるが、これに代えて、あらかじめＩＤが記録されたカードをカードリーダ（図示省略）へ挿入することによって、ＩＤを入力するようにしてもよい。ＩＤが入力されると、カメラ１によって顔の撮像が開始され（ステップＳ４２）、画像取得部２において顔画像が取得される（ステップＳ４３）。次に、取得した顔画像から、顔位置検出部７において顔の位置が検出されるとともに（ステップＳ４４）、顔特徴量抽出部９において顔の特徴量が抽出される（ステップＳ４５）。そして、規定数（たとえば５枚）の画像を取得したかどうかを判定して（ステップＳ４６）、画像が規定数に達してなければ（ステップＳ４６：ＮＯ）、ステップＳ４３〜Ｓ４６を反覆する。
【００４５】
画像が規定数に達すると（ステップＳ４６：ＹＥＳ）、次に、ステップＳ４４で検出した２番目以降の顔位置について、顔位置変化量演算部８が顔位置の変化量を順次算出し（ステップＳ４７）、その値が閾値Ｘ（図５）以上であるか否かを判定部１１で判定する（ステップＳ４８）。顔位置の変化量が閾値Ｘ未満であれば（ステップＳ４８：ＹＥＳ）、続いて、ステップＳ４４で顔位置を検出したときの時間間隔、すなわち検出された２番目以降の位置について、前回の位置が検出されてから今回の位置が検出されるまでの時間間隔を時間間隔演算部１２が順次算出し（ステップＳ４９）、その値が予め定められた閾値（たとえば３秒）以上であるか否かを判定部１１で判定する（ステップＳ５０）。時間間隔が閾値未満であれば（ステップＳ５０：ＹＥＳ）、続いて、ステップＳ４５で抽出した顔の特徴量に基づいて、類似度演算部１０が類似度を算出するとともに、類似度の変化量を算出し（ステップＳ５１）、類似度の変化量が閾値Ｙ（図７、図８）以上であるか否かを判定部１１で判定する（ステップＳ５２）。類似度の変化量が閾値Ｙ未満であれば（ステップＳ５２：ＹＥＳ）、取得された顔画像はいずれも本人のものであり登録可能と判断して、ステップＳ４１で入力したＩＤとともに各顔画像を記憶部５へ記憶させて登録する（ステップＳ５３）。
【００４６】
一方、ステップＳ４８において顔位置の変化量が閾値Ｘ以上であれば（ステップＳ４８：ＮＯ）、そのときの顔画像は本人のものではなく不正に混入した他人の顔画像であるから登録不可能と判断して、記憶部５への登録を禁止する。この場合、顔位置の変化量が閾値Ｘ以上となった今回の顔画像とともに、ステップＳ４３で取得した顔画像のうち今回の顔画像以降に取得された顔画像もすべて登録を禁止する（ステップＳ５５）。また、ステップＳ５０において位置検出の時間間隔が閾値以上である場合も（ステップＳ５０：ＮＯ）、そのときの顔画像は本人のものではなくカメラ１を塞いでいる間にすり替った他人の顔画像であるから登録不可能と判断して、記憶部５への登録を禁止する。この場合、時間間隔が閾値以上となった今回の顔画像とともに、ステップＳ４３で取得した顔画像のうち今回の顔画像以降に取得された顔画像もすべて登録を禁止する（ステップＳ５５）。さらに、ステップＳ５２において類似度の変化量が閾値Ｙ以上である場合も（ステップＳ５２：ＮＯ）、そのときの顔画像は本人のものではなく不正に混入した他人の顔画像であるから登録不可能と判断して、記憶部５への登録を禁止する。この場合も、類似度の変化量が閾値Ｙ以上となった今回の顔画像とともに、ステップＳ４３で取得した顔画像のうち今回の顔画像以降に取得された顔画像もすべて登録を禁止する（ステップＳ５５）。
【００４７】
以上の手順を実行した後、規定数（たとえば５枚）の画像を登録したかどうかを判定部１１で判定する（ステップＳ５４）。すり替わりがなければ、通常はステップＳ４３〜Ｓ４６で取得した画像は正常に登録されるから、ステップＳ５４での判定はＹＥＳとなり、登録が終了する。一方、すり替わりがあった場合は、ステップＳ５５で登録不可となる画像があるため、ステップＳ５４での判定はＮＯとなり、ステップＳ４２へ戻って再度カメラ１による本人の撮像を行う。この場合、たとえば「撮像した画像には他人の画像が含まれているため登録できません。本人の顔を再度撮像して下さい」というメッセージを表示部６に表示するとよい。
【００４８】
このようにしてＩＤと顔画像の初期登録が終了すれば、次回からは操作部４でＩＤを入力するとともにカメラ１で顔を撮影することで、制御部３は入力されたＩＤと記憶部５に登録されているＩＤとの照合、および撮影された顔の画像と記憶部５に登録されている顔画像の照合を行い、照合結果を表示部６へ表示する。そして、照合結果が正常であれば本人であることが認証されて、たとえばドアのロック解除による入室の許可や、ネットワークを通じた有料コンテンツサービスの提供などが行われる。
【００４９】
以上述べた第３実施形態では、顔位置の変化量からすり替わりを判別するとともに、顔位置検出の時間間隔からもすり替わりを判別するようにしている。第１実施形態のように顔位置の変化量を用いる方式では、カメラが手で塞がれている間に本人と他人とが入れ替わると、カメラが塞がれる前と後とで顔位置がほとんど変化しないため、すり替わりを発見できない場合が起こり得る。一方、第２実施形態のように顔位置検出の時間間隔を用いる方式では、カメラが塞がれない状態で本人と他人とがすばやく入れ替わると、顔位置検出の時間間隔が閾値を超えずにすり替わりを発見できない場合が起こり得る。
【００５０】
しかるに、第３実施形態によれば、両者の方式を併用することで、いずれの不正が行われた場合にもすり替わりを自動的にかつ確実に判別することができ、精度を高めることができる。また、第３実施形態においても、顔位置の変化量や位置検出の時間間隔が閾値以上となったときに、それ以降の画像をすべて登録不可能な画像と判定するので、すり替わりがあった場合の最初の画像だけでなく、以降の画像もすり替わりによる不正な画像として登録が禁止されるから、他人の画像の混入登録を確実に防止することができる。さらに、上記に加えて類似度の変化量も判定要素としているため、判定精度をより一層高めることができるが、前述のように、類似度変化量の判定は本発明にとって必須ではなく省略してもよい。この場合は、図１２の類似度演算部１０は不要であり、また図１３におけるステップＳ５１、Ｓ５２も不要となる。
【００５１】
以上述べた各実施形態では、個人認証システムにカメラ１が備わっている例を示したが、本発明はこれに限定されるものではなく、別の場所で別のカメラにより撮像した顔画像のデータを記録媒体に保存しておき、この記録媒体を個人認証システムに設けられた媒体読取装置（図示省略）に装着することにより顔画像を取り込むようにしてもよい。あるいは、個人認証システムに通信機能を持たせ、撮像した顔画像を通信回線を介して無線や有線で受信できるようにしてもよい。
【００５２】
また、以上述べた各実施形態では、顔の画像を撮像する場合を例に挙げたが、本発明はこれに限定されるものではなく、撮像する部位としては顔以外に、たとえば虹彩（アイリス）を利用することも可能である。
【００５３】
【発明の効果】
本発明によれば、所定部位の位置の変化や位置検出の時間間隔を閾値と比較することで、人手によることなく他人の画像の混入を確実に自動判別して、すり替わりによる不正登録を未然に防止することができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る個人認証システムのブロック図である。
【図２】すり替わりの様子を示した模式図である。
【図３】すり替わりによる顔位置の動きを示した図である。
【図４】顔位置の座標値の変化を示した図である。
【図５】座標値と差分値の変化を示した図である。
【図６】類似度の変化を示した図である。
【図７】すり替わりのない場合の類似度と差分値の変化を示した図である。
【図８】すり替わりのある場合の類似度と差分値の変化を示した図である。
【図９】第１実施形態における初期登録のフローチャートである。
【図１０】本発明の第２実施形態に係る個人認証システムのブロック図である。
【図１１】第２実施形態における初期登録のフローチャートである。
【図１２】本発明の第３実施形態に係る個人認証システムのブロック図である。
【図１３】第３実施形態における初期登録のフローチャートである。
【符号の説明】
１　　カメラ
２　　画像取得部
３　　制御部
４　　操作部
５　　記憶部
６　　表示部
７　　顔位置検出部
８　　顔位置変化量演算部
９　　顔特徴量抽出部
１０　類似度演算部
１１　判定部
１２　時間間隔演算部
Ｘ，Ｙ　閾値
【図１】
2004054788.tif 000003
【図２】
2004054788.tif 000004
【図３】
2004054788.tif 000005
【図４】
2004054788.tif 000006
【図５】
2004054788.tif 000007
【図６】
2004054788.tif 000008
【図７】
2004054788.tif 000009
【図８】
2004054788.tif 000010
【図９】
2004054788.tif 000011
【図１０】
2004054788.tif 000012
【図１１】
2004054788.tif 000013
【図１２】
2004054788.tif 000014
【図１３】
2004054788.tif 000015