(57)【要約】【課題】  顔照合処理に用いられる顔画像の偽装などによる不正を効果的に防止することができる。【解決手段】  人の顔における複数の部位の動きパターンを登録しておき、認識対象者の顔を含む画像を時系列的に連続して撮影し、時系列的に連続して撮影した複数の画像からそれぞれ人の顔における各部位の状態を示す情報を検出し、それらの検出した各部位の状態を示す情報を各部位ごとに時系列に並べ、それらの時系列に並べた各部位の状態を示す情報が、実在する人の顔における各部位の動きとして認められるか否かを予め登録されている各部位の動きパターンに基づいて判定するようにしたものである。【選択図】      図１
2008071179.tif 000002
【特許請求の範囲】
【請求項１】
人の顔における複数の部位の動きパターンが登録されている動き登録手段と、
登録者の顔画像が登録されている顔登録手段と、
認識対象者の顔を含む画像を時系列的に連続して撮影する撮影手段と、
この撮影手段により時系列的に連続して撮影した複数の画像からそれぞれ人の顔における各部位の状態を示す情報を検出する検出手段と、
この検出手段により検出された各部位の状態を示す情報を各部位ごとに時系列に並べ、それらの時系列に並べた各部位の状態を示す情報が、実在する人の顔における各部位の動きとして認められるか否かを前記動き登録手段に登録されている各部位の動きパターンに基づいて判定する動き判定手段と、
前記動き判定手段により前記時系列に並べた各部位の状態を示す情報が実在する人の顔における各部位の動きとして認められると判定した場合、前記撮影手段により撮影した画像における顔画像と前記顔登録手段に登録されている登録者の顔画像とを照合する顔照合手段と、
を有することを特徴とする顔照合装置。
【請求項２】
前記動き登録手段には、所定の動作を行う場合における各部位の連続した動きを示す情報を各部位の動きパターンとして登録し、
前記動き判定手段は、前記検出手段により検出された各部位の状態を示す情報を各部位ごとに時系列に並べ、それらの時系列に並べた各部位の状態を示す情報が、実在する人が所定の動作を行う場合における各部位の動きとして認められるか否かを前記動き登録手段に登録されている各部位の動きパターンに基づいて判定する、
ことを特徴とする前記請求項１に記載の顔照合装置。
【請求項３】
前記動き登録手段は、人の顔における各部位の動きパターンを組み合わせて登録し、
前記動き判定手段は、前記検出手段により検出された各部位の状態を示す情報を各部位ごとに時系列に並べ、それらの時系列に並べた各部位の状態を示す情報の組み合わせが、実在する人の顔における各部位の動きとして認められるか否かを前記動き登録手段に登録されている各部位の動きパターンの組み合わせに基づいて判定する、
ことを特徴とする前記請求項１に記載の顔照合装置。
【請求項４】
前記動き登録手段には、人の顔における部位の１つしての目の動きパターンと、人の顔における部位の１つしての口の動きパターンと、が登録され、
前記動き判定手段は、前記検出手段により検出された目の状態を示す情報を時系列に並べた情報と前記検出手段により検出された口の状態を示す情報を時系列に並べた情報との組み合わせが、実在する人の顔における目および口の動きとして認められるか否かを前記動き登録手段に登録されている目の動きパターンと口の動きパターンとの組み合わせに基づいて判定する、
ことを特徴とする前記請求項１に記載の顔照合装置。
【請求項５】
人の顔における複数の部位の動きパターンが登録されている動き登録手段と、
登録者の顔画像が登録されている顔登録手段と、
認識対象者の顔を含む画像を時系列的に連続して撮影する撮影手段と、
この撮影手段により時系列的に連続して撮影した複数の画像からそれぞれ人の顔における各部位の状態を示す情報を検出する検出手段と、
この検出手段により検出された各部位の状態を示す情報を各部位ごとに時系列に並べ、それらの時系列に並べた各部位の状態を示す情報が、実在する人の顔における各部位の動きとして認められるか否かを前記動き登録手段に登録されている各部位の動きパターンに基づいて判定する動き判定手段と、
前記動き判定手段により前記時系列に並べた各部位の状態を示す情報が実在の人の顔における各部位の動きとして認められると判定した場合、前記撮影手段により撮影した画像における顔画像と前記顔登録手段に登録されている登録者の顔画像とを照合する顔照合手段と、
この顔照合手段により登録者の顔画像との照合が成功した場合、前記撮影手段により撮影した認識対象者の通行を許可する通行許可手段と、
前記動き判定手段により各部位の動きが実在する人の顔における各部位の動きとして認められないと判定した場合、あるいは、前記顔照合手段により登録者の顔画像との照合が失敗した場合、前記撮影手段により撮影した認識対象者の通行を不許可とする通行不許可手段と、
を有することを特徴とする通行制御装置。
【請求項６】
顔照合装置に用いられる顔照合方法であって、
人の顔における複数の部位の動きパターンを動き登録手段に登録しておき、
登録者の顔画像を顔登録手段に登録しておき、
認識対象者の顔を含む画像を時系列的に連続して撮影し、
これらの時系列的に連続して撮影した複数の画像からそれぞれ人の顔における各部位の状態を示す情報を検出し、
これらの検出された各部位の状態を示す情報を各部位ごとに時系列に並べ、それらの時系列に並べた各部位の状態を示す情報が、実在する人の顔における各部位の動きとして認められるか否かを前記動き登録手段に登録されている各部位の動きパターンに基づいて判定し、
前記時系列に並べた各部位の状態を示す情報が実在する人の顔における各部位の動きとして認められると判定した場合、前記撮影した画像における顔画像と前記顔登録手段に登録されている登録者の顔画像とを照合する、
ことを特徴とする顔照合方法。
【請求項７】
通行を制御する通行制御装置に用いられる通行制御方法であって、
人の顔における複数の部位の動きパターンを動き登録手段に登録しておき、
登録者の顔画像を顔登録手段に登録しておき、
認識対象者の顔を含む画像を時系列的に連続して撮影し、
これらの時系列的に連続して撮影した複数の画像からそれぞれ人の顔における各部位の状態を示す情報を検出し、
これらの検出された各部位の状態を示す情報を各部位ごとに時系列に並べ、それらの時系列に並べた各部位の状態を示す情報が、実在する人の顔における各部位の動きとして認められるか否かを前記動き登録手段に登録されている各部位の動きパターンに基づいて判定し、
前記時系列に並べた各部位の状態を示す情報が実在する人の顔における各部位の動きとして認められると判定した場合、前記撮影した画像における顔画像と前記顔登録手段に登録されている登録者の顔画像とを照合し、
前記顔登録手段に登録されている登録者の顔画像との照合が成功した場合、前記認識対象者の通行を許可し、
前記各部位の動きが実在する人の顔における各部位の動きとして認められないと判定した場合、あるいは、前記顔登録手段に登録されている登録者の顔画像との照合が失敗した場合、前記認識対象者の通行を不許可とする、
ことを特徴とする通行制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば、顔画像などの生体情報の照合により人物を認識する人物認識システム、および、生体照合を用いて重要施設（部屋、フロア、建物など）の出入りや機器のアクセス管理などを行う通行制御システムに関する。
【背景技術】
【０００２】
従来、顔照合装置では、カメラなどにより取得した静止画における顔画像を抽出し、その抽出した顔画像と予め登録されている登録者の顔画像との照合を行う（たとえば、特許文献１）。このような顔照合装置では、認識対象者の顔を含む画像を静止画として取得するため、顔写真などで偽装される可能性がある。このような顔照合装置では、顔照合処理における不正を防止する技術が求められている。
【０００３】
たとえば、従来の顔照合処理における不正防止としては、予め登録されている不正データとの比較により、不正であるか否かを判別する技術がある（たとえば、特許文献２）。しかしながら、このような不正防止技術であっても、実在している人物の顔であるか否かを識別することが困難であるため、顔写真などによる偽装を不正であると判定するのが困難である。また、実在している人の顔であるか否かを識別するためには、認識対象となる顔画像が人らしい動きを行えるか否かを判定することが有効である。このような人の動きを検知する技術としては、目の開閉を判定する技術がある（たとえば、特許文献３）。しかしながら、上記した技術では、単に、目の開閉を判定するだけである。言い換えると、上記した技術では目の開閉という簡単な動作を判定するだけであるため、簡単に真似されたり、偽装されたりする可能性がある。
【特許文献１】特開２００１−２５６４９６号公報
【特許文献２】特開２００４−２７２５０８号公報
【特許文献３】特開２００２−２５１６１４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
この発明は、上記のような問題点を解決するものであり、顔照合処理に用いられる顔画像の偽装などによる不正を効果的に防止することができる顔照合装置、通行制御装置、顔照合方法および通行制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
この発明の一形態としての顔照合装置は、人の顔における複数の部位の動きパターンが登録されている動き登録手段と、登録者の顔画像が登録されている顔登録手段と、認識対象者の顔を含む画像を時系列的に連続して撮影する撮影手段と、この撮影手段により時系列的に連続して撮影した複数の画像からそれぞれ人の顔における各部位の状態を示す情報を検出する検出手段と、この検出手段により検出された各部位の状態を示す情報を各部位ごとに時系列に並べ、それらの時系列に並べた各部位の状態を示す情報が、実在する人の顔における各部位の動きとして認められるか否かを前記動き登録手段に登録されている各部位の動きパターンに基づいて判定する動き判定手段と、前記動き判定手段により前記時系列に並べた各部位の状態を示す情報が実在する人の顔における各部位の動きとして認められると判定した場合、前記撮影手段により撮影した画像における顔画像と前記顔登録手段に登録されている登録者の顔画像とを照合する顔照合手段とを有する。
【０００６】
この発明の一形態としての顔照合方法は、顔照合装置に用いられる方法であって、人の顔における複数の部位の動きパターンを動き登録手段に登録しておき、登録者の顔画像を顔登録手段に登録しておき、認識対象者の顔を含む画像を時系列的に連続して撮影し、これらの時系列的に連続して撮影した複数の画像からそれぞれ人の顔における各部位の状態を示す情報を検出し、これらの検出された各部位の状態を示す情報を各部位ごとに時系列に並べ、それらの時系列に並べた各部位の状態を示す情報が、実在する人の顔における各部位の動きとして認められるか否かを前記動き登録手段に登録されている各部位の動きパターンに基づいて判定し、前記時系列に並べた各部位の状態を示す情報が実在する人の顔における各部位の動きとして認められると判定した場合、前記撮影した画像における顔画像と前記顔登録手段に登録されている登録者の顔画像とを照合する。
【発明の効果】
【０００７】
この発明によれば、顔照合処理に用いられる顔画像の偽装などによる不正を効果的に防止することができる顔照合装置、通行制御装置、顔照合方法および通行制御方法を提供することができる。
【発明を実施するための最良の形態】
【０００８】
この発明を実施するための最良の形態について図面を参照しつつ説明する。  
図１は、本実施の形態に係る通行制御システムの構成例を概略的に示す図である。通行制御システムは、顔照合装置（通行制御装置）１０およびドア開閉装置２０により構成されている。なお、本実施の形態で説明するシステム構成は、運用形態などに応じて、適宜、変更可能である。たとえば、顔照合装置１０により処理状況などを監視するための監視装置を設けるようにしても良い。
【０００９】
上記顔照合装置１０について説明する。  
上記顔照合装置１０は、図１に示すように、ユーザインターフェース部１１と処理部１２とを有している。なお、上記ユーザインターフェース部１１と処理部１２の実現形態も、運用形態等に応じて、適宜、変更可能である。たとえば、上記ユーザインターフェース部１１と処理部１２とは、一体的に形成するようにしても良いし、上記処理部１２を上記ドア開閉装置２０と一体的に形成するようにしても良い。
【００１０】
上記ユーザインターフェース部１１は、カメラ１１０および表示部１１１などにより構成される。上記ユーザインターフェース部１１は、人物の通行を制御するためのドアの近傍に設置される。上記ユーザインターフェース部１１では、ユーザの顔を含む画像を撮影するためのユニットである。なお、上記ユーザインターフェース部１１には、ユーザが識別情報などを入力するための操作部を設けるようにしても良い。また、上記ユーザインターフェース部１１には、上記カメラ１１０で撮影する認識対象者Ｐに対して補助照明としての光を照射するための上記補助照明を設けるようにしても良い。
【００１１】
上記カメラ１１０は、ＣＣＤセンサなどの撮像素子を用いたテレビジョンカメラにより構成される。上記カメラ１１０では、動画あるいは連続した静止画を撮影する。上記カメラ１１０は、認識対象者Ｐの顔画像（少なくとも顔を含んでいる画像）を撮影する撮影手段として機能する。  
上記表示部１１１は、認識対象者Ｐに対する操作案内あるいは上記カメラ１１０にて撮影している画像などを表示する表示装置である。例えば、上記カメラ１１０に対する認識対象者Ｐの距離や左右方向の位置が最適になるようなガイダンスを表示する場合、上記表示部１１１には、上記カメラ１１０にて撮影中の画像とともに最適な顔の位置を丸印等で案内表示する。
【００１２】
次に、上記顔照合装置１０の処理部１２の構成について説明する。  
上記処理部１２は、たとえば、コンピュータ等の構成によって実現可能である。すなわち、上記処理部１２は、ハードディスク装置や光ディスク等の記憶媒体に予め記録した種々の制御プログラムを図示しないＣＰＵなどからなる制御部が実行することによって、処理手段として機能し、後述するような種々の動作を実現している。以下、処理部１２の具体的な構成例について図１を参照して詳細に説明する。
【００１３】
上記処理部１２は、制御部１２０、画像処理部１２１、動き検知部１２２、動き辞書１２３、顔照合部１２４、顔辞書１２５、および、通行制御部１２６などを有している。  
上記画像処理部１２１は、画像入力手段、画像処理手段、あるいは、顔検出手段として機能する。上記画像入力手段としての画像処理部１２１は、画像データを送受信するためのインターフェースとして機能し、例えば、上記カメラ１１０から取得した撮影画像としてのアナログの画像データをＡ／Ｄ変換してデジタル化する。また、上記画像処理手段としての画像処理部１２１は、上記カメラ１１０にて撮影した画像に対する補正などの画像処理を行う。上記顔検出手段としての画像処理部１２１は、上記カメラ１１０にて撮影した画像から認識対象者Ｐの顔画像を検出する。上記顔画像の検出方法は、たとえば、あらかじめ用意されたテンプレートと画像中を移動させながら相関値を求めることにより、最も高い相関値をもった場所を顔領域として検出し、その顔領域の画像を顔画像とする。その他、上記顔検出部としては、固有空間法や部分空間法を利用した顔領域抽出法などの顔領域の検出方法を用いるようにしても良い。
【００１４】
上記動き検知部１２２は、動き検出手段あるいは動き判定手段として機能する。上記動き検知部１２２は、上記カメラ１１０により撮影されている顔の各部位の動きを検知するものである。上記動き検知部１２２は、上記画像処理部１２１から供給される上記カメラ１１０にて撮影された顔画像から人の顔における各部位を検出する機能、検出した各部位の状態を示す情報を抽出する機能、各部位の特徴情報を時系列に並べた情報（撮影された各部位の動きパターン）を生成する機能、時系列に並べた各部位の特徴情報（検出された各部位の動きパターン）と上記動き辞書１２３に登録されている各部位の動きパターン（登録されている各部位の動きパターン）とを比較する機能、および、比較結果に基づいて各部位の特徴情報を時系列に並べた情報が実在する人の動きとして認められるか否かを判定する機能などを有している。また、部位の状態を示す情報は、当該部位の特徴点の位置を示す情報、あるいは、各特徴点の変化量などで示される。なお、顔における部位としては、たとえば、目、口、鼻などが用いられる。目、口、鼻などの部位の状態を示す情報を抽出する処理の例、あるいは、目、口、鼻などの動きを判定する処理の例については、後で詳細に説明する。
【００１５】
上記動き辞書１２３は、動き登録手段として機能する。上記動き辞書１２３は、人の顔における各部位の動きパターンが登録されている。上記動き辞書１２３に登録されている各部位の動きパターンとしては、各種の動きに対応する各部位ごとの標準的な動きパターンを登録しておくようにしても良いし、各登録者ごとに顔における各部位ごとの動きパターンを登録しておくようにしても良い。さらに、上記動き辞書１２３には、複数の部位の動きパターンの組み合わせを示す情報を登録しておくようにしても良い。
【００１６】
上記顔照合部１２４は、顔照合手段として機能する。上記顔照合部１２４は、特徴抽出手段としての特徴抽出部（図示しない）、および、顔照合手段としての照合部（図示しない）などを有している。  
上記特徴抽出手段としての顔照合部１２４は、顔画像における濃淡情報あるいは部分空間情報などの顔の特徴量を抽出する特徴抽出処理を行う。例えば、上記特徴抽出処理は、顔画像における顔の特徴量としての目、口、鼻などを形成する特徴点を検出する。たとえば、上記顔の特徴量は、ｍピクセル×ｎピクセルの領域の濃淡値をそのまま情報として用いて、ｍ×ｎ次元の情報を特徴ベクトルとして抽出される。
【００１７】
上記顔照合手段としての顔照合部１２４は、上記カメラ１１０にて撮影した顔画像と登録者の顔画像との照合（顔画像による認識対象者Ｐの認識）を行うする処理である。すなわち、上記顔照合手段としての顔照合部１２４は、上記カメラ１１０にて撮影した認識対象者Ｐの顔画像と一致する登録者の顔画像が上記顔辞書１２５に登録されているか否かを判定する顔照合処理を行う。
【００１８】
また、顔画像による照合処理としては、上記カメラ１１０にて撮影した認識対象者Ｐが上記顔辞書１２５に登録されている登録者のうち誰であるか認識する１対Ｎ照合と呼ばれる処理モード（１対Ｎ照合モード）と、上記カメラ１１０にて撮影した認識対象者Ｐが上記顔辞書１２５に登録されている特定の登録者と一致（同定）するか否かを認識する１対１照合と呼ばれる処理モード（１対１照合モード）とがある。
【００１９】
例えば、１対Ｎ照合モードでの照合処理は、上記カメラ１１０で撮影した認識対象者Ｐの顔画像と上記顔辞書１２５に登録されている各登録者の顔画像との照合度としての類似度を算出して最大類似度を判断し、その最大類似度が所定の閾値以上である場合に、認識対象者Ｐが当該最大類似度となる認識データに対応する登録者であることを判断するものである。
【００２０】
また、１対１照合モードでの認識処理は、上記顔辞書１２５に登録されている各登録者のうち認識対象者Ｐが識別情報等などにより指定する登録者の顔画像と上記カメラ１１０で撮影した認識対象者Ｐの顔画像との照合度としての類似度を算出し、その類似度が所定の閾値以上であるか否かにより認識対象者Ｐが登録者であるか否かを判断するものである。  
なお、本実施の形態では、通行制御システムが、１対Ｎ照合モードでの認識処理を行う場合について説明するが、１対１照合モードであっても同様な実施の形態が実現可能である。
【００２１】
上記顔辞書１２５は、顔登録手段として機能する。上記顔辞書１２５は、ハードディスクドライブなどの記憶装置により構成される。上記顔辞書１２５には、予め登録者に関する顔画像あるいは顔の特徴量を含む登録者データ等が記憶されている。例えば、上記顔辞書１２５には、管理者が操作する動作モードにおいて、登録者の識別情報（ＩＤ情報）、登録者の氏名等の個人情報、登録者の顔画像、あるいは、登録者の顔の特徴量などが登録される。
【００２２】
また、上記通行制御部１２６は、上記顔照合部１２４による認識対象者Ｐに対する認証処理の結果に基づいてドア開閉装置２０を制御することにより、上記認識対象者Ｐの通行を制御するものである。上記ドア開閉装置２０は、施設などの入出場用のドアに設けられ、そのドアの開閉あるいはドアの鍵の開錠施錠を制御する機構である。つまり、認識対象者Ｐの通行を許可する場合、上記通行制御部１２６は、ドア開閉装置２０によりドアを開放する制御を行う。また、認識対象者Ｐの通行を不許可とする場合、上記通行制御部１２６は、ドア開閉装置２０によりドアを閉鎖する制御を行う。
【００２３】
例えば、上記顔照合部１２４にて認識対象者Ｐが上記顔辞書１２５に登録されている登録者であると判定された場合、上記通行制御部１２６は、上記顔照合部１２４からの認識対象者Ｐが登録者であることが認証された旨の通知を受けて、上記ドア開閉装置２０によりドアを開放する。また、登録者のうち一部の登録者（ドアの通行権限を有する人物）のみをドアの通行を可能とする場合、上記通行制御部１２６は、上記顔照合部１２４により認識対象者Ｐがドアの通行権限を有する人物であると認証された際に、上記ドア開閉装置２０によるドアの開放を行うように制御する。
【００２４】
なお、上記顔照合装置には、さらに、上記カメラ１１０の撮影範囲（撮影画像）における人物の有無を検知する手段を設けてもよい。このような人物を検知する手段は、たとえば、上記カメラ１１０の撮影範囲（撮影画像）における人物の有無を検知するためのセンサを設けたり、あるいは、上記カメラ１１０にて撮影された連続する画像の差分情報に基づいて上記カメラ１１０の撮影範囲（撮影画像）に人物が存在するか否かを判定する手段を設けたりすることにより実現できる。上記した人物を検知する手段を有する顔照合装置では、上記人物を検知する手段により上記カメラ１１０の撮影範囲に人物が存在することを検知した場合に、顔照合処理を開始するようにすれば良い。これにより、顔照合装置の効率的な運用が可能となる。
【００２５】
また、上記顔照合装置には、顔照合処理などの履歴データを保存するための記憶装置を設けても良い。この場合、顔照合処理の履歴データとしては、顔照合日時、顔照合の対象となった画像および顔照合などを保存する。このような履歴データを保存することにより、顔照合装置による処理についてのセキュリティ性を向上できる。
【００２６】
次に、上記動き検知部１２２Ａの第１の構成例について説明する。  
図２は、上記動き検知部１２２Ａの第１の構成例を概略的に示す図である。  
図２に示す構成例では、上記動き検知部１２２Ａは、各部位の動き検知部１３１、１３２、…を有している。各部位の動き検知部１３１、１３２、…は、部位検出部１３１ａ、１３２ａ、…、部位の特徴抽出部１３１ｂ、１３２ｂ、…、メモリ１３１ｃ、１３２ｃ、…、および、部位の動き判定部１３１ｄ、１３２ｄ、…などを有している。
【００２７】
まず、第１の構成例における目の動き検知部１３１について説明する。  
図２に示す第１の構成例において、目の動き検知部１３１は、目検出部１３１ａ、目の特徴抽出部１３１ｂ、メモリ１３１ｃ、および、目の動き判定部１３１ｄなどを有している。  
上記目検出部１３１ａは、上記画像処理部１２１から供給される顔画像から目の領域を検出する。また、上記目の特徴抽出部１３１ｂは、上記目検出部１３１ａにより検出された目の領域の画像から複数の目の特徴点（目を形成する複数の特徴点）を抽出する。
【００２８】
たとえば、目の特徴点としては、目頭、目尻、上目蓋の中心、下目蓋の中心などを示す点が特徴点として抽出される。上記目の特徴抽出部１３１ｂにより抽出された目の特徴点を示す情報（各特徴点の位置情報）は、上記メモリ１３１ｃに蓄積される。さらに、上記目の特徴抽出部１３１ｂでは、抽出した目の特徴点を示す情報から目の状態を示す特徴量（目の状態を示す情報）を算出する。たとえば、目の状態を示す情報としては、複数の目の特徴点における相対的な位置の変化量で示される。上記目の特徴抽出部１３１ｂにより算出された目の状態を示す特徴量（目の状態を示す情報）は、上記メモリ１３１ｃに蓄積される。
【００２９】
上述した目の特徴点のうち目頭（目頭の特徴点）および目尻（目尻の特徴点）は、顔における位置がほとんど変化しない（動かない）。これに対して、上目蓋（上目蓋の中心点を示す特徴点）および下目蓋（下目蓋の中心点を示す特徴点）は、目の開閉に応じて相対的な位置が変化する。このため、目頭および目尻を基準とする上目蓋の中心点と下目蓋の中心点との相対的な位置を示す情報は、目の開閉状態を示す情報となる。ここで、目を閉じた状態が「０」となり、かつ、目を完全に開いた状態が「１０」となるように、目の開閉状態を「０」、「１」、「２」、…、「１０」の数値で示すものとする。すると、目の開閉状態は、目の状態を示す情報によって示されることとなる。
【００３０】
また、上記目検出部１３１ａおよび上記目の特徴抽出部１３１ｂによる処理は、連続する所定数の顔画像から得られる所定数の連続した目の状態を示す情報が上記メモリ１３１ｃに蓄積されるまで繰り返し実行される。この結果、上記メモリ１３１ｃには、連続する所定数の顔画像から抽出された目の特徴点を示す情報（時系列において連続する所定数の目の特徴点を示す情報）が蓄積される。
【００３１】
上記目の動き判定部１３１ｄは、目の状態を示す情報を時系列順に並べた情報に基づいて目の動きが実在する人の目の動きらしいか否かを判定するものである。上記メモリ１３１ｃに所定数の目の特徴点を示す情報が蓄積されると、上記目の動き判定部１３１ｄは、上記メモリ１３１ｃに蓄積された複数の目の状態を示す情報（目の開閉状態を示す情報）を時系列順に並べた情報を上記カメラ１１０にて撮影された顔画像における目の動きパターンとする。上記目の動き判定部１３１ｄは、上記カメラ１１０にて撮影された顔画像における目の動きパターンと上記動き辞書１２３に登録されている動きパターンとを比較することにより、上記カメラ１１０にて撮影された顔画像における目の動きパターンが実在する人の目の動きらしいか否かを判定する。
【００３２】
すなわち、連続して撮影された顔画像から検出した目の状態を示す情報を時系列に並べた情報は、カメラ１１０にて撮影された顔画像における目の動きのパターンを示す。このような時系列に並べた目の状態を示す情報（検出された目の動きパターン）は、上記カメラ１１０にて撮影された顔画像が実在する人の顔画像であれば、連続的に変化する数値となるはずである。従って、上記目の動き判定部１３１ｄは、検出された目の動きパターンが連続的に変化するか否かにより、上記カメラ１１０にて撮影した顔画像が実在する人の顔画像であるか否かを判定できる。
【００３３】
また、上記目の動き判定部１３１ｄでは、上記動き辞書１２３に予め登録している目の動きパターンと検出された目の動きパターンとを比較することにより、上記カメラ１１０にて撮影した顔画像において目が特定の動きをしたか否かを判定する。たとえば、上記動き辞書１２３に目を閉じる場合における標準的な目の動きパターンを登録しておくことにより、上記カメラ１１０で撮影した顔画像において、目を閉じる動きが行われたか否かを判定できる。このように、上記目の動き判定部１３１ｄでは、上記カメラ１１０で撮影した顔画像において、特定の動作（たとえば、目を開閉する動作）が自然な動きで行われたか否かが判定できる。
【００３４】
さらに、特定の人物が目を閉じる場合における目の動きパターンを登録しておくことにより、特定の人物が目を閉じる動きを行ったか否かを判定することも可能である。この場合、上記動き辞書１２３には、特定の人物ごとに、目を閉じる動きのパターンが登録される。これにより、上記目の動き判定部１３１ｄでは、上記カメラ１１０で撮影した顔画像において、特定の人物（登録者）が行うべき特定の動作（たとえば、目を開閉する動作）が自然な動きで行われたか否かを判定できる。この場合、各人物の癖なども上記動き辞書１２３に動きパターンとして登録しておくことができ、高精度な動き判定が実現できる。
【００３５】
次に、第１の構成例における口の動き検知部１３２について説明する。  
図２に示す第１の構成例において、上記口の動き検知部１３２は、口検出部１３２ａ、口の特徴抽出部１３２ｂ、メモリ１３２ｃ、および、口の動き判定部１３２ｄなどを有している。  
上記口検出部１３２ａは、上記画像処理部１２１から供給される顔画像から口の領域を検出する。また、上記口の特徴抽出部１３２ｂは、上記口検出部１３２ａにより検出された口の領域の画像から複数の口の特徴点（口を形成する複数の特徴点）を抽出する。
【００３６】
たとえば、口の特徴点としては、左の口角、右の口角、上唇の中心、下唇の中心などを示す点が特徴点として抽出される。上記口の特徴抽出部１３２ｂにより抽出された口の特徴点を示す情報（口の各特徴点の位置情報）は、上記メモリ１３２ｃに蓄積される。さらに、上記口の特徴抽出部１３２ｂでは、抽出した口の特徴点を示す情報から口の状態を示す特徴量（口の状態を示す情報）を算出する。たとえば、口の状態を示す情報は、複数の口の特徴点における相対的な位置の変化量を示す。上記口の特徴抽出部１３２ｂにより算出された口の状態を示す特徴量（口の状態を示す情報）は、上記メモリ１３２ｃに蓄積される。
【００３７】
上述した口の特徴点は、それぞれ顔における位置が変化する。このため、顔全体の中心位置を基準とした場合における上唇の中心点と下唇の中心点との相対的な位置を示す情報は、口の開閉状態を示す情報となる。ここで、口を閉じた状態が「０」となり、かつ、口を完全に開いた状態が「１０」となるように、口の開閉状態を「０」、「１」、「２」、…、「１０」の数値で示すものとする。このような口の状態を示す情報によれば、口の開閉状態が示される。
【００３８】
また、上記口検出部１３２ａおよび上記口の特徴抽出部１３２ｂによる処理は、連続する所定数の顔画像から得られる所定数の連続した口の状態を示す情報が上記メモリ１３２ｃに蓄積されるまで繰り返し実行される。この結果、上記メモリ１３２ｃには、連続する所定数の顔画像から抽出された口の特徴点を示す情報（時系列において連続する所定数の口の特徴点を示す情報）が蓄積される。
【００３９】
また、上記口の動き判定部１３２ｄは、口の状態を示す情報を時系列順に並べた情報に基づいて口の動きが実在する人の口の動きらしいか否かを判定する。上記メモリ１３２ｃに所定数の口の特徴点を示す情報が蓄積されると、上記口の動き判定部１３２ｄは、上記メモリ１３２ｃに蓄積された複数の口の状態を示す情報（口の開閉状態を示す情報）を時系列順に並べた情報を上記カメラ１１０にて撮影された顔画像における口の動きパターンとする。上記口の動き判定部１３１ｄは、上記カメラ１１０にて撮影された顔画像における口の動きパターンと上記動き辞書１２３に登録されている口の動きパターンとを比較することにより、上記カメラ１１０にて撮影された顔画像における口の動きパターンが実在する人の口の動きらしいか否かを判定する。
【００４０】
すなわち、連続して撮影された顔画像から検出した口の状態を示す情報を時系列に並べた情報は、カメラ１１０にて撮影された顔画像における口の動きのパターンを示す。このような時系列に並べた口の状態を示す情報（検出された口の動きパターン）は、上記カメラ１１０にて撮影された顔画像が実在する人の顔画像であれば、連続的に変化する数値となるはずである。従って、上記口の動き判定部１３２ｄは、検出された口の動きパターンが連続的に変化するか否かにより、上記カメラ１１０にて撮影した顔画像が実在する人の顔画像であるか否かを判定できる。
【００４１】
また、上記口の動き判定部１３２ｄでは、上記動き辞書１２３に予め登録している口の動きパターンと検出された口の動きパターンとを比較することにより、上記カメラ１１０にて撮影した顔画像において目が特定の動きをしたか否かを判定する。たとえば、上記動き辞書１２３に口を閉じる場合における標準的な口の動きパターンを登録しておくことにより、上記カメラ１１０で撮影した顔画像において、目を閉じる動作が行われたか否かを判定できる。このように、上記口の動き判定部１３２ｄでは、上記カメラ１１０で撮影した顔画像において、特定の動作（たとえば、口を開閉する動作）が自然な動きで行われたか否かが判定できる。
【００４２】
さらに、特定の人物が口を閉じる場合における口の動きパターンを登録しておくことにより、特定の人物が口を閉じる動きを行ったか否かを判定することも可能である。この場合、上記動き辞書１２３には、特定の人物ごとに、口を閉じる動きのパターンが登録される。これにより、上記口の動き判定部１３２ｄでは、上記カメラ１１０で撮影した顔画像において、特定の人物（登録者）が行うべき特定の動作（たとえば、口を開閉する動作）が自然な動きで行われたか否かを判定できる。この場合、各人物の癖なども上記動き辞書１２３に動きパターンとして登録しておくことができ、高精度な動き判定が実現できる。
【００４３】
また、上記動き検知部１２２には、目および口以外の顔における部位の動きを検知する検知部を設けるようにしても良い。たとえば、上記動き検知部１２２には、鼻の動きを検知する検知部を設けることが可能である。このような、目および口以外の顔における部位の動きを検知する検知部も、上記した目の動き検知部あるいは口の動き検知部と同様に、各部の特徴点（あるいは各部位の動きに関わる特徴点）を検出し、それらの特徴点から当該部位の動きを示す情報を算出し、当該部位の動きを示す情報を時系列に並べた情報と辞書に登録されている当該部位の動きパターンとを比較することにより当該部位の動きが実在する人の動きらしいか否かを判定するようにすれば良い。ただし、顔における部位としての鼻などの部位は、単独では動きか少ない。このため、鼻などの単独では動きが少ない部位の状態を示す情報は、当該部位の動きに関わる顔全体における特徴点を抽出し、それらの特徴点から当該部位の状態を示す情報を算出するようにしても良い。
【００４４】
次に、上記動き検知部１２２Ｂの第２の構成例について説明する。  
図３は、上記動き検知部１２２Ｂの第２の構成例を概略的に示す図である。  
図３に示す構成例では、上記動き検知部１２２Ｂは、各部位の検出部１４１ａ、１４２ａ、…、各部位の特徴抽出部１４１ｂ、１４２ｂ、…、メモリ１５１、および、動き判定部１５２などを有している。  
各部位の検出部１４１ａ、１４２ａ、…は、図２に示す各部位の検出部１３１ａ、１３２ａ、…と同様な処理を行うものである。また、各部位の特徴抽出部１４１ｂ、１４２ｂ、…も、図２に示す各部位の特徴抽出部１３１ｂ、１３２ｂ、…と同様な処理を行うものである。
【００４５】
すなわち、図３に示す目検出部１４１ａは、図２に示す目検出部１３１ａと同様な処理を行う。図３に示す目の特徴抽出部１４１ｂは、図２に示す目の特徴抽出部１３１ｂと同様な処理を行い、その処理結果を上記メモリ１５１に蓄積する。図３に示す口検出部１４２ａは、図２に示す口検出部１３２ａと同様な処理を行う。図３に示す口の特徴抽出部１４２ｂは、図２に示す口の特徴抽出部１３２ｂと同様な処理を行い、その処理結果を上記メモリ１５１に蓄積する。
【００４６】
このような第２の構成例の動き検知部１２２Ｂでは、上記メモリ１５１に各部位の状態を示す情報が蓄積される。上記メモリ１５１に蓄積された各部位の状態を示す情報を各部位ごとに時系列に並べた情報は、各部位の動きを示す。従って、上記動き判定部１５２では、各部位の状態を示す情報を各部位ごとに時系列に並べた情報と上記動き辞書１２３に登録されている各部位の動きパターンとを比較することにより、上記第１の構成例における各部位の動き判定部１３１ｄ、１３２ｄ、…と同様に、各部位の動きがそれぞれ実在する人の顔における部位の動きらしいか否かを判定できる。
【００４７】
また、上記動き判定部１５２では、各部位の動きの組み合わせが実在する人の動きらしいか否かを判定するようにしても良い。この場合、上記メモリ１５１には、各部位の状態を示す情報が時系列ごとに対応づけて記憶される。また、上記動き辞書１２３には、実在する人の動きとして標準的な各部位の動きの組み合わせパターン（複数の部位の動きパターンの組み合わせからなる組み合わせパターン）が予め登録される。
【００４８】
上記メモリ１５１に蓄積された各部位の状態を示す情報を時系列に並べると、時系列に並べた各部位の状態を示す情報（複数の部位の状態を示す情報を時系列に並べた情報）は、各部位の動きの組み合わせを示す情報となる。上記動き判定部１５２では、上記メモリ１５１に蓄積された各部位の状態を示す情報を時系列に並べた情報を生成する。上記動き判定部１５２は、時系列に並べた各部位の状態を示す情報と上記動き辞書１２３に登録されている動きの組み合わせパターンとを比較する。この比較結果に基づいて、上記動き判定部１５２は、上記カメラ１１０にて撮影した顔画像において複数の部位が特定の動きをしたか否かを判定する。
【００４９】
たとえば、上記動き辞書１２３に目と口を同時に閉じる場合における標準的な各部位の動きの組み合わせパターンを登録しておくことにより、上記動き判定部１５２では、上記カメラ１１０で撮影した顔画像において、目と口を同時に閉じる動きが行われたか否かを判定できる。このように、上記目の動き判定部１３１ｄでは、上記カメラ１１０で撮影した顔画像において、特定の動作（たとえば、目と口を同時に開閉する動作など）が自然な動きで行われたか否かが判定できる。
【００５０】
なお、上記動き辞書１２３には、各人物ごとに各部位の動きの組み合わせパターンを登録するようにしても良い。たとえば、特定の人物が目と口を同時に閉じる場合における核部位の動きの組み合わせパターンを登録しておくことにより、特定の人物が目と口を同時に閉じる動きを行ったか否かを判定することも可能である。この場合、上記動き辞書１２３には、特定の人物ごとに、目と口を同時に閉じる動きの組み合わせパターンが登録される。これにより、上記口の動き判定部１５２では、上記カメラ１１０で撮影した顔画像において、特定の人物（登録者）が行うべき特定の動作（たとえば、目と口を同時に開閉する動作など）が自然な動きで行われたか否かを判定できる。この場合、各人物の癖なども上記動き辞書１２３に動きパターンとして登録しておくことができ、高精度な動き判定が実現できる。
【００５１】
次に、上記顔照合装置（通行制御装置）における処理の流れを説明する。  
図４は、上記顔照合装置（通行制御装置）１０における処理例を概略的に説明するためのフローチャートである。  
まず、上記顔照合装置１０のユーザインターフェース部１１では、待機状態において、上記表示部１１１に上記カメラ１１０に顔を向けて所定の動作を行う旨の案内を表示している（ステップＳ１１）。この状態において、上記カメラ１１０は、所定の撮影範囲の画像を撮影している（ステップＳ１２）。上記カメラ１１０により撮影された画像は、上記処理部１２の画像処理部１２１に供給される。上記画像処理部１２１では、上記カメラ１１０から供給された画像に対して所定の画像処理を施し、人物の顔らしい領域（顔領域）を検出する顔検出処理を行う（ステップＳ１３）。
【００５２】
この顔検出処理により上記カメラ１１０が撮影した画像から顔領域が検出できなかった場合（ステップＳ１４、ＮＯ）、上記制御部１２０は、上記ステップＳ１２へ戻り、上記カメラ１１０による画像の撮影を行う。また、上記顔検出処理により上記カメラ１１０が撮影した画像から顔領域が検出された場合（ステップＳ１４、ＹＥＳ）、上記画像処理部１２１は、検出した顔領域の画像（顔画像）を上記動き検知部１２２へ供給する。
【００５３】
上記動き検知部１２２では、各部位の検出部１３１ａ、１３２ａ、…（あるいは、１４１ａ、１４２ａ、…）により上記画像処理部１２１から供給された顔画像から各部位を検出する処理を行う（ステップＳ１５）。  
たとえば、図２に示す第１の構成例（あるいは図３に示す第２の構成例）の動き検知部１２２における上記目検出部１３１ａ（あるいは１４１ａ）は、上記画像処理部１２１から供給された顔画像から目の領域を検出する処理を行う（ステップＳ１５ａ）。また、図２に示す第１の構成例（あるいは図３に示す第２の構成例）の動き検知部１２２では、上記口検出部１３２ａ（あるいは１４２ａ）により上記画像処理部１２１から供給された顔画像から口の領域を検出する処理を行う（ステップＳ１５ｂ）。さらに、他の部位の検出部（図示しない）においても、同様に、上記画像処理部１２１から供給された顔画像から当該部位の領域を検出する処理が行われる。
【００５４】
上記画像処理部１２１から供給された顔画像から各部位の領域が検出されると、各部位の特徴抽出部１３１ｂ、１３２ｂ、…（あるいは、１４１ｂ、１４２ｂ、…）は、各部位の領域の画像（部位画像）から各部位の状態を示す情報（特徴量）を算出し、算出した各部位の状態を示す情報を上記メモリ１３１ｃ、１３２ｃ、…（あるいは１５１）に蓄積する特徴抽出処理を行う（ステップＳ１６）。
【００５５】
たとえば、図２に示す第１の構成例（あるいは図３に示す第２の構成例）の動き検知部１２２における上記目の特徴抽出部１３１ｂ（あるいは１４１ｂ）は、上記目検出部１３１ａ（あるいは１４１ａ）から供給された目画像から目の各特徴点を抽出し、それらの特徴点から目の状態を示す情報（特徴量）を算出し、算出した目の状態を示す情報を時刻情報（他の特徴量に対する時系列を示す情報）とともにメモリ１３１ｃ（あるいは１５１）に保存する（ステップＳ１６ａ）。
【００５６】
また、図２に示す第１の構成例（あるいは図３に示す第２の構成例）の動き検知部１２２における口の特徴抽出部１３２ｂ（あるいは１４２ｂ）は、上記口検出部１３２ａ（あるいは１４２ａ）から供給された口画像から口の各特徴点を抽出し、それらの特徴点から口の状態を示す情報（特徴量）を算出し、算出した口の状態を示す情報を時刻情報（他の特徴量に対する時系列を示す情報）とともにメモリ１３２ｃ（あるいは１５１）に保存する（ステップＳ１６ｂ）。さらに、他の部位の特徴抽出部（図示しない）においても、同様に、当該部位の画像から当該部位の各特徴点を抽出し、それらの特徴点から当該部位の状態を示す情報を算出し、算出した当該部位の状態を示す情報を時刻情報（他の特徴量に対する時系列を示す情報）とともにメモリに保存するする処理を行う。
【００５７】
各部位の特徴抽出部により各部位の状態を示す情報をメモリ１３１ｃ、１３２ｃ、…（あるいは１５１）に保存すると、上記制御部１２０は、各部位について所定数以上の連続する時系列の各部位の状態を示す情報（各部位の特徴量）が抽出できたか否かを判断する（ステップＳ１７）。この判断により各部位について所定数以上の各部位の特徴量が抽出できていないと判断した場合（ステップＳ１７、ＮＯ）、上記制御部１２０は、上記ステップＳ１２〜Ｓ１７の処理を繰り返し実行させる。
【００５８】
また、上記判断により各部位について所定数以上の各部位の特徴量が抽出できたと判断された場合（ステップＳ１７、ＹＥＳ）、上記動き検知部１２２では、時系列で並べた各部位の状態を示す情報と上記動き辞書１２３に登録されている動きパターンとを比較し（ステップＳ１８）、時系列で並べた各部位の状態を示す情報が実在する人の顔における各部位の動きらしいか否かを判定する処理を行う（ステップＳ１９）。
【００５９】
図２に示すような第１の構成例の動き検知部１２２Ａでは、時系列で並べた各部位の状態を示す情報が実在する人の顔における各部位の動きらしいか否かを判定する処理を行う。上記各部位の動き判定部１３１ｄ、１３２ｄ、…が、それぞれメモリ１３１ｃ、１３２ｃ、…に保存した複数（所定数）の各部位の状態を示す情報を時系列で並べ、それらの時系列で並べた各部位の状態を示す情報と動き辞書１２３に登録されている情報（動きパターン）との比較を行う（ステップＳ１８）。このような比較結果に基づいて、上記各部位の動き判定部１３１ｄ、１３２ｄ、…は、時系列で並べた各部位の状態を示す情報が連続する動きを示す情報であり、かつ、上記動き辞書１２３に登録されている各部位の動きパターンと一致（類似）するか否かにより上記カメラ１１０により撮影した顔画像における動きが実在する人の動きらしいか否かを判定する（ステップＳ１９）。
【００６０】
たとえば、図２に示すような第１の構成例の動き検知部１２２Ａにおける目の動き判定部１３１ｄでは、上記メモリ１３１ｃに保存した複数（所定数）の目の状態を示す情報を時系列で並べ、それらの時系列で並べた目の状態を示す情報と動き辞書１２３に登録されている目の動きパターンとを比較し（ステップＳ１８ａ）、時系列で並べた目の状態を示す情報が実在する人の顔における目の動きらしいか否かを判定する処理を行う（ステップＳ１９）。また、図２に示すような第１の構成例の動き検知部１２２Ａにおける口の動き判定部１３２ｄでは、上記メモリ１３２ｃに保存した複数（所定数）の口の状態を示す情報を時系列で並べ、それらの時系列で並べた口の状態を示す情報と動き辞書１２３に登録されている口の動きパターンとを比較し（ステップＳ１８ｂ）、時系列で並べた口の状態を示す情報が実在する人の顔における口の動きらしいか否かを判定する処理を行う（ステップＳ１９）。
【００６１】
上記のように、図２に示す第１の構成例の動き検知部１２２Ａでは、各部位ごとに、上記カメラ１１０で撮影した顔画像における各部位の動きが、それぞれ実在する人の部位の動きとして自然な動きであるか否かを判定している。言い換えると、各部位の動きがそれぞれ実在する人の部位の動きらしいと判定された場合、第１の構成例の動き検知部１２２Ａとしては、上記カメラ１１０により撮影した顔が実在する人の顔であると判定するようになっている。
【００６２】
これに対して、図３に示すような第２の構成例の動き検知部１２２Ｂでは、上記第１の構成例の動き検知部１２２Ａと同様に、上記カメラ１１０で撮影した顔画像における各部位の動きがそれぞれ実在する人の部位の動きとして自然な動きであるか否かを各部位ごとに判定するようにしても良いし（第１の判定手法）、上記カメラ１１０で撮影した顔画像における各部位の動きの組み合わせが、実在する人の顔における部位の動きの組み合わせとして自然な動きであるか否かを判定するようにしても良い（第２の判定手法）。
【００６３】
上記第１の判定手法により各部位の動きを判定する場合、上記第２の構成例の動き判定部１５２は、上記第１の構成例の各部位の動き判定部１３１ｄ、１３２ｄ、…と同様な比較処理および判定処理を行う（ステップＳ１８、Ｓ１９）。これにより、上記動き判定部１５２では、各部位の動きがそれぞれ実在する人の部位の動きとして自然な動きであるか否かを示す判定結果を得ることが可能となる。
【００６４】
このように、図３に示す第２の構成例の動き検知部１２２Ｂでは、上記第１の判定手法により各部位の動きを判定する場合、各部位ごとに、上記カメラ１１０で撮影した顔画像における各部位の動きが、それぞれ実在する人の部位の動きとして自然な動きであるか否かを判定している。言い換えると、各部位の動きがそれぞれ実在する人の部位の動きらしいと判定された場合、第２の構成例の動き検知部１２２Ｂとしては、上記カメラ１１０により撮影した顔が実在する人の顔であると判定するようになっている。
【００６５】
また、上記第２の判定手法により各部位の動きを判定する場合、上記第２の構成例の動き判定部１５２は、時系列で並べた各部位の状態を示す情報を組み合わせた情報（検出された各部位の動きの組み合わせを示す情報）と動き辞書１２３に登録されている各部位の動きパターンの組み合わせパターン（各部位の動きの組み合わせパターン）とを比較を行う（ステップＳ１８）。このような比較結果に基づいて、上記動き判定部１５２は、時系列で並べた各部位の状態を示す情報が連続する動きを示す情報であり、かつ、検出された各部位の動きの組み合わせを示す情報が上記動き辞書１２３に登録されている各部位の動きの組み合わせパターンと一致（類似）するか否かにより上記カメラ１１０により撮影した顔画像における動きが実在する人の動きらしいか否かを判定する（ステップＳ１９）。
【００６６】
上記のように、図３に示す第２の構成例の動き検知部１２２Ｂでは、上記第２の判定手法により各部位の動きを判定する場合、上記カメラ１１０で撮影した顔画像における各部位の動きの組み合わせが、実在する人の顔における各部位の動きの組み合わせとして自然な動きであるか否かを判定している。言い換えると、上記カメラ１１０で撮影された各部位の動きの組み合わせが実在する人の顔における各部位の動きらしいと判定された場合、第２の構成例の動き検知部１２２Ｂとしては、上記カメラ１１０により撮影した顔が実在する人の顔であると判定するようになっている。
【００６７】
上記動き検知部１２２により上記カメラ１１０で撮影した顔画像における各部位の動きが実在する人の顔における各部位の動きらしいと判定された場合（ステップＳ１９、ＹＥＳ）、上記顔照合部１２４は、上記カメラ１１０で撮影した顔画像と上記顔辞書１２５に登録されている登録者の顔画像との照合処理を行う（ステップＳ２０、Ｓ２１）。すなわち、上記動き検知部１２２により上記カメラ１１０で撮影した顔画像が実在する人の顔らしいと判定された場合、上記顔照合部１２４では、上記カメラ１１０で撮影した画像から上記画像処理部１２１により検出された顔画像における顔照合用の特徴点を抽出する（ステップＳ２０）。この際、上記顔照合部１２４は、上記動き検知部１２２における処理過程で抽出された各部位の特徴点を顔照合用の特徴点として用いるようにしても良い。
【００６８】
上記カメラ１１０にて撮影した顔画像における顔照合用の特徴点を抽出すると、上記顔照合部１２４は、上記カメラ１１０にて撮影した顔画像から抽出した顔照合用の特徴点と上記顔辞書１２５に登録されている登録者の顔画像における顔照合用の特徴点とに基づいて、上記カメラ１１０にて撮影した顔画像と上記顔辞書１２５に登録されている登録者の顔画像との顔照合処理を行う（ステップＳ２１）。この顔照合処理では、上記カメラ１１０にて撮影した顔画像における特徴点から得られる顔の特徴量と上記顔辞書１２５に登録されている各登録者の顔画像における特徴点から得られる顔の特徴量との類似度を算出し、最大となる類似度が所定の値以上であるか否かを判断するにより認識対象者Ｐの顔が登録者の顔と一致したか否かを判定する。なお、上記顔辞書１２５には、登録者の顔画像とともに、当該顔画像における特徴点、当該顔画像における特徴量などを予め登録しておくようにしても良い。
【００６９】
上記顔照合部１２４による顔照合が成功した場合（ステップＳ２２、ＹＥＳ）、上記通行制御部１２６は、上記カメラ１１０により撮影している認識対象者Ｐの通行を許可する。この場合、上記通行制御部１２６は、ドアを開放するようために、上記ドア開閉装置２０にドアを開放することを指示する信号を出力する（ステップＳ２３）。この信号を受けた上記ドア開閉装置２０では、ドアを開放し、当該認識対象者Ｐがドアを通過できるようにする。なお、顔照合が成功した場合、上記制御部１２０は、上記通行制御部１２６により認識対象者の通行を可能な状態とするとともに、通行が許可である旨を上記表示部１１１に表示することにより、通行可能であることを認識対象者Ｐに報知するようにしても良い。
【００７０】
また、上記顔照合部１２４による顔照合が失敗した場合（ステップＳ２２、ＮＯ）、上記通行制御部１２６は、上記カメラ１１０により撮影している認識対象者Ｐの通行を不許可とする。この場合、上記上記通行制御部１２６は、ドアを閉鎖するようために、上記ドア開閉装置２０にドアを閉鎖したままとすることを指示する信号を出力する（あるいは、ドアを開放することを指示する信号を出力しないようにする）（ステップＳ２４）。これにより、上記ドア開閉装置２０では、ドアを閉鎖したままとし、当該認識対象者Ｐがドアを通行できないようにする。
【００７１】
また、上記動き検知部１２２により上記カメラ１１０で撮影した顔画像における各部位の動きが実在する人の顔における各部位の動きらしくないと判定された場合（ステップＳ１９、ＮＯ）、あるいは、上記顔照合部１２４による顔照合が失敗した場合（ステップＳ２２、ＮＯ）、上記制御部１２０は、上記通行制御部１２６により認識対象者Ｐの通行を阻止するとともに、通行が不許可となった旨と特定の動作を行うように案内とを上記表示部１１１に表示するようにしても良い。これにより、認識対象者Ｐは、通行不可能であることを認識し、案内に従って特定の動作を行うことができる。
【００７２】
上記のように、本実施の形態の顔照合装置では、人の顔における複数の部位の動きパターンを登録しておき、認識対象者の顔を含む画像を時系列的に連続して撮影し、時系列的に連続して撮影した複数の画像からそれぞれ人の顔における各部位の状態を示す情報を検出し、それらの検出した各部位の状態を示す情報を各部位ごとに時系列に並べ、それらの時系列に並べた各部位の状態を示す情報が、実在する人の顔における各部位の動きとして認められるか否かを予め登録されている各部位の動きパターンに基づいて判定するようにしたものである。これにより、顔照合処理に用いられる顔画像の偽装などによる不正を効果的に防止することができる。
【００７３】
さらに、本実施の形態の顔照合装置では、人の顔における複数の部位の動きパターンを各部位の動きの組み合わせパターンとして登録しておき、時系列的に連続して撮影した複数の画像から検出された各部位の状態を示す情報を時系列に並べた情報の組み合わせが、実在する人の顔における各部位の動きの組み合わせとして認められるか否かを予め登録されている各部位の動きパターンに基づいて判定する。これにより、顔照合処理に用いられる顔画像の偽装などによる不正を効果的に防止することができる。
【図面の簡単な説明】
【００７４】
【図１】本実施の形態に係る人物認識システム（通行制御システム）の概略構成を示す図。
【図２】動き検知部の第１の構成例を示す図。
【図３】動き検知部の第２の構成例を示す図。
【図４】顔照合装置（通行制御装置）における処理の流れを概略的に説明するためのフローチャート。
【符号の説明】
【００７５】
Ｐ…認識対象者、１０…顔照合装置（通行制御装置）、１１…ユーザインターフェース部、１２…処理部、２０…ドア開閉装置、１１０…カメラ、１１１…表示部、１２０…制御部、１２１…画像処理部、１２２…動き検知部、１２２Ａ…動き検知部、１２２Ｂ…動き検知部、１２３…動き辞書、１２４…顔照合部、１２５…顔辞書、１２６…通行制御部、１３１…目の動き検知部、１３２…口の動き検知部、１３１ａ…目検出部、１３２ａ…口検出部、１３１ｂ…目の特徴抽出部、１３２ｂ…口の特徴抽出部、１３１ｃ…メモリ、１３２ｃ…メモリ、１３１ｄ…目の動き判定部、１３２ｄ…口の動き判定部、１４１ａ…目検出部、１４１ｂ…目の特徴抽出部、１４２ａ…口検出部、１４２ｂ…口の特徴抽出部、１５１…メモリ、１５２…動き判定部
【図１】
2008071179.tif 000003
【図２】
2008071179.tif 000004
【図３】
2008071179.tif 000005
【図４】
2008071179.tif 000006