(57)【要約】      （修正有）【課題】より高い信頼度及び精度で人物認証を行うことができる認証装置及び認証方法を提供する。【解決手段】認証装置５０は、認証すべき人物の少なくとも顔を含む身体を撮像する撮像手段５１と、この撮像手段５１が撮像した画像データから顔画像データを取得する顔画像データ取得手段５２と、取得した顔画像データと顔画像データ記憶手段に記憶されている基準顔画像データとを照合して顔画像に関する認証を行う顔画像認証手段５３と、撮像手段５１が撮像した画像データから身体の器官部位の動作を検出する動作検出手段５５と、検出された器官部位の動作内容と動作内容記憶手段に記憶されている基準動作内容とを照合して器官部位動作に関する認証を行う器官部位動作認証手段５６と、顔画像認証手段５３及び器官部位動作認証手段５６の認証が共に成功した場合に、認証すべき人物に関する認証が成功したと判断する認証判断手段５７とを備えている。【選択図】図５
2017004398.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１人の人物の基準顔画像データを記憶する顔画像データ記憶手段と、該少なくとも１人の人物の身体の器官部位に関する決められた動作内容を記憶する動作内容記憶手段と、認証すべき人物の少なくとも顔を含む身体を撮像する撮像手段と、該撮像手段が撮像した画像データから顔画像データを取得する顔画像データ取得手段と、該取得した顔画像データと前記顔画像データ記憶手段に記憶されている基準顔画像データとを照合して顔画像に関する認証を行う顔画像認証手段と、前記撮像手段が撮像した画像データから身体の器官部位の動作を検出する動作検出手段と、該動作検出手段によって検出された前記器官部位の動作内容と前記動作内容記憶手段に記憶されている基準動作内容とを照合して器官部位動作に関する認証を行う器官部位動作認証手段と、前記顔画像認証手段及び前記器官部位動作認証手段の認証が共に成功した場合に、前記認証すべき人物に関する認証が成功したと判断する認証判断手段とを備えたことを特徴とする認証装置。
【請求項２】
前記顔画像データ記憶手段は、基準顔画像登録時に、登録すべき人物の顔画像データを前記顔画像データ取得手段により取得し、取得した顔画像データを基準顔画像データとして記憶するように構成されていることを特徴とする請求項１に記載の認証装置。
【請求項３】
前記動作内容記憶手段は、基準動作内容登録時に、前記登録すべき人物の身体の器官部位に関する動作内容を選択し、選択した動作内容を該登録すべき人物の基準動作内容として記憶するように構成されていることを特徴とする請求項２に記載の認証装置。
【請求項４】
前記動作検出手段は、撮像した画像データから前記器官部位の領域を検出する器官部位領域検出手段と、該検出した領域における器官部位の状態を検出する器官部位状態検出手段と、時間が経過した際の該検出した器官部位の状態から前記器官部位の動作内容を取得する動作内容取得手段とを備えていることを特徴とする請求項１から３のいずれか１項に記載の認証装置。
【請求項５】
前記器官部位の動作内容が、眼のまばたき、口の動き及び頭の動きのうちの少なくとも１つに関する動作内容であることを特徴とする請求項１から４のいずれか１項に記載の認証装置。
【請求項６】
前記器官部位の動作内容が、左眼及び／又は右眼のまばたき、並びに該まばたきの回数を含むことを特徴とする請求項１から５のいずれか１項に記載の認証装置。
【請求項７】
前記器官部位の動作内容が、口の開閉及び該口の開閉の回数を含むことを特徴とする請求項１から５のいずれか１項に記載の認証装置。
【請求項８】
前記器官部位の動作内容が、頭の左及び／若しくは右への傾け、並びに該傾けの回数を含むことを特徴とする請求項１から５のいずれか１項に記載の認証装置。
【請求項９】
認証すべき人物の少なくとも顔を含む身体を撮像し、撮像した画像データから顔画像データを取得し、該取得した顔画像データと記憶されている基準顔画像データとを照合して顔画像に関する認証を行い、一方、撮像した画像データから身体の器官部位の動作内容を検出し、該検出した器官部位の動作内容と記憶されている基準動作内容とを照合して器官部位動作に関する認証を行い、顔画像に関する認証及び器官部位動作に関する認証が共に成功した場合に、前記認証すべき人物に関する認証が成功したと判断することを特徴とする認証方法。
【請求項１０】
基準顔画像登録時に、登録すべき人物の顔画像データを撮像して取得し、取得した顔画像データを基準顔画像データとして記憶することを特徴とする請求項９に記載の認証方法。
【請求項１１】
基準動作内容登録時に、前記登録すべき人物の身体の器官部位に関する動作内容を選択し、選択した動作内容を該登録すべき人物の基準動作内容として記憶することを特徴とする請求項１０に記載の認証方法。
【請求項１２】
撮像した画像データから前記器官部位の領域を検出し、該検出した領域における器官部位の状態を検出し、時間が経過した際の該検出した器官部位の状態から前記器官部位の動作内容を取得することを特徴とする請求項９から１１のいずれか１項に記載の認証方法。
【請求項１３】
前記器官部位の動作内容が、眼のまばたき、口の動き及び頭の動きのうちの少なくとも１つに関する動作内容であることを特徴とする請求項９から１２のいずれか１項に記載の認証方法。
【請求項１４】
前記器官部位の動作内容が、左眼及び／又は右眼のまばたき、並びに該まばたきの回数を含むことを特徴とする請求項９から１２のいずれか１項に記載の認証方法。
【請求項１５】
前記器官部位の動作内容が、口の開閉及び該口の開閉の回数を含むことを特徴とする請求項９から１２のいずれか１項に記載の認証方法。
【請求項１６】
前記器官部位の動作内容が、頭の左及び／若しくは右への傾け、並びに該傾けの回数を含むことを特徴とする請求項９から１２のいずれか１項に記載の認証方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも顔画像を含む画像情報を取得して人物の認証を行う認証装置及び認証方法に関する。
【背景技術】
【０００２】
顔画像情報を用いて人物の認証を行う装置として、特許文献１には、特徴量記憶部にあらかじめ人物の顔画像を記憶しておき、人物認証を行うために入力された顔画像データからこの人物の顔画像の特徴量を検出して演算処理し、その演算処理結果が記憶されている人物の顔画像に一致するかどうかを判別する人物認証装置が開示されている。
【０００３】
また、特許文献２には、利用者が発声等あらかじめ定められた動作をした時に撮像部により撮像された利用者の顔表情画像と、記憶装置にあらかじめ登録されている顔表情画像とを比較することにより、利用者を認証する認証装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−１１０８１３号公報
【特許文献２】特開２００４−２５９２５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載された認証装置においては人物の顔画像の比較のみによって人物認証を行っており、また、特許文献２に記載された認証装置においては顔表情画像の比較のみによって人物認証を行っているため、認証の信頼度がさほど高いものではなかった。
【０００６】
従って本発明の目的は、より高い信頼度及び精度で人物認証を行うことができる認証装置及び認証方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明によれば、認証装置は、少なくとも１人の人物の基準顔画像データを記憶する顔画像データ記憶手段と、この少なくとも１人の人物の身体の器官部位に関する決められた動作内容を記憶する動作内容記憶手段と、認証すべき人物の少なくとも顔を含む身体を撮像する撮像手段と、この撮像手段が撮像した画像データから顔画像データを取得する顔画像データ取得手段と、取得した顔画像データと顔画像データ記憶手段に記憶されている基準顔画像データとを照合して顔画像に関する認証を行う顔画像認証手段と、撮像手段が撮像した画像データから身体の器官部位の動作を検出する動作検出手段と、この動作検出手段によって検出された器官部位の動作内容と動作内容記憶手段に記憶されている基準動作内容とを照合して器官部位動作に関する認証を行う器官部位動作認証手段と、顔画像認証手段及び器官部位動作認証手段の認証が共に成功した場合に、認証すべき人物に関する認証が成功したと判断する認証判断手段とを備えている。
【０００８】
撮像手段によって、認証すべき人物の少なくとも顔を含む身体を撮像し、顔画像データ取得手段によって、撮像した画像データから顔画像データを取得する。顔画像認証手段によって、取得した顔画像データと顔画像データ記憶手段に記憶されている基準顔画像データとを照合して顔画像に関する認証を行う。一方、動作検出手段によって、撮像手段が撮像した画像データから身体の器官部位の動作を検出し、器官部位動作認証手段によって、検出された器官部位の動作内容と動作内容記憶手段に記憶されている基準動作内容とを照合して器官部位動作に関する認証を行う。顔画像認証手段による認証及び器官部位動作認証手段による認証が共に成功した場合に、認証判断手段によって、認証すべき人物に関する認証が成功したと判断する。このように、顔画像認証と器官部位動作認証との両方が成功した場合に、認証すべき人物に関する認証が成功したと判断しているので、より高い信頼度及び精度で人物認証を行うことができる。しかも、器官部位の動作内容という生体の動きによる認証をも行っているので、例えば顔写真等で偽って顔画像認証を突破した場合は最終的に人物認証を成功させることを阻止できるから、より安全な認証を行うことができる。
【０００９】
顔画像データ記憶手段は、基準顔画像登録時に、登録すべき人物の顔画像データを顔画像データ取得手段により取得し、取得した顔画像データを基準顔画像データとして記憶するように構成されていることが好ましい。
【００１０】
この場合、動作内容記憶手段は、基準動作内容登録時に、登録すべき人物の身体の器官部位に関する動作内容を選択し、選択した動作内容を登録すべき人物の基準動作内容として記憶するように構成されていることがより好ましい。
【００１１】
動作検出手段は、撮像した画像データから器官部位の領域を検出する器官部位領域検出手段と、検出した領域における器官部位の状態を検出する器官部位状態検出手段と、時間が経過した際の検出した器官部位の状態から器官部位の動作内容を取得する動作内容取得手段とを備えていることも好ましい。
【００１２】
器官部位の動作内容が、眼のまばたき、口の動き及び頭の動きのうちの少なくとも１つに関する動作内容であることも好ましい。
【００１３】
器官部位の動作内容が、左眼及び／又は右眼のまばたき、並びにまばたきの回数を含むことも好ましい。
【００１４】
器官部位の動作内容が、口の開閉及び口の開閉の回数を含むことも好ましい。
【００１５】
器官部位の動作内容が、頭の左及び／若しくは右への傾け、並びに傾けの回数を含むことも好ましい。
【００１６】
本発明によれば、さらに、認証方法は、認証すべき人物の少なくとも顔を含む身体を撮像し、撮像した画像データから顔画像データを取得し、取得した顔画像データと記憶されている基準顔画像データとを照合して顔画像に関する認証を行い、一方、撮像した画像データから身体の器官部位の動作内容を検出し、検出した器官部位の動作内容と記憶されている基準動作内容とを照合して器官部位動作に関する認証を行い、顔画像に関する認証及び器官部位動作に関する認証が共に成功した場合に、認証すべき人物に関する認証が成功したと判断する。
【００１７】
このように、顔画像に関する認証と器官部位動作に関する認証との両方が成功した場合に、認証すべき人物に関する認証が成功したと判断しているので、より高い信頼度及び精度で人物認証を行うことができる。しかも、器官部位の動作内容という生体の動きによる認証をも行っているので、例えば顔写真等で偽って顔画像認証を突破した場合は最終的に人物認証を成功させることを阻止できるから、より安全な認証を行うことができる。
【００１８】
基準顔画像登録時に、登録すべき人物の顔画像データを撮像して取得し、取得した顔画像データを基準顔画像データとして記憶することが好ましい。
【００１９】
この場合、基準動作内容登録時に、登録すべき人物の身体の器官部位に関する動作内容を選択し、選択した動作内容を登録すべき人物の基準動作内容として記憶することが好ましい。
【００２０】
撮像した画像データから器官部位の領域を検出し、検出した領域における器官部位の状態を検出し、時間が経過した際の検出した器官部位の状態から器官部位の動作内容を取得することも好ましい。
【００２１】
器官部位の動作内容が、眼のまばたき、口の動き及び頭の動きのうちの少なくとも１つに関する動作内容であることも好ましい。
【００２２】
器官部位の動作内容が、左眼及び／又は右眼のまばたき、並びにまばたきの回数を含むことも好ましい。
【００２３】
器官部位の動作内容が、口の開閉及び口の開閉の回数を含むことも好ましい。
【００２４】
器官部位の動作内容が、頭の左及び／若しくは右への傾け、並びに傾けの回数を含むことも好ましい。
【発明の効果】
【００２５】
本発明によれば、顔画像に関する認証と器官部位動作に関する認証との両方が成功した場合に、認証すべき人物に関する認証が成功したと判断しているので、より高い信頼度及び精度で人物認証を行うことができる。しかも、器官部位の動作内容という生体の動きによる認証をも行っているので、例えば顔写真等で偽って顔画像認証を突破した場合は最終的に人物認証を成功させることを阻止できるから、より安全な認証を行うことができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態としてドア解錠認証システムにおけるドア部分の構成を概略的に示す図である。
【図２】図１の実施形態のドア解錠認証システムのコンピュータにおける電気的構成を概略的に示すブロック図である。
【図３】図１の実施形態におけるコンピュータの登録処理動作の流れを概略的に示すフローチャートである。
【図４】図１の実施形態におけるコンピュータの認証処理動作の流れを概略的に示すフローチャートである。
【図５】図１の実施形態においてコンピュータによって構築される認証装置の構成を概略的に示すブロック図である。
【図６】図１の実施形態におけるコンピュータの器官部位動作の認証処理を説明する図である。
【発明を実施するための形態】
【００２７】
図１は本発明の一実施形態として、ドア解錠認証システムにおけるドア部分の構成を概略的に示しており、同図（Ａ）はドアを内側（室内側）から見た図であり、同図（Ｂ）はドアを外側（室外側）から見た図である。
【００２８】
同図（Ａ）において、１０は出入り口に設けられたドア、１１ａはこのドア１０の内側のドアノブ、１２は基準顔画像データ及び基準動作内容を登録するためのキーボード２５（図２参照）の接続用ＵＳＢソケット、１３は例えば３色表示用のＬＥＤ、１４及び１５は登録用の顔画像を撮像するためのカメラをそれぞれ示している。カメラ１４及び１５は背丈の異なる人物の顔部分をそれぞれ撮像できるように、異なる高さに設けられている。これら２つのカメラに代えて広角で撮像可能な１つのカメラを設けるように構成しても良い。基準顔画像データ及び基準動作内容の登録を別個のカメラ及びコンピュータ等を使用して行う場合には、登録用のカメラ１４及び１５をドア１０に設ける必要はない。基準顔画像データ及び基準動作内容を登録するためのキーボードに代えて、テンキー、タッチパネル又はインターホンの親機等をＵＳＢ接続するように構成しても良い。また、このようなテンキー、押しボタンスイッチ又はタッチパネルをドア１０に直接設けても良い。その場合には、ＵＳＢソケット１２は不要となる。さらに、ＵＳＢ接続ではなく、Ｂｌｕｅｔｏｏｔｈ（登録商標）や無線ＬＡＮ等の無線又は赤外線により、キーボード、テンキー又はタッチパネルや別個のカメラ及びコンピュータ、又はスマートフォン等を接続しても良く、この場合もＵＳＢソケット１２は不要となる。
【００２９】
同図（Ｂ）において、１１ｂはドア１０の外側のドアノブ、１６は解錠の認証開始のための押しボタンスイッチ、１７は３色表示用のＬＥＤ、１８及び１９は顔画像を含む身体を撮像するためのカメラをそれぞれ示している。カメラ１８及び１９は背丈の異なる人物の顔部分をそれぞれ撮像できるように、異なる高さに設けられている。これら２つのカメラに代えて広角で撮像可能な１つのカメラを設けるように構成しても良い。押しボタンスイッチ１６は外側のドアノブ１１ｂに一体的に設けても良い。また、解錠の認証開始を人感センサ、音声センサ、無線若しくは赤外線リモコン、又はスマートフォン等で行う場合は、押しボタンスイッチ１６は不要となる。
【００３０】
なお、ドア１０の内部には、図１には示されていないが、電気的に解錠及び施錠を行うための電気錠装置、解錠認証システムの認証制御を行う認証装置及び音声又はメロディを発生するスピーカ等が設けられている。
【００３１】
図２は本実施形態のドア解錠認証システムにおけるコンピュータの電気的構成を概略的に示している。
【００３２】
同図に示すように、解錠認証システムのコンピュータは、バス２０を介して互いに接続された中央処理装置（ＣＰＵ）２１と、不揮発性のフラッシュメモリ２２と、揮発性のＤＲＡＭ（ダイナミックランダムアクセスメモリ）２３と、入出力インタフェース２４とを備えたコンピュータ及びこれを作動させるプログラムから構成される。
【００３３】
入出力インタフェース２４には、押しボタンスイッチ１６、キーボード２５接続用のＵＳＢソケット１２、カメラ１４、１５、１８及び１９、ＬＥＤ１３及び１７、スピーカ２６並びに電気錠装置２７が接続されている。
【００３４】
ＣＰＵ２１は、フラッシュメモリ２２に記憶されているオペレーションシステム（ＯＳ）やブートプログラム等の基本プログラム及びアプリケーションプログラムに従って基準顔画像データ及び基準動作内容を登録処理や、認証処理を実行する。また、ＣＰＵ２１は、フラッシュメモリ２２、ＤＲＡＭ２３及び入出力インタフェース２４の動作を制御する。
【００３５】
フラッシュメモリ２２は、ＯＳ、基本プログラム及びアプリケーションプログラムを記憶すると共に、登録された基準顔画像データ及び基準動作内容をその人物と紐づけて記憶するデータベースを構成している。
【００３６】
ＤＲＡＭ２３はメインメモリとして使用され、フラッシュメモリ２２から転送されたプログラムやデータを一時的に保存するように構成されている。また、このＤＲＡＭ２３は、プログラム実行時の各種データが一時的に保存されるワークエリアとしても使用される。
【００３７】
入出力インタフェース２４は、押しボタンスイッチ１６、ＵＳＢソケット１２に接続されるキーボード２５、カメラ１４、１５、１８及び１９、ＬＥＤ１３及び１７、スピーカ２６並びに電気錠装置２７とＣＰＵ２１又はＤＲＡＭ２３との間のデータのやり取りを制御する。
【００３８】
このような構成のコンピュータにおいて、ＣＰＵ２１は、作動時は、まず、ＤＲＡＭ２３内にプログラム記憶領域、データ記憶領域及びワークエリアを確保し、フラッシュメモリ２２からプログラム及びデータを取り込んで、プログラム記憶領域及びデータ記憶領域に格納する。次いで、このプログラム記憶領域に格納されたプログラムに基づいて、図３及び図４に示す処理を実行する。ＣＰＵ２１が図４に示す処理を実行することによって、図５に概略的に示すごとき認証装置５０が構築される。
【００３９】
図５において、５１は認証すべき人物の少なくとも顔を含む身体を撮像する撮像手段、５２はこの撮像手段５１が撮像した画像データから顔画像データを取得する顔画像データ取得手段、５３は顔画像データ取得手段から取得した顔画像データと後述するデータベース５４の顔画像データ記憶手段５４ａ１〜５４ａｎに記憶されている基準顔画像データとを照合して顔画像に関する認証を行う顔画像認証手段、５５は撮像手段５１が撮像した画像データから身体の器官部位の動作を検出する動作検出手段、５６は動作検出手段５５によって検出された器官部位の動作内容とデータベース５４の動作内容記憶手段５４ｂ１〜５４ｂｎに記憶されている基準動作内容とを照合して器官部位動作に関する認証を行う器官部位動作認証手段、５７は顔画像認証手段５３及び器官部位動作認証手段５６の認証が共に成功した場合に、認証すべき人物に関する認証が成功したと判断する認証判断手段をそれぞれ示している。データベース５４には、複数の人物の基準顔画像データを記憶する顔画像データ記憶手段５４ａ１〜５４ａｎと、複数の人物の身体の器官部位に関する決められた動作内容を記憶している動作内容記憶手段５４ｂ１〜５４ｂｎとが設けられており、これら顔画像データ記憶手段５４ａ１〜５４ａｎの各々と、動作内容記憶手段５４ｂ１〜５４ｂｎの各々とは、認証すべき人物対応に互いに紐付けされている。
【００４０】
図３は本実施形態におけるコンピュータの基準顔画像データ及び基準動作内容の登録処理動作の流れを概略的に示しており、以下、同図を用いて登録動作処理を説明する。
【００４１】
登録管理用のキーボード２５のＵＳＢ端子（図示なし）をドア１０の内側にあるＵＳＢソケット１２に挿入し、キーボード２５を入出力インタフェース２４を介してコンピュータに接続する。この状態で、キーボード２５の登録開始ボタンを押すと、図３に示すプログラム処理が開始される。
【００４２】
登録処理において、コンピュータは、まず、ＬＥＤ１３により黄色光を点滅させ、登録モードとなったことを通知する（ステップＳ１）。
【００４３】
通知があった場合、登録する人物は、カメラ１４及び１５の前に立ち、カメラを正視する。通知から短時間経過後にカメラ１４及び１５が顔を含む身体の静止画の撮像を行う（ステップＳ２）。この撮像の際にスピーカ２６からシャッタ音を発生させても良い。カメラ１４及び１５からは、撮像によって得られたその人物の顔を含む身体のデジタル静止画画像が、入出力インタフェース２４を介してコンピュータへ入力される。
【００４４】
次いで、コンピュータは、入力されたデジタル画像データから顔検出処理を行う（ステップＳ３）。この顔検出処理には、種々の公知のアルゴリズムを使用することが可能であるが、本実施形態では、例えば、各探索窓において顔が存在するかどうかを、Ｂｏｏｓｔｉｎｇと言う機械学習アルゴリズムを使用し、Ｈａａｒ-Ｌｉｋｅ特徴量を用いたＣａｓｃａｄｅ構造の識別器により高速で判定するＶｉｏｌａ-Ｊｏｎｅｓ法によるアルゴリズムを使用する。この顔検出は、カメラ１４及び１５の両方のデジタル画像データについて行う。
【００４５】
次いで、コンピュータは、この顔検出処理によりデジタル画像データ内に顔が存在することを検出したか否かに応じて、撮像成功か否かの判別を行う（ステップＳ４）。撮像が成功した場合（ＹＥＳの場合）、即ち、カメラ１４及び１５の両方又はそのいずれかのデジタル画像データ内に顔が存在した場合は、検出した顔の存在する領域のデータである顔画像データを基準顔画像データとしてフラッシュメモリ２２内のデータベース５４（図５）に記憶させ（ステップＳ５）、スピーカ２６からメロディ音を発生させ、撮像が成功したことを通知する（ステップＳ６）。この場合、カメラ１４及び１５の両方のデジタル画像データ内に顔が存在する場合は、あらかじめ定めた一方のカメラの顔画像データを基準顔画像データとして記憶させる。なお、この登録の際、顔画像データに代えて、後の顔画像認証で使用する顔器官（例えば、眼、眉、鼻、口等）の特徴量を、例えば上述したＶｉｏｌａ-Ｊｏｎｅｓ法によるアルゴリズムを使用して顔器官の位置を特定し、この顔器官に対してパターン認識手法を用いて眼が閉じている特徴を有するか、眼が開いている特徴を有するかを判定し、これを連続するフレームに対して行い動作パターンの基準特徴量データとしてデータベース５４に記憶させても良い。
【００４６】
次いで、器官部位に関する基準動作内容の登録を行う。まず、登録する器官部位動作の種類の選択が行われる（ステップＳ７）。器官部位動作の種類としては、本実施形態では、（１）右眼のまばたき、（２）左眼のまばたき、（３）両眼のまばたき、（４）口の開閉、（５）頭の右への傾け、（６）頭の左への傾け、（７）頭の左右への傾けが設定されており、登録する人物は、キーボード２５の数値ボタンから登録する器官部位動作の種類を選択する。
【００４７】
これによりコンピュータは、この器官部位動作の種類の選択が成功したか否かの判別を行う（ステップＳ８）。成功した場合（ＹＥＳの場合）、登録する器官部位動作の回数の選択が行われる。登録する人物は、キーボード２５の数値ボタンを押すことでこの回数の選択を行う（ステップＳ９）。
【００４８】
これによりコンピュータは、この基準動作の回数の選択が成功か否かの判別を行う（ステップＳ１０）。成功した場合（ＹＥＳの場合）、選択した器官部位動作の種類及び回数を基準動作内容として、フラッシュメモリ２２内のデータベース５４（図５）に、基準顔画像データ又は基準特徴量データと紐付けして記憶させ（ステップＳ１１）、ＬＥＤ１３により青色光を点灯させ、器官部位に関する基準動作内容の登録が完了したことを通知し（ステップＳ１２）、図３の登録動作処理を終了する。
【００４９】
一方、ステップＳ４において、撮像が成功しなかったと判別した場合（ＮＯの場合）、即ち、カメラ１４及び１５のいずれのデジタル画像データについても顔検出ができなかった場合は、スピーカ２６からエラー音を発生させると共にＬＥＤ１３により赤色光を点滅させ、撮像が失敗したことを通知し（ステップＳ１３）、図３の登録動作処理を終了する。この場合、キーボード２５の登録開始ボタンを再度押すことにより、図３のステップＳ１から登録処理が再開される。
【００５０】
また、ステップＳ８において、動作の種類選択が成功しなかったと判別した場合（ＮＯの場合）、スピーカ２６からエラー音を発生させると共にＬＥＤ１３により赤色光を点滅させ、動作の種類選択が失敗したことを通知し（ステップＳ１４）、図３の登録動作処理を終了する。この場合も、キーボード２５の登録開始ボタンを再度押すことにより、図３のステップＳ１から登録処理が再開される。
【００５１】
さらに、ステップＳ１０において、動作の回数選択が成功しなかったと判別した場合（ＮＯの場合）、スピーカ２６からエラー音を発生させると共にＬＥＤ１３により赤色光を点滅させ、動作の回数選択が失敗したことを通知し（ステップＳ１５）、図３の登録動作処理を終了する。この場合、キーボード２５の登録開始ボタンを再度押すことにより、図３のステップＳ１から登録処理が再開される。
【００５２】
図４は本実施形態におけるコンピュータの認証処理動作の流れを概略的に示しており、以下、同図を用いて認証動作処理を説明する。
【００５３】
認証しようとする人物がドア１０の外側にある押しボタンスイッチ１６を押すことにより、図４に示すプログラム処理が開始される。
【００５４】
認証処理において、コンピュータは、まず、ＬＥＤ１７により黄色光を点灯させ、認証モードとなったことを通知する（ステップＳ２１）。
【００５５】
通知があった場合、認証しようとする人物は、カメラ１８及び１９の前に立ち、カメラを正視する。通知から短時間経過後にカメラ１８及び１９が顔を含む身体の静止画の撮像を行う（ステップＳ２２）。この撮像の際にスピーカ２６からシャッタ音を発生させても良い。カメラ１８及び１９からは、撮像によって得られたその人物の顔を含む身体のデジタル静止画画像が、入出力インタフェース２４を介してコンピュータへ入力される。
【００５６】
次いで、コンピュータは、入力されたデジタル画像データから顔検出処理を行う（ステップＳ２３）。この顔検出処理は、前述した基準顔画像データの登録時と同様のアルゴリズムを使用して行う。この顔検出は、カメラ１８及び１９の両方のデジタル画像データについて行う。
【００５７】
この際に、撮像が成功したか否かの判別を登録時と同様に行い、撮像が失敗した場合にその旨を通知して認証処理を終了するようにしても良い。
【００５８】
次いで、コンピュータは、カメラ１８及び１９のいずれかのデジタル画像データについて検出した顔の存在する領域のデータである顔画像データと、フラッシュメモリ２２内のデータベース５４（図５）に記憶されている基準顔画像データとを照合する（ステップＳ２４）。この照合処理には、種々の公知のアルゴリズムを使用することが可能であるが、本実施形態では、例えば、多数の人物間でのクラス間分散を大きくし、クラス内分散を小さくする線形判別分析法であるＦｉｓｈｅｒＦａｃｅ法によるアルゴリズムを使用する。具体的には、顔画像データからＦｉｓｈｅｒＦａｃｅ法によるアルゴリズムを利用して顔画像中の特徴量を算出し、基準顔画像データから同様に算出した特徴量データと照合する。基準特徴量データがデータベース５４に登録されている場合は、これを利用する。
【００５９】
次いでコンピュータは、この照合により顔認証が成功したか否かの判別を行う（ステップＳ２５）。成功した場合（ＹＥＳの場合）、スピーカ２６からメロディ音を発生させ、顔認証が成功したことを通知する（ステップＳ２６）。
【００６０】
顔認証が成功した場合は、次いで、器官部位の動作内容の照合を行う。顔認証成功を通知するメロディ音が聞こえたら、認証しようとする人物は、カメラ１８及び１９の前で、認証のためにあらかじめ規定した器官部位の動作を行う。顔認証成功の通知から短時間経過後にカメラ１８及び１９は、顔を含む身体のデジタル動画画像の撮像、又は複数の連続するフレームの静止画画像の撮像を行う（ステップＳ２７）。
【００６１】
この撮像の際に、撮像が成功したか否かの判別を登録時と同様に行い、撮像が失敗した場合にその旨を通知して認証処理を終了するようにしても良い。
【００６２】
次いで、コンピュータは、今回撮像した器官部位動作データと、フラッシュメモリ２２内のデータベース５４に記憶されている基準動作内容データとの照合を行って器官部位動作認証を行う（ステップＳ２８）。図６は本実施形態におけるこの器官部位動作の認証処理を説明している。以下、同図を合わせ用いて、この器官部位動作認証処理について説明する。
【００６３】
顔認証が成功した人物に関する器官部位の登録動作内容は、顔認証によりその人物が特定されれば、データベース５４から、どの器官部位をどのように動作させるものであるか知ることができる。従って、コンピュータは、その登録されている器官部位に関しての動きのみを検出すれば良い。以下、登録されている器官部位動作内容が、例えば、「両眼を１回まばたき」であるとする。この場合、コンピュータは、撮像したデジタル動画画像の１フレームから、図６（Ａ）に示すように、顔６０の部分の画像を検出し、さらに、図６（Ｂ）に示すように、右眼部分及び左眼部分であると推定される領域６１及び６２を検出する。これらの領域６１及び６２の検出は、例えば、前述したＶｉｏｌａ-Ｊｏｎｅｓ法によるアルゴリズムを使用して行う。
【００６４】
次いで、コンピュータは、右眼領域６１及び左眼領域６２のこのフレームにおける状態を検出する。具体的には、パターン認識手法を用いて、右眼領域６１及び左眼領域６２が眼を開いている特徴（開の特徴）を有するのか、眼を閉じている特徴（閉の特徴）を有するのかを検出する。
【００６５】
この場合、動画画像が例えば２０フレーム／秒のフレーム速度であるとすると、各フレーム毎又は数フレーム毎に右眼領域６１及び左眼領域６２が開の特徴を有するのか、閉の特徴を有するのか検出する。あるフレームにおいて、図６（Ｂ）に示す状態であり両目が開の状態と検出され、その後のフレームにおいて、図６（Ｃ）に示す状態であり両目が閉の状態と検出され、さらにその後のフレームにおいて、図６（Ｄ）に示す状態であり両目が開の状態と検出されたとすれば、この両眼の器官部位の動作内容は、「両眼を１回まばたき」となり、フラッシュメモリ２２内のデータベース５４（図５）に登録されている器官部位動作内容と一致することとなる。
【００６６】
コンピュータは、このステップＳ２８の照合の後、器官部位動作の認証が成功したか否かの判別を行う（ステップＳ２９）。成功した場合（ＹＥＳの場合）、スピーカ２６からメロディ音を発生させ、器官部位動作の認証が成功したことを通知し（ステップＳ３０）、ドア１０の解錠を指示する解錠信号を入出力インタフェース２４を介して電気錠装置２７へ出力し、これによりドア１０の解錠が行われる（ステップＳ３１）。
【００６７】
一方、ステップＳ２５において、顔認証が成功しなかったと判別した場合（ＮＯの場合）、スピーカ２６からエラー音を発生させると共にＬＥＤ１７により赤色光を点滅させ、顔認証が失敗したことを通知し（ステップＳ３２）、図４の認証動作処理を終了する。この場合、押しボタンスイッチ１６を再度押すことにより、図４のステップＳ２１から認証処理が再開される。
【００６８】
また、ステップＳ２９において、器官部位動作認証が成功しなかったと判別した場合（ＮＯの場合）、スピーカ２６からエラー音を発生させると共にＬＥＤ１７により赤色光を点滅させ、器官部位動作認証が失敗したことを通知し（ステップＳ３３）、図４の認証動作処理を終了する。この場合、押しボタンスイッチ１６を再度押すことにより、図４のステップＳ２１から認証処理が再開される。
【００６９】
以上の説明では、器官部位動作内容が「両眼を１回まばたき」の例を挙げているが、「両眼を複数回まばたき」であっても、「右眼を１回まばたき」、「右眼を複数回のまばたき」、「左眼を１回まばたき」、「左眼を複数回まばたき」、「口を１回開閉」又は「口を複数回開閉」であっても、同様のアルゴリズムで検出及び照合可能であることは言うまでもない。
【００７０】
器官部位動作内容が、「頭の右への傾け」、「頭の左への傾け」又は「頭の左右への傾け」の場合は、例えば、Ｖｉｏｌａ−Ｊｏｎｅｓ法にて顔検出を行った際に推測された顔の傾きを利用し、各フレーム内で検出された顔の傾きに関するパターンを既に登録されている基準パターンと照合し、認証する。
【００７１】
以上詳細に説明したように本実施形態によれば、認証すべき人物の少なくとも顔を含む身体をカメラ１８及び１９によって撮像し、撮像した画像データから顔画像データを取得し、取得した顔画像データとデータベース５４に登録されている基準顔画像データとを照合して顔画像に関する認証を行う。一方、カメラ１８及び１９によって、撮像した画像データから身体の器官部位の動作を検出し、検出された器官部位の動作内容とデータベース５４に登録されている基準動作内容とを照合して器官部位動作に関する認証を行う。顔画像認証及び器官部位動作認証の両方が共に成功した場合に、認証すべき人物に関する認証が成功したと判断している。このように、顔画像認証と器官部位動作認証との両方が成功した場合に、認証すべき人物に関する認証が成功したと判断しているので、より高い信頼度及び精度で人物認証を行うことができる。しかも、器官部位の動作内容という生体の動きによる認証も行われるので、例えば顔写真等で偽って顔画像認証を突破した場合にも、最終的に人物認証を成功させることはできないから、より安全な認証を行うことができる。
【００７２】
以上説明した実施形態においては、器官部位動作認証に、両眼のまばたき、右眼若しくは左眼のまばたき、口の開閉、頭の右、左若しくは左右への傾けのいずれかを利用しているが、これら異なる器官部位動作を複数組み合わせて器官部位動作認証としても良い。また、器官部位動作認証に、眉の上下、頭の回転、右、左若しくは左右への腕の動き、右、左若しくは左右への上半身のひねり、又は右、左若しくは左右への下半身のひねり等を利用しても良い。
【００７３】
さらに、上述の実施形態においては、認証結果によって制御する対象物として、出入口のドアの解錠の例を述べているが、制御対象が、出入口のドアの施錠、自動車等の乗り物のドアの解錠及び施錠、窓の解錠及び施錠、エンジンのスタート及びストップ、金庫の解錠及び施錠、エレベータの行き先階ボタンのロック及びロック解除、コンピュータのロック及びロック解除、携帯端末のロック及びロック解除、ＡＴＭにおける本人確認、カード支払における本人確認、パスポートにおける本人確認、インターネット利用における本人確認、インターネット利用制限のロック及びロック解除、メール利用における本人確認、メール送信先制限のロック及びロック解除、音声発生におけるロック及びロック解除、又はその他の認証対象であっても良い。
【００７４】
さらにまた、上述の実施形態は、顔画像認証と器官部位動作認証との組合わせであるが、さらに、指紋認証、掌紋認証、眼底認証又はＲＦＩＤカード認証を組み合わせて認証を行っても良い。
【００７５】
以上述べた実施形態は全て本発明を例示的に示すものであって限定的に示すものではなく、本発明は他の種々の変形態様及び変更態様で実施することができる。従って本発明の範囲は特許請求の範囲及びその均等範囲によってのみ規定されるものである。
【符号の説明】
【００７６】
１０  ドア
１１  ドアノブ
１２  ＵＳＢソケット
１３、１７  ＬＥＤ
１４、１５、１８、１９  カメラ
１６  起動ボタン
２０  バス
２１  ＣＰＵ
２２  フラッシュメモリ
２３  ＤＲＡＭ
２４  入出力インタフェース
２５  キーボード
２６  スピーカ
２７  電気錠装置
５０  認証装置
５１  撮像手段
５２  顔画像データ取得手段
５３  顔画像認証手段
５４  データベース
５４ａ１〜５４ａｎ  顔画像データ記憶手段
５４ｂ１〜５４ｂｎ  動作内容記憶手段
５５  動作検出手段
５６  器官部位動作認証手段
５７  認証判断手段
６０  器官部位動作認証する人物の顔
６１、６３、６５  右眼領域
６２、６４、６６  左眼領域
【図１】
2017004398.tif 000003
【図２】
2017004398.tif 000004
【図３】
2017004398.tif 000005
【図４】
2017004398.tif 000006
【図５】
2017004398.tif 000007
【図６】
2017004398.tif 000008