(57)【特許請求の範囲】
【請求項１】
撮影部によって撮影された画像を順次取得する画像取得部と、
前記画像取得部によって順次取得された画像について、色ヒストグラムの類似度に基づいて、個々の前記画像中の利用者に対応する利用者対応領域を検知することを繰り返す第１検知部と、
前記画像取得部によって順次取得された画像について、個々の前記画像内に存在する特徴点を順次比較することで、個々の前記画像中の利用者対応領域を検知することを繰り返す第２検知部と、
前記画像取得部によって順次取得された画像の輝度が所定値以上変化している間は前記第２検知部によって利用者対応領域の検知を行わせ、それ以外の期間は前記第１検知部によって利用者対応領域の検知を行わせる切替判定部と、
を含み、
前記切替判定部は、前記第２検知部によって利用者対応領域の検知が行われている期間に、前記画像中の利用者対応領域の色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続した場合に、前記第２検知部による利用者対応領域の検知から前記第１検知部による利用者対応領域の検知に切替える利用者検知装置。
【請求項２】
撮影部によって撮影された画像を順次取得する画像取得部と、
前記画像取得部によって順次取得された画像について、色ヒストグラムの類似度に基づいて、個々の前記画像中の利用者に対応する利用者対応領域を検知することを繰り返す第１検知部と、
前記画像取得部によって順次取得された画像について、個々の前記画像内に存在する特徴点を順次比較することで、個々の前記画像中の利用者対応領域を検知することを繰り返す第２検知部と、
前記画像取得部によって順次取得された画像の輝度が所定値以上変化している間は前記第２検知部によって利用者対応領域の検知を行わせ、それ以外の期間は前記第１検知部によって利用者対応領域の検知を行わせる切替判定部と、
を含み、
前記切替判定部は、前記画像取得部によって順次取得された画像の輝度の差分値を算出し、画像全体または一部分の輝度の差分値が所定値未満になった場合に、前記第２検知部による利用者対応領域の検知から前記第１検知部による利用者対応領域の検知に切替える利用者検知装置。
【請求項３】
前記切替判定部は、前記画像取得部によって順次取得された画像の輝度の差分値を算出し、画像全体または一部分の輝度の差分値が所定値以上になった場合に、前記第１検知部による利用者対応領域の検知から前記第２検知部による利用者対応領域の検知に切替える請求項１または請求項２記載の利用者検知装置。
【請求項４】
前記切替判定部は、前記第１検知部によって前記色ヒストグラムの類似度が閾値未満と判定された場合に、前記画像取得部によって順次取得された画像の輝度が所定値以上変化しているか否かを判定する請求項３記載の利用者検知装置。
【請求項５】
前記画像取得部によって取得された前記画像中の利用者対応領域の色ヒストグラムを基準色ヒストグラムとして記憶する第１記憶部を更に備え、
前記第１検知部は、前記基準色ヒストグラムに対する、前記画像取得部によって取得された画像中の複数の領域の色ヒストグラムの類似度を各々演算し、前記複数の領域のうち前記類似度が閾値以上の領域を前記画像中の利用者対応領域と判断する請求項１〜請求項４の何れか１項記載の利用者検知装置。
【請求項６】
前記第１検知部によって利用者対応領域の検知が行われていた状態から前記第２検知部による利用者対応領域の検知が開始される際に、前記第１検知部によって検知されている利用者対応領域の位置情報を前記第２検知部に通知する通知部を更に備え、
前記第２検知部は、前記通知部から通知された位置情報で特定される領域内に存在する特徴点に基づいて利用者対応領域の検知を行う請求項５記載の利用者検知装置。
【請求項７】
前記画像取得部によって取得された前記画像中の利用者対応領域内から前記第２検知部によって抽出された特徴点の情報を記憶する第２記憶部を更に備え、
前記第２検知部は、前記画像取得部によって新たに取得された前記画像から特徴点を抽出し、抽出した特徴点と前記第２記憶部に情報が記憶された特徴点との対応関係を判断し、前記第２記憶部に情報が記憶された特徴点と対応していると判断した特徴点から特定される領域を前記画像中の利用者対応領域と判断する請求項１〜請求項６の何れか１項記載の利用者検知装置。
【請求項８】
前記第２検知部によって利用者対応領域の検知が行われていた状態から前記第１検知部による利用者対応領域の検知が開始される際に、前記第２検知部によって検知されている利用者対応領域の位置情報を前記第１検知部に通知する通知部を更に備え、
前記第１検知部は、前記通知部から通知された位置情報で特定される領域内の色ヒストグラムに基づいて利用者対応領域の検知を行う請求項７記載の利用者検知装置。
【請求項９】
前記画像取得部によって過去に取得された画像を第３記憶部に記憶させる過去画像保存部を更に備え、
前記第１検知部によって利用者対応領域の検知が行われていた状態から前記第２検知部による利用者対応領域の検知が開始される際に、前記第２検知部は、前記第３記憶部に記憶された画像を用いて利用者対応領域の検知を開始する請求項１〜請求項８の何れか１項記載の利用者検知装置。
【請求項１０】
前記画像取得部によって取得された前記画像中の利用者対応領域の色ヒストグラムを基準色ヒストグラムとして記憶する第１記憶部を更に備え、
前記第１検知部は、前記基準色ヒストグラムに対する、前記画像取得部によって取得された画像中の複数の領域の色ヒストグラムの類似度を各々演算し、前記複数の領域のうち前記類似度が閾値以上の領域を前記画像中の利用者対応領域と判断し、
前記第１検知部によって利用者対応領域の検知が行われていた状態から前記第２検知部による利用者対応領域の検知が開始される際に、前記第１検知部による利用者対応領域の検知で前記類似度が閾値以上の領域が存在していたときの前記領域の位置情報を前記第２検知部に通知する通知部を更に備え、
前記第１検知部によって利用者対応領域の検知が行われていた状態から前記第２検知部による利用者対応領域の検知が開始される際に、前記第２検知部は、前記第３記憶部に記憶された画像のうち、前記第１検知部による利用者対応領域の検知で前記類似度が閾値以上の領域が存在していたときの画像を用いて利用者対応領域の検知を開始する請求項９記載の利用者検知装置。
【請求項１１】
前記切替判定部は、前記第２検知部によって利用者対応領域の検知が行われていた状態で、前記画像の利用者対応領域内の色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続するか、または、前記画像取得部によって順次取得された画像の輝度の差分値が所定値未満になった場合に、前記第１検知部による利用者対応領域の検知を開始させると共に、前記第１検知部による利用者対応領域の検知を開始させてから所定期間が経過する迄の間は前記第２検知部による利用者対応領域の検知も継続させる請求項１〜請求項１０の何れか１項記載の利用者検知装置。
【請求項１２】
前記切替判定部は、前記第１検知部および前記第２検知部が各々利用者対応領域の検知を行っている期間内に、前記第１検知部によって前記色ヒストグラムの類似度が閾値以上と判定されている状態が一定期間以上継続した場合には、前記第２検知部による利用者対応領域の検知を停止させる請求項１１記載の利用者検知装置。
【請求項１３】
前記画像取得部によって取得された前記画像中の利用者対応領域の色ヒストグラムを基準色ヒストグラムとして記憶する第１記憶部を更に備え、
前記第１検知部および前記第２検知部が各々利用者対応領域の検知を行っている期間内に、前記第１検知部によって前記色ヒストグラムの類似度が閾値未満と判定された場合に、前記第２検知部によって検知されている利用者対応領域の位置情報を前記第１検知部に通知する通知部を更に備え、
前記第１検知部は、前記基準色ヒストグラムを用いて前記色ヒストグラムの類似度を演算すると共に、前記第１検知部および前記第２検知部が利用者対応領域の検知を各々行っている期間内に、前記通知部によって前記位置情報が通知された場合に、通知された前記位置情報で特定される領域内の色ヒストグラムを前記基準色ヒストグラムとして前記第１記憶部に記憶させる請求項１１または請求項１２記載の利用者検知装置。
【請求項１４】
撮影部によって撮影された画像を順次取得する画像取得ステップと、
前記画像取得ステップによって順次取得された画像について、色ヒストグラムの類似度に基づいて、個々の前記画像中の利用者に対応する利用者対応領域を検知することを繰り返す第１検知ステップと、
前記画像取得ステップによって順次取得された画像について、個々の前記画像内に存在する特徴点を順次比較することで、個々の前記画像中の利用者対応領域を検知することを繰り返す第２検知ステップと、
前記画像取得ステップによって順次取得された画像の輝度が所定値以上変化している間は前記第２検知ステップによって利用者対応領域の検知を行わせ、それ以外の期間は前記第１検知ステップによって利用者対応領域の検知を行わせる切替判定ステップと、
を含み、
前記切替判定ステップは、前記第２検知ステップによって利用者対応領域の検知を行っている期間に、前記画像中の利用者対応領域の色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続した場合に、前記第２検知ステップによる利用者対応領域の検知から前記第１検知ステップによる利用者対応領域の検知に切替える利用者検知方法。
【請求項１５】
撮影部によって撮影された画像を順次取得する画像取得ステップと、
前記画像取得ステップによって順次取得された画像について、色ヒストグラムの類似度に基づいて、個々の前記画像中の利用者に対応する利用者対応領域を検知することを繰り返す第１検知ステップと、
前記画像取得ステップによって順次取得された画像について、個々の前記画像内に存在する特徴点を順次比較することで、個々の前記画像中の利用者対応領域を検知することを繰り返す第２検知ステップと、
前記画像取得ステップによって順次取得された画像の輝度が所定値以上変化している間は前記第２検知ステップによって利用者対応領域の検知を行わせ、それ以外の期間は前記第１検知ステップによって利用者対応領域の検知を行わせる切替判定ステップと、
を含み、
前記切替判定ステップは、前記画像取得ステップで順次取得した画像の輝度の差分値を算出し、画像全体または一部分の輝度の差分値が所定値未満になった場合に、前記第２検知ステップによる利用者対応領域の検知から前記第１検知ステップによる利用者対応領域の検知に切替える利用者検知方法。
【請求項１６】
コンピュータに、
撮影部によって撮影された画像を順次取得する画像取得ステップと、
前記画像取得ステップによって順次取得された画像について、色ヒストグラムの類似度に基づいて、個々の前記画像中の利用者に対応する利用者対応領域を検知することを繰り返す第１検知ステップと、
前記画像取得ステップによって順次取得された画像について、個々の前記画像内に存在する特徴点を順次比較することで、個々の前記画像中の利用者対応領域を検知することを繰り返す第２検知ステップと、
前記画像取得ステップによって順次取得された画像の輝度が所定値以上変化している間は前記第２検知ステップによって利用者対応領域の検知を行わせ、それ以外の期間は前記第１検知ステップによって利用者対応領域の検知を行わせる切替判定ステップと、
を実行させる利用者検知プログラムであって、
前記切替判定ステップは、前記第２検知ステップによって利用者対応領域の検知を行っている期間に、前記画像中の利用者対応領域の色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続した場合に、前記第２検知ステップによる利用者対応領域の検知から前記第１検知ステップによる利用者対応領域の検知に切替える利用者検知プログラム。
【請求項１７】
コンピュータに、
撮影部によって撮影された画像を順次取得する画像取得ステップと、
前記画像取得ステップによって順次取得された画像について、色ヒストグラムの類似度に基づいて、個々の前記画像中の利用者に対応する利用者対応領域を検知することを繰り返す第１検知ステップと、
前記画像取得ステップによって順次取得された画像について、個々の前記画像内に存在する特徴点を順次比較することで、個々の前記画像中の利用者対応領域を検知することを繰り返す第２検知ステップと、
前記画像取得ステップによって順次取得された画像の輝度が所定値以上変化している間は前記第２検知ステップによって利用者対応領域の検知を行わせ、それ以外の期間は前記第１検知ステップによって利用者対応領域の検知を行わせる切替判定ステップと、
を実行させる利用者検知プログラムであって、
前記切替判定ステップは、前記画像取得ステップで順次取得した画像の輝度の差分値を算出し、画像全体または一部分の輝度の差分値が所定値未満になった場合に、前記第２検知ステップによる利用者対応領域の検知から前記第１検知ステップによる利用者対応領域の検知に切替える利用者検知プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は利用者検知装置、利用者検知方法及び利用者検知プログラムに関する。
【背景技術】
【０００２】
近年、情報機器の急速な普及に伴い、情報機器内に多種多様な情報が保持されるようになっている。このため、情報機器内に保持されている情報の漏洩等を抑制するセキュリティ技術の確立は極めて重要な課題になってきており、様々な認証技術(例えばパスワード認証や生体認証、カード認証等)が提案されて実用化されている。しかし、既存の認証技術の多くは、ログイン時にのみ認証処理を実施するものであり、例えば、正規の利用者が情報機器の設置位置から離席している間に第三者が情報機器を不正に使用した場合、これを検知できないという共通の課題がある。
【０００３】
上記の課題を解決するため、ログイン後も利用者に対して継続的に認証処理を行う継続認証技術が従来より提案されている。継続認証技術の中でも、利用者を撮影した画像の色ヒストグラムを用いる色ヒストグラム認証は、顔認証やキーストローク等を用いる他の方式と比較して、利用者の姿勢変化に対して頑健な継続認証が可能という特長を有している。色ヒストグラム認証では、例えば、画像中の利用者に対応する領域の色ヒストグラムを登録しておき、登録した色ヒストグラムとの色ヒストグラムの類似度に基づいて、画像中の利用者対応領域を検知し、その移動を追跡することで継続認証が実現される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】K.Niinuma,U.Park,A.K.Jain,"Soft Biometric Traits For Continuous User Authentication",IEEE Transactions on Information Forensics and Security, Vol.5,No.4,pp.771-780,2010
【非特許文献２】P.Viola and M.Jones,“Rapid object detection using a boosted cascade of simple features,”in Proc.IEEE Computer Vision and Pattern Recognition,pp.I_511-I_518,2001
【非特許文献３】B.D.Lucas and T.Kanade,An iterative image registration technique with an application to stereo vision,in Proc.7th IJCAI,Vancouver,B.C.,Canada,pp.674-679,1981
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、色ヒストグラムを用いた利用者対応領域の検知では、例えば、照明条件の急激な変化等によって認証に用いる画像の輝度が急激に変化した場合、色ヒストグラムが変化し、利用者が存在しているにも拘わらず利用者対応領域を特定できないことが生じ得る。この場合、認証が途切れてしまったり、利用者が情報機器から離れたと誤判定されることになる、という課題があった。
【０００６】
画像の輝度の急激な変化は、例えば、情報機器を室内で使用している状況で室内の照明がオンオフされた場合や、情報機器を移動体の室内で使用している状況で移動体の室内に入射される外光の光量が急激に変化した場合に生ずる。また、例えば、利用者を撮影する撮影部に画像全体の輝度をおよそ一定に維持する露出制御機能が設けられている場合には、利用者の背後を人が通った等のような撮影範囲内の輝度変化に応じて露出が変更されたときにも利用者対応領域の輝度の急激な変化が生じる。なお、撮影部がＰＣ(Personal Computer)等の情報機器に内蔵されたカメラであり、当該カメラが他のアプリケーションでも使用されている場合には、上記の露出制御機能をオフして利用者対応領域の輝度の急激な変化を抑制することは困難である。
【０００７】
開示の技術は、利用者対応領域の検知に用いる画像の輝度が急激に変化した場合に、利用者対応領域の継続的な検知が途切れることを抑制することが目的である。
【課題を解決するための手段】
【０００８】
開示の技術は、撮影部によって撮影された画像を順次取得する画像取得部を含んでいる。また開示の技術は、前記画像取得部によって順次取得された画像について、色ヒストグラムの類似度に基づいて、個々の前記画像中の利用者に対応する利用者対応領域を検知することを繰り返す第１検知部を含んでいる。また開示の技術は、前記画像取得部によって順次取得された画像について、個々の前記画像内に存在する特徴点を順次比較することで、個々の前記画像中の利用者対応領域を検知することを繰り返す第２検知部を含んでいる。また開示の技術は、前記画像取得部によって順次取得された画像の輝度が所定値以上変化している間は前記第２検知部によって利用者対応領域の検知を行わせ、それ以外の期間は前記第１検知部によって利用者対応領域の検知を行わせる切替判定部を含んでいる。そして前記切替判定部は、前記第２検知部によって利用者対応領域の検知が行われている期間に、前記画像中の利用者対応領域の色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続した場合に、以下の切替えを行う。すなわち、前記第２検知部による利用者対応領域の検知から前記第１検知部による利用者対応領域の検知に切替える。
また、開示の技術は、撮影部によって撮影された画像を順次取得する画像取得部を含んでいる。また開示の技術は、前記画像取得部によって順次取得された画像について、色ヒストグラムの類似度に基づいて、個々の前記画像中の利用者に対応する利用者対応領域を検知することを繰り返す第１検知部を含んでいる。また開示の技術は、前記画像取得部によって順次取得された画像について、個々の前記画像内に存在する特徴点を順次比較することで、個々の前記画像中の利用者対応領域を検知することを繰り返す第２検知部を含んでいる。また開示の技術は、前記画像取得部によって順次取得された画像の輝度が所定値以上変化している間は前記第２検知部によって利用者対応領域の検知を行わせ、それ以外の期間は前記第１検知部によって利用者対応領域の検知を行わせる切替判定部を含んでいる。そして、前記切替判定部は、前記画像取得部によって順次取得された画像の輝度の差分値を算出し、画像全体または一部分の輝度の差分値が所定値未満になった場合に、以下の切替えを行う。すなわち、前記第２検知部による利用者対応領域の検知から前記第１検知部による利用者対応領域の検知に切替える。
【発明の効果】
【０００９】
開示の技術は、利用者対応領域の検知に用いる画像の輝度が急激に変化した場合に、利用者対応領域の継続的な検知が途切れることを抑制できる、という効果を有する。
【図面の簡単な説明】
【００１０】
【図１】第１実施形態で説明した認証装置の機能ブロック図である。
【図２】認証装置として機能するコンピュータの概略ブロック図である。
【図３】認証処理のフローチャートである。
【図４】第１実施形態で説明した継続認証処理のフローチャートである。
【図５】初期登録処理のフローチャートである。
【図６】(Ａ)は色ヒストグラム情報、(Ｂ)は特徴点情報の一例を各々示す概略図である。
【図７】色ヒストグラム認証処理のフローチャートである。
【図８】オプティカルフロー認証処理のフローチャートである。
【図９】オプティカルフロー認証処理における特徴点の対応関係の判別を説明するための説明図である。
【図１０】オプティカルフロー認証処理における顔領域の演算を説明するための説明図である。
【図１１】第２及び第３実施形態で説明した認証装置の機能ブロック図である。
【図１２】第２実施形態で説明した継続認証処理のフローチャートである。
【図１３】(Ａ)は第１実施形態、(Ｂ)は第２実施形態における認証方式の切替えを示すタイミングチャートである。
【図１４】第２実施形態における認証方式の切替えの他の例を示すタイミングチャートである。
【図１５】第３実施形態で説明した継続認証処理のフローチャートである。
【図１６】併用認証モード処理のフローチャートである。
【図１７】併用認証モードでのオプティカルフロー認証の停止条件を説明するためのタイミングチャートである。
【図１８】併用認証モードでの基準色ヒストグラムの更新等を説明するためのタイミングチャートである。
【発明を実施するための形態】
【００１１】
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。なお、以下では開示の技術を継続認証に適用した態様を主に説明する。
【００１２】
〔第１実施形態〕
図１には、本第１実施形態に係る認証装置１０が示されている。認証装置１０はＰＣや携帯端末等の情報機器を使用する利用者の認証を行う装置であり、情報機器の使用を開始する利用者の認証(ログイン認証)を行うログイン認証装置１２と、情報機器を使用中の利用者の認証(継続認証)を行う継続認証装置１４を備えている。認証装置１０は、例えば、利用者によって使用される情報機器に内蔵する(情報機器を認証装置１０としても機能させる)ことができるが、これに代えて、情報機器と通信回線を介して接続されたコンピュータを認証装置１０として機能させることでも実現できる。また、ログイン認証装置１２は、利用者の認証方式として、公知の各種の認証方式(例えば、パスワード認証や生体認証、カード認証等)の何れを適用した構成でもよい。
【００１３】
継続認証装置１４は開示の技術における利用者検知装置の一例であり、画像取得部１６、色ヒストグラム認証部１８、オプティカルフロー認証部２０、認証切替判定部２２、通知部２４、顔検出部２６を備えている。また、継続認証装置１４は色ヒストグラム情報２８を記憶する第１記憶部３０、特徴点情報３２を記憶する第２記憶部３４を備えている。なお、色ヒストグラム認証部１８は開示の技術における第１検知部の一例であり、オプティカルフロー認証部２０は開示の技術における第２検知部の一例であり、認証切替判定部２２は開示の技術における切替判定部の一例である。
【００１４】
画像取得部１６は、ログイン認証装置１２によるログイン認証を経て前記情報機器を使用している利用者(認証対象者)の顔や体の一部及び利用者の背景を被写体として撮影部が定期的に撮影を行うことで得られた画像の画像データを定期的に取得する。なお、例えば認証装置１０が前記情報機器に内蔵されている場合、画像取得部１６は、上記の撮影部を含んだ構成であってもよい。また、例えば情報機器と通信回線を介して接続されたコンピュータが認証装置１０として機能する場合、画像取得部１６は、情報機器に設けられた撮影部で撮影された画像の画像データを情報機器から受信することで取得する通信ユニットであってもよい。
【００１５】
色ヒストグラム認証部１８は、利用者がログイン認証装置１２によるログイン認証に成功した直後のタイミングで、画像取得部１６によって取得された画像中に存在する利用者の顔に対応する顔領域及び体に対応する体領域の色ヒストグラムを算出する。ここで算出した顔領域及び体領域の色ヒストグラムは、基準色ヒストグラムの色ヒストグラム情報２８として第１記憶部３０に記憶される。また色ヒストグラム認証部１８は、以降に画像取得部１６によって取得された画像に対し、基準色ヒストグラムを用いて色ヒストグラム認証(色ヒストグラムの類似度に基づく利用者対応領域の検知)を行う。すなわち、画像取得部１６によって取得された画像に対し、基準色ヒストグラムとの色ヒストグラムの類似度が最大となる領域を顔領域及び体領域について各々探索する。そして、当該探索で抽出した領域における色ヒストグラムの類似度が閾値以上であれば抽出した領域に利用者が存在していると判定し、色ヒストグラムの類似度が閾値未満であれば利用者が情報機器から離席したと判定する。
【００１６】
オプティカルフロー認証部２０は、認証開始当初は、画像取得部１６によって取得された画像中の顔領域から特徴点(例えばエッジ、望ましくは複数方向の輝度変化を有するエッジ)を抽出し、抽出した特徴点を特徴点情報３２として第２記憶部３４に記憶させる。またオプティカルフロー認証部２０は、以降に画像取得部１６によって取得された画像に対し、特徴点情報３２を用いてオプティカルフロー認証(特徴点を比較することによる利用者対応領域の検知)を行う。すなわち、画像取得部１６によって取得された画像のうち、過去の顔領域及びその周辺を含む領域から特徴点を抽出し、抽出した特徴点に対し、特徴点情報３２として情報が記憶されている過去の特徴点との対応関係を判別する処理を行う。そして、当該処理で過去の特徴点との対応関係が判別できた特徴点の数が所定数以上であれば、所定数以上の数の特徴点から特定される顔領域に利用者(の顔)が存在していると判定する。また、過去の特徴点との対応関係が判別できた特徴点の数が所定数未満の場合(例えば特徴点の減少数が所定値以上)であれば、利用者が情報機器から離席したと判定する。
【００１７】
認証切替判定部２２は、利用者に対する継続認証(利用者対応領域の検知)に、色ヒストグラム認証部１８による色ヒストグラム認証を適用するか、オプティカルフロー認証部２０によるオプティカルフロー認証を適用するかを判定する。認証切替判定部２２による認証方式の判定には、画像取得部１６によって取得された画像の輝度変化、及び、色ヒストグラムの類似度の少なくとも一方が用いられる。
【００１８】
通知部２４は、利用者に対する継続認証が色ヒストグラム認証からオプティカルフロー認証に切替えされる際に、それ迄の色ヒストグラム認証部１８による色ヒストグラム認証で認識されていた顔領域の情報をオプティカルフロー認証部２０へ通知する。また通知部２４は、利用者に対する継続認証が、オプティカルフロー認証から色ヒストグラム認証に切替えされる際に、それ迄のオプティカルフロー認証で認識されていた顔領域の情報を色ヒストグラム認証部１８へ通知する。
【００１９】
顔検出部２６は、利用者がログイン認証装置１２によるログイン認証に成功した直後のタイミングで、画像取得部１６によって取得された画像中に存在する利用者の顔に対応する顔領域を検出し、検出した顔領域を抽出する処理を行う。顔検出部２６は、顔領域の検出結果を色ヒストグラム認証部１８へ出力する。顔検出部２６から色ヒストグラム認証部１８へ出力された顔領域の検出結果は、色ヒストグラム認証部１８による、画像中の顔領域及び体領域の特定に用いられる。
【００２０】
認証装置１０は、例えば図２に示すコンピュータ４２で実現することができる。なお、以下では、コンピュータ４２が利用者によって使用される情報機器に含まれる態様を説明するが、コンピュータ４２は情報機器と通信回線を介して接続されたコンピュータであってもよい。コンピュータ４２はＣＰＵ４４、メモリ４６、不揮発性の記憶部４８、キーボード５０、マウス５２、ディスプレイ５４、カメラ５６を備え、これらはバス５８を介して互いに接続されている。なお、カメラ５６は撮影部の一例であり、情報機器(コンピュータ４２)を使用している利用者の顔や体の一部及び利用者の背景を被写体として撮影可能に配置されている。
【００２１】
また、記憶部４８はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部４８には、コンピュータ４２を認証装置１０として機能させるためのログイン認証プログラム６０及び継続認証プログラム６２、色ヒストグラム情報２８及び特徴点情報３２が各々記憶されている。ＣＰＵ４４は、ログイン認証プログラム６０及び継続認証プログラム６２を記憶部４８から読み出してメモリ４６に展開し、各プログラム６０,６２が有するプロセスを順次実行する。
【００２２】
ＣＰＵ４４は、ログイン認証プログラム６０が有するプロセスを実行することで、図１に示すログイン認証装置１２として動作する。また継続認証プログラム６２は、画像取得プロセス６４、色ヒストグラム認証プロセス６６、オプティカルフロー認証プロセス６８、認証切替判定プロセス７０、通知プロセス７２及び顔検知プロセス７４を有する。ＣＰＵ４４は、画像取得プロセス６４を実行することで、図１に示す画像取得部１６として動作する。またＣＰＵ４４は、色ヒストグラム認証プロセス６６を実行することで、図１に示す色ヒストグラム認証部１８として動作する。またＣＰＵ４４は、オプティカルフロー認証プロセス６８を実行することで、図１に示すオプティカルフロー認証部２０として動作する。またＣＰＵ４４は、認証切替判定プロセス７０を実行することで、図１に示す認証切替判定部２２として動作する。またＣＰＵ４４は、通知プロセス７２を実行することで、図１に示す通知部２４として動作する。またＣＰＵ４４は、顔検知プロセス７４を実行することで、図１に示す顔検出部２６として動作する。なお、継続認証プログラム６２は開示の技術における利用者検知プログラムの一例である。
【００２３】
認証装置１０がコンピュータ４２で実現される場合、色ヒストグラム情報２８を記憶する記憶部４８は第１記憶部３０として用いられ、メモリ４６の一部領域は色ヒストグラム情報２８の記憶領域として用いられる。また、特徴点情報３２を記憶する記憶部４８は第２記憶部３４としても用いられ、メモリ４６の一部領域は特徴点情報３２の記憶領域として用いられる。これにより、ログイン認証プログラム６０及び継続認証プログラム６２を実行したコンピュータ４２が、認証装置１０として機能することになる。
【００２４】
なお、認証装置１０は、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。
【００２５】
次に本第１実施形態の作用を説明する。先に説明したように、色ヒストグラム認証は、認識対象の姿勢変化に対して頑健な継続認証が可能であるものの、照明条件の急激な変化等によって認証に用いる画像の輝度が急激に変化した場合に、継続認証が途切れてしまうことが生じ得る。一方、オプティカルフロー認証は、照明変化等に起因する画像の輝度の急激な変化に対しては頑健であるものの、例えば利用者の顔が横を向いた等のように、特徴点の数や対応関係の変化を引き起こす姿勢変化が生じると、認証の継続が困難になる。また、オプティカルフロー認証は処理負荷が大きく、長時間の認証には適さないという欠点も有している。このように、色ヒストグラム認証とオプティカルフロー認証が互いに異なる特徴を有していることに鑑み、本実施形態では、画像の輝度が変化している期間はオプティカルフロー認証を適用し、それ以外の期間は色ヒストグラム認証を適用して継続認証を行う。
【００２６】
以下、まず図３のフローチャートを参照し、本実施形態に係る認証装置１０による認証処理を説明する。図３に示す認証処理は、利用者によって情報機器の使用が開始される際に実行され、まずステップ８０において、ログイン認証装置１２は、ログイン認証処理を行う。このログイン認証処理における認証方式は、前述のように、公知の各種の認証方式(例えばパスワード認証や生体認証、カード認証等)の何れでもよい。次のステップ８２において、ログイン認証装置１２は、ログイン認証によって利用者が正規の利用者であることを確認できたか否か判定する。
【００２７】
ステップ８２の判定が否定された場合は認証処理を終了する。これにより、正規の利用者以外の他者が情報機器を使用することが阻止される。一方、ステップ８２の判定が肯定された場合、ログイン認証装置１２は継続認証装置１４を起動してステップ８４へ移行し、ステップ８４において、継続認証装置１４は継続認証処理を行う。これにより、ログイン認証によって正規の利用者であることが確認された利用者は、継続認証装置１４によって継続認証処理が行われている間、情報機器を使用することが可能となる。
【００２８】
次に、図３に示す認証処理のステップ８４で継続認証装置１４によって行われる継続認証処理の詳細を、図４を参照して説明する。図４に示す継続認証処理では、まずステップ９０で初期登録処理が行われる。
【００２９】
この初期登録処理について、図５を参照して説明すると、まずステップ１３０において、画像取得部１６は、撮像部(カメラ５６)によって撮影された最新の画像の画像データを取得する。次のステップ１３２において、顔検出部２６は、画像取得部１６によって取得された画像データが表す画像中に存在する利用者の顔領域を検出する。なお、顔検出部２６による顔領域の検出には、例えばHaar classifierを用いる手法(非特許文献２参照)等の任意の手法を適用することができる。次のステップ１３４において、顔検出部２６は、ステップ１３２の顔領域の検出により、利用者の顔に対応する顔領域を抽出できたか否か判定する。例えば、撮影時に利用者の顔が撮像部(カメラ５６)の正面を向いていなかった等の場合には、ステップ１３４の判定が否定されてステップ１３０に戻り、ステップ１３４の判定が肯定される迄、ステップ１３０〜ステップ１３４を繰り返す。
【００３０】
一方、ステップ１３４の判定が肯定された場合はステップ１３６へ移行し、ステップ１３６において、色ヒストグラム認証部１８は、顔検出部２６による顔領域の抽出結果に基づき、利用者の顔におよそ対応する一定形状(例えば楕円形状や他の形状)の顔領域を設定する。また、設定した顔領域の下方に、利用者の体の一部におよそ対応する一定形状(例えば矩形状)の体領域を設定する。なお、体領域の設定には他の手法を用いることも可能である。図６(Ａ)には、色ヒストグラム認証部１８によって設定された顔領域の一例を実線で、体領域の一例を破線で各々示す。
【００３１】
次のステップ１３８において、色ヒストグラム認証部１８は、ステップ１３６で設定した利用者の顔領域及び体領域の色ヒストグラムを各々生成する。なお、例えば、画像の各画素毎の色をＲ,Ｇ,Ｂ３色の組み合わせで表す画像データが画像取得部１６によって取得される場合、上記で生成される色ヒストグラムは、図６(Ａ)に示すように、Ｒ,Ｇ,Ｂ３色の各組み合わせ毎の頻度を表す色ヒストグラムとなる。なお、ＲＧＢ色空間以外の他の色空間を用いてもよい。
【００３２】
ステップ１４０において、色ヒストグラム認証部１８は、ステップ１３８で生成した利用者の顔領域及び体領域の色ヒストグラムを基準色ヒストグラム(色ヒストグラム情報２８の一部)として第１記憶部３０に記憶させる。またステップ１４２において、色ヒストグラム認証部１８は、ステップ１３６で設定した利用者の顔領域の位置やサイズを表す情報を、色ヒストグラム情報２８の一部として第１記憶部３０に記憶させる。これにより、第１記憶部３０には、色ヒストグラム情報２８として、図６(Ａ)に示すような情報が記憶される。そしてステップ１４４において、認証切替判定部２２は、継続認証の動作モードとして色ヒストグラム認証モードを設定し、初期登録処理を終了する。
【００３３】
なお、図６(Ａ)に示す色ヒストグラム情報２８のうちの「対象領域」は、顔領域の中心が画像中の座標(200,100)に位置しており、幅が100画素分、高さが150画素分のサイズであることを表している。また、図６(Ａ)に示す色ヒストグラム情報２８のうちの「ヒストグラム(R,G,B)」は、Ｒ,Ｇ,Ｂそれぞれ０〜255の数値範囲を16個の数値範囲に分割し、各々の数値範囲内に入る色の割合によって色ヒストグラムを表している。例えば図６(Ａ)に示すヒストグラム(15,15,15)は、(Ｒ,Ｇ,Ｂ)＝(0,0,0)〜(15,15,15)の数値範囲の色の画素数の全体に占める割合が0.01＝１％であることを表している。
【００３４】
上述した初期登録処理が終了すると、図４の継続認証処理のステップ９２へ移行する。ステップ９２において、画像取得部１６は、撮像部(カメラ５６)によって撮影された最新の画像の画像データを取得する。次のステップ９４において、認証切替判定部２２は、継続認証の現在の動作モードが色ヒストグラム認証モードか否か判定する。ステップ９４の判定が肯定された場合、認証切替判定部２２は色ヒストグラム認証部１８を呼び出してステップ９６へ移行する。これにより、ステップ９６では、色ヒストグラム認証部１８によって色ヒストグラム認証処理が行われる。
【００３５】
この色ヒストグラム認証処理について、図７を参照して説明すると、まずステップ１５０において、色ヒストグラム認証部１８は、第１記憶部３０に記憶されている色ヒストグラム情報２８から、利用者の顔領域の情報(位置及びサイズ)を取得する。次のステップ１５２において、色ヒストグラム認証部１８は、ステップ１５０で情報を取得した顔領域を基準として、先のステップ９２で取得された画像のうち、顔領域の基準色ヒストグラムに対する色ヒストグラムの類似度が最大となる領域(現在の顔領域)を探索する。この探索は、ステップ１５０で取得した顔領域の位置を基準として、基準位置及びその周辺の複数位置に存在する複数の候補領域について色ヒストグラムの類似度を各々演算し、複数の候補領域の中から類似度が最大の候補領域を選択することで行うことができる。
【００３６】
次のステップ１５４において、色ヒストグラム認証部１８は、まずステップ１５０で情報を取得した顔領域の下方に、顔領域のサイズに応じた大きさの対応する体領域を設定する。そして、設定した体領域を基準として、先のステップ９２で取得された画像のうち、体領域の基準色ヒストグラムに対する色ヒストグラムの類似度が最大となる領域(現在の体領域)を探索する。この探索も、先に設定した体領域の位置を基準として、基準位置及びその周辺の複数位置に存在する複数の候補領域について色ヒストグラムの類似度を各々演算し、複数の候補領域の中から類似度が最大の候補領域を選択することで行うことができる。
【００３７】
次のステップ１５６において、色ヒストグラム認証部１８は、ステップ１５２の探索で抽出した顔領域の色ヒストグラムの類似度と、ステップ１５４の探索で抽出した体領域の色ヒストグラムの類似度と、から最終類似度を算出する。顔領域の色ヒストグラムの類似度をＳface、体領域の色ヒストグラムの類似度をＳbodyとした場合、最終類似度Ｓfinalは次の(１)式で算出することができる。 
Ｓfinal＝ｔ×Ｓface＋(１−ｔ)×Ｓbody  …(１)
但し、ｔは顔領域の色ヒストグラムの類似度Ｓfaceに対する重み係数で、０≦ｔ≦１である。
【００３８】
そしてステップ１５８において、色ヒストグラム認証部１８は、抽出した利用者の顔領域の情報(位置及びサイズ)と、顔領域及び体領域の色ヒストグラムと、を色ヒストグラム情報２８として第１記憶部３０に記憶させ、色ヒストグラム認証処理を終了する。
【００３９】
上述した色ヒストグラム認証処理が終了すると、図４の継続認証処理のステップ９８へ移行する。ステップ９８において、認証切替判定部２２は、色ヒストグラム認証部１８による色ヒストグラム認証処理(ステップ９６)で得られた色ヒストグラムの類似度(最終類似度Ｓfinal)が閾値以上か否かを判定することで、色ヒストグラム認証を継続するか否か判定する。色ヒストグラムの類似度が閾値以上の場合には、ステップ９８の判定が肯定されてステップ１００へ移行し、認証切替判定部２２は、継続認証の動作モードとして色ヒストグラム認証モードを設定し、ステップ９２に戻る。
【００４０】
これにより、色ヒストグラム認証処理で得られた色ヒストグラムの類似度が閾値以上の間は、ステップ９２〜ステップ１００が繰り返され、色ヒストグラム認証によって継続認証が行われる。
【００４１】
一方、色ヒストグラムの類似度が閾値未満になると、ステップ９８の判定が否定されてステップ１０２へ移行する。ステップ１０２において、認証切替判定部２２は、色ヒストグラムの類似度が閾値未満になった原因が画像全体に急激な輝度変化が生じたためか否かを判定することで、継続認証の認証方式をオプティカルフロー認証に切替えるか否かを判定する認証方式切替判定を行う。具体的には、画像取得部１６によって連続して取得された画像Ｉ１と画像Ｉ２について対応する画素同士の輝度値の差分Ｉ１(ｘ,ｙ)−Ｉ２(ｘ,ｙ)を算出し、この差分が閾値Th以上の画素数Ｎを計数する。画素数Ｎが一定値以上の場合には、大きな照明のオンオフ等に起因する急激な輝度変化が画像に生じていると判定することができる。なお、輝度変化の算出対象は画像全体に限られるものではなく、例えば顔領域と体領域を除外した領域等のように、画像の一部の領域を輝度変化の算出対象としてもよい。
【００４２】
次のステップ１０４において、認証切替判定部２２は、ステップ１０２の認証方式切替判定で画像の急激な輝度変化が検出されたか否かに基づいて、認証方式をオプティカルフロー認証に切替えて継続認証を続行するか否か判定する。ステップ１０２の認証方式切替判定で画像の急激な輝度変化が検出されなかった場合、色ヒストグラムの類似度が閾値未満になった原因は画像に急激な輝度変化が生じたためではないと判断できるので、ステップ１０４の判定が否定されてステップ１２４へ移行する。そしてステップ１２４において、認証切替判定部２２は、利用者が離席したとの判定結果を出力し、継続認証処理を終了する。
【００４３】
また、ステップ１０２の認証方式切替判定で急激な輝度変化が検出された場合、画像に急激な輝度変化が生じたことを原因として色ヒストグラムの類似度が閾値未満になった可能性があるので、ステップ１０４の判定が肯定されてステップ１０６へ移行する。ステップ１０６において、認証切替判定部２２は、継続認証の動作モードを色ヒストグラム認証モードからオプティカルフロー認証モードへ切替える。次のステップ１０８において、通知部２４は、第１記憶部３０に記憶されている色ヒストグラム情報２８から顔領域の情報(位置及びサイズ)を抽出し、抽出した顔領域の情報をオプティカルフロー認証部２０へ通知する。次のステップ１１０では、オプティカルフロー認証部２０によってオプティカルフロー認証処理が行われる。
【００４４】
このように、色ヒストグラム認証で色ヒストグラムの類似度が閾値未満となり、画像の急激な輝度変化を検出した場合に、継続認証の認証方式をオプティカルフロー認証に切替えることで、画像の急激な輝度変化を原因として継続認証が途切れることを抑制できる。
【００４５】
ステップ１１０のオプティカルフロー認証処理について、図８を参照して説明すると、まずステップ１６０において、オプティカルフロー認証部２０は、第２記憶部３４に特徴点情報３２が未登録(前周期ではオプティカルフロー認証を行っていなかった)か否か判定する。ステップ１６０の判定が肯定された場合はステップ１６２へ移行し、ステップ１６２において、オプティカルフロー認証部２０は、先の図４のステップ１０８で通知部２４から通知された利用者の顔領域の情報(位置及びサイズ)を取得する。
【００４６】
次のステップ１６４において、オプティカルフロー認証部２０は、画像取得部１６によって取得された画像のうち、ステップ１６２で情報を取得した顔領域内から特徴点(例えばエッジ等)を抽出する。そして次のステップ１７２において、オプティカルフロー認証部２０は、例として図６(Ｂ)に示すように、利用者の顔領域の情報(位置及びサイズ)及び特徴点の情報(位置)を特徴点情報３２として第２記憶部３４に記憶させる。ステップ１７２の処理を行うと、オプティカルフロー認証処理を終了する。
【００４７】
なお、図６(Ｂ)に示す特徴点情報３２のうちの「対象領域」は、顔領域の中心が画像中の座標(200,100)に位置しており、幅が100画素分、高さが150画素分のサイズであることを表している。また、図６(Ｂ)に示す特徴点情報３２のうちの「特徴点群」は、個々の特徴点の位置を表しており、例えば特徴点１は画像中の座標(130,70)に位置していることを表している。
【００４８】
また、上記のように、第２記憶部３４に特徴点情報３２を記憶させると、次の周期では先のステップ１６０の判定が否定されてステップ１６６へ移行する。ステップ１６６において、オプティカルフロー認証部２０は、第２記憶部３４に記憶されている特徴点情報３２から顔領域の情報(位置及びサイズ)を抽出する。そして、オプティカルフロー認証部２０は、情報を抽出した顔領域の位置を基準として、基準位置及びその周辺領域を含む抽出対象領域から特徴点を抽出する。
【００４９】
次のステップ１６８において、オプティカルフロー認証部２０は、オプティカルフロー(移動ベクトル)を算出することで、ステップ１６６で抽出した特徴点と、第２記憶部３４に特徴点情報３２として記憶されている特徴点と、の対応関係を判別する(図９も参照)。なお、オプティカルフローの算出には、例えば非特許文献３に記載の方式など、任意の方式を適用することができる。
【００５０】
なお、本実施形態では、オプティカルフロー認証処理として、顔領域についてのみ特徴点の抽出、対応関係の判別を行う例を説明しているが(図９も同様)、体領域に対しても同様の処理を行うようにしてもよい。
【００５１】
次のステップ１７０において、オプティカルフロー認証部２０は、対応関係が判別できた特徴点群の分布に基づいて利用者の顔領域を判定する。顔領域の判定は、例えば、対応関係が判別できた特徴点群の平均位置(重心位置)を算出し、算出した重心位置を中心とし、対応関係が判別できた全ての特徴点群が含まれる一定形状の領域を設定することで実現できる。
【００５２】
また、顔領域の判定は上記に限られるものではなく、例えばオプティカルフロー認証処理を最初に実行した際の、顔領域の重心(中心)位置から特徴点迄の距離と、特徴点から顔領域の境界迄の距離と、の比を用いて判定することも可能である。すなわち、図１０に示すように、オプティカルフロー認証処理を最初に実行した際に、顔領域の重心位置と各特徴点との距離ｄ1と、各特徴点と顔領域の境界との距離ｄ2を記憶しておけば、顔領域の重心位置から顔領域の境界迄の距離Ｄは次の(２)式で算出できる。
Ｄ＝ｅ1×(ｄ1＋ｄ2)／d1  …(２)
【００５３】
なお、(２)式において、ｅ1は顔領域を判定する際に求めた顔領域の重心位置から特徴点までの距離である。図１０では、単一の特徴点のみ示しているが、上記処理を全ての特徴点に対して行い、顔領域の境界の平均位置を求めた後に、一定形状の領域をフィッティングさせることで顔領域を判定することができる。
【００５４】
また、特徴点を抽出した際の利用者の実際の顔位置によっては、抽出した特徴点の中に背景領域に対応する特徴点が一部含まれていることも考えられる。これを考慮すると、抽出した個々の特徴点に個別に信頼度を付与して顔領域を判定するようにしてもよい。信頼度は、例えば、特徴点群の重心からの距離に基づき、この距離が小さくなるに従って信頼度が高くなるように付与することができる。顔領域を判定する際には、信頼度の高い特徴点のみを使用するか、或いは、信頼度に応じて個々の特徴点を重み付けすることで、顔領域の判定精度を向上させることができる。
【００５５】
そして次のステップ１７２において、オプティカルフロー認証部２０は、上記処理で得られた利用者の顔領域の情報(位置及びサイズ)及び特徴点の情報(位置)を特徴点情報３２として第２記憶部３４に記憶させ、オプティカルフロー認証処理を終了する。
【００５６】
上述したオプティカルフロー認証処理が終了すると、図４の継続認証処理のステップ１１２へ移行する。ステップ１１２において、認証切替判定部２２は、オプティカルフロー認証処理の結果に基づき、継続認証を続けるか否か判定する。すなわち、オプティカルフロー認証処理において、対応関係が判別できた特徴点の数が所定値未満の場合には、利用者が離席した可能性が高いので、ステップ１１２の判定が否定されてステップ１２４へ移行する。そしてステップ１２４において、認証切替判定部２２は、利用者が離席したとの判定結果を出力し、継続認証処理を終了する。
【００５７】
また、ステップ１１２の判定が肯定された場合はステップ１１４へ移行する。ステップ１１４において、認証切替判定部２２は、画像の急激な輝度変化が収まったか否かを判定することで、継続認証の認証方式を色ヒストグラム認証に切替えるか否かを判定する認証方式切替判定を行う。具体的には、画像取得部１６によって連続して取得された画像Ｉ１と画像Ｉ２について対応する画素同士の輝度値の差分Ｉ１(ｘ,ｙ)−Ｉ２(ｘ,ｙ)を算出し、この差分が閾値Th以上の画素数Ｎを計数する。画素数Ｎが一定値未満の場合には、大きな照明のオンオフ等に起因して生じた画像の急激な輝度変化が収まったと判定することができる。なお、輝度変化の算出対象は画像全体に限られるものではなく、例えば顔領域と体領域を除外した領域等のように、画像の一部の領域を輝度変化の算出対象としてもよい。
【００５８】
なお、ステップ１１４の認証方式切替判定は、色ヒストグラムの類似度を用いて行ってもよい。すなわち、画像取得部１６によって連続して取得された画像Ｉ１,Ｉ２から顔領域の色ヒストグラムＣ１,Ｃ２を各々求め、これら色ヒストグラムの類似度が十分に高い場合には、画像の急激な輝度変化が収まったと判定するようにしてもよい。
【００５９】
次のステップ１１６において、認証切替判定部２２は、ステップ１１４の認証方式切替判定で画像の急激な輝度変化が収まったか否かに基づいて、オプティカルフロー認証による継続認証を終了するか否か判定する。ステップ１１４の認証方式切替判定で画像の急激な輝度変化が収まっていないと判定された場合、継続認証の認証方式を色ヒストグラム認証に切替えると、画像の急激な輝度変化を原因として継続認証が途切れる可能性がある。このため、ステップ１１６の判定が否定された場合はステップ１１８へ移行し、認証切替判定部２２は、継続認証の動作モードとしてオプティカルフロー認証モードを設定し、ステップ９２に戻る。
【００６０】
これにより、画像に急激な輝度変化が生じている間は、ステップ９４及びステップ１１６の判定が各々否定されることで、ステップ９２、ステップ９４、ステップ１１０〜ステップ１１８が繰り返され、オプティカルフロー認証によって継続認証が行われる。
【００６１】
一方、前述のように、オプティカルフロー認証は、処理負荷が大きく、利用者の姿勢変化に対する頑健さも色ヒストグラム認証より低いので長時間の認証には適さない。また、画像の急激な輝度変化が収まっていれば、色ヒストグラム認証による継続認証で継続認証が途切れる可能性も低下している。このため、ステップ１１６の判定が肯定された場合はステップ１２０へ移行し、認証切替判定部２２は、継続認証の動作モードをオプティカルフロー認証モードから色ヒストグラム認証モードへ切替える。次のステップ１２２において、通知部２４は、第２記憶部３４に記憶されている特徴点情報３２から顔領域の情報(位置及びサイズ)を抽出し、抽出した顔領域の情報を色ヒストグラム認証部１８へ通知し、ステップ９２に戻る。
【００６２】
これにより、以降の処理では、ステップ９４及びステップ９８の判定が各々肯定されることで、ステップ９２〜ステップ１００が繰り返され、色ヒストグラム認証による継続認証が再開されることになる。
【００６３】
〔第２実施形態〕
次に開示の技術の第２実施形態について説明する。なお、第１実施形態と同一の部分には同一の符号を付して説明を省略し、以下、第１実施形態と異なる部分のみ説明する。
【００６４】
図１１には、本第２実施形態に係る認証装置１０が示されている。本第２実施形態は、継続認証装置１４が、過去画像保存部３６と、過去画像情報３８を記憶するための第３記憶部４０を更に備えている点で第１実施形態と相違している。過去画像保存部３６は、画像取得部１６によって画像が取得される度に、取得された画像の画像データを、過去画像情報３８として第３記憶部４０に記憶させる。また、本第２実施形態では、第３記憶部４０に過去画像情報３８として記憶可能な画像の数には上限値が設定されている。過去画像保存部３６は、第３記憶部４０に記憶されている画像の数が上限値に達すると、新たな画像の画像データを第３記憶部４０に記憶させるにあたり、記憶されている画像のうち、記憶時期が最も古い画像の画像データを第３記憶部４０から削除する。
【００６５】
また、本第２実施形態に係る認証装置１０が、図２に示すコンピュータ４２で実現される場合、本第２実施形態に係る継続認証プログラム６２は、図２に破線で示すように、過去画像保存プロセス７６を更に有する。この場合、ＣＰＵ４４は、過去画像保存プロセス７６を実行することで、図１１に示す過去画像保存部３６として動作する。また、本第２実施形態に係る認証装置１０が、図２に示すコンピュータ４２で実現される場合、記憶部４８には、過去画像情報３８が更に記憶される。この場合、過去画像情報３８を記憶する記憶部４８は第３記憶部４０としても用いられ、メモリ４６の一部領域は過去画像情報３８の記憶領域として用いられる。
【００６６】
次に本第２実施形態の作用を説明する。第１実施形態で説明した継続認証処理(図４)では、色ヒストグラム認証による継続認証を行っている期間に画像の輝度の急激な変化が生じた場合、認証方式に切替にあたって最新の顔領域の情報をオプティカルフロー認証部２０へ通知していた(ステップ１０８)。しかし、画像の輝度変化が生じ始めてから、色ヒストグラムの類似度が閾値未満になり、画像の輝度の急激な変化が生じたことが検出される迄には若干のタイムラグがある。このため、オプティカルフロー認証部２０に対しても、画像の輝度変化が生じ始めることで色ヒストグラム認証部１８の処理精度が低下し始めた後に検出された低精度の顔領域の情報が通知される可能性がある(図１３(Ａ)も参照)。この場合、オプティカルフロー認証も影響を受けて処理精度が低下することが生じ得る。
【００６７】
本第２実施形態は上記を考慮したものであり、以下、本第２実施形態に係る継続認証処理について、図１２を参照し、第１実施形態で説明した継続認証処理(図４)と異なる部分についてのみ説明する。
【００６８】
本第２実施形態に係る継続認証処理では、ステップ９２で画像取得部１６が画像を取得した後、ステップ１８０において、過去画像保存部３６により、画像取得部１６によって取得された画像の画像データが過去画像情報３８として第３記憶部４０に記憶される。また、継続認証の認証方式を色ヒストグラム認証からオプティカルフロー認証へ切替える場合(ステップ１０４の判定が肯定された場合)、ステップ１０６で認証切替判定部２２が継続認証の動作モードを切替えた後、ステップ１８２へ移行する。
【００６９】
本第２実施形態では、色ヒストグラム認証部１８がｘ＋１フレーム(但しｘ≧１)分の画像の色ヒストグラム情報２８を第１記憶部３０に記憶させている。ステップ１８２において、通知部２４は、輝度変化が検出された時点の最新の画像よりもｘフレーム前の画像の色ヒストグラム情報２８に含まれる顔領域の情報を第１記憶部３０から抽出し、抽出した顔領域の情報をオプティカルフロー認証部２０に通知する。
【００７０】
これにより、オプティカルフロー認証部２０では、最新の画像よりｘフレーム前の画像の顔領域の情報と、第３記憶部４０に記憶された過去画像情報３８のうち最新の画像よりｘフレーム前の画像の画像データと、に基づいてオプティカルフロー認証を行う。このように、色ヒストグラム認証からオプティカルフロー認証への認証方式の切替えにあたり、図１３(Ｂ)に(1)として示すように、色ヒストグラム認証部１８の処理精度が低下する前の情報を用いてオプティカルフロー認証が開始される。従って、前述したタイムラグの影響でオプティカルフロー認証の処理精度が低下することを回避することができる。
【００７１】
なお、上記では色ヒストグラム認証からオプティカルフロー認証への切替えにあたり、最新の画像よりｘフレーム前の画像の情報(顔領域の情報及び画像データ)を用いてオプティカルフロー認証を開始しているが、これに限られるものではない。例えば図１４に示すように、輝度変化が検出された時点で、その時点までの色ヒストグラムの類似度の推移を参照し、輝度変化の影響で色ヒストグラムの類似度が低下し始めるよりも前の画像の情報を用いてオプティカルフロー認証を開始してもよい。すなわち、輝度変化が色ヒストグラムの類似度に影響を及ぼし始めるタイミングに応じて、フレーム数ｘを動的に変更するようにしてもよい。これにより、オプティカルフロー認証の処理精度の低下を、より確実に回避することができる。
【００７２】
〔第３実施形態〕
次に開示の技術の第３実施形態について説明する。なお、本第３実施形態は、第２実施形態と同一の構成であるので、各部分に同一の符号を付して構成の説明を省略し、以下、本第３実施形態の作用を説明する。
【００７３】
図１３(Ａ),(Ｂ)に示すように、先に説明した第１及び第２実施形態では、オプティカルフロー認証の実行中に画像の急激な輝度変化が収まったことを検知すると、オプティカルフロー認証を停止させると同時に色ヒストグラム認証を再開させていた。しかし、色ヒストグラム認証を再開した直後に画像の急激な輝度変化が再び発生したとすると、継続認証が途切れてしまう懸念があった。上記のように画像の急激な輝度変化が頻繁に生ずる状態としては、例えば、携帯型の情報機器を電車や自動車等の移動体の車内で利用しているために、照明条件が刻々と変わる状況等が挙げられる。
【００７４】
本第３実施形態は上記を考慮したものであり、以下、本第３実施形態に係る継続認証処理について、図１５を参照し、第２実施形態で説明した継続認証処理(図１２)と異なる部分についてのみ説明する。
【００７５】
本第３実施形態に係る継続認証処理では、ステップ１８０で画像データが第３記憶部４０に記憶された後、次のステップ１８４において、認証切替判定部２２は、継続認証の動作モードが色ヒストグラム・オプティカルフロー併用認証モードか否か判定される。ステップ１８４の判定が否定された場合はステップ９４へ移行し、第２実施形態と同様にステップ９４以降の処理が行われる。
【００７６】
また本第３実施形態に係る継続認証処理では、オプティカルフロー認証による継続認証を行っている状態でステップ１１６の判定が肯定されると(画像の急激な輝度変化が収まったことでオプティカルフロー認証を終了する場合)、ステップ１１８へ移行する。ステップ１８８において、認証切替判定部２２は、継続認証の動作モードをオプティカルフロー認証モードから色ヒストグラム・オプティカルフロー併用認証モードへ切替える。これにより、前述のステップ１８４の判定が肯定されてステップ１８６へ移行し、併用認証モード処理が行われた後にステップ９２に戻る。
【００７７】
この併用認証モード処理について、図１６を参照して説明すると、まずステップ１９０において、色ヒストグラム認証部１８は色ヒストグラム認証処理(図７も参照)を行う。次のステップ１９２において、認証切替判定部２２は、色ヒストグラム認証部１８による色ヒストグラム認証処理(ステップ１９０)で得られた色ヒストグラムの類似度が閾値以上か否かを判定することで、色ヒストグラム認証を継続するか否か判定する。色ヒストグラムの類似度が閾値以上の場合には、ステップ１９２の判定が肯定されてステップ１９４へ移行し、認証切替判定部２２は、色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続しているか否か判定する。
【００７８】
ステップ１９４の判定が否定された場合はステップ１９６へ移行し、ステップ１９６において、オプティカルフロー認証部２０はオプティカルフロー認証処理(図８も参照)を行う。次のステップ１９８において、認証切替判定部２２は、継続認証の動作モードとして色ヒストグラム・オプティカルフロー併用認証モードを設定することで、当該モードを継続させ、併用認証モード処理を一旦終了する。これにより、例として図１７に示すように、色ヒストグラム認証で得られた色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続する迄の間は、色ヒストグラム認証とオプティカルフロー認証が並列に各々実行される。
【００７９】
色ヒストグラムの類似度が閾値以上の状態が一定期間以上維持されると、ステップ１９４の判定が肯定されてステップ２００へ移行する。ステップ２００において、認証切替判定部２２は、オプティカルフロー認証部２０によるオプティカルフロー認証を停止させると共に、継続認証の動作モードを色ヒストグラム・オプティカルフロー併用認証モードから色ヒストグラム認証モードへ切替える。このように、画像の急激な輝度変化が収まったと判定した場合、色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続した後にオプティカルフロー認証を終了するので、処理負荷が過大となったり継続認証の安定性が低下することを回避することができる。
【００８０】
また、色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続する前に、色ヒストグラムの類似度が閾値未満になった場合は、ステップ１９４の判定が肯定される前にステップ１９２の判定が否定されることでステップ２０２へ移行する。ステップ２０２において、通知部２４は、第２記憶部３４に記憶されている特徴点情報３２から顔領域の情報(位置及びサイズ)を抽出し、抽出した顔領域の情報を色ヒストグラム認証部１８へ通知する。次のステップ２０４において、色ヒストグラム認証部１８は、通知部２４から通知された顔領域の情報に基づき、利用者の顔領域及び体領域の色ヒストグラムを各々生成する。
【００８１】
またステップ２０６において、色ヒストグラム認証部１８は、ステップ２０４で生成した利用者の顔領域及び体領域の色ヒストグラムを基準色ヒストグラムとして第１記憶部３０に記憶させる。これにより、色ヒストグラム情報２８の一部として第１記憶部３０に記憶されている基準色ヒストグラムが更新される。そしてステップ２０８において、認証切替判定部２２は、継続認証の動作モードとして色ヒストグラム・オプティカルフロー併用認証モードを設定することで、当該モードを継続させる。
【００８２】
このように、色ヒストグラム認証とオプティカルフロー認証が並列に各々実行されている期間に、照明条件の変化等によって画像に急激な輝度の変化が生じ、これに伴って色ヒストグラムの類似度が低下した場合には、基準色ヒストグラムが更新される。これにより、図１８に示すように、色ヒストグラムの類似度が回復し、これに伴い色ヒストグラム認証の精度も回復される。そして、その後、色ヒストグラムの類似度が閾値以上の状態が一定期間以上継続すると、前述のように、オプティカルフロー認証が停止され、継続認証の動作モードが色ヒストグラム認証モードへ切替えされる。これにより、オプティカルフロー認証の頻繁な停止・再開が抑制されるので、画像の急激な輝度変化が頻繁に発生した場合に継続認証が途切れてしまうことを回避することができる。
【００８３】
なお、上記では継続認証処理を開始する際に、顔検出部２６によって抽出された顔領域と、当該顔領域から特定される体領域の色ヒストグラムを基準ヒストグラムとして登録する態様を説明したが、これに限定されるものではない。例えばログイン認証装置１２が、ログイン認証として、利用者の顔が予め登録された正規の利用者の顔に対応しているか否かを判定する顔認証を行う構成であれば、当該顔認証での顔領域の抽出結果に基づいて基準色ヒストグラムの登録を行うようにしてもよい。この場合、顔検出部２６を省略することで継続認証装置１４の構成を簡単にすることが可能となる。
【００８４】
また、上記では、ログイン認証完了後に顔検出を行って顔領域が検出された直後に基準色ヒストグラムの登録を行っているが、これに限定されるものではない。例えば、色ヒストグラム認証による継続認証を行っている途中で、定期的に、或いは、日射角度の変化等に起因する画像の緩やかな輝度変化が検出された等のタイミングで、顔領域の検出及び基準色ヒストグラムの更新を行うようにしてもよい。また、基準色ヒストグラムを登録する部位についても、利用者の顔領域及び体領域に限定されるものではなく、例えば顔領域及び体領域の一方のみを登録してもよいし、顔や体の一部分の色ヒストグラムのみ登録するようにしてもよい。
【００８５】
また、上記ではログイン認証の後、ログイン認証を経た同一の利用者が情報機器を継続的に使用しているか否かを認証する継続認証に開示の技術を適用した態様を説明したが、開示の技術は上記の態様に限定されるものではない。例えば、利用者が情報機器を利用している間のみ映像(動画像)や音声の再生やアプリケーション・プログラムの実行を行い、利用者が情報機器の設置場所から離れている間は映像等の再生等を停止させる態様において、利用者の在／不在の検知に適用してもよい。
【００８６】
また、上記では継続認証プログラム６２が記憶部４８に予め記憶（インストール）されている態様を説明したが、継続認証プログラム６２は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。
【００８７】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【符号の説明】
【００８８】
１０  認証装置
１４  継続認証装置
１６  画像取得部
１８  色ヒストグラム認証部
２０  オプティカルフロー認証部
２２  認証切替判定部
２４  通知部
２６  顔検出部
３０  第１記憶部
３４  第２記憶部
３６  過去画像保存部
４０  第３記憶部
４２  コンピュータ
４４  ＣＰＵ
４８  記憶部
５６  カメラ
【図１】
0005935308.tif 000002
【図２】
0005935308.tif 000003
【図３】
0005935308.tif 000004
【図４】
0005935308.tif 000005
【図５】
0005935308.tif 000006
【図６】
0005935308.tif 000007
【図７】
0005935308.tif 000008
【図８】
0005935308.tif 000009
【図９】
0005935308.tif 000010
【図１０】
0005935308.tif 000011
【図１１】
0005935308.tif 000012
【図１２】
0005935308.tif 000013
【図１３】
0005935308.tif 000014
【図１４】
0005935308.tif 000015
【図１５】
0005935308.tif 000016
【図１６】
0005935308.tif 000017
【図１７】
0005935308.tif 000018
【図１８】
0005935308.tif 000019