(57)【要約】【課題】  ユーザの認証精度を向上させることができるユーザ検知装置、ユーザ検知方法、およびユーザ検知プログラムを提供する。【解決手段】  ユーザ検知装置は、経時的に画像を撮影する撮影装置と、第１基準データを用いて、撮影装置が撮影する撮影画像に含まれるユーザを経時的に検知する検知部と、検知部によって用いられている第１基準データを第２基準データに切り換える切換部と、を備える。ユーザ検知方法は、経時的に画像を撮影する撮影ステップと、第１基準データを用いて、撮影ステップにおいて撮影される撮影画像に含まれるユーザを経時的に検知する検知ステップと、検知ステップにおいて用いられている第１基準データを第２基準データに切り換える切換ステップと、を含む。【選択図】  図２
2012221002.tif 000002
【特許請求の範囲】
【請求項１】
経時的に画像を撮影する撮影装置と、
第１基準データを用いて、前記撮影装置が撮影する撮影画像に含まれるユーザを経時的に検知する検知部と、
前記検知部によって用いられている前記第１基準データを第２基準データに切り換える切換部と、を備えることを特徴とするユーザ検知装置。
【請求項２】
前記切換部は、前記検知部による検知の信頼度が所定値以下になった場合に、前記第１基準データを前記第２基準データに切り換えることを特徴とする請求項１記載のユーザ検知装置。
【請求項３】
前記信頼度とは、前記第１基準データと、前記検知部が検知するデータとの類似度であることを特徴とする請求項２記載のユーザ検知装置。
【請求項４】
前記検知部は、前記第１基準データを基準とし、前記撮影画像から前記ユーザをトラッキングにより検知することを特徴とする請求項１〜３のいずれか一項に記載のユーザ検知装置。
【請求項５】
前記検知部は、前記撮影画像においてユーザが位置する領域をユーザ領域として特定し、前記ユーザ領域と、前記第１基準画像の対応する領域の画像との比較に基づいて、前記ユーザを経時的に検知することを特徴とする請求項１〜３のいずれか一項に記載のユーザ検知装置。
【請求項６】
前記第１基準データは、前記撮影装置によって所定のタイミングで撮影された第１静止画像であり、
前記第２基準データは、前記第１静止画像の特定の領域を、前記撮影装置によって前記第１静止画像よりも後に撮影された第２静止画像の対応する領域で置き換えたものであることを特徴とする請求項５記載のユーザ検知装置。
【請求項７】
経時的に画像を撮影する撮影ステップと、
第１基準データを用いて、前記撮影ステップにおいて撮影される撮影画像に含まれるユーザを経時的に検知する検知ステップと、
前記検知ステップにおいて用いられている前記第１基準データを第２基準データに切り換える切換ステップと、を含むことを特徴とするユーザ検知方法。
【請求項８】
コンピュータに、
経時的に画像を撮影する撮影ステップと、
第１基準データを用いて、前記撮影ステップにおいて撮影される撮影画像に含まれるユーザを経時的に検知する検知ステップと、
前記検知ステップにおいて用いられている前記第１基準データを第２基準データに切り換える切換ステップと、を実行させることを特徴とするユーザ検知プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザ検知装置、ユーザ検知方法、およびユーザ検知プログラムに関する。
【背景技術】
【０００２】
近年の情報機器の急速な普及とともに、情報機器内に多種多様な情報が保持されるようになっている。これら情報を守るセキュリティ技術は極めて重要な課題であり、様々な認証技術（パスワード認証、生体認証、カード認証など）が提案され、実用化されている。しかしながら、一般的に、これら認証技術のほとんどは、ログイン時のみしか認証を実施しないため、ログイン後の不正ユーザの使用を検知できない。
【０００３】
この課題を解決するため、ログイン後もユーザを継続的に認証する「継続認証技術」が提案されている（非特許文献１〜３を参照）。非特許文献４では、ユーザのヒストグラムを用いて継続認証を実現する方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【非特許文献１】F. Monrose and A. D. Rubin, “Keystroke dynamics as biometrics for authentication,” Future Generation Comput. Syst., vol. 16, pp. 351-359, 2000.
【非特許文献２】A. Altinok and M. Turk, “Temporal integration for continuous multimodal biometrics,” in Proc. Workshop on Multimodal User Authentication, 2003, pp. 131-137.
【非特許文献３】T. Sim, S. Zhang, R. Janakiraman, and S. Kumar, “Continuous verification using multimodal biometrics,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 29, no. 4, pp. 687-700, Apr. 2007.
【非特許文献４】K. Niinuma, U. Park, A. K. Jain, "Soft Biometric Traits For Continuous User Authentication", IEEE Transactions on Information Forensics and Security (TIFS), Vol. 5, No. 4, pp. 771-780, 2, 2010.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１〜４の技術では、ユーザの移動量が大きい場合、環境が変化した場合などにおいて、ユーザの認証精度が低下することがある。
【０００６】
本発明は上記課題に鑑みなされたものであり、ユーザの認証精度を向上させることができるユーザ検知装置、ユーザ検知方法、およびユーザ検知プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、明細書開示のユーザ検知装置は、経時的に画像を撮影する撮影装置と、第１基準データを用いて、前記撮影装置が撮影する撮影画像に含まれるユーザを経時的に検知する検知部と、前記検知部によって用いられている前記第１基準データを第２基準データに切り換える切換部と、を備えるものである。
【０００８】
上記課題を解決するために、明細書開示のユーザ検知方法は、経時的に画像を撮影する撮影ステップと、第１基準データを用いて、前記撮影ステップにおいて撮影される撮影画像に含まれるユーザを経時的に検知する検知ステップと、前記検知ステップにおいて用いられている前記第１基準データを第２基準データに切り換える切換ステップと、を含むものである。
【０００９】
上記課題を解決するために、明細書開示のユーザ検知プログラムは、コンピュータに、経時的に画像を撮影する撮影ステップと、第１基準データを用いて、前記撮影ステップにおいて撮影される撮影画像に含まれるユーザを経時的に検知する検知ステップと、前記検知ステップにおいて用いられている前記第１基準データを第２基準データに切り換える切換ステップと、を実行させるものである。
【発明の効果】
【００１０】
明細書開示のユーザ検知装置、ユーザ検知方法、およびユーザ検知プログラムによれば、ユーザの認証精度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】（ａ）は実施例１に係るユーザ検知装置のハードウェア構成を説明するためのブロック図であり、（ｂ）は撮影装置の一例を説明するための図である。
【図２】（ａ）は基準データ登録処理の際に実現される各機能のブロック図であり、（ｂ）は基準データをテーブルとして表わしたものである。
【図３】ユーザ登録処理の際に実行されるフローチャートの一例を説明するための図である。
【図４】継続認証処理の際に実現される各機能のブロック図である。
【図５】継続認証処理の際に実行されるフローチャートの一例を説明するための図である。
【図６】切換必要性判定処理の詳細を表すフローチャートである。
【図７】ユーザデータの信頼度の経時変化の一例を説明するための図である。
【図８】切換可否判定処理の詳細を表すフローチャートである。
【図９】実施例２に係る継続認証処理の際に実現される各機能のブロック図である。
【図１０】継続認証処理の際に実行されるフローチャートの一例を説明するための図である。
【図１１】実施例３に係る継続認証処理の際に実現される各機能のブロック図である。
【図１２】実施例３に係る継続認証処理の際に実行されるフローチャートの一例を説明するための図である。
【図１３】背景の更新処理の際に実行されるフローチャートの一例を説明するための図である。
【図１４】（ａ）〜（ｉ）は背景の更新処理で更新される背景画像を説明するための図である。
【図１５】画像差分の算出の際に実行されるフローチャートの一例を説明するための図である。
【図１６】（ａ）〜（ｅ）は画像差分の算出の際に選択される背景画像を説明するための図である。
【図１７】実施例４に係るユーザ検知装置のハードウェア構成を説明するためのブロック図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しつつ、実施例について説明する。
【実施例１】
【００１３】
図１（ａ）は、実施例１に係るユーザ検知装置１００のハードウェア構成を説明するためのブロック図である。図１（ａ）を参照して、ユーザ検知装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、記憶装置１０３、撮影装置１０４などを備える。これらの各機器は、バスなどによって接続されている。
【００１４】
ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１は、中央演算処理装置である。ＣＰＵ１０１は、１以上のコアを含む。ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１０２は、ＣＰＵ１０１が実行するプログラム、ＣＰＵ１０１が処理するデータなどを一時的に記憶する揮発性メモリである。
【００１５】
記憶装置１０３は、不揮発性記憶装置である。記憶装置１０３として、例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリなどのソリッド・ステート・ドライブ（ＳＳＤ）、ハードディスクドライブに駆動されるハードディスクなどを用いることができる。記憶装置１０３は、ユーザ検知プログラムを記憶している。
【００１６】
撮影装置１０４は、経時的に画像を撮影する装置であり、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラなどである。ここで、「経時的に撮影する」とは、所定の時間間隔で、または、連続して画像を撮影することを意味する。図１（ｂ）は、撮影装置１０４の一例を説明するための図である。図１（ｂ）を参照して、撮影装置１０４は、ユーザ検知装置１００が組み込まれたパーソナルコンピュータなどに設けられ、該パーソナルコンピュータのユーザ、該ユーザの背景などを撮影する。
【００１７】
記憶装置１０３に記憶されているユーザ検知プログラムは、実行可能にＲＡＭ１０２に展開される。ＣＰＵ１０１は、ＲＡＭ１０２に展開されたユーザ検知プログラムを実行する。それにより、ユーザ検知装置１００による各処理が実行される。ユーザ検知プログラムが実行されることによって、基準データ登録処理、継続認証処理などが実行される。なお、継続認証処理には、基準データ切換処理などが含まれる。また、基準データ切換処理には、切換必要性判定処理および切換可否判定処理が含まれる。
【００１８】
本実施例に係る基準データ登録処理は、撮影装置１０４によって撮影されるユーザの一部または全部に係るユーザデータを基準データとして登録する処理である。ユーザデータには、ユーザの体の部位の他に、衣服なども含まれる。基準データ登録処理は、新規ユーザの基準データを登録する場合、登録されている基準データを他の基準データで更新する場合などに実行される。継続認証処理とは、撮影装置１０４によって撮影されるユーザが基準データに係るユーザと同一ユーザであるか否かを継続して判定する処理である。すなわち、継続認証処理とは、登録されている基準データを用いて、撮影装置１０４によって撮影されるユーザを継続して認証する処理である。
【００１９】
基準データ切換処理とは、継続認証処理で用いられている基準データ（第１基準データ）を他の基準データ（第２基準データ）に切り換える処理である。切換必要性判定処理とは、継続認証処理で用いられている基準データ（第１基準データ）を他の基準データ（第２基準データ）に切り換える必要があるか否かを判定する処理である。切換可否判定処理とは、継続認証処理で用いられている基準データ（第１基準データ）を他の基準データ（第２基準データ）に切り換えることができるか否かを判定する処理である。以下、各処理の詳細について説明する。
【００２０】
（基準データ登録処理）
図２（ａ）は、基準データ登録処理の際に実現される各機能のブロック図である。図２（ａ）を参照して、ユーザ検知装置１００は、基準データ登録処理において、画像取得部１１、ユーザ検出部１２、位置特定部１３、登録部１４、データベース１５として機能する。データベース１５は、記憶装置１０３に記憶される。図２（ｂ）は、データベース１５に登録される基準データをテーブルとして表わしたものである。図３は、ユーザ登録処理の際に実行されるフローチャートの一例を説明するための図である。以下、図２（ａ）、図２（ｂ）および図３を参照しつつ、基準データ登録処理の一例について説明する。
【００２１】
まず、画像取得部１１は、撮影装置１０４による撮影によって得られた撮影画像を取得する（ステップＳ１）。次に、ユーザ検出部１２は、ステップＳ１で取得した撮影画像を用いて、任意のユーザ（任意の人物）を検出するためのユーザ検出処理を実行する（ステップＳ２）。次に、ユーザ検出部１２は、ユーザ検出処理の実行によって任意のユーザが検出されたか否かを判定する（ステップＳ３）。
【００２２】
任意のユーザの検出には、任意の方法を用いることができる。例えば、顔検出処理を用いて任意のユーザの顔を検出することができる。ユーザの顔検出には、任意の方法を用いることができ、一例としてHaar Classifierを用いることができる。Haar Classifierは、P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” in Proc. IEEE Computer Vision and Pattern Recognition, pp. I-511 - I-518, 2001.などに記載されている。また、他の検出処理によって、ユーザの体を検出することができる。たとえば、顔下の領域を体として検出することができる。ユーザの検出される部位は、顔と体との組み合わせに限定されるものではない。例えば、顔のみ、体のみ、顔や体の一部、衣服などが検出されてもよい。本実施例においては、ユーザ検出部１２は、任意のユーザの顔および体を検出することとする。
【００２３】
ステップＳ３において「Ｎｏ」と判定された場合、ステップＳ１〜Ｓ３が再度実行される。ステップＳ３において「Ｙｅｓ」と判定された場合、位置特定部１３は、ステップＳ２で検出されたユーザの顔位置および体位置を特定する（ステップＳ４）。体位置の特定には、任意の方法を用いることができ、一例として、顔下の領域を体位置とする方法（非特許文献４）などを用いることができる。
【００２４】
次に、登録部１４は、検出された顔位置および体位置のそれぞれに対して、ヒストグラムを算出し、基準データとしてデータベース１５に登録する（ステップＳ５）。算出するヒストグラムには、例えばＲＧＢ色空間を用いることができる。以下の説明においては、顔位置のヒストグラムを顔データと称し、体位置のヒストグラムを体データと称する。フローチャートは、ステップＳ５の実行後に終了する。
【００２５】
図３の例では、任意のユーザが検出されると基準データがすぐに登録されているが、それに限られない。たとえば、基準データは、ログイン認証完了後に登録されてもよく、任意のユーザが安定して検出される場合（顔が複数回連続して検出される、顔位置が複数回ほぼ同じ位置にある、など）に登録されてもよい。また、登録される基準データはヒストグラムに限定されるものではなく、顔や体のパターン情報（紋様情報など）であってもよい。
【００２６】
（継続認証処理）
図４は、継続認証処理の際に実現される各機能のブロック図である。ユーザ検知装置１００は、継続認証処理時において、画像取得部１１、ユーザ検出部１２、位置特定部１３、データベース１５、更新判定部１６、可否判定部１７、更新部１８、総合信頼度算出部１９、および認証部２０として機能する。図５は、継続認証処理の際に実行されるフローチャートの一例を説明するための図である。以下、図４および図５を参照しつつ、継続認証処理の一例について説明する。
【００２７】
まず、画像取得部１１は、撮影装置１０４による撮影によって得られた撮影画像を取得する（ステップＳ１１）。次に、位置特定部１３は、データベース１５に登録された基準データと、ステップＳ１１で得られた撮影画像とを用いて、ユーザの顔のトラッキングを行う（ステップＳ１２）。なお、トラッキングには、任意の方法を用いることができる。一例として、D. Comaniciu, V. Ramesh, and P. Meer, “Kernel-based object tracking,”  IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 25, no. 5,  pp. 564-577, 2003.に記載の方法を用いることができる。
【００２８】
ステップＳ１２の実行後、顔に関する基準データ切換処理が実行される。まず、更新判定部１６は、切換必要性判定処理を実行する。本実施例における基準データの切換とは、登録されている基準データを更新することによって切り換えることである。
【００２９】
まず、更新判定部１６は、顔データの更新が必要か否かを判定する（ステップＳ１３）。ステップＳ１３において「Ｙｅｓ」と判定された場合、可否判定部１７は、切換可否判定処理を実行する。具体的には、可否判定部１７は、顔データの更新が可能か否かを判定する（ステップＳ１４）。ステップＳ１４において「Ｙｅｓ」と判定された場合、更新部１８は、データベース１５に登録されている基準データの顔データを、ステップＳ１１で得られた撮影画像に基づいてユーザ検出部１２が検出した顔データで更新する（ステップＳ１５）。なお、上記の基準データ登録処理と同様の処理を実行することによって、顔データを更新することができる。
【００３０】
ステップＳ１３，Ｓ１４で「Ｎｏ」と判定された場合またはステップＳ１５の実行後、位置特定部１３は、データベース１５に登録された基準データと、ステップＳ１１で得られた撮影画像とを用いて、ユーザの体のトラッキングを行う（ステップＳ１６）。次に、体に関する基準データ切換処理が実行される。まず、更新判定部１６は、切換必要性判定処理を実行する。具体的には、更新判定部１６は、体データの更新が必要か否かを判定する（ステップＳ１７）。
【００３１】
ステップＳ１７で「Ｙｅｓ」と判定された場合、可否判定部１７は、切換可否判定処理を実行する。具体的には、可否判定部１７は、体データの更新が可能か否かを判定する（ステップＳ１８）。ステップＳ１８で「Ｙｅｓ」と判定された場合、更新部１８は、データベース１５に登録されている体データを、ステップＳ１１で得られた撮影画像に基づいてユーザ検出部１２が検出した体データで更新する（ステップＳ１９）。なお、上記の基準データ登録処理と同様の処理を実行することによって、基準データのうち、体データを更新することができる。
【００３２】
ステップＳ１７，Ｓ１８で「Ｎｏ」と判定された場合またはステップＳ１９の実行後、総合信頼度算出部１９は、トラッキングされている顔および体の両方を反映させた総合信頼度を算出する（ステップＳ２０）。総合信頼度については、後述する。次に、認証部２０は、ステップＳ２０で算出された総合信頼度がしきい値よりも大きいか否かを判定する（ステップＳ２１）。ステップＳ２１で「Ｙｅｓ」と判定された場合、認証部２０は、トラッキングの対象となっているユーザがデータベース１５に登録されている基準データに係るユーザであると認証する（ステップＳ２２）。例えば、認証部２０は、ユーザが在席していると判定する。ステップＳ２２の実行後、ステップＳ１１から再度実行される。
【００３３】
ステップＳ２１で「Ｎｏ」と判定された場合、認証部２０は、トラッキングの対象となっているユーザがデータベース１５に登録されている基準データに係るユーザではないと判定し、その判定結果を出力する（ステップＳ２３）。例えば、認証部２０は、ユーザが離席したと判定し、その判定結果を出力する。その後、フローチャートの実行が終了する。
【００３４】
図６は、図５のステップＳ１３，Ｓ１７（切換必要性判定処理）の詳細を表すフローチャートである。ステップＳ１３，Ｓ１７の実行の際に、更新判定部１６は、基準データとトラッキング後のデータとの間の信頼度がしきい値以下になっているか否かを判定する（ステップＳ３１）。なお、ここでいう信頼度とは、トラッキング時に算出される値のことで、一般に基準データとトラッキング後におけるデータとの類似度のことである。当該類似度が高ければ、高い信頼度が算出される。なお、当該信頼度は、ヒストグラム、パターン情報などに適用することができる。当該信頼度は、ステップＳ１３の実行時には、ステップＳ１２のトラッキングで検出された顔データと基準データの顔データとの間の信頼度である。当該信頼度は、ステップＳ１７の実行時には、ステップＳ１６のトラッキングで検出された体データと基準データの体データとの間の信頼度である。
【００３５】
ステップＳ３１において「Ｙｅｓ」と判定された場合には、更新判定部１６は、登録されている基準データの更新の必要性が有ると判定する（ステップＳ３２）。ステップＳ３１において「Ｎｏ」と判定された場合には、更新判定部１６は、登録されている基準データの更新の必要性がないと判定する（ステップＳ３３）。なお、ステップＳ３２が実行された場合には、図５のステップＳ１４またはステップＳ１８が実行される。ステップＳ３３が実行された場合には、図５のステップＳ１６またはステップＳ２０が実行される。図５のフローチャートによれば、トラッキング後のデータと基準データとの間の信頼度が所定値以上に維持される。
【００３６】
図７は、トラッキング後のデータと基準データとの間の信頼度の経時変化の一例を説明するための図である。図において、横軸は経過時間を示し、縦軸は信頼度を示す。所定の条件が成立すると基準データが更新されることから、トラッキング後のデータと基準データとの間の信頼度は、高い値を維持する。したがって、ユーザの認証精度を向上させることができる。
【００３７】
図８は、図５のステップＳ１４，Ｓ１８（切換可否判定処理）の詳細を表すフローチャートである。可否判定部１７は、ステップＳ１２，Ｓ１６のトラッキングで検出されたユーザの特定位置付近（所定距離以内）において、ユーザ検出部１２によって任意のユーザ（任意の人物）が検出されたか否かを判定する（ステップＳ４１）。ステップＳ１４の実行の際には、可否判定部１７は、ステップＳ１２のトラッキングで検出された顔の特定位置付近（所定距離以内）において、ユーザ検出部１２によって顔が検出されたか否かを判定する。ステップＳ１８の実行の際には、可否判定部１７は、ステップＳ１６のトラッキングで検出された体の特定位置付近（所定距離以内）において、ユーザ検出部１２によって体が検出されたか否かを判定する。
【００３８】
ステップＳ４１で「Ｙｅｓ」と判定された場合、トラッキングにおける過去複数フレームにわたって、ユーザの特定位置がしきい値以内（所定距離以内）であるか否かを判定する（ステップＳ４２）。ステップＳ１４の実行の際には、可否判定部１７は、ステップＳ１２のトラッキングで検出された顔の特定位置が複数フレームにわたってしきい値以内であるか否かを判定する。ステップＳ１８の実行の際には、可否判定部１７は、ステップＳ１６のトラッキングで検出された体の特定位置が複数フレームにわたってしきい値以内であるか否かを判定する。
【００３９】
ステップＳ４２において「Ｙｅｓ」と判定された場合、可否判定部１７は、登録されている基準データの更新が可能であると判定する（ステップＳ４３）。ステップＳ４１またはステップＳ４２で「Ｎｏ」と判定された場合、可否判定部１７は、基準データの更新ができないと判定する（ステップＳ４４）。ステップＳ４３が実行された場合には、図５のステップＳ１５またはステップＳ１９が実行される。ステップＳ４４が実行された場合には、図５のステップＳ１６またはステップＳ２０が実行される。図８のフローチャートによれば、基準データの切換の可否が判定されてから基準データが切り換えられる。それにより、必要以上に基準データが切り換えられることが抑制される。その結果、ユーザの認証精度が向上する。
【００４０】
ここで、総合信頼度について説明する。総合信頼度とは、トラッキング後のデータと基準データとの間の総合的な信頼度のことであり、本実施例においては、顔および体の両方を反映させた信頼度のことである。例えば、顔の信頼度をＳｆａｃｅ、体の信頼度をＳｂｏｄｙとした場合、一例として、総合信頼度Ｓは、Ｓ＝Ｓｆａｃｅ・ｘ＋（１−ｘ）Ｓｂｏｄｙと表すことができる（０≦ｘ≦１）。例えば、この総合信頼度Ｓがしきい値ＴＨａを上回る場合に、ユーザが在席していると判定することができる。
【００４１】
または、総合信頼度を用いる代わりに、Ｓｆａｃｅ＞ＴＨｂ  ＆  Ｓｂｏｄｙ＞ＴＨｃのように、各信頼度がそれぞれしきい値を上回る場合に、ユーザが在席していると判定することができる。なお、この場合のしきい値ＴＨｂ，ＴＨｃは、切換必要性判定処理の際に用いたしきい値よりも小さいことが好ましい。
【００４２】
本実施例によれば、所定の条件が成立する場合に基準データが他の基準データに切り換えられるため、基準データを用いたユーザ検知精度が向上する。例えば、上記のように、ユーザの動作に応じて基準データが切り換えられる。それにより、ユーザの認証精度を向上させることができる。また、登録されている基準データの切換可否を判定することによって、基準データの無条件の更新が回避される。したがって、背景などのユーザではないデータがユーザに係るデータとして登録されてしまうことを回避することができる。
【００４３】
なお、図５のフローチャートにおいて、基準データが切り換えられた場合には、総合信頼度にかかわらずユーザが認証されていると判定してもよい。また、本実施例では、顔と体とを別々にトラッキングしているが、トラッキングの実施方法は本方式に限らない。例えば、顔の下が体であるとの前提で、トラッキングは顔に対して実施し、その後に顔の下領域を体として信頼度を算出してもよい。また、ユーザデータは、顔と体との組み合わせに限定されるものではない。顔のみ、体のみ、顔や体の一部、衣服などをユーザデータとして用いてもよい。その場合、総合信頼度として、各ユーザデータを反映させた信頼度を用いることができる。
【００４４】
本実施例においては、位置特定部１３が、第１基準データを用いて、撮影装置１０４が撮影する撮影画像に含まれるユーザを経時的に検知する検知部として機能する。また、更新部１８が、検知部によって用いられている第１基準データを第２基準データに切り換える切換部として機能する。また、ユーザ検出部１２および位置特定部１３が、撮影画像から第２基準データを生成するデータ生成部として機能する。また、データベース１５が、第１基準データを保持するデータ保持部として機能する。また、更新前の基準データが第１基準データであり、顔データまたは体データが更新された基準データが第２基準データである。
【実施例２】
【００４５】
実施例２においては、データベース１５に複数の基準データを登録し、それらを適時、切換、追加、または削除する例について説明する。図９は、実施例２に係る継続認証処理の際に実現される各機能のブロック図である。図９の例では、図４の各機能の他に、選択部２１の機能が付加されている。図１０は、継続認証処理の際に実行されるフローチャートの一例を説明するための図である。以下、図９および図１０を参照しつつ、実施例２に係る継続認証処理の一例について説明する。なお、継続認証処理に先立って、基準データ登録処理によって、データベース１５に複数のユーザデータが複数の基準データとして登録されているものとする。本実施例においては、顔データおよび体データを含む基準データがデータベース１５に複数登録されているものとする。
【００４６】
まず、画像取得部１１は、撮影装置１０４による撮影によって得られた撮影画像を取得する（ステップＳ５１）。次に、位置特定部１３は、データベース１５に登録された基準データと、ステップＳ１１で得られた撮影画像とを用いて、ユーザの顔のトラッキングを行う（ステップＳ５２）。この場合、位置特定部１３は、データベース１５に登録されている複数の基準データのうちのいずれかを用いる。
【００４７】
次に、更新判定部１６は、顔データの更新が必要か否かを判定する（ステップＳ５３）。ステップＳ５３において「Ｙｅｓ」と判定された場合、選択部２１は、顔データの切り換えが可能か否かを判定する（ステップＳ５４）。たとえば、選択部２１は、登録された顔データと、ステップＳ５１で得られた撮影画像のヒストグラムとの類似度がしきい値以上である場合に、基準データの切り換えが可能であると判定する。ステップＳ５４において「Ｙｅｓ」と判定された場合、選択部２１は、基準データを、切り換えが可能と判定された基準データに切り換える（ステップＳ５５）。
【００４８】
ステップＳ５４において「Ｎｏ」と判定された場合、可否判定部１７は、顔データの更新が可能か否かを判定する（ステップＳ５６）。ステップＳ５６において「Ｙｅｓ」と判定された場合、更新部１８は、基準データの顔データを、ステップＳ５１で得られた撮影画像に基づいてユーザ検出部１２および位置特定部１３が検出した顔データで更新する（ステップＳ５７）。なお、実施例１の基準データ登録処理と同様の処理を実行することによって、基準データのうち顔データを更新することができる。
【００４９】
ステップＳ５３，Ｓ５６で「Ｎｏ」と判定された場合またはステップＳ５５，Ｓ５７の実行後、位置特定部１３は、現時点で用いられている基準データと、ステップＳ５１で得られた撮影画像とを用いて、ユーザの体のトラッキングを行う（ステップＳ５８）。次に、更新判定部１６は、体データの更新が必要か否かを判定する（ステップＳ５９）。
【００５０】
ステップＳ５９において「Ｙｅｓ」と判定された場合、選択部２１は、体データの切り換えが可能か否かを判定する（ステップＳ６０）。たとえば、選択部２１は、登録された体データと、ステップＳ５１で得られた撮影画像のヒストグラムとの類似度がしきい値以上である場合に、基準データの切り換えが可能であると判定する。ステップＳ６０において「Ｙｅｓ」と判定された場合、選択部２１は、基準データを、切り換えが可能と判定された基準データに切り換える（ステップＳ６１）。
【００５１】
ステップＳ６０において「Ｎｏ」と判定された場合、可否判定部１７は、体データの更新が可能か否かを判定する（ステップＳ６２）。ステップＳ６２において「Ｙｅｓ」と判定された場合、更新部１８は、基準データの体データを、ステップＳ５１で得られた撮影画像に基づいてユーザ検出部１２および位置特定部１３が検出した体データで更新する（ステップＳ６３）。なお、実施例１の基準データ登録処理と同様の処理を実行することによって、基準データのうち体データを更新することができる。
【００５２】
ステップＳ５９，Ｓ６２で「Ｎｏ」と判定された場合またはステップＳ６１，Ｓ６３の実行後、総合信頼度算出部１９は、トラッキングされている顔および体の両方を反映させた総合信頼度を算出する（ステップＳ６４）。次に、認証部２０は、ステップＳ６４で算出された総合信頼度がしきい値よりも大きいか否かを判定する（ステップＳ６５）。ステップＳ６５で「Ｙｅｓ」と判定された場合、認証部２０は、トラッキングの対象となっているユーザが、現時点で用いられている基準データに係るユーザであると判定する（ステップＳ６６）例えば、認証部２０は、ユーザが在席していると判定する。ステップＳ６６の実行後、ステップＳ５１から再度実行される。
【００５３】
ステップＳ６５で「Ｎｏ」と判定された場合、認証部２０は、トラッキングの対象となっているユーザが、現時点で用いられている基準データに係るユーザではないと判定し、その判定結果を出力する（ステップＳ６７）。その後、フローチャートの実行が終了する。
【００５４】
本実施例によれば、所定の条件が成立する場合に基準データが他の基準データに切り換えられるため、基準データを用いたユーザ検知精度が向上する。例えば、上記のように、ユーザの動作に応じて基準データが切り換えられる。それにより、ユーザの認証精度を向上させることができる。また、基準データを切り換える際に、信頼性の高い基準データが選択されることから、基準データを用い他ユーザ検知精度がより向上する。
【００５５】
本実施例においては、位置特定部１３が、第１基準データを用いて、撮影装置１０４が撮影する撮影画像に含まれるユーザを経時的に検知する検知部として機能する。また、選択部２１が、検知部によって用いられている第１基準データを第２基準データに切り換える切換部として機能する。また、ユーザ検出部１２および位置特定部１３が、撮影画像から第２基準データを生成するデータ生成部として機能する。また、データベース１５が、第１基準データを保持するデータ保持部として機能する。また、切換前の基準データが第１基準データであり、切換後の基準データが第２基準データである。
【実施例３】
【００５６】
図１１は、実施例３に係る継続認証処理の際に実現される各機能のブロック図である。ユーザ認証装置１００は、実施例３に係る継続認証処理時において、画像取得部１１、位置特定部１３、総合信頼度算出部１９、認証部２０、背景更新部２２、画像差分算出部２３、およびデータベース１５として機能する。図１２は、本実施例に係る継続認証処理の際に実行されるフローチャートの一例を説明するための図である。以下、図１１および図１２を参照しつつ、継続認証処理の一例について説明する。
【００５７】
まず、画像取得部１１は、撮影装置１０４による撮影によって得られた撮影画像を取得する（ステップＳ７１）。次に、位置特定部１３は、データベース１５に登録された基準データと、ステップＳ７１で得られた撮影画像とを用いて、ユーザの顔のトラッキングを行う（ステップＳ７２）。次に、位置特定部１３は、データベース１５に登録された基準データと、ステップＳ７１で得られた画像とを用いて、ユーザの体のトラッキングを行う（ステップＳ７３）。
【００５８】
次に、総合信頼度算出部１９は、トラッキングされている顔および体の両方を反映させた総合信頼度を算出する（ステップＳ７４）。次に、認証部２０は、ステップＳ７４で算出された総合信頼度がしきい値ＴＨ１よりも大きいか否かを判定する（ステップＳ７５）。ステップＳ７５で「Ｙｅｓ」と判定された場合、背景更新部２２は、背景の更新処理を実行する（ステップＳ７６）。その後、認証部２０は、トラッキングの対象となっているユーザがデータベース１５に登録されている基準データに係るユーザであると判定する（ステップＳ７７）。例えば、認証部２０は、ユーザが在席していると判定する。ステップＳ７７の実行後、ステップＳ７１から再度実行される。
【００５９】
ここで、背景の更新処理について説明する。背景の更新処理とは、データベース１５に登録されている基準データに含まれる背景画像（登録背景画像）を、画像取得部１１が取得する画像（現画像）の対応する領域を用いて更新する処理のことである。ただし、現画像のうちユーザが位置している領域は、更新の対象外である。
【００６０】
図１３は、背景の更新処理の際に実行されるフローチャートの一例を説明するための図である。図１４（ａ）〜図１４（ｉ）は、背景の更新処理で更新される背景画像を説明するための図である。以下、図１３および図１４（ａ）〜図１４（ｉ）を参照して、背景の更新処理について説明する。
【００６１】
図１４（ｂ）〜図１４（ｅ）は、登録背景画像を説明するための図である。登録背景画像は、複数に分割されてデータベース１５に登録されている。図１４（ｂ）は、領域Ａの登録背景画像である。図１４（ｃ）は、領域Ｂの登録背景画像である。図１４（ｄ）は、領域Ｃの登録背景画像である。図１４（ｅ）は、領域Ｄの登録背景画像である。これらの登録背景画像は、基準データ登録処理において登録しておくことができる。具体的には、基準データ登録処理において、ユーザが位置していない領域の画像を登録背景画像として登録しておくことができる。
【００６２】
まず、背景更新部２２は、画像取得部１１が取得した画像（現画像）において、ユーザ領域を特定する（ステップＳ９１）。図１４（ａ）は、現画像の一例である。図１４（ａ）の例では、領域Ａおよび領域Ｃが背景領域であり、領域Ｂおよび領域Ｄがユーザ領域である。なお、ユーザ領域は、トラッキング処理により顔位置および体位置を用いて特定することができる。
【００６３】
次に、背景更新部２２は、更新の対象とする更新対象領域を特定する（ステップＳ９２）。現画像において領域Ａおよび領域Ｃが背景領域であるため、背景更新部２２は、領域Ａおよび領域Ｃを更新対象領域として特定する。次に、背景更新部２２は、更新対象領域の登録背景画像を、現画像のうち更新対象領域に対応する領域の画像で更新する（ステップＳ９３）。その後、フローチャートの実行が終了する。図１３のフローチャートによれば、登録背景画像の信頼性を向上させることができる。
【００６４】
再度、図１２を参照して、ステップＳ７５において「Ｎｏ」と判定された場合、認証部２０は、ステップＳ７４で算出された総合信頼度がしきい値ＴＨ２（＜ＴＨ１）よりも小さいか否かを判定する（ステップＳ７８）。ステップＳ７８で「Ｙｅｓ」と判定された場合、認証部２０は、トラッキングの対象となっているユーザがデータベース１５に登録されている基準データに係るユーザではないと判定し、その判定結果を出力する（ステップＳ７９）。その後、フローチャートの実行が終了する。
【００６５】
ステップＳ７８で「Ｎｏ」と判定された場合、画像差分算出部２３は、画像差分を算出する（ステップＳ８０）。次に、認証部２０は、ステップＳ８０で算出された画像差分がしきい値ＴＨ３よりも大きいか否かを判定する（ステップＳ８１）。ステップＳ８１において「Ｙｅｓ」と判定された場合、認証部２０は、ステップＳ７７を実行する。ステップＳ８２において「Ｎｏ」と判定された場合、認証部２０は、ステップＳ７９を実行する。画像差分を用いることによって、背景とユーザとの識別性が向上する。
【００６６】
図１５は、画像差分の算出の際に実行されるフローチャートの一例を説明するための図である。図１６（ａ）〜（ｅ）は、画像差分の算出の際に選択される背景画像を説明するための図である。図１６（ａ）は、現画像の例である。図１６（ｂ）〜（ｅ）は、登録背景画像の例である。以下、図１５および図１６（ａ）〜（ｅ）を参照しつつ、画像差分の算出について説明する。
【００６７】
まず、画像差分算出部２３は、画像取得部１１が取得した画像（現画像）において、ユーザ領域を特定する（ステップＳ１０１）。図１６（ａ）の現画像の例では、領域Ｂおよび領域Ｄがユーザ領域として特定される。次に、画像差分算出部２３は、ステップＳ１０１で特定したユーザ領域に対応する登録背景画像を選択する（ステップＳ１０２）。一例として、領域Ｄが選択される。次に、画像差分算出部２３は、ステップＳ１０２で選択した背景画像と、現画像のユーザ領域の画像との間で、画像差分を計算する（ステップＳ１０３）。その後、フローチャートの実行が終了する。
【００６８】
画像差分の計算として、例えば、ユーザ領域として特定された領域内の画素について、登録背景領域の輝度値との差分の平均を算出する方法が挙げられる。この方法では、計算された画像差分がしきい値ＴＨ３以下であれば、画像差分の計算の対象となった現画像の領域が背景であると判定することができる。具体的には、画像差分の対象となっている背景領域およびユーザ領域の座標（ｘ，ｙ）での輝度値を、それぞれＩｂｇ（ｘ，Ｙ）、Ｉｃｕ（ｘ，ｙ）とした場合に、下記式（１）の「Ｅ」を計算する。当該「Ｅ」がしきい値ＴＨ３以下であれば、現画像のユーザ領域が背景であると判定することができる。ここで、「Σ」は比較画素すべての加算を表し、「Ｎ」は比較画素の総数を表す。
Ｅ＝１／Ｎ×Σ[Ｉｂｇ（ｘ，ｙ）−Ｉｃｕ（ｘ，ｙ）]    （１）
【００６９】
なお、カメラの自動感度補正が働いている場合は、同じ背景に対して輝度値が異なる場合がある。この課題に対応するため、各画素の変化率を用いてもよい。例えば、すべての比較対象画素に対して、下記式（２）のように各画素の変化率を計算する。
変化率Ｃ（ｘ，ｙ）＝｛Ｉｂｇ（ｘ，ｙ）−Ｉｃｕ（ｘ，ｙ）｝／Ｉｂｇ（ｘ，ｙ）    （２）
【００７０】
カメラの自動感度補正が働いた場合でも、背景同士の比較であれば変化割合は同じになる。したがって、全比較対象画素に対して、上記式（２）の変化率を算出し、下記式（３）で表される当該変化割合の分散Ｅが一定値以内であれば、現画像のユーザ領域が背景であると判定することができる。下記式（３）において、「Ａ」は比較対象画素の平均変化率を示す。
Ｅ２＝１／Ｎ×Σ｛Ｃ（ｘ，ｙ）―Ａ｝２    （３）
【００７１】
本実施例によれば、所定の条件が成立する場合に基準データが他の基準データに切り換えられるため、基準データを用いたユーザ検知精度が向上する。具体的には、所定条件が成立する際に登録背景画像を更新することによって、登録背景画像の信頼性低下を抑制することができる。さらに、背景とユーザとが類似している場合に、背景を誤ってユーザとして検知することが抑制される。それにより、ユーザの認証精度を向上させることができる。
【００７２】
本実施例においては、位置特定部１３および画像差分算出部２３が、第１基準データを用いて、撮影装置１０４が撮影する撮影画像に含まれるユーザを経時的に検知する検知部として機能する。また、背景更新部２２が、検知部によって用いられている第１基準データを第２基準データに切り換える切換部として機能する。また、更新前の背景画像が第１基準データであり、更新後の背景画像が第２基準データである。
【実施例４】
【００７３】
上記各実施例では、ユーザ検知装置１００はネットワークに接続されていないが、それに限られない。たとえば、図１７を参照して、ユーザ検知装置１００は、ネットワークを介してサーバ２００に接続されていてもよい。サーバ２００は、ＣＰＵ２０１、ＲＡＭ２０２、記憶装置２０３、通信部２０４などを備える。本実施例においては、ユーザ検知装置１００には、ネットワークおよび通信部２０４を介してサーバ２００と信号を送受信するための通信部１０５が設けられている。
【００７４】
本実施例においては、データベース１５は、サーバ２００の記憶装置２０３に記憶されていてもよい。また、上記各実施例においてユーザ検知プログラムの実行によってユーザ検知装置１００に実現された機能の一部がサーバ２００において実現されてもよい。
【００７５】
（各実施例における他の例）
なお、上記各実施例において、ユーザ検知プログラムの実行によって実現される機能は、専用の回路などで代用してもよい。
【００７６】
以上、本発明の実施例について詳述したが、本発明は係る特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【００７７】
（付記）
（付記１）
経時的に画像を撮影する撮影装置と、
第１基準データを用いて、前記撮影装置が撮影する撮影画像に含まれるユーザを経時的に検知する検知部と、
前記検知部によって用いられている前記第１基準データを第２基準データに切り換える切換部と、を備えることを特徴とするユーザ検知装置。
（付記２）
前記切換部は、前記検知部による検知の信頼度が所定値以下になった場合に、前記第１基準データを前記第２基準データに切り換えることを特徴とする付記１記載のユーザ検知装置。
（付記３）
前記信頼度とは、前記第１基準データと、前記検知部が検知するデータとの類似度であることを特徴とする付記２記載のユーザ検知装置。
（付記４）
前記検知部は、前記第１基準データを基準とし、前記撮影画像から前記ユーザをトラッキングにより検知することを特徴とする付記１〜３のいずれか一項に記載のユーザ検知装置。
（付記５）
前記切換部は、前記検知部によって検知されるユーザの位置変化が所定時間内で所定距離以内である場合に、前記第１基準データを前記第２基準データに切り換えることを特徴とする付記１〜４のいずれか一項に記載のユーザ検知装置。
（付記６）
前記検知部は、前記撮影画像から任意人物の位置を検出する位置検出部と、任意人物の位置を経時的に特定する位置特定部とを備え、
前記切換部は、前記位置検出部が検出した人物の位置と前記位置特定部が特定した人物の位置との距離が所定値以内である場合に、前記第１基準データを前記第２基準データに切り換えることを特徴とする付記１〜４のいずれか一項に記載のユーザ検知装置。
（付記７）
前記第１基準データを保持するデータ保持部と、
前記撮影画像から前記第２基準データを生成するデータ生成部と、を備え、
前記切換部は、前記第１基準データを前記第２基準データで更新することを特徴とする付記１〜６のいずれか一項に記載のユーザ検知装置。
（付記８）
複数の基準データを保持するデータ保持部を備え、
前記第２基準データは、前記複数の基準データのうち、前記切換部によって選択された基準データであることを特徴とする付記１〜６のいずれか一項に記載のユーザ検知装置。
（付記９）
前記第２基準データは、前記検知部によって検知されているユーザのデータとの類似度が所定値以上のものであることを特徴とする付記８記載のユーザ検知装置。
（付記１０）
前記検知部による検知の信頼度が所定値以下になった場合に、前記ユーザが検知されなくなったと判定する認証部を備えることを特徴とする付記１〜９のいずれか一項に記載のユーザ検知装置。
（付記１１）
前記第１基準データとは、前記撮影画像から得られるヒストグラムであることを特徴とする付記１〜１０のいずれか一項に記載のユーザ検知装置。
（付記１２）
前記第１基準データとは、前記撮影画像から得られるパターン情報であることを特徴とする付記１〜１０のいずれか一項に記載のユーザ検知装置。
（付記１３）
前記第１基準データは、前記撮影画像から得られるユーザの顔および体を対象とすることを特徴とする付記１１または１２記載のユーザ検知装置。
（付記１４）
前記検知部は、前記撮影画像においてユーザが位置する領域をユーザ領域として特定し、前記ユーザ領域と、前記第１基準画像の対応する領域の画像との比較に基づいて、前記ユーザを経時的に検知することを特徴とする付記１〜１０のいずれか一項に記載のユーザ検知装置。
（付記１５）
前記第１基準データは、前記撮影装置によって所定のタイミングで撮影された第１静止画像であり、
前記第２基準データは、前記第１静止画像の特定の領域を、前記撮影装置によって前記第１静止画像よりも後に撮影された第２静止画像の対応する領域で置き換えたものであることを特徴とする付記１４記載のユーザ検知装置。
（付記１６）
前記第１静止画像の特定の領域は、前記ユーザが撮影されていない領域の少なくとも一部であることを特徴とする付記１５記載のユーザ検知装置。
（付記１７）
前記静止画像の特定の領域は、さらに、前記第２静止画像において前記ユーザが撮影されていない領域内で対応する領域であることを特徴とする付記１６記載のユーザ検知装置。
（付記１８）
前記検知部は、前記ユーザ領域の画像と、前記第１基準画像の対応する領域の画像との輝度値差を用いて、前記ユーザを経時的に検知することを特徴とする付記１４〜１７のいずれか一項に記載のユーザ検知装置。
（付記１９）
前記検知部は、前記輝度値差の平均がしきい値以上となった場合に、前記ユーザが検知されていると判定することを特徴とする付記１８記載のユーザ検知装置。
（付記２０）
前記検知部は、前記ユーザ領域の画像と、前記第１基準画像の対応する領域の画像との間の画素値変化率を用いて、前記ユーザを経時的に検知することを特徴とする付記１４〜１７のいずれか一項に記載のユーザ検知装置。
（付記２１）
前記検知部は、前記画素変化率の分散がしきい値以上となった場合に、前記ユーザが検知されていると判定することを特徴とする付記２０記載のユーザ検知装置。
（付記２２）
経時的に画像を撮影する撮影ステップと、
第１基準データを用いて、前記撮影ステップにおいて撮影される撮影画像に含まれるユーザを経時的に検知する検知ステップと、
前記検知ステップにおいて用いられている前記第１基準データを第２基準データに切り換える切換ステップと、を含むことを特徴とするユーザ検知方法。
（付記２３）
コンピュータに、
経時的に画像を撮影する撮影ステップと、
第１基準データを用いて、前記撮影ステップにおいて撮影される撮影画像に含まれるユーザを経時的に検知する検知ステップと、
前記検知ステップにおいて用いられている前記第１基準データを第２基準データに切り換える切換ステップと、を実行させることを特徴とするユーザ検知プログラム。
【符号の説明】
【００７８】
１１  画像取得部
１２  ユーザ検出部
１３  位置特定部
１４  登録部
１５  データベース
１６  更新判定部
１７  可否判定部
１８  更新部
１９  総合信頼度算出部
２０  認証部
２１  選択部
２２  背景更新部
２３  画像差分算出部
１００  ユーザ検知装置
１０１  ＣＰＵ
１０２  ＲＡＭ
１０３  記憶装置
１０４  撮影装置
【図１】
2012221002.tif 000003
【図２】
2012221002.tif 000004
【図３】
2012221002.tif 000005
【図４】
2012221002.tif 000006
【図５】
2012221002.tif 000007
【図６】
2012221002.tif 000008
【図７】
2012221002.tif 000009
【図８】
2012221002.tif 000010
【図９】
2012221002.tif 000011
【図１０】
2012221002.tif 000012
【図１１】
2012221002.tif 000013
【図１２】
2012221002.tif 000014
【図１３】
2012221002.tif 000015
【図１４】
2012221002.tif 000016
【図１５】
2012221002.tif 000017
【図１６】
2012221002.tif 000018
【図１７】
2012221002.tif 000019