(57)【要約】【課題】  入力画像に対する認証結果を視認しやすく表示するための技術を提供すること。【解決手段】  同じグループに属する複数の登録画像のそれぞれの入力画像に対する尤度を求め、該複数の登録画像のうち尤度が高い順に上位から規定数の登録画像を、入力画像に対する認証結果として選択する。第１フレームの入力画像に対する認証結果に含まれる登録画像の尤度、該第１フレームよりも過去の第２フレームの入力画像に対する認証結果に含まれる登録画像の尤度、に基づいて、第１，２フレームの入力画像に対する認証結果のうち何れか一方を表示する。【選択図】  図１
2019207676.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を順次、取得する取得手段と、
同じグループに属する複数の登録画像のそれぞれの前記入力画像に対する尤度を求め、該複数の登録画像のうち尤度が高い順に上位から規定数の登録画像を、前記入力画像に対する認証結果として選択する選択手段と、
第１フレームの入力画像に対する認証結果に含まれる登録画像の尤度と、該第１フレームよりも過去の第２フレームの入力画像に対する認証結果に含まれる登録画像の尤度と、に基づいて、前記第１フレームの入力画像に対する認証結果、前記第２フレームの入力画像に対する認証結果、のうち何れか一方を表示する表示制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記選択手段は、グループごとに、前記規定数の登録画像を前記入力画像に対する認証結果として選択し、
前記表示制御手段は、前記第１フレームの入力画像に対する認証結果に含まれる登録画像のうち最も大きい尤度の登録画像と、前記第２フレームの入力画像に対する認証結果に含まれる登録画像のうち最も大きい尤度の登録画像と、が同じであるか否かをグループごとに判断し、各グループで同じであると判断した場合には、前記第２フレームの入力画像に対する認証結果を表示し、少なくとも１つのグループで同じではないと判断した場合には、前記第１フレームの入力画像に対する認証結果を表示する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記選択手段は、グループごとに、前記規定数の登録画像を前記入力画像に対する認証結果として選択し、
前記表示制御手段は、前記第１フレームの入力画像に対する認証結果に含まれる登録画像のうち尤度が大きい順に規定の順位までの登録画像と、前記第２フレームの入力画像に対する認証結果に含まれる登録画像のうち尤度が大きい順に規定の順位までの登録画像と、が同じではないグループがなければ、前記第２フレームの入力画像に対する認証結果を表示し、あれば、前記第１フレームの入力画像に対する認証結果を表示する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記選択手段は、グループごとに、前記規定数の登録画像を前記入力画像に対する認証結果として選択し、
前記表示制御手段は、前記第１フレームの入力画像に対する認証結果に含まれる登録画像のうち最も大きい尤度が、前記第２フレームの入力画像に対する認証結果に含まれる登録画像のうち最も大きい尤度を超えたグループがない場合には、前記第２フレームの入力画像に対する認証結果を表示し、ある場合には、前記第１フレームの入力画像に対する認証結果を表示する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記選択手段は、前記複数の登録画像のそれぞれの前記入力画像に対する尤度に基づいて前記規定数を変更することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
入力画像を順次、取得する取得手段と、
同じグループに属する複数の登録画像のそれぞれの第１フレームの入力画像に対する尤度と、該複数の登録画像のそれぞれの該第１フレームよりも過去の第２フレームの入力画像に対する尤度と、の平均を前記第１フレームの入力画像に対する認証結果として表示する表示制御手段と
を備えることを特徴とする画像処理装置。
【請求項７】
前記第２フレームの入力画像は、前記第１フレームよりも過去の１フレーム以上の入力画像であることを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記取得手段は、監視エリアの撮像を行うことを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
【請求項９】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の取得手段が、入力画像を順次、取得する取得工程と、
前記画像処理装置の選択手段が、同じグループに属する複数の登録画像のそれぞれの前記入力画像に対する尤度を求め、該複数の登録画像のうち尤度が高い順に上位から規定数の登録画像を、前記入力画像に対する認証結果として選択する選択工程と、
前記画像処理装置の表示制御手段が、第１フレームの入力画像に対する認証結果に含まれる登録画像の尤度と、該第１フレームよりも過去の第２フレームの入力画像に対する認証結果に含まれる登録画像の尤度と、に基づいて、前記第１フレームの入力画像に対する認証結果、前記第２フレームの入力画像に対する認証結果、のうち何れか一方を表示する表示制御工程と
を備えることを特徴とする画像処理方法。
【請求項１０】
前記選択工程は、前記入力画像の各々のグループに対する尤度を求める計算工程をさらに備え、
前記表示制御工程は、前記計算工程による尤度の計算結果に基づき、グループ、もしくは登録画像およびグループの両方を表示する工程をさらに備えることを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の取得手段が、入力画像を順次、取得する取得工程と、
前記画像処理装置の表示制御手段が、同じグループに属する複数の登録画像のそれぞれの第１フレームの入力画像に対する尤度と、該複数の登録画像のそれぞれの該第１フレームよりも過去の第２フレームの入力画像に対する尤度と、の平均を前記第１フレームの入力画像に対する認証結果として表示する表示制御工程と
を備えることを特徴とする画像処理方法。
【請求項１２】
コンピュータを、請求項１乃至８の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に対する認証技術に関するものである。
【背景技術】
【０００２】
監視システムにおいては、画像解析技術を利用して画像中に存在する人物の顔を検出する技術が知られている。また、画像処理システムにおいては、２つの顔画像を比較して同一の人物の顔であるかどうかの尤度を計算する技術が知られている。これらの技術を利用して、特許文献１では、監視システムにおいて検出した顔を、予めシステムに登録された顔と比較して個人認識し、尤もらしい人物の登録画像を表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第５７８７６８６号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、フレーム毎に認証結果が変化することが多々あるので、フレーム毎に認証結果を表示した場合、表示される尤もらしい人物が二転三転したり、表示／非表示の切り替わりが頻発して結局どの人物であるのかが分かりづらい場合がある。一方で、顔認証の用途によっては、人物を特定の１人にまで絞り込めなくとも、特定のグループに属している重要人物の存在可能性を迅速に知りたい場合がある。本発明では、入力画像に対する認証結果を視認しやすく表示するための技術を提供する。
【課題を解決するための手段】
【０００５】
本発明の一様態は、入力画像を順次、取得する取得手段と、同じグループに属する複数の登録画像のそれぞれの前記入力画像に対する尤度を求め、該複数の登録画像のうち尤度が高い順に上位から規定数の登録画像を、前記入力画像に対する認証結果として選択する選択手段と、第１フレームの入力画像に対する認証結果に含まれる登録画像の尤度と、該第１フレームよりも過去の第２フレームの入力画像に対する認証結果に含まれる登録画像の尤度と、に基づいて、前記第１フレームの入力画像に対する認証結果、前記第２フレームの入力画像に対する認証結果、のうち何れか一方を表示する表示制御手段とを備えることを特徴とする。
【発明の効果】
【０００６】
本発明の構成によれば、入力画像に対する認証結果を視認しやすく表示することができる。
【図面の簡単な説明】
【０００７】
【図１】認証部２０００の機能構成例を示すブロック図。
【図２】監視カメラ１０００の配置を説明する図。
【図３】撮像画像の一例を示す図。
【図４】顔画像の検出例を示す図。
【図５】顔画像に対する各登録画像の尤度の一例を示す図。
【図６】各登録画像が属するグループの一例を示す図。
【図７】選択結果の一例を示す図。
【図８】ステップＳ１４０７における表示例を示す図。
【図９】過去フレーム、現フレームについて求めた各登録画像の尤度の一例を示す図。
【図１０】過去フレーム、現フレームにおける選択結果の一例を示す図。
【図１１】決定部１１１による認証結果の決定方法の具体例を示す図。
【図１２】グループに属する種別の人物である尤度を求める方法の一例を示す図。
【図１３】認証部２０００による認証に係る設定処理のフローチャート。
【図１４】撮像画像及び認証結果を表示する処理のフローチャート。
【図１５】監視システムの構成例を示す図。
【図１６】コンピュータ装置のハードウェア構成例を示すブロック図。
【図１７】個人の尤度の大きさに基づいて表示の切り替えを行う処理のフローチャート。
【図１８】フレーム番号に基づいて表示の切り替えを行う処理のフローチャート。
【図１９】図１７のフローチャートに従った処理を説明する図。
【発明を実施するための形態】
【０００８】
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施形態の１つである。
【０００９】
［第１の実施形態］
先ず、本実施形態に係る監視システムの構成例について、図１５を用いて説明する。図１５に示す如く、本実施形態に係る監視システムは、監視カメラ１０００、認証部２０００、録画サーバ１００１、表示端末１００２、を有し、それぞれはＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワーク３０００に接続されている。
【００１０】
先ず、監視カメラ１０００について説明する。監視カメラ１０００は、監視エリアを監視するべく規定の位置に規定の姿勢でもって配置され、動画像の撮像を行う若しくは定期的／不定期的に静止画の撮像を行う。そして監視カメラ１０００は、撮像した各フレームの画像（撮像画像）を順次、ネットワーク３０００を介して録画サーバ１００１に対して送信する。なお、監視カメラ１０００の位置や姿勢は固定されていることに限らない。
【００１１】
次に、録画サーバ１００１について説明する。録画サーバ１００１は、ネットワーク３０００を介して監視カメラ１０００から受信した各フレームの撮像画像をハードディスクなどのメモリ装置に記録する。
【００１２】
次に、認証部２０００について説明する。認証部２０００は、録画サーバ１００１に記録されている各フレームの撮像画像を順次表示すると共に、該撮像画像中の人物の顔の認証を行い、該認証の結果を表示する画像処理装置である。また認証部２０００は、各フレームの撮像画像に対して行った認証の結果を、ネットワーク３０００を介して表示端末１００２に対して送信する。
【００１３】
次に、表示端末１００２について説明する。表示端末１００２は、録画サーバ１００１に記録されている各フレームの撮像画像を表示すると共に、ネットワーク３０００を介して認証部２０００から受信した該撮像画像に対する認証の結果を表示する。
【００１４】
なお、図１５に示した監視システムの構成は一例である。例えば、図１５では、監視カメラ１０００、認証部２０００、録画サーバ１００１、表示端末１００２をそれぞれ別個の装置としているが、これらのうち２つ以上を１つの装置に一体化させても良い。次に、認証部２０００の機能構成例について、図１のブロック図を用いて説明する。
【００１５】
取得部１０３は、監視カメラ１０００や録画サーバ１００１から撮像画像を取得する。入力部１０４は、ユーザが操作することで各種の操作入力（例えば、認証部２０００による認証に係る各種の操作入力）を認証部２０００に対して入力することができるユーザインターフェースである。このようなユーザインターフェースには、キーボード、マウス、タッチパネルなどがある。管理部１０２は、ユーザが入力部１０４を操作することで入力した操作入力に応じて設定された設定情報（認証設定）をメモリ１９８に登録して管理する。
【００１６】
処理部１０５は、取得部１０３が取得した撮像画像に対して、管理部１０２が管理している設定情報に基づいて認証を行う。ここで、図２に示す如く、人物３００２を含む監視エリアを矢印３００１の位置に矢印３００１の指す方向を向くように配置された監視カメラ１０００が撮像した撮像画像の一例を図３に示す。図３に示す如く、撮像画像３００３には人物３００２が含まれている。
【００１７】
顔検出部１０９は、取得部１０３が取得した撮像画像に含まれている人物の顔の領域（顔領域）を検出し、該顔領域内の画像を顔画像（入力画像）として抽出する。取得部１０３が図３の撮像画像３００３を録画サーバ１００１から取得した場合、顔検出部１０９は、図４に示す如く、撮像画像３００３に含まれている人物３００２の顔領域３００４を検出する。なお、顔領域の形状は図４のように矩形であることに限らず、楕円形など、非矩形であっても良い。
【００１８】
尤度計算部１１０は、管理部１０２が管理している設定情報に含まれている様々な人物の顔の画像（登録画像）の、顔検出部１０９が抽出した顔画像（図４の例では顔領域３００４内の画像）に対する尤度（尤もらしさ）を求める。一方の画像に対する他方の画像の尤度を求める方法については様々な方法が公知であり、本実施形態では特定の尤度計算方法に限らない。顔画像に対する各登録画像の尤度の一例を図５に示す。
【００１９】
図５は、１４枚の登録画像（登録画像Ａ〜Ｎ）のそれぞれの顔画像に対する尤度を示している。また、図６に示す如く、登録画像Ａ〜Ｎのうち登録画像Ａ〜Ｇはグループ名「お得意様１」のグループに属しており、登録画像Ｈ〜Ｎはグループ名「要警戒１」のグループに属している。グループ名「お得意様１」のグループに属している登録画像Ａ〜Ｇは何れも、「お得意様１」に対応する人物の顔の画像であり、グループ名「要警戒１」のグループに属している登録画像Ｈ〜Ｎは何れも、「要警戒１」に対応する人物の顔の画像である。
【００２０】
本例では、各グループに属する登録画像は排他的であり、ある１つのグループに属する登録画像は、他のグループには属していないが、１つの登録画像が複数のグループに属していても良い。
【００２１】
決定部１１１は、尤度計算部１１０による各登録画像の尤度の計算結果に基づき、表示する登録画像を決定する。表示部１０６は、取得部１０３が取得した撮像画像と、該撮像画像に対して決定部１１１が決定した登録画像と、を表示する。制御部１９９は、認証部２０００全体の動作制御を行う。メモリ１９８は、認証部２０００が保持するものとして後述する各種の情報を保持する。
【００２２】
次に、認証部２０００による認証に係る設定処理について、図１３のフローチャートに従って説明する。ステップＳ８０２では、取得部１０３は、監視カメラ１０００へ画像取得プロトコルで接続し、該接続の確立後、監視カメラ１０００から順次送出される撮像画像を取得する。
【００２３】
ステップＳ８０３では、管理部１０２は、ユーザが入力部１０４を操作することで設定した設定情報をメモリ１９８に登録する。ユーザは入力部１０４を操作して、「同種の人物の登録画像が属するグループ」を１つ以上設定する（図５の例では、グループ名「お得意様１」のグループ、グループ名「要警戒１」のグループを設定する）。そして管理部１０２は、認証部２０００が保持している登録画像を、設定されたグループの何れかに分類する。図５の例では、登録画像Ａ〜Ｇについてはグループ名「お得意様１」のグループに分類し、登録画像Ｈ〜Ｎについてはグループ名「要警戒１」のグループに分類している。そして管理部１０２は、各グループに分類した登録画像や各グループのグループ名等、グループや登録画像に係る情報を設定情報としてメモリ１９８に登録する。
【００２４】
ステップＳ８０５では、管理部１０２は、取得部１０３が取得した撮像画像を表示部１０６に表示すると共に、後述する処理によってグループごとに表示する認証結果を表示するための表示領域の位置やサイズを設定するためのインターフェースを表示する。インターフェースとしては、例えば、表示領域を表す枠であり、ユーザはこの枠のサイズや位置を入力部１０４を用いて変更することで所望の表示領域を設定することができる。
【００２５】
ユーザが表示領域の決定指示を入力部１０４を用いて入力すると、処理はステップＳ８０６を介してステップＳ８０７に進み、ユーザが表示領域の決定指示を入力部１０４を用いて入力していない限りは処理はステップＳ８０６を介してステップＳ８０５に戻る。
【００２６】
ステップＳ８０７では、管理部１０２は、ステップＳ８０５にて設定した表示領域の位置やサイズを上記の設定情報に含めてメモリ１９８に登録する。ステップＳ８０８では、取得部１０３は、監視カメラ１０００との接続を切断する。
【００２７】
次に、認証部２０００が録画サーバ１００１に記録されている各フレームの撮像画像を表示すると共に、該撮像画像内における人物の顔に対する認証結果を表示するために行う処理（表示制御）について、図１４のフローチャートに従って説明する。
【００２８】
ステップＳ１４０１では、取得部１０３は、録画サーバ１００１から撮像画像を取得する。ステップＳ１４０２では、顔検出部１０９は、ステップＳ１４０１において取得部１０３が取得した撮像画像から人物の顔画像を抽出する。
【００２９】
ステップＳ１４０３では、尤度計算部１１０は、管理部１０２が管理しているそれぞれの登録画像の、ステップＳ１４０２で撮像画像から抽出した顔画像に対する尤度を求める。ステップＳ１４０４では、制御部１９９は、ステップＳ１４０１において取得部１０３が取得した撮像画像を表示部１０６に表示する。
【００３０】
ステップＳ１４０５で決定部１１１はグループごとに、該グループに属する登録画像のうち尤度が大きい順に上位ｎ個（ｎは２以上の整数で、予めメモリ１９８に登録されている規定数）の登録画像を選択結果として選択する。以下では一例としてｎ＝３とするが、ｎは３に限らない。
【００３１】
図５の例では、グループは、グループ名「お得意様１」のグループ、グループ名「お得意様１」のグループ、の２つがあるため、該２つのグループのそれぞれについて、尤度が大きい順に上位３個（尤度の順位が１〜３）の登録画像を選択結果として選択する。
【００３２】
図５に示す如く、グループ名「お得意様１」のグループに属する登録画像Ａ〜Ｇのうち尤度が最も大きい登録画像は登録画像Ａ、尤度が２番目に大きい登録画像は登録画像Ｂ、尤度が３番目に大きい登録画像は登録画像Ｃである。然るに、図７に示す如く、グループ名「お得意様１」のグループに対応する選択結果（ＴＯＰ３）は登録画像Ａ，Ｂ，Ｃとなる。
【００３３】
同様に、図５に示す如く、グループ名「要警戒１」のグループに属する登録画像Ｈ〜Ｎのうち尤度が最も大きい登録画像は登録画像Ｈ、尤度が２番目に大きい登録画像は登録画像Ｉ、尤度が３番目に大きい登録画像は登録画像Ｊである。然るに、図７に示す如く、グループ名「要警戒１」のグループに対応する選択結果（ＴＯＰ３）は登録画像Ｈ，Ｉ，Ｊとなる。
【００３４】
ステップＳ１４０６では、制御部１９９は、ステップＳ１４０１で取得した撮像画像が１フレーム目の撮像画像（図１４のフローチャートに従った処理の開始後に最初に取得部１０３が取得した撮像画像）であるか否かを判断する。この判断の結果、ステップＳ１４０１で取得した撮像画像が１フレーム目の撮像画像である場合には、処理はステップＳ１４０７に進み、ステップＳ１４０１で取得した撮像画像が２フレーム目以降の撮像画像である場合には、処理はステップＳ１４０８に進む。
【００３５】
ステップＳ１４０７では、制御部１９９は、グループごとの選択結果を、ステップＳ１４０２で撮像画像から抽出した顔画像に対する認証結果として、上記のステップＳ８０５で位置やサイズを決定した表示領域内（表示部１０６）に表示する。例えば図８に示す如く、撮像画像３００３上の表示領域４０００内にグループごとの認証結果として、グループ名（Ｇｒｏｕｐ）、尤度の順位が１〜３の登録画像（ＴＯＰ３）、該登録画像の画像名（Ａ〜Ｊ）、該登録画像の尤度の順位（１〜３）を表示している。
【００３６】
図８では、撮像画像に重ねて認証結果を表示したが、１つの表示画面において撮像画像とは別個の表示領域に認証結果を表示しても良いし、表示画面を複数有する場合には、撮像画像を表示している表示画面とは別個の表示画面に認証結果を表示しても良い。
【００３７】
ステップＳ１４０８では、決定部１１１は、現フレームにおける選択結果と、現フレームより過去のフレーム（過去フレーム）における選択結果と、を比較する。ここでは過去フレームとして現フレームよりも１フレーム前（過去）のフレームとするが、２フレーム以上前（過去）であっても良い。そして決定部１１１はグループごとに、現フレームと過去フレームとの間で尤度が最も大きい登録画像が同じであるのか、それとも同じではないのか、を判断する。そして、それぞれのグループに対する判断の結果が、「現フレームと過去フレームとの間で尤度が最も大きい登録画像が同じ」、である場合には、処理はステップＳ１４１０に進む。一方、少なくとも１つのグループに対する判断の結果が、「現フレームと過去フレームとの間で尤度が最も大きい登録画像が同じではない」、場合には、処理はステップＳ１４０９に進む。
【００３８】
図９に、過去フレームについてステップＳ１４０３で求めた各登録画像の尤度（図９左側）、現フレームについてステップＳ１４０３で求めた各登録画像の尤度（図９右側）、の一例を示す。
【００３９】
図９左側に示す如く、過去フレームでは、グループ名「お得意様１」のグループに属する登録画像Ａ〜Ｇのうち尤度の順位が１〜３の登録画像は登録画像Ａ〜Ｃである。また、図９左側に示す如く、過去フレームでは、グループ名「要警戒１」のグループに属する登録画像Ｈ〜Ｎのうち尤度の順位が１〜３の登録画像は登録画像Ｈ〜Ｊである。然るに、過去フレームについてステップＳ１４０５の処理を行った結果、図１０上側に示す如く、グループ名「お得意様１」のグループに対応する選択結果は登録画像Ａ〜Ｃ、グループ名「要警戒１」のグループに対応する選択結果は登録画像Ｈ〜Ｊとなる。
【００４０】
図９右側に示す如く、現フレームでは、グループ名「お得意様１」のグループに属する登録画像Ａ〜Ｇのうち尤度の順位が１〜３の登録画像は登録画像Ｄ，Ａ，Ｂである。また、図９右側に示す如く、現フレームでは、グループ名「要警戒１」のグループに属する登録画像Ｈ〜Ｎのうち尤度の順位が１〜３の登録画像は登録画像Ｎ，Ｈ，Ｉである。然るに、現フレームについてステップＳ１４０５の処理を行った結果、図１０下側に示す如く、グループ名「お得意様１」のグループに対応する選択結果は登録画像Ｄ，Ａ，Ｂ、グループ名「要警戒１」のグループに対応する選択結果は登録画像Ｎ，Ｈ，Ｉとなる。
【００４１】
この場合、グループ名「お得意様１」のグループについては、過去フレームにおいて尤度が最も大きい登録画像はＡ、現フレームにおいて尤度が最も大きい登録画像はＤ、である。然るに、このグループについては「現フレームと過去フレームとの間で尤度が最も大きい登録画像は同じではない」と判断する。また、グループ名「要警戒１」のグループについては、過去フレームにおいて尤度が最も大きい登録画像はＨ、現フレームにおいて尤度が最も大きい登録画像はＮ、である。然るに、このグループについても「現フレームと過去フレームとの間で尤度が最も大きい登録画像は同じではない」と判断する。
【００４２】
ステップＳ１４０９では、決定部１１１は、現フレームについてステップＳ１４０５で決定した各グループの選択結果を、ステップＳ１４０２で撮像画像から抽出した顔画像に対する認証結果とする。そして決定部１１１は、該認証結果を、ステップＳ８０５で位置やサイズを決定した表示領域内（表示部１０６）に表示する。
【００４３】
ステップＳ１４１０では、決定部１１１は、過去フレームについてステップＳ１４０５で決定した各グループの選択結果を、ステップＳ１４０２で撮像画像から抽出した顔画像に対する認証結果とする。そして決定部１１１は、該認証結果を、ステップＳ８０５で位置やサイズを決定した表示領域内（表示部１０６）に表示する。
【００４４】
決定部１１１による認証結果の決定方法の具体例を図１１に示す。図１１の左側には、図１０上側に示した「過去フレームにおける各グループの選択結果」を示している。「過去フレームにおける各グループの選択結果」と現フレームにおける各グループの選択結果とを比較した結果、尤度が最も大きい登録画像がグループごとに一致した場合には、方法Ｉを採用する。一方、「過去フレームにおける各グループの選択結果」と現フレームにおける各グループの選択結果とを比較した結果、少なくとも１つのグループで尤度が最も大きい登録画像が一致していない場合には、方法ＩＩを採用する。
【００４５】
方法Ｉでは、図１１の右上に示す如く、図１０上側の「過去フレームにおける各グループの選択結果」を認証結果とする。方法ＩＩでは、図１１の右下に示す如く、図１０下側の「現フレームにおける各グループの選択結果」を認証結果とする。つまり、方法Ｉでは、前回表示していた認証結果をそのまま今回も継続して表示し、方法ＩＩでは、前回表示していた認証結果を新たな認証結果に更新する。
【００４６】
ステップＳ１４１１では、制御部１９９は、図１４のフローチャートに従った処理の終了条件が満たされたか否かを判断する。例えば制御部１９９は、ユーザが入力部１０４を操作して終了指示を入力した場合や、監視カメラ１０００からの全ての撮像画像についてステップＳ１４０１〜Ｓ１４１０の処理を行った場合には、終了条件が満たされたと判断する。
【００４７】
この判断の結果、終了条件が満たされたと判断した場合には、図１４のフローチャートに従った処理は完了し、終了条件が満たされていないと判断した場合には、処理はステップＳ１４０１に進む。
【００４８】
このように、本実施形態では、尤度の最大値が更新された際に登録画像が更新されて表示されるため、撮像画像中の人物と登録画像との比較を容易に行うことが可能となる。そのため、顔認証結果を目視確認するときに、どのグループに属する人物が存在する可能性が高いかをすぐに分かり易く理解でき、また、表示された登録画像と撮像画像を目視比較して、重要人物の存在可否をすばやく確認できる。これにより、重要人物に対する迅速な対応を促すことができる。
【００４９】
＜変形例＞
第１の実施形態では、人物の顔を認証の対象として説明したが、認証の対象は人物の顔に限らない。また、表示する認証結果のレイアウトは図８に示したレイアウトに限らない。また、認証結果の表示／非表示は入力部１０４を用いたユーザ操作に応じて切り替えるようにしても良い。
【００５０】
また、図１に示した各機能部のうち１つ以上を認証部２０００とは別個の装置としても良い。例えば、処理部１０５を認証部２０００と通信可能な別個の装置としても良い。この場合、この処理部１０５は、監視カメラ１０００に組み込んでも良いし、可搬型のコンピュータ装置としても良い。
【００５１】
［第２の実施形態］
第１の実施形態では、ｎの値は図１４のフローチャートに従った処理の開始前に設定されているものとして説明したが、図１４のフローチャートに従った処理の開始後に動的に変更するようにしても良い。上記のｎの値を動的に変更することが有効であると考えられるケースとしては、例えば、以下のような２つのケース（ケース１、ケース２）がある。
【００５２】
＜ケース１＞
尤度が高い（例えば尤度が規定値以上）登録画像の枚数が現在のｎより大きく、かつ尤度同士の大きさが拮抗している（例えば尤度間の差が規定値未満）場合には、尤度が高い順に登録画像を並べた場合、ｎ番目以降に正解の人物が存在する可能性がある。そのため、撮像画像の中に正解の人物が存在する可能性を高めるために、ｎをより大きな値に変更することが有用である場合がある。よって、このような場合、例えば、尤度の値を既存のクラスタリング手法等で複数のグループに分割しておき、尤度が最も高いグループに分類された登録画像の枚数をｎとすれば良い。但し、一般的には登録画像の表示領域には面積の制限があるため、あらかじめ表示枚数の上限を設定しておくと良い。なお、「尤度が高い（例えば尤度が規定値以上）登録画像の枚数が現在のｎより大きく、かつ尤度同士の大きさが拮抗している場合」を判定する方法には様々な方法がある。また、ｎの変更制御は全てのグループで一律に行っても良いし、グループごとに行っても良い。
【００５３】
＜ケース２＞
尤度が全体的に低い（例えば尤度の平均値が規定値未満）場合には、登録画像の中に正解の人物が存在しない可能性があるため、ユーザの目視確認の負担を減らすために、ｎをより小さい値に変更することが有用である場合がある。このような場合には、あらかじめ尤度の最小値（最小尤度値）を設定しておき、尤度の順位が現在のｎ以上であっても、最小尤度値を下回る尤度である登録画像は非表示とすることで、結果としてｎを小さくすれば良い。
【００５４】
また、第１の実施形態では、尤度が高い順にｎ枚の登録画像を表示する際に、フレーム間で最大の尤度を持つ登録画像が変化した場合にのみ表示する登録画像を更新することで、表示される登録画像の切り替わりの頻発を抑制している。しかし、それでもなお、表示される登録画像の表示／非表示の切り替わりが頻発して結局どの人物であるのかが分かりづらい場合がある。その場合、登録画像の表示は行わず、グループごとに、該グループに属する種別の人物である尤度のみを表示しても良い。「グループに属する種別の人物である尤度」を求める為の方法の一例を図１２を用いて説明する。
【００５５】
図１２（ａ）に示す如く、グループ名「２０代男性」のグループに登録画像Ａ，Ｂ，Ｃが属しているとする。そして、過去フレームの顔画像に対する登録画像Ａ，Ｂ，Ｃのそれぞれの尤度が図１２（ｂ）に示す如く、ＬＡ−１（＝１４０）、ＬＢ−１（＝１０）、ＬＣ−１（＝８０）であるとする。また、現フレームの顔画像に対する登録画像Ａ，Ｂ，Ｃのそれぞれの尤度が図１２（ｃ）に示す如く、ＬＡ０（＝４０）、ＬＢ０（＝１３０）、ＬＣ０（＝２０）であるとする。このとき、「グループに属する種別の人物である尤度」Ｌは、図１２（ｃ）の下側に示す如く、Ｌ＝（ＬＡ−１＋ＬＢ−１＋ＬＣ−１＋ＬＡ０＋ＬＢ０＋ＬＣ０）／６を計算することで求めることができる。これは他のグループについても同様である。
【００５６】
なお、ここでは尤度Ｌを現フレームよりも１フレーム過去のフレーム及び現フレームの２フレーム分の尤度を用いて求めているが、３フレーム分以上の尤度の平均をＬとして求めても良い。つまり、尤度の平均を求めるために過去フレームは１フレーム以上参照しても良い。
【００５７】
また、グループのみを表示する（第２の実施形態）か、グループ及び登録画像の両方を表示する（第１の実施形態）かの切り替えは、自動的に切り替わる方式を用いても良いし、ユーザ操作によって手動で切り替えられる方法を用いて実現しても良い。以下では、自動的に切り替わる方式の例を３点挙げる。なお、ここでは各登録画像に対する尤度とグループに対する尤度を明確に分けて記載するために、各登録画像に対する尤度を「個人の尤度」、グループに属する種別の人物である尤度を「グループの尤度」とそれぞれ記載する。
【００５８】
＜例１＞
個人の尤度が全体的に低い（例えば尤度の平均値が規定値未満）場合には、表示される登録画像の表示／非表示の切り替わりが頻発して結局どの人物であるのかが分かりづらい場合がある。その場合、はじめに個人の尤度及びグループの尤度の両方を求め、個人の尤度の大きさに基づいて表示の切り替えを行うと良い。切り替えを行う方法の一例を、図１４に示されたフローチャートと同様に、図１７のフローチャートに従って説明する。
【００５９】
ステップＳ１７０１では、撮像画像を取得し、ステップＳ１７０２では、該撮像画像より顔の領域を抽出する。ステップＳ１７０３では、個人の尤度及びグループの尤度を求める。ステップＳ１７０４では、個人の尤度と予め設定した閾値との間で大きさを比較し、個人の尤度が閾値以上の場合には、ステップＳ１７０６に進み、閾値未満の場合にはステップＳ１７０５に進む。
【００６０】
ステップＳ１７０５では、現在のフレームと１つ前のフレームにおいて、尤度の最も高い個人が同じであるか否かを求め、同じである場合にはステップＳ１７０６に進み、同じでない場合にはステップＳ１７０７に進む。
【００６１】
ステップＳ１７０６では、認証結果として、グループ及び登録画像の両方を表示する。ステップＳ１７０７では、尤度が高い（例えば尤度が規定値以上）グループのみを表示する。例えば図１９に示す如く、中央のフレームはＤさんと認識されており、これは直前のフレーム（左端のフレーム）における認識結果（Ａさん）とは異なり、且つ中央のフレームにおける尤度は閾値未満であるため、「３０代男性」というグループ名を表示する。同様に、右端のフレームはＢさんと認識されており、これは直前のフレーム（中央のフレーム）における認識結果（Ｂさん）とは異なり、且つ右端のフレームにおける尤度は閾値未満であるため、「３０代男性」というグループ名を表示する。なお、グループ名は、社員、駅員、警察など、ほかのグループ名であっても良い。
【００６２】
ステップＳ１７０６もしくはステップＳ１７０７の処理が終了した後は、ステップＳ１７０８へ進む。ステップＳ１７０８では、処理の終了条件が満たされたか否かを判断する。終了条件が満たされたと判断された場合には、処理は完了し、終了条件が満たされていないと判断された場合には、処理はステップＳ１７０１に戻る。なお、上述した「１つ前のフレーム」、「直前のフレーム」はそれぞれ「１つ前の認証処理対象のフレーム」、「直前の認証処理対象のフレーム」を意図している。
【００６３】
＜例２＞
尤度の計算は、認証開始の初期のフレームでは不安定であるが、時間が経過する（フレーム数が増える）と情報量が増加して安定化する場合がある。この要因としては、例えば、初めに背面を向いていた人物が、時間の経過によって正面を向いて認証しやすくなるなどが考えられる。その場合、例えば、人物が出現した１フレーム目からｍ（ｍは２以上の整数）フレーム目まではグループのみを表示し、（ｍ＋１）フレーム目以降についてはグループ及び登録画像の両方を表示すると良い。切り替えを行う方法の一例を、図１４に示されたフローチャートと同様に、図１８のフローチャートに従って説明する。
【００６４】
ステップＳ１８０１では、撮像画像を取得し、ステップＳ１８０２では、該撮像画像より顔の領域を抽出する。ステップＳ１８０３では、個人の尤度及びグループの尤度を求める。ステップＳ１８０４では、人物出現後のフレーム数と予め設定した閾値との間で大きさを比較し、人物出現後のフレーム数が閾値以上の場合には、ステップＳ１８０５に進み、閾値未満の場合にはステップＳ１８０６に進む。ステップＳ１８０５では、認証結果として、グループ及び登録画像の両方を表示する。ステップＳ１８０６では、グループのみを表示する。
【００６５】
ステップＳ１８０５もしくはステップＳ１８０６の処理が終了した後は、ステップＳ１８０７へ進む。ステップＳ１８０７では、処理の終了条件が満たされたか否かを判断する。終了条件が満たされたと判断された場合には、処理は完了し、終了条件が満たされていないと判断された場合には、処理はステップＳ１８０１に戻る。
【００６６】
＜例３＞
多くのフレームで得られた尤度を統合して切り替えを行っても良い。例えば、１フレーム目からｍ（ｍは２以上の整数）フレーム目まではグループのみを表示し、（ｍ＋１）フレーム目以降については、「直前のｎフレーム連続（ｎは２以上の整数）で最も尤度が高い人物が同一である」という条件が成立した際に、グループ及び登録画像の両方を表示する方法に切り替える、などの方法を利用すればよい。また、直前の連続ｎフレーム分の尤度計算結果に基づき、尤度の順位の変化の量が小さい場合にのみ、登録画像を表示する、などの方法で、動的に２つの表示方法を切り替えながら利用しても良い。
【００６７】
第１の実施形態では、尤度が高い順にｎ枚の登録画像を表示する際に、尤度が最も大きい登録画像が変化した場合にのみ表示する登録画像を更新するが、これに限らない。例えば、尤度の順位が１位から３位までの登録画像が１つでもフレーム間で変化したグループがあれば、表示する登録画像を更新し、なければ更新しない。このように、任意（規定）の順位（ｐ（ｐは２以上の整数）番目に大きい順位）までの登録画像がフレーム間で変化した際に表示する登録画像を更新する（上記の方法ＩＩ）方法でも良い。
【００６８】
また、登録画像には関係なく、現フレームにおいて最も大きい尤度が、過去フレームにおいて最も大きい尤度を超えたグループがあれば表示する登録画像を更新し（上記の方法ＩＩ）、無ければ更新しない方法でもよい。また、尤度が最も大きい登録画像が変化し且つ現フレームにおいて最も大きい尤度が過去フレームにおいて最も大きい尤度を超えたグループがあれば、表示する登録画像を更新する（上記の方法ＩＩ）方法でもよい。
【００６９】
また、第１の実施形態では、登録画像のグループ、及び各グループに属する登録画像は、あらかじめユーザが設定したものであるが、グループの定義を処理結果に基づいて動的に変更しても良い。例えば、監視カメラ１０００を用いてイベント会場等の入場受付窓口を監視（撮像）している場合、撮像画像には、受付手続きが未完了の人物のスペース、受付手続きが完了した人物のスペース、の両方が写っている場合がある。このような場合、認証部２０００が撮像画像における各スペースを定義する。そして認証部２０００は、撮像画像から顔画像を抽出した位置に該当するスペースが“受付手続きが未完了のスペース”であれば、認証結果として表示するグループ名を例えば“受付手続きが未完了のスペースに存在する要警戒人物”としても良い。
【００７０】
なお、上記の認証結果の表示の更新は、グループ単位で行っても良い。また、以上説明した各実施形態や変形例の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態や変形例の一部若しくは全部を選択的に使用しても構わない。
【００７１】
［第３の実施形態］
認証部２０００が有するものとして図１に示した各機能部はハードウェアで実装しても良いが、一部をソフトウェア（コンピュータプログラム）で実装しても良い。後者の場合、このようなコンピュータプログラムを実行可能なコンピュータ装置は、認証部２０００に適用することができる。認証部２０００に適用可能なコンピュータ装置のハードウェア構成例について、図１６のブロック図を用いて説明する。
【００７２】
ＣＰＵ１６０１は、ＲＡＭ１６０２に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１６０１は、コンピュータ装置全体の動作制御を行うと共に、認証部２０００が行うものとして上述した各処理を実行若しくは制御する。ＣＰＵ１６０１は、例えば、上記の制御部１９９としても機能する。
【００７３】
ＲＡＭ１６０２は、ＲＯＭ１６０３や外部記憶装置１６０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１６０７を介して外部（例えば上記のネットワーク３０００）から受信したデータ、を格納するためのエリアを有する。さらにＲＡＭ１６０２は、ＣＰＵ１６０１が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１６０２は、各種のエリアを適宜提供することができる。ＲＡＭ１６０２は、上記のメモリ１９８としても機能する。
【００７４】
ＲＯＭ１６０３には、コンピュータ装置の設定データや起動プログラムなど、書換不要の情報が格納されている。
【００７５】
操作部１６０４は、キーボード、マウス、タッチパネルなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の操作指示をＣＰＵ１６０１に対して入力することができる。操作部１６０４は、上記の入力部１０４としても機能する。
【００７６】
表示装置１６０５は、液晶画面やタッチパネル画面などにより構成されており、ＣＰＵ１６０１による処理結果を画像や文字などでもって表示することができる。表示装置１６０５は、上記の表示部１０６としても機能する。
【００７７】
外部記憶装置１６０６は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置１６０６には、ＯＳ（オペレーティングシステム）や、認証部２０００が行うものとして上述した各処理をＣＰＵ１６０１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。外部記憶装置１６０６に保存されているコンピュータプログラムには、取得部１０３、管理部１０２、処理部１０５、の機能をＣＰＵ１６０１に実行させるためのコンピュータプログラムが含まれている。また、外部記憶装置１６０６に保存されているデータには、上記の説明において既知の情報として取り扱った情報（設定情報、ｎの値など）が含まれている。外部記憶装置１６０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１６０１による制御に従って適宜ＲＡＭ１６０２にロードされ、ＣＰＵ１６０１による処理対象となる。なお、外部記憶装置１６０６は、上記のメモリ１９８としても機能する。
【００７８】
Ｉ／Ｆ１６０７は、上記のネットワーク３０００との間のデータ通信を行うための通信インターフェースとして機能するものである。ＣＰＵ１６０１、ＲＡＭ１６０２、ＲＯＭ１６０３、操作部１６０４、表示装置１６０５、外部記憶装置１６０６、Ｉ／Ｆ１６０７は何れもバス１６０８に接続されている。
【００７９】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００８０】
１０２：管理部  １０３：取得部  １０４：入力部  １０５：処理部  １０６：表示部  １０９：顔検出部  １１０：尤度計算部  １１１：決定部
【図１】
2019207676.tif 000003
【図２】
2019207676.tif 000004
【図３】
2019207676.tif 000005
【図４】
2019207676.tif 000006
【図５】
2019207676.tif 000007
【図６】
2019207676.tif 000008
【図７】
2019207676.tif 000009
【図８】
2019207676.tif 000010
【図９】
2019207676.tif 000011
【図１０】
2019207676.tif 000012
【図１１】
2019207676.tif 000013
【図１２】
2019207676.tif 000014
【図１３】
2019207676.tif 000015
【図１４】
2019207676.tif 000016
【図１５】
2019207676.tif 000017
【図１６】
2019207676.tif 000018
【図１７】
2019207676.tif 000019
【図１８】
2019207676.tif 000020
【図１９】
2019207676.tif 000021