(57)【特許請求の範囲】
【請求項１】
撮像手段から入力された映像から抽出された人物の特徴を記憶する第１の記憶手段と、
検索クエリとなる対象人物のクエリ画像の指定を受け付ける受付手段と、
前記クエリ画像から抽出された前記対象人物の特徴を記憶する第２の記憶手段と、
前記指定を受け付けた第１の時点より前に入力され、前記第１の記憶手段に記憶されている人物の特徴と、前記対象人物から抽出された特徴と、に基づいて、前記第１の時点よりも前に入力された映像から、前記対象人物を検索する第１の検索処理を行う第１の検索手段と、
前記第１の時点以降に前記撮像手段から入力された映像から抽出された人物の特徴と、前記第２の記憶手段に記憶されている前記対象人物の特徴と、に基づいて、前記第１の時点以降に入力された映像から前記対象人物を検索する第２の検索処理を行う第２の検索手段と、
前記第１の時点から、前記第２の検索処理の準備が完了する第２の時点までの準備期間に、前記撮像手段から入力された映像を記憶する第３の記憶手段と、
を有し、
前記第２の検索手段は、前記第３の記憶手段に記憶されている映像から抽出された人物の特徴と、前記第２の記憶手段に記憶されている前記対象人物の特徴と、に基づいて、前記準備期間の映像から前記対象人物を検索することを特徴とする情報処理装置。
【請求項２】
前記第１の検索手段の検索結果及び前記第２の検索手段の検索結果を統合する統合手段と、
前記統合手段による統合後の前記検索結果を表示する表示手段と
をさらに有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第３の記憶手段は、前記第１の時点から、前記第２の検索処理の準備が完了する第２の時点までの準備期間に、前記撮像手段から入力された映像から抽出された人物の特徴を記憶し、
前記第２の検索手段は、前記第３の記憶手段に記憶されている人物の特徴と、前記第２の記憶手段に記憶されている前記対象人物の特徴と、に基づいて、前記準備期間の映像を検索範囲として、前記対象人物を検索することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記第２の検索手段は、前記準備期間の後に入力された映像の特徴と、前記第２の記憶手段に記憶されている前記対象人物の特徴と、に基づいて、前記準備期間の後に入力された映像から前記対象人物を検索することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記第２の検索手段は、前記準備期間の映像から前記対象人物を検索する処理の後に、前記準備期間の後に入力された映像から前記対象人物を検索する処理を実行することを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記第２の検索手段は、前記準備期間に入力された前記映像から前記対象人物を検索する処理と、前記準備期間の後に入力された映像から前記対象人物を検索する処理と、を並列処理として実行することを特徴とする請求項４に記載の情報処理装置。
【請求項７】
前記第１の検索手段及び前記第２の検索手段は、前記第１の検索処理と前記第２の検索処理を並列処理として実行することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
【請求項８】
前記第３の記憶手段は、第１の人物に対する前記第２の検索手段による検索処理の実行中に、前記受付手段が、前記第１の人物と異なる第２の人物を対象人物とするクエリ画像の指定を受け付けた場合に、前記第１の人物に対する前記第２の検索手段による検索処理の実行中に撮像手段から入力された映像から抽出された人物の特徴を、前記映像と共に、又は前記映像に替えて前記第３の記憶手段に記憶することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
【請求項９】
前記第１の時点から一定期間前までに入力された映像と映像から抽出された人物の特徴との少なくとも一方を第３の記憶手段が記憶するよう管理する管理手段をさらに有し、
前記第１の検索手段は、前記第１の時点から一定期間前より前に入力され、前記第１の記憶手段に記憶されている人物の特徴と、前記対象人物から抽出された特徴と、に基づいて、前記第１の記憶手段に記憶されている映像から、前記対象人物を検索し、
前記第２の検索手段は、前記第２の記憶手段に記憶されている映像から抽出された人物の特徴と、前記対象人物から抽出された特徴と、に基づいて、前記第３の記憶手段に記憶されている映像から、前記対象人物を検索することを特徴とする請求項１又は２に記載の情報処理装置。
【請求項１０】
情報処理装置が実行する情報処理方法であって、
撮像手段から入力された映像から抽出された人物の特徴を第１の記憶手段に記憶する第１の記憶ステップと、
検索クエリとなる対象人物のクエリ画像の指定を受け付ける受付ステップと、
前記クエリ画像から抽出された前記対象人物の特徴を第２の記憶手段に記憶する第２の記憶ステップと、
前記指定を受け付けた第１の時点より前に入力され、前記第１の記憶手段に記憶されている人物の特徴と、前記対象人物から抽出された特徴と、に基づいて、前記第１の時点よりも前に入力された映像から、前記対象人物を検索する第１の検索処理を行う第１の検索ステップと、
前記第１の時点以降に前記撮像手段から入力された映像から抽出された人物の特徴と、前記第２の記憶手段に記憶されている前記対象人物の特徴と、に基づいて、前記第１の時点以降に入力された映像から前記対象人物を検索する第２の検索処理を行う第２の検索ステップと、
前記第１の時点から、前記第２の検索処理の準備が完了する第２の時点までの準備期間に、前記撮像手段から入力された映像を第３の記憶手段に記憶する第３の記憶ステップと、
を含む情報処理方法であって、
前記第２の検索ステップは、前記第３の記憶手段に記憶されている映像から抽出された人物の特徴と、前記第２の記憶手段に記憶されている前記対象人物の特徴と、に基づいて、前記準備期間の映像から前記対象人物を検索することを特徴とする情報処理方法。
【請求項１１】
コンピュータに、
撮像手段から入力された映像から抽出された人物の特徴を第１の記憶手段に記憶する第１の記憶ステップと、
検索クエリとなる対象人物のクエリ画像の指定を受け付ける受付ステップと、
前記クエリ画像から抽出された前記対象人物の特徴を第２の記憶手段に記憶する第２の記憶ステップと、
前記指定を受け付けた第１の時点より前に入力され、前記第１の記憶手段に記憶されている人物の特徴と、前記対象人物から抽出された特徴と、に基づいて、前記第１の時点よりも前に入力された映像から、前記対象人物を検索する第１の検索処理を行う第１の検索ステップと、
前記第１の時点以降に前記撮像手段から入力された映像から抽出された人物の特徴と、前記第２の記憶手段に記憶されている前記対象人物の特徴と、に基づいて、前記第１の時点以降に入力された映像から前記対象人物を検索する第２の検索処理を行う第２の検索ステップと、
前記第１の時点から、前記第２の検索処理の準備が完了する第２の時点までの準備期間に、前記撮像手段から入力された映像を第３の記憶手段に記憶する第３の記憶ステップと、
を実行させるためのプログラムであって、
前記第２の検索ステップは、前記第３の記憶手段に記憶されている映像から抽出された人物の特徴と、前記第２の記憶手段に記憶されている前記対象人物の特徴と、に基づいて、前記準備期間の映像から前記対象人物を検索することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、監視映像の各フレームから、人物の顔を検索することで、迷子や列車等への乗り遅れ客を検出する技術が知られている。特許文献１には、監視映像の各フレームから人物の顔を検出し、その顔から画像特徴を算出して映像のフレームと対応付けてデータベース（ＤＢ）に蓄積し、例えば迷子の子供の顔をクエリとして、ＤＢから迷子の子供の映像を検索する技術が開示されている。また、特許文献２には、予め検出すべき人物の顔を登録しておき、入力された映像からリアルタイムに人物を検出する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１３−１５３３０４号公報
【特許文献２】特開２０１４−２１５７４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、クエリが発行された時点でＤＢに蓄積された映像を検索対象とするものの、その後に得られた映像から対象人物を検索することができない。このため、迷子や乗り遅れ客の現時点の居場所を知らせ確保することができない。一方で、特許文献２の技術では、クエリが発行された時点よりも前の映像に遡及して人物検索を行う場合には、処理速度が遅くなってしまう。このため、迷子や乗り遅れ客を確保する目的においては、特許文献２の技術では十分でない。
【０００５】
本発明はこのような問題点に鑑みなされたもので、適切な処理速度で、過去から継続的に、人物を検索することを目的とする。
【課題を解決するための手段】
【０００６】
そこで、本発明は、情報処理装置であって、撮像手段から入力された映像から抽出された人物の特徴を記憶する第１の記憶手段と、検索クエリとなる対象人物のクエリ画像の指定を受け付ける受付手段と、前記クエリ画像から抽出された前記対象人物の特徴を記憶する第２の記憶手段と、前記指定を受け付けた第１の時点より前に入力され、前記第１の記憶手段に記憶されている人物の特徴と、前記対象人物から抽出された特徴と、に基づいて、前記第１の時点よりも前に入力された映像から、前記対象人物を検索する第１の検索処理を行う第１の検索手段と、前記第１の時点以降に前記撮像手段から入力された映像から抽出された人物の特徴と、前記第２の記憶手段に記憶されている前記対象人物の特徴と、に基づいて、前記第１の時点以降に入力された映像から前記対象人物を検索する第２の検索処理を行う第２の検索手段と、前記第１の時点から、前記第２の検索処理の準備が完了する第２の時点までの準備期間に、前記撮像手段から入力された映像を記憶する第３の記憶手段と、を有し、前記第２の検索手段は、前記第３の記憶手段に記憶されている映像から抽出された人物の特徴と、前記第２の記憶手段に記憶されている前記対象人物の特徴と、に基づいて、前記準備期間の映像から前記対象人物を検索することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、適切な処理速度で、過去から継続的に、人物を検索することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る監視システムを示す図である。
【図２】情報処理装置のソフトウェア構成を示す図である。
【図３】映像記録処理を示すフローチャートである。
【図４】第１の検索処理及び第２の検索処理の説明図である。
【図５】検索処理を示すフローチャートである。
【図６】第２の実施形態に係る検索処理を示すフローチャートである。
【図７】第３の実施形態に係る検索処理を示すフローチャートである。
【図８】第５の実施形態に係る常駐検索処理を示すフローチャートである。
【図９】第５の実施形態に係る検索処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について図面に基づいて説明する。
【００１０】
（第１の実施形態）
図１は、第１の実施形態に係る監視システムを示す図である。監視システムは、情報処理装置１００と、撮像部としてのカメラ１１２とを有し、クエリとして指定された人物の検索を行う。図１においては、人物検出システムが３台のカメラ１１２を有する場合を例示しているが、カメラ１１２の数は実施形態に限定されるものではない。情報処理装置１００とカメラ１１２は、ネットワーク１１１を介して接続している。
【００１１】
ＣＰＵ１０１は、情報処理装置１００全体を制御するＣｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔである。ＲＯＭ１０２は、変更を必要としないプログラムやパラメータを格納するＲｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙである。ＲＡＭ１０３は、外部装置などから供給されるプログラムやデータを一時記憶するＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙである。外部記憶装置１０４は、情報処理装置１００に固定して設置されたハードディスクやメモリカードなどの記憶装置である。なお、外部記憶装置１０４は、情報処理装置１００から着脱可能なフレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ  Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカードなどを含んでもよい。なお、後述する情報処理装置１００の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２や外部記憶装置１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
【００１２】
入力Ｉ／Ｆ１０５は、ユーザの操作を受け、データを入力するポインティングデバイスやキーボードなどの入力部１０９とのインターフェースである。出力デバイスＩ／Ｆ１０６は、情報処理装置１００の保持するデータや供給されたデータを表示するためのモニタ１１０とのインターフェースである。通信Ｉ／Ｆ１０７は、インターネットなどのネットワーク１１１に接続する。カメラ１１２は、監視カメラなどの映像の撮像装置であり、ネットワーク１１１を介して情報処理装置１００に接続されている。システムバス１０８は、１０１〜１０７の各ユニットを通信可能に接続する伝送路である。
【００１３】
図２は、情報処理装置１００のソフトウェア構成を示す図である。情報処理装置１００は、画像特徴として顔から得る顔画像特徴を用い、これを利用した画像特徴検索を行う。映像受付部２０１は、カメラ１１２により撮影され、カメラ１１２から情報処理装置１００に入力された映像を受け付ける。映像記憶部２０２は、映像受付部２０１が受け付けた映像を記憶する。
【００１４】
追尾部２０３は、映像受付部２０１が受け付けた映像中の人物の追尾を行う。追尾部２０３は、具体的には、動きベクトルから物体を検出し、次フレームでの探索位置を推定しテンプレートマッチングにより人物追尾を行う。人物追尾処理に関しては、下記の文献を参照することができる。
特開２００２−３７３３３２号公報
追尾部２０３は、同じ人物を追尾している追尾トラックに対して同じ追尾トラックＩＤを発行し、異なる人物の追尾トラックに対しては異なる追尾トラックＩＤを発行する。これにより、一意性が担保され、追尾トラックＩＤから同一人物の特定が可能となる。なお、追尾部２０３は、同じ人物であっても、追尾が途切れた場合は、異なる追尾トラックＩＤを発行する。
【００１５】
顔検出部２０４は、映像中のフレーム画像等から顔検出を行う。顔検出部２０４は例えば、追尾部２０３で追尾された人物のフレーム画像のそれぞれから顔検出を行う。また、映像受付部２０１から入力された映像や、後述するクエリ画像から、顔検出を行う。顔検出部２０４は、処理対象の画像に対し、片目候補領域を検出し、複数の片目候補領域からペアリングを行い、ペアリングされた両目位置に基づいて顔領域を決定する。なお、画像から人物の顔を検出する方法については、以下の文献を参照することができる。
特開２０１０−１６５１５６号公報
【００１６】
代表決定部２０５では、追尾された人物のフレーム画像群から、代表となる顔画像を選択する。以下、代表となる顔画像を代表画像と称する。代表決定部２０５は、例えば、顔検出部２０４で検出された顔画像のうち、顔サイズの大きい画像を選択する。顔サイズを用いる理由として、画像特徴の精度の問題が有る。顔画像が大きいほど、精度の高い画像特徴が得られるからである。すなわち、顔画像から画像特徴を算出する際、顔画像の大きさを一定の大きさに変倍する顔サイズ正規化処理を行う必要がある。その際、顔画像が上記一定の大きさよりも大きい場合には縮小処理を行い情報のロスは比較的小さいが、上記一定の大きさよりも小さい場合には超解像度処理の様な画素補完を行う必要があり、情報の劣化が激しい。
【００１７】
また、他の例としては、代表決定部２０５は、フレーム画像群から複数の画像を代表画像として選択してもよい。例えば、複数の顔の向きの画像を選択する方法がある。同じ人の画像であっても、顔向きが異なるとその画像から得られる画像特徴が異なるためである。
【００１８】
代表決定部２０５は、特徴として勾配方向ヒストグラム（Ｈｉｓｔｏｇｒａｍ  ｏｆ  Ｏｒｉｅｎｔｅｄ  Ｇｒａｄｉｅｎｔ，ＨＯＧ）を抽出し、ＳＶＲで顔の向きを推定する。勾配方向ヒストグラムは、画像の輝度勾配情報を画像の局所毎にヒストグラム化した特徴で、局所的なノイズや画像の明暗にロバストな特徴として知られている。ノイズや照明変動のような、顔の向きに関係のない変動にロバストな特徴を選択することで、実環境においても安定した顔向き推定を実現している。画像から人物の顔向きを検出する方法については、以下の文献を参照することができる。
Ｅｒｉｋ  Ｍｕｐｈｙ−Ｃｈｕｔｏｒｉａｎ，  "Ｈｅａｄ  ｐｏｓｅ  ｅｓｔｉｍａｔｉｏｎ  ｆｏｒ  ｄｒｉｖｅｒ  ａｓｓｉｓｔａｎｃｅ  ｓｙｓｔｅｍｓ：Ａ  ｒｏｂｕｓｔ  ａｌｇｏｒｉｔｈｍ  ａｎｄ  ｅｘｐｅｒｉｍｅｎｔａｌ  ｅｖａｌｕａｔｉｏｎ，"  ｉｎ  Ｐｒｏｃ．  ＩＥＥＥ  Ｃｏｎｆ．  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｔｒａｎｓｐｏｒｔａｔｉｏｎ  Ｓｙｓｔｅｍｓ，  ２００７，  ｐｐ．  ７０９−７１４．
【００１９】
また、代表決定部２０５は、人物の顔向きに代えて、人物の人体の向きを検出するようにしてもよい。人体の向きの検出は、例えば以下の文献に記載の方法を用いることができる。
特開２０１１−１８６５７６号公報
【００２０】
また、他の例としては、代表決定部２０５はさらに、画像のブレが少ない画像を代表画像として選択してもよい。動画を撮影するカメラでも静止画のカメラと同様に、その場所の明るさに従いシャッター速度が変わる場合がある。従って、暗い場所や被写体の動き速度により、顔画像のブレが生じることがあり、これは直接的に画像特徴や属性情報の劣化の原因となる。ブレの推定に関しては、代表決定部２０５は、顔画像領域の周波数成分を求め、低周波成分と高周波成分との比率を求め、これが低周波成分の比率が所定の値を超えた時にブレを生じていると判断すればよい。その他、代表決定部２０５は、眼つぶりや口あき等の顔画像については、代表画像として選択しないようにしてもよい。眼つぶりや口あき等があると、器官の画像特徴が変質する可能性があるためである。
【００２１】
特徴算出部２０６は、処理対象の顔画像の画像特徴の算出を行う。特徴算出部２０６は、具体的には、人物の顔画像内の目・口などの器官点を求め、各器官点のＳＩＦＴ（Ｓｃａｌｅ  Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴を算出する。なお、この特徴は例であり、算出される特徴の種類は実施形態に限定されるものではない。第１の特徴記憶部２０７は、映像受付部２０１が受け付けた映像に対して特徴算出部２０６において算出された画像特徴を記憶する。第１の特徴記憶部２０７はさらに、画像特徴のメタデータとして、人物のＩＤや人物を追尾したときの追尾トラックＩＤ、撮影時刻や撮影したカメラ１１２のカメラＩＤを関連付けて記憶する。第１の特徴記憶部２０７は、例えば、外部記憶装置１０４である。
【００２２】
クエリ受付部２０８は、クエリ画像の指定を受け付ける。ここで、クエリ画像とは、検索キーとなる人物の顔画像である。検索キーとなる人物を対象人物と称する。例えば、ＣＰＵ１０１は、外部記憶装置１０４に記憶された顔画像をモニタ１１０に表示する。そして、ユーザは、モニタ１１０を見ながら、入力部１０９を介して、検索したい人物の顔画像をクエリ画像として選択する。これに対応し、クエリ受付部２０８は、ユーザにより選択されたクエリ画像を受け付ける。なお、クエリ画像は、１枚でもよく２枚以上であってもよい。
【００２３】
第２の特徴記憶部２０９は、クエリ受付部２０８が受け付けたクエリ画像（顔画像）の画像特徴を記憶する。ここで、クエリ画像の画像特徴は、対象人物に対して予め定められた基準特徴の一例である。なお、クエリ画像の画像特徴は、特徴算出部２０６により算出される。第２の特徴記憶部２０９は、例えば、外部記憶装置１０４である。第２の特徴記憶部２０９へのクエリ画像の画像特徴の記録は、ＣＰＵ１０１により行われる。第２の特徴記憶部２０９にクエリ画像の画像特徴を記録する処理は、後述の第２の検索部２１２により実行される入力画像の検索処理を開始するための準備処理である。また、ＣＰＵ１０１は、後述する対象除外の指示を受け付けた場合には、第２の特徴記憶部２０９から画像特徴を削除する。
【００２４】
一時記憶部２１０は、本発明の第３の記憶手段に相当し、入力映像の検索処理の準備期間において、映像受付部２０１から入力された画像を一時的に記憶する。ここで、準備期間は、映像受付部２０１がクエリ画像の指定を受け付けた受付時点から、後述の第２の検索部２１２による検索処理の準備処理が完了する準備完了時点までの期間である。一時記憶部２１０は、例えば、ＲＡＭ１０３又は外部記憶装置１０４である。一時記憶部２１０に記憶された映像は、第２の検索部２１２による検索処理に用いられる。なお、一時記憶部２１０への映像の記録は、ＣＰＵ１０１により行われる。ＣＰＵ１０１は、映像受付部２０１が受け付けた映像を対象に、リアルタイムに入力映像の検索処理を行う場合に比べて、低いフレームレートで一時記憶部２１０に映像を記録してもよい。これにより、第２の検索部２１２による検索処理の処理負荷を軽減することができる。
【００２５】
第１の検索部２１１は、第１の検索処理を実行する。ここで、第１の検索処理は、クエリ画像から算出された画像特徴をクエリとし、第１の検索処理に対して設定された検索範囲の映像から対象人物を検索する処理である。本実施形態に係る第１の検索部２１１は、第１の特徴記憶部２０７に記憶された画像特徴を検索範囲とし、第１の特徴記憶部２０７において、類似度が所定閾値よりも高い画像特徴を特定する。類似度の算出にあたっては、各器官点のＳＩＦＴ特徴の距離の総和を求め、距離の総和を正規化し、類似度を求める。
【００２６】
第２の検索部２１２は、第２の検索処理を実行する。ここで、第２の検索処理は、第２の特徴記憶部２０９に記憶された画像特徴（基準特徴）をクエリとし、第２の検索処理に対して設定された検索範囲の映像から対象人物を検索する処理である。本実施形態に係る第２の検索部２１２は、クエリ画像の指定を受け付けた時点以降に、映像受付部２０１が受け付けた映像から算出された画像特徴を検索範囲とする。ここで、検索範囲には、映像受付部２０１が受け付けた映像の他、一時記憶部２１０に記憶されている映像も含まれる。第２の検索部２１２は、検索範囲において、類似度が所定閾値よりも高い画像特徴を特定する。類似度の算出の方法は、第１の検索部２１１において説明したのと同様である。
【００２７】
表示処理部２１３は、第１の検索部２１１の検索結果と第２の検索部２１２の識別結果を統合し、その結果をモニタ１１０に表示する。表示処理部２１３は、例えば、カメラ１１２毎に、検索結果を分類して撮影時刻順にモニタ１１０に表示する。また、他の例としては、表示処理部２１３は、カメラ１１２の設置位置をマップ表示し、撮影時刻をもとに移動履歴をモニタ１１０に表示する。なお、表示内容は、実施形態に限定されるものではない。
【００２８】
除外受付部２１４は、迷子や乗り遅れ客を確保するなどして、検索する必要が無くなった人物の情報を受け付け、該人物の画像特徴を第２の特徴記憶部２０９から削除する。表示処理部２１３のユーザインタフェース上で迷子や乗り遅れ客の確保したことを指定することが可能である。また、航空機の乗り遅れ客を検索する場合は、航空機の搭乗口を通過したことを検知し、それをトリガとして該人物の画像特徴を第２の特徴記憶部２０９から削除することも可能である。
【００２９】
図３は、情報処理装置１００による、映像記録処理を示すフローチャートである。映像記録処理は、映像受付部２０１が受け付けた映像を検索可能なように蓄積する処理である。Ｓ３０１において、映像受付部２０１は、映像を受け付ける。次に、Ｓ３０２において、ＣＰＵ１０１は、Ｓ３０１において受け付けた映像を映像記憶部２０２に記録する。このとき、ＣＰＵ１０１は、映像のメタデータとして、撮影時刻や撮影したカメラ１１２のカメラＩＤを関連付けて記録する。本処理は、カメラ１１２から入力された映像を記憶部に記録する記録処理の一例である。
【００３０】
次に、Ｓ３０３において、追尾部２０３は、各フレーム画像から人物を検出し、追尾を行う。ここで、検出された人物にはフレーム画像毎に別々の人物ＩＤが割り振られ、フレーム画像中の人物の座標とともに一時記憶される。また、追尾を行っている人物に対しては、同じ追尾トラックＩＤが割り振られ、追尾を行っているフレーム画像のＩＤとともに一時記憶される。次に、Ｓ３０４において、追尾部２０３は、追尾が途切れた人物が存在する場合には（Ｓ３０４でＹＥＳ）、処理をＳ３０５へ進める。追尾部２０３は、追尾が途切れた人物が存在しない場合には（Ｓ３０４でＮＯ）、処理をＳ３０１へ進める。
【００３１】
Ｓ３０５において、顔検出部２０４は、追尾部２０３で追尾された人物のフレーム画像のそれぞれから顔検出を行う。次に、Ｓ３０６において、代表決定部２０５は、追尾された人物のフレーム画像群から、代表となる顔画像を１枚もしくは複数枚選択する。次に、Ｓ３０７において、特徴算出部２０６は、Ｓ３０６において選択された１枚もしくは複数枚の顔画像から顔画像特徴の算出を行う。
【００３２】
次に、Ｓ３０８において、ＣＰＵ１０１は、Ｓ３０７で算出された画像特徴を第１の特徴記憶部２０７に記録する。ＣＰＵ１０１はさらに、画像特徴のメタデータとして、人物ＩＤや人物を追尾したときの追尾トラックＩＤ、撮影時刻や撮影カメラを関連付けて記録する。次に、Ｓ３０９において、ＣＰＵ１０１は、蓄積処理の終了指示を受け付けたか否かを確認する。ＣＰＵ１０１は、終了指示を受け付けた場合には（Ｓ３０９でＹＥＳ）、処理を終了する。ＣＰＵ１０１は、終了指示を受け付けなかった場合には（Ｓ３０９でＮＯ）、処理をＳ３０１へ進める。以上の処理により、カメラ１１２から入力された映像に写る人物の顔画像の画像特徴が第１の特徴記憶部２０７に蓄積され、検索可能な状態になる。
【００３３】
次に、情報処理装置１００による人物検索処理について説明する。人物検索処理の説明に先立ち、図４を参照しつつ、第１の検索部２１１による第１の検索処理と、第２の検索部２１２による第２の検索処理と、について説明する。図４（ａ）は、第１の検索処理及び第２の検索処理の説明図である。第１の検索処理では、抽出された画像特徴をクエリとした照合が行われる。このため、任意の人物をクエリにした検索が可能である。他方、第２の検索処理では、クエリ人物の画像特徴を事前登録しておく必要がある。
【００３４】
精度に関しては、第２の検索処理は、機械学習等による精度面でのメリットがある。速度に関して、第１の検索処理は、登録が完了した映像の検索に関しては速いが、第１の特徴記憶部２０７に反映するまでに時間が掛かるのでスループット（登録及び検索）の観点ではやや劣る。他方、第２の検索処理では、事前登録する人物数をある程度の数に抑えておけばリアルタイムに認証を行うことができるので、スループットが高いと考える。
【００３５】
従って、好ましい用途としては、第１の検索処理は、過去の大量画像からの任意の人物を蓄積動画からの検索であり、第２の検索処理は、限られた人数の特定人物をリアルタイムに識別することである。
【００３６】
このため、本実施形態に係る情報処理装置１００は、クエリ人物の指定の指示を受け付け、人物検索を開始した時点より前（過去）の映像に関しては第１の検索処理を行い、その時点より後（未来）の映像に対しては第２の検索処理を行うこととする。これにより、例えば迷子探しを適切に行うことができる。過去の映像に対しても検索を行うのは、全てのカメラ１１２に映らない場所に居ることも考えられるため過去の居場所の情報も重要であり、また移動先の推定にも役立つためである。
【００３７】
ただし、第１の検索処理と第２の検索処理を単に組み合わせるだけでは問題が生ずる。図４（ｂ）は、第１の検索処理と第２の検索処理において検索される検索範囲（時間範囲）を示す図である。第１の検索処理では、第１の特徴記憶部２０７に記録された映像を検索範囲とする。このため、クエリ指定を受け付けた受付時点の映像が検索可能となるまでには、少々の準備期間（ディレイ）４０１が生じる。
【００３８】
第２の検索処理においても、各カメラ１１２の映像から検索する画像特徴のセットや学習等の初期化処理に時間が掛かり、検出処理が可能となるまでの準備期間（ディレイ）４０２が生じる。このため、準備期間４０１と準備期間４０２とを加えた時間帯である検索不可能時間帯４０３が生じることとなる。監視システムの様なセキュリティ用途において、検索不可能時間帯４０３を少なくするのが望ましい。
【００３９】
これに対し、本実施形態に係る情報処理装置１００は、準備期間４０１を短くするために、クエリ指定の受付時点までの映像に対する第１の検索処理が可能になった後で、第１の検索処理を行うこととする。また、情報処理装置１００は、準備期間４０２を短くするために、クエリ指定の受付時点から映像の一時記憶を開始する。そして、情報処理装置１００は、第２の検索処理が可能になった後で、一時記憶された映像に対する第２の検索処理と、カメラ１１２から入力された映像に対する第２の検索処理を並列処理として同時に実行する。これら２つの方法により、検索不可能時間帯４０３を短くすることができる。
【００４０】
図５は、情報処理装置１００による検索処理を示すフローチャートである。Ｓ５０１において、クエリ受付部２０８は、検索クエリとなる人物のクエリ画像の指定を受け付ける。次に、Ｓ５０２において、ＣＰＵ１０１は、クエリ画像の指定を受け付けた受付時点以降に映像受付部２０１が受け付けた映像の一時記憶部２１０への記録を開始する。次に、Ｓ５０３において、顔検出部２０４は、クエリ受付部２０８が受け付けたクエリ画像から顔画像を検出する。次に、Ｓ５０４において、特徴算出部２０６は、Ｓ５０３で検出されたクエリ画像の顔画像から画像特徴を算出する。なお、ＣＰＵ１０１は、Ｓ５０４の処理の後、２つのスレッドにて処理を実行する。
【００４１】
２つのスレッドのうち、第１のスレッドは、第１の検索処理を行うスレッドであり、第２のスレッドは、第２の検索処理を行うスレッドである。第１のスレッドは、Ｓ５０４の後、Ｓ５１１へ進む処理であり、Ｓ５１１、Ｓ５１２の処理を含む。第２のスレッドは、Ｓ５０４の処理の後、Ｓ５２１へ進む処理であり、Ｓ５２１〜Ｓ５２７の処理を含む。なお、Ｓ５３１〜Ｓ５３３の処理は、第１の検索処理の検索結果と第２の検索処理の検索結果を統合する処理である。
【００４２】
Ｓ５１１において、第１の検索部２１１は、クエリ画像の指定の受付時点までの映像が第１の特徴記憶部２０７に記録されたか否かを確認する。第１の検索部２１１は、記録が完了するまで待機し（Ｓ５１１でＮＯ）、記録が完了すると（Ｓ５１１でＹＥＳ）、処理をＳ５１２へ進める。Ｓ５１２において、第１の検索部２１１は、第１の特徴記憶部２０７に記憶された画像特徴を検索範囲として、Ｓ５０４において算出されたクエリ画像の画像特徴を検索クエリとして用いて、対象人物の検索を行う。そして、第１の検索部２１１は、第１の特徴記憶部２０７に記憶された画像特徴の中から、両画像特徴の類似度が所定閾値よりも高い画像特徴を検出する。
【００４３】
第２のスレッドに係るＳ５２１において、ＣＰＵ１０１は、Ｓ５０４において算出された、クエリ画像の画像特徴を基準特徴として、第２の特徴記憶部２０９に登録（記録）する。なお、Ｓ５２１の処理は、第２の検索処理の準備処理の一例である。Ｓ５２１において準備処理が完了したため、続く、Ｓ５２２において、ＣＰＵ１０１は、Ｓ５０２において開始した、一時記憶部２１０への映像の記録を終了する。これにより、一時記憶部２１０には、指示受付時点から第２の検索処理の準備が完了する時点までの準備期間にカメラ１１２から入力された映像が記録されることになる。
【００４４】
Ｓ５２２の処理の後、処理はさらに２つのスレッドに分かれる。第２のスレッドの２つのスレッドのうち、第２１のスレッドは、Ｓ５２２の処理の後、Ｓ５２３へ進む処理である。また、第２２のスレッドは、Ｓ５２２の処理の後、Ｓ５２４へ進む処理であり、Ｓ５２４〜Ｓ５２７の処理を含む。Ｓ５２３において、第２の検索部２１２は、一時記憶部２１０に記憶されている映像から抽出された画像特徴と、第２の特徴記憶部２０９に記憶されている画像特徴（基準特徴）と、を比較することにより、対象人物の検索を行う。第２の検索部２１２は、比較処理が終わった映像は一時記憶部２１０から削除する。
【００４５】
一方、Ｓ５２４において、第１の検索部２１１は、クエリ画像の指定の受付時点以降にカメラ１１２から入力された映像（入力映像）を検索対象として取得する。次に、Ｓ５２５において、第２の検索部２１２は、Ｓ５２４において受け付けた映像から抽出された画像特徴と、基準特徴と、を比較して、対象人物の検索を行う。これにより、入力された映像に対するリアルタイム検索が可能となる。
【００４６】
次に、Ｓ５２６において、ＣＰＵ１０１は、停止指示を受け付けたか否かを確認する。ＣＰＵ１０１は、停止指示を受け付けなかった場合には（Ｓ５２６でＮＯ）、処理をＳ５２４へ進める。ＣＰＵ１０１は、停止指示を受け付けた場合には（Ｓ５２４でＹＥＳ）、処理をＳ５２６へ進める。Ｓ５２６において、ＣＰＵ１０１は、Ｓ５２１において第２の特徴記憶部２０９に記録された基準特徴を第２の特徴記憶部２０９から削除し、処理を終了する。例えば、迷子や乗り遅れ客を確保する等して、クエリとして指定された人物の検索が必要なくなった場合に、ユーザは、停止指示を入力する。
【００４７】
なお、ＣＰＵ１０１は、Ｓ５１１〜５１２の処理と、Ｓ５２１以降の処理と、を並列処理として同時に実行する。さらに、ＣＰＵ１０１は、Ｓ５２３の処理と、Ｓ５２４〜Ｓ５２７の処理についても、並列処理として同時に実行する。
【００４８】
Ｓ５１２の処理の後、ＣＰＵ１０１は、処理をＳ５３１へ進める。Ｓ５３１において、表示処理部２１３は、Ｓ５１２において得られた第１の検索処理の検索結果と、Ｓ５２３、Ｓ５２５において得られた第２の検索処理の検索結果と、を統合する。次に、Ｓ５３２において、表示処理部２１３は、統合後の検索結果をモニタ１１０に表示する。次に、Ｓ５３３において、ＣＰＵ１０１は、停止指示を受け付けたか否かを確認する。ＣＰＵ１０１は、停止指示を受け付けなかった場合には（Ｓ５３３でＮＯ）、処理をＳ５３１へ進める。ＣＰＵ１０１は、停止指示を受け付けた場合には（Ｓ５３３でＹＥＳ）、処理を終了する。
【００４９】
以上のように、本実施形態に係る情報処理装置１００は、第２の検索処理の準備期間の映像を一時記憶部２１０に記録する。これにより、準備期間における映像においても、人物検索が可能となる。情報処理装置１００はさらに、第１の検索処理及びリアルタイムな検索も行うことができる。すなわち、情報処理装置１００は、適切な処理速度で、過去の映像から継続的に、人物検索を行うことができる。また、リアルタイムな検索が可能なことから、対象人物の確保も可能となる。また、過去の映像の検索が可能なことから、対象人物の移動先の推定が可能となる。さらに、第２の検索処理は、処理負荷が多いため、クエリ人物が確保できた等、検索が不要になった場合に、速やかに第２の検索処理が終了することが望ましい。これに対し、情報処理装置１００は、停止指示に応じて、速やかに第２の検索処理を終了することができる。
【００５０】
（第２の実施形態）
第２の実施形態に係る監視システムにおいては、情報処理装置１００の一時記憶部２１０は、準備期間の映像に替えて、準備期間の映像から算出された画像特徴を記憶する。以下、第２の実施形態に係る監視システムについて、第１の実施形態に係る監視システムと異なる点について説明する。図６は、第２の実施形態に係る情報処理装置１００による検索処理を示すフローチャートである。なお、図６に示す検索処理の各処理のうち、図５を参照しつつ説明した第１の実施形態に係る検索処理の各処理と同一の処理には、同一の番号を付している。
【００５１】
第２の実施形態においては、Ｓ５０１の処理の後、ＣＰＵ１０１は、処理をＳ６０１へ進める。Ｓ６０１において、ＣＰＵ１０１は、クエリ画像の指定を受け付けた受付時点以降に映像受付部２０１が受け付けた映像の画像特徴の一時記憶部２１０への記録を開始する。なお、映像受付部２０１が受け付けた映像から画像特徴を算出する処理は、特徴算出部２０６が行う。ＣＰＵ１０１は、その後処理をＳ５０３へ進める。
【００５２】
また、Ｓ５２１の処理の後、ＣＰＵ１０１は、処理をＳ６０２へ進める。Ｓ６０２において、ＣＰＵ１０１は、Ｓ６０１において開始した、Ｓ２１０への画像特徴の記録を終了する。続く処理は、２つのスレッドに分かれる。２つのスレッドのうち、第２１のスレッドは、Ｓ６０２の処理の後、Ｓ６０３へ進む処理である。また、第２２のスレッドの処理は、第１の実施形態において説明した、第２２のスレッドの処理と同様である。
Ｓ６０３において、第２の検索部２１２は、一時記憶部２１０に記憶されている画像特徴と、基準特徴と、を比較することにより、対象人物の検索を行う。第２の検索部２１２は、比較処理が終わった画像特徴は一時記憶部２１０から削除する。なお、第２の実施形態に係る監視システムのこれ以外の構成及び処理は、第１の実施形態に係る監視システムの構成及び処理と同様である。
【００５３】
以上のように、第２の実施形態に係る情報処理装置１００は、一時記憶部２１０に映像に替えて、映像から算出された画像特徴を記録する。これにより、検索処理を開始した後の情報処理装置１００の処理負担を軽減することができる。
【００５４】
（第３の実施形態）
第３の実施形態に係る監視システムにおいては、情報処理装置１００の第２の検索部２１２は、まず一時記憶部２１０に記憶されている映像を検索範囲とする第２の検索処理を行う。そして、第２の検索部２１２は、本処理が終了した後に、カメラ１１２から入力された映像に対する第２の検索処理を行う。以下、第３の実施形態に係る監視システムについて、第１の実施形態に係る監視システムと異なる点について説明する。図７は、第３の実施形態に係る情報処理装置１００による検索処理を示すフローチャートである。なお、図７に示す検索処理の各処理のうち、図５を参照しつつ説明した第１の実施形態に係る検索処理の各処理と同一の処理には、同一の番号を付している。
【００５５】
第３の実施形態においては、ＣＰＵ１０１は、Ｓ５２１の処理の後、処理をＳ５２３へ進める。すなわち、ＣＰＵ１０１は、Ｓ５０２において開始した一時記憶部２１０への映像の記録を継続したまま、Ｓ５２３において、第２の検索部２１２は、一時記憶部２１０に記憶されている映像を検索範囲とした第２の検索処理を行う。ＣＰＵ１０１は、その後処理をＳ７０１へ進める。Ｓ７０１において、ＣＰＵ１０１は、一時記憶部２１０への映像の記録を終了する。
【００５６】
このように、第３の実施形態においては、ＣＰＵ１０１は、一時記憶部２１０に記憶されている映像を検索範囲とした第２の検索処理が終了した後に、一時記憶部２１０への映像の記録を終了する。その後、ＣＰＵ１０１は、処理をＳ７０２へ進める。なお、Ｓ７０２〜Ｓ７０５の処理は、図５のＳ５２４〜Ｓ５２７の処理と同様である。なお、第３の実施形態に係る監視システムのこれ以外の構成及び処理は、他の実施形態に係る監視システムの構成及び処理と同様である。
【００５７】
以上のように、第３の実施形態に係る情報処理装置１００は、一時記憶部２１０に記憶されている映像に対する検索処理が終了した後に、リアルタイム検索を行う。これにより、他の実施形態に係る情報処理装置１００に比べて、リアルタイム検索の開始タイミングは遅くなるが、リアルタイム検索時の情報処理装置１００の処理負荷を軽減することができる。
【００５８】
なお、第３の実施形態の変更例としては、情報処理装置１００は、第２の実施形態において説明したのと同様に、一時記憶部２１０に、映像に替えて、映像から算出された画像特徴を記録してもよい。
【００５９】
（第４の実施形態）
第４の実施形態に係る情報処理装置１００は、検索の対象人物が複数人になった場合に、カメラ１１２から入力された映像に対する処理を重複させないように制御する。これにより、効率的な処理を行うことができる。本実施形態に係る情報処理装置１００が、クエリ画像（ここでは人物Ａとする）が指定された時点で、他の人（ここでは人物Ｂとする）に対する第２の検索処理を実行中であるとする。この場合、情報処理装置１００は、の場合は、人物Ｂの第２の検索処理に用いるべく算出した画像特徴を一時記憶部２１０に記録する。
【００６０】
以下、第４の実施形態に係る情報処理装置１００による検索処理について、図６を参照しつつ、第２の実施形態に係る検索処理との差分を説明する。第４の実施形態においては、情報処理装置１００は、他の人物の第２の検索処理に係る画像特徴を一時記憶部２１０に記憶するか否かのフラグとして、一時記憶要求フラグを用いる。一時記憶要求フラグは、常にはＯＦＦの状態とする。
【００６１】
Ｓ６０１において、ＣＰＵ１０１は、対象人物以外の他の人物にする第２の検索処理が実行中か否かを確認する。ＣＰＵ１０１は、実行中でない場合には、第２の実施形態において説明したのと同様に、映像受付部２０１が受け付けた映像の画像特徴の一時記憶部２１０への記録を開始する。ＣＰＵ１０１は、他の人物に対する第２の検索処理が実行中の場合は、一時記憶要求フラグをＯＮにする。また、Ｓ６０２において、ＣＰＵ１０１は、一時記憶要求フラグがＯＦＦの場合、すなわち、一時記憶処理実行中の場合は一時記憶処理を終了する。ＣＰＵ１０１は、一時記憶要求フラグがＯＮの場合は、ＯＦＦにする。
【００６２】
Ｓ５２４で、ＣＰＵ１０１は、一時記憶要求フラグがＯＦＦの場合は、第２の検索処理が終わった後、映像受付部２０１が受け付けた映像から算出された画像特徴を一時記憶部２１０から削除する。一方、ＣＰＵ１０１は、一時記憶要求フラグがＯＮの場合は、映像受付部２０１が受け付けた映像から算出された画像特徴を一時記憶部２１０に記録する。他の例としては、ＣＰＵ１０１は、画像特徴だけでなく、対応する映像も一時記憶部２１０に記憶してもよい。
【００６３】
また、Ｓ５２６において、ＣＰＵ１０１は、停止指示を受け付けた場合において、一時記憶要求フラグがＯＮの場合は、映像受付部２０１が受け付けた映像から算出された画像特徴を一時記憶部２１０に記録する処理を開始する。このとき、ＣＰＵ１０１は、さらに、一時記憶要求フラグをＯＦＦにする。なお、ＣＰＵ１０１は、停止指示を受け付けた場合において、一時記憶要求フラグがＯＦＦの場合は何もしない。なお、第３の実施形態に係る監視システムのこれ以外の構成及び処理は、他の実施形態に係る監視システムの構成及び処理と同様である。
【００６４】
以上のように、第４の実施形態に係る情報処理装置１００は、対象人物のクエリ画像の指定の受付時点において、他の人物の第２の検索処理が実行中の場合には、他の人物の画像特徴を一時記憶部２１０に記憶することとした。これにより、複数人の検索時の情報処理装置１００の処理負荷を軽減することができる。
【００６５】
（第５の実施形態）
第５の実施形態に係る情報処理装置１００においては、一時記憶部２１０には、処理時点から一定期間前までに入力された映像が記憶されている。そして、第１の検索部２１１は、クエリ画像による第２の検索処理の準備処理が完了した後、第２の検索処理を行うと同時に、クエリ画像の指定の受付時点よりも前（過去）に入力された映像に対する第１の検索処理も行う。これにより、検索不可能時間帯の映像に対しても、対象人物を検索することができる。すなわち、第５の実施形態に係る情報処理装置１００は、第１の検索処理の検索不可能時間帯に対しても第２の検索処理で対象人物を検索する点で、他の実施形態に係る情報処理装置１００と異なっている。
【００６６】
図８は、第５の実施形態に係る情報処理装置１００による常駐検索処理を示すフローチャートである。情報処理装置１００は、図８に示す常駐検索処理を常に実行する。Ｓ８０１において、ＣＰＵ１０１は、第２の特徴記憶部２０９に基準特徴が記憶されているか否かを確認する。ＣＰＵ１０１は、基準特徴が記憶されている場合には（Ｓ８０１でＹＥＳ）、処理をＳ８０３へ進める。ＣＰＵ１０１は、基準特徴が記憶されていない場合には（Ｓ８０１でＮＯ）、処理をＳ８０２へ進める。Ｓ８０２において、ＣＰＵ１０１は、映像受付部２０１が受け付けた映像を一時記憶部２１０に記録し、その後処理をＳ８０６へ進む。
【００６７】
一方、Ｓ８０３、Ｓ８０４の処理は、図５を参照しつつ説明した、Ｓ５２４、Ｓ５２５の処理と同様である。ＣＰＵ１０１は、Ｓ８０４の処理の後、処理をＳ８０５へ進める。Ｓ８０５において、ＣＰＵ１０１は、Ｓ８０３において用いた、入力映像から抽出された画像特徴を一時記憶部２１０に記録する。次に、Ｓ８０６において、ＣＰＵ１０１は、処理時の時刻よりも所定時間前の時刻以前に一時記憶部２１０に記録された映像と、入力映像から抽出された画像特徴を一時記憶部２１０から削除する。ここで、所定時間は、第１の検索処理が実行可能になるまでの時間と、第２の検索処理の準備期間を考慮して決定されるのが好ましい。情報処理装置１００は例えば、これらの時間の合計値を所定時間とする。なお、Ｓ８０２、Ｓ８０６の処理により、一時記憶部２１０には、常に所定時間分の映像もしくは映像から抽出された画像特徴が記憶されることになる。Ｓ８０２及びＳ８０６の処理は、処理時点から一定期間前までに入力された映像もしくは映像から抽出された画像特徴を一時記憶部２１０が記憶するよう管理する管理処理の一例である。
【００６８】
次に、Ｓ８０７において、ＣＰＵ１０１は、終了指示を受け付けたか否かを確認する。ＣＰＵ１０１は、終了指示を受け付けた場合には（Ｓ８０７でＹＥＳ）、処理を終了する。ＣＰＵ１０１は、終了指示を受け付けなかった場合には（Ｓ８０７でＮＯ）、処理をＳ８０１へ進める。
【００６９】
図９は、第５の実施形態に係る情報処理装置１００による検索処理を示すフローチャートである。なお、図９に示す検索処理の各処理のうち、図５を参照しつつ説明した第１の実施形態に係る検索処理の各処理と同一の処理には、同一の番号を付している。第５の実施形態に係る検索処理においては、ＣＰＵ１０１は、Ｓ５０１の処理の後、処理をＳ５０３へ進める。また、ＣＰＵ１０１は、Ｓ５０４の処理の後、処理をＳ５１１に替えてＳ５１２へ進めることにより、第１のスレッドの処理を行う。一方、ＣＰＵ１０１は、第２のスレッドにおいて、Ｓ５２１の処理の後、Ｓ５２２の処理を省略し、２つのスレッドを実行する。第２１のスレッドは、Ｓ５２３を含む処理であり、第２２のスレッドは、Ｓ５２６、Ｓ５２７を含む処理である。
【００７０】
本実施形態においては、一時記憶部２１０には、映像と顔画像特徴とが混在して記憶されている。Ｓ５２３において、第２の検索部２１２は、一時記憶部２１０に記憶された映像の画像特徴を算出し、映像の画像特徴と、第２の特徴記憶部２０９に記憶された基準特徴と、を比較する。そして、第２の検索部２１２は、類似度が所定閾値よりも高い画像特徴を検出する。第２の検索部２１２はまた、一時記憶部２１０に記憶された画像特徴に対しては、該画像特徴と、第２の特徴記憶部２０９に記憶された基準特徴と、を比較し、類似度が所定閾値よりも高い顔画像特徴を検出する。なお、第５の実施形態に係る監視システムのこれ以外の構成及び処理は、他の実施形態に係る監視システムの構成及び処理と同様である。
【００７１】
以上のように、第５の実施形態に係る情報処理装置１００は、第２の検索処理を常に実行し、一時記憶部２１０は、常に過去の一定期間に入力された映像を記憶している。そして、情報処理装置１００は、クエリ画像による第２の検索処理の準備期間の経過後に、第２の検索処理を行うと共に、過去の映像に対して第１の検索処理を行う。これにより、第５の実施形態に係る情報処理装置１００は、クエリ画像の指定の受付時点よりも過去の映像に対し、即座に検索を実行することができ、かつ、検索可能になるまでのディレイの区間に対しても第２の検索処理による高精度な検索を行うことができる。
【００７２】
第５の実施形態の第１の変更例としては、情報処理装置１００は、第２の実施形態において説明したのと同様に、一時記憶部２１０に、映像に替えて、映像から算出された画像特徴を記録してもよい。
【００７３】
第５の実施形態の第２の変更例について説明する。情報処理装置１００は、情報処理装置１００に接続された複数のカメラ１１２のうち一部のカメラ１１２から入力された映像のみを対象として、第５の実施形態において説明した常駐検索処理と検索処理とを実行してもよい。なお、情報処理装置１００は、他のカメラ１１２から入力された映像に対しては、他の実施形態において説明した検索処理（例えば、第１の実施形態）を行う。例えば、顔認証により登録されている人の通過を許可するセキュリティゲートのシステムが導入されているとする。この場合、情報処理装置１００は、そのセキュリティゲートの認証用のカメラに対しては、第５の実施形態に係る処理を実行し、他のカメラに対しては、他の実施形態に係る処理を実行する。
【００７４】
以下、第１の実施形態から第５の実施形態の変更例について説明する。第１の変更例としては、画像特徴は、顔画像の画像特徴に限定されるものではない。他の例としては、画像特徴は、人体全体から得る人体画像特徴であってもよい。人体画像特徴としては、例えば身長と体幅の比率や、頭身や身長に占める足の長さの比率などの数値が挙げられる。また他の例としては、情報処理装置１００は、画像特徴に替えて、顔を含む人体全体から得られる人物の属性情報を用いてもよい。属性情報の例としては、人種、性別、年齢、メガネの有無、髭、服の色等がある。
【００７５】
また他の例としては、情報処理装置１００は、画像特徴と属性情報の両方を、画像特徴として用いてもよい。例えば、情報処理装置１００は、画像特徴用の第１の検索処理及び第２の検索処理のスコアと、属性情報用の第１の検索処理及び第２の検索処理のスコアと、を個別に算出する。そして、情報処理装置１００は、両スコアの重み付け和を総合スコアとして算出してもよい。
【００７６】
以上、上述した各実施形態によれば、適切な処理速度で、過去から継続的に、人物を検索することができる。
【００７７】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００７８】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７９】
１００  情報処理装置
２０１  映像受付部
２０２  映像記憶部
２１０  一時記憶部
２１１  第１の検索部
２１２  第２の検索部
【図１】
0006736340.tif 000002
【図２】
0006736340.tif 000003
【図３】
0006736340.tif 000004
【図４】
0006736340.tif 000005
【図５】
0006736340.tif 000006
【図６】
0006736340.tif 000007
【図７】
0006736340.tif 000008
【図８】
0006736340.tif 000009
【図９】
0006736340.tif 000010