(57)【要約】  画像処理システムは、映像データから複数フレームを作成し、複数フレームにおいて移動物体を検出し、検出した前記移動物体それぞれの軌跡の特徴量を複数フレームから抽出してデータベースに記録し、複数フレームのそれぞれにおいて、移動物体の画像から特徴量を抽出して前記データベースに記録することを含む特徴登録処理の内容を、予め定められた条件に従って決定し、複数フレームのそれぞれにおいて、決定した特徴登録処理の内容を実行する。
2017017808.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサと前記プロセッサが実行するプログラムを格納する記憶装置とを含む、画像処理システムであって、
前記プロセッサは、
映像データから複数フレームを作成し、
前記複数フレームにおいて移動物体を検出し、
検出した前記移動物体それぞれの軌跡の特徴量を前記複数フレームから抽出してデータベースに記録し、
前記複数フレームのそれぞれにおいて、移動物体の画像から特徴量を抽出して前記データベースに記録することを含む特徴登録処理、の内容を、予め定められた条件に従って決定し、
前記複数フレームのそれぞれにおいて、決定した前記特徴登録処理の内容を実行する、画像処理システム。
【請求項２】
請求項１に記載の画像処理システムであって、
前記プロセッサは、
前記複数フレームの移動物体の画像から複数種類の特徴量を抽出し、
前記複数フレームから、第１フレームレートにおいて、第１種類の特徴量を抽出し、
前記複数フレームから、第１フレームレートより小さい第２フレームレートにおいて、第２種類の特徴量を抽出する、画像処理システム。
【請求項３】
請求項１に記載の画像処理システムであって、
前記プロセッサは、
前記複数フレームから処理対象フレームを順次選択して前記特徴登録処理を実行し、
所定頻度において、前記処理対象フレームからの第１種類の特徴量の抽出を省略する、画像処理システム。
【請求項４】
請求項１に記載の画像処理システムであって、
前記プロセッサは、
前記複数フレームから処理対象フレームを順次選択して前記特徴登録処理を実行し、
過去フレームにおける前記特徴登録処理の処理時間と、予め設定された目標値とに基づいて、選択されている処理対象フレームにおける前記特徴登録処理の内容を決定する、画像処理システム。
【請求項５】
請求項４に記載の画像処理システムであって、
前記プロセッサは、過去フレームにおける第１種類の特徴量の特徴登録処理の処理時間の統計値が目標値より長い場合、前記第１種類の特徴量の抽出を省略する頻度を増加させる、画像処理システム。
【請求項６】
請求項１に記載の画像処理システムであって、
前記プロセッサは、
前記特徴登録処理において、処理対象フレームから１または複数の領域を検出し、前記１または複数の領域から特徴量を抽出し、
前記１または複数の領域の構成に基づいて前記１または複数の領域からの特徴量抽出の内容を決定する、画像処理システム。
【請求項７】
請求項１に記載の画像処理システムであって、
前記データベースは前記複数フレームを格納し、
前記プロセッサは、特徴登録処理の少なくとも一部が省略されたフレームを前記データベースから選択し、
選択した前記フレームの特徴登録処理を実行する、画像処理システム。
【請求項８】
請求項７に記載の画像処理システムであって、
前記プロセッサは、
特徴登録処理の少なくとも一部が省略されたフレームのうち、指定された特徴量との類似度が閾値を超える移動物体の画像を含むフレームを、前記データベースから選択する、画像処理システム。
【請求項９】
請求項８に記載の画像処理システムであって、
前記指定された特徴量は移動物体の軌跡の特徴量を示す、画像処理システム。
【請求項１０】
請求項１に記載の画像処理システムであって、
前記プロセッサは、
検索条件の入力を受け付け、
前記データベースに登録された複数の移動物体の画像の特徴量と前記検索条件に基づき、前記検索条件に類似する移動物体の画像を検索する、画像処理システム。
【請求項１１】
映像データから複数フレームを作成し、
前記複数フレームにおいて移動物体を検出し、
検出した前記移動物体それぞれの軌跡の特徴量を前記複数フレームから抽出してデータベースに記録し、
前記複数フレームのそれぞれにおいて、移動物体の画像から特徴量を抽出して前記データベースに記録することを含む特徴登録処理、の内容を、予め定められた条件に従って決定し、
前記複数フレームのそれぞれにおいて、決定した前記特徴登録処理の内容を実行する、ことを含む画像処理方法。
【請求項１２】
計算機に処理に実行されるコードを格納する、非一時的な計算機読み取り可能な記憶媒体であって、前記コードは前記計算機に画像処理を実行させ、前記画像処理は、
映像データから複数フレームを作成し、
前記複数フレームにおいて移動物体を検出し、
検出した前記移動物体それぞれの軌跡の特徴量を前記複数フレームから抽出してデータベースに記録し、
前記複数フレームのそれぞれにおいて、移動物体の画像から特徴量を抽出して前記データベースに記録することを含む特徴登録処理、の内容を、予め定められた条件に従って決定し、
前記複数フレームのそれぞれにおいて、決定した前記特徴登録処理の内容を実行する、ことを含む、記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理システムに関する。
【背景技術】
【０００２】
本技術分野の背景技術として、特開２０１５−１１４６８５号公報（特許文献１）がある。特許文献１は、「第１の場所で撮影された複数のフレームからなる第１の映像、及び、第２の場所で撮影された複数のフレームからなる第２の映像のそれぞれから、一つ以上の移動体の移動経路を検出して記憶装置に格納し、前記第１の映像から検出された前記一つ以上の移動体のうち選択された移動体の、前記フレームごとの画像特徴量を抽出して前記記憶装置に格納し、前記第１の映像から検出された前記選択された移動体の移動経路、及び、前記第２の映像から検出された前記一つ以上の移動体の移動経路に基づいて、前記抽出した画像特徴量のうち、検索クエリとして使用するクエリ画像特徴量を選択し、前記クエリ画像特徴量を用いて、前記第２の映像から抽出された前記一つ以上の移動体の画像特徴量を検索し、前記検索の結果を出力する映像検索装置」（要約）を開示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−１１４６８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
映像データから、移動物体を検索する場合、映像データにおける移動物体の特徴量を予め抽出し、データベースに登録しておくことが必要である。例えば、移動物体の一つである人物の移動経路、顔及び服飾の情報を用いて人物を検索する場合、システムは、映像データ中に現れる人物の移動経路、顔及び服飾の特徴登録処理を実行する。特徴登録処理は、人物の移動経路、顔及び服飾それぞれの領域を検出し、特徴量（特徴ベクトル）を抽出し、さらに、特徴量をデータベースに書き込む。【０００５】
特徴登録処理において、負荷の高い処理が存在する場合、特徴登録処理にかかる時間が、映像の実時間の数倍に上る場合がある。また、特徴登録処理にかかる時間を短縮するために登録する映像データのフレームレートを低下させると、登録される特徴量が減少し、移動物体の検索精度が低下する。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例は、プロセッサと前記プロセッサが実行するプログラムを格納する記憶装置とを含む、画像処理システムであって、前記プロセッサは、映像データから複数フレームを作成し、前記複数フレームにおいて移動物体を検出し、検出した前記移動物体それぞれの軌跡の特徴量を前記複数フレームから抽出してデータベースに記録し、前記複数フレームのそれぞれにおいて、移動物体の画像から特徴量を抽出して前記データベースに記録することを含む特徴登録処理 、の内容を、予め定められた条件に従って決定し、前記複数フレームのそれぞれにおいて、決定した前記特徴登録処理の内容を実行する。
【発明の効果】
【０００７】
本発明の一態様によれば、映像データにおける移動物体の特徴量の登録処理時間を低減しつつ、移動物体の検索精度の低下を小さくすることができる。【０００８】
上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【０００９】
【図１】実施例１の画像検索システムの全体構成図である。
【図２】実施例１の画像検索システムのハードウェア構成図である。
【図３Ａ】実施例１の映像データベースの構成及びデータ例の第１の説明図である。
【図３Ｂ】実施例１の映像データベースの構成及びデータ例の第２の説明図である。
【図４】実施例１のサーバ計算機が入力された映像を登録する処理を説明するフローチャートである。
【図５】実施例１のサーバ計算機に入力される特徴登録処理条件の設定画面の説明図である。
【図６】実施例１のサーバ計算機による検索処理を説明するフローチャートである。
【図７】実施例１のサーバ計算機によって出力される検索画面の説明図である。
【図８】実施例２のサーバ計算機がデータベースに登録済みのフレームについて特徴量を追加登録する処理を説明するフローチャートである。
【図９】実施例２のサーバ計算機に入力される特徴量の追加登録処理条件の設定画面の説明図である。
【図１０】実施例２のサーバ計算機が、入力された映像を登録する処理を説明するフローチャートである。
【図１１】実施例２のサーバ計算機が、映像データベースに登録されているフレームに対して実行する特徴登録処理についてのフローチャートである。
【図１２】実施例２のサーバ計算機が映像データベースに登録済みのフレーム画像のうち特徴量の登録が未実行のフレーム画像に対して、特徴量の登録を追加で行うための条件を設定するための設定画面の説明図である。
【発明を実行するための形態】
【００１０】
以下、添付図面を参照して本発明の実施形態を説明する。本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。各図において共通の構成については同一の参照符号が付されている。
【実施例１】
【００１１】
図１は、実施例１の画像検索システム１００の全体構成図である。画像検索システム１００は、映像記憶装置１０１、映像撮影装置１０２、入力装置１０３、１０５、表示装置１０４、１０６、及びサーバ計算機１０７を含む。【００１２】
映像記憶装置１０１は、映像データを格納する記憶媒体を含み、要求に応じて映像データを出力する。映像記憶装置１０１は、計算機内蔵のハードディスクドライブ、ＮＡＳ（Ｎｅｔｗｏｒｋ  Ａｔｔａｃｈｅｄ  Ｓｔｏｒａｇｅ）またはＳＡＮ（Ｓｔｏｒａｇｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などのネットワークで接続されたストレージシステムを用いて構成することができる。【００１３】
映像撮影装置１０２は、映像を撮影して映像データを作成し、それを出力する。映像記憶装置１０１及び映像撮影装置１０２から出力された映像データは、サーバ計算機１０７の映像入力部１０８（後述）に入力される。画像検索システム１００は、映像記憶装置１０１及び映像撮影装置１０２の一方のみを含んでもよい。【００１４】
画像検索システム１００が映像記憶装置１０１及び映像撮影装置１０２の両方を含む場合、映像入力部１０８への映像データの入力元は、必要に応じて、映像記憶装置１０１と映像撮影装置１０２との間で切り替えられてもよい。映像撮影装置１０２から出力された映像データが一旦映像記憶装置１０１に格納され、そこから映像入力部１０８に入力されてもよい。その場合、映像記憶装置１０１は、例えば、映像撮影装置１０２から継続的に入力される映像データを一時的に保持するキャッシュメモリであってもよい。【００１５】
映像記憶装置１０１に格納される映像データ及び映像撮影装置１０２によって作成される映像データは、撮影された移動物体の追跡に利用できるものである限り、どのような形式のデータであってもよい。例えば、映像撮影装置１０２がビデオカメラであり、それによって撮影された動画像データが映像データとして出力されてもよいし、その映像データが映像記憶装置１０１に格納されてもよい。【００１６】
映像撮影装置１０２がスチルカメラであり、それによって所定の間隔（少なくとも撮影された物体を追跡できる程度の間隔）で撮影された一連の静止画像データが映像データとして出力されてもよいし、その映像データが映像記憶装置１０１に記憶されてもよい。また、映像撮影装置１０２は、複数台のビデオカメラ、または、スチルカメラであってもよいし、その両方で構成されてもよい。【００１７】
入力装置１０３、１０５は、マウス、キーボード、タッチデバイスなど、ユーザの操作をサーバ計算機１０７に伝えるための入力インタフェースである。表示装置１０４、１０６は、液晶ディスプレイなどの出力インタフェースであり、サーバ計算機１０７の特徴登録処理条件の表示、検索結果の表示、ユーザとの対話的操作などのために用いられる。【００１８】
例えばいわゆるタッチパネル等を用いることによって入力装置１０３と表示装置１０４、及び、入力装置１０５と表示装置１０６は、それぞれ一体化されてもよいし、全て一体化されてもよい。入力装置１０３と表示装置１０４の組及び入力装置１０５と表示装置１０６の組は、それぞれ、ネットワークを介してサーバ計算機１０７に接続されたクライアント端末に含まれてもよい。【００１９】
サーバ計算機１０７は、入力された映像データから、規定の処理条件、例えば、システム管理者によって予め設定された処理条件、または、ユーザに指定された処理条件に基づいて、画像に含まれる情報を抽出し、抽出した情報とフレーム画像とを保持する画像登録装置として動作する。さらに、サーバ計算機１０７は、ユーザに指定された検索条件に基づいて、検索対象物体の画像を検索する画像検索装置として機能する。【００２０】
具体的には、サーバ計算機１０７は、与えられた映像データのフレームに含まれる移動物体を追跡し、その移動物体に関する情報を蓄積する。ユーザが蓄積されたフレームから探したい移動物体の検索条件を指定すると、サーバ計算機１０７は、蓄積された情報を用いて画像を検索する。サーバ計算機１０７の機能は複数の計算機に分散して実装されてもよい。【００２１】
以下で説明する例において、サーバ計算機１０７が扱う各映像は、一箇所で撮影された定点観測の映像であることを想定している。検索対象の物体は、人物または車両などの任意の移動物体である。実施例１は、検索対象の物体が人物である場合の画像検索システム１００の例を示している。【００２２】
サーバ計算機１０７は、映像入力部１０８、移動物体追跡部１１０、軌跡特徴抽出部１１１、軌跡特徴記録部１１２、フレーム記録部１１３、映像データベース１６１、特徴登録処理条件入力部１０９、特徴登録処理内容判定部１２１、特徴登録処理時間保持部１２２、特徴登録処理時間演算部１２３、顔検出部１３１、顔特徴抽出部１３２、及び顔特徴記録部１３３を含む。【００２３】
サーバ計算機１０７は、さらに、頭部検出部１４１、頭部特徴抽出部１４２、頭部特徴記録部１４３、服飾検出部１５１、服飾特徴抽出部１５２、服飾特徴記録部１５３、特徴ベクトル入力部１７１、類似特徴ベクトル検索部１７２、及び検索結果統合部１７３を含む。特徴登録処理内容判定部１２１において、特徴登録処理時間保持部１２２が保持する情報を使用しない場合、サーバ計算機１０７は、特徴登録処理時間保持部１２２と特徴登録処理時間演算部１２３を含まなくてもよい。【００２４】
映像入力部１０８は、映像記憶装置１０１から映像データを読み出す、または、映像撮影装置１０２によって撮影された映像データを受け取り、それをサーバ計算機１０７内部で使用するデータ形式に変換する。具体的には、映像入力部１０８は、映像（動画データ形式）をフレーム（静止画データ形式）に分解する動画デコード処理を行う。得られたフレームは、移動物体追跡部１１０、フレーム記録部１１３及び特徴登録処理内容判定部１２１に送られる。得られたフレームは、さらに、顔検出部１３１、頭部検出部１４１、服飾検出部１５１に送られてもよい。【００２５】
移動物体追跡部１１０は、フレーム中の移動物体を検出し、前フレームで検出された移動物体との対応付けを行うことによって、移動物体の追跡を行う。移動物体の検出及び追跡は、例えばS. Baker and I. Matthews “Lucas-kanade 20 years on: A unifying framework”, International Journal of Computer Vision, vol. 53, no. 3, 2004に記載された方法など、任意の方法を用いて実現することができる。追跡によって得られた移動物体の軌跡（すなわちその移動物体の移動経路）は、一つまたは複数の始点と終点を有するベクトルとして表現され、軌跡情報は、各軌跡にユニークに付与されるＩＤ（追跡ＩＤ）と各フレームの移動物体の座標情報とで構成される。【００２６】
軌跡特徴抽出部１１１は、同一の追跡ＩＤが付与された移動物体の座標から、軌跡の形状の特徴量（以下、軌跡特徴量とも記載）を抽出する。軌跡特徴記録部１１２は、抽出された軌跡特徴量を映像データベース１６１に記録する。【００２７】
顔検出部１３１、頭部検出部１４１、服飾検出部１５１は、それぞれ、フレームから人物の顔領域、頭部領域及び服飾領域を検出する。検出対象として定義される顔領域と頭部領域とは、重ならなくてもよく、一部が重なってもよい。頭部領域は、例えば、髪の毛や帽子の色を特定するために使用される。例えば、顔領域は首より上の部分における前面の眉毛から下の領域であり、頭部領域は、首より上の部分におけるその他の領域でもよい。【００２８】
服飾領域は、人物が身に着けている服飾を特定するために使用される。服飾領域は、例えば、人物の上半身における首より下の領域、人物の下半身の領域等である。人物において１又は複数の服飾領域が検出される。【００２９】
顔特徴抽出部１３２、頭部特徴抽出部１４２及び服飾特徴抽出部１５２は、それぞれ、顔領域、頭部領域及び服飾領域の画像特徴量を抽出する。以下、それぞれ顔特徴量、頭部特徴量及び服飾特徴量とも記載する。例えばエッジ情報または色情報等、画像から抽出できるものであればどのような種類の特徴量が抽出されてもよい。画像特徴量の抽出は、公知の方法を含む任意の方法によって行うことができる。一つの領域で抽出される画像特徴量は、その領域の特徴ベクトルを構成する。特徴量は、それぞれ、特徴ベクトルの要素であり、特徴ベクトルは１または複数の特徴量で構成される。【００３０】
顔特徴記録部１３３、頭部特徴記録部１４３及び服飾特徴記録部１５３は、それぞれ、顔領域、頭部領域及び服飾領域から抽出された画像特徴量（特徴ベクトル）を映像データベース１６１に記録する。【００３１】
顔検出部１３１、顔特徴抽出部１３２、顔特徴記録部１３３、頭部検出部１４１、頭部特徴抽出部１４２、頭部特徴記録部１４３、服飾検出部１５１、服飾特徴抽出部１５２、服飾特徴記録部１５３は、それぞれ、各フレームにおける処理時間を計測し、特徴登録処理時間演算部１２３に処理時間を通知する。これらの一部のみが、処理時間を計測し、通知してもよい。【００３２】
特徴登録処理時間演算部１２３は、顔検出部１３１、顔特徴抽出部１３２、顔特徴記録部１３３、頭部検出部１４１、頭部特徴抽出部１４２、頭部特徴記録部１４３、服飾検出部１５１、服飾特徴抽出部１５２及び服飾特徴記録部１５３から受け付けた処理時間に対し、所定の演算処理を実行する。特徴登録処理時間演算部１２３の演算結果は、特徴登録処理時間保持部１２２に送られる。特徴登録処理時間保持部１２２は、特徴登録処理時間演算部１２３から受け付けた情報を保持する。【００３３】
特徴登録処理時間演算部１２３は、検出部、抽出部、記録部から新たに受け付けた処理時間の他に、特徴登録処理時間保持部１２２に保持された、過去のフレームにおける特徴登録処理時間演算部１２３の演算結果を使用した演算を行ってもよい。【００３４】
特徴登録処理条件入力部１０９は、ユーザが入力装置１０３を操作して入力した、特徴登録処理条件を受け付ける。特徴登録処理条件は、例えば、顔検出部１３１、頭部検出部１４１及び服飾検出部１５１における検出方法、顔特徴抽出部１３２、頭部特徴抽出部１４２及び服飾特徴抽出部１５２における画像特徴量の抽出方法、特徴登録処理の目標フレームレート、特徴登録処理内容判定部１２１で実行される処理内容判定方法などを含む。【００３５】
顔検出部１３１、顔特徴抽出部１３２、顔特徴記録部１３３、頭部検出部１４１、頭部特徴抽出部１４２、頭部特徴記録部１４３、服飾検出部１５１、服飾特徴抽出部１５２及び服飾特徴記録部１５３は、特徴登録処理内容判定部１２１における判定結果に応じて、処理内容をフレームごとに変更する。特徴登録処理内容判定部１２１において実行される処理内容判定方法については、後述する（図４参照）。【００３６】
フレーム記録部１１３は、入力映像から抽出されたフレームと、抽出元の映像の情報と、特徴登録処理内容判定部１２１によって判定された結果を映像データベース１６１に記録する。【００３７】
映像データベース１６１は、映像から抽出されたフレーム、移動物体の軌跡情報、顔特徴量、頭部特徴量、服飾特徴量、及びフレーム毎の特徴量抽出状況、などを格納するためのデータベースである。映像データベース１６１へのアクセスは、軌跡特徴記録部１１２、フレーム記録部１１３、顔特徴記録部１３３、頭部特徴記録部１４３、服飾特徴記録部１５３からの書き込み処理、並びに、類似特徴ベクトル検索部１７２からの検索処理の際に発生する。映像データベース１６１に格納するデータの詳細については、図３Ａ、図３Ｂを参照して後述する。【００３８】
特徴ベクトル入力部１７１は、ユーザが入力装置１０５を操作して入力した、検索キーとなる１または複数種類の特徴ベクトル（例えば、軌跡特徴ベクトル、顔特徴ベクトル、頭部特徴ベクトル及び服飾特徴ベクトル）を指定する情報を受け付ける。特徴ベクトルは、１以上の特徴量からなる。【００３９】
類似特徴ベクトル検索部１７２は、検索キーとして指定された各特徴ベクトルと類似する特徴ベクトルを、映像データベース１６１において検索する。検索結果統合部１７３は、１または複数種類の特徴ベクトルの検索キーに基づく検索結果を結合して出力する。これらの詳細な処理については後述する（図６参照）。【００４０】
なお、実施例１は、追跡対象の移動物体が人物である画像検索システム１００の例を示している。顔領域、頭部領域及び服飾領域は、人物の識別に利用できる画像情報を含んでいると考えられる領域（以下、顕著領域とも記載する）の例である。【００４１】
したがって、サーバ計算機１０７は、上記顕著領域に加えまたは変えて、上記以外の顕著領域を検出する顕著領域検出部、その検出領域から画像特徴量を抽出する画像特徴抽出部、及びその画像特徴量を記録する画像特徴記録部を含んでもよい。設計により、１または複数の種類の顕著領域が検出される。【００４２】
上記以外の顕著領域として、例えば、顔領域の一部である口領域、頭部領域の一部である髪領域、服飾領域の一部である上半身領域、下半身領域、または、人物の所持品の領域（例えば鞄領域）等が挙げられる。【００４３】
追跡対象の移動物体が人物以外の物体である場合には、その物体の種類に応じて適切な顕著領域が検出され、その特徴量が登録される。例えば追跡対象が自動車である場合、自動車の前面、後面、側面、タイヤ、またはナンバープレート等が顕著領域として検出されてもよい。【００４４】
図２は、実施例１の画像検索システム１００のハードウェア構成図である。サーバ計算機１０７は、例えば、相互に接続されたプロセッサ２０１及び記憶装置２０２を有する一般的な計算機である。記憶装置２０２は任意の種類の記憶媒体を含んで構成される。例えば、記憶装置２０２は、半導体メモリ及びハードディスクドライブを含んでもよい。記憶装置２０２は、データを格納する、非一時的な計算機読み取り可能な記憶媒体を含んでもよい。【００４５】
この例において、図１に示した映像入力部１０８、移動物体追跡部１１０、軌跡特徴抽出部１１１、軌跡特徴記録部１１２、フレーム記録部１１３、特徴登録処理条件入力部１０９、特徴登録処理内容判定部１２１、顔検出部１３１、顔特徴抽出部１３２、顔特徴記録部１３３、頭部検出部１４１、頭部特徴抽出部１４２、頭部特徴記録部１４３、服飾検出部１５１、服飾特徴抽出部１５２、服飾特徴記録部１５３、特徴登録処理時間演算部１２３、特徴ベクトル入力部１７１、類似特徴ベクトル検索部１７２及び検索結果統合部１７３といった機能部は、プロセッサ２０１が記憶装置２０２に格納された処理プログラム２０３を実行することによって実現される。【００４６】
言い換えると、上記の各機能部が実行する処理は、実際には、処理プログラム２０３に記述された命令に従うプロセッサ２０１によって実行される。また、特徴登録処理時間保持部１２２と映像データベース１６１は、記憶装置２０２の記憶領域である。映像データベース１６１は、ネットワークを介して接続された記憶装置に含まれてもよい。【００４７】
サーバ計算機１０７は、さらに、プロセッサ２０１に接続されたネットワークインターフェース装置（ＮＩＦ）２０４を含む。映像撮影装置１０２は、例えば、ネットワークインターフェース装置２０４を介してサーバ計算機１０７に接続される。映像記憶装置１０１は、ネットワークインターフェース装置２０４を介してサーバ計算機１０７に接続されたＮＡＳまたはＳＡＮであってもよいし、記憶装置２０２に含まれてもよい。【００４８】
図３Ａ及び図３Ｂは、実施例１の映像データベース１６１の構成例の説明図である。ここではテーブル形式の構成例を示すが、映像データベース１６１のデータ形式は任意でよい。映像データベース１６１は、図３Ａに示す映像データ管理情報３００、背景画像データ管理情報３１０、軌跡特徴管理情報３２０、移動物体管理情報３３０及びフレーム画像管理情報３４０を含む。【００４９】
さらに、映像データベース１６１は、図３Ｂに示す顔特徴管理情報３５０、頭部特徴管理情報３６０及び服飾特徴管理情報３７０を含む。図３Ａ及び図３Ｂのテーブル構成及び各テーブルのフィールド構成は一例であり、アプリケーションに応じてテーブル及びフィールドを追加、変更してもよい。【００５０】
映像データ管理情報３００は、映像ＩＤフィールド３０１、ファイル名フィールド３０２、及び撮影場所ＩＤフィールド３０３を有する。映像ＩＤフィールド３０１は、映像データファイルの識別子（以下、映像ＩＤ）を保持する。ファイル名フィールド３０２は、映像記憶装置１０１から読み込まれた映像データファイルのファイル名を保持し、映像データベース１６１内の映像データ（フレーム）と映像記憶装置１０１内のファイルとを対応づける。映像データが映像撮影装置１０２から入力される場合、ファイル名を省略してもよい。【００５１】
撮影場所ＩＤフィールド３０３は、定点観測された場所の識別子（以下、撮影場所ＩＤ）を保持する。映像データファイルと撮影場所とを対応付けるための管理情報は、映像入力部１０８により保持されていてもよいし、映像データベース１６１に含まれてもよい。【００５２】
入力された映像データが固定カメラによって撮影された場合は、撮影場所ＩＤをカメラＩＤと読み替えてもよい。図３Ａの例のように、一つの撮影場所に対して、複数の映像データファイルが登録されてもよい。複数の映像データファイルには、例えば、設置場所及び撮影方向が固定された一つのカメラがそれぞれ異なる時間帯に撮影した映像データが含まれる。【００５３】
背景画像データ管理情報３１０は、撮影場所ＩＤフィールド３１１及び背景画像データフィールド３１２を有する。背景画像データ管理情報３１０は、システム管理者によって予め作成され、映像データベース１６１に登録される。撮影場所ＩＤフィールド３１１は、背景画像の撮影場所の識別子を保持するフィールドであり、この識別子は、映像データ管理情報３００に保持される撮影場所ＩＤと対応する。【００５４】
背景画像データフィールド３１２は、各撮影場所で撮影された背景画像のデータを保持する。ここに保持される背景画像は、後述するように、ユーザが検索しようとする移動物体の軌跡を入力するときに表示される。したがって、それぞれの撮影場所において移動物体を撮影するカメラと同じカメラによって撮影された、いずれの移動物体も含まない画像であることが望ましい。【００５５】
軌跡特徴管理情報３２０は、追跡ＩＤフィールド３２１、映像ＩＤフィールド３２２、移動物体ＩＤフィールド３２３及び軌跡特徴ベクトル（特徴量）フィールド３２４を有する。追跡ＩＤフィールド３２１は、移動物体追跡部１１０が各移動物体を追跡するために用いる識別子（以下、追跡ＩＤ）を保持する。移動物体を追跡することで得られた各軌跡にユニークな追跡ＩＤが与えられる。【００５６】
移動物体が映像に表れてから消えるまでの軌跡に対して、一つの追跡ＩＤが与えられる。一つの移動物体が、消えた後に再度現れると、新しい追跡ＩＤが与えられる。この例において、追跡ＩＤの値は、異なる映像ＩＤの値において一意である。【００５７】
映像ＩＤフィールド３２２は、追跡対象の移動物体の画像を含む映像データファイルの識別子を保持する。この識別子は、映像データ管理情報３００に保持される映像ＩＤと対応する。【００５８】
移動物体ＩＤフィールド３２３は、それぞれの軌跡を構成する、フレームそれぞれから検出された移動物体の識別子（以下、移動物体ＩＤ）のリストを保持する。移動物体ＩＤは、移動物体そのものを識別するものではなく、各フレームから検出された移動物体の画像を識別する。同一の移動物体の画像が複数のフレームから検出された場合、それらの移動物体の画像の各々に別の（一意の）移動物体ＩＤが与えられる。同一の移動物体の画像が連続するフレームで検出された場合、それらの異なる移動物体ＩＤが、一つの追跡ＩＤに対応付けられる。【００５９】
例えば、図３Ａにおいて、追跡ＩＤ「１」に対応する移動物体ＩＤフィールド３２３に「１、２、４、５、６、・・・」が登録されている。これは、それぞれ異なるフレームから検出された移動物体ＩＤ「１」、「２」、「４」、「５」、「６」によって識別される移動物体の画像が、移動物体追跡部１１０によって相互に対応付けられていることを意味する。すなわち、それらが同一の移動物体の画像と判定されたことを意味する。【００６０】
軌跡特徴ベクトルフィールド３２４は、映像中の移動物体の座標の時系列変化（軌跡）から抽出された、軌跡特徴量を保持する。軌跡特徴量は、例えば一つまたは複数の固定長のベクトルによって表現される。軌跡特徴量は、任意の公知の方法によって抽出することができる。具体的には、同一の追跡ＩＤに対応付けられた移動物体ＩＤの画像のフレーム内の座標の時系列変化から、当該追跡ＩＤの軌跡特徴量が計算される。【００６１】
移動物体管理情報３３０は、移動物体ＩＤフィールド３３１、矩形座標フィールド３３２及び撮影日時フィールド３３３を含む。移動物体ＩＤフィールド３３１は、各フレームから検出された移動物体ＩＤを保持する。移動物体ＩＤは、軌跡特徴管理情報３２０の移動物体ＩＤフィールド３２３に保持されるものと対応する。【００６２】
矩形座標フィールド３３２は、各フレームから検出された移動物体の画像の当該フレーム中に占める範囲を示す矩形座標を保持する。この座標は、例えば、移動物体の外接矩形の「左上隅の水平座標、左上隅の垂直座標、右下隅の水平座標、右下隅の垂直座標」という形式で表現されてもよいし、矩形の中心の座標、幅及び高さによって表現されてもよい。後述する矩形座標フィールド３５３、３６３及び３７３に保持される矩形座標の表現も同様であってよい。【００６３】
撮影日時フィールド３３３は、各移動物体の画像を含むフレームが撮影された日時を保持する。【００６４】
フレーム画像管理情報３４０は、フレームＩＤフィールド３４１、映像ＩＤフィールド３４２及び画像データフィールド３４３、顔処理フィールド３４４、頭部処理フィールド３４５、服飾処理フィールド３４６を含む。【００６５】
フレームＩＤフィールド３４１は、映像データから抽出された各フレームの識別子（以下、フレームＩＤ）を保持する。フレームＩＤは、異なる映像データファイルにおいて一意である。映像ＩＤフィールド３４２は、フレームの抽出元の映像データファイルを識別する映像ＩＤを保持するフィールドであり、この映像ＩＤは、映像データ管理情報３００の映像ＩＤフィールド３０１に保持される値に対応する。画像データフィールド３４３は、フレームの静止画像のバイナリデータであり、検索結果などを表示装置１０６に表示する際に用いられるデータを、保持する。【００６６】
顔処理フィールド３４４は、フレームにおける顔検出処理及び顔特徴抽出処理の実行有無と、顔検出処理が実行された場合の検出処理方法と、顔特徴抽出が実行された場合の顔特徴抽出方法と、の情報を保持する。頭部処理フィールド３４５は、フレームにおける頭部検出処理及び頭部特徴抽出処理の実行有無と、頭部検出処理が実行された場合の検出処理方法と、頭部特徴抽出処理が実行された場合の頭部特徴抽出方法と、の情報を保持する。服飾処理フィールド３４６は、フレームにおける服飾検出処理及び服飾特徴抽出処理の実行有無と、服飾検出処理が実行された場合の検出処理方法と、服飾特徴抽出処理が実行された場合の服飾特徴抽出方法と、の情報を保持する。【００６７】
本例において、「ＮＯＮＥ」は処理が実行されなかったことを意味する。「ＤＥＴＥＣＴＯＲｋ」（ｋは自然数）及び「ＥＸＴＲＡＣＴＯＲｋ」は、それぞれ、顔処理、頭部処理、または服飾処理における、検出処理方法及び抽出処理方法の識別子である。【００６８】
顔特徴管理情報３５０は、顔ＩＤフィールド３５１、フレームＩＤフィールド３５２、矩形座標フィールド３５３及び顔特徴ベクトルフィールド３５４を含む。顔ＩＤフィールド３５１は、フレームの画像から顔検出部１３１によって検出された顔領域の識別子（以下、顔ＩＤ）を保持する。フレームＩＤフィールド３５２は、顔領域が検出されたフレームのフレームＩＤを保持する。このフレームＩＤは、フレーム画像管理情報３４０のフレームＩＤフィールド３４１に保持されるものと対応する。【００６９】
矩形座標フィールド３５３は、検出された顔領域のフレームに占める範囲を示す座標を保持する。顔特徴ベクトルフィールド３５４は、検出された顔領域から顔特徴抽出部１３２によって抽出された画像特徴量の特徴ベクトルを保持する。【００７０】
頭部特徴管理情報３６０は、頭部ＩＤフィールド３６１、フレームＩＤフィールド３６２、矩形座標フィールド３６３及び頭部特徴ベクトルフィールド３６４を含む。頭部ＩＤフィールド３６１は、フレームから頭部検出部１４１によって検出された頭部領域の識別子（以下、頭部ＩＤ）を保持する。フレームＩＤフィールド３６２は、頭部領域が検出されたフレームのフレームＩＤを保持する。このフレームＩＤは、フレーム画像管理情報３４０のフレームＩＤフィールド３４１に保持されるものと対応する。【００７１】
矩形座標フィールド３６３は、検出された頭部領域のフレームに占める範囲を示す座標を保持する。頭部特徴ベクトルフィールド３６４は、検出された頭部領域から頭部特徴抽出部１４２によって抽出された画像特徴量の特徴ベクトルを保持する。【００７２】
服飾特徴管理情報３７０は、服飾ＩＤフィールド３７１、フレームＩＤフィールド３７２、矩形座標フィールド３７３及び服飾特徴ベクトルフィールド３７４を含む。服飾ＩＤフィールド３７１は、フレームから服飾検出部１５１によって検出された服飾領域の識別子（以下、服飾ＩＤ）を保持する。フレームＩＤフィールド３７２は、服飾領域が検出されたフレームのフレームＩＤを保持する。このフレームＩＤは、フレーム画像管理情報３４０のフレームＩＤフィールド３４１に保持されるものと対応する。【００７３】
矩形座標フィールド３７３は、検出された服飾領域のフレームに占める範囲を示す座標を保持する。服飾特徴ベクトルフィールド３７４は、検出された服飾領域から服飾特徴抽出部１５２によって抽出された画像特徴量の特徴ベクトルを保持する。【００７４】
上記以外の顕著領域が検出され、その特徴量が抽出された場合には、当該顕著領域に関する上記と同様の情報が映像データベース１６１に保持される。【００７５】
図４は、実施例１のサーバ計算機１０７が入力された映像を登録する処理を説明するフローチャートである。最初に、映像入力部１０８が、映像記憶装置１０１または映像撮影装置１０２から入力された映像データファイルを取得する（ステップＳ４００）。具体的には、映像入力部１０８は、映像データ管理情報３００に取得した映像データファイルのエントリを追加する。映像データファイルは、映像を撮影した撮影場所または撮影装置の情報を含む。映像入力部１０８は、不図示の管理情報を参照することで、撮影装置に対応付けられた撮影場所の情報を取得する。【００７６】
次に、映像入力部１０８が、入力された映像データファイルをデコードし、フレームを静止画として抽出する（ステップＳ４０１）。映像データファイルのフレームレートは、映像データファイルの種類によって異なってもよい。【００７７】
次に、サーバ計算機１０７内の各部が、ステップＳ４０１で抽出された各フレームに対して、ステップＳ４０２〜Ｓ４１９を実行する。【００７８】
フレーム記録部１１３は、抽出されたフレームの画像データを、フレームＩＤ及び映像ＩＤと共に映像データベース１６１のフレーム画像管理情報３４０に記録する（ステップＳ４０３）。【００７９】
移動物体追跡部１１０は、処理対象である現在フレームから移動物体を検出し、検出した移動物体と直前の時刻のフレームから検出された移動物体との間の対応関係を決定し、その情報を保持する（ステップＳ４０４）。移動物体追跡部１１０は、現在フレームにおいて検出された移動物体それぞれに移動物体ＩＤを与え、さらに、現在フレームにおいて検出された移動物体と同じ移動物体が直前フレームで検出されている場合、それらの移動物体ＩＤを同一移動物体として対応付ける。【００８０】
次に、軌跡特徴記録部１１２は、現在フレームから検出された移動物体の情報を映像データベース１６１の移動物体管理情報３３０に記録する（ステップＳ４０５）。具体的には、軌跡特徴記録部１１２は、現在フレームから検出された移動物体に付与した移動物体ＩＤ、対応する移動物体の矩形座標及び現在フレームの撮影日時の情報を記録する。撮影日時の情報は映像データファイルの属性情報に含まれており、軌跡特徴記録部１１２は、それを映像入力部１０８から取得する。【００８１】
次に、移動物体追跡部１１０は、現在フレームにおいて新しい移動物体が出現しているか否かを判定する（ステップＳ４０６）。具体的には、移動物体追跡部１１０は、現在フレームから検出された移動物体が直前の時刻のフレームから検出されたいずれの移動物体とも対応付けられない、言い換えると、現在フレームから検出された移動物体と同一の移動物体の画像が直前の時刻のフレームに含まれていない場合、新しい移動物体が出現したと判定する。【００８２】
新しい移動物体が出現している場合（ステップＳ４０６：ＹＥＳ）、移動物体追跡部１１０は、当該新しい移動物体に新しい追跡ＩＤを付与する。軌跡特徴記録部１１２は、当該新しい追跡ＩＤと、当該新しい移動物体が検出された映像の映像ＩＤと、を含むエントリを、軌跡特徴管理情報３２０に記録する（ステップＳ４０７）。一方、新しい移動物体が出現していない場合（ステップＳ４０６：ＮＯ）、ステップＳ４０７は省略される。【００８３】
次に、軌跡特徴記録部１１２は、ステップＳ４０４における対応関係に従って、軌跡特徴管理情報３２０における移動物体ＩＤフィールド３２３を更新する（ステップＳ４０８）。【００８４】
具体的には、軌跡特徴記録部１１２は、新たに出現した移動物体の移動物体ＩＤを、ステップＳ４０７で記録された追跡ＩＤのエントリの移動物体ＩＤフィールド３２３に記録する。さらに、軌跡特徴記録部１１２は、直前の時刻のフレームから検出された移動物体と同一の移動物体の移動物体ＩＤを、当該直前の時刻の移動物体と同一のエントリの移動物体ＩＤフィールド３２３に記録する。【００８５】
次に、移動物体追跡部１１０は、消失した移動物体が存在するか否かを判定する（ステップＳ４０９）。具体的には、ステップＳ４０４において直前の時刻のフレームから検出された移動物体が現在フレームのいずれの移動物体とも対応付けられない、言い換えると、直前の時刻のフレームから検出された移動物体と同一の移動物体の画像が現在フレームに含まれていない場合、移動物体追跡部１１０は、直前の時刻のフレームから検出された当該移動物体が消失したと判定する。【００８６】
消失した移動物体が存在する場合（Ｓ４０９：ＹＥＳ）、軌跡特徴抽出部１１１は、消失した移動物体それぞれの軌跡から、軌跡特徴量を抽出する（ステップＳ４１０）。具体的には、軌跡特徴抽出部１１１は、軌跡特徴管理情報３２０における、消失した移動物体のエントリの移動物体ＩＤフィールド３２３から、移動物体ＩＤを取得する。【００８７】
さらに、軌跡特徴抽出部１１１は、移動物体管理情報３３０から、取得した移動物体ＩＤそれぞれの矩形座標を取得し、当該移動物体の軌跡を決定する。各フレームにおける移動物体の座標は、例えば、矩形の中心位置である。軌跡特徴抽出部１１１は、決定した軌跡から軌跡特徴量を算出する。軌跡特徴抽出部１１１は、抽出された軌跡特徴量から軌跡特徴ベクトルを生成する。【００８８】
軌跡特徴記録部１１２は、消失した移動物体それぞれの軌跡特徴ベクトルを、軌跡特徴管理情報３２０内の軌跡特徴ベクトルフィールド３２４に記録する（ステップＳ４１１）。消失していない移動物体に対しては、軌跡がさらに延長される可能性があるため、ステップＳ４１０、Ｓ４１１は実行されない。消失した移動物体が存在しない場合（Ｓ４０９：ＮＯ）、ステップＳ４１０及びＳ４１１は省略される。【００８９】
次に、特徴登録処理内容判定部１２１は、顔検出部１３１、頭部検出部１４１、服飾検出部１５１それぞれにおいて検出処理を実行するか、または、実行しないか判定する（ステップＳ４１２）。検出処理を実行する場合、検出処理内容を切り替える判定が含まれてもよい。判定は、特徴登録処理条件入力部１０９が保持する特徴登録処理条件と、特徴登録処理時間保持部１２２が保持する各検出部、各抽出部、各記録部の過去の処理時間とに、基づいてもよい。【００９０】
特徴登録処理時間保持部１２２が処理中の映像について保持する処理時間は、例えば、各検出部、各抽出部、各記録部の、過去のフレームそれぞれの処理時間、直前フレームの処理時間、過去所定数のフレームにおける１フレームあたりの平均処理時間、当該映像の最初のフレームから直前のフレームまでの１フレームあたりの平均処理時間等である。ステップＳ４１２において、特徴登録処理内容判定部１２１が検出処理を実行しないという判定となった場合、ステップＳ４１３〜ステップＳ４１７は実行しない。【００９１】
ステップＳ４１２における特徴登録処理内容判定部１２１の判定は、例えば、以下の通りである。特徴登録処理内容判定部１２１は、ユーザ入力または設定ファイルに従い、所定数フレームに１回の頻度で、特定の検出処理を省略する、または、特定の検出処理において複数の方法から負荷の小さい方法を選択する。これにより、特徴登録処理内容の判定が容易となる。頻度は、検出処理の種類毎に決定されてもよく、撮影場所毎に設定されてもよい。【００９２】
例えば、特徴登録処理内容判定部１２１は、顔検出はフレーム毎に実行し、頭部検出及び服飾検出は、それぞれに対して設定された規定数フレームに１回の頻度で省略すると、判定する。これにより、顔検出が実行されるフレームレートは、頭部検出が実行されるフレームレートよりも大きい。【００９３】
当該判定は、過去のフレームの処理時間を参照しない。省略する処理及び省略頻度は、ユーザによって指定される、または設定ファイルに予め設定されている。検索精度に影響が小さい処理の省略頻度を大きくすることで、検索精度への影響を小さくしつつ、特徴登録処理の時間を短縮することができる。【００９４】
特徴登録処理内容判定部１２１は、当該映像における過去のフレームの処理時間に基づいて、特徴登録処理内容を決定してもよい。これにより、状況に応じて適切に登録処理内容を変更できる。【００９５】
例えば、特徴登録処理内容判定部１２１は、特徴登録処理の目標フレームレートを元に、１フレームあたりの目標平均処理時間を算出する。特徴登録処理の目標フレームレートは、顔処理、頭部処理及び服飾処理それぞれに対して設定されている。顔処理、頭部処理及び服飾処理は並列に実行されてもよいし、直列に実行されてもよい。顔処理、頭部処理及び服飾処理に対して独立に目標フレームレートを設定することで、検索精度の影響を小さくしつつ、登録処理時間を短縮できる。【００９６】
特徴登録処理内容判定部１２１は、顔処理、頭部処理、及び服飾処理それぞれの、過去の１フレームあたりの特徴登録処理時間の平均値を算出する。特徴登録処理時間は、検出部、抽出部、記録部の処理時間の合計である。【００９７】
特徴登録処理内容判定部１２１は、顔処理、頭部処理及び服飾処理それぞれについて、特徴登録処理時間の平均値と目標平均処理時間の差分に基づいて、現在フレームの当該処理を省略するか否かまたは処理方法を変更するか否か判定する。【００９８】
たとえば、ある処理の特徴登録処理時間の平均値が当該処理の目標平均処理時間よりも長い場合、特徴登録処理内容判定部１２１は、当該処理の検出処理の実行頻度を減少させる（省略頻度を増加させる）、または現在フレームで当該処理を省略すると判定する。現在フレームで当該処理を省略することは、省略頻度を増加させることになる。【００９９】
実行頻度の減少量は、ユーザによって指定される、または設定ファイルに予め設定されてもよい。これにより、検出処理の負荷を低減し、特徴処理時間の平均値を小さくして目標値に近づけることができる。【０１００】
特徴登録処理内容判定部１２１は、目標平均処理時間と特徴登録処理時間の平均値とに基づき、それぞれの検出処理の処理方法を決定してもよい。たとえば、特徴登録処理内容判定部１２１は、フレーム内で検出処理を実行する領域を変化させてもよい。特徴登録処理時間の平均値が目標平均処理時間よりも長い場合、特徴登録処理内容判定部１２１は、検出処理を実行する領域を小さくすると判定する。検出処理を実行する領域は、たとえば、撮影場所毎に予め設定されている。【０１０１】
これにより、検出処理の負荷を低減し、特徴処理時間の平均値を小さくして目標値に近づけることができる。特徴処理時間の平均値は、単純平均値または加重平均値でもよい。平均値と異なる統計値が使用されてもよい。【０１０２】
特徴登録処理の一つの目標フレームレートが、撮影場所や映像に対して設定されていてもよい。特徴登録処理内容判定部１２１は、過去フレームそれぞれの顔処理、頭部処理、及び服飾処理の特徴登録処理時間の最大値を選択し、それらの平均値を過去の１フレームあたりの特徴登録処理時間の平均値と決定する。ここでは、上述のように、顔処理、頭部処理、及び服飾処理は並列に実行される。【０１０３】
特徴登録処理時間の平均値が目標平均処理時間よりも遅い場合、特徴登録処理内容判定部１２１は、予め決められている検出処理、例えば頭部検出処理の実行頻度を減少させる、または現在フレームでの当該検出処理を省略する。特徴登録処理内容判定部１２１は、実行頻度を低減する処理として、特徴登録処理時間の平均値が最も長い検出処理を選択してもよい。【０１０４】
特徴登録処理内容判定部１２１は、目標平均処理時間と特徴登録処理時間の平均値との差分に基づいて、実行頻度を減少させる検出処理及び実行頻度を決定してもよく、現在フレームで省略する検出処理を決定してもよい。たとえば、特徴登録処理内容判定部１２１は、差分が第１閾値よりも大きい場合に服飾検出処理を省略し、差分が第１閾値よりも大きな第２閾値よりも大きい場合に頭部検出処理及び服飾検出処理を省略すると判定してもよい。【０１０５】
特徴登録処理内容判定部１２１は、目標平均処理時間と特徴登録処理時間の平均値とに基づき、それぞれの検出処理の処理方法を決定してもよい。たとえば、特徴登録処理内容判定部１２１は、顔処理、頭部処理、及び服飾処理のうちの１又は複数の処理において、検出処理を実行する領域を変化させてもよい。【０１０６】
次に、顔検出部１３１、頭部検出部１４１及び服飾検出部１５１は、それぞれ、特徴登録処理内容判定部１２１の判定結果に従い、処理対象の現在フレームの画像から顔領域、頭部領域及び服飾領域を検出する、または検出を省略する（ステップＳ４１３）。実行頻度が決められている場合、過去のフレームにおける検出処理の有無と実行頻度とから、現在フレームにおける検出処理の実行の有無が決定される。検出は、公知の方法を含む任意の方法によって実行することができる。【０１０７】
次に、顔検出部１３１、頭部検出部１４１及び服飾検出部１５１は、それぞれの領域の検出に成功したか否かを判定する（ステップＳ４１４）。検出が成功している処理については（ステップＳ４１４：ＹＥＳ）、特徴登録処理内容判定部１２１は、ステップＳ４１５に進む。検出が成功していない処理については（ステップＳ４１４：ＮＯ）、特徴登録処理内容判定部１２１は、ステップＳ４１８に進む。【０１０８】
ステップＳ４１５において、顔特徴抽出部１３２、頭部特徴抽出部１４２、服飾特徴抽出部１５２において特徴抽出処理を実行するか否かの判定を行う（ステップＳ４１５）。特徴抽出を省略すると判定する場合（Ｓ４１５：ＮＯ）、特徴登録処理内容判定部１２１は、ステップＳ４１６を省略し、ステップＳ４１７に進む。【０１０９】
特徴抽出を実行すると判定する場合（Ｓ４１５：ＹＥＳ）、特徴登録処理内容判定部１２１は、ステップＳ４１６に進む。特徴抽出処理を実行する場合、特徴抽出処理を切り替える判定を含めてもよい。判定においては、特徴登録処理条件入力部１０９が保持する登録処理条件と、特徴登録処理時間保持部１２２が保持する各検出部、各抽出部、各記録部の処理時間を使用してもよい。【０１１０】
ステップＳ４１５における特徴登録処理内容判定部１２１の判定内容は、例えば、以下の通りである。特徴登録処理内容判定部１２１検出処理によって検出された顕著領域の構成に基づいて、特徴抽出処理の内容を決定してもよい。これにより、検索精度への影響を小さくしつつ特徴抽出処理の負荷および時間を低減できる。【０１１１】
たとえば、検出処理によって検出された顕著領域の矩形領域のサイズ、たとえば、フレーム内の最大サイズまたはサイズ平均値が、ユーザが指定したまたは設定ファイルに予め記載されたサイズより小さい場合、対応する特徴抽出処理を省略すると判定される。フレームにおける各種顕著領域の最大サイズ、最小サイズまたは平均値であってもよい。目標平均処理時間と特徴登録処理時間の平均値との比較に基づく判定は、検出処理と同様である。【０１１２】
特徴登録処理内容判定部１２１は、検出された顕著領域の数に基づいて特徴抽出処理を省略するか否か判定してもよく、または検出された顕著領域の数に基づいて特徴抽出方法を切り替えてもよい。たとえば、特定の検出処理（たとえば顔検出）で検出された顕著領域（たとえば顔領域）が閾値を超える場合、特徴登録処理内容判定部１２１は、対応する特徴抽出処理（たとえば顔特徴抽出処理）を省略する。閾値の数は、顔処理、頭部処理及び服飾処理それぞれに設定されてもよく、共通でもよい。閾値は、特徴登録処理時間の平均値と目標平均処理時間の差分に応じて変化してもよい。【０１１３】
顔特徴抽出部１３２は、特徴登録処理内容判定部１２１における判定結果（ステップＳ４１５）に応じて、検出された顔領域から特徴量を抽出する（ステップＳ４１６）。顔特徴記録部１３３は、ステップＳ４１３が実行された場合、検出された顔領域の範囲を示す座標を処理対象の現在フレームのフレームＩＤに対応する矩形座標フィールド３５３に登録し、ステップＳ４１６が実行された場合、抽出された特徴量からなる特徴ベクトルを処理対象の現在フレームのフレームＩＤに対応する顔特徴ベクトルフィールド３５４に登録する（ステップＳ４１７）。【０１１４】
頭部特徴抽出部１４２は、特徴登録処理内容判定部１２１における判定結果（ステップＳ４１５）に応じて、検出された頭部領域から特徴量を抽出する（ステップＳ４１６）。頭部特徴記録部１４３は、ステップＳ４１３が実行された場合、検出された頭部領域の範囲を示す座標を処理対象の現在フレームのフレームＩＤに対応する矩形座標フィールド３６３に記録し、ステップＳ４１６が実行された場合、抽出された特徴量からなる特徴ベクトルを処理対象の現在フレームのフレームＩＤに対応する頭部特徴ベクトルフィールド３６４に記録する（ステップＳ４１７）。【０１１５】
服飾特徴抽出部１５２は、特徴登録処理内容判定部１２１における判定結果（ステップＳ４１５）に応じて、検出された服飾領域から特徴量を抽出する（ステップＳ４１６）。服飾特徴記録部１５３は、ステップＳ４１３が実行された場合、検出された服飾領域の範囲を示す座標を処理対象の現在フレームのフレームＩＤに対応する矩形座標フィールド３７３に記録し、ステップＳ４１６が実行された場合、抽出された特徴量からなる特徴ベクトルを処理対象の現在フレームのフレームＩＤに対応する服飾特徴ベクトルフィールド３７４に記録する（ステップＳ４１７）。【０１１６】
顔特徴記録部１３３は、顔検出部１３１及び顔特徴抽出部１３２における処理内容をフレーム画像管理情報３４０の顔処理フィールド３４４に記録する（ステップＳ４１８）。顔処理フィールド３４４には、例えば、顔検出や顔特徴量抽出が実行されたか実行されていないかについての情報、顔検出に使用した検出方法、顔領域の画像特徴量の抽出に使用した方法などが登録される。【０１１７】
頭部特徴記録部１４３は、頭部検出部１４１及び頭部特徴抽出部１４２における処理内容をフレーム画像管理情報３４０の頭部処理フィールド３４５に記録する（ステップＳ４１８）。頭部処理フィールド３４５には、例えば、頭部検出や頭部特徴量抽出が実行されたか実行されていないかについての情報、頭部検出に使用した検出方法、頭部領域の画像特徴量の抽出に使用した方法などが登録される。【０１１８】
服飾特徴記録部１５３は、服飾検出部１５１及び服飾特徴抽出部１５２における処理内容をフレーム画像管理情報３４０の服飾処理フィールド３４６に記録する（ステップＳ４１８）。服飾処理フィールド３４６には、例えば、服飾検出や服飾特徴量抽出が実行されたか実行されていないかについての情報、服飾検出に使用した検出方法、服飾領域の画像特徴量の抽出に使用した方法などが登録される。【０１１９】
特徴登録処理時間演算部１２３は、顔検出部１３１、顔特徴抽出部１３２、顔特徴記録部１３３、頭部検出部１４１、頭部特徴抽出部１４２、頭部特徴記録部１４３、服飾検出部１５１、服飾特徴抽出部１５２、服飾特徴記録部１５３が使用したそれぞれの処理時間の全て、または、いずれかを受け付け、特徴登録処理時間保持部１２２に格納する（ステップ４１９）。ステップ４１９において、特徴登録処理時間演算部１２３は、各抽出部、各検出部、各記録部から受け付けた処理時間をそのまま特徴登録処理時間保持部１２２に格納してもよいし、演算を行った結果を登録してもよい。【０１２０】
さらに、演算において、特徴登録処理時間保持部１２２に保持された処理時間を使用してもよい。例えば、顔検出部１３１、顔特徴抽出部１３２、顔特徴抽出部１３２が、ステップＳ４１３、Ｓ４１６、Ｓ４１８において使用した時間の和を計算してもよいし、特徴登録処理時間保持部１２２に保存された処理対象フレームより以前に処理されたフレームの処理時間を使用して、処理開始以降の１フレームあたりの平均処理時間を計算してもよい。【０１２１】
全てのフレームについて上記の処理が終了すると、入力された映像を登録する処理が終了する。なお、ステップＳ４０３、Ｓ４０４〜４１１、Ｓ４１２〜４１９については、並列に実行されてもよい。【０１２２】
図５は、実施例１のサーバ計算機１０７が入力された映像を登録する処理の条件を設定するための設定画面の説明図である。図５を参照して、ユーザからの登録処理条件の入力方法の一例を説明する。図５の画面での設定内容は、図４のステップＳ４１２及びＳ４１５における判定に使用される。【０１２３】
登録処理条件設定画面は、表示装置１０４によって表示され、チェックボックス５０１、５０２、５０４、５０６と、特徴登録処理時間比率表示エリア５０３と、フレームレート比率表示エリア５０５と、設定ボタン５０７と、を含む。【０１２４】
チェックボックス５０１は、特徴登録処理におけるフレームレートの変更を禁止するか許可するかの選択状態を表示する。特徴登録処理におけるフレームレートの変更を禁止する設定の場合、ステップＳ４１２及びステップＳ４１５では判定処理は実行されず、後続のステップが実行される。【０１２５】
チェックボックス５０２は、特徴登録処理におけるフレームレートを自動的に設定するか否かの選択状態を表示する。チェックボックス５０２が選択状態の場合、特徴登録処理時間比率表示エリア５０３の入力値が有効となる。特徴登録処理時間比率表示エリア５０３には、ユーザがキーボードを用いて入力した特徴登録処理時間比率が表示される。特徴登録処理時間比率は、処理対象の実映像時間に対する特徴登録処理時間の目標時間であり、この値によって、特徴登録処理における顕著領域に共通の目標フレームレートが決まる。【０１２６】
チェックボックス５０４は、顕著領域別に特徴登録処理のフレームレート比率を指定するか否かの選択状態を表示する。チェックボックス５０４が選択状態の場合、フレームレート比率表示エリア５０５に表示されている各顕著領域別のフレームレート比率が有効となる。【０１２７】
フレームレート比率表示エリア５０５には、ユーザがキーボードを用いて入力した顕著領域別のフレームレート比率が表示される。それぞれの顕著領域において、特徴登録処理のフレームレートが、映像入力部１０８が受け付ける映像のフレームレートとフレームレート比率の積となるように、ステップＳ４１２において処理をスキップする判定が実行される。【０１２８】
チェックボックス５０６は、特徴抽出方法の切替許可の選択状態を表示する。チェックボックス５０６が選択状態の場合、ステップＳ４１５において、特徴登録処理内容判定部１２１は、処理状況に応じて、ステップＳ４１５における該当する顕著領域の画像特徴量の抽出方法を切り替える。図５では省略しているが、登録処理条件設定画面には、切替対象となる抽出方法を指定するための表示エリアが含まれてもよい。【０１２９】
チェックボックス５０１、５０２、５０４、５０６は、マウスクリックすることで状態を切り替えることが可能である。設定ボタン５０７をクリックすることで、登録条件設定画面における登録処理条件が特徴登録処理条件入力部１０９に送られる。【０１３０】
上述のように、実施例１によれば、映像の特徴登録処理において、各顕著領域の検出処理及び特徴抽出処理の方法及び頻度、並びに、映像データベースへの特徴記録処理の頻度を、変更することができる。これにより、負荷の高い処理の頻度を低下させることや、処理方法を負荷の低い方法に切り替えることができ、移動物体の特徴量登録処理時間を低減しつつ、移動物体の検索精度の低下を小さくできる。【０１３１】
実施例１によれば、入力された映像から特徴量を抽出する際の自由度が向上し、入力された映像データファイルのフレームの登録処理と、特徴登録処理とを、リアルタイムに行うことが出きる。また、情報の記録量と処理時間の調整が可能となる。【０１３２】
図６は、実施例１のサーバ計算機１０７による検索処理を説明するフローチャートである。最初に、ユーザが検索に使用する特徴ベクトル（特徴量）を決定し、入力する（ステップＳ６０１）。ユーザからの入力は、特徴ベクトル入力部１７１によって受け付けられる。ここでは、軌跡特徴ベクトル、顔特徴ベクトル、頭部特徴ベクトル及び服飾特徴ベクトルを検索に使用することが決定された場合について説明する。【０１３３】
上述のように検索に使用する特徴ベクトルが決定された場合、サーバ計算機１０７は、軌跡特徴ベクトルを用いた検索処理（ステップＳ６１１〜Ｓ６１６）、顔特徴ベクトルを用いた検索処理（ステップＳ６２１〜Ｓ６２３）、頭部特徴ベクトルを用いた検索処理（ステップＳ６３１〜Ｓ６３３）、及び服飾特徴ベクトルを用いた検索処理（ステップＳ６４１〜Ｓ６４３）を、任意の順に、または並列に実行する。【０１３４】
最初に、軌跡特徴ベクトルを用いた検索処理（ステップＳ６１１〜Ｓ６１６）を説明する。サーバ計算機１０７は、ステップＳ６１１〜Ｓ６１４を順次実行する。ユーザが入力装置１０５を用いて撮影場所ＩＤをサーバ計算機１０７に入力すると（ステップＳ６１１）、サーバ計算機１０７は背景画像データ管理情報３１０を参照して、入力された撮影場所ＩＤに対応する背景画像データを読み出し、そのデータに基づいて背景画像を表示装置１０６に表示する（ステップＳ６１２）。【０１３５】
次に、ユーザが入力装置１０５を用いて特徴ベクトル入力部１７１に軌跡を入力すると（ステップＳ６１３）、類似特徴ベクトル検索部１７２が入力された軌跡を軌跡特徴ベクトルに変換する（ステップＳ６１４）。この変換は、軌跡特徴抽出部１１１が図４のステップＳ４１０において実行する軌跡特徴ベクトルの抽出と同様の方法で行われる。【０１３６】
次に、ユーザが入力装置１０５を操作して軌跡特徴ベクトルの重みを決定する（ステップＳ６１５）。次に、類似特徴ベクトル検索部１７２が、ステップＳ６１３で入力された軌跡と類似する軌跡を映像データベース１６１の軌跡特徴管理情報３２０から検索する（ステップＳ６１６）。軌跡特徴ベクトルの検索機能は、例えば、クエリとして入力された軌跡特徴ベクトルと近い順にデータを並び替えて出力する。軌跡特徴ベクトルの比較には、例えば、軌跡特徴ベクトル間のユークリッド距離を用いることができる。【０１３７】
次に、顔特徴ベクトルを用いた検索処理（ステップＳ６２１〜Ｓ６２３）を説明する。まず、ユーザが入力装置１０５を操作して検索キーとなる顔を設定する（ステップＳ６２１）。次に、ユーザが入力装置１０５を操作して顔特徴ベクトルの重みを決定する（ステップＳ６２２）。【０１３８】
次に、類似特徴ベクトル検索部１７２が、ステップ５２１で検索キーとして設定された顔に類似する顔を顔特徴管理情報３５０から検索する（ステップＳ６２３）。具体的には、類似特徴ベクトル検索部１７２は、ステップ５２１で検索キーとして設定された顔の画像特徴ベクトルと、顔特徴管理情報３５０に保持された顔特徴ベクトルとの間のユークリッド距離を用いて、類似する顔を検索することができる。後述する類似頭部検索（ステップＳ６３３）及び類似服飾検索（ステップＳ６４３）も同様である。【０１３９】
次に、頭部特徴量を用いた検索処理（ステップＳ６３１〜Ｓ６３３）を説明する。まず、ユーザが入力装置１０５を操作して検索キーとなる頭部を設定する（ステップＳ６３１）。次に、ユーザが入力装置１０５を操作して頭部特徴ベクトルの重みを決定する（ステップＳ６３２）。次に、類似特徴ベクトル検索部１７２が、ステップ５３１で検索キーとして設定された頭部に類似する頭部を頭部特徴管理情報３６０から検索する（ステップＳ６３３）。【０１４０】
次に、服飾特徴ベクトルを用いた検索処理（ステップＳ６４１〜Ｓ６４３）を説明する。まず、ユーザが入力装置１０５を操作して検索キーとなる服飾を設定する（ステップＳ６４１）。次に、ユーザが入力装置１０５を操作して服飾特徴ベクトルの重みを決定する（ステップＳ６４２）。次に、類似特徴ベクトル検索部１７２が、ステップ５３１で検索キーとして設定された服飾に類似する服飾を服飾特徴管理情報３７０から検索する（ステップＳ６４３）。【０１４１】
次に、検索結果統合部１７３が、ステップＳ６１６、Ｓ６２３、Ｓ６３３及びＳ６４３の検索結果を統合する（ステップＳ６５１）。具体的には、検索結果統合部１７３は、検索によって得られた軌跡特徴ベクトル、顔特徴ベクトル、頭部特徴ベクトル及び服飾特徴ベクトルの類似度に、それぞれ、ステップＳ６１５、Ｓ６２２、Ｓ６３２及びＳ６４２で決定された重み係数を掛けた値を合計することで総合的な類似度のスコアを得る。検索結果統合部１７３は、設定された重み係数をそのまま使用してもよいし、全ての特徴ベクトルの重み係数の合計値が１となるように正規化してもよい。【０１４２】
なお、たとえば、顔特徴管理情報３５０に登録された顔特徴ベクトルが、移動物体管理情報３３０に登録されたどの人物の顔の特徴ベクトルであるかは、顔特徴管理情報３５０に登録された矩形座標と移動物体管理情報３３０に登録された矩形座標とが重複するか否か（またはどの程度重複するか）に基づいて判定することができる。頭部特徴ベクトル及び服飾特徴ベクトルについても同様である。この判定を容易にするために、移動物体管理情報３３０は、それぞれの移動物体の画像が抽出されたフレームを識別するフレームＩＤをさらに含んでもよい。【０１４３】
次に、検索結果統合部１７３は、検索結果及びスコアを表示装置１０６に出力し、表示装置１０６が検索結果をスコアが高い順に表示する（ステップＳ６６１）。以上で検索処理が終了する。【０１４４】
図７は、実施例１のサーバ計算機１０７によって出力される検索画面の説明図である。図７を参照して、図６の処理におけるユーザからの情報の入力方法及び検索結果の表示方法の一例を説明する。【０１４５】
表示装置１０６によって表示される検索画面は、映像再生エリア７０１、カメラ内追跡結果表示エリア７０２、全体像表示エリア７０３、重み設定エリア７０４、特徴ベクトル設定エリア７０５、検索ボタン７０６及び検索結果表示エリア７０７を含む。【０１４６】
映像再生エリア７０１には、ユーザが選択した撮影場所で撮影された映像が再生され、表示される。ユーザが表示された映像に含まれる移動物体のいずれかを指定すると、指定された移動物体を当該映像内で追跡した結果がカメラ内追跡結果表示エリア７０２に表示される。ここでは、移動物体が人物である例について説明する。例えば当該映像の複数のフレーム画像から切り出された、指定された人物の複数の画像が、撮影日時の順に並べて表示されてもよい。【０１４７】
実行される検索の目的は、ユーザが指定した特徴に近い特徴を有する人物の画像を、当該映像、当該映像と同じ場所で撮影された別の映像、または別の場所で撮影された映像から検索することであり、その人物と同一の人物（または同一の人物ではないが類似する特徴を有する人物）の画像が映像再生エリア７０１に表示された映像から発見された場合には、ユーザはその画像を指定することができる。【０１４８】
ただし、例えば目撃情報から設定された特徴ベクトル（後述）のみが検索キーとして設定される場合のように、検索キーを設定するために移動物体の画像を参照する必要がない場合、映像再生エリア７０１に表示された画像をユーザが指定する必要がない。全体像表示エリア７０３には、移動物体の全体像が模式的に表示される。図７の例では、人物の頭部、顔、上半身、下半身、鞄等の領域を含む人物の模式図が表示される。【０１４９】
重み設定エリア７０４には、それぞれの特徴量の重みを設定するためのスライドバーまたはその他の設定手段が表示される。図７の例では、全体像表示エリア７０３に表示された領域及び軌跡のそれぞれの特徴ベクトルの重みを設定するためのスライドバーが表示される。【０１５０】
図７の例では頭部、顔、上半身、下半身、鞄及び軌跡のそれぞれの特徴ベクトルに対応するスライドバーが表示されているが、頭部、顔、服飾及び軌跡に対応するスライドバーが表示されてもよいし、その他の任意の顕著領域の特徴ベクトルに対応するスライドバーが表示されてもよい。【０１５１】
特徴ベクトル設定エリア７０５には、以下に具体例を説明するように、特徴ベクトルの設定画面が表示される。例えば、ユーザは、軌跡特徴ベクトルを検索に使用することを決定した場合（ステップＳ６０１）、重み設定エリア７０４から「軌跡」を選択し、撮影場所ＩＤを指定すると（ステップＳ６１１）、指定された撮影場所の背景画像が特徴ベクトル設定エリア７０５に表示される（ステップＳ６１２）。【０１５２】
続いて、ユーザは特徴ベクトル設定エリア７０５に表示された背景画像上で、検索キーとなる軌跡を入力する（ステップＳ６１３）。例えば、ユーザは、入力装置１０５であるマウスを操作してポインタ（マウスカーソル）を入力しようとする軌跡の始点に置き、マウスボタンを押して、ポインタを軌跡に沿って動かすようにドラッグし、軌跡の終点でマウスボタンを離すことで、軌跡を入力する。【０１５３】
または、表示装置１０６が例えば入力装置１０５としての機能も有するタッチパネルである場合、ユーザが特徴ベクトル設定エリア７０５に表示された背景画像上の軌跡の始点を指またはペン等によってタッチし、軌跡に沿って終点までスワイプしてもよい。ユーザがマウスクリックまたはタッチによって背景画像上のいくつかの点を指定し、サーバ計算機１０７がベジエ曲線等によってそれらの点を補間することによって軌跡を生成してもよい。【０１５４】
軌跡特徴抽出部１１１は、入力された軌跡を軌跡特徴量に変換する（ステップＳ６１４）。ユーザは、さらに、重み設定エリア７０４に表示された「軌跡」に対応するスライドバーを操作することで、軌跡特徴ベクトルの重みを設定する（ステップＳ６１５）。【０１５５】
または、ユーザは、顔特徴ベクトルを検索に使用することを決定した場合（ステップＳ６０１）、重み設定エリア７０４から「顔」を選択し、検索キーとなる顔を設定する（ステップ５２１）。例えば、カメラ内追跡結果表示エリア７０２に表示された複数の画像から切り出された複数の顔画像が特徴ベクトル設定エリア７０５に表示され、ユーザがそれらの顔画像のいずれかを選択すると、選択された顔画像が検索キーとして設定されてもよい。ユーザは、さらに、重み設定エリア７０４に表示された「顔」に対応するスライドバーを操作することで、顔特徴ベクトルの重みを設定する（ステップＳ６２２）。【０１５６】
同様に、ユーザは、頭部特徴ベクトルを検索に使用することを決定した場合（ステップＳ６０１）、重み設定エリア７０４から「頭部」を選択し、検索キーとなる頭部を設定し（ステップ５３１）、頭部特徴ベクトルの重みを設定する（ステップＳ６３２）。これらの手順は、例えば、顔特徴量及びその重みの設定と同様に実行することができる。【０１５７】
さらに、ユーザは、服飾特徴量を検索に使用することを決定した場合、重み設定エリア７０４から「服飾」（図７の例では「上半身」または「下半身」でもよい）を選択し、検索キーとなる服飾を設定し（ステップ５４１）、服飾特徴ベクトルの重みを設定する（ステップＳ６４２）。これらの手順は、例えば、顔特ベクトル量及びその重みの設定と同様に実行することができる。【０１５８】
または、例えば服飾特徴量として色特徴量が設定される場合には、カメラ内追跡結果表示エリア７０２に表示された画像から切り出された服飾画像ではなく、色見本またはカラーパレット等が特徴ベクトル設定エリア７０５に表示され、ユーザがいずれかの色を選択してもよい。【０１５９】
図６では省略されているが、他の顕著領域（例えば鞄領域）の特徴量が設定される場合も、上記と同様に行うことができる。設定された特徴量（例えば色等）が全体像表示エリア７０３に表示された人物の模式図に反映されてもよい。【０１６０】
ユーザが検索ボタン７０６を操作すると、検索に使用することが決定された特徴量について類似特徴ベクトル検索が行われ（ステップＳ６１６、Ｓ６２３、Ｓ６３３及びＳ６４３）、設定された重みに基づいて検索結果が統合され（ステップＳ６５１）、スコアの順に検索結果が検索結果表示エリア７０７に表示される（ステップＳ６６１）。【０１６１】
画像７０８ａには、指定された撮影場所の背景画像上に、検索結果として得られた軌跡７１０ａが表示され、さらに、当該軌跡７１０ａに対応する移動物体（この例では人物）７０９ａの画像が表示される。すなわち、軌跡７１０ａは移動物体７０９ａが移動した軌跡である。【０１６２】
例えば、検索された軌跡の開始日時から終了日時までのいずれかの時点のフレームの画像上に、検索された軌跡を示す矢印を重畳表示することによって画像７０８ａが生成されてもよい。この場合、図７に示すように、表示されたフレームが撮影された日時が表示されてもよい。画像７０８ｂも同様に、別の検索された軌跡７１０ｂ及びそれに対応する移動物体７０９ｂの画像を含む。【０１６３】
なお、検索結果表示エリア７０７には、背景画像及び移動物体の画像を表示せずに、検索された軌跡を示す矢印のみを表示してもよい。または、いずれかの時点のフレームの画像（すなわち静止画像）ではなく、検索された軌跡の開始日時から終了日時までの映像を再生し、それを検索結果表示エリア７０７に表示してもよい。【０１６４】
また、図６及び図７の例では、検索条件として撮影場所及び軌跡が指定さるが、さらに時刻が指定されてもよい。この場合、図７に示す検索画面にさらに時刻指定エリア（図示省略）が設けられ、ユーザが入力装置１０５を操作して時刻（例えば検索対象の時間帯）を入力する。この場合、ユーザに指定された時間帯に開始時刻から終了時刻までの時間が含まれる軌跡が検索される。または、検索条件として撮影場所が指定されなくてもよい。その場合、撮影場所にかかわらず、類似する軌跡が検索される。【０１６５】
上述のように、実施例１によれば、１種類以上の特徴ベクトルに基づいて移動物体の画像を検索することができる。実際に撮影された画像から取得された特徴ベクトル、例えば映像再生エリア７０１に表示された映像から切り出された顔画像の特徴ベクトル、だけでなく、ユーザが直接入力した特徴ベクトル、例えばユーザによって色見本から選択された色特徴ベクトルを検索キーとして指定することができる。【０１６６】
検索しようとする人物が所持していると推定される所持品（例えば鞄）と類似する所持品を所持する別の人物の画像が得られる場合、その画像から抽出された所持品の特徴ベクトルを検索キーとして指定することもできる。【０１６７】
複数種類の特徴ベクトルを検索キーとして検索が行われる場合、それらの検索結果は重み付けをした上で統合される。例えばユーザがいずれかの特徴を特に重視したい特徴ベクトルがある場合、その特徴ベクトルの重みを大きくすることができる。ユーザは、設定された検索キーの確度またはそれを用いた移動物体の識別のしやすさ等に基づいて重みを設定してもよい。【０１６８】
サーバ計算機１０７は、例えば顔領域に含まれる画像の「顔らしさ」を判定して、顔らしさが高いほど重みが大きくなるように重みを自動設定してもよい。他の顕著領域についても同様である。【０１６９】
実施例１によれば、実際に撮影された検索対象の移動物体の画像の特徴ベクトルだけでなく、例えば目撃情報またはその他の情報に基づいて推定される１種類以上の特徴ベクトルを検索キーとして用い、さらにそれらの重みを任意に設定することによって、種々の情報源からの情報を統合した検索キーを用いた検索など、自由度の高い検索を実現することができる。【０１７０】
なお、画像検索システム１００は、特徴ベクトル入力部１７１、類似特徴ベクトル検索部１７２、検索結果統合部１７３、入力装置１０５、表示装置１０６を持たない情報処理装置として機能してもよい。この場合、サーバ計算機１０７は、映像撮影装置１０２に組み込まれてもよい。
【実施例２】
【０１７１】
次に、実施例２の画像検索システム１００について説明する。実施例１においては、図４のステップＳ４１２〜Ｓ４１８において検出及び抽出の処理が実行されない場合、図６のステップＳ６１６、Ｓ６２３、Ｓ６３３、Ｓ６４３における検索の対象となるデータ量が減少する場合がある。【０１７２】
このようなデータ量減少を解消するため、実施例２においては、特徴量がデータベースに登録されていないフレームについて、追加で特徴登録処理を行う。実施例２の画像検索システム１００について、図８〜図１２を用いて説明する。【０１７３】
図８及び図９は、実施例２の画像検索システム１００の全体構成図である。実施例１記載の画像検索システム１００と異なる点を説明する。実施例２の画像検索システム１００は、図８記載の追加登録実行判定部８０１及び追加登録条件入力部８０２を含む。さらに、実施例２の画像検索システム１００は、図９記載の、追加登録処理内容判定部９０１、フレーム記録部９０３、顔検出部９１１、顔特徴抽出部９１２、顔特徴記録部９１３、頭部検出部９２１、頭部特徴抽出部９２２、頭部特徴記録部９２３、服飾検出部９３１、服飾特徴抽出部９３２、服飾特徴記録部９３３を含む。【０１７４】
追加登録実行判定部８０１は、追加登録条件入力部８０２から受け付けた特徴ベクトルと、軌跡特徴記録部１１２、顔特徴記録部１３３、頭部特徴記録部１４３、服飾特徴記録部１５３から受けつけた各特徴ベクトルを照合し、照合結果に応じて、後述する特徴追加登録のフロー（図１１）を開始する。追加登録条件入力部８０２は、ユーザが入力装置１０３を用いて入力した内容を受け付ける。【０１７５】
フレーム記録部９０３、顔検出部９１１、顔特徴抽出部９１２、顔特徴記録部９１３、頭部検出部９２１、頭部特徴抽出部９２２、頭部特徴記録部９２３、服飾検出部９３１、服飾特徴抽出部９３２、服飾特徴記録部９３３は、図１記載のフレーム記録部１１３、顔検出部１３１、顔特徴抽出部１３２、顔特徴記録部１３３、頭部検出部１４１、頭部特徴抽出部１４２、頭部特徴記録部１４３、服飾検出部１５１、服飾特徴抽出部１５２、服飾特徴記録部１５３と同様であるが、それぞれ独立に動作することが可能である。【０１７６】
実施例２の画像検索システム１００のハードウェア構成は、実施例１における画像検索システム１００のハードウェア構成（図２）と同様であり、説明を省略する。実施例２の映像データベース１６１の構成及びデータ例については、実施例１の映像データベース１６１の構成及びデータ例（図３）と同様であり、説明を省略する。【０１７７】
図１０は、実施例２のサーバ計算機１０７が、入力された映像を登録する処理を説明するフローチャートである。以下、図４との相違点を中心に説明する。ステップＳ４０１〜ステップＳ４１９については、図４と同様である。【０１７８】
次に、追加登録実行判定部８０１は、特徴量を追加で登録するかを判定する追加特徴量登録判定を実行する（ステップＳ１００１）。具体的には、追加登録実行判定部８０１は、追加登録条件入力部８０２より特徴ベクトルを受け付け、軌跡特徴記録部１１２、顔特徴記録部１３３、頭部特徴記録部１４３、服飾特徴記録部１５３から受け付けた特徴ベクトルのうち該当する種類の特徴ベクトルとの照合を行い、特徴ベクトルの類似度が閾値より高い場合には、後述する特徴追加登録のフロー（図１１）を開始する（ステップＳ１００１）。【０１７９】
例えば、追加登録実行判定部８０１が追加登録条件入力部８０２より軌跡特徴ベクトルを受け付けた場合、追加登録実行判定部８０１は、軌跡特徴記録部１１２から受け付けた軌跡特徴ベクトルと追加登録条件入力部８０２より受け付けた軌跡特徴ベクトルの類似度が規定値を超える場合、特徴追加登録のフローを開始する。これにより、問題となる動きを示す移動物体の未登録の特徴量を登録できる。【０１８０】
または、追加登録実行判定部８０１が追加登録条件入力部８０２より顔特徴ベクトルを受け付けた場合、追加登録実行判定部８０１は、顔特徴記録部１３３から受け付けた顔特徴ベクトルと追加登録条件入力部８０２より受け付けた顔特徴ベクトルの類似度が規定値を超える場合、特徴追加登録のフローを開始させる。問題となる人物の未登録の特徴量を登録できる。【０１８１】
なお、追加登録実行判定部８０１は、追加登録条件入力部８０２より特徴ベクトルを受け付ける以外に、特徴ベクトルを決定するための情報を受け付けてもよい。追加登録実行判定部８０１は、例えば、追加登録条件入力部８０２より人物の顔画像が含まれる画像と画像からの特徴抽出の対象とする顕著領域の指定情報を受け取った場合、顔検出部９１１、顔特徴抽出部９１２を使用して画像から判定に使用する特徴ベクトルを抽出する。【０１８２】
そのほか、追加登録実行判定部８０１が軌跡特徴記録部１１２から受け付けた軌跡特徴ベクトルに含まれるデータ長が閾値より小さい場合に、追加登録実行判定部８０１は、特徴追加登録のフロー（図１１）を開始してもよい。上記処理により、映像内に映っている時間の短い人物の特徴ベクトルの登録が未実行となることを回避できる。【０１８３】
図１１は、実施例２のサーバ計算機１０７が、映像データベース１６１に登録されているフレームに対して実行する特徴追加登録処理についてのフローチャートである。図１１記載のフローは、図１０記載のステップＳ１００１における判定結果に基づき実行される。以下、図１１の各ステップについて説明する。【０１８４】
まず、追加登録処理内容判定部９０１は、追加登録実行判定部８０１より処理中のフレームＩＤを受け付け、フレーム画像管理情報３４０を参照して、同一映像における処理中のフレームの直前フレームのフレームＩＤを決定する。追加登録処理内容判定部９０１は、さらに、フレーム画像管理情報３４０から、直前フレームのフレームＩＤから追加登録条件入力部８０２より受けつけたフレーム数だけ遡ったフレームのフレームＩＤを決定し、それらフレームＩＤの範囲内に含まれる同映像ＩＤのフレームＩＤを選択する（ステップＳ１１０１）。【０１８５】
次に、サーバ計算機１０７内の各部が、ステップＳ１１０１で抽出された各フレームに対して、ステップＳ１１０３〜Ｓ１１０７を実行する。追加登録処理内容判定部９０１は、フレーム画像管理情報３４０における該当フレームＩＤに対応する顔処理フィールド３４４、頭部処理フィールド３４５、服飾処理フィールド３４６を確認し、顔検出部１３１、頭部検出部１４１、服飾検出部１５１、顔特徴抽出部１３２、頭部特徴抽出部１４２、服飾特徴抽出部１５２による検出処理及び特徴抽出処理のうち未実行の処理があるか確認する（ステップＳ１１０３）。【０１８６】
ステップ１１０３において確認された未実行の検出処理について（ステップＳ１１０３：ＥＬＳＥ）、顔検出部９１１、頭部検出部９２１、服飾検出部９３１は、それぞれ、検出処理を実行する（ステップＳ１１０４）。【０１８７】
顔検出部９１１、頭部検出部９２１、服飾検出部９３１は、ステップＳ１１０４で実行した検出処理が成功しているか判定する（ステップＳ１１０５）。ステップＳ１１０３の未実行の処理の確認の結果、未実行の検出処理が無い場合（ステップＳ１１０３：ＳＫＩＰ）、ステップＳ１１０４、Ｓ１１０５は実行されない。【０１８８】
ステップＳ１１０５においてステップＳ１１０４における検出処理が成功していると判定された場合（ステップＳ１１０５：ＹＥＳ）、または、ステップＳ１１０３において検出処理が実行済みであるが特徴抽出処理が未実行であると判定された場合（ステップＳ１１０３：ＳＫＩＰ）、顔特徴抽出部９１２、頭部特徴抽出部９２２、服飾特徴抽出部９３２のうち該当する抽出部は、特徴抽出処理を実行する（ステップＳ１１０６）。ステップＳ１１０６における特徴抽出処理は、ステップＳ４１６と同様である。【０１８９】
ステップＳ１１０５においてステップＳ１１０４における検出処理が失敗と判定された場合（ステップＳ１１０５：ＮＯ）、当該領域における特徴抽出処理（ステップＳ１１０６）は省略される。【０１９０】
顔特徴記録部９１３、頭部特徴記録部９２３、服飾特徴記録部９３３は、ステップＳ１１０６において該当する特徴量が抽出された場合、特徴ベクトル（特徴量）を記録する（ステップＳ１１０７）。ステップＳ１１０７における処理は、ステップＳ４１８における処理内容と同様である。【０１９１】
図１１記載の特徴追加登録のフローは、図１０記載の映像登録のフローとは、独立、または、並列に実行可能である。このため、実施例２においては、図１０記載の映像登録のフローの実行時間を遅延させることなく、図６記載の類似軌跡検索Ｓ６１６、類似顔検索Ｓ６２３、類似頭部検索Ｓ６３３、類似服飾検索Ｓ６４３の検索対象とする特徴ベクトル（特徴量）のデータ量を拡大することが可能となり、検索精度の低下を回避することが可能となる。【０１９２】
図１２は、実施例２のサーバ計算機１０７が映像データベース１６１に登録済みのフレーム画像のうち特徴ベクトルの登録が未実行のフレーム画像に対して、特徴ベクトルの登録を追加で行うための条件を設定するための設定画面の説明図である。【０１９３】
特徴ベクトルの追加登録条件の設定画面は、表示装置１０４によって表示され、撮影場所ＩＤ設定セクション１２０１、禁止軌跡設定セクション１２０２、許可対象特徴設定セクション１２０５、ブラックリスト特徴設定セクション１２０６、追加登録フレーム数設定セクション１２０７を含む。【０１９４】
禁止軌跡設定セクション１２０２は、ユーザが撮影場所ＩＤ設定セクション１２０１により選択した撮影場所ＩＤに対応する背景画像データを表示する。ユーザは、入力装置１０３であるマウスをドラッグすることで、禁止対象とする禁止軌跡１２０４を指定することが可能である。禁止軌跡設定セクション１２０２で設定した禁止軌跡１２０４は、追加登録条件入力部８０２に受け付けられる。【０１９５】
禁止軌跡１２０４は、追加登録実行判定部８０１が追加登録条件入力部８０２から禁止軌跡を受け付けた際、軌跡ベクトルに変換される。禁止軌跡設定セクション１２０２において禁止軌跡１２０４を入力した場合、図１０記載のステップＳ１００１において、類似する軌跡が存在するかの判定が行われ、存在する場合、図１１記載のベクトルの特徴追加登録のフローが開始される。【０１９６】
許可対象特徴設定セクション１２０５では、許可対象とする人物の画像ファイルと、その画像ファイルから抽出対象とする特徴ベクトルを設定することが可能である。例えば、特徴ベクトルの入力セクションで顔を指定し、ファイル入力セクションで人物の全身が写った画像ファイルを指定し、登録処理ボタンを押すと、指定した情報が許可対象一覧に追加されるとともに、追加登録条件入力部８０２に送られる。追加登録実行判定部８０１は、追加登録条件入力部８０２に送られた情報を受けつけた際、顔検出部９１１と顔特徴抽出部９１２により、顔特徴ベクトルに変換して判定に使用する。【０１９７】
許可対象特徴設定セクション１２０５において許可対象とする特徴ベクトル（許可対象特徴ベクトル）を登録した場合、図１０記載のステップＳ１００１において、禁止軌跡１２０４と許可対象特徴設定セクション１２０５で設定された許可対象特徴ベクトルの両方が判定に使用される。このように、許可対象の特徴ベクトルは、禁止軌跡１２０４の判定に付随して使用される。【０１９８】
一例として、禁止軌跡１２０４を設定し、さらに、許可対象特徴ベクトルとして特定の人物の顔を設定した場合について説明する。ステップＳ１００１において、追加登録実行判定部８０１により、禁止軌跡１２０４に類似する軌跡が存在すると判定された場合、追加登録実行判定部８０１は、さらに、映像データベース１６１からその軌跡を移動している人物の顔特徴量（顔特徴ベクトル）を抽出し、抽出した顔特徴ベクトルと、許可対象特徴ベクトルとして設定された顔特徴ベクトルの比較を行い、類似度が高いと判定した場合は、特徴追加登録のフロー（図１１）を開始しない。【０１９９】
以上のように、禁止軌跡１２０４と許可対象特徴ベクトルを組み合わせて使用すれば、例えば、以下のような運用が可能である。ユーザは、特定の人物以外立ち入り禁止の進入禁止エリア１２０３が存在する場合、禁止軌跡設定セクション１２０２で進入禁止エリア１２０３に侵入する禁止軌跡１２０４を指定し、かつ、許可対象特徴設定セクション１２０５で進入禁止エリア１２０３に進入してもよい人物の特徴ベクトルを設定する。これにより、許可されていない人物が進入禁止エリア１２０３に進入した場合のみ、図１１記載の特徴追加登録のフローが開始される。【０２００】
ブラックリスト特徴設定セクション１２０６では、追加の特徴登録を実施すべき対象の特徴ベクトル（特徴量）を設定することが可能である。例えば、特徴ベクトルの入力セクションで服飾を指定し、ファイル入力セクションで人物の全身が写った画像ファイルを指定し、登録処理ボタンを押すと、指定した情報がブラックリスト一覧に追加されるとともに、追加登録条件入力部８０２に送られる。追加登録実行判定部８０１は、追加登録条件入力部８０２に送られた情報を受けつけた際、服飾検出部９３１と服飾特徴抽出部９３２により、服飾特徴ベクトルに変換して判定に使用する。【０２０１】
ブラックリスト特徴設定セクション１２０６においてブラックリスト対象とする特徴ベクトル（ブラックリスト特徴ベクトル）を登録した場合、図１０記載のステップＳ１００１において、類似する特徴ベクトルが存在するかの判定が行われ、類似する特徴量が存在する場合、図１１記載の特徴追加登録のフローが開始される。この判定は、上述の禁止軌跡１２０４の判定とは独立に実行される。【０２０２】
ブラックリスト特徴設定セクション１２０６におけるブラックリスト特徴ベクトルの設定により、以下の運用が可能となる。進入禁止エリア１２０３によらず監視すべき人物が存在する場合、ユーザは、ブラックリスト特徴ベクトルに該当する人物の特徴ベクトルを設定する。これにより、該当する人物が映像内に存在する場合、図１１記載の特徴追加登録のフローが開始される。【０２０３】
なお、許可対象特徴ベクトルやブラックリスト特徴ベクトルには、たとえば、顔、服の色、帽子の色、ヘルメットの色や形状、服やヘルメットのロゴマークなどを指定してもよい。追加登録フレーム数設定セクション１２０７では、図１１記載の特徴追加登録のフローにおいて登録の対象とするフレーム数を設定することが可能である。【０２０４】
実施例２において、図１１記載の特徴追加登録のフローチャートが図１０記載のステップにＳ１００１における判定によって開始する場合について説明したが、図１１記載の特徴追加登録のフローは、図１０記載のフローとは無関係に周期的に開始してもよい。たとえば、１０分おきに開始するなどであってもよい。この場合、図１０記載のステップＳ１００１は実行しなくてもよい。【０２０５】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。【０２０６】
また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。【０２０７】
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。
【図１】
2017017808.tif 000003
【図２】
2017017808.tif 000004
【図３Ａ】
2017017808.tif 000005
【図３Ｂ】
2017017808.tif 000006
【図４】
2017017808.tif 000007
【図５】
2017017808.tif 000008
【図６】
2017017808.tif 000009
【図７】
2017017808.tif 000010
【図８】
2017017808.tif 000011
【図９】
2017017808.tif 000012
【図１０】
2017017808.tif 000013
【図１１】
2017017808.tif 000014
【図１２】
2017017808.tif 000015
【国際調査報告】
2017017808.tif 000016
2017017808.tif 000017
2017017808.tif 000018
2017017808.tif 000019