(57)【要約】【課題】映像の記録時にアクセスするデータベースと映像の検索時にアクセスするデータベースが同じであるため検索速度が低下する。【解決手段】カメラから取得した映像データを記録する映像記録装置１０１と、映像記録装置に記録された映像データの検索並びに再生を行う映像検索装置とが通信ネットワークを介して接続される映像検索システムであって、映像記録装置１０１は、映像データから抽出した画像特徴量と映像データに付随する属性情報とに基づいて生成される映像データのメタデータを記録すると同時に映像検索装置へ送信するメタデータ送信手段２０９と、映像検索装置からの送信要求に基づいて、指定された映像検索条件に適合する映像データを映像検索装置へ送信する映像データ送信手段２１１とを備える。【選択図】  図２
2006139682.tif 000002
【特許請求の範囲】
【請求項１】
カメラから取得した映像データを記録する映像記録装置と、前記映像記録装置に記録された映像データの検索並びに再生を行う映像検索装置とが通信ネットワークを介して接続される映像検索システムであって、
前記映像データから抽出した画像特徴量と前記映像データに付随する属性情報とに基づいて生成される映像データのメタデータを記録すると同時に前記映像検索装置へ送信するメタデータ送信手段と、
前記映像検索装置からの送信要求に基づいて、指定された映像検索条件に適合する映像データを前記映像検索装置へ送信する映像データ送信手段とを備えた前記映像記録装置と、
前記映像記録装置から受信した前記メタデータを記録するメタデータ蓄積手段と、
指定された映像検索条件に基づいて前記メタデータ蓄積手段を参照してメタデータの検索を行い、前記映像検索条件に適合する映像データの送信要求を前記画像記録装置へ送信する映像検索手段と、
前記送信要求に応答して前記映像記録装置から送信された映像データを受信する映像データ受信手段とを備えた前記映像検索装置を具備する映像検索システム。
【請求項２】
前記映像記録装置は、前記映像記録装置のシステム負荷情報を前記映像検索装置へ送信する負荷情報送信手段を備え、
前記映像検索装置は、前記映像記録装置から前記システム負荷情報を取得する負荷情報取得手段を備え、
前記映像検索手段は、前記負荷情報取得手段が取得したシステム負荷情報に基づいて、前記映像検索手段で前記メタデータの検索を行うか、または、前記映像記録装置に前記映像検索条件を送信し、前記映像記録装置で生成、記録されたメタデータを参照して前記メタデータの検索を行うかを決定する請求項１記載の映像検索システム。
【請求項３】
カメラから取得した映像データを記録する映像記録装置と、前記映像記録装置に記録された映像データの検索並びに再生を行う映像検索装置とが通信ネットワークを介して接続される映像検索システムにおける映像検索方法であって、
前記映像データから抽出した画像特徴量と前記映像データに付随する属性情報とに基づいて生成される映像データのメタデータを記録すると同時に前記映像検索装置へ送信するメタデータ送信ステップと、
前記映像記録装置から受信した前記メタデータを記録するメタデータ蓄積ステップと、
指定された映像検索条件に基づいて前記メタデータの検索を行い、前記映像検索条件に適合する映像データの送信要求を前記画像記録装置へ送信する映像検索ステップと、
前記送信要求に基づいて、前記映像検索条件に適合する映像データを前記映像検索装置へ送信する映像データ送信ステップと、
前記送信要求に応答して前記映像記録装置から送信された映像データを受信する映像データ受信ステップと、を含む映像検索方法。
【請求項４】
前記映像記録装置のシステム負荷情報を前記映像検索装置へ送信する負荷情報送信ステップと、前記映像記録装置から前記システム負荷情報を取得する負荷情報取得ステップとを含み、
前記映像検索ステップは、前記負荷情報取得ステップで取得したシステム負荷情報に基づいて、前記映像検索ステップで前記メタデータの検索を行うか、または、前記映像記録装置に前記映像検索条件を送信し、前記映像記録装置で生成、記録されたメタデータを参照して前記メタデータの検索を行うかを決定する請求項３記載の映像検索方法。
【請求項５】
カメラから取得した映像データを記録する映像記録装置と、前記映像記録装置に記録された映像データの検索並びに再生を行う映像検索装置とが通信ネットワークを介して接続される映像検索システムの映像記録装置における各手順をコンピュータに実行させるためのプログラムであって、
前記映像データから抽出した画像特徴量と前記映像データに付随する属性情報とに基づいて生成される映像データのメタデータを、記録すると同時に前記映像検索装置へ送信するメタデータ送信ステップと、
前記映像検索装置からの送信要求に基づいて、指定された映像検索条件に適合する映像データを前記映像検索装置へ送信する映像データ送信ステップとをコンピュータに実行させるためのプログラム。
【請求項６】
請求項５記載のプログラムであって、前記映像記録装置のシステム負荷情報を前記映像検索装置へ送信する負荷情報送信ステップをコンピュータに実行させるプログラム。
【請求項７】
カメラから取得した映像データを記録する映像記録装置と、前記映像記録装置に記録された映像データの検索並びに再生を行う映像検索装置とが通信ネットワークを介して接続される映像検索システムの映像検索装置における各手順をコンピュータに実行させるためのプログラムであって、
前記映像記録装置から受信した前記メタデータを記録するメタデータ蓄積ステップと、
指定された映像検索条件に基づいて前記メタデータの検索を行い、前記映像検索条件に適合する映像データの送信要求を前記画像記録装置へ送信する映像検索ステップと、
前記送信要求に応答して前記映像記録装置から送信された映像データを受信する映像データ受信ステップとをコンピュータに実行させるためのプログラム。
【請求項８】
請求項７記載のプログラムであって、前記映像記録装置から前記システム負荷情報を取得する負荷情報取得ステップをコンピュータに実行させ、
前記映像検索ステップは、前記負荷情報取得ステップで取得したシステム負荷情報に基づいて、前記映像検索ステップで前記メタデータの検索を行うか、または、前記映像記録装置に前記映像検索条件を送信し、前記映像記録装置で生成、記録されたメタデータを参照して前記メタデータの検索を行うかを決定するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラから取得した映像を映像記録装置に記録し、記録した映像データの検索が可能な映像検索システム、映像検索方法及びプログラムに関する。
【背景技術】
【０００２】
任意の場所に設置された監視カメラが撮影する映像をリアルタイムでモニター再生して監視を行う映像監視システムでは、一般的に、撮影した映像がハードディスクレコーダ等の映像記録装置に録画される。これは、検証などの目的で過去の監視映像を再生する事態に備えるためであり、そのような場合には映像の録画中であっても、所望の映像が迅速に検索、再生されることが好ましい。
【０００３】
従来、記録された画像データを効率良く的確に検索するための映像検索システムが各種提案されており、その中には、画像データから所定の特徴量セットを抽出する特徴抽出部と、特徴量セットから特徴記述子を生成する特徴記述子生成部と、画像データと特徴記述子とを対応づけて蓄積する画像情報蓄積部と、画像データに付随する属性情報から属性リストを生成する属性リスト生成部と、属性リストを蓄積する属性リスト蓄積部と、検索対象の画像データのカテゴリやキー画像から検索したい画像を選択するユーザインターフェース部と、インターフェース部で指示された検索条件に基づき検索処理を行う検索処理部と、検索されたキー画像および検索画像を表示する表示部と、で構成された画像検索システムなどがある（例えば、特許文献１参照）。
【０００４】
上記構成の画像検索システムによれば、属性リストを参照して属性情報に基づく検索を行った後に、特徴記述子に基づく検索が行われるため、画像検索処理を効率良く行うことができる。
【特許文献１】特開２００１−１６７０９５号公報（第５−７頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記従来の画像検索システムでは、検索そのものを効率良く行うことは可能であるが、映像の録画時に属性データを記録するためにアクセスするデータベースと、録画した映像の検索を行うためにアクセスするデータベースが同じであるため、特に、システムにおける処理負荷が高い場合には検索速度が低下してしまうという課題があった。例えば、監視映像の録画とモニター再生が同時に実行されている場合など、システムが高負荷の状態では、映像データのデータ落ちを防ぐために録画処理が優先され、そのために検索速度が低下するという問題があった。
【０００６】
本発明は、検索処理の迅速化と検索効率の向上を図れる映像検索システム、映像検索方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の映像検索システムは、カメラから取得した映像データを記録する映像記録装置と、前記映像記録装置に記録された映像データの検索並びに再生を行う映像検索装置とが通信ネットワークを介して接続される映像検索システムであって、前記映像記録装置は、前記映像データから抽出した画像特徴量と前記映像データに付随する属性情報とに基づいて生成される映像データのメタデータを、記録すると同時に前記映像検索装置へ送信するメタデータ送信手段と、前記映像検索装置からの送信要求に基づいて、指定された映像検索条件に適合する映像データを前記映像検索装置へ送信する映像データ送信手段と、を備え、前記映像検索装置は、前記映像記録装置から受信した前記メタデータを記録するメタデータ蓄積手段と、指定された映像検索条件に基づいて前記メタデータ蓄積手段を参照してメタデータの検索を行い、前記映像検索条件に適合する映像データの送信要求を前記画像記録装置へ送信する映像検索手段と、前記送信要求に応答して前記映像記録装置から送信された映像データを受信する映像データ受信手段とを備える。この構成によれば、映像の録画と記録した映像の検索とを別の装置で独立して実行させることにより、録画中に映像検索を行っても映像記録装置の処理負荷を上昇させることなく、映像データの検索を安定的に迅速に実行できる。
【０００８】
また、本発明の映像検索システムにおいて、前記映像記録装置は、前記映像記録装置のシステム負荷情報を前記映像検索装置へ送信する負荷情報送信手段を備え、前記映像検索装置は、前記映像記録装置から前記システム負荷情報を取得する負荷情報取得手段を備え、前記映像検索手段は、前記負荷情報取得手段が取得したシステム負荷情報に基づいて、前記映像検索手段で前記メタデータの検索を行うか、または、前記映像記録装置に前記映像検索条件を送信し、前記映像記録装置で生成、記録されたメタデータを参照して前記メタデータの検索を行うかを決定する。この構成によれば、前記映像検索手段のみが、接続するすべての映像記録装置に関するメタデータが記録された映像検索装置内のメタデータを検索する場合に比較して検索時間が短縮されるので、検索効率を向上させることができる。
【発明の効果】
【０００９】
本発明によれば、映像の録画と記録した映像の検索を行う映像検索システムにおいて、映像データの検索を安定的に迅速に実行でき、また検索効率を向上させることができる。
【発明を実施するための最良の形態】
【００１０】
以下、添付図面を参照しながら本発明の実施形態に係る映像検索システムについて詳細に説明する。尚、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付与し、説明は繰り返さないこととする。
【００１１】
（実施の形態１）
はじめに、映像の録画と記録した映像の検索とを別な装置で独立して実行する映像検索システムについて説明する。図１は、本発明の実施の形態１における映像検索システムのシステム構成を示す図である。映像検索システム１００は、主に、映像記録装置１０１、映像検索装置１０２、映像記録装置１０１と映像検索装置１０２とを接続する通信ネットワーク１０３、で構成される。尚、図では３台の映像記録装置（１０１ａ〜１０１ｃ）で構成されるシステムの例を示している。
【００１２】
映像記録装置１０１は、監視カメラから取得した映像データやその映像データのメタデータを記録し再生する。また、映像データの記録と同時に、映像データのメタデータを映像検索装置１０２へ送信する。映像記録装置１０１は、ハードウェアのみで構成される監視カメラであってもよいし、ソフトウェアプログラムの実行環境、映像データ送信手段などを有する携帯電話やＰＤＡ（Personal Digital Assistant）等の端末であってもよい。
【００１３】
映像検索装置１０２は、映像記録装置１０１から送信される映像データのメタデータを蓄積するとともに、ユーザからの映像検索条件を取得すると、蓄積された映像データのメタデータを参照して映像データを検索し、映像検索条件に適合する映像データの配信を映像記録装置１０１へ要求する。映像検索装置１０２は、ハードウェアのみで構成される装置であってもよいし、ソフトウェアプログラムの実行環境でもよい。
【００１４】
通信ネットワーク１０３は、少なくとも１台以上の映像記録装置１０１と映像検索装置１０２を接続するネットワークであり、映像記録装置１０１と映像検索装置１０２との間で相互通信可能であれば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）、無線ネットワーク、またはそれらを複合したネットワーク等、任意のネットワークを用いて構わない。
【００１５】
次に、映像検索システムを構成する映像記録装置及び映像検索装置の機能について説明する。
【００１６】
映像記録装置１０１は、監視カメラから取得した映像データのリアルタイム記録処理を行うとともに、映像データから画像特徴量を抽出し、抽出した画像特徴量と映像データに付随する各種映像データ属性情報に基づいて映像メタデータを生成し、生成した映像メタデータを記録すると同時に映像検索装置１０２へ送信する。映像記録装置１０１に記録される映像データは、ＪＰＥＧもしくはＭＰＥＧなどの符号化方式によって符号化される。また、映像記録装置１０１は、映像検索装置１０２からの映像データ取得要求を受信すると、取得要求された映像データを映像検索装置１０２へ送信する。
【００１７】
映像検索装置１０２は、映像記録装置１０１から送信される映像メタデータを受信し、受信した映像メタデータを記録する。また、映像検索装置１０２は、ユーザからの映像検索条件を取得すると、蓄積されている映像データのメタデータを参照して検索条件に適合する映像データを検索し、検索条件に適合する映像データが存在する場合には、当該映像データの送信を映像記録装置１０１へ要求する。送信要求した映像データが映像記録装置１０１に存在する場合には、映像記録装置１０１から送信されてくる映像データを受信し、受信した映像データのリアルタイム再生処理を行う。
【００１８】
ここで、メタデータについて説明する。「メタデータ」とは、一般にデータのデータを意味し、ここでは、画像データに付随する各種属性情報や画像特徴量を記述したデータを指す。尚、「メタデータ」は「映像データ」とは分離独立したデータである。本実施の形態においては、ＸＭＬ（eXtensible Marking Language）に類するデータ記述言語やＭＰＥＧ７のようなマルチメディア記述仕様に従って、映像データのファイル名（識別子）、画像サイズ、録画開始時刻、録画終了時刻などをメタデータとして記述する。
【００１９】
尚、以降は映像データのメタデータを「映像メタデータ」と称する。また、映像データがメタデータを有するのと同様に、複数の映像データからなる映像ファイルもメタデータを有するので、映像ファイルのメタデータを「映像ファイルメタデータ」と称する。
【００２０】
次に、映像記録装置の内部構成について説明する。
【００２１】
図２は、本発明の実施の形態１における映像検索システムの、映像記録装置の内部構成を示す図である。映像記録装置１０１は、監視場所を撮像する監視カメラ２０１と、監視カメラ２０１において撮像した映像データを画像メモリに保持する映像データ入力手段２０２と、映像データ入力手段２０２から取得した映像データを符号化するとともに符号化処理時の各種映像データ属性情報を出力する映像データ符号化手段２０３と、映像データ入力手段２０２に保持されている映像データに対して任意の画像特徴量抽出処理を行い、画像特徴量を抽出する特徴量抽出手段２０４と、特徴量抽出手段２０４において抽出された画像特徴量や映像データ符号化手段２０３において出力された符号化処理時の各種映像データ属性情報をメタデータに整形するメタデータ生成手段２０５と、映像データおよびメタデータの記録処理や検索処理、および、ファイル管理処理を行うデータ管理手段２０６と、映像データ符号化手段２０３において符号化した映像データとその映像データに付随する映像データ属性情報とを対応づけて記録する画像情報蓄積手段２０７と、メタデータ生成手段２０５で生成されたメタデータを蓄積するメタデータ蓄積手段２０８と、メタデータ生成手段２０５において生成されたメタデータを映像検索装置１０２へ送信するメタデータ送信手段２０９と、映像検索装置１０２からの映像送信要求を受信し、送信要求された映像データの取得をデータ管理手段２０６へ指示する映像データ取得手段２１０と、映像データを映像検索装置１０２へ送信する映像データ送信手段２１１と、映像検索装置１０２との間の通信制御を行う通信制御手段２１２と、メタデータ送信手段２０９や映像データ送信手段２１１が出力するパケットデータや、通信制御用パケットデータをネットワークへ送出する通信手段２１３と、で構成される。
【００２２】
次に、映像検索装置の内部構成について説明する。
【００２３】
図３は、本発明の実施の形態１における映像検索システムの、映像検索装置の内部構成を示す図である。映像検索装置１０２は、映像記録装置１０１との相互通信を行い、映像記録装置１０１が送信してくる画像データやメタデータを受信する通信手段３０１と、通信手段３０１よりメタデータを受信するメタデータ受信手段３０２と、メタデータの記録処理や検索処理を行うメタデータ管理手段３０３と、メタデータを蓄積するメタデータ蓄積手段３０４と、ユーザから入力された映像検索条件を取得するデータ入力インターフェース手段３０５と、データ入力インターフェース手段３０５において取得した映像検索条件に基づいてメタデータ検索を行うとともに、映像検索条件に適合する映像データの送信を画像記録装置１０１へ要求する映像検索手段３０６と、通信手段３０１より映像データを受信する映像データ受信手段３０７と、映像データ受信手段３０７から映像データを取得し、その映像データの復号化を行う映像データ復号化手段３０８と、映像データ復号化手段３０８から復号化された映像データを受け取り、映像の表示処理を行う映像出力手段３０９と、映像記録装置１０１との間の通信制御を行う通信制御手段３１０と、で構成される。
【００２４】
次に上記構成の映像記録装置及び映像検索装置の動作について説明する。
【００２５】
はじめに、映像記録装置が実行する映像データ記録処理、メタデータ生成処理、映像データ送信処理について説明する。
【００２６】
図４は、本発明の実施の形態１における映像検索システムの、映像記録装置の映像データ記録処理手順を示すフローチャートである。映像データ記録処理では、監視カメラ２０１から出力される映像データを映像データ入力手段２０２で取得し、データ管理手段２０６を介して画像情報蓄積手段２０７に記録する。
【００２７】
はじめに、監視カメラ２０１から所定のフレームレートで出力される映像データが、映像データ入力手段２０２へ入力される（ステップＳ４０１）。映像データ入力手段２０２は、ダブルバッファ形式の画像メモリを有しており、画像メモリに取り込まれた画像データは、映像データ符号化手段２０３がアクセスすることができる。
【００２８】
次に、映像データ符号化手段２０３は、映像データ入力手段２０２に保持されている映像データを取得して、その画像データに対して符号化処理を行う（ステップＳ４０２）。映像データの符号化方式は、ＪＰＥＧなどのフレーム内圧縮もしくはＭＰＥＧなどのフレーム間圧縮の任意の符号化方式を用いてかまわない。
【００２９】
次に、映像データ符号化手段２０３は、符号化した映像データと符号化処理実行時の各種映像データ属性情報をデータ管理手段２０６に出力する（ステップＳ４０３）。ここで、映像データ属性情報とは、例えば、１フレームの映像データのデータ長や符号化処理を行った時刻など、符号化処理に関る任意の情報を指す。
【００３０】
データ管理手段２０６は、映像データ符号化手段２０３において符号化された映像データと映像データに付随する属性情報を対応付けて画像情報蓄積手段２０７に蓄積する（ステップＳ４０４）。そして、所定の終了条件を満たすか否かを判定し（ステップＳ４０５）、終了条件を満たさない場合にはステップＳ４０１へ戻り、上記の手順を繰り返す。一方、終了条件を満たす場合には映像記録処理を終了する。以上の手順により、映像記録装置における映像データ記録処理が実行される。
【００３１】
次に、図５は、本発明の実施の形態１における映像検索システムの、映像記録装置のメタデータ生成処理手順を示すフローチャートである。メタデータ生成処理では、特徴量抽出手段２０４において抽出された画像特徴量と映像データ符号化手段２０３において出力された映像データ属性情報とからメタデータを生成し、メタデータ蓄積部２０８に記録する。また、生成したメタデータを同時に映像検索装置１０２へ送信する。
【００３２】
はじめに、映像記録装置１０１は、メタデータ送信開始の手続きを実行する（ステップＳ５０１）。データ管理手段２０６は、外部から映像データを記録開始する旨の情報が入力されると、映像検索装置１０２に対して、自装置の識別情報を示すデータと映像ファイルの識別情報を示すデータを含むメタデータ送信開始情報を送信する。映像検索装置１０２は、映像記録装置１０１からのメタデータ送信開始情報を受信すると、受信したメタデータ送信開始情報に基づいてメタデータ受信準備処理を行い、メタデータ受信準備処理が完了すると、送信元の映像記録装置１０１に対してメタデータ受信準備完了通知を送信する（以上の映像検索装置１０２の動作の詳細は後述する）。データ管理手段２０６は、映像検索装置１０２から送信されたメタデータ受信準備完了通知を受信すると、メタデータ生成処理を開始する。
【００３３】
次に、特徴量抽出手段２０４は、映像データ入力手段２０２に保持されている映像データから画像特徴量を抽出し、抽出した画像特徴量をメタデータ生成手段２０５へ出力する（ステップＳ５０２）。特徴量抽出の一例としては、撮影対象となっている物体の色情報やその動き情報などがある。色情報の抽出については、映像データをＲＧＢ色空間に変換したのち、撮影対象となっている物体に相当する領域を示すＲ（赤色）、Ｇ（緑色）、Ｂ（青色）成分値を抽出し、抽出したＲ、Ｇ、Ｂ各成分のヒストグラムを作成することが一例として考えられる。また、動き情報の抽出については、動きベクトルのうち、撮影対象となっている物体に相当する領域に含まれるものだけを抽出し、抽出した動きベクトルに関する水平方向／垂直方向別の平均値を求めることが一例として考えられる。
【００３４】
次に、映像データ符号化手段２０３は、符号化処理時の各種映像データ属性情報をメタデータ生成手段２０５へ出力する（ステップＳ５０３）。ここで、映像データ属性情報は、画像サイズ（幅、高さ）や符号化処理を実行した時刻など、符号化処理に関わる任意の情報を指す。
【００３５】
次に、メタデータ生成手段２０５は、ステップＳ５０２で抽出された画像特徴量と、ステップＳ５０３で取得した映像データ属性情報に基づいて、映像データに対応するメタデータを生成し、生成した映像メタデータをデータ管理手段２０６へ出力する（ステップＳ５０４）。この映像メタデータには、その映像データに関する情報、例えば、撮影対象の物体の色情報や動き情報、映像データの符号化時刻や映像データを撮影した監視カメラの識別番号などが記述される。図６は、映像メタデータとして記述される項目の例を示す図である。
【００３６】
次に、データ管理手段２０６は、メタデータ生成手段２０５が出力した映像メタデータをメタデータ蓄積部２０８に蓄積する（ステップＳ５０５）。更に、データ管理手段２０６は、自装置の識別情報を示すデータと映像データの記録順序を示すデータとを含む映像管理情報を生成して、映像メタデータとともにメタデータ送信手段２０９を介して映像検索装置１０２へ送信する（ステップＳ５０６）。
【００３７】
映像メタデータの送信後、データ管理手段２０６は、所定の終了判定条件に基づいてメタデータ生成終了の可否を判定する（ステップＳ５０７）。ここで、終了判定条件とは、映像メタデータ送信数に関する条件である。例えば、送信した映像メタデータ数が所定の値を超えた場合に、メタデータ生成を終了すると判定する。メタデータ生成を終了すると判定した場合、映像ファイルメタデータを生成する次の処理へ移行する。一方、メタデータ生成を終了しないと判定した場合、ステップＳ５０２へ戻り、上記と同様の手順を繰り返す。
【００３８】
メタデータの生成が終了すると、メタデータ生成手段２０５は、これまで生成した映像メタデータに関する情報に基づいて映像ファイルメタデータを生成し、生成した映像ファイルメタデータをデータ管理手段２０６へ出力する（ステップＳ５０８）。この映像ファイルメタデータには、その映像ファイルに関する情報、例えば、録画開始時刻や録画終了時刻、フレームレートや記録フレーム数などが記述される。図７は、映像ファイルメタデータとして記述される項目の例を示す図である。
【００３９】
データ管理手段２０６は、メタデータ生成手段２０５が出力した映像ファイルメタデータをメタデータ蓄積部２０８に蓄積する（ステップＳ５０９）。最後に、データ管理手段２０６は、ステップＳ５０８で生成した映像ファイルメタデータをメタデータ送信手段２０９を介して映像検索装置１０２へ送信する（ステップＳ５１０）。以上の手順により、映像記録装置におけるメタデータ生成処理が実行される。
【００４０】
次に、図８は、本発明の実施の形態１における映像検索システムの、映像記録装置の映像データ送信処理手順を示すフローチャートである。映像データ送信処理では、映像検索装置１０２から送信された映像検索情報を受信し、映像検索情報に基づいて映像データを検索して、検索条件に適合する映像データを映像検索装置１０２に送信する。
【００４１】
はじめに、映像記録装置１０１は、映像データ送信開始の手続きを実行する（ステップＳ６０１）。映像検索装置１０２は、検索条件が入力されると、自装置に蓄積されているメタデータを利用して映像データの検索を行い、検索条件に適合する映像データが検索された場合には、映像記録装置１０１に対して映像データ送信のための送信開始情報を送信する（以上の映像検索装置１０２の動作の詳細は後述する）。映像記録装置１０１の映像データ取得手段２１０は、映像検索装置１０２から送信された送信開始情報を受信する。ここで、送信開始情報とは、送信要求された映像データに関する情報であり、例えば、映像ファイルの識別情報を示すデータや先頭の映像データの識別情報を示すデータ、送信する映像データ数などが含まれる。
【００４２】
次に、映像データ取得手段２１０は、受信した送信開始情報を解析し、映像検索装置１０２が送信要求している映像データを確認する（ステップＳ６０２）。更に、映像データ取得手段２１０は、映像検索装置１０２が送信要求している映像データの存在確認をデータ管理手段２０６へ指示する。データ管理手段２０６は、映像データ取得手段２１０からの指示を受けて、画像情報蓄積手段２０７に蓄積されている映像データを検索し、映像データの存在確認を行う（ステップＳ６０３）。データ管理手段２０６における確認の結果、映像データが存在すると判定された場合には、映像検索装置１０２に対して送信開始正常応答を送信し、該当する映像データの読み込み処理へ移行する。一方、映像データが存在しないと判定された場合には、映像検索装置１０２に対して送信開始ＮＧ応答を送信し、映像データ送信処理を終了する。
【００４３】
映像データが存在すると判定されると、映像データ取得手段２１０は、データ管理手段２０６に対して映像データの読み込みを指示する（ステップＳ６０４）。データ管理手段２０６は映像データ取得手段２１０からの指示を受けて、画像情報蓄積手段２０７に蓄積されている映像データの中から当該映像データを読み出し、映像データ送信手段２１１が有する画像メモリに書き込む。次に、映像データ送信手段２１１は、画像メモリに書き込まれた映像データを映像検索装置１０２へ送信する（ステップＳ６０５）。
【００４４】
最後に、映像データ取得手段２１０は、所定の終了判定条件に基づいて映像データ送信終了の可否を判定する（ステップＳ６０６）。ここで、終了判定条件とは、映像データ送信数に関する条件である。例えば、送信した映像データ数が所定の値を超えた場合に、映像データ送信を終了すると判定する。映像データ送信を終了しないと判定した場合には、ステップＳ６０４へ戻り、上記の手順を繰り返す。一方、映像データ送信を終了すると判定した場合には、映像データ送信処理を終了する。以上の手順により、映像記録装置における映像データ送信処理が実行される。
【００４５】
次に、映像検索装置が実行するメタデータ受信処理、映像データ検索・再生処理について説明する。
【００４６】
図９は、本発明の実施の形態１における映像検索システムの、映像検索装置のメタデータ受信処理手順を示すフローチャートである。メタデータ受信処理では、映像記録装置１０１から送信されるメタデータをメタデータ受信手段３０２が受信して、メタデータ蓄積手段３０４に蓄積する。
【００４７】
はじめに、映像検索装置１０２は、メタデータ受信開始の手続きを実行する（ステップＳ７０１）。メタデータ受信手段３０２は、映像記録装置１０１から送信されてくるメタデータ送信開始情報を受信し、受信したメタデータ送信開始情報をメタデータ管理手段３０３へ出力する。メタデータ管理手段３０３はメタデータ受信手段３０２からメタデータ送信開始情報を受信すると、メタデータ送信開始情報に基づき、映像ファイルメタデータ及び映像メタデータを受信するための受信準備処理を行う。ここで、受信準備処理とは、映像ファイルメタデータ及び映像メタデータをメタデータ蓄積手段３０４に蓄積するための準備などを含む。メタデータ受信準備処理が完了すると、メタデータ管理手段３０３は、送信元の映像記録装置１０１に対してメタデータ準備完了通知を送信する。
【００４８】
次に、メタデータ受信手段３０２は、映像記録装置１０１から送信されてくる映像メタデータを受信し、受信した映像メタデータをメタデータ管理手段３０３へ出力する（ステップＳ７０２）。メタデータ管理手段３０３は、メタデータ受信手段３０２が出力した映像メタデータをメタデータ蓄積手段３０４に蓄積する（ステップＳ７０３）。
【００４９】
更に、メタデータ管理手段３０３は、所定の終了判定条件に基づいて映像メタデータ受信終了の可否を判定する（ステップＳ７０４）。ここで、終了判定条件とは、映像メタデータ受信に関する条件である。例えば、受信した映像メタデータ数が所定の値を超えた場合に、メタデータ受信を終了すると判定する。メタデータ受信を終了すると判定した場合には、映像ファイルメタデータを受信する次の処理へ移行する。一方、映像メタデータ受信を終了しないと判定した場合には、ステップＳ７０２へ戻り、上記の手順を繰り返す。
【００５０】
メタデータ受信を終了すると判定した場合、メタデータ受信手段３０２は、次に映像記録装置１０１から送信されてくる映像ファイルメタデータを受信し、受信した映像ファイルメタデータをメタデータ管理手段３０３へ出力する（ステップＳ７０５）。最後にメタデータ管理手段３０３は、メタデータ受信手段３０２から出力された映像ファイルメタデータをメタデータ蓄積手段３０４に蓄積する(ステップＳ７０６）。尚、映像ファイルメタデータを記録する際、映像ファイルの先頭に位置する映像データの映像メタデータへのリンク情報を併せて記録する。以上の手順により、映像検索装置におけるメタデータ受信処理が実行される。
【００５１】
次に、図１０は、本発明の実施の形態１における映像検索システムの、映像検索装置の映像データ検索・再生処理手順を示すフローチャートである。映像データ検索処理では、ユーザが提示した映像検索情報に適合する映像メタデータの検索を行い、映像検索条件に適合する映像データの送信を映像記録装置１０１へ要求する。また、映像記録装置１０１から送信される映像データの再生を行う。
【００５２】
はじめに、データ入力インターフェース手段３０５は、ユーザが入力した映像データ検索のための映像検索情報を取得し、取得した情報を映像検索手段３０６へ出力する（ステップＳ８０１）。映像検索情報としては、メタデータに記述されている情報、例えば、映像記録時刻、映像記録場所に関する条件などを設定する。
【００５３】
次に、映像検索手段３０６は、メタデータ管理手段３０３に対して映像検索情報に適合する映像ファイルメタデータ及び映像メタデータの検索を要求する（ステップＳ８０２）。メタデータ管理手段３０３は、映像検索手段３０６からのメタデータ検索要求を受けて、まず、メタデータ蓄積手段３０４に蓄積されている全ての映像ファイルメタデータを検索し、ステップＳ８０１で取得した映像検索情報に適合する映像ファイルメタデータを選出する。映像ファイルメタデータには、映像ファイルの先頭に位置する映像データの映像メタデータへのリンク情報が記述されているので、これを参照して、順番に映像メタデータを辿っていき、検索条件に適合する映像メタデータを検索できたら、その映像メタデータをメタデータ管理手段３０３に保持する。
【００５４】
次に、映像検索手段３０６は、メタデータ管理手段３０３によって検索された映像ファイルメタデータ及び映像メタデータに基づいて送信開始情報を作成し、作成した送信開始情報を映像記録装置１０１へ送信する（ステップＳ８０３）。送信先の映像記録装置は映像ファイルメタデータと対応づけて記録されている映像管理情報に基づいて決定する。
【００５５】
次に、映像検索手段３０６は、映像記録装置１０１に送信した送信開始情報に対する応答の判定を行い（ステップＳ８０４）、正常応答の場合には、映像データの受信処理へ移行する。一方、ＮＧ応答の場合には、映像データ検索処理を終了する。
【００５６】
正常応答の場合、映像データ受信手段３０７は、映像記録装置１０１から送信される映像データを受信し、受信した映像データを映像データ復号化手段３０８へ出力する（ステップＳ８０５）。更に、映像データ復号化手段３０８が映像データ受信手段３０７より取得した映像データを復号し、復号された映像データが映像出力手段３０９に出力される（ステップＳ８０６）。以上の手順により、映像検索装置における映像データ検索・再生処理が実行される。
【００５７】
以上のように、本発明の実施の形態１における映像検索システムによれば、映像データを記録すると同時に映像データのメタデータを送信する映像記録装置と、映像記録装置から送信されたメタデータを参照して映像データの検索を行う映像検索装置とを設け、映像の録画と記録した映像の検索とを別の装置で独立して実行させることにより、録画中に映像検索を行っても映像記録装置の処理負荷を上昇させることなく、迅速に映像データの検索を行うことができる。
【００５８】
（実施の形態２）
次に、映像記録装置の処理負荷が高いときだけ、映像の録画と記録した映像の検索とを別な装置で独立して実行する映像検索システムについて説明する。映像検索システムのシステム構成は、実施の形態１（図１参照）と同じであるので説明を省略する。
【００５９】
次に、映像記録装置の内部構成について説明する。
【００６０】
図１１は、本発明の実施の形態２における映像検索システムの、映像記録装置の内部構成を示す図である。映像記録装置１０３は、実施の形態１の映像記録装置１０１（図２参照）と比較して、映像記録装置１０３内のメタデータ蓄積手段２０８を参照して映像データの検索を行う映像検索手段２１４と、映像検索装置からの問合せに応じて、自装置（映像記録装置１０３）のシステム負荷情報を送信する負荷情報送信手段２１５が付加されている点が異なる。その他の構成は、実施の形態１のそれと同じであるため説明を省略する。
【００６１】
次に、映像検索装置の内部構成について説明する。
【００６２】
図１２は、本発明の実施の形態２における映像検索システムの、映像検索装置の内部構成を示す図である。映像検索装置１０４は、実施の形態１の映像検索装置１０２（図３参照）と比較して、接続する映像記録装置へ現在の処理負荷の状況を問合せ、システム負荷情報を取得する負荷情報取得手段３１１が付加されている点が異なる。映像検索手段３０６は、負荷情報取得手段３１１の問合せ結果によっては、映像検索装置１０４内でのメタデータ検索を行わず、映像記録装置１０２にメタデータ検索を実行させる。その他の構成は、実施の形態１のそれと同じであるため説明を省略する。
【００６３】
次に、上記構成の映像記録装置及び映像検索装置の動作について説明する。
【００６４】
はじめに、映像記録装置の処理負荷が低い時に映像記録装置で実行する映像データ検索処理について説明する。
【００６５】
図１３は、本発明の実施の形態２における映像検索システムの、映像記録装置の映像データ検索処理手順を示すフローチャートである。この映像データ検索処理では、映像検索装置１０４が行うシステム負荷情報の問合せの結果、映像記録装置１０３での検索処理が可能であると判定された場合、映像を検索するためのメタデータ検索が映像記録装置１０３で実行される。
【００６６】
映像記録装置１０３での検索処理が可能であると判定された場合、映像検索装置１０４の映像検索手段３０６は、映像記録装置１０３に対して映像データ検索要求を送信する（以上の映像検索装置１０４の動作の詳細は後述する）。
【００６７】
映像記録装置１０３の映像データ取得手段２１０は、映像検索装置１０４から映像データ検索要求を受信すると（ステップＳ９０１）、映像検索手段２１４に検索要求を出力する。映像検索手段２１４は、データ管理手段２０６にメタデータの検索を指示する。データ管理手段２０６は、映像検索手段２１４からのメタデータ検索要求を受けて、まず、メタデータ蓄積手段２０８に蓄積されている全ての映像ファイルメタデータを検索し、映像検索装置１０４から取得した映像検索情報に適合する映像ファイルメタデータを選出する（ステップＳ９０２）。映像ファイルメタデータには、映像ファイルの先頭に位置する映像データの映像メタデータへのリンク情報が記述されているので、これを参照して、順番に映像メタデータを辿っていき、検索条件に適合する映像メタデータを検索できたら、その映像メタデータをデータ管理手段２０６に保持する。映像検索手段２１４は検索結果を取得し、通信手段２１３を介して映像検索装置１０４へ送信する（ステップＳ９０３）。以上の手順により、映像記録装置における映像データ検索処理が実行される。尚、検索後の映像再生動作は、検索要求を送信した映像検索装置１０４で実行されるので後述する。
【００６８】
次に、映像検索装置が実行する映像データ検索処理について説明する。
【００６９】
図１４は、本発明の実施の形態２における映像検索システムの、映像検索装置の映像データ検索処理手順を示すフローチャートである。この映像データ検索処理では、映像記録装置の処理負荷の高低状況を把握し、メタデータ検索を映像検索装置で行うか、または映像記録装置で行うかを決定してから映像データの検索を行う。
【００７０】
はじめに、データ入力インターフェース手段３０５は、ユーザが入力した映像データ検索のための映像検索情報を取得し、取得した情報を映像検索手段３０６へ出力する（ステップＳ１００１）。映像検索情報としては、メタデータに記述されている情報、例えば、映像記録時刻、映像記録場所に関する条件などを設定する。
【００７１】
次に、映像検索手段３０６は、負荷情報取得手段３１１に、映像記録装置１０３のシステム負荷情報の問合せを実行させる（ステップＳ１００２）。
【００７２】
映像記録装置１０３の負荷情報送信手段２１５は、映像検索装置１０４からのシステム負荷情報の問合せを受信すると、応答して現在の自装置のシステム負荷情報を映像検索装置１０４へ送信する。システム負荷情報としては、現在動作しているタスクの情報、例えば、記録動作中のタスク数、再生動作中のタスク数などである。
【００７３】
次に、映像検索手段３０６は、負荷情報取得手段３１１が映像記録装置１０３から取得したシステム負荷情報をもとに、映像記録装置１０３でメタデータ検索処理を行うか否かを判定する（ステップＳ１００３）。映像記録装置１０３の処理負荷が比較的低く、映像記録装置１０３での検索処理が可能であると判定した場合、映像記録装置１０３でメタデータの検索処理が実行される（ステップＳ１００４）。一方、映像検索装置１０４で検索処理を行うべきと判定した場合、映像検索手段３０６がメタデータの検索処理を指示する（ステップＳ１００５）。
【００７４】
映像記録装置１０３で検索処理を行う場合、映像検索手段３０６は、映像記録装置１０３に対して映像データ検索要求を送信する。映像記録装置１０３は、映像検索装置１０４から映像データ検索要求を受信すると、映像検索情報に適合する映像ファイルメタデータ及び映像メタデータの検索を実行し、検索結果を映像検索装置１０４へ送信する。映像検索装置１０４は、映像記録装置１０３からの検索結果を受信する。
【００７５】
一方、映像検索装置１０４で検索処理を行う場合、映像検索手段３０６は、メタデータ管理手段３０３に対して、映像検索情報に適合する映像ファイルメタデータ及び映像メタデータの検索を要求する。メタデータ管理手段３０３は、映像検索手段３０６からのメタデータ検索要求を受けて、まず、メタデータ蓄積手段３０４に蓄積されている全ての映像ファイルメタデータを検索し、ステップＳ１００１で取得した映像検索情報に適合する映像ファイルメタデータを選出する。映像ファイルメタデータには、映像ファイルの先頭に位置する映像データの映像メタデータへのリンク情報が記述されているので、これを参照して、順番に映像メタデータを辿っていき、検索条件に適合する映像メタデータを検索できたら、その映像メタデータをメタデータ管理手段３０３に保持する。
【００７６】
次に、映像検索手段３０６は、ステップＳ１００４において映像記録装置１０４で検索された映像ファイルメタデータ及び映像メタデータ、またはステップＳ１００５において映像検索装置１０４のメタデータ管理手段３０３で検索された映像ファイルメタデータ及び映像メタデータに基づいて送信開始情報を作成し、作成した送信開始情報を映像記録装置１０３へ送信する（ステップＳ１００６）。送信先の映像記録装置は映像ファイルメタデータと対応付けて記録されている映像管理情報に基づいて決定する。
【００７７】
次に、映像検索手段３０６は、映像記録装置１０３に送信した送信開始情報に対する応答の判定を行い（ステップＳ１００７）、正常応答の場合には映像データの受信処理へ移行する。一方、ＮＧ応答の場合には、映像データ検索処理を終了する。
【００７８】
正常応答の場合、映像データ受信手段３０７は、映像記録装置１０３から送信される映像データを受信し、受信した映像データを映像データ復号化手段３０８へ出力する（ステップＳ１００８）。更に、映像データ復号化手段３０８が映像データ受信手段３０７より取得した映像データを復号し、復号された映像データが、映像出力手段３０９に出力される（ステップＳ１００９）。以上の手順により、映像検索装置における映像データ検索処理が実行される。
【００７９】
以上のように、本発明の実施の形態２における映像検索システムによれば、負荷情報取得手段で映像記録装置のシステム負荷情報を収集し、処理負荷が比較的低い映像記録装置に対して自装置で映像データの検索を行わせることにより、映像検索装置のみですべての映像記録装置に関するメタデータが記録された映像検索装置内のメタデータ蓄積手段を検索する場合に比較して検索時間が短縮されるので、検索効率を向上させることができる。特に、映像記録装置が多数接続されたような映像検索システムにおいて効果的である。
【産業上の利用可能性】
【００８０】
本発明の映像検索システム、映像検索方法及びプログラムは、映像の録画と記録した映像の検索を行う映像検索システムにおいて、映像データの検索を安定的に迅速に実行でき、また検索効率を向上させることができるという効果を有し、カメラから取得した映像を映像記録装置に記録し、記録した映像データの検索が可能な映像検索等として有用である。
【図面の簡単な説明】
【００８１】
【図１】本発明の実施の形態１における映像検索システムのシステム構成を示す図
【図２】本発明の実施の形態１における映像検索システムの、映像記録装置の内部構成を示す図
【図３】本発明の実施の形態１における映像検索システムの、映像検索装置の内部構成を示す図
【図４】本発明の実施の形態１における映像検索システムの、映像記録装置の映像データ記録処理手順を示すフローチャート
【図５】本発明の実施の形態１における映像検索システムの、映像記録装置のメタデータ生成処理手順を示すフローチャート
【図６】映像メタデータとして記述される項目の例を示す図
【図７】映像ファイルメタデータとして記述される項目の例を示す図
【図８】本発明の実施の形態１における映像検索システムの、映像記録装置の映像データ送信処理手順を示すフローチャート
【図９】本発明の実施の形態１における映像検索システムの、映像検索装置のメタデータ受信処理手順を示すフローチャート
【図１０】本発明の実施の形態１における映像検索システムの、映像検索装置の映像データ検索・再生処理手順を示すフローチャート
【図１１】本発明の実施の形態２における映像検索システムの、映像記録装置の内部構成を示す図
【図１２】本発明の実施の形態２における映像検索システムの、映像検索装置の内部構成を示す図
【図１３】本発明の実施の形態２における映像検索システムの、映像記録装置の映像データ検索処理手順を示すフローチャート
【図１４】本発明の実施の形態２における映像検索システムの、映像検索装置の映像データ検索処理手順を示すフローチャート
【符号の説明】
【００８２】
１００  映像検索システム
１０１  映像記録装置
１０２  映像検索装置
１０３  ネットワーク
２０１  監視カメラ
２０２  映像データ入力手段
２０３  映像データ符号化手段
２０４  特徴量抽出手段
２０５  メタデータ生成手段
２０６  データ管理手段
２０７  画像情報蓄積手段
２０８  メタデータ蓄積手段
２０９  メタデータ送信手段
２１０  映像データ取得手段
２１１  映像データ送信手段
２１２  通信制御手段
２１３  通信手段
２１４  映像検索手段
２１５  負荷情報送信手段
３０１  通信手段
３０２  メタデータ受信手段
３０３  メタデータ管理手段
３０４  メタデータ蓄積手段
３０５  データ入力インターフェース手段
３０６  映像検索手段
３０７  映像データ受信手段
３０８  映像データ復号化手段
３０９  映像出力手段
３１０  通信制御手段
３１１  負荷情報取得手段
【図１】
2006139682.tif 000003
【図２】
2006139682.tif 000004
【図３】
2006139682.tif 000005
【図４】
2006139682.tif 000006
【図５】
2006139682.tif 000007
【図６】
2006139682.tif 000008
【図７】
2006139682.tif 000009
【図８】
2006139682.tif 000010
【図９】
2006139682.tif 000011
【図１０】
2006139682.tif 000012
【図１１】
2006139682.tif 000013
【図１２】
2006139682.tif 000014
【図１３】
2006139682.tif 000015
【図１４】
2006139682.tif 000016