(57)【要約】【課題】  動画像の蓄積管理方法及び蓄積管理装置に関し、後での状況解析に必要と考えられる動画像の保存作業を半自動化することができ、大量のカメラ映像を蓄積する装置での映像管理負荷を大幅に軽減することを可能にする【解決手段】  蓄積手段２２，２６に蓄積された動画像データのうち保存すべき動画像データにマーキングを行ない、蓄積手段２２，２６に蓄積された動画像データの中で、上記マーキング付きの動画像データに付随する第１の撮影条件情報と相関の高い第２の撮影条件情報をもつ他の動画像データを選択し、選択した動画像データと上記マーキング付きの動画像データとを保存すべき動画像データとして蓄積手段２２，２６で蓄積維持する。【選択図】        図１
2005080172.tif 000002
【特許請求の範囲】
【請求項１】
動画像を撮影するカメラ装置と、当該カメラ装置の撮影時間及び撮影環境に関する情報を該カメラ装置により得られる動画像データに付随する撮影条件情報として生成する撮影条件情報生成装置とをそなえた１以上のカメラシステムから伝送される該動画像データと該撮影条件情報とを関連付けて蓄積手段に蓄積して管理する、動画像の蓄積管理装置において、
該蓄積手段に蓄積された動画像データのうち保存すべき動画像データにマーキングを行ない、
該蓄積手段の動画像データの中で、該マーキング付きの動画像データに付随する第１の撮影条件情報と相関の高い第２の撮影条件情報をもつ他の動画像データを選択し、
選択した動画像データと該マーキング付きの動画像データとを該蓄積手段において保存すべき動画像データとして蓄積維持することを特徴とする、動画像の蓄積管理方法。
【請求項２】
該カメラシステムが、該カメラ装置の周囲環境の変化を時系列に検知するセンサをそなえるとともに、該撮影条件情報生成装置の生成する該撮影条件情報に該センサによる時系列検知情報が含まれる場合において、
該蓄積手段の動画像データの中で、該マーキング付きの動画像データに付随する第１の時系列検知情報と相関の高い第２の時系列検知情報をもつ他の時間帯の動画像データを、保存すべき動画像データとして選択することを特徴とする、請求項１記載の動画像の蓄積管理方法。
【請求項３】
該撮影条件情報生成装置の生成する該撮影条件情報に該カメラ装置の設置場所に関する地理的情報が含まれる場合において、
該蓄積手段の動画像データの中で、該マーキング付きの動画像データに付随する第１の地理的情報と相関の高い第２の地理的情報をもつ同じ時間帯の他のカメラ装置による動画像データを、保存すべき動画像データとして選択することを特徴とする、請求項１記載の動画像の蓄積管理方法。
【請求項４】
動画像を撮影するカメラ装置と、当該カメラ装置の撮影時間及び撮影環境に関する情報を該カメラ装置により得られる動画像データに付随する撮影条件情報として生成する撮影条件情報生成装置とをそなえた１以上のカメラシステムから伝送される該動画像データと該撮影条件情報とを関連付けて蓄積する蓄積手段と、
該蓄積手段に蓄積された動画像データのうち保存すべき動画像データにマーキングを行なうマーキング手段と、
該蓄積手段に蓄積された動画像データの中で、該マーキング付きの動画像データと、当該動画像データに付随する第１の撮影条件情報と相関の高い第２の撮影条件情報をもつ他の動画像データとを該蓄積手段で保存すべき動画像データとして蓄積維持する蓄積制御手段とをそなえたことを特徴とする、動画像の蓄積管理装置。
【請求項５】
該蓄積制御手段が、
該蓄積手段に蓄積された動画像データの中で、該マーキング付きの動画像データに付随する第１の撮影条件情報と相関の高い第２の撮影条件情報をもつ他の動画像データを検索する高相関データ検索手段と、
該高相関データ検索手段により検索した動画像データと該マーキング付きの動画像データとを該蓄積手段で蓄積維持する蓄積維持制御手段とをそなえて構成されたことを特徴とする、請求項４記載の動画像の蓄積管理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の蓄積管理方法及び蓄積管理装置に関し、例えば、防犯や災害防止等のための監視カメラにより撮影された動画像の蓄積管理に用いて好適な、蓄積管理方法及び蓄積管理装置に関する。
【背景技術】
【０００２】
従来、複数のネットワークカメラを用いて遠隔地点の監視を行なう、ネットワーク監視システムが存在する。このシステムでは、例えば、ネットワークカメラで撮影された動画像をISO/IEC (International Organization for Standardization / International Electrotechnical Commission) MPEG(Motion Picture Experts Group)-1/2/4 等の所定の圧縮符号化方式で圧縮符号化し、TCP/IP(Transmission Control Protocol / Internet Protocol)もしくはUDP/IP(User Datagram Protocol / Internet Protocol)等の通信プロトコルを用いて、ネットワークを通じてサーバ（蓄積サーバ）へ配信することが行なわれる。
【０００３】
蓄積サーバでは、この動画像を受信し、ハードディスク等の蓄積メディアに蓄積する。ユーザは、配信されている動画像をリアルタイムで視聴し、監視地点に異常が無いかどうかをチェックする。また、ユーザは、蓄積メディアに蓄積された動画像を、後で状況分析等の目的で再生・視聴することもある。
このような監視用途では、動画像を２４時間３６５日間連続して撮影することが要求される。また、動画像の情報量は、テキストデータや音声情報に比べて格段に大きいため、動画像をそのまま蓄積メディアに格納する場合、非常に大きな容量が必要になる。このため、蓄積サーバでは、受信した動画像データを適宜に圧縮して蓄積したり、蓄積メディアに蓄積した動画像データを適宜に（例えば、時間的に古いものから）削除したりすることによって、蓄積メディアのオーバフローを防ぐことが必要である。
【０００４】
例えば、特開２００２−４４６０９号公報（以下、特許文献１という）により提案されている技術（以下、公知技術１と称する）がある。この技術では、蓄積可能な残量や、ドアや窓の開閉や動きの存在を検知するセンサ等によって発生するアラーム信号の有無を基に、蓄積対象の動画像の品質（フレームレート）を時間帯毎にコントロールすることが行なわれ、もし決定された品質が閾値以下の場合には、その時間帯の動画像は保存しないようになっている。
【０００５】
また、蓄積時にではなく、全動画像をある一定の期間は保存しておき、後でユーザが保存／削除する動画像を決定することも考えられる（以下、公知技術２と称する）。この公知技術２だと、ユーザが削除せずに残す価値があると考えた動画像のみを効率的に保存することが可能である。
他に、例えば、特開２００１−３２０７００号公報（以下、特許文献２という）により提案されている技術（以下、公知技術３と称する）がある。この公知技術３は、カメラからの動画データを一時的にメモリに蓄積してゆき、動画データが一定量蓄積する毎に、その動画データを記録装置の動画記録エリアに記録するとともに、その動画データに対応して抽出した静止画データを記録装置の静止画記録エリアに別途記録することが行なわれる。
【０００６】
これにより、本公知技術３では、記録装置において動画データを検索する場合、静止画記録エリアに記録された静止画データを利用して動画データを素早く検索することができるとともに、必要な場合に動画をも含めて正確に検索することができ、不要データの削除及び内容の確認作業を、素早く簡単で且つ操作性良く行なうことができる。
【特許文献１】特開２００２−４４６０９号公報
【特許文献２】特開２００１−３２０７００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、以上の公知技術１〜３には次のような課題がある。
即ち、公知技術１では、蓄積時に保存する動画像を他の動画像との関連等を無視して時間帯で決定してしまうため、後で動画像と時系列のセンサ値とを比較して状況を分析しようとしても、必要な動画像部分（セグメント）がすでに削除されてしまっている、という状況が発生する。このため、全動画像をある一定の期間は全部保存しておくことが求められる。
【０００８】
また、公知技術２では、保存すべき動画像を選択する作業量は、蓄積される動画像の量が少ない場合はさほど問題とならないが、カメラ数や蓄積時間が増加すると大きな負担となる。公知技術３では、動画像とともに静止画像をも蓄積するため、必要あるいは不要な動画像の検索は素早く行なえるものの、蓄積に必要な容量が増大してしまう。また、この公知技術３においても、必要／不要な動画像の確認・選別作業を手動で行なわざるを得ないため、公知技術２と同様に、ユーザの負担が大きい。
【０００９】
本発明は、このような課題に鑑み創案されたもので、ユーザの意図（できるだけ後での分析に役立つと思われる動画像のみを残したい）に沿った動画像の選別・蓄積作業を半自動化して、大量の動画像を蓄積する装置での動画像管理負担を軽減できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために、本発明の動画像の蓄積管理方法（請求項１）は、動画像を撮影するカメラ装置と、当該カメラ装置の撮影時間及び撮影環境に関する情報を該カメラ装置により得られる動画像データに付随する撮影条件情報として生成する撮影条件情報生成装置とをそなえた１以上のカメラシステムから伝送される該動画像データと該撮影条件情報とを関連付けて蓄積手段に蓄積して管理する、動画像の蓄積管理装置において、該蓄積手段に蓄積された動画像データのうち保存すべき動画像データにマーキングを行ない、該蓄積手段の動画像データの中で、該マーキング付きの動画像データに付随する第１の撮影条件情報と相関の高い第２の撮影条件情報をもつ他の動画像データを選択し、選択した動画像データと該マーキング付きの動画像データとを該蓄積手段において保存すべき動画像データとして蓄積維持することを特徴としている。
【００１１】
ここで、該カメラシステムが、該カメラ装置の周囲環境の変化を時系列に検知するセンサをそなえるとともに、該撮影条件情報生成装置の生成する該撮影条件情報に該センサによる時系列検知情報が含まれる場合において、該蓄積手段の動画像データの中で、該マーキング付きの動画像データに付随する第１の時系列検知情報と相関の高い第２の時系列検知情報をもつ他の時間帯の動画像データを、保存すべき動画像データとして選択するようにしてもよい（請求項２）。
【００１２】
また、該撮影条件情報生成装置の生成する該撮影条件情報に該カメラ装置の設置場所に関する地理的情報が含まれる場合において、該蓄積手段の動画像データの中で、該マーキング付きの動画像データに付随する第１の地理的情報と相関の高い第２の地理的情報をもつ同じ時間帯の他のカメラ装置による動画像データを、保存すべき動画像データとして選択するようにしてもよい（請求項３）。
【００１３】
例えば、該第１の時系列検知情報と該第２の時系列検知情報とを比較し、その比較の結果、該第１の時系列検知情報と一致又は略一致する該第２の時系列検知情報をもつ他の時間帯の動画像データを、保存すべき動画像データとして選択することができる。
また、該第１の地理的情報と該第２の地理的情報とを比較し、その比較の結果、該第１の地理的情報と一致又は関連する該第２の地理的情報をもつ同じ時間帯の他の動画像データを、保存すべき動画像データとして選択することもできる。
【００１４】
さらに、該保存すべき動画像データの該蓄積手段での蓄積品質を上記の地理的情報の比較結果に応じて制御するようにしてもよい。その際、上記の地理的情報の比較結果が、地理的な隣接度が高いことを示すほど該保存すべき動画像データの該蓄積品質を高く制御することができる。
また、本発明の動画像の蓄積管理装置（請求項４）は、次のような各手段をそなえたことを特徴としている。
【００１５】
(1)動画像を撮影するカメラ装置と、当該カメラ装置の撮影時間及び撮影環境に関する情報を該カメラ装置により得られる動画像データに付随する撮影条件情報として生成する撮影条件情報生成装置とをそなえた１以上のカメラシステムから伝送される該動画像データと該撮影条件情報とを関連付けて蓄積する蓄積手段
(2)該蓄積手段に蓄積された動画像データのうち保存すべき動画像データにマーキングを行なうマーキング手段
(3)該蓄積手段に蓄積された動画像データの中で、該マーキング付きの動画像データと、当該動画像データに付随する第１の撮影条件情報と相関の高い第２の撮影条件情報をもつ他の動画像データとを該蓄積手段で保存すべき動画像データとして蓄積維持する蓄積制御手段
ここで、該蓄積制御手段は、該蓄積手段に蓄積された動画像データの中で、該マーキング付きの動画像データに付随する第１の撮影条件情報と相関の高い第２の撮影条件情報をもつ他の動画像データを検索する高相関データ検索手段と、該高相関データ検索手段により検索した動画像データと該マーキング付きの動画像データとを該蓄積手段で蓄積維持する蓄積維持制御手段とをそなえて構成してもよい（請求項５）。
【００１６】
また、該カメラシステムが、該カメラ装置の周囲環境の変化を時系列に検知するセンサをそなえるとともに、該撮影条件情報生成装置が、該撮影条件情報として該センサによる時系列検知情報を含む情報を生成するように構成されている場合において、該高相関データ検索手段は、該蓄積手段に蓄積された動画像データの中で、該マーキング付きの動画像データに付随する第１の時系列検知情報と相関の高い第２の時系列検知情報をもつ他の時間帯の動画像データを検索して保存すべき動画像データとして選択する時系列検知情報検索手段をそなえていてもよい。
【００１７】
さらに、該撮影条件情報生成装置が、該撮影条件情報として該カメラ装置の設置場所に関する地理的情報を含む情報を生成するように構成されている場合において、該高相関データ検索手段は、該蓄積手段に蓄積された動画像データの中で、該マーキング付きの動画像データに付随する第１の地理的情報と相関の高い第２の地理的情報をもつ同じ時間帯の他のカメラ装置による動画像データを検索して保存すべき動画像データとして選択する地理的情報検索手段をそなえていてもよい。
【００１８】
また、該時系列検知情報検索手段は、該第１の時系列検知情報と該第２の時系列検知情報とを比較する時系列検知情報比較手段と、該時系列検知情報比較手段による比較の結果、該第１の時系列検知情報と一致又は略一致する該第２の時系列検知情報をもつ他の時間帯の動画像データを、保存すべき動画像データとして選択する除外データ選択手段とをそなえていてもよい。
【００１９】
さらに、該地理的情報検索手段は、該第１の地理的情報と該第２の地理的情報とを比較する地理的情報比較手段と、該地理的情報比較手段による比較の結果、該第１の地理的情報と関連する該第２の地理的情報をもつ同じ時間帯の他の動画像データを、保存すべき動画像データとして選択する除外データ選択手段とをそなえていてもよい。
また、該蓄積制御手段は、該保存すべき動画像データの該蓄積手段での蓄積品質を該地理的情報比較手段による比較結果に応じて制御する蓄積品質制御手段をそなえていてもよい。そして、該蓄積品質制御手段は、該地理的情報比較手段による比較結果が、地理的な隣接度が高いことを示すほど該保存すべき動画像データの該蓄積手段での該蓄積品質を高く制御するように構成してもよい。
【発明の効果】
【００２０】
上述した本発明によれば、ユーザが指定（マーキング）した動画像を自動削除候補から除外して蓄積を維持するとともに、その指定した動画像についての撮影条件情報と相関の高い他の動画像部分を自動保存するので、今後の状況解析に必要な動画像の保存操作が半自動化され、大量のカメラ映像を蓄積する装置での映像管理負荷を大幅に軽減することができる。
【発明を実施するための最良の形態】
【００２１】
以下、図面を参照しながら、本発明の実施の形態について説明する。
〔Ａ〕一実施形態の説明
図１は本発明の一実施形態としての監視システムを示すブロック図であるが、この図１に示す監視システムは、ネットワークカメラ（カメラシステム）１０と蓄積サーバ（蓄積管理装置）２０とをそなえて構成され、ネットワークカメラ１０は、インターネットやＬＡＮ（Local Area Network）等の所要の通信回線を介して蓄積サーバ２０と接続されており、TCP/IPやUDP/IP等の所要の通信プロトコルを用いて蓄積サーバ２０との通信が可能になっている。なお、前記通信回線は、有線／無線は問わない。また、この図１では、ネットワークカメラ１０を１台しか図示していないが、実際には、複数台のネットワークカメラ１０が蓄積サーバ２０に接続されることもある。
【００２２】
そして、ネットワークカメラ１０は、この図１に示すように、例えば、カメラ（カメラ装置）１１，センサ１２，メタデータ生成部１３，及びネットワークインタフェース（I/F）１４等をそなえて構成されている。
ここで、カメラ１１は、動画像を撮影するもので、ここでは、例えばMPEG（Moving Picture Expert Group）等の所要の圧縮符号化形式を用いて、撮影した動画像を圧縮符号化する機能も有している。
【００２３】
センサ１２は、カメラ１１の周囲環境の変化を時系列に検知しうるもので、例えば、音声マイクや振動センサ、温度センサ、圧力センサ等であり、定期的にサンプル値（センサ値）を取得し、当該サンプル値〔センサ時系列値（時系列検知情報）〕はメタデータ生成部１３に伝送されるようになっている。
メタデータ生成部（撮影条件情報生成装置）１３は、上記センサ１２によって得られたサンプル値やカメラ１１の設置場所に関する地理的情報（固定：以下、地点情報ともいう）を基に、「メタデータ」と呼ばれるデータを生成するものであり、ネットワークインタフェース１４は、カメラ１１からの符号化動画像（動画像データ）に上記「メタデータ」を付加して、TCP/IPやUDP/IP等の通信プロトコルを用いて通信回線を通じ蓄積サーバ（以下、単に「サーバ」ともいう）２０に伝送する機能を有するものである。
【００２４】
ここで、動画像に付加される「メタデータ」は、データ検索の高速化・容易化を実現するためにデータについての情報を記述したデータであり、例えばISO/IEC 15938 (MPEG-7)のような、XML（Extensible Markup Language）ベースの記述データである。本実施形態において、「メタデータ」には、例えば、以下のような情報が記述される。
・地点名(ID)，地理的情報〔GPS（Global Positioning System）値，住所等〕
・動画像の所在情報（URL）
・動画像の時間的構造情報（セグメント情報）
・セグメント毎の開始・終了時間，センサ時系列値，ユーザ注釈情報
これらの情報は、カメラ１１により得られる動画像データに付随する、カメラ１１の撮影時間及び撮影環境に関する情報（撮影条件情報）としての意味を有し、ユーザ注釈情報（詳細は後述）を除いて、上記メタデータ生成部１３で生成されて蓄積サーバ２０に伝送され、蓄積サーバ２０において検索可能な形式で保存される。なお、「メタデータ」の詳細構造については図３により後述する。
【００２５】
次に、サーバ２０は、図１に示すように、例えば、ネットワークインタフェース（I/F）２１，動画像蓄積装置２２，削除処理制御部２３，動画像品質変更部２４，全体制御部２５，メタデータ蓄積装置２６，メタデータ編集部２７，ユーザ表示部２８及びユーザ入力装置２９をそなえて構成されている。
ここで、ネットワークインタフェース２１は、ネットワークカメラ１０から伝送されてくる動画像データと「メタデータ」とを受信するもので、動画像データは動画像蓄積装置２２へ、「メタデータ」はメタデータ蓄積装置２６へそれぞれ振り分けられるようになっている。
【００２６】
動画像蓄積装置２２は、ネットワークインタフェース２１を通じて受信された動画像データ（以下、単に「動画像」と略記することがある）を蓄積するハードディスク等であり、削除処理制御部２３は、全体制御部２５から伝送される制御情報及びメタデータ蓄積装置２６の「メタデータ」を基に、削除候補の動画像の時間帯（あるいは、品質変更して蓄積する動画像）の時間帯を決定し、動画像蓄積装置２２に通知する機能を有するものである。
【００２７】
全体制御部２５は、サーバ２０の全体動作を統括的に制御するもので、ここでは、現在の時刻や削除対象となる動画像の日時等の情報を保持し、当該情報に基づいて削除処理制御部２３に対して削除対象あるいは品質変更対象の動画像部分（セグメント）を通知する機能を有している。なお、全体制御部２５は、原則として、動画像蓄積装置２２に蓄積されている動画像のうち時間的に古いものから削除するよう、削除処理制御部２３に対して指示を与えるようになっている。
【００２８】
つまり、この本全体制御部２５は、削除処理制御部２３とともに、動画像蓄積装置２２に蓄積された動画像を撮影時間に応じて自動削除する自動削除制御部としての機能を実現している。ただし、削除処理制御部２３は、自動削除候補となっている動画像の中で、ユーザによって指定（マーキング）される保存対象の動画像部分と、当該動画像に付随する「メタデータ」に含まれる（第１の）撮影条件情報（センサ時系列値や地理的情報）と相関の高い（第２の）撮影条件情報をもつ他の動画像部分（例えば、センサ時系列値が同一又は類似する動画像部分や地理的に関連する動画像部分）とを自動削除候補から除外して蓄積装置２２，２６での蓄積を維持するようにもなっている。
【００２９】
このため、本実施形態の削除処理制御部２３は、例えば図２に示すように、削除候補検索部２３１，高相関データ検索部２３２及び蓄積維持制御部２３３をそなえている。
ここで、削除候補検索部２３１は、メタデータ蓄積装置２６に蓄積された「メタデータ」を検索することにより、動画像蓄積装置２２に蓄積された動画像の中で自動削除候補となっている動画像を検索するものであり、高相関データ検索部２３２は、この自動削除候補検索部２３１により検索された自動削除候補の動画像の中で、ユーザ注釈（マーキング）付きの動画像部分に付随する撮影条件情報と相関の高い撮影条件情報をもつ他の動画像部分を検索するものである。
【００３０】
このため、高相関データ検索部２３２は、さらに、
(1)自動削除候補の動画像データの中で、ユーザ注釈付きの動画像部分に付随する（第１の）センサ時系列値と相関の高い（第２の）センサ時系列値をもつ他の時間帯の動画像部分を検索して自動削除候補から除外すべき動画像データとして選択するセンサ時系列値検索部２３２Ａと、
(2)自動削除候補の動画像データの中で、ユーザ注釈付きの動画像部分に付随する（第１の）地理的情報と相関の高い（第２の）地理的情報をもつ同じ時間帯の他のカメラ１１による動画像部分を検索して自動削除候補から除外すべき動画像データとして選択する地理的情報検索部２３２Ｂとをそなえている。
【００３１】
そして、センサ時系列値検索部２３２Ａは、上記の各センサ時系列値を比較するセンサ時系列値比較部２３２Ａ−１と、このセンサ時系列値比較部２３２Ａ−１による比較の結果、ユーザ注釈付きの動画像部分に対するセンサ時系列値と一致又は略一致するセンサ時系列値をもつ他の時間帯の動画像部分を、自動削除候補から除外すべき動画像データとして選択する保存動画像選択部（除外データ選択部）２３２Ａ−２とをさらにそなえている。
【００３２】
一方、地理的情報検索部２３２Ｂは、上記の各地理的情報を比較する地理的情報比較部２３２Ｂ−１と、この地理的情報比較部２３２Ｂ−１による比較の結果、ユーザ注釈付きの動画像部分に対する地理的情報と関連する地理的情報をもつ同じ時間帯の他の動画像部分を自動削除候補から除外すべき動画像データとして選択する保存動画像選択部（除外データ選択部）２３２Ｂ−２とをさらにそなえている。
【００３３】
蓄積維持制御部２３３は、上述のごとく構成された高相関データ検索部２３２により検索・選択された動画像部分とユーザ指定された動画像部分とを自動削除候補から除外して蓄積装置２２，２６での蓄積を維持（自動保存）するものである。
次に、図１において、動画像品質変更部（蓄積品質制御部）２４は、削除処理制御部２３からの制御に従い、動画像蓄積装置２２に蓄積された動画像の該当部分の品質（圧縮率）を変更するもので、本実施形態では、後述するように、自動削除候補から除外すべき動画像データの動画像蓄積装置２２での蓄積品質を地理的情報比較部２３２Ｂによる比較結果に応じて制御するもので、例えば、GPS値（緯度，経度）の比較結果により、地理的な隣接度が高い（距離が近い）ほど自動削除候補から除外すべき動画像部分の動画像蓄積装置２２での蓄積品質（ビットレート）を高く制御するようになっている。
【００３４】
次に、メタデータ蓄積装置２６は、ネットワークインタフェース２１を通じて受信された「メタデータ」（図３参照）を蓄積するものである。なお、「メタデータ」は、１台のカメラ１１に対して一つ割り当てられる。ここで、図３に示す「メタデータ」のうち、符号３１〜３３で示す部分には、それぞれ、以下の情報が記述されていることを示す。
(1)符号３１で示す部分：カメラ１１についての情報（カメラ情報）
<Instrument><Tool><Name>：カメラ名称
<Instrument><Setting>：カメラ１１のID番号
<GeographicPosition><Point>：カメラ設置地点のGPS値（コード）
<LocationName>：地点名称
(2)符号３２で示す部分：カメラ１１での符号化パラメータに関する情報
<Bitrate>：動画像のビットレート
<VisualCoding><Format><Name>：符号化フォーマット
<MediaUri>：カメラ１１の動画像配信URL
(3)符号３３で示す部分：センサ１２により得られるセンサ時系列値
<AudioVisualSegment>：一つの動画像セグメントを表す（固定長）情報
<MediaTime><MediaTimePoint>：動画像セグメントの開始時間
<MediaTime><MediaDuration>：動画像セグメントの時間長（図３の例では１０分）
<TextAnnotation>：ユーザ注釈（サーバ２０側でユーザにより付加される）
<Semantics><AttributeValuePair><Attribute><Name>：センサ名称
<Semantics><AttributeValuePair><IntegerMatrixValue>：センサ時系列値（図３の例では、一分毎にサンプリングしていることを表す）
なお、「メタデータ」に、上記の<AudioVisualSegment>（一つの動画像セグメントを表す情報），<MediaTime><MediaTimePoint>（動画像セグメントの開始時間），<MediaTime><MediaDuration>（動画像セグメントの時間長）が記述されることにより、メタデータ蓄積装置２６に蓄積された「メタデータ」と動画像蓄積装置２２に蓄積された動画像とが関連付けられることになる。
【００３５】
つまり、本実施形態では、動画像蓄積装置２２とメタデータ蓄積装置２６とで、ネットワークカメラ１０から伝送される動画像と前記撮影条件情報とを関連付けて蓄積する蓄積手段が構成されているのである。
次に、メタデータ編集部２７は、ユーザがユーザ入力装置２９を通じて入力した注釈情報（マーキング情報）を基に、「メタデータ」を更新し、その結果をメタデータ蓄積装置２６（上記の<TextAnnotation>として）格納するものであり、ユーザ表示部２８は、動画像と当該動画像に対応する「メタデータ」とを同期して表示するものである。ユーザ入力装置２９は、ユーザ表示部２８に映し出された表示画面（例えば図４に示す表示画面４０参照）に対するユーザ入力をキャプチャする機能を有するものである。
【００３６】
つまり、上記のメタデータ編集部２７，ユーザ表示部２８及びユーザ入力装置２９は、ユーザに動画像と「メタデータ」とを提示し、ユーザが保存を要すると考えた動画像部分に相当する「メタデータ」に、ユーザ注釈を追加して保存する機能を実現している。
以下、上述のごとく構成された本実施形態のシステムの動作について詳述する。
(1)ネットワークカメラ１０におけるセンサ値取得
まず、ネットワークカメラ１０において、定期的にセンサ値を「メタデータ」として取得してサーバ２０に伝送する処理の流れを図５に示す。この図５に示すように、ネットワークカメラ１０では、センサ１２の値を定期的にサンプリングしてセンサ値を取得し（ステップＳ１）、メタデータ生成部１３が、得られたセンサ値をメタデータ形式に変換してメタデータを生成する（ステップＳ２）。
【００３７】
生成した「メタデータ」はネットワークインタフェース１３を通じてサーバ２０へ伝送される（ステップＳ３）。その後、ネットワークカメラ１０は、現在時刻がセンサ値をサンプリングしてメタデータ伝送すべき時刻（センサ値取得時刻）かどうか判定する（ステップＳ４）。その結果、センサ値取得時刻でない場合（ステップＳ４でＮｏの場合）には「待機」状態となり（ステップＳ５）、一定時間待機後、センサ値取得時刻であった場合（ステップＳ４でＹｅｓの場合）には、上記ステップＳ１以降の処理を再び実行する。
【００３８】
このようにして、ネットワークカメラ１０は、撮影した動画像とともに定期的に取得したセンサ値をセンサ時系列値として含む「メタデータ」をサーバ２０に伝送する。
(2)ユーザによる保存動画像選択
次に、サーバ２０においてユーザが保存したいと考えた動画像部分の選択を行なう処理について説明する。
【００３９】
まず、ユーザは、例えば図４に示すように、過去の蓄積動画像をメタデータ（地理的情報やセンサ時系列値）と合わせてユーザ表示部２８の表示画面（注釈付け画面）４０に表示させる。この画面４０において、４１は再生中の過去の蓄積動画像、４２は動画像の再生制御インタフェース(スライドバー４２１や再生開始ボタン４２２，再生終了ボタン４２３，一時停止ボタン４２４等)、４３は表示したい動画像の選択インタフェース（この例では、「多摩川第二」等の地点名を基に動画像を選択可能としている）をそれぞれ示している。
【００４０】
また、４４はセンサ時系列値を表示するセンサ１２の種別の表示部分、４５は現在表示している動画像と同一時刻のセンサ時系列値のグラフ表示画面、４６はユーザが表示中の動画像の保存を希望するとき（後で調査等を行なうために残しておきたいとき等）に押下する選択ボタンをそれぞれ表している。
そして、図６に示すように、この選択ボタン４６の押下処理により、図３にて前述した<TextAnnotation>タグがメタデータ編集部２７によって生成され、メタデータ蓄積装置２６に保存されている「メタデータ」内の該当する<AudioVisualSegment>の中に当該<TextAnnotation>タグが挿入されて、その時刻の動画像に対してマーキング（注釈付け）がなされる（保存動画像選択：ステップＳ１１）。
【００４１】
その後、削除処理制御部２３が、上述のごとくユーザが指定（選択）した動画像部分の「メタデータ」を参照し、そのセンサ時系列値及びカメラ１１の地理的情報の双方もしくは一方を得る。そして、削除処理制御部２３は、当該情報をキーとしてメタデータ蓄積装置２６を参照・検索し（メタデータ検索：ステップＳ１２）、全体制御部２５からの指示により自動削除候補となっている動画像の中で、ユーザが指定した動画像部分のセンサ時系列値の特徴（センサ値の時間変化）と同一もしくは同様の（相関の高い）センサ時系列値の特徴（センサ値の時間変化）をもつ他の動画像部分、及び、同時刻で地理的に関連する他の動画像部分の双方もしくは一方を、センサ時系列値の比較，GPS値等の地理的情報の比較により特定する。
【００４２】
さらに、削除処理制御部２３は、上述のごとく特定したほかの動画像部分に対応する「メタデータ」について、ユーザ指定による上記<TextAnnotation>タグと同一もしくは同様のタグを図３に示す該当<AudioVisualSegment>の中に挿入して、マーキングを行なう（メタデータ更新：ステップＳ１３）。これにより、ユーザが保存対象（非削除対象）として指定した動画像の「メタデータ」（時系列センサ値，地理的情報）と相関の高い「メタデータ」をもつ他の動画像部分が自動的に自動削除候補から除外されて蓄積が維持されることになる。
【００４３】
このように、削除処理制御部２３は、自動削除候補となっている動画像の中で、ユーザによる注釈付きの動画像部分に付随する「メタデータ」（第１の撮影条件情報）に含まれるセンサ時系列値（第１の時系列検知情報）と相関の高いセンサ時系列値（第２の時系列検知情報）が含まれる「メタデータ」（第２の撮影条件情報）をもつ他の動画像部分を検索して自動削除候補から自動的に除外することができる。
【００４４】
より詳細には、例えば、全ての「メタデータ」のうち、現在、自動削除候補になっている動画像セグメントの中で、ユーザ注釈が付加されているセグメントを検索して、そのセグメントのセンサ時系列値の最大値（又は最小値）を抽出し、この最大値（又は最小値）と同じ最大値又は最小値をもつ、ユーザ注釈が付加されていない動画像セグメントを、保存（蓄積維持）対象とする。これにより、ユーザが保存指定した動画像セグメントに対するセンサ時系列値と同一又は類似のパターン（時間変化）をもつ他の動画像セグメントが自動的に保存対象として蓄積維持される。
【００４５】
また、ユーザによる注釈付きの動画像部分に付随する「メタデータ」に含まれる（第１の）地理的情報と相関の高い（第２の）地理的情報をもつ同じ時間帯の他のカメラ１１による動画像部分を自動削除候補から自動的に除外することもできる。
より詳細には、全てのメタデータのうち、現在、自動削除候補になっている動画像セグメントの中で、ユーザ注釈が付加されているセグメントを検索して、そのセグメントの地点名称及びGPSコードを取得し、全ての「メタデータ」の中で、同一もしくは同様の地点名（例えば、「多摩川」等）をもつ「メタデータ」を全て選択し、選択した地点について、ユーザ注釈が付加された時間帯のセグメントを保存対象とすることができる。これにより、ユーザが保存指定した動画像セグメントを撮影したカメラ１１の設置地点と地理的に関連した地点の他のカメラ１１による同じ時間帯の動画像セグメントが自動的に保存対象として蓄積維持される。
【００４６】
(3)サーバ２０での動画像削除処理
次に、サーバ２０での動画像削除処理について、図７に示すフローチャートを参照しながら説明する。
サーバ２０では、全体制御部２５が、まず、現在時刻と予め設定された保存期間（例えば、２日間等）とを基に、自動削除候補となる時間帯を決定する（削除時間帯判別：ステップＳ２１）。決定した時間帯情報は、削除処理制御部２３に通知され、削除処理制御部２３は、通知された時間帯（削除時間帯）に属し、且つ、ユーザ注釈（<TextAnnotation>タグ）が付加されていない自動削除候補の動画像部分を検索する（削除候補検索：ステップＳ２２）。
【００４７】
そして、削除処理制御部２３は、検索した動画像部分とそれに対応する「メタデータ」を蓄積装置２２，２６からそれぞれ削除する（動画像部分削除：ステップＳ２３）。その後、削除処理制御部２３は、現在時刻が次に動画像部分を削除する時刻かどうかを判定し（ステップＳ２４）、削除時刻でなければ（ステップＳ２４でＮｏの場合）、一定時間待機し（ステップＳ２５）、削除時刻であれば（ステップＳ２４でＹｅｓの場合）、上記削除時間帯判別（ステップＳ２１）以降の処理を再度実行する。
【００４８】
以上のような動作により、例えば河川の監視システムを考えると、上流でイベント（濁流）があった場合、下流にもイベントが発生する可能性が非常に高いので、センサ時系列値として河川の水位や水量の時間変化が同一又は類似する動画像セグメントを自動保存することが可能となる。つまり、ユーザによって注釈付けされる動画像は、例えば、災害が起きる直前の動画像であり、センサ時系列値になんらかの予兆が現れていると考えられるから、このような動画像を後で解析するために、センサ時系列値が同一又は類似のパターンを示す動画像セグメントを自動保存することで、新たにセンサ１２で異常を感知するための閾値を再設定する等の対応が可能となる。
【００４９】
また、当該河川に設置された（地理的に関連する）他の全てのカメラ１１で同じ時間帯で撮影された動画像セグメントを自動保存することも可能であり、その際、センサ時系列値として上記と同様に水位や水量等を用いれば、同一もしくは類似する水位や水量変化のあった地点の動画像セグメントを自動保存することが可能となる。なお、その保存品質については、動画像品質変更部２４により、ユーザ注釈が付加された地点のGPSコードと、選択された地点のGPSコードとの距離（地理的情報比較部２３２Ｂ−１での比較結果）に反比例した品質（ビットレート）とすることができる。
【００５０】
例えば、元の動画像がMPEG-4 1.5Mbpsの場合、GPSコードにより示される２点間の距離が10km以内の場合は1Mbps、20km以内の場合は500kbps、それ以上の距離の場合は保存しない、といったような品質変更ルールで蓄積品質の変更が可能である。なお、上記の動画像の蓄積品質変更処理は、量子化係数を変更する等の公知の技術を適用すればよい。このようにすれば、蓄積装置２２，２６に必要な蓄積容量を削減しつつ、必要な動画像を残すことが可能となる。
【００５１】
以上のように、本実施形態によれば、ユーザが指定したカメラ／時間帯の動画像を自動削除候補から除外して蓄積を維持するとともに、蓄積された動画像の中から、センサ時系列値のパターンが同一又は類似する、あるいは地理的に関連のあるカメラ／時間帯の動画像を自動保存するので、今後の状況解析に必要な動画像の保存操作が半自動化され、大量のカメラ映像を蓄積する装置での映像管理負荷を大幅に軽減することができる。
【００５２】
なお、本発明は上述した実施形態に限定されず、本発明の趣旨を逸脱しない範囲で種々変形して実施することができることはいうまでもない。
例えば、上述した実施形態では、自動削除候補から除外して自動保存する動画像部分を選定する際の情報要素として、センサ時系列値やカメラ１１の設置地点に関する地理的情報（地点名称，GPS値）を用いているが、勿論、これら以外の情報の相関を用いて自動保存する動画像部分を選定することもできる。
【００５３】
また、上述した実施形態では、蓄積された動画像が撮影時間に応じて（時間的に古いものから）自動削除されることを前提としているが、本発明はこれに限定されず、このような自動削除を前提としない装置にも、勿論、上記と同様に適用可能であり、上記と同様の作用効果を得ることができる。
〔Ｂ〕付記
（付記１）  動画像を撮影するカメラ装置と、当該カメラ装置の撮影時間及び撮影環境に関する情報を該カメラ装置により得られる動画像データに付随する撮影条件情報として生成する撮影条件情報生成装置とをそなえた１以上のカメラシステムから伝送される該動画像データと該撮影条件情報とを関連付けて蓄積手段に蓄積して管理する、動画像の蓄積管理装置において、
該蓄積手段に蓄積された動画像データのうち保存すべき動画像データにマーキングを行ない、
該蓄積手段の動画像データの中で、該マーキング付きの動画像データに付随する第１の撮影条件情報と相関の高い第２の撮影条件情報をもつ他の動画像データを選択し、
選択した動画像データと該マーキング付きの動画像データとを該蓄積手段において保存すべき動画像データとして蓄積維持することを特徴とする、動画像の蓄積管理方法。
【００５４】
（付記２）  該カメラシステムが、該カメラ装置の周囲環境の変化を時系列に検知するセンサをそなえるとともに、該撮影条件情報生成装置の生成する該撮影条件情報に該センサによる時系列検知情報が含まれる場合において、
該蓄積手段の動画像データの中で、該マーキング付きの動画像データに付随する第１の時系列検知情報と相関の高い第２の時系列検知情報をもつ他の時間帯の動画像データを、保存すべき動画像データとして選択することを特徴とする、付記１記載の動画像の蓄積管理方法。
【００５５】
（付記３）  該撮影条件情報生成装置の生成する該撮影条件情報に該カメラ装置の設置場所に関する地理的情報が含まれる場合において、
該蓄積手段の動画像データの中で、該マーキング付きの動画像データに付随する第１の地理的情報と相関の高い第２の地理的情報をもつ同じ時間帯の他のカメラ装置による動画像データを、保存すべき動画像データとして選択することを特徴とする、付記１記載の動画像の蓄積管理方法。
【００５６】
（付記４）  該第１の時系列検知情報と該第２の時系列検知情報とを比較し、
その比較の結果、該第１の時系列検知情報と一致又は略一致する該第２の時系列検知情報をもつ他の時間帯の動画像データを、保存すべき動画像データとして選択することを特徴とする、付記２記載の動画像の蓄積管理方法。
（付記５）  該第１の地理的情報と該第２の地理的情報とを比較し、
その比較の結果、該第１の地理的情報と一致又は関連する該第２の地理的情報をもつ同じ時間帯の他の動画像データを、保存すべき動画像データとして選択することを特徴とする、付記３記載の動画像の蓄積管理方法。
【００５７】
（付記６）  該保存すべき動画像データの該蓄積手段での蓄積品質を上記の地理的情報の比較結果に応じて制御することを特徴とする、付記５記載の動画像の蓄積管理方法。
（付記７）  上記の地理的情報の比較結果が、地理的な隣接度が高いことを示すほど該保存すべき動画像データの該蓄積品質を高く制御することを特徴とする、付記６記載の動画像の蓄積管理方法。
【００５８】
（付記８）  動画像を撮影するカメラ装置と、当該カメラ装置の撮影時間及び撮影環境に関する情報を該カメラ装置により得られる動画像データに付随する撮影条件情報として生成する撮影条件情報生成装置とをそなえた１以上のカメラシステムから伝送される該動画像データと該撮影条件情報とを関連付けて蓄積する蓄積手段と、
該蓄積手段に蓄積された動画像データのうち保存すべき動画像データにマーキングを行なうマーキング手段と、
該蓄積手段に蓄積された動画像データの中で、該マーキング付きの動画像データと、当該動画像データに付随する第１の撮影条件情報と相関の高い第２の撮影条件情報をもつ他の動画像データとを該蓄積手段で保存すべき動画像データとして蓄積維持する蓄積制御手段とをそなえたことを特徴とする、動画像の蓄積管理装置。
【００５９】
（付記９）  該蓄積制御手段が、
該蓄積手段に蓄積された動画像データの中で、該マーキング付きの動画像データに付随する第１の撮影条件情報と相関の高い第２の撮影条件情報をもつ他の動画像データを検索する高相関データ検索手段と、
該高相関データ検索手段により検索した動画像データと該マーキング付きの動画像データとを該蓄積手段で蓄積維持する蓄積維持制御手段とをそなえて構成されたことを特徴とする、付記８記載の動画像の蓄積管理装置。
【００６０】
（付記１０）  該カメラシステムが、該カメラ装置の周囲環境の変化を時系列に検知するセンサをそなえるとともに、該撮影条件情報生成装置が、該撮影条件情報として該センサによる時系列検知情報を含む情報を生成するように構成されている場合において、
該高相関データ検索手段が、
該蓄積手段に蓄積された動画像データの中で、該マーキング付きの動画像データに付随する第１の時系列検知情報と相関の高い第２の時系列検知情報をもつ他の時間帯の動画像データを検索して保存すべき動画像データとして選択する時系列検知情報検索手段をそなえていることを特徴とする、付記９記載の動画像の蓄積管理装置。
【００６１】
（付記１１）  該撮影条件情報生成装置が、該撮影条件情報として該カメラ装置の設置場所に関する地理的情報を含む情報を生成するように構成されている場合において、
該高相関データ検索手段が、
該蓄積手段に蓄積された動画像データの中で、該マーキング付きの動画像データに付随する第１の地理的情報と相関の高い第２の地理的情報をもつ同じ時間帯の他のカメラ装置による動画像データを検索して保存すべき動画像データとして選択する地理的情報検索手段をそなえていることを特徴とする、付記９記載の動画像の蓄積管理装置。
【００６２】
（付記１２）  該時系列検知情報検索手段が、
該第１の時系列検知情報と該第２の時系列検知情報とを比較する時系列検知情報比較手段と、
該時系列検知情報比較手段による比較の結果、該第１の時系列検知情報と一致又は略一致する該第２の時系列検知情報をもつ他の時間帯の動画像データを、保存すべき動画像データとして選択する除外データ選択手段とをそなえていることを特徴とする、付記１０記載の動画像の蓄積管理装置。
【００６３】
（付記１３）  該地理的情報検索手段が、
該第１の地理的情報と該第２の地理的情報とを比較する地理的情報比較手段と、
該地理的情報比較手段による比較の結果、該第１の地理的情報と関連する該第２の地理的情報をもつ同じ時間帯の他の動画像データを、保存すべき動画像データとして選択する除外データ選択手段とをそなえていることを特徴とする、付記１１記載の動画像の蓄積管理装置。
【００６４】
（付記１４）  該蓄積制御手段が、
該保存すべき動画像データの該蓄積手段での蓄積品質を該地理的情報比較手段による比較結果に応じて制御する蓄積品質制御手段をそなえていることを特徴とする、付記１３記載の動画像の蓄積管理装置。
（付記１５）  該蓄積品質制御手段が、
該地理的情報比較手段による比較結果が、地理的な隣接度が高いことを示すほど該保存すべき動画像データの該蓄積手段での該蓄積品質を高く制御するように構成されたことを特徴とする、付記１４記載の動画像の蓄積管理装置。
【産業上の利用可能性】
【００６５】
本発明によれば、ユーザが指定した動画像を自動削除候補から除外して蓄積を維持するとともに、その指定した動画像についての撮影条件情報と相関の高い他の動画像部分を自動保存するので、今後の状況解析に必要な動画像の保存操作が半自動化され、大量のカメラ映像を蓄積する装置での映像管理負荷を大幅に軽減することができる。したがって、種々の監視システムでの映像管理の分野において極めて有用と考えられる。
【図面の簡単な説明】
【００６６】
【図１】本発明の一実施形態としての監視システムを示すブロック図である。
【図２】図１に示す蓄積サーバにおける削除処理制御部の構成を示すブロック図である。
【図３】本実施形態で用いられるメタデータの一例を示す図である。
【図４】図１に示す蓄積サーバにおけるユーザ表示部による表示画面例を示す図である。
【図５】図１に示す監視システムの動作（ネットワークカメラにおけるセンサ値取得）を説明するためのフローチャートである。
【図６】図１に示す監視システムの動作（ユーザによる保存動画像選択）を説明するためのフローチャートである。
【図７】図１に示す監視システムの動作（蓄積サーバでの動画像削除処理）を説明するためのフローチャートである。
【符号の説明】
【００６７】
１０  ネットワークカメラ（カメラシステム）
１１  カメラ（カメラ装置）
１２  センサ
１３  メタデータ生成部
１４  ネットワークインタフェース（I/F）
２０  蓄積サーバ（蓄積管理装置）
２１  ネットワークインタフェース（I/F）
２２  動画像蓄積装置
２３  削除処理制御部
２３１  削除候補検索部
２３２  高相関データ検索部
２３２Ａ  センサ時系列値検索部
２３２Ａ−１  センサ時系列値比較部
２３２Ａ−２  保存動画像選択部
２３２Ｂ  地理的情報検索部
２３２Ｂ−１  地理的情報比較部
２３２Ｂ−２  保存動画像選択部
２３３  蓄積維持制御部
２４  動画像品質変更部
２５  全体制御部
２６  メタデータ蓄積装置
２７  メタデータ編集部
２８  ユーザ表示部
２９  ユーザ入力装置
４０  表示画面（注釈付け画面）
４１  再生中の過去の蓄積動画像
４２  動画像の再生制御インタフェース
４２１  スライドバー
４２２  再生開始ボタン
４２３  再生終了ボタン
４２４  一時停止ボタン
４３  表示したい動画像の選択インタフェース
４４  センサ種別の表示部分
４５  グラフ表示画面
４６  選択ボタン
【図１】
2005080172.tif 000003
【図２】
2005080172.tif 000004
【図３】
2005080172.tif 000005
【図４】
2005080172.tif 000006
【図５】
2005080172.tif 000007
【図６】
2005080172.tif 000008
【図７】
2005080172.tif 000009