(57)【要約】【課題】監視映像に関する情報の検索が効率良くできるようにする。【解決手段】撮像装置が撮像して出力する監視用映像データと、監視対象の映像に関する情報を示したメタデータとを取得して、監視を行う場合において、メタデータを保存し、その保存されたメタデータの保存ファイルの中から、特定のフィルタ条件に合致するメタデータを検索し、検索された結果に基づいて、蓄積されたメタデータに属性情報を持たせて、その属性情報を保存するようにした。【選択図】図４
2008016896.tif 000002
【特許請求の範囲】
【請求項１】
監視用撮像装置が撮像して出力する映像データと、監視対象に関する情報を示したメタデータとを使用して監視を行う監視装置において、
前記メタデータを蓄積するメタデータ蓄積部と、
前記メタデータ蓄積部に蓄積されたメタデータの保存ファイルの中から、特定のフィルタ条件に合致するメタデータを検索するフィルタ処理部と、
前記フィルタ処理部で検索された結果に基づいて、前記メタデータ蓄積部に蓄積されたメタデータに属性情報を持たせて保存する制御部とを備えたことを特徴とする
監視装置。
【請求項２】
請求項１記載の監視装置において、
前記属性情報による処理として、メタデータが合致したフィルタ条件ごとに、前記メタデータ蓄積部での保存先を切替えることを特徴とする
監視装置。
【請求項３】
請求項１記載の監視装置において、
前記属性情報による処理として、フィルタ条件ごとに合致したメタデータが存在するか否かをフラグ化し、前記メタデータのファイル情報として保存することを特徴とする
監視装置。
【請求項４】
請求項１記載の監視装置において、
前記属性情報による処理として、検索されたオブジェクトの時間情報と、保存ファイル名と、ファイル内オフセット位置と、合致したフィルタ条件を、前記メタデータ蓄積部に保存することを特徴とする
監視装置。
【請求項５】
撮像装置が撮像して出力する監視用映像データと、監視対象の映像に関する情報を示したメタデータとを取得して、監視を行う監視方法において、
前記メタデータを保存し、
保存されたメタデータの保存ファイルの中から、特定のフィルタ条件に合致するメタデータを検索し、
検索された結果に基づいて、蓄積されたメタデータに属性情報を持たせて、その属性情報を保存することを特徴とする
監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置を使用して監視を行う監視装置及び監視方法に関し、特に撮像装置として、映像データに関する情報を示すメタデータを生成させることが可能なものを使用したシステムに関する。
【背景技術】
【０００２】
従来の監視システムでは、撮像装置（ビデオカメラ）と、その撮像装置が出力する映像データを表示可能な監視装置とをネットワークで接続して、監視装置で映像を記録することで、異常発生時の監視映像の確認ができるようにしてある（例えば特許文献１参照）。
【特許文献１】特開２００３−２７４３９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、この種の監視システムで監視を行う場合、予め設定した１つの情報に基づいて異常発生の有無を判別するものとしたとき、多様な監視動作を行うことができない。このため、監視用の撮像装置として、監視用映像から動体の有無などを示す情報（メタデータ）を生成して、その情報を監視装置に送り、監視装置側で監視映像とメタデータを使用して、異常判別などを行えるようにしたものが提案され、開発されている。このメタデータを映像データと共に生成させて、監視装置で記録させる構成とした場合、監視装置（記録装置）では、記録させるデータ量が増え、後日、記録されたデータから必要とする状態の監視映像を検索するような場合に、必要なデータの検索に手間と時間がかかる問題があった。
【０００４】
従来の監視システムでは、例えば、メタデータを保存する際に、日時分の時の部分が変わった場合か、或いは、ファイル内の映像のフレーム数が規定の最大数を超えた場合に、データを保存するファイルを切り替えていた。メタデータの保存開始時間と保存終了時間を、検索のためのインデックス情報として、ファイルを検索するようにしてあった。この検索方式は、時刻をキーにして検索し見つかったポイントから順再生を始めるのには適しているが、ある特定のフィルタに合致したメタデータを抽出するような使い方には適さない問題があった。
【０００５】
本発明はかかる点に鑑みてなされたものであり、監視映像に関する情報の検索が効率良くできるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、撮像装置が撮像して出力する監視用映像データと、監視対象の映像に関する情報を示したメタデータとを取得して、監視を行う場合において、メタデータを保存し、その保存されたメタデータの保存ファイルの中から、特定のフィルタ条件に合致するメタデータを検索し、検索された結果に基づいて、蓄積されたメタデータに属性情報を持たせて、その属性情報を保存するようにしたものである。
【０００７】
このようにしたことで、属性情報を使用してメタデータの効率の良い検索が可能となる。
【発明の効果】
【０００８】
本発明によると、属性情報を使用してメタデータの効率の良い検索が可能になる。即ち、メタデータの保存時にフィルタ処理の結果に応じて前処理を施しておくことにより、そのフィルタに合致するメタデータを検索する際に検索対象をあらかじめ絞り込むことができるようになり、高速に検索結果が得られるようになる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の一実施の形態を、添付図面を参照して説明する。
【００１０】
図１は、本実施の形態のシステム構成例を示した図である。ここでは、複数台のネットワークカメラ１１，１２，１３，‥‥，１９を用意し、それぞれのカメラ１１〜１９を、ネットワークを介してサーバ２１，２２，２３に接続してある。図１の例では、３台のカメラの出力を、１台のサーバに供給する構成としてあるが、一例を示したものであり、これに限定されない。サーバ２１〜２３は、ネットワークを介して接続されたクライアント端末３１，３２にデータを送ることができる。なお、ネットワークとしては、監視システム用の専用のネットワークを使用してもよく、インターネットを使用してもよい。
【００１１】
各ネットワークカメラ１１〜１９は、監視映像を撮像する撮像部を備えて、その撮像部が撮像した映像データをネットワークに出力する撮像装置である。また、本例の各ネットワークカメラ１１〜１９は、撮像された監視映像に関する情報であるメタデータを生成させるメタデータ生成部を備えて、そのメタデータ生成部で生成されたメタデータを出力する構成としてある。メタデータは、監視映像中の動きがある範囲の座標位置を示す情報や、その動きの状態などの、監視映像の状態を検出して得た情報である。ここでは、メタデータとして、座標位置や状態などを示すテキストデータとして生成させるようにしてある。なお、用意されたネットワークカメラ１１〜１９が全てメタデータを生成させる構成としてもよいが、一部のカメラだけがメタデータ生成部を備える構成としてもよい。
【００１２】
ここで、ネットワークカメラ内で生成されるメタデータについて説明すると、メタデータは、映像データと音声データの補足情報となるデータである。メタデータには例えば以下のような情報が入る。
・オブジェクト情報（ネットワークカメラ内で動体検知を行った結果の情報。動体と認識されたものをオブジェクトとし、オブジェクトのＩＤ、Ｘ座標、Ｙ座標、サイズなどが入る）
・映像の時刻データ
・カメラのパン・ティルト情報（向き情報）
・カメラの位置情報
・映像の認証用署名情報
【００１３】
以下の説明では、特に、オブジェクト情報と時刻データを使用した例を記載している。
オブジェクト情報は、メタデータ内のオブジェクト情報はバイナリデータとして記載され、データサイズは最小限となっている。このメタデータからオブジェクト情報を構造体など意味のあるデータ構造に展開した情報を本書では「オブジェクト情報」と記載している。
アラーム情報は、メタデータから展開したオブジェクト情報を元に、フィルタ処理をかけた後の情報である。アラーム情報は、複数フレームのメタデータを解析し、動体位置の変化から速度を割り出したり、動体がある線を越えたかどうかのチェック、またはそれらを複合的に解析することで得られる。
アラーム情報には、映像内の員数（人数）や、それらの統計も含まれ、レポート機能としても使用できる。
【００１４】
アラーム情報に含まれるデータ例を以下に示す。
・累積オブジェクト数
累積オブジェクト数を使用するフィルタを設定した場合、アラーム情報にフィルタに該当したオブジェクト数が記録される。
・オブジェクト
そのフレーム内においてフィルタに該当したオブジェクト数。
・フィルタに該当したオブジェクト情報
フィルタに該当したオブジェクトのオブジェクト情報。オブジェクトのＩＤ、Ｘ座標、Ｙ座標、サイズなどが入る。
【００１５】
図２は、サーバの構成例を示した図である。図２では、サーバ２１の構成を示してあるが、他のサーバも同様の構成である。サーバ２１は、ネットワーク接続部９１を備え、ネットワークカメラやクライアント端末とデータ伝送が行える。ネットワーク接続部９１がネットワークカメラから受信した映像データは、映像データバッファ部９２に送り、映像データベース９４に蓄積させる。ネットワーク接続部９１がネットワークカメラから受信したメタデータは、メタデータバッファ部９３に送り、メタデータデータベース９５に蓄積させる。各データベース９４，９５は、例えばハードディスクドライブなどの大容量記憶手段が使用される。メタデータデータベース９５に蓄積されたメタデータは、メタデータフィルタ部９６でフィルタ処理され、メタデータの内容が解析される。そのフィルタ処理する内容（即ち解析する内容）は、フィルタ設定部９７により設定される。フィルタ処理例については後述する。メタデータフィルタ部９６での解析の結果、カメラで撮影する条件などを切替える必要がある場合には、ルール切替部９８で撮影ルールなどを切替える指令を生成させて、該当する指令をネットワーク接続部９１からカメラ１１などに送る。メタデータを解析した結果のデータ（アラーム情報など）についても、メタデータデータベース９５に記憶される。
【００１６】
なお、図２のサーバでは、映像データ及びメタデータの蓄積と、蓄積されたメタデータの解析を行う構成としたが、映像データの表示や、解析結果の表示などが行える構成としてもよい。また、クライアント端末側で全ての解析を行う場合には、フィルタ部９６などを備えない構成として、解析処理そのものはクライアント端末側で行うようにしてもよい。
【００１７】
図３は、クライアント端末の構成例を示した図である。図３では、クライアント端末３１の構成を示してあるが、他のクライアント端末もほぼ同様の構成である。監視を行う端末装置であるクライアント端末は、ネットワーク接続部１０１を備え、サーバやネットワークカメラやクライアント端末とデータ伝送が行える。ネットワーク接続部１０１がサーバから受信した映像データは、映像データバッファ部１０２に送り、映像データベース１０４に蓄積させる。ネットワーク接続部１０１がネットワークカメラから受信したメタデータは、メタデータバッファ部１０３に送り、メタデータデータベース１０５に蓄積させる。各データベース１０４，１０５は、例えばハードディスクドライブなどの大容量記憶手段が使用される。メタデータデータベース１０５に蓄積されたメタデータは、メタデータフィルタ部１０６でフィルタ処理され、メタデータの内容が解析される。そのフィルタ処理する内容（即ち解析する内容）は、フィルタ設定部１０７により設定される。メタデータフィルタ部１０６での解析の結果、カメラで撮影する条件などを切替える必要がある場合には、ルール切替部１０８で撮影ルールなどを切替える指令を生成させて、該当する指令をネットワーク接続部１０１からサーバを経由してカメラに（或いはサーバを経由せずに直接カメラに）送る。解析されたメタデータについても、メタデータデータベース１０５に蓄積される。
【００１８】
また、クライアント端末は、監視映像などを表示させる表示部１１１を備える。この表示部１１１で表示を行うために、映像データ処理部１０９と、メタデータ処理部１１０を備え、映像データ処理部１０９で表示させる映像データを映像データベース１０４から取得し、メタデータ処理部１１０で表示させる映像に同期したメタデータをメタデータデータベース１０５から取得する。映像データ処理部１０９とメタデータ処理部１１０とで、扱うデータの時間的な同期をとるために、再生同期部１１２で同期処理が行われる。サーバ又はカメラから直接供給されるライブ映像を表示させる際には、映像バッファ部１０２及びメタデータバッファ部１０３から表示部１１１にデータを送り、表示させる。
【００１９】
ここで、サーバやクライアント端末内のメタデータフィルタ部９６，１０６でのフィルタ処理の例について説明する。
ここで、フィルタ処理情報としては、オブジェクト情報からアラーム情報を生成する際のルールが記載された情報である。複数フレームのメタデータをフィルタ処理で解析することでレポートの作成や、映像に員数を表示するなどの出力が可能となる。フィルタタイプとしては、例えば以下の４つを用意する。
Appearance（存在）：物体があるエリア内に存在するとき、アラームとなる。
Disappearance（消失）：物体があるエリアに現れ、エリアから出た時にアラームと考える。
Passing（通過）：ある線を書き、それを物体が超えた時にアラームとみなす。
Capacity（物体数制限）：あるエリア内の員数をカウントし、それがある数を超えたらアラームと考える。
このようにメタデータを使用した解析、及びその解析結果の表示は、監視を行う目的に応じて様々な形態が適用可能である。
【００２０】
次に、サーバ又はクライアント端末でメタデータをデータベース９５又は１０５に蓄積させて保存させる際の、保存処理と、その保存されたデータの検索処理について、図４以降のフローチャートを参照して説明する。メタデータの保存は、ファイル形式で保存するようにしてある。
【００２１】
本実施の形態においては、保存されたメタデータの保存ファイルの中から、特定のフィルタ条件に合致するメタデータを検索し、検索された結果に基づいて、蓄積されたメタデータに属性情報を持たせて、その属性情報を保存することを特徴とするものである。具体的な属性情報を保存する処理として、ここでは、フィルタ処理結果によって保存先を切り替える方式と、フィルタ合致情報をファイルに持たせる方式と、フィルタ合致情報のインデックスを作成する方式との３つの例を示してある。
【００２２】
まず、図４のフローチャートを参照して、フィルタ処理結果によって保存先を切り替える処理について説明する。
この場合には、あらかじめ、メタデータの保存形式として、フィルタごとに保存先を指定しておく。そして、メタデータをフィルタ処理し（ステップＳ１１）、そのフィルタ処理で合致するフィルタ（フィルタ条件）が存在するか否か判断する（ステップＳ１２）。この判断で、合致するフィルタが存在する場合には、合致したフィルタに対応する保存先に、該当するメタデータの保存先を変更する（ステップＳ１３）。そして、設定された保存先にメタデータを保存し（ステップＳ１４）、メタデータをフィルタにかけた結果を元にそれぞれの保存先へデータを追加してゆく。ステップＳ１４での保存処理後には、未処理のデータが存在するか否か判断し（ステップＳ１５）、未処理のデータが存在する場合には、ステップＳ１１に戻り、未処理のデータがない場合には、処理を終了する。
【００２３】
図５は、図４に示すように保存されたメタデータを検索する場合の処理例である。まず、検索条件とするフィルタを指定し（ステップＳ２１）、そのフィルタに対応する保存先のファイルが存在するか否か判断する（ステップＳ２２）。存在する場合には、そのフィルタに対応する保存先のファイルに検索対象を切り替え（ステップＳ２３）、そのファイルに保存されたデータを読み出す。保存先の切り替えは、ディレクトリを切り替える、ファイル名に識別子を加えるなどの処理が考えられる。そして、その検索対象となるメタデータファイルを取得して、そのファイル内のメタデータについて検索を行う（ステップＳ２４）。ステップＳ２２で対応する保存先がない場合には、例えば時間などの条件に合致する全てのファイルを検索するようにしてもよい。
【００２４】
次に、図６のフローチャートを参照して、フィルタ合致情報をファイルのヘッダなどに持たせる例について説明する。
この場合には、ファイルヘッダにフィルタごとの合致情報を記録できる領域を設けておく。そして、メタデータを保存ファイルに追加する前にフィルタ処理を行い（ステップＳ３１）、合致したフィルタがあるか否か判断し（ステップＳ３２）、合致したフィルタがある場合には、対応するファイルの合致データ数を加算して（ステップＳ３３）、メタデータを保存する（ステップＳ３４）。そして、ファイル内のデータ数が上限になったか否か判断し（ステップＳ３５）、上限に達した場合には、合致データ数をクリアして、新データファイルを作成する（ステップＳ３６）。
【００２５】
ステップＳ３５で上限に達していない場合と、ステップＳ３６で新ファイルを作成した後には、未処理のデータが存在するか否か判断し（ステップＳ３７）、未処理のデータが存在する場合には、ステップＳ３１に戻り、未処理のデータがない場合には、処理を終了する。
【００２６】
図７は、図６に示すように保存されたメタデータを検索する場合の処理例である。まず、検索条件とするフィルタを指定し（ステップＳ４１）、ファイル内のフィルタ合致情報を検査する（ステップＳ４２）。その検査で、検索対象のフィルタに合致するデータを含んでいるか否か判断し（ステップＳ４３）、含んでいる場合には、該当するファイル内のデータを検索し（ステップＳ４４）、含んでいないファイルは検索対象から外して次ファイルに移る（ステップＳ４５）。合致情報の記憶場所はファイルヘッダに限らず、外部のデータベースなどであってもよい。また保存時に行うだけでなく、事後に新たにフィルタを設定し、そのフィルタに対する合致情報を書き込むようにしてもよい。
【００２７】
次に、図８のフローチャートを参照して、フィルタ合致情報のインデックスを作成する処理例について説明する。まず、保存時、メタデータをフィルタに掛けるフィルタ処理を行い（ステップＳ５１）、合致するフィルタがあるか否か判断し（ステップＳ５２）、該当するフィルタがあれば、そのメタデータの時刻情報(タイムスタンプ)と保存先ファイル名、ファイル内オフセット位置を、フィルタＩＤとともにインデックス情報として、メタデータデータベースに追加する（ステップＳ５３）。この処理を、未処理のデータがある限り繰り返す（ステップＳ５４）。
【００２８】
図９は、図８に示すように保存されたメタデータを検索する場合の処理例である。検索時には、検索条件とするフィルタを指定し（ステップＳ６１）、フィルタのＩＤをキーとしてインデックスから検索する（ステップＳ６２）。この検索で合致するレコードがあるか否か判断し（ステップＳ６３）、合致するレコードがある場合には、該当するメタデータの時刻情報、保存先情報を取得して、全てのレコードについて取得して（ステップＳ６４）、リストアップし、得られた保存先情報を用いて実データ（メタデータ）へのアクセスを行う。
【００２９】
このようにして、メタデータの保存時にフィルタ処理の結果に応じて前処理を施しておくことにより、そのフィルタに合致するメタデータを検索する際に検索対象をあらかじめ絞り込むことができるようになり、高速にメタデータの検索結果が得られるようになる。
また、フィルタごとに合致したオブジェクト数を記録してゆくことにより、ファイル全体を走査しなくともフィルタに合致したデータの累積数を取得することができる。
従って、本実施の形態に示した如き監視システムにおいて、メタデータを使用した監視状態などの検索を高速かつ効率良く行うことができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施の形態によるシステム構成例を示す構成図である。
【図２】本発明の一実施の形態によるサーバの例を示す構成図である。
【図３】本発明の一実施の形態による端末の例を示す構成図である。
【図４】本発明の一実施の形態による保存先切り替え処理例を示すフローチャートである。
【図５】本発明の一実施の形態によるフィルタ条件による検索例を示すフローチャートである。
【図６】本発明の一実施の形態によるフィルタ合致情報の保存例を示すフローチャートである。
【図７】本発明の一実施の形態によるフィルタ合致情報を利用した検索例を示したフローチャートである。
【図８】本発明の一実施の形態によるフィルタ合致情報のインデックス作成例を示したフローチャートである。
【図９】本発明の一実施の形態によるインデックスを利用した検索例を示したフローチャートである。
【符号の説明】
【００３１】
１１〜１９…ネットワークカメラ、２１〜２３…サーバ、３１，３２…クライアント端末、９１…ネットワーク接続部、９２…映像データバッファ部、９３…メタデータバッファ部、９４…映像データベース、９５…メタデータデータベース、９６…メタデータフィルタ部、９７…フィルタ設定部、９８…ルール切替部、１０１…ネットワーク接続部、１０２…映像データバッファ部、１０３…メタデータバッファ部、１０４…映像データベース、１０５…メタデータデータベース、１０６…メタデータフィルタ部、１０７…フィルタ設定部、１０８…ルール切替部、１０９…映像データ処理部、１１０…メタデータ処理部、１１１…表示部、１１２…再生同期部
【図１】
2008016896.tif 000003
【図２】
2008016896.tif 000004
【図３】
2008016896.tif 000005
【図４】
2008016896.tif 000006
【図５】
2008016896.tif 000007
【図６】
2008016896.tif 000008
【図７】
2008016896.tif 000009
【図８】
2008016896.tif 000010
【図９】
2008016896.tif 000011