(57)【要約】【課題】映像を用いた蓄積系のモニタリングにおいて、監視対象となるシーンを高速に絞り込み、蓄積・伝送するデータ量を減らし、映像再生までの時間も短縮でき且つ、着目する領域の画像品質を維持することができるようにする。【解決手段】モニタリングサーバ１００の特徴量抽出部１２において、入力映像から、動き領域、不動体領域、顔領域の特徴量を抽出し、インデクス生成部１３において、前記特徴量から映像に対するインデクス情報を生成し、該インデクス情報とカメラ３００の撮影情報とをモニタリングデータベース１８に格納する。モニタリングクライアント２００の検索条件送信部２２から検索条件が送信されると、映像検索部１５が当該検索条件に合致する場面の映像を、前記インデクス情報および環境情報を元に検索し、映像送信部１６がモニタリングクライアント２００へ送信し、映像受信・再生部２３によって再生する。【選択図】図１
2007300456.tif 000002
【特許請求の範囲】
【請求項１】
映像の入力手段と、
入力映像に関する環境情報を蓄積する環境情報蓄積手段と、
入力された映像から特徴量を抽出する特徴量抽出手段と、
前記抽出された特徴量から映像に対するインデクス情報を生成するインデクス生成手段と、
前記生成されたインデクス情報を記憶するインデクス蓄積手段と、
映像蓄積手段と、
映像の検索条件を入力する検索条件入力手段と、
前記蓄積されたインデクス情報および環境情報を元に映像中の特定の場面を検索する映像検索手段と、
前記検索された場面の映像を前記環境情報とともに再生する映像再生手段とを有する映像モニタリングシステムであって、
前記特徴量抽出手段が抽出する特徴量は、動きのあった領域、物体の出現や消滅のあった領域、顔のあった領域であり、
前記インデクス生成手段が生成するインデクス情報は、前記各領域の位置と大きさおよび動きのあった領域の場合には動きの大きさや方向であり、
前記検索条件は、映像に対する環境情報、及び／又は対象時刻、及び／又は画像中のどの領域で動き、物体の出現や消滅、人の存在があったかであることを特徴とした映像モニタリングシステム。
【請求項２】
サーバ・クライアント型の映像モニタリングシステムであって、
モニタリング・サーバは、
映像の入力手段と、
入力映像に関する環境情報を蓄積する環境情報蓄積手段と、
入力された映像から特徴量を抽出する特徴量抽出手段と、
前記抽出された特徴量から映像に対するインデクス情報を生成するインデクス生成手段と、
前記生成されたインデクス情報を記憶するインデクス蓄積手段と、
映像蓄積手段と、
検索条件をクライアントから受信する検索条件受信手段と、
前記蓄積されたインデクス情報および環境情報を元に映像中の特定の場面を検索する映像検索手段と、
前記検索された映像、該映像を表示するのに必要な表示制御情報、該映像に対する環境情報をクライアントに送信する映像送信手段とを有し、
モニタリング・クライアントは、
映像の検索条件を入力する検索条件入力手段と、
前記入力された検索条件を前記サーバに送信する検索条件送信手段と、
検索結果の映像および、該映像を表示するのに必要な表示制御情報、該映像に対する環境情報を前記サーバから受信する映像受信手段と、
前記受信した映像を環境情報とともに再生する映像再生手段とを有し、
前記特徴量抽出手段が抽出する特徴量は、動きのあった領域、物体の出現や消滅のあった領域、顔のあった領域であり、
前記インデクス生成手段が生成するインデクス情報は、前記各領域の位置と大きさおよび動きのあった領域の場合には動きの大きさや方向であり、
前記検索条件は、映像に対する環境情報、及び／又は対象時刻、及び／又は画像中のどの領域で動き、物体の出現や消滅、人の存在があったかであることを特徴とした映像モニタリングシステム。
【請求項３】
請求項２記載の映像モニタリングシステムにおいて、
前記モニタリング・サーバはさらに、どのクライアントに対してどの映像を送信したかを蓄積・管理する配信管理手段を有し、
前記映像送信手段は検索結果の配信を行う前に前記配信管理手段に照会を行って、検索結果のうちの未配信の部分のみの映像と、配信済みの部分についてはその部分の映像を特定するための情報を表示制御情報として配信し、
前記モニタリング・クライアントはさらに、受信映像の蓄積手段を有し、
前記映像再生手段は、前記サーバから受信した表示制御情報に含まれる、既送信済み映像を特定する情報から特定される映像を前記受信映像蓄積手段より検索し、受信した映像と合わせて再生することを特徴とした映像モニタリングシステム。
【請求項４】
請求項２記載の映像モニタリングシステムにおいて、
前記モニタリング・クライアントはさらに、受信映像の蓄積手段を有し、
前記検索条件送信手段は、検索条件を前記サーバに送信する際、既送受信済み映像を検索対象からはずして検索条件を送信し、
前記映像再生手段は、検索範囲に含まれていた既送受信済み映像と受信した映像と合わせて再生することを特徴とした映像モニタリングシステム。
【請求項５】
請求項１乃至４記載の映像モニタリングシステムにおいて、
前記映像蓄積手段による映像の蓄積が、画像の取得間隔よりも長い所定間隔での全画面の画像と、前記特徴量抽出手段で抽出された領域内の画像取得間隔での画像との蓄積によって行われ、
前記映像再生手段では所定間隔での全画面の画像と、該抽出領域内の画像とを合成した映像を再生することを特徴とした映像モニタリングシステム。
【請求項６】
請求項１乃至５記載の映像モニタリングシステムにおいて、
前記映像蓄積手段による映像の蓄積が、高圧縮率な符号化を行った全画面の画像と、低圧縮率な符号化もしくは非圧縮な前記特徴量抽出手段で抽出された領域内の画像との蓄積によって行われ、
前記映像再生手段では前記符号化されたそれぞれの画像を復号化し、合成した映像を再生することを特徴とした映像モニタリングシステム。
【請求項７】
請求項１乃至６記載の映像モニタリングシステムで用いられるインデクス生成方法であって、
特徴量抽出手段が、前記映像入力手段から入力された映像より、映像中の動きのあった領域、物体の出現や消滅のあった領域、顔のあった領域を検出し、
インデクス生成手段が、前記検出された領域の位置と大きさおよび動きのあった領域の場合には動きの大きさや方向をインデクスとして該映像と関連付けたインデクス情報を生成し、
インデクス蓄積手段が前記インデクス情報を蓄積することを特徴としたインデクス生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はネットワーク上で、映像をモニタリングするための映像モニタリングシステム、及びそこで用いられるインデクスデータを生成する方法に関する。
【背景技術】
【０００２】
家庭や会社、あるいは屋外などにおいて、監視カメラを用いて周りの異常をモニタリングするモニタリングシステムが実用化されている。昨今の治安の悪化を背景に、特に、近年、インターネットのようなネットワーク上で、多地点の映像を集中してモニタリングするシステムを構築する需要が高まっている。このようなシステムにおいて、多地点かつ長時間の監視映像を集中管理する必要があるため、映像データの長時間記録と、大容量映像データの検索処理の容易化が大きな課題となっている。
【０００３】
これらの問題について、従来から、解決を試みた例が知られている。例えば、監視カメラ映像に対し、動きの発生を検出したフレームの画像データのみを録画して映像の効率よい録画、再生ができるようにした映像監視システムが提案されている（例えば、下記非特許文献１参照）。
【０００４】
また、大容量映像データの検索処理の容易化の課題に対しては、上述した動きの発生や外部センサーをトリガーとして記録しておき、それを利用して検索する映像監視システムも提案されている（例えば下記非特許文献２参照）。
【０００５】
尚、従来、入力映像から特徴量を抽出する方法としては、例えば下記特許文献１、特許文献２、特許文献３に記載のものが提案されている。
【非特許文献１】ＮＴＴコミュニケーションズ２００４−２００６  るす番モニター申し込みサイト  「るす番モニターとは？」ＵＲＬ：http://www.rusumoni.jp/about/01.html
【非特許文献２】株式会社システム・ケイのＷｅｂサイト  製品案内  「Ｗｅｂカメラによる監視システム」ＵＲＬ：http://www.systemk.co.jp/products/products_body_20_01．html
【特許文献１】特開平０６−２０９４５７号公報
【特許文献２】特許第２８２８３８０号公報
【特許文献３】特開２００５−１５７９１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、前記非特許文献１に記載されたシステムでは、動きの発生を検出したフレームの画像データのみを録画することから、動き発生時点での異常状態の映像とリアルタイム映像とが比較できないなど、映像監視によって異常状態を的確に把握をすることが困難な問題があった。
【０００７】
また前記非特許文献２に記載されたシステムでは、移動体を含む、含まないなどを検索に利用できるだけで、映像監視の目的のために効率のよい検索をすることが困難な問題があった。
【０００８】
本発明は、上述したような従来技術が有する問題点に鑑みてなされたものであって、本発明の目的は、映像を用いた蓄積系のモニタリングにおいて、監視対象となるシーンを高速に絞り込むことができるとともに、蓄積・伝送するデータ量を減らし、映像再生までの時間も短縮できてかつ、着目したい領域の画像品質は維持することができる映像モニタリングシステム及びそのインデクス生成方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、請求項１に記載の発明による映像モニタリングシステムは、映像の入力手段と、入力映像に関する環境情報を蓄積する環境情報蓄積手段と、入力された映像から特徴量を抽出する特徴量抽出手段と、前記抽出された特徴量から映像に対するインデクス情報を生成するインデクス生成手段と、前記生成されたインデクス情報を記憶するインデクス蓄積手段と、映像蓄積手段と、映像の検索条件を入力する検索条件入力手段と、前記蓄積されたインデクス情報および環境情報を元に映像中の特定の場面を検索する映像検索手段と、前記検索された場面の映像を前記環境情報とともに再生する映像再生手段とを有する映像モニタリングシステムであって、前記特徴量抽出手段が抽出する特徴量は、動きのあった領域、物体の出現や消滅のあった領域、顔のあった領域であり、前記インデクス生成手段が生成するインデクス情報は、前記各領域の位置と大きさおよび動きのあった領域の場合には動きの大きさや方向であり、前記検索条件は、映像に対する環境情報、及び／又は対象時刻、及び／又は画像中のどの領域で動き、物体の出現や消滅、人の存在があったかであることを特徴としている。
【００１０】
また上記目的を達成するために、請求項２に記載の発明による映像モニタリングシステムは、サーバ・クライアント型の映像モニタリングシステムであって、モニタリング・サーバは、映像の入力手段と、入力映像に関する環境情報を蓄積する環境情報蓄積手段と、入力された映像から特徴量を抽出する特徴量抽出手段と、前記抽出された特徴量から映像に対するインデクス情報を生成するインデクス生成手段と、前記生成されたインデクス情報を記憶するインデクス蓄積手段と、映像蓄積手段と、検索条件をクライアントから受信する検索条件受信手段と、前記蓄積されたインデクス情報および環境情報を元に映像中の特定の場面を検索する映像検索手段と、前記検索された映像、該映像を表示するのに必要な表示制御情報、該映像に対する環境情報をクライアントに送信する映像送信手段とを有し、モニタリング・クライアントは、映像の検索条件を入力する検索条件入力手段と、前記入力された検索条件を前記サーバに送信する検索条件送信手段と、検索結果の映像および、該映像を表示するのに必要な表示制御情報、該映像に対する環境情報を前記サーバから受信する映像受信手段と、前記受信した映像を環境情報とともに再生する映像再生手段とを有し、前記特徴量抽出手段が抽出する特徴量は、動きのあった領域、物体の出現や消滅のあった領域、顔のあった領域であり、前記インデクス生成手段が生成するインデクス情報は、前記各領域の位置と大きさおよび動きのあった領域の場合には動きの大きさや方向であり、前記検索条件は、映像に対する環境情報、及び／又は対象時刻、及び／又は画像中のどの領域で動き、物体の出現や消滅、人の存在があったかであることを特徴としている。
【００１１】
上記構成において、監視対象となるシーンを高速に絞り込むことができるとともに、蓄積・伝送するデータ量を減らし、映像再生までの時間も短縮することができる。
【００１２】
また上記目的を達成するために、請求項３に記載の発明による映像モニタリングシステムは、請求項２記載の映像モニタリングシステムにおいて、前記モニタリング・サーバはさらに、どのクライアントに対してどの映像を送信したかを蓄積・管理する配信管理手段を有し、前記映像送信手段は検索結果の配信を行う前に前記配信管理手段に照会を行って、検索結果のうちの未配信の部分のみの映像と、配信済みの部分についてはその部分の映像を特定するための情報を表示制御情報として配信し、前記モニタリング・クライアントはさらに、受信映像の蓄積手段を有し、前記映像再生手段は、前記サーバから受信した表示制御情報に含まれる、既送信済み映像を特定する情報から特定される映像を前記受信映像蓄積手段より検索し、受信した映像と合わせて再生することを特徴としている。
【００１３】
上記構成において、どのクライアントに対してどの映像を送信したかが、モニタリング・サーバ側の配信管理手段によって管理される。このため未配信部分と配信済み部分の映像が明確に区分され、配信済み部分の映像についてはその部分を特定するための情報を伝送し、未配信部分の映像データのみを伝送すればよくなり、蓄積・伝送するデータ量を著しく減らすことができる。
【００１４】
また上記目的を達成するために、請求項４に記載の発明による映像モニタリングシステムは、請求項２記載の映像モニタリングシステムにおいて、前記モニタリング・クライアントはさらに、受信映像の蓄積手段を有し、前記検索条件送信手段は、検索条件を前記サーバに送信する際、既送受信済み映像を検索対象からはずして検索条件を送信し、前記映像再生手段は、検索範囲に含まれていた既送受信済み映像と受信した映像と合わせて再生することを特徴としている。
【００１５】
上記構成において、モニタリング・クライアント側の検索条件送信手段が、既送受信済み映像を検索対象からはずして検索条件を送信するので、モニタリング・サーバ側では高速で検索が行われ、その結果モニタリング・クライアント側における映像再生までの時間が著しく短縮される。
【００１６】
また上記目的を達成するために、請求項５に記載の発明による映像モニタリングシステムは、請求項１乃至４記載の映像モニタリングシステムにおいて、前記映像蓄積手段による映像の蓄積が、画像の取得間隔よりも長い所定間隔での全画面の画像と、前記特徴量抽出手段で抽出された領域内の画像取得間隔での画像との蓄積によって行われ、前記映像再生手段では所定間隔での全画面の画像と、該抽出領域内の画像とを合成した映像を再生することを特徴としている。
【００１７】
上記構成において、抽出領域内の検索対象画像と該画像の取得間隔よりも長い所定間隔での全画面とを合成して再生することができる。
【００１８】
また上記目的を達成するために、請求項６に記載の発明による映像モニタリングシステムは、請求項１乃至５記載の映像モニタリングシステムにおいて、前記映像蓄積手段による映像の蓄積が、高圧縮率な符号化を行った全画面の画像と、低圧縮率な符号化もしくは非圧縮な前記特徴量抽出手段で抽出された領域内の画像との蓄積によって行われ、前記映像再生手段では前記符号化されたそれぞれの画像を復号化し、合成した映像を再生することを特徴としている。
【００１９】
上記構成において、低圧縮率な符号化又は非圧縮により検索対象画像の品質を維持しつつ、映像全体のデータ量を削減することができる。
【００２０】
また上記目的を達成するために、請求項７に記載の発明によるインデクス生成方法は、請求項１乃至６記載の映像モニタリングシステムで用いられるインデクス生成方法であって、特徴量抽出手段が、前記映像入力手段から入力された映像より、映像中の動きのあった領域、物体の出現や消滅のあった領域、顔のあった領域を検出し、インデクス生成手段が、前記検出された領域の位置と大きさおよび動きのあった領域の場合には動きの大きさや方向をインデクスとして該映像と関連付けたインデクス情報を生成し、インデクス蓄積手段が前記インデクス情報を蓄積することを特徴としている。
【００２１】
上記構成において、監視対象となるシーンを高速に絞り込むことができるとともに、蓄積・伝送するデータ量を減らし、映像再生までの時間も短縮することができる。
【発明の効果】
【００２２】
（１）請求項１〜７に記載の発明によれば、映像を用いた蓄積系のモニタリングにおいて、監視対象となるシーンを高速に絞り込むことができるとともに、蓄積・伝送するデータ量を減らし、映像再生までの時間も短縮できてかつ、着目したい領域の画像品質は維持することができる。
（２）請求項３に記載の発明によれば、未配信部分と配信済み部分の映像が明確に区分され、配信済み部分の映像についてはその部分を特定するための情報を伝送し、未配信部分の映像データのみを伝送すればよくなり、蓄積・伝送するデータ量を著しく減らすことができる。
（３）請求項４に記載の発明によれば、モニタリング・クライアント側の検索条件送信手段が、既送受信済み映像を検索対象からはずして検索条件を送信するので、モニタリング・サーバ側では高速で検索が行われ、その結果モニタリング・クライアント側における映像再生までの時間が著しく短縮される。
（４）請求項５に記載の発明によれば、抽出領域内の検索対象画像と該画像の取得間隔よりも長い所定間隔での全画面とを合成して再生することができる。
（５）請求項６に記載の発明によれば、低圧縮率な符号化又は非圧縮により検索対象画像の品質を維持しつつ、映像全体のデータ量を削減することができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００２４】
図１は、本発明の一実施形態における映像モニタリングシステムのシステム構成図である。図１に示すように、映像モニタリングシステムは、モニタリングサーバ１００、モニタリングクライアント２００、及びモニタリング用カメラ３００のハードウェアから構成される。これらはネットワークで物理的に接続されている。なお、以下の説明では、モニタリングサーバ１００、モニタリングクライアント２００を接続するネットワークがインターネットであるものとして説明を行う。
【００２５】
モニタリングサーバ１００には、映像入力部１１、特徴量抽出部１２、インデクス生成部１３、検索条件受信部１４、映像検索部１５、映像送信部１６、配信管理部１７及びモニタリングデータベース１８が設けられている。
【００２６】
映像入力部１１は本発明の映像入力手段を構成するものであり、カメラ３００などから出力されるモニタリング対象となる複数の映像を入力する機能を実現する。
【００２７】
特徴量抽出部１２は本発明の特徴量抽出手段を構成するものであり、前記入力された映像から、各フレームに関する撮影情報（後述する環境情報）を取得するとともに、動きのあった領域、物体の出現や消滅のあった領域、顔のあった領域等の特徴量を抽出する機能を実現する。
【００２８】
インデクス生成部１３は本発明のインデクス生成手段を構成するものであり、前記特徴量抽出部１２により抽出された特徴量から、映像に対するインデクス情報を生成する機能を実現する。
【００２９】
このインデクス情報は、前記特徴量である各領域の位置と大きさ、および動きのあった領域の場合には動きの大きさや方向であり、これらのインデクス情報は後述するモニタリングデータベース１８に格納される。
【００３０】
検索条件受信部１４は本発明の検索条件受信手段を構成するものであり、モニタリングクライアント２００との間のインタフェースとして機能し、モニタリングクライアント２００から送られてくる配信要求情報（検索条件を含む情報）を受信して解析を行う機能を実現する。
【００３１】
映像検索部１５は本発明の映像検索手段を構成するものであり、前記受信された配信要求情報に基づいてモニタリングデータベース１８に格納された前記インデクス情報および後述する入力映像に関する環境情報を元に、映像中特定の（前記検索条件に合う）場面を検索し、該検索された映像を表示するのに必要な表示制御情報を生成する機能を実現する。
【００３２】
映像送信部１６は本発明の映像送信手段を構成するものであり、前記映像検索部１５の検索結果に基づいて、検索された映像、該映像を表示するのに必要な表示制御情報、該映像に対する環境情報をモニタリングクライアント２００に送信する機能を実現する。
【００３３】
配信管理部１７は本発明の配信管理手段を構成するものであり、どのクライアントに対してどの映像を送信したかを蓄積・管理する機能を実現する。尚この配信管理部１７は、前記配信要求情報が格納されるセッション管理メモリ（図示省略）を備えている。
【００３４】
モニタリングデータベース１８は、本発明の環境情報蓄積手段、映像蓄積手段およびインデクス蓄積手段を構成するものであり、入力映像に関する環境情報、前記インデクス情報及び画像情報が格納される。
【００３５】
前記入力映像に関する環境情報は、例えば、撮影したカメラを識別するためのＩＤ，撮影位置やカメラの姿勢などの配置情報、撮影された時間情報、レンズの画角や露出に関する情報（絞り値、シャッタ速度、感度など）等である。
【００３６】
モニタリングサーバ１００は、パーソナルコンピュータ、ワークステーションなどの情報処理機器を用いればよい。この場合、インデクス情報、及び画像情報は、これら情報処理機器が有する、磁気ディスク装置、光ディスク装置などの記憶装置内に格納される。また、上述した映像入力部１１、特徴量抽出部１２、インデクス生成部１３、検索条件受信部１４、映像検索部１５、映像送信部１６及び配信管理部１７は、実際には、情報処理機器が有するメモリ内にプログラムの形で格納されて実行される。
【００３７】
モニタリングクライアント２００には、検索条件入力部２１、検索条件送信部２２、映像受信・再生部２３及び受信映像蓄積部２４が設けられる。モニタリングクライアント２００は、映像モニタリングシステムにおける映像利用者とのインタフェースとして検索条件入力部２１（本発明の検索条件入力手段）を備え、利用者のモニタリングの検索要求を受け付ける。これは、例えば、画面の左下付近に不動体（外部から画面（画像）内に持ち込まれ放置された物体や、画面（画像）内から持ち去られた物体）が発見された映像を探すなどの要求であり、この指示を受け、該当する映像をモニタリングサーバ１００で探索した結果を、モニタリングクライアント２００で表示することになる。
【００３８】
前記検索要求の検索条件の入力例としては、「時刻１〜時刻２の間に、カメラＡ，Ｂ，Ｃのいずれかの、それぞれの画面の下半分（実際には領域で指定する）に動きがあったときの映像」といったものである。
【００３９】
検索条件送信部２２は本発明の検索条件送信手段を構成するものであり、前記入力を受け付けた検索要求に関して配信要求情報を生成し前記モニタリングサーバ１００に転送する機能を実現する。
【００４０】
映像受信・再生部２３は本発明の映像受信手段および映像再生手段を構成するものであり、検索結果の映像および、該映像を表示するのに必要な表示制御情報、該映像に対する環境情報をモニタリングサーバ１００から受信し、該受信した映像を環境情報とともに再生する機能を実現する。
【００４１】
受信映像蓄積部２４は本発明の受信映像蓄積手段を構成するものであり、モニタリングサーバ１００から受信した映像を蓄積する機能を実現する。
【００４２】
尚受信映像蓄積部２４は画像情報を格納する表示用メモリ（図示省略）を備え、またモニタリングクライアント２００内には、検索条件送信部２２から受け取った前記配信要求情報を格納する表示管理用メモリ（図示省略）と、モニタリングサーバ１００から配信され映像受信・再生部２３により受信された前記表示制御情報及び画像情報を格納する表示情報用メモリ（図示省略）を備えている。
【００４３】
モニタリングクライアント２００は、利用者とのインタフェースとなる、キーボード、マウス、ジョイスティックなどの入力装置、ＣＲＴディスプレイなどの出力装置によって実現され、例えば、パーソナルコンピュータにより実現される。この場合、上述した検索条件送信部２２、映像受信・再生部２３及び受信映像蓄積部２４は、このような情報処理機器のメモリに格納されて実行されるプログラムにより実現することができる。
【００４４】
以上説明した映像モニタリングシステムにおいて、実際に映像をモニタリングする際の処理について説明する。まず、本実施の形態の一機能である映像を格納する際の処理について説明する。
【００４５】
モニタリングサーバ１００の特徴量抽出部１２およびインデクス生成部１３により行われる処理フローを図２に示す。まずステップＳ１において、映像入力部１１から入力された映像の各フレームに関する撮影情報を取得する。なお、これらの情報は、あらかじめ定義されたフォーマットのファイルを解析することにより、自動的に取得するとしてよい。
【００４６】
次にこれらのフレームに対して、特徴量、すなわち動き領域、不動体領域、及び顔領域を各々検出する（ステップＳ２〜Ｓ４）。このとき、これらの動き領域、不動体領域、及び顔領域を検出する処理は、通常の画像処理で利用される処理と同じであり、これらの手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。
【００４７】
例えば、動き領域の検出に関しては特許文献１が、不動体領域の検出に関しては特許文献２が、顔領域の検出に関しては特許文献３があり、これらの手法を利用するとしてよい。
【００４８】
次にステップＳ５において、これらの検出結果から、検出領域に関する検出情報を取得する。この検出情報は、種別、領域位置、大きさ、向き、及び検出時のパラメータを含む情報で構成される。
【００４９】
続いてステップＳ６において、撮影したカメラを識別するためのＩＤや撮影位置、撮影時間などの撮影情報（環境情報）、及び前記検出情報を各フレームに対するインデクス情報として、モニタリングデータベース１８に格納する。
【００５０】
更にステップＳ７において、前記検出情報に対する画像情報として、検出領域の画像（特徴量抽出部１２で抽出された領域内の画像）を、モニタリングデータベース１８に格納する。次にステップＳ８、Ｓ９において、あらかじめ定められたフレーム間隔おきに、該フレーム画像の全領域を、ベース画像として、モニタリングデータベース１８に格納することが行われる。
【００５１】
この画像を格納する際においては、画像の圧縮を行ってもよく、さらに、全領域の画像（ベース画像）の圧縮率は高く、検出領域の画像の圧縮率は低くしてもよい。これにより、モニタリングを行う際の主たる対象の領域については画質を維持したまま、映像全体のデータ量を削減することが可能になる。
【００５２】
また、映像を伝送する場合には、圧縮された映像のまま送信し、モニタリングクライアント２００側でそれぞれの映像を復号化し合成して元の映像を復元するのでも、モニタリングサーバ１００側で複合化し合成した映像をモニタリングクライアント２００に送信するのでもよい。
【００５３】
次に、実際に映像をモニタリングする際の処理について説明する。モニタリングクライアント２００では、図３に示すような処理フローで処理を行う。まずステップＳ１１において、検索条件送信部２２は検索条件入力部２１により利用者からの検索要求を受け付ける。
【００５４】
次にステップＳ１２において、表示指示のあった要求情報を利用して表示管理用メモリを検索し、既に読み込んでいる情報かどうかを判定する（ステップＳ１３）。もし読み込んでいなければ、配信要求情報を生成する（ステップＳ１４）。更に、ステップＳ１５においてこの配信要求情報をモニタリングサーバ１００に転送する。
【００５５】
この配信要求情報におけるセッションＩＤの付与方法については、従来のシステムと特に変わるところがないので、ここではその詳細な説明は省略する。もし読み込んでいれば、処理を映像受信・再生部２３に移す。
【００５６】
次にモニタリングサーバ１００では、図４に示すような処理フローで処理を行う。まず検索条件受信部１４では、ステップ２１において、モニタリングクライアント２００から送られてくる配信要求情報を受け取って、解析処理を行う（ステップＳ２２）。
【００５７】
映像検索部１５では、検索条件受信部１４での処理結果に基づいて、配信の要求を受け付けたインデクス情報をキーとして、該当フレームを、モニタリングデータベース１８から検索する（ステップＳ２３）。このフレームに対するベース画像、及び以降の各フレームに対し、動き領域として検出された画像情報を、モニタリングデータベース１８から検索する（ステップＳ２４，Ｓ２５）。
【００５８】
次にステップＳ２６において、セッション管理メモリから、該セッションＩＤを有するセッションに既に配信された配信要求情報を検索し、それをキーとして、既に配信された画像情報を、モニタリングデータベース１８から検索する（ステップＳ２７）。
【００５９】
次にステップＳ２８において、検索された画像情報、及び既に配信された画像情報を利用して、配信が必要な画像情報を選択する。そして配信対象となった画像情報に対するインデクス情報から、表示制御情報を生成する（ステップＳ２９）。
【００６０】
次に映像送信部１６では、映像検索部１５により検索された結果に基づいて、追加が必要な画像情報を含む表示制御情報、及び該当する画像情報を、モニタリングクライアント２００に配信する（ステップＳ３０）。それに続いて、配信が完了した配信要求情報をセッション管理メモリに格納する（ステップＳ３１）。
【００６１】
次にモニタリングクライアント２００では、図５に示すような処理フローで処理を行う。映像受信・再生部２３では、モニタリングサーバ１００からの指示を受け取って処理を行う、あるいは、新たな情報を受信する必要のない場合に検索条件送信部２２からの指示を受け取って処理を行う（ステップＳ４１）。
【００６２】
次にステップＳ４２において、モニタリングサーバ１００から、要求に該当する情報を受信したか否かを判定する。受信した場合はステップＳ４３において検索条件送信部２２から受け取った表示を要求された配信要求情報を表示管理用メモリに格納する。
【００６３】
次にモニタリングサーバ１００から配信された表示制御情報、及び画像情報を受信し、表示情報用メモリに格納する（ステップＳ４４，Ｓ４５）。そしてこの表示制御情報を解析し、追加指示のあった画像情報を表示用メモリに格納する（ステップＳ４６）。こうして、表示用メモリに格納されている内容の表示を制御する（ステップＳ４７）。
【００６４】
また、ステップＳ４２において要求に該当する情報が受信できなかった場合には、検索条件入力部２１により受け付ける利用者の検索要求の制御を行う（ステップＳ４８）。
【００６５】
以下、これまで説明してきた映像モニタリングシステムにおいて、映像を格納する際の操作について、具体的にその手順を説明する。ここでは、モニタリングサーバ１００の映像入力部１１により、図６（ａ）〜（ｃ）の６０１〜６０３、及び図７（ａ）〜（ｃ）の７０１〜７０３に示すような映像が入力されたとする。
【００６６】
これらの映像に対し、特徴量抽出部１２では、撮影したカメラを識別するためのＩＤや撮影位置、撮影時間などの撮影情報（環境情報）を取得することが行われる（図２のステップＳ１）。例えば、図６の映像６０１〜６０３に対して、カメラ１、撮影位置(Ｘ１，Ｙ１)、撮影時間（Ｔ１）、図７の映像７０１に対して、カメラ２、撮影位置(Ｘ２，Ｙ２)、撮影時間（Ｔ２）、図７の映像７０２〜７０３に対して、カメラ３、撮影位置(Ｘ３，Ｙ３)、撮影時間（Ｔ３）などとなる。
【００６７】
続いて、動き領域、不動体領域、及び顔領域の検出が行われる（図２のステップＳ２〜Ｓ４）。例えば、図６の映像６０１〜６０３に対して、動き領域検出の処理を行った結果、映像６０１と６０２間の動き領域は映像６０４中の６０６となり、映像６０２と６０３間の動き領域は映像６０５中の６０７となる。
【００６８】
ここで、６０６は下方向へ、６０７は右方向への動きとなり、これらの情報、すなわち、
種別：動き，領域位置，大きさ，向き：６０６の位置，大きさ，下向き
種別：動き，領域位置，大きさ，向き：６０７の位置，大きさ，右向き
が、検出情報として設定され、前記撮影情報とあわせて、各フレームに対するインデクス情報として、モニタリングデータベース１８に格納される（図２のステップＳ５，Ｓ６）。
【００６９】
更に、検出情報に対する画像情報として、検出領域の画像、ここでは、図６の６０６、及び６０７の領域の画像が、モニタリングデータベース１８に格納される（図２のステップＳ７）。このとき、あらかじめ定められたフレーム間隔を満たす６０１が、ベース画像として、モニタリングデータベース１８に格納される（ステップＳ８，Ｓ９）。
【００７０】
また、顔領域の検出の場合は、例えば、図７（ａ）に示すように、映像７０１中の顔領域の検出が行われ、７０４に示す領域が顔領域として検出されることとなる。このとき、
種別：顔，領域位置，大きさ，向き：７０４の位置，大きさ
が、検出情報として設定され、前記撮影情報とあわせて、各フレームに対するインデクス情報として、モニタリングデータベース１８に格納される。また、検出情報に対する画像情報として、７０４の領域の画像が、モニタリングデータベース１８に格納される。
【００７１】
同様に、不動体領域の検出の場合は、例えば、図７（ｂ），（ｃ）に示すように、映像７０２にはなかった映像７０３中の不動体領域の検出が行われ、図７（ｃ）の７０５に示す領域が不動体領域として検出されることとなる。このとき、
種別：不動体，領域位置，大きさ，向き：７０５の位置，大きさ
が、検出情報として設定され、前記撮影情報とあわせて、各フレームに対するインデクス情報として、モニタリングデータベース１８に格納される。また、検出情報に対する画像情報として、７０５の領域の画像が、モニタリングデータベース１８に格納される。
【００７２】
次に、これまで説明してきた映像モニタリングシステムにおいて、上述した手順で格納された映像をモニタリングする際の具体的な手順を説明する。
【００７３】
ここでは利用者が、撮影時間（Ｔ１）近辺で、画像領域中の左側で、下への動きを検出した映像を検索する要求をした場合を例に採り、説明を行う。
【００７４】
モニタリングクライアント２００では、検索条件入力部２１を介して検索要求を受け付けた後、表示管理用メモリを検索して、既に読み込んでいる情報かどうかを判定し、ここでは、読み込んでいないとして、配信要求情報を生成し、モニタリングサーバ１００に転送する（図３のステップＳ１１〜Ｓ１５）。
【００７５】
モニタリングサーバ１００では、検索条件受信部１４において、モニタリングクライアント２００から送られてくる配信要求情報を受信して解析を行う（図４のステップＳ２１、Ｓ２２）。
【００７６】
次に映像検索部１５において、前記解析された結果に基づいて、配信の要求を受け付けたインデクス情報をキーとして、該当フレームを、モニタリングデータベース１８から検索する（図４のステップＳ２３）。ここでは、検索条件と一致する図６の６０１〜６０３に示す画像が配信されればよいことになる。
【００７７】
このフレームに対するベース画像、及び以降の各フレームに対し、動き領域として検出された画像情報を、モニタリングデータベース１８から検索し（図４のステップＳ２４，Ｓ２５）、図８（ａ）の８０１、図８（ｂ）の８０６、図８（ｃ）の８０７を取得する。ここでは、該セッションＩＤで既に配信された配信要求情報はなかったとして（図４のステップＳ２６，Ｓ２７）、配信が必要な画像情報として、８０１、８０６、８０７が選択される（図４のステップＳ２８）。
【００７８】
これらの配信対象となった画像情報に対するインデクス情報から、
１．８０１を表示
２．８０１に対し、８０６を、６０６の位置、大きさに重畳
３．２に対し、８０７を、６０７の位置、大きさに重畳
が、表示制御情報として生成される（図４のステップＳ２９）。
【００７９】
映像送信部１６では、映像検索部１５により検索された結果に基づいて、これらの表示制御情報、及び該当する画像情報を、モニタリングクライアント２００に配信する（図４のステップＳ３０）。それに続いて、配信が完了した配信要求情報をセッション管理メモリに格納する（図４のステップＳ３１）。
【００８０】
続いて、モニタリングクライアント２００では、映像受信・再生部２３において、モニタリングサーバ１００から配信された表示制御情報、及び該当する画像情報を受信して、表示処理を行う（図５のステップＳ４１，Ｓ４７）。この場合、図８（ａ）の８０１、図８（ｄ）の８０４、図８（ｅ）の８０５に示すような順の映像がモニタリングクライアント２００に表示されることになる。
【００８１】
同様に、利用者が、撮影位置（Ｘ３，Ｙ３）での不動体を検出した映像を検索する要求をした場合は、検索条件と一致する図７（ｃ）の７０３に示す画像が配信されればよいことになる。
【００８２】
以上説明したように、本実施形態例によれば、ネットワーク上で実現される映像モニタリングシステムにおいて、利用者の要求に即して、モニタリング映像の検索を容易にし、快適に配信することを実現するためのインデクスを簡単に生成することが可能となる。また、こうして生成されたインデクスを利用して、モニタリング映像の容量を圧縮して格納すること、及びモニタリング映像を容易に検索し、ネットワーク上で快適に配信することが可能となる。
【００８３】
以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上記の実施形態例に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【図面の簡単な説明】
【００８４】
【図１】本発明の一実施形態例における映像モニタリングシステムのシステム構成図である。
【図２】図１に示すモニタリングサーバで行われている実際の処理フローを説明するためのフローチャートである。
【図３】図１に示すモニタリングクライアントで行われている実際の処理フローを説明するためのフローチャートである。
【図４】図１に示すモニタリングサーバで行われている実際の処理フローを説明するためのフローチャートである。
【図５】図１に示すモニタリングクライアントで行われている実際の処理フローを説明するためのフローチャートである。
【図６】本発明の一実施形態例における映像モニタリングシステムの配信画面の一例を表す説明図である。
【図７】本発明の一実施形態例における映像モニタリングシステムの配信画面の一例を表す説明図である。
【図８】本発明の一実施形態例における映像モニタリングシステムの配信画面の一例を表す説明図である。
【符号の説明】
【００８５】
１１…映像入力部、１２…特徴量抽出部、１３…インデクス生成部、１４…検索条件受信部、１５…映像検索部、１６…映像送信部、１７…配信管理部、１８…モニタリングデータベース、２１…検索条件入力部、２２…検索条件送信部、２３…映像受信・再生部、２４…受信映像蓄積部、１００…モニタリングサーバ、２００…モニタリングクライアント、３００…カメラ。
【図１】
2007300456.tif 000003
【図２】
2007300456.tif 000004
【図３】
2007300456.tif 000005
【図４】
2007300456.tif 000006
【図５】
2007300456.tif 000007
【図７】
2007300456.tif 000008
【図６】
2007300456.tif 000009
【図８】
2007300456.tif 000010