(57)【要約】【課題】監視員による目視の常時監視を必要としない監視システム及び監視方法を提供する。【解決手段】映像から物体を特定する物体情報を抽出する抽出部（１０２）と、抽出された物体情報に基づいて検索条件に合致する物体を検索する検索部（１０５）と、検索された物体が少なくとも１フレーム以上映っている映像を再生表示する表示部（１０６）とを具備する監視システム。【選択図】　　図１
2004064438.tif 000002
【特許請求の範囲】
【請求項１】
映像に含まれる物体を監視するシステムであって、
映像から物体を特定する物体情報を抽出する抽出手段と、
前記抽出手段により抽出された物体情報に基づいて検索条件に合致する物体を検索する検索手段と、
前記検索手段により検索された物体が少なくとも１フレーム以上映っている映像を再生表示する表示手段と、
を具備する監視システム。
【請求項２】
前記物体情報は物体の形状および動きを記述する時空間領域情報と、物体の色やテクスチャ等画像特徴量を記述する代表画像情報と、物体の分類および特徴量を記述する属性情報の少なくとも１つを具備し、
前記検索手段は前記時空間領域情報、代表画像情報、属性情報の少なくとも１つを利用して物体を検索する請求項１記載の監視システム。
【請求項３】
前記時空間領域情報は、映像中の各フレームの物体形状を矩形、楕円もしくは任意頂点数の多角形で近似し、物体の動きや形状変化を近似矩形や近似楕円の外接矩形や近似多角形の各頂点の時間方向の軌跡として表わし、頂点軌跡をスプライン関数で近似した場合の近似関数のパラメータを記述する請求項２記載の監視システム。
【請求項４】
前記時空間領域情報は、映像中の任意の１フレームにおける物体形状を矩形、楕円もしくは任意頂点数の多角形で近似したものを参照図形とし、物体の動きや形状変化を参照図形からのアフィン変換等の変換パラメータによって表わし、変換パラメータの時間方向の軌跡をスプライン関数で近似した場合の近似関数のパラメータを記述する請求項２記載の監視システム。
【請求項５】
前記表示手段は検索された物体が少なくとも１フレーム以上映っている映像を前記時空間領域情報、属性情報の少なくともいずれか一方を利用して加工して表示する請求項２乃至請求項４のいずれか一項記載の監視システム。
【請求項６】
検索された物体が少なくとも１フレーム以上映っている映像を前記時空間領域情報、属性情報の少なくともいずれか一方を利用して加工して保存する手段をさらに具備する請求項１乃至請求項５のいずれか一項記載の監視システム。
【請求項７】
映像に含まれる物体を監視する方法であって、
映像から物体を特定する物体情報を抽出するステップと、
抽出された物体情報に基づいて検索条件に合致する物体を検索するステップと、
検索された物体が少なくとも１フレーム以上映っている映像を再生表示するステップと、
を具備する監視方法。
【請求項８】
前記表示ステップは検索された物体が少なくとも１フレーム以上映っている映像を前記時空間領域情報、属性情報の少なくともいずれか一方を利用して加工して表示する請求項７記載の監視方法。
【請求項９】
検索された物体が少なくとも１フレーム以上映っている映像を前記時空間領域情報、属性情報の少なくともいずれか一方を利用して加工して保存するステップをさらに具備する請求項７、あるいは請求項８記載の監視方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はカメラ等で撮影した映像に含まれる物体を監視する監視システム及び監視方法に関する。
【０００２】
【従来の技術】
従来、監視システムは専用の機器から構成されているので、システム構成機器を接続するために高価な専用回線が必要であるとともに、監視員が目視によって監視業務を行っていたため、道路や発電所をはじめとしたインフラ施設や大規模工場等専用機器や監視員のコストがかかってもよいような用途を中心に使われていた。
【０００３】
しかし、近年の社会情勢の不安定さや、空き巣や車上荒らしをはじめとするテロ等の犯罪の増加から、低価格な監視システムの需要が急増している。このような需要に応じて、民生用機器を使用することのできる、あるいはインターネット等の公衆回線を利用することのできる監視システムが数多く発表されている。
【０００４】
【発明が解決しようとする課題】
ところが、上記の新監視システムにおいても、異常検出のための監視業務は従来と同じく目視によって行なわれており、監視員の負担は以前として大きかった。特に、小規模な監視システムでは専任の監視員を配置することはコスト的に難しく、目視による異常検出をカメラの全作動時間に渡って行うことができないという状況が多い。
【０００５】
本発明の目的は監視員による目視の常時監視を必要としない監視システム及び監視方法を提供することにある。
【０００６】
【課題を解決するための手段】
上記した課題を解決し目的を達成するために、本発明は以下に示す手段を用いている。
【０００７】
映像に含まれる物体を監視するシステムであって、
映像から物体を特定する物体情報を抽出する抽出手段と、
前記抽出手段により抽出された物体情報に基づいて検索条件に合致する物体を検索する検索手段と、
前記検索手段により検索された物体が少なくとも１フレーム以上映っている映像を再生表示する表示手段と、
を具備する監視システム。
【０００８】
映像に含まれる物体を監視する方法であって、
映像から物体を特定する物体情報を抽出するステップと、
抽出された物体情報に基づいて検索条件に合致する物体を検索するステップと、
検索された物体が少なくとも１フレーム以上映っている映像を再生表示するステップと、
を具備する監視方法。
【０００９】
本発明は、映像中に含まれる物体を特定する物体情報を抽出し、物体情報に基づいて監視対象となる物体を検索し、検索された物体が少なくとも１フレーム以上映っている映像を再生表示することにより、監視員が目視によって常時、異常検出する必要がなくなる。このため、多数のカメラを一台の端末にて監視する際も、端末上の検索において検索条件に合致した物体のみを監視すればよく、監視の効率が大幅にアップする。また、リアルタイムで監視を行なえない場合でも、物体の映像と物体情報とを保存しておくことで、物体の映像の頭出しの必要がなく物体の映像を自動的に表示できる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明による監視システム及び監視方法の実施形態を説明する。
【００１１】
第１実施形態
図１は本発明の第１実施形態に係る監視システムの構成を示す図である。本システムは映像入力部１０１、物体抽出部１０２、物体情報蓄積部１０３、映像蓄積部１０４、物体検索部１０５、映像表示部１０６を備えている。これらの各部は汎用の信号線、通信回線を介して接続される。なお、物体抽出部１０２、物体検索部１０５はハードウェアとしてではなく、ソフトウェアとして実現してもよい。
【００１２】
映像入力部１０１は例えばビデオカメラや一定時間毎に撮影するディジタル静止画カメラ等で構成される。映像入力部１０１は説明の便宜上１台しか示さないが、多数設けられていてもよい。
【００１３】
物体抽出部１０２は映像入力部１０１より映像信号を受け取り、映像中に映っている物体を抽出し、抽出した物体を特定できる物体情報（図４参照）を作成し、物体情報蓄積部１０３に送信する。物体情報は、物体の形状や軌跡等の動き特徴量を記述する時空間領域情報、物体の色やテクスチャ等画像特徴量を記述する代表画像情報、物体の名称や分類やカメラ番号等属性特徴量を記述する属性情報のうち少なくとも１つからなる。ここで、物体とは映像中におけるひとかたまりの領域部分であり、例えば人、動物、車、道、川等、あるいはその一部（人の顔、車のタイヤ）等、あるいはその集合（人の列、車の渋滞）等監視すべきものとして把握できるものならどのようなものでもよい。物体の抽出は映像を表示する画面上でユーザが手入力によって行なってもよいし、背景差分法、フレーム間差分法、ステレオ視、テンプレートマッチング、カラーヒストグラムによる抽出等画像処理によって行って自動的に行なっても良い。また、赤外線カメラや人感センサ等他の外部機器を利用して行なっても良い。また、これらの手法を組み合わせて物体抽出を行なっても良い。
【００１４】
物体情報蓄積部１０３は物体抽出部１０２にて作成した物体情報を蓄積保存するものであり、例えばハードディスクや光ディスク、半導体メモリ等で構成される。
【００１５】
映像蓄積部１０４は映像入力部１０１より映像信号を受け取り、映像信号を蓄積保存するものであり、例えばハードディスクや光ディスク、半導体メモリ、ビデオテープレコーダ等で構成される。蓄積する映像信号は物体が１フレーム以上映っているものであればよく、映像入力部１０１より受け取った映像信号すべてを保存してもよいし、物体抽出部１０２から物体の時空間領域情報を受け取り、物体が存在する時間間隔だけの映像信号を保存してもよい。
【００１６】
映像蓄積部１０４は蓄積データ量を減らすためになんらかの間引きや圧縮を行なってもよい。例えば、フレームレートを落としたり、ＭＰＥＧ−２やＭＰＥＧ−４等の映像圧縮フォーマットに変換して保存することによって、同じ容量でより多くの映像信号を蓄積することができる。
【００１７】
物体情報として時空間領域情報や属性情報が作成されている場合は、これらの物体情報に従い映像信号になんらかの加工をして保存してもよい。例えば、時空間領域情報を利用して物体周辺のみを切り抜いた映像信号をつくりそれを保存したり、物体輪郭を指定した色の線で縁取りしたり、物体の軌跡を指定の色で記入したり、物体以外の部分の輝度を落としたり塗りつぶす等の加工を施したりしてもよい。また、属性情報を利用して物体の分類、名称、特徴量を文字情報として映像にスーパーインポーズしたり、統計量を表示してもよい。両者を組み合わせて属性情報の特徴量によって物体部分の加工の方法を切り替えたりしてもよい。
【００１８】
物体検索部１０５は物体情報蓄積部１０３に保存されている物体情報からユーザが指定した検索条件に該当する物体情報を検索する。検索条件はあらかじめ登録しておいてもよいし、検索毎にユーザが入力してもよい。あらかじめ登録されていた複数の検索条件からユーザが検索毎に選択する等、上記の方法を組み合わせてもよい。
【００１９】
ユーザは検索結果（の物体情報）に基づいて監視すべき１つもしくは複数の物体を指定する。物体を指定すると、指定物体ＩＤ、再生開始時刻、再生終了時刻等が記述された再生情報を映像蓄積部１０４に送信し、当該再生情報で指定される物体の映像信号を映像表示部１０６に送信させる。
【００２０】
検索条件は、例えば物体の色、テクスチャ等の画像特徴量に関する条件、軌跡、存在時間、形状、大きさ等動き特徴量に関する条件、分類、名称、カメラ番号、撮影日時等属性特徴量に関する条件等、物体情報に関するものならどのようなものでもよい。また、複数の条件をＡＮＤ、ＯＲ、ＮＯＴ等論理演算子で結合して利用しても良い。
【００２１】
映像表示部１０６は映像蓄積部１０４から受け取った物体の映像信号を再生表示するためのものであり、例えばＣＲＴ等である。再生表示する際には、物体情報蓄積部１０３から当該物体の物体情報を読み込み、物体情報中の時空間領域情報や属性情報を利用して、物体の映像に何らかの加工を施してもよい。例えば、時空間領域情報を利用して物体周辺のみを切り抜いて保存したり、物体輪郭を縁取りしたり、物体以外の部分の輝度を落としたり塗りつぶす等の加工を施したり、属性情報を利用して物体の分類や名称を映像にスーパーインポーズしたり、特徴量によって加工の方法を切り替えたりしてもよい。
【００２２】
また、複数の物体の映像を同時に見られるように物体の映像同士を合成してもよい。
【００２３】
映像入力部１０１が複数ある場合は、映像入力部１０１の数だけ物体抽出部１０２および物体情報蓄積部１０３を用意してもいいし、１つの物体抽出部１０２および物体情報蓄積部１０３にて複数の映像入力部１０１からの入力を処理してもよいし、これらの組み合わせでもよい。
【００２４】
次に、本実施形態の作用を説明する。図２は物体の抽出処理の流れの一例を表したフローチャートを示す。抽出処理は１フレーム毎や一定時間毎等のある時間間隔毎に実行される。
【００２５】
ステップＳ２１で、カメラ等の映像入力部１０１から映像信号を入力する（映像入力ステップ）。
【００２６】
ステップＳ２２で、映像入力が存在するかどうかを判定する（映像入力判定ステップ）。映像入力が存在しなければ、物体の抽出処理は終了する。映像入力があると、ステップＳ２３で物体の抽出を行う。
【００２７】
物体抽出ステップＳ２３では、映像入力ステップＳ２１で入力された映像信号から物体を抽出する。物体の抽出は映像表示画面上でユーザが手入力によって行なってもよいし、背景差分法、フレーム間差分法、ステレオ視、テンプレートマッチング、カラーヒストグラムによる抽出等の画像処理によって自動的に行なっても良い。また、赤外線カメラや人感センサ等の他の外部機器を用いて行なっても良い。また、ユーザによる入力、画像処理、外部機器を組み合わせて物体抽出を行なっても良い。
【００２８】
ステップＳ２４では、物体抽出ステップＳ２３で抽出した物体の時空間領域情報、代表画像情報、属性情報の少なくとも１つを作成し、これらを物体情報（図３参照）として保存蓄積する（物体情報蓄積ステップ）。
【００２９】
ステップＳ２５では、映像入力ステップＳ２１で取得した映像信号を蓄積保存する（映像蓄積ステップ）。映像蓄積ステップＳ２５は映像入力ステップＳ２１の直後に実行してもよいが、物体情報の作成、蓄積後に実行することにより、物体情報蓄積ステップＳ２４で生成した物体情報を利用して、映像に何らかの加工を施すことができる。例えば、時空間領域情報を利用して物体周辺のみを切り抜いて保存したり、物体輪郭を縁取りしたり、物体以外の部分の輝度を落としたり塗りつぶす等の加工を施したり、属性情報を利用して物体の分類や名称をスーパーインポーズしたり、特徴量によって加工の方法を切り替えたりすることができる。
【００３０】
図３に物体情報蓄積部１０３に蓄積される物体情報のデータ構造の一例を示す。図３に示されるように、物体情報は物体ＩＤ４０１、先頭時刻４０２、終了時刻４０３、時空間領域情報４０４、代表画像情報４０７、属性情報４０８で構成される。時空間領域情報４０４は形状フラグ４０５と動きデータ４０６で構成され、属性情報４０８は１つ以上の属性名４０９と属性値４１０にて構成される。
【００３１】
これらのデータは１つのファイルとしてまとまっていてもいいし、別々のファイルに分かれていてもいい。また、時空間領域情報４０４、代表画像情報４０５、属性情報４０６はそれぞれ省略することもできるし、複数持っていてもいい。時空間領域情報４０４、代表画像情報４０５、属性情報４０６の並び順もどのようであってもよい。
【００３２】
物体ＩＤ４０１は、抽出された物体を区別するために一意につけられる識別番号である。
【００３３】
先頭時刻４０２および終了時刻４０３は、それぞれ物体がはじめて出現した時刻と最後に消失した時刻である。
【００３４】
時空間領域情報４０４は、物体が存在する時空間的な領域情報を保持するもので、物体が存在する時間およびその位置や形状が分かるようなものであればどのようなものであってもよい。例えば、物体が存在するところを“１”、そうでないところを“０”とした動画像で表すアルファマップを利用してもいいし、ＭＰＥＧ−７のＳｐａｔｉｏＴｅｍｐｏｒａｌ　Ｌｏｃａｔｏｒのようなデータ形式を利用してもよい。ＳｐａｔｉｏＴｅｍｐｏｒａｌ　Ｌｏｃａｔｏｒは映像中の各フレームの物体形状を矩形、楕円もしくは任意頂点数の多角形で近似し、物体の動きや形状変化を近似矩形や近似楕円の外接矩形や近似多角形の各頂点の時間方向の軌跡として表わし、頂点軌跡をスプライン関数で近似し、その近似関数のパラメータとして表すＦｉｇｕｒｅ　Ｔｒａｊｅｃｔｏｒｙと、任意の１フレームにおける物体形状を矩形、楕円もしくは任意頂点数の多角形で近似し、これを参照図形として、物体の動きや形状変化を参照図形からのアフィン変換等の変換パラメータによって表わし、変換パラメータの時間方向の軌跡をスプライン関数で近似し、その近似関数のパラメータとして表すＰａｒａｍｅｔｅｒ　Ｔｒａｊｅｃｔｏｒｙのいずれかがある。ＳｐａｔｉｏＴｅｍｐｏｒａｌ　Ｌｏｃａｔｏｒはアルファマップより遥かに少ないデータ量で、物体形状やその動きをあらわすことができるという特徴がある。
【００３５】
形状フラグ４０５は、時空間領域情報がどのような形式で保存されているかを示すためのフラグである。アルファマップやＳｐａｔｉｏＴｅｍｐｏｒａｌ　Ｌｏｃａｔｏｒのようなデータ形式や、物体の形状、特徴量軌跡の関数近似方法等が記述される。
【００３６】
動きデータ４０６は、時空間領域の動きのデータである。アルファマップであれば動画像データ、ＳｐａｔｉｏＴｅｍｐｏｒａｌ　Ｌｏｃａｔｏｒであれば関数近似した関数パラメータである。
【００３７】
代表画像情報４０７は、物体が存在する１フレームもしくは複数フレームの画像情報である。これはユーザが目視によって物体を指定するときのための情報であり、ＢＭＰやＪＰＥＧ等の画像情報や映像信号の当該フレームを示すポインタ等である。画像情報は当該フレームの画像全体でもいいし、その一部でもいい。例えば、当該フレームにおける位置および形状が分かっているときは、画像から物体周辺のみを切り抜いて代表画像情報としてもよい。また、物体領域以外の輝度を落としたり、物体輪郭を縁取りする等画像になんらかの加工を施してもよい。
【００３８】
代表画像情報とするフレームは、当該物体が判別しやすいフレームであればどのフレームを取り出してきてもよい。例えば物体の存在する時間期間の中心時刻を代表フレームとする等の方法がある。
【００３９】
属性情報４０８は、物体がどのような特徴をもっているかを記述するためのものである。例えば、物体が車であるか人であるか動物であるか等の分類や、色や形や大きさ等の特徴量や、映像信号と同時に取得された音声やセンサ等の外部機器情報や、関連する情報へのリンク等が記述される。
【００４０】
属性情報４０８は、１つ以上の属性名４０９と属性値４１０で構成される。属性名４０９と属性値４１０は１対１に対応している。属性名４０９および属性値４１０はどのような形式で記述されていてもよい。例えば、国際標準であるＭＰＥＧ−７形式や各種データベース形式やテキスト形式等が使用できる。
【００４１】
図４は、物体の検索処理の流れの一例を表したフローチャートを示す。処理は物体検索毎に実行される。
【００４２】
ステップＳ３１では、物体の検索条件を入力する（検索条件入力ステップ）。検索条件はあらかじめ登録しておいてもよいし、検索毎にユーザが手入力してもよい。あらかじめ登録されていた複数の検索条件からユーザが検索毎に選択する等、上記の方法を組み合わせてもよい。
【００４３】
ステップＳ３２では、物体情報蓄積部１０３に蓄積されている各物体情報と入力された検索条件を比べ、物体情報が検索条件に合致するかどうか判定する（物体情報マッチングステップ）。合致していると判定された物体の代表画像情報や属性情報をＣＲＴ等に表示したりログに残したりして、ユーザが検索結果を閲覧できるようにする。
【００４４】
ステップＳ３３では、物体情報蓄積部１０３に蓄積されている全物体情報についてマッチングが行われたかどうかを判定する（マッチング終了判定ステップ）。全物体情報の判定が終了するまでステップＳ３２とステップＳ３３が繰り返される。
【００４５】
ステップＳ３４では、検索条件に合致した物体のうちのどの物体の映像信号を再生するかを指定する（物体指定ステップ）。基本的には検索結果を閲覧したユーザが物体の映像を再生する物体を指定するが、検索結果が少ない場合や検索結果のうち最新の時刻の物体の映像を常に見たい場合等は、システムが自動的に指定してもよい。
【００４６】
指定は１つの物体でも複数の物体でもよく、同時にそれぞれの物体の映像信号について再生開始時刻、再生終了時刻、再生オプションを指定することができる。これらの情報は物体再生情報（図５参照）として物体の映像信号再生時に使用される。再生オプションには物体輪郭を縁取りする等の特殊効果方法や、複数の映像信号再生時にどのように物体の映像信号を再生するか等を指定することができる。
【００４７】
ステップＳ３５では、物体指定ステップＳ３４で指定した物体再生情報を利用し、当該物体の映像信号をＣＲＴ等に再生表示する（映像再生ステップ）。再生時には物体情報の再生開始時刻、再生終了時刻、再生オプションに基づいて映像信号を加工し表示する
図５に映像信号の再生時に指定される物体再生情報のデータ構造の一例を示す。図５に示されるように物体再生情報は指定物体ＩＤ５０１、再生開始時刻５０２、再生終了時刻５０３、再生オプション５０４で構成される。１つの物体再生情報で複数の物体を指定する際には指定物体ＩＤ５０１、再生開始時刻５０２、再生終了時刻５０３、再生オプション５０４がそれぞれ複数になる。
【００４８】
指定物体ＩＤ５０１は、再生表示する物体を識別するために一意につけられる識別番号である。指定物体ＩＤは図４の物体情報における物体ＩＤ４０１と同じものであり、物体ＩＤを指定することによって物体の映像を一意に指定することができる。
【００４９】
再生開始時刻５０２は、当該物体の映像を再生する際の開始時刻である。省略した際は物体の出現時刻（物体情報内の先頭時刻４０２）から再生する。
【００５０】
再生終了時刻５０３は、当該物体の映像を再生する際の終了時刻である。省略した際は物体の消失時刻（物体情報内の終了時刻４０３）まで再生する。
【００５１】
再生オプション５０４は、物体の映像をどのように再生するかのオプションである。再生オプション４０４には例えば画面サイズ、再生レート、物体縁取り等の特殊効果等を指定することができる。また、複数物体を指定した際には、複数物体を一画面に入れて再生したり、順番に指定したりする等複数物体の再生方法も指定することができる。
【００５２】
以上説明したように本実施形態によれば、カメラ等の映像入力部１０１で取得した映像中に含まれる人や車等の物体を特定する時空間領域情報、代表画像情報、属性情報の少なくとも１つ以上で構成される物体情報を物体抽出部１０２にて抽出し、抽出された物体情報を利用して監視対象となる物体を検索し、検索された物体が少なくとも１フレーム以上映っている映像である物体の映像を再生表示する。
【００５３】
これにより、監視員が目視によって常時、異常検出する必要がなくなる。多数のカメラを一台の端末にて監視する際も、端末上の検索においてマッチした物体のみをチェックすればよく、監視の効率が大幅にアップする。また、リアルタイムで監視を行なえないような場合でも、物体の映像と物体情報を保存しておくことで映像の頭出しの必要なく監視を行うことができる。
【００５４】
本発明は上述した実施形態に限定されず、種々変形して実施可能である。例えば、本発明は、コンピュータに所定の手段を実行させるための、コンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるためのプログラムを記録したコンピュータ読取り可能な記録媒体としても実施することもできる。
【００５５】
【発明の効果】
以上説明したように本発明によれば、映像中に含まれる物体の物体情報を利用して監視対象となる物体を検索し、当該の物体の映像を再生表示することが可能となる。これにより全映像を目視することなく監視業務を行うことができ、監視業務の大幅な効率化が可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る監視システムの構成の一例を示すブロック図。
【図２】同実施形態における物体の抽出処理手順の一例を表したフローチャート。
【図３】同実施形態における物体情報のデータ構造の一例を示す図。
【図４】同実施形態における物体の検索処理手順の一例を表したフローチャート。
【図５】同実施形態における物体再生情報のデータ構造の一例を示す図。
【符号の説明】
１０１…映像入力部
１０２…物体抽出部
１０３…物体情報蓄積部
１０４…映像蓄積部
１０５…物体検索部
１０６…映像表示部
【図１】
2004064438.tif 000003
【図２】
2004064438.tif 000004
【図３】
2004064438.tif 000005
【図４】
2004064438.tif 000006
【図５】
2004064438.tif 000007