(57)【要約】【課題】１台の監視ビデオカメラの使用の下に、低解像度の全体画像および高解像度の部分画像を記録し、監視操作者の指示に応じて、高精細あるいは拡大して再生表示する。また低解像度の全体画像を送信した後に部分画像を送信することで伝送容量が小さくとも、監視モニタ側で目的の解像度で監視対象物を表示させることができる監視映像の追尾映像監視装置を得る。【解決手段】高精細映像取込部１２と、物体検出部１３と、全体背景映像検出部１４と、追尾データ作成部１５と、第１の部分映像重ね部１７と、拡大指示部１８と、ＨＤＤを有する記憶部２０とを備えて、２台のカメラを必要としないで、低解像度の全体画像と同期した高解像度の部分画像を得る。【選択図】図１
2006033793.tif 000002
【特許請求の範囲】
【請求項１】
第１の解像度で一定範囲を広角に撮影する監視カメラから得られた全体画像の中の新たな物体の物体画像を前記第１の解像度で、かつ前記全体画像は前記第１の解像度より低い第２の解像度で記憶して、これらの全体画像、物体画像を再生する監視映像の追尾映像監視装置であって、
前記監視カメラが出力する前記第１の解像度の全体画像データを、ダウンサンプリングした第２の解像度の全体画像データを得てメモリに記憶して、これをそのまま表示又は出力する全体背景映像検出部と、
前記全体背景映像検出部に同期して、前記第１の解像度の今回の全体画像のデータが前記監視カメラから得られたとき、該今回の全体画像データと前回の前記ダウンサンプリングした全体画像データ又は前記第１の解像度の前回の全体画像データとの比較で、新たな物体の物体画像を検出する手段と、
これらの物体画像の前記監視カメラの撮像素子上の位置情報、大きさ関連情報、前記全体画像データのフレーム番号、からなるシーン記述情報を生成すると共に、このシーン記述情報と前記検出された物体画像とを前記全体画像に関連付けて記憶する手段とを備えた前記物体映像検出部と、
前記画面に表示された全体画像上で前記シーン記述情報の物体画像が指定が指定されたとき、該指定位置に対応する前記シーン記述情報を有する複合映像データを前記メモリから検索して、該複合映像データに関連付けられている前記第１の解像度の物体画像のデータを、前記画面の指定位置に重ね表示させる部分映像重ね部と
を有することを特徴とする監視映像の追尾映像監視装置。
【請求項２】
前記画面の重ね表示された物体画像を、指定の倍率で拡大表示する拡大指示部とを有することを特徴とする請求項１記載の監視映像の追尾映像監視装置。
【請求項３】
前記複合映像データ及びシーン記述情報の全体画像及び物体画像は、時間情報がそれぞれリンク付けされ、
前記部分映像重ね部は、
前記時間情報をキーとして前記複合映像データ検索し、前記時間情報に対応する前記全体画像を画面に表示させて前記時間情報の物体画像を検索して前記重ね表示させることを特徴とする請求項１又は２記載の監視映像の追尾映像監視装置。
【請求項４】
第１の解像度で一定範囲を広角に撮影する監視カメラから得られた全体画像の中から物体の物体画像を、前記第１の解像度以上（第１の解像度含む）の複数の解像度で記憶して、前記全体画像は前記第１の解像度以下（第１の解像度含まない）の低い第２の解像度で再生すると共に前記物体画像を、前記複数の解像度のいずれかの解像度で再生する監視映像の追尾映像再生装置であって、
前記監視カメラが出力する前記第１の解像度の全体画像データを、ダウンサンプリングした前記第２の解像度の全体画像データを得て、これを画面にそのまま表示又は出力する全体背景映像検出部と、
前記第１の解像度の今回の全体画像のデータが前記監視カメラから得られたとき、該今回の全体画像データと前回の前記ダウンサンプリングした全体画像データ又は前記第１の解像度の前回の全体画像データとの比較で、新たな物体の物体画像を検出し、該検出した物体画像の前記監視カメラの撮像素子上の位置情報、大きさ関連情報、前記全体画像のデータのフレーム番号、からなるシーン記述情報を生成する物体映像検出部と、
前記全体画像データ及び前記物体画像データの取り込みに同期して、前記全体画像データの中から新たな物体の物体画像が前記物体映像検出部で検出される毎に、該物体画像を前記複数の解像度で前記シーン記述情報に関連付け、これらを複合映像データとしてメモリに保存する複数解像度物体映像作成部と、
前記画面に表示された全体画像上で前記シーン記述情報の物体画像が指定が指定されたとき、該指定位置に対応する前記シーン記述情報を有する複合映像データを前記メモリから検索して、該複合映像データに関連付けられている前記複数の解像度のいずれかの解像度の物体画像のデータを、前記画面の指定位置に重ね表示させる部分映像重ね部と
を有することを特徴とする監視映像の追尾映像監視装置。
【請求項５】
前記複数解像度物体映像作成部は、
予め所定の拡大率に、前記複数の解像度の識別コードが関連付けて保存し、
前記物体映像検出部が前記物体画像を前記複数の解像度でそれぞれ検出したとき、該解像度の物体画像の解像度に対応する前記保存された拡大率を前記複合映像データに割り付けて保存する手段を有し、
前記部分映像重ね部は、
前記画面に表示された全体画像上で前記シーン記述情報の物体画像が指定されたとき、該指定位置に対応する前記シーン記述情報を有する複合映像データを前記メモリから検索し、該複合映像データの内で、入力された拡大率に対応する解像度の物体画像を検索して、前記画面の指定位置に重ね表示させる手段を有し、
さらに、前記画面上の指定位置の物体映像を前記指定の拡大率で拡大させる拡大指示部とを有することを特徴とする請求項４記載の監視映像の追尾映像監視装置。
【請求項６】
前記複合映像データ及びシーン記述情報の全体画像及び物体画像は、時間情報がそれぞれリンク付けされ、
前記部分映像重ね部は、
前記時間情報をキーとして前記複合映像データ検索し、前記時間情報に対応する前記全体画像を画面に表示させて前記時間情報の物体画像を検索して前記重ね表示させることを特徴とする請求項４又は５記載の監視映像の追尾映像監視装置。
【請求項７】
前記全体画像データ及び物体画像データを、圧縮して前記メモリに前記複合映像データに含ませて保存し、再生時にはこれを復号して前記画面に表示又は出力する手段とを有することを特徴とする請求項４、５又は６記載の監視映像の追尾映像監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視映像の追尾映像監視装置に関する。特に、ビデオカメラを使用した監視システムにおいて、1台の監視ビデオカメラの使用の下に、背景全体映像および追尾監視物体の双方を記録し、監視操作者の指示に応じて、高精細あるいは拡大して再生表示することを可能とした監視映像の追尾映像監視装置に関する。
【背景技術】
【０００２】
監視ビデオカメラシステムでは、経済効果のため、１台の監視カメラによりできるだけ広い範囲の監視を行いたいという要望がある。反面、このようにすると、一台の監視カメラでは監視目的物に関して重要なイベントが発生した場合に、その重要映像部分の充分な解像度を得ることができず、あまり役に立たない映像である場合が多い。
【０００３】
この問題点を解決するには、監視カメラの設置箇所を増やせば良い。しかし、設置箇所を増やすと監視カメラだけでなく、さまざまの接続機器、記録機器、設置等の費用が増大する。こういった状況を打開するために生まれたのが、追尾型監視ビデオカメラシステムである。
【０００４】
従来、最も簡単な追尾型監視ビデオカメラシステムは、物体（人面、人のからだ、車など）を追尾するために、機械的なパンチルト機構（回転・上下移動機構）の台座に乗せられたズームカメラで物体を追尾する。そして、追尾する目的物を検出するためには、先ず背景全体の映像をズームレンズの広角側で捉える。そして、画像処埋、認識処理を行い、目的物の検出と位置判定を行う。その上で、その目的物にズームインし拡大映像を得る（例えば、特許文献１）。
【０００５】
前述の方式は、動く物体を連続的に捉えるためには広角と望遠の繰り返しを行わなければならない。従って、追尾性能が著しく劣る。さらに拡大ズームを行うと、監視操作者は、背景映像の中での物体の相対位置が分からなくなり、混乱をきたす。
【０００６】
これらの追尾性能と操作性能の問題を解決する手段として、必要な情報は、通常これとは別の広角レンズを備えた固定カメラからの映像情報にデジタル画像処理を施し、動体検出、人面検出などを行って背景全体映像の中から検出し、その位置情報を基に追尾カメラを制御して物体にズームインする。つまり、２台のカメラが組み合わされて1つの物体を追尾することができるものが有効である。
【０００７】
ここに、背景画像は、追尾物体の相対的位置を監視操作者に知らしめるために必要なものである。つまり、同時に追尾カメラがなくては、重要かつ必要な物体の詳細情報を視覚的に判別することができないという意味において、２台のカメラが必要になる。
【０００８】
追尾機構を備えたズームカメラは、1つの物体を捕らえてその映像の詳細を提供するものなので、同時に複数の異なった動きをする物体の追尾は困難である。そのような必要性がある環境での使用では、追尾カメラはあまり効果がないとされているが、時として複数の追尾カメラを設けることにより実現する場合もある。つまり、この場合、追尾カメラの数だけ、違う物体の追尾が理論的には可能となる。
【０００９】
一方、特開２００４−７３７４号公報（特許文献１）には、広角カメラＡとパンチルト機能を備えたカメラＢとを有して、広角カメラからの画像内において動く物体を検出し、カメラＢによって動く物体を追尾しながらアラーム信号を出力する。これによって、アラームが出ている間のみ監視すればよい。
ことが開示されている。
【００１０】
また、特開２００３-３３９０４７号公報（特許文献２）には、画像の使用者により該画像の注目領域を指定し、該指定した注目領域が高精細にしたい領域ほど量子化率を低減する量子化率を設定し、設定した量子化率に基づき圧縮を制御することにより、使用者の要求に合わせた画像圧縮を行うことが開示されている。
【００１１】
また、特許文献２には、注目領域に対して、きめ細かく解像度を設定し、この設定した解像度に従って領域毎に圧縮を制御することが開示されている（段落０１１５）。
【特許文献１】特開2004−7374号公報
【特許文献２】特開2003−339047号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、前述のように、広い範囲の画角を監視しながら、同時に監視イベントが発生した際の重要映像の詳細を把握するには、物体追尾型監視カメラシステムが有効であるが特許文献１のように、それを実現するためには２つのビデオカメラ（広角カメラと追尾カメラ）の組み合わせで使用しなければならない。しかも、その場合でも1つの物体しか追尾することができない。
【００１３】
実際的な使用環境では、監視物体がある時点で1つだけという環境はむしろ少なく、複数の人物、車またはその他の物体を同時に追尾して記録監視しなければならないケースがはるかに多い。
【００１４】
複数の追尾カメラを並べて設置し、それぞれ別の物体を追尾するよう制御することは技術的には可能であるが、カメラの費用、設置費用、カメラの接続機器、記録機の費用などを考慮すると、システム全体のコストが大幅に上昇してしまい実用性に乏しくなる。
【００１５】
追尾物体の同時発生が非常に少ないような環境においては、広角カメラと追尾カメラとを一体化して追尾するものは、費用コストの点から問題がある。
【００１６】
しかし、広角カメラと追尾カメラを物理的に分離したカメラとして使用して１つの物体を追尾すると、広角カメラから追尾カメラに与えられた追尾制御信号の正確さに問題が発生しやすい。つまり、２台のカメラのレンズの光軸が殆ど同一でないと、追尾カメラが与えられた目的物の座標情報は、必ずしも広角カメラの座標情報と一致しないので、正しい物体を捕らえることができない。また、設置場所の制限なども実際には多くあり、正しい動作条件を満たすような設置場所を設定することは、容易ではない。
【００１７】
さらに、監視されるべき視野の映像を、高精細ビデオカメラでそのまま記録すれば必要な情報は得られるが、情報量が過大となり長時間の監視記録は困難となる。
【００１８】
これに対して、特許文献２は、画面上の画像の注目領域を予め設定し、この注目領域に対を高精細にしたい領域ほど圧縮率を低減した量子化率を設定し、この量子化率に基づき圧縮を制御することにより、使用者の要求に合わせた画像圧縮を行うことで高負荷な圧縮の無駄を少なくする。
【００１９】
また、特許文献２は、圧縮を高速に処理するために、注目領域に対して一つの解像度を設定し、この解像度の画像を圧縮することが開示されている。
【００２０】
しかしながら、特許文献２のものは監視システムとして用いるものではないので、監視している領域内において、注目領域以外に新たな物体を得たとしても、その物体を任意の解像度で収集できない。このため、監視システムには不向きであるという課題があった。
【００２１】
さらに、特許文献２は、注目領域に対して、１つのきめ細かな解像度を設定し、この設定した解像度に従って領域毎に圧縮を制御するが、領域毎の解像度の設定は１種類である。このため、監視カメラシステム等において、注目領域の物体をより高精度できめ細かく見たいとしても、それは１種類であるから注目領域を監視者の要望の解像度に応じた解像度でよりきめ細かく見られないという課題があった。
【００２２】
また、注目領域に新たに人物が検出されたときは、割合とラフな画像で見て、それが気になる人物であれば特徴を細かく見るのが一般的な監視である。
【００２３】
しかしながら、特許文献２のものは、注目領域の解像度は１種類であるか、例えば解像度が高精細な解像度の場合は、いきなり高精細な画像が出現する。このため、何ら異常がない人物であってもその都度細かな画像を監視者が見ることになるので、監視者にとってはあまり良い監視とはならないという課題があった。
【００２４】
さらに、物体追尾型監視カメラシステムの物体追尾型監視カメラは、通信網に接続されて遠隔端末に監視映像を送信するのが一般的である。
【００２５】
このような物体追尾型監視カメラシステムの物体追尾型監視カメラは、近年は高精度のセンサ（ＣＣＤ）を用いるものが出てきている。
【００２６】
しかしながら、費用を削減するためのユーザは、通信網は既存のものを使用する場合がある。このため、高価な高精細の物体追尾型監視カメラを用いたとしても通信網の伝送容量が小さいので、遠隔の監視モニタに対して監視映像を直ぐに容易に伝送させることができないという課題があった。
【００２７】
また、監視モニタ側では、監視対象のエリアに異常な動きをしている人物等或いは注意するべき個所については拡大して瞬時に見たい。或いは、目的に応じた解像度で瞬時に監視対象のエリアに異常な動きをしている人物等或いは注意するべき個所については拡大して見たい。
【００２８】
しかしながら、従来の高精細の物体追尾型監視カメラによるシステムは、通信網の伝送容量に関わりなく単に映像を送信するだけであるので、監視モニタ側では、高精細の物体追尾型監視カメラを使用しているのにも関わらず、映像が得られるまでに時間がかかるという課題があった。
【００２９】
また、監視モニタ側で目的の解像度で見るためには、高精細の物体追尾型監視カメラから映像を一旦記憶するメモリと、任意の解像度に編集しなおす処理が必要であるから監視モニタ側が高価になるという課題があった。
【００３０】
本発明は以上の課題を解決するためになされたもので、高精細カメラでの監視エリアの映像を連続記憶してもメモリ容量を低減でき、かつ必要な箇所は監視者の要望に添った画像表示並びにも直ぐに高精細の画像を相手側に提供することが可能な監視映像の追尾映像監視装置を得ることを目的とする。
【００３１】
すなわち、監視する所定領域に新たな物体又は動きのある物体を検出したとき、この物体画像を効率的に見せるための互いに異なる複数の解像度で記憶すると共に、全体画像はダウンサンプリングした画像でメモリにそれぞれを所定領域に関連着けて記憶する。
【００３２】
これによって、監視映像を連続記憶してもメモリ容量を低減でき、かつ必要な箇所は監視者の要望に応じた画像表示並びに通信回線の伝送容量が小さくても直ぐに高精細の画像を相手側に提供することが可能とするものである。
【課題を解決するための手段】
【００３３】
本発明は、第１の解像度で一定範囲を広角に撮影する監視カメラから得られた全体画像の中の新たな物体の物体画像を前記第１の解像度で、かつ前記全体画像は前記第１の解像度より低い第２の解像度で記憶して、これらの全体画像、物体画像を再生する監視映像の追尾映像監視装置であって、前記監視カメラが出力する前記第１の解像度の全体画像データを、ダウンサンプリングした第２の解像度の全体画像データを得てメモリに記憶して、これをそのまま表示又は出力する全体背景映像検出部と、前記全体背景映像検出部に同期して、前記第１の解像度の今回の全体画像のデータが前記監視カメラから得られたとき、該今回の全体画像データと前回の前記ダウンサンプリングした全体画像データ又は前記第１の解像度の前回の全体画像データとの比較で、新たな物体の物体画像を検出する手段と、これらの物体画像の前記監視カメラの撮像素子上の位置情報、大きさ関連情報、前記全体画像データのフレーム番号、からなるシーン記述情報を生成すると共に、このシーン記述情報と前記検出された物体画像とを前記全体画像に関連付けて記憶する手段とを備えた前記物体映像検出部と、前記画面に表示された全体画像上で前記シーン記述情報の物体画像が指定が指定されたとき、該指定位置に対応する前記シーン記述情報を有する複合映像データを前記メモリから検索して、該複合映像データに関連付けられている前記第１の解像度の物体画像のデータを、前記画面の指定位置に重ね表示させる部分映像重ね部とを有することを要旨とする。
【００３４】
また本発明は、第１の解像度で一定範囲を広角に撮影する監視カメラから得られた全体画像の中から物体の物体画像を、前記第１の解像度以上（第１の解像度含む）の複数の解像度で記憶して、前記全体画像は前記第１の解像度以下（第１の解像度含まない）の低い第２の解像度で再生すると共に前記物体画像を、前記複数の解像度のいずれかの解像度で再生する監視映像の追尾映像再生装置であって、前記監視カメラが出力する前記第１の解像度の全体画像データを、ダウンサンプリングした前記第２の解像度の全体画像データを得て、これを画面にそのまま表示又は出力する全体背景映像検出部と、前記第１の解像度の今回の全体画像のデータが前記監視カメラから得られたとき、該今回の全体画像データと前回の前記ダウンサンプリングした全体画像データ又は前記第１の解像度の前回の全体画像データとの比較で、新たな物体の物体画像を検出し、該検出した物体画像の前記監視カメラの撮像素子上の位置情報、大きさ関連情報、前記全体画像のデータのフレーム番号、からなるシーン記述情報を生成する物体映像検出部と、前記全体画像データ及び前記物体画像データの取り込みに同期して、前記全体画像データの中から新たな物体の物体画像が前記物体映像検出部で検出される毎に、該物体画像を前記複数の解像度で前記シーン記述情報に関連付け、これらを複合映像データとしてメモリに保存する複数解像度物体映像作成部と、前記画面に表示された全体画像上で前記シーン記述情報の物体画像が指定が指定されたとき、該指定位置に対応する前記シーン記述情報を有する複合映像データを前記メモリから検索して、該複合映像データに関連付けられている前記複数の解像度のいずれかの解像度の物体画像のデータを、前記画面の指定位置に重ね表示させる部分映像重ね部とを有することを要旨とする。
【発明の効果】
【００３５】
以上のように本発明によれば、１台の監視ビデオカメラを使用するだけで、重要でないデータ（背景映像）は低解像度で記録し、重要なデータ（検出物体）は高解像度で記録するので、監視ビデオカメラの使用台数が１台で済み、記録ファイルの容量を削減することができる。また、監視システムにおいて、全体画像の中から新たに物体を検出したときに、この検出された物体画像のみを高解像度で記憶するので、高精細カメラを使用していてもメモリ容量を低減できる。
【００３６】
さらに、監視操作者が検出物体の詳細を知りたい場合には、検出物体を操作手段から指定すれば、モニターには検出物体の詳細映像（高精細映像）を拡大表示させることができる。
【００３７】
また、本発明によれば、拡大率に応じて高解像度の物体映像を、異なる解像度の物体映像にして保存し、背景画像上で物体が指定されると、この指定された領域の解像度の物体画像を画面の指定位置に重ね表示する。この解像度は、それぞれの解像度が異なっている場合もあるので、監視者が希望の解像度の物体画像を見ることができる。
【００３８】
さらに、拡大率に応じた解像度の部分映像（物体映像）を自動的に得られるので、ズームカメラ等を必要としない。
【００３９】
また、全体画像を送信した後に解像度が高い物体画像を通信網で送信するので、通信網の伝送容量が小さくとも高精細カメラの高解像度の画像を瞬時に得ることが可能となる。
【００４０】
また、ダウンサンプリングさた第１の解像度の全体画像と、この第１の解像度以上の物体画像とがそれぞれ圧縮されて保存される。このため、高精細カメラで全体画像を複数の物体画像とを得た他してもメモリ容量をさらに低減できる。
【発明を実施するための最良の形態】
【００４１】
図１は本実施の形態１の監視映像の追尾映像監視装置の概略構成図である。本実施の形態は、一台の高精細監視カメラを利用することにより、複数の物体追尾を可能とするものである。
【００４２】
例えばＭＰＥＧ４の記録方式ではマルチビデオストリーム（デジタル映像、アナログ映像）を同期して所定の解像度の画像を記録再生することにより、高精細画像を長時間記録可能とするものである。また、監視者は重要部分を拡大表示することを指示すると、その重要部分である部分画像（物体画像ともいう）を全体画像よりも高解像度で表示することを可能としている。
【００４３】
前述の高精細監視ビデオカメラは、図１０（Ａ）に示すネットワーク型監視カメラと、図１０（Ｂ）に示すアナログ監視カメラの２種類を使用することができる。
【００４４】
例えば、ネットワーク型監視カメラ５０は、図１０（Ａ）に示すように、10BaseTや100BaseTなどのイーサーネット（登録商標）によるLANに接続されて動作する。
【００４５】
ネットワーク型監視カメラ５０は、一般的に画像を連続的な圧縮された静止画像として出力し、多くはJPEGの画像ファイルフォーマットを採用している。中には、MPEG圧縮して動画ストリームとして出力するものもある。また、複数のカメラ入力に対応する場合には、ルーター５１によって切り替える。
【００４６】
ネットワーク型監視カメラ５０から送られた映像は、圧縮されているので、本実施の形態の拡大率に応じた物体画像の解像度レベルの変更を行う画像処理を行う前段階として、先ず画像の伸張復元を行うことはいうまでもない。
【００４７】
この解像度レベルの変更とは、例えば一つ又は複数の物体画像毎に、解像度を異ならせて保存し、監視者が希望の解像度の物体画像を表示させることを可能とするものである。この実施の形態については後述する。
【００４８】
一方、図１０（Ｂ）に示すように、従来型の高精細のアナログ監視ビデオカメラ１１は、非圧縮の映像出力を出力する。この場合は、映像の伸張、復元処理は不要となる。高精細アナログ出力の場合には、フレームキャプチャーを行い、デジタルへの変換を行うことはいうまでもない。
【００４９】
本実施の形態１では高精細ビデオ監視カメラがアナログ信号を出力するものとして説明
する。
【００５０】
＜実施の形態１＞
図１に示すように、監視映像の追尾映像監視装置装置１０は、高精細監視ビデオカメラ１１に接続されている。この監視映像の追尾映像監視装置１０は、高精細映像取込部１２と、物体検出部１３と、全体背景映像検出部１４と、追尾データ作成部１５と、第１の部分映像重ね部１７と、拡大指示部１８と、ＨＤＤを有する記憶部２０とを備えて、物体の画像を検出して保存する。また、追尾映像監視装置１０は物体画像の取り込みには、全体の背景画像と同期してこれらの物体画像を取り込んで保存している。これによって、２台のカメラを必要としないで、背景画像と同期した物体画像（部分画像）を、ズームインに相当する解像度で得ることを可能とするものである。
【００５１】
前述の高精細監視ビデオカメラ１１は、解像度がＶＧＡ（横６４０×縦４８０）以上の解像度（例えば横１０２４×縦７６８、横１６００×縦１２００又は横３２００×縦２４００、・・）であり、対象物の領域を広角的（複数の物体と背景）に撮影する。また、この高精細監視ビデオカメラ１１は、コンビニ、大型店に設けられるのが好ましい。
【００５２】
高精細映像取込部１２は、フレームキャプチャーを備え、高精細監視ビデオカメラ１１の映像の走査線情報（ＮＴＳＣ））を入力して、Ａ／Ｄ変換器１２ａでデジタル変換する。そして、この映像データをフレームメモリ１２ｂ（図示せず：フィールドメモリでもよい）に書き込む。
【００５３】
物体検出部１３と全体背景映像検出部１４とを総称して画像処理部１９と称することもある。
【００５４】
物体検出部１３は、基準画像（前回の全体画像：背景画像）との比較で物体を検出する。つまり、高精細度映像取り込み部１２からの画像信号が物体検出部３に入力する毎に、この物体検出部１３内の図示しない記憶部に保存されている基準画像（前回の全体画像）との輝度を比較する。そして、新たな物体の画像を検出する。そして、この物体画像を記憶部２０の第１の物体映像記憶ファイル２２に保存させる。
【００５５】
より具体的には、今回の全体画像の類似する画素情報を整理して、全体画像の中の物体画像を抽出する。そして、前回の全体画像の物体画像を抽出し、この今回の物体画像に類似する今回の物体画像の座標が相違しているかどうかを判断し、相違している場合に新たな物体又は物体が移動したと判定する。
【００５６】
そして、物体と検出されたこれらの物体画像は、高精細映像（例えば横３２００×縦２４００）の解像度を変更せずに、その一部を選択的（予め設定されているシーン領域）に取り出して、第１の物体映像記憶ファイル２２に保存される。
【００５７】
また、この物体検出においては、後述する全体背景画像検出部１４から得られるダウンサンプリングされた粗い画像同士の比較であっても良い。この場合にはデータ量が少なく比較検出時間が短くて済む。
【００５８】
また、物体検出部１３は、物体の検出であるシーン領域（例えば四角の領域；ドア付近、窓、商品棚、レジ、廊下等）とその位置情報と物体の大きさに関連する情報としての枠の大きさ、時間情報などをシーン記述データとしてシーン記述ファイル２３に保存する。
【００５９】
これらの情報は、背景画像上に高精細画像の物体画像を重ね表示する場合に、その重ね表示する場所と範囲とを決めるために用いたり、物体画像を所望の倍率で重ね表示させる場合の基準となる情報として用いられる。
【００６０】
また、このシーン記述データは、物体を検出するためのウインドウとしても用いられる。つまり、シーン記述データの領域に物体が入ったときに、新たな物体が検出されることになる。
【００６１】
前述のシーン記述データを記録する方法として、本実施形態では、MPEG４の方式を採用した。
【００６２】
MPEG４の方式では、全体背景映像Ａや目的物である物体画像データＢ（部分画像データともいう）は、それぞれ互いに同期した動画のストリームとして記録される。この記録方法に限らずフレームごとに、全体背景映像Ａと物体映像データＢ（複数または単数）それぞれの静止画像を、JPEGやBMPその他の静止画像形式にて記録することもできる。
【００６３】
この静止画像記録方法は、全体の背景画像と目的物の映像の同期をとることが比較的容易な方法である。しかし、MPEGやMPEG4などの動画圧縮方式などのように、目的物映像のフレーム間での画像圧縮を行うことができないので、記録画像のデータ量が大きくなる。
【００６４】
また、動画圧縮方式では、映像ストリームの中に音声データを含むことも容易である。
【００６５】
また、前述のシーン記述データは、シーン記述ファイル２３に番号が付加されて記憶される。
【００６６】
全体背景映像検出部１４は、高精細監視ビデオカメラ１１からの映像信号がフレームメモリ１２ｂに取り込まれる毎に、物体検出部１３に同期して全体の背景画像を粗く抽出し、全体背景映像記憶ファイル２１に時間情報を付けて記憶すると共に、そのまま画面１６に出力する。この粗く検出して保存することを、本実施の形態ではダウンサンプルと称する。
【００６７】
例えば、高精細監視ビデオカメラ１１で撮影した高精細映像（１６００×１２００）の全体の背景画像をVGAレベル（横６４０×縦４８０）の標準表示の映像で保存する。
【００６８】
すなわち、高精細監視ビデオカメラ１１からの映像の内で、全体の背景画像は粗い解像度で保存し、物体の映像は高精細の解像度（ＶＧＡレベル以上）のままで取り出して保存する。このため、高精細監視ビデオカメラ１１で撮影したとしても、検出された物体の映像のみが高精細の解像度で保存されるので、メモリ容量を低減できることになる。従って、比較的重要でない部分（背景画像）の記録解像度を落とすことができるので、ファイルのサイズの節約を行うことができる。
【００６９】
追尾データ作成部１５は、物体検出部１３で物体が検出される毎に、フレームメモリ１２ｂ上の物体の位置情報（シーン領域）と、物体検出符号とをリンク付けさせ、前回と今回の位置情報に基づいて追尾位置を求め、これらを追尾データとして追尾ファイル２４に保存する。
【００７０】
また、追尾データ作成部１５は、物体を追尾する毎に、物体の位置情報を中心とした四角枠（ピクセル座標で四角枠を生成）を生成し、この枠で画面１６の物体を囲み、追尾していることを知らせる。これを本実施の形態では追尾枠Ｐｉと称する（図２を参照）。
【００７１】
第１の部分映像重ね部１７は、画面１６上での追尾枠Ｐｉが指定される毎に、指定された位置情報に対応する部分画像（高精細解像度）を第１の物体映像記憶ファイル２２から読み込み、この部分画像を指定された追尾枠Ｐｉの画像に重ね表示（スーパーインポーズ）又はこの高精細解像度の部分映像に更新する。
【００７２】
また、第１の部分映像重ね部１７は、入力された時間情報に対応するシーン記述データを読み、このシーン記述データの番号を有する全体画像及び部分画像を読み込んでこの部分画像を全体画像のシーン記述データが示す位置に重ね表示する。
【００７３】
拡大指示部１８は、画面１６に表示されている追尾枠Ｐｉの部分画像が指定され、かつ図示しないリモコン等を介してこの部分画像の拡大倍率が入力されたとき、この拡大率に基づいて追尾枠Ｐｉ及び部分画像を拡大する。
【００７４】
すなわち、背景画像が粗く表示され、選択された多数の物体画像が高解像度で画面に表示されると共に、目的とする物体画像（例えば顔）は拡大される。この拡大表示された画像は高解像度の詳細な映像となるので、監視者はどのような物体画像かを把握できる（顔の場合は、より詳細に顔を把握できる）。
【００７５】
記憶部２０の第１の物体映像記憶ファイル２２は、高精細監視ビデオカメラ１１で得られた高精細の部分画像（物体画像）がフレーム番号と共に保存される。
【００７６】
全体背景映像記憶ファイル２１には、高精細監視ビデオカメラ１１で得られた高精細の多数の物体画像（部分画像）と、粗くサンプリングされた標準解像度の全体の背景画像がフレーム番号と共に保存される。
【００７７】
シーン記述ファイル２３には、物体の検出領域と位置情報と大きさなどがシーン記述データとしてフレーム番号と共に保存されている。
【００７８】
上記のように構成された監視映像の追尾映像監視装置について以下に動作を説明する。
【００７９】
高精細監視ビデオカメラ１１で監視対象の場所を撮像すると、この監視対象の映像信号（ＮＴＳＣ）が高精細映像取込部１２に出力されて、フレームメモリ１２ｂに書き込まれる。
【００８０】
このフレームメモリ１２ｂの映像データの内で、物体検出部１３で検出された全ての物体画像は第１の物体映像記憶ファイル２２にコピーされ（図３を参照）、全体の背景画像（全体画像）はダウンサンプリングされて全体背景画像記憶ファイル２１に書き込まれると共に、画面１６に全体画像がそのまま表示される（図３を参照）。
【００８１】
通常、この全体の背景画像の解像度はVGAレベルと呼ばれる解像度か、それ以下である。
【００８２】
全体画像は、通常固定された高精細監視ビデオカメラ１１では変化が無い部分だけを連続的に撮影することになるので、圧縮率を高めて記録し、他の重要部分のデータ記録に記録容量が割り当てられるようにするのが好ましい。
【００８３】
また、検出された多数（１つでもよい）の物体は、追尾データ作成部１５によってその物体が四角で囲まれて図２に示すように表示される。図３においては、物体１から物体４としている。つまり、目的物が検出され、追尾が開始された場合には、画面上にその物体
の存在と動きを示すために、四角形の追尾枠Ｐｉで囲み、監視操作者に知らせる。
【００８４】
このとき、画像処理部１９は図３に示す処理を行っている。すなわち、図１に示すように全体背景映像検出部１４がフレームメモリ１２ｂに保存された高精細の映像を、粗い解像度で全体背景映像ファイル２１に時間情報と共に保存（ダウンサンプル）する。
【００８５】
また、図１に示すように物体検出部１３は、フレームメモリ１２ｂに全体の背景映像（全体画像）が保存される毎に、新たに物体（部分映像）を検出する。そして、検出する毎に、その位置情報（座標）と大きさ等をシーン番号、時間情報を記述したシーン記述データをシーン記述ファイル２３に保存すると共に、物体（部分画像）を第１の物体映像記憶ファイル２２に、全体画像の時刻情報を付加して複数保存（物体１、物体２、物体３、物体４）する（図３を参照）。
【００８６】
前述のシーン記述データと全体画像と検出された多数の物体画像とは、図１に示すように物体検出部１３と全体背景映像検出部１４とが同期してそれぞれを検出するものである。このため、シーン記述データ、全体の背景映像（全体画像）、物体画像（部分画像）とは同期している。また、本実施の形態ではシーン記述データ、全体の背景画像、物体画像を総称して複合映像データＦｉと称している（図３を参照）。
【００８７】
つまり、複合映像データＦｉを構成するシーン記述データと全体の背景画像と物体画像（物体１、物体２、・・・：全体画像内の検出物体）とはリンク付けされている。
【００８８】
すなわち、複合映像データＦｉには、全体画像から検出された物体画像と全体画像と位置情報、領域の大きさ等が１つの全体画像に割り付けられていることになる。
【００８９】
このため、高精細の監視カメラを用いて物体を検出しても、新たに検出された部分のみの必要な部分だけの高精細の部分画像と低解像度の全体画像とが記憶されるので、メモリ容量を低減できる。
【００９０】
一方、再生時の動作を図４を用いて説明する。ダウンサンプリングした後に、圧縮率を高めて記憶した全体の背景画像（全体画像）を復元して表示する。つまり、物体、背景とも粗く表示されていることになる。
【００９１】
そして、例えば、シーン記述データの領域（四角の枠）に物体を検出したときは、図１に示す追尾データ作成部１５は、図４に示すように、検出した物体を追尾枠Ｐｉで囲んで、監視者に物体を検出して追尾していることを知らせる。
【００９２】
また、第１の部分映像重ね部１７は、指示された画面の物体画像の位置情報及び拡大率ｈｉを読み、この位置情報を有する複合映像データＦｉを検索する。そして、この複合映像データＦｉの高精細の解像度の部分画像を第１の物体映像記憶ファイル２２から読み込み、これを追尾枠Ｐｉ内に表示する（図４参照）。
【００９３】
そして、監視者が画面１６の目的の物体画像を拡大表示の指示すると、この物体画像の追尾枠Ｐｉ内の高精細の解像度の部分画像とが拡大表示されることになる。
つまり、拡大表示しても、その部分画像は、目的物の部分だけが詳細な映像を表示となる。
【００９４】
この拡大表示の方法は、単なるピクセル重複でも良い。又は、画像を少しでもさらに滑らかに表示するならばBiLinear補完などの画像処理を行い拡大する。本実施形態では後者（例えば、BiLinear補完）を採用した。
【００９５】
＜実施の形態２＞
図５は実施の形態２の監視映像の追尾映像監視装置の概略構成図である。図５に示す実
施の形態２の監視映像の追尾映像監視装置３０は、実施の形態１中における第１の部分映像重ね部１７の代わりに、複数解像度物体映像作成部３３と解像度・倍率対応ファイル３６と第２の部分映像重ね部３７とを備えている。
【００９６】
解像度・倍率ファイル３６は、解像度ｋ１、ｋ２、・・の識別コードと物体画像の拡大率ｈ１、ｈ２とが対応させられて保存されている。
【００９７】
第２の部分映像重ね部３７は、拡大指示部１８からの拡大率ｈｉ及び画面上で指定された物体画像の位置情報（シーン領域の位置）を読み、この拡大率ｈｉに対応する解像度ｋｉの識別コードを解像度・倍率対応ファイル３６から読み込む。そして、読み込んだ位置情報及び解像度ｈｉを有するシーン複合映像データＦｉ（シーン記述データ、全体背景映像、部分映像を検索して、これを指定の部分映像に重ねる又は更新する。
【００９８】
複数解像度物体映像作成部３３は、高精細監視ビデオカメラ１１からの映像がフレームメモリ１２ｂに保存されて、物体検出部１３によって物体画像が検出される毎に、解像度ｋ１、解像度ｋ２、解像度ｋ３・・・の物体画像を作成して第２の物体映像記憶ファイル３５に保存する。つまり、高精細監視ビデオカメラ１１の解像度が横３２００×縦２４００の解像度の場合において、物体が検出される毎に、粗くサンプリングした解像度ｋ１（例えば横１０２４×縦７６８）の物体画像を第２の物体映像記憶ファイル３５に作成する。また、少し粗くサンプリングした解像度ｋ２（横１６００×縦１２００）の物体画像を物体映像記憶ファイル３５に作成する。さらに、解像度ｋ３（横３２００×縦２４００）の物体画像を第２の物体映像記憶ファイル３５に作成する。このとき、複数解像度物体映像作成部３３は、解像度・倍率ファイル３６に、解像度の識別コードと拡大率の記号とを対応させて記憶する。
【００９９】
例えば、解像度ｋ１の識別コードには、最小倍率で表示の記号を、解像度ｋ２の識別コードには次の拡大率で表示の記号、解像度ｋ３には最大の拡大率で表示の記号を対応させる。つまり、複数解像度物体映像作成部３３は、解像度毎に、拡大率を予め対応させてメモリに保存し、解像度に応じた拡大率をファイル３６に保存する。
【０１００】
すなわち、シーン記述データ（物体枠の大きさ、位置情報、フレーム番号、シーン番号）がシーン記述ファイル２３に記憶される。そして、全体の背景画像が全体背景映像ファイル２１に記憶され、解像度ｋ１の物体画像と解像度ｋ２の物体画像と解像度ｋ３と物体画像とが第２の物体映像記憶ファイル３５に記憶され、かつ解像度・倍率対応ファイル３６には、解像度の識別コードと拡大率とが記憶されていることになる。これはシーン番号（フレーム番号でもよいし若しくは時間でもよい）でリンク付けされており、本実施の形態では総称してシーン複合映像データＦｉと称している。
【０１０１】
次に、全体の背景映像（全体画像）は、全体背景映像検出部１４がダウンサンプリングして標準表示の解像度（横６４０×縦４８０）で画面にそのまま表示する。つまり、粗い全体の背景画像となる。
【０１０２】
そして、第２の部分映像重ね部３７は、拡大指示部１８からの拡大率ｈｉ（３倍、６倍・・）を読み込み、この拡大率の記号を有するシーン複合映像データＦｉを記憶部２０から読み込む。
【０１０３】
つまり、読み込んだ拡大率ｈｉに対応する拡大率を有する解像度の識別コードを解像度・倍率対応ファイル３６から検索し、検索した識別コードにリンク付けされているシーン番号を有する解像度ｋｉ（ｋ１、ｋ２、・・）の物体画像を第２の物体映像記憶ファイル３５から検索する。そして、この解像度の物体映像（拡大率にリンク付）を読み出して追尾枠Ｐｉ内に重ねる。そして、拡大指示部１８は、指示された拡大率ｈｉで追尾枠画像を拡大する。
【０１０４】
これによって、図６に示すように、１フレームのシーン記述データ、ダウンサンプリングされた全体画像、解像度ｋ１で最小倍率ｈ１での表示の部分画像と、解像度ｋ２で次の倍率ｈ２で表示の部分画像と、解像度ｋ３で最大倍率ｈ３で表示の部分画像とが保存されている。
【０１０５】
そして、入力された拡大率ｈ１の場合は、解像度ｋ１の物体映像が画面に出力されて拡大率ｈ１で拡大される（拡大表示１）。また、拡大率ｈ２の場合は、解像度ｋ２の物体映像が画面に出力されて拡大率ｈ２で拡大される（拡大表示２）。
【０１０６】
さらに、拡大率ｈ３の場合は、解像度ｋ３の物体映像が画面に出力されて拡大率ｈ３で拡大される（拡大表示３）。図６においては、物体映像を大きくすることによって解像度のレベルの違いを表している（大きくなるほど解像度が高い）。
【０１０７】
従って、拡大率を上げる毎に、自動的に解像度が高くなる形式で物体映像が画面に表示される。このため、カメラ側にパンチルト機構を備えなくとも、追尾が可能となるので費用を低減できる。
【０１０８】
＜実施の形態３＞
図７は実施の形態３の概略構成図である。図７の監視映像の追尾映像再生装置４０は、高精細監視ビデオカメラ１１で得た全体背景映像の中の物体映像は、そのままの解像度で第３の物体映像記憶ファイル４２に保存する。
【０１０９】
すなわち、複合映像データＦｉは、シーン記述データと全体背景映像と高解像度の部分映像とで構成されることになる。
【０１１０】
解像度レベル減少部４１は、拡大指示部１８からの拡大率ｈｉが減少（拡大率小）したかどうかを判断し、減少しているときは、第３の物体映像記憶ファイル４２の高解像度（例えば解像度ｋ３）の物体映像の解像度を、拡大率の減少に伴って減らし（ダウンサンプリング）、この減少した解像度の物体映像を第１の部分映像重ね部１７が追尾枠Ｐｉ内に重ね表示又はこの物体映像に更新する。
【０１１１】
すなわち、図８に示すように、シーン記述データ（物体枠の大きさ、位置情報、フレーム番号、時間情報）と全体背景画像（時間情報付き）と解像度ｋ３の物体映像（時間情報付き）とをリンク付けした複合映像データＦｉを記憶部２０に保存する。
【０１１２】
次に、全体背景映像は、全体背景映像検出部１４がダウンサンプリングして標準表示の解像度（横６４０×縦４８０）でそのまま表示する。
【０１１３】
そして、第１の部分映像重ね部１７が拡大指示部１８からの画面上の追尾枠の画面位置情報を有する複合映像データＦｉを検索して、この複合映像データＦｉの中から位置情報、時間情報に対応する高解像度の物体映像を読み出して重ねる。拡大指示部１８は、例えば最大の拡大率で表示させる（拡大表示３）。
【０１１４】
この状態で拡大率が減少させられると、解像度レベル減少部４１が拡大指示部１８からの拡大率ｈｉを読み、拡大率が減少（１０倍、６倍・・）したかどうかを判断し、減少したときは、減少時の拡大率（６倍、３倍）に対応する解像度ｋｉになるようにダウンサンプリングする。
【０１１５】
これによって、図８（図８は１個の物体検出のみを示している）に示すように、減少率ｗ１の場合は、解像度ｋ２の物体映像が画面に表示され（表示２）、減少率ｗ２の場合は、解像度ｋ１の物体映像が画面に表示される（表示１）。
【０１１６】
従って、画面に表示される物体画像は、拡大率を下げる毎に、自動的に解像度が減少した形式で画面に表示される。
【０１１７】
＜実施の形態４＞
図９は実施の形態４の概略構成図である。実施の形態４は、デジタル信号で出力するネットワーク型監視カメラ５０とアナログ信号を出力する高精細監視ビデオカメラ１１のいずれか一方又は両方が既に店内（例えば、コンビニ）に設置されている場合において、拡大率、減少率の変更に応じて追尾映像の解像度を変更できるようにするものである。
【０１１８】
図９の監視映像の追尾映像再生装置５５は、信号種判別部５６と切換部５７と復号化部５２ａ、Ａ／Ｄ変換器１２ａ、フレームメモリ１２ｂ等からなる画像処理部と、前述の記憶部２０、部分映像重ね部１７、拡大指示部１８、複数解像度物体映像作成部３３等を備えている。
【０１１９】
信号種判別部５６は、入力する信号がアナログ信号（ＮＴＳＣ）かデジタル信号かの違いを判別する。切換部５７は、アナログ信号と判別されたときは、入力する信号をＡ／Ｄ変換器１２ａを介して画像処理部１９に出力する。
【０１２０】
また、切換部５７は、デジタル信号と判別されたときは、入力する信号を復号化部５２ａを介して画像処理部１９に出力させる。この画像処理部１９の後段には前述の記憶部２０、部分映像重ね部１７、拡大指示部１８、複数解像度物体映像作成部３３等（図示せず）が設けられている。
【０１２１】
つまり、ネットワーク型監視カメラ５０からのデジタル信号又は高精細監視ビデオカメラ１１からのアナログ信号が出力されてもその信号の種類に応じてＡ／Ｄ変換又は復号化部を介して画像処理部に渡すので、結果として拡大率、減少率の変更に応じて追尾映像の解像度を変更できる。
【０１２２】
なお、上記実施の形態では、高精細監視ビデオカメラ又はネットワークカメラに外付けした監視映像の追尾映像再生装置として説明したが、この追尾映像再生装置の上記各部を高精細監視ビデオカメラ又はネットワークカメラに備えてもよい。
【０１２３】
さらに、図１１に示すように、高精細の部分映像と全体背景映像とをネットワークで相手先に送信してもよい。図１１においては、ＭＰＥＧ、ＪＰＥＧ等の映像データにして送信するネットワークカメラでもよいが、本実施の形態では図１の高精細監視カメラ１１を用いた監視映像の追尾映像再生装置６０として説明する。
【０１２４】
図１１に示す監視映像の追尾映像再生装置６０は、上記実施の形態１と同様な、高精細映像取込部１２と、物体検出部１３と、全体背景映像検出部１４と、追尾データ作成部１５と、第１の部分映像重ね部１７と、拡大指示部１８と、ＨＤＤを有する記憶部２０等を備え、かつ圧縮部６２、送受信部６３等を備えている。すなわち、圧縮部６２は取り込み指示（オペレータ入力）が入力する毎に、高精細監視ビデオカメラ１１、画像処理部１９を介して第１の物体映像記憶ファイル２２に記憶されている部分映像データを読み出し、これらを圧縮して、送受信部６３に送出する。送受信部６３は、部分映像データを相手先のアドレス宛にネットワーク（インターネット）を介して送信する。
【０１２５】
つまり、動きがあったとき、その物体の部分映像のみを送信するのでネットワークの帯域負担を軽減しながら必要な部分映像を送信できることができる。
【０１２６】
＜実施の形態５＞
図１２は実施の形態５の監視映像の追尾映像再生装置の概略構成図である。図１２に示す実施の形態２の監視映像の追尾映像再生装置７０は、実施の形態２中における複数解像度物体３３に代えて第２の複数解像度物体映像作成部７１と、第２の部分映像重ね部３７に代えて第３の部分映像重ね部７３を備えている。また、  解像度・倍率ファイル３６は本実施の形態では備えない。
【０１２７】
第３の部分映像重ね部７１は、拡大指示部１８からの画面上で指定された物体映像の位置情報を読み、この位置のシーン記述データを読み込む。そして、このシーン記述データにリンク付けされている部分映像（解像度ｋ１、解像度ｋ２、・・・）を第２の物体映像記憶ファイル３５から読み込み、この部分映像を画面上の指定位置の領域に重ね表示させる。
【０１２８】
第２の複数解像度物体映像作成部３３は、高精細監視ビデオカメラ１１からの映像がフレームメモリ１２ｂに保存されて、物体検出部１３によって物体映像が検出される毎に、この物体映像を解像度ｋ１、解像度ｋ２、解像度ｋ３・・・でサンプリングして第２の物体映像記憶ファイル３５に保存する。つまり、高精細監視ビデオカメラ１１のシーンに対応する領域画像（部分映像）の解像度が解像度ｋ１（例えば横１０２４×縦７６８）の物体映像、少し粗くサンプリングした解像度ｋ２（横１６００×縦１２００）の物体映像、解像度ｋ３（横３２００×縦２４００）の物体映像を第２の物体映像記憶ファイル３５に作成する。このような解像度は、オペレータが設定している。つまり、任意に解像度は変更できる。
【０１２９】
すなわち、図６に示すように、シーン記述データ（物体枠の大きさ、位置情報、フレーム番号、時間情報）と全体背景画像（時間情報付き）と解像度ｋ１の物体画像（時間情報付き）と解像度ｋ２の物体画像（時間情報付き）と解像度ｋ３の物体画像（時間情報付き）とをリンク付けした複合映像データＦｉが複数保存される。
【０１３０】
また、全体背景映像は、全体背景映像検出部１４がダウンサンプリングして標準表示の解像度（横６４０×縦４８０）で画面にそのまま表示される。
【０１３１】
そして、第３の部分映像重ね部７３は、画面に表示されている物体映像が指定されると、ファイル３５から、その位置情報を有する複合映像データＦｉを検索して、この複合映像データＦｉの中から物体映像を読み出して重ね表示する。このとき、オペレータは希望の解像度ｋｉを指定する。そして、拡大指示部１８は、オペレータによって指示された拡大率ｈｉでこの部分映像を拡大表示する。
【０１３２】
これによって、図６に示すように、解像度ｋ１、ｋ２、ｋ３・・の物体映像が拡大又は縮小されて画面されることができる。
【０１３３】
従って、カメラ側にパンチルト機構を備えなくとも、追尾が可能となるので費用を低減できる。
【０１３４】
＜実施の形態６＞
図１３は実施の形態６の監視映像の追尾映像再生システムの概略構成図である。図１３に示す監視映像の追尾映像再生システムは、監視映像の追尾映像再生装置８０と監視端末装置８３とを通信回線網（インターネット網、専用回線、ブロードバンド等）で接続してなる。
【０１３５】
監視端末装置８３は、伝送処理部８１を備えている。この伝送処理部８１は、監視端末装置８３で指定された追尾枠Ｐｉの位置情報に対応するシーン記述データをファイル２３から引当て、このシーン記述データにリンク付けされている高解像度の部分映像（ｋ１、ｋ２又はｋ３）を抽出して、通信網８２を介して監視端末装置８３に送信する。
【０１３６】
また、伝送処理部８１は、ファイル２０から全体背景映像（低解像度）を読み込み、これを通信網８２を介して監視端末装置８３に送信する。このとき、伝送処理部８１は、圧縮して送信することがこのましい。
【０１３７】
一方、監視端末装置８３は、解像度を選択させるためのサブ画面を表示する
手段を有し、サブ画面に表示された解像度（ｋ１、ｋ２、ｋ３・・）が選択されると、画面の追尾枠Ｐｉの位置情報と共（一組にして）に、通信網８２を介して監視映像の追尾映像再生装置８０に送信する。
【０１３８】
そして、監視映像の追尾監視装置８０から全体映像を画面に表示し、追尾枠Ｐｉの部分映像をこの追尾枠Piに表示する。また、この追尾枠の部分映像を拡大する手段（図示せず）を備えている。
【０１３９】
従って、遠隔地点にある監視端末装置８３に対して映像を送っても、全体映像は低解像度であり、部分映像だけが高解像度であるので、伝送容量が小さくて監視に適した映像を伝送させることが可能となっている。
【産業上の利用可能性】
【０１４０】
本発明は、コンビニ、パチンコ店、大型店舗等の不審者の監視において、利用することが有効である。
【図面の簡単な説明】
【０１４１】
【図１】本実施の形態１の実施形態の監視映像の追尾映像監視装置の概略構成図である。
【図２】本実施の形態１の追尾画面を説明する説明図である。
【図３】本実施の形態１の複合映像データの生成を説明する説明図である。
【図４】本実施の形態１の物体映像の再生を説明する説明図である。
【図５】本実施の形態２の実施形態の監視映像の追尾映像監視装置の概略構成図である。
【図６】本実施の形態２の物体映像の再生を説明する説明図である。
【図７】本実施の形態３の監視映像の追尾映像監視装置の概略構成図である。
【図８】本実施の形態３の物体映像の再生を説明する説明図である。
【図９】本実施の形態４の監視映像の追尾監視装置の概略構成図である。
【図１０】本実施の形態の使用例を説明する説明図である。
【図１１】他の実施の形態の概略構成図である。
【図１２】実施の形態５の監視映像の追尾映像監視装置の概略構成図である。
【図１３】実施の形態６の監視映像の追尾映像監視装置の概略構成図である。
【符号の説明】
【０１４２】
１０  監視映像の追尾映像再生装置
１１  高精細監視ビデオカメラ
１２  高精細映像取込部
１３  物体検出部
１４  全体背景画像検出部
１５  追尾データ作成部
１７  第１の部分映像重ね部
８３  監視端末装置
８１  伝送処理部
【図１】
2006033793.tif 000003
【図２】
2006033793.tif 000004
【図３】
2006033793.tif 000005
【図４】
2006033793.tif 000006
【図５】
2006033793.tif 000007
【図６】
2006033793.tif 000008
【図７】
2006033793.tif 000009
【図８】
2006033793.tif 000010
【図９】
2006033793.tif 000011
【図１０】
2006033793.tif 000012
【図１１】
2006033793.tif 000013
【図１２】
2006033793.tif 000014
【図１３】
2006033793.tif 000015
【手続補正書】
【提出日】平成17年8月23日(2005.8.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の解像度で一定範囲を広角に撮影する監視カメラから得られた全体画像の中の新たな物体の物体画像を前記第１の解像度で、かつ前記全体画像は前記第１の解像度より低い第２の解像度で記憶して、これらの全体画像、物体画像を再生する追尾映像再生装置であって、
前記監視カメラが出力する前記第１の解像度の全体画像データを、ダウンサンプリングした第２の解像度の全体画像データを得てメモリに記憶し、これをそのまま表示又は出力する全体背景映像検出部と、
前記全体背景映像検出部に同期して、前記第１の解像度の今回の全体画像のデータを、前記監視カメラから取得したとき、該今回の全体画像データと前回の前記ダウンサンプリングした全体画像データ又は前記第１の解像度の前回の全体画像データとの比較で、新たな物体の物体画像を検出する手段と、
これらの物体画像の前記監視カメラの撮像素子上の位置情報、大きさ関連情報、前記全体画像データのフレーム番号、からなるシーン記述情報を生成すると共に、このシーン記述情報と前記検出された物体画像とを前記全体画像に関連付けて記憶する手段とを備えた前記物体映像検出部と、
前記画面に表示された全体画像上で前記シーン記述情報の物体画像が指定が指定されたとき、該指定位置に対応する前記シーン記述情報を有する複合映像データを前記メモリから検索して、該複合映像データに関連付けられている前記第１の解像度の物体画像のデータを、前記画面の指定位置に重ね表示させる部分映像重ね部と
を有することを特徴とする追尾映像再生装置。
【請求項２】
前記画面の重ね表示された物体画像を、指定の倍率で拡大表示する拡大指示部とを有することを特徴とする請求項１記載の追尾映像再生装置。
【請求項３】
前記複合映像データ及びシーン記述情報の全体画像及び物体画像は、時間情報がそれぞれリンク付けされ、
前記部分映像重ね部は、
前記時間情報をキーとして前記複合映像データ検索し、前記時間情報に対応する前記全体画像を画面に表示させて前記時間情報の物体画像を検索して前記重ね表示させることを特徴とする請求項１又は２記載の追尾映像再生装置。
【請求項４】
第１の解像度で一定範囲を広角に撮影する監視カメラから得られた全体画像の中から物体の物体画像を、前記第１の解像度以上の複数の解像度で記憶して、前記全体画像は前記第１の解像度未満の低い第２の解像度で再生すると共に前記物体画像を、前記複数の解像度のいずれかの解像度で再生する追尾映像再生装置であって、
前記監視カメラが出力する前記第１の解像度の全体画像データを、ダウンサンプリングした前記第２の解像度の全体画像データを得て、これを画面にそのまま表示又は出力する全体背景映像検出部と、
前記第１の解像度の今回の全体画像のデータが前記監視カメラから得られたとき、該今回の全体画像データと前回の前記ダウンサンプリングした全体画像データ又は前記第１の解像度の前回の全体画像データとの比較で、新たな物体の物体画像を検出し、該検出した物体画像の前記監視カメラの撮像素子上の位置情報、大きさ関連情報、前記全体画像のデータのフレーム番号、からなるシーン記述情報を生成する物体映像検出部と、
前記全体画像データ及び前記物体画像データの取り込みに同期して、前記全体画像データの中から新たな物体の物体画像が前記物体映像検出部で検出される毎に、該物体画像を前記複数の解像度で前記シーン記述情報に関連付け、これらを複合映像データとしてメモリに保存する複数解像度物体映像作成部と、
前記画面に表示された全体画像上で前記シーン記述情報の物体画像が指定が指定されたとき、該指定位置に対応する前記シーン記述情報を有する複合映像データを前記メモリから検索して、該複合映像データに関連付けられている前記複数の解像度のいずれかの解像度の物体画像のデータを、前記画面の指定位置に重ね表示させる部分映像重ね部と
を有することを特徴とする追尾映像再生装置。
【請求項５】
前記複数解像度物体映像作成部は、
予め所定の拡大率に、前記複数の解像度の識別コードが関連付けて保存し、
前記物体映像検出部が前記物体画像を前記複数の解像度でそれぞれ検出したとき、該解像度の物体画像の解像度に対応する前記保存された拡大率を前記複合映像データに割り付けて保存する手段を有し、
前記部分映像重ね部は、
前記画面に表示された全体画像上で前記シーン記述情報の物体画像が指定されたとき、該指定位置に対応する前記シーン記述情報を有する複合映像データを前記メモリから検索し、該複合映像データの内で、入力された拡大率に対応する解像度の物体画像を検索して、前記画面の指定位置に重ね表示させる手段を有し、
さらに、前記画面上の指定位置の物体映像を前記指定の拡大率で拡大させる拡大指示部とを有することを特徴とする請求項４記載の追尾映像再生装置。
【請求項６】
前記複合映像データ及びシーン記述情報の全体画像及び物体画像は、時間情報がそれぞれリンク付けされ、
前記部分映像重ね部は、
前記時間情報をキーとして前記複合映像データ検索し、前記時間情報に対応する前記全体画像を画面に表示させて前記時間情報の物体画像を検索して前記重ね表示させることを特徴とする請求項４又は５記載の追尾映像再生装置。
【請求項７】
前記全体画像データ及び物体画像データを、圧縮して前記メモリに前記複合映像データに含ませて保存し、再生時にはこれを復号して前記画面に表示又は出力する手段とを有することを特徴とする請求項４、５又は６記載の追尾映像再生装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、追尾映像再生装置に関する。特に、ビデオカメラを使用した監視システムにおいて、1台の監視ビデオカメラの使用の下に、背景全体映像および追尾監視物体の双方を記録し、監視操作者の指示に応じて、高精細あるいは拡大して再生表示することを可能とした追尾映像再生装置に関する。
【背景技術】
【０００２】
監視ビデオカメラシステムでは、経済効果のため、１台の監視カメラによりできるだけ広い範囲の監視を行いたいという要望がある。反面、このようにすると、一台の監視カメラでは監視目的物に関して重要なイベントが発生した場合に、その重要映像部分の充分な解像度を得ることができず、あまり役に立たない映像である場合が多い。
【０００３】
この問題点を解決するには、監視カメラの設置箇所を増やせば良い。しかし、設置箇所を増やすと監視カメラだけでなく、さまざまの接続機器、記録機器、設置等の費用が増大する。こういった状況を打開するために生まれたのが、追尾型監視ビデオカメラシステムである。
【０００４】
従来、最も簡単な追尾型監視ビデオカメラシステムは、物体（人面、人のからだ、車など）を追尾するために、機械的なパンチルト機構（回転・上下移動機構）の台座に乗せられたズームカメラで物体を追尾する。そして、追尾する目的物を検出するためには、先ず背景全体の映像をズームレンズの広角側で捉える。そして、画像処埋、認識処理を行い、目的物の検出と位置判定を行う。その上で、その目的物にズームインし拡大映像を得る（例えば、特許文献１）。
【０００５】
前述の方式は、動く物体を連続的に捉えるためには広角と望遠の繰り返しを行わなければならない。従って、追尾性能が著しく劣る。さらに拡大ズームを行うと、監視操作者は、背景映像の中での物体の相対位置が分からなくなり、混乱をきたす。
【０００６】
これらの追尾性能と操作性能の問題を解決する手段として、必要な情報は、通常これとは別の広角レンズを備えた固定カメラからの映像情報にデジタル画像処理を施し、動体検出、人面検出などを行って背景全体映像（背景映像ともいう）の中から検出し、その位置情報を基に追尾カメラを制御して物体にズームインする。つまり、２台のカメラが組み合わされて1つの物体を追尾することができるものが有効である。
【０００７】
ここに、背景画像は、追尾物体の相対的位置を監視操作者に知らしめるために必要なものである。つまり、同時に追尾カメラがなくては、重要かつ必要な物体の詳細情報を視覚的に判別することができないという意味において、２台のカメラが必要になる。
【０００８】
追尾機構を備えたズームカメラは、1つの物体を捕らえてその映像の詳細を提供するものなので、同時に複数の異なった動きをする物体の追尾は困難である。そのような必要性がある環境での使用では、追尾カメラはあまり効果がないとされているが、時として複数の追尾カメラを設けることにより実現する場合もある。つまり、この場合、追尾カメラの数だけ、違う物体の追尾が理論的には可能となる。
【０００９】
一方、特開２００４−７３７４号公報（特許文献１）には、広角カメラＡと、パンチルト機能を備えたカメラＢとを有して、広角カメラＡによって得た画像において、動く物体を検出する。そして、この検出した動く物体の画像をカメラＢによって追尾しながらアラーム信号を出力することが開示されている。
【００１０】
また、特開２００３-３３９０４７号公報（特許文献２）には、使用者により画像の注目領域を指定し、該指定した注目領域を高精細にしたい領域ほど量子化率を低減する量子化率を設定する。そして、設定した量子化率に基づき圧縮を制御することにより、使用者の要求に合わせた画像圧縮を行うことが開示されている。
【００１１】
また、特許文献２には、注目領域に対して、きめ細かく解像度を設定し、この設定した解像度に従って領域毎に圧縮を制御することが開示されている（段落０１１５）。
【特許文献１】特開2004−7374号公報
【特許文献２】特開2003−339047号公報
【発明の開示】
【発明が解決しようとする課題】
【００１２】
広い範囲の画角を監視しながら、同時に監視イベントが発生した際の重要映像の詳細を把握するには物体追尾型監視カメラシステムが有効である。
しかしながら、特許文献１のように、それを実現するためには２つのビデオカメラ（広角カメラと追尾カメラ）の組み合わせで使用しなければならない。しかも、その場合でも1つの物体しか追尾することができない。
【００１３】
実際的な使用環境では、監視物体がある時点で1つだけという環境はむしろ少なく、複数の人物、車またはその他の物体を同時に追尾して記録監視しなければならないケースがはるかに多い。
【００１４】
複数の追尾カメラを並べて設置し、それぞれ別の物体を追尾するよう制御することは技術的には可能であるが、カメラの費用、設置費用、カメラの接続機器、記録機の費用などを考慮すると、システム全体のコストが大幅に上昇してしまい実用性に乏しくなる。
【００１５】
追尾物体の同時発生が非常に少ないような環境においては、広角カメラと追尾カメラとを一体化して追尾するものは、費用コストの点から問題がある。
【００１６】
しかし、広角カメラと追尾カメラを物理的に分離したカメラとして使用して１つの物体を追尾すると、広角カメラから追尾カメラに出力される追尾制御信号の正確さに問題が発生しやすい。つまり、広角カメラと追尾カメラの２台のカメラのレンズの光軸が殆ど同一でないと、追尾カメラに出力された、目的物の座標情報は、必ずしも広角カメラの座標情報と一致しないので、正しく目的物を捕らえることができない。
また、広角カメラと追尾カメラとを組み合わせる撮像装置は、設置場所の制限なども実際には多くあり、正しい動作条件を満たすような設置場所を設定することは、容易ではない。
【００１７】
さらに、監視されるべき視野の映像を、高精細ビデオカメラでそのまま記録すれば必要な情報は得られるが、情報量が過大となり長時間の監視記録は困難となる。
【００１８】
これに対して、特許文献２は、画面上の画像の注目領域を予め設定し、この注目領域において、高精細にしたい領域ほど圧縮率を低減する量子化率を設定し、この量子化率に基づき圧縮を制御する。つまり、使用者の要求に合わせた画像圧縮を行うことで高負荷な圧縮の無駄を少なくする。
【００１９】
また、特許文献２は、圧縮を高速に処理するために、注目領域に対して一つの解像度を設定し、この解像度の画像を圧縮することが開示されている。
【００２０】
しかしながら、特許文献２は監視システムとして用いるものではないので、監視している領域内において、注目領域以外に新たな物体を得たとしても、その物体を任意の解像度で収集できない。このため、監視システムには不向きであるという課題があった。
【００２１】
さらに、特許文献２は、注目領域に対して、１つのきめ細かな解像度を設定し、この設定した解像度に従って注目領域毎に圧縮を制御するが、領域毎の解像度の設定は１種類である。このため、監視カメラシステム等において、注目領域の物体をより高精度できめ細かく見たいとしても、それは１種類であるから、注目領域を監視者が要望する解像度で、物体をよりきめ細かく見られないという課題があった。
【００２２】
また、注目領域に新たに人物が検出されたときは、監理者は割合とラフな画像で見て、それが気になる人物であれば特徴を細かく見るのが一般的な監視である。
【００２３】
しかしながら、特許文献２のものは、注目領域の解像度は１種類であるから、例えば解像度が高精細解像度の場合は、いきなり高精細な画像が出現する。このため、何ら異常がない人物であってもその都度細かな画像を監視者が見ることになるので、監視者にとってはあまり良い監視とはならないという課題があった。
【００２４】
さらに、物体追尾型監視カメラシステムの物体追尾型監視カメラは、通信網に接続されて遠隔端末に監視映像を送信するのが一般的である。
【００２５】
このような物体追尾型監視カメラシステムの物体追尾型監視カメラは、近年は高精度のセンサ（ＣＣＤ）を用いるものが出てきている。
【００２６】
しかしながら、ユーザは費用を削減するため、通信網は既存のものを使用する場合がある。このため、高価な高精細の物体追尾型監視カメラを用いたとしても通信網の伝送容量が小さいので、遠隔の監視モニタに対して監視映像を直ぐに容易に伝送させることができないという課題があった。
【００２７】
また、監視モニタ側では、監視対象のエリアに異常な動きをしている人物等或いは注意するべき個所については拡大して瞬時に見たい。或いは、目的に応じた解像度で瞬時に監視対象のエリアに異常な動きをしている人物等を拡大して見たい。或いは注意するべき個所については拡大して見たい。
【００２８】
しかしながら、従来の高精細の物体追尾型監視カメラによるシステムは、通信網の伝送容量に関わりなく単に映像を送信するだけであるので、監視モニタ側では、高精細の物体追尾型監視カメラを使用しているのにも関わらず、映像が得られるまでに時間がかかるという課題があった。
【００２９】
また、監視モニタ側で物体を目的の解像度で見るためには、高精細の物体追尾型監視カメラから映像を一旦記憶するメモリと、任意の解像度に編集しなおす処理等が必要となるので、監視モニタ側が高価になるという課題があった。
【００３０】
本発明は以上の課題を解決するためになされたもので、高精細カメラでの監視エリアの映像を連続記憶してもメモリ容量を低減でき、かつ必要な箇所は監視者の要望に添った画像表示並びに、直ぐに高精細の画像を相手側に提供することが可能となる追尾映像再生装置を得ることを目的とする。
【００３１】
すなわち、監視する所定領域に新たな物体又は動きのある物体を検出したとき、この物体画像を効率的に見せるための互いに異なる複数の解像度で記憶すると共に、全体画像はダウンサンプリングした画像でメモリにそれぞれを所定領域に関連着けて記憶する。
【００３２】
これによって、監視映像を連続記憶してもメモリ容量を低減でき、かつ必要な箇所は監視者の要望に応じた解像度の画像表示並びに通信回線の伝送容量が小さくても直ぐに高精細の画像を相手側に提供することが可能となるものである。
【課題を解決するための手段】
【００３３】
本発明は、第１の解像度で一定範囲を広角に撮影する監視カメラから得られた全体画像の中の新たな物体の物体画像を前記第１の解像度で、かつ前記全体画像は前記第１の解像度より低い第２の解像度で記憶して、これらの全体画像、物体画像を再生する監視映像の追尾映像監視装置であって、前記監視カメラが出力する前記第１の解像度の全体画像データを、ダウンサンプリングした第２の解像度の全体画像データを得てメモリに記憶して、これをそのまま表示又は出力する全体背景映像検出部と、前記全体背景映像検出部に同期して、前記第１の解像度の今回の全体画像のデータが前記監視カメラから得られたとき、該今回の全体画像データと前回の前記ダウンサンプリングした全体画像データ又は前記第１の解像度の前回の全体画像データとの比較で、新たな物体の物体画像を検出する手段と、これらの物体画像の前記監視カメラの撮像素子上の位置情報、大きさ関連情報、前記全体画像データのフレーム番号、からなるシーン記述情報を生成すると共に、このシーン記述情報と前記検出された物体画像とを前記全体画像に関連付けて記憶する手段とを備えた前記物体映像検出部と、前記画面に表示された全体画像上で前記シーン記述情報の物体画像が指定が指定されたとき、該指定位置に対応する前記シーン記述情報を有する複合映像データを前記メモリから検索して、該複合映像データに関連付けられている前記第１の解像度の物体画像のデータを、前記画面の指定位置に重ね表示させる部分映像重ね部とを有することを要旨とする。
【００３４】
また本発明は、第１の解像度で一定範囲を広角に撮影する監視カメラから得られた全体画像の中から物体の物体画像を、前記第１の解像度以上の複数の解像度で記憶して、前記全体画像は前記第１の解像度未満の低い第２の解像度で再生すると共に前記物体画像を、前記複数の解像度のいずれかの解像度で再生する追尾映像再生装置であって、
前記監視カメラが出力する前記第１の解像度の全体画像データを、ダウンサンプリングした前記第２の解像度の全体画像データを得て、これを画面にそのまま表示又は出力する全体背景映像検出部と、前記第１の解像度の今回の全体画像のデータが前記監視カメラから得られたとき、該今回の全体画像データと前回の前記ダウンサンプリングした全体画像データ又は前記第１の解像度の前回の全体画像データとの比較で、新たな物体の物体画像を検出し、該検出した物体画像の前記監視カメラの撮像素子上の位置情報、大きさ関連情報、前記全体画像のデータのフレーム番号、からなるシーン記述情報を生成する物体映像検出部と、前記全体画像データ及び前記物体画像データの取り込みに同期して、前記全体画像データの中から新たな物体の物体画像が前記物体映像検出部で検出される毎に、該物体画像を前記複数の解像度で前記シーン記述情報に関連付け、これらを複合映像データとしてメモリに保存する複数解像度物体映像作成部と、前記画面に表示された全体画像上で前記シーン記述情報の物体画像が指定が指定されたとき、該指定位置に対応する前記シーン記述情報を有する複合映像データを前記メモリから検索して、該複合映像データに関連付けられている前記複数の解像度のいずれかの解像度の物体画像のデータを、前記画面の指定位置に重ね表示させる部分映像重ね部と
を有することを要旨とする。
【発明の効果】
【００３５】
以上のように本発明によれば、１台の監視ビデオカメラを使用して、監視エリアの映像を取得し、重要でないデータ（背景映像）は低解像度で記録し、重要なデータ（検出物体）は高解像度で記録する。このため、監視カメラの使用台数が一台でも低解像度の背景画像（全体画像）と高解像度の物体画像と同時に取得できる。また、背景画像は低解像度で記録されるので、記録ファイルの容量を削減することができる。また、監視システムにおいて、全体画像の中から新たに物体を検出したときに、この検出された物体画像のみを高解像度で記憶するので、高精細カメラを使用していてもメモリ容量を低減できる。
【００３６】
さらに、監視操作者が検出した物体画像（部分画像ともいう）の詳細を知りたい場合には、検出した物体画像を操作手段から指定すれば、モニタにはこの検出した物体の詳細映像（高精細映像）を拡大表示させることができる。
【００３７】
また、本発明によれば、監視カメラで得た全体画像を画面に表示させると共に、物体画像を複数の解像度で保存する。そして画面に表示された全体画像で物体が指定されると、この指定された領域に保存された解像度の物体画像を画面に重ね表示する。この解像度は、それぞれの解像度が異なっている場合もあるので、監視者が希望の解像度の物体画像を見ることができる。
【００３８】
さらに、拡大率に応じた解像度の部分画像（物体画像）を自動的に得られるので、ズームカメラ等を必要としない。
【００３９】
また、全体画像を送信した後に解像度が高い物体画像を通信網で送信するので、通信網の伝送容量が小さくとも高精細カメラの高解像度の画像を瞬時に得ることが可能となる。
【００４０】
また、ダウンサンプリングさた第１の解像度の全体画像と、この第１の解像度以上の物体画像とがそれぞれ圧縮されて保存される。このため、高精細カメラで全体画像と複数の物体画像とを共に得たとしても、メモリ容量をさらに低減できる。
【発明を実施するための最良の形態】
【００４１】
図１は本実施の形態１の追尾映像再生装置の概略構成図である。本実施の形態は、一台の高精細監視カメラを利用することにより、複数の物体追尾を可能とするものである。
【００４２】
例えばＭＰＥＧ４の記録方式ではマルチビデオストリーム（デジタル映像、アナログ映像）に同期して所定の解像度の画像を記録再生することにより、高精細画像を長時間記録可能とするものである。また、監視者は重要部分を拡大表示することを指示すると、その重要部分である部分画像（物体画像ともいう）を全体画像よりも高解像度で表示することを可能としている。
【００４３】
前述の高精細監視ビデオカメラは、図１０（Ａ）に示すネットワーク型監視カメラと、図１０（Ｂ）に示すアナログ監視カメラの２種類を使用することができる。
【００４４】
例えば、ネットワーク型監視カメラ５０は、図１０（Ａ）に示すように、10BaseTや100BaseTなどのイーサーネット（登録商標）によるLANに接続されて動作する。
【００４５】
ネットワーク型監視カメラ５０は、一般的に画像を連続的な、圧縮された静止画像として出力する。この圧縮の多くはJPEGの画像ファイルフォーマットを採用している。中には、MPEG圧縮して動画ストリームとして出力するものもある。また、複数のカメラ入力に対応する場合には、ルーター５１によって切り替える。
【００４６】
ネットワーク型監視カメラ５０から送られた映像は、圧縮されているので、本実施の形態の拡大率に応じた物体画像の解像度レベルの変更を行う画像処理を行う前段階として、先ず画像の伸張復元を行うことはいうまでもない。
【００４７】
この解像度レベルの変更とは、例えば一つ又は複数の物体画像毎に、解像度を異ならせて保存し、監視者が希望の解像度の物体画像を表示させることを可能とするものである。この実施の形態については後述する。
【００４８】
一方、図１０（Ｂ）に示すように、従来型の高精細のアナログ監視ビデオカメラ１１は、非圧縮の映像出力を出力する。この場合は、映像の伸張、復元処理は不要となる。高精細アナログ出力の場合には、フレームキャプチャーを行い、デジタルへの変換を行うことはいうまでもない。
【００４９】
本実施の形態１では高精細ビデオ監視カメラがアナログ信号を出力するものとして説明
する。
【００５０】
＜実施の形態１＞
図１に示すように、追尾映像再生装置１０は（図においては追尾映像監視装置）、高精細監視ビデオカメラ１１に接続されている。この追尾映像再生装置１０は、高精細映像取込部１２と、物体検出部１３と、全体背景映像検出部１４と、追尾データ作成部１５と、第１の部分映像重ね部１７と、拡大指示部１８と、ＨＤＤを有する記憶部２０とを備えて、物体の画像を検出して保存する。また、追尾映像再生装置１０は物体画像の取り込みには、全体画像のダウンサンプリングにと同期して、物体画像を取り込んで保存している。これによって、２台のカメラを必要としないで、背景画像と同期した物体画像（部分画像）を、ズームインに相当する解像度で得ることを可能とするものである。
【００５１】
前述の高精細監視ビデオカメラ１１は、解像度がＶＧＡ（横６４０×縦４８０）以上の解像度（例えば横１０２４×縦７６８、横１６００×縦１２００又は横３２００×縦２４００、・・）であり、対象物の領域を広角的（複数の物体と背景）に撮影する。また、この高精細監視ビデオカメラ１１は、コンビニ、大型店に設けられるのが好ましい。
【００５２】
高精細映像取込部１２は、フレームキャプチャーを備え、高精細監視ビデオカメラ１１の映像の走査線情報（ＮＴＳＣ））を入力して、Ａ／Ｄ変換器１２ａでデジタル変換する。そして、この映像データを図示しないフレームメモリ１２ｂ（フィールドメモリでもよい）に書き込む。
【００５３】
物体検出部１３と全体背景映像検出部１４とを総称して画像処理部１９と称することもある。
【００５４】
物体検出部１３は、基準画像（前回の全体画像：背景画像）との比較で物体を検出する。つまり、高精細度映像取込部１２からの画像信号が物体検出部３に入力する毎に、この物体検出部１３内の図示しない記憶部に保存されている基準画像（前回の全体画像）との輝度を比較する。そして、物体検出部１３は、新たな物体の画像を検出して、この物体画像を記憶部２０の第１の物体映像記憶ファイル２２に保存させる。
【００５５】
より具体的には、物体検出部１３は、今回の全体画像の中で類似する画素情報を整理して、物体画像を抽出する。そして、物体検出部前回の全体画像の物体画像を図示しない記憶部から抽出して、この前回の物体画像に類似する今回の物体画像の座標が相違しているかどうかを判断し、相違している場合には新たな物体の検出又は物体が移動したと判定する。
【００５６】
そして、検出されたこれらの物体画像に対しては、物体検出部１３が高精細映像（例えば横３２００×縦２４００）の解像度を変更せずに、その一部を選択的に取り出して（予め設定されているシーン領域）、第１の物体映像記憶ファイル２２に保存する。
【００５７】
また、この物体検出においては、物体検出部１３は後述する全体背景画像検出部１４から得られるダウンサンプリングされた粗い画像を記憶し、この今回の粗画像と前回の粗画像と同士の比較であっても良い。この場合には低解像度の全体画像同士の比較でするのでデータ量が少なく比較検出時間が短くて済む。
【００５８】
また、物体検出部１３は、物体の検出であるシーン領域（例えば四角の領域；ドア付近、窓、商品棚、レジ、廊下等）の位置情報と物体の大きさに関連する情報としての枠の大きさ、時間情報などをシーン記述データとしてシーン記述ファイル２３に保存する。
【００５９】
これらの情報は、背景画像上に高精細画像の物体画像を重ね表示する場合に、その重ね表示する場所と範囲とを決めるために用いたり、物体画像を所望の倍率で重ね表示させる場合の基準となる情報として用いられる。
【００６０】
また、このシーン記述データは、物体を検出するためのウインドウとしても用いられる。つまり、物体検出部１３がシーン記述データの領域に物体が入ったときに、新たな物体が検出されることになる。
【００６１】
前述のシーン記述データを記録する方法として、本実施形態では、MPEG４の方式を採用した。
【００６２】
MPEG４の方式では、全体背景画像Ａや目的物である物体画像データＢ（部分画像データともいう）は、それぞれ互いに同期した動画のストリームとして記録される。この記録方法に限らずフレームごとに、全体背景画像Ａと物体画像データＢ（複数または単数）それぞれの静止画像を、JPEGやBMPその他の静止画像形式にて記録することもできる。
【００６３】
この静止画像記録方法は、全体の背景画像と目的物の映像の同期をとることが比較的容易な方法である。しかし、MPEG4などの動画圧縮方式などのように、目的物の映像のフレーム間での画像圧縮を行うことができないので、記録画像のデータ量が大きくなる。
【００６４】
また、動画圧縮方式では、映像ストリームの中に音声データを含むことも容易である。
【００６５】
また、前述のシーン記述データは、シーン記述ファイル２３に番号が付加されて記憶される。
【００６６】
全体背景映像検出部１４は、高精細監視ビデオカメラ１１からの映像信号がフレームメモリ１２ｂに取り込まれる毎に、物体検出部１３に同期して全体の背景画像を粗く抽出し、全体背景映像記憶ファイル２１に時間情報を付けて記憶すると共に、そのまま画面１６に出力する。この粗く検出して保存することを、本実施の形態ではダウンサンプルと称する。
【００６７】
例えば、高精細監視ビデオカメラ１１で撮影した高精細映像（１６００×１２００）の全体の背景画像をVGAレベル（横６４０×縦４８０）の標準表示の映像で保存する。
【００６８】
すなわち、高精細監視ビデオカメラ１１からの映像の内で、全体の背景画像は粗い解像度で保存し、物体の映像は高精細の解像度（ＶＧＡレベル以上）のままで取り出して保存する。このため、高精細監視ビデオカメラ１１で撮影したとしても、検出された物体の画像のみが高精細の解像度で保存されるので、メモリ容量を低減できることになる。従って、比較的重要でない部分（背景画像）の記録解像度を落とすことができるので、ファイルのサイズの節約を行うことができる。
【００６９】
追尾データ作成部１５は、物体検出部１３で物体が検出される毎に、フレームメモリ１２ｂ上の物体の位置情報（シーン領域）と、物体検出符号とをリンク付けさせ、前回と今回の位置情報に基づいて追尾位置を求め、これらを追尾データとして追尾ファイル２４に保存する。
【００７０】
また、追尾データ作成部１５は、物体を追尾する毎に、物体の位置情報を中心とした四角枠（ピクセル座標で四角枠を生成）を生成し、この枠で画面１６の物体を囲み、追尾していることを知らせる。これを本実施の形態では追尾枠Ｐｉと称する（図２を参照）。
【００７１】
第１の部分映像重ね部１７は、画面１６上での追尾枠Ｐｉが指定される毎に、指定された位置情報に対応する部分画像（解像度高精細解像度）を第１の物体映像記憶ファイル２２から読み込み、この部分画像を指定された追尾枠Ｐｉの画像に重ね表示（スーパーインポーズ）又は追尾枠Ｐｉの画像をこの高精細解像度の部分映像に更新する。
【００７２】
また、第１の部分映像重ね部１７は、入力された時間情報に対応するシーン記述データを読み、このシーン記述データの番号を有する全体画像を全体背景影記憶ファイル２１から読込み、及び第１の物体映像記憶ファイル２２から部分画像（物体画像）を読み込んでこの部分画像を全体画像のシーン記述データが示す画面１６の位置に重ね表示する。
【００７３】
拡大指示部１８は、画面１６に表示されている追尾枠Ｐｉの部分画像が指定され、かつ図示しないリモコン等を介してこの部分画像の拡大倍率が入力されたとき、この拡大率に基づいて画面１６の追尾枠Ｐｉ及び部分画像を拡大する。
【００７４】
すなわち、背景画像が粗く表示され、選択された多数の物体画像が高解像度で画面に表示されると共に、目的とする物体画像（例えば顔）は拡大される。この拡大表示された画像は高解像度の詳細な映像となるので、監視者はどのような物体画像かを把握できる（顔の場合は、より詳細に顔を把握できる）。
【００７５】
記憶部２０の第１の物体映像記憶ファイル２２は、高精細監視ビデオカメラ１１で得られた高精細の部分画像（物体画像）がフレーム番号と共に保存されているる。
【００７６】
全体背景映像記憶ファイル２１には、高精細監視ビデオカメラ１１で得られた高精細の多数の物体画像（部分画像）と、粗くサンプリングされた標準解像度の全体の背景画像がフレーム番号と共に保存されている。
【００７７】
シーン記述ファイル２３には、物体の検出領域と位置情報と大きさなどがシーン記述データとしてフレーム番号と共に保存されている。
【００７８】
上記のように構成された監視映像の追尾映像再生監視装置について以下に動作を説明する。
【００７９】
高精細監視ビデオカメラ１１で監視対象の場所を撮像すると、この監視対象の映像信号（ＮＴＳＣ）が高精細映像取込部１２に出力されて、フレームメモリ１２ｂに書き込まれる。
【００８０】
このフレームメモリ１２ｂの映像データの内で、物体検出部１３で検出された全ての物体画像は第１の物体映像記憶ファイル２２にコピー（記憶）され（図３を参照）、全体の背景画像（全体画像）はダウンサンプリングされて全体背景画像記憶ファイル２１に書き込まれると共に、画面１６に全体画像がそのまま表示される（図３を参照）。
【００８１】
通常、この全体の背景画像の解像度はVGAレベルと呼ばれる解像度か、それ以下である。
【００８２】
全体画像は、通常固定された高精細監視ビデオカメラ１１では変化が無い部分だけを連続的に撮影することになるので、圧縮率を高めて記録し、他の重要部分のデータ記録に記録容量が割り当てられるようにするのが好ましい。
【００８３】
また、検出された多数又は１つの物体は、追尾データ作成部１５によってその物体が四角で囲まれて図２に示すように表示される。図３においては、物体１から物体４としている。つまり、目的物が検出され、追尾が開始された場合には、画面上にその物体
の存在と、動きとを示すために、四角形の追尾枠Ｐｉで囲み、監視操作者に知らせる。
【００８４】
このとき、画像処理部１９は図３に示す処理を行っている。すなわち、図１に示すように全体背景映像検出部１４がフレームメモリ１２ｂに保存された高精細の映像を、粗い解像度で全体背景映像ファイル２１に時間情報と共に保存する（ダウンサンプル）。
【００８５】
また、図１に示すように物体検出部１３は、フレームメモリ１２ｂに全体の背景映像（全体画像）が保存される毎に、新たに物体（部分映像）を検出する。そして、物体を検出する毎に、その位置情報（座標）と大きさ等にをシーン番号、時間情報を付加したシーン記述データをシーン記述ファイル２３に保存すると共に、検出した物体の画像（部分画像）を第１の物体映像記憶ファイル２２に保存する。このとき第１の物体映像記憶ファイル２２複数の物体画像（物体１，物体２，…）には全体画像の時刻情報を付加して保存する（図３を参照）。
【００８６】
前述のシーン記述データと全体画像と検出された多数の物体画像とは、図１に示すように物体検出部１３と全体背景映像検出部１４とが同期してそれぞれを検出するものである。このため、シーン記述データ、全体の背景映像（全体画像）、物体画像（部分画像）とは同期している。また、本実施の形態ではシーン記述データ、全体の背景画像、物体画像、時間情報を総称してシーン複合映像データＦｉと称している（図３を参照）。
【００８７】
つまり、シーン複合映像データＦｉを構成するシーン記述データと全体の背景画像と物体画像（物体１、物体２、・・・：全体画像内の検出物体）とはリンク付けされている。
【００８８】
すなわち、シーン複合映像データＦｉには、全体画像から検出された物体画像と、全体画像と、位置情報、領域の大きさ等が１つの全体画像に割り付けられていることになる。
【００８９】
このため、高精細の監視カメラを用いて物体を検出しても、新たに検出された部分のみの必要な部分だけの高精細の部分画像と、低解像度の全体画像とが記憶されるので、メモリ容量を低減できる。
【００９０】
一方、再生時の動作を図４を用いて説明する。全体背景画像検出部１４がダウンサンプリングした後に、圧縮率を高めて記憶した全体の背景画像（全体画像）を第１の部分映像重ね部１７が復元して表示する。つまり、全体画像を復元して表示したので物体、背景とも粗く表示されていることになる。
【００９１】
そして、例えば、追尾データ作成部１５がシーン記述データの領域（四角の枠）に物体を検出したときは、図１に示す追尾データ作成部１５は、図４に示すように、検出した物体を追尾枠Ｐｉで囲んで、監視者に物体を検出して追尾していることを知らせる。
【００９２】
また、第１の部分映像重ね部１７は、指示された画面の物体画像の位置情報及び拡大率ｈｉを読み、この位置情報を有するシーン複合映像データＦｉを検索する。そして、この複合映像データＦｉの高精細の解像度の部分画像を第１の物体映像記憶ファイル２２から読み込み、これを追尾枠Ｐｉ内に表示する（図４参照）。
【００９３】
そして、監視者が画面１６の目的の物体画像を拡大表示の指示すると、拡大指示部１９によって、この物体画像の追尾枠Ｐｉ内の高精細の解像度の部分画像とが拡大表示されることになる。
【００９４】
この拡大表示の方法は、単なるピクセル重複でも良い。又は、画像を少しでもさらに滑らかに表示するならばBiLinear補完などの画像処理を行い拡大する。本実施形態では後者（例えば、BiLinear補完）を採用した。
【００９５】
＜実施の形態２＞
図５は実施の形態２の追尾映像再生装置（図においては追尾映像監視装置）の概略構成図である。図５に示す実施の形態２の追尾映像再生装置３０は、実施の形態１中における第１の部分映像重ね部１７の代わりに、複数解像度物体映像作成部３３と解像度・倍率対応ファイル３６と第２の部分映像重ね部３７とを備えている。
【００９６】
解像度・倍率ファイル３６は、解像度ｋ１、ｋ２、・・の識別コードと物体画像の拡大率ｈ１、ｈ２とが対応させられて保存されている。
【００９７】
第２の部分映像重ね部３７は、拡大指示部１８からの拡大率ｈｉ及び画面上で指定された物体画像の位置情報（シーン領域の位置）を読み、この拡大率ｈｉに対応する解像度ｋｉの識別コードを解像度・倍率対応ファイル３６から読み込む。そして、読み込んだ位置情報及び解像度ｋｉを有するシーン複合映像データＦｉａ（シーン記述データ、全体背景映像、部分映像等を検索して、これを指定の部分映像に重ねる又は更新する。
【００９８】
複数解像度物体映像作成部３３は、高精細監視ビデオカメラ１１からの映像がフレームメモリ１２ｂに保存されて、物体検出部１３によって物体画像が検出される毎に、解像度ｋ１、解像度ｋ２、解像度ｋ３・・・の物体画像を作成して第２の物体映像記憶ファイル３５に保存する。つまり、高精細監視ビデオカメラ１１の解像度が横３２００×縦２４００の解像度の場合において、物体が検出される毎に、粗くサンプリングした解像度ｋ１（例えば横１０２４×縦７６８）の物体画像を第２の物体映像記憶ファイル３５に作成する。また、少し粗くサンプリングした解像度ｋ２（横１６００×縦１２００）の物体画像を物体映像記憶ファイル３５に作成する。さらに、解像度ｋ３（横３２００×縦２４００）の物体画像を第２の物体映像記憶ファイル３５に作成する。このとき、複数解像度物体映像作成部３３は、解像度・倍率ファイル３６に、解像度の識別コードと拡大率の記号とを対応させて記憶する。
【００９９】
例えば、解像度ｋ１の識別コードには、最小倍率で表示を意味するの記号を、解像度ｋ２の識別コードには次の拡大率で表示を意味するの記号、解像度ｋ３には最大の拡大率で表示を意味するの記号を対応させる。つまり、複数解像度物体映像作成部３３は、解像度毎に、拡大率を予め対応させてファイル３６に保存する。
【０１００】
すなわち、シーン記述データ（物体枠の大きさ、位置情報、フレーム番号、シーン番号）がシーン記述ファイル２３に記憶される。そして、全体の背景画像（全体画像）が全体背景映像ファイル２１に記憶され、解像度ｋ１の物体画像と解像度ｋ２の物体画像と解像度ｋ３と物体画像とが第２の物体映像記憶ファイル３５に記憶され、かつ解像度・倍率対応ファイル３６には、解像度の識別コードと拡大率とが記憶されていることになる。これはシーン番号（フレーム番号でもよいし若しくは時間でもよい）でリンク付けされており、本実施の形態では総称してシーン複合映像データＦｉａ（シーン記述データ、全体画像物体画像、物体画像の拡大率と解像度と時間情報）と称している。
【０１０１】
次に、全体の背景映像（全体画像）は、全体背景映像検出部１４がダウンサンプリングして標準表示の解像度（横６４０×縦４８０）で画面にそのまま表示する。つまり、粗い全体の背景画像となる。
【０１０２】
そして、第２の部分映像重ね部３７は、拡大指示部１８からの拡大率ｈｉ（３倍、６倍・・）を読み込み、この拡大率の記号を有するシーン複合映像データＦｉａを記憶部２０から読み込む。
【０１０３】
つまり、読み込んだ拡大率ｈｉに対応する拡大率を有する解像度の識別コードを解像度・倍率対応ファイル３６から検索し、検索した識別コードにリンク付けされているシーン番号を有する解像度ｋｉ（ｋ１、ｋ２、・・）の物体画像を第２の物体映像記憶ファイル３５から検索する。そして、この解像度の物体映像（拡大率にリンク付）を読み出して追尾枠Ｐｉ内の映像に重ね表示する。そして、拡大指示部１８は、指示された拡大率ｈｉで追尾枠画像を拡大する。
【０１０４】
これによって、図６に示すように、記憶部２０には、１フレームのシーン記述データと、ダウンサンプリングされた全体画像、解像度ｋ１の最小倍率ｈ１での表示の部分画像（物体画像）と、解像度ｋ２で次の倍率ｈ２で表示の部分画像（物体画像）と、解像度ｋ３で最大倍率ｈ３で表示の部分画像（物体画像）とが保存されていることになる。
【０１０５】
そして、支持された拡大率が拡大率ｈ１の場合は、解像度ｋ１の物体画像が画面に出力されて拡大率ｈ１で拡大される（拡大表示１）。また、拡大率ｈ２の場合は、解像度ｋ２の物体映像が画面に出力されて拡大率ｈ２で拡大される（拡大表示２）。
【０１０６】
さらに、拡大率ｈ３の場合は、解像度ｋ３の物体映像が画面に出力されて拡大率ｈ３で拡大される（拡大表示３）。図６においては、物体映像を大きくすることによって解像度のレベルの違いを表している（大きくなるほど解像度が高い）。
【０１０７】
従って、拡大率を上げる毎に、自動的に解像度が高くなる形式で物体映像が画面に表示される。このため、カメラ側にパンチルト機構を備えなくとも、追尾が可能となるので費用を低減できる。
【０１０８】
＜実施の形態３＞
図７は実施の形態３の概略構成図である。図７の追尾映像再生装置４０（図においては追尾映像監視装置）は、高精細監視ビデオカメラ１１で得た全体背景映像の中の物体画像映像は、そのままの解像度で第３の物体映像記憶ファイル４２に保存する。
【０１０９】
またすなわち、シーン複合映像データＦｉａ（物体画像・・・）、解像度拡大率は、シーン記述データと全体背景映像と高解像度の部分映像とで構成されているることになる。
【０１１０】
解像度レベル減少部４１は、拡大指示部１８からの拡大率ｈｉが減少（拡大率小）したかどうかを判断し、拡大率が減少しているときは、第３の物体映像記憶ファイル４２の高解像度（例えば解像度ｋ３）の物体画像の解像度を、拡大率の減少に伴って減らし（ダウンサンプリング）、この減少した解像度の物体映像を第１の部分映像重ね部１７が追尾枠Ｐｉ内に重ね表示又は追尾枠Ｐｉの画像をこの物体画像に更新する。
【０１１１】
すなわち、図８に示すように、シーン記述データ（物体枠の大きさ、位置情報、フレーム番号、時間情報）と、全体背景画像（時間情報付き）と、解像度ｋ３の物体画像（時間情報付き）とをリンク付けしたシーン複合映像データＦｉａを記憶部２０に保存する。
【０１１２】
次に、全体背景映像検出部１４が全体の背景画像をがダウンサンプリングしてファイル２１に記憶すると共にこの全体の背景映像を標準表示の解像度（横６４０×縦４８０）でそのまま表示する。
【０１１３】
そして、第１の部分映像重ね部１７が拡大指示部１８からの画面上の追尾枠の画面位置情報を有するシーン複合映像データＦｉａを記憶部２０から検索して、この複合映像データＦｉａの中から位置情報、時間情報に対応する高解像度の物体画像映像を読み出して追尾枠の画像に重ねる。拡大指示部１８は、例えば最大の拡大率で表示させる（拡大表示３）。
【０１１４】
この状態で拡大率が減少させられると、解像度レベル減少部４１が拡大指示部１８からの拡大率ｈｉを読み、拡大率が減少（１０倍、６倍・・）したかどうかを判断し、減少したときは、減少時の拡大率（６倍、３倍）に対応する解像度ｋｉになるように物体画像をダウンサンプリングする。
【０１１５】
これによって、図８（図８は１個の物体検出のみを示している）に示すように、減少率ｗ１の場合は、解像度ｋ２の物体画像映像が画面に表示され（表示２）、減少率ｗ２の場合は、解像度ｋ１の物体映像が画面に表示される（表示１）。
【０１１６】
従って、画面に表示される物体画像は、拡大率を下げる毎に、自動的に解像度が減少した形式で画面に表示される。
【０１１７】
＜実施の形態４＞
図９は実施の形態４の概略構成図である。実施の形態４は、デジタル信号で出力するネットワーク型監視カメラ５０とアナログ信号を出力する高精細監視ビデオカメラ１１のいずれか一方又は両方が既に店内（例えば、コンビニ）に設置されている場合において、拡大率、減少率の変更に応じて追尾映像の解像度を変更できるようにするものである。
【０１１８】
図９の追尾映像再生装置５５は、信号種判別部５６と切換部５７と復号化部５２ａ、Ａ／Ｄ変換器１２ａ、フレームメモリ１２ｂ等からなる画像処理部と、図示しない前述の記憶部２０、部分映像重ね部１７、拡大指示部１８、複数解像度物体映像作成部３３等を備えている。
【０１１９】
信号種判別部５６は、入力する信号がアナログ信号（ＮＴＳＣ）かデジタル信号かの違いを判別する。切換部５７は、アナログ信号と判別されたときは、入力する信号をＡ／Ｄ変換器１２ａを介して画像処理部１９に出力する。
【０１２０】
また、切換部５７は、デジタル信号と判別されたときは、入力する信号を復号化部５２ａを介して画像処理部１９に出力させる。この画像処理部１９の後段には図示しない前述の記憶部２０、部分映像重ね部１７、拡大指示部１８、複数解像度物体映像作成部３３等が設けられている。
【０１２１】
つまり、ネットワーク型監視カメラ５０からのデジタル信号又は高精細監視ビデオカメラ１１からのアナログ信号が出力されてもその信号の種類に応じてＡ／Ｄ変換又は復号化部を介して画像処理部１９に渡すので、結果として拡大率、減少率の変更に応じて追尾映像の解像度を変更できる。
【０１２２】
なお、上記実施の形態では、高精細監視ビデオカメラ又はネットワークカメラに外付けした追尾映像再生装置として説明したが、この追尾映像再生装置の上記各部を高精細監視ビデオカメラ又はネットワークカメラに備えてもよい。
【０１２３】
さらに、図１１に示すように、高精細の部分映像と全体背景映像とをネットワークで相手先に送信してもよい。図１１においては、ＭＰＥＧ、ＪＰＥＧ等の映像データにして送信するネットワークカメラでもよいが、本実施の形態では図１の高精細監視カメラ１１を用いた監視映像の追尾映像再生装置６０（図においては追尾映像監視装置）として説明する。
【０１２４】
また、図１１に示す追尾映像再生装置６０は、上記実施の形態１と同様な、高精細映像取込部１２と、物体検出部１３と、全体背景映像検出部１４と、追尾データ作成部１５と、第１の部分映像重ね部１７と、拡大指示部１８と、ＨＤＤを有する記憶部２０等を備え、かつ圧縮部６２、送受信部６３等を備えている。すなわち、圧縮部６２は取り込み指示（オペレータ入力）が入力する毎に、高精細監視ビデオカメラ１１、画像処理部１９を介して第１の物体映像記憶ファイル２２に記憶されている部分映像を読み出し、これらを圧縮して、送受信部６３に送出する。送受信部６３は、部分映像を相手先のアドレス宛にネットワーク（インターネット）を介して送信する。
【０１２５】
つまり、動きがあったとき、その物体の部分映像のみを送信するのでネットワークの帯域負担を軽減しながら必要な部分映像を送信できることができる。
【０１２６】
＜実施の形態５＞
図１２は実施の形態５の追尾映像再生装置（図においては追尾映像監視装置）の概略構成図である。図１２に示す実施の形態２の監視映像の追尾映像再生装置７０は、実施の形態２中における複数解像度物体映像作成部３３に代えて第２の複数解像度物体映像作成部７１と、実施の形態２中における第２の部分映像重ね部３７に代えて第３の部分映像重ね部７３を備えている。また、  解像度・倍率ファイル３６は本実施の形態では備えない。
【０１２７】
第３の部分映像重ね部７３は、拡大指示部１８からの画面上で指定された物体画像の位置情報を読み、この位置に対応するのシーン記述データを読み込む。そして、このシーン記述データにリンク付けされている部分映像（解像度ｋ１、解像度ｋ２、・・・）を第２の物体映像記憶ファイル３５から読み込み、この部分映像を画面上の指定位置の領域に重ね表示させる。
【０１２８】
第２の複数解像度物体映像作成部７１は、高精細監視ビデオカメラ１１からの映像がフレームメモリ１２ｂに保存されて、物体検出部１３によって物体映像が検出される毎に、この物体映像を解像度ｋ１、解像度ｋ２、解像度ｋ３・・・でサンプリングして第２の物体映像記憶ファイル３５に保存する。つまり、高精細監視ビデオカメラ１１のシーンに対応する領域画像（部分映像）の解像度が解像度ｋ１（例えば横１０２４×縦７６８）の物体映像、少し粗くサンプリングした解像度ｋ２（横１６００×縦１２００）の物体映像、解像度ｋ３（横３２００×縦２４００）の物体映像を第２の物体映像記憶ファイル３５に作成する。このような解像度は、オペレータが設定している。つまり、任意に解像度は変更できる。
【０１２９】
すなわち、図６に示すように、シーン記述データ（物体枠の大きさ、位置情報、フレーム番号、時間情報）と、全体背景画像（時間情報付き）と、解像度ｋ１の物体画像（時間情報付き）と、解像度ｋ２の物体画像（時間情報付き）と、解像度ｋ３の物体画像（時間情報付き）とをリンク付けしたシーン複合映像データＦｉｂが複数保存される。
【０１３０】
また、全体背景映像は、全体背景映像検出部１４がダウンサンプリングして標準表示の解像度（横６４０×縦４８０）で画面にそのまま表示される。
【０１３１】
そして、第３の部分映像重ね部７３は、画面に表示されている物体映像が指定されると、第２の物体映像記憶ファイル３５から、その位置情報を有するシーン複合映像データＦｉｂを検索して、この複合映像データＦｉｂの中から物体映像を読み出して重ね表示する。このとき、オペレータは希望の解像度ｋｉを指定する。そして、拡大指示部１８は、オペレータによって指示された拡大率ｈｉでこの部分映像を拡大表示する。
【０１３２】
これによって、図６に示すように、解像度ｋ１、ｋ２、ｋ３・・の物体映像が拡大又は縮小されて画面されることができる。
【０１３３】
従って、カメラ側にパンチルト機構を備えなくとも、追尾が可能となるので費用を低減できる。
【０１３４】
＜実施の形態６＞
図１３は実施の形態６の追尾映像再生システムの概略構成図である。図１３に示す追尾映像再生システムは、追尾映像再生装置８０と監視端末装置８３とを通信回線網（インターネット網、専用回線、ブロードバンド等）で接続してなる。
【０１３５】
監視端末装置８３は、伝送処理部８１を備えている。この伝送処理部８１は、監視端末装置８３で指定された追尾枠Ｐｉの位置情報に対応するシーン記述データをファイル２３から引当て、このシーン記述データにリンク付けされている高解像度の物体映像（ｋ１、ｋ２又はｋ３）を抽出して、通信網８２を介して監視端末装置８３に送信する。
【０１３６】
また、伝送処理部８１は、ファイル２０から全体背景映像（低解像度）を読み込み、これを通信網８２を介して監視端末装置８３に送信する。このとき、伝送処理部８１は、圧縮して送信することがこのましい。
【０１３７】
一方、監視端末装置８３は、解像度を選択させるためのサブ画面を表示する手段を有し、サブ画面に表示された解像度（ｋ１、ｋ２、ｋ３・・）が選択されると、画面の追尾枠Ｐｉの位置情報と共（一組にして）に、通信網８２を介して監視映像の追尾映像再生装置８０に送信する。
【０１３８】
そして、追尾映像再生装置８０から全体映像を画面に表示し、追尾枠Ｐｉの物体映像をこの追尾枠Piに表示する。また、この追尾枠の部分映像を拡大する手段（図示せず）を備えている。
【０１３９】
従って、遠隔地点にある監視端末装置８３に対して映像を送っても、全体映像は低解像度であり、部分映像だけが高解像度であるので、伝送容量が小さくて監視に適した映像を伝送させることが可能となっている。
【産業上の利用可能性】
【０１４０】
本発明は、コンビニ、パチンコ店、大型店舗等の不審者の監視において、利用することが有効である。
【図面の簡単な説明】
【０１４１】
【図１】本実施の形態１の実施形態の追尾映像再生装置の概略構成図である。
【図２】本実施の形態１の追尾画面を説明する説明図である。
【図３】本実施の形態１の複合映像データの生成を説明する説明図である。
【図４】本実施の形態１の物体映像の再生を説明する説明図である。
【図５】本実施の形態２の実施形態の追尾映像再生装置の概略構成図である。
【図６】本実施の形態２の物体映像の再生を説明する説明図である。
【図７】本実施の形態３の追尾映像再生装置の概略構成図である。
【図８】本実施の形態３の物体映像の再生を説明する説明図である。
【図９】本実施の形態４の追尾再生装置の概略構成図である。
【図１０】本実施の形態の使用例を説明する説明図である。
【図１１】他の実施の形態の概略構成図である。
【図１２】実施の形態５の追尾映像再生装置の概略構成図である。
【図１３】実施の形態６の追尾映像再生装置の概略構成図である。
【符号の説明】
【０１４２】
１０  監視映像の追尾映像再生装置
１１  高精細監視ビデオカメラ
１２  高精細映像取込部
１３  物体検出部
１４  全体背景画像検出部
１５  追尾データ作成部
１７  第１の部分映像重ね部
８３  監視端末装置
８１  伝送処理部