(57)【要約】【課題】限りある記録容量で長時間の画像記録を行なうことができる遠隔監視装置及び遠隔監視方法を提供する。【解決手段】画像合成部１１４で、静止画復号化部１１３にて復号化された静止画復号データについて複数のフレームを１枚のフレームに合成処理を施す。この際、蓄積部１１２に記録された同一時刻の重要領域情報を用いて重み付けを行なう。蓄積部１１２で、再符号化された静止画符号化データを蓄積し、過去に記録された同一フレームの静止画符号化データと重要領域情報は消去する。このように、画像をフレーム単位の圧縮だけでなく複数フレームの合成を行ない、さらに合成時に重要領域の重み付けを行なう。これにより、限度のある蓄積媒体を有効に利用でき、さらに画面内の重要領域は鮮明に保つことができる。【選択図】図１
2007194928.tif 000002
【特許請求の範囲】
【請求項１】
送信装置と受信装置とを備えた遠隔監視装置であり、
前記送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、
前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、
撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、
前記動画符号化データ、前記静止画符号化データ及び前記重要領域情報を伝送路に送信する送信手段とを備え、
前記受信装置は、
前記送信装置から送信された前記動画符号化データ、前記静止画符号化データ及び前記重要領域情報を受信する受信手段と、
前記静止画符号化データ及び前記重要領域情報を記録する蓄積手段と、
前記蓄積手段に記録された静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、
前記蓄積手段に記録された重要領域情報を用いて複数のフレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、
前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、
前記動画符号化データ及び前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記静止画再符号化データを記録する際に予め記録していた同一フレームの静止画符号化データと重要領域情報を消去する遠隔監視装置。
【請求項２】
送信装置と受信装置とを備えた遠隔監視装置であり、
前記送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、
前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、
前記動画符号化データ及び前記静止画符号化データを伝送路に送信する送信手段とを備え、
前記受信装置は、
前記送信装置から送信された動画符号化データ及び静止画符号化データを受信する受信手段と、
前記受信手段にて受信された動画符号化データより重要領域情報を生成する重要領域情報生成手段と、
前記受信手段にて受信された静止画符号化データ及び前記重要領域情報生成手段で生成された重要領域情報を記録する蓄積手段と、
前記蓄積手段に記録された静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、
前記蓄積手段に記録された重要領域情報を用いて複数のフレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、
前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、
前記動画符号化データ及び前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記静止画再符号化データを記録する際に予め記録していた同一フレームの静止画符号化データと重要領域情報を消去する遠隔監視装置。
【請求項３】
送信装置と受信装置とを備えた遠隔監視装置であり、
前記送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、
前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、
撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、
前記重要領域情報を前記静止画符号化データに付加し付加情報付き静止画符号化データを生成する重要領域情報付加手段と、
前記動画符号化データ及び前記付加情報付き静止画符号化データを伝送路に送信する送信手段とを備え、
前記受信装置は、
前記送信装置から送信された動画符号化データ及び付加情報付き静止画符号化データを受信する受信手段と、
前記受信手段にて受信された付加情報付き静止画符号化データを記録する蓄積手段と、
前記蓄積手段に記録された付加情報付き静止画符号化データから重要領域情報を分離する重要領域情報分離手段と、
前記重要領域情報分離手段にて分離された静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、
前記重要領域情報分離手段で分離された重要領域情報を用いて複数のフレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、
前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、
前記動画符号化データ及び前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記付加情報付き静止画符号化データを記録する際に予め記録していた同一フレームの付加情報付き静止画符号化データを消去する遠隔監視装置。
【請求項４】
送信装置と受信装置とを備えた遠隔監視装置であり、
前記送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、
前記動画符号化データを伝送路に送信する送信手段とを備え、
前記受信装置は、
前記送信装置から送信された動画符号化データを受信する受信手段と、
前記動画符号化データを記録する蓄積手段と、
前記蓄積手段に記録された動画符号化データを復号し動画復号データを生成する復号化手段と、
前記蓄積手段に記録された動画符号化データより重要領域情報を生成する重要領域情報生成手段と、
前記重要領域情報生成手段で生成された重要領域情報を用いて複数のフレームの前記動画復号データを合成し合成画像を生成する画像合成手段と、
前記合成画像を再符号化し再符号化データを生成する再符号化手段と、
前記動画符号化データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記再符号化データを記録する際に予め記録していた同一フレームの動画符号化データを消去する遠隔監視装置。
【請求項５】
送信装置と受信装置とを備えた遠隔監視装置であり、
前記送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、
撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、
前記動画符号化データと前記重要領域情報を伝送路に送信する送信手段とを備え、
前記受信装置は、
前記送信装置から送信された前記動画符号化データと前記重要領域情報を受信する受信手段と、
前記動画符号化データと前記重要領域情報を記録する蓄積手段と、
前記蓄積手段に記録された動画符号化データを復号し復号データを生成する復号化手段と、
前記蓄積手段に記録された前記重要領域情報を用いて複数フレームの前記動画復号データを合成し合成画像を生成する画像合成手段と、
前記合成画像を再符号化し動画再符号化データを生成する再符号化手段と、
前記動画符号化データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記再符号化データを記録する際に予め記録していた同一フレームの動画符号化データを消去する遠隔監視装置。
【請求項６】
送信装置と受信装置とを備えた遠隔監視装置であり、
前記送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、
撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、
前記静止画符号化データと前記重要領域情報を伝送路に送信する送信手段とを備え、
前記受信装置は、
前記送信装置から送信された前記静止画符号化データと前記重要領域情報を受信する受信手段と、
前記静止画符号化データと前記重要領域情報を記録する蓄積手段と、
前記蓄積手段に記録された静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、
前記重要領域情報を用いて複数フレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、
前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、
前記動画符号化データ、前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記静止画再符号化データを記録する際に予め記録していた同一フレームの画像符号化データを消去する遠隔監視装置。
【請求項７】
送信装置と受信装置とを備えた遠隔監視装置であり、
前記送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、
前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、
前記重要領域情報を前記静止画復号データに付加し付加情報付き静止画符号化データを生成する重要領域情報付加手段と、
前記付加情報付き静止画符号化データを伝送路に送信する送信手段とを備え、
前記受信装置は、
前記送信装置から送信された前記付加情報付き静止画符号化データを受信する受信手段と、
前記付加情報付き静止画符号化データを記録する蓄積手段と、
前記蓄積手段に記録された付加情報付き静止画符号化データから前記重要領域情報を分離する重要領域情報分離手段と、
分離された前記静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、
前記重要領域情報を用いて複数フレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、
前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、
前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記静止画再符号化データを記録する際に予め記録していた同一フレームの画像符号化データを消去する遠隔監視装置。
【請求項８】
送信装置と受信装置とを備えた遠隔監視装置であり、
前記送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
前記撮像手段から出力された画像データに対し符号化を行ない、符号化データを生成する符号化手段と、
撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、
前記符号化データと前記重要領域情報を記録する蓄積手段と、
前記蓄積手段に記録された符号化データを復号し復号データを生成する復号化手段と、
前記重要領域情報を用いて複数フレームの前記復号データを合成し合成画像を生成する画像合成手段と、
前記合成画像を再符号化し再符号化データを生成する再符号化手段と前記符号化データを伝送路に送信する送信手段とを備え、
前記受信装置は、
前記送信装置から送信された前記符号化データを受信する受信手段と、
前記符号化データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記再符号化データを記録する際に予め記録していた同一フレームの符号化データと重要領域情報を消去する遠隔監視装置。
【請求項９】
前記重要領域生成手段は、顔領域を検出し、顔領域を重要領域情報として生成する請求項１、請求項３、請求項５、請求項６、請求項７又は請求項８に記載の遠隔監視装置。
【請求項１０】
前記重要領域生成手段は、人物の形状を検出し、人物領域を重要領域情報として生成する請求項１、請求項３、請求項５、請求項６、請求項７又は請求項８に記載の遠隔監視装置。
【請求項１１】
前記重要領域生成手段は、ナンバープレートを検出し、ナンバープレートの領域を重要領域情報として生成する請求項１、請求項３、請求項５、請求項６、請求項７又は請求項８に記載の遠隔監視装置。
【請求項１２】
赤外線センサを備え、
前記重要領域生成手段は、前記赤外線センサが反応した領域を重要領域情報として生成する請求項１、請求項３、請求項５、請求項６、請求項７又は請求項８に記載の遠隔監視装置。
【請求項１３】
音響センサを備え、
前記重要領域生成手段は、前記音響センサが反応した領域を重要領域情報として生成する請求項１、請求項３、請求項５、請求項６、請求項７又は請求項８に記載の遠隔監視装置。
【請求項１４】
赤外線センサと、
音響センサとを備え、
前記重要領域生成手段は、顔領域、人物の形状又はナンバープレートを検出し、動画符号化情報、顔領域、人物領域、ナンバープレート領域、赤外線センサ反応領域、音響センサ反応領域のうち２種類以上の組み合わせを重要領域情報として生成する請求項１、請求項３、請求項５、請求項６、請求項７又は請求項８に記載の遠隔監視装置。
【請求項１５】
前記画像合成手段は、複数のフレームを合成する際に重要領域情報が重なってしまう場合には重なるフレームの合成は行なわない請求項１乃至請求項１４のいずれかに記載の遠隔監視装置。
【請求項１６】
前記画像合成手段は、前記重要領域情報が画面内を移動する場合に任意のフレームを抽出して合成する請求項１乃至請求項１４のいずれかに記載の遠隔監視装置。
【請求項１７】
前記画像合成手段は、前記重要領域情報が画面内において広範囲であったり、フレーム間での重要領域情報の変化が不定であったりした場合は合成を行なわない請求項１乃至請求項１４のいずれかに記載の遠隔監視装置。
【請求項１８】
それぞれ識別用のカメラＩＤが割り当てられた複数の送信装置と、１台の受信装置とを備えた遠隔監視装置であり、
前記各送信装置は、
被写体を撮像し画像データを出力する撮像手段と、
前記撮像手段からの画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、
前記撮像手段からの画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、
撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、
前記動画符号化データ、前記静止画符号化データ、前記重要領域情報及び前記カメラＩＤを伝送路に送信する送信手段とを備え、
前記受信装置は、
複数の前記送信装置夫々から送信された前記動画符号化データ、前記静止画符号化データ、前記重要領域情報及び前記カメラＩＤを受信する受信手段と、
前記静止画符号化データと前記重要領域情報を前記カメラＩＤ毎に記録する蓄積手段と、
前記蓄積手段に記録された静止画符号化データを復号し静止画復号データを生成する複数の静止画復号化手段と、
前記重要領域情報を用いて複数フレームの静止画復号データを合成した後、解像度変換処理を施しカメラＩＤ毎に縮小合成画像を生成する複数の合成縮小手段と、
同一時刻範囲における複数の前記縮小合成画像を合成し複数のカメラの画像から１枚の画像を生成する画像合成手段と、
前記画像合成手段で生成された画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、
複数カメラの前記動画符号化データ、前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、これら前記静止画再符号化データを記録する際に予め記録されていた同一フレームの静止画符号化データを消去する遠隔監視装置。
【請求項１９】
被写体を撮像する撮像工程と、
画像データに対して動画符号化を行ない、動画符号化データを生成する動画符号化工程と、
画像データに対して静止画符号化を行ない、静止画符号化データを生成する静止画符号化工程と、
撮像領域中の特定の領域を検出して重要領域情報を生成する重要領域生成工程と、
前記動画符号化データ、前記静止画符号化データ、前記重要領域情報を伝送路に送信する送信工程と、
前記動画符号化データ、前記静止画符号化データ、前記重要領域情報を受信する受信工程と、
前記静止画符号化データと前記重要領域情報を記録する蓄積工程と、
前記蓄積工程にて記録された静止画符号化データを復号し静止画復号データを生成する静止画復号化工程と、
前記重要領域情報を用いて複数フレームの前記静止画復号データを合成し合成画像を生成する画像合成工程と、
前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化工程と、
前記動画符号化データ、前記静止画復号データを復号し表示する復号表示工程とを備え、
前記静止画復号化工程、前記画像合成工程、前記静止画再符号化工程では記録されてから任意の時間が経過したデータに対して処理を行ない、前記蓄積工程ではこれらの処理されたデータは消去し前記静止画再符号化工程にて再符号化されたデータを記録する遠隔監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔監視装置及び遠隔監視方法に関し、特に撮像して得られた画像データを圧縮して記録する遠隔監視装置及び遠隔監視方法に関する。
【背景技術】
【０００２】
従来、監視カメラで圧縮して伝送されてきた符号化データを、重要度に応じて再符号化して記録する映像記録再生装置が提案されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００３−１８９２４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の映像記録再生装置においては、アラーム発生時などの重要度の高い画像データについては、低圧縮の符号化データをそのまま記録し、重要度の低い符号化データについては、より高圧縮で再符号化して記録するものであり、仮に重要度の高い画像が多く含まれている場合は、再符号化の効率が低く、記録容量を圧迫してしまうという問題がある。
【０００５】
なお、大容量のハードディスクを持たせることで記録容量の圧迫問題を回避することが可能であるが、コスト高になる。また、監視カメラ自体に画像データを記録させる場合は媒体が低容量の記録媒体（例えば、ＳＤ（Secure Digital memory card）カード等）となり、長時間の記録が困難である。近年、より高解像度の監視画像が要望されていることもあってデータ量が嵩むことから、限りある記録容量で長時間記録できるものが望まれている。
【０００６】
本発明は、係る事情に鑑みてなされたものであり、限りある記録容量で長時間の画像記録を行なうことができる遠隔監視装置及び遠隔監視方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本願発明の遠隔監視装置は送信装置と受信装置とを備えた遠隔監視装置であり、前記送信装置は、被写体を撮像し画像データを出力する撮像手段と、前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、前記動画符号化データ、前記静止画符号化データ及び前記重要領域情報を伝送路に送信する送信手段とを備え、前記受信装置は、前記送信装置から送信された前記動画符号化データ、前記静止画符号化データ及び前記重要領域情報を受信する受信手段と、前記静止画符号化データ及び前記重要領域情報を記録する蓄積手段と、前記蓄積手段に記録された静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、前記蓄積手段に記録された重要領域情報を用いて複数のフレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、前記動画符号化データ及び前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記静止画再符号化データを記録する際に予め記録していた同一フレームの静止画符号化データと重要領域情報を消去する。この構成により、画像をフレーム単位の圧縮だけでなく、複数フレームの合成を行ない、さらに合成時に重要領域の重み付けを行なうことで、圧縮率を上げつつ重要領域の画質は保ったまま記録できる。
【０００８】
また、本願発明の遠隔監視装置は送信装置と受信装置とを備えた遠隔監視装置であり、前記送信装置は、被写体を撮像し画像データを出力する撮像手段と、前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、前記動画符号化データ及び前記静止画符号化データを伝送路に送信する送信手段とを備え、前記受信装置は、前記送信装置から送信された動画符号化データ及び静止画符号化データを受信する受信手段と、前記受信手段にて受信された動画符号化データより重要領域情報を生成する重要領域情報生成手段と、前記受信手段にて受信された静止画符号化データ及び前記重要領域情報生成手段で生成された重要領域情報を記録する蓄積手段と、前記蓄積手段に記録された静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、前記蓄積手段に記録された重要領域情報を用いて複数のフレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、前記動画符号化データ及び前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記静止画再符号化データを記録する際に予め記録していた同一フレームの静止画符号化データと重要領域情報を消去する。この構成により、受信装置で動画符号化データから重要領域情報を生成するため、送信装置の構成を簡略化でき、例えばシステム運用当初はこのような仕組みを持っていない場合も受信装置のみの変更で伝送網の負荷増加も無しに対応可能である。
【０００９】
また、本願発明の遠隔監視装置は送信装置と受信装置とを備えた遠隔監視装置であり、前記送信装置は、被写体を撮像し画像データを出力する撮像手段と、前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、前記重要領域情報を前記静止画符号化データに付加し付加情報付き静止画符号化データを生成する重要領域情報付加手段と、前記動画符号化データ及び前記付加情報付き静止画符号化データを伝送路に送信する送信手段とを備え、前記受信装置は、前記送信装置から送信された動画符号化データ及び付加情報付き静止画符号化データを受信する受信手段と、前記受信手段にて受信された付加情報付き静止画符号化データを記録する蓄積手段と、前記蓄積手段に記録された付加情報付き静止画符号化データから重要領域情報を分離する重要領域情報分離手段と、前記重要領域情報分離手段にて分離された静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、前記重要領域情報分離手段で分離された重要領域情報を用いて複数のフレームの前記静止画復号データを合成し合成画像を生成画像合成手段と、前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、前記動画符号化データ及び前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記付加情報付き静止画符号化データを記録する際に予め記録していた同一フレームの付加情報付き静止画符号化データを消去する。この構成により、重要領域情報が静止画符号化データに付加されるため、静止画符号化データの存在するフレームのみ重要領域情報を生成すれば良いので送信装置の処理を簡略化できる。さらに静止画符号化データの存在しないフレームの不要な重要領域情報を送信することもないため、伝送網を介して伝送されるデータ量をより削減できる。
【００１０】
また、本願発明の遠隔監視装置は送信装置と受信装置とを備えた遠隔監視装置であり、前記送信装置は、被写体を撮像し画像データを出力する撮像手段と、前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、前記動画符号化データを伝送路に送信する送信手段とを備え、前記受信装置は、前記送信装置から送信された動画符号化データを受信する受信手段と、前記動画符号化データを記録する蓄積手段と、前記蓄積手段に記録された動画符号化データを復号し動画復号データを生成する復号化手段と、前記蓄積手段に記録された動画符号化データより重要領域情報を生成する重要領域情報生成手段と、前記重要領域情報生成手段で生成された重要領域情報を用いて複数のフレームの前記動画復号データを合成し合成画像を生成する画像合成手段と、前記合成画像を再符号化し再符号化データを生成する再符号化手段と、前記動画符号化データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記再符号化データを記録する際に予め記録していた同一フレームの動画符号化データを消去する。この構成により、画像符号化方式が動画のみの遠隔監視装置において、圧縮率を上げつつ重要領域の画質は保ったまま記録でき、且つ受信装置で動画符号化データから重要領域情報を生成するため送信装置の構成を簡略化でき、例えば遠隔監視装置の運用当初は仕組みを持っていない場合も受信装置のみの変更で伝送網の負荷増加も無しに対応可能である。
【００１１】
また、本願発明の遠隔監視装置は送信装置と受信装置とを備えた遠隔監視装置であり、前記送信装置は、被写体を撮像し画像データを出力する撮像手段と、前記撮像手段から出力された画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、前記動画符号化データと前記重要領域情報を伝送路に送信する送信手段とを備え、前記受信装置は、前記送信装置から送信された前記動画符号化データと前記重要領域情報を受信する受信手段と、前記動画符号化データと前記重要領域情報を記録する蓄積手段と、前記蓄積手段に記録された動画符号化データを復号し復号データを生成する復号化手段と、前記蓄積手段に記録された前記重要領域情報を用いて複数フレームの前記動画復号データを合成し合成画像を生成する画像合成手段と、前記合成画像を再符号化し動画再符号化データを生成する再符号化手段と、前記動画符号化データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記再符号化データを記録する際に予め記録していた同一フレームの動画符号化データを消去する。この構成により、画像符号化方式が動画のみの遠隔監視装置において、重要領域情報が動画符号化によるデータに特化する必要がないため重要領域情報がより高精度となり、合成画像内の重要領域をより高精度に再現できる。
【００１２】
また、本願発明の遠隔監視装置は送信装置と受信装置とを備えた遠隔監視装置であり、前記送信装置は、被写体を撮像し画像データを出力する撮像手段と、前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、前記静止画符号化データと前記重要領域情報を伝送路に送信する送信手段とを備え、前記受信装置は、前記送信装置から送信された前記静止画符号化データと前記重要領域情報を受信する受信手段と、前記静止画符号化データと前記重要領域情報を記録する蓄積手段と、前記蓄積手段に記録された静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、前記重要領域情報を用いて複数フレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、前記動画符号化データ、前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記静止画再符号化データを記録する際に予め記録していた同一フレームの画像符号化データを消去する。この構成により、画像符号化方式が静止画のみの遠隔監視装置において、圧縮率を上げつつ重要領域の画質は保ったまま記録できる。
【００１３】
また、本願発明の遠隔監視装置は送信装置と受信装置とを備えた遠隔監視装置であり、前記送信装置は、被写体を撮像し画像データを出力する撮像手段と、撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、前記撮像手段から出力された画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、前記重要領域情報を前記静止画復号データに付加し付加情報付き静止画符号化データを生成する重要領域情報付加手段と、前記付加情報付き静止画符号化データを伝送路に送信する送信手段とを備え、前記受信装置は、前記送信装置から送信された前記付加情報付き静止画符号化データを受信する受信手段と、前記付加情報付き静止画符号化データを記録する蓄積手段と、前記蓄積手段に記録された付加情報付き静止画符号化データから前記重要領域情報を分離する重要領域情報分離手段と、分離された前記静止画符号化データを復号し静止画復号データを生成する静止画復号化手段と、前記重要領域情報を用いて複数フレームの前記静止画復号データを合成し合成画像を生成する画像合成手段と、前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記静止画再符号化データを記録する際に予め記録していた同一フレームの画像符号化データを消去する。この構成により、重要領域情報が静止画符号化データに付加されるため、静止画符号化データの存在するフレームのみ重要領域情報を生成すれば良いので送信装置の処理を簡略化でき、さらに静止画符号化データの存在しないフレームの不要な重要領域情報送ることもないため、伝送網を介して伝送されるデータ量をより削減できる。
【００１４】
また、本願発明の遠隔監視装置は送信装置と受信装置とを備えた遠隔監視装置であり、前記送信装置は、被写体を撮像し画像データを出力する撮像手段と、前記撮像手段から出力された画像データに対し符号化を行ない、符号化データを生成する符号化手段と、撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、前記符号化データと前記重要領域情報を記録する蓄積手段と、前記蓄積手段に記録された符号化データを復号し復号データを生成する復号化手段と、前記重要領域情報を用いて複数フレームの前記復号データを合成し合成画像を生成する画像合成手段と、前記合成画像を再符号化し再符号化データを生成する再符号化手段と前記符号化データを伝送路に送信する送信手段とを備え、前記受信装置は、前記送信装置から送信された前記符号化データを受信する受信手段と、前記符号化データを復号し表示する復号表示手段とを備え、前記蓄積手段は、前記再符号化データを記録する際に予め記録していた同一フレームの符号化データと重要領域情報を消去する。この構成により、監視カメラに画像の記録手段を備える遠隔監視装置において、画像を高圧縮且つ重要領域の画質は保ったまま記録できるため、監視カメラに実装するメモリ容量は少なくてすみ、監視カメラのコストを削減できる。
【００１５】
また、本願発明の遠隔監視装置の前記重要領域生成手段は、顔領域を検出し、顔領域を重要領域情報として生成する。この構成により、重要領域情報生成手段で顔領域を検出するので、監視画像として重要な人物の判定をより高精度に行なうことができる。
【００１６】
また、本願発明の遠隔監視装置の前記重要領域生成手段は、人物の形状を検出し、人物領域を重要領域情報として生成する。この構成により、重要領域情報生成手段で人物の形状を検出するので、監視画像として重要な人物の判定をより高精度に行なうことができる。
【００１７】
また、本願発明の遠隔監視装置の前記重要領域生成手段は、ナンバープレートを検出し、ナンバープレートの領域を重要領域情報として生成する。この構成により、重要領域情報生成手段でナンバープレートを検出するので、屋外監視システムとして重要な車のナンバープレートの判定を容易に行なうことができる。
【００１８】
また、本願発明の遠隔監視装置は、さらに赤外線センサを備え、前記重要領域生成手段は、前記赤外線センサが反応した領域を重要領域情報として生成する。この構成により、重要領域情報生成に赤外線センサの情報を用いるので、撮像領域が低照度でノイズが多く画像による重要領域の検出では精度が落ちる場合も重要領域検出を高精度に行なうことができる。
【００１９】
また、本願発明の遠隔監視装置は、さらに音響センサを備え、前記重要領域生成手段は、前記音響センサが反応した領域を重要領域情報として生成する。この構成により、重要領域情報生成に音響センサの情報を用いるので、撮像領域が低照度でノイズが多く画像による重要領域の検出では精度が落ちる場合も重要領域検出を高精度に行なうことができる。
【００２０】
また、本願発明の遠隔監視装置は、さらに赤外線センサと、音響センサとを備え、前記重要領域生成手段は、顔領域、人物の形状又はナンバープレートを検出し、動画符号化情報、顔領域、人物領域、ナンバープレート領域、赤外線センサ反応領域、音響センサ反応領域のうち２種類以上の組み合わせを重要領域情報として生成する。この構成により、重要領域情報を、動画符号化情報、顔領域、人物領域、ナンバープレート、赤外線センサ、音響センサのうち２種類以上の組み合わせから生成するので、より高精度な重要領域情報を生成でき、合成画像内の重要領域をより鮮明な状態で記録できる。
【００２１】
また、本願発明の遠隔監視装置の前記画像合成手段は、複数のフレームを合成する際に重要領域情報が重なってしまう場合には重なるフレームの合成は行なわない。この構成により、画像合成手段が複数のフレームを合成する際に、重要領域情報が重なる場合は重なるフレームを合成せず削除するので、複数フレームに亘って重要領域が重なる場合に、複数フレームの合成を行なうことにより重要領域がかえって見難くなることを防ぐことができる。また、合成フレーム数を少なくすることで画像合成手段における乗算回数が少なくて済むので、処理の簡略化ができる。
【００２２】
また、本願発明の遠隔監視装置の前記画像合成手段は、前記重要領域情報が画面内を移動する場合に任意のフレームを抽出して合成する。この構成により、重要領域情報が画面内を移動する場合に、任意のフレームを抽出して合成するので、複数フレームに亘って重要領域が重なる場合に、複数フレームの合成を行なうことにより重要領域がかえって見難くなることを防ぐことができる。また、合成フレーム数を少なくすることで画像合成手段における乗算回数が少なくて済むので、処理の簡略化ができる。
【００２３】
また、本願発明の遠隔監視装置の前記画像合成手段は、前記重要領域情報が画面内において広範囲であったり、フレーム間での重要領域情報の変化が不定であったりした場合は合成を行なわない。この構成により、重要領域情報が画面内において広範囲であったり、フレーム間での重要領域情報の変化が不安定であったりした場合は合成を行なわないので、複数フレームに亘って重要領域が重なる場合に、複数フレームの合成を行なうことにより重要領域がかえって見難くなることを防ぐことができる。また、合成フレーム数を少なくすることで画像合成手段における乗算回数が少なくて済むので、処理の簡略化ができる。
【００２４】
また、本願発明の遠隔監視装置は、それぞれ識別用のカメラＩＤが割り当てられた複数の送信装置と、１台の受信装置とを備えた遠隔監視装置であり、前記各送信装置は、被写体を撮像し画像データを出力する撮像手段と、前記撮像手段からの画像データに対して動画符号化を行ない、動画符号化データを生成し出力する動画符号化手段と、前記撮像手段からの画像データに対して静止画符号化を行ない、静止画符号化データを生成し出力する静止画符号化手段と、撮像領域中の特定の領域を検出し重要領域情報を生成する重要領域生成手段と、前記動画符号化データ、前記静止画符号化データ、前記重要領域情報及び前記カメラＩＤを伝送路に送信する送信手段とを備え、前記受信装置は、複数の前記送信装置夫々から送信された前記動画符号化データ、前記静止画符号化データ、前記重要領域情報及び前記カメラＩＤを受信する受信手段と、前記静止画符号化データと前記重要領域情報を前記カメラＩＤ毎に記録する蓄積手段と、前記蓄積手段に記録された静止画符号化データを復号し静止画復号データを生成する複数の静止画復号化手段と、前記重要領域情報を用いて複数フレームの静止画復号データを合成した後、解像度変換処理を施しカメラＩＤ毎に縮小合成画像を生成する複数の合成縮小手段と、同一時刻範囲における複数の前記縮小合成画像を合成し複数のカメラの画像から１枚の画像を生成する画像合成手段と、前記画像合成手段で生成された画像を再符号化し静止画再符号化データを生成する静止画再符号化手段と、複数カメラの前記動画符号化データ、前記静止画復号データを復号し表示する復号表示手段とを備え、前記蓄積手段は、これら前記静止画再符号化データを記録する際に予め記録されていた同一フレームの静止画符号化データを消去する。この構成により、複数の監視カメラを備えるシステムにおいて、各カメラの同一時間の画像を１枚の画像に合成するので、より圧縮率を高めることができる。
【００２５】
また、本願発明の遠隔監方法は、被写体を撮像する撮像工程と、画像データに対して動画符号化を行ない、動画符号化データを生成する動画符号化工程と、画像データに対して静止画符号化を行ない、静止画符号化データを生成する静止画符号化工程と、撮像領域中の特定の領域を検出して重要領域情報を生成する重要領域生成工程と、前記動画符号化データ、前記静止画符号化データ、前記重要領域情報を伝送路に送信する送信工程と、前記動画符号化データ、前記静止画符号化データ、前記重要領域情報を受信する受信工程と、前記静止画符号化データと前記重要領域情報を記録する蓄積工程と、前記蓄積工程にて記録された静止画符号化データを復号し静止画復号データを生成する静止画復号化工程と、前記重要領域情報を用いて複数フレームの前記静止画復号データを合成し合成画像を生成する画像合成工程と、前記合成画像を再符号化し静止画再符号化データを生成する静止画再符号化工程と、前記動画符号化データ、前記静止画復号データを復号し表示する復号表示工程とを備え、前記静止画復号化工程、前記画像合成工程、前記静止画再符号化工程では記録されてから任意の時間が経過したデータに対して処理を行ない、前記蓄積工程ではこれらの処理されたデータは消去し前記静止画再符号化工程にて再符号化されたデータを記録する。この方法により、画像をフレーム単位の圧縮だけでなく、複数フレームの合成を行ない、さらに合成時に重要領域の重み付けを行なうことで、圧縮率を上げつつ重要領域の画質は保ったまま記録できる。
【発明の効果】
【００２６】
本発明によれば、限りある記録容量で長時間の画像記録を行なうことができる遠隔監視装置及び遠隔監視方法を提供できる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２８】
（実施の形態１）
図１は、本発明の実施の形態１に係る遠隔監視装置の概略構成を示すブロック図である。本実施の形態の遠隔監視装置は、送信装置１０と受信装置１１とを備えて構成される。送信装置１０は、撮像部１０１と、静止画符号化部１０２と、動画符号化部１０３と、重要領域情報生成部１０４と、送信部１０５とを備えて構成される。撮像部１０１は、ＣＣＤ（Charge Coupled Device）、Ｃ−ＭＯＳ（Complementary Metal Oxide Semiconductor）センサなどの撮像素子と、この撮像素子から入力された画像をデジタル信号に変換するＡ／Ｄ（Analog/Digital）変換器等を備えている。
【００２９】
静止画符号化部１０２は、画像データを静止画として圧縮符号化を実施し静止画符号化データを生成して送信部１０５に入力する。静止画符号化の際、静止画符号化データにはフレーム毎にタイムスタンプが付加される。動画符号化部１０３は、画像データを動画として圧縮符号化を実施し動画符号化データを生成して動画符号化データを送信部１０５に入力する。重要領域情報生成部１０４は、撮像領域中の特定の領域を検出し重要領域情報を生成して送信部１０５に入力する。重要領域情報にはフレーム毎にタイムスタンプが付加される。送信部１０５は、静止画符号化部１０２より入力された静止画符号化データと、動画符号化部１０３より入力された動画符号化データと、重要領域情報生成部１０４より入力された重要領域情報とを伝送路（図示略）へ送信する。
【００３０】
受信装置１１は、受信部１１１と、蓄積部１１２と、静止画復号化部１１３と、画像合成部１１４と、静止画再符号化部１１５と、復号・表示部１１６とを備えて構成される。受信部１１１は、送信装置１０より送信された静止画符号化データ、動画符号化データ及び重要領域情報を受信する。蓄積部１１２は、受信部１１１で受信された静止画符号化データ及び重要領域情報を記録する。静止画復号化部１１３は、蓄積部１１２に蓄積されてから任意の時間が経過した静止画符号化データについて復号処理を施す。
【００３１】
画像合成部１１４は、静止画復号化部１１３にて復号化された静止画復号データについて複数のフレームを１枚のフレームに合成処理を施す。この際、蓄積部１１２に記録された同一時刻の重要領域情報を用いて重み付けを行なう。静止画再符号化部１１５は、画像合成部１１４にて合成処理された画像に対して静止画符号化処理を施す。蓄積部１１２は、再符号化された静止画符号化データを蓄積し、過去に記録された当該フレームの静止画符号化データと重要領域情報は消去する。復号・表示部１１６は、受信部１１１で受信された静止画符号化データ、動画符号化データを復号して表示する。
【００３２】
図２は、静止画復号データ、重要領域情報、合成画像のイメージである。ここでは５フレーム分の画像合成を行なうとする。Ａ１〜Ａ５は蓄積部１１２に記録されていた静止画符号化データを静止画復号化部１１３で復号した静止画復号データである。Ｋ１〜Ｋ５は蓄積部１１２に記録されていたＡ１〜Ａ５と同一時刻のタイムスタンプのついた重要領域情報である。なお、この例では白の部分が重要領域、黒の部分が非重要領域と２段階としているが、重要度に応じて複数の段階があっても良い。これらを画像合成部１１４にて合成処理を行ない、図２のような合成画像を得る。この例では画像合成部１１４にて行なう処理は、以下の式で表されるように古い画像に新しい画像を重ねていく方法とする。
【００３３】
合成画像=(((A1*(-K2)+A2*K2)*(-K3)+A3*K3)*(-K4)+A4*K4)*(-K5)+A5*K5
このようにして生成された合成画像は、静止画再符号化部１１５における静止画符号化の際、例えば蓄積容量が厳しい場合は送信装置１０の静止画符号化部１０２で施した静止画符号化処理より圧縮率を高くしても良い。また、重要度が高いシーンが多い場合は圧縮率を下げるなど、重要領域情報を用いて圧縮率を決定しても良い。
【００３４】
このように本実施の形態によれば、画像をフレーム単位の圧縮だけでなく、複数フレームの合成を行ない、さらに合成時に重要領域の重み付けを行なうので、圧縮率を上げつつ重要領域の画質を保ったまま蓄積することが可能となる。すなわち、記録してから時間を経過した画像データは個々のフレーム内での圧縮率を上げることのみならず、複数フレームを用いた圧縮を行なって圧縮率を上げて記録するので、限度のある蓄積媒体を有効に利用でき、さらに画面内の重要領域は鮮明に保つことができる。
【００３５】
（実施の形態２）
図３は、本発明の実施の形態２に係る遠隔監視装置の概略構成を示すブロック図である。図３において、本実施の形態の遠隔監視装置は、送信装置２０と受信装置２１とを備えて構成される。送信装置２０は、撮像部１０１と、静止画符号化部１０２と、動画符号化部２０１と、送信部２０２とを備えて構成される。受信装置２１は、受信部２１１と、重要領域情報生成部２１２と、蓄積部１１２と、静止画復号化部１１３と、画像合成部１１４と、静止画再符号化部１１５と、復号・表示部１１６とを備えて構成される。なお、撮像部１０１、静止画符号化部１０２、蓄積部１１２、静止画復号化部１１３、画像合成部１１４、静止画再符号化部１１５、復号・表示部１１６は、上述した実施の形態１と同様であるため説明は省略する。
【００３６】
動画符号化部２０１は、画像データを動画として圧縮符号化を実施し動画符号化データを生成して動画符号化データを送信部２０２に入力する。動画符号化の際、動画符号化データにはフレーム毎にタイムスタンプが付加される。送信部２０２は、静止画符号化部１０２より入力された静止画符号化データと動画符号化部２０１より入力された動画符号化データを伝送路（図示略）へ送信する。受信部２１１は、送信部２０２より送信された、静止画符号化データと動画符号化データを受信する。重要領域情報生成部２１２は、受信部２１１で受信された動画符号化データを解析し重要領域情報を生成する。
【００３７】
ここで、重要領域情報生成部２１２の動作について説明する。例えばＭＰＥＧ（Moving Picture Expert Group）−４の場合は、１６×１６画素で構成されるマクロブロック毎に動きベクトルやマクロブロックタイプが決められる。重要領域情報生成部２１２では、これらに基づき重要領域情報を生成する。この場合は動きの大きいマクロブロックほど重要度が高いこととされる。重要領域情報生成の際に、動画符号化データに付加されているタイムスタンプを、生成した重要領域情報に付加する。
【００３８】
図４は、動きベクトルの絶対値とマクロブロックタイプの組み合わせに対する重要領域情報の例を示す図である。重要領域情報のレベル１〜５は値が大きいほど重要度が高いとする。マクロブロックタイプがイントラ（intra）の場合は、動画符号化において前フレームとの差分が大きく動きが大きいと判断されているとして重要領域情報のレベルを高くし、マクロブロックタイプがノットコーデッド（NOT CODED）の場合は、逆に動きが小さい、又は動きがないと判断されているとして重要領域情報のレベルを低くする。マクロブロックタイプがインタ（Inter）の場合は、動きベクトルの値に基づいて重要領域情報のレベルを決定する。ここで、イントラは画面内の情報を用いて符号化を行なう場合であり、インタはフレーム間予測を用いる場合である。
【００３９】
このように本実施の形態によれば、受信装置２１において動画符号化データから重要領域情報を生成するので、送信装置２０に特別な処理は必要としないため、構成を簡略化できる。また、例えばシステム運用当初はこのような仕組みの入っていない場合も受信装置のみの変更で伝送網の負荷増加もなしに対応可能である。
【００４０】
（実施の形態３）
図５は、本発明の実施の形態３に係る遠隔監視装置の概略構成を示すブロック図である。図５において、本実施の形態の遠隔監視装置は、送信装置３０と受信装置３１とを備えて構成される。送信装置３０は、撮像部１０１と、静止画符号化部１０２と、動画符号化部１０３と、重要領域情報生成部３０３と、重要領域情報付加部３０１と、送信部３０２とを備えて構成される。受信装置３１は、受信部３１１と、蓄積部３１２と、重要領域情報分離部３１３と、静止画復号化部１１３と、画像合成部１１４と、静止画再符号化部１１５と、復号・表示部１１６とを備えて構成される。なお、撮像部１０１、静止画符号化部１０２、動画符号化部１０３、静止画復号化部１１３、復号・表示部１１６は、上述した実施の形態１と同様であるため説明は省略する。
【００４１】
重要領域情報生成部３０３は、静止画符号化部１０２にて符号化処理が施されるフレームに対しての重要領域情報を生成する。重要領域情報付加部３０１は、重要領域情報生成部３０３で生成された重要領域情報を静止画符号化部１０２で生成された当該フレームの静止画符号化データに付加する。送信部３０２は、重要領域情報付加部３０１、動画符号化部１０３より入力された付加情報付き静止画符号化データ、動画符号化データを伝送路（図示略）へ送信する。受信部３１１は、送信部３０２より送信された、付加情報付き静止画符号化データ、動画符号化データを受信する。
【００４２】
蓄積部３１２は、受信部３１１で受信された付加情報付き静止画符号化データを記録する。重要領域情報分離部３１３は、蓄積部３１２に記録されてから任意の時間が経過した付加情報付き静止画符号化データから付加情報である重要領域情報を分離し、重要領域情報を削除された静止画符号化データは静止画復号化部１１３へ、重要領域情報は画像合成部１１４に入力する。画像合成部１１４は、当該フレームの重要領域情報を用いて複数フレームの静止画復号データを１枚のフレームに合成処理を施し、静止画再符号化部１１５は、画像合成部１１４にて合成処理された合成画像に対して静止画符号化処理を施す。蓄積部３１２は、再符号化された静止画符号化データを蓄積し、過去に記録された当該フレームのデータは消去する。
【００４３】
このように本実施の形態によれば、重要領域情報を静止画符号化データに付加するので、静止画符号化データの存在するフレームのみ重要領域情報を生成すれば良いことから、送信装置３０における処理を簡略化できる。さらに、静止画符号化データの存在しないフレームの不要な重要領域情報送ることもないため、伝送網を介して伝送されるデータ量をより削減することができる。
【００４４】
（実施の形態４）
図６は、本発明の実施の形態４に係る遠隔監視装置の概略構成を示すブロック図である。図６において、本実施の形態の遠隔監視装置は、送信装置４０と受信装置４１とを備えて構成される。送信装置４０は、撮像部１０１と、動画符号化部１０３と、送信部４０１とを備えて構成される。受信装置４１は、受信部４１１と、蓄積部４１２と、重要領域情報生成部４１３と、復号化部４１４と、画像合成部４１７と、再符号化部４１６と、復号・表示部４１５とを備えて構成される。なお、撮像部１０１と動画符号化部１０３は、上述した実施の形態１と同様であるため説明は省略する。
【００４５】
送信部４０１は、動画符号化部１０３にて符号化された動画符号化データを伝送路へ送信する。受信部４１１は、送信装置４０より送信された動画符号化データを受信する。蓄積部４１２は、受信部４１１で受信された動画符号化データを記録する。復号化部４１４は、蓄積部４１２に蓄積されてから任意の時間が経過した動画符号化データについて復号処理を施す。また、重要領域情報生成部４１３は、復号処理を施す動画像と同一フレームの動画符号化データを用いて重要領域情報を生成する。
【００４６】
重要領域情報生成については、上述した実施の形態２に示すように、動画符号化データの動画符号化ベクトルやマクロブロックの種類による方法がある。画像合成部４１７は、復号化部４１４にて復号化された動画復号データについて複数のフレームを１枚のフレームに合成処理を施すが、その際、重要領域情報生成部４１３にて生成された同一フレームの重要領域情報を用いて重み付けを行なう。再符号化部４１６は、画像合成部４１７にて合成処理された画像に対し符号化処理を施す。再符号化部４１６にて処理される画像はフレーム相関度が低いため、符号化方式は静止画符号化で行なっても良い。蓄積部４１２は、再符号化されたデータを蓄積し、過去に記録された当該フレームのデータは消去する。
【００４７】
このように本実施の形態によれば、画像符号化方式が動画のみの場合に、圧縮率を上げつつ重要領域の画質は保ったまま蓄積でき、且つ受信装置４１で動画符号化データから重要領域情報を生成するため、送信装置４０の構成を簡略化でき、例えばシステム運用当初は仕組みの入っていない場合も受信装置のみの変更で伝送網の負荷増加もなしに対応可能である。
【００４８】
（実施の形態５）
図７は、本発明の実施の形態５に係る遠隔監視装置の概略構成を示すブロック図である。図７において、本実施の形態の遠隔監視装置は、送信装置５０と受信装置５１とを備えて構成される。送信装置５０は、撮像部１０１と、動画符号化部２０１と、重要領域情報生成部５０１と、送信部５０２とを備えて構成される。受信装置５１は、受信部５１１と、蓄積部５１２と、復号化部４１４と、画像合成部１１４と、復号・表示部４１５とを備えて構成される。なお、撮像部１０１は上述した実施の形態１と同様であり、復号・表示部４１５は上述した実施の形態４と同様であるため説明は省略する。
【００４９】
動画符号化部２０１は、画像データを動画として圧縮符号化を実施し動画符号化データを生成して送信部５０２に入力する。動画符号化の際は、動画符号化データにはフレーム毎にタイムスタンプが付加される。重要領域情報生成部５０１は、撮像領域中の特定の領域を検出し重要領域情報を生成し送信部５０２に入力する。重要領域情報生成については、上述した実施の形態２及び４で述べたように、動画符号化データの動画符号化ベクトルやマクロブロックの種類による方法でも良いし、動画符号化の過程で算出されるＳＡＤ、ＳＡＤ０などを用いても良く、また動画符号化情報を用いずに撮像領域の別の特徴から生成しても良い。ここで、ＳＡＤとは、現マクロブロックの画素値と参照マクロブロックの画素値との絶対誤差和のことであり、ＳＡＤ０とは、現マクロブロックの画素値と前フレームの同一マクロブロックの画素値との絶対誤差和のことである。
【００５０】
重要領域情報にはフレーム毎にタイムスタンプが付加される。送信部５０２は、動画符号化部２０１より入力された動画符号化データと重要領域情報生成部５０１より入力された重要領域情報を伝送路へ送信する。受信部５１１は、送信装置５０より送信された動画符号化データと重要領域情報を受信する。蓄積部５１２は、受信部５１１で受信された動画符号化データと重要領域情報を記録する。復号化部４１４は、蓄積部５１２に蓄積されてから任意の時間が経過した動画符号化データについて復号処理を施す。
【００５１】
画像合成部１１４は、復号化部４１４にて復号化された動画復号データについて複数のフレームを１枚のフレームに合成処理を施すが、その際、蓄積部５１２に記録された同一フレームの重要領域情報を用いて重み付けを行なう。再符号化部１１５は、画像合成部１１４にて合成処理された画像に対し符号化処理を施す。再符号化部１１５にて処理される画像はフレーム相関度が低いため、符号化方式は静止画符号化で行なっても良い。蓄積部５１２は、再符号化されたデータを蓄積し、過去に記録された当該フレームのデータは消去する。
【００５２】
このように本実施の形態によれば、画像符号化方式が動画のみの場合に、重要領域情報が動画符号化によるデータに特化する必要がないため重要領域情報がより高精度となり、合成画像内の重要領域をより高精度に再現できる。
【００５３】
（実施の形態６）
図８は、本発明の実施の形態６に係る遠隔監視装置の概略構成を示すブロック図である。図８において、本実施の形態の遠隔監視装置は、送信装置６０と受信装置６１とを備えて構成される。送信装置６０は、撮像部１０１と、静止画符号化部１０２と、重要領域情報生成部６０２と、送信部６０１とを備えて構成される。受信装置６１は、受信部６１１と、蓄積部１１２と、静止画復号化部１１３と、画像合成部１１４と、静止画再符号化部１１５と、復号・表示部６１２とを備えて構成される。なお、撮像部１０１、静止画符号化部１０２、蓄積部１１２、静止画復号化部１１３、画像合成部１１４、静止画再符号化部１１５は、上述した実施の形態１と同様であるため説明は省略する。
【００５４】
重要領域情報生成部６０２は、静止画符号化部１０２にて符号化処理が施されるフレームに対しての重要領域情報を生成する。例えば、３０Ｈｚで撮像された画像に対し静止画符号化レートが１５Ｈｚであった場合、重要領域情報も１５Ｈｚとなる。送信部６０１は、静止画符号化部１０２で符号化された静止画符号化データと重要領域情報生成部６０２にて生成された重要領域情報を伝送路へ送信する。受信部６１１は、送信部６０１より送信された、静止画符号化データと重要領域情報を受信する。復号・表示部６１２は、受信部６１１で受信した静止画符号化データを復号して表示する。その他の受信部６１１の動作は、上述した実施の形態１と同様である。
【００５５】
このように本実施の形態によれば、画像符号化方式が静止画のみの監視システムにおいて、圧縮率を上げつつ重要領域の画質は保ったまま蓄積できる。
【００５６】
（実施の形態７）
図９は、本発明の実施の形態７に係る遠隔監視装置の概略構成を示すブロック図である。図９において、本実施の形態の遠隔監視装置は、送信装置７０と受信装置７１とを備えて構成される。送信装置７０は、撮像部１０１と、静止画符号化部１０２と、重要領域情報生成部３０３と、重要領域情報付加部３０１と、送信部７０１とを備えて構成される。受信装置７１は、受信部７１１と、蓄積部３１２と、重要領域情報分離部３１３と、静止画復号化部１１３と、画像合成部１１４と、静止画再符号化部１１５と、復号・表示部６１２とを備えて構成される。なお、撮像部１０１、静止画符号化部１０２、静止画復号化部１１３、画像合成部１１４、静止画再符号化部１１５は、上述した実施の形態１と同様であり、復号・表示部６１２は上述した実施の形態６と同様であるため説明は省略する。
【００５７】
重要領域情報生成部３０３は、静止画符号化部１０２にて符号化処理が施されたフレームに対しての重要領域情報を生成する。重要領域情報付加部３０１は、重要領域情報生成部３０３で生成された重要領域情報を静止画符号化部１０２で生成された当該フレームの静止画符号化データに付加する。送信部７０１は、重要領域情報付加部３０１より入力された付加情報付き静止画符号化データを伝送路へ送信する。受信部７１１は、送信装置７０より送信された、付加情報付き静止画符号化データを受信する。
【００５８】
蓄積部３１２は、受信部７１１が受信した付加情報付き静止画符号化データを記録する。重要領域情報分離部３１３は、蓄積部３１２に記録されてから任意の時間の経過した付加情報付き静止画符号化データより付加情報である重要領域情報を分離し、分離された静止画符号化データは、静止画復号化部１１３にて復号処理が施され、重要領域情報は画像合成部１１４にて重要領域情報と同一フレームの静止画復号データの合成に用いられる。蓄積部３１２は、再符号化された静止画符号化データを蓄積し、過去に記録された当該フレームのデータは消去する。
【００５９】
このように本実施の形態によれば、重要領域情報が静止画符号化データに付加されるため、静止画符号化データの存在するフレームのみ重要領域情報を生成すれば良いので、送信部の処理を簡略化でき、さらに静止画符号化データの存在しないフレームの不要な重要領域情報送ることもないため、伝送網を介して伝送されるデータ量をより削減できる。
【００６０】
（実施の形態８）
図１０は、本発明の実施の形態８に係る遠隔監視装置の送信装置の概略構成を示すブロック図である。図１０において、送信装置８０は、撮像部１０１と、符号化部８０５と、送信部２０２と、重要領域情報生成部１０４と、蓄積部８０１と、復号化部８０２と、画像合成部８０３と、再符号化部８０４とを備えて構成される。なお、撮像部１０１は、上述した実施の形態１と同様の動作であるため説明は省略する。
【００６１】
符号化部８０５は、撮像部１０１で撮像された画像データの符号化を行なうが、ＭＰＥＧ−４などの動画符号化でもＪＰＥＧなどの静止画符号化でも構わない。符号化の際、符号化データにはフレーム毎にタイムスタンプが付加される。重要領域情報生成部１０４は、撮像領域中の特定の領域を検出し重要領域情報を生成して蓄積部８０１に入力する。重要領域情報はフレーム毎にタイムスタンプが付加される。蓄積部８０１は、符号化部８０５で符号化された符号化データと重要領域情報生成部１０４で生成された重要領域情報を記録する。復号化部８０２は、蓄積部８０１に記録されてから任意の時間が経過した符号化データについて復号処理を施す。画像合成部８０３は、復号化部８０２にて復号化された復号データについて複数のフレームを１枚のフレームに合成処理を施すが、その際蓄積部８０１に記録された同一フレームの重要領域情報を用いて重み付けを行なう。再符号化部８０４は、画像合成部８０３にて合成処理された画像に対し符号化処理を施す。蓄積部８０１は、再符号化された符号化データを記録し、過去に記録された当該フレームのデータは消去する。
【００６２】
このように本実施の形態によれば、画像を高圧縮且つ重要領域の画質を保ったまま記録できるため、監視カメラに実装するメモリ容量は少なくてすみ、監視カメラのコストを削減できる。
【００６３】
（実施の形態９）
図１１は、本実施の形態に係る遠隔監視装置の送信装置の概略構成を示すブロック図である。図１１において、本実施の形態に係る遠隔監視装置の送信装置９０は、上述した実施の形態８に係る遠隔監視装置と同じ構成に、動画符号化部１０３を追加したものである。すなわち、動画符号化と静止画符号化の２種類の画像符号化方式を用いたものである。蓄積部９０１は静止画符号化データを記録する。したがって、復号、合成、再符号化処理を施されるのも静止画である。
【００６４】
このように本実施の形態によれば、画像を高圧縮且つ重要領域の画質を保ったまま記録できるため、監視カメラに実装するメモリ容量は少なくてすみ、監視カメラのコストを削減できる。
【００６５】
（実施の形態１０）
次に、本発明の実施の形態１０に係る遠隔監視装置について説明する。本実施の形態に係る遠隔監視装置は、上述した実施の形態８に係る遠隔監視装置と同一の構成であるので、図１０を援用することとする。図１２及び図１３は本実施の形態に係る遠隔監視装置の重要領域情報生成部１０４に顔領域の検出を用いた例を示す図である。図１２は、画像合成部９０３に入力する復号画像と各々の復号画像に対応する重要領域情報とそれらを用いて作成された合成画像のイメージを示す図である。図１３は、画像合成部９０３にて復号画像と重要領域情報を用いて合成画像を生成する仕組みを示す図である。ここでは３フレーム分の画像合成を行なう場合である。図１３において、Ａ１〜Ａ３は静止画復号データ又は動画復号データである。ｋ１〜ｋ３はＡ１〜Ａ３と同一フレームの重要領域情報であり、この例では重要度は重要／非重要の２段階であり、白の部分が重要領域、黒の部分が非重要領域としている。まず演算部ＯＰ１において、復号データに乗算する値ｐ１〜ｐ３を下記の演算にて算出する。
【００６６】
p1=(k1|1/3)*(-k2)*(-k3)
p2=(-k1)*(k2 | 1/3)*(-k3)
p3=(-k1)*(-k2)*(k3 | 1/3)
ここで、演算子”|”は論理和である。
【００６７】
次に下記の演算により合成画像を得る。
合成画像=p1*A1 + p2*A2 + p3*A3
【００６８】
このように本実施の形態によれば、監視画像として重要な人物の判定をより高精度に行なうことができる。
【００６９】
（実施の形態１１）
次に、本発明の実施の形態１１に係る遠隔監視装置について、図面を用いて説明する。本実施の形態に係る遠隔監視装置は、上述した実施の形態８に係る遠隔監視装置と同一の構成であるので、図１０を援用することとする。図１４は本実施の形態に係る遠隔監視装置の重要領域情報生成部１０４に人物検出を用いた場合の例であり、画像合成部９０３に入力する復号画像と各々の復号画像に対応する重要領域情報と、それらを用いて生成された合成画像のイメージを示す図である。人物の部分が重要領域であり、それ以外は非重要領域である。顔検出を用いた場合と同様の方法で合成画像を作成した場合、生成された合成画像は人物の部分は鮮明に再現されるが、犬の部分は不鮮明となる。
【００７０】
このように本実施の形態によれば、監視画像として重要な人物の判定をより高精度に行なうことができる。
【００７１】
（実施の形態１２）
次に、本発明の実施の形態１２に係る遠隔監視装置について、図面を用いて説明する。本実施の形態に係る遠隔監視装置は、上述した実施の形態８に係る遠隔監視装置と同一の構成であるので、図１０を援用することとする。図１５は本実施の形態に係る遠隔監視装置の重要領域情報生成部１０４にナンバープレート検出を用いた例である。ここでは３フレーム分の画像合成を行なうとする。図１５において、Ａ１〜Ａ３は静止画復号データ又は動画復号データである。ｋ１〜ｋ３はＡ１〜Ａ３と同一時刻の重要領域情報であり、この例では重要度は重要／非重要の２段階であり、白の部分が重要領域、黒の部分が非重要領域としている。演算部ＯＰ２において、下記の演算によって合成画像を得る。
【００７２】
合成画像=((k1|1/3)*(-k2)*(-k3))*A1 + 
((-k1)*(k2 | 1/3)*(-k3))*A2 + ((-k1)*(-k2)*(k3 | 1/3))*A3
ここで、演算子”|”は論理和である。
【００７３】
このように本実施の形態によれば、複数フレームの合成によってもナンバープレートが鮮明に再現されるため、屋外監視システムとして重要なナンバープレートの判別を容易に行なうことができる。
【００７４】
（実施の形態１３）
次に、本発明の実施の形態１３に係る遠隔監視装置について、図面を用いて説明する。図１６は、本発明の実施の形態に係る遠隔監視装置の送信装置１００の概略構成を示すブロック図である。本実施の形態に係る遠隔監視装置の送信装置１００は、赤外線センサ１００１を備え、重要領域情報生成部１００２が赤外線センサの情報を用いて重要領域情報を生成する。夜や照明を消した部屋の中など撮像領域の照度が低い場合は画像にノイズが多く残ってしまう。このような場合、顔検出や人物検出のように画像から重要領域を判定する方法では判定結果の精度が落ちてしまう。赤外線センサは、センサの反応する領域を重要領域として特定できるので、夜中の不審人物の侵入などを有効に捉えることができる。
【００７５】
このように本実施の形態によれば、撮像領域が低照度でノイズが多く画像による重要領域の検出では精度が落ちる場合も撮像領域内の変化を高精度に捉えることができる。
【００７６】
（実施の形態１４）
次に、本発明の実施の形態１４に係る遠隔監視装置について、図面を用いて説明する。図１７は、本発明の実施の形態に係る遠隔監視装置の送信装置１１０の概略構成を示すブロック図である。本実施の形態に係る遠隔監視装置の送信装置１１０は、音響センサ１００３を備え、重要領域情報生成部１００４が音響センサの情報を用いて重要領域情報を生成する。夜や照明を消した部屋の中など撮像領域の照度が低い場合は画像にノイズが多く残ってしまうが、このような場合、顔検出や人物検出のように画像から重要領域を判定する方法では判定結果の精度が落ちてしまう。音響センサは音のする方向を検知し撮像領域内で音の発生した領域を特定できるので、夜中の不審人物の侵入などを有効に捉えることができる。
【００７７】
このように本実施の形態によれば、撮像領域が低照度でノイズが多く画像による重要領域の検出では精度が落ちる場合も撮像領域内の変化を高精度に捉えることができる。
【００７８】
（実施の形態１５）
次に、本発明の実施の形態１５に係る遠隔監視装置について、図面を用いて説明する。図１８は、本発明の実施の形態１５に係る遠隔監視装置の送信装置１２０の概略構成を示すブロック図である。本実施の形態の送信装置１２０は重要領域情報生成部１００５を備え、この重要領域情報生成部１００５は人物検出部１００５１と重要領域情報合成部１００５２とを備えて構成される。本実施の形態は、動画符号化情報として、人物検出情報を用いるが、顔検出情報、ナンバープレート検出情報、赤外線センサによる赤外線検出情報、音響センサによる音響検出情報を用いても良く、また何種類かの組み合わせでも良い。図１８に示すように、動画符号化情報と人物検出を組み合わせた例においては、例えば動きの速い車と、静止している人物が撮像領域中に存在した場合、動画符号化情報のみでは車のみ重要領域情報として判定されるが、人物検出と組み合わせることによって、車と人物双方が重要領域情報として判定され、図１９のように、例えば道路で寝ている人物のひき逃げの瞬間などを鮮明に捉えることができる。
【００７９】
（実施の形態１６）
次に、本発明の実施の形態１６に係る遠隔監視装置について、図面を用いて説明する。図２０は、本発明の実施の形態１６に係る遠隔監視装置の画像合成処理を示すフロー図である。なお、本実施の形態の画像合成手段は、上述した各実施の形態の画像合成装置１１４、４１７、８０３のいずれにおいても適用することができる。
【００８０】
ここでは、５フレームの復号データＡ１〜Ａ５について、それぞれの重要領域情報ｋ１〜ｋ５を用いて合成画像を生成する例を示す。図２０において、まず１フレーム目の重要領域情報であるｋ１と２フレーム目の重要領域情報であるｋ２の比較を行なう（ステップＳ１０）。そして、ｋ１とｋ２で画面内においての共通の画素数がα画素以上であるかどうか判定する（ステップＳ１１）。共通の画素数がα画素以上であった場合は、重要領域が大きく重なっていると判断し、ＭＩＸ１＝Ａ１として（ステップＳ１２）、２フレーム目は合成に用いないこととする。
【００８１】
ｋ１とｋ２で画面内においての共通の画素数がα画素以上でなかった場合は、ｋ１と３フレーム目の重要領域情報であるｋ３を比較する（ステップＳ１３）。そして、ｋ１とｋ３で画面内においての共通の画素数がα画素以上であるかどうか判定する（ステップＳ１４）。共通の画素数がα画素未満であった場合は、合成に３フレーム目を用いることとし、１フレーム目と３フレーム目の合成を行なう（ステップＳ１５）。次に、３フレーム目と４フレーム目の重要領域情報を比較し、以下、同様の処理とする（ステップＳ１６〜ステップＳ２１）。αの値は任意に設定する。
【００８２】
このように本実施の形態によれば、複数フレームに亘り重要領域が重なる場合、複数フレームの合成を行なうことにより重要領域がかえって見難くなることを防ぐことができる。また、合成フレーム数を少なくすることで画像合成処理における乗算回数が少なくてすみ処理の簡略化が図れる。
【００８３】
（実施の形態１７）
次に、本発明の実施の形態１７に係る遠隔監視装置について、図面を用いて説明する。図２１は、本発明の実施の形態１７に係る遠隔監視装置の画像合成処理を示すフロー図である。なお、本実施の形態の画像合成手段は、上述した各実施の形態の画像合成装置１１４、４１７、８０３のいずれにおいても適用することができる。
【００８４】
図２１において、まず１フレーム目の画面内のおける重要領域の画素数をカウントする（ステップＳ３０）。そして、カウントした重要領域の画素数がβ画素以上であるかどうか判定する（ステップＳ３１）。例えば、ｋ１で重要領域の画素数がβ画素未満あった場合は、当該フレームは重要度が低いと判断し合成に用いないこととし、次のフレームの重要領域情報であるｋ２の重要領域画素数を入力し（ステップＳ３３）、カウントする（ステップＳ３０）。
【００８５】
一方、ｋ２の重要領域画素数がβ以上であった場合は、合成に用いる最初のフレームとして当該フレームのタイムスタンプを記録する（ステップＳ３２）。同様にして重要領域画素数がβ以上のフレームが連続する限り、都度タイムスタンプを記録していく（ステップＳ３４〜ステップＳ３９）。画像合成にあたり、重要領域画素数がβ以上のフレームが連続した場合、最初のフレームと最終フレーム、さらにその中間のフレームの重要領域情報と静止画復号データ又は動画復号データを用いる。この例では、重要領域が画面内に出現してから消滅するまでのうち３フレームを合成に用いているが、３フレームでなくとも構わない。βの値は任意に設定する。
【００８６】
このように本実施の形態によれば、複数フレームに亘り重要領域が重なる場合、複数フレームの合成を行なうことにより重要領域がかえって見難くなることを防ぐことができる。また、合成フレーム数を少なくすることで画像合成処理における乗算回数が少なくてすみ処理の簡略化が図れる。
【００８７】
（実施の形態１８）
次に、本発明の実施の形態１８に係る遠隔監視装置について、図面を用いて説明する。図２２は、本発明の実施の形態１８に係る遠隔監視装置の画像合成処理を示すフロー図である。なお、本実施の形態の画像合成手段は、上述した各実施の形態の画像合成装置１１４、４１７、８０３のいずれにおいても適用することができる。
【００８８】
図２２において、まず１フレーム目の画面内における重要領域の分析を行なう（ステップＳ５０）。例えば重要領域の画素数や動画符号化情報の動きベクトルを用いた場合は重要領域の動きの方向と大きさを分析する。画面内の重要領域の画素数が多い場合や重要領域の移動方向が多岐に亘る場合は合成に用いないこととし、次のフレームの重要領域情報を入力し（ステップＳ５１）、それの分析を行なう。
【００８９】
次いで、重要領域の画素数と重要領域の動きの方向と大きさがある任意の範囲内であるかどうか判定し（ステップＳ５２）、ある任意の範囲内であった場合は、合成に用いる最初のフレームとして当該フレームのタイムスタンプを記録する（ステップＳ５３）。本実施の形態では、重要領域の画素数がαとβの範囲外であった場合や、動ベクトルの値がγとθの範囲外であった場合には当該フレームの画像を合成に用いないという判断をしている。同様にして重要領域がある範囲内であるフレームが連続する限り、都度タイムスタンプを記録していく（ステップＳ５４〜ステップＳ５９）。画像合成にあたり、タイムスタンプが記録された画像のうち、任意のフレームを選択して合成しても良いし、全てを合成しても良い。合成に用いないフレームも重要度が高く再符号化を施して記録する場合、重要領域情報を用いて、非重要領域は白黒にするかマスクするといった処理を施して再符号化の際の符号量を削減しても良い。
【００９０】
このように本実施の形態によれば、複数フレームに亘り重要領域が重なる場合、複数フレームの合成を行なうことにより重要領域がかえって見難くなることを防ぐことができる。また、合成フレーム数を少なくすることで画像合成処理における乗算回数が少なくてすみ処理の簡略化が図れる。
【００９１】
（実施の形態１９）
次に、本発明の実施の形態１９に係る遠隔監視装置について、図面を用いて説明する。図２３は、本発明の実施の形態１９に係る遠隔監視装置の送信装置の概略構成を示すブロック図である。また、図２４は、本実施の形態に係る遠隔監視装置の受信装置の概略構成を示すブロック図である。本実施の形態では、４つの送信装置と１つの受信装置で構成されている。図２３において、４台の送信装置２０００、２００１、２００２及び２００３は、それぞれ同じ構成となっており、撮像部１０１と、静止画符号化部１０２と、動画符号化部１０３と、重要領域情報生成部１０４と、送信部１０５とを備えて構成される。４台の送信装置２０００、２００１、２００２及び２００３にはそれぞれカメラＩＤが割り当てられている。送信装置２０００、２００１、２００２及び２００３における撮像部１０１、静止画符号化部１０２、動画符号化部１０３、重要領域情報生成部１０４は、前述した実施の形態１と同様であるため説明は省略する。送信部１０５は、静止画符号化部１０２で生成された静止画符号化データ、動画符号化部１０３で生成された動画符号化データ、重要領域情報生成部１０４で生成された重要領域情報及びカメラＩＤを伝送路へ送信する。
【００９２】
図２４において、受信装置２０１０は、受信部１０１０と、蓄積部１０１１と、静止画復号化部１０１２、１０１３、１０１４及び１０１５と、合成縮小部１０１６、１０１７、１０１８及び１０１９と、画像合成部１０２０と、静止画再符号化部１０２１と、復号・表示部１０２２とを備えて構成される。受信装置２０１０は、送信装置２０００、２００１、２００２及び２００３より送信された、静止画符号化データ、動画符号化データ、重要領域情報、カメラＩＤを受信する。蓄積部１０１１は、受信部１０１０で受信された静止画符号化データ、重要領域情報をカメラＩＤ毎に記録する。静止画復号化部１０１２、１０１３、１０１４及び１０１５は、蓄積部１０１１に蓄積されてから任意の時間が経過したカメラの静止画符号化データについて、それぞれのカメラＩＤ毎に復号処理を施す。合成縮小部１０１６、１０１７、１０１８及び１０１９は、静止画復号化部１０１２、１０１３、１０１４及び１０１５にて復号化された静止画復号データについて複数のフレームを１枚のフレームに合成処理を施し、さらに合成画像に対し縮小処理をする。
【００９３】
合成処理の際は、蓄積部１０１１に記録された当該カメラＩＤの重要領域情報を用いて重み付けを行なう。画像合成部１０２０は、合成縮小部１０１６、１０１７、１０１８及び１０１９にて合成縮小処理を施された同一時刻範囲の画像を１枚の画像に合成処理を施す。例えば合成縮小部１０１６、１０１７、１０１８及び１０１９にて合成縮小画像Ａ、Ｂ、Ｃ、Ｄが生成されたとする。画像合成部１０２０では、これら４枚の画像を用いて４分割の１枚の画像を生成する。静止画再符号化部１０２１は、画像合成部１０２０にて合成処理された画像に対し静止画符号化処理を施す。蓄積部１０１１は再符号化された静止画符号化データを蓄積し、過去に記録された当該フレームのデータは消去する。
【００９４】
このように本実施の形態によれば、複数の監視カメラを備える遠隔監視装置において、各カメラの同一時間の画像を１枚の画像に合成するため、より圧縮率を高めることができる。
【産業上の利用可能性】
【００９５】
本発明は、限りある記録容量で長時間の画像記録を行なうことができるといった効果を有し、遠隔監視装置などへの適用が可能である。
【図面の簡単な説明】
【００９６】
【図１】本発明の実施の形態１に係る遠隔監視装置の送信装置及び受信装置の概略構成を示すブロック図
【図２】本発明の実施の形態１に係る遠隔監視装置における重要領域情報、静止画復号データ及び合成画像のイメージを示す図
【図３】本発明の実施の形態２に係る遠隔監視装置の送信装置及び受信装置の概略構成を示すブロック図
【図４】本発明の実施の形態２に係る遠隔監視装置における動きベクトルの絶対値とマクロブロックタイプの組み合わせに対する重要領域情報の例を示す図
【図５】本発明の実施の形態３に係る遠隔監視装置の送信装置及び受信装置の概略構成を示すブロック図
【図６】本発明の実施の形態４に係る遠隔監視装置の送信装置及び受信装置の概略構成を示すブロック図
【図７】本発明の実施の形態５に係る遠隔監視装置の送信装置及び受信装置の概略構成を示すブロック図
【図８】本発明の実施の形態６に係る遠隔監視装置の送信装置及び受信装置の概略構成を示すブロック図
【図９】本発明の実施の形態７に係る遠隔監視装置の送信装置及び受信装置の概略構成を示すブロック図
【図１０】本発明の実施の形態８に係る遠隔監視装置の送信装置の概略構成を示すブロック図
【図１１】本発明の実施の形態９に係る遠隔監視装置の送信装置の概略構成を示すブロック図
【図１２】本発明の実施の形態１０に係る遠隔監視装置の重要領域情報、静止画復号画像と合成画像のイメージを示す図
【図１３】本発明の実施の形態１０に係る遠隔監視装置の画像合成処理のイメージを示す図
【図１４】本発明の実施の形態１１に係る遠隔監視装置の重要領域情報、静止画復号画像と合成画像のイメージを示す図
【図１５】本発明の実施の形態１２に係る遠隔監視装置の重要領域情報、静止画復号画像と合成画像のイメージを示す図
【図１６】本発明の実施の形態１３に係る遠隔監視装置の送信装置の概略構成を示すブロック図
【図１７】本発明の実施の形態１４に係る遠隔監視装置の送信装置の概略構成を示すブロック図
【図１８】本発明の実施の形態１５に係る遠隔監視装置の送信装置の概略構成を示すブロック図
【図１９】本発明の実施の形態１５に係る遠隔監視装置の合成画像のイメージを示す図
【図２０】本発明の実施の形態１６に係る遠隔監視装置の画像合成処理を説明するためのフロー図
【図２１】本発明の実施の形態１７に係る遠隔監視装置の画像合成処理を説明するためのフロー図
【図２２】本発明の実施の形態１８に係る遠隔監視装置の画像合成処理を説明するためのフロー図
【図２３】本発明の実施の形態１９に係る遠隔監視装置の送信装置の概略構成を示すブロック図
【図２４】本発明の実施の形態１９に係る遠隔監視装置の受信装置の概略構成を示すブロック図
【符号の説明】
【００９７】
１０、２０、３０、４０、５０、６０、７０、８０、９０、１００、１１０、１２０、２０００、２００１、２００２、２００３  送信装置
１１、２１、３１、４１、５１、６１、７１、２０１０  受信装置
１０１  撮像部
１０２  静止画符号化部
１０３、２０１  動画符号化部
１０４、２１２、３０３、４１３、５０１、６０２、１００２、１００４、１００５  重要領域情報生成部
１０５、２０２、３０２、４０１、５０２、６０１、７０１  送信部
１１１、２１１、３１１、４１１、５１１、６１１、７１１、１０１０  受信部
１１２、３１２、４１２、５１２、８０１、９０１、１０１１  蓄積部
１１３、９０２、１０１２、１０１３、１０１４、１０１５  静止画復号化部
１１４、４１７、８０３、９０３、１０２０  画像合成部
１１５、９０４、１０２１  静止画再符号化部
１１６、４１５、６１２、１０２２  復号・表示部
３０１  重要領域情報付加部
３１３  重要領域情報分離部
４１４、８０２  復号化部
４１６、８０４  再符号化部
８０５  符号化部
１００１  赤外線センサ
１００３  音響センサ
１０１６、１０１７、１０１８、１０１９  合成縮小部
１００５１  人物検出部
１００５２  重要領域情報合成部
【図１】
2007194928.tif 000003
【図２】
2007194928.tif 000004
【図３】
2007194928.tif 000005
【図４】
2007194928.tif 000006
【図５】
2007194928.tif 000007
【図６】
2007194928.tif 000008
【図７】
2007194928.tif 000009
【図８】
2007194928.tif 000010
【図９】
2007194928.tif 000011
【図１０】
2007194928.tif 000012
【図１１】
2007194928.tif 000013
【図１２】
2007194928.tif 000014
【図１３】
2007194928.tif 000015
【図１４】
2007194928.tif 000016
【図１５】
2007194928.tif 000017
【図１６】
2007194928.tif 000018
【図１７】
2007194928.tif 000019
【図１８】
2007194928.tif 000020
【図１９】
2007194928.tif 000021
【図２０】
2007194928.tif 000022
【図２１】
2007194928.tif 000023
【図２２】
2007194928.tif 000024
【図２３】
2007194928.tif 000025
【図２４】
2007194928.tif 000026