(57)【要約】【課題】              複数のカメラにより撮影された画像信号を効率的に符号化する画像処理装置、および、符号化された画像信号を復号しモニタ等に表示する画像再生装置を得ることを目的とする。【解決手段】          撮影した複数の動画像から複数の画像信号を生成する撮像手段１〜Ｎと、複数の画像信号をそれぞれ複数のローカルエリアに分割し、ローカルエリアごとにフレーム間差分値を算出する特徴量算出手段２１〜２Ｎと、算出したフレーム間差分値に基づいてローカルエリアの画像を組み合わせ、複数の合成画像を生成する画像合成手段３２と、合成画像を構成するローカルエリアのフレーム間差分値に基づいて、合成画像のフレームレートを制御するフレームレート制御手段３３と、合成画像に対してフレーム間予測を用いた符号化を行い、ビットストリームを生成する画像符号化手段３４と、を備える。【選択図】          図１
2011199354.tif 000002
【特許請求の範囲】
【請求項１】
動画像を撮影する複数の撮像手段と、
前記複数の撮像手段により撮影された動画像より生成された複数の画像信号をそれぞれ複数のローカルエリアに分割し、前記ローカルエリアごとにフレーム間差分値を算出する特徴量算出手段と、
算出した前記フレーム間差分値に基づいて前記ローカルエリアの画像を組み合わせ、複数の合成画像を生成する画像合成手段と、
前記合成画像を構成する前記ローカルエリアの前記フレーム間差分値に基づいて、前記合成画像のフレームレートを制御するフレームレート制御手段と、
前記合成画像に対してフレーム間予測を用いた符号化を行い、ビットストリームを生成する画像符号化手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記フレームレートおよび前記合成画像を構成する前記ローカルエリアの前記フレーム間差分値に基づいて、前記合成画像の画像符号化におけるＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）構造を決定する符号化制御手段を備え、
前記画像符号化手段は前記ＧＯＰ構造に基づいて画像符号化を行うこと、
を特徴とする請求項１記載の画像処理装置。
【請求項３】
前記画像合成手段は、前記複数のローカルエリアの前記フレーム間差分値の大きさの順で前記ローカルエリアの画像を分類し、分類ごとに前記ローカルエリアの画像を組み合わせて前記複数の合成画像を生成することを特徴とする請求項１または２のいずれかに記載の画像処理装置。
【請求項４】
前記フレームレート制御手段は、前記合成画像に対して、他の前記合成画像であって、構成する前記ローカルエリアの前記フレーム間差分値が前記合成画像より大きい他の前記合成画像のフレームレートより落としたフレームレートを決定することを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記画像合成手段は、前記フレーム間差分値を複数フレーム分累算した値の大きさに基づいて、前記ローカルエリアの画像を組み合わせることを特徴とする請求項１〜４のいずれか１項に記載の画像処理装置。
【請求項６】
動画像を撮影する複数の撮像手段と、
前記複数の撮像手段により撮影された動画像より生成された複数の画像信号をそれぞれ複数のローカルエリアに分割し、前記ローカルエリアごとにフレーム間差分値を算出する特徴量算出手段と、
算出した前記フレーム間差分値に基づいて前記ローカルエリアの画像を組み合わせ、複数の合成画像を生成する画像合成手段と、
前記合成画像を構成する前記ローカルエリアのフレーム間差分値に基づいて、前記合成画像の高周波成分を除去するフィルタ手段と、
前記複数の合成画像に対してフレーム間予測を用いた符号化を行い、ビットストリームを生成する画像符号化手段と、
を備えたことを特徴とする画像処理装置。
【請求項７】
前記フィルタ手段は、前記合成画像を構成する前記ローカルエリアの前記フレーム間差分値が所定値より小さい前記合成画像に対して、高周波成分を除去することを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記画像符号化手段は、前記合成画像を構成する前記ローカルエリアの前記フレーム間差分値に基づいて、前記合成画像の量子化幅を制御することを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記画像符号化手段は、構成する前記ローカルエリアの前記フレーム間差分値が所定値以下となる前記合成画像に対して、量子化幅を下げることを特徴とする請求項８記載の画像処理装置。
【請求項１０】
複数の画像信号を構成するローカルエリアの画像を組み合わせて生成した複数の合成画像から、前記画像信号を構成する前記ローカルエリアの画像を抽出する画像抽出手段と、
抽出した前記ローカルエリアの画像を合成して前記画像信号を生成する画像再合成手段と、
前記生成された画像信号をモニタに表示する画像表示手段とを備え、
前記合成画像は、前記複数のローカルエリアの画像のフレーム間差分値に基づいて、前記ローカルエリア画像を組み合わせて合成された合成画像であること、
を特徴とする画像再生装置。
【請求項１１】
動画像を撮影する複数の撮像手段と、
前記複数の撮像手段により撮影された動画像より生成された複数の画像信号をそれぞれ複数のローカルエリアに分割し、前記ローカルエリアごとに前記複数の画像信号の相関性を算出する相関性算出手段と、
前記算出した相関性に基づいて、前記画像信号を符号化する順序およびＧＯＰ構造を決定する符号化制御手段と、
前記符号化する順序および前記ＧＯＰ構造に基づいてフレーム間予測を用いて前記画像信号を符号化し、ビットストリームを出力する画像符号化手段と、
を備えたことを特徴とする画像処理装置。
【請求項１２】
画像信号の符号化を行う画像処理装置と、符号化された前記画像信号を復号およびモニタに再生する画像再生装置を備える画像処理システムであって、
前記画像処理装置は、
動画像を撮影する複数の撮像手段と、
前記複数の撮像手段により撮影された動画像より生成された前記複数の画像信号をそれぞれ複数のローカルエリアに分割し、前記ローカルエリアごとにフレーム間差分値を算出する特徴量算出手段と、
算出した前記フレーム間差分値に基づいて前記ローカルエリアの画像を組み合わせ、複数の合成画像を生成する画像合成手段と、
前記合成画像を構成する前記ローカルエリアの前記フレーム間差分値に基づいて、前記合成画像のフレームレートを制御するフレームレート制御手段と、
前記複数の合成画像に対してフレーム間予測を用いた符号化を行い、ビットストリームを生成する画像符号化手段と、
前記ビットストリームおよび前記合成画像を構成する前記ローカルエリアの組合せを記憶する画像記憶手段と、
を備え、
前記画像再生装置は、
前記画像記憶手段から前記ビットストリームおよび前記ローカルエリアの組合せを取得するデータ取得手段と、
前記データ取得手段により取得した前記ビットストリームを復号し、合成画像を生成する画像復号手段と、
復号された前記合成画像から、前記ローカルエリアの組合せに基づいて前記画像信号を構成する前記ローカルエリアの画像を抽出する画像抽出手段と、
抽出した前記ローカルエリアの画像を合成して前記画像信号を生成する画像再合成手段と、
前記生成された画像信号をモニタに表示する画像表示手段と、
を備えることを特徴とする画像処理システム。
【請求項１３】
画像信号の符号化を行う画像処理装置と、符号化された前記画像信号を復号およびモニタに再生する画像再生装置を備える画像処理システムであって、
前記画像処理装置は、
動画像を撮影する複数の撮像手段と、
前記複数の撮像手段により撮影された動画像より生成された前記複数の画像信号をそれぞれ複数のローカルエリアに分割し、前記ローカルエリアごとにフレーム間差分値を算出する特徴量算出手段と、
算出した前記フレーム間差分値に基づいて前記ローカルエリアの画像を組み合わせ、複数の合成画像を生成する画像合成手段と、
前記合成画像を構成する前記ローカルエリアのフレーム間差分値に基づいて、前記合成画像の高周波成分を除去するフィルタ手段と、
前記複数の合成画像に対してフレーム間予測を用いた符号化を行い、ビットストリームを生成する画像符号化手段と、
前記ビットストリームおよび前記合成画像を構成する前記ローカルエリアの組合せを記憶する画像記憶手段と、
を備え、
前記画像再生装置は、
前記画像記憶手段から前記ビットストリームおよび前記ローカルエリアの組合せを取得するデータ取得手段と、
前記データ取得手段により取得した前記ビットストリームを復号し、合成画像を生成する画像復号手段と、
復号された前記合成画像から、前記ローカルエリアの組合せに基づいて前記画像信号を構成する前記ローカルエリアの画像を抽出する画像抽出手段と、
抽出した前記ローカルエリアの画像を合成して前記画像信号を生成する画像再合成手段と、
前記生成された画像信号をモニタに表示する画像表示手段と、
を備えることを特徴とする画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数の画像信号を符号化する画像処理装置、および、符号化された画像信号を復号しモニタ等に表示する画像再生装置に関するものである。
【背景技術】
【０００２】
近年、複数のカメラから異なる監視エリアを撮影し、得られた複数のカメラ画像を分割表示し、また、画像データを順次圧縮して、記録媒体に記録しておく画像記録表示装置を用いた監視カメラシステム（デジタルＣＣＴＶ（Ｃｌｏｓｅｄ  Ｃｉｒｃｕｉｔ  ＴｅｌｅＶｉｓｉｏｎ）システム）が広く普及し始めている。このシステムでは、複数カメラにより撮影した画像を、符号化装置に入力して画像データの圧縮を行うシステム構成が用いられており、画像データを圧縮する符号化技術としては、例えば国際標準規格であるＭＰＥＧ２（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ  Ｐａｒｔ２）や、最近ではＨ．２６４／ＡＶＣ等が用いられる。これらは、動き補償予測符号化、離散コサイン変換符号化および可変長符号化を組み合わせたハイブリッド符号化方式である。
【０００３】
このような監視カメラシステムでは、回路規模の増大を避けるために、複数のカメラから入力される画像を順次切り替えて、１つの符号化器にて圧縮する構成が想定される。従って、複数カメラからの入力される異なる画像を周期的に切り替えるため、時間的に連続しない画像のフレーム間の予測を行う必要がある。そのため、画像データを圧縮する符号化技術として、ＭＰＥＧ２やＨ．２６４／ＡＶＣ等のフレーム間予測を用いる方式を選択した場合、圧縮効率が悪いという問題点がある。
【０００４】
従来の監視カメラシステムでは、このような問題を解決するために複数の画像信号を合成して１つの合成画像信号を生成し、フレーム間で相関関係を有する合成画像信号を１つの符号化器を用いて圧縮することによって符号化を行っていた。（例えば、特許文献１参照）
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−２７３９３号公報（第４頁〜第７頁、第１図）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の監視カメラシステムでは、各カメラからの画像信号を単純に並べて合成したり、各画像信号の解像度を縮小して組み合わせたりして、合成画像信号を生成している。従って、複数のカメラからの画像信号のうち一部のカメラからの画像の動きが大きい場合において、動きの小さなカメラからの画像に合わせてフレーム間予測を行うと、その画像の動きが大きい画像に対する情報量の割り当てが十分ではなく、画質が悪くなるという問題が生じる。一方、動きの大きなカメラからの画像に合わせてフレーム間予測を行った場合、符号化したビットストリームの発生情報量が多くなり、記録媒体への記録時間が短くなるという問題点があった。また、解像度を縮小して組み合わせた場合には、再生した際の画質が悪くなるという問題点があった。
【課題を解決するための手段】
【０００７】
この発明に係る画像処理装置は、動画像を撮影する複数の撮像手段と、前記複数の撮像手段により撮影された動画像より生成された複数の画像信号をそれぞれ複数のローカルエリアに分割し、ローカルエリアごとにフレーム間差分値を算出する特徴量算出手段と、算出したフレーム間差分値に基づいてローカルエリアの画像を組み合わせ、複数の合成画像を生成する画像合成手段と、合成画像を構成するローカルエリアのフレーム間差分値に基づいて、合成画像のフレームレートを制御するフレームレート制御手段と、合成画像に対してフレーム間予測を用いた符号化を行い、ビットストリームを生成する画像符号化手段と、を備えている。
【０００８】
また、この発明に係る画像処理装置は、動画像を撮影する複数の撮像手段と、前記複数の撮像手段により撮影された動画像より生成された複数の画像信号をそれぞれ複数のローカルエリアに分割し、ローカルエリアごとにフレーム間差分値を算出する特徴量算出手段と、算出したフレーム間差分値に基づいてローカルエリアの画像を組み合わせ、複数の合成画像を生成する画像合成手段と、合成画像を構成するローカルエリアのフレーム間差分値に基づいて、合成画像の高周波成分を除去するフィルタ手段と、複数の合成画像に対してフレーム間予測を用いた符号化を行い、ビットストリームを生成する画像符号化手段と、を備えている。
【０００９】
また、この発明に係る画像再生装置は、複数の画像信号を構成するローカルエリアの画像を組み合わせて生成した複数の合成画像から、画像信号を構成するローカルエリアの画像を抽出する画像抽出手段と、抽出したローカルエリアの画像を合成して画像信号を生成する画像再合成手段と、生成された画像信号をモニタに表示する画像表示手段とを備え、合成画像は、複数のローカルエリアの画像のフレーム間差分値に基づいて、ローカルエリア画像を組み合わせて合成された合成画像である。
【００１０】
また、この発明に係る画像処理装置は、動画像を撮影する複数の撮像手段と、前記複数の撮像手段により撮影された動画像より生成された複数の画像信号をそれぞれ複数のローカルエリアに分割し、ローカルエリアごとに複数の画像信号の相関性を算出する相関性算出手段と、算出した相関性に基づいて、画像信号を符号化する順序およびＧＯＰ構造を決定する符号化制御手段と、符号化する順序およびＧＯＰ構造に基づいてフレーム間予測を用いて画像信号を符号化し、ビットストリームを出力する画像符号化手段と、を備えている。
【００１１】
また、この発明に係る画像処理システムは、画像信号の符号化を行う画像処理装置と、符号化された画像信号を復号およびモニタに再生する画像再生装置を備える画像処理システムであって、画像処理装置は、動画像を撮影する複数の撮像手段と、前記複数の撮像手段により撮影された動画像より生成された複数の画像信号をそれぞれ複数のローカルエリアに分割し、ローカルエリアごとにフレーム間差分値を算出する特徴量算出手段と、算出したフレーム間差分値に基づいてローカルエリアの画像を組み合わせ、複数の合成画像を生成する画像合成手段と、合成画像を構成するローカルエリアのフレーム間差分値に基づいて、合成画像のフレームレートを制御するフレームレート制御手段と、複数の合成画像に対してフレーム間予測を用いた符号化を行い、ビットストリームを生成する画像符号化手段と、ビットストリームおよび合成画像を構成するローカルエリアの組合せを記憶する画像記憶手段と、を備え、画像再生装置は、画像記憶手段からビットストリームおよびローカルエリアの組合せを取得するデータ取得手段と、データ取得手段により取得したビットストリームを復号し、合成画像を生成する画像復号手段と、復号された合成画像から、ローカルエリアの組合せに基づいて画像信号を構成するローカルエリアの画像を抽出する画像抽出手段と、抽出したローカルエリアの画像を合成して画像信号を生成する画像再合成手段と、生成された画像信号をモニタに表示する画像表示手段と、を備えている。
【００１２】
また、この発明に係る画像処理システムは、画像信号の符号化を行う画像処理装置と、符号化された画像信号を復号およびモニタに再生する画像再生装置を備える画像処理システムであって、画像処理装置は、動画像を撮影する複数の撮像手段と、前記複数の撮像手段により撮影された動画像より生成された複数の画像信号をそれぞれ複数のローカルエリアに分割し、ローカルエリアごとにフレーム間差分値を算出する特徴量算出手段と、算出したフレーム間差分値に基づいてローカルエリアの画像を組み合わせ、複数の合成画像を生成する画像合成手段と、合成画像を構成するローカルエリアのフレーム間差分値に基づいて、合成画像の高周波成分を除去するフィルタ手段と、複数の合成画像に対してフレーム間予測を用いた符号化を行い、ビットストリームを生成する画像符号化手段と、ビットストリームおよび合成画像を構成するローカルエリアの組合せを記憶する画像記憶手段と、を備え、画像再生装置は、画像記憶手段からビットストリームおよびローカルエリアの組合せを取得するデータ取得手段と、データ取得手段により取得したビットストリームを復号し、合成画像を生成する画像復号手段と、復号された合成画像から、ローカルエリアの組合せに基づいて画像信号を構成するローカルエリアの画像を抽出する画像抽出手段と、抽出したローカルエリアの画像を合成して画像信号を生成する画像再合成手段と、生成された画像信号をモニタに表示する画像表示手段と、を備えている。
【発明の効果】
【００１３】
この発明によれば、複数のカメラにより撮影された画像信号を効率的に符号化することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態１に示す画像処理装置および画像再生装置の全体構成を表すブロック図である。
【図２】本発明の実施の形態１に示すフレーム間差分値算出処理のフローチャートである。
【図３】本発明の実施の形態１に示すフレーム間差分値の算出例を示す概念図である。
【図４】本発明の実施の形態１に示す画像合成処理のフローチャートである。
【図５】本発明の実施の形態１に示すローカルエリアの組合せの算出例を示す概念図である。
【図６】本発明の実施の形態１に示す合成画像の生成例を示す概念図である。
【図７】本発明の実施の形態１に示す合成画像のフレームレートの算出例を示す概念図である。
【図８】本発明の実施の形態１に示す符号化処理におけるＧＯＰ構造を示す概念図である。
【図９】本発明の実施の形態３に示す画像処理装置および画像再生装置の全体構成を表すブロック図である。
【図１０】本発明の実施の形態４に示す画像処理装置および画像再生装置の全体構成を表すブロック図である。
【図１１】本発明の実施の形態４に示す複数の画像間の相関性の算出例を示す概念図である。
【図１２】本発明の実施の形態４に示す合成画像の符号化順序を示す概念図である。
【発明を実施するための形態】
【００１５】
実施の形態１．
図１はこの発明の実施の形態１における画像処理装置および画像再生装置を用いた監視カメラシステムの全体構成を表すブロック図である。まず、画像処理装置の構成について説明する。図１において、カメラ１〜Ｎは、例えばＣＣＤイメージセンサ等の動画像を撮影する撮像素子、および、撮影した画像をデジタル信号に変換して画像信号１０１〜１０Ｎおよび１フレーム前の画像信号１１１〜１１Ｎを生成するＡ／Ｄコンバータから構成されている。フレームメモリ部１１〜１Ｎは、出力された画像信号１０１〜１０Ｎおよび１フレーム前の画像信号１１１〜１１Ｎをフレーム単位で蓄積するメモリ、および、蓄積した画像信号から、受信したリード制御信号１３１〜１３Ｎに基づいて画像信号を読み出す画像読出し部から構成されている。ローカルエリア特徴量算出部２１〜２Ｎは、画像信号１０１〜１０Ｎと１フレーム前の画像信号１１１〜１１Ｎを所定のサイズの領域（以下、ローカルエリアとする）に分割するローカルエリア分割部と、ローカルエリア単位で画像信号１０１〜１０Ｎと１フレーム前の画像信号１１１〜１１Ｎとのフレーム間差分値１４１〜１４Ｎをローカルエリアごとに算出し、画像信号１０１〜１０Ｎが撮影された時刻情報１５１〜１５Ｎを出力するフレーム間差分値算出部から構成されている。ローカルエリア画像合成制御部３１ａはフレーム間差分値１４１〜１４Ｎおよび時刻情報１５１〜１５Ｎを参照して複数カメラからの画像をローカルエリア単位で合成する組み合わせを制御し、画像合成情報１６１および合成画像に適したフレームレート１６２を出力する。ローカルエリア画像合成処理部３２ａは画像合成情報１６１およびフレームレート１６２を基にフレームメモリ部１１〜１Ｎに対するリード制御信号１３１〜１３Ｎを出力し、フレームメモリ部１１〜１Ｎから読み出した画像信号１２１〜１２Ｎを組み合わせて合成画像信号１６４を生成する。符号化制御部３３は画像合成情報１６１およびフレームレート１６２を基に画像符号化を行う際のＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）構造１６３を決定する。画像符号化器３４は合成画像信号１６４をＧＯＰ構造１６３に従ってフレーム間予測を用いた符号化手段により符号化し、可変長のビットストリーム１６５を出力する。記録媒体３５は画像合成情報１６１、フレームレート１６２およびビットストリーム１６５を記録するＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）装置である。
【００１６】
次に、画像再生装置の構成を説明する。図１において、ユーザーインターフェース部３６はユーザーが再生したいカメラおよび時刻を入力する入力部を備え、指定された動画像の時刻情報１６６およびカメラ情報１６７を出力する。ストリーム読み出し制御部３７は時刻情報１６６を基に記録媒体３５から必要なビットストリーム１６９および対応する画像合成情報１７０を読み出すためのリード制御信号１６８を出力する。画像復号器３８はビットストリーム１６９を入力して画像復号手段により復号した合成画像信号１７１を出力する。ローカルエリア画像再合成制御部３９は復号された合成画像信号１７１に対応する画像合成情報１７０および再生したいカメラ情報１６７を参照して必要な合成画像信号１７１を選択するためのリード制御信号１７２および元のカメラ画像を再合成するための画像再合成情報１７４を出力し、フレームメモリ部４０は合成画像信号１７１を蓄積するメモリを備えている。ローカルエリア画像再合成処理部４１はフレームメモリ部４０から読み出された合成画像信号１７３から画像再合成情報１７４を基にローカルエリア単位で画像を組み合わせて元のカメラからの復号画像信号１７５を生成する。モニタ４２は元のカメラからの復号画像を表示するモニタ装置である。
【００１７】
次に、動作について説明する。まず、カメラ１〜Ｎは被監視対象物等の被写体を撮影し、撮影した動画像をＡ／Ｄコンバータによりデジタル信号に変換して画像信号１０１〜１０Ｎを出力する。このとき、各カメラは撮影対象の重要度や状態に応じて任意のフレームレートにて画像信号１０１〜１０Ｎを出力する。
【００１８】
出力された画像信号１０１〜１０Ｎは、フレームメモリ部１１〜１Ｎにおいてフレーム単位でメモリに書き込まれるとともに、ローカルエリア特徴量算出部２１〜２Ｎに入力される。図２にローカルエリア特徴量算出部２１〜２Ｎのフレーム間差分値算出処理のフローチャートを示す。ローカルエリア特徴量算出部２１〜２Ｎでは、画像信号１０１〜１０Ｎを読み込み（ステップＳ１−１）、１フレーム前にカメラ１〜Ｎにより撮影およびデジタル信号に変換されメモリに書き込みが完了した画像信号１１１〜１１Ｎをフレームメモリ部１１〜１Ｎから読み出し（ステップＳ１−２）、画像信号１０１〜１０Ｎおよび１フレーム前の画像信号１１１〜１１Ｎをそれぞれ複数のローカルエリアに分割する（ステップＳ１−３）。図３に、水平方向に５分割、垂直方向に４分割した場合の画像信号を示す。これらの画像信号についてカメラごとに比較を行い、ローカルエリア単位でフレーム間差分値１４１〜１４Ｎを算出する（ステップＳ１−４）。ここで、フレーム間差分値とは、同じカメラにより撮影された時間の異なる画像信号において、対応する画素の差分値を所定の領域（ここでは、ローカルエリア）で累積した値である。なお、フレーム間差分値を対応する画素の差分値の２乗和としたり、所定領域の画素の平均値または画素の偏差値の差分値としたりしてもよい。
【００１９】
図３に、１フレームを水平方向に５分割、垂直方向に４分割した場合の、各ローカルエリアにおけるフレーム間差分値の算出例を示す。１フレーム前の画像と現フレームの画像間において、ローカルエリアごとに対応する位置の画素値の比較を行い、ローカルエリアごとにその差分値を累積する。監視カメラシステムにおいて、固定カメラを使用した場合は移動体が含まれるローカルエリアのみフレーム間差分値が大きくなり、移動体がない背景部分のローカルエリアはフレーム間差分値が小さい値または０に近い値となる。また、フレーム間差分値を算出した画像信号１０１〜１０Ｎが撮影された時刻情報１５１〜１５Ｎも同時に出力しておく（ステップＳ１−５）。
【００２０】
ローカルエリア画像合成制御部３１ａは、フレーム間差分値１４１〜１４Ｎに基づいて、全てのカメラからの画像信号１２１〜１２Ｎをローカルエリア単位で組合せ等の合成画像を作成するための画像合成情報１６１を決定し、さらに合成画像を符号化するのに適したフレームレート１６２を決定し、これらを出力する。ローカルエリア画像合成処理部３２ａでは、画像合成情報１６１に基づいて、画像信号１０１〜１０Ｎを合成する。これらの画像合成処理について、図４に示すフローチャートを用いて説明する。
【００２１】
まず、ローカルエリア画像合成制御部３１ａが画像合成情報１６１を決定する方法について説明する。図５に、Ｎ＝３としてカメラ３台から撮影した画像から合成画像を作成する場合の画像合成情報１６１の決定方法について示す。図５において、カメラ１はエレベータホールを撮影した画像、カメラ２は建物を外から撮影した画像、カメラ３は建物への入退場ゲートを撮影した画像である。各カメラからの画像の時間方向に連続した２フレームについて、ローカルエリア単位でフレーム間差分値を算出し、フレーム間差分値はローカルエリア画像合成制御部３１ａに入力される（ステップＳ２−１）。
【００２２】
ローカルエリア画像合成制御部３１ａでは、全てのカメラ画像のローカルエリアからフレーム間差分値の大きい順に１フレーム内のローカルエリア数分の画像（この例では５×４＝２０個）を選択し、残りのローカルエリア単位の画像もフレーム間差分値が大きい順に組み合わせて、全部で３つに分類する（ステップＳ２−２）。これらの画像をそれぞれ合成することにより、３フレーム分の合成画像を生成することができる。図５の例ではフレーム間差分値が大きい２０個のローカルエリアを背景が白い四角で表しており、１〜２０までの番号を振っている。次にフレーム間差分値が大きい２０個のローカルエリアを背景が点の四角で表しており、１〜２０までの番号を振っている。残りの２０個のローカルエリアを背景が斜線の四角で表しており、１〜２０までの番号を振っている。このとき、各分類において差分値の大きさに応じて１〜２０の番号を振る必要はなく、また、同じフレーム内のローカルエリア単位の画像は出来るだけ連続性を持たすように番号を振ることにより、カメラ画像において隣接するローカルエリアを合成画像においても近接させて配置させることができる。これにより、移動体が隣接するローカルエリア間にわたって移動する場合においても、後述するフレーム間予測を用いた符号化処理において効率的に符号化を行うことができる。以上のように、３つに分類したローカルエリア単位の画像から、３つの合成画像を生成する組合せを決定する。
【００２３】
図６に、図５のカメラ画像に対して、決定した組合せに基づいて合成した場合の合成画像について示す。図６の右側の合成画像のうち、合成画像１はフレーム間差分値が大きいローカルエリア単位の画像（図５において、背景が白い四角）を１〜２０の順に左から右、上から下の順に組み合わせた画像である。合成画像２はフレーム間差分値が中間のローカルエリア単位の画像（図５において、背景が点の四角）を１〜２０の順に組み合わせた画像である。合成画像３はフレーム間差分値が小さいローカルエリア単位の画像（図５において、背景が斜線の四角）を１〜２０の順に組み合わせた画像である。ローカルエリア画像合成制御部３１ａでは、以上のようにローカルエリアの組合せに関する画像合成情報１６１をある所定の時間毎（例えば、１秒間隔）に決定し、ローカルエリア画像合成処理部３２ａに対して出力する（ステップＳ２−３）。なお、画像合成情報１６１は、合成画像を構成するローカルエリアの組合せの他に、合成画像を構成する画像信号の情報、例えば、各合成画像を構成するローカルエリア単位のフレーム間差分値のレベル（大きさ）、カメラ番号および位置情報と、カメラの時刻情報についても含んでいる。
【００２４】
次に、ローカルエリア画像合成制御部３１ａが各合成画像のフレームレート１６２を決定する方法について説明する。ローカルエリア画像合成制御部３１ａでは、合成画像のフレームレートを、各合成画像を構成するローカルエリアのフレーム間差分値の大きさに基づいて決定する（ステップＳ２−４）。すなわち、フレーム間差分値の大きいローカルエリアにより構成される合成画像にはフレームレートを高く設定し、フレーム間差分値の小さいローカルエリアにより構成される合成画像にはフレームレートを低く設定する。図７に、図６に示したカメラ１〜３からの画像信号が全て１２フレーム／秒で入力される例を示す。図６に示した合成画像１はフレーム間差分値が大きいローカルエリア単位の画像を組み合わせているため、カメラから入力されたフレームレート（ここでは１２フレーム／秒）の全てのフレームを設定する。合成画像２はフレーム間差分値が中間のローカルエリア単位の画像を組み合わせているため、フレームレートを落として（ここでは６フレーム／秒）設定する。合成画像３はフレーム間差分値が小さいローカルエリア単位の画像を組み合わせているため、動きがほとんどない背景画像である場合は、さらにフレームを間引いたフレームレート（ここでは３フレーム／秒）を設定する。これにより、移動体が含まれる動きの大きいローカルエリアについては滑らかな画像とすることができ、動きの少ないローカルエリアについては情報量の割り当てを少なくすることができる。ローカルエリア画像合成制御部３１ａは設定したフレームレートをローカルエリア画像合成処理部３２ａ、符号化制御部３３、記録媒体３５にそれぞれ出力する。
【００２５】
ローカルエリア画像合成処理部３２ａでは、ローカルエリア画像合成制御部３１ａから指示された画像合成情報１６１およびフレームレート１６２に基づいて、フレームメモリ部１１〜１Ｎに対して読み出す画像信号を指示するリード制御信号１３１〜１３Ｎを出力する（ステップＳ２−５）。各カメラからの画像信号１０１〜１０Ｎは一旦フレームメモリ部１１〜１Ｎ内のメモリに蓄積された後に、リード制御信号１３１〜１３Ｎを受けたフレームメモリ部１１〜１Ｎにより、所望の画像信号が遅延して読み出される（ステップＳ２−６）。ローカルエリア画像合成処理部３２ａでは、画像合成情報１６１およびフレームレート１６２に基づいて、図６および図７に示すように、画像信号１２１〜１２Ｎから合成画像信号１６４を生成し（ステップＳ２−７）、各合成画像を所定の時間毎に順番に出力する（ステップＳ２−８）。所定の時間を１秒とした場合、合成画像１のフレーム１〜１２を出力した後に、合成画像２のフレーム１〜６を出力し、最後に合成画像３のフレーム１〜３を順番に出力する。
【００２６】
符号化制御部３３では、合成画像信号１６４を符号化する際のＧＯＰ構造１６３を決定する。符号化制御部３３は画像合成情報１６１およびフレームレート１６２を受け取り、これらの情報に基づいてＧＯＰ構造を決定する。フレームレートの高い合成画像では、フレーム間隔が短いため、フレーム間予測による符号化効率が高いことが期待でき、ＰピクチャやＢピクチャを用いた符号化を行うようＧＯＰ構造を決定する。一方、フレームレートの低い合成画像では、フレーム間隔が長くなるため、移動体を含むローカルエリア画像から構成される合成画像である場合には、フレーム間予測による符号化を行った場合、かえって符号化効率が落ちる場合がある。従って、合成画像情報１６１およびフレームレートに基づいて、符号化により生じるビットストリームの容量が最小となるようにＧＯＰ構造を決定する。このとき、Ｍ値（ＩまたはＰピクチャから次のＩまたはＰピクチャが発生するまでの間隔）、Ｎ値（Ｉピクチャから次のＩピクチャが発生するまでの間隔）を変更して複数回符号化処理を行い、ビットストリームの容量が最も小さくなるＧＯＰ構造を符号化するＧＯＰ構造にしてもよい。
【００２７】
図７に示した合成画像１〜３のフレームレートに対するピクチャタイプの例を図８に示す。フレームレートの高い合成画像１は、Ｍ値＝３、Ｎ値＝１２のＢピクチャを用いたＧＯＰ構造にて符号化を行う。フレーム間差分値が中間のローカルエリア単位の画像を組み合わせた合成画像２は、合成画像１に対してフレームを間引いてフレーム間隔が２倍に伸びているため、例えばＭ値＝２、Ｎ値＝６のＧＯＰ構造にて符号化を行う。フレーム間差分値が小さいローカルエリア単位の画像を組み合わせた合成画像３は、合成画像２からさらにフレームを間引いているが、合成画像３を構成するローカルエリアの画像は背景画像であるため、フレーム間予測による符号化を用いる。例えば、Ｍ値＝１、Ｎ値＝３のＧＯＰ構造にて符号化を行う。なお、合成画像３を構成するローカルエリア画像が移動体を含んでおり、フレーム間予測を用いて効率的に符号化できない場合にはすべてＩピクチャによって構成する。また、ここでは所定の時間を１秒に設定しているため、各合成画像において１秒間に１回Ｉピクチャによる符号化が行われるようＧＯＰ構造を決定している。
【００２８】
画像符号化器３４は、符号化制御部３３で決定したＧＯＰ構造１６３に従って、入力される合成画像信号１６４の並べ替えおよびフレーム間予測を用いた符号化を行い、可変長のビットストリーム１６５を出力し、記録媒体３５に記録する。またビットストリーム１６５と共に、対応する画像合成情報１６１およびフレームレート１６２を、記録媒体３５に記録しておく。以上が、画像処理装置の動作となる。
【００２９】
次に、画像再生装置の動作について説明する。ユーザーインターフェース部３６は、ユーザーからの指示に従い、カメラ１〜Ｎにて撮影および記録した画像信号のうち再生したい画像の時刻情報１６６およびカメラ情報１６７を出力する。ストリーム読み出し制御部３７は、時刻情報１６６に基づいてリード制御信号１６８を出力し、記録媒体３５はリード制御信号１６８に基づいて、記録されているデータのうち再生する画像信号の生成に必要なビットストリーム１６９および画像合成情報１７０を読み出すビットストリーム１６９および画像合成情報１７０を読み出す。
【００３０】
画像復号器３８は、リード制御信号１６８に基づいてビットストリーム１６９を記録媒体３５から受け取り、画像復号を行う。また、生成された合成画像信号１７１を出力して、フレームメモリ部４０に書き込む。ここで、ローカルエリア画像再合成制御部３９は、カメラ情報１６７および画像合成情報１７０に基づいて、再生したいカメラにて撮影および記録した画像信号が含まれる合成画像信号１７３を読み出すためのリード制御信号１７２をフレームメモリ部４０に対して出力する。さらに、元の画像信号を再合成するための画像再合成情報１７４を出力する。なお、画像再合成情報１７４は、読み出した合成画像信号１７３を構成するローカルエリア単位のカメラ番号および位置情報と、カメラの時刻情報から成る情報である。
【００３１】
ローカルエリア画像再合成処理部４１は、画像再合成情報１７４に基づいて合成画像信号１７３からローカルエリア単位で画像を抽出し、抽出した画像を組み合わせて、元のカメラ１〜Ｎのうち所望のカメラから撮影および記録した復号画像１７５を生成し、モニタ４２に出力して再生表示する。
【００３２】
以上のように、実施の形態１に係る画像処理装置および画像再生装置では、複数のカメラからの画像をローカルエリア単位でフレーム間差分値が大きい順に組み合わせて合成画像を作成し、合成画像を構成するローカルエリアのフレーム間差分値の大きさに応じてフレームレートを決定するようにしているので、動きの大きい部分には高いフレームレートを設定するため画像を劣化させることなく記録および再生することができる。一方、背景などの動きの小さい部分では、フレームレートを下げることにより情報量の割り当てを少なくして記憶することができる。また、各合成画像を構成するフレームレートおよびフレーム間差分値に応じてＧＯＰ構造のＭ値、Ｎ値を最適化することによって、監視カメラシステムのような画面内の一部が動く画像を符号化する場合に効率的な符号化を行うことができ、記録時間を伸ばすことが可能となる。
【００３３】
また、カメラにより撮影された画像信号と合成画像信号との数が同じとなる場合について示したが、カメラにより撮影された画像信号と合成画像信号との数が異なる場合でも同様の効果が得られる。
【００３４】
実施の形態２．
実施の形態１では、ローカルエリア特徴量算出部２１〜２Ｎにおいて、各カメラからの画像信号１０１〜１０Ｎと１フレーム前の画像信号１１１〜１１Ｎとのフレーム間差分値１４１〜１４Ｎを算出し、ある所定時間毎に合成画像を生成する組み合わせを決定していたが、実施の形態２ではカメラ毎のフレーム間差分値をある所定の時間分累算した値に基づいて、合成画像を生成する組み合わせを決定する例について示す。実施の形態２に係る画像処理装置および画像再生装置では、図１に示す実施の形態１に係る画像処理装置および画像再生装置に対してローカルエリア画像合成制御部３１ａにおいて各カメラからのフレーム間差分値１４１〜１４Ｎを複数フレーム間にわたってローカルエリア単位で累算しておき、その値に基づいて画像合成情報１６１を出力する。この場合も、実施の形態１と同様の効果を得ることができる。また、実施の形態１に示す場合と比べ、監視対象物の移動が長い時間にわたる場合においても効率的な符号化が可能となる。
【００３５】
実施の形態３．
実施の形態１および２では、ローカルエリア画像合成制御部３１ａおいて、各カメラからのローカルエリア単位のフレーム間差分値が大きい順に画像を組み合わせるよう画像合成情報１６１を生成し、各合成画像に適したフレームレート１６２を決定していたが、実施の形態３では、フレームレートは落とさずに合成画像の高周波成分を除去することにより符号化処理の効率化を図る場合について示す。
【００３６】
図９は、実施の形態３に係る画像処理装置および画像再生装置の全体構成を表すブロック図である。図９において、図１に示す画像処理装置と同一の符号は、同一または相当の部分を表している。ローカルエリア画像合成制御部３１ｂでは、出力するパラメータとしてフレームレートの代わりにフィルタ情報１７６を出力し、ローカルエリア画像合成処理部３２ｂは、フィルタ情報１７６に従って一部の合成画像に対してフィルタ処理を行う。また、符号化制御部３３は画像合成情報１６１およびフィルタ情報１７６に基づいて符号化パラメータとしてＧＯＰ構造１６３および量子化情報１７７を出力する。
【００３７】
次に動作について説明する。実施の形態１に示す場合と同様に、カメラ１〜Ｎにより撮影された画像信号１０１〜１０Ｎおよび１フレーム前の画像信号１１１〜１１Ｎをそれぞれ複数のローカルエリアに分割し、ローカルエリア単位でフレーム間差分値１４１〜１４Ｎを算出する。ローカルエリア画像合成制御部３１ｂは、ローカルエリア単位のフレーム間差分値１４１〜１４Ｎに基づいて合成画像を構成するローカルエリアの組合せ等の画像合成情報１６１を決定し、合成画像を構成するローカルエリアのフレーム間差分値が所定の時間内で常に閾値より小さい合成画像に対して、この合成画像を背景画像であると判定し、ローパスフィルタをかけて高周波成分を除去するようにフィルタ情報１７６を出力する。フィルタ情報１７６は、例えばフィルタのＯＮ／ＯＦＦを表すフラグや、フィルタの強度を示すレベルや、フィルタ係数から成る情報である。
【００３８】
ローカルエリア画像合成処理部３２ｂは、合成画像を生成する際にフィルタ情報１７６に従って一部の合成画像に対してフィルタ処理を行う。符号化制御部３３では、合成画像に応じてフレームレートは変更しないため、全ての合成画像に対して例えばＭ値＝３、Ｎ値＝１２のＢピクチャを用いたＧＯＰ構造１６３にて符号化を行うよう指示を出す。また、高周波成分を落としたローカルエリア単位の画像については、原画よりもぼけて平坦な絵柄になっているため、通常の情報量制御にて決定する量子化幅よりも値を下げるよう量子化情報１７７を画像符号化器３４に出力する。
【００３９】
画像符号化器３４は、ＧＯＰ構造１６３および量子化情報１７７に従って、入力される合成画像信号１６４の並べ替えおよびフレーム間予測を用いた符号化を行い、可変長のビットストリーム１６５を出力し、記録媒体３５に記録する。またビットストリーム１６５と共に、対応する画像合成情報１６１およびフレームレート１６２を、記録媒体３５に記録しておく。
【００４０】
画像再生装置では、実施の形態１に示す場合と同様に、ビットストリーム１６９を復号し、ローカルエリア単位で画像を組み合わせて、元のカメラ１〜Ｎのうち所望のカメラから撮影および記録した復号画像１７５を生成し、モニタ４２に出力して再生表示する。
【００４１】
以上のように、実施の形態３に係る画像処理装置および画像再生装置ではフレーム間差分値が小さい合成画像について、背景画像と判定してローパスフィルタをかけて高周波成分を除去するようにしているので、背景部分への情報量の割り当てを少なくすることが可能となり、監視カメラシステムとして注目点となる動きの大きい部分（移動体）の画質を向上させる、または記録時間を伸ばすことが可能となる。
【００４２】
ここでは、合成画像のフレームレートを変えない場合について示したが、復号される画像の劣化が大きくなるものの、フレームレートを合成画像を構成するローカルエリアのフレーム間差分値に応じて制御しても良い。
【００４３】
実施の形態４．
実施の形態１〜３では、複数のカメラからの画像信号をローカルエリア単位で組み合わせて合成画像を作成および符号化していたが、実施の形態４に示す画像処理装置および画像再生装置では、複数のカメラからの画像間の相関性に応じて、符号化する順序を制御することによって、効率的な符号化を行う。
【００４４】
図１０は、実施の形態４に係る画像処理装置および画像再生装置の全体構成を表すブロック図である。図１０において、図１に示す画像処理装置および画像再生装置と同一の符号は同一または相当の部分を示している。図１０において、ローカルエリア特徴量算出部２１〜２Ｎは画像信号１０１〜１０Ｎのローカルエリア単位の画素平均値１８１〜１８Ｎおよび画素偏差値１９１〜１９Ｎを出力する。画像相関検出部４３は、各カメラからのローカルエリア単位の画素平均値１８１〜１８Ｎ、画素偏差値１９１〜１９Ｎおよび時刻情報１５１〜１５Ｎを参照して複数のカメラ間の相関性を検出して画像相関情報１７８を出力する。画像符号化順序制御部４４は、画像相関情報１７８に基づいて、ある所定の時間単位でフレームメモリ部１１〜１Ｎから読み出す画像信号１２１〜１２Ｎを符号化する順序を決定して、選択された画像信号２００と共に前フレームとの画像相関レベル１７９およびカメラ選択情報１８０を出力する。符号化制御部３３は画像相関レベル１７９およびカメラ選択情報１８０に基づいて画像符号化を行う際のＧＯＰ構造１６３を決定する。記録媒体３５はカメラ選択情報１８０およびビットストリーム１６５を記録するＨＤＤ等の装置である。
【００４５】
次に、画像再生装置の構成について説明する。図１０において、画像復号器３８は、ビットストリーム１６９を入力して画像復号手段により復号した画像信号２０２を出力し、再生画像読み出し制御部４５は復号された画像信号２０２に対応するカメラ選択情報２０１および再生したいカメラ情報１６７を参照して、必要な画像信号１７５を選択するためのリード制御信号１７２を出力する。
【００４６】
次に動作について説明する。実施の形態１と同様に、カメラ１〜Ｎにより撮影されたデジタル変換された画像信号１０１〜１０Ｎをフレームメモリ部１１〜１Ｎ内のメモリにフレーム単位で書き込む。ローカルエリア特徴量算出部２１〜２Ｎは、画像信号１０１〜１０Ｎを複数のローカルエリアに分割し、カメラ毎に画像信号１０１〜１０Ｎの画素平均値１８１〜１８Ｎおよび画素偏差値１９１〜１９Ｎをローカルエリア単位で算出し、各カメラからの画像の特徴を抽出する。
【００４７】
画像相関検出部４３は、任意の二つのカメラからのローカルエリア単位の画素平均値および画素偏差値に基づいて、任意の２フレームの画像の相関性を判定する。例えば、カメラ３台から撮影した画像の相関性を判定する例を図１１に示す。図１１は、カメラ１〜３の画像のうち２つのカメラ画像間の相関性を示している。まず、ローカルエリア単位の画素平均値および画素偏差値の２フレーム間の差分を算出し、各差分値をある所定の閾値にて複数のレベルに分類する。ここでは差分値が小さい場合のレベルを小さい値に設定し、０〜９の１０通りにレベル分けした例を示している。次に各ローカルエリアのレベル値を１フレーム分累算し、累算値が小さい２フレームは相関性が高い画像と判定する。図１１の例では、カメラ１と３の画素平均値および画素偏差値の差分値の累積値は７３となり、相関性が一番高く(累算値が小さい)、カメラ１と２の画素平均値および画素偏差値の差分値の累積値は９６となり、相関性が一番小さい(累算値が大きい)と判定される。画像相関検出部４３では、所定の時間単位で任意の２フレーム間の相関性を判定し、判定結果を画像相関情報１７８として出力する。
【００４８】
画像符号化順序制御部４４は、画像相関情報１７８に基づいて所定の時間内の全てのカメラ画像信号１２１〜１２Ｎの中から相関性の高い順番に選択して、符号化を行う順番を決定する。図１１に示す画像信号では、カメラ１とカメラ３の画像の相関性が最も高く、また、カメラ１と２よりカメラ２と３の画像の方が相関性が高いため、図１２に示すようにカメラ１→カメラ３→カメラ２の順序で符号化を行うように決定する。フレームメモリ部１１〜１Ｎから符号化順に応じて画像信号１２１〜１２Ｎを読み出すよう、リード制御信号１３１〜１３Ｎを生成し、選択された画像信号２００と共に、前フレームとの画像相関レベル１７９およびカメラ選択情報１８０を出力する。尚、カメラ選択情報１８０は、カメラ番号およびカメラの時刻情報から構成される。
【００４９】
符号化制御部３３は、画像相関レベル１７９に基づいて画像信号２００を符号化する際のＧＯＰ構造１６３を決定する。前フレームとの相関性が高い画像の場合は、フレーム間予測を行うＰまたはＢピクチャによる符号化を行い、相関性が低い画像の場合はフレーム内予測を行うＩピクチャによる符号化を行うよう指示する。図１１に示す画像信号では、カメラ１からカメラ３の画像に切り替わる部分では、両画像の相関性は高いため、フレーム間予測を用いた符号化を行い、カメラ３からカメラ２に切り替わる部分では、両画像の相関性は低いためフレーム間予測を用いない符号化を行う。これにより、単純にカメラ１→カメラ２→カメラ３の順序で符号化した場合と比べて、効率的な符号化が可能となる。また、記録媒体３５には、画像符号化器３４にて符号化されたビットストリーム１６５と共に、対応する画像信号のカメラ選択情報１８０も記録しておく。以上が、画像処理装置の動作となる。
【００５０】
次に、画像再生装置の動作について説明する。実施の形態１の場合と同様に、ストリーム読み出し制御部３７は、ユーザーからの指示に従い時刻情報１６６に基づいて記録媒体３５に記録されているデータのうち必要なビットストリーム１６９、および、カメラ選択情報２０１を読み出すためのリード制御信号１６８を出力し、記録媒体３５から対応するデータを読み出す。画像復号器３８は、ビットストリーム１６９について画像復号を行い、画像信号２０２をフレームメモリ部４０に書き込む。再生画像読み出し制御部４５は、復号された画像信号２０２に対応するカメラ選択情報２０１および再生したいカメラ情報１６７を参照して、フレームメモリ部４０へのリード制御信号１７２を出力し、元のカメラ１〜Ｎのうち所望のカメラから撮影および記録した復号画像１７５をモニタ４２に出力して再生表示する。
【００５１】
以上のように、実施の形態４に係る画像処理装置および画像再生装置では複数のカメラからの画像をある所定の時間内で相関性の高い順序で符号化するよう制御し、相関性の大きさに応じてＧＯＰ構造を決定するようにしているので、複数のカメラからの入力順に従って符号化を行う場合に比べて効率的な符号化を行うことができ、記録時間を伸ばすことが可能となる。
【００５２】
ここでは、異なるカメラからの画像信号間の相関性を求める指標として、画素平均値および画素偏差値を用いたが、ローカルエリアごとの画素の差分値の累積値や２乗和を用いてもよい。
【符号の説明】
【００５３】
１〜Ｎ  カメラ、１１〜１Ｎ  フレームメモリ部、２１〜２Ｎ  ローカルエリア特徴量算出部、３１ａ,３１ｂ  ローカルエリア画像合成制御部、３２ａ,３２ｂ  ローカルエリア画像合成処理部、３３  符号化制御部、３４  画像符号化器、３５  記録媒体、３６  ユーザーインターフェース部、３７  ストリーム読み出し制御部、３８  画像復号器、３９  ローカルエリア画像再合成制御部、４０  フレームメモリ部、４１  ローカルエリア画像再合成処理部、４２  モニタ、４３  画像相関検出部、４４  画像符号化順序制御部、４５  再生画像読み出し制御部、１０１〜１０Ｎ  画像信号、１１１〜１１Ｎ  １フレーム前の画像信号、１２１〜１２Ｎ  画像信号、１３１〜１３Ｎ  リード制御信号、１４１〜１４Ｎ  フレーム間差分値、１５１〜１５Ｎ  時刻情報、１６１  画像合成情報、１６２  フレームレート、１６３  ＧＯＰ構造、１６４  合成画像信号、１６５  ビットストリーム、１６６  時刻情報、１６７  カメラ情報、１６８  リード制御信号、１６９  ビットストリーム、１７０  画像合成情報、１７１  合成画像信号、１７２  リード制御信号、１７３  合成画像信号、１７４  画像再合成情報、１７５  復号画像信号、１７６  フィルタ情報、１７７  量子化情報、１７８  画像相関情報、１７９  画像相関レベル、１８０  カメラ選択情報、１８１〜１８Ｎ  画素平均値、１９１〜１９Ｎ  画素偏差値、２００  画像信号、２０１  カメラ選択情報、２０２  画像信号。
【図１】
2011199354.tif 000003
【図２】
2011199354.tif 000004
【図３】
2011199354.tif 000005
【図４】
2011199354.tif 000006
【図５】
2011199354.tif 000007
【図６】
2011199354.tif 000008
【図７】
2011199354.tif 000009
【図８】
2011199354.tif 000010
【図９】
2011199354.tif 000011
【図１０】
2011199354.tif 000012
【図１１】
2011199354.tif 000013
【図１２】
2011199354.tif 000014