(57)【特許請求の範囲】
【請求項１】
予め用意された複数枚の第１の基準画像から第１の背景画像を生成するための背景制御情報を復号済みの第１の再生画像に基づいて生成する背景制御情報生成部と、
前記背景制御情報と前記複数枚の第１の基準画像とに基づいて前記第１の背景画像を生成する背景画像生成部と、
前記第１の背景画像を用いて第１の符号化データを復号することによって、第２の再生画像を生成する画像復号部と
を具備し、
前記背景制御情報は、前記第１の背景画像を生成するために前記複数枚の第１の基準画像から選択される画像を示す選択情報を含み、
前記背景制御情報生成部は、前記複数枚の第１の基準画像から、前記第１の符号化データよりも過去の第２の符号化データを復号することによって生成された前記第１の再生画像と最も類似する画像を探索し、探索された画像を示す選択情報を含む背景制御情報を生成する、
画像復号装置。
【請求項２】
前記背景制御情報生成部は、前記第１の符号化データを生成する画像符号化装置へ前記背景制御情報を伝送する、請求項１に記載の画像復号装置。
【請求項３】
前記背景制御情報生成部は、補助情報に基づいて、前記第１の再生画像と最も類似する画像を探索する、請求項１または請求項２の画像復号装置。
【請求項４】
前記補助情報は、撮影日、撮影時刻、撮影位置および撮影方向のうち少なくとも１つの情報を含む、請求項３の画像復号装置。
【請求項５】
前記第１の符号化データは、第１の移動体が所定の経路を走行している間に当該第１の移動体に取り付けられたカメラによって撮影された画像を符号化することによって生成され、
前記複数枚の第１の基準画像は、第２の移動体が前記経路を走行している間に当該第２の移動体に取り付けられたカメラによって過去に撮影された画像である、
請求項１または請求項２の画像復号装置。
【請求項６】
前記背景制御情報は、前記第１の背景画像を補正するための補正パラメータを含む、請求項１または請求項２の画像復号装置。
【請求項７】
前記画像復号部は、前記第１の背景画像を含む参照画像を用いて前記第１の符号化データを復号することによって前記第２の再生画像を生成する、請求項１または請求項２の画像復号装置。
【請求項８】
請求項２の画像復号装置から伝送された前記背景制御情報と前記複数枚の第１の基準画像と共通の複数枚の第２の基準画像とに基づいて前記第１の背景画像と共通の第２の背景画像を生成する背景画像生成部と、
前記第２の背景画像を用いて入力画像を符号化することによって、前記第１の符号化データを生成する画像符号化部と
を具備する、画像符号化装置。
【請求項９】
予め用意された複数枚の第１の基準画像から第１の背景画像を生成するための背景制御情報を復号済みの第１の再生画像に基づいて生成することと、
前記背景制御情報と前記複数枚の第１の基準画像とに基づいて前記第１の背景画像を生成することと、
前記第１の背景画像を用いて第１の符号化データを復号することによって、第２の再生画像を生成することと
を具備し、
前記背景制御情報は、前記第１の背景画像を生成するために前記複数枚の第１の基準画像から選択される画像を示す選択情報を含み、
前記背景制御情報を生成することは、前記複数枚の第１の基準画像から、前記第１の符号化データよりも過去の第２の符号化データを復号することによって生成された前記第１の再生画像と最も類似する画像を探索し、探索された画像を示す選択情報を含む背景制御情報を生成することを含む、
画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
実施形態は、画像伝送に関する。
【背景技術】
【０００２】
例えばカメラによって撮影した画像（映像）を遠隔地に伝送する場合に、当該画像を符号化（圧縮）して伝送データ量を削減することが一般的である。画像符号化は、典型的には、符号化済みの過去の画像を参照して現在の画像を予測することで高い符号化率を達成する。しかしながら、狭帯域の伝送路を通じて画像を伝送する場合に画質を維持することは困難である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−０４９９７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
実施形態は、伝送路の帯域幅が狭い場合であっても高画質の画像を伝送することを目的とする。
【課題を解決するための手段】
【０００５】
実施形態によれば、画像符号化装置は、背景制御情報生成部と、背景画像生成部と、画像符号化部とを含む。背景制御情報生成部は、少なくとも１枚の第１の画像から第１の背景画像を生成するための背景制御情報を入力画像に基づいて生成する。背景画像生成部は、背景制御情報と少なくとも１枚の第１の画像とに基づいて第１の背景画像を生成する。画像符号化部は、第１の背景画像を用いて入力画像を符号化することによって、符号化データを生成する。
【０００６】
実施形態によれば、画像復号装置は、背景制御情報生成部と、背景画像生成部と、画像復号部とを含む。背景制御情報生成部は、少なくとも１枚の画像から背景画像を生成するための背景制御情報を復号済みの再生画像に基づいて生成する。背景画像生成部は、背景制御情報と少なくとも１枚の画像とに基づいて背景画像を生成する。画像復号部は、背景画像を用いて符号化データを復号することによって、再生画像を生成する。
【図面の簡単な説明】
【０００７】
【図１】第１の実施形態に係る画像伝送システムを例示するブロック図。
【図２】図１の背景画像生成部を例示するブロック図。
【図３】図１の背景制御情報生成部を例示するブロック図。
【図４】図１の画像符号化部を例示するブロック図。
【図５】図１の画像復号部を例示するブロック図。
【図６】第２の実施形態に係る画像伝送システムを例示するブロック図。
【図７】図６の背景制御情報生成部を例示するブロック図。
【図８】第３の実施形態に係る画像伝送システムを例示するブロック図。
【図９】図８の背景制御情報生成部を例示するブロック図。
【図１０】第４の実施形態に係る画像伝送システムを例示するブロック図。
【図１１】図１０の背景画像生成部を例示するブロック図。
【図１２】図１０の背景制御情報生成部を例示するブロック図。
【図１３】各実施形態に係る画像伝送システムに含まれる画像符号化装置、画像復号装置および背景制御情報生成装置を実現するハードウェアを例示する図。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら実施形態の説明が述べられる。なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号が付され、重複する説明は基本的に省略される。
【０００９】
（第１の実施形態）  
図１に例示されるように、第１の実施形態に係る画像伝送システムは、画像符号化装置１００および画像復号装置２００を含む。画像符号化装置１００は、画像符号化部１１０、背景画像生成部１２０および背景制御情報生成部１３０を含む。画像復号装置２００は、画像復号部２１０および背景画像生成部２２０を含む。図１の画像伝送システムは、例えば、監視カメラによって撮影された映像を遠隔地のオペレータ端末へと伝送するシステムであってよい。
【００１０】
画像符号化部１１０は、入力画像（信号）１０を受け取り、背景画像生成部１２０から後述される背景画像（信号）１４を受け取る。画像符号化部１１０は、背景画像１４を用いて入力画像１０を符号化することによって、符号化データ１５を生成する。画像符号化部１１０は、符号化データ１５を画像復号装置２００へと伝送する。なお、符号化データ１５は、無線通信または有線通信によって画像復号装置２００へと伝送されてもよいし、記録媒体を経由して画像復号装置２００へと伝送されてもよい。
【００１１】
符号化データ１５は、背景画像１４を用いた予測符号化によって高い符号化率を達成できる。例えば、背景画像１４が予測画像として用いられれば、入力画像１０に含まれる背景領域の大部分に対する符号化および伝送を省略し、符号化データ１５のデータ量を大幅に抑制することができる。
【００１２】
画像符号化部１１０の具体例が図４に示される。図４の画像符号化部１１０は、減算部３０１と、変換／量子化部３０２と、逆量子化／逆変換部３０３と、加算部３０４と、ループフィルタ部３０５と、復号画像バッファ部３０６と、外部画像バッファ部３０７と、予測画像生成部３０８と、エントロピー符号化部３０９と、符号化制御部３１０とを含む。
【００１３】
減算部３０１は、入力画像１０を受け取り、予測画像生成部３０８から予測画像（信号）を受け取る。減算部３０１は、入力画像１０から予測画像を減算することによって、予測誤差（信号）を生成する。減算部３０１は、予測誤差を変換／量子化部３０２へと出力する。
【００１４】
変換／量子化部３０２は、予測誤差を変換することによって変換係数を生成し、当該変換係数を予め設定された量子化パラメータに従って量子化することによって量子化変換係数を生成する。予測誤差の変換には、例えばＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）などの直交変換が用いられる。変換／量子化部３０２は、量子化変換係数を逆量子化／逆変換部３０３およびエントロピー符号化部３０９へと出力する。
【００１５】
逆量子化／逆変換部３０３は、変換／量子化部３０２から量子化変換係数を受け取る。逆量子化／逆変換部３０３は、量子化変換係数を上記量子化パラメータに従って逆量子化することによって変換係数を復元し、当該変換係数を逆変換する（これは、変換／量子化部３０２によって行われた変換の逆処理に相当する）ことによって予測誤差（信号）を復元する。変換係数の逆変換には、例えばＩＤＣＴ（Ｉｎｖｅｒｓｅ  ＤＣＴ）などの逆直交変換が用いられる。逆量子化／逆変換部３０３は、予測誤差を加算部３０４へと出力する。
【００１６】
加算部３０４は、逆量子化／逆変換部３０３から予測誤差を受け取り、予測画像生成部３０８から予測画像を受け取る。加算部３０４は、予測誤差および予測画像を加算することによって、局所復号画像（信号）を生成する。加算部３０４は、局所復号画像をループフィルタ部３０５へと出力する。
【００１７】
ループフィルタ部３０５は、加算部３０４から局所復号画像を受け取る。ループフィルタ部３０５は、局所復号画像にループフィルタ処理を適用する。ループフィルタ処理は、例えばデブロッキングフィルタ処理であってよい。ループフィルタ部３０５は、フィルタ処理された局所復号画像を復号画像バッファ部３０６へと出力する。
【００１８】
復号画像バッファ部３０６は、ループフィルタ部３０５からフィルタ処理された局所復号画像を受け取る。復号画像バッファ部３０６は、フィルタ処理された局所復号画像を参照画像として保存する。復号画像バッファ部３０６は、必要に応じて、参照画像を予測画像生成部３０８へと出力する。
【００１９】
外部画像バッファ部３０７は、背景画像生成部１２０から背景画像１４を受け取る。外部画像バッファ部３０７は、背景画像１４を参照画像として保存する。外部画像バッファ部３０７は、必要に応じて、参照画像を予測画像生成部３０８へと出力する。
【００２０】
予測画像生成部３０８は、入力画像１０を取得し、復号画像バッファ部３０６から参照画像（フィルタ処理された局所復号画像）を受け取り、外部画像バッファ部３０７から参照画像（背景画像１４）を受け取り、符号化制御部３１０から予測制御情報を受け取る。予測画像生成部３０８は、予測制御情報に従い、入力画像１０および参照画像を用いて予測画像を生成する。例えば、予測画像生成部３０８は、画面内予測、参照画像の動き補償予測または背景画像１４からの予測（これは、階層符号化における層間予測に相当する）を行うことによって、予測画像を生成する。予測画像生成部３０８は、予測画像を減算部３０１および加算部３０４へと出力する。さらに、予測画像生成部３０８は、予測画像に関する予測情報（例えば、動きベクトル情報を含む）をエントロピー符号化部３０９へと出力する。
【００２１】
エントロピー符号化部３０９は、変換／量子化部３０２から量子化変換係数を受け取り、予測画像生成部３０８から予測情報を受け取る。エントロピー符号化部３０９は、シンタクスに従って、量子化変換係数および予測情報をエントロピー符号化することによって、符号化データ１５を生成する。エントロピー符号化部３０９は、符号化データ１５を画像符号化部１１０の外部へ出力する。エントロピー符号化は、例えば、ハフマン符号化、算術符号化などである。符号化制御部３１０は、予測制御情報を生成し、当該予測制御情報を予測画像生成部３０８へと出力する。
【００２２】
背景画像生成部１２０は、基準画像（信号）１１を受け取り、背景制御情報生成部１３０から背景制御情報１３を受け取る。背景画像生成部１２０は、基準画像１１および背景制御情報１３に基づいて背景画像１４を生成する。背景画像生成部１２０は、背景画像１４を画像符号化部１１０へと出力する。
【００２３】
具体的には、基準画像１１は、少なくとも１枚の静止画像であってもよいし、複数枚の画像フレームを含む動画像であってもよい。符号化率向上の観点からすると、基準画像１１は、好ましくは、例えば、撮影位置、撮影方向などの点で入力画像１０に類似する可能性の高い画像を含む。例えば、入力画像１０が第１の移動体（例えば、電車、バスなど）が所定の経路を走行している間に当該第１の移動体に取り付けられたカメラによって撮影された画像であるならば、基準画像１１は第２の移動体（これは第１の移動体と同一であってもよいし、異なっていてもよい）が当該経路を走行している間に当該第２の移動体に取り付けられたカメラによって撮影された過去の画像であってもよい。或いは、入力画像１０を撮影する固定カメラまたは外部制御可能なカメラによって過去に撮影された画像であってもよい。
【００２４】
背景制御情報１３は、背景画像１４を生成するために必要なパラメータを含む。具体的には、背景制御情報１３は、基準画像１１のうち背景画像１４のベースとして選択される少なくとも１枚の画像（選択画像）を示す選択情報を含んでいてもよい。この選択情報は、基準画像１１が動画像である場合には、例えばフレーム番号であってもよい。さらに、背景制御情報１３は、背景画像１４の品質を向上させるための補正パラメータを含んでもよい。
【００２５】
例えば、背景画像生成部１２０は、背景制御情報１３に基づいて少なくとも１枚の基準画像１１から１枚の画像（選択画像）を選択することで背景画像１４を生成してもよい。或いは、背景画像生成部１２０は、背景制御情報１３に基づいて複数枚の基準画像１１から複数枚の画像（選択画像）を選択し、当該複数枚の選択画像を用いて後述される背景画素計算を行うことによって背景画像１４を生成してもよい。さらに、背景画像生成部１２０は、このように生成された背景画像１４に対して以下に説明されるフォーマット変換または画像補正を行ってから画像符号化部１１０へと出力してもよい。
【００２６】
背景画像１４が入力画像１０とフォーマットにおいて異なる場合には、背景画像生成部１２０は背景画像１４のフォーマットを入力画像１０と同じフォーマットに変換してもよい。ここで、フォーマットは、例えば、画像サイズ、画素ビット長、色差フォーマット、色空間などである。
【００２７】
背景制御情報１３が補正パラメータを含む場合には、背景画像生成部１２０は当該補正パラメータを用いて背景画像１４を補正してもよい。具体的には、背景画像生成部１２０は、補正パラメータに含まれるガンマ値を用いて、背景画像１４にガンマ補正を行ってもよい。背景画像生成部１２０は、補正パラメータに含まれる入力画像１０のヒストグラム情報を用いて、背景画像１４にヒストグラム変換を行ってもよい。背景画像生成部１２０は、補正パラメータに含まれるウィナーフィルタのフィルタ係数（これは、入力画像１０および背景画像１４に基づいて設計できる）を用いて、背景画像１４にウィナーフィルタ処理を行ってもよい。背景画像生成部１２０は、補正パラメータに含まれる重み係数およびオフセット値を用いて、例えば明るさなどの補正のために背景画像１４の重み付き予測を行ってもよい。背景画像生成部１２０は、補正パラメータに含まれる幾何変換のパラメータ値を用いて、例えば撮影位置などの補正のために背景画像１４の幾何変換を行ってもよい。なお、背景画像生成部１２０は、ここに例示されていない種々の画像補正を行ってもよい。
【００２８】
背景画像生成部１２０の具体例が、図２に示される。図２の背景画像生成部１２０は、基準画像バッファ部１２１と、背景画素計算部１２２と、背景画像バッファ部１２３とを含む。
【００２９】
基準画像バッファ部１２１は、基準画像１１を受け取って保存する。基準画像バッファ部１２１に保存された基準画像１１は背景画素計算部１２２によって必要に応じて読み出される。
【００３０】
背景画素計算部１２２は、背景制御情報生成部１３０から背景制御情報１３を受け取る。背景画素計算部１２２は、背景制御情報１３に基づいて複数枚の選択画像を特定し、当該複数枚の選択画像を基準画像バッファ部１２１から読み出す。背景画素計算部１２２は、基準画像バッファ部１２１から読み出された複数枚の選択画像を用いて背景画素計算を行うことによって背景画像１４（を構成する各画素値）を生成する。背景画素計算部１２２は、背景画像１４を背景画像バッファ部１２３へと出力する。
【００３１】
背景画素計算は、位置合わせされた撮影時刻の異なる複数枚の画像（選択画像）から背景画素を導出するための任意の演算処理であってよい。例えば、背景画素計算部１２２は、複数枚の選択画像の所定位置の画素値の最頻値を計算することによって、背景画像１４の当該所定位置の画素値を導出してもよい。背景画素計算部１２２は、最頻値に代えて中央値または平均値を計算してもよい。背景画素計算部１２２は、複数枚の選択画像の所定位置の画素値の平均値および分散に基づいて非背景画素（前景画素）を判定するための閾値を設定し、当該画素値のうち非背景画素に相当するものを除外してから平均値を再計算することで背景画像１４の当該所定位置の画素値を導出してもよい。或いは、背景画素計算部１２２は、混合正規モデル（ＧＭＭ：Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）を用いて背景画像１４の各画素値を計算してもよいし、Ｇｏｄｂｅｈｅｒｅ，  Ｍａｔｓｕｋａｗａ，  Ｇｏｌｄｂｅｒｇによるアルゴリズム（ＧＭＧ）を用いて背景画像１４の各画素値を計算してもよい。
【００３２】
一般的な画像伝送システムでは、輝度信号および２つの色差信号で画素値を表現する色空間が利用される。しかしながら、輝度信号は、背景画素計算において影の影響を受けやすい。そこで、背景画素計算部１２２は、選択画像の色空間が輝度信号を含む場合には、当該色空間を輝度信号を含まない他の色空間（例えば、ＲＧＢ）に変換してから背景画素計算を行ってもよい。さらに、背景画素計算部１２２は、背景画像１４の各画素値を必要に応じて元の色空間に戻してもよい。
【００３３】
背景画像バッファ部１２３は、背景画素計算部１２２から背景画像１４（を構成する各画素値）を受け取って保存する。背景画像バッファ部１２３に保存された背景画像１４は画像符号化部１１０によって必要に応じて読み出される。
【００３４】
背景制御情報生成部１３０は、入力画像１０、基準画像１１および補助情報１２を受け取る。背景制御情報生成部１３０は、例えば、補助情報１２に基づいて、基準画像１１から入力画像１０と類似する画像を探索し、探索された画像（これは、前述の選択画像と同じである）を示す選択情報を含む背景制御情報１３を生成する。さらに、背景制御情報生成部１３０は、背景画像１４を補正するための補正パラメータを生成し、背景制御情報１３に含めてもよい。
【００３５】
補助情報１２は、例えば、撮影位置、撮影方向、撮影日、撮影時刻などの情報を含んでもよい。これらの情報は、背景制御情報生成部１３０が入力画像１０と類似する画像を基準画像１１から探索するのに有用である。例えば、撮影位置および撮影方向の情報は、入力画像１０と被写体（特に、背景）の点で類似する画像を基準画像１１から探索するのに有用である。撮影日および撮影時刻の情報は、入力画像１０と日照条件の点で類似する画像を基準画像１１から探索するのに有用である。
【００３６】
なお、背景制御情報生成部１３０は、補助情報１２を利用することなく、基準画像１１から入力画像１０と類似する画像を探索してもよい。或いは、背景制御情報生成部１３０は、入力画像１０とは無関係に基準画像１１から少なくとも１枚の画像を選択してもよい。但し、符号化率向上の観点からすると、入力画像１０と類似する画像を探索することが好ましい。また、探索効率向上の観点からすると、補助情報１２を利用することが好ましい。
【００３７】
背景制御情報生成部１３０は、背景制御情報１３を背景画像生成部１２０へと出力する。さらに、背景制御情報生成部１３０は、背景制御情報１３を画像復号装置２００へと伝送する。なお、背景制御情報１３は、無線通信または有線通信によって画像復号装置２００へと伝送されてもよいし、記録媒体を経由して画像復号装置２００へと伝送されてもよい。
【００３８】
背景制御情報１３は、符号化データ１５とは別々に伝送されてもよいし、符号化データ１５と一緒に伝送されてもよい。例えば、背景制御情報１３および符号化データ１５は、多重化およびパケット化されてから伝送される。背景制御情報１３の伝送に関して、例えばＨ．２６４／ＡＶＣまたはＨ．２６５／ＨＥＶＣにおけるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）の枠組みが利用されてもよい。
【００３９】
背景制御情報生成部１３０の具体例が、図３に示される。図３の背景制御情報生成部１３０は、同期マッチング部１３１と、画像補正パラメータ生成部１３２とを含む。
【００４０】
図３の同期マッチング部１３１は、入力画像１０、基準画像１１および補助情報１２を受け取る。同期マッチング部１３１は、補助情報１２に基づいて、基準画像１１から入力画像１０と類似する画像を探索し、探索された少なくとも１枚の画像（これは、前述の選択画像と同じである）を示す選択情報を生成する。選択画像は、例えば、基準画像１１のうち入力画像１０に最も類似する画像を含んでもよい。同期マッチング部１３１は、選択情報および選択画像を画像補正パラメータ生成部１３２へと出力する。
【００４１】
画像補正パラメータ生成部１３２は、入力画像１０を受け取り、同期マッチング部１３１から選択情報および選択画像を受け取る。画像補正パラメータ生成部１３２は、入力画像１０および選択画像に基づいて、前述の補正パラメータを生成する。そして、画像補正パラメータ生成部１３２は、選択情報および補正パラメータを含む背景制御情報１３を生成し、背景画像生成部１２０へと出力する。さらに、画像補正パラメータ生成部１３２は、背景制御情報１３を画像復号装置２００へと伝送する。
【００４２】
画像復号部２１０は、画像符号化装置１００によって伝送された符号化データ１５を受け取り、背景画像生成部２２０から後述される背景画像（信号）１７を受け取る。画像復号部２１０は、背景画像１７を用いて符号化データ１５を復号することによって、再生画像（信号）１８を生成する。背景画像１７は、画像符号化装置１００において生成される背景画像１４と共通である。再生画像１８は、入力画像１０を実質的に復元したものである。画像復号部２１０は、再生画像１８を外部装置（例えば図示されない表示装置）へと出力する。
【００４３】
画像復号部２１０の具体例が図５に示される。図５の画像復号部２１０は、エントロピー復号部４０１と、逆量子化／逆変換部４０２と、加算部４０３と、ループフィルタ部４０４と、復号画像バッファ部４０５と、外部画像バッファ部４０６と、予測画像生成部４０７とを含む。
【００４４】
エントロピー復号部４０１は、画像符号化装置１００によって伝送された符号化データ１５を受け取る。エントロピー復号部４０１は、符号化データ１５をエントロピー復号することによって、量子化変換係数および予測情報（例えば、動きベクトル情報を含む）を復元する。エントロピー復号部４０１は、量子化変換係数を逆量子化／逆変換部４０２へと出力し、予測情報を予測画像生成部４０７へと出力する。
【００４５】
逆量子化／逆変換部４０２は、エントロピー復号部４０１から量子化変換係数を受け取る。逆量子化／逆変換部４０２は、量子化変換係数を上記量子化パラメータに従って逆量子化することによって変換係数を復元し、当該変換係数を逆変換する（これは、画像符号化部１１０において行われた変換の逆処理に相当する）ことによって予測誤差（信号）を復元する。変換係数の逆変換には、例えばＩＤＣＴなどの逆直交変換が用いられる。逆量子化／逆変換部４０２は、予測誤差を加算部４０３へと出力する。
【００４６】
加算部４０３は、逆量子化／逆変換部４０２から予測誤差を受け取り、予測画像生成部４０７から予測画像（信号）を受け取る。加算部４０３は、予測誤差および予測画像を加算することによって、復号画像（信号）を生成する。加算部４０３は、復号画像をループフィルタ部４０４へと出力する。
【００４７】
ループフィルタ部４０４は、加算部４０３から復号画像を受け取る。ループフィルタ部４０４は、復号画像にループフィルタ処理を適用する。ループフィルタ処理は、例えばデブロッキングフィルタ処理であってよい。ループフィルタ部４０４は、フィルタ処理された復号画像を復号画像バッファ部４０５へと出力する。
【００４８】
復号画像バッファ部４０５は、ループフィルタ部４０４からフィルタ処理された復号画像を受け取る。復号画像バッファ部４０５は、フィルタ処理された復号画像を参照画像として保存する。復号画像バッファ部４０５は、必要に応じて、参照画像を予測画像生成部４０７へと出力する。さらに、復号画像バッファ部４０５は、表示順に従って、参照画像を再生画像１８として外部装置（例えば図示されない表示装置）へと出力する。
【００４９】
外部画像バッファ部４０６は、背景画像生成部２２０から背景画像１７を受け取る。外部画像バッファ部４０６は、背景画像１７を参照画像として保存する。外部画像バッファ部４０６は、必要に応じて、参照画像を予測画像生成部４０７へと出力する。
【００５０】
予測画像生成部４０７は、復号画像バッファ部４０５から参照画像（フィルタ処理された復号画像）を受け取り、外部画像バッファ部４０６から参照画像（背景画像１７）を受け取り、エントロピー復号部４０１から予測情報を受け取る。予測画像生成部４０７は、予測情報および参照画像を用いて予測画像を生成する。例えば、予測画像生成部４０７は、画面内予測、参照画像の動き補償予測または背景画像１７からの予測（これは、階層符号化における層間予測に相当する）を行うことによって、予測画像を生成する。予測画像生成部４０７は、予測画像を加算部４０３へと出力する。
【００５１】
背景画像生成部２２０は、基準画像（信号）１６を受け取り、画像符号化装置１００によって伝送された背景制御情報１３を受け取る。背景画像生成部２２０は、背景画像生成部１２０と同一または類似であってよい。基準画像１６は、画像符号化装置１００において用いられる基準画像１１と共通である。背景画像生成部２２０は、背景制御情報１３および基準画像１６に基づいて背景画像１７を生成する。背景画像生成部２２０は、背景画像１７を画像復号部２１０へと出力する。
【００５２】
以上説明したように、第１の実施形態に係る画像伝送システムにおいて、画像符号化装置は、入力画像に基づいて背景制御情報を生成し、画像復号装置へと伝送する。さらに、画像符号化装置は、この背景制御情報および予め用意された基準画像に基づいて背景画像を生成し、当該背景画像を用いてこの入力画像を符号化し、符号化データを画像復号装置へと伝送する。画像復号装置は、伝送された背景制御情報および画像符号化装置と共通の基準画像を用いて画像符号化装置と共通の背景画像を生成し、当該背景画像を用いて符号化データを復号する。故に、この画像伝送システムによれば、入力画像に含まれる背景領域の大部分に対する符号化および伝送を省略し、符号化データのデータ量を大幅に抑制することができる。すなわち、伝送路の帯域幅が狭い場合であっても高画質の画像を伝送することができる。
【００５３】
（第２の実施形態）  
図６に例示されるように、第２の実施形態に係る画像伝送システムは、画像符号化装置５００および画像復号装置６００を含む。画像符号化装置５００は、画像符号化部１１０および背景画像生成部１２０を含む。画像復号装置６００は、画像復号部２１０、背景画像生成部２２０および背景制御情報生成部２３０を含む。図６の画像伝送システムは、例えば、監視カメラによって撮影された映像を遠隔地のオペレータ端末へと伝送するシステムであってよい。
【００５４】
図６の画像符号化部１１０は、符号化データ１５を画像復号装置６００へと伝送する点で図１の画像符号化部１１０とは異なる。なお、符号化データ１５は、無線通信または有線通信によって画像復号装置６００へと伝送されてもよいし、記録媒体を経由して画像復号装置６００へと伝送されてもよい。図６の背景画像生成部１２０は、画像復号装置６００によって伝送された背景制御情報１３を受け取る点で図１の背景画像生成部１２０とは異なる。
【００５５】
図６の画像復号部２１０は、画像符号化装置５００によって伝送された符号化データ１５を受け取る点で図１の画像復号部２１０とは異なる。さらに、画像復号部２１０は、再生画像１８を外部装置（例えば図示されない表示装置）だけでなく背景制御情報生成部２３０へ出力する。図６の背景画像生成部２２０は、背景制御情報生成部２３０から背景制御情報１３を受け取る点で図１の背景画像生成部２２０とは異なる。
【００５６】
背景制御情報生成部２３０は、基準画像１６および補助情報１９を受け取り、画像復号部２１０から再生画像１８を受け取る。背景制御情報生成部２３０は、例えば、補助情報１９に基づいて、基準画像１６から再生画像１８と類似する画像を探索し、探索された画像（これは、背景画像１７のベースとして選択される画像（選択画像）である）を示す選択情報を含む背景制御情報１３を生成する。さらに、背景制御情報生成部２３０は、背景画像１７を補正するための補正パラメータを生成し、背景制御情報１３に含めてもよい。
【００５７】
概括すれば、第１の実施形態において説明された選択情報は符号化対象の入力画像１０そのものと類似する選択画像を示すが、本実施形態において説明される選択情報は符号化対象の入力画像１０ではなく過去に符号化された入力画像１０を復号することによって生成された再生画像１８に類似する選択画像を示す。故に、本実施形態は、入力画像１０に含まれる背景領域の時間変化が大きくない場合に好適である。
【００５８】
補助情報１９は、例えば、撮影位置、撮影方向、撮影日、撮影時刻などの情報を含んでもよい。これらの情報は、背景制御情報生成部２３０が再生画像１８と類似する画像を基準画像１６から探索するのに有用である。例えば、撮影位置および撮影方向の情報は、再生画像１８と被写体（特に、背景）の点で類似する画像を基準画像１６から探索するのに有用である。撮影日および撮影時刻の情報は、再生画像１８と日照条件の点で類似する画像を基準画像１６から探索するのに有用である。
【００５９】
なお、背景制御情報生成部２３０は、補助情報１９を利用することなく、基準画像１６から再生画像１８と類似する画像を探索してもよい。或いは、背景制御情報生成部２３０は、再生画像１８とは無関係に基準画像１６から少なくとも１枚の画像を選択してもよい。但し、符号化率向上の観点からすると、再生画像１８と類似する画像を探索することが好ましい。また、探索効率向上の観点からすると、補助情報１９を利用することが好ましい。
【００６０】
背景制御情報生成部２３０は、背景制御情報１３を背景画像生成部２２０へと出力する。さらに、背景制御情報生成部２３０は、背景制御情報１３を画像符号化装置５００へと伝送する。なお、背景制御情報１３は、無線通信または有線通信によって画像符号化装置５００へと伝送されてもよいし、記録媒体を経由して画像符号化装置５００へと伝送されてもよい。
【００６１】
背景制御情報生成部２３０の具体例が、図７に示される。図７の背景制御情報生成部２３０は、予測マッチング部２３１と、画像補正パラメータ生成部２３２とを含む。
【００６２】
予測マッチング部２３１は、基準画像１６および補助情報１９を受け取り、画像復号部２１０から再生画像１８を受け取る。予測マッチング部２３１は、補助情報１９に基づいて、基準画像１６から再生画像１８と類似する画像を探索し、探索された少なくとも１枚の画像（これは、前述の選択画像と同じである）を示す選択情報を生成する。選択画像は、例えば、基準画像１６のうち再生画像１８に最も類似する画像を含んでもよい。予測マッチング部２３１は、選択情報および選択画像を画像補正パラメータ生成部２３２へと出力する。
【００６３】
画像補正パラメータ生成部２３２は、画像復号部２１０から再生画像１８を受け取り、予測マッチング部２３１から選択情報および選択画像を受け取る。画像補正パラメータ生成部２３２は、再生画像１８および選択画像に基づいて、前述の補正パラメータを生成する。そして、画像補正パラメータ生成部２３２は、選択情報および補正パラメータを含む背景制御情報１３を生成し、背景画像生成部２２０へと出力する。さらに、画像補正パラメータ生成部２３２は、背景制御情報１３を画像符号化装置５００へと伝送する。
【００６４】
以上説明したように、第２の実施形態に係る画像伝送システムにおいて、画像復号装置は、復号済みの再生画像に基づいて背景制御情報を生成し、画像符号化装置へと伝送する。画像符号化装置は、伝送された背景制御情報および予め用意された基準画像に基づいて背景画像を生成し、当該背景画像を用いて入力画像を符号化し、符号化データを画像復号装置へと伝送する。画像復号装置は、生成した背景制御情報および画像符号化装置と共通の基準画像に基づいて画像符号化装置と共通の背景画像を生成し、当該背景画像を用いて符号化データを復号する。故に、この画像伝送システムによれば、入力画像に含まれる背景領域の大部分に対する符号化および伝送を省略し、符号化データのデータ量を大幅に抑制することができる。すなわち、伝送路の帯域幅が狭い場合であっても高画質の画像を伝送することができる。
【００６５】
（第３の実施形態）  
図８に例示されるように、第３の実施形態に係る画像伝送システムは、画像符号化装置５００、画像復号装置２００および背景制御情報生成装置７００を含む。背景制御情報生成装置７００は、背景制御情報生成部７１０を含む。図８の画像伝送システムは、例えば、監視カメラによって撮影された映像を遠隔地のオペレータ端末へと伝送するシステムであってよい。
【００６６】
図８の背景画像生成部１２０は、背景制御情報生成装置７００によって伝送された背景制御情報１３を受け取る点で図１および図６の背景画像生成部１２０とは異なる。背景画像生成部２２０は、背景制御情報生成装置７００によって伝送された背景制御情報１３を受け取る点で図１および図６の背景画像生成部２２０とは異なる。
【００６７】
背景制御情報生成部７１０は、基準画像２０および補助情報２１を受け取る。背景制御情報生成部７１０は、補助情報２１に基づいて基準画像２０から少なくとも１枚の画像を選択し、選択画像を示す選択情報を含む背景制御情報１３を生成する。基準画像２０は、画像符号化装置５００において用いられる基準画像１１および画像復号装置２００において用いられる基準画像１６と共通である。補助情報２１は、前述の補助情報１２または補助情報１９と同一または類似であってよい。
【００６８】
背景制御情報生成部７１０は、背景制御情報１３を画像符号化装置５００および画像復号装置２００へと伝送する。なお、背景制御情報１３は、無線通信または有線通信によって画像符号化装置５００および画像復号装置２００へと伝送されてもよいし、記録媒体を経由して画像符号化装置５００および画像復号装置２００へと伝送されてもよい。
【００６９】
背景制御情報生成部７１０は、図９に例示されるように設計されてもよい。図９の背景制御情報生成部７１０は、画像選択部７１１を含む。画像選択部７１１は、基準画像２０および補助情報２１を受け取る。画像選択部７１１は、補助情報２１に基づいて、基準画像２０から少なくとも１枚の画像を選択し、選択画像を示す選択情報を含む背景制御情報１３を生成する。画像選択部７１１は、背景制御情報１３を画像符号化装置５００および画像復号装置２００へと伝送する。
【００７０】
以上説明したように、第３の実施形態に係る画像伝送システムにおいて、背景制御情報生成装置は、背景制御情報を生成し、画像符号化装置および画像復号装置へと伝送する。画像符号化装置は、伝送された背景制御情報および予め用意された基準画像に基づいて背景画像を生成し、当該背景画像を用いて入力画像を符号化し、符号化データを画像復号装置へと伝送する。画像復号装置は、伝送された背景制御情報および画像符号化装置と共通の基準画像を用いて画像符号化装置と共通の背景画像を生成し、当該背景画像を用いて符号化データを復号する。故に、この画像伝送システムによれば、入力画像に含まれる背景領域の大部分に対する符号化および伝送を省略し、符号化データのデータ量を大幅に抑制することができる。すなわち、伝送路の帯域幅が狭い場合であっても高画質の画像を伝送することができる。
【００７１】
（第４の実施形態）  
図１０に例示されるように、第４の実施形態に係る画像伝送システムは、画像符号化装置８００および画像復号装置９００を含む。画像符号化装置８００は、画像符号化部１１０、背景画像生成部８２０および背景制御情報生成部８３０を含む。画像復号装置９００は、画像復号部２１０および背景画像生成部９２０を含む。図１０の画像伝送システムは、例えば、監視カメラによって撮影された映像を遠隔地のオペレータ端末へと伝送するシステムであってよい。
【００７２】
図１０の画像符号化部１１０は、背景画像１４を背景画像生成部８２０から受け取る点、ならびに、符号化データ１５を画像復号装置９００へと伝送する点で、図１、図６および図８の画像符号化部１１０とは異なる。さらに、画像符号化部１１０は、再生画像（信号）２２を背景画像生成部８２０へと出力する。再生画像２２は、局所復号画像であってもよいし、局所復号画像に何らかの画像処理（例えば、フィルタ処理）を適用することによって得られる画像であってもよい。
【００７３】
図１０の画像復号部２１０は、背景画像１７を背景画像生成部９２０から受け取る点、ならびに、画像符号化装置８００によって伝送された符号化データ１５を受け取る点で、図１、図６および図８の画像復号部２１０とは異なる。さらに、画像復号部２１０は、再生画像１８を外部装置（例えば図示されない表示装置）に加えて背景画像生成部９２０へと出力する。
【００７４】
背景画像生成部８２０は、画像符号化部１１０から再生画像２２を受け取り、背景制御情報生成部８３０から背景制御情報１３を受け取る。背景画像生成部８２０は、背景制御情報１３および再生画像２２に基づいて背景画像１４を生成する。背景画像生成部８２０は、背景画像１４を画像符号化部１１０へと出力する。要するに、背景画像生成部８２０は、前述の基準画像１１の代わりに再生画像２２を用いて背景画像１４を生成する。
【００７５】
前述のように、背景制御情報１３は、背景画像１４を生成するために必要なパラメータを含む。具体的には、図１０の背景制御情報１３は、少なくとも１枚の再生画像２２のうち背景画像１４のベースとして選択される少なくとも１枚の画像（選択画像）を示す選択情報を含んでいてもよい。この選択情報は、再生画像２２が動画像である場合には、例えばフレーム番号であってもよい。さらに、背景制御情報１３は、背景画像１４の品質を向上させるための補正パラメータを含んでもよい。なお、背景画像生成部８２０の設計次第で、背景制御情報１３は選択情報を含まなくてもよい。例えば、背景画像生成部８２０が直近の所定枚数の再生画像２２を自動的に選択してもよい。
【００７６】
例えば、背景画像生成部８２０は、少なくとも１枚の再生画像２２から１枚の画像（選択画像）を選択することで背景画像１４を生成してもよい。或いは、背景画像生成部８２０は、複数枚の再生画像２２から複数枚の画像（選択画像）を選択し、当該複数枚の選択画像を用いて後述される背景画素計算を行うことによって背景画像１４を生成してもよい。さらに、背景画像生成部８２０は、このように生成された背景画像１４に対して以下に説明されるフォーマット変換または画像補正を行ってから画像符号化部１１０へと出力してもよい。
【００７７】
背景画像１４が入力画像１０とフォーマットにおいて異なる場合には、背景画像生成部８２０は背景画像１４のフォーマットを入力画像１０と同じフォーマットに変換してもよい。ここで、フォーマットは、例えば、画像サイズ、画素ビット長、色差フォーマット、色空間などである。
【００７８】
背景制御情報１３が補正パラメータを含む場合には、背景画像生成部８２０は当該補正パラメータを用いて背景画像１４を補正してもよい。具体的には、背景画像生成部８２０は、補正パラメータに含まれるガンマ値を用いて、背景画像１４にガンマ補正を行ってもよい。背景画像生成部８２０は、補正パラメータに含まれる入力画像１０のヒストグラム情報を用いて、背景画像１４にヒストグラム変換を行ってもよい。背景画像生成部８２０は、補正パラメータに含まれるウィナーフィルタのフィルタ係数（これは、入力画像１０および背景画像１４に基づいて設計できる）を用いて、背景画像１４にウィナーフィルタ処理を行ってもよい。背景画像生成部８２０は、補正パラメータに含まれる重み係数およびオフセット値を用いて、例えば明るさなどの補正のために背景画像１４の重み付き予測を行ってもよい。背景画像生成部８２０は、補正パラメータに含まれる幾何変換のパラメータ値を用いて、例えば撮影位置などの補正のために背景画像１４の幾何変換を行ってもよい。なお、背景画像生成部８２０は、ここに例示されていない種々の画像補正を行ってもよい。
【００７９】
背景画像生成部８２０の具体例が、図１１に示される。図１１の背景画像生成部８２０は、再生画像バッファ部８２１と、背景画素計算部８２２と、背景画像バッファ部１２３とを含む。図１１の背景画像バッファ部１２３は、背景画素計算部８２２から背景画像１４を受け取る点で図２の背景画像バッファ部１２３とは異なる。
【００８０】
再生画像バッファ部８２１は、画像符号化部１１０から再生画像２２を受け取って保存する。再生画像バッファ部８２１に保存された再生画像２２は背景画素計算部８２２によって必要に応じて読み出される。
【００８１】
背景画素計算部８２２は、背景制御情報生成部８３０から背景制御情報１３を受け取る。背景画素計算部８２２は、複数枚の再生画像２２から複数枚の画像を選択し、当該複数枚の選択画像を再生画像バッファ部８２１から読み出す。背景画素計算部８２２は、再生画像バッファ部８２１から読み出された複数枚の選択画像を用いて背景画素計算を行うことによって背景画像１４（を構成する各画素値）を生成する。背景画素計算部８２２は、背景画像１４を背景画像バッファ部１２３へと出力する。
【００８２】
背景画素計算は、位置合わせされた撮影時刻の異なる複数枚の画像（選択画像）から背景画素を導出するための任意の演算処理であってよい。例えば、背景画素計算部８２２は、複数枚の選択画像の所定位置の画素値の最頻値を計算することによって、背景画像１４の当該所定位置の画素値を導出してもよい。背景画素計算部８２２は、最頻値に代えて中央値または平均値を計算してもよい。背景画素計算部８２２は、複数枚の選択画像の所定位置の画素値の平均値および分散に基づいて非背景画素（前景画素）を判定するための閾値を設定し、当該画素値のうち非背景画素に相当するものを除外してから平均値を再計算することで背景画像１４の当該所定位置の画素値を導出してもよい。或いは、背景画素計算部８２２は、混合正規モデル（ＧＭＭ）を用いて背景画像１４の各画素値を計算してもよいし、Ｇｏｄｂｅｈｅｒｅ，  Ｍａｔｓｕｋａｗａ，  Ｇｏｌｄｂｅｒｇによるアルゴリズム（ＧＭＧ）を用いて背景画像１４の各画素値を計算してもよい。また、背景画素計算部８２２は、再生画像２２に関する種々の符号化パラメータ（例えば、動き補償のスキップ情報、予測誤差の絶対値和など）を用いて背景画像１４の各画素値を計算してもよい。
【００８３】
一般的な画像伝送システムでは、輝度信号および２つの色差信号で画素値を表現する色空間が利用される。しかしながら、輝度信号は、背景画素計算において影の影響を受けやすい。そこで、背景画素計算部８２２は、選択画像の色空間が輝度信号を含む場合には、当該色空間を輝度信号を含まない他の色空間（例えば、ＲＧＢ）に変換してから背景画素計算を行ってもよい。さらに、背景画素計算部８２２は、背景画像１４の各画素値を必要に応じて元の色空間に戻してもよい。
【００８４】
背景制御情報生成部８３０は、入力画像１０および補助情報１２を受け取る。背景制御情報生成部８３０は、例えば、補助情報１２に基づいて、再生画像２２から入力画像１０と類似する可能性の高い画像を予測し、予測された画像（これは、前述の選択画像と同じである）を示す選択情報を含む背景制御情報１３を生成してもよい。さらに、背景制御情報生成部８３０は、背景画像１４を補正するための補正パラメータを生成し、背景制御情報１３に含めてもよい。
【００８５】
なお、背景制御情報生成部８３０は、補助情報１２を利用することなく、再生画像２２から入力画像１０と類似する可能性の高い画像を予測してもよい。或いは、背景制御情報生成部８３０は、入力画像１０とは無関係に再生画像２２から少なくとも１枚の画像を選択してもよい。但し、符号化率向上の観点からすると、入力画像１０と類似する可能性の高い画像を予測することが好ましい。また、予測効率向上の観点からすると、補助情報１２を利用することが好ましい。
【００８６】
背景制御情報生成部８３０は、背景制御情報１３を背景画像生成部８２０へと出力する。さらに、背景制御情報生成部８３０は、背景制御情報１３を画像復号装置９００へと伝送する。なお、背景制御情報１３は、無線通信または有線通信によって画像復号装置９００へと伝送されてもよいし、記録媒体を経由して画像復号装置９００へと伝送されてもよい。
【００８７】
背景制御情報１３は、符号化データ１５とは別々に伝送されてもよいし、符号化データ１５と一緒に伝送されてもよい。例えば、背景制御情報１３および符号化データ１５は多重化およびパケット化されてから伝送される。背景制御情報１３の伝送に関して、例えばＨ．２６４／ＡＶＣまたはＨ．２６５／ＨＥＶＣにおけるＳＥＩの枠組みが利用されてもよい。
【００８８】
背景制御情報生成部８３０の具体例が、図１２に示される。図１２の背景制御情報生成部８３０は、画像補正パラメータ生成部８３１を含む。
【００８９】
画像補正パラメータ生成部８３１は、入力画像１０および補助情報１２を受け取る。画像補正パラメータ生成部８３１は、入力画像１０および補助情報１２に基づいて、前述の補正パラメータを生成する。そして、画像補正パラメータ生成部８３１は、補正パラメータを含む背景制御情報１３を生成し、背景画像生成部８２０へと出力する。さらに、画像補正パラメータ生成部８３１は、背景制御情報１３を画像復号装置９００へと伝送する。
【００９０】
背景画像生成部９２０は、画像復号部２１０から再生画像１８を受け取り、画像符号化装置８００によって伝送された背景制御情報１３を受け取る。背景画像生成部９２０は、背景画像生成部８２０と同一または類似であってよい。再生画像１８は、画像符号化装置８００において用いられる再生画像２２と共通である。背景画像生成部９２０は、背景制御情報１３および再生画像１８に基づいて背景画像１７を生成する。背景画像生成部９２０は、背景画像１７を画像復号部２１０へと出力する。要するに、背景画像生成部９２０は、前述の基準画像１６の代わりに再生画像１８を用いて背景画像１７を生成する。
【００９１】
以上説明したように、第４の実施形態に係る画像伝送システムにおいて、画像符号化装置は、入力画像に基づいて背景制御情報を生成し、画像復号装置へと伝送する。さらに、画像符号化装置は、この背景制御情報と符号化済みの入力画像の局所復号画像に相当する再生画像とに基づいて背景画像を生成し、当該背景画像を用いてこの入力画像を符号化し、符号化データを画像復号装置へと伝送する。画像復号装置は、伝送された背景制御情報および復号済みの再生画像を用いて画像符号化装置と共通の背景画像を生成し、当該背景画像を用いて符号化データを復号する。故に、この画像伝送システムによれば、入力画像に含まれる背景領域の大部分に対する符号化および伝送を省略し、符号化データのデータ量を大幅に抑制することができる。すなわち、伝送路の帯域幅が狭い場合であっても高画質の画像を伝送することができる。
【００９２】
なお、前述の各実施形態に係る画像伝送システムに含まれる画像符号化装置、画像復号装置および背景制御情報生成装置は、図１３に例示されるハードウェアによってそれぞれ実現されてよい。図１３のハードウェアは、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１００１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１００２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１００３、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１００４およびバス１００５を含む。
【００９３】
ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３および通信ＩＦ（１００４）との間のデータのやり取りはバス１００５を介して行われる。
【００９４】
ＣＰＵ１００１は、プログラムを記録媒体（例えばＲＯＭ１００２）からメインメモリに読み出し、当該プログラムを実行することによって、前述の種々の処理を行う機能部（例えば、予測画像生成部３０８など）として動作することができる。ＲＡＭ１００３は、前述の種々のバッファ部として利用されてもよい。通信ＩＦ１００４は、例えば、背景制御情報１３、符号化データ１５などの送受信に利用されてもよい。
【００９５】
上記各実施形態の処理の少なくとも一部は、汎用のコンピュータを基本ハードウェアとして用いることでも実現可能である。上記処理を実現するプログラムは、コンピュータで読み取り可能な記録媒体に格納して提供されてもよい。プログラムは、インストール可能な形式のファイルまたは実行可能な形式のファイルとして記録媒体に記憶される。記録媒体としては、磁気ディスク、光ディスク（ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリなどである。記録媒体は、プログラムを記憶でき、かつ、コンピュータが読み取り可能であれば、何れであってもよい。また、上記処理を実現するプログラムを、インターネットなどのネットワークに接続されたコンピュータ（サーバ）上に格納し、ネットワーク経由でコンピュータ（クライアント）にダウンロードさせてもよい。
【００９６】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００９７】
１０・・・入力画像
１１，１６，２０・・・基準画像
１２，１９，２１・・・補助情報
１３・・・背景制御情報
１４，１７・・・背景画像
１５・・・符号化データ
１８，２２・・・再生画像
１００，５００，８００・・・画像符号化装置
１１０・・・画像符号化部
１２０，２２０，８２０，９２０・・・背景画像生成部
１２１・・・基準画像バッファ部
１２２，８２２・・・背景画素計算部
１２３・・・背景画像バッファ部
１３０，２３０，７１０，８３０・・・背景制御情報生成部
１３１・・・同期マッチング部
１３２，２３２，８３１・・・画像補正パラメータ生成部
２００，６００，９００・・・画像復号装置
２１０・・・画像復号部
２３１・・・予測マッチング部
３０１・・・減算部
３０２・・・変換／量子化部
３０３，４０２・・・逆量子化／逆変換部
３０４，４０３・・・加算部
３０５，４０４・・・ループフィルタ部
３０６，４０５・・・復号画像バッファ部
３０７，４０６・・・外部画像バッファ部
３０８，４０７・・・予測画像生成部
３０９・・・エントロピー符号化部
３１０・・・符号化制御部
４０１・・・エントロピー復号部
７００・・・背景制御情報生成装置
７１１・・・画像選択部
８２１・・・再生画像バッファ部
１００１・・・ＣＰＵ
１００２・・・ＲＯＭ
１００３・・・ＲＡＭ
１００４・・・通信ＩＦ
１００５・・・バス
【図１】
0006457248.tif 000002
【図２】
0006457248.tif 000003
【図３】
0006457248.tif 000004
【図４】
0006457248.tif 000005
【図５】
0006457248.tif 000006
【図６】
0006457248.tif 000007
【図７】
0006457248.tif 000008
【図８】
0006457248.tif 000009
【図９】
0006457248.tif 000010
【図１０】
0006457248.tif 000011
【図１１】
0006457248.tif 000012
【図１２】
0006457248.tif 000013
【図１３】
0006457248.tif 000014