(57)【特許請求の範囲】
【請求項１】
入力された符号化キーフレームデータを復号し、キーフレームを保持する復号画像保持手段と、
上記復号画像保持手段に保持されるキーフレームを用いて予測画像を形成する予測画像形成手段と、
上記予測画像と原画擬似画像情報との相関をとり、入力された誤り訂正情報を用いて上記予測画像の誤りを訂正し、訂正後の予測画像を出力する復号手段と、
上記復号手段から出力される上記訂正後の予測画像を用いて復号画像を生成する復号画像生成手段と、
上記復号手段からの上記訂正後の予測画像と上記復号画像保持手段の上記キーフレームとを用いて、予測画像の更新を行う予測画像更新手段と、
上記予測画像更新手段により更新された更新後の予測画像を用いて、上記原画擬似画像情報との相関を更新し、更新後の相関を上記復号手段に与える相関更新手段と
を備え、
上記相関更新手段が、上記更新後の予測画像と上記原画像疑似画像情報とのラプラス分布の分散値が、上記更新前の予測画像とのラプラス分布の分散値よりも小さくするようにして、上記更新後の予測画像と上記原画像疑似画像情報との相関を得ることを特徴とする復号システム。
【請求項２】
入力された符号化キーフレームデータを復号し、キーフレームを保持する復号画像保持手段と、
上記復号画像保持手段に保持されるキーフレームを用いて予測画像を形成する予測画像形成手段と、
上記予測画像と原画擬似画像情報との相関をとり、入力された誤り訂正情報を用いて上記予測画像の誤りを訂正し、訂正後の予測画像を出力する復号手段と、
上記復号手段から出力される上記訂正後の予測画像を用いて復号画像を生成する復号画像生成手段と、
上記復号手段からの上記訂正後の予測画像と上記復号画像保持手段の上記キーフレームとを用いて、予測画像の更新を行う予測画像更新手段と、
上記予測画像更新手段により更新された更新後の予測画像を用いて、上記原画擬似画像情報との相関を更新し、更新後の相関を上記復号手段に与える相関更新手段と
を備え、
上記相関更新手段が、更新前と更新後の上記予測画像の動きベクトルの変化量に応じたラプラス分布の分散値を用いて、上記更新後の予測画像と上記原画像疑似画像情報との相関を得ることを特徴とする復号システム。
【請求項３】
上記復号手段が、上記相関更新手段により更新された更新後の相関を用いて、上記予測画像更新手段により更新された更新後の予測画像の誤りを訂正するものであることを特徴とする請求項１又は２に記載の復号システム。
【請求項４】
上記予測画像更新手段が、上記復号画像の画質が所定値を超えていないとき、上記復号手段による復号回数が所定回数以下であるときのいずれか一方又は双方の場合に、上記訂正後の予測画像の更新を行うものであることを特徴とする請求項１〜３のいずれかに記載の復号システム。
【請求項５】
上記予測画像更新手段及び上記相関更新手段が、予測画像のフレーム毎に更新するものであることを特徴とする請求項１〜４のいずれかに記載の復号システム。
【請求項６】
上記予測画像更新手段及び上記相関更新手段が、予測画像のビットプレーン毎に更新するものであることを特徴とする請求項１〜５のいずれかに記載の復号システム。
【請求項７】
復号装置が、復号画像保持手段、予測画像形成手段、復号手段、復号画像生成手段、予測画像更新手段及び相関更新手段として機能するものであり、
上記復号画像保持手段が、入力された符号化キーフレームデータを復号し、キーフレームを保持する復号画像保持工程と、
上記予測画像形成手段が、上記復号画像保持手段に保持されるキーフレームを用いて予測画像を形成する予測画像形成工程と、
上記復号手段が、上記予測画像と原画擬似画像情報との相関をとり、入力された誤り訂正情報を用いて上記予測画像の誤りを訂正し、訂正後の予測画像を出力する復号工程と、
上記復号画像生成手段が、上記復号手段から出力される上記訂正後の予測画像を用いて復号画像を生成する復号画像生成工程と、
上記予測画像更新手段が、上記復号手段からの上記訂正後の予測画像と上記復号画像保持手段の上記キーフレームとを用いて、予測画像の更新を行う予測画像更新工程と、
上記相関更新手段が、上記予測画像更新手段により更新された更新後の予測画像を用いて、上記原画擬似画像情報との相関を更新し、更新後の相関を上記復号手段に与える相関更新工程と
を有し、
上記相関更新手段が、上記更新後の予測画像と上記原画像疑似画像情報とのラプラス分布の分散値が、上記更新前の予測画像とのラプラス分布の分散値よりも小さくするようにして、上記更新後の予測画像と上記原画像疑似画像情報との相関を得ることを特徴とする復号方法。
【請求項８】
復号装置が、復号画像保持手段、予測画像形成手段、復号手段、復号画像生成手段、予測画像更新手段及び相関更新手段として機能するものであり、
上記復号画像保持手段が、入力された符号化キーフレームデータを復号し、キーフレームを保持する復号画像保持工程と、
上記予測画像形成手段が、上記復号画像保持手段に保持されるキーフレームを用いて予測画像を形成する予測画像形成工程と、
上記復号手段が、上記予測画像と原画擬似画像情報との相関をとり、入力された誤り訂正情報を用いて上記予測画像の誤りを訂正し、訂正後の予測画像を出力する復号工程と、
上記復号画像生成手段が、上記復号手段から出力される上記訂正後の予測画像を用いて復号画像を生成する復号画像生成工程と、
上記予測画像更新手段が、上記復号手段からの上記訂正後の予測画像と上記復号画像保持手段の上記キーフレームとを用いて、予測画像の更新を行う予測画像更新工程と、
上記相関更新手段が、上記予測画像更新手段により更新された更新後の予測画像を用いて、上記原画擬似画像情報との相関を更新し、更新後の相関を上記復号手段に与える相関更新工程と
を有し、
上記相関更新手段が、更新前と更新後の上記予測画像の動きベクトルの変化量に応じたラプラス分布の分散値を用いて、上記更新後の予測画像と上記原画像疑似画像情報との相関を得ることを特徴とする復号方法。
【請求項９】
コンピュータを、
入力された符号化キーフレームデータを復号し、キーフレームを保持する復号画像保持手段、
上記復号画像保持手段に保持されるキーフレームを用いて予測画像を形成する予測画像形成手段、
上記予測画像と原画擬似画像情報との相関をとり、入力された誤り訂正情報を用いて上記予測画像の誤りを訂正し、訂正後の予測画像を出力する復号手段、
上記復号手段から出力される上記訂正後の予測画像を用いて復号画像を生成する復号画像生成手段、
上記復号手段からの上記訂正後の予測画像と上記復号画像保持手段の上記キーフレームとを用いて、予測画像の更新を行う予測画像更新手段、
上記予測画像更新手段により更新された更新後の予測画像を用いて、上記原画擬似画像情報との相関を更新し、更新後の相関を上記復号手段に与える相関更新手段
として機能させ、
上記相関更新手段が、上記更新後の予測画像と上記原画像疑似画像情報とのラプラス分布の分散値が、上記更新前の予測画像とのラプラス分布の分散値よりも小さくするようにして、上記更新後の予測画像と上記原画像疑似画像情報との相関を得るものであることを特徴とする復号プログラム。
【請求項１０】
コンピュータを、
入力された符号化キーフレームデータを復号し、キーフレームを保持する復号画像保持手段、
上記復号画像保持手段に保持されるキーフレームを用いて予測画像を形成する予測画像形成手段、
上記予測画像と原画擬似画像情報との相関をとり、入力された誤り訂正情報を用いて上記予測画像の誤りを訂正し、訂正後の予測画像を出力する復号手段、
上記復号手段から出力される上記訂正後の予測画像を用いて復号画像を生成する復号画像生成手段、
上記復号手段からの上記訂正後の予測画像と上記復号画像保持手段の上記キーフレームとを用いて、予測画像の更新を行う予測画像更新手段、
上記予測画像更新手段により更新された更新後の予測画像を用いて、上記原画擬似画像情報との相関を更新し、更新後の相関を上記復号手段に与える相関更新手段
として機能させ、
上記相関更新手段が、更新前と更新後の上記予測画像の動きベクトルの変化量に応じたラプラス分布の分散値を用いて、上記更新後の予測画像と上記原画像疑似画像情報との相関を得ることを特徴とする復号プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、復号システム、方法及びプログラムに関し、例えば、分散映像符号化（ＤＣＶ：Distributed  Video  Coding）方式に用いられる復号システム、方法及びプログラムに適用し得るものである。
【背景技術】
【０００２】
近年、非特許文献１に記載されるような分散映像符号化（ＤＶＣ）方式という新しい符号化方式が注目されている。
【０００３】
このＤＶＣ方式は、符号化器で符号化するべき原画像に対してSlepian-Wolf符号化処理を行い、その符号化データと復号側で行った符号化器側の原画像の予測画像と共に、Slepian-Wolf復号を行うことで画像の符号化を行う新しい符号化方式である。
【０００４】
符号化器で符号化するべき原画像（Wyner-Ziv  Frames）を変換係数領域（ＤＣＴ）に変換した後、各帯域毎に量子化（２Ｍｋ  level  Quantizer）し、その値（ｑｋ）を２値で表し、各ビットの情報を、例えば１Ｆｒａｍｅ分集めた情報（Extract  bit-Planes）毎にSlepian-Wolf符号化（Turbo  Encoder）を行い、その結果のうちパリティビットのみを一時保存（Buffer）し、情報ビットは捨てられる（非特許文献１には明確に図示はされていない）。
【０００５】
復号器側では、予測画像を生成し（Interpolation／Extrapolation）、その予測画像を変換係数領域（ＤＣＴ）に変換し、各帯域毎にSide  InformationとしてSlepian-Wolf復号器（Turbo  Decoder）に入力する。
【０００６】
一方、Slepian-Wolf復号器（Turbo  Decoder）は符号化器に対して、一時保存しているパリティビットのうち一部に対して送信要求（Request  bits）を行う。受信したパリティビットと上述したSide  InformationからSlepian-Wolf復号（Turbo  Decoder）を行う。十分な復号が行えなかった場合は、再度符号化器側にパリティビットの一部の追加送信要求（Request  bits）を行い、受信したパリティビットと上述したSide  InformationからSlepian-Wolf復号（Turbo  Decoder）を行う。この処理を、十分な復号が行えるまで続ける。
【０００７】
その後、Slepian-Wolf復号（Turbo  Decoder）の復号値とSide  Informationから変換係数を再構築し、逆変換（ＩＤＣＴ）することで復号画像を得る。
【０００８】
符号化効率を向上させるための手段として、誤り訂正を行う対象であるSide  Informationをより原画像に近づける方法がある。正確なSide  Informationが得られるならば、予測誤りが少なく、少量のパリティビットで誤りを訂正できるためである。
【０００９】
Side  Informationを正確に得るために、従来技術である非特許文献２、非特許文献３では、一度Slepian-Wolf復号によって誤り訂正を行ない、その結果を用いて動きベクトル探索、動き補償を行うことによりSide  Informationを更新している。
【００１０】
非特許文献２では、１フレーム分の誤り訂正結果を用いてSide  Informationを更新し、再び誤り訂正を行っており、非特許文献３ではビットプレーン単位でSlepian-Wolf復号結果をSide  Informationの更新に用い、更新されたSide  Informationを用いて下位ビットプレーンのSlepian-Wolf復号を行っている。
【００１１】
【非特許文献１】Anne  Aaron，Shantanu  Rane，Eric  Setton，and  Bernd  Griod，“Transform-Domain  Wyner-Ziv  Codec  For  Video”，In：Proc，SPIE  Visual  Communications  and  Image  Processing，San  Jose，CA，2004
【非特許文献２】Xavier  Artigas．Luis  Torres，“Iterative  Generarion  of  Motion-Compensated  Side  Information  For  Distributed  Video  Coding”，IEEE  International  Conference  On  Volume  １  Issue  11-14  Sept，2005，ppI-833-6．
【非特許文献３】A．B．B．  Adikari，W．A．C．Fernando，W．A．R．J．Weerakkody，H．K．Arachchi，“A  Sequential  Motion  Compensated  Refinement  Technique  for  Distributed  Video  coding  of  Wyner-Zif  Frames”，IEEE  International  Conference  on  Volume  Issue  8-11  Oct，2006，PP.597-600．
【発明の開示】
【発明が解決しようとする課題】
【００１２】
非特許文献２及び非特許文献３は、いずれの場合もSlepian-Wolf復号の結果を用いて、Side  Informationを更新しているが、Side  Informationが初期状態とは異なっているにも関わらず、原画像と予測画像の間の相関は更新されていない。これは、更新後のSide  Informationに対してSlepian-Wolf復号部で誤り訂正を行う場合は、原画像とSide  Informationとの相関は実際の相関とは異なっているといえる。
【００１３】
そのため、Slepian-Wolf復号での誤り訂正において、少量のパリティビットでは誤りを訂正できない、または、誤りでないものを誤りと訂正してしまうという、誤訂正が行われる可能性がある。結果として、所定の画質の復号画像を得るために多くのパリティビットを必要とし、符号化効率が向上しないという問題がある。
【００１４】
そこで、少量の誤り訂正情報であっても、より原画像に近似する復号画像を形成できる復号システム、方法及びプログラムが求められている。
【課題を解決するための手段】
【００１５】
かかる課題を解決するために、第１の本発明の復号システムは、（１）入力された符号化キーフレームデータを復号し、キーフレームを保持する復号画像保持手段と、（２）復号画像保持手段に保持されるキーフレームを用いて予測画像を形成する予測画像形成手段と、（３）予測画像と原画擬似画像情報との相関をとり、入力された誤り訂正情報を用いて予測画像の誤りを訂正し、訂正後の予測画像を出力する復号手段と、（４）復号手段から出力される訂正後の予測画像を用いて復号画像を生成する復号画像生成手段と、（５）復号手段からの訂正後の予測画像と復号画像保持手段のキーフレームとを用いて、予測画像の更新を行う予測画像更新手段と、（６）予測画像更新手段により更新された更新後の予測画像を用いて、原画擬似画像情報との相関を更新し、更新後の相関を上記復号手段に与える相関更新手段とを備え、相関更新手段が、更新後の予測画像と原画像疑似画像情報とのラプラス分布の分散値が、更新前の予測画像とのラプラス分布の分散値よりも小さくするようにして、更新後の予測画像と原画像疑似画像情報との相関を得ることを特徴とする。
また、第２の本発明の復号システムは、（１）入力された符号化キーフレームデータを復号し、キーフレームを保持する復号画像保持手段と、（２）復号画像保持手段に保持されるキーフレームを用いて予測画像を形成する予測画像形成手段と、（３）予測画像と原画擬似画像情報との相関をとり、入力された誤り訂正情報を用いて予測画像の誤りを訂正し、訂正後の予測画像を出力する復号手段と、（４）復号手段から出力される訂正後の予測画像を用いて復号画像を生成する復号画像生成手段と、（５）復号手段からの訂正後の予測画像と復号画像保持手段のキーフレームとを用いて、予測画像の更新を行う予測画像更新手段と、（６）予測画像更新手段により更新された更新後の予測画像を用いて、原画擬似画像情報との相関を更新し、更新後の相関を復号手段に与える相関更新手段とを備え、相関更新手段が、更新前と更新後の予測画像の動きベクトルの変化量に応じたラプラス分布の分散値を用いて、更新後の予測画像と原画像疑似画像情報との相関を得ることを特徴とする。
【００１６】
第３の本発明の復号方法は、復号装置が、復号画像保持手段、予測画像形成手段、復号手段、復号画像生成手段、予測画像更新手段及び相関更新手段として機能するものであり、（１）復号画像保持手段が、入力された符号化キーフレームデータを復号し、キーフレームを保持する復号画像保持工程と、（２）予測画像形成手段が、復号画像保持手段に保持されるキーフレームを用いて予測画像を形成する予測画像形成工程と、（３）復号手段が、予測画像と原画擬似画像情報との相関をとり、入力された誤り訂正情報を用いて予測画像の誤りを訂正し、訂正後の予測画像を出力する復号工程と、（４）復号画像生成手段が、復号手段から出力される訂正後の予測画像を用いて復号画像を生成する復号画像生成工程と、（５）予測画像更新手段が、復号手段からの訂正後の予測画像と復号画像保持手段のキーフレームとを用いて、予測画像の更新を行う予測画像更新工程と、（６）相関更新手段が、予測画像更新手段により更新された更新後の予測画像を用いて、原画擬似画像情報との相関を更新し、更新後の相関を上記復号手段に与える相関更新工程とを有し、相関更新手段が、更新後の予測画像と原画像疑似画像情報とのラプラス分布の分散値が、更新前の予測画像とのラプラス分布の分散値よりも小さくするようにして、更新後の予測画像と原画像疑似画像情報との相関を得ることを特徴とする。
第４の本発明の復号方法は、復号装置が、復号画像保持手段、予測画像形成手段、復号手段、復号画像生成手段、予測画像更新手段及び相関更新手段として機能するものであり、（１）復号画像保持手段が、入力された符号化キーフレームデータを復号し、キーフレームを保持する復号画像保持工程と、（２）予測画像形成手段が、復号画像保持手段に保持されるキーフレームを用いて予測画像を形成する予測画像形成工程と、（３）復号手段が、予測画像と原画擬似画像情報との相関をとり、入力された誤り訂正情報を用いて予測画像の誤りを訂正し、訂正後の予測画像を出力する復号工程と、（４）復号画像生成手段が、復号手段から出力される訂正後の予測画像を用いて復号画像を生成する復号画像生成工程と、（５）予測画像更新手段が、復号手段からの訂正後の予測画像と復号画像保持手段のキーフレームとを用いて、予測画像の更新を行う予測画像更新工程と、（６）相関更新手段が、予測画像更新手段により更新された更新後の予測画像を用いて、原画擬似画像情報との相関を更新し、更新後の相関を上記復号手段に与える相関更新工程とを有し、相関更新手段が、更新前と更新後の予測画像の動きベクトルの変化量に応じたラプラス分布の分散値を用いて、更新後の予測画像と原画像疑似画像情報との相関を得ることを特徴とする。
【００１７】
第５の本発明の復号プログラムは、コンピュータに、（１）入力された符号化キーフレームデータを復号し、キーフレームを保持する復号画像保持手段、（２）復号画像保持手段に保持されるキーフレームを用いて予測画像を形成する予測画像形成手段、（３）予測画像と原画擬似画像情報との相関をとり、入力された誤り訂正情報を用いて予測画像の誤りを訂正し、訂正後の予測画像を出力する復号手段、（４）復号手段から出力される訂正後の予測画像を用いて復号画像を生成する復号画像生成手段、（５）復号手段からの訂正後の予測画像と復号画像保持手段のキーフレームとを用いて、予測画像の更新を行う予測画像更新手段、（６）予測画像更新手段により更新された更新後の予測画像を用いて、原画擬似画像情報との相関を更新し、更新後の相関を復号手段に与える相関更新手段として機能させ、相関更新手段が、更新後の予測画像と原画像疑似画像情報とのラプラス分布の分散値が、更新前の予測画像とのラプラス分布の分散値よりも小さくするようにして、更新後の予測画像と原画像疑似画像情報との相関を得ることを特徴とするものである。
第６の本発明の復号プログラムは、コンピュータを、（１）入力された符号化キーフレームデータを復号し、キーフレームを保持する復号画像保持手段、（２）復号画像保持手段に保持されるキーフレームを用いて予測画像を形成する予測画像形成手段、（３）予測画像と原画擬似画像情報との相関をとり、入力された誤り訂正情報を用いて予測画像の誤りを訂正し、訂正後の予測画像を出力する復号手段、（４）復号手段から出力される訂正後の予測画像を用いて復号画像を生成する復号画像生成手段、（５）復号手段からの訂正後の予測画像と復号画像保持手段のキーフレームとを用いて、予測画像の更新を行う予測画像更新手段、（６）予測画像更新手段により更新された更新後の予測画像を用いて、原画擬似画像情報との相関を更新し、更新後の相関を復号手段に与える相関更新手段として機能させ、相関更新手段が、更新前と更新後の予測画像の動きベクトルの変化量に応じたラプラス分布の分散値を用いて、更新後の予測画像と原画像疑似画像情報との相関を得ることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、少量の誤り訂正情報であっても、より原画像に近似する復号画像を形成できる。
【発明を実施するための最良の形態】
【００１９】
（Ａ）第１の実施形態
以下では、本発明の復号システム、方法及びプログラムの第１の実施形態を図面を参照しながら説明する。
【００２０】
第１の実施形態は、映像符号化方式としてＤＶＣ方式を採用した復号システムに、本発明を適用した場合を例示して説明する。
【００２１】
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の復号装置１００Ａの構成を示す構成図である。図１に示すように、第１の実施形態の復号装置１００Ａは、Slepain-Wolf復号器１０１、キーフレーム復号器１０２、復号画像バッファ１０３、Side  Information生成器１０４、Side  Information更新期１０５、相関更新器１０６、復号画像生成器１０７を少なくとも有して構成される。
【００２２】
キーフレーム復号器１０２は、送信側から送信されたキーフレーム用データを受け取り、このキーフレーム用データを復号して、キーフレームを復号画像バッファ１０３に与えるものである。
【００２３】
復号画像バッファ１０３は、キーフレーム復号器１０２により復号されたキーフレームを蓄積するものであり、Side  Information生成器１０４及びSide  Information更新器１０５と接続するものである。
【００２４】
Side  Information生成器１０４は、復号画像バッファ１０３に蓄積されるキーフレームを取り出し、Wyner-ZivフレームのSide  Information（予測画像フレーム）を生成するものである。また、Side  Information生成器１０４は、生成したSide  InformationをSlepian-Wolf復号器１０１、相関更新器１０６に与えるものである。
【００２５】
ここで、Side  Informationの生成方法としては、例えば、相前後するキーフレーム画像の平均を取る方法や文献１（Joao  Ascenso，Catarina  Brites，Fernando  Pereira，“Improving  Frame  Interpolation  with  Spatial  Motion  Smoothing  for  Pixel  Domain  Distributed  Video  Coding”，<Internet>，2008年2月４日検索，http://www.img.lx.it.pt/~fp/artigos/EURASIP05_DVC_final.pdf）に示されているように動きベクトル探索・動き補償を行う方法を適用することができる。
【００２６】
Slepian-Wolf復号器１０１は、送信側からWyner-Zivフレーム（原画像フレーム）のパリティビットを受け取る。また、Slepian-Wolf復号器１０１は、Side  Information生成器１０４からキーフレームのSide  Informationを受け取る。そして、Slepian-Wolf復号器１０１は、Wyner-Zivフレームのパリティビットを用いてSide-Informationと原画像フレームとの相関をとり、Slepian-Wolf復号を行うものである。
【００２７】
Slepian-Wolf復号器１０１は、送信側からWyner-Zivフレーム（原画像フレーム）のパリティビットを受け取り、Side  Information生成器１０４からのキーフレームのSide  InformationとWyner-Zivフレームのパリティビットとに基づいてSide  Informationとキーフレームとの相関を用いてSlepian-Wolf復号を行うものである。このように、Slepian-Wolf復号器１０１では、誤り訂正したWyner-Zivフレームを出力する。
【００２８】
ここで、Slepian-Wolf復号器１０１は、Side  Informationとキーフレームとの相関をとる場合を例示したが、Side  Informationと相関をとる対象をキーフレームとしたが、キーフレーム以外にも所定処理を施した予測画像フレームを利用するようにしてもよい。第１の実施形態では、Side  Informationとキーフレームとの相関をとる場合を例示する。
【００２９】
Side  Information更新器１０５は、Slepian-Wolf復号器１０１により誤り訂正されたWyner-Zivフレームを受け取り、この誤り訂正されたWyner-Zivフレームを利用してSide  Informationを更新するものである。また、Side  Information更新器１０５は、更新したSide  Informationを相関更新器１０６に与えるものである。
【００３０】
相関更新器１０６は、Side  Information更新器１０５からの更新されたSide  Informationとキーフレームとの相関を更新するものである。なお、Side  Informationと相関をとる対象をキーフレームとしたが、キーフレーム以外にも所定処理を施した予測画像フレームを利用するようにしてもよい。
【００３１】
復号画像生成器１０７は、Slepian-Wolf復号器１０１からの復号されたWyner-Zivフレームと、Side  Information更新器１０５からの更新されたSide  Informationとに基づいて、復号画像を生成して出力するものである。
【００３２】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の復号装置１００Ａにおける復号処理について図面を参照しながら説明する。
【００３３】
図２〜図４は、第１の実施形態の復号装置１００Ａにおける復号処理を示すフローチャートである。
【００３４】
まず、図示しないエンコーダで符号化されたキーフレームデータがキーフレーム復号器１０２に与えられると（ステップＳ１０１）、入力されたキーフレームデータはキーフレーム復号器１０２により復号され（ステップＳ１０２）、復号されたキーフレーム画像データが復号画像バッファ１０３に格納される（ステップＳ１０３）。
【００３５】
Side  Information生成器１０４は、復号画像バッファ１０３に格納される前後のキーフレーム画像等を取り込み（ステップＳ１０４）、Wyner-ZivフレームのSide  Informationを生成する（ステップＳ１０５）。
【００３６】
ここで、Side  Informationの生成方法は、上述したように種々の方法を適用することができる。例えば、直前／直後の画像フレームを用いて動き探索等を行うことで生成する方法が適用できる。
【００３７】
また、Side  Information生成器１０４が生成したWyner-ZivフレームのSide  Informationは、推測誤りのある原画像のデータとみなすことができる。そのため、Wyner-ZivフレームのSide  Informationは、Slepian-Wolf復号器１０１に与えられる（ステップＳ１０６）。
【００３８】
また、相関更新器１０６から原画像フレームとSide  Informationとの相関と、図示しないエンコーダから原画像のパリティビットとが、Slepian-Wolf復号器１０１に与えられる（ステップＳ１０７及びＳ１０８）。
【００３９】
Slepian-Wolf復号器１０１では、Wyner-Zivフレームの１フレーム分をSlepian−Wolf復号を行い（ステップＳ１０９）、推測誤りを訂正する。
【００４０】
ここで、Slepian−Wolf復号器１０１の復号方法では、推測誤りの確率分布として原画像とSide  Informationとの間の相関を用いるものとする。
【００４１】
つまり、原画像とSide  Informationとの相関は、residual  Laplacian  Modelという相関モデルを適用することができる。このresidual  Laplacian  Modelは、原画像とSide  Informationとの差分のヒストグラムがラプラス分布に近い形状をなすことが知られており、原画像とSide  Informationとの相関をラプラス分布で近似する方法である。
【００４２】
このように、原画像とSide  Informationとの相関をラプラス分布に近似するようにすることで、Slepian−Wolf復号器１０１による誤り訂正能力を発揮させることができる。
【００４３】
また、原画像とSide  Informationとの相関の具体的例としては、近似したラプラス分布のパラメータαを挙げることができる。
【００４４】
復号器では、原画像を知り得ることがないため、第１の方法として、原画像とSide  Informationの相関のパラメータαは非特許文献１に記載のように予め計算しておいた値を用いることができる。また第２の方法として、文献２（Catarina  Brites，Joao  Ascenso，Fernando  Pereira，“Studying  Temporal  Correlation  Noise  Modeling  For  Pixel  Based  Wyner-Ziv  Video  Coding”，IEEE  International  Conference，8-11  OCT，2006，PP.273〜276）に記載されているように、Side  Informationの前後のキーフレームなどからパラメータαを求めることにより、仮想的な原画像とSide  Informationとの相関として用いてもよい。さらに第３の方法として、原画像とSide  Informatonとの相関値として、予め適当な値を設定しておき、その相関の更新を行うことで、２回目以降の復号が正しくできるようにするという方法も適用できる。
【００４５】
ステップＳ１０９においてSlepian-Wolf復号器１０１により復号されたデータは、復号画像生成器１０７に与えられ（ステップＳ１１０）、復号画像生成器１０７により復号画像が生成される（ステップＳ１１１）。
【００４６】
このとき、復号画像生成器１０７において、復号されたフレームが所定回数のSlepian-Wolf復号処理、又は所定値を超える画質が得られたか否かが判断される（ステップＳ１１２）。
【００４７】
そして、所定回数の復号処理又は所定値を超える画質である場合には処理を終了して、図示しない画像表示装置（例えばディスプレイ等）に復号画像を出力する。一方、所定回数の復号処理（更新回数）が行われておらず、かつ所定値以下の画質である場合には、ステップＳ１１３に移行する。
【００４８】
なお、ステップＳ１１２では、復号画像生成器１０７が、Slepian-Wolf復号処理（更新所定）の回数、画質のいずれか一方又は双方を条件とすることができる。
【００４９】
復号処理（更新処理）が所定回数未満である場合、復号画像の画質が低い場合には、Slepian-Wolf復号器１０１による復号されたデータがSide  Information更新器１０５に与えられ（ステップＳ１１３）、以下のように復号画像フレームとSide  Informationとの相関の更新処理が行われる。
【００５０】
まず、復号画像生成器１０７により復号された復号画像は、復号画像バッファ１０３に格納される。そして、Side  Information更新器１０５は、復号画像バッファ１０３に格納される前後の復号画像のデータ等を取り出し（ステップＳ１１４）、Side  Informationを更新する（ステップＳ１１５）。
【００５１】
ここで、Side  Information更新器１０５は、例えば、復号画像バッファ１０３に格納される前後のフレームから動きベクトル探索や動き補償などを行って、Side  Informationを更新する方法を用いることができる。
【００５２】
そして、Side  Information更新器１０５が更新しようとするSide  Informationは、Slepian-Wolf復号器１０１において誤り訂正が一度行われているものである。従って、Side  Information更新器１０５では、誤り訂正後のSide  Informationを用いて動き補償等を行い更新するので、更新後のSide  Informationは、更新前のSide  Informationよりも原画像フレームに近いものとなっている。
【００５３】
Side  Information更新器１０５により更新されたSide  Informationは、相関更新器１０６に与えられ（ステップＳ１１６）、相関更新器１０６において、更新後のSide  Informationとキーフレームとの相関が更新される（ステップＳ１１７）。
【００５４】
ここで、相関更新器１０６における相関は、上述したresidual  Laplacian  Modelを適用することができる。
【００５５】
このとき、ラプラス分布のパラメータαとラプラス分布の分散σ２には以下の関係がある。
【００５６】
α２＝２／σ２            …（１）
上記のように、相関更新器１０６では、上記式（１）の関係を利用することにより、分布の分散から相関を得ることができる。
【００５７】
また、相関更新器１０６における相関の具体的な計算方法としては、以下の計算方法１〜計算方法３を適用することができる。
【００５８】
（計算方法１）Side  Informationの更新によってSide  Informationの情報はより原画に近づいているので、キーフレームとSide  Informationの差分はより０に集中していると考えられる。つまり、分散の値σを更新前より小さくすることにより、更新後の相関に近づける方法をとることができる。
【００５９】
（計算方法２）分散の変化量にSide  Informationの更新前後の動きベクトルの変化量で重み付けして計算を行う。Side  Informationの更新の前後で、動きベクトルが大きく変化するということは、Slepian−Wolf復号結果を利用によって大幅にSide  Informationの精度が高くなると考えられるためである。
【００６０】
（計算方法３）文献２にあるように前後のキーフレームや更新後のSide  Informationから分散σを計算する方法をとることができる。
【００６１】
上記のようにして、相関更新器１０６において、Side  Information更新器１０５からの更新後のSide  Informationを用いて相関が更新される（ステップＳ１１７）。
【００６２】
そして、Side  Information更新器１０５により更新された更新後のSide  Informationと、相関更新器１０６により更新された更新後の相関とが、Slepian-Wolf復号器１０１に与えられる（ステップＳ１１８）。
【００６３】
その後の処理は、ステップＳ１０９に移行して、Slepian-Wolf復号器１０１により再度Slepian−Wolf復号が行われる。
【００６４】
以上のようにして、復号処理又は更新処理を所定の回数以上、又は所定値を超える画質が得られるまで上記の処理を繰り返すものとする。
【００６５】
（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、Side  Informationの更新に応じて、Side  Informationとキーフレームとの相関も更新を行い、更新後のSide  Informationと更新後の相関と用いてSlepian-Wolf復号を行うこととしたので、復号段階では原画像の状態に応じた相関が設定できるため、Slepian-Wolf復号器の持つ本来の訂正能力を発揮できる。その結果、符号化効率を高めながら、少量のパリティビットで動画像を復号できる。
【００６６】
また、第１の実施形態によれば、相関更新器１０６が、計算方法２、３の方法により相関を更新することで、Side  Informationの更新前後の情報を使うため、Side  Informationの更新量に応じた相関を求めることができ、より適切な相関が計算できる。
【００６７】
（Ｂ）第２の実施形態
次に、本発明の復号システム、方法及びプログラムの第２の実施形態について図面を参照しながら説明する。
【００６８】
第２の実施形態も、映像符号化方式としてＤＶＣ方式を採用した復号システムに、本発明を適用した場合を例示して説明する。
【００６９】
また、第２の実施形態は、ビットプレーン毎にSide  Informationの更新及び相関の更新を行う場合を説明する。
【００７０】
（Ｂ−１）第２の実施形態の構成
図５は、第２の実施形態の復号装置１００Ｂの構成を示す構成図である。図５において、第２の実施形態の復号装置１００Ｂは、Slepian-Wolf復号器２０１、キーフレーム復号器２０２、キーフレーム画像バッファ２０３、Side  Information２０４、訂正情報追加器２０５、動きベクトル探索動き補償器２０６、相関更新器２０７、復号画像生成器２０８を少なくとも有して構成される。
【００７１】
キーフレーム復号器２０２は、エンコーダから送信されたキーフレーム用データを受信して、キーフレーム用データを復号し、復号したキーフレームをキーフレーム画像バッファ２０３に与えるものである。
【００７２】
キーフレーム画像バッファ２０３は、キーフレーム復号器２０２により復号されたキーフレームを格納するものである。
【００７３】
Side  Information生成器２０４は、キーフレーム画像バッファ２０３に格納されているキーフレームの画像情報からWyner-ZivフレームのSide  Informationを生成するものである。
【００７４】
Slepian-Wolf復号器２０１は、Side  Information生成器２０４で生成されたWyner−ZivフレームのSide  Informationと、受信したWyner−Zivフレームのパリティビットと、Side  Informationと原画像の相関を用いて１ビットプレーン分のSlepian−Wolf復号を行うものである。
【００７５】
訂正情報追加器２０５は、Slepian−Wolf復号器２０１で訂正された１ビットプレーン分の情報を元のSide  Informationの該当するビットプレーンとを置き換え、更新するものである。
【００７６】
動きベクトル探索・動き補償器２０６は、更新されたSide  Informationを動きベクトル探索・補償することにより更新するものである。
【００７７】
相関更新器２０７は、動きベクトル探索・動き補償器２０６により更新されたSide  Informationとキーフレームとの相関を更新するものである。
【００７８】
復号画像生成器２０８は、Slepian-Wolf復号器２０１により復号されたWyner−Zivフレームの復号画像を出力するものである。
【００７９】
（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態の復号装置１００Ｂにおける復号処理の動作を図面を参照しながら説明する。
【００８０】
図６〜図８は、第２の実施形態の復号装置１００Ｂにおける復号処理を示すフローチャートである。
【００８１】
まず、図示しないエンコーダから符号化されたキーフレーム用データがキーフレーム復号器２０２に与えられると（ステップＳ２０１）、キーフレーム復号器２０２により復号されて（ステップＳ２０２）、復号されたキーフレームがキーフレーム画像バッファ２０３に格納される（ステップＳ２０３）。
【００８２】
Side  Information生成器２０４では、キーフレーム画像バッファ２０３に格納された前後のフレームのキーフレーム画像などを取り出し（ステップＳ２０４）、Wyner−ZivフレームのSide  Informationを生成する（ステップＳ２０５）。
【００８３】
ここで、キーフレームの生成方法の具体例としては、第１の実施形態と同様の方法を適用することができる。
【００８４】
Side  Information生成器２０４により生成されたWyner−ZivフレームのSide  Informationは、推測誤りのある原画像のデータとみなすことができるため、これをSlepian−Wolf復号器２０１に与える。
【００８５】
このとき、まず、最上位ビットプレーンが、Side  Information生成器２０４からSlepian−Wolf復号器２０１に与えられる（ステップＳ２０６）。
【００８６】
Slepian−Wolf復号器では、原画像とSide  Informationとの相関を求め、エンコーダから与えられた原画像のパリティビットを入力して（ステップＳ２０７）、第１の実施形態と同様に、これらを用いて１ビットプレーンのSlepian−Wolf復号を行う（ステップＳ２０８）。そして、Slepian-Wolf復号された１ビットプレーンの復号データを用いて、最上位ビットプレーンの推測誤りを訂正する（ステップＳ２０９）。
【００８７】
訂正された最上位ビットプレーンは、訂正情報追加器２０５に与えられ（ステップＳ２１２）、訂正情報追加器２０５によりSide  Informationに訂正済みビットプレーンとの置き換えが行われ、更新される（ステップＳ２１３）。
【００８８】
訂正済みビットプレーンに置き換えられたSide  Informationは、動きベクトル探索・動き補償器２０６に与えられる（ステップＳ２１４）。このとき、動きベクトル探索・動き補償器２０６は、キーフレーム画像バッファ２０３から前後のキーフレーム等の情報を取り出し、これらのキーフレームの情報を用いて動きベクトル探索や動き補償を行い、Side  Informationを更新する（ステップＳ２１５）。
【００８９】
動きベクトル探索・動き補償器２０６により更新されようとするSide  Informationは、更新前のSide  Informationに比べ一度誤り訂正が行われている。そのため、訂正後のデータを用いて動き補償された更新後のSide  Informationは、更新前より原画像に近いものとなっている。
【００９０】
更新されたSide  Informationが相関更新器２０７に与えられ（ステップＳ２１６）、相関更新器２０７では、更新後のSide  Informationとキーフレームとの相関を更新する（ステップＳ２１７）。
【００９１】
相関更新器２０７での相関の更新は、第１の実施形態と同様に、residual  Laplacian  Modelを適用することができる。この場合、ラプラス分布のパラメータαとラプラス分布の分散σには以下の関係がある。
【００９２】
α２＝２／σ２          …（１）
上記のように、相関更新器２０７では、上記式（１）の関係を利用することにより、分布の分散から相関を得ることができる。
【００９３】
また、相関更新器２０７における相関の具体的な計算方法としては、以下の計算方法１〜計算方法３を適用することができる。
【００９４】
（計算方法１）Side  Informationの更新によってSide  Informationの情報はより原画に近づいているので、キーフレームとSide  Informationの差分はより０に集中していると考えられる。つまり、分散の値σを更新前より小さくすることにより、更新後の相関に近づける方法をとることができる。
【００９５】
（計算方法２）分散の変化量にSide  Informationの更新前後の動きベクトルの変化量で重み付けして計算を行う。Side  Informationの更新の前後で、動きベクトルが大きく変化するということは、Slepian−Wolf復号結果を利用によって大幅にSide  Informationの精度が高くなると考えられるためである。
【００９６】
（計算方法３）文献２にあるように前後のキーフレームや更新後のSide  Informationから分散σを計算する方法をとることができる。
【００９７】
上記のようにして、相関更新器２０７において、動きベクトル探索・動き補償器２０６からの更新後のSide  Informationを用いて相関が更新される（ステップＳ２１７）。
【００９８】
動きベクトル探索・動き補償器２０６では、更新されたSide  Informationから第２ビットプレーンが取り出され、第２ビットプレーンがSlepian-Wolf復号器２０１に与えられる。また、相関更新器２０７により更新された相関も、Slepian−Wolf復号器２０１に与えられる（ステップＳ２１８）。
【００９９】
そして、ステップＳ２０９に移行して、Slepian−Wolf復号器２０１において、第２ビットプレーンについて、Slepian−Wolf復号が行われる。
【０１００】
全てのビットプレーンが復号されるまで、Side  Ｉｎｆｏｒｍａｔｉｏｎと相関の更新を繰り返す（ステップＳ２１０）。
【０１０１】
全てのビットプレーンが復号されると、復号画像生成器で復号画像を生成すると（Ｓ２１１）、処理を終了する。
【０１０２】
（Ｂ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば、第１の実施形態の効果に加えて、ビットプレーン単位でSide  Information及び相関を更新することにより、下位ビットプレーンがより正確に訂正できるため、下位ビットプレーンのSlepian−Wolf復号に用いるパリティビットを少なくすることができる。そのため、フレーム全体として少量のパリティビットで復号することができる。
【０１０３】
（Ｃ）他の実施形態
第１及び第２の実施形態では、相関の更新を計算する方法にいくつかの例を示したが、Side  Informationの更新にしたがって、相関を更新することがポイントであるため、相関の計算方法はここに示した例に限らない。
【０１０４】
第１及び第２の実施形態で説明した復号装置のハードウェア構成は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等からなり、第１及び第２の実施形態の復号装置の各種機能はソフトウェア処理により実現されるものである。具体的には、ＲＯＭには、各種機能を実現する処理プログラムが格納されており、ＣＰＵが、処理プログラムをＲＯＭから読み出して実行することにより実現される。
【図面の簡単な説明】
【０１０５】
【図１】第１の実施形態の復号装置の内部構成を示す内部構成図である。
【図２】第１の実施形態の復号装置の復号処理の動作を示すフローチャートである（その１）。
【図３】第１の実施形態の復号装置の復号処理の動作を示すフローチャートである（その２）。
【図４】第１の実施形態の復号装置の復号処理の動作を示すフローチャートである（その３）。
【図５】第２の実施形態の復号装置の内部構成を示す内部構成図である。
【図６】第２の実施形態の復号装置の復号処理の動作を示すフローチャートである（その１）。
【図７】第２の実施形態の復号装置の復号処理の動作を示すフローチャートである（その２）。
【図８】第２の実施形態の復号装置の復号処理の動作を示すフローチャートである（その３）。
【符号の説明】
【０１０６】
１００Ａ及び１００Ｂ…復号装置、１０１及び２０１…Slepian―Wolf復号器、１０２及び２０２…キーフレーム復号器、１０３…復号画像バッファ、２０３…キーフレーム画像バッファ、１０４及び２０４…Side  Information生成器、１０５…Side  Information更新器、１０６及び２０７…相関更新器、１０７及び２０８…復号画像生成器、２０５…訂正情報追加器、２０６…動きベクトル探索・動き補償器。
【図１】
0005056530.tif 000002
【図２】
0005056530.tif 000003
【図３】
0005056530.tif 000004
【図４】
0005056530.tif 000005
【図５】
0005056530.tif 000006
【図６】
0005056530.tif 000007
【図７】
0005056530.tif 000008
【図８】
0005056530.tif 000009