(57)【要約】【課題】予測画像と原画像との間に誤りが無い場合には、誤り訂正に関する処理を軽減することができ、符号化効率を向上することができる動画像符号化装置、及び動画像復号装置、並びに動画像伝送システムが望まれていた。【解決手段】ＤＶＣ（Distributed Video Coding）を用いた動画像符号化装置１０１であって、符号化されたキーフレームに基づいて、Wyner-Zivフレームの予測画像を生成し、Wyner-Zivフレームに基づく原画像の変換係数に対する予測画像の変換係数の誤りやすさに応じて、送信する誤り訂正符号の量を求め、求めた量に応じた誤り訂正符号を送信するWyner-Zivフレーム符号化部１０３を備え、Wyner-Zivフレームに基づく原画像の変換係数と予測画像の変換係数との間に誤りが無いとき、当該Wyner-Zivフレームに対する誤り訂正符号に代えて、誤りが無い旨の情報を送信するものである。【選択図】図１
2010212863.tif 000002
【特許請求の範囲】
【請求項１】
入力シーケンスをキーフレームと非キーフレームとに分け、それぞれ異なる符号化方式で符号化し、符号化した前記非キーフレームの誤り訂正符号の少なくとも一部を、復号側に送信するＤＶＣ（Distributed Video Coding）を用いた動画像符号化装置であって、
前記キーフレームを符号化して復号側へ送信するキーフレーム符号化部と、
符号化された前記キーフレームに基づいて、前記非キーフレームの予測画像を生成し、
入力された前記非キーフレームに基づく原画像の変換係数に対する前記予測画像の変換係数の誤りやすさに応じて、送信する誤り訂正符号の量を求め、求めた量に応じた誤り訂正符号を送信する非キーフレーム符号化部と
を備え、
前記非キーフレーム符号化部は、
前記非キーフレームに基づく前記原画像の変換係数と前記予測画像の変換係数との間に誤りが無いとき、当該非キーフレームに対する誤り訂正符号に代えて、誤りが無い旨の情報を送信する
ことを特徴とする動画像符号化装置。
【請求項２】
前記非キーフレーム符号化部は、
入力された前記非キーフレームに基づく原画像を変換係数領域に変換し、帯域ごとに量子化してビットプレーン単位へ分割する変換・量子化部と、
前記キーフレーム符号化部により符号化された前記キーフレームに基づいて、前記非キーフレームの予測画像を生成し、該予測画像を変換係数領域に変換し、帯域ごとに量子化してビットプレーン単位へ分割する符号側予測画像生成部と、
前記変換・量子化部で生成された原画像の変換係数と、前記符号側予測画像生成部で生成された予測画像の変換係数とに基づき、前記予測画像の各ビットプレーンに対する誤り訂正に必要な誤り訂正符号の量を求める送信符号量計算部と、
前記変換・量子化部で生成された原画像のビットプレーンを符号化し、前記送信符号量計算部で求められた量の誤り訂正符号を、復号側に送信する符号化部と、
前記変換・量子化部で生成された原画像のビットプレーンと、前記符号側予測画像生成部で生成された予測画像のビットプレーンとの間の誤りの有無を検出する誤り検出部と
を備え、
前記符号化部は、
前記原画像の各ビットプレーンのうち、前記誤り検出部により誤りが検出されないビットプレーンに対しては、前記誤り訂正符号に代えて、誤りが無い旨の情報を送信する
ことを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記符号化部は、
前記原画像の各ビットプレーンのうち、前記誤り検出部により誤りが検出されないビットプレーンに対しては、符号化を行わない
ことを特徴とする請求項２記載の動画像符号化装置。
【請求項４】
前記送信符号量計算部は、
前記原画像の変換係数と前記予測画像の変換係数との差分の分散が、ラプラス分布に従うと仮定して、前記原画像に対する前記予測画像の誤りやすさを推定し、当該予測画像の各ビットプレーンに対する誤り訂正に必要な誤り訂正符号の量を求める
ことを特徴とする請求項２又は３記載の動画像符号化装置。
【請求項５】
符号化されたキーフレームと、符号化された非キーフレームの誤り訂正符号の少なくとも一部とを取得し、
復号した前記キーフレームに基づいて、前記非キーフレームの予測画像を生成し、該予測画像を前記誤り訂正符号により誤り訂正するＤＶＣ（Distributed Video Coding）を用いた動画像復号装置であって、
前記非キーフレームに対する誤り訂正符号に代えて、誤りが無い旨の情報を取得したとき、前記予測画像を当該キーフレームの復号画像として出力する非キーフレーム復号部を備えたことを特徴とする動画像復号装置。
【請求項６】
符号化された前記キーフレームを復号して復号画像を得るキーフレーム復号部を備え、
前記非キーフレーム復号部は、
前記キーフレーム復号部により復号された前記キーフレームの復号画像に基づいて、前記非キーフレームの予測画像を生成し、該予測画像を変換係数に変換し、帯域ごとに量子化してビットプレーン単位へ分割する復号側予測画像生成部と、
前記復号側予測画像生成部で生成された予測画像のビットプレーンに対し、取得した前記誤り訂正符号を用いて誤り訂正を行う復号部と、
前記復号部からの各ビットプレーンをフレーム単位に再構成し、逆変換及び逆量子化して復号画像を得る復号画像生成部と
を備え、
前記復号部は、
前記非キーフレームに対する誤り訂正符号に代えて、誤りが無い旨の情報を取得したとき、
前記誤り訂正を行わずに、前記復号側予測画像生成部で生成された予測画像のビットプレーンを、前記復号画像生成部に入力する
ことを特徴とする請求項５記載の動画像復号装置。
【請求項７】
符号化側から、符号化されたキーフレーム、及び非キーフレームに基づく原画像の変換係数と予測画像の変換係数との誤りやすさに応じた量の誤り訂正符号の少なくとも一部を取得し、
復号した前記キーフレームに基づいて、前記非キーフレームの予測画像を生成し、該予測画像を前記誤り訂正符号により誤り訂正するＤＶＣ（Distributed Video Coding）を用いた動画像復号装置であって、
前記符号化側による前記予測画像の生成方法と同一の方法により、前記非キーフレームの予測画像を生成し、
前記非キーフレームに対する誤り訂正符号に代えて、誤りが無い旨の情報を取得したとき、前記符号化側と同一の方法により生成した前記予測画像を、当該キーフレームの復号画像として出力する非キーフレーム復号部を備えた
ことを特徴とする動画像復号装置。
【請求項８】
符号化された前記キーフレームを復号して復号画像を得るキーフレーム復号部を備え、
前記非キーフレーム復号部は、
前記キーフレーム復号部により復号された前記キーフレームの復号画像に基づいて、前記非キーフレームの予測画像を生成し、該予測画像を変換係数に変換し、帯域ごとに量子化してビットプレーン単位へ分割する復号側予測画像生成部と、
前記符号化側による前記予測画像の生成方法と同一の方法により、前記キーフレーム復号部により復号された前記キーフレームの復号画像に基づいて、前記非キーフレームの予測画像を生成し、該予測画像を変換係数に変換し、帯域ごとに量子化してビットプレーン単位へ分割する第２の符号化側予測画像生成部と、
前記非キーフレームに対する誤り訂正符号を取得したとき、前記復号側予測画像生成部で生成された予測画像のビットプレーンに対し、取得した前記誤り訂正符号を用いて誤り訂正を行い、
前記非キーフレームに対する誤り訂正符号に代えて、誤りが無い旨の情報を取得したとき、前記誤り訂正を行わずに、前記第２の符号化側予測画像生成部で生成された予測画像のビットプレーンを前記復号画像生成部に入力する復号部と、
前記復号部からの各ビットプレーンをフレーム単位に再構成し、逆変換及び逆量子化して復号画像を得る復号画像生成部と
を備えたことを特徴とする請求項７記載の動画像復号装置。
【請求項９】
請求項１〜４の何れかに記載の動画像符号化装置と、
請求項５〜８の何れかに記載の動画像復号装置と
を備えたことを特徴とする動画像伝送システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像符号化装置、及び動画像復号装置、並びに動画像伝送システムに関し、特に、Distributed Video Codingを用いた動画像の符号化・復号に関するものである。
【背景技術】
【０００２】
近年、非特許文献１に説明されるようなDistributed Video Coding（以下「ＤＶＣ」という。）という新しい符号化方式に注目が集まっている。
この方式は、符号化部で符号化するべき原画像に対してSlepian-Wolf符号化処理を行い、その符号化データと復号側で行った符号化部側の原画像の予測画像とともにSlepian-Wolf復号を行うことで画像の符号化を行う新しい符号化方式である。
【０００３】
符号化部側では、符号化するべき原画像（Wyner-Ziv Frames）を変換係数領域（ＤＣＴ：Discrete Cosine Transform）に変換した後、各帯域毎に量子化（2Mk level Quantizer）し、その値（qk）を２値で表し、各ビットの情報を、例えば1frame分集めた情報（Extract bit-planes）毎にSlepian-Wolf符号化（Turbo Encoder）を行い、その結果のうちパリティビットのみを一時保存（Buffer）し、情報ビットは捨てられる（なお、非特許文献１に明確に図示はされていない）。
【０００４】
復号部側では、予測画像を生成し（Interpolation/Extrapolation）、その予測画像を変換係数領域（ＤＣＴ）に変換し、帯域毎にSide InformationとしてSlepian-Wolf復号部（Turbo Decoder）に入力する。
一方、Slepian-Wolf復号部（Turbo Decoder）は符号化部に対して、一時保存しているパリティビットのうち一部に対して送信要求（Request bits）を行う。受信したパリティビットと上述したSide InformationからSlepian-Wolf復号（Turbo Decoder）を行う。十分な復号が行えなかった場合は、再度、符号化部側にパリティビットの一部の追加送信要求（Request bits）を行い、受信したパリティビットと上述したSide InformationからSlepian-Wolf復号（Turbo Decoder）を行う。この処理を、十分な復号が行えるまで続ける。
その後、Slepian-Wolf復号（Turbo Decoder）の復号値とSide Informationから変換係数を再構築し、逆変換（ＩＤＣＴ：Inverse Discrete Cosine Transform）することで復号画像を得る。
【０００５】
非特許文献１の記載に代表される一般的なＤＶＣの手法では、Wyner-Zivフレームの符号化・復号を行う際に、Wyner-Zivフレーム符号化部では誤り訂正符号の一部をWyner-Zivフレーム復号部へ送信する。Wyner-Zivフレーム復号部では、Wyner-Zivフレーム符号化部より送信された誤り訂正符号を受け取り、誤り訂正を行う。このとき、Wyner-Zivフレーム復号部は受け取った誤り訂正符号では十分に誤り訂正できない場合は、Wyner-Zivフレーム符号化部へ追加の誤り訂正符号の送信を要求する。
Wyner-Zivフレーム符号化部は再度誤り訂正符号を送信し、十分に誤り訂正が可能になるまでこれを繰り返す。
このような、非特許文献１の記載に代表されるＤＶＣの方式は、誤り訂正符号の再送要求というフィードバックを行うため、遅延が生じることや、符号化部と復号部が単独で動作できないという問題点がある。
【０００６】
そこで、非特許文献２に記載の技術では、この再送要求を避けるために、誤り訂正に必要な誤り訂正符号の量をWyner-Zivフレーム符号化部で計算を行う。これは、Wyner-Zivフレーム復号部の作る予測画像を想定した予測画像を、Wyner-Zivフレーム符号化部側で生成し、この予測画像の誤りやすさを推定して、復号部側で誤り訂正するために必要な誤り訂正符号の量を計算することにより、フィードバックを必要としない手法を実現している。
【０００７】
送信する誤り訂正符号の量（以下「送信符号量」ともいう。）は、Slepian-Wolf符号化された誤り訂正符号を間引くことによって決定する。これは、間引きパターンを複数用意しておき、ここから誤り訂正に必要な符号量が得られる間引きパターンを選択することによって、送信する符号量を決定する。
例えば、誤り訂正符号を１／４８単位で間引くパターンの例で説明すると、１／４８に間引くパターン、２／４８に間引くパターン、・・・４８／４８に間引くパターン、というような間引きパターンを用意しておき、この４８通りから計算した送信する間引きパターンを選択する。２／４８に間引くパターンの場合は２／４８ビットの情報量をWyner-Zivフレーム復号部へ送信することとなるため、送信する誤り訂正符号量が０．０４ビットと計算された場合は、２／４８に間引く間引きパターンを選択する。このとき、Slepian-Wolf符号化部では、誤り訂正符号を２／４８に間引き、「間引きパターン２／４８」という情報と間引かれた誤り訂正信号をWyner-Zivフレーム復号部へ送信する。Wyner-Zivフレーム復号部では間引きパターンの情報を受け取り、受け取った誤り訂正信号を送信された間引きパターンと仮定してSlepian-Wolf復号を行う。
【０００８】
なお、予測画像生成方法としては、例えば非特許文献３の記載に代表されるような動き推定・動き補償を行う方法などがある。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Anne Aaron, Shantanu Rane, Eric Setton, and Bernd Girod : Transform-domain Wyner-Ziv Codec for Video. In: Proc, SPIE Visual Communications and Image Processing, San Jose, CA (2004)
【非特許文献２】C. Brites, F. Pereira"Encoder Rate Control for Transform Domain Wyner-Ziv Video Coding (ICIP2007)
【非特許文献３】Joao Ascenso, Catarina Brites, and Fernando Pereira, "Improving frame interpolation with spatial motion smoothing for pixel domain distributed video coding," 5th EURASIP Conference on Speech and Image Processing, Multimedia Communications and Services, July 2005.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上記非特許文献２における送信符号量の推定手法は、予測画像の変換係数と原画像の変換係数との差分の分布はラプラス分布に従うと仮定し、このラプラス分布を用いて予測画像の変換係数の誤りやすさを計算する。
そのため、予測画像の変換係数の値によっては、原画像の間に誤りが無い場合であっても、送信訂正符号量を多く計算してしまう、という問題点があった。
【００１１】
この送信訂正符号量の推定手法について、図６及び図７を用いて具体的に説明する。
【００１２】
図６はｐｎの計算方法を説明する図である。
図７は従来技術における問題点を説明する図である。
【００１３】
まず、予測画像のある点ｎの変換係数ｙｎに対応する原画像の変換係数ｘｎの上位ｊ−１ビットがわかっているとき、変換係数ｘｎのｊビット目の係数が１である条件付き確率ｐｎを求める。
【００１４】
図６に示すように、予測画像の変換係数を中心としたラプラス分布を用いると、ｐｎは以下の式となる。
【００１５】
ｐｎ＝（１の領域の面積）／（０と１の領域の面積の合計）
【００１６】
次に、ｐｎから条件付きエントロピーをとる。
これにより、予測画像の変換係数ｙｎが得られたときの上位ｊビット目の曖昧さが求められる。
これは、予測画像の変換係数からどの程度の曖昧さで原画像のｊビット目が推定できるかということを示し、予測画像の誤りやすさと捉えることができる。
【００１７】
ここで求まる条件付きエントロピーを処理単位（ビットプレーンの長さ、非特許文献２の場合はフレーム全体）で平均し、これを元に、処理単位における予測画像の変換係数の誤りやすさ（曖昧さ）を推定し、送信する誤り訂正符号の量を計算する。
この計算では、ｐｎが０又は１に近い場合（０と１の出現に偏りがある場合）は低い値をとる（図７（ａ）の場合）。
逆に、ｐｎが０．５に近いほど（０と１の出現確率が等しくなるほど）曖昧となり、高い値をとる（図７（ｂ）の場合）。
【００１８】
ｐｎの値は、予測画像の変換係数によって決まり、予測画像の変換係数が量子化・２値化を行ったとき１と０が切り替わる値に近い場合、予測画像の係数値と原画像の係数値との間の誤りの有無にかかわらず、高い値を示すこととなる（図７（ｃ）の場合）。
【００１９】
このように、予測画像の変換係数の値によっては、予測画像と原画像との間に誤りが無い場合であっても、送信する誤り訂正符号の量を多く計算してしまう。
【００２０】
したがって、予測画像と原画像との間に誤りが無い場合には、誤り訂正に関する処理を軽減することができ、符号化効率を向上させることができる動画像符号化装置、及び動画像復号装置、並びに動画像伝送システムが望まれていた。
【課題を解決するための手段】
【００２１】
この発明に係る動画像符号化装置は、
入力シーケンスをキーフレームと非キーフレームとに分け、それぞれ異なる符号化方式で符号化し、符号化した前記非キーフレームの誤り訂正符号の少なくとも一部を、復号側に送信するＤＶＣ（Distributed Video Coding）を用いた動画像符号化装置であって、
前記キーフレームを符号化して復号側へ送信するキーフレーム符号化部と、
符号化された前記キーフレームに基づいて、前記非キーフレームの予測画像を生成し、
入力された前記非キーフレームに基づく原画像の変換係数に対する前記予測画像の変換係数の誤りやすさに応じて、送信する誤り訂正符号の量を求め、求めた量に応じた誤り訂正符号を送信する非キーフレーム符号化部と
を備え、
前記非キーフレーム符号化部は、
前記非キーフレームに基づく前記原画像の変換係数と前記予測画像の変換係数との間に誤りが無いとき、当該非キーフレームに対する誤り訂正符号に代えて、誤りが無い旨の情報を送信するものである。
【００２２】
また、この発明に係る動画像復号装置は、
符号化されたキーフレームと、符号化された非キーフレームの誤り訂正符号の少なくとも一部とを取得し、
復号した前記キーフレームに基づいて、前記非キーフレームの予測画像を生成し、該予測画像を前記誤り訂正符号により誤り訂正するＤＶＣ（Distributed Video Coding）を用いた動画像復号装置であって、
前記非キーフレームに対する誤り訂正符号に代えて、誤りが無い旨の情報を取得したとき、前記予測画像を当該キーフレームの復号画像として出力する非キーフレーム復号部を備えたものである。
【００２３】
また、この発明に係る動画像復号装置は、
符号化側から、符号化されたキーフレーム、及び非キーフレームに基づく原画像の変換係数と予測画像の変換係数との誤りやすさに応じた量の誤り訂正符号の少なくとも一部を取得し、
復号した前記キーフレームに基づいて、前記非キーフレームの予測画像を生成し、該予測画像を前記誤り訂正符号により誤り訂正するＤＶＣ（Distributed Video Coding）を用いた動画像復号装置であって、
前記符号化側による前記予測画像の生成方法と同一の方法により、前記非キーフレームの予測画像を生成し、
前記非キーフレームに対する誤り訂正符号に代えて、誤りが無い旨の情報を取得したとき、前記符号化側と同一の方法により生成した前記予測画像を、当該キーフレームの復号画像として出力する非キーフレーム復号部を備えたものである。
【００２４】
また、この発明に係る動画像伝送システムは、
上記の動画像符号化装置と、
上記の動画像復号装置と
を備えたものである。
【発明の効果】
【００２５】
この発明は、非キーフレームに基づく原画像の変換係数と予測画像の変換係数との間に誤りが無いとき、当該非キーフレームに対する誤り訂正符号に代えて、誤りが無い旨の情報を送信するので、予測画像と原画像との間に誤りが無い場合には、誤り訂正に関する処理を軽減することができ、符号化効率を向上させることができる。
【図面の簡単な説明】
【００２６】
【図１】実施の形態１に係る動画像符号化装置１０１及び動画像復号装置１０２のブロック構成図である。
【図２】実施の形態１に係るWyner-Zivフレーム符号化部１０３の動作を示すフローチャートである。
【図３】実施の形態１に係るWyner-Zivフレーム復号部１０５の動作を示すフローチャートである。
【図４】実施の形態２に係る動画像符号化装置１０１及び動画像復号装置４０２のブロック構成図である。
【図５】実施の形態２に係るWyner-Zivフレーム復号部４０５の動作を示すフローチャートである。
【図６】ｐｎの計算方法を説明する図である。
【図７】従来技術における問題点を説明する図である。
【発明を実施するための形態】
【００２７】
実施の形態１．
（構成）
図１は実施の形態１に係る動画像符号化装置１０１及び動画像復号装置１０２のブロック構成図である。
図１に示すように、本実施の形態における動画像伝送システムは、動画像符号化装置１０１及び動画像復号装置１０２を備える。
動画像符号化装置１０１は、Wyner-Zivフレーム符号化部１０３、及びキーフレーム符号化部１０４を備える。
動画像復号装置１０２は、Wyner-Zivフレーム復号部１０５、及びキーフレーム復号部１０６を備える。
【００２８】
Wyner-Zivフレーム符号化部１０３は、変換・量子化部１０７、Slepian-Wolf符号化部１０８、Side Information生成部１０９、誤り検出部１１０、及び送信符号量計算部１１１を備える。
【００２９】
Wyner-Zivフレーム復号部１０５は、Slepian-Wolf復号部１１２、復号画像生成部１１３、及びSide Information生成部１１４を備える。
【００３０】
なお、Wyner-Zivフレーム符号化部１０３は、本発明における「非キーフレーム符号化部」に相当する。
また、Wyner-Zivフレーム復号部１０５は、本発明における「非キーフレーム復号部」に相当する。
また、Slepian-Wolf符号化部１０８は、本発明における「符号化部」に相当する。
また、Side Information生成部１０９は、本発明における「符号側予測画像生成部」に相当する。
また、Slepian-Wolf復号部１１２は、本発明における「復号部」に相当する。
また、Side Information生成部１１４は、本発明における「復号側予測画像生成部」に相当する。
【００３１】
キーフレーム符号化部１０４は、入力シーケンスからキーフレームを得て、例えばMPEG（Moving Picture Experts Group）やJPEG（Joint Photographic Experts Group）といった従来の符号化方式で符号化を行う。
また、キーフレーム符号化部１０４は、当該符号化データを、動画像復号装置１０２へ送信する。
【００３２】
変換・量子化部１０７は、入力シーケンスからWyner-Zivフレームを得て、変換・量子化し、ビットプレーン単位へ分割する。
【００３３】
Side Information生成部１０９は、上記のWyner-Zivフレームの前、もしくは後ろ、又は前後のキーフレーム画像が入力される。
また、Side Information生成部１０９は、Wyner-Zivフレームの予測画像を生成し、変換・量子化し、ビットプレーンへ分割する。
【００３４】
誤り検出部１１０は、変換・量子化部１０７から、Wyner-Zivフレームの原画像のビットプレーンを得る。
また、誤り検出部１１０は、Side Information生成部１０９から、上記のWyner-Zivフレームの原画像に対応する、予測画像のビットプレーンを得る。
また、誤り検出部１１０は、Wyner-Zivフレームの原画像のビットプレーンと、予測画像のビットプレーンとの比較を行い、異なり（誤り）を検出する。
【００３５】
送信符号量計算部１１１は、Side Information生成部１０９で生成された予測画像の変換係数と、変換・量子化部１０７で得られたWyner-Zivフレームの変換係数とが入力される。
また、送信符号量計算部１１１は、予測画像の変換係数の予測誤り分布の分布パラメータを推定する。
また、送信符号量計算部１１１は、推定した予測誤り分布と原画像の変換係数とから、各ビットプレーンの誤り訂正符号の量を推定する。
【００３６】
Slepian-Wolf符号化部１０８は、変換・量子化部１０７から入力された各ビットプレーンに対し、誤り検出部１１０で誤りが検出されたビットプレーンに対しては、Turbo符号やLDPC符号といったSlepian-Wolf符号化を行い、送信符号量計算部１１１で計算された量の誤り訂正符号をWyner-Zivフレーム復号部１０５へ送信し、誤り検出部１１０で誤りが検出されなかったビットプレーンに対しては、誤りが無い旨の情報を、Wyner-Zivフレーム復号部１０５へ送信する。
【００３７】
キーフレーム復号部１０６は、キーフレーム符号化部１０４で符号化されたキーフレームの符号化データを受信する。
また、キーフレーム復号部１０６は、受信した符号化データの復号を行うことで、復号画像を得る。
【００３８】
Side Information生成部１１４は、キーフレーム復号部１０６から、Wyner-Zivフレームの前、もしくは後ろ、又は前後のキーフレームの復号画像を得る。
また、Side Information生成部１１４は、動き推定と動き補償などの手法を用いて、得られたキーフレームの復号画像からWyner-Zivフレームの予測画像を生成し、変換・量子化しビットプレーンへ分割する。
【００３９】
Slepian-Wolf復号部１１２は、Side Information生成部１１４で生成されたビットプレーンに対し、Wyner-Zivフレーム符号化部１０３から受信した間引きパターンの情報から、誤り０でないと判断された場合は、受信した誤り訂正符号を用いてSlepian-Wolf復号を行い、誤りが０である場合は入力されたビットプレーンを復号結果とする。
【００４０】
復号画像生成部１１３は、Slepian-Wolf復号部１１２での各ビットプレーンの復号結果と、Side Information生成部１１４で生成された予測画像の情報を参照してフレーム単位での情報に再構成したのち、再構成されたフレームに逆変換・逆量子化を行い、復号画像を得る。
【００４１】
なお、上述した動画像符号化装置１０１及び動画像復号装置１０２の各構成部は、これらの機能を実現する回路デバイスなどのハードウェアで実現することもできるし、マイコンやＣＰＵなどの演算装置上で実行されるソフトウェアとして実現することもできる。
【００４２】
以上、本実施の形態における動画像符号化装置１０１及び動画像復号装置１０２の構成を説明した。
次に、本実施の形態における動画像符号化装置１０１及び動画像復号装置１０２の動作について説明する。
【００４３】
（動作）
動画像符号化装置１０１に入力される入力シーケンスは、キーフレームとWyner-Zivフレームとに分けられる。
動画像符号化装置１０１（以下「符号化側」ともいう。）、及び動画像復号装置１０２（以下「復号側」ともいう。）は、それぞれの符号化・復号を行う。
ここでは、入力シーケンスのキーフレームとWyner-Zivフレームとを交互に符号化する例を用いて動作の説明を行う。
また、入力シーケンスの１フレーム目はキーフレームとして符号化し、２フレーム目はWyner-Zivフレームとして符号化を行う場合を説明する。
なお、３フレーム目以降は、同様の動作によりキーフレームとWyner-Zivフレームとを交互に符号化する。
【００４４】
なお、Wyner-Zivフレームは、本発明における「非キーフレーム」に相当する。
【００４５】
まず、動画像符号化装置１０１の動作を説明する。
【００４６】
キーフレーム符号化部１０４は、入力シーケンスの１フレーム目を、キーフレームとして符号化を行う。
キーフレーム符号化部１０４は、入力された１フレーム目を、例えば非特許文献１に記載の技術などと同じく、JPEGやMPEGのＩフレームのようなフレーム内符号化を行う。
そして、キーフレーム符号化部１０４は、当該符号化データを、キーフレーム復号部１０６へ送信する。
【００４７】
次に、Wyner-Zivフレーム符号化部１０３は、入力シーケンスの２フレーム目を、Wyner-Zivフレームとして符号化を行う。
【００４８】
図２は実施の形態１に係るWyner-Zivフレーム符号化部１０３の動作を示すフローチャートである。
以下、図２の各ステップに基づき、Wyner-Zivフレーム符号化部１０３の動作を説明する。
【００４９】
（Ｓ２０１）
まず、変換・量子化部１０７には、入力シーケンスの２フレーム目（Wyner-Zivフレーム）の原画像が入力される。
【００５０】
（Ｓ２０２）
次に、変換・量子化部１０７は、２フレーム目の原画像を、変換係数領域に変換（ＤＣＴ）し、帯域ごとに量子化する。
また、変換・量子化部１０７は、各帯域の量子化された変換係数を２値化し、ビットプレーンへ分割する。
【００５１】
変換・量子化部１０７は、帯域毎にビットプレーン化する際に、１フレーム全体の長さでビットプレーンへ分割しても良いし、画面内の領域ごと、といった形でグループ化した長さで区切り、ビットプレーンへ分割しても良い。
一般に、誤り訂正符号は符号長が長いほど高い誤り訂正能力を発揮できる。
しかし動画像では、動きのある領域と動きがない領域では、動きのある領域のほうが予測画像の誤りが多い、というように画面内の領域によって誤りの量が異なることが考えられるため、領域によってビットプレーンを分割することにより、領域の特徴を捉えることができると考えられる。
【００５２】
（Ｓ２０３）
次に、Side Information生成部１０９は、キーフレーム符号化部１０４から、上記のWyner-Zivフレーム（２フレーム目）の前、もしくは後ろ、又は前後のキーフレーム画像が入力される。
即ち、Side Information生成部１０９は、キーフレーム符号化部１０４から、１フレーム目もしくは３フレーム目、又は１及び３フレーム目のキーフレーム画像が入力される。
【００５３】
（Ｓ２０４）
次に、Side Information生成部１０９は、Wyner-Zivフレーム（２フレーム目）の予測画像を生成する。
この予測画像の生成は、前のキーフレームを利用する方法や、前後のキーフレーム画像の平均を取るなどの方法や、非特許文献２に示されるような範囲の絞った動き探索などの方法を用いることができる。
【００５４】
（Ｓ２０５）
次に、Side Information生成部１０９は、生成した予測画像に対して、変換・量子化を行い、ビットプレーンに分割する。
このときのビットプレーンの長さは変換・量子化部１０７と同様の分割方法で行う。
【００５５】
（Ｓ２０６）
次に、変換・量子化部１０７は、原画像のビットプレーンを誤り検出部１１０へ入力する。
また、Side Information生成部１０９は、Wyner-Zivフレーム（２フレーム目）の予測画像のビットプレーンを誤り検出部１１０へ入力する。
【００５６】
（Ｓ２０７）
次に、誤り検出部１１０は、入力された原画像のビットプレーンと、これに対応する予測画像のビットプレーンとを比較し、異なり（誤り）を検出する。
【００５７】
（Ｓ２０８）
誤り検出部１１０は、原画像と予測画像とのビットプレーンの間に異なり（誤り）が検出されなかった場合、当該ビットプレーンを特定するインデックスを送信符号量計算部１１１へ入力する。
【００５８】
（Ｓ２０９）
次に、Side Information生成部１０９は、予測画像の変換係数を送信符号量計算部１１１へ入力する。
【００５９】
（Ｓ２１０）
次に、変換・量子化部１０７は、原画像の変換係数を送信符号量計算部１１１へ入力する。
【００６０】
（Ｓ２１１）
次に、送信符号量計算部１１１は、誤り訂正に必要な誤り訂正符号の量を推定する。
【００６１】
この計算手法については、例えば非特許文献２に記載されている方法などを用いることができる。
つまり、送信符号量計算部１１１は、入力されたWyner-Zivフレームの予測画像の変換係数と、原画像の変換係数とを比較し、帯域毎に予測誤差の分布パラメータを推定する。
予測誤差の分布を平均０のラプラス分布と仮定すると、予測画像の変換係数と原画像の変換係数の差分の分散を計算することによって得られる。
次に、推定した分布パラメータをもとに、各ビットプレーンの予測画像の誤りやすさを推定し、それを訂正するために必要な誤り訂正符号の量を計算する。
符号化側であるSide Information生成部１０９で生成された予測画像を、復号側で生成する予測画像と仮定することで、誤りやすさを推定し、誤り訂正に必要な誤り訂正符号の量を推定し、間引きパターンを選択する。
【００６２】
（Ｓ２１２）
次に、送信符号量計算部１１１は、処理するビットプレーンのインデックスを参照し、誤り検出部１１０で誤りが検出されなかったビットプレーンか否かを判定する。
【００６３】
（Ｓ２１３）
誤り検出部１１０で誤りが検出されなかったビットプレーンの場合、送信符号量計算部１１１は、間引きパターンの情報として、誤りが無い旨の情報（以下「間引きパターン０」という。）と、当該ビットプレーンを特定するインデックスをSlepian-Wolf符号化部１０８へ入力する。
【００６４】
（Ｓ２１４）
一方、誤り検出部１１０で誤りが検出されたビットプレーンの場合、送信符号量計算部１１１は、間引きパターンの情報として、送信する誤り訂正符号の量の情報と、当該ビットプレーンを特定するインデックスをSlepian-Wolf符号化部１０８へ入力する。
【００６５】
（Ｓ２１５）
次に、変換・量子化部１０７は、原画像のビットプレーンをSlepian-Wolf符号化部１０８へ入力する。
【００６６】
（Ｓ２１６）
次に、Slepian-Wolf符号化部１０８は、処理するビットプレーンのインデックスを参照し、対応する間引きパターンの情報を調べ、「間引きパターン０」であるか否かを判定する。
【００６７】
（Ｓ２１７）
間引きパターンの情報が「間引きパターン０」であった場合、Slepian-Wolf符号化部１０８は、当該「間引きパターン０」の間引きパターンの情報のみをWyner-Zivフレーム復号部１０５へ送信する。
【００６８】
（Ｓ２１８）
一方、間引きパターンの情報が「間引きパターン０」でない場合、Slepian-Wolf符号化部１０８は、ビットプレーンをSlepian-Wolf符号化する。
【００６９】
（Ｓ２１９）
次に、Slepian-Wolf符号化部１０８は、送信符号量計算部１１１で計算された間引きパターンで誤り訂正符号を間引き、間引きパターンの情報と、間引かれた誤り訂正符号とをWyner-Zivフレーム復号部１０５へ送信する。
【００７０】
（Ｓ２２０）
全てのビットプレーンについて、上記ステップＳ２１６〜Ｓ２１９を繰り返す。
【００７１】
次に、動画像復号装置１０２の動作を説明する。
【００７２】
キーフレーム復号部１０６は、キーフレーム符号化部１０４から送信された、符号化されたキーフレームを受信し、復号を行う。
キーフレーム復号部１０６は、受信した１フレーム目を、JPEGやMPEGのＩフレームといった従来の符号化方式のフレーム内符号化に対応した復号を行うことにより、復号画像を得る。
【００７３】
次に、Wyner-Zivフレーム復号部１０５は、Wyner-Zivフレーム（２フレーム目）の復号を行う。
【００７４】
図３は実施の形態１に係るWyner-Zivフレーム復号部１０５の動作を示すフローチャートである。
以下、図３の各ステップに基づき、Wyner-Zivフレーム復号部１０５の動作を説明する。
【００７５】
（Ｓ３０１）
まず、Side Information生成部１１４に、キーフレーム復号部１０６の出力結果から１フレーム目及び３フレーム目のキーフレーム画像を入力する。
【００７６】
（Ｓ３０２）
次に、Side Information生成部１１４は、Wyner-Zivフレーム（２フレーム目）の予測画像を生成する。
この予測画像の生成は、例えば前後の平均や、非特許文献３に記載の技術に代表されるような動き推定・動き補償を行う方法などを用いることができる。
【００７７】
（Ｓ３０３）
次に、Side Information生成部１１４は、生成した予測画像に対して、変換・量子化を行い、２値化したビットプレーンに分割する。
このとき、ビットプレーンの長さについては、Wyner-Zivフレーム符号化部１０３と対応するように、フレーム全体や、画面内の領域といった一定の長さとなるようにしておく。
【００７８】
（Ｓ３０４）
次に、Side Information生成部１１４は、Wyner-Zivフレーム（２フレーム目）の予測画像のビットプレーンをSlepian-Wolf復号部１１２へ入力する。
【００７９】
（Ｓ３０５）
次に、Slepian-Wolf復号部１１２は、Wyner-Zivフレーム符号化部１０３から送信された間引きパターンと、誤り訂正符号を受信する。
【００８０】
（Ｓ３０６）
次に、Slepian-Wolf復号部１１２は、受信した間引きパターンが、「間引きパターン０」であるか否かを判定する。
【００８１】
（Ｓ３０７）
間引きパターンが「間引きパターン０」でないビットプレーンの場合、Slepian-Wolf復号部１１２は、受信した誤り訂正符号を、受信した間引きパターンの情報で間引かれた誤り訂正符号として、Side Information生成部１１４から入力された予測画像のビットプレーンを誤り訂正（Slepian-Wolf復号）する。
【００８２】
（Ｓ３０８）
次に、Slepian-Wolf復号部１１２は、復号結果を復号画像生成部１１３へ入力する。
【００８３】
（Ｓ３０９）
一方、間引きパターンが「間引きパターン０」であるビットプレーンの場合、Slepian-Wolf復号部１１２は、誤り訂正（Slepian-Wolf復号）を行わず、Side Information生成部１１４から入力された予測画像のビットプレーンを復号画像生成部１１３へ入力する。
【００８４】
（Ｓ３１０）
Side Information生成部１１４で生成された全てのビットプレーンについて、上記ステップＳ３０６〜Ｓ３０９を繰り返す。
【００８５】
（Ｓ３１１）
次に、復号画像生成部１１３は、Slepian-Wolf復号部１１２から入力された復号結果のビットプレーン、又は予測画像のビットプレーンを、フレーム単位へ再構成し、逆量子化・逆変換することで復号画像を得る。
【００８６】
（効果）
以上のように本実施の形態においては、Wyner-Zivフレームに基づく原画像の変換係数と予測画像の変換係数との間に誤りが無いとき、当該Wyner-Zivフレームに対する誤り訂正符号に代えて、誤りが無い旨の情報を送信する。
このため、予測画像と原画像との間に誤りが無い場合に、送信する誤り訂正符号の量を多くすることがなく、誤り訂正に関する処理を軽減することができる。
また、予測画像と原画像との間に誤りが無い場合に、誤り訂正符号を送信しないため、符号化効率を向上させることができる。
【００８７】
また、Slepian-Wolf復号部１１２は、誤りが無い旨の情報を取得したとき、予測画像を当該キーフレームの復号画像として出力する。
このため、予測画像と原画像との間に誤りが無い場合に、予測画像の誤り訂正を行わず、誤り訂正に関する処理を軽減することができる。
【００８８】
したがって、予測画像と原画像との間に誤りが無い場合には、誤り訂正に関する処理を軽減することができ、符号化効率を向上させることができる。
【００８９】
また、予測画像と原画像との間に誤りが無い場合には、Slepian-Wolf符号化・復号処理を行わないため、Slepian-Wolf符号化・復号に関する処理量を抑えることができる。
【００９０】
実施の形態２．
上記実施の形態１のように、符号化側、復号側の両方で予測画像を生成する場合、この二つの予測画像に異なり（誤り）がある可能性がある。
そのため、符号化側で生成した予測画像と原画像とを比較した場合は誤りが無いが、復号側の予測画像と原画像と比較した場合では誤りがある場合は、符号化側では、誤りが無いと判断し、誤り訂正符号を送信しないため、復号側の予測画像の誤りが訂正できない。
【００９１】
そこで、本実施の形態２においては、復号側でも符号化側で生成する予測画像を生成し、復号側が誤りが無い旨の情報を受信した場合には、符号化側と同一の方法により生成した予測画像の情報を用いて復号を行う。
【００９２】
（構成）
図４は実施の形態２に係る動画像符号化装置１０１及び動画像復号装置４０２のブロック構成図である。
図４において、実施の形態２における動画像符号化装置１０１は、上記実施の形態１と同様の構成であり、同一部分には同一の符号を付する。
【００９３】
動画像復号装置４０２は、キーフレーム復号部１０６、及びWyner-Zivフレーム復号部４０５を備える。
【００９４】
Wyner-Zivフレーム復号部４０５は、Slepian-Wolf復号部１１２、復号画像生成部１１３、Side Information生成部１１４、及び符号化側Side Information生成部４１５を備える。
【００９５】
なお、Wyner-Zivフレーム復号部４０５は、本発明における「非キーフレーム復号部」に相当する。
また、符号化側Side Information生成部４１５は、本発明における「第２の符号化側予測画像生成部」に相当する。
【００９６】
キーフレーム復号部１０６、復号画像生成部１１３、Side Information生成部１１４は、上記実施の形態１と同じ構成である。
【００９７】
符号化側Side Information生成部４１５は、Wyner-Zivフレームの前、もしくは後ろ、又は前後のキーフレーム画像が入力される。
また、符号化側Side Information生成部４１５は、Wyner-Zivフレーム符号化部１０３のSide Information生成部１０９によるWyner-Zivフレームの予測画像の生成と同じ方法により、Wyner-Zivフレームの予測画像を生成し、変換・量子化し、ビットプレーンへ分割する。
【００９８】
本実施の形態におけるSlepian-Wolf復号部１１２は、Side Information生成部１１４で生成されたビットプレーンに対し、Wyner-Zivフレーム符号化部１０３から受信した間引きパターンの情報から、誤り０でないと判断された場合は、受信した誤り訂正符号を用いてSlepian-Wolf復号を行い、誤りが０である場合は、対応するビットプレーンを符号化側Side Information生成部４１５から入力し、このビットプレーンを復号結果とする。
【００９９】
以上、本実施の形態における動画像符号化装置１０１及び動画像復号装置４０２の構成を説明した。
次に、本実施の形態における動画像符号化装置１０１及び動画像復号装置４０２の動作について説明する。
【０１００】
（動作）
本実施の形態２における動画像符号化装置１０１の動作は、上記実施の形態１と同様である。
【０１０１】
動画像復号装置４０２のキーフレーム復号部１０６の動作は、上記実施の形態１と同様である。
【０１０２】
以下、本実施の形態２における動画像復号装置４０２のWyner-Zivフレーム復号部４０５の動作を説明する。
【０１０３】
図５は実施の形態２に係るWyner-Zivフレーム復号部４０５の動作を示すフローチャートである。
以下、図５の各ステップに基づき説明する。
【０１０４】
（Ｓ５０１）
まず、Side Information生成部１１４に、キーフレーム復号部１０６の出力結果からWyner-Zivフレーム（例えば２フレーム目）の前後のフレーム（例えば１フレーム目及び３フレーム目）のキーフレーム画像を入力する。
【０１０５】
（Ｓ５０２）
次に、Side Information生成部１１４は、Wyner-Zivフレーム（２フレーム目）の予測画像を生成する。
この予測画像の生成は、例えば前後の平均や、非特許文献３に記載の技術に代表されるような動き推定・動き補償を行う方法などを用いることができる。
【０１０６】
（Ｓ５０３）
次に、Side Information生成部１１４は、生成した予測画像に対して、変換・量子化を行い、２値化したビットプレーンに分割する。
このとき、ビットプレーンの長さについては、Wyner-Zivフレーム符号化部１０３と対応するように、フレーム全体や、画面内の領域といった一定の長さとなるようにしておく。
【０１０７】
（Ｓ５０４）
次に、Side Information生成部１１４は、Wyner-Zivフレーム（２フレーム目）の予測画像のビットプレーンをSlepian-Wolf復号部１１２へ入力する。
【０１０８】
（Ｓ５０５）
次に、符号化側Side Information生成部４１５に、キーフレーム復号部１０６の出力結果からWyner-Zivフレーム（例えば２フレーム目）の前後のフレーム（例えば１フレーム目及び３フレーム目）のキーフレーム画像を入力する。
【０１０９】
（Ｓ５０６）
次に、符号化側Side Information生成部４１５は、Wyner-Zivフレーム符号化部１０３のSide Information生成部１０９における予測画像の生成手法と、同じ手法で予測画像を生成する。
【０１１０】
なお、本実施の形態では、Side Information生成部１０９での予測画像の生成方法と、符号化側Side Information生成部４１５の予測画像の生成方法とが、あらかじめ同じとなるように取り決めておく場合を説明するが、本発明はこれに限るものではない。
例えば、Wyner-Zivフレーム符号化部１０３からどのように予測画像を生成したか、という情報を送信し、それに応じて符号化側Side Information生成部４１５で予測画像を生成しても良い。
【０１１１】
（Ｓ５０７）
次に、符号化側Side Information生成部４１５は、生成した予測画像に対して、変換・量子化を行い、２値化したビットプレーンに分割する。
このとき、ビットプレーンの長さについては、Wyner-Zivフレーム符号化部１０３と対応するように、フレーム全体や、画面内の領域といった一定の長さとなるようにしておく。
【０１１２】
（Ｓ５０８）
次に、Slepian-Wolf復号部１１２は、Wyner-Zivフレーム符号化部１０３から送信された間引きパターンと、誤り訂正符号を受信する。
【０１１３】
（Ｓ５０９）
次に、Slepian-Wolf復号部１１２は、受信した間引きパターンが、「間引きパターン０」であるか否かを判定する。
【０１１４】
（Ｓ５１０）
間引きパターンが、誤りが無い旨の情報である「間引きパターン０」でないビットプレーンの場合、Slepian-Wolf復号部１１２は、受信した誤り訂正符号を、受信した間引きパターンの情報で間引かれた誤り訂正符号として、Side Information生成部１１４から入力された予測画像のビットプレーンを誤り訂正（Slepian-Wolf復号）する。
【０１１５】
（Ｓ５１１）
次に、Slepian-Wolf復号部１１２は、復号結果を復号画像生成部１１３へ入力する。
【０１１６】
（Ｓ５１２）
一方、間引きパターンが、誤りが無い旨の情報である「間引きパターン０」であるビットプレーンの場合、Slepian-Wolf復号部１１２は、符号化側Side Information生成部４１５から、符号化側と同一の手法により生成された予測画像のビットプレーンを入力する。
【０１１７】
（Ｓ５１３）
次に、Slepian-Wolf復号部１１２は、符号化側Side Information生成部４１５から入力されたビットプレーンに対し誤り訂正（Slepian-Wolf復号）を行わず、符号化側と同一の手法により生成された予測画像のビットプレーンを復号画像生成部１１３へ入力する。
【０１１８】
（Ｓ５１４）
Side Information生成部１１４で生成された全てのビットプレーンについて、上記ステップＳ５０９〜Ｓ５１３を繰り返す。
【０１１９】
（Ｓ５１５）
次に、復号画像生成部１１３は、Slepian-Wolf復号部１１２から入力された復号結果のビットプレーン、又は符号化側と同一の手法により生成された予測画像のビットプレーンを、フレーム単位へ再構成し、逆量子化・逆変換することで復号画像を得る。
【０１２０】
（効果）
以上のように本実施の形態においては、符号化側による予測画像の生成方法と同一の方法により、Wyner-Zivフレームの予測画像を生成し、符号化側から誤りが無い旨の情報を取得したとき、符号化側と同一の方法により生成した予測画像を、当該キーフレームの復号結果とする。
このため、上記実施の形態１の効果に加え、符号化側のSide Information生成部１０９で生成された予測画像と、復号側のSide Information生成部１１４で生成された予測画像とが異なる場合であっても、復号側のSide Information生成部１１４で生成された予測画像の誤り訂正を行う必要が無く、誤り訂正に関する処理を軽減することができる。
【０１２１】
なお、上記実施の形態１及び実施の形態２では、符号化側から復号側への情報は、送信・受信としているが、これに限るものではなく、記録媒体への書き込み、読み込みとしても良い。
【０１２２】
なお、上記実施の形態１及び実施の形態２では、予測画像と原画像のビットプレーンの誤りが無い旨の情報を、間引きパターンの情報に「間引きパターン０」として割り当てた形で表現したが、本発明はこれに限るものではなく、誤りが無い旨の情報を復号側に送信できれば、この形式に限られない。
【０１２３】
なお、上記実施の形態２では、符号化側Side Information生成部４１５は、Wyner-Zivフレーム符号化部１０３での予測画像の生成方法を既知のものとして表現しているが、これに限らず、Wyner-Zivフレーム符号化部１０３から予測画像生成方法についての情報を、Wyner-Zivフレーム復号部１０５へ送信し、Wyner-Zivフレーム復号部１０５ではそれに従い予測画像を生成するようにしても良い。
【符号の説明】
【０１２４】
１０１  動画像符号化装置、１０２  動画像復号装置、１０３  Wyner-Zivフレーム符号化部、１０４  キーフレーム符号化部、１０５  Wyner-Zivフレーム復号部、１０６  キーフレーム復号部、１０７  変換・量子化部、１０８  Slepian-Wolf符号化部、１０９  Side Information生成部、１１０  誤り検出部、１１１  送信符号量計算部、１１２  Slepian-Wolf復号部、１１３  復号画像生成部、１１４  Side Information生成部、４０２  動画像復号装置、４０５  Wyner-Zivフレーム復号部、４１５  符号化側Side Information生成部。
【図１】
2010212863.tif 000003
【図２】
2010212863.tif 000004
【図３】
2010212863.tif 000005
【図４】
2010212863.tif 000006
【図５】
2010212863.tif 000007
【図６】
2010212863.tif 000008
【図７】
2010212863.tif 000009