(57)【要約】【課題】  非キーフレーム（Ｗｙｎｅｒ−Ｚｉｖフレーム）の復号を迅速に実行できるＤＣＶ方式に従う動画像復号装置を提供する。【解決手段】  本発明の動画像復号装置は、符号化キーフレームを復号するキーフレーム復号手段と、時間方向が異なるキーフレームから非キーフレームの予測画像を形成し、生成した予測画像から、動画像符号化装置が誤り訂正符号を形成する元となった画像を擬似した原画擬似画像情報を得る予測画像形成手段とを有する。また、動画像符号化装置から与えられた相関情報を補正する相関補正手段と、動画像符号化装置から与えられた誤り訂正符号と補正された相関情報とを用いて、原画擬似画像情報を誤り訂正する原画擬似画像誤り訂正手段と、誤り訂正された原画擬似画像情報と上述の予測画像とを参照し、非キーフレーム単位の情報を再構成した後、非キーフレームの復号画像を得る復号画像生成手段とを有する。【選択図】      図１
2010193304.tif 000002
【特許請求の範囲】
【請求項１】
対向する動画像符号化装置から、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームが与えられると共に、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報が与えられる動画像復号装置において、
入力された符号化キーフレームを復号し、復号されたキーフレームを得るキーフレーム復号手段と、
上記キーフレーム復号手段が得た時間方向が異なるキーフレームから非キーフレームの予測画像を形成すると共に、生成した予測画像から、上記動画像符号化装置が上記誤り訂正符号を形成する元となった画像を擬似した原画擬似画像情報を得る予測画像形成手段と、
上記動画像符号化装置から与えられた相関情報を補正する相関補正手段と、
上記動画像符号化装置から与えられた誤り訂正符号と、上記相関補正手段が補正した相関情報とを用いて、上記原画擬似画像情報を誤り訂正する原画擬似画像誤り訂正手段と、
誤り訂正された上記原画擬似画像情報と、上記非キーフレームの予測画像とを参照し、非キーフレーム単位の情報を再構成した後、所定の処理を施して、非キーフレームの復号画像を得る復号画像生成手段と
を有することを特徴とする動画像復号装置。
【請求項２】
上記相関補正手段は、上記動画像符号化装置から与えられた相関情報に対し、予め定められた定数によって重み付けして補正することを特徴する請求項１に記載の動画像復号装置。
【請求項３】
上記相関補正手段は、上記動画像符号化装置から与えられた相関情報に対し、上記予測画像形成手段が上記予測情報を生成する際に得た非キーフレームの動き情報に応じて定まる重みを重み付けて補正することを特徴する請求項１に記載の動画像復号装置。
【請求項４】
上記相関補正手段は、上記動画像符号化装置から与えられた相関情報に対し、上記動画像符号化装置から与えられた上記動画像符号化装置における予測画像の生成方法又は予測情報の特徴に応じて定まる重みを重み付けて補正することを特徴する請求項１に記載の動画像復号装置。
【請求項５】
上記相関補正手段は、上記動画像符号化装置から与えられた相関情報に対し、当該動画像符号化装置における予測画像の生成方法又は予測画像の特徴に応じて定まる重みを重み付けて補正することを特徴する請求項４に記載の動画像復号装置。
【請求項６】
フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームを対向する動画像復号装置へ出力すると共に、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報とを上記動画像復号装置へ出力する動画像符号化装置において、
上記予測画像の生成方法又は予測画像の特徴の情報を、上記動画像復号装置へ出力する予測画像情報出力手段を有することを特徴とする動画像符号化装置。
【請求項７】
フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームを対向する動画像復号装置へ出力すると共に、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報とを上記動画像復号装置へ出力する動画像符号化装置と、上記動画像符号化装置に対向する動画像復号装置とを有する動画像符号化システムにおいて、
上記動画像復号装置として、請求項１に記載の動画像復号装置を適用していることを特徴とする動画像符号化システム。
【請求項８】
フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームが与えられると共に、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報が与えられて復号処理を行う動画像復号方法において、
キーフレーム復号手段は、入力された符号化キーフレームを復号し、復号されたキーフレームを得、
予測画像形成手段は、上記キーフレーム復号手段が得た時間方向が異なるキーフレームから非キーフレームの予測画像を形成すると共に、生成した予測画像から、動画像符号化装置が上記誤り訂正符号を形成する元となった画像を擬似した原画擬似画像情報を得、
相関補正手段は、上記動画像符号化装置から与えられた相関情報を補正し、
原画擬似画像誤り訂正手段は、上記動画像符号化装置から与えられた誤り訂正符号と、上記相関補正手段が補正した相関情報とを用いて、上記原画擬似画像情報を誤り訂正し、
復号画像生成手段は、誤り訂正された上記原画擬似画像情報と、上記非キーフレームの予測画像とを参照し、非キーフレーム単位の情報を再構成した後、所定の処理を施して、非キーフレームの復号画像を得る
ことを特徴とする動画像復号方法。
【請求項９】
フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームを得ると共に、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報とを得て出力する動画像符号化方法において、
予測画像情報出力手段が、上記予測画像の生成方法又は予測画像の特徴の情報を、動画像復号装置へ出力することを特徴とする動画像符号化方法。
【請求項１０】
対向する動画像符号化装置から、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームが与えられると共に、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報が与えられる動画像復号装置を構成するコンピュータを、
入力された符号化キーフレームを復号し、復号されたキーフレームを得るキーフレーム復号手段と、
上記キーフレーム復号手段が得た時間方向が異なるキーフレームから非キーフレームの予測画像を形成すると共に、生成した予測画像から、上記動画像符号化装置が上記誤り訂正符号を形成する元となった画像を擬似した原画擬似画像情報を得る予測画像形成手段と、
上記動画像符号化装置から与えられた相関情報を補正する相関補正手段と、
上記動画像符号化装置から与えられた誤り訂正符号と、上記相関補正手段が補正した相関情報とを用いて、上記原画擬似画像情報を誤り訂正する原画擬似画像誤り訂正手段と、
誤り訂正された上記原画擬似画像情報と、上記非キーフレームの予測画像とを参照し、非キーフレーム単位の情報を再構成した後、所定の処理を施して、非キーフレームの復号画像を得る復号画像生成手段と
して機能させることを特徴とする動画像復号プログラム。
【請求項１１】
フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームを対向する動画像復号装置へ出力すると共に、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報とを上記動画像復号装置へ出力する動画像符号化装置を構成するコンピュータを、
上記予測画像の生成方法又は予測画像の特徴の情報を、上記動画像復号装置へ出力する予測画像情報出力手段として機能させることを特徴とする動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化システム、動画像符号化装置、方法及びプログラム、並びに、動画像復号装置、方法及びプログラムに関し、例えば、分散映像符号化方式（Ｄｉｓｔｒｉｂｕｔｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＤＣＶ）：以下、ＤＣＶ方式と呼ぶ）を用いたものに適用し得るものである。
【背景技術】
【０００２】
近年、非特許文献１に記載されるようなＤＶＣ方式という新しい符号化方式が注目されている。
【０００３】
ＤＶＣ方式は、動画像の符号化において、いくつかのフレーム（以下、キーフレームと呼ぶ）についてはフレーム内符号化を適用し、一方、その他のフレーム（Ｗｙｎｅｒ−Ｚｉｖフレーム）については、時間方向の予測誤差信号の誤り訂正符号（パリティビット）のみを符号化して伝送するものである。なお、キーフレームに対して、フレーム間符号化方式を適用していることもある。
【０００４】
今日のＤＶＣ方式は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ定理及びＷｙｎｅｒ−Ｚｉｖ定理という２つのキーとなる情報理論に基づいた新しい圧縮方式である。ＤＶＣ方式は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部で符号化するべき原画像（Ｗｙｎｅｒ−Ｚｉｖフレーム：以下、ＷＺフレームと呼ぶ）に対してＳｌｅｐｉａｎ−Ｗｏｌｆ符号化処理を行い、その符号化データとＷｙｎｅｒ−Ｚｉｖフレーム復号部側で得たＷｙｎｅｒ−Ｚｉｖフレーム符号化部側の原画像の予測画像とを基にＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行う、新しい符号化方式である。
【０００５】
非特許文献１に記載されるようなＤＶＣ方式は、キーフレームの符号化、復号には特徴がないので、以下、非特許文献１の図１を参照しながら、ＷＺフレームの符号化、復号の面から説明する。
【０００６】
Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部で、符号化するべきＷＺフレームを変換係数領域に変換（ＤＣＴ）した後、各帯域毎に、量子化（２ＭＫ  ｌｅｖｅｌ  Ｑｕａｎｔｉｚｅｒ）し、その量子化値（ｑｋ）を２値で表し、各ビットの情報を、例えば、１フレーム分集めた情報（Ｅｘｔｒａｃｔ  ｂｉｔ−ｐｌａｎｅｓ）毎にＳｌｅｐｉａｎ−Ｗｏｌｆ符号化（Ｔｕｒｂｏ  Ｅｎｃｏｄｅｒ）を行い、その結果のうち、パリティピットのみを一時保存（Ｂｕｆｆｅｒ）し、情報ピットは捨てられる（非特許文献１の図１には明確に図示はされていない）。
【０００７】
Ｗｙｎｅｒ−Ｚｉｖフレーム復号部では、予測画像を生成し（Ｉｎｔｅｒｐｏｌａｔｉｏｎ／Ｅｘｔｒａｐｏｌａｔｉｏｎ）、その予測画像を変換係数領域に変換（ＤＣＴ）し、帯域毎に、サイドインフォメーション（Ｓｉｄｅ  Ｉｎｆｏｒｍａｔｉｏｎ；副次情報）としてＳｌｅｐｉａｎ−Ｗｏｌｆ復号部（Ｔｕｒｂｏ  Ｄｅｃｏｄｅｒ）に入力する。
【０００８】
Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部に対して、一時保存しているパリティピットのうち一部に対して送信要求（Ｒｅｑｕｅｓｔ  ｂｉｔｓ）を行う。受信したパリティビットと、上述したサイドインフォメーションからＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行う。十分な復号が行えなかった場合には、再度、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部側にパリティビットの一部の追加送信要求（Ｒｅｑｕｅｓｔ  ｂｉｔｓ）を行い、受信したパリティビットと上述したサイドインフォメーションからＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行う。この処理を、十分な復号が行えるまで続ける。
【０００９】
その後、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号の復号値と、サイドインフォメーションから変換係数を再構築し、逆変換（ＩＤＣＴ）することで復号画像を得る。
【００１０】
非特許文献１の記載方式に代表されるような一般的なＤＶＣ方式では、パンクチュア(ｐｕｎｃｔｕｒｅ)された誤り訂正符号の一部をＷｙｎｅｒ−Ｚｉｖフレーム復号部へ送信し、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部で誤り訂正符号を受け取り、誤り訂正を行う。このとき、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部が十分に誤り訂正できない場合は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部へ追加の誤り訂正符号の送信を要求し、十分に誤り訂正が可能になるまでこれを繰り返す。そのため、再送要求というフィードバックを行うために、遅延が生じることや、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部とＷｙｎｅｒ−Ｚｉｖフレーム復号部が単独で動作できないという問題がある。
【００１１】
そこで、非特許文献２の記載技術では、この再送要求を避けるために、誤り訂正に必要な誤り訂正符号の量をＷｙｎｅｒ−Ｚｉｖフレーム符号化部で計算している。非特許文献２の記載技術は、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部の作る予測画像を想定し、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部で予測画像を生成し、原画像と比較することにより、訂正を行う対象（Ｗｙｎｅｒ−Ｚｉｖフレーム復号部の作る予測画像）が原画像に対してどれほどの誤りがあるかを推定し、それを訂正するための必要なパリティ量を計算することにより、フィードバックを必要としない手法を実現している。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】Ａｎｎｅ  Ａａｒｏｎ，  Ｓｈａｎｔａｎｕ  Ｒａｎｅ，  Ｅｒｉｃ  Ｓｅｔｔｏｎ，  ａｎｄ  Ｂｅｒｎｄ  Ｇｉｒｏｄ：Ｔｒａｎｓｆｏｒｍ−ｄｏｍａｉｎ  Ｗｙｎｅｒ−Ｚｉｖ  Ｃｏｄｅｃ  ｆｏｒ  Ｖｉｄｅｏ．  Ｉｎ：  Ｐｒｏｃ，  ＳＰＩＥ  Ｖｉｓｕａｌ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  Ｓａｎ  Ｊｏｓｅ，  ＣＡ（２００４）
【非特許文献２】Ｍａｒｌｅｅｎ  Ｍｏｒｂｅｅ，  Ｊｏｓｅｐ  Ｐｒａｄｅｓ−Ｎｅｂｏｔ，  ａｎｔｏｎｉ  Ｒｏｃａ，  ａｎｄ  Ａｌｅｋｓａｎｄｒａ  Ｐｉｚｕｒｉｃａ，”Ｉｍｐｒｏｖｅｄ  Ｐｉｘｅｌ−Ｂａｓｅｄ  Ｒａｔｅ  Ａｌｌｏｃａｔｉｏｎ  Ｆｏｒ  Ｐｉｘｅｌ−Ｄｏｍａｉｎ  Ｄｉｓｔｒｉｂｕｔｅｄ  Ｖｉｄｅｏ  Ｃｏｄｅｒｓ  Ｗｉｔｈｏｕｔ  Ｆｅｅｄｂａｃｋ  Ｃｈａｎｎｅｌ”，  ＩＣＩＶＳ  ２００７
【発明の概要】
【発明が解決しようとする課題】
【００１３】
今日のように、多くのメーカーが存在する状況においては、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部のメーカーと、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部のメーカーとが異なることも多くなると思われる。また、製品の価格帯によって採用されている予測画像の生成方法が異なる可能性は高い。
【００１４】
非特許文献２の記載技術に関し、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部で生成する予測画像とＷｙｎｅｒ−Ｚｉｖフレーム復号部で生成する予測画像を比較すると、ＤＶＣ方式においては、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部の処理が少ないという特徴があるため、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部ではそれほど処理量の大きくない予測画像を生成すると考えられる。一方、誤り訂正を行うＷｙｎｅｒ−Ｚｉｖフレーム復号部の予測画像は誤りの少ない予測画像であれば、少ない誤り訂正符号量で誤り訂正が行えるため、より原画像に近い予測画像を生成する傾向がある。そのため、一般的にＷｙｎｅｒ−Ｚｉｖフレーム符号化部で生成する予測画像よりも、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部で生成する予測画像の方がより原画像に近い。
【００１５】
それにも拘らず、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部でＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行う際に仮定する誤り（＝相関）は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部で生成した予測画像と原画像との相関を計算した結果である。そのため、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号の際には、実際よりも誤っていると仮定して復号を行うこととなり、正しいものを誤っていると仮定してしまい、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号の際の繰り返し回数が増え、値の収束が遅くなるという課題がある。
【００１６】
そのため、非キーフレーム（Ｗｙｎｅｒ−Ｚｉｖフレーム）の復号を迅速に実行することができる、ＤＣＶ方式に従う動画像復号装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システムが望まれている。
【課題を解決するための手段】
【００１７】
第１の本発明は、対向する動画像符号化装置から、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームが与えられると共に、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報が与えられる動画像復号装置において、（１）入力された符号化キーフレームを復号し、復号されたキーフレームを得るキーフレーム復号手段と、（２）上記キーフレーム復号手段が得た時間方向が異なるキーフレームから非キーフレームの予測画像を形成すると共に、生成した予測画像から、上記動画像符号化装置が上記誤り訂正符号を形成する元となった画像を擬似した原画擬似画像情報を得る予測画像形成手段と、（３）上記動画像符号化装置から与えられた相関情報を補正する相関補正手段と、（４）上記動画像符号化装置から与えられた誤り訂正符号と、上記相関補正手段が補正した相関情報とを用いて、上記原画擬似画像情報を誤り訂正する原画擬似画像誤り訂正手段と、（５）誤り訂正された上記原画擬似画像情報と、上記非キーフレームの予測画像とを参照し、非キーフレーム単位の情報を再構成した後、所定の処理を施して、非キーフレームの復号画像を得る復号画像生成手段とを有することを特徴とする。
【００１８】
第２の本発明は、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームを対向する動画像復号装置へ出力すると共に、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報とを上記動画像復号装置へ出力する動画像符号化装置において、上記予測画像の生成方法又は予測画像の特徴の情報を、上記動画像復号装置へ出力する予測画像情報出力手段を有することを特徴とする。
【００１９】
第３の本発明は、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームを対向する動画像復号装置へ出力すると共に、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報とを上記動画像復号装置へ出力する動画像符号化装置と、上記動画像符号化装置に対向する動画像復号装置とを有する動画像符号化システムにおいて、上記動画像復号装置として、第１の本発明の動画像復号装置を適用していることを特徴とする。
【００２０】
第４の本発明は、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームが与えられると共に、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報が与えられて復号処理を行う動画像復号方法において、（１）キーフレーム復号手段は、入力された符号化キーフレームを復号し、復号されたキーフレームを得、（２）予測画像形成手段は、上記キーフレーム復号手段が得た時間方向が異なるキーフレームから非キーフレームの予測画像を形成すると共に、生成した予測画像から、動画像符号化装置が上記誤り訂正符号を形成する元となった画像を擬似した原画擬似画像情報を得、（３）相関補正手段は、上記動画像符号化装置から与えられた相関情報を補正し、（４）原画擬似画像誤り訂正手段は、上記動画像符号化装置から与えられた誤り訂正符号と、上記相関補正手段が補正した相関情報とを用いて、上記原画擬似画像情報を誤り訂正し、（５）復号画像生成手段は、誤り訂正された上記原画擬似画像情報と、上記非キーフレームの予測画像とを参照し、非キーフレーム単位の情報を再構成した後、所定の処理を施して、非キーフレームの復号画像を得ることを特徴とする。
【００２１】
第５の本発明は、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームを得ると共に、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報とを得て出力する動画像符号化方法において、予測画像情報出力手段が、上記予測画像の生成方法又は予測画像の特徴の情報を、動画像復号装置へ出力することを特徴とする。
【００２２】
第６の本発明は、対向する動画像符号化装置から、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームが与えられると共に、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報が与えられる動画像復号装置を構成するコンピュータを、（１）入力された符号化キーフレームを復号し、復号されたキーフレームを得るキーフレーム復号手段と、（２）上記キーフレーム復号手段が得た時間方向が異なるキーフレームから非キーフレームの予測画像を形成すると共に、生成した予測画像から、上記動画像符号化装置が上記誤り訂正符号を形成する元となった画像を擬似した原画擬似画像情報を得る予測画像形成手段と、（３）上記動画像符号化装置から与えられた相関情報を補正する相関補正手段と、（４）上記動画像符号化装置から与えられた誤り訂正符号と、上記相関補正手段が補正した相関情報とを用いて、上記原画擬似画像情報を誤り訂正する原画擬似画像誤り訂正手段と、（５）誤り訂正された上記原画擬似画像情報と、上記非キーフレームの予測画像とを参照し、非キーフレーム単位の情報を再構成した後、所定の処理を施して、非キーフレームの復号画像を得る復号画像生成手段として機能させることを特徴とする。
【００２３】
第７の本発明は、フレーム系列を分離したキーフレームについては、動画像符号化した符号化キーフレームを対向する動画像復号装置へ出力すると共に、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報と、上記予測画像と上記非キーフレームの原画像との相関情報とを上記動画像復号装置へ出力する動画像符号化装置を構成するコンピュータを、上記予測画像の生成方法又は予測画像の特徴の情報を、上記動画像復号装置へ出力する予測画像情報出力手段として機能させることを特徴とする。
【発明の効果】
【００２４】
本発明によれば、非キーフレームの復号を迅速に実行することができるようになる。
【図面の簡単な説明】
【００２５】
【図１】第１の実施形態の動画像符号化システムの構成を示すブロック図である。
【図２】第１の実施形態のＷｙｎｅｒ−Ｚｉｖフレーム符号化部における動作を示すフローチャートである。
【図３】第１の実施形態のＷｙｎｅｒ−Ｚｉｖフレーム復号部における動作を示すフローチャートである。
【図４】第２の実施形態の動画像符号化システムの構成を示すブロック図である。
【図５】第２の実施形態のＷｙｎｅｒ−Ｚｉｖフレーム符号化部における動作を示すフローチャートである。
【図６】第２の実施形態のＷｙｎｅｒ−Ｚｉｖフレーム復号部における動作を示すフローチャートである。
【発明を実施するための形態】
【００２６】
（Ａ）第１の実施形態
以下、本発明による動画像復号装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システムの第１の実施形態を、図面を参照しながら詳述する。第１の実施形態に係る動画像符号化方式は上述したＤＣＶ方式である。
【００２７】
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の動画像符号化システムの構成を示すブロック図である。
【００２８】
図１において、第１の実施形態の動画像符号化システム１００は、動画像符号化装置１０１と、それに対向する動画像復号装置１０２とから構成される。
【００２９】
動画像符号化装置１０１は、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する汎用的な装置が動画像符号化プログラムを実行することで動画像符号化装置１０１としての機能を実現するように構築されても良い。同様に、動画像復号装置１０２も、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する汎用的な装置が動画像復号プログラムを実行することで動画像復号装置１０２としての機能を実現するように構築されても良い。いずれの構築方法を適用した場合であっても、動画像符号化装置１０１及び動画像復号装置１０２の機能的構成は、図１で表すことができる。
【００３０】
動画像符号化装置１０１は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０３とキーフレーム符号化部１０４とを備える。動画像復号装置１０２は、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部１０５とキーフレーム復号部１０６とを有する。
【００３１】
キーフレーム符号化部１０４は、入力シーケンス（フレーム系列）からキーフレームを得、ＭＰＥＧやＪＰＥＧといった従来の符号化方式で符号化を行い、キーフレーム復号部１０６へ符号化データ（キーフレーム符号化データ）を送信するものである。
【００３２】
Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０３は、量子化・ビットプレーン分割部１０７と、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８と、予測画像生成部１１０と、送信符号量計算部１１１と、バッファ１０９とを有する。
【００３３】
量子化・ビットプレーン分割部１０７は、入力シーケンスからＷＺフレームを得、画素値を量子化すると共に、ビットプレーン単位へ分割するものである。
【００３４】
Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８は、量子化・ビットプレーン分割部１０７で分割された各ビットプレーンを入力し、Ｔｕｒｂｏ符号やＬＤＰＣ符号を適用したＳｌｅｐｉａｎ−Ｗｏｌｆ符号化を行うものである。
【００３５】
予測画像生成部１１０は、ＷＺフレームの前、若しくは、ＷＺフレームの後、若しくは、ＷＺフレームの前後のキーフレームを入力し、ＷＺフレームの予測画像を生成するものである。ＷＺフレームの前、ＷＺフレームの後、若しくは、ＷＺフレームの前後のキーフレームのいずれを適用するかは予め定められている。
【００３６】
送信符号量計算部１１１は、予測画像生成部１１０で生成された予測画像と、入力シーケンスから得られるＷＺフレームとを入力し、これらを比較することで、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部１０５で生成されるＷＺフレームの予測画像の予測誤り分布の分布パラメータ（相関パラメータ）を推定し、推定した予測誤り分布から、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部１０５へ送る各ビットプレーンの誤り訂正符号の量を推定し、推定した相関パラメータをＷｙｎｅｒ−Ｚｉｖフレーム復号部１０５へ送信するものである。送信符号量計算部１１１は、誤り訂正符号（パリティ）の量を推定している点に着目すれば、パリティ見積もり計算部ということができる。
【００３７】
バッファ１０９は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８から出力される各ビットプレーンの誤り訂正符号を保存し、送信符号量計算部１１１で推定された結果に従った量の誤り訂正符号をＷｙｎｅｒ−Ｚｉｖフレーム復号部１０５へ送信するものである。
【００３８】
キーフレーム復号部１０６は、キーフレーム符号化部１０４で符号化されたキーフレームを受信し、復号を行うことで、復号画像を得るものである。
【００３９】
Ｗｙｎｅｒ−Ｚｉｖフレーム復号部１０５は、サイドインフォメーション生成部１１４と、相関補正部１１５と、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部１１２と、復号画像生成部１１３とを有する。
【００４０】
サイドインフォメーション生成部１１４は、キーフレーム復号部１０４で得られた、ＷＺフレームの前、若しくは、ＷＺフレームの後、若しくは、ＷＺフレームの前後のキーフレームの復号画像から、動き推定と動き補償などの手法を用いてＷＺフレームの予測画像を生成し、量子化・ビットプレーンへ分割するものである。ＷＺフレームの前、ＷＺフレームの後、若しくは、ＷＺフレームの前後のキーフレームのいずれを適用するかは予め定められている。
【００４１】
相関補正部１１５は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０３から送信されたＷＺフレームの予測画像と原画像との相関パラメータを補正するものである。この補正方法については、後述する動作説明の項で明らかにする。
【００４２】
Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部１１２は、サイドインフォメーション生成部１１４で生成されたビットプレーンを入力し、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０３から送信された誤り訂正符号と、相関補正部１１５で補正された原画像と予測画像の相関パラメータを用いて、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号を行うものである。
【００４３】
復号画像生成部１１３は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号化部１１２での各ビットプレーンの復号結果と、サイドインフォメーション生成部１１４で生成された予測画像の情報を参照してフレーム単位での情報に再構成した後、再構成されたフレームに逆量子化を行い、復号画像を得るものである。
【００４４】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係る動画像符号化システム１００の動作を、図１に加えて、図２及び図３をも参照しながら説明する。ここで、図２は、第１の実施形態のＷｙｎｅｒ−Ｚｉｖフレーム符号化部１０３における動作を示すフローチャートであり、図３は、第１の実施形態のＷｙｎｅｒ−Ｚｉｖフレーム復号部１０５における動作を示すフローチャートである。
【００４５】
入力シーケンス（フレーム系列）は、キーフレームとＷＺフレームに分けられる。キーフレーム（キーフレーム画像も適宜キーフレームと呼ぶ）は、キーフレーム符号化部１０４によって符号化され、キーフレーム復号部１０６によって復号され、一方、ＷＺフレーム（ＷＺフレーム画像も適宜ＷＺフレームと呼ぶ）は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０３によって符号化され、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部１０５によって復号される。
【００４６】
以下では、入力シーケンスをキーフレームとＷＺフレームとに交互に分割して符号化する例を用いて動作の説明を行う。まず、動画像符号化装置１０１の動作を説明する。
【００４７】
１フレーム目はキーフレームとして符号化が行われる。１フレーム目は、キーフレーム符号化部１０４へ入力され、非特許文献１の記載技術などと同様に、ＪＰＥＧやＭＰＥＧの１フレームのようなイントラ符号化が行われ、キーフレーム復号部１０６へ送信される。
【００４８】
２フレーム目は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０３によってＷＺフレームとして符号化が行われる。この動作を、図１及び図２を参照して説明する。
【００４９】
まず、入力シーケンスから２フレーム目の原画像を取り出し、量子化・ピットプレーン分割部１０７へ入力し（ステップＳ１０１）、量子化・ビットプレーン分割部１０７は、２フレーム目の原画像（ＷＺフレーム）の画素値を量子化し２値化し、その結果をビットプレーンへ分割する（ステップＳ１０２）。
【００５０】
次に、量子化・ビットプレーン分割部１０７の出力結果から１つのビットプレーンをＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８へ入力し（ステップＳ１０３）、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８で、Ｔｕｒｂｏ符号やＬＤＰＣ符号などの方法で、ビットプレーンをＳｌｅｐｉａｎ−Ｗｏｌｆ符号化し、誤り訂正符号のみをバッファ１０９へ保存する（ステップＳ１０４）。
【００５１】
ビットプレーンをＳｌｅｐｉａｎ−Ｗｏｌｆ符号化し、誤り訂正符号のみをバッファ１０９へ保存する処理を、量子化・ビットプレーン分割部１０７の出力結果における全てのビットプレーンに対して繰り返し実行する（ステップＳ１０５）。
【００５２】
また、キーフレーム符号化部１０４から前後（１フレーム目及び３フレーム目）のキーフレームを予測画像生成部１１０へ入力し（ステップＳ１０６）、予測画像生成部１１０は、前後のキーフレームから、２フレーム目（ＷＺフレーム）の予測画像を生成する（ステップＳ１０７）。例えば、キーフレーム符号化部１０４には、キーフレームを符号化するために、フレームメモリを内蔵しており、そのフレームメモリに格納されているキーフレームや、キーフレーム符号化部１０４へ入力されたキーフレームなどを、予測画像生成部１１０は取り込む。また例えば、キーフレーム符号化部１０４はイントラ符号化方式が適用されているので、局部復号構成を備えており、符号されたキーフレームを局部復号したキーフレームを、予測画像生成部１１０は取り込む。予測画像の形成方法として、既存のいかなる方法を適用しても良い。予測画像の生成方法として、例えば、前後フレームの平均を求める方法を挙げることができる。
【００５３】
次に、予測画像生成部１１０が生成した２フレーム目の予測画像と、入力シーケンスから得た２フレーム目の原画像（ＷＺフレーム）を送信符号量計算部１１１へ入力し（ステップＳ１０８）、送信符号量計算部１１１は、入力された２フレーム目のＷＺフレームの予測画像と原画像を比較し、予測画像の予測誤差の分布パラメータ（相関パラメータ）を推定する（ステップＳ１０９）。
【００５４】
そして、送信符号量計算部１１１は、推定した相関パラメータを、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部１０５の相関補正部１１５へ送信すると共に（ステップＳ１１０）、送信符号量計算部１１１で、推定した相関パラメータを基に、各ビットプレーンの予測画像の誤りを推定し、それを訂正するための誤り訂正符号の量（送信符号量）を計算する（ステップＳ１１１）。後者の処理は、フレーム符号化部１０３の予測画像生成部１１０で生成された予測画像をフレーム復号部１０５側で生成する予測画像と仮定することで、原画像（ＷＺフレーム）に対する誤り量を推定し、誤りを訂正するために必要な誤り訂正符号の量を推定する処理である。
【００５５】
上述した分布パラメータ（相関パラメータ）を推定する処理（ステップＳ１０９）や、誤り訂正符号の量を計算する処理（ステップＳ１１１）の手法として、例えば、非特許文献２などに記載の方法を用いることができる。例えば、非特許文献２の記載方法は、計算式の記載は省略し、非特許文献２の記載に委ねるが、予測誤差の分布を平均０のラプラス分布と仮定し、予測画像と原画像の差分の分散を計算し、分布パラメータ（相関パラメータ）の推定値を得、得られた分布パラメータの推定値を利用してビットエラーの確率（誤り量）を推定し、得られたビットエラーの確率の推定値を利用して誤り訂正符号の量（送信符号量）を推定するものである。
【００５６】
送信符号量計算部１１１は、各ビットプレーンについてそれぞれ推定した、送信すべき誤り訂正符号の量をバッファ１０９へ入力し（ステップＳ１１２）、バッファ１０９は、全てのビットプレーンについて、推定された量の誤り訂正符号をＷｙｎｅｒ−Ｚｉｖフレーム復号部１０５へ送信する（ステップＳ１１３）。
【００５７】
次に、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部１０５とキーフレーム復号部１０６とを有する動画像復号装置１０２の動作を説明する。
【００５８】
１フレーム目はキーフレームであるため、キーフレーム復号部１０６は、キーフレーム符号化部１０４から送信された符号化されたキーフレームを受信し、復号を行う。キーフレームの符号化方式は、上述した例ではイントラ符号化方式であるので、キーフレーム復号部１０６は、イントラ符号化方式における復号を行うことにより、復号画像を得る。
【００５９】
２フレーム目はＷＺフレームであるので、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部１０５が復号を行う。以下、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部１０５の動作を、図１及び図２を参照して説明する。
【００６０】
まず、キーフレーム復号部１０６から、処理対象のフレーム（２フレーム目；ＷＺフレーム）の前後（１フレーム目及び３フレーム目）のキーフレームをサイドインフォメーション生成部１１４へ入力し（ステップＳ２０１）、サイドインフォメーション生成部１１４は、前後のキーフレームから、処理対象フレーム（ＷＺフレーム）の予測画像を生成すると共に（ステップＳ２０２）、生成した予測画像を量子化・２値化しビットプレーン（特許請求の範囲の原画擬似画像情報に該当する）へ分割する（ステップＳ２０３）。予測画像生成方法として、既存のいかなる方法を適用しても良い。予測画像の生成方法として、例えば、前後フレームの平均を適用する方法や、参照文献１に記載のような動き推定や動き補償を行って生成する方法を適用できる。なお、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０３の予測画像生成部１１０が適用している生成方法と、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部１０５のサイドインフォメーション生成部１１４が適用している生成方法とは必ずしも同一である必要はない。
【００６１】
参照文献１：「Ｊｏ〜ａｏ  Ａｓｃｅｎｓｏ，  Ｃａｔａｒｉｎａ  Ｂｒｉｔｅｓ，  ａｎｄ  Ｆｅｒｎａｎｄｏ  Ｐｅｒｅｉｒａ，  “Ｉｍｐｒｏｖｉｎｇ  ｆｒａｍｅ  ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｗｉｔｈ  ｓｐａｔｉａｌ  ｍｏｔｉｏｎ  ｓｍｏｏｔｈｉｎｇ  ｆｏｒ  ｐｉｘｅｌ  ｄｏｍａｉｎ  ｄｉｓｔｒｉｂｕｔｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ，”  ５ｔｈ  ＥＵＲＡＳＩＰ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ａｎｄ  Ｓｅｒｖｉｃｅｓ，  Ｊｕｌｙ  ２００５．」
また、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０３から送信された相関パラメータを相関補正部１１５へ入力し（ステップＳ２０４）、相関補正部１１５は、相関パラメータを補正すると共に（ステップＳ２０５）、補正した相関パラメータをＳｌｅｐｉａｎ−Ｗｏｌｆ復号部１１２へ入力する（ステップＳ２０６）。
【００６２】
ＷＺフレームの予測画像と原画像の差分の分布、すなわち、予測差分の分布が、平均０のラプラス分布に従うと仮定した場合、相関パラメータは分布パラメータαで表される。ラプラス分布のパラメータαと分散σ２の関係は、以下の（１）式で表される（非特許文献２参照）。
【００６３】
α２＝２／σ２            …（１）
Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０３の処理量が少ないというＤＶＣ方式の特徴を考慮すると、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部１０５で生成される予測画像の方がＷｙｎｅｒ−Ｚｉｖフレーム符号化部１０３で生成される予測画像よりも原画像により近くなることが多いと考えられる。そのため、サイドインフォメーション生成部１１４で生成される予測画像と原画像の予測差分の分布の分散は小さいと考えられる。そのため、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０３で推定した相関パラメータを、分散を小さくする（＝分布パラメータαを大きくする）方向へ補正することにより、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部１０５で生成する予測画像と原画像の間の相関へ近付けることができる。例えば、重みＷを用いて、補正後の相関パラメータをＷ・αとする。重みＷは一律の重みでも良く、重みＷが条件などによって変化させるものであっても良い。例えば、予測画像の生成方法として、参照文献１に記載のような動き推定や動き補償を行って生成する方法を適用した場合には、予測画像生成の際に利用した動き情報に所定の関数を適用して重みＷを得ても良く、また、動き情報と重みＷとを対応付けた変換テーブルを用意しておいて重みＷを得るようにしても良い。
【００６４】
その後、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部１１２へサイドインフォメーション生成部１１４で生成した１つのビットプレーンを入力し（ステップＳ２０７）、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部１１２は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０３から送信された誤り訂正符号を受信し（ステップＳ２０８）、受信した誤り訂正符号と相関補正部１１５で補正された相関パラメータとを用いて、入力した予測画像のビットプレーンを誤り訂正（Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号）し（ステップＳ２０９）、その復号結果を復号画像生成部１１３へ出力する（ステップＳ２１０）。
【００６５】
サイドインフォメーション生成部１１４が生成した全てのビットプレーンについて、それぞれ、上述したビットプレーンの入力、誤り訂正符号の受信、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号、復号結果の出力という一連の処理（ステップＳ２０７〜Ｓ２１０）を繰り返す（ステップＳ２１１）。
【００６６】
そして、復号画像生成部１１３は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号結果のビットプレーンと、サイドインフォメーション生成部１１４で生成された予測画像の情報を参照してフレーム単位の情報に再構成した後、再構成されたフレームを逆量子化することにより復号画像を得る（ステップＳ２１２）。
【００６７】
入力シーケンスにおける奇数番目のフレームの処理は、上述した１フレーム目の処理と同様であり、入力シーケンスにおける偶数番目のフレームの処理は、上述した２フレーム目の処理と同様である。
【００６８】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、相関補正部において、相関パラメータをＷｙｎｅｒ−Ｚｉｖフレーム復号部の生成する予測画像と原画像との予測誤差分布の真の分布に近い相関パラメータに補正するようにしたので、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号の際に、真の誤りに近い誤りを仮定して復号を行うことができる。その結果、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号でより早く真の値に収束し、繰り返し復号における繰り返し回数を少なくすることができる。
【００６９】
（Ｂ）第２の実施形態
次に、本発明による動画像復号装置、方法及びプログラム、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システムの第２の実施形態を、図面を参照しながら詳述する。
【００７０】
（Ｂ−１）第２の実施形態の構成
図４は、第１の実施形態の動画像符号化システムの構成を示すブロック図であり、上述した第１の実施形態に係る図１との同一、対応部分には同一符号を付して示している。
【００７１】
図４において、第１の実施形態の動画像符号化システム２００は、動画像符号化装置２０１と、それに対向する動画像復号装置２０２とから構成される。
【００７２】
動画像符号化装置２０１は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部２０３とキーフレーム符号化部１０４とを備える。動画像復号装置２０２は、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２０５とキーフレーム復号部１０６とを有する。
【００７３】
第２の実施形態のＷｙｎｅｒ−Ｚｉｖフレーム符号化部２０３も、量子化・ビットプレーン分割部１０７と、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８と、予測画像生成部２１０と、送信符号量計算部１１１と、バッファ１０９とを有するが、予測画像生成部２１０が、第１の実施形態のものと多少異なっている。
【００７４】
第２の実施形態の予測画像生成部２１０は、ＷＺフレームの前、若しくは、ＷＺフレームの後、若しくは、ＷＺフレームの前後のキーフレームを入力し、ＷＺフレームの予測画像を生成し、予測画像と、どのような方法で予測画像を生成したかというエンコーダ予測画像生成情報を出力する。予測画像生成部２１０は、予測画像を送信符号量計算部１１１へ出力し、エンコーダ予測画像生成情報をＷｙｎｅｒ−Ｚｉｖフレーム復号部２０５へ送信する。
【００７５】
第２の実施形態のＷｙｎｅｒ−Ｚｉｖフレーム復号部２０５も、サイドインフォメーション生成部２１４と、相関補正部２１５と、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部１１２と、復号画像生成部１１３とを有するが、サイドインフォメーション生成部２１４及び相関補正部２１５が、第１の実施形態のものと多少異なっている。
【００７６】
サイドインフォメーション生成部２１４は、キーフレーム復号部１０６で得られたＷＺフレームの前、若しくは、ＷＺフレームの後、若しくは、ＷＺフレームの前後のキーフレームの復号画像から、動き推定と動き補償などの手法を用いてＷＺフレームの予測画像を生成し、量子化とビットプレーンへの分割を行い、どのような手法で予測画像を生成したかというデコーダ予測画像生成情報と予測画像とを相関補正部２１５へ出力する。
【００７７】
相関補正部２１５は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部２０３から送信された相関パラメータ及びエンコーダ予測画像生成情報を受信し、相関パラメータを、サイドインフォメーション生成部２１４から入力されたデコーダ予測画像生成情報と、エンコーダ予測画像生成情報とを用いて補正するものである。
【００７８】
（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態に係る動画像符号化システム２００の動作を、図４に加えて、図５及び図６をも参照しながら説明する。ここで、図４は、第２の実施形態のＷｙｎｅｒ−Ｚｉｖフレーム符号化部２０３における動作を示すフローチャートであり、上述した第１の実施形態に係る図２との同一、対応ステップには同一、対応符号を付して示している。また、図５は、第２の実施形態のＷｙｎｅｒ−Ｚｉｖフレーム復号部２０５における動作を示すフローチャートであり、上述した第２の実施形態に係る図３との同一、対応ステップには同一、対応符号を付して示している。
【００７９】
第２の実施形態の動画像符号化システム２００は、第１の実施形態の動画像符号化システム１００に比較すると、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部２０３における動作と、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２０５における動作が異なっている。
【００８０】
入力シーケンスの２フレーム目（ＷＺフレーム）を処理するとして、第２の実施形態のＷｙｎｅｒ−Ｚｉｖフレーム符号化部２０３の動作を図４及び図５を参照しながら説明する。
【００８１】
まず、入力シーケンスから２フレーム目の原画像を取り出し、量子化・ピットプレーン分割部１０７へ入力し（ステップＳ１０１）、量子化・ビットプレーン分割部１０７は、２フレーム目の原画像（ＷＺフレーム）の画素値を量子化し２値化し、その結果をビットプレーンへ分割する（ステップＳ１０２）。そして、量子化・ビットプレーン分割部１０７の出力結果から１つのビットプレーンをＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８へ入力し（ステップＳ１０３）、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８で、Ｔｕｒｂｏ符号やＬＤＰＣ符号などの方法で、ビットプレーンをＳｌｅｐｉａｎ−Ｗｏｌｆ符号化し、誤り訂正符号のみをバッファ１０９へ保存する（ステップＳ１０４）。このような処理を全てのビットプレーンに対して繰り返し実行する（ステップＳ１０５）。
【００８２】
また、キーフレーム符号化部１０４から前後（１フレーム目及び３フレーム目）のキーフレームを予測画像生成部２１０へ入力し（ステップＳ１０６）、予測画像生成部２１０は、前後のキーフレームから、２フレーム目（ＷＺフレーム）の予測画像を生成する（ステップＳ１０７）。
【００８３】
以上までの処理は、第１の実施形態と同様である。次に、予測画像生成部２１０は、どのような方法で予測画像を生成したかということを表すエンコーダ予測画像生成情報を相関補正部２１５へ送信する（ステップＳ３０１）。例えば、予測画像として前のキーフレームを用いた場合は「１」、前後のキーフレームを用いた場合は「２」というように、予測画像の各生成手法とＩＤとの対応関係を予め定めておき、予測画像生成部２１０が採用している予測画像の生成手法に応じたＩＤを、エンコーダ予測画像生成情報として適用するようにすれば良い。これ以降の処理は、第１の実施形態と同様である。
【００８４】
予測画像生成部１１０が生成した２フレーム目の予測画像と、入力シーケンスから得た２フレーム目の原画像（ＷＺフレーム）を送信符号量計算部１１１へ入力し（ステップＳ１０８）、送信符号量計算部１１１は、入力された２フレーム目のＷＺフレームの予測画像と原画像を比較し、予測画像の予測誤差の分布パラメータ（相関パラメータ）を推定する（ステップＳ１０９）。そして、送信符号量計算部１１１は、推定した相関パラメータを、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部１０５の相関補正部１１５へ送信すると共に（ステップＳ１１０）、送信符号量計算部１１１で、推定した相関パラメータを基に、各ビットプレーンの予測画像の誤りを推定し、それを訂正するための誤り訂正符号の量（送信符号量）を計算する（ステップＳ１１１）。送信符号量計算部１１１は、各ビットプレーンについてそれぞれ推定した、送信すべき誤り訂正符号の量をバッファ１０９へ入力し（ステップＳ１１２）、バッファ１０９は、全てのビットプレーンについて、推定された量の誤り訂正符号をＷｙｎｅｒ−Ｚｉｖフレーム復号部１０５へ送信する（ステップＳ１１３）。
【００８５】
次に、入力シーケンスの２フレーム目（ＷＺフレーム）を処理するとして、第２の実施形態のＷｙｎｅｒ−Ｚｉｖフレーム復号部２０５の動作を図４及び図６を参照しながら説明する。
【００８６】
まず、キーフレーム復号部１０６から、処理対象のフレーム（２フレーム目；ＷＺフレーム）の前後（１フレーム目及び３フレーム目）のキーフレームをサイドインフォメーション生成部２１４へ入力し（ステップＳ２０１）、サイドインフォメーション生成部２１４は、前後のキーフレーム等から、処理対象フレーム（ＷＺフレーム）の予測画像を生成する（ステップＳ２０２）。
【００８７】
第２の実施形態の場合、サイドインフォメーション生成部２１４は、どのような方法で予測画像を生成したかということを表すデコーダ予測画像生成情報を相関補正部２１５へ出力する（ステップＳ４０１）。例えば、予測画像として前のキーフレームを用いた場合は「１」、前後のキーフレームの平均を用いた場合は「２」、前後のキーフレームを用いて動き推定及び動き補償を行った場合は「３」というように、予測画像の各生成手法とＩＤとの対応関係を予め定めておき、サイドインフォメーション生成部２１４が採用している予測画像の生成手法に応じたＩＤを、デコーダ予測画像生成情報として適用するようにすれば良い。また、サイドインフォメーション生成部２１４は、生成した予測画像を量子化・２値化しビットプレーンへ分割する（ステップＳ２０３）。
【００８８】
また、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部１０３から送信された相関パラメータとエンコーダ予測画像生成情報とを相関補正部２１５へ入力し（ステップＳ４０２）、相関補正部２１５は、相関パラメータを後述のように補正すると共に（ステップＳ４０３）、補正した相関パラメータをＳｌｅｐｉａｎ−Ｗｏｌｆ復号部１１２へ入力する（ステップＳ２０６）。
【００８９】
第２の実施形態でも、重みＷを用いて、相関パラメータαに重みＷを乗算することにより、補正後の相関パラメータＷ・αを得る。第２の実施形態の場合、この重みＷの決定に、エンコーダ予測画像生成情報とデコーダ予測画像生成情報とが利用される。例えば、エンコーダ予測画像生成情報とデコーダ予測画像生成情報とのＩＤの組み合わせに対応付けて重みＷを格納したテーブルを相関補正部２１５が内蔵し、そのテーブルに、今回与えられたエンコーダ予測画像生成情報とデコーダ予測画像生成情報とのＩＤを適用して重みＷを取り出して補正する。
【００９０】
予測画像として、前のフレームの画像を用いるよりも前後のフレームの平均を用いた方がより原画像に近く、動き推定及び動き補償を用いた方がより原画像に近いと考えられる。そのため、これらの関係を考慮して、各組み合わせについて、重みＷを予め定めておく。例えば、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部２０３側の予測画像生成手法が前後のフレームの平均で、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部２０５側の予測画像生成手法が動き推定・動き補償である場合には、エンコーダ予測画像生成情報とデコーダ予測画像生成情報とに基づいて、予め定められているその重みＷを取り出して、相関パラメータの補正を行う。例えば、さまざまなシーケンスを用いて、予測画像生成方法の組み合わせについて、重みを実験的に調べて、適切な重みＷを設定するようにすれば良い。これ以降の処理は、第１の実施形態と同様である。
【００９１】
Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部１１２へサイドインフォメーション生成部２１４で生成した１つのビットプレーンを入力し（ステップＳ２０７）、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部１１２は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部２０３から送信された誤り訂正符号を受信し（ステップＳ２０８）、受信した誤り訂正符号と相関補正部２１５で補正された相関パラメータとを用いて、入力した予測画像のビットプレーンを誤り訂正（Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号）し（ステップＳ２０９）、その復号結果を復号画像生成部１１３へ出力する（ステップＳ２１０）。サイドインフォメーション生成部２１４が生成した全てのビットプレーンについて、それぞれ、上述したビットプレーンの入力、誤り訂正符号の受信、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号、復号結果の出力という一連の処理（ステップＳ２０７〜Ｓ２１０）を繰り返す（ステップＳ２１１）。そして、復号画像生成部１１３は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号結果のビットプレーンと、サイドインフォメーション生成部１１４で生成された予測画像の情報を参照してフレーム単位の情報に再構成した後、再構成されたフレームを逆量子化することにより復号画像を得る（ステップＳ２１２）。
【００９２】
（Ｂ−３）第２の実施形態の効果
第２の実施形態によっても、Ｗｙｎｅｒ−Ｚｉｖフレーム復号部が受信した相関パラメータを補正して用いているので、第１の実施形態で言及した効果を奏することができる。さらに、第２の実施形態によれば、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部及びＷｙｎｅｒ−Ｚｉｖフレーム復号部における予測画像の生成方法の組み合わせによって、補正用の重みを変更するようにしているので、相関パラメータを第１の実施形態以上に正確に補正することが期待できる。
【００９３】
（Ｃ）他の実施形態
上記各実施形態の説明においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。
【００９４】
上記各実施形態の動画像符号化装置及び動画像復号装置間の通信路は、狭義の通信路に限定されるものではなく、広義の通信路であって良い。すなわち、リアルタイムの通信だけでなく、動画像符号化装置が符号化したデータを記録媒体に記録し、動画像復号装置が記録媒体から読み出したデータを処理するものであっても良い。
【００９５】
予測画像の生成に用いるキーフレーム若しくはその範囲は、上記各実施形態のものに限定されるものではない。例えば、ＷＺフレームの前側にも後側にも２つずつのキーフレームを利用するようにしても良い。
【００９６】
第２の実施形態では、エンコーダ予測画像生成情報とデコーダ予測画像生成情報として、予測画像生成手法に割り当てられたＩＤを用いたものを示したが、予測画像の生成手法を区別できれば良く、表現形式は問われないものである。
【００９７】
第２の実施形態では、予測画像生成手法を、相関パラメータの補正用パラメータの決定に用いたものを示したが、予測画像の特徴を表す情報等の他の情報を、補正用パラメータの決定に用いるようにしても良い。例えば、前後のキーフレームから得た動き情報（キーフレーム符号化部から取り込むようにしても良い）を、予測画像生成手法に代えて用いるようにしても良い。
【００９８】
第２の実施形態の説明では、明確に言及しなかったが、予測画像の生成手法は、動画像符号化装置及び動画像復号装置共に、全てのＷＺフレームについて同じであっても良く、各ＷＺフレーム毎にダイナミックに定めるものであっても良い。前者の場合であれば、各ＷＺフレームの処理毎に、エンコーダ予測画像生成情報とデコーダ予測画像生成情報を入力させるのではなく、符号化及び復号の開始前に初期時の処理として相関補正部に入力させるようにしても良い。後者の方法としては、例えば、前後のキーフレームから得た動き情報に基づき、動きがない静止フレームと判断したときには、前（若しくは後）のキーフレームを予測画像に適用し、動きがあると判定したときには、動き推定や動き補償を行って予測画像を生成するようにする方法を挙げることができる。このような場合の動き情報を、キーフレーム符号化部から取り込むようにしても良い。
【００９９】
第２の実施形態では、エンコーダ予測画像生成情報及びデコーダ予測画像生成情報から、相関パラメータを補正する重みを決定するものを示したが、エンコーダ予測画像生成情報だけから相関パラメータを補正する重みを決定するようにしても良く、デコーダ予測画像生成情報だけから相関パラメータを補正する重みを決定するようにしても良い。
【０１００】
上記各実施形態では、入力シーケンス（フレーム系列）から、キーフレーム及びＷＺフレームを交互に取り出すものを示したが、キーフレーム及びＷＺフレームの比率はこれに限定されるものではない。例えば、キーフレームを２フレーム連続させた次の１フレームをＷＺフレームとし、キーフレーム及びＷＺフレームの比率を２：１とするようにしても良い。この場合、キーフレーム符号化部及びキーフレーム復号部は、入力されたキーフレームの時間軸の変化が一律ではないことに応じて、動き補償などを実行するようにすれば良い。
【０１０１】
キーフレームの符号化方式は、問われないものである。フレーム内符号化方式に固定されていても良く、フレーム間符号化方式に固定されていても良く、フレーム内符号化方式及びフレーム間符号化方式をフレーム内容に応じて適応的に切り替えるものであっても良い。
【符号の説明】
【０１０２】
１００、２００…動画像符号化システム、
１０１、２０１…動画像符号化装置、
１０３、２０３…Ｗｙｎｅｒ−Ｚｉｖフレーム符号化部、
１０７…量子化・ビットプレーン分割部、
１０８…Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部、
１０９…バッファ、
１１０、２１０…予測画像生成部、
１１１…送信符号量計算部、
１０４…キーフレーム符号化部、
１０２、２０２…動画像復号装置、
１０５、２０５…Ｗｙｎｅｒ−Ｚｉｖフレーム復号部、
１１２…Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部、
１１３…復号画像生成部、
１１４、２１４…サイドインフォメーション生成部、
１１５、２１５…相関補正部、
１０６…キーフレーム復号部。
【図１】
2010193304.tif 000003
【図２】
2010193304.tif 000004
【図３】
2010193304.tif 000005
【図４】
2010193304.tif 000006
【図５】
2010193304.tif 000007
【図６】
2010193304.tif 000008