(57)【要約】【課題】  キーフレームについて復号器から符号化器へ情報をフィードバックしない動画像符号化装置を提供する。【解決手段】  本発明の動画像符号化装置は、キーフレームについては、フレーム内符号化又はフレーム間符号化するキーフレーム符号化器と、非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する。  キーフレーム符号化器は、参照用キーフレームの動き補償をする際に必要となる動き情報を、予測画像の生成時に利用する、非キーフレーム符号化器が生成した動き情報を補正して形成する。又は、非キーフレーム符号化器は、予測画像の生成時に利用する動き情報を、参照用キーフレームの動き補償をする際に必要となる、キーフレーム符号化器が生成した動き情報を補正して形成する。【選択図】      図１
2010206395.tif 000002
【特許請求の範囲】
【請求項１】
フレーム系列を分離したキーフレームについては、フレーム内符号化又はフレーム間符号化を適用して符号化するキーフレーム符号化器と、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する動画像符号化装置において、
上記キーフレーム符号化器は、
参照用キーフレームを格納している参照用キーフレーム格納手段と、
上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償する動き補償手段と、
上記動き補償手段に与えるキーフレーム間の動き情報を形成する第１の動き情報形成手段とを備え、
上記非キーフレーム符号化器は、
上記予測画像を生成する予測画像生成手段と、
上記予測画像生成手段が上記予測画像の生成時に利用する非キーフレームに係る動き情報を形成する第２の動き情報形成手段とを備え、
上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が、接近したキーフレームや非キーフレームの複数のフレームから動き推定によって動き情報を生成するものであり、
上記第１の動き情報形成手段及び上記第２の動き情報形成手段の他方が、上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が生成した動き情報を取り込み、その動き情報に対する補正によって動き情報を形成するものである
ことを特徴とする動画像符号化装置。
【請求項２】
上記第２の動き情報形成手段が、接近したキーフレームや非キーフレームの複数のフレームから動き推定によって非キーフレームに係る動き情報を生成するものであり、
上記第１の動き情報形成手段が、上記第２の動き情報形成手段が生成した非キーフレームに係る動き情報を取り込み、その動き情報に対する外挿によってキーフレーム間の動き情報を形成するものである
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
上記第１の動き情報形成手段が、接近した複数のキーフレームから動き推定によってキーフレーム間の動き情報を生成するものであり、
上記第２の動き情報形成手段が、上記第１の動き情報形成手段が生成したキーフレーム間の動き情報を取り込み、その動き情報に対する内挿によって非キーフレームに係る動き情報を形成するものである
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
上記第２の動き情報形成手段は、上記第１の動き情報形成手段がキーフレーム間の動き情報を生成できない初期側の非キーフレームについては、接近したキーフレームや非キーフレームの複数のフレームから動き推定によって非キーフレームに係る動き情報を生成することを特徴とする請求項３に記載の動画像符号化装置。
【請求項５】
フレーム系列を分離したキーフレームについては、フレーム内符号化又はフレーム間符号化を適用して符号化するキーフレーム符号化器と、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する動画像符号化装置と、キーフレーム復号器と非キーフレーム復号器とを有する動画像復号装置とを対向している動画像符号化システムにおいて、
上記動画像符号化装置として、請求項３に記載の動画像符号化装置を適用していると共に、
上記動画像復号装置が、
参照用キーフレームを格納している復号側参照用キーフレーム格納手段と、
上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償する復号側動き補償手段と、
上記第１の動き情報形成手段と同じ動き情報の生成方法で、上記復号側動き補償手段に与えるキーフレーム間の動き情報を形成する第３の動き情報形成手段とを備えたキーフレーム復号器を有する
ことを特徴とする動画像符号化システム。
【請求項６】
フレーム系列を分離したキーフレームについては、フレーム内符号化又はフレーム間符号化を適用して符号化するキーフレーム符号化器と、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する動画像符号化装置が実行する動画像符号化方法において、
上記キーフレーム符号化器において、
参照用キーフレーム格納手段は、参照用キーフレームを格納し、
動き補償手段は、上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償し、
第１の動き情報形成手段は、上記動き補償手段に与えるキーフレーム間の動き情報を形成し、
上記非キーフレーム符号化器において、
予測画像生成手段は、上記予測画像を生成し、
第２の動き情報形成手段は、上記予測画像生成手段が上記予測画像の生成時に利用する非キーフレームに係る動き情報を形成し、
上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が、接近したキーフレームや非キーフレームの複数のフレームから動き推定によって動き情報を生成し、
上記第１の動き情報形成手段及び上記第２の動き情報形成手段の他方が、上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が生成した動き情報を取り込み、その動き情報に対する補正によって動き情報を形成する
ことを特徴とする動画像符号化方法。
【請求項７】
フレーム系列を分離したキーフレームについては、フレーム内符号化又はフレーム間符号化を適用して符号化するキーフレーム符号化器と、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する動画像符号化装置を構成するコンピュータを、
参照用キーフレームを格納している参照用キーフレーム格納手段と、上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償する動き補償手段と、上記動き補償手段に与えるキーフレーム間の動き情報を形成する第１の動き情報形成手段とを備えた上記キーフレーム符号化器と、
上記予測画像を生成する予測画像生成手段と、上記予測画像生成手段が上記予測画像の生成時に利用する非キーフレームに係る動き情報を形成する第２の動き情報形成手段とを備えた上記非キーフレーム符号化器として機能させるものであり、
機能させる上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が、接近したキーフレームや非キーフレームの複数のフレームから動き推定によって動き情報を生成するものであり、
機能させる上記第１の動き情報形成手段及び上記第２の動き情報形成手段の他方が、上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が生成した動き情報を取り込み、その動き情報に対する補正によって動き情報を形成するものである
ことを特徴とする動画像符号化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、方法及びプログラム、並びに、動画像符号化システムに関し、例えば、分散映像符号化方式（Ｄｉｓｔｒｉｂｕｔｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ：以下、ＤＶＣ方式と呼ぶ）を用いたものに適用し得るものである。
【背景技術】
【０００２】
近年、非特許文献１に記載されるようなＤＶＣ方式という新しい符号化方式が注目されている。
【０００３】
このＤＶＣ方式は、動画像の符号化において、いくつかのフレーム（以下、キーフレームと呼ぶ）についてはフレーム内符号化を適用し（なお、キーフレームに対して、フレーム間符号化方式を適用していることもある）、一方、その他のフレーム（若しくは全て）のフレーム（Ｗｙｎｅｒ−Ｚｉｖフレーム（非キーフレーム））については、時間方向の予測誤差信号の誤り訂正符号（パリティビット）のみを符号化して伝送するものである。
【０００４】
今日のＤＶＣ方式は、Ｓｌｅｐｉａｎ−Ｗｏｌｆ定理及びＷｙｎｅｒ−Ｚｉｖ定理という２つのキーとなる情報理論に基づいた新しい圧縮方式である。ＤＶＣ方式は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器で符号化するべき原画像（Ｗｙｎｅｒ−Ｚｉｖフレーム：以下、ＷＺフレームと呼ぶ）に対してＳｌｅｐｉａｎ−Ｗｏｌｆ符号化処理を行い、その符号化データとＷｙｎｅｒ−Ｚｉｖフレーム復号器側で得たＷｙｎｅｒ−Ｚｉｖフレーム符号化器側の原画像の予測画像とを基にＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行う、新しい符号化方式である。
【０００５】
非特許文献１に記載されるようなＤＶＣ方式は、キーフレームの符号化、復号には特徴がないので、以下、非特許文献１の図１を参照しながら、ＷＺフレームの符号化、復号の面から説明する。
【０００６】
Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器で、符号化するべきＷＺフレームを変換係数領域に変換（ＤＣＴ）した後、帯域毎に、量子化（２ＭＫ  ｌｅｖｅｌ  Ｑｕａｎｔｉｚｅｒ）し、その量子化値（ｑｋ）を２値で表し、各ビットの情報を、例えば、１フレーム分集めた情報（Ｅｘｔｒａｃｔ  ｂｉｔ−ｐｌａｎｅｓ）毎にＳｌｅｐｉａｎ−Ｗｏｌｆ符号化（Ｔｕｒｂｏ  Ｅｎｃｏｄｅｒ）を行い、その結果のうち、パリティピットのみを一時保存（Ｂｕｆｆｅｒ）し、情報ピットは捨てられる（非特許文献１の図１には明確に図示されていない）。
【０００７】
Ｗｙｎｅｒ−Ｚｉｖフレーム復号器では、予測画像を生成し（Ｉｎｔｅｒｐｏｌａｔｉｏｎ／Ｅｘｔｒａｐｏｌａｔｉｏｎ）、その予測画像を変換係数領域に変換（ＤＣＴ）し、帯域毎に、サイドインフォメーション（サイドインフォメーション；副次情報）としてＳｌｅｐｉａｎ−Ｗｏｌｆ復号部（Ｔｕｒｂｏ  Ｄｅｃｏｄｅｒ）に入力する。
【０００８】
Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器に対して、一時保存しているパリティピットのうち一部に対して送信要求（Ｒｅｑｕｅｓｔ  ｂｉｔｓ）を行う。受信したパリティビットと、上述したサイドインフォメーションからＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行う。十分な復号が行えなかった場合には、再度、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器側にパリティビットの一部の追加送信要求（Ｒｅｑｕｅｓｔ  ｂｉｔｓ）を行い、受信したパリティビットと上述したサイドインフォメーションからＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行う。この処理を、十分な復号が行えるまで続ける。
【０００９】
その後、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号の復号値と、サイドインフォメーションから変換係数を再構築し、逆変換（ＩＤＣＴ）することで復号画像を得る。
【００１０】
非特許文献１の記載技術では、キーフレームをイントラ（フレーム内）符号化しているため、キーフレームの符号化効率が上がらないとう問題点がある。
【００１１】
この問題に対し、非特許文献２の記載技術は、キーフレームをインター（フレーム間）符号化することで符号化効率を向上させている。非特許文献２の記載技術におけるインター符号化の手法は、キーフレーム符号化器が既に復号したキーフレームから動き推定を行い、得られた動き情報をキーフレーム符号化器にフィードバックすることによってインター符号化を実現している。
【００１２】
一方、非特許文献１に記載されているような一般のＤＶＣ方式では、パンクチャー（ｐｕｎｃｔｕｒｅ）された誤り訂正符号の一部をＷｙｎｅｒ−Ｚｉｖフレーム復号器へ送信し、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器で誤り訂正符号を受け取り、誤り訂正を行う。このとき、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器が十分に誤り訂正できない場合は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器へ追加の誤り訂正符号の送信を要求し、十分に誤り訂正が可能になるまでこれを繰り返す。そのため、再送要求というフィードバックを行うために、遅延が生じることや、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器とＷｙｎｅｒ−Ｚｉｖフレーム復号器が単独で動作できないという問題がある。
【００１３】
非特許文献３の記載技術では、この再送要求を避けるために、誤り訂正に必要な誤り訂正符号の量をＷｙｎｅｒ−Ｚｉｖフレーム符号化器で計算している。非特許文献３の記載技術では、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器の作る予測画像を想定し、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器側で探索範囲を絞った簡易的な動き推定を行うことで予測画像を生成し、原画像と比較することにより、訂正を行う対象（Ｗｙｎｅｒ−Ｚｉｖフレーム復号器の作る予測画像）が原画像に対してのどれほど誤りがあるかを推定し、それを訂正するための必要なパリティ量を計算するものであり、これにより、フィードバックを必要としないようになされている。
【先行技術文献】
【非特許文献】
【００１４】
【非特許文献１】Ａｎｎｅ  Ａａｒｏｎ，  Ｓｈａｎｔａｎｕ  Ｒａｎｅ，  Ｅｒｉｃ  Ｓｅｔｔｏｎ，  ａｎｄ  Ｂｅｒｎｄ  Ｇｉｒｏｄ：Ｔｒａｎｓｆｏｒｍ−ｄｏｍａｉｎ  Ｗｙｎｅｒ−Ｚｉｖ  Ｃｏｄｅｃ  ｆｏｒ  Ｖｉｄｅｏ．  Ｉｎ：Ｐｒｏｃ，  ＳＰＩＥ  Ｖｉｓｕａｌ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  Ｓａｎ  Ｊｏｓｅ，  ＣＡ（２００４）
【非特許文献２】Ｌ．Ｌｉｕ  Ｚ．Ｌｉ  ａｎｄ  Ｅ．Ｊ．Ｄｅｌｐ，“Ｂａｃｋｗａｒｄ  ｃｈａｎｎｅｌ  ａｗａｒｅ  Ｗｙｎｅｒ−Ｚｉｖ  ｖｉｄｅｏ  ｃｏｄｉｎｇ”  ｉｎ  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  Ａｔｌａｎｔａ，  ＧＡ，  Ｏｃｔｏｂｅｒ  ２００６．
【非特許文献３】Ｃ．Ｂｒｉｔｅｓ，  Ｆ．Ｐｅｒｅｉｒａ，“Ｅｎｃｏｄｅｒ  Ｒａｔｅ  Ｃｏｎｔｒｏｌ  ｆｏｒ  Ｔｒａｎｓｆｏｒｍ  Ｄｏｍａｉｎ  Ｗｙｎｅｒ−Ｚｉｖ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ”  （ＩＣＩＰ２００７）
【発明の概要】
【発明が解決しようとする課題】
【００１５】
ＤＶＣ方式は、（１）符号化器側の処理が少ない、（２）通常は（非特許文献１、２の記載技術）、Ｗｙｎｅｒ−Ｚｉｖフレームの復号には符号化側へのフィードバック（誤り訂正信号の再送要求）が必要、という特徴を有する。
【００１６】
符号化器の処理の少なさを生かすために、非特許文献１ではキーフレームに画面内（イントラ）符号化方式を使用している。非特許文献２では、キーフレームの符号化効率を向上するため、キーフレームをフレーム間符号化方式で符号化している。このとき、符号化器での処理量の増加を抑えるために、動き推定は復号器側で行っている。非特許文献２の記載技術によって、符号化効率の向上と符号化器の処理量の増加を抑える、ということが実現できるが、復号器からのフィードバックがあることによる問題（遅延が生じる、蓄積型のアプリケーションに利用できない、など）は解決できていない。非特許文献３の記載技術によってＷｙｎｅｒ−Ｚｉｖフレームの復号におけるフィードバックは解消できるが、キーフレームの処理におけるフィードバック（動き情報を符号化器側へ送る）は解消していない。
【００１７】
また、非特許文献２の記載技術と非特許文献３の記載技術とを組み合わせることにより、キーフレームをインター符号化し、符号化効率を上げ、さらに、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器で送信する誤り訂正符号の量を見積もることにより、ＷＺフレームの符号化にフィードバックを必要としない構成が期待できる。
【００１８】
しかしながら、キーフレームのインター符号化において、キーフレーム復号器側で動き推定を行うため、符号化器と復号器とのキーフレームをできるだけ合わせるため、フィードバックが必要となるという課題がある。
【００１９】
そのため、キーフレームについても、復号器から符号化器へのフィードバックをなくすことが可能な動画像符号化装置、方法及びプログラム、並びに、動画像符号化システムが望まれている。
【課題を解決するための手段】
【００２０】
第１の本発明は、フレーム系列を分離したキーフレームについては、フレーム内符号化又はフレーム間符号化を適用して符号化するキーフレーム符号化器と、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する動画像符号化装置において、（１）上記キーフレーム符号化器は、（１−１）参照用キーフレームを格納している参照用キーフレーム格納手段と、（１−２）上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償する動き補償手段と、（１−３）上記動き補償手段に与えるキーフレーム間の動き情報を形成する第１の動き情報形成手段とを備え、（２）上記非キーフレーム符号化器は、（２−１）上記予測画像を生成する予測画像生成手段と、（２−２）上記予測画像生成手段が上記予測画像の生成時に利用する非キーフレームに係る動き情報を形成する第２の動き情報形成手段とを備え、（３）上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が、接近したキーフレームや非キーフレームの複数のフレームから動き推定によって動き情報を生成するものであり、（４）上記第１の動き情報形成手段及び上記第２の動き情報形成手段の他方が、上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が生成した動き情報を取り込み、その動き情報に対する補正によって動き情報を形成するものであることを特徴とする。
【００２１】
第２の本発明は、フレーム系列を分離したキーフレームについては、フレーム内符号化又はフレーム間符号化を適用して符号化するキーフレーム符号化器と、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する動画像符号化装置と、キーフレーム復号器と非キーフレーム復号器とを有する動画像復号装置とを対向している動画像符号化システムにおいて、（１）上記動画像符号化装置のキーフレーム符号化器は、（１−１）参照用キーフレームを格納している参照用キーフレーム格納手段と、（１−２）上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償する動き補償手段と、（１−３）接近した複数のキーフレームから動き推定によって、上記動き補償手段に与えるキーフレーム間の動き情報を生成する第１の動き情報形成手段とを備え、（２）上記動画像符号化装置の上記非キーフレーム符号化器は、（２−１）上記予測画像を生成する予測画像生成手段と、（２−２）上記予測画像生成手段が上記予測画像の生成時に利用する非キーフレームに係る動き情報を、上記第１の動き情報形成手段が生成したキーフレーム間の動き情報を取り込んでその動き情報に対する内挿によって形成する第２の動き情報形成手段とを備え、（３）上記動画像復号装置が、（３−１）参照用キーフレームを格納している復号側参照用キーフレーム格納手段と、（３−２）上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償する復号側動き補償手段と、（３−３）上記第１の動き情報形成手段と同じ動き情報の生成方法で、上記復号側動き補償手段に与えるキーフレーム間の動き情報を形成する第３の動き情報形成手段とを備えたキーフレーム復号器を有することを特徴とする。
【００２２】
第３の本発明は、フレーム系列を分離したキーフレームについては、フレーム内符号化又はフレーム間符号化を適用して符号化するキーフレーム符号化器と、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する動画像符号化装置が実行する動画像符号化方法において、（１）上記キーフレーム符号化器において、（１−１）参照用キーフレーム格納手段は、参照用キーフレームを格納し、（１−２）動き補償手段は、上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償し、（１−３）第１の動き情報形成手段は、上記動き補償手段に与えるキーフレーム間の動き情報を形成し、（２）上記非キーフレーム符号化器において、（２−１）予測画像生成手段は、上記予測画像を生成し、（２−２）第２の動き情報形成手段は、上記予測画像生成手段が上記予測画像の生成時に利用する非キーフレームに係る動き情報を形成し、（３）上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が、接近したキーフレームや非キーフレームの複数のフレームから動き推定によって動き情報を生成し、（４）上記第１の動き情報形成手段及び上記第２の動き情報形成手段の他方が、上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が生成した動き情報を取り込み、その動き情報に対する補正によって動き情報を形成することを特徴とする。
【００２３】
第４の本発明の動画像符号化プログラムは、フレーム系列を分離したキーフレームについては、フレーム内符号化又はフレーム間符号化を適用して符号化するキーフレーム符号化器と、フレーム系列を分離した非キーフレームについては、時間方向が異なるキーフレームから形成した予測画像と、非キーフレームの原画像との差である予測誤差信号に対する誤り訂正符号の情報を得る非キーフレーム符号化器とを有する動画像符号化装置を構成するコンピュータを、（１）参照用キーフレームを格納している参照用キーフレーム格納手段と、上記参照用キーフレーム格納手段から出力された参照用キーフレームに対して、与えられた動き情報を適用して動き補償する動き補償手段と、上記動き補償手段に与えるキーフレーム間の動き情報を形成する第１の動き情報形成手段とを備えた上記キーフレーム符号化器と、（２）上記予測画像を生成する予測画像生成手段と、上記予測画像生成手段が上記予測画像の生成時に利用する非キーフレームに係る動き情報を形成する第２の動き情報形成手段とを備えた上記非キーフレーム符号化器として機能させるものであり、（３）機能させる上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が、接近したキーフレームや非キーフレームの複数のフレームから動き推定によって動き情報を生成するものであり、（４）機能させる上記第１の動き情報形成手段及び上記第２の動き情報形成手段の他方が、上記第１の動き情報形成手段及び上記第２の動き情報形成手段の一方が生成した動き情報を取り込み、その動き情報に対する補正によって動き情報を形成するものであることを特徴とする。
【発明の効果】
【００２４】
本発明によれば、キーフレームについて、復号器から符号化器へのフィードバックをなくすことができる。
【図面の簡単な説明】
【００２５】
【図１】第１の実施形態の動画像符号化システムの構成を示すブロック図である。
【図２】第１の実施形態におけるキーフレームに対するイントラ符号化処理を示すフローチャートである。
【図３】第１の実施形態におけるＷＺフレームの符号化処理を示すフローチャートである。
【図４】第１の実施形態におけるキーフレームに対するインター符号化処理を示すフローチャートである。
【図５】第１の実施形態におけるキーフレームに対するイントラ復号処理を示すフローチャートである。
【図６】第１の実施形態におけるＷＺフレームの復号処理を示すフローチャートである。
【図７】第１の実施形態におけるキーフレームに対するインター復号処理を示すフローチャートである。
【図８】第２の実施形態の動画像符号化システムの構成を示すブロック図である。
【図９】第２の実施形態におけるキーフレームに対するインター符号化処理を示すフローチャートである。
【図１０】第２の実施形態におけるＷＺフレームの符号化処理を示すフローチャートである。
【図１１】第２の実施形態におけるキーフレーム間の動き情報を、ＷＺフレームに係る動き情報に補正する方法の説明図である。
【図１２】第３の実施形態の動画像符号化システムの構成を示すブロック図である。
【図１３】第３の実施形態におけるキーフレームに対するインター符号化処理を示すフローチャートである。
【図１４】第３の実施形態におけるＷＺフレームの符号化処理を示すフローチャート（その１）である。
【図１５】第３の実施形態におけるＷＺフレームの符号化処理を示すフローチャート（その２）である。
【図１６】第３の実施形態におけるキーフレームに対するインター復号処理を示すフローチャートである。
【発明を実施するための形態】
【００２６】
（Ａ）第１の実施形態
以下、本発明による動画像符号化装置、方法及びプログラム、並びに、動画像符号化システムの第１の実施形態を、図面を参照しながら詳述する。第１の実施形態に係る動画像符号化方式は上述したＤＶＣ方式である。
【００２７】
（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の動画像符号化システムの構成を示すブロック図である。
【００２８】
図１において、第１の実施形態の動画像符号化システム１００は、動画像符号化装置１０１と、それに対向する動画像復号装置１０２とから構成される。
【００２９】
動画像符号化装置１０１は、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する汎用的な装置が動画像符号化プログラムを実行することで動画像符号化装置１０１としての機能を実現するように構築されても良い。同様に、動画像復号装置１０２も、ハードウェア的に各種回路を接続して構築されても良く、また、ＣＰＵ、ＲＯＭ、ＲＡＭなどを有する汎用的な装置が動画像復号プログラムを実行することで動画像復号装置１０２としての機能を実現するように構築されても良い。いずれの構築方法を適用した場合であっても、動画像符号化装置１０１及び動画像復号装置１０２の機能的構成は、図１で表すことができる。
【００３０】
動画像符号化装置１０１は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１０３とキーフレーム符号化器１０４とを有する。動画像復号装置１０２は、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５とキーフレーム復号器１０６とを有する。
【００３１】
Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１０３は、Ｗｙｎｅｒ−Ｚｉｖ符号化部１０９と、動き推定部１１０と、予測画像生成部１１１と、送信符号量計算部１１２とを有し、Ｗｙｎｅｒ−Ｚｉｖ符号化部１０９は、変換・量子化部１０７と、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８とを内蔵し、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１０３は、ＷＺフレームを符号化するものである。
【００３２】
一方、キーフレーム符号化器１０４は、減算部１２４と、変換・量子化部１１３と、逆量子化・逆変換部１１４と、加算部１２５と、フレームバッファ１１５と、動き補正部１１７と、動き補償部１１６とを有し、キーフレームをイントラ符号化又はインター符号化するものである。
【００３３】
変換・量子化部１０７は、入力シーケンス（フレーム系列）からＷＺフレーム画像（以下、適宜、ＷＺフレームと呼ぶ）を得、係数領域への係数変換と量子化を行い、ビットプレーン単位へ分割するものである。
【００３４】
Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８は、分割されたビットプレーン単位でＳｌｅｐｉａｎ−Ｗｏｌｆ符号化を行い、送信符号量計算部１１２の結果に従った量の誤り訂正符号をＷｙｎｅｒ−Ｚｉｖフレーム復号器１０５に送信するものである。
【００３５】
動き推定部１１０は、フレームバッファ１１５から入力された、符号化対象のＷＺフレームの前にあるキーフレーム（局部復号されたキーフレーム画像）と、入力シーケンスから分離した符号化対象のＷＺフレームと、符号化対象のＷＺフレームの後の入力シーケンスから分離したキーフレームとを入力し、動き推定を行うものである。
【００３６】
予測画像生成部１１１は、動き推定部１１０で推定された動き情報と、符号化対象のＷＺフレームの前のキーフレーム、後のキーフレーム、又は、前後のキーフレームを用いて、符号化対象のＷＺフレームの予測画像を生成するものである。
【００３７】
送信符号量計算部１１２は、ＷＺフレームの原画像と、予測画像生成部１１１で生成されたその予測画像を比較し、送信する誤り訂正符号の量を計算するものである。
【００３８】
キーフレーム符号化器１０４における減算部１２４は、インター符号化する際に、符号化対象のキーフレームと、動き補償された過去のキーフレームとの差分を求めるものである。なお、イントラ符号化する際には、減算部１２４は、符号化対象のキーフレームをそのまま通過させるものである。
【００３９】
変換・量子化部１１３は、減算部１２４から出力を変換・量子化し、キーフレーム復号器１０６へ送信するものである。減算部１２４から出力は、インター符号化する際には、符号化対象のキーフレームと動き補償した過去のキーフレームとの差分になっており、イントラ符号化する際には、符号化対象のキーフレームそのままとなっている。
【００４０】
逆量子化・逆変換部１１４は、変換・量子化部１１３の出力に対して、変換・量子化部１１３の逆処理である逆量子化・逆変換を行うものである。この逆量子化・逆変換部１１４の逆量子化・逆変換処理は、局部復号処理に相当する処理である。インター符号化では、符号化対象のキーフレームと動き補償した過去のキーフレームとの差分に対応する値が逆量子化・逆変換部１１４から出力され、イントラ符号化では、符号化対象のキーフレームに対応する値が逆量子化・逆変換部１１４から出力される。
【００４１】
加算部１２５は、インター符号化の場合には、動き補償された過去のキーフレームと、局部復号された差分とを加算し、符号化対象のキーフレームの局部復号結果を得るものである。なお、イントラ符号化する際には、加算部１２５は、逆量子化・逆変換部１１４から出力された局部復号された符号化対象のキーフレームをそのまま通過させるものである。
【００４２】
フレームバッファ１１５は、キーフレームを参照するために、局部復号されたキーフレームを保存しておくものである。
【００４３】
動き補正部１１７は、キーフレームと、フレームバッファ１１５に保存されている参照キーフレームと、動き推定部１１０で推定されたＷＺフレームの動き情報を用いて、キーフレームの動き情報を補正するものである。
【００４４】
動き補償部１１６は、動き補正部１１７で得られた動き情報と、フレームバッファ１１５に保存された参照フレームを用いて動き補償を行うものである。
【００４５】
動画像復号装置１０２の一方の構成要素であるＷｙｎｅｒ−Ｚｉｖフレーム復号器１０５は、サイドインフォメーション生成部１１８と、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部１１９と、復号画像生成部１２０とを有し、ＷＺフレームについての復号を行うものである。
【００４６】
動画像復号装置１０２の他方の構成要素であるキーフレーム復号器１０６は、逆量子化・逆変換部１２１と、加算部１２６と、フレームバッファ１２２と、動き補償部１２３とを有し、受信した符号化キーフレームをイントラ復号又はインター復号するものである。
【００４７】
逆量子化・逆変換部１２１は、キーフレーム符号化器１０４からの符号化されたキーフレームを受信し、変換・量子化部１１３の逆処理である逆量子化・逆変換を行うものである。受信した符号化キーフレームがインター符号化されている場合には、処理対象のキーフレームと動き補償した過去のキーフレームとの差分に対応する値が逆量子化・逆変換部１２１から出力され、受信した符号化キーフレームがイントラ符号化されている場合には、処理対象のキーフレームに対応する値が逆量子化・逆変換部１２１から出力される。
【００４８】
加算部１２６は、インター符号化の場合には、動き補償された過去のキーフレームと、逆量子化・逆変換で得られた差分とを加算し、処理対象のキーフレームの復号結果を得るものである。なお、イントラ符号化の場合には、加算部１２６は、逆量子化・逆変換部１２１から出力された処理対象のキーフレームをそのまま通過させるものである。
【００４９】
フレームバッファ１２２は、復号されたキーフレームを、参照するために、また、予測画像の生成に利用するために保存しておくものである。
【００５０】
動き補償部１２３は、キーフレーム符号化器１０４から与えられたキーフレーム動き情報と、フレームバッファ１２２から得た参照キーフレームを用いて動き補償を行うものである。
【００５１】
Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５におけるサイドインフォメーション生成部１１８は、フレームバッファ１２２に保存されている復号されたキーフレームを用いて、ＷＺフレームの予測画像を生成した後、予測画像を変換・量子化し、ビットプレーン単位へ分割するものである。
【００５２】
Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部１１９は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１０３から与えられた誤り訂正符号と、サイドインフォメーション生成部１１８の出力を用いて、ビットプレーン単位でＳｌｅｐｉａｎ−Ｗｏｌｆ復号を行うものである。
【００５３】
復号画像生成部１２０は、ビットプレーン単位でＳｌｅｐｉａｎ−Ｗｏｌｆ復号された結果をフレーム単位へ再構成し、逆量子化・逆変換を行い、復号画像を得るものである。
【００５４】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態に係る動画像符号化システム１００の動作を、図１に加えて、図２〜図７のフローチャートをも参照しながら説明する。
【００５５】
入力シーケンス（フレーム系列）は、キーフレームとＷＺフレームに分けられ、それぞれが符号化、復号処理される。以下では、キーフレームとＷＺフレームが交互である場合を例に説明する。
【００５６】
（Ａ−２−１）キーフレームのイントラ符号化処理
まず、１フレーム目の符号化処理を図１及び図２を参照して説明する。１フレーム目はキーフレームであり、しかも、参照し得る過去のキーフレームが存在しないので、キーフレーム符号化器１０４においてイントラ符号化が実行される。
【００５７】
まず、入力シーケンスからキーフレーム（１フレーム目）を得、変換・量子化部１１３へ入力し（ステップＳ２０１）、変換・量子化部１１３は、入力画像をＤＣＴなどの方法で変換係数領域へ変換し、変換係数の量子化を行う（ステップＳ２０２）。
【００５８】
次に、変換されたフレームの情報を、インター符号化の際の参照フレームに用いたり、予測画像の生成に用いたりするために局部復号を行う。すなわち、量子化された変換係数を逆量子化・逆変換部１１４へ入力し（ステップＳ２０３）、逆量子化・逆変換部１１４によって、量子化された変換係数が逆量子化・逆変換され、１フレーム目の局部復号画像（ローカルデコード画像）が得られ（ステップＳ２０４）、１フレーム目の局部復号画像がフレームバッファ１１５へ格納される（ステップＳ２０５）。
【００５９】
また、変換・量子化部１１３の処理結果（符号化キーフレーム）はキーフレーム復号器１０６へ送信される（ステップＳ２０６）。
【００６０】
（Ａ−２−２）ＷＺフレームの符号化処理
次に、２フレーム目の符号化処理を図１及び図３を参照して説明する。２フレーム目はＷＺフレームであるので、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１０３において符号化される。
【００６１】
まず、入力シーケンスから、ＷＺフレーム（２フレーム目）の原画像と、そのＷＺフレームの後（３フレーム目）のキーフレームの原画像を得て、動き推定部１１０へ入力すると共に（ステップＳ３０１）、フレームバッファ１１５から、保存されているＷＺフレームの前のキーフレーム（１フレーム目）の局部復号画像を取り出して動き推定部１１０へ入力する（ステップＳ３０２）。
【００６２】
動き推定部１１０は、入力されたＷＺフレームと、前後のキーフレームを用いて動き推定を行い（ステップＳ３０３）、得られた動き情報と、前後のキーフレームと、ＷＺフレームとを予測画像生成部１１１へ入力する（ステップＳ３０４）。ここで、動き推定方法として任意の方法を適用可能である。例えば、処理量を抑えた動き推定方法としては、非特許文献２に記載されているような探索範囲を絞った動き推定方法がある。
【００６３】
予測画像生成部１１１は、入力された動き情報と、前後のキーフレームと、ＷＺフレームとを用いて予測画像を生成し（ステップＳ３０５）、得られた予測画像と、ＷＺフレームの原画像とを送信符号量計算部１１２へ入力する（ステップＳ３０６）。
【００６４】
送信符号量計算部１１２は、予測画像生成部１１１で生成された予測画像と、原画像とを比較し、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５で生成される予測画像の誤りを推定し、各ビットプレーンの誤りを訂正できるだけの誤り訂正符号の量を推定する（ステップＳ３０７）。誤り訂正符号の量を推定する方法は、既存の任意の方法を適用することができる。例えば、非特許文献３に記載の方法を適用することができる。
【００６５】
また、入力シーケンスから分離したＷＺフレーム（２フレーム目）の原画像を変換・量子化部１０７へ入力し（ステップＳ３０８）、変換・量子化部１０７は、この入力画像を、ＤＣＴなどで係数領域の情報に変換し、その結果を量子化し、ビットプレーンへ分割する（ステップＳ３０９）。
【００６６】
次に、ビットプレーンを１つＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８へ入力し（ステップＳ３１０）、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８は、入力されたビットプレーンをＳｌｅｐｉａｎ−Ｗｏｌｆ符号化する（ステップＳ３１１）。また、送信符号量計算部１１２での推定結果をＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８へ入力する（ステップＳ３１２）。Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８は、送信符号量計算部１１２の推定結果に従った量の誤り訂正符号を、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５へ送信する（ステップＳ３１３）。
【００６７】
上述したビットプレーンの入力、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化、誤り訂正符号の量の推定結果の入力、及び、誤り訂正符号の送信を全てのビットプレーンについて繰り返す（ステップＳ３１４）。
【００６８】
（Ａ−２−３）キーフレームのインター符号化処理
次に、３フレーム目の符号化処理を図１及び図４を参照して説明する。３フレーム目はキーフレームであり、しかも、参照し得る過去のキーフレーム（１フレーム目）が存在するので、キーフレーム符号化器１０４においてインター符号化が実行される。
【００６９】
まず、入力シーケンスから３フレーム目を得て、動き補正部１１７へ入力する（ステップＳ４０１）。また、動き推定部１１０で推定した２フレーム目と３フレーム目間の動き情報を動き補正部１１７へ入力する（ステップＳ４０２）。さらに、フレームバッファ１１５から、前のキーフレーム（１フレーム目）の局部復号画像を動き補正部１１７へ入力する（ステップＳ４０３）。動き補正部１１７は、２フレーム目と３フレーム目間の動き情報を用い、その動き情報を補正して、キーフレーム間（１フレーム目及び３フレーム目間）の動き情報を得る（ステップＳ４０４）。例えば、２フレーム目と３フレーム目間の動き情報を外挿して、キーフレーム間の動き情報を得るようにしても良い（後述する第２の実施形態では内挿について説明しており、同様にして外挿を実行すれば良い）。また例えば、２フレーム目と３フレーム目間の動き情報を外挿して、キーフレーム間の動き情報を一旦得た後、外挿の動き情報で定まる位置を中心とした狭い探索範囲（例えば縦横３×３画素程度）を設定し、その探索範囲で相関が最も大きい位置を探索して最終的にキーフレーム間の動き情報を得るようにしても良い。
【００７０】
その後、動き補正部１１７で得られたキーフレーム間の動き情報を動き補償部１１６へ入力する（ステップＳ４０５）。また、フレームバッファ１１５から参照フレーム（ここでは１フレーム目）の画像を動き補償部１１６へ入力する（ステップＳ４０６）。動き補償部１１６は、参照フレームと動き情報を用いて動き補償を行う（ステップＳ４０７）。動き補償方法は、ＭＰＥＧシリーズなどの一般の動画像符号化方式で用いられている方法を適用することができる。
【００７１】
次に、動き補償部１１６の出力結果と、入力シーケンスから得られた３フレーム目の原画像との差分を得て、変換・量子化部１１３へ入力し（ステップＳ４０８）、変換・量子化部１１３にて、その差分に対し、変換・量子化を行う（ステップＳ４０９）。
【００７２】
次に、変換した画像を参照フレームとして利用したり、予想画像の生成に用いたりするために、復号してフレームバッファ１１５へ格納する。すなわち、逆量子化・逆変換部１１４に、変換・量子化部１１３の出力結果を入力し（ステップＳ４１０）、逆量子化・逆変換部１１４で、逆量子化・逆変換を行い、３フレーム目の原画像と動き補償結果との差分の変換係数を得て（ステップＳ４１１）、加算部２５で、逆量子化・逆変換部１１４の出力結果と、動き補償部１１６の出力結果を足し合わせて３フレーム目の局部復号画像（ローカルデコード画像）を得、フレームバッファ１１５へ保存する（ステップＳ４１２）。
【００７３】
最後に、変換・量子化部１１３の出力結果（３フレーム目の原画像と動き補償結果との差分に対し、変換・量子化した結果）と、動き補正部１１７から得た動き情報とをキーフレーム復号器１０６へ送信する（ステップＳ４１３）。
【００７４】
（Ａ−２−４）キーフレームのイントラ復号処理
次に、動画像復号装置１０２の動作を、キーフレームのイントラ復号処理、ＷＺフレームの復号処理、キーフレームのインター復号処理の順に説明する。
【００７５】
まず、１フレーム目の復号処理を図１及び図５を参照して説明する。１フレーム目はキーフレームであり、しかも、参照し得る過去のキーフレームが存在しないので、キーフレーム復号器１０６においてイントラ復号が実行される。
【００７６】
受信した符号化済みのキーフレームは、キーフレーム復号器１０６の逆量子化・逆変換部１２１へ入力され（ステップＳ５０１、Ｓ５０２）、逆量子化・逆変換部１２１は、逆変換、量子化を行う（ステップＳ５０３）。１フレーム目はイントラ符号化されているので、逆変換、量子化処理により復号画像が得られる。
【００７７】
復号画像は、キーフレームのインター復号の際の参照フレームとして、また、ＷＺフレームの予測画像生成に利用するためにフレームバッファ１２２に格納されると共に（ステップＳ５０４）、出力される（ステップＳ５０５）。
【００７８】
（Ａ−２−５）ＷＺフレームの復号処理
次に、２フレーム目の復号処理を図１及び図６を参照して説明する。２フレーム目はＷＺフレームであるので、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５において復号される。
【００７９】
まず、フレームバッファ１２２に格納されている処理対象のＷＺフレーム（２フレーム目）の前後のキーフレーム（この場合は１フレーム目及び３フレーム目）の画像をサイドインフォメーション生成部１１８へ入力し（ステップＳ６０１）、サイドインフォメーション生成部１１８は、ＷＺフレームの予測画像を生成する（ステップＳ６０２）。前後のキーフレームを用いた予測画像の生成方法として、既存の任意の方法を適用することができる。例えば、参照文献１に記載されているような動き推定・動き補償を行う予測画像の生成方法を適用できる。また、キーフレームがインター符号化されているものであれば、キーフレームから得られる動き情報を利用して、予測画像を生成しても良い。
【００８０】
参照文献１：Ｊｏａｏ  Ａｓｃｅｎｓｏ，  Ｃａｔａｒｉｎａ  Ｂｒｉｔｅｓ，  ａｎｄ  Ｆｅｒｎａｎｄｏ  Ｐｅｒｅｉｒａ，“Ｉｍｐｒｏｖｉｎｇ  ｆｒａｍｅ  ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｗｉｔｈ  ｓｐａｔｉａｌ  ｍｏｔｉｏｎ  ｓｍｏｏｔｈｉｎｇ  ｆｏｒ  ｐｉｘｅｌ  ｄｏｍａｉｎ  ｄｉｓｔｒｉｂｕｔｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ，”  ５ｔｈ  ＥＵＲＡＳＩＰ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｓｐｅｅｃｈ  ａｎｄ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ  ａｎｄ  Ｓｅｒｖｉｃｅｓ，  Ｊｕｌｙ  ２００５．
次に、サイドインフォメーション生成部１１８で、生成された予測画像を変換・量子化し、２値化した後、ビットプレーンへ分割する（ステップＳ６０３）。
【００８１】
サイドインフォメーション生成部１１８から１つのビットプレーンをＳｌｅｐｉａｎ−Ｗｏｌｆ復号部１１９へ入力し（ステップＳ６０４）、また、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部１１９へＷｙｎｅｒ−Ｚｉｖフレーム符号化器１０３から送信した誤り訂正符号を入力し（ステップＳ６０５）、この誤り訂正符号を用いて、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号を行い、結果を復号画像生成部１２０へ入力する（ステップＳ６０６）。
【００８２】
上述したビットプレーンの入力、誤り訂正符号の入力、及び、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号を全てのビットプレーンについて繰り返す（ステップＳ６０７）
そして、復号画像生成部１２０で、Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号結果のビットプレーンをフレーム単位へ再構成し、逆量子化・逆変換を行うことで復号画像を得て、次段の図示しない装置に出力する（ステップＳ６０８）。
【００８３】
（Ａ−２−６）キーフレームのインター復号処理
次に、３フレーム目の復号処理を図１及び図７を参照して説明する。３フレーム目はキーフレームであり、しかも、参照し得る過去のキーフレーム（１フレーム目）が存在するので、キーフレーム復号器１０６においてインター復号が実行される。
【００８４】
まず、キーフレーム符号化器１０４から送信された符号化されたキーフレームを受信し、逆量子化・逆変換部１２１へ入力し（ステップＳ７０１）、逆変換・逆量子化部１２１で、逆量子化・逆変換を行い、参照フレームとの差分が得られる（ステップＳ７０２）。
【００８５】
また、受信した符号化されたキーフレームを得た際に利用した受信した動き情報（動き補正部１１７から出力された動き情報）を動き補償部１２３へ入力し（ステップＳ７０３）、また、フレームバッファ１２２から参照フレームを動き補償部１２３へ入力し（ステップＳ７０４）、動き補償部１２３において、参照フレームと動き情報を用い、動き補償を行う（ステップＳ７０５）。この動き補償方法として、ＭＰＥＧシリーズなどの一般の動画像符号化方式で用いられている方法を適用することができる。
【００８６】
次に、加算部１２６で、動き補償部１２３の出力結果と逆変換された差分情報を足し合わせ、キーフレームの復号画像を得る（ステップＳ７０６）。
【００８７】
得られた復号画像は、参照フレームとして適用するため、また、ＷＺフレームの予測画像の生成のために、フレームバッファ１２２へ保存されると共に（ステップＳ７０７）、次段の図示しない装置に出力される（ステップＳ７０８）。
【００８８】
以上、３フレーム目までの処理を示したが、４フレーム目以降の偶数番目のフレーム（ＷＺフレーム）の処理は、上述した２フレーム目の処理と同様であり、５フレーム目以降の奇数番目のフレーム（キーフレーム）の処理は、上述した３フレーム目の処理と同様である。但し、シーンチェンジなどを図示しない監視部で監視した場合においては、新しい入力シーケンスとして、上述した１フレーム目からの処理が実行される。
【００８９】
（Ａ−３）第１の実施形態の効果
第１の実施形態によれば、キーフレームの符号化方式にフィードバックを必要としないインター符号化を基本的に用いることにより、ＷＺフレーム、キーフレーム共にフィードバックが必要ではなくなり、フィードバックを仮定しないアプリケーションでも利用可能となる。
【００９０】
また、キーフレームのインター動き情報は、ＷＺフレームの予測画像の生成の際に推定した動き情報を用いるため、動画像符号化装置の負荷の増大を抑えることができる。
【００９１】
（Ｂ）第２の実施形態
次に、本発明による動画像符号化装置、方法及びプログラム、並びに、動画像符号化システムの第２の実施形態を、図面を参照しながら、第１の実施形態との相違点を中心に説明する。
【００９２】
（Ｂ−１）第２の実施形態の構成
図８は、第２の実施形態の動画像符号化システムの構成を示すブロック図であり、上述した第１の実施形態に係る図１との同一、対応部分には同一符号を付して示している。
【００９３】
図８において、第２の実施形態の動画像符号化システム８００は、動画像符号化装置８０１と、それに対向する動画像復号装置１０２とから構成される。ここで、動画像復号装置１０２は、第１の実施形態のものと同一である。
【００９４】
動画像符号化装置８０１は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器８０３とキーフレーム符号化器８０４とを備える。
【００９５】
Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器８０３は、変換・量子化部１０７と、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８と、Ｗｙｎｅｒ−Ｚｉｖ符号化部１０９と、動き補正部８１０と、予測画像生成部１１１と、送信符号量計算部１１２とを有する。動き補正部８１０以外の構成要素は第１の実施形態のものと同様である。
【００９６】
一方、キーフレーム符号化器８０４は、減算部１２４と、変換・量子化部１１３と、逆量子化・逆変換部１１４と、加算部１２５と、フレームバッファ１１５と、動き推定部８１７と、動き補償部１１６とを有する。動き推定部８１７以外の構成要素は第１の実施形態のものと同様である。
【００９７】
第１の実施形態では、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１０３が動き推定部１１０を備え、キーフレーム符号化器１０４が動き補正部１１７を備えていたが、この第２の実施形態では、キーフレーム符号化器８０４が動き推定部８１７を備え、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器８０３が動き補正部８１０を備えている。
【００９８】
動き推定部８１７は、入力キーフレームと、フレームバッファ１１５に保存されているキーフレームの参照フレームから、動き探索を行うなどして、キーフレーム間の動き推定を実行するものである。
【００９９】
動き補正部８１０は、キーフレーム間の動き情報を動き推定部８１７から受け取り、ＷＺフレームの動き情報へ補正するものである。
【０１００】
（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態に係る動画像符号化システム８００の動作を、図８に加えて、図９〜図１１をも参照しながら説明する。
【０１０１】
入力シーケンス（フレーム系列）は、キーフレームとＷＺフレームに分けられ、それぞれが符号化、復号処理される。以下では、キーフレームとＷＺフレームが交互である場合を例に説明する。
【０１０２】
なお、動画像復号装置１０２の動作は、第１の実施形態と同一であるので、その説明は省略する。また、１フレーム目のキーフレームの符号化処理（イントラ符号化処理）は、第１の実施形態と同様であり、その説明は省略する。
【０１０３】
（Ｂ−２−１）キーフレームのインター符号化処理
まず、３フレーム目のキーフレームの符号化処理（インター符号化処理）を、図８及び図９を参照して説明する。図９は、第２の実施形態におけるキーフレームに対するインター符号化処理を示すフローチャートであり、第１の実施形態に係る図４との同一、対応ステップには同一符号を付して示している。
【０１０４】
まず、３フレーム目の画像を入力シーケンスから得て、動き推定部８１７へ入力すると共に（ステップＳ９０１）、１フレーム目のキーフレーム画像をフレームバッファ１１５から参照フレームとして動き推定部８１７へ入力し（ステップＳ９０２）、動き推定部８１７は、１フレーム目と３フレーム目のキーフレーム画像からキーフレーム間の動き情報を推定する（ステップＳ９０３）。これ以降の処理は、第１の実施形態と同様である。
【０１０５】
動き推定部８１７（なお、第１の実施形態では動き補正部１１７）で得られたキーフレーム間の動き情報を動き補償部１１６へ入力し（ステップＳ４０５）、フレームバッファ１１５から参照フレーム（ここでは１フレーム目）の画像を動き補償部１１６へ入力し（ステップＳ４０６）、動き補償部１１６は、参照フレームと動き情報を用いて動き補償を行う（ステップＳ４０７）。
【０１０６】
次に、動き補償部１１６の出力結果と、入力シーケンスから得られた３フレーム目の原画像との差分を得て、変換・量子化部１１３へ入力し（ステップＳ４０８）、変換・量子化部１１３にて、その差分に対し、変換・量子化を行う（ステップＳ４０９）。また、逆量子化・逆変換部１１４に、変換・量子化部１１３の出力結果を入力し（ステップＳ４１０）、逆量子化・逆変換部１１４で、逆量子化・逆変換を行い、３フレーム目の原画像と動き補償結果との差分の変換係数を得て（ステップＳ４１１）、加算部２５で、逆量子化・逆変換部１１４の出力結果と、動き補償部１１６の出力結果を足し合わせて３フレーム目の局部復号画像（ローカルデコード画像）を得、フレームバッファ１１５へ保存する（ステップＳ４１２）。最後に、変換・量子化部１１３の出力結果（３フレーム目の原画像と動き補償結果との差分に対し、変換・量子化した結果）と、動き推定部８１７（なお、第１の実施形態では動き補正部１１７）から得た動き情報とをキーフレーム復号器１０６へ送信する（ステップＳ４１３）。
【０１０７】
（Ｂ−２−２）ＷＺフレームの符号化処理
次に、２フレーム目（ＷＺフレーム）の符号化処理を図８及び図１０を参照して説明する。図１０は、第２の実施形態におけるＷＺフレームに対する符号化処理を示すフローチャートであり、第１の実施形態に係る図３との同一、対応ステップには同一符号を付して示している。
【０１０８】
まず、入力シーケンスより２フレーム目のＷＺフレーム画像を動き補正部８１０へ入力し（ステップ１００１）、また、フレームバッファ１１５から１フレーム目及び３フレーム目の局部復号画像（ローカルデコード画像）を動き補正部８１０へ入力し（ステップ１００２）、さらに、動き推定部８１７から、キーフレーム間（１フレーム及び３フレーム間）の動き情報を動き補正部８１０へ入力する（ステップ１００３）。動き補正部８１０は、キーフレーム間の動き情報を用いて、２フレーム目の動き情報を内挿などの方法で補正する（ステップ１００４）。
【０１０９】
１フレーム及び３フレーム間の動き情報を用い、２フレーム目のＷＺフレームに関する動き情報に補正する方法の一例を、図１１を使って説明する。
【０１１０】
ＷＺフレームの前のキーフレームＢ（この例では１フレーム目）のある点をＢ（ｘ，ｙ）とし、その点Ｂの、ＷＺフレームの後のキーフレームＦ（この例では３フレーム目）への動きを（ｄｘ，ｄｙ）とする。ＷＺフレームの後のキーフレームＢにあるＢ（ｘ，ｙ）と同じ位置の点をＦ（ｘ，ｙ）と表すとする。このとき、ＷＺフレーム目の同じ位置にある点（ｘ，ｙ）の前後のフレーム方向の動きを以下のように算出する。
【０１１１】
キーフレームＢ及びＦ間のフレームの隔たりをｍ、ＷＺフレームと後のキーフレームＦとのフレームの隔たりをｎとする。キーフレームとＷＺフレームが交互の場合には、ｍ＝２、ｎ＝１である。
【０１１２】
ＷＺフレーム上の点（ｘ，ｙ）から前のキーフレーム（１フレーム目）Ｂへの動き（ｄｘＢ，ｄｙＢ）は（１）式で表すことができる。また、ＷＺフレーム上の点（ｘ，ｙ）から後のキーフレーム（３フレーム目）Ｆへの動き（ｄｘＦ，ｄｙＦ）は（２）式で表すことができる。すなわち、動き情報（ｄｘ，ｄｙ）が入力されると、（１）式や（２）式を適用して、ＷＺフレーム上の点を基準とした動き情報（ｄｘＢ，ｄｙＢ）、（ｄｘＦ，ｄｙＦ）を得るようにすれば良い。なお、（１）式や（２）式を適用して動き情報を一旦得た後、得られた動き情報で定まる移動先の位置を中心とした狭い探索範囲（例えば縦横３×３画素程度）を設定し、その探索範囲で相関が最も大きい位置を探索して最終的な補正した動き情報を得るようにしても良い。
【数１】
2010206395.tif 000003
【０１１３】
これ以降の処理は、第１の実施形態と同様である。
【０１１４】
動き補正部８１０（なお、第１の実施形態の場合は動き推定部１１０）で得られた動き情報と、前後のキーフレームと、ＷＺフレームとを予測画像生成部１１１へ入力する（ステップＳ３０４）。予測画像生成部１１１は、入力された動き情報と、前後のキーフレームと、ＷＺフレームとを用いて予測画像を生成し（ステップＳ３０５）、得られた予測画像と、ＷＺフレームの原画像とを送信符号量計算部１１２へ入力する（ステップＳ３０６）。送信符号量計算部１１２は、予測画像生成部１１１で生成された予測画像と、原画像とを比較し、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５で生成される予測画像の誤りを推定し、各ビットプレーンの誤りを訂正できるだけの誤り訂正符号の量を推定する（ステップＳ３０７）。
【０１１５】
また、入力シーケンスから分離したＷＺフレーム（２フレーム目）の原画像を変換・量子化部１０７へ入力し（ステップＳ３０８）、変換・量子化部１０７は、この入力画像を、ＤＣＴなどで係数領域の情報に変換し、その結果を量子化し、ビットプレーンへ分割する（ステップＳ３０９）。次に、ビットプレーンを１つＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８へ入力し（ステップＳ３１０）、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８は、入力されたビットプレーンをＳｌｅｐｉａｎ−Ｗｏｌｆ符号化する（ステップＳ３１１）。また、送信符号量計算部１１２での推定結果をＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８へ入力し（ステップＳ３１２）、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８は、送信符号量計算部１１２の推定結果に従った量の誤り訂正符号を、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５へ送信する（ステップＳ３１３）。上述したビットプレーンの入力、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化、誤り訂正符号の量の推定結果の入力、及び、誤り訂正符号の送信を全てのビットプレーンについて繰り返す（ステップＳ３１４）。
【０１１６】
（Ｂ−３）第２の実施形態の効果
第２の実施形態によれば、キーフレーム同士で動き推定を行うため、第１の実施形態のキーフレームのインター符号化に比べて、精度の良い動き推定を行え、キーフレームの符号化効率が上がる。また、キーフレームの動き情報を用いてＷＺフレームの予測画像を生成するため、ＷＺフレームの予測画像の生成を低負荷で行うことができる。
【０１１７】
（Ｃ）第３の実施形態
次に、本発明による動画像符号化装置、方法及びプログラム、並びに、動画像符号化システムの第３の実施形態を、図面を参照しながら、第１の実施形態との相違点を中心に説明する。
【０１１８】
（Ｃ−１）第３の実施形態の構成
図１２は、第３の実施形態の動画像符号化システムの構成を示すブロック図であり、上述した第１の実施形態に係る図１との同一、対応部分には同一符号を付して示している。
【０１１９】
図１２において、第３の実施形態の動画像符号化システム１２００は、動画像符号化装置１２０１と、それに対向する動画像復号装置１２０２とから構成される。
【０１２０】
動画像符号化装置１２０１は、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１２０３とキーフレーム符号化器１２０４とを備える。
【０１２１】
Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１２０３は、変換・量子化部１０７及びＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８を有するＷｙｎｅｒ−Ｚｉｖ符号化部１０９と、動き推定・補正部１２１０と、予測画像生成部１１１と、送信符号量計算部１１２とを有する。動き推定・補正部１２１０以外の構成要素は第１の実施形態のものと同様である。
【０１２２】
一方、キーフレーム符号化器８０４は、減算部１２４と、変換・量子化部１１３と、逆量子化・逆変換部１１４と、加算部１２５と、フレームバッファ１１５と、動き推定部１２１７と、動き補償部１１６とを有する。動き推定部１２１７以外の構成要素は第１の実施形態のものと同様である。
【０１２３】
第１の実施形態では、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１０３が動き推定部１１０を備え、キーフレーム符号化器１０４が動き補正部１１７を備えていたが、この第３の実施形態では、キーフレーム符号化器１２０４が動き推定部１２１７を備え、Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器１２０３が動き推定・補正部１２１０を備えている。
【０１２４】
動画像復号装置１２０２は、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５とキーフレーム復号器１２０６とを備える。Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５は、第１の実施形態と同一であり、その説明は省略する。
【０１２５】
キーフレーム復号器１２０６は、逆量子化・逆変換部１２１と、加算部１２６と、フレームバッファ１２２と、動き補償部１２３と、動き推定部１２２５とを有し、第１の実施形態より、動き推定部１２２５が増えており、これ以外の構成要素は第１の実施形態のものと同様である。
【０１２６】
動き推定部１２１７は、以前に符号化したキーフレームを用いてキーフレーム間の動き情報を推定するものである。
【０１２７】
動き推定・補正部１２１０は、動き推定部１２１７からキーフレーム間の動き情報を得てＷＺフレームの動き情報へ補正し、又は、フレームバッファ１１５から、前のキーフレーム、後のキーフレーム、若しくは、前後のキーフレームを得て、動き情報を推定するものである。
【０１２８】
動き推定部１２２５は、以前に復号されたキーフレームを用いてキーフレーム間の動き情報を推定するものである。
【０１２９】
（Ｃ−２）第３の実施形態の動作
次に、第３の実施形態に係る動画像符号化システム１２００の動作を、図１２に加えて、図１３〜図１６をも参照しながら説明する。
【０１３０】
第１や第２の実施形態と同様に、キーフレームとＷＺフレームを交互に処理する例で説明する。第３の実施形態の場合、キーフレームのインター符号化は、２フレーム分のキーフレームを符号化した以降のキーフレームで行うこととする。つまり、１クレーム目及び３フレーム目はイントラ符号化を行い、５フレーム目以降のキーフレームをインター符号化するものとする。
【０１３１】
なお、１フレーム目及び３フレーム目のキーフレームに対するイントラ符号化処理は、第１の実施形態と同様であり、その説明は省略する。また、動画像復号装置１２０２のＷｙｎｅｒ−Ｚｉｖフレーム復号器１０５の動作は、第１の実施形態と同一であるので、その説明は省略する。
【０１３２】
（Ｃ−２−１）キーフレームのインター符号化処理
まず、５フレーム目のキーフレームに対するインター符号化処理を、図１２及び図１３を参照して説明する。図１３は、第３の実施形態におけるキーフレームに対するインター符号化処理を示すフローチャートであり、第１の実施形態に係る図４との同一、対応ステップには同一符号を付して示している。
【０１３３】
まず、フレームバッファ１１５から、１フレーム目及び３フレーム目の局部復号画像（ローカルデコード）を動き推定部１２１７へ入力し（ステップ１３０１）、動き推定部１２１７では１フレーム目及び３フレーム目の画像を用いて３フレーム目及び５フレーム目間の動き情報を推定する（ステップ１３０２）。この際の推定方法として、既存の任意の方法を適用できる。例えば、非特許文献２の２．１節（Ｍｏｔｉｏｎ  Ｅｓｔｉｍａｔｉｏｎ）に記載されている方法を適用することができる。
【０１３４】
これ以降の処理は、第１の実施形態とほぼ同様である。但し、ステップＳ１４３の処理が、ステップＳ１３０３の処理に置き換わっている。
【０１３５】
動き推定部１２１７（なお、第１の実施形態では動き補正部１１７）で得られたキーフレーム間の動き情報を動き補償部１１６へ入力し（ステップＳ４０５）、フレームバッファ１１５から参照フレーム（ここでは３フレーム目）の画像を動き補償部１１６へ入力し（ステップＳ４０６）、動き補償部１１６は、参照フレームと動き情報を用いて動き補償を行う（ステップＳ４０７）。
【０１３６】
次に、動き補償部１１６の出力結果と、入力シーケンスから得られた５フレーム目の原画像との差分を得て、変換・量子化部１１３へ入力し（ステップＳ４０８）、変換・量子化部１１３にて、その差分に対し、変換・量子化を行う（ステップＳ４０９）。また、逆量子化・逆変換部１１４に、変換・量子化部１１３の出力結果を入力し（ステップＳ４１０）、逆量子化・逆変換部１１４で、逆量子化・逆変換を行い、５フレーム目の原画像と動き補償結果との差分の変換係数を得て（ステップＳ４１１）、加算部２５で、逆量子化・逆変換部１１４の出力結果と、動き補償部１１６の出力結果を足し合わせて５フレーム目の局部復号画像（ローカルデコード画像）を得、フレームバッファ１１５へ保存する（ステップＳ４１２）。最後に、変換・量子化部１１３の出力結果（５フレーム目の原画像と動き補償結果との差分に対し、変換・量子化した結果）をキーフレーム復号器１０６へ送信する（ステップＳ１３０３）。
【０１３７】
（Ｃ−２−２）ＷＺフレームの符号化処理
次に、２フレーム目又は４フレーム目（ＷＺフレーム）の符号化処理を図１２、並びに、図１４及び図１５を参照して説明する。図１４及び図１５は、第３の実施形態におけるＷＺフレームに対する符号化処理を示すフローチャートであり、第１の実施形態に係る図３との同一、対応ステップには同一符号を付して示している。
【０１３８】
まず、入力シーケンスからＷＺフレームの原画像（例えば２フレーム目）を得、動き推定・補正部１２１０へ入力する（ステップＳ１４０１）。フレームバッファ１１５から、ＷＺフレームの前後の保存されているキーフレームの局部復号画像を動き推定・補正部１２１０へ入力する（ステップＳ１４０２）。次に、前後のキーフレーム間の動き情報が利用可能であるか否かを判断する（ステップＳ１４０３）。
【０１３９】
処理対象のＷＺフレームが２フレーム目の場合には、前後のキーフレームがイントラ符号化されているため、キーフレームからの動き情報を得ることができない。そのため、前後のキーフレームから動き情報を推定することとした。すなわち、キーフレーム間の動き情報を得ることができない場合は、動き推定・補正部１２１０は、入力されたＷＺフレームと、前後のキーフレームを用いて動き推定を行う（ステップＳ１４０６）。この動き推定方法として、既存の任意の動き推定方法を適用することができる。例えば、非特許文献３の３．１．２”Ｆａｓｔ  Ｍｏｔｉｏｎ  Ｃｏｍｐｅｎｓａｔｅｄ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ（ＦＭＣＩ）”に記載されているような探索範囲を絞り、処理量を抑えた動き推定方法を適用することができる。
【０１４０】
一方、処理対象のＷＺフレームが４フレーム目のように、前後のキーフレームの動き情報が利用できる場合には、動き推定部１２１７から３フレーム目及び５フレーム目間の動き情報を動き推定・補正部１２１０へ入力し（ステップＳ１４０４）、動き推定・補正部１２１０は、３フレーム目及び５フレーム目間の動き情報を用いて、４フレーム目の動き情報を、内挿などの方法で得る（ステップＳ１４０５）。
【０１４１】
これ以降の処理は、第１の実施形態と同様である。
【０１４２】
動き推定・補正部１２１０（なお、第１の実施形態の場合は動き推定部１１０）で得られた動き情報と、前後のキーフレームと、ＷＺフレームとを予測画像生成部１１１へ入力する（ステップＳ３０４）。予測画像生成部１１１は、入力された動き情報と、前後のキーフレームと、ＷＺフレームとを用いて予測画像を生成し（ステップＳ３０５）、得られた予測画像と、ＷＺフレームの原画像とを送信符号量計算部１１２へ入力する（ステップＳ３０６）。送信符号量計算部１１２は、予測画像生成部１１１で生成された予測画像と、原画像とを比較し、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５で生成される予測画像の誤りを推定し、各ビットプレーンの誤りを訂正できるだけの誤り訂正符号の量を推定する（ステップＳ３０７）。
【０１４３】
また、入力シーケンスから分離したＷＺフレームの原画像を変換・量子化部１０７へ入力し（ステップＳ３０８）、変換・量子化部１０７は、この入力画像を、ＤＣＴなどで係数領域の情報に変換し、その結果を量子化し、ビットプレーンへ分割する（ステップＳ３０９）。次に、ビットプレーンを１つＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８へ入力し（ステップＳ３１０）、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８は、入力されたビットプレーンをＳｌｅｐｉａｎ−Ｗｏｌｆ符号化する（ステップＳ３１１）。また、送信符号量計算部１１２での推定結果をＳｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８へ入力し（ステップＳ３１２）、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部１０８は、送信符号量計算部１１２の推定結果に従った量の誤り訂正符号を、Ｗｙｎｅｒ−Ｚｉｖフレーム復号器１０５へ送信する（ステップＳ３１３）。上述したビットプレーンの入力、Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化、誤り訂正符号の量の推定結果の入力、及び、誤り訂正符号の送信を全てのビットプレーンについて繰り返す（ステップＳ３１４）。
【０１４４】
（Ｃ−２−３）キーフレームのインター復号処理
次に、５フレーム目のインター復号処理を図１２及び図１７を参照して説明する。図１６は、第３の実施形態におけるキーフレームに対するインター符号化処理を示すフローチャートであり、第１の実施形態に係る図７との同一、対応ステップには同一符号を付して示している。
【０１４５】
なお、１フレーム目及び３フレーム目の符号化されているキーフレームのイントラ復号動作は、第１の実施形態のイントラ復号動作と同一であり、その説明は省略する。
【０１４６】
まず、フレームバッファ１２２から１フレーム目及び３フレーム目の復号画像を動き推定部１２２５へ入力し（ステップＳ１６０１）、動き推定部１２２５は、３フレーム目及び５フレーム目間の動き情報を推定する（ステップＳ１６０２）。動き推定部１２２５の推定方法と、キーフレーム符号化器１２０４の動き推定部１２１７の推定方法とに、同じ方法を適用する。
【０１４７】
以上のようなキーフレーム復号器１２０６で動き情報を推定する処理が、第１の実施形態の処理に追加されており、これ以降、第１の実施形態の処理とほぼ同様な処理が実行される。
【０１４８】
キーフレーム符号化器１２０４から送信された符号化されたキーフレームを受信し、逆量子化・逆変換部１２１へ入力し（ステップＳ７０１）、逆変換・逆量子化部１２１で、逆量子化・逆変換を行い、参照フレームとの差分が得られる（ステップＳ７０２）。
【０１４９】
また、動き推定部１２２５が推定した動き情報を動き補償部１２３へ入力し（ステップＳ７０３）、また、フレームバッファ１２２から参照フレームを動き補償部１２３へ入力し（ステップＳ７０４）、動き補償部１２３において、参照フレームと動き情報を用い、動き補償を行う（ステップＳ７０５）。なお、第１の実施形態の場合、ステップＳ７０３で動き補償部１２３へ入力する動き情報は、キーフレーム符号化器１２０４から送信されてきたものである。
【０１５０】
次に、加算部１２６で、動き補償部１２３の出力結果と逆変換された差分情報を足し合わせ、キーフレームの復号画像を得る（ステップＳ７０６）。得られた復号画像は、参照フレームとして適用するため、また、ＷＺフレームの予測画像の生成のために、フレームバッファ１２２へ保存されると共に（ステップＳ７０７）、次段の図示しない装置に出力される（ステップＳ７０８）。
【０１５１】
（Ｃ−３）第３の実施形態の効果
第３の実施形態によれば、キーフレームの動き推定をキーフレーム符号化器及びキーフレーム復号器双方で行うため、動き情報をキーフレーム符号化器からキーフレーム復号器へ送信する必要がないため、キーフレームの符号化効率を向上させることができる。
【０１５２】
（Ｄ）他の実施形態
上記各実施形態の説明においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。
【０１５３】
上記各実施形態の動画像符号化装置及び動画像復号装置間の通信路は、狭義の通信路に限定されるものではなく、広義の通信路であって良い。すなわち、リアルタイムの通信だけでなく、動画像符号化装置が符号化したデータを記録媒体に記録し、動画像復号装置が記録媒体から読み出したデータを処理するものであっても良い。
【０１５４】
予測画像の生成に用いるキーフレーム若しくはその範囲は、上記各実施形態のものに限定されるものではない。例えば、ＷＺフレームの前側にも後側にも２つずつのキーフレームを利用するようにしても良い。この場合であれば、動き情報もそれに応じた数だけ形成することを要する。
【０１５５】
第１や第３の実施形態において、動き推定部１１０や動き推定・補正部１２１０は前後のキーフレームの動き推定を行っているが、動き推定に用いるキーフレームは必ず前後に限定されるものではなく、前方又は後方のみのキーフレームを用いて動き推定を行っても良い。
【０１５６】
第１や第３の実施形態において、動き補正部１１７や動き推定・補正部１２１７では、フレームバッファ１１５に蓄えられたキーフレームと、入力されたキーフレームの原画像を用いて動き情報を補正しているが、キーフレームの原画像のみを用いても良く、フレームバッファ１１５に蓄えられている画像のみを使っても良い。
【０１５７】
上記各実施形態では、ＤＣＴなどの変換をすることを前提としているが、画素領域での処理を行っても良い。また、量子化後の信号をそのままの形で受信側に送信している例を示したが、エントロピー符号化するなど圧縮率を高める機能を追加しても良い。
【０１５８】
上記各実施形態では、入力シーケンス（フレーム系列）から、キーフレーム及びＷＺフレームを交互に取り出すものを示したが、キーフレーム及びＷＺフレームの比率はこれに限定されるものではない。例えば、キーフレームを２フレーム連続させた次の１フレームをＷＺフレームとし、キーフレーム及びＷＺフレームの比率を２：１とするようにしても良い。この場合、入力されたキーフレームの時間軸の変化が一律ではないことに応じて、動き情報の生成や内挿、外挿などを実行するようにすれば良い。
【符号の説明】
【０１５９】
１００、８００、１２００…動画像符号化システム、
１０１、８０１、１２０１…動画像符号化装置、
１０３、８０３、１２０３…Ｗｙｎｅｒ−Ｚｉｖフレーム符号化器、
１０９…Ｗｙｎｅｒ−Ｚｉｖ符号化部、
１０７…変換・量子化部、
１０８…Ｓｌｅｐｉａｎ−Ｗｏｌｆ符号化部、
１１０…動き推定部、
８１０…動き補正部、
１２１０…動き推定・補正部、
１１１…予測画像生成部、
１１２…送信符号量計算部、
１０４、８０４、１２０４…キーフレーム符号化器、
１２４…減算部、
１１３…変換・量子化部、
１１４…逆量子化・逆変換部、
１２５…加算部、
１１５…フレームバッファ、
１１７…動き補正部、
８１７…動き推定部、
１２１７…動き推定部、
１１６…動き補償部、
１０２、１２０２…動画像復号装置、
１０５…Ｗｙｎｅｒ−Ｚｉｖフレーム復号器、
１１８…サイドインフォメーション生成部、
１１９…Ｓｌｅｐｉａｎ−Ｗｏｌｆ復号部、
１２０…復号画像生成部、
１０６、１２０６…キーフレーム復号器、
１２１…逆量子化・逆変換部、
１２６…加算部、
１２２…フレームバッファ、
１２３…動き補償部、
１２２５…動き推定部。
【図１】
2010206395.tif 000004
【図２】
2010206395.tif 000005
【図３】
2010206395.tif 000006
【図４】
2010206395.tif 000007
【図５】
2010206395.tif 000008
【図６】
2010206395.tif 000009
【図７】
2010206395.tif 000010
【図８】
2010206395.tif 000011
【図９】
2010206395.tif 000012
【図１０】
2010206395.tif 000013
【図１１】
2010206395.tif 000014
【図１２】
2010206395.tif 000015
【図１３】
2010206395.tif 000016
【図１４】
2010206395.tif 000017
【図１５】
2010206395.tif 000018
【図１６】
2010206395.tif 000019