(57)【要約】【課題】標準的なインターレース画像とともに、高品位のプログレッシブ画像を高効率で符号化することのできる動画像符号化技術が求められている。【解決手段】動画像から、奇数フィールドと偶数フィールドが所定の周波数で交互に取り出された第１インターレース画像と、奇数フィールドと偶数フィールドが第１インターレース画像とは逆位相である第２インターレース画像とが取り出される。第１インターレース動画符号化器１０７は、第１インターレース画像を符号化して第１インターレース符号化データを生成する。第２インターレース動画符号化器１０９は、第１インターレース符号化データを復号化して得られる第１インターレース復号化画像を予測符号化の参照画像として少なくとも用いて第２インターレース画像を符号化することにより、第２インターレース符号化データを生成する。【選択図】図１
2010041408.tif 000002
【特許請求の範囲】
【請求項１】
動画像から奇数番目の走査線からなる奇数フィールドと偶数番目の走査線からなる偶数フィールドが所定の周波数で交互に取り出された第１インターレース画像と、前記動画像から奇数フィールドと偶数フィールドが前記第１インターレース画像とは逆位相で取り出された第２インターレース画像とを取り出す抽出部と、
前記第１インターレース画像を符号化して第１インターレース符号化データを生成する第１符号化部と、
前記第１インターレース符号化データを復号化して得られる第１インターレース復号化画像を予測符号化の参照画像として少なくとも用いて前記第２インターレース画像を符号化することにより、第２インターレース符号化データを生成する第２符号化部と
を含むことを特徴とする動画像符号化装置。
【請求項２】
第２符号化部は、現在符号化対象となっている第２インターレース画像の予測符号化の際、その符号化対象となっている第２インターレース画像を時系列的な基準として、過去の第１インターレース復号化画像、過去の第２インターレース画像、および現在の第１インターレース復号化画像の３種類を片方向予測符号化の参照画像として用い、前記３種類の参照画像を識別するための識別子を第２インターレース符号化データに含めることを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
第２符号化部は、現在符号化対象となっている第２インターレース画像の予測符号化の際、その符号化対象となっている第２インターレース画像を時系列的な基準として、過去の第１インターレース復号化画像、現在の第１インターレース復号化画像、および未来の第１インターレース復号化画像の３種類を双方向予測符号化の参照画像として用い、前記３種類の参照画像を識別するための識別子を第２インターレース符号化データに含めることを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
動画像から奇数番目の走査線からなる奇数フィールドと偶数番目の走査線からなる偶数フィールドが所定の周波数で交互に取り出された第１インターレース画像と、奇数番目および偶数番目の走査線をともに含むプログレッシブ画像とを取り出す抽出部と、
前記第１インターレース画像を符号化して第１インターレース符号化データを生成する第１符号化部と、
前記第１インターレース符号化データを復号化して得られる第１インターレース復号化画像と、前記抽出部から供給されるプログレッシブ画像に含まれる第１インターレース画像とを予測符号化の参照画像として少なくとも用いて、奇数フィールドと偶数フィールドが前記第１インターレース画像とは逆位相である第２インターレース画像を符号化することにより、第２インターレース符号化データを生成し、前記プログレッシブ画像に含まれる第１インターレース画像を符号化した第１インターレース符号化データと、生成された前記第２インターレース符号化データとを合成することにより、プログレッシブ符号化データを生成するプログレッシブ符号化部と
を含むことを特徴とする動画像符号化装置。
【請求項５】
プログレッシブ符号化部は、現在符号化対象となっている第２インターレース画像の予測符号化の際、その符号化対象となっている第２インターレース画像を時系列的な基準として、過去の第１インターレース復号化画像、過去の第２インターレース画像、過去のプログレッシブ画像、現在の第１インターレース復号化画像、および現在のプログレッシブ画像の５種類を片方向予測符号化の参照画像として用い、前記５種類の参照画像を識別するための識別子をプログレッシブ符号化データに含めることを特徴とする請求項４に記載の動画像符号化装置。
【請求項６】
プログレッシブ符号化部は、現在符号化対象となっている第２インターレース画像の予測符号化の際、その符号化対象となっている第２インターレース画像を時系列的な基準として、過去の第１インターレース復号化画像、過去のプログレッシブ画像、現在の第１インターレース復号化画像、現在のプログレッシブ画像、未来の第１インターレース復号化画像、および未来のプログレッシブ画像の６種類を双方向予測符号化の参照画像として用い、前記６種類の参照画像を識別するための識別子をプログレッシブ符号化データに含めることを特徴とする請求項４に記載の動画像符号化装置。
【請求項７】
動画像符号化データから、奇数番目の走査線からなる奇数フィールドと偶数番目の走査線からなる偶数フィールドが所定の周波数で交互に取り出された第１インターレース画像が符号化された第１インターレース符号化データと、奇数フィールドと偶数フィールドが前記第１インターレース画像とは逆位相である第２インターレース画像が符号化された第２インターレース符号化データとを分離して取り出す分離部と、
前記第１インターレース符号化データを復号化して第１インターレース復号化画像を生成する第１復号化部と、
第１インターレース復号化画像を参照画像として少なくとも用いて予測することにより、前記第２インターレース符号化データを復号化して第２インターレース復号化画像を生成する第２復号化部と、
前記第１インターレース復号化画像と前記第２インターレース復号化画像を合成することにより、プログレッシブ画像を生成するプログレッシブ画像生成部と
を含むことを特徴とする動画像復号化装置。
【請求項８】
動画像符号化データから、奇数番目の走査線からなる奇数フィールドと偶数番目の走査線からなる偶数フィールドが所定の周波数で交互に取り出された第１インターレース画像が符号化された第１インターレース符号化データと、奇数番目および偶数番目の走査線をともに含むプログレッシブ画像が符号化されたプログレッシブ符号化データとを分離して取り出す分離部と、
前記第１インターレース符号化データを復号化して第１インターレース復号化画像を生成する第１復号化部と、
前記第１復号化部により復号化された第１インターレース復号化画像とプログレッシブ符号化データに含まれる第１インターレース符号化データを復号化して得られる第１インターレース復号化画像とを参照画像として少なくとも用いて予測することにより、奇数フィールドと偶数フィールドが前記第１インターレース画像とは逆位相である第２インターレース画像が符号化された第２インターレース符号化データを復号化して第２インターレース復号化画像を生成し、前記プログレッシブ符号化データに含まれる第１インターレース符号化画像を復号化した第１インターレース復号化画像と、生成された第２インターレース復号化画像とを合成することにより、プログレッシブ復号化画像を生成するプログレッシブ復号化部と
を含むことを特徴とする動画像復号化装置。
【請求項９】
動画像から奇数番目の走査線からなる奇数フィールドと偶数番目の走査線からなる偶数フィールドが所定の周波数で交互に取り出された第１インターレース画像と、前記動画像から奇数フィールドと偶数フィールドが前記第１インターレース画像とは逆位相で取り出された第２インターレース画像とを取り出すステップと、
前記第１インターレース画像を符号化して第１インターレース符号化データを生成するステップと、
前記第１インターレース符号化データを復号化して得られる第１インターレース復号化画像を予測符号化の参照画像として少なくとも用いて前記第２インターレース画像を符号化することにより、第２インターレース符号化データを生成するステップと
を含むことを特徴とする動画像符号化方法。
【請求項１０】
動画像符号化データから、奇数番目の走査線からなる奇数フィールドと偶数番目の走査線からなる偶数フィールドが所定の周波数で交互に取り出された第１インターレース画像が符号化された第１インターレース符号化データと、奇数フィールドと偶数フィールドが前記第１インターレース画像とは逆位相である第２インターレース画像が符号化された第２インターレース符号化データとを分離して取り出すステップと、
前記第１インターレース符号化データを復号化して第１インターレース復号化画像を生成するステップと、
第１インターレース復号化画像を参照画像として少なくとも用いて予測することにより、前記第２インターレース符号化データを復号化して第２インターレース復号化画像を生成するステップと、
前記第１インターレース復号化画像と前記第２インターレース復号化画像を合成することにより、プログレッシブ画像を生成するステップと
を含むことを特徴とする動画像復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像を符号化する動画像符号化装置および動画像符号化方法、ならびに符号化された動画像データを復号化する動画像復号化装置および動画像復号化方法に関する。
【背景技術】
【０００２】
ビデオにはインターレース画像とプログレッシブ画像があり、１秒当たり６０コマ（正確には５９．９４Ｈｚ）であればプログレッシブ画像の表示のほうが情報量も多く高品位も画質が表現できる。しかしながら、現在のＤＶＤ（Digital Versatile Disk）や放送などは基本的にはインターレース画像が用いられている。即ち６０コマではあるが、画像のラインを１本おきに間引いて、交互に表示するようにしている。最近のＤＶＤプレーヤーや、ＤＴＶ（Digital Television）機器においては、そのインターレース画像の欠点を補うべく、表示側で、画像の特徴や時間方向の動きなどを利用してインターレース画像をプログレッシブ画像へ擬似的に変換して、フォーマット上プログレッシブにして画面表示する形態も多く見られるようになった。
【０００３】
画像符号化技術として、特許文献１には、インターレース画像のもっとも基本的な符号化方法として、１フレームを構成する奇数および偶数の２つのフィールドをフィールド単位で、且つ連続的に符号化する方法が開示されている。
【０００４】
特許文献２には、ビデオ画像が種々の解像度スケールおよび画像フォーマットで復号化されることを可能にするようなスケーラブルな方式でビデオ信号を効率的に符号化する方法が開示されている。
【０００５】
国際標準化した動画像符号化技術としてＭＰＥＧ（Moving Pictures Expert Group）が挙げられる。ＭＰＥＧは１９８８年、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２（国際標準化機構/国際電気標準化会合同技術委員会１／専門部会２、現在ＳＣ２９）に設立された動画像符号化標準を検討する組織の名称の略称である。ＭＰＥＧ１（ＭＰＥＧフェーズ１）は１．５Ｍｂｐｓ程度の蓄積メディアを対象とした標準であり、静止画符号化を目的としたＪＰＥＧと、ＩＳＤＮのテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ．２６１（ＣＣＩＴＴ ＳＧＸＶ、現在のＩＴＵ−Ｔ ＳＧ１５で標準化）の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは１９９３年８月、ＩＳＯ／ＩＥＣ１１１７２として成立している。
【０００６】
ＭＰＥＧ２（ＭＰＥＧフェーズ２）は通信や放送などの多様なアプリケーションに対応できるように汎用標準を目的として、１９９４年１１月ＩＳＯ／ＩＥＣ  １３８１８、H.２６２として成立している。
【０００７】
ＭＰＥＧは幾つかの技術を組み合わせて実現される。図１１を参照して、一般的なＭＰＥＧ符号化装置の例を説明する。差分器９１０は、入力画像と、動き補償予測器９０９で復号化した画像との間で差分を取ることで時間冗長部分を削減する。予測方向は、過去のみ、未来のみ、過去と未来の双方の３モードが存在する。予測方向は１６画素×１６画素のＭＢ（マクロブロック）ごとに切り替えることができる。予測方向は入力画像に与えられたピクチャタイプによって決定される。過去から予測するモードと、予測をしないでそのＭＢを独立に符号化するモードの２つが存在するのがＰピクチャである。未来から予測するモード、過去から予測するモード、過去と未来の双方から予測するモード、独立で符号化するモードの４つが存在するのがＢピクチャである。そして全てのＭＢを独立で符号化するのがＩピクチャである。
【０００８】
動き補償は、動き領域をＭＢごとにパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測することで行われる。動きベクトルは水平方向と垂直方向の成分を有し、予測方向を示すＭＣ（Motion Compensation）モードとともにＭＢの付加情報として伝送される。Ｉピクチャから次のＩピクチャの前のピクチャまでをＧＯＰ（Group Of Picture）といい、蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度がＧＯＰとして使用される。
【０００９】
差分器９１０により得られた差分画像はＤＣＴ（Discrete Cosine Transform）器９０１において直交変換が行われる。ＤＣＴとは余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。ＭＰＥＧではＭＢを４分割し８×８のＤＣＴブロックに対して、２次元ＤＣＴを行う。一般にビデオ信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うと係数が低域に集中する。
【００１０】
ＤＣＴ器９０１により直交変換された画像データ（ＤＣＴ係数）は量子化器９０２において量子化される。量子化は、量子化マトリックスという８×８の２次元周波数を視覚特性で重み付けした値に、その全体をスカラ倍する量子化スケールという値を乗算した値を量子化値として、ＤＣＴ係数をその量子化値で除算することで行われる。デコーダ側で逆量子化するときは量子化値で乗算することにより、元のＤＣＴ係数に近似している値を得ることになる。
【００１１】
量子化されたデータはＶＬＣ（Variable Length Coding）器９０３で可変長符号化される。量子化された値のうち直流（ＤＣ）成分は予測符号化のひとつであるＤＰＣＭ（differential pulse code modulation)により符号化される。交流（ＡＣ）成分は低域から高域にジグザグスキャンを行い、ゼロのラン長および有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化が行われる。
【００１２】
可変長符号化されたデータは一時バッファ９０４に蓄えられ、所定の転送レートで符号化データとして出力される。また、出力される符号化データのマクロブロック毎の発生符号量は、符号量制御器９０５に送信される。符号量制御器９０５は、目標符号量に対する発生符号量の誤差を量子化器９０２にフィードバックする。量子化器９０２では、フィードバックされた誤差符号量にもとづいて量子化スケールを調整する。これにより、符号量制御器９０５は生成される符号化データの符号量を適正なレートに制御することができる。
【００１３】
量子化された画像データは逆量子化器９０６にて逆量子化され、逆ＤＣＴ器９０７にて逆ＤＣＴされ一時、画像メモリ９０８に蓄えられたのち、動き補償予測器９０９において、差分画像を計算するためのリファレンスの復号化画像として使用される。
【００１４】
次に図１２を参照して、一般的なＭＰＥＧ復号化装置の例を説明する。符号化された動画像データはバッファ１００１にてバッファリングされ、バッファからのデータはＶＬＤ器１００２に入力される。ＶＬＤ器１００２において画像データが可変長復号化され、直流（ＤＣ）成分および交流（ＡＣ）成分が得られる。交流（ＡＣ）成分データは低域から高域にジグザグスキャンの順で８×８のマトリックスに配置される。このデータは逆量子化器１００３に入力され、量子化マトリックスにて逆量子化される。逆量子化されたデータは逆ＤＣＴ器１００４に入力され、逆ＤＣＴ変換され、画像データ（復号化データ）として出力される。また、復号化データは一時、画像メモリー１００６に蓄えられたのち、動き補償予測器１００５において、差分画像を計算するためのリファレンスの復号化画像として使用される。
【特許文献１】特開平６−９８３１４号公報
【特許文献２】特開平７−１６２８７０号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
標準化されたＭＰＥＧ２のインターレース動画像符号化を採用したアプリケーションが非常に多いことから、動画像の符号化においては、互換性を保つために標準的なインターレース画像が符号化されていることが必要である。しかし、同時に高品質の動画像を再生したいというニーズがあることから、標準的なインターレース画像とともに、高品位のプログレッシブ画像を高効率で符号化することのできる動画像符号化技術が求められている。一つの動画像データの中に、標準的なインターレース画像以外にプログレッシブ画像も符号化されていれば、アプリケーションのニーズに応じて、インターレース画像、プログレッシブ画像のいずれかを選んで利用することができるようになる。
【００１６】
しかしながら、インターレース符号化やプログレッシブ符号化の方式、あるいは、解像度の違う画像において差分をとって階層符号化する方式などが開発されているが、符号化効率を維持しつつ、標準のインターレース動画像と完全な互換性を保ちながら、プログレッシブ動画像を合わせて符号化することは現状ではできていない。
【００１７】
本発明はこうした状況に鑑みてなされたものであり、その目的は、動画像データのインターレース再生とプログレッシブ再生を両立させることが可能な動画像符号化技術および動画像復号化技術を提供することにある。
【課題を解決するための手段】
【００１８】
上記課題を解決するために、本発明のある態様の動画像符号化装置は、動画像から奇数番目の走査線からなる奇数フィールドと偶数番目の走査線からなる偶数フィールドが所定の周波数で交互に取り出された第１インターレース画像と、前記動画像から奇数フィールドと偶数フィールドが前記第１インターレース画像とは逆位相で取り出された第２インターレース画像とを取り出す抽出部と、前記第１インターレース画像を符号化して第１インターレース符号化データを生成する第１符号化部と、前記第１インターレース符号化データを復号化して得られる第１インターレース復号化画像を予測符号化の参照画像として少なくとも用いて前記第２インターレース画像を符号化することにより、第２インターレース符号化データを生成する第２符号化部とを含む。
【００１９】
本発明の別の態様もまた、動画像符号化装置である。この装置は、動画像から奇数番目の走査線からなる奇数フィールドと偶数番目の走査線からなる偶数フィールドが所定の周波数で交互に取り出された第１インターレース画像と、奇数番目および偶数番目の走査線をともに含むプログレッシブ画像とを取り出す抽出部と、前記第１インターレース画像を符号化して第１インターレース符号化データを生成する第１符号化部と、前記第１インターレース符号化データを復号化して得られる第１インターレース復号化画像と、前記抽出部から供給されるプログレッシブ画像に含まれる第１インターレース画像とを予測符号化の参照画像として少なくとも用いて、奇数フィールドと偶数フィールドが前記第１インターレース画像とは逆位相である第２インターレース画像を符号化することにより、第２インターレース符号化データを生成し、前記プログレッシブ画像に含まれる第１インターレース画像を符号化した第１インターレース符号化データと、生成された前記第２インターレース符号化データとを合成することにより、プログレッシブ符号化データを生成するプログレッシブ符号化部とを含む。
【００２０】
本発明のさらに別の態様は、動画像復号化装置である。この装置は、動画像符号化データから、奇数番目の走査線からなる奇数フィールドと偶数番目の走査線からなる偶数フィールドが所定の周波数で交互に取り出された第１インターレース画像が符号化された第１インターレース符号化データと、奇数フィールドと偶数フィールドが前記第１インターレース画像とは逆位相である第２インターレース画像が符号化された第２インターレース符号化データとを分離して取り出す分離部と、前記第１インターレース符号化データを復号化して第１インターレース復号化画像を生成する第１復号化部と、第１インターレース復号化画像を参照画像として少なくとも用いて予測することにより、前記第２インターレース符号化データを復号化して第２インターレース復号化画像を生成する第２復号化部と、前記第１インターレース復号化画像と前記第２インターレース復号化画像を合成することにより、プログレッシブ画像を生成するプログレッシブ画像生成部とを含む。
【００２１】
本発明のさらに別の態様もまた、動画像復号化装置である。この装置は、動画像符号化データから、奇数番目の走査線からなる奇数フィールドと偶数番目の走査線からなる偶数フィールドが所定の周波数で交互に取り出された第１インターレース画像が符号化された第１インターレース符号化データと、奇数番目および偶数番目の走査線をともに含むプログレッシブ画像が符号化されたプログレッシブ符号化データとを分離して取り出す分離部と、前記第１インターレース符号化データを復号化して第１インターレース復号化画像を生成する第１復号化部と、前記第１復号化部により復号化された第１インターレース復号化画像とプログレッシブ符号化データに含まれる第１インターレース符号化データを復号化して得られる第１インターレース復号化画像とを参照画像として少なくとも用いて予測することにより、奇数フィールドと偶数フィールドが前記第１インターレース画像とは逆位相である第２インターレース画像が符号化された第２インターレース符号化データを復号化して第２インターレース復号化画像を生成し、前記プログレッシブ符号化データに含まれる第１インターレース符号化画像を復号化した第１インターレース復号化画像と、生成された第２インターレース復号化画像とを合成することにより、プログレッシブ復号化画像を生成するプログレッシブ復号化部とを含む。
【００２２】
本発明のさらに別の態様は、動画像符号化方法である。この方法は、動画像から奇数番目の走査線からなる奇数フィールドと偶数番目の走査線からなる偶数フィールドが所定の周波数で交互に取り出された第１インターレース画像と、前記動画像から奇数フィールドと偶数フィールドが前記第１インターレース画像とは逆位相で取り出された第２インターレース画像とを取り出すステップと、前記第１インターレース画像を符号化して第１インターレース符号化データを生成するステップと、前記第１インターレース符号化データを復号化して得られる第１インターレース復号化画像を予測符号化の参照画像として少なくとも用いて前記第２インターレース画像を符号化することにより、第２インターレース符号化データを生成するステップとを含む。
【００２３】
本発明のさらに別の態様は、動画像復号化方法である。この方法は、動画像符号化データから、奇数番目の走査線からなる奇数フィールドと偶数番目の走査線からなる偶数フィールドが所定の周波数で交互に取り出された第１インターレース画像が符号化された第１インターレース符号化データと、奇数フィールドと偶数フィールドが前記第１インターレース画像とは逆位相である第２インターレース画像が符号化された第２インターレース符号化データとを分離して取り出すステップと、前記第１インターレース符号化データを復号化して第１インターレース復号化画像を生成するステップと、第１インターレース復号化画像を参照画像として少なくとも用いて予測することにより、前記第２インターレース符号化データを復号化して第２インターレース復号化画像を生成するステップと、前記第１インターレース復号化画像と前記第２インターレース復号化画像を合成することにより、プログレッシブ画像を生成するステップとを含む。
【００２４】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００２５】
本発明によれば、動画像データのインターレース再生とプログレッシブ再生を両立させることができる。
【発明を実施するための最良の形態】
【００２６】
実施の形態１
図１は、実施の形態１に係る動画像符号化装置の構成図である。本実施の形態では動画を撮影して記録媒体に記録するという構成を説明するが、既に撮影された動画像のフレームを入力する形態であってもよく、符号化された動画像データを記録媒体に記録せずに、ストリームデータとして外部に出力する形態であってもよい。
【００２７】
レンズ１０１を通して、動画用の受光素子１０２に画像が撮像される。受光素子１０２は例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳなどであり、動画像撮像素子としてプログレッシブ画像として取り出し可能なものである。受光素子１０２から出力されるデータはＡ／Ｄ変換器１０３でＡ／Ｄ変換される。
【００２８】
Ａ／Ｄ変換器１０３からは、相補的（互いに補完的）な関係にある二種類のインターレース画像Ａ、Ｂがデジタルデータとして出力され、第１インターレース画像Ａは第１インターレース動画符号化器１０７に、第２インターレース画像Ｂは第２インターレース動画符号化器１０９に入力される。
【００２９】
図２は、第１インターレース動画符号化器１０７および第２インターレース動画符号化器１０９に入力される相補的な二種類のインターレース画像Ａ、Ｂと、プログレッシブ画像Ｃの関係を説明する図である。
【００３０】
図２（ａ）は、第１インターレース動画符号化器１０７に入力される第１インターレース画像Ａを示す。約１／６０秒（正確には１／５９．９４秒）毎に白で示す走査線の画像（たとえば、横７２０画素、縦２４０画素）が入力される。１枚目は奇数番目の走査線からなる奇数フィールドの画像であり、２枚目は偶数番目の走査線からなる偶数フィールドの画像であり、以降、奇数フィールド、偶数フィールドが交互に繰り返す。
【００３１】
図２（ｂ）は、第２インターレース動画符号化器１０９に入力される第２インターレース画像Ｂを示す。同様に、約１／６０秒（正確には１／５９．９４秒）毎に白で示す走査線の画像（横７２０画素、縦２４０画素）が入力されるが、第２インターレース画像Ｂは第１インターレース画像Ａと相補的な関係にあり、第２インターレース画像Ｂでは、奇数フィールドと偶数フィールドが第１インターレース画像Ａとは逆位相になっている。すなわち、第２インターレース画像Ｂの１枚目は偶数番目の走査線からなる偶数フィールドの画像であり、２枚目は奇数番目の走査線からなる奇数フィールドの画像であり、以降、偶数フィールド、奇数フィールドが交互に繰り返す。
【００３２】
図２（ａ）の第１インターレース画像Ａと図２（ｂ）の第２インターレース画像Ｂを合わせると、奇数ラインと偶数ラインで補完されるので、図２（ｃ）のようにプログレッシブ画像Ｃ（横７２０画素、縦４８０画素）が得られる。
【００３３】
再び図１を参照する。第１インターレース動画符号化器１０７による第１インターレース画像Ａの符号化は、通常のＭＰＥＧビデオ等、インターレース対応の標準規格の符号化方式であれば、いずれの符号化方式を用いてもよい。ここでは、互換性を考慮して、標準規格で符号化しておくことがより好ましい。たとえば、ＭＰＥＧであれば、Ｈ２６４などの規格、あるいはＶＣ１であれば、ＤＶＤやブルーレイ・ディスク（商標または登録商標）などのメディア規格、あるいは、デジタル放送規格などで採用されている標準規格を用いることは、本実施の形態において互換性を意識した符号化を行う意味で重要である。
【００３４】
動画局部復号器１０８は、第１インターレース動画符号化器１０７により符号化された第１インターレース画像Ａを復号化し、第１インターレース復号化画像Ａ’を生成する。動画局部復号器１０８は、第１インターレース復号化画像Ａ’を第２インターレース動画符号化器１０９に供給する。ここで、動画像符号化装置において符号化後の第１インターレース画像Ａをローカルに復号化するのは、後述の動画像復号化装置では、符号化前の第１インターレース画像Ａは利用不可能であり、第１インターレース復号化画像Ａ’を利用して第２インターレース画像Ｂを復号化しなければならないからである。
【００３５】
図１の第２インターレース動画符号化器１０９は、Ａ／Ｄ変換器１０３から供給された第２インターレース画像Ｂと、動画局部復号器１０８から供給された第１インターレース復号化画像Ａ’を用いて、第２インターレース画像Ｂを予測符号化する。第２インターレース動画符号化器１０９は、第２インターレース画像Ｂを予測符号化するにあたって、その符号化対象となっている第２インターレース画像Ｂを時系列的な基準として、過去の第２インターレース画像Ｂ以外に、動画局部復号器１０８から供給された第１インターレース復号化画像Ａ’も参照画像として利用する。第２インターレース動画符号化器１０９による符号化の詳細は後述する。
【００３６】
一方、オーディオ入力器１０４から出力されるオーディオデータはＡ／Ｄ変換器１０５にてデジタルデータに変換され、音声符号化器１０６に入力される。音声符号化器１０６は例えばＭＰＥＧオーディオ符号化やドルビーＡＣ３などの圧縮を行う。符号化方式の内容は規格化されているので、ここでは説明を省略する。
【００３７】
第１インターレース動画符号化器１０７から出力された第１インターレース符号化データと、第２インターレース動画符号化器１０９から出力された第２インターレース符号化データと、音声符号化器１０６から出力された音声符号化データは、それぞれ、多重化器１１０に入力される。
【００３８】
多重化器１１０は、パケット多重化方式でこれらの３種類のデータを多重化する。多重化器１１０は、ピクチャのユーザデータを利用する方式のピクチャユーザデータ生成器に置き換えてもよい。どちらでもシステムとして構築することが可能である。多重化器１１０またはピクチャユーザデータ生成器の詳細は後述する。いずれにしても３種類の符号化データは１つのストリームデータにまとめられ、記録媒体書き込み器１１１によって、記録媒体１１２に記録される。
【００３９】
図３は、第１インターレース動画符号化器１０７および第２インターレース動画符号化器１０９による片方向予測符号化を説明する図である。
【００４０】
図３（ａ）は、第１インターレース動画符号化器１０７が第１インターレース画像Ａを片方向予測符号化する様子を示す。これはＭＰＥＧなどで使用される片方向予測符号化の説明図である。インターレース動画像であるため、横軸を時間軸とすると、１／６０秒（正確には１／５９．９４秒）毎に１枚のフィールド画像が入力される。
【００４１】
第１インターレース画像Ａは、奇数フィールド、偶数フィールドの順にフィールド画像が時間方向に並んだものである。上段には奇数フィールド、下段には偶数フィールドの画像が図示されている。
【００４２】
まずは所定の単位でＭＰＥＧの１画面内で完結するイントラ符号化を行う。例えば３０フィールドに２枚（この２枚は、奇数フィールドと偶数フィールドを対にする）程度をイントラ符号化してＩピクチャとすることが適当である。それ以外はＰピクチャとして予測符号化を行う。Ｐピクチャを片方向予測符号化する際、イントラ符号化されたＩピクチャまたは過去のＰピクチャを参照して予測符号化する。
【００４３】
図３（ａ）には、ＭＰＥＧ２のメインプロファイルで規定された片方向予測符号化における参照関係が矢印で示されている。符号化のシンタックスはＭＰＥＧに規定されているので詳細は省略する。
【００４４】
たとえば、３番目の奇数フィールドのＰピクチャは、１番目の奇数フィールドのＩピクチャと２番目の偶数フィールドのＩピクチャを参照して順方向に予測符号化される。４番目の偶数フィールドのＰピクチャは、２番目の偶数フィールドのＩピクチャと３番目の奇数フィールドのＰピクチャを参照して順方向に予測符号化される。
【００４５】
ここで予測符号化の際、画面で単純な差分をとるのではなく、画面内のマクロブロック（たとえば横１６画素、縦８画素、あるいは横１６画素、縦１６画素のブロック）の単位で、どれだけそのマクロブロックに含まれるコンテンツが動いたかを、１画素、あるいは１／２画素や１／４画素の精度で探索して、マクロブロック毎の差分が絶対値和あるいは絶対値２乗和などの評価値の一番小さいところを見つけ出し、動きベクトル（ＭＶ）の方向と動き量を求める。求めた動きベクトルにしたがってマクロブロックを動かし、予測参照画像との差分値をとり、符号化する。
【００４６】
マクロブロック毎に差分が最も小さくなる参照画像を選ぶため、選択された参照画像を特定するための識別情報をマクロブロック単位で設定し、動きベクトルの情報とともに符号化データ内に記録する。
【００４７】
図３（ｂ）は、第２インターレース動画符号化器１０９が第２インターレース動画Ｂを片方向予測符号化する様子を示す。実線で示した第２インターレース動画像Ｂは、偶数フィールド、奇数フィールドの順に画像が時間方向に並んでおり、点線で示した第１インターレース動画像Ａと相補的な関係にある。
【００４８】
通常のＭＰＥＧ符号化とは違い、第２インターレース動画符号化器１０９による第２インターレース画像Ｂの予測符号化は、第２インターレース動画像Ｂのフィールド画像だけでなく、第１インターレース動画像Ａの局部復号化フィールド画像も参照してなされる。第２インターレース動画符号化器１０９によって符号化される画像は、ＩピクチャでもＰピクチャでもないので、新たな画像タイプとして「Ｍピクチャ」と呼ぶことにする。
【００４９】
第２インターレース画像Ｂの１番目の偶数フィールドの画像はイントラ符号化されるため、Ｉピクチャとなる。第２インターレース画像Ｂの２番目の奇数フィールドの画像は、第１インターレース画像Ａの１番目の奇数フィールドの復号化画像Ｉ’と、第２インターレース画像Ｂの１番目の偶数フィールドの画像Ｉと、第１インターレース画像Ａの２番目の奇数フィールドの復号化画像Ｉ’の３種類を参照して予測符号化され、Ｍピクチャとなる。
【００５０】
第２インターレース画像Ｂの３番目の偶数フィールドの画像は、第１インターレース動画像Ａの２番目の偶数フィールドの復号化画像Ｉ’と、第２インターレース画像Ｂの２番目の奇数フィールドの画像Ｍと、第１インターレース画像Ａの３番目の奇数フィールドの復号化画像Ｐ’の３種類を参照して予測符号化され、Ｍピクチャとなる。
【００５１】
以降、第２インターレース画像Ｂのｋ（＞３）番目のフィールド画像は、第１インターレース画像Ａの（ｋ−１）番目の復号化フィールド画像Ｐ’と、第２インターレース画像Ｂの（ｋ−１）番目のフィールド画像Ｍと、第１インターレース画像Ａのｋ番目の復号化フィールド画像Ｐ’の３種類を参照して予測符号化され、Ｍピクチャとなる。
【００５２】
このように、時刻ｔの第２インターレース画像ＢのＭピクチャの片方向予測符号化に用いられる参照画像は、時刻（ｔ−１）の第１インターレース画像Ａの局部復号化フィールド画像、時刻（ｔ−１）の第２インターレース画像Ｂのフィールド画像Ｍ、および時刻ｔの第１インターレース画像の局部復号化フィールド画像の３枚であり、参照関係は３本の矢印で示されている。ここで、時刻の１単位は１／６０秒（正確には１／５９．９４秒）である。
【００５３】
第２インターレース画像Ｂの片方向予測符号化の際、第２インターレース画像Ｂのフィールド画像だけを参照画像とすると、図３（ａ）に示すように、１単位時間前か２単位時間前のフィールド画像しか利用できない。それに対して、本実施の形態では、第１インターレース画像Ａのフィールド画像も参照画像として採用し、時間的に直近の３枚のフィールド画像を参照して第２インターレース画像Ｂの予測符号化がなされる。そのため、予測誤差が小さくなることが期待され、符号化効率が高まる。
【００５４】
予測符号化は図３（ａ）、図３（ｂ）の矢印で示した参照画像と予測画像の間で行われる。（１）複数の参照画像がある場合、差分値がもっとも小さい画像を選択する。（２）双方向予測の場合は未来、過去の２画像を選択して、平均した予測画像を使用して差分値をとったものも選択肢とする。（３）順方向、逆方向の２つの画像を使用して差分値をとったものも選択肢とする。これらはいずれもＭＰＥＧ２の予測符号化の方式であり、３つの方法の内、ひとつを用いてもよく、２つあるいは３つの方法を組み合わせて用いてもよい。複数の組み合わせがある場合には、その組み合わせの内、選択したものを示す識別情報をマクロブロックの予測方法を示すシンタックスビットの中に入れる。その後、求めた差分画像について横８画素、縦８画素のＤＣＴ変換を施し、さらに量子化する。量子化後のＤＣＴ変換係数を所定の順番にスキャンして、可変長符号化（ＶＬＣ）を行う。
【００５５】
第２インターレース画像Ｂの予測符号化においては、最大３つの参照画像があるので、予測符号化にあたって使用した参照画像を特定するために２ビットの識別子を用いる。この識別ビットは、マクロブロック毎に変化できることになるので、マクロブロック毎に動きベクトルを格納する領域に識別ビットを記述するのが望ましい。
【００５６】
上記では、第１インターレース動画符号化器１０７、第２インターレース動画符号化器１０９がそれぞれ第１インターレース画像Ａ、第２インターレース画像Ｂを片方向予測符号化する場合を説明したが、双方向予測符号化してもよい。
【００５７】
図４は、第１インターレース動画符号化器１０７および第２インターレース動画符号化器１０９による双方向予測符号化を説明する図である。
【００５８】
図４（ａ）は、第１インターレース動画符号化器１０７が第１インターレース動画Ａを双方向予測符号化する様子を示す。これはＭＰＥＧなどで使用される双方向予測符号化である。図３（ａ）との違いは、双方向予測されるＢピクチャーが存在していることである。インターレース画像であるため、過去と未来のフィールド画像を奇数および偶数のペアで参照することになり、過去、未来の４枚の参照画像を用いて予測符号化される。この方式はＭＰＥＧと同様であるため、詳細な説明は省略する。
【００５９】
図４（ｂ）は、第２インターレース動画符号化器１０９が第２インターレース動画Ｂを双方向予測符号化する様子を示す。
【００６０】
第２インターレース動画符号化器１０９による第２インターレース画像Ｂの双方向予測符号化は、直近の第１インターレース動画像Ａの局部復号化フィールド画像を参照してなされる。第２インターレース動画符号化器１０９によって双方向予測符号化される画像を新たな画像タイプとして「Ｎピクチャ」と呼ぶことにする。
【００６１】
第２インターレース画像Ｂの１番目の偶数フィールドの画像はイントラ符号化されるため、Ｉピクチャとなる。第２インターレース画像Ｂの２番目の奇数フィールドの画像は、第１インターレース画像Ａの１番目の奇数フィールドの復号化画像Ｉ’と、第１インターレース画像Ａの２番目の偶数フィールドの復号化画像Ｉ’と、第１インターレース画像Ａの３番目の奇数フィールドの復号化画像Ｂ’の３種類を参照して予測符号化され、Ｎピクチャとなる。
【００６２】
第２インターレース画像Ｂの３番目の偶数フィールドの画像は、第１インターレース画像Ａの２番目の偶数フィールドの復号化画像Ｉ’と、第１インターレース画像Ａの３番目の奇数フィールドの復号化画像Ｂ’と、第１インターレース画像Ａの４番目の偶数フィールドの画像Ｂ’の３種類を参照して予測符号化され、Ｎピクチャとなる。
【００６３】
以降、第２インターレース画像Ｂのｋ（＞３）番目のフィールド画像は、第１インターレース画像Ａの（ｋ−１）番目の復号化フィールド画像と、第１インターレース画像Ａのｋ番目の符号化フィールド画像と、第１インターレース画像Ａの（ｋ＋１）番目の復号化フィールド画像の３種類を参照して予測符号化され、Ｎピクチャとなる。
【００６４】
このように、時刻ｔの第２インターレース画像ＢのＮピクチャの双方向予測符号化に用いられる参照画像は、時刻（ｔ−１）の第１インターレース画像の局部復号化フィールド画像、時刻ｔの第１インターレース画像Ａの局部符号化フィールド画像、および時刻（ｔ＋１）の第１インターレース画像Ａの局部復号化フィールド画像の３枚であり、参照関係は３本の矢印で示されている。ここで、時刻の１単位は１／６０秒（正確には１／５９．９４秒）である。
【００６５】
第２インターレース画像Ｂの双方向予測符号化の際、第２インターレース画像Ｂのフィールド画像だけを参照画像とすると、図３（ａ）に示すように、１単位時間または２単位時間前後のフィールド画像しか利用できない。それに対して、本実施の形態では、第１インターレース画像Ａのフィールド画像を参照画像として採用し、過去、未来の双方向から３枚の近接したフィールド画像を参照して第２インターレース画像Ｂの予測符号化がなされる。そのため、予測誤差が小さくなり、符号化効率が向上する。
【００６６】
図５は、多重化器／ピクチャユーザデータ生成器１１０が第１インターレース符号化データと第２インターレース符号化データをマージする方法を説明する図である。
【００６７】
図５（ａ）は、ピクチャユーザデータ生成器１１０がユーザデータ方式によって二種類の符号化データをマージする方法を示す。ＭＰＥＧにはピクチャ単位でユーザデータを記述できる領域がある。ユーザデータを記述できる領域は、ピクチャレイヤに限らず、ＧＯＰレイヤなど他のレイヤにもあり、ＧＯＰレイヤのように複数のピクチャをまとめたレイヤであれば、第２インターレース符号化データを所定枚数だけ集めてユーザデータ領域に格納すればよい。ここでは、ピクチャー毎に第２インターレース符号化データを挿入する例を説明する。
【００６８】
第１インターレース符号化データのピクチャレイヤのユーザデータ領域に、相補的な関係にある第２インターレース符号化データを１ピクチャ毎に挿入する。基本的にはピクチャヘッダから次のピクチャヘッダの手前までのデータを１枚のピクチャーデータとみなせばよいが、イントラピクチャ部分のＧＯＰの先頭にＧＯＰヘッダやシーケンスヘッダがある場合は、イントラピクチャの１ピクチャデータとして扱えばよい。
【００６９】
図５（ａ）のようにＭＰＥＧのピクチャデータの中のユーザデータの領域に第２インターレース符号化データを格納する。ユーザデータはＭＰＥＧ２のビデオレイヤのシンタックスにおけるuser_data()を使用する。user_data()は、user_start_codeという一意に決定できるバイトアラインされたスタートコードから始まり、次に0x000001の３バイトを受信するまでユーザデータを続けることができる。その際、他のアプリケーションでuser_data()を使用している可能性もあるので、user_data()のuser_start_codeの後、本方式のデータであることを示す、４バイト程度のユニークコード、例えば0x22220204を記述する。これにより他の用途で使用するユーザデータとの混同を防ぐことができる。
【００７０】
図５（ｂ）は、多重化器１１０がパケット多重化方式によって二種類の符号化データをマージする方法を示す。２種類のビデオ符号化データと１種類のオーディオ符号化データをＭＰＥＧ２のシステムレイヤ規格に準拠して多重化する。オーディオ符号化データ、第１インターレース符号化データ、および第２インターレース符号化データをパケットヘッダとともにパケット化する。それぞれのパケットヘッダには、オーディオ１、ビデオ１、ビデオ２のいずれであるかを識別するための識別ＩＤを記載する。ビデオ１の識別子は第１インターレース符号化データを示し、ビデオ２の識別子は第２インターレース符号化データを示し、オーディオ１の識別子は音声符号化データを示す。
【００７１】
２種類のビデオと１種類のオーディオの各復号器においてバッファオーバーフローが起きないように、これらの符号化データを一つのストリームに多重化する。ＭＰＥＧ２の多重化規格に詳細は記載されているので、ここでは説明を省略する。
【００７２】
図６は、実施の形態１に係る動画像復号化装置の構成図である。記録媒体２０１は、図１の動画像符号化装置の記録媒体書き込み器１１１によって動画像と音声の符号化データが記録された記録媒体１１２である。記録媒体２０１には、第１インターレース符号化データ、第２インターレース符号化データ、および音声符号化データの３種類が一つのストリームにまとめられて記録されている。一つのストリームにまとめる方法として、図５（ｂ）のパケット多重化方式と図５（ａ）のピクチャデータのユーザデータ方式がある。
【００７３】
記録媒体読み出し器２０２は、記録媒体２０１から符号化データを読み出し、多重化分離器／ユーザデータ分離器２０３に供給する。符号化データが図５（ｂ）のパケット多重化方式で記録されている場合、多重化分離器２０３は、パケット化されて多重化されたデータをパケットヘッダの識別ＩＤによって、オーディオ１、ビデオ１、ビデオ２のいずれであるかを識別する。多重化分離器２０３は、識別ＩＤがオーディオ１ならば音声符号化データ、ビデオ１であれば第１インターレース符号化データ、ビデオ２であれば第２インターレース符号化データであると判定し、それぞれの復号器である音声復号化器２０４、第１インターレース動画復号化器２０８、第２インターレース動画復号化器２０７に各符号化データを供給する。
【００７４】
符号化データが図５（ａ）のユーザデータ方式で記録されている場合、ユーザデータ分離器２０３は、ユーザーデータ領域に挿入された第２インターレース符号化データを分離して抽出する。ユーザーデータは、ピクチャ単位でユーザデータを記述可能なピクチャレイヤに記述されているとは限らず、ピクチャのグループをまとめたＧＯＰレイヤに記述されていることもある。ピクチャユーザデータを用いた場合には、ＭＰＥＧ２のビデオレーヤのシンタックスにおけるuser_data()のuser_start_codeを検出し、user_start_codeの後に、本方式のデータであることを示す４バイト程度のユニークコード（たとえば0x22220204）を検出する。このユニークコードの後に格納された情報は、第２インターレース符号化データであると判断してデータを抽出することができる。
【００７５】
第１インターレース動画復号化器２０８は、ＭＰＥＧなどのインターレース符号化されたデータを復号化する手段である。前述したように、動画像符号化装置の第１インターレース動画符号化器１０７が標準規格でインターレース符号化を実行しているため、第１インターレース動画復号化器２０８は、通常のＭＰＥＧビデオなどに相当するインターレース対応の標準規格の復号方式によって第１インターレース動画符号化データを復号化することができる。本実施の形態では互換性を保証する意味で、標準規格の符号化方式を採用することが重要である。
【００７６】
第２インターレース動画復号化器２０７は、第１インターレース動画復号化器２０８によって復号された第１インターレース復号化画像を参照画像として使用して、第２インターレース符号化データを復号化する。
【００７７】
図３（ｂ）で説明したように、第２インターレース画像Ｂは、第１インターレース復号化画像も参照画像として用いて予測符号化されている。一般に、時刻ｔの第２インターレース画像ＢのＭピクチャは、時刻（ｔ−１）の第１インターレース復号化ピクチャＩ’（またはＰ’）、時刻（ｔ−１）のＭピクチャ、時刻ｔの第１インターレース復号化ピクチャＩ’（またはＰ’）の３枚の直近の参照画像から予測されている。第２インターレース動画復号化器２０７は、時刻ｔの第２インターレース画像ＢのＭピクチャを復号化するにあたり、第１インターレース動画復号化器２０８から時刻（ｔ−１）および時刻ｔの第１インターレース復号化画像の入力を受け、時刻（ｔ−１）の第１インターレース復号化画像、時刻ｔの第１インターレース復号化画像、時刻（ｔ−１）のＭピクチャの内、参照画像として指定されている画像に差分画像を加算することで時刻ｔのＭピクチャを復号化する。図４（ｂ）のように、双方向予測が用いられている場合は、時刻ｔのＮピクチャを復号化するにあたり、過去、未来の両方向から３つの近接した参照画像を用いて復号化する。
【００７８】
第１インターレース動画復号化器２０８によって復号された第１インターレース復号化画像Ａ’は、Ｄ／Ａ変換器２１１およびプログレッシブ画像構成器２０９に供給される。Ｄ／Ａ変換器２１１によって第１インターレース復号化画像Ａ’はデジタルからアナログに変換され、画像出力器２１２にて画像出力される。
【００７９】
第２インターレース動画復号化器２０７によって復号された第２インターレース復号化画像Ｂ’はプログレッシブ画像構成器２０９に供給される。プログレッシブ画像構成器２０９は、第１インターレース復号化画像Ａ’と第２インターレース復号化画像Ｂ’を合成することにより、プログレッシブ復号化画像Ｃ’を生成し、Ｄ／Ａ変換器２１０に供給する。Ｄ／Ａ変換器２１０によってプログレッシブ復号化画像Ｃ’はデジタルからアナログに変換され、画像出力器２１２にて画像出力される。
【００８０】
ここでＤ／Ａ変換器２１０、２１１は画像出力器２１２とは別に記載しているが、画像出力器２１２の中に搭載されていることもある。また、ＤＴＶなどの機器のように画像符号化されたデジタル信号がそのまま入力される場合もある。
【００８１】
一方、多重化分離器２０３から出力されたオーディオデータは音声復号化器２０４に入力される。音声復号化器２０４は、ＭＰＥＧオーディオ符号化やドルビーＡＣ３などにより符号化されたオーディオデータを復号化する。符号化方式の内容は規格化されているので、復号化の説明は省略する。復号化されたオーディオデータはＤ／Ａ変換器２０５にてデジタルからアナログに変換され、スピーカーなどの音声出力器２０６によって音声出力される。
【００８２】
第１インターレース動画復号化器２０８から出力される第１インターレース画像の情報のみを用いて、画像出力器２１２にて出力すれば、インターレース画像を再生することができ、第１インターレース動画復号化器２０８から出力される第１インターレース画像と第２インターレース動画復号化器２０７から出力される第２インターレース画像とをプログレッシブ画像構成器２０９を用いて合成し、プログレッシブ化して画像出力器２１２にて出力すれば、プログレッシブ画像を再生することができる。
【００８３】
実施の形態２
図７は、実施の形態２に係る動画像符号化装置の構成図である。実施の形態１の第２インターレース動画符号化器１０９が実施の形態２ではプログレッシブ動画符号化器１１９に置き換えられおり、Ａ／Ｄ変換器１０３からプログレッシブ動画符号化器１１９へ供給される画像は、図２（ｃ）のプログレッシブ画像Ｃである点が実施の形態１とは異なる。これ以外は実施の形態１と同じであるから、共通する説明は省略し、異なる構成と動作について説明する。
【００８４】
プログレッシブ動画符号化器１１９は、動画局部復号器１０８から出力される第１インターレース復号化画像Ａ’と、Ａ／Ｄ変換器１０３から出力されるプログレッシブ画像Ｃを入力として受け取り、プログレッシブ画像Ｃを符号化してプログレッシブ符号化データを生成し、多重化器１１０に与える。
【００８５】
図８は、プログレッシブ動画符号化器１１９によるプログレッシブ画像Ｃの片方向予測符号化を説明する図である。
【００８６】
図８（ａ）は、比較のため、第１インターレース動画符号化器１０７によるインターレース画像Ａの片方向予測符号化を示したものであり、これは、実施の形態１と同じである。
【００８７】
図８（ｂ）は、プログレッシブ動画符号化器１１９によるプログレッシブ画像Ｃの片方向予測符号化を示す。図８（ｂ）には説明の便宜上、二種類のストリームデータが図示されている。上段のストリームデータでは、第２インターレース画像ＢのＭピクチャが、過去のＭピクチャの他、第１インターレース復号化画像Ａ’のフィールド画像Ｉ’、Ｐ’も参照画像として利用して予測符号化される様子が示されており、ここまでは実施の形態１と同じである。
【００８８】
実施の形態２では、プログレッシブ動画符号化器１１９にはプログレッシブ画像Ｃが与えられることから、元の第１インターレース画像Ａもさらなる参照画像として利用できる。図８（ｂ）の下段のストリームデータは、第２インターレース画像ＢのＭピクチャが、元の第１インターレース画像Ａのフィールド画像Ｉ、Ｐも参照画像として利用して予測符号化されることを示している。図８（ｂ）の上段と下段を合わせると、第２インターレース画像ＢのＭピクチャは、合計５枚の参照画像を用いて予測符号化することができる。
【００８９】
このように、プログレッシブ動画符号化器１１９は、符号化対象となっている第２インターレース画像を時系列的な基準として、過去のＭピクチャ以外に、動画局部復号器１０８によって生成された第１インターレース復号化画像Ａ’と、Ａ／Ｄ変換器１０３から供給されるプログレッシブ画像Ｃに含まれる第１インターレース画像Ａを参照画像として用い、第２インターレース画像ＢのＭピクチャを予測し、プログレッシブ画像Ｃを符号化する。プログレッシブ動画符号化器１１９は、図８（ｂ）の符号化されたＩピクチャ、Ｐピクチャ、Ｍピクチャを、プログレッシブの状態にして出力する。たとえば、相補的な関係にある奇数フィールドのＰピクチャと偶数フィールドのＭピクチャを合成してプログレッシブ画像にして出力する。
【００９０】
図９は、プログレッシブ動画符号化器１１９によるプログレッシブ画像Ｃの双方向予測符号化を説明する図である。
【００９１】
図９（ａ）は、比較のため、第１インターレース動画符号化器１０７によるインターレース画像Ａの双方向予測符号化を示したものであり、これは、実施の形態１と同じである。
【００９２】
図９（ｂ）は、プログレッシブ動画符号化器１１９によるプログレッシブ画像Ｃの双方向予測符号化を示す。図９（ｂ）には説明の便宜上、二種類のストリームデータが図示されている。上段のストリームデータでは、第２インターレース画像ＢのＮピクチャが、過去、現在、未来の第１インターレース復号化画像Ａ’のフィールド画像を参照画像として利用して予測符号化される様子が示されており、ここまでは実施の形態１と同じである。
【００９３】
実施の形態２では、プログレッシブ動画符号化器１１９にはプログレッシブ画像Ｃが与えられることから、元の第１インターレース画像Ａもさらなる参照画像として利用できる。図９（ｂ）の下段のストリームデータは、第２インターレース画像ＢのＮピクチャが、元の第１インターレース画像Ａの過去、現在、未来のフィールド画像を参照画像として利用して予測符号化されることを示している。図９（ｂ）の上段と下段を合わせると、第２インターレース画像ＢのＮピクチャは、合計６枚の参照画像を用いて予測符号化することができる。
【００９４】
このように、プログレッシブ動画符号化器１１９は、動画局部復号器１０８によって生成された第１インターレース復号化画像Ａ’と、Ａ／Ｄ変換器１０３から供給されるプログレッシブ画像Ｃに含まれる第１インターレース画像Ａを参照画像として用い、第２インターレース画像ＢのＮピクチャを予測し、プログレッシブ画像Ｃを符号化する。プログレッシブ動画符号化器１１９は、図９（ｂ）の符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャ、Ｎピクチャを、プログレッシブの状態にして出力する。たとえば、相補的な関係にある奇数フィールドのＢピクチャと偶数フィールドのＮピクチャを合成してプログレッシブ画像にして出力する。
【００９５】
図１０は、実施の形態２に係る動画像復号化装置の構成図である。実施の形態１の第２インターレース動画復号化器２０７が実施の形態２ではプログレッシブ動画復号化器２１７に置き換えられており、多重化分離器２０３からプログレッシブ動画復号化器２１７へ供給される画像は、図２（ｃ）のプログレッシブ画像Ｃが符号化されたプログレッシブ符号化データである。実施の形態２では、実施の形態１のプログレッシブ画像構成器２０９は不要であり、プログレッシブ動画復号化器２１７の出力は直接、Ｄ／Ａ変換器２１０に与えられる。これ以外は実施の形態１と同じであるから、共通する説明は省略し、異なる構成と動作について説明する。
【００９６】
プログレッシブ動画復号化器２１７は、第１インターレース動画復号化器２０８によって復号された第１インターレース復号化画像の入力を受けて、プログレッシブ符号化データを復号化し、プログレッシブ画像を出力する。
【００９７】
図８（ｂ）で説明したように、第２インターレース画像Ｂは、第１インターレース復号化画像とプログレッシブ画像に含まれる第１インターレース画像を参照画像として用いて予測符号化されている。一般に、時刻ｔの第２インターレース画像ＢのＭピクチャは、時刻（ｔ−１）の第１インターレース復号化ピクチャＩ’（またはＰ’）、時刻（ｔ−１）のＭピクチャ、時刻ｔの第１インターレース復号化ピクチャＩ’（またはＰ’）、時刻（ｔ−１）のプログレッシブ画像に含まれる第１インターレースピクチャＩ（またはＰ）、および時刻ｔのプログレッシブ画像に含まれる第１インターレースピクチャＩ（またはＰ）の５枚の直近の参照画像から予測されている。プログレッシブ動画復号化器２１７は、時刻ｔの第２インターレース画像ＢのＭピクチャを復号化するにあたり、第１インターレース動画復号化器２０８から時刻（ｔ−１）および時刻ｔの第１インターレース復号化ピクチャＩ’（またはＰ’）の入力を受け、多重化分離器２０３から供給されるプログレッシブ符号化データに含まれる第１インターレース符号化データを復号化して得られる第１インターレースピクチャＩ（またはＰ）を取得し、これらのピクチャの内、参照画像として指定されている画像に差分画像を加算することで時刻ｔのＭピクチャを復号化する。プログレッシブ動画復号化器２１７は、復号化されたＩピクチャ、Ｐピクチャ、Ｍピクチャを、プログレッシブの状態にして出力する。たとえば、相補的な関係にある奇数フィールドのＰピクチャと偶数フィールドのＭピクチャを合成してプログレッシブ画像にして出力する。図９（ｂ）のように、双方向予測が用いられている場合は、時刻ｔのＮピクチャを復号化するにあたり、過去、未来の両方向から６つの近接した参照画像を用いて復号化する。プログレッシブ動画復号化器２１７は、復号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャ、Ｎピクチャを、プログレッシブの状態にして出力する。たとえば、相補的な関係にある奇数フィールドのＢピクチャと偶数フィールドのＮピクチャを合成してプログレッシブ画像にして出力する。
【００９８】
動画像符号化装置において、実施の形態１の第２インターレース動画符号化器１０９の機能と、実施の形態２のプログレッシブ動画符号化器１１９の機能とを併せ持つ第２動画符号化器を設けてもよい。Ａ／Ｄ変換器１０３から第２インターレース画像Ｂが入力される場合は、第２動画符号化器は第２インターレース動画符号化器１０９の機能を実行し、Ａ／Ｄ変換器１０３からプログレッシブ画像Ｃが入力される場合は、第２動画符号化器はプログレッシブ動画符号化器１１９の機能を実行する。
【００９９】
同様に、動画像復号化装置において、実施の形態１の第２インターレース動画復号化器２０７の機能と、実施の形態２のプログレッシブ動画復号化器２１７の機能とを併せ持つ第２動画復号化器を設けてもよい。多重化分離器２０３から符号化された第２インターレース画像Ｂが入力される場合は、第２動画復号化器は第２インターレース動画復号化器２０７の機能を実行し、多重化分離器２０３から符号化されたプログレッシブ画像Ｃが入力される場合は、第２動画復号化器はプログレッシブ動画復号化器２１７の機能を実行する。
【０１００】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【０１０１】
本実施の形態では、記録媒体の種類を特に限定しない。例えばハードディスクや光ディスク、メモリー、テープなど、どんな記録媒体であってもよい。また、記録媒体にデータを記録しなくても、通信、放送などあらゆる伝送媒体を経由してデータを送信することが可能で、その場合には、記録装置は伝送装置として使用することもできる。また再生装置は受信装置として使用することも可能である。また、媒体という定義はデータを記録できる媒体という、狭義の媒体だけでなく、信号データを伝送するための電磁波、光などを含む。また、記録媒体に記録されている情報は、記録されていない状態での電子ファイルなどのデータ自身を含むものとする。
【図面の簡単な説明】
【０１０２】
【図１】実施の形態１に係る動画像符号化装置の構成図である。
【図２】相補的な二つのインターレース画像とプログレッシブ画像の関係を説明する図である。
【図３】図１の第１インターレース動画符号化器および第２インターレース動画符号化器による片方向予測符号化を説明する図である。
【図４】図１の第１インターレース動画符号化器および第２インターレース動画符号化器による双方向予測符号化を説明する図である。
【図５】図１の多重化器／ピクチャユーザデータ生成器が第１インターレース符号化データと第２インターレース符号化データをマージする方法を説明する図である。
【図６】実施の形態１に係る動画像復号化装置の構成図である。
【図７】実施の形態２に係る動画像符号化装置の構成図である。
【図８】図７のプログレッシブ動画符号化器によるプログレッシブ画像の片方向予測符号化を説明する図である。
【図９】図７のプログレッシブ動画符号化器によるプログレッシブ画像の双方向予測符号化を説明する図である。
【図１０】実施の形態２に係る動画像復号化装置の構成図である。
【図１１】従来のＭＰＥＧ符号化装置の構成図である。
【図１２】従来のＭＰＥＧ復号化装置の構成図である。
【符号の説明】
【０１０３】
１０６  音声符号化器、  １０７  第１インターレース動画符号化器、  １０８  動画局部復号器、  １０９  第２インターレース動画符号化器、  １１０  多重化器、  １１９  プログレッシブ動画符号化器、  ２０３  多重化分離器、  ２０４  音声復号化器、  ２０７  第２インターレース動画復号化器、  ２０８  第１インターレース動画復号化器、  ２０９  プログレッシブ画像構成器、  ２１７  プログレッシブ動画復号化器。
【図１】
2010041408.tif 000003
【図３】
2010041408.tif 000004
【図４】
2010041408.tif 000005
【図５】
2010041408.tif 000006
【図６】
2010041408.tif 000007
【図７】
2010041408.tif 000008
【図８】
2010041408.tif 000009
【図９】
2010041408.tif 000010
【図１０】
2010041408.tif 000011
【図２】
2010041408.tif 000012
【図１１】
2010041408.tif 000013
【図１２】
2010041408.tif 000014