(57)【要約】  動き補償予測部６が、符号化対象ピクチャと参照ピクチャの符号化単位が異なる場合、その参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出するように構成する。これにより、フレーム単位の符号化と、フィールド単位の符号化とが混在する場合でも、ＨＥＶＣに適用することができる。
2014051081.tif 000002
【特許請求の範囲】
【請求項１】
参照ピクチャに保持されている参照ベクトルから予測ベクトルを導出するとともに、上記予測ベクトルを利用して動きベクトルを探索し、上記動きベクトルを用いて、符号化対象ピクチャに対する動き補償予測処理を実施して予測画像を生成する予測画像生成手段を備え、
上記予測画像生成手段は、上記符号化対象ピクチャと上記参照ピクチャの符号化単位が異なる場合、上記参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出することを特徴とする動画像符号化装置。
【請求項２】
上記予測画像生成手段は、上記動きベクトルを符号化対象ピクチャの参照ベクトルマップとして保持するとともに、符号化対象ピクチャがフィールド単位符号化で符号化される場合、符号化対象ピクチャに対応する参照ベクトルマップを、フィールド別に、フレームで２面保持することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
上記予測画像生成手段は、参照ピクチャがフィールド単位符号化で符号化されている場合、予測ベクトルの導出処理において、参照ピクチャが属するフレームのいずれのフィールドの参照ベクトルを用いるかを決定するとともに、いずれのフィールドの参照ベクトルを用いたかを示すベクトル参照フィールド指示インデックス情報を可変長符号化する可変長符号化手段を有することを特徴とする請求項２記載の動画像符号化装置。
【請求項４】
上記予測画像生成手段は、上記動きベクトルを符号化対象ピクチャの参照ベクトルマップとして保持するとともに、符号化対象ピクチャがフィールド単位符号化で符号化される場合、符号化対象ピクチャが属するフレームの両フィールドの参照ベクトルマップを統合した１面の参照ベクトルマップを、符号化対象ピクチャが属するフレームの参照ベクトルマップとして保持することで、フレームがフィールド単位符号化されている場合の参照ベクトルマップとフレーム単位符号化されている場合の参照ベクトルマップが同じサイズとなるように構成されていることを特徴とする請求項１記載の動画像符号化装置。
【請求項５】
上記予測画像生成手段は、符号化対象ピクチャがフィールド単位符号化で符号化されておりかつフレーム内で２番目に符号化されるフィールドである場合、同一フレーム内の１番目に符号化されたフィールドを参照ピクチャとして用いたか否かを示すフラグを可変長符号化する可変長符号化手段を有することを特徴とする請求項１記載の動画像符号化装置。
【請求項６】
入力画像を構成しているフレーム毎に、当該フレームの符号化単位として、フレーム単位又はフィールド単位を選択する符号化単位選択手段と、
上記入力画像における各々のフレームから、上記符号化単位選択手段により選択された符号化単位のサイズを有する符号化対象ピクチャを生成する符号化対象ピクチャ生成手段と、
上記符号化対象ピクチャ生成手段により生成された符号化対象ピクチャを分割し、分割後の符号化対象ピクチャである符号化ブロックを出力するブロック分割手段と、
参照ピクチャに保持されている参照ベクトルから予測ベクトルを導出するとともに、上記予測ベクトルを利用して動きベクトルを探索し、上記動きベクトルを用いて、上記ブロック分割手段から出力された符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する予測画像生成手段と、
上記ブロック分割手段から出力された符号化ブロックと上記予測画像生成手段により生成された予測画像との差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、
上記画像圧縮手段から出力された圧縮データと、上記予測画像生成手段により探索された動きベクトルと上記予測画像生成手段により導出された予測ベクトルとの差分値と、上記符号化単位選択手段により選択された符号化単位を示す符号化単位情報とを可変長符号化して、上記圧縮データ、上記差分値及び上記符号化単位情報の符号化データが多重化されたビットストリームを生成する可変長符号化手段とを備え、
上記予測画像生成手段は、上記符号化対象ピクチャ生成手段により生成された符号化対象ピクチャと上記参照ピクチャの符号化単位が異なる場合、上記参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出することを特徴とする動画像符号化装置。
【請求項７】
参照ピクチャに保持されている参照ベクトルから予測ベクトルを導出するとともに、上記予測ベクトルに対して、ビットストリームに多重化された動きベクトルと予測ベクトルとの差分値を加算して、動きベクトルを復号し、上記動きベクトルを用いて、復号対象ピクチャに対する動き補償予測処理を実施して予測画像を生成する予測画像生成手段を備え、
上記予測画像生成手段は、上記復号対象ピクチャと上記参照ピクチャが異なる符号化単位で符号化されている場合、上記参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出することを特徴とする動画像復号装置。
【請求項８】
上記予測画像生成手段は、上記動きベクトルを復号対象ピクチャに対応する参照ベクトルマップとしてメモリに格納するとともに、復号対象ピクチャがフィールド単位符号化で符号化されている場合、復号対象ピクチャが属するフレームに対応する参照ベクトルマップを、フィールド別に、フレームで２面保持することを特徴とする請求項７記載の動画像復号装置。
【請求項９】
上記予測画像生成手段は、参照ピクチャがフィールド単位符号化で符号化されている場合、予測ベクトルの導出処理において、ビットストリームに多重化されたベクトル参照フィールド指示インデックス情報に基づき、参照ピクチャが属するフレームのいずれのフィールドの参照ベクトルを用いるかを切り換えることを特徴とする請求項８記載の動画像復号装置。
【請求項１０】
上記予測画像生成手段は、上記動きベクトルを復号対象ピクチャに対応する参照ベクトルマップとしてメモリに格納するとともに、復号対象ピクチャがフィールド単位符号化で符号化されている場合、復号対象ピクチャが属するフレームの両フィールドの参照ベクトルマップを統合した１面の参照ベクトルマップを、復号対象ピクチャが属するフレームの参照ベクトルマップとして保持することで、フレームがフィールド単位符号化されている場合の参照ベクトルマップとフレーム単位符号化されている場合の参照ベクトルマップが同じサイズとなるように構成されていることを特徴とする請求項７記載の動画像復号装置。
【請求項１１】
上記予測画像生成手段は、復号対象ピクチャがフィールド単位符号化で符号化されておりかつフレーム内で２番目に復号されるフィールドである場合、ビットストリームに多重化された、同一フレーム内の１番目に復号されたフィールドを参照ピクチャとして用いたか否かを示すフラグに基づいて、同一フレーム内の１番目に復号されたフィールドを参照ピクチャとして用いるか否かを切り換えること特徴とする請求項７記載の動画像復号装置。
【請求項１２】
ビットストリームに多重化されている符号化データから各々の符号化ブロックに係る圧縮データ、差分値及び符号化単位情報を可変長復号する可変長復号手段と、
参照ピクチャに保持されている参照ベクトルから予測ベクトルを導出するとともに、上記予測ベクトルと上記可変長復号手段により可変長復号された差分値を加算して動きベクトルを復号し、上記動きベクトルを用いて、上記符号化ブロックに対応する復号ブロックに対する動き補償予測処理を実施して予測画像を生成する予測画像生成手段と、
上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、
上記差分画像生成手段により生成された差分画像と上記予測画像生成手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、
上記予測画像生成手段は、上記可変長復号手段により可変長復号された符号化単位情報から復号対象ピクチャの復号単位を認識し、上記復号対象ピクチャと上記参照ピクチャの復号単位が異なる場合、上記参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出することを特徴とする動画像復号装置。
【請求項１３】
予測画像生成手段が、参照ピクチャに保持されている参照ベクトルから予測ベクトルを導出するとともに、上記予測ベクトルを利用して動きベクトルを探索し、上記動きベクトルを符号化対象ピクチャの参照ベクトルマップとして保持するとともに、上記動きベクトルを用いて、符号化対象ピクチャに対する動き補償予測処理を実施して予測画像を生成する予測画像生成処理ステップを備え、
上記予測画像生成処理ステップでは、上記符号化対象ピクチャと上記参照ピクチャの符号化単位が異なる場合、上記参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出することを特徴とする動画像符号化方法。
【請求項１４】
上記予測画像生成処理ステップにおいて、符号化対象ピクチャがフィールド単位符号化で符号化される場合に、符号化対象ピクチャが属するフレームに対応する参照ベクトルマップを、フィールド別に、フレームで２面保持することを特徴とする請求項１３記載の動画像符号化方法。
【請求項１５】
上記予測画像生成処理ステップにおいて、参照ピクチャがフィールド単位符号化で符号化されている場合、予測ベクトルの導出処理において参照ピクチャが属するフレームのいずれのフィールドの参照ベクトルを用いるかを決定することと、
いずれのフィールドの参照ベクトルを用いたかを示すベクトル参照フィールド指示インデックス情報を可変長符号化する可変長符号化ステップを備えることを特徴とする請求項１３記載の動画像符号化方法。
【請求項１６】
上記予測画像生成処理ステップにおいて、符号化対象ピクチャがフィールド単位符号化で符号化される場合、符号化対象ピクチャが属するフレームの両フィールドの参照ベクトルマップを統合した１面の参照ベクトルマップを、符号化対象ピクチャが属するフレームの参照ベクトルマップとして保持することで、フレームがフィールド単位符号化されている場合の参照ベクトルマップとフレーム単位符号化されている場合の参照ベクトルマップを同じサイズとすることを特徴とする請求項１３記載の動画像符号化方法。
【請求項１７】
上記予測画像生成処理ステップにおいて、符号化対象ピクチャがフィールド単位符号化で符号化されておりかつフレーム内で２番目に符号化されるフィールドである場合、同一フレーム内の１番目に符号化されたフィールドを参照ピクチャとして用いたか否かを示すフラグを可変長符号化する可変長符号化手段を有することを特徴とする請求項１３記載の動画像符号化方法。
【請求項１８】
予測画像生成手段が、参照ピクチャに保持されている参照ベクトルから予測ベクトルを導出するとともに、上記予測ベクトルに対して、ビットストリームに多重化された動きベクトルと予測ベクトルとの差分値を加算して、動きベクトルを復号し、上記動きベクトルを復号対象ピクチャに対応する参照ベクトルマップとしてメモリに格納するとともに、上記動きベクトルを用いて、復号対象ピクチャに対する動き補償予測処理を実施して予測画像を生成する予測画像生成処理ステップを備え、
上記予測画像生成処理ステップでは、上記復号対象ピクチャと上記参照ピクチャが異なる符号化単位で符号化されている場合、上記参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出することを特徴とする動画像復号方法。
【請求項１９】
上記予測画像生成処理ステップにおいて、復号対象ピクチャがフィールド単位符号化で符号化されている場合、復号対象フレームに対応する参照ベクトルマップを、フィールド別に、フレームで２面保持することを特徴とする請求項１８記載の動画像復号方法。
【請求項２０】
上記予測画像生成手段は、参照ピクチャがフィールド単位符号化で符号化されている場合、予測ベクトルの導出処理において、ビットストリームに多重化されたベクトル参照フィールド指示インデックス情報に基づき、参照ピクチャが属するフレームのいずれのフィールドの参照ベクトルを用いるかを切り換えることを特徴とする請求項１９記載の動画像復号方法。
【請求項２１】
上記予測画像生成処理ステップにおいて、復号対象ピクチャがフィールド単位符号化で符号化されている場合、復号対象ピクチャが属するフレームの両フィールドの参照ベクトルマップを統合した１面の参照ベクトルマップを、復号対象ピクチャが属するフレームの参照ベクトルマップとして保持することで、フレームがフィールド単位符号化されている場合の参照ベクトルマップとフレーム単位符号化されている場合の参照ベクトルマップが同じサイズとなるように構成されていることを特徴とする請求項１８記載の動画像復号方法。
【請求項２２】
上記予測画像生成処理ステップにおいて、復号対象ピクチャがフィールド単位符号化で符号化されておりかつフレーム内で２番目に復号されるフィールドである場合、ビットストリームに多重化された、同一フレーム内の１番目に復号されたフィールドを参照ピクチャとして用いたか否かを示すフラグに基づいて、同一フレーム内の１番目に復号されたフィールドを参照ピクチャとして用いるか否かを切り換えること特徴とする請求項１８記載の動画像復号方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像を高効率で符号化を行う動画像符号化装置及び動画像符号化方法と、高効率で符号化されている動画像を復号する動画像復号装置及び動画像復号方法とに関するものである。
【背景技術】
【０００２】
動画像符号化装置が扱う動画像データには、インタレースとプログレッシブの２種類のフォーマットが存在する。
動画像を構成する１コマ１コマをフレームと呼称すると、インタレースフォーマットとプログレッシブフォーマットとでは、フレームの構造が異なっている。
ここで、図３はプログレッシブフォーマットのフレーム構造を示す説明図であり、図４はインタレースフォーマットのフレーム構造を示す説明図である。【０００３】
プログレッシブフォーマットでは、図３に示すように、フレーム内の全ての画素は、同一の時刻τにキャプチャされたものである。
一方、インタレースフォーマットでは、図４に示すように、偶数ラインと奇数ラインで取得時間が異なる構造となっている。
具体的には、フレーム間のキャプチャ／表示時刻の差が“１”である場合、偶数ラインについては時刻τでキャプチャされており、奇数ラインについては時刻τ＋０．５でキャプチャされている。
以下、インタレースフォーマットにおけるフレーム内の偶数ラインを「トップフィールド」と称し、奇数ラインを「ボトムフィールド」と称する。【０００４】
インタレースフォーマットの動画像の符号化では、フレーム単位で符号化する手法とフィールド単位で符号化する方法がある。
フレーム単位で符号化する手法は、トップフィールド／ボトムフィールドをそれぞれ偶数／奇数ラインに交互に配置したフレームを符号化単位のピクチャとして符号化する方法である。
フィールド単位で符号化する方法は、トップフィールド／ボトムフィールドを個別のピクチャとみなして符号化する方法である。【０００５】
ここで、フレーム単位の符号化が適するフレームと、フィールド単位の符号化が適するフレームが混在している動画像コンテンツを想定すると、両者の符号化方式を適応的に切り替えることができれば、符号化効率を向上されることができると考えられる。
ただし、フレーム単位の符号化と、フィールド単位の符号化とを混在させた場合、符号化対象のピクチャであるカレントピクチャと、参照ピクチャの間で符号化単位が異なる状況が発生することがある。
カレントピクチャと参照ピクチャの間で符号化単位が異なる状況が発生する場合、参照ピクチャのフォーマットをカレントピクチャのフォーマットに合わせる処理が必要になる。【０００６】
２０１３年に規格化完了予定となっている次世代動画像符号化方式ＨＥＶＣ（Ｈｉｇｈ  Ｅｆｆｉｃｉｅｎｃｙ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）では、画素値のフレーム間の参照だけでなく、動きベクトルのフレーム間参照を行う処理として、時間予測ベクトルを利用する処理が採用されている（非特許文献１を参照）。
時間予測ベクトルは、動き情報の時間方向の相関を利用しており、動きベクトルの情報量を削減する効果がある。【０００７】
ＨＥＶＣにおける時間動きベクトルの導出法は以下の通りである。
ＨＥＶＣでは、時間予測ベクトルを求めるために、参照ピクチャ毎に動きベクトル情報（参照ベクトル）も保持している。
カレントピクチャにおける或るブロックの符号化処理において、時間予測ベクトルを求める際には、復号のセマンティクスに応じて、参照ピクチャと組になって保持されている特定位置の参照ベクトルを予測ベクトルとして求める。
参照ピクチャ毎の参照ベクトルは、参照ピクチャを特定サイズのブロック（参照ベクトルブロック）で格子状に分割し、各参照ベクトルブロックに一つの参照ベクトルという構造で保持されている。
【先行技術文献】
【非特許文献】
【０００８】
【非特許文献１】Benjamin Bross，Woo-Jin Han，Jens-Rainer Ohm，Gary J. Sullivan，Thomas Wiegand，“High efficiency video coding (HEVC) text specification draft 8”，JCTVC-J1003，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 10th Meeting: Stockholm，SE，11-20 July 2012
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来の動画像符号化装置は以上のように構成されているので、フレーム単位の符号化と、フィールド単位の符号化とを適応的に切り替える方式をＨＥＶＣに適用する場合、参照ベクトルから時間予測ベクトルを導出するための特別な仕組みを用意する必要がある。即ち、フレーム単位の符号化と、フィールド単位の符号化とでは、符号化単位であるピクチャのサイズ及び空間座標の位置が異なるため、カレントピクチャと参照ピクチャの間で符号化単位（フレーム／フィールドの符号化単位）が異なる場合、時間予測ベクトルを導出する際に参照する参照ベクトルの位置を合わせる仕組みが必要になる。
しかし、従来の動画像符号化装置では、時間予測ベクトルを導出する際に参照する参照ベクトルの位置を合わせる仕組みが搭載されていないため、フレーム単位の符号化と、フィールド単位の符号化とが混在する場合、ＨＥＶＣに適用することができない課題があった。【００１０】
この発明は上記のような課題を解決するためになされたもので、フレーム単位の符号化と、フィールド単位の符号化とが混在する場合でも、ＨＥＶＣに適用することができる動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法を得ることを目的とする。
【課題を解決するための手段】
【００１１】
この発明に係る動画像符号化装置は、参照ピクチャに保持されている参照ベクトルから予測ベクトルを導出するとともに、その予測ベクトルを利用して動きベクトルを探索し、その動きベクトルを用いて、符号化対象ピクチャに対する動き補償予測処理を実施して予測画像を生成する予測画像生成手段を備え、その予測画像生成手段では、符号化対象ピクチャと参照ピクチャの符号化単位が異なる場合、その参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出するようにしたものである。
【発明の効果】
【００１２】
この発明によれば、符号化対象ピクチャと参照ピクチャの符号化単位が異なる場合、その参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出するように構成したので、フレーム単位の符号化と、フィールド単位の符号化とが混在する場合でも、ＨＥＶＣに適用することができる効果がある。
【図面の簡単な説明】
【００１３】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像復号装置を示す構成図である。
【図３】プログレッシブフォーマットのフレーム構造を示す説明図である。
【図４】インタレースフォーマットのフレーム構造を示す説明図である。
【図５】この発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。
【図６】最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。
【図７】（ａ）は分割後のパーティションの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂn）が割り当てられる状況を４分木グラフで示す説明図である。
【図８】この発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。
【図９】参照ベクトルマップのデータ構造を示す説明図である。
【図１０】フィールド単位の符号化と、フレーム単位の符号化とが混在する場合の時間予測ベクトルの導出処理に関する説明図である。
【図１１】参照ベクトルブロックとパーティションの対応関係を示す説明図である。
【図１２】トップフィールド／ボトムフィールドに対する参照ベクトルマップを示す説明図である。
【発明を実施するための形態】
【００１４】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図である。
図１において、符号化制御部１は入力画像を構成しているフレーム毎に、当該フレームの符号化単位として、フレーム単位又はフィールド単位を選択し、その符号化単位を示す符号化単位情報をフレーム／フィールド切替部２、動き補償予測部６及び可変長符号化部１５に出力する処理を実施する。
また、符号化制御部１は符号化ブロックサイズを決定するとともに、ブロック分割部３から出力される符号化対象ブロックに対する符号化効率が最も高い符号化モードを決定する処理を実施する。
また、符号化制御部１は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化対象ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化対象ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを決定する処理を実施する。
さらに、符号化制御部１は変換・量子化部８及び逆量子化・逆変換部９に与える予測差分符号化パラメータを決定する処理を実施する。
なお、符号化制御部１は符号化単位選択手段を構成している。
【００１５】
フレーム／フィールド切替部２は入力画像を示す映像信号を入力すると、入力画像における各々のフレームから、符号化制御部１から出力された符号化単位情報が示す符号化単位のサイズを有するカレントピクチャ（符号化対象ピクチャ）を生成する処理を実施する。
例えば、符号化制御部１から出力された符号化単位情報が示す符号化単位が「フレーム単位」であれば、入力画像における各々のフレームのフォーマットを変換することなく、各々のフレームをブロック分割部３に出力する。
一方、符号化単位情報が示す符号化単位が「フィールド単位」であれば、入力画像を構成している各画素の配置を変更することで、フィールド単位のサイズを有するピクチャを生成し、そのピクチャをブロック分割部３に出力する。
【００１６】
この実施の形態１では、入力画像を構成している各々のフレームが順次入力されるものを想定しているが、入力画像を構成している各々のフィールドが順次入力される場合も想定される。
このような場合には、例えば、符号化制御部１から出力された符号化単位情報が示す符号化単位が「フィールド単位」であれば、入力画像における各々のフィールドのフォーマットを変換することなく、各々のフィールドをブロック分割部３に出力する。
一方、符号化単位情報が示す符号化単位が「フレーム単位」であれば、入力画像を構成している各画素の配置を変更することで、フレーム単位のサイズを有するピクチャを生成し、そのピクチャをブロック分割部３に出力する。
なお、フレーム／フィールド切替部２は符号化対象ピクチャ生成手段を構成している。
【００１７】
ブロック分割部３はフレーム／フィールド切替部２により生成されたカレントピクチャを符号化制御部１により決定された符号化ブロックサイズのブロック（予測処理単位のブロック）に分割し、予測処理単位のブロックである符号化対象ブロックを切換スイッチ４及び減算部７に出力する処理を実施する。なお、ブロック分割部３はブロック分割手段を構成している。
【００１８】
切換スイッチ４は符号化制御部１により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部３から出力された符号化対象ブロックをイントラ予測部５に出力し、符号化制御部１により決定された符号化モードがインター符号化モードであれば、ブロック分割部３から出力された符号化対象ブロックを動き補償予測部６に出力する処理を実施する。
イントラ予測部５はイントラ予測用メモリ１１に格納されている局所復号画像を参照しながら、符号化制御部１により決定されたイントラ予測パラメータを用いて、切換スイッチ４から出力された符号化対象ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
【００１９】
動き補償予測部６は切換スイッチ４から出力された符号化対象ブロックと動き補償予測フレームメモリ１３に格納されている１フレーム以上の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部１により決定されたインター予測パラメータを用いて、その符号化対象ブロックに対するインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
ただし、動き補償予測部６は動きベクトルを探索する際、参照ベクトルメモリ１４に格納されている参照ベクトル（参照ピクチャに保持されている参照ベクトル）から予測ベクトルを導出し、その予測ベクトルを利用して動きベクトルを探索するが（詳細は後述する）が、フレーム／フィールド切替部２により生成されたカレントピクチャと参照ピクチャの符号化単位が異なる場合、その参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出する。
なお、切換スイッチ４、動き補償予測部６、動き補償予測フレームメモリ１３及び参照ベクトルメモリ１４から予測画像生成手段が構成されている。
【００２０】
減算部７はブロック分割部３より出力された符号化対象ブロックから、イントラ予測部５により生成されたイントラ予測画像、または、動き補償予測部６により生成されたインター予測画像を減算して、その減算結果である予測差分信号（差分画像）を変換・量子化部８に出力する処理を実施する。
変換・量子化部８は符号化制御部１により決定された予測差分符号化パラメータを参照して、減算部７から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して変換係数を算出するとともに、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データ（差分画像の量子化係数）を逆量子化・逆変換部９及び可変長符号化部１５に出力する処理を実施する。
なお、減算部７及び変換・量子化部８から画像圧縮手段が構成されている。
【００２１】
逆量子化・逆変換部９は符号化制御部１により決定された予測差分符号化パラメータを参照して、変換・量子化部８から出力された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部７から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。
加算部１０は逆量子化・逆変換部９により算出された局所復号予測差分信号と、イントラ予測部５により生成されたイントラ予測画像、または、動き補償予測部６により生成されたインター予測画像とを加算して、ブロック分割部３から出力された符号化対象ブロックに相当する局所復号画像を算出する処理を実施する。
【００２２】
イントラ予測用メモリ１１は加算部１０により算出された局所復号画像を格納する記録媒体である。
ループフィルタ部１２は加算部１０により算出された局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を出力する処理を実施する。
動き補償予測フレームメモリ１３はフィルタリング処理後の局所復号画像を格納する記録媒体である。
参照ベクトルメモリ１４は次のピクチャの符号化の際に、時間予測ベクトルの導出に用いる参照ベクトルを格納する記録媒体である。
【００２３】
可変長符号化部１５は変換・量子化部８から出力された圧縮データと、符号化制御部１の出力信号（符号化単位情報、符号化モード、イントラ予測パラメータ又はインター予測パラメータ、予測差分符号化パラメータ）と、動き補償予測部６から出力された動きベクトルと予測ベクトルとの差分値（符号化モードがインター符号化モードである場合）とを可変長符号化してビットストリームを生成する処理を実施する。
なお、可変長符号化部１５は可変長符号化手段を構成している。
【００２４】
図１の例では、動画像符号化装置の構成要素である符号化制御部１、フレーム／フィールド切替部２、ブロック分割部３、切換スイッチ４、イントラ予測部５、動き補償予測部６、減算部７、変換・量子化部８、逆量子化・逆変換部９、加算部１０、イントラ予測用メモリ１１、ループフィルタ部１２、動き補償予測フレームメモリ１３、参照ベクトルメモリ１４及び可変長符号化部１５のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像符号化装置がコンピュータで構成されていてもよい。
動画像符号化装置がコンピュータで構成される場合、イントラ予測用メモリ１１、動き補償予測フレームメモリ１３及び参照ベクトルメモリ１４をコンピュータのメモリ上に構成するとともに、フレーム／フィールド切替部２、ブロック分割部３、切換スイッチ４、イントラ予測部５、動き補償予測部６、減算部７、変換・量子化部８、逆量子化・逆変換部９、加算部１０、ループフィルタ部１２及び可変長符号化部１５の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図５はこの発明の実施の形態１による動画像符号化装置の処理内容（動画像符号化方法）を示すフローチャートである。
【００２５】
図２はこの発明の実施の形態１による動画像復号装置を示す構成図である。
図２において、可変長復号部２１は図１の動画像符号化装置により生成されたビットストリームから圧縮データ、符号化単位情報、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、予測差分符号化パラメータ及び動きベクトルと予測ベクトルとの差分値（符号化モードがインター符号化モードである場合）を可変長復号する処理を実施する。
なお、可変長復号部２１は可変長復号手段を構成している。
【００２６】
切換スイッチ２２は可変長復号部２１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部２１により可変長復号されたイントラ予測パラメータをイントラ予測部２３に出力し、可変長復号部２１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部２１により可変長復号されたインター予測パラメータ、差分値及び符号化単位情報を動き補償部２４に出力する処理を実施する。
イントラ予測部２３はイントラ予測用メモリ２７に格納されている復号画像を参照しながら、切換スイッチ２２から出力されたイントラ予測パラメータを用いて、復号対象ブロックに対するイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
【００２７】
動き補償部２４は参照ベクトルメモリ３０に格納されている参照ベクトル（参照ピクチャに保持されている参照ベクトル）から予測ベクトルを導出し、その予測ベクトルと切換スイッチ２２から出力された差分値を加算して動きベクトルを復号し、その動きベクトルと切換スイッチ２２から出力されたインター予測パラメータを用いて、復号対象ブロックに対するインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
ただし、動き補償部２４は切換スイッチ２２から出力された符号化単位情報を参照して、カレントピクチャ（復号対象ピクチャ）の復号単位を認識し、カレントピクチャと参照ピクチャの復号単位が異なる場合、その参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出する。
なお、切換スイッチ２２、動き補償部２４、動き補償予測フレームメモリ２９及び参照ベクトルメモリ３０から予測画像生成手段が構成されている。
【００２８】
逆量子化・逆変換部２５は可変長復号部２１により可変長復号された予測差分符号化パラメータを参照して、可変長復号部２１により可変長復号された圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の減算部７から出力された予測差分信号に相当する復号予測差分信号（圧縮前の差分画像）を算出する処理を実施する。なお、逆量子化・逆変換部２５は差分画像生成手段を構成している。
【００２９】
加算部２６は逆量子化・逆変換部２５により算出された復号予測差分信号と、イントラ予測部２３により生成されたイントラ予測画像、または、動き補償部２４により生成されたインター予測画像とを加算して、図１のブロック分割部３から出力された符号化対象ブロックに相当する復号画像（復号対象ブロックの画像）を算出する処理を実施する。なお、加算部２６は復号画像生成手段を構成している。
【００３０】
イントラ予測用メモリ２７は加算部２６により算出された復号画像を格納する記録媒体である。
ループフィルタ部２８は加算部２６により算出された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を出力する処理を実施する。
動き補償予測フレームメモリ２９はフィルタリング処理後の復号画像を格納する記録媒体である。
参照ベクトルメモリ３０は次のピクチャの復号の際に、時間予測ベクトルの導出に用いる参照ベクトルを格納する記録媒体である。
【００３１】
図２の例では、動画像復号装置の構成要素である可変長復号部２１、切換スイッチ２２、イントラ予測部２３、動き補償部２４、逆量子化・逆変換部２５、加算部２６、イントラ予測用メモリ２７、ループフィルタ部２８、動き補償予測フレームメモリ２９及び参照ベクトルメモリ３０のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、動画像復号装置がコンピュータで構成されていてもよい。
動画像復号装置がコンピュータで構成される場合、イントラ予測用メモリ２７、動き補償予測フレームメモリ２９及び参照ベクトルメモリ３０をコンピュータのメモリ上に構成するとともに、可変長復号部２１、切換スイッチ２２、イントラ予測部２３、動き補償部２４、逆量子化・逆変換部２５、加算部２６及びループフィルタ部２８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにすればよい。
図８はこの発明の実施の形態１による動画像復号装置の処理内容（動画像復号方法）を示すフローチャートである。
【００３２】
次に動作について説明する。
この実施の形態１では、映像の各フレーム画像を入力画像として、近接フレーム間で動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行ってビットストリームを生成する動画像符号化装置と、その動画像符号化装置から出力されるビットストリームを復号する動画像復号装置について説明する。
【００３３】
図１の動画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、ピクチャ内・ピクチャ間適応符号化を行うことを特徴としている。
一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像ピクチャ上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
【００３４】
時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分差信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
【００３５】
したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
【００３６】
図１の動画像符号化装置が処理対象とする映像信号フォーマットは、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号とする。
ただし、各画素の諧調は、８ビットでもよいし、１０ビットや１２ビットなどの諧調でもよい。
【００３７】
以下の説明では、便宜上、特に断らない限り、入力画像の映像信号はＹＵＶ信号であるとし、かつ、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、サブサンプルされた４：２：０フォーマットの信号を扱う場合について述べる。
また、映像信号をフレーム単位に符号化する際のフレームや、フィールド単位に符号化する際のフィールドなど、符号化の単位となる１枚の画像データを「ピクチャ」と称する。
【００３８】
また、以下の説明では、便宜上、特に断らない限り、入力画像の映像信号は飛越走査（インタレーススキャン）により取得された映像信号であり、信号の各フレームは、トップフィールドとボトムフィールドがそれぞれ偶数／奇数ライン（または奇数／偶数ライン）に交互に配置された静止画像である場合について述べる。また、トップフィールドとボトムフィールドがそれぞれ偶数／奇数ラインに配置されたフォーマットを「フレームフォーマット」と称する。
ただし、入力データは順次走査（プログレッシブスキャン）された動画像信号であってもよい。また、入力データがインタレーススキャンされた動画像信号であった場合、各フレームにトップフィールドとボトムフィールドがそれぞれ偶数／奇数ライン（または奇数／偶数ライン）に交互に配置された動画像信号でもよいし、トップフィールドとボトムフィールドが個別の画像データとして交互に入力されるような動画像信号でもよい。
【００３９】
最初に、図１の動画像符号化装置の処理内容を説明する。
まず、符号化制御部１は、入力画像を構成しているフレーム（カレントフレーム）毎に、当該フレームの符号化単位として、フレーム単位又はフィールド単位を選択し、その符号化単位を示す符号化単位情報をフレーム／フィールド切替部２、動き補償予測部６及び可変長符号化部１５に出力する。
符号化単位の選択方法として、例えば、全てのフレームに対して一律に同じ符号化単位を定めるようにしてもよいし、予備的な符号化処理などを実施することで各符号化単位の符号化効率を推定し、その符号化効率が良好な方の符号化単位を選択するようにしてもよい。
また、画面全体での動き量の大きさなど、入力画像の何らかの特徴をパラメータとして定量化し、そのパラメータに応じて符号化単位を選択するようにしてもよい。
【００４０】
フレーム／フィールド切替部２は、符号化制御部１から符号化単位情報を受けると、その符号化単位情報にしたがってカレントフレームの画素の再配置を行うことで、その符号化単位情報が示す符号化単位のサイズを有するカレントピクチャ（符号化対象ピクチャ）を生成する（図５のステップＳＴ１）。
即ち、フレーム／フィールド切替部２は、符号化制御部１から出力された符号化単位情報が示す符号化単位が「フレーム単位」であれば、図４（ｂ）に示すように、トップフィールドとボトムフィールドがそれぞれ偶数／奇数ラインに配置されたピクチャを符号化単位として生成する。
一方、符号化単位情報が示す符号化単位が「フィールド単位」であれば、図４（ｃ）に示すように、トップフィールドとボトムフィールドを別のピクチャとして生成する。
【００４１】
これにより、符号化単位が「フレーム単位」であれば、カレントピクチャは１枚のピクチャとして符号化されることになる。符号化単位が「フィールド単位」であれば、カレントピクチャは２枚のピクチャとして順次符号化されることになる。
動画像復号装置では、全く同じ符号化単位によって復号処理を実施しなければならないため、符号化単位情報は可変長符号化部１５に出力されて、ビットストリームに多重化される。
以下に説明するステップＳＴ２〜ＳＴ１４の処理は、ピクチャ単位に実施される。
【００４２】
符号化制御部１は、カレントピクチャの符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（ステップＳＴ２）。
最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、すべてのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
分割階層数の上限の決め方としては、例えば、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定するなどの方法がある。
【００４３】
ブロック分割部３は、フレーム／フィールド切替部２がカレントピクチャを生成すると、そのカレントピクチャを符号化制御部１により決定された最大符号化ブロックサイズで分割するとともに、符号化制御部１により決定された分割階層数の上限に至るまで分割後のカレントピクチャを階層的に分割し、分割後の各ピクチャを符号化対象ブロックとして切換スイッチ４及び減算部７に出力する。
【００４４】
また、符号化制御部１は、各符号化対象ブロックに対する符号化モードを決定する（ステップＳＴ３）。
ここで、図６は最大符号化ブロックが階層的に複数の符号化対象ブロックに分割される例を示す説明図である。
図６において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ0，Ｍ0）のサイズを有する符号化対象ブロックである。
最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化対象ブロックを得るようにしている。
深さｎにおいては、符号化対象ブロックはサイズ（Ｌn，Ｍn）の画像領域である。
ただし、ＬnとＭnは、同じであってもよいし、異なっていてもよいが、図６では、Ｌn＝Ｍnのケースを示している。
【００４５】
以降、符号化制御部１により決定される符号化ブロックサイズは、符号化対象ブロックの輝度成分におけるサイズ（Ｌn，Ｍn）と定義する。
４分木分割を行うため、常に、（Ｌn+1，Ｍn+1）＝（Ｌn／２，Ｍn／２）が成立する。
なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌn，Ｍn）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌn／２，Ｍn／２）になる。
以降、第ｎ階層の符号化対象ブロックをＢnで表し、符号化対象ブロックＢnで選択可能な符号化モードをｍ（Ｂn）で表すものとする。
【００４６】
複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂn）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、すべての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
符号化モードｍ（Ｂn）には、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部１は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、符号化対象ブロックＢnに対する符号化効率が最も高い符号化モードを選択する。
【００４７】
さらに、符号化対象ブロックＢnは、図６に示すように、ブロック分割部３によって、１つないし複数の予測処理単位（パーティション）に分割される。
以降、符号化対象ブロックＢnに属するパーティションをＰin（ｉは、第ｎ階層におけるパーティション番号）と表記する。
符号化対象ブロックＢnのパーティション分割が、どのようになされているかは、符号化モードｍ（Ｂn）の中に情報として含まれる。
パーティションＰinは、すべて符号化モードｍ（Ｂn）に従って予測処理が行われるが、パーティションＰin毎に、個別の予測パラメータを選択することができる。
【００４８】
符号化制御部１は、最大符号化ブロックに対して、例えば、図７に示すようなブロック分割状態を生成して、符号化対象ブロックを特定する。
図７（ａ）の斜線部分は、分割後のパーティションの分布を示しており、図７（ｂ）は階層分割によって符号化モードｍ（Ｂn）が割り当てられる状況を４分木グラフで示している。
図７（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂn）が割り当てられたノード（符号化対象ブロック）である。
【００４９】
切換スイッチ４は、符号化制御部１により決定された符号化モードｍ（Ｂn）がイントラ符号化モードである場合（ｍ（Ｂn）∈ＩＮＴＲＡの場合）、ブロック分割部３から出力された符号化対象ブロックＢnをイントラ予測部５に出力する（ステップＳＴ４）。
一方、符号化制御部１により決定された符号化モードｍ（Ｂn）がインター符号化モードである場合（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、ブロック分割部３から出力された符号化対象ブロックＢnを動き補償予測部６に出力する（ステップＳＴ４）。
【００５０】
イントラ予測部５は、符号化制御部１により決定された符号化モードｍ（Ｂn）がイントラ符号化モードであり（ｍ（Ｂn）∈ＩＮＴＲＡの場合）、切換スイッチ４から符号化対象ブロックＢnを受けると、イントラ予測用メモリ１１に格納されている局所復号画像を参照しながら、符号化制御部１により決定されたイントラ予測パラメータを用いて、その符号化対象ブロックＢn内の各パーティションＰinに対するイントラ予測処理を実施して、イントラ予測画像ＰINTRAinを生成する（ステップＳＴ５）。
なお、動画像復号装置がイントラ予測画像ＰINTRAinと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像ＰINTRAinの生成に用いられたイントラ予測パラメータは、符号化制御部１から可変長符号化部１５に出力されて、ビットストリームに多重化される。
【００５１】
動き補償予測部６は、符号化制御部１により決定された符号化モードｍ（Ｂn）がインター符号化モードであり（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、切換スイッチ４から符号化対象ブロックＢnを受けると、その符号化対象ブロックＢn内の各パーティションＰinと動き補償予測フレームメモリ１３に格納されているフィルタリング処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部１により決定されたインター予測パラメータを用いて、その符号化対象ブロックＢn内の各パーティションＰinに対するインター予測処理を実施して、インター予測画像ＰINTERinを生成する（ステップＳＴ６）。
【００５２】
ただし、動き補償予測部６は、動きベクトルを探索する際、詳細は後述するが、参照ベクトルメモリ１４に格納されている参照ベクトル（参照ピクチャに保持されている参照ベクトル）から予測ベクトルを導出し、その予測ベクトルを利用して動きベクトルを探索する。
このとき、フレーム／フィールド切替部２により生成されたカレントピクチャと参照ピクチャの符号化単位が異なる場合、詳細は後述するが、その参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出する。
なお、動画像復号装置がインター予測画像ＰINTERinと全く同じインター予測画像を生成する必要があるため、インター予測画像ＰINTERinの生成に用いられたインター予測パラメータは、符号化制御部１から可変長符号化部１５に出力されて、ビットストリームに多重化される。
また、動き補償予測部６により探索された動きベクトルと予測ベクトルの差分値も可変長符号化部１５に出力されて、ビットストリームに多重化される。
動き補償予測部６の処理内容の詳細は後述する。
【００５３】
減算部７は、ブロック分割部３から符号化対象ブロックＢnを受けると、その符号化対象ブロックＢn内のパーティションＰinから、イントラ予測部５により生成されたイントラ予測画像ＰINTRAin、または、動き補償予測部６により生成されたインター予測画像ＰINTERinを減算して、その減算結果である予測差分信号ｅinを変換・量子化部８に出力する（ステップＳＴ７）。
【００５４】
変換・量子化部８は、減算部７から予測差分信号ｅinを受けると、符号化制御部１により決定された予測差分符号化パラメータを参照して、その予測差分信号ｅinに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）や、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を実施して、変換係数を算出する。
また、変換・量子化部８は、その予測差分符号化パラメータを参照して、その変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部９及び可変長符号化部１５に出力する（ステップＳＴ８）。
【００５５】
逆量子化・逆変換部９は、変換・量子化部８から圧縮データを受けると、符号化制御部１により決定された予測差分符号化パラメータを参照して、その圧縮データを逆量子化する。
また、逆量子化・逆変換部９は、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＫＬ変換など）を実施して、減算部７から出力された予測差分信号ｅinに相当する局所復号予測差分信号ｅinハットを算出して加算部１０に出力する（ステップＳＴ９）。
【００５６】
加算部１０は、逆量子化・逆変換部９から局所復号予測差分信号ｅinハットを受けると、その局所復号予測差分信号ｅinハットと、イントラ予測部５により生成されたイントラ予測画像ＰINTRAin、または、動き補償予測部６により生成されたインター予測画像ＰINTERinとを加算して、局所復号パーティション画像、あるいは、その局所復号パーティション画像の集まりとして、ブロック分割部３から出力された符号化対象ブロックＢnに相当する局所復号画像を算出する（ステップＳＴ１０）。
なお、加算部１０は、その局所復号画像をループフィルタ部１２に出力するとともに、その局所復号画像をイントラ予測用メモリ１１に格納する。
この局所復号画像が、以降のイントラ予測用の画像信号になる。
【００５７】
ループフィルタ部１２は、加算部１０から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の局所復号画像を動き補償予測フレームメモリ１３に格納する（ステップＳＴ１１）。
なお、動き補償予測フレームメモリ１３に格納されるピクチャデータは、フレームフォーマットでの参照だけでなく、フィールド別フォーマットでの参照も可能であるようなデータ形式になっている。
例えば、トップフィールドとボトムフィールドが偶数／奇数ラインに交互に配置されたフレームフォーマットで格納してもよいし、トップフィールドとボトムフィールドが別のピクチャデータであるが、どのピクチャデータが、どのフレームのどちらのフィールドであるかを示す情報が常に参照できるようなデータ形式で格納してもよい。また、その両方を保持しておいてもよい。
いずれの格納形式においても、参照時に適宜フォーマット変換するという手段も含め、フレームフォーマット及びフィールド別フォーマットのいずれのフォーマットでも参照できるような仕組みを持っている。
【００５８】
因みに、ループフィルタ部１２によるフィルタリング処理は、入力される局所復号画像の最大符号化ブロック、あるいは、個々の符号化ブロック単位で行ってもよいし、１ピクチャ分の符号化ブロックの局所復号画像が入力された後に１ピクチャ分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、元の入力画像の映像信号に近づくように局所復号画像の歪みを補償するフィルタ処理などが挙げられる。
ステップＳＴ４〜ＳＴ１１の処理は、階層的に分割された全ての符号化対象ブロックＢnに対する処理が完了するまで繰り返し実施され、全ての符号化対象ブロックＢnに対する処理が完了すると、ステップＳＴ１３の処理に移行する（ステップＳＴ１２）。
【００５９】
可変長符号化部１５は、変換・量子化部８から出力された圧縮データと、符号化制御部１の出力信号（符号化単位情報、符号化モードｍ（Ｂn）、予測差分符号化パラメータ、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合））と、動き補償予測部６から出力された動きベクトルと予測ベクトルとの差分値（符号化モードがインター符号化モードである場合）とを可変長符号化して、それらの符号化結果を示すビットストリームを生成する（ステップＳＴ１３）。
【００６０】
ステップＳＴ２〜ＳＴ１３の処理は、カレントフレームを構成する全てのピクチャ（カレントフレームの処理単位がフレーム単位である場合は１ピクチャ、カレントフレームの処理単位がフィールド単位である場合は２ピクチャ）に対する処理が完了するまで繰り返し実施され、カレントフレームを構成する全てのピクチャに対する処理が完了すると、入力画像の１フレームに対する処理を終了する。
【００６１】
以下、動き補償予測部６の処理内容を具体的に説明する。
動き補償予測部６は、符号化制御部１により符号化モードとして、インター符号化モードが選択された場合（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、符号化制御部１から出力されたインター予測パラメータに基づいて、各パーティションＰinに対するフレーム間動き推定処理を実施して、各パーティションにＰinに対する動きベクトルを推定する。
動き補償予測部６は、動きベクトルを推定すると、その動きベクトル及び動き補償予測フレームメモリ１３内の参照フレームを用いて、インター予測画像を生成する。
なお、参照フレームの候補は複数あってもよく、１つ以上の参照フレームがある場合、インター予測パラメータに含まれている参照フレームインデックス情報にしたがって参照フレームを特定する。
【００６２】
カレントピクチャがフレーム単位の符号化である場合、参照フレームはフレームフォーマットとして参照する。また、カレントピクチャがフィールド単位の符号化である場合、参照フレームはフィールド別フォーマットとして参照する。
カレントピクチャがフィールド単位の符号化であり、参照フレームをフィールド別フォーマットとして参照する場合、インター予測パラメータに含まれているフィールドインデックス情報にしたがって、参照フレームのうち、トップフィールドとボトムフィールドのどちらを参照するかを選択する。
【００６３】
動き補償予測部６により生成されたインター予測画像は減算部７に出力されるが、インター予測画像の生成に用いられたインター予測パラメータは、動画像復号装置側で全く同じインター予測画像を生成するために可変長符号化部１５に出力され、可変長符号化部１５によってビットストリームに多重化される。
フレーム間動き推定処理により求められた各パーティションＰinの動きベクトルは、その後のピクチャの動きベクトル予測処理（後述）に使用するため、参照ベクトルマップと呼称されるデータ構造で参照ベクトルメモリ１４に格納される。参照ベクトルマップの仕様については後述する。
【００６４】
この実施の形態１では、動き補償予測部６は、近接しているフレーム間には動きベクトル情報の相関があることを利用して、後述する動きベクトル予測処理を実施している。
動きベクトル予測処理により導出された予測ベクトルを、動きベクトルを探索する際の探索開始点として用いることで、動きベクトルの探索処理の軽量化及び高精度化に利用することができる。
探索の結果として求められた動きベクトルと予測ベクトルの差分値（予測差分動きベクトル情報）を求め、この差分値をインター予測パラメータとして符号化することで、動きベクトル情報の情報量を削減することができる。
【００６５】
以下、動きベクトル予測処理の処理内容を説明する。
予測ベクトルには、空間予測ベクトルと時間予測ベクトルの２種類が存在する。空間予測ベクトルは、予測対象のパーティションの空間近傍の所定の位置の動きベクトルを用いるものである。空間予測ベクトルには複数個の候補が存在していてもよい。
時間予測ベクトルは、参照ベクトルメモリ１４に保存されており、各参照ピクチャの各画面領域の動きベクトルを構造的に表現した参照ベクトルマップ内の参照ベクトルのうち、カレントピクチャの処理対象パーティションの位置に対応する参照ベクトルを用いるものである。
【００６６】
なお、動き補償予測の画素値生成のための元画像となる参照フレームと、時間予測ベクトル導出のための参照ベクトルマップは異なるフレームであってよく、時間予測ベクトル導出のための参照フレームは、インター予測パラメータに含まれている参照ベクトルマップインデックスによって選択する。
以下、画素参照のための参照フレームを「画素参照フレーム」と称し、参照ベクトル参照のための参照フレームを「ベクトル参照フレーム」と称する。
時間予測ベクトルについても、所定の時間予測ベクトル導出アルゴリズムにより導出される複数個の候補が存在していてもよい。
【００６７】
空間予測ベクトル候補と時間予測ベクトル候補を合わせた複数個の候補の中から、インター予測パラメータに含まれている予測ベクトルインデックスにしたがって１つの予測ベクトルを選択し、その予測ベクトルを符号化対象パーティションの予測ベクトルとする。
【００６８】
次に、フィールド単位の符号化と、フレーム単位の符号化が混在する場合の時間予測ベクトル導出処理について、参照ベクトルマップのデータ構造を含めて説明する。
最初に、参照ベクトルマップのデータ構造について説明する。
参照ベクトルマップは、符号化対象ピクチャを参照ベクトルブロックと呼ばれる特定のサイズのブロックに格子状に分割し、各参照ベクトルブロックに対応する動きベクトルをラスタ順に格納された構造となっている（図９を参照）。
ここで、動きベクトルは、動き補償予測が選択されたパーティションＰin毎に一つずつ定義されているが、ある参照ベクトルブロックに空間的に対応するパーティションＰinは、参照ベクトルブロックとサイズや形状が異なる可能性がある。
このような場合、特定の手段により、参照ベクトルブロックとパーティションＰinの対応付けを行う。例えば、図１１（ａ）に示すように、動き補償予測されたパーティションＰinが複数の参照ベクトルブロックに跨っていた場合は、パーティションＰinを含んでいる全ての参照ベクトルブロックにパーティションＰinのベクトルを格納する。図１１（ｃ）のように、一つの参照ベクトルブロックに複数のパーティションが含まれていた場合、参照ベクトルブロックに含まれる複数のパーティションのベクトルから、特定の手段で一つのベクトルを算出して当該参照ベクトルブロックに格納する。
算出の手法としては、例えば、参照ベクトルブロックに含まれる全てのベクトルの平均値や中間値を取ることが考えられる。または、常に参照ベクトルブロック内の特定の位置のパーティションの動きベクトルを代表値として使ってもよい。
なお、図１１（ｂ）のように、フレーム内予測パーティションの位置に対応する参照ベクトルブロックには、特定の手段で算出されたベクトルを格納する。
算出の手法としては、固定値を格納する手法や、隣接する参照ベクトルブロックのベクトル値をコピーして格納する手法などが挙げられる。
【００６９】
ピクチャ上の座標（ｘ，ｙ）に対応する参照ベクトルマップ上の座標は、（Ｒ1（ｘ），Ｒ2（ｘ））で表される。
ベクトル参照フレームがフレーム単位で符号化されている場合、図９（ａ）に示すように、フレームにつき一面の参照ベクトルマップを持っており、ベクトル参照フレームがフィールド単位で符号化されている場合、図９（ｂ）に示すように、フィールド別に１面ずつ、計２面の参照ベクトルマップを持っている。
即ち、カレントピクチャがフレーム単位で符号化されている場合は、１面の参照ベクトルマップを作成し、フィールド単位で符号化された場合は、フィールド別に１面ずつ、２面の参照ベクトルマップを作成する。
参照ベクトルマップを作成する際の参照ベクトルブロックのサイズは、フレーム単位の符号化／フィールド単位の符号化に依らず一定とする。
よって、フレーム単位の符号化の場合と、フィールド単位の符号化の場合とでは、１面の参照ベクトルマップのサイズが異なる。
【００７０】
次に、フィールド単位の符号化と、フレーム単位の符号化とが混在する場合の時間予測ベクトルの導出処理について説明する。
ここでは、（１）カレントピクチャがフレーム単位の符号化であって、ベクトル参照フレームがフレーム単位の符号化である場合、（２）カレントピクチャがフィールド単位の符号化であって、ベクトル参照フレームがフィールド単位の符号化である場合、（３）カレントピクチャがフレーム単位の符号化であって、ベクトル参照フレームがフィールド単位の符号化である場合、（４）カレントピクチャがフィールド単位の符号化であって、ベクトル参照フレームがフレーム単位の符号化である場合の４パターンについて説明する。
【００７１】
図１０はフィールド単位の符号化と、フレーム単位の符号化とが混在する場合の時間予測ベクトルの導出処理に関する説明図である。
［パターン（１）］
カレントピクチャがフレーム単位の符号化であって、ベクトル参照フレームがフレーム単位の符号化であるパターン（図１０（ａ）を参照）
このパターンでは、カレントピクチャにおける符号化対象パーティションの時間予測ベクトルの参照先座標に関するＣ個の候補が、所定の時間予測ベクトル導出アルゴリズムによって、カレントピクチャ上の座標で（ｘ1，ｙ1），（ｘ2，ｙ2），・・・，（ｘc，ｙc）のように求められた場合、カレントピクチャにおけるベクトル参照フレームの参照ベクトルマップの（Ｒ1（ｘ1），Ｒ2（ｙ1）），（Ｒ1（ｘ2），Ｒ2（ｙ2）），・・・，（Ｒ1（ｘc），Ｒ2（ｙc））に格納されている参照ベクトルを時間予測ベクトル候補とする。
【００７２】
［パターン（２）］
カレントピクチャがフィールド単位の符号化であって、ベクトル参照フレームがフィールド単位の符号化であるパターン（図１０（ｂ）を参照）
このパターンでは、カレントピクチャにおける符号化対象パーティションの時間予測ベクトルの参照先座標に関するＣ個の候補が、所定の時間予測ベクトル導出アルゴリズムによって、カレントピクチャ上の座標で（ｘ1，ｙ1），（ｘ2，ｙ2），・・・，（ｘc，ｙc）のように求められた場合、カレントピクチャにおけるベクトル参照フレームの２つの参照ベクトルマップのうち、カレントピクチャと同一フィールドの参照ベクトルマップ（カレントピクチャがトップフィールドであれば、トップフィールドの参照ベクトルマップ、カレントピクチャがボトムフィールドであれば、ボトムフィールドの参照ベクトルマップ）の（Ｒ1（ｘ1），Ｒ2（ｙ1）），（Ｒ1（ｘ2），Ｒ2（ｙ2）），・・・，（Ｒ1（ｘc），Ｒ2（ｙc））に格納されている参照ベクトルを時間予測ベクトル候補とする。
または、カレントピクチャにおけるベクトル参照フレームの２つの参照ベクトルマップのうち、符号化制御部１から出力されたインター予測パラメータに含まれている時間予測ベクトル参照フィールドインデックスが示すフィールドの参照ベクトルマップの（Ｒ1（ｘ1），Ｒ2（ｙ1）），（Ｒ1（ｘ2），Ｒ2（ｙ2）），・・・，（Ｒ1（ｘc），Ｒ2（ｙc））に格納されている参照ベクトルを時間予測ベクトル候補とする。
なお、シーケンス単位、ピクチャ単位、スライス単位などで、符号化制御部１から出力された符号化パラメータによる指示で、常に同一フィールドを用いるか、または、時間予測ベクトル参照フィールドインデックスが示すフィールドを指定するかを切り替えられるようにしてもよい。
【００７３】
［パターン（３）］
カレントピクチャがフレーム単位の符号化であって、ベクトル参照フレームがフィールド単位の符号化であるパターン（図１０（ｃ）を参照）
このパターンでは、カレントピクチャにおける符号化対象パーティションの時間予測ベクトルの参照先座標に関するＣ個の候補が、所定の時間予測ベクトル導出アルゴリズムによって、カレントピクチャ上の座標で（ｘ1，ｙ1），（ｘ2，ｙ2），・・・，（ｘc，ｙc）のように求められた場合、カレントピクチャにおけるベクトル参照フレームの２つの参照ベクトルマップのうち、符号化制御部１から出力されたインター予測パラメータに含まれている時間予測ベクトル参照フィールドインデックスが示すフィールドの参照ベクトルマップの（Ｒ1（ｘ1），Ｒ2（ｙ1）／２），（Ｒ1（ｘ2），Ｒ2（ｙ2）／２），・・・，（Ｒ1（ｘc），Ｒ2（ｙc）／２）に格納されている参照ベクトルの垂直方向成分を２倍にしたベクトル（補正後の参照ベクトル）を時間予測ベクトル候補とする。
【００７４】
［パターン（４）］
カレントピクチャがフィールド単位の符号化であって、ベクトル参照フレームがフレーム単位の符号化であるパターン（図１０（ｄ）を参照）
このパターンでは、カレントピクチャにおける符号化対象パーティションの時間予測ベクトルの参照先座標に関するＣ個の候補が、所定の時間予測ベクトル導出アルゴリズムによって、カレントピクチャ上の座標で（ｘ1，ｙ1），（ｘ2，ｙ2），・・・，（ｘc，ｙc）のように求められた場合、カレントピクチャにおけるベクトル参照フレームの２つの参照ベクトルマップのうち、符号化制御部１から出力されたインター予測パラメータに含まれている時間予測ベクトル参照フィールドインデックスが示すフィールドの参照ベクトルマップの（Ｒ1（ｘ1），Ｒ2（ｙ1）×２），（Ｒ1（ｘ2），Ｒ2（ｙ2）×２），・・・，（Ｒ1（ｘc），Ｒ2（ｙc）×２）に格納されている参照ベクトルの垂直方向成分を半分にしたベクトル（補正後の参照ベクトル）を時間予測ベクトル候補とする。
【００７５】
動き補償予測部６は、パターン（１）〜（４）のいずれにおいても、求まったＣ個の時間予測ベクトル候補を、カレントピクチャとベクトル参照フレームとのピクチャ番号の差でスケールングしたベクトルを、最終的な時間予測ベクトル候補とする。
【００７６】
インター予測画像の生成に用いられたインター予測パラメータには、以下に示す情報等が含まれるが、動画像復号装置側で全く同じインター予測画像を生成するために、これらの情報等は、可変長符号化部１５によってビットストリームに多重化される。
（１）符号化ブロックＢn内のパーティション分割を記述するモード情報
（２）各パーティションの予測差分動きベクトル（差分値）
（３）動き補償予測フレームメモリ１３内に複数の参照フレームが含まれている構成の場合、予測画像生成のための画素参照フレームを指定する画素参照フレーム指示インデックス情報
（４）参照ベクトルメモリ１４内に複数の参照ベクトルマップが含まれている構成の場合、時間予測ベクトルの参照先となるベクトル参照フレームを指定するベクトル参照フレーム指示インデックス情報
【００７７】
（５）フレーム／フィールドをフレーム単位で切り替えて符号化する構成であって、カレントピクチャがフィールド単位の符号化である場合、画素参照フレームのうち、いずれのフィールドを参照ピクチャとして用いるかを示す画素参照フィールド指示インデックス情報
（６）フレーム／フィールドをフレーム単位で切り替えて符号化する構成であって、ベクトル参照フレームがフィールド単位で符号化されている場合、ベクトル参照フレームのうち、いずれのフィールドの参照ベクトルマップを用いるかを示すベクトル参照フィールド指示インデックス情報
（７）複数の動きベクトル予測値候補がある場合、いずれの動きベクトル予測値を選択して使用するかを示すインデックス情報
（８）複数の動き補償内挿フィルタがある場合、いずれのフィルタを選択して使用するかを示すインデックス情報
（９）当該パーティションの動きベクトルが複数の画素精度（半画素、１／４画素、１／８画素など）を示すことが可能な場合、いずれの画素精度を使用するかを示す選択情報
【００７８】
また、上記の情報のうち、（５）と（６）は、いずれもフィールドパリティ（トップフィールド／ボトムフィールド）を指定する１ビットの信号である。これらの信号の構成手段としては、以下の２つのパターンが考えられる。
［パターン１］
指定するフィールドパリティと信号値の対応を固定する。即ち、例えば、トップフィールドを指定する際は“０”、ボトムフィールドを指定する際は“１”を固定的に送信する。
［パターン２］
指定するフィールドパリティと信号値の対応を、符号化対象のフィールドパリティに応じて変更する。例えば、符号化対象のフィールドパリティと、指定するフィールドパリティが等しい場合は“０”を送信し、異なる場合は“１”を送信する。このように構成することで、例えば、静止画像など、符号化対象フィールドと参照フィールドのフィールドパリティが一致していた場合に符号化効率が高くなるという特性を持つ入力画像の場合、フィールド指示インデックス情報の信号値として“０”が多く出現するため、フィールド指示インデックス情報を算術符号化によって高い効率で圧縮することが可能になる。
【００７９】
次に、図２の動画像復号装置の処理内容を具体的に説明する。
可変長復号部２１は、図１の動画像符号化装置により生成されたビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図８のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位、あるいは、ピクチャ単位にフレームサイズの情報を復号する。
即ち、可変長復号部２１は、ビットストリームに多重化されている符号化単位情報（フレーム単位の符号化であるか、フィールド単位の符号化であるかを示す情報）を復号し、その符号化単位情報に基づいて、カレントピクチャの符号化単位（復号単位）をフレーム単位の復号、または、フィールド単位の復号に決定する（ステップＳＴ２２）。
【００８０】
また、可変長復号部２１は、最大符号化ブロックサイズ及び分割階層数の上限を図１の動画像符号化装置と同様の手順で決定する（ステップＳＴ２３）。
例えば、最大符号化ブロックサイズが映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、動画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
最大符号化ブロックサイズ及び分割階層数上限が、動画像符号化装置側でビットストリームに多重化された場合には、ビットストリームから復号した値を用いる。
動画像符号化装置は、図６で示されるように、最大符号化ブロックを出発点に階層的に複数の符号化対象ブロックに分割して得られる符号化対象ブロック単位に符号化モードや変換・量子化して得られる圧縮データをビットストリームに多重化する。
当該ビットストリームを受け取った可変長復号部２１は、決定された最大符号化ブロック単位に、符号化モードに含まれる図６で示されるような最大符号化ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に復号対象ブロック（図１の動画像符号化装置の「符号化対象ブロック」に相当するブロック）を特定する（ステップＳＴ２４）。
【００８１】
次に、可変長復号部２１は、符号化対象ブロックに相当する復号対象ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、符号化対象ブロックに相当する復号対象ブロックをさらに１つないし複数の予測処理単位に分割し、予測処理単位に割り当てられている予測パラメータを復号する（ステップＳＴ２５）。
可変長復号部２１は、復号対象ブロック（符号化対象ブロック）に割り当てられている符号化モードがイントラ符号化モードである場合、復号対象ブロック（符号化対象ブロック）に含まれており、予測処理単位となる１つ以上のパーティション毎にイントラ予測パラメータを復号する。
さらに、可変長復号部２１は、復号対象ブロック（符号化対象ブロック）を予測差分符号化パラメータに含まれる変換ブロックサイズの情報に基づき、変換処理単位となる１つないし複数のパーティションに分割され、変換処理単位となるパーティション毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２５）。
【００８２】
切換スイッチ２２は、可変長復号部２１により可変長復号された符号化モードｍ（Ｂn）がイントラ符号化モードであれば（ｍ（Ｂn）∈ＩＮＴＲＡの場合）、可変長復号部２１により可変長復号されたイントラ予測パラメータをイントラ予測部２３に出力する。
一方、可変長復号部２１により可変長復号された符号化モードｍ（Ｂn）がインター符号化モードであれば（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、可変長復号部２１により可変長復号されたインター予測パラメータ、差分値及び符号化単位情報を動き補償部２４に出力する。
【００８３】
イントラ予測部２３は、可変長復号部２１により可変長復号された符号化モードｍ（Ｂn）がイントラ符号化モードであり（ｍ（Ｂn）∈ＩＮＴＲＡの場合）、切換スイッチ２２からイントラ予測パラメータを受けると（ステップＳＴ２６）、図１のイントラ予測部５４と同様の手順で、イントラ予測用メモリ２７に格納されている局所復号画像を参照しながら、切換スイッチ２２から出力されたイントラ予測パラメータを用いて、復号対象ブロックＢn内の各パーティションＰinに対するイントラ予測処理を実施して、イントラ予測画像ＰINTRAinを生成する（ステップＳＴ２７）。
【００８４】
動き補償部２４は、可変長復号部６１により可変長復号された符号化モードｍ（Ｂn）がインター符号化モードであり（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、切換スイッチ２２からインター予測パラメータ、差分値及び符号化単位情報を受けると（ステップＳＴ２６）、詳細は後述するが、参照ベクトルメモリ３０に格納されている参照ベクトル（参照ピクチャに保持されている参照ベクトル）から予測ベクトルを導出し、その予測ベクトルと切換スイッチ２２から出力された差分値を加算して動きベクトルを復号し、その動きベクトルと切換スイッチ２２から出力されたインター予測パラメータを用いて、復号対象ブロックに対するインター予測処理を実施してインター予測画像ＰINTERinを生成する（ステップＳＴ２８）。
ただし、動き補償部２４は、切換スイッチ２２から出力された符号化単位情報を参照して、カレントピクチャ（復号対象ピクチャ）の復号単位を認識し、カレントピクチャと参照ピクチャの復号単位が異なる場合、その参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出する。
【００８５】
逆量子化・逆変換部２５は、可変長復号部２１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部９と同様の手順で、その予測差分符号化パラメータを参照して、その圧縮データを逆量子化するとともに、その予測差分符号化パラメータを参照して、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の減算部７から出力された予測差分信号に相当する復号予測差分信号を算出する（ステップＳＴ２９）。
【００８６】
加算部２６は、逆量子化・逆変換部２５により算出された復号予測差分信号と、イントラ予測部２３により生成されたイントラ予測画像ＰINTRAin、または、動き補償部２４により生成されたインター予測画像ＰINTERinとを加算して、復号対象ブロック内に含まれる１つないし複数の復号パーティション画像の集まりとして、復号画像をループフィルタ部２８に出力するとともに、その復号画像をイントラ予測用メモリ２７に格納する（ステップＳＴ３０）。
この復号画像が、以降のイントラ予測用の画像信号になる。
【００８７】
ループフィルタ部２８は、全ての復号対象ブロックＢnに対するステップＳＴ２３〜ＳＴ３０の処理が完了すると（ステップＳＴ３１）、加算部２６から出力された復号画像に対して、所定のフィルタリング処理を実施して、フィルタリング処理後の復号画像を動き補償予測フレームメモリ２９に格納する（ステップＳＴ３２）。
なお、ループフィルタ部２８によるフィルタリング処理は、入力される復号画像の最大復号ブロック、あるいは、個々の復号ブロック単位で行ってもよいし、１画面分の復号ブロックの局所復号画像が入力された後に１画面分まとめて行ってもよい。
また、所定のフィルタリング処理の例としては、符号化ブロック境界の不連続性（ブロックノイズ）が目立たなくなるようにブロック境界をフィルタリングする処理、復号画像の歪みを補償するフィルタ処理などが挙げられる。
この復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
【００８８】
なお、動き補償予測フレームメモリ２９に格納されるピクチャデータは、フレームフォーマットでの参照だけでなく、フィールド別フォーマットでの参照も可能であるようなデータ形式になっている。
例えば、トップフィールドとボトムフィールドが偶数／奇数ラインに交互に配置されたフレームフォーマットで格納してもよいし、トップフィールドとボトムフィールドが別のピクチャデータであるが、どのピクチャデータが、どのフレームのどちらのフィールドであるかを示す情報が常に参照できるようなデータ形式で格納してもよい。また、その両方を保持しておいてもよい。
いずれの格納形式においても、参照時に適宜フォーマット変換するという手段も含め、フレームフォーマット及びフィールド別フォーマットのいずれのフォーマットでも参照できるような仕組みを持っている。
【００８９】
ステップＳＴ２３〜ＳＴ３２の処理は、カレントフレームを構成する全てのピクチャ（カレントフレームの処理単位がフレーム単位である場合は１ピクチャ、カレントフレームの処理単位がフィールド単位である場合は２ピクチャ）に対する処理が完了するまで繰り返し実施され（ステップＳＴ３３）、カレントフレームを構成する全てのピクチャに対する処理が完了すると、ビットストリームに多重化された符号化データのうち、１フレーム分の復号処理を終了する。
【００９０】
以下、動き補償部２４の処理内容を具体的に説明する。
図１の符号化制御部１において、インター符号化モードが選択された場合（ｍ（Ｂn）∈ＩＮＴＥＲの場合）、各パーティションＰinに対して、動きベクトル予測処理が実施されて予測ベクトル候補が選出され、かつ、可変長復号部２１により復号されたインター予測パラメータに含まれている予測ベクトルインデックス情報に基づいて予測ベクトル候補から予測ベクトルが定められるとともに、インター予測パラメータに含まれている差分値と予測ベクトルの加算によって、各パーティションＰinの動きベクトルが復号される。
また、インター予測パラメータに含まれている画素参照フレームインデックス情報が示す画素参照フレームを動きベクトルによって動き補償した画像がインター予測画像として生成される。ここで、予測ベクトルを導出するアルゴリズムは、図１の動画像符号化装置の動き補償予測部６が実施している処理と同様であり、同じフレームの同じパーティションでは、動画像符号化装置と動画像復号装置の間で、必ず同じ予測ベクトル候補が選出される。
【００９１】
また、画素参照フレームからの画素参照は、図１の動画像符号化装置の動き補償予測部６が実施している処理と同様に、カレントピクチャの符号化単位に基づいて適宜変更する。
また、ベクトル参照フレームの参照ベクトルマップからの時間予測ベクトルの取得においても、カレントピクチャとベクトル参照フレームの符号化単位に応じて参照ベクトルマップからの参照位置、参照ベクトルのベクトル値の変更などの処理を、図１の動画像符号化装置の動き補償予測部６が実施している処理と全く同様に実施する。
また、カレントピクチャの符号化単位に応じて、図１の動画像符号化装置の動き補償予測部６が実施している処理と全く同様に、カレントピクチャの参照ベクトルマップを作成して参照ベクトルメモリ３０に格納する。
【００９２】
以上で明らかなように、この実施の形態１によれば、動き補償予測部６が、符号化対象ピクチャと参照ピクチャの符号化単位が異なる場合、その参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出するように構成したので、フレーム単位の符号化と、フィールド単位の符号化とが混在する場合でも、ＨＥＶＣに適用することができる効果を奏する。
即ち、カレントピクチャと参照ピクチャの符号化単位が異なる場合でも、妥当な時間予測ベクトルを導出することができるため、フレーム毎に、フレーム単位の符号化とフィールド単位の符号化を切り替えることが可能になり、その結果、入力画像を高効率に圧縮符号化することができる効果を奏する。
【００９３】
実施の形態２．
上記実施の形態１では、カレントピクチャの符号化単位がフィールド符号化であった場合、フィールド別に１面ずつ、計２面の参照ベクトルマップを持っているように構成している。
ただし、多くの画像信号において、トップフィールドとボトムフィールドは類似した動き情報を持っているため、２面の参照ベクトルマップに格納されている参照ベクトル情報は類似した値（冗長な情報）になっていることが推測される。また、インタレース素材の片フィールドは、キャプチャ元の映像の垂直方向を縮小したような画像となっているため、垂直方向の画素間相関及び動き情報相関は、一般に水平方向と比較して小さくなっている。よって、参照ベクトルマップについても、垂直方向より高い粒度でベクトル情報を保存できるように構成した方が予測ベクトルの精度が向上することが推測される。
【００９４】
以上より、この実施の形態２では、トップフィールドとボトムフィールドで１面の参照ベクトルマップを共有するように構成する。この際、共有する参照ベクトルマップのサイズは、フレーム符号化するピクチャと同じサイズとすることで、参照ベクトルを保管する垂直方向の粒度を高くしている。
このように構成した場合におけるフィールド符号化時の参照ベクトルマップへの参照ベクトル格納手段を以下に説明する。
【００９５】
まず、トップフィールド／ボトムフィールド個別に参照ベクトルマップを作成する。この際、上記実施の形態１と異なり、トップフィールド／ボトムフィールドそれぞれに対して、フレーム符号化の際のフレーム１面分のサイズの参照ベクトルマップを作成する。
即ち、図１２（ａ）に示すように、フレーム符号化の際の参照ベクトルブロックが、符号化対象ピクチャのＶ×Ｖ画素ブロックに対応しているとすると、フィールド符号化の場合の参照ベクトルブロックはＶ×（Ｖ／２）ブロックに対応している。各参照ベクトルブロックに格納する参照ベクトルの算出には、上記実施の形態１で説明した手法と同様の手法を用いる。
【００９６】
トップフィールド／ボトムフィールド両者の符号化が終了し、参照ベクトルマップが２面作成された時点で、両者を統合して１面の参照ベクトルマップを作成し、当該フレームの参照ベクトルマップとする。
統合後の各参照ベクトルブロックに格納されるベクトル値は、トップフィールド／ボトムフィールドで同じ位置の参照ベクトルブロックに格納されたベクトル値を用いて、特定の手段で算出される。
算出の手段としては、例えば、平均値を用いてもよいし、隣接参照ベクトルブロックに格納されたベクトルデータより相関の高いベクトルを選択するようにしてもよい。
また、参照ベクトルマップを上記のように構成した場合、符号化単位がフレームである場合でも、フィールドである場合でも、参照ベクトルマップはフレームにつき１面しか存在せず、また、常に同じサイズとなるため、図１０（ｂ）や図１０（ｄ）のような参照パターンは存在しなくなる。また、それに伴って、インター予測パラメータの一つであるベクトル参照指示インデックスは不要となる。
【００９７】
上記のように構成することで、全てのフレームで参照ベクトルマップのサイズが統一化され、符号化対象ピクチャと参照ピクチャの符号化単位が異なる場合の予測ベクトル参照の手法が簡易化されるとともに、参照ベクトル保存の垂直方向の粒度が向上する効果が得られる。
【００９８】
実施の形態３．
上記実施の形態１では、符号化対象ピクチャがフィールド単位で符号化されている場合、インター予測パラメータとして、予測画像生成のための画素参照フレームを指定する画素参照フレーム指示インデックス情報に加えて、画素参照フレーム指示インデックスで指定される画素参照フレームのうち、トップフィールド／ボトムフィールドのいずれを用いるかを指定する画素参照フィールド指示インデックス情報を伝送することで、画素参照先となるフィールドを指定している。
ここで、フィールド単位符号化されるあるフレームにおいて、１番目に符号化されるフィールドをF1、２番目に符号化されるフィールドをF2とする。このとき、フィールドF2の符号化において、フィールドF1を参照することが可能である。
【００９９】
上記実施の形態１のように、参照フィールド指定に画素参照フレーム指示インデックス情報と画素参照フィールド指示インデックス情報を用いる構成の場合において、フィールドF2の符号化時にフィールドF1を参照する場合、まず、画素参照フレーム指示インデックス情報で現在の符号化対象フレーム（フレームF1／F2が属するフレーム）を指定し、かつ、画素参照フィールド指示インデックス情報でフィールドF1を指定する必要があった。動きが激しい画像など、フィールドF2の符号化時にフィールドF1を参照することで符号化効率が向上するような特性を持つ入力に対して、このパラメータ送信手段では、伝送するインター予測パラメータの符号量が大きくなってしまう。
【０１００】
そこで、この実施の形態３では、上記のような場合において、フィールドF2がフィールドF1を参照できるような構成について説明する。
具体的には、上記実施の形態１で述べている「インター予測画像生成のために用いられると共に可変長符号化部１５によってビットストリームに多重化されるインター予測パラメータ」について、上記実施の形態１から以下のように変更する。
【０１０１】
（１）フレーム単位符号化、およびフィールド単位符号化の場合のフィールドF1の符号化においては、上記実施の形態１と同様のパラメータを用いる。
（２）フィールド単位符号化の場合のフィールドF2の符号化においては、上記実施の形態１と同様のパラメータに、フィールドF1画素参照フラグ及びフィールドF1ベクトル参照フラグを追加する。これらのフラグがＯＮである場合、フィールドF2の符号化においては、フィールドF1を画素参照や予測ベクトル参照で使用する。また、フィールドF1画素参照フラグがＯＮである場合、画素参照フレーム指示インデックス情報および画素参照フィールド指示インデックス情報は伝送しない。同様に、フィールドF1ベクトル参照フラグがＯＮである場合、ベクトル参照フレーム指示インデックス情報およびベクトル参照フィールド指示インデックス情報は伝送しない。
【０１０２】
上記のように構成することで、フィールドF2がフィールドF1を参照する場合に伝送するインター予測パラメータの符号量を抑制する効果が得られる。
【０１０３】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【産業上の利用可能性】
【０１０４】
この発明に係る動画像符号化装置は、符号化対象ピクチャと参照ピクチャの符号化単位が異なる場合、その参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出するように構成したので、フレーム単位の符号化と、フィールド単位の符号化とが混在する場合でもＨＥＶＣに適用することができ、動画像の符号化を高効率で行う動画像符号化装置に用いるのに適している。
【符号の説明】
【０１０５】
１  符号化制御部（符号化単位選択手段）、２  フレーム／フィールド切替部（符号化対象ピクチャ生成手段）、３  ブロック分割部（ブロック分割手段）、４  切換スイッチ（予測画像生成手段）、５  イントラ予測部、６  動き補償予測部（予測画像生成手段）、７  減算部（画像圧縮手段）、８  変換・量子化部（画像圧縮手段）、９  逆量子化・逆変換部、１０  加算部、１１  イントラ予測用メモリ、１２  ループフィルタ部、１３  動き補償予測フレームメモリ（予測画像生成手段）、１４  参照ベクトルメモリ（予測画像生成手段）、１５  可変長符号化部（可変長符号化手段）、２１  可変長復号部（可変長復号手段）、２２  切換スイッチ（予測画像生成手段）、２３  イントラ予測部、２４  動き補償部（予測画像生成手段）、２５  逆量子化・逆変換部（差分画像生成手段）、２６  加算部（復号画像生成手段）、２７  イントラ予測用メモリ、２８  ループフィルタ部、２９  動き補償予測フレームメモリ（予測画像生成手段）、３０  参照ベクトルメモリ（予測画像生成手段）。
【図１】
2014051081.tif 000003
【図２】
2014051081.tif 000004
【図３】
2014051081.tif 000005
【図４】
2014051081.tif 000006
【図５】
2014051081.tif 000007
【図６】
2014051081.tif 000008
【図７】
2014051081.tif 000009
【図８】
2014051081.tif 000010
【図９】
2014051081.tif 000011
【図１０】
2014051081.tif 000012
【図１１】
2014051081.tif 000013
【図１２】
2014051081.tif 000014
【手続補正書】
【提出日】平成26年11月19日(2014.11.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
参照ピクチャに保持されている参照ベクトルから予測ベクトルを導出するとともに、上記予測ベクトルを利用して動きベクトルを探索し、上記動きベクトルを用いて、符号化対象ピクチャに対する動き補償予測処理を実施して予測画像を生成する予測画像生成手段を備え、
上記予測画像生成手段は、上記符号化対象ピクチャと上記参照ピクチャの符号化単位が異なる場合、上記参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出することを特徴とする動画像符号化装置。
【請求項２】
上記予測画像生成手段は、上記動きベクトルを符号化対象ピクチャの参照ベクトルマップとして保持するとともに、符号化対象ピクチャがフィールド単位符号化で符号化される場合、符号化対象ピクチャに対応する参照ベクトルマップを、フィールド別に、フレームで２面保持することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
上記予測画像生成手段は、参照ピクチャがフィールド単位符号化で符号化されている場合で、かつ符号化対象ピクチャがフィールド単位符号化で符号化されている場合、予測ベクトルの導出処理において、参照ピクチャが属するフレームのいずれのフィールドの参照ベクトルを用いるかを決定するとともに、符号化対象ピクチャと同一パリティのフィールドの参照ベクトルを用いたか否かを示すベクトル参照フィールド指示インデックス情報を可変長符号化する可変長符号化手段を有することを特徴とする請求項２記載の動画像符号化装置。
【請求項４】
上記予測画像生成手段は、上記動きベクトルを符号化対象ピクチャの参照ベクトルマップとして保持するとともに、符号化対象ピクチャがフィールド単位符号化で符号化される場合、符号化対象ピクチャが属するフレームの両フィールドの参照ベクトルマップを統合した１面の参照ベクトルマップを、符号化対象ピクチャが属するフレームの参照ベクトルマップとして保持することで、フレームがフィールド単位符号化されている場合の参照ベクトルマップとフレーム単位符号化されている場合の参照ベクトルマップが同じサイズとなるように構成されていることを特徴とする請求項１記載の動画像符号化装置。
【請求項５】
上記予測画像生成手段は、符号化対象ピクチャがフィールド単位符号化で符号化されておりかつフレーム内で２番目に符号化されるフィールドである場合、同一フレーム内の１番目に符号化されたフィールドを参照ピクチャとして用いたか否かを示すフラグを可変長符号化する可変長符号化手段を有することを特徴とする請求項１記載の動画像符号化装置。
【請求項６】
入力画像を構成しているフレーム毎に、当該フレームの符号化単位として、フレーム単位又はフィールド単位を選択する符号化単位選択手段と、
上記入力画像における各々のフレームから、上記符号化単位選択手段により選択された符号化単位のサイズを有する符号化対象ピクチャを生成する符号化対象ピクチャ生成手段と、
上記符号化対象ピクチャ生成手段により生成された符号化対象ピクチャを分割し、分割後の符号化対象ピクチャである符号化ブロックを出力するブロック分割手段と、
参照ピクチャに保持されている参照ベクトルから予測ベクトルを導出するとともに、上記予測ベクトルを利用して動きベクトルを探索し、上記動きベクトルを用いて、上記ブロック分割手段から出力された符号化ブロックに対する動き補償予測処理を実施して予測画像を生成する予測画像生成手段と、
上記ブロック分割手段から出力された符号化ブロックと上記予測画像生成手段により生成された予測画像との差分画像を圧縮し、上記差分画像の圧縮データを出力する画像圧縮手段と、
上記画像圧縮手段から出力された圧縮データと、上記予測画像生成手段により探索された動きベクトルと上記予測画像生成手段により導出された予測ベクトルとの差分値と、上記符号化単位選択手段により選択された符号化単位を示す符号化単位情報とを可変長符号化して、上記圧縮データ、上記差分値及び上記符号化単位情報の符号化データが多重化されたビットストリームを生成する可変長符号化手段とを備え、
上記予測画像生成手段は、上記符号化対象ピクチャ生成手段により生成された符号化対象ピクチャと上記参照ピクチャの符号化単位が異なる場合、上記参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出することを特徴とする動画像符号化装置。
【請求項７】
参照ピクチャに保持されている参照ベクトルから予測ベクトルを導出するとともに、上記予測ベクトルに対して、ビットストリームに多重化された動きベクトルと予測ベクトルとの差分値を加算して、動きベクトルを復号し、上記動きベクトルを用いて、復号対象ピクチャに対する動き補償予測処理を実施して予測画像を生成する予測画像生成手段を備え、
上記予測画像生成手段は、上記復号対象ピクチャと上記参照ピクチャが異なる符号化単位で符号化されている場合、上記参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出することを特徴とする動画像復号装置。
【請求項８】
上記予測画像生成手段は、上記動きベクトルを復号対象ピクチャに対応する参照ベクトルマップとしてメモリに格納するとともに、復号対象ピクチャがフィールド単位符号化で符号化されている場合、復号対象ピクチャが属するフレームに対応する参照ベクトルマップを、フィールド別に、フレームで２面保持することを特徴とする請求項７記載の動画像復号装置。
【請求項９】
上記予測画像生成手段は、参照ピクチャがフィールド単位符号化で符号化されており、かつ復号対象ピクチャがフィールド単位符号化で符号化されている場合、予測ベクトルの導出処理において、ビットストリームに多重化されたベクトル参照フィールド指示インデックス情報に基づき、参照ピクチャが属するフレームの同一パリティのフィールドの参照ベクトルを用いるかまたは異なるパリティのフィールドの参照ベクトルを用いるかを切り換えることを特徴とする請求項８記載の動画像復号装置。
【請求項１０】
上記予測画像生成手段は、上記動きベクトルを復号対象ピクチャに対応する参照ベクトルマップとしてメモリに格納するとともに、復号対象ピクチャがフィールド単位符号化で符号化されている場合、復号対象ピクチャが属するフレームの両フィールドの参照ベクトルマップを統合した１面の参照ベクトルマップを、復号対象ピクチャが属するフレームの参照ベクトルマップとして保持することで、フレームがフィールド単位符号化されている場合の参照ベクトルマップとフレーム単位符号化されている場合の参照ベクトルマップが同じサイズとなるように構成されていることを特徴とする請求項７記載の動画像復号装置。
【請求項１１】
上記予測画像生成手段は、復号対象ピクチャがフィールド単位符号化で符号化されておりかつフレーム内で２番目に復号されるフィールドである場合、ビットストリームに多重化された、同一フレーム内の１番目に復号されたフィールドを参照ピクチャとして用いたか否かを示すフラグに基づいて、同一フレーム内の１番目に復号されたフィールドを参照ピクチャとして用いるか否かを切り換えること特徴とする請求項７記載の動画像復号装置。
【請求項１２】
ビットストリームに多重化されている符号化データから各々の符号化ブロックに係る圧縮データ、差分値及び符号化単位情報を可変長復号する可変長復号手段と、
参照ピクチャに保持されている参照ベクトルから予測ベクトルを導出するとともに、上記予測ベクトルと上記可変長復号手段により可変長復号された差分値を加算して動きベクトルを復号し、上記動きベクトルを用いて、上記符号化ブロックに対応する復号ブロックに対する動き補償予測処理を実施して予測画像を生成する予測画像生成手段と、
上記可変長復号手段により可変長復号された符号化ブロックに係る圧縮データから圧縮前の差分画像を生成する差分画像生成手段と、
上記差分画像生成手段により生成された差分画像と上記予測画像生成手段により生成された予測画像とを加算して復号画像を生成する復号画像生成手段とを備え、
上記予測画像生成手段は、上記可変長復号手段により可変長復号された符号化単位情報から復号対象ピクチャの復号単位を認識し、上記復号対象ピクチャと上記参照ピクチャの復号単位が異なる場合、上記参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出することを特徴とする動画像復号装置。
【請求項１３】
予測画像生成手段が、参照ピクチャに保持されている参照ベクトルから予測ベクトルを導出するとともに、上記予測ベクトルを利用して動きベクトルを探索し、上記動きベクトルを符号化対象ピクチャの参照ベクトルマップとして保持するとともに、上記動きベクトルを用いて、符号化対象ピクチャに対する動き補償予測処理を実施して予測画像を生成する予測画像生成処理ステップを備え、
上記予測画像生成処理ステップでは、上記符号化対象ピクチャと上記参照ピクチャの符号化単位が異なる場合、上記参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出することを特徴とする動画像符号化方法。
【請求項１４】
上記予測画像生成処理ステップにおいて、符号化対象ピクチャがフィールド単位符号化で符号化される場合に、符号化対象ピクチャが属するフレームに対応する参照ベクトルマップを、フィールド別に、フレームで２面保持することを特徴とする請求項１３記載の動画像符号化方法。
【請求項１５】
上記予測画像生成処理ステップにおいて、参照ピクチャがフィールド単位符号化で符号化されている場合で、かつ符号化対象ピクチャがフィールド単位符号化で符号化されている場合、予測ベクトルの導出処理において参照ピクチャが属するフレームのいずれのフィールドの参照ベクトルを用いるかを決定することと、
符号化対象ピクチャと同一パリティのフィールドの参照ベクトルを用いたかを示すベクトル参照フィールド指示インデックス情報を可変長符号化する可変長符号化ステップを備えることを特徴とする請求項１３記載の動画像符号化方法。
【請求項１６】
上記予測画像生成処理ステップにおいて、符号化対象ピクチャがフィールド単位符号化で符号化される場合、符号化対象ピクチャが属するフレームの両フィールドの参照ベクトルマップを統合した１面の参照ベクトルマップを、符号化対象ピクチャが属するフレームの参照ベクトルマップとして保持することで、フレームがフィールド単位符号化されている場合の参照ベクトルマップとフレーム単位符号化されている場合の参照ベクトルマップを同じサイズとすることを特徴とする請求項１３記載の動画像符号化方法。
【請求項１７】
上記予測画像生成処理ステップにおいて、符号化対象ピクチャがフィールド単位符号化で符号化されておりかつフレーム内で２番目に符号化されるフィールドである場合、同一フレーム内の１番目に符号化されたフィールドを参照ピクチャとして用いたか否かを示すフラグを可変長符号化する可変長符号化手段を有することを特徴とする請求項１３記載の動画像符号化方法。
【請求項１８】
予測画像生成手段が、参照ピクチャに保持されている参照ベクトルから予測ベクトルを導出するとともに、上記予測ベクトルに対して、ビットストリームに多重化された動きベクトルと予測ベクトルとの差分値を加算して、動きベクトルを復号し、上記動きベクトルを復号対象ピクチャに対応する参照ベクトルマップとしてメモリに格納するとともに、上記動きベクトルを用いて、復号対象ピクチャに対する動き補償予測処理を実施して予測画像を生成する予測画像生成処理ステップを備え、
上記予測画像生成処理ステップでは、上記復号対象ピクチャと上記参照ピクチャが異なる符号化単位で符号化されている場合、上記参照ピクチャに保持されている参照ベクトルを補正して、補正後の参照ベクトルから予測ベクトルを導出することを特徴とする動画像復号方法。
【請求項１９】
上記予測画像生成処理ステップにおいて、復号対象ピクチャがフィールド単位符号化で符号化されている場合、復号対象フレームに対応する参照ベクトルマップを、フィールド別に、フレームで２面保持することを特徴とする請求項１８記載の動画像復号方法。
【請求項２０】
上記予測画像生成手段は、参照ピクチャがフィールド単位符号化で符号化されており、かつ復号対象ピクチャがフィールド単位符号化で符号化されている場合、予測ベクトルの導出処理において、ビットストリームに多重化されたベクトル参照フィールド指示インデックス情報に基づき、参照ピクチャが属するフレームの同一パリティのフィールドの参照ベクトルを用いるかまたは異なるパリティのフィールドの参照ベクトルを用いるかを切り換えることを特徴とする請求項１９記載の動画像復号方法。
【請求項２１】
上記予測画像生成処理ステップにおいて、復号対象ピクチャがフィールド単位符号化で符号化されている場合、復号対象ピクチャが属するフレームの両フィールドの参照ベクトルマップを統合した１面の参照ベクトルマップを、復号対象ピクチャが属するフレームの参照ベクトルマップとして保持することで、フレームがフィールド単位符号化されている場合の参照ベクトルマップとフレーム単位符号化されている場合の参照ベクトルマップが同じサイズとなるように構成されていることを特徴とする請求項１８記載の動画像復号方法。
【請求項２２】
上記予測画像生成処理ステップにおいて、復号対象ピクチャがフィールド単位符号化で符号化されておりかつフレーム内で２番目に復号されるフィールドである場合、ビットストリームに多重化された、同一フレーム内の１番目に復号されたフィールドを参照ピクチャとして用いたか否かを示すフラグに基づいて、同一フレーム内の１番目に復号されたフィールドを参照ピクチャとして用いるか否かを切り換えること特徴とする請求項１８記載の動画像復号方法。
【国際調査報告】
2014051081.tif 000015
2014051081.tif 000016
2014051081.tif 000017
2014051081.tif 000018