(57)【特許請求の範囲】
【請求項１】
少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む入力画像信号を、直交変換と動き予測補償処理とにより符号化し、画像圧縮情報を生成する画像情報符号化装置において、
上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償手段を備えており、
上記動き予測補償手段は、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、
上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うこと
を特徴とする画像情報符号化装置。
【請求項２】
少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む入力画像信号を、直交変換と動き予測補償処理とにより符号化し、画像圧縮情報を生成する画像情報符号化装置において、
上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償手段を備えており、
上記動き予測補償手段は、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタ、若しくは線形内挿を用いて動き予測補償処理を行い、上記フレーム間順方向予測符号化画像と上記フレーム間双方向予測符号化画像とで、異なる画素精度による動き予測補償処理が選択可能であり、上記フレーム間順方向予測符号化画像及び上記フレーム間双方向予測符号化画像のそれぞれに対して、動き予測補償処理の画素精度に関する情報が上記画像圧縮情報中のＲＴＰレイヤにおけるMotionResolutionフィールドに埋め込まれること
を特徴とする画像情報符号化装置。
【請求項３】
少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む入力画像信号を、直交変換と動き予測補償処理とにより符号化し、画像圧縮情報を生成する画像情報符号化方法において、
上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償ステップを有しており、
上記動き予測補償ステップは、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、
上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うこと
を特徴とする画像情報符号化方法。
【請求項４】
少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む入力画像信号を、直交変換と動き予測補償処理とにより符号化し、画像圧縮情報を生成する処理をコンピュータに実行させるプログラムにおいて、
上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償ステップを有しており、
上記動き予測補償ステップは、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、
上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うこと
を特徴とするプログラム。
【請求項５】
画像情報符号化装置において生成された、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む画像圧縮情報を、逆直交変換と動き予測補償処理とにより復号する画像情報復号装置において、
上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償手段を備えており、
上記動き予測補償手段は、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、
上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うこと
を特徴とする画像情報復号装置。
【請求項６】
画像情報符号化装置において生成された、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む画像圧縮情報を、逆直交変換と動き予測補償処理とにより復号する画像情報復号装置において、
上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償手段を備えており、
上記動き予測補償手段は、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタ、若しくは線形内挿を用いて動き予測補償処理を行い、更に、上記フレーム間順方向予測符号化画像と上記フレーム間双方向予測符号化画像とで、異なる画素精度による動き予測補償処理が選択可能であり、上記フレーム間順方向予測符号化画像及び上記フレーム間双方向予測符号化画像のそれぞれに対して、動き予測補償処理の画素精度に関する情報が上記画像圧縮情報中のＲＴＰレイヤにおけるMotionResolutionフィールドに埋め込まれること
を特徴とする画像情報復号装置。
【請求項７】
画像情報符号化装置において生成された、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む画像圧縮情報を、逆直交変換と動き予測補償処理とにより復号する画像情報復号方法において、
上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償ステップを有しており、
上記動き予測補償ステップは、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、
上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うこと
を特徴とする画像情報復号方法。
【請求項８】
画像情報符号化装置において生成された、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む画像圧縮情報を、逆直交変換と動き予測補償処理とにより復号する処理をコンピュータに実行させるプログラムにおいて、
上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償ステップを有しており、
上記動き予測補償ステップは、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、
上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うこと
を特徴とするプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ（Moving Picture Experts Group）、Ｈ．２６ｘなどの様に、離散コサイン変換又はカルーネン・レーベ変換等の直交変換と動き補償とによって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルＴＶ若しくはインターネット等のネットワークメディアを介して受信する際に、又は光ディスク、磁気ディスク若しくはフラッシュメモリ等の記憶メディア上で処理する際に用いられる画像情報符号化装置及びその方法、画像情報復号装置及びその方法、並びにプログラムに関するものである。
【０００２】
【従来の技術】
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ISO/IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。しかし、携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。
【０００５】
さらに、近年、テレビ会議用の画像符号化を当初の目的として、Ｈ.２６Ｌ  （ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。
【０００６】
【発明が解決しようとする課題】
ところで、Ｈ．２６Ｌにおいて、高い符号化効率を実現する要素技術の一つとして、可変ブロックサイズに基づく動き予測補償が挙げられ、現行では、図５に示すような７つの動き予測補償ブロックサイズの種類が定められている。
【０００７】
また、Ｈ．２６Ｌにおいては、１／４画素精度、１／８画素精度といった高精度の動き予測補償処理が規定されている。以下では、まず、１／４画素精度の動き予測補償処理について述べることにする。
【０００８】
Ｈ．２６Ｌにおいて定められた１／４画素精度の動き予測補償処理を図６に示す。１／４画素精度の予測画を生成するに際しては、先ず、フレームメモリ内に格納された画素値に基づいて、水平方向、垂直方向それぞれ６ｔａｐのＦＩＲフィルタを用いて１／２画素精度の画素値を生成する。ここで、ＦＩＲフィルタの係数としては、以下の式（１）に示すものが定められている。
【０００９】
【数１】
0003861698.tif 000002
【００１０】
そして、生成された１／２画素精度の予測画に基づいて、線形内挿によって１／４画素精度の予測画を生成する。
【００１１】
また、Ｈ．２６Ｌでは、１／８画素精度の動き予測補償を行うため、以下の式（２）に示すフィルタバンクが規定されている。
【００１２】
【数２】
0003861698.tif 000003
【００１３】
なお、画像圧縮情報中では、動きベクトルの精度に関しては、ＲＴＰ（Real-time Transfer Protocol）レイヤ中のMotionResolutionフィールドにより指定される。
【００１４】
このように、現行のＨ．２６Ｌでは、式（１）又は式（２）に示したような、予め定められたフィルタを用いた動き予測補償処理が規定されているが、「“Adaptive Interpolation Filter for Motion Compensated Hybrid Video Coding”（T.Wedi,Picture Coding Symposium 2001,pp49-52」（以下、文献１という。）に述べられているように、入力画像に応じた適応的なフィルタを用いることも現在検討されている。
【００１５】
具体的に文献１においては、以下のような動き予測補償処理のためのフィルタの適応的最適化が提案されている。すなわち、先ず第１ステップとして、予め定められたフィルタを用いて、予測誤差を最小にする動きベクトルｄ(k)を求める。次に第２ステップとして、第１ステップで求められた動きベクトルｄ(k)に対して、予測誤差を最小とするようなフィルタ係数Ｈ(ｋ)を求める。そして、このようにして求められたフィルタ係数Ｈ(ｋ)及び動きベクトルｄ(k)によって動き補償処理を行う。文献１によれば、ＣＩＦサイズのテストシーケンス“Ｍｏｂｉｌｅ”及び“Ｆｏｒｅｍａｎ”を用いたシミュレーション実験では、上記手法を用いることにより、予め定められたフィルタを用いる場合と比較して１．０乃至１．５ｄＢ程度の符号化ゲインを得ることが可能である。
【００１６】
ここで、Ｈ．２６Ｌにおいては、ＭＰＥＧ２と同様に、Ｂピクチャに関する規定が含まれている。Ｈ．２６ＬにおいてＢピクチャを用いた双方向予測の方法を図７に示す。図７に示すように、Ｂ２ピクチャ及びＢ３ピクチャは、Ｉ１ピクチャとＰ４ピクチャとを参照画像としており、Ｂ５ピクチャ及びＢ６ピクチャは、Ｐ４ピクチャとＰ７ピクチャとを参照画像としている。
【００１７】
また、画像圧縮情報中においては、各ピクチャの使用は、ピクチャヘッダ中のＰＴＹＰＥによって図８に示すように指定される。図８に示すように、Code numberの値が０又は１のときには、Ｐピクチャの使用が指定され、Code numberの値が２のときには、Ｉピクチャの使用が指定され、Code numberの値が３又は４のときには、Ｂピクチャの使用が指定される。この際、Code numberの値が０のときには、直前のピクチャのみが予測に用いられるのに対して、Code numberの値が１のときには、複数の過去のピクチャが予測に用いられる。また、Code numberの値が３のときには、直前及び直後のピクチャが予測に用いられるのに対して、Code numberの値が４のときには、複数の過去及び未来のピクチャが予測に用いられる。このように、Ｐピクチャと同様にＢピクチャにおいてもマルチプルフレーム予測を用いることが可能である。
【００１８】
さらに、Ｈ．２６Ｌにおいては、Ｂピクチャを用いることで時間スケーラビリティの実現が可能である。すなわち、Ｂピクチャは参照画像として用いられることがないため、その復号処理を行うことなく破棄することが可能である。
【００１９】
さらにまた、Ｂピクチャにおいては、直接（direct）予測モード、前方（forward）予測モード、後方（backward）予測モード、双方向（bi-directional）予測モード、並びに画像内（intra）予測モードという５種類の予測モードが規定されている。なお、直接予測モード及び双方向予測モードは、何れも双方向予測であるが、その違いは、双方向予測モードにおいては、前方向及び後方向で別個の動きベクトル情報が用いられるのに対し、直接予測モードの動きベクトル情報は、未来の予測フレームにおいて対応するマクロブロックから読み出される。
【００２０】
Ｈ．２６Ｌにおいて規定される、Ｂピクチャに対するマクロブロックタイプ（MB_type）を図９に示す。ここで、図９において、Code_numberに応じた各予測タイプ（Prediction Type）の欄の Forwardは順方向、Backwardは逆方向、Bi-directionalは双方向、intraは画像内の各タイプを示し、これらに続く“１６×１６”等の記載は、図５に示したような予測ブロックの大きさを示す。また、intra_pred_mode、Ref_frame、Blk_size、ＭＶＤＦＷ、ＭＶＤＢＷの各欄の“Ｘ”が付された情報が、当該予測タイプ（Prediction Type）に対して定義されている。例えば、ＭＶＤＦＷ及びＭＶＤＢＷは、それぞれ前方向及び後方向の動きベクトル情報を示す。また、Bi-directionalモードにおけるフィールドブロックサイズBlk_sizeの情報については、図１０に示すようなCode_numberとブロックサイズ（Block Size）との関係が規定されている。
【００２１】
しかしながら、図７に示した通り、Ｂピクチャにおいては双方向予測を用いることで、Ｉ／Ｐピクチャに比して高い符号化効率を実現する一方で、Ｉ／Ｐピクチャと比較してより多くの演算量及びメモリアクセス数が要求される。
【００２２】
特に、Ｈ．２６Ｌ方式を用いる場合、式（１）又は式（２）に示される通り、６ｔａｐ又は８ｔａｐのフィルタを用いた内挿処理を動き予測・補償処理の際に行うため、ＭＰＥＧ２方式を用いる場合と比較して、その演算量及びメモリアクセス数が膨大なものになるという問題があった。
【００２３】
本発明は、このような従来の実情に鑑みて提案されたものであり、Ｂピクチャに対する動き予測・補償処理の際の演算量及びメモリアクセス数を低減する画像情報符号化装置及びその方法、画像情報復号装置及びその方法、並びにプログラムを提供することを目的とする。
【００２４】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像情報符号化装置は、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む入力画像信号を、直交変換と動き予測補償処理とにより符号化し、画像圧縮情報を生成する画像情報符号化装置において、上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償手段を備えており、上記動き予測補償手段は、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うことを特徴としている。
【００２５】
また、上述した目的を達成するために、本発明に係る画像情報符号化装置は、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む入力画像信号を、直交変換と動き予測補償処理とにより符号化し、画像圧縮情報を生成する画像情報符号化装置において、上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償手段を備えており、上記動き予測補償手段は、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタ、若しくは線形内挿を用いて動き予測補償処理を行い、上記フレーム間順方向予測符号化画像と上記フレーム間双方向予測符号化画像とで、異なる画素精度による動き予測補償処理が選択可能であり、上記フレーム間順方向予測符号化画像及び上記フレーム間双方向予測符号化画像のそれぞれに対して、動き予測補償処理の画素精度に関する情報が上記画像圧縮情報中のＲＴＰレイヤにおけるMotionResolutionフィールドに埋め込まれることを特徴としている。
【００２７】
このような画像情報符号化装置は、入力画像信号のピクチャタイプを判別し、フレーム間双方向予測符号化画像に対しては、フレーム間順方向予測符号化画像よりも演算量及びメモリアクセス数が低減される補間方法に基づいた動き予測補償処理を行うことにより、動き予測・補償処理の際の演算量及びメモリアクセス数を低減する。
【００２８】
また、上述した目的を達成するために、本発明に係る画像情報符号化方法は、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む入力画像信号を、直交変換と動き予測補償処理とにより符号化し、画像圧縮情報を生成する画像情報符号化方法において、上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償ステップを有しており、上記動き予測補償ステップは、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うことを特徴としている。
【００３１】
このような画像情報符号化方法では、入力画像信号のピクチャタイプが判別され、フレーム間双方向予測符号化画像に対しては、フレーム間順方向予測符号化画像よりも演算量及びメモリアクセス数が低減される補間方法に基づいた動き予測補償処理が行われることにより、動き予測・補償処理の際の演算量及びメモリアクセス数が低減される。
【００３２】
また、上述した目的を達成するために、本発明に係るプログラムは、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む入力画像信号を、直交変換と動き予測補償処理とにより符号化し、画像圧縮情報を生成する処理をコンピュータに実行させるプログラムにおいて、上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償ステップを有しており、上記動き予測補償ステップは、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うことを特徴としている。
【００３５】
このようなプログラムは、コンピュータに対して、入力画像信号のピクチャタイプを判別させ、フレーム間双方向予測符号化画像に対しては、フレーム間順方向予測符号化画像よりも演算量及びメモリアクセス数が低減される補間方法に基づいた動き予測補償処理を行わせることにより、動き予測・補償処理の際の演算量及びメモリアクセス数を低減する。
【００３６】
また、上述した目的を達成するために、本発明に係る画像情報復号装置は、画像情報符号化装置において生成された、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む画像圧縮情報を、逆直交変換と動き予測補償処理とにより復号する画像情報復号装置において、上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償手段を備えており、上記動き予測補償手段は、上記フレーム間順方向予測符号化画像に対して第1のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うことを特徴としている。
【００３７】
また、上述した目的を達成するために、本発明に係る画像情報復号装置は、画像情報符号化装置において生成された、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む画像圧縮情報を、逆直交変換と動き予測補償処理とにより復号する画像情報復号装置において、上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償手段を備えており、上記動き予測補償手段は、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタ、若しくは線形内挿を用いて動き予測補償処理を行い、更に、上記フレーム間順方向予測符号化画像と上記フレーム間双方向予測符号化画像とで、異なる画素精度による動き予測補償処理が選択可能であり、上記フレーム間順方向予測符号化画像及び上記フレーム間双方向予測符号化画像のそれぞれに対して、動き予測補償処理の画素精度に関する情報が上記画像圧縮情報中のＲＴＰレイヤにおけるMotionResolutionフィールドに埋め込まれることを特徴としている。
【００３９】
このような画像情報復号装置は、画像情報符号化装置において生成された画像圧縮情報のピクチャタイプを判別し、フレーム間双方向予測符号化画像に対しては、フレーム間順方向予測符号化画像よりも演算量及びメモリアクセス数が低減される補間方法に基づいた動き予測補償処理を行うことにより、動き予測・補償処理の際の演算量及びメモリアクセス数を低減する。
【００４０】
また、上述した目的を達成するために、本発明に係る画像情報復号方法は、画像情報符号化装置において生成された、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む画像圧縮情報を、逆直交変換と動き予測補償処理とにより復号する画像情報復号方法において、上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償ステップを有しており、上記動き予測補償ステップは、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うことを特徴としている。
【００４３】
このような画像情報復号方法では、画像情報符号化装置において生成された画像圧縮情報のピクチャタイプが判別され、フレーム間双方向予測符号化画像に対しては、フレーム間順方向予測符号化画像よりも演算量及びメモリアクセス数が低減される補間方法に基づいた動き予測補償処理が行われることにより、動き予測・補償処理の際の演算量及びメモリアクセス数が低減される。
【００４４】
また、上述した目的を達成するために、本発明に係るプログラムは、画像情報符号化装置において生成された、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む画像圧縮情報を、逆直交変換と動き予測補償処理とにより復号する処理をコンピュータに実行させるプログラムにおいて、上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償ステップを有しており、上記動き予測補償ステップは、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うことを特徴としている。
【００４７】
このようなプログラムは、コンピュータに対して、画像情報符号化装置において生成された画像圧縮情報のピクチャタイプを判別させ、フレーム間双方向予測符号化画像に対しては、フレーム間順方向予測符号化画像よりも演算量及びメモリアクセス数が低減される補間方法に基づいた動き予測補償処理を行わせることにより、動き予測・補償処理の際の演算量及びメモリアクセス数を低減する。
【００４８】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、例えばＨ．２６Ｌ方式に従って入力画像信号をブロック化し、該ブロック単位で直交変換を施して量子化を行い、画像圧縮情報を生成する画像情報符号化装置、及びその画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号装置に適用したものである。
【００４９】
この画像情報符号化装置及び画像情報復号装置では、後述するように、インター符号化が行われるフレーム間順方向予測符号化画像（以下、Ｐピクチャという。）及びフレーム間双方向予測符号化画像（以下、Ｂピクチャという。）の動き予測・補償処理に際して、ＰピクチャとＢピクチャとで異なる補完方法を用いることによって、必要とされる演算量及びメモリアクセス数を低減することができる。
【００５０】
先ず、本実施の形態における画像情報符号化装置の概略構成を図１に示す。図１に示すように、本実施の形態における画像情報符号化装置１０は、Ａ／Ｄ変換部１１と、画面並べ替えバッファ１２と、加算器１３と、直交変換部１４と、量子化部１５と、可逆符号化部１６と、蓄積バッファ１７と、逆量子化部１８と、逆直交変換部１９と、フレームメモリ２０と、動き予測・補償部２１と、ピクチャタイプ判別部２２と、レート制御部２３とにより構成されている。
【００５１】
図１において、Ａ／Ｄ変換部１１は、入力された画像信号をデジタル信号に変換する。そして、画面並べ替えバッファ１２は、当該画像情報符号化装置１０から出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。ここで、画面並び替えバッファ１２は、イントラ符号化が行われるフレーム内符号化画像（以下、Ｉピクチャという。）に関しては、フレーム全体の画像情報を直交変換部１４に供給する。直交変換部１４は、画像情報に対して離散コサイン変換又はカルーネン・レーベ変換等の直交変換を施し、変換係数を量子化部１５に供給する。
【００５２】
量子化部１５は、直交変換部１４から供給された変換係数に対して量子化処理を施す。
【００５３】
可逆符号化部１６は、量子化された変換係数に対して可変長符号化又は算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ１７に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力される。
【００５４】
量子化部１５の挙動は、レート制御部２３によって制御される。また、量子化部１５は、量子化後の変換係数を逆量子化部１８に供給し、逆量子化部１８は、その変換係数を逆量子化する。
【００５５】
逆直交変換部１９は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ２０に供給して蓄積させる。
【００５６】
一方、画面並び替えバッファ１２は、インター符号化が行われるＰピクチャ及びＢピクチャに関しては、画像情報を動き予測・補償部２１に供給する。また、画面並び替えバッファ１２は、フレームのピクチャタイプの情報Picture_Typeをピクチャタイプ判別部２２に供給し、ピクチャタイプ判別部２２は、その情報に基づいて動き予測・補償部２１にコマンドを伝送する。
【００５７】
動き予測・補償部２１は、同時に、参照される画像情報をフレームメモリ２０から取り出し、ピクチャタイプ判別部２２から伝送されたコマンドに基づいて後述するようにＰピクチャとＢピクチャとで異なる補完方法を用いて動き予測・補償処理を施し、参照画像情報を生成する。
【００５８】
動き予測・補償部２１は、この参照画像情報を加算器１３に供給し、加算器１３は、参照画像情報を当該画像情報との差分信号に変換する。また、動き補償・予測部２１は、同時に動きベクトル情報を可逆符号化部１６に供給する。
【００５９】
可逆符号化部１６は、その動きベクトル情報に対して可変長符号化又は算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化の施される画像圧縮情報と同様であるため、説明を省略する。
【００６０】
次に、本実施の形態における画像情報復号装置の概略構成を図２に示す。図２に示すように、本実施の形態における画像情報復号装置３０は、蓄積バッファ３１と、可逆復号部３２と、逆量子化部３３と、逆直交変換部３４と、加算器３５と、画面並べ替えバッファ３６と、Ｄ／Ａ変換部３７と、動き予測・補償部３８と、フレームメモリ３９と、ピクチャタイプ判別部４０とにより構成されている。
【００６１】
図２において、蓄積バッファ３１は、入力された画像圧縮情報を一時的に格納した後、可逆復号部３２に転送する。
【００６２】
可逆復号部３２は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号又は算術復号等の処理を施し、量子化された変換係数を逆量子化部３３に供給する。また、可逆復号部３２は、当該フレームがＰピクチャ又はＢピクチャである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測・補償部３８に供給する。さらに、可逆復号部３２は、フレームのピクチャタイプの情報Picture_Typeをピクチャタイプ判別部４０に供給し、ピクチャタイプ判別部４０は、その情報に基づいて動き予測・補償部３８にコマンドを伝送する。
【００６３】
逆量子化部３３は、可逆復号部３２から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換部３４に供給する。逆直交変換部３４は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換又は逆カルーネン・レーベ変換等の逆直交変換を施す。
【００６４】
ここで、当該フレームがＩピクチャである場合には、逆直交変換部３４は、逆直交変換処理後の画像情報を画面並べ替えバッファ３６に供給する。画面並び替えバッファ３６は、この画像情報を一時的に格納した後、Ｄ／Ａ変換部３７に供給する。Ｄ／Ａ変換部３７は、この画像情報に対してＤ／Ａ変換処理を施して出力する。
【００６５】
一方、当該フレームがＰピクチャ又はＢピクチャである場合には、動き予測・補償部３８は、参照される画像情報をフレームメモリ３９から取り出し、可逆復号処理が施された動きベクトル情報とピクチャタイプ判別部４０から伝送されたコマンドとに基づいて、後述するようにＰピクチャとＢピクチャとで異なる補完方法を用いて動き予測・補償処理を施し、参照画像情報を生成する。加算器３５は、この参照画像と逆直交変換部３４の出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。
【００６６】
ところで、上述したように、本実施の形態における画像情報符号化装置１０及び画像情報復号装置３０では、ピクチャタイプ判別部２２，４０から伝送されたコマンドに基づいて、動き予測・補償部２１，３８において、ＰピクチャとＢピクチャとで異なる補完方法を用いて動き予測・補償処理を行うことにより、必要とされる演算量及びメモリアクセス数を低減している。
【００６７】
そこで、以下では、この動き予測・補償部２１，３８における動き予測・補償処理について説明するが、動き予測・補償部２１と動き予測・補償部３８とでは、同様の処理を行うため、以下では動き予測・補償部２１における処理についてのみ説明する。
【００６８】
動き予測・補償部２１には、Ｐピクチャ用及びＢピクチャ用の２つのフィルタ係数に関する情報が格納されており、以下に示す第１の方法又は第２の方法により、ＰピクチャとＢピクチャとに対して異なる動き予測・補償処理を施す。
【００６９】
先ず第１の方法では、Ｐピクチャ及びＢピクチャに対して同じ画素精度の動き予測・補償処理を施すが、Ｐピクチャと比較してＢピクチャでは、より少ないｔａｐ数のフィルタを用いるようにする。
【００７０】
具体的には、Ｐピクチャ、Ｂピクチャともに１／８画素精度の動き予測・補償処理を行う場合、Ｐピクチャに関しては、以下の式（３）に示す８ｔａｐのフィルタ係数を用い、Ｂピクチャに関しては、線形内挿によって１／８画素精度の予測画を生成する。
【００７１】
【数３】
0003861698.tif 000004
【００７２】
また、Ｐピクチャ、Ｂピクチャともに１／４画素精度の動き予測・補償処理を行う場合、Ｐピクチャに関しては、それぞれの位相に対して以下の式（４）に示す８ｔａｐのフィルタ係数を用いて１／４画素精度の予測画を生成する。一方、Ｂピクチャに関しては、以下の式（５）に示す６ｔａｐのフィルタ係数を用いて、１／２画素精度の予測画を生成し、線形内挿によって１／４画素精度の予測画を生成する。
【００７３】
【数４】
0003861698.tif 000005
【００７４】
【数５】
0003861698.tif 000006
【００７５】
なお、Ｂピクチャに関しては、線形内挿により１／４画素精度の予測画を生成して動き予測・補償処理を行うようにしても構わない。
【００７６】
また、Ｐピクチャに関しては、式（５）に示した６ｔａｐのフィルタ係数を用いて１／２画素精度の予測画を生成した後に線形内挿によって１／４画素精度の予測画を生成し、Ｂピクチャに関しては、線形内挿により１／４画素精度の予測画を生成して、動き予測・補償処理を行うこともできる。
【００７７】
次に第２の方法では、Ｂピクチャと比較してＰピクチャに対してより高精度の動き予測・補償処理を行う。
【００７８】
具体的には、Ｐピクチャに関しては、上述した式（３）に示された８ｔａｐのフィルタ係数を用いて１／８画素精度の予測画を生成して動き予測・補償処理を行う。一方、Ｂピクチャに関しては、上述した式（５）に示された６ｔａｐのフィルタ係数を用いて１／２画素精度の予測画を生成し、線形内挿によって１／４画素精度の予測画を生成して動き予測・補償処理を行う。なお、Ｂピクチャに関しては、線形内挿により１／４画素精度の予測画を生成するようにしてもよく、線形内挿により１／２画素精度の予測画を生成して動き予測・補償処理を行うようにしても構わない。
【００７９】
また、Ｐピクチャに関しては、式（５）に示された６ｔａｐのフィルタ係数を用いて１／２画素精度の予測画を生成した後に線形内挿によって１／４画素精度の予測画を生成し、Ｂピクチャに関しては、線形内挿により１／２画素精度の予測画を生成して、動き予測・補償処理を行うこともできる。
【００８０】
次に、第２の実施の形態として図３に示す画像情報符号化装置５０は、基本構成を図１に示した画像情報符号化装置１０と同様とするが、動き予測・補償部（固定フィルタ）５１と動き予測・補償部（適応フィルタ）５２とを有し、その何れを用いるかがピクチャタイプ判別部５３からのコマンドに従って切換部５４により切り換えられる点に特徴を有している。すなわち、上述した第１の実施の形態における画像情報符号化装置１０のように、単一の動き予測・補償部２１をその構成要素として有し、その内部にＰピクチャ用及びＢピクチャ用のフィルタ係数を持つのではなく、Ｈ．２６Ｌで現在規定されているような動き予測・補償部（固定フィルタ）５１と、前述した文献１で提案されているような適応フィルタによる動き予測・補償部（適応フィルタ）５２の２つを構成要素として有し、ＰピクチャであるかＢピクチャであるかによって、その何れかが用いられる。
【００８１】
また、図４に示す画像情報復号装置７０は、基本構成を図２に示した画像情報復号装置３０と同様とするが、動き予測・補償部（固定フィルタ）７１と動き予測・補償部（適応フィルタ）７２とを有し、その何れを用いるかがピクチャタイプ判別部７３からのコマンドに従って切換部７４により切り換えられる点に特徴を有している。
【００８２】
したがって、先に図１、図２に示した画像情報符号化装置１０及び画像情報復号装置３０と同様の構成については同一符号を付して詳細な説明を省略する。
【００８３】
図３に示す画像情報符号化装置５０においては、画面並び替えバッファ１２は、フレームのピクチャタイプの情報Picture_Typeをピクチャタイプ判別部５３に供給し、ピクチャタイプ判別部５３は、その情報に基づいて、切換部５４にコマンドを伝送する。
【００８４】
すなわち、当該フレームがＢピクチャである場合には、上述したコマンドにより、切換部５４が図中ａの側に切り換えられ、動き予測・補償装置（固定フィルタ）５１を用いて固定フィルタによる動き予測・補償処理が行われる。
【００８５】
一方、当該フレームがＰピクチャである場合には、上述したコマンドにより、切換部５４が図中ｂの側に切り換えられ、動き予測・補償装置（適応フィルタ）５２を用いて適応フィルタによる動き予測・補償処理が行われる。詳しくは、先ず第１ステップとして、予め定められたフィルタを用いて、予測誤差を最小にする動きベクトルｄ(k)が求められる。次に第２ステップとして、第１ステップで求められた動きベクトルｄ(k)に対して、予測誤差を最小とするようなフィルタ係数Ｈ(ｋ)が求められる。そして、このようにして求められたフィルタ係数Ｈ(ｋ)及び動きベクトルｄ(k)によって動き補償処理が行われる。このフィルタ係数に関する情報は、画像圧縮情報中に埋め込まれて伝送される。その際、可逆符号化部１６において可変長符号化又は算術符号化処理を施し、情報量を圧縮した後に画像圧縮情報に埋め込むようにしても構わない。
【００８６】
なお、動き予測・補償装置（固定フィルタ）５１又は動き予測・補償装置（適応フィルタ）５２における動き予測・補償処理の際の画素精度は、ＰピクチャとＢピクチャとで同等であってもよく、また、Ｂピクチャと比較してＰピクチャに対してより高い画素精度の動き予測・補償処理を行うようにしてもよい。この画素精度の情報は、出力される画像圧縮情報中のＲＴＰ（Real-time Transfer Protocol）レイヤにおけるMotionResolutionフィールドに埋め込まれて伝送される。
【００８７】
図４に示す画像情報復号装置７０においては、可逆復号部３２は、フレームのピクチャタイプの情報Picture_Typeをピクチャタイプ判別部７３に供給し、ピクチャタイプ判別部７３は、その情報に基づいて、切換部７４にコマンドを伝送する。
【００８８】
すなわち、当該フレームがＢピクチャである場合には、上述したコマンドにより、切換部７４が図中ｃの側に切り換えられる。これにより予測モード情報及び動きベクトル情報が動き予測・補償装置（固定フィルタ）７１に供給され、これらの情報に基づいて、固定フィルタによる動き予測・補償処理が行われる。
【００８９】
一方、当該フレームがＰピクチャである場合には、上述したコマンドにより、切換部７４が図中ｄの側に切り換えられる。これにより予測モード情報及び動きベクトル情報とともにフィルタ係数に関する情報が動き予測・補償装置（適応フィルタ）７２に供給され、これらの情報に基づいて、適応フィルタによる動き予測・補償処理が行われる。
【００９０】
なお、動き予測・補償装置（固定フィルタ）７１又は動き予測・補償装置（適応フィルタ）７２においては、画像圧縮情報中のＲＴＰレイヤにおけるMotionResolutionフィールドに埋め込まれた画素精度の情報に基づいて、動き予測・補償処理が行われる。
【００９１】
以上、第１の実施の形態及び第２の実施の形態を用いて説明したように、ＰピクチャとＢピクチャとに対して異なる補間方法に基づいた動き予測・補償処理を行うことにより、画質劣化を最小限に抑えながら、Ｐピクチャと比較してより多くの演算量及びメモリアクセス数が要求されるＢピクチャでの演算量及びメモリアクセス数を低減することが可能とされる。
【００９２】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００９３】
例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、画像情報符号化装置１０，５０及び画像情報復号装置３０，７０における処理を、それぞれＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。
【００９４】
【発明の効果】
以上詳細に説明したように、本発明に係る画像情報符号化装置は、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む入力画像信号を、直交変換と動き予測補償処理とにより符号化し、画像圧縮情報を生成する画像情報符号化装置において、上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償手段を備えており、上記動き予測補償手段は、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うことを特徴としている。
【００９５】
また、本発明に係る画像情報符号化装置は、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む入力画像信号を、直交変換と動き予測補償処理とにより符号化し、画像圧縮情報を生成する画像情報符号化装置において、上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償手段を備えており、上記動き予測補償手段は、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタ、若しくは線形内挿を用いて動き予測補償処理を行い、上記フレーム間順方向予測符号化画像と上記フレーム間双方向予測符号化画像とで、異なる画素精度による動き予測補償処理が選択可能であり、上記フレーム間順方向予測符号化画像及び上記フレーム間双方向予測符号化画像のそれぞれに対して、動き予測補償処理の画素精度に関する情報が上記画像圧縮情報中のＲＴＰレイヤにおけるMotionResolutionフィールドに埋め込まれることを特徴としている。
【００９７】
このような画像情報符号化装置によれば、入力画像信号のピクチャタイプを判別し、フレーム間双方向予測符号化画像に対しては、フレーム間順方向予測符号化画像よりも演算量及びメモリアクセス数が低減される補間方法に基づいた動き予測補償処理を行うことにより、動き予測・補償処理の際の演算量及びメモリアクセス数を低減することができる。
【００９８】
また、本発明に係る画像情報符号化方法は、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む入力画像信号を、直交変換と動き予測補償処理とにより符号化し、画像圧縮情報を生成する画像情報符号化方法において、上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償ステップを有しており、上記動き予測補償ステップは、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うことを特徴としている。
【０１０１】
このような画像情報符号化方法によれば、入力画像信号のピクチャタイプを判別し、フレーム間双方向予測符号化画像に対しては、フレーム間順方向予測符号化画像よりも演算量及びメモリアクセス数が低減される補間方法に基づいた動き予測補償処理を行うことにより、動き予測・補償処理の際の演算量及びメモリアクセス数を低減することができる。
【０１０２】
また、本発明に係るプログラムは、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む入力画像信号を、直交変換と動き予測補償処理とにより符号化し、画像圧縮情報を生成する処理をコンピュータに実行させるプログラムにおいて、上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償ステップを有しており、上記動き予測補償ステップは、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うことを特徴としている。
【０１０５】
このようなプログラムによれば、コンピュータに対して、入力画像信号のピクチャタイプを判別させ、フレーム間双方向予測符号化画像に対しては、フレーム間順方向予測符号化画像よりも演算量及びメモリアクセス数が低減される補間方法に基づいた動き予測補償処理を行わせることにより、動き予測・補償処理の際の演算量及びメモリアクセス数を低減することができる。
【０１０６】
また、本発明に係る画像情報復号装置は、画像情報符号化装置において生成された、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む画像圧縮情報を、逆直交変換と動き予測補償処理とにより復号する画像情報復号装置において、上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償手段を備えており、上記動き予測補償手段は、上記フレーム間順方向予測符号化画像に対して第1のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うことを特徴としている。
【０１０７】
また、本発明に係る画像情報復号装置は、画像情報符号化装置において生成された、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む画像圧縮情報を、逆直交変換と動き予測補償処理とにより復号する画像情報復号装置において、上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償手段を備えており、上記動き予測補償手段は、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタ、若しくは線形内挿を用いて動き予測補償処理を行い、更に、上記フレーム間順方向予測符号化画像と上記フレーム間双方向予測符号化画像とで、異なる画素精度による動き予測補償処理が選択可能であり、上記フレーム間順方向予測符号化画像及び上記フレーム間双方向予測符号化画像のそれぞれに対して、動き予測補償処理の画素精度に関する情報が上記画像圧縮情報中のＲＴＰレイヤにおけるMotionResolutionフィールドに埋め込まれることを特徴としている。
【０１０９】
このような画像情報復号装置によれば、画像情報符号化装置において生成された画像圧縮情報のピクチャタイプを判別し、フレーム間双方向予測符号化画像に対しては、フレーム間順方向予測符号化画像よりも演算量及びメモリアクセス数が低減される補間方法に基づいた動き予測補償処理を行うことにより、動き予測・補償処理の際の演算量及びメモリアクセス数を低減することができる。
【０１１０】
また、本発明に係る画像情報復号方法は、画像情報符号化装置において生成された、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む画像圧縮情報を、逆直交変換と動き予測補償処理とにより復号する画像情報復号方法において、上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償ステップを有しており、上記動き予測補償ステップは、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うことを特徴としている。
【０１１３】
このような画像情報復号方法によれば、画像情報符号化装置において生成された画像圧縮情報のピクチャタイプを判別し、フレーム間双方向予測符号化画像に対しては、フレーム間順方向予測符号化画像よりも演算量及びメモリアクセス数が低減される補間方法に基づいた動き予測補償処理を行うことにより、動き予測・補償処理の際の演算量及びメモリアクセス数を低減することができる。
【０１１４】
また、本発明に係るプログラムは、画像情報符号化装置において生成された、少なくともフレーム内符号化画像、フレーム間順方向予測符号化画像、及びフレーム間双方向予測符号化画像を含む画像圧縮情報を、逆直交変換と動き予測補償処理とにより復号する処理をコンピュータに実行させるプログラムにおいて、上記フレーム間順方向予測符号化画像とフレーム間双方向予測符号化画像とに対して異なる補間方法に基づいた動き予測補償処理を行う動き予測補償ステップを有しており、上記動き予測補償ステップは、上記フレーム間順方向予測符号化画像に対して第１のフィルタを用いて動き予測補償処理を行い、上記フレーム間双方向予測符号化画像に対しては、上記第１のフィルタよりタップ数の少ない第２のフィルタと線形内挿を用いて動き予測補償処理を行い、１／４画素精度の動き予測補償を行うものであり、上記フレーム間双方向予測符号化画像に対しては、
｛１，−５，２０，２０，−５，１｝／３２
という６タップのフィルタ係数を用いて１／２画素精度の補間処理を行い、生成された画素に基づいて、線形内挿により１／４画素精度の補間処理を行うことを特徴としている。
【０１１７】
このようなプログラムによれば、コンピュータに対して、画像情報符号化装置において生成された画像圧縮情報のピクチャタイプを判別させ、フレーム間双方向予測符号化画像に対しては、フレーム間順方向予測符号化画像よりも演算量及びメモリアクセス数が低減される補間方法に基づいた動き予測補償処理を行わせることにより、動き予測・補償処理の際の演算量及びメモリアクセス数を低減することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像情報符号化装置の概略構成を説明する図である。
【図２】同第１の実施の形態における画像情報復号装置の概略構成を説明する図である。
【図３】本発明の第２の実施例における画像情報符号化装置の概略構成を説明する図である。
【図４】同第２の実施の形態における画像情報復号装置の概略構成を説明する図である。
【図５】Ｈ．２６Ｌで定められている動き予測補償ブロックの可変ブロックサイズを説明する図である。
【図６】Ｈ．２６Ｌで定められている１／４画素精度の動き予測補償処理を説明する図である。
【図７】Ｈ．２６ＬにおけるＢピクチャを用いた双方向予測の方法を説明する図である。
【図８】Ｈ．２６ＬにおけるＰＴＹＰＥを説明する図である。
【図９】Ｈ．２６ＬにおけるＢピクチャに対して定められたマクロブロックタイプを説明する図である。
【図１０】図７において、双方向予測モードにおけるフィールドＢｌｋ−ｓｉｚｅのＣｏｄｅ  ｎｕｍｂｅｒを説明する図である。
【符号の説明】
１０  画像情報符号化装置、１１  Ａ／Ｄ変換部、１２  画面並べ替えバッファ、１３  加算器、１４  直交変換部、１５  量子化部、１６  可逆符号化部、１７  蓄積バッファ、１８  逆量子化部、１９  逆直交変換部、２０  フレームメモリ、２１  動き予測・補償部、２２  ピクチャタイプ判別部、２３  レート制御部、３０  画像情報復号装置、３１  蓄積バッファ、３２  可逆復号部、３３  逆量子化部、３４  逆直交変換部、３５  加算器、３６  画面並べ替えバッファ、３７  Ｄ／Ａ変換部、３８  動き予測・補償部、３９  フレームメモリ、４０  ピクチャタイプ判別部、５０  画像情報符号化装置、５１，７１  動き予測・補償部（固定フィルタ）、５２，７２  動き予測・補償部（適応フィルタ）、５３，７３  ピクチャタイプ判別部、５４，７４  切換部、７０  画像情報復号装置
【図１】
0003861698.tif 000007
【図２】
0003861698.tif 000008
【図３】
0003861698.tif 000009
【図４】
0003861698.tif 000010
【図５】
0003861698.tif 000011
【図６】
0003861698.tif 000012
【図７】
0003861698.tif 000013
【図８】
0003861698.tif 000014
【図９】
0003861698.tif 000015
【図１０】
0003861698.tif 000016