【手続補正書】
【提出日】平成19年9月21日(2007.9.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のピクチャを有する画像シーケンスを符号化する符号化方法において、
上記複数のピクチャの少なくとも１つのピクチャをフレーム符号化モードで符号化するステップと、
上記複数のピクチャの少なくとも１つのピクチャをフィールド符号化モードで符号化するステップとを有し、
上記フレーム符号化モードで符号化するステップ及び上記フィード符号化モードで符号化するステップはそれぞれ、符号化又は復号のいずれかを含み、
上記複数のピクチャの少なくとも１つのピクチャをフレーム符号化モードで符号化するときには、該複数のピクチャの少なくとも１つのピクチャをフィールド符号化モードで符号化し、該複数のピクチャの少なくとも１つのピクチャをフレーム符号化モードで復号するときには、該複数のピクチャの少なくとも１つのピクチャをフィールド符号化モードで復号することを特徴とする符号化方法。
【請求項２】
上記複数のピクチャの少なくとも１つのピクチャをフレーム符号化モードで符号化する場合には、該ピクチャを構成する２つのフィールドを一緒に符号化し、
上記複数のピクチャの少なくとも１つのピクチャをフィールド符号化モードで符号化する場合には、該ピクチャを構成する２つのフィールドを別々に符号化し、
上記２つのフィールドの１つは、トップフィールドであり、もう一方は、ボトムフィールドであることを特徴する請求項１記載の符号化方法。
【請求項３】
上記フレーム符号化モードにおいて、上記ピクチャは、イントラ（Ｉ）ピクチャ、前方予測（Ｐ）ピクチャ又は両方向予測（Ｂ）ピクチャのうちの１つとして符号化され、
上記前方予測（Ｐ）ピクチャ又は上記両方向予測（Ｂ）ピクチャは、参照ピクチャとして既に符号化されたイントラ（Ｉ）ピクチャ、前方予測（Ｐ）ピクチャ又は両方向予測（Ｂ）ピクチャの少なくとも１つを用いて符号化されることを特徴とする請求項２記載の符号化方法。
【請求項４】
上記参照ピクチャは、上記前方予測（Ｐ）ピクチャ又は上記両方向予測（Ｂ）ピクチャに対して時間的に前方又は後方方向にあることを特徴とする請求項３記載の符号化方法。
【請求項５】
上記両方向予測（Ｂ）ピクチャは、少なくとも２つの時間的な参照ピクチャから符号化され、
上記少なくとも２つの時間的な参照ピクチャは、上記両方向予測（Ｂ）ピクチャに対して同じ又は異なる時間方向にあることを特徴とする請求項３記載の符号化方法。
【請求項６】
上記フィード符号化モードにおいて、上記ピクチャの２つのフィールドのうちの現在のフィールドは、イントラ（Ｉ）フィールド、前方予測（Ｐ）フィールド又は両方向予測（Ｂ）フィールドの１つとして符号化され、
上記前方予測（Ｐ）フィールド又は上記両方向予測（Ｂ）フィールドは、参照フィールドとして既に符号化されたイントラ（Ｉ）フィールド、前方予測（Ｐ）フィールド又は両方向予測（Ｂ）フィールドの少なくとも１つから符号化されることを特徴とする請求項２記載の符号化方法。
【請求項７】
上記参照フィールドは、上記前方予測（Ｐ）フィールド又は上記両方向予測（Ｂ）フィールドに対して時間的に前方又は後方方向にあることを特徴とする請求項６記載の符号化方法。
【請求項８】
上記両方向予測（Ｂ）フィールドは、少なくとも２つの時間的な参照フィールドから符号化され、
上記、少なくとも２つの時間的な参照フィールドは、上記両方向予測（Ｂ）フィールドに対して同じ又は異なる時間方向にあることを特徴とする請求項６記載の符号化方法。
【請求項９】
上記複数のピクチャの少なくとも１つのファーストフィールドを、参照フィールドとして符号化する場合には、該複数のピクチャの少なくとも１つのファーストフィールドは、該複数のピクチャの少なくとも１つのセカンドフィールドを符号化するための参照フィールドとして用いられることを特徴とする請求項６記載の符号化方法。
【請求項１０】
複数のピクチャを有する画像シーケンスを符号化する符号化装置において、
上記複数のピクチャの少なくとも１つのピクチャをフレーム符号化モードで符号化するとともに、該複数のピクチャの少なくとも１つのピクチャをフィールド符号化モードで符号化する符号化手段を備え、
上記符号化手段は、符号化又は復号のいずれか、あるいは符号化及び復号の両方を行い、
上記複数のピクチャの少なくとも１つのピクチャをフレーム符号化モードで符号化するときには、該複数のピクチャの少なくとも１つのピクチャをフィールド符号化モードで符号化し、該複数のピクチャの少なくとも１つのピクチャをフレーム符号化モードで復号するときには、該複数のピクチャの少なくとも１つのピクチャをフィールド符号化モードで復号することを特徴とする符号化装置。
【請求項１１】
上記複数のピクチャの少なくとも１つのピクチャをフレーム符号化モードで符号化する場合には、該ピクチャを構成する２つのフィールドを一緒に符号化し、
上記複数のピクチャの少なくとも１つのピクチャをフィールド符号化モードで符号化する場合には、該ピクチャを構成する２つのフィールドを別々に符号化し、
上記２つのフィールドの１つは、トップフィールドであり、もう一方は、ボトムフィールドであることを特徴する請求項１０記載の符号化装置。
【請求項１２】
上記フレーム符号化モードにおいて、上記ピクチャは、イントラ（Ｉ）ピクチャ、前方予測（Ｐ）ピクチャ又は両方向予測（Ｂ）ピクチャのうちの１つとして符号化され、
上記前方予測（Ｐ）ピクチャ又は上記両方向予測（Ｂ）ピクチャは、参照ピクチャとして既に符号化されたイントラ（Ｉ）ピクチャ、前方予測（Ｐ）ピクチャ又は両方向予測（Ｂ）ピクチャの少なくとも１つを用いて符号化されることを特徴とする請求項１１記載の符号化装置。
【請求項１３】
上記参照ピクチャは、上記前方予測（Ｐ）ピクチャ又は上記両方向予測（Ｂ）ピクチャに対して時間的に前方又は後方方向にあることを特徴とする請求項１２記載の符号化装置。
【請求項１４】
上記両方向予測（Ｂ）ピクチャは、少なくとも２つの時間的な参照ピクチャから符号化され、
上記少なくとも２つの時間的な参照ピクチャは、上記両方向予測（Ｂ）ピクチャに対して同じ又は異なる時間方向にあることを特徴とする請求項１２記載の符号化方法。
【請求項１５】
上記フィード符号化モードにおいて、上記ピクチャの２つのフィールドのうちの現在のフィールドは、イントラ（Ｉ）フィールド、前方予測（Ｐ）フィールド又は両方向予測（Ｂ）フィールドの１つとして符号化され、
上記前方予測（Ｐ）フィールド又は上記両方向予測（Ｂ）フィールドは、参照フィールドとして既に符号化されたイントラ（Ｉ）フィールド、前方予測（Ｐ）フィールド又は両方向予測（Ｂ）フィールドの少なくとも１つから符号化されることを特徴とする請求項１１記載の符号化装置。
【請求項１６】
上記参照フィールドは、上記前方予測（Ｐ）フィールド又は上記両方向予測（Ｂ）フィールドに対して時間的に前方又は後方方向にあることを特徴とする請求項１５記載の符号化装置。
【請求項１７】
上記両方向予測（Ｂ）フィールドは、少なくとも２つの時間的な参照フィールドから符号化され、
上記少なくとも２つの時間的な参照フィールドは、上記両方向予測（Ｂ）フィールドに対して同じ又は異なる時間方向にあることを特徴とする請求項１５記載の符号化装置。
【請求項１８】
上記複数のピクチャの少なくとも１つのファーストフィールドを、参照フィールドとして符号化する場合には、該複数のピクチャの少なくとも１つのファーストフィールドは、該複数のピクチャの少なくとも１つのセカンドフィールドを符号化するための参照フィールドとして用いられることを特徴とする請求項１５記載の符号化装置。
【請求項１９】
記憶媒体再生装置において再生可能な記憶媒体において、
フレーム符号化モードで符号化された少なくとも１つのピクチャと、フィールド符号化モードで符号化された少なくとも１つのピクチャとを含む複数のピクチャを有する画像シーケンスからなるビットストリームを格納した記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【発明の名称】画像シーケンスの符号化方法及び装置
【技術分野】
【０００１】
本発明は、デジタルビデオコンテンツの符号化及び復号に関し、より具体的には、本発明は、ＭＰＥＧ−４ Ｐａｒｔ １０ ＡＶＣ／Ｈ．２６４ビデオ符号化規格において使用され、デジタルビデオコンテンツのピクチャレベルにおけるフレームモード符号化及び復号と、フィールドモード符号化及び復号とに関する。
【背景技術】
【０００２】
ビデオ圧縮は、多くの既存の製品及び新規の製品において使用されている。ビデオ圧縮は、デジタルテレビジョンセットトップボックス（set-top boxes：ＳＴＢ）、デジタル衛星放送システム（digital satellite systems：ＤＳＳ）、高精細度テレビジョン（high definition television：ＨＤＴＶ）デコーダ、デジタルバーサタイルディスク（digital versatile disk：ＤＶＤ）プレーヤ、テレビ会議、インターネットビデオ及びマルチメディアコンテンツ、及び他のデジタルビデオの用途において重要である。デジタルビデオコンテンツは、ビデオ圧縮しなければ、非常にデータ量が大きいため、効率よく保存し、伝送し、表示することは不可能又は困難である。
【０００３】
デジタルビデオコンテンツは、テレビジョン受像機、コンピュータモニタ又はデジタルビデオコンテンツを表示可能な他の電子機器に画像として表示されるピクチャのストリームからなる。特定のピクチャの前に表示されるピクチャは、この特定のピクチャの「前方」にある。また、この特定のピクチャの後に表示されるピクチャは、この特定のピクチャの「後方」にある。
【０００４】
ビデオ圧縮は、各ピクチャを１つのフレーム又は２つのフィールドとして符号化するビデオ符号化処理、すなわちコーディング処理において行われる。各フレームは、空間情報の数多くのラインからなる。例えば、一般的なフレームは、４８０本の水平ラインを含む。各フィールドは、１フレームの半分のラインを含んでいる。例えば、フレームが４８０水平ラインからなるときには、各フィールドは２４０水平ラインからなる。代表的な構成では、一方のフィールドは、フレーム内の奇数ラインからなり、他方のフィールドは、フレーム内の偶数ラインからなる。以下及び特許請求の範囲では、特別に定義する場合を除いて、奇数ラインからなるフィールドを「トップ」フィールドと呼ぶ。また、以下及び特許請求の範囲では、特別に定義する場合を除いて、偶数ラインからなるフィールドを「ボトム」フィールドと呼ぶ。２つのフィールドは、互いにインタレースされ、インタレースされたフレーム（以下、インタレースフレームという。）が形成される。
【０００５】
包括的に言えば、ビデオ符号化は、デジタルビデオコンテンツデータから「必須でない（non-essential）」データを除去することによって行われる。データ量を削減することにより、放送又は伝送時に必要とされる帯域幅が削減される。圧縮されたビデオデータは、伝送された後、復号又は伸長する必要がある。この処理では、伝送されてきたビデオデータを処理して、符号化処理において除去された「必須でない」データに代えてビデオデータに組み込むための近似データを生成する。
【０００６】
ビデオ符号化は、圧縮されていないデジタルビデオコンテンツよりも少ない容量で保存できるように、又は狭い帯域幅で伝送できるように、デジタルビデオコンテンツを圧縮された形式に変換する。圧縮は、ビデオコンテンツのピクチャにおける時間的及び空間的な冗長を利用している。デジタルビデオコンテンツは、例えばハードディスク、ＤＶＤ、他の不揮発性記憶装置等のストレージ媒体に格納することができる。
【０００７】
デジタルビデオコンテンツを圧縮するビデオ符号化方法には数多くのものがある。そのため、ビデオエンコーダ及びビデオデコーダの大半が認識できる形式で圧縮デジタルビデオコンテンツを表現するように、様々なデジタルビデオ符号化方法を標準化するビデオ符号化規格が開発されている。例えば、モーションピクチャエキスパートグループ（Motion Picture Experts Group：以下、ＭＰＥＧという。）及び国際電気通信連合（International Telecommunication Union：以下、ＩＴＵ−Ｔという。）は、広く使われているビデオ符号化規格を開発している。これらの規格の例として、ＭＰＥＧ−１規格、ＭＰＥＧ−２規格、ＭＰＥＧ−４規格、ＩＴＵ−Ｔ勧告Ｈ．２６１、ＩＴＵ−Ｔ勧告Ｈ．２６３がある。
【０００８】
ＭＰＥＧ及びＩＴＵ−Ｔによって開発された規格を始めとる大部分の最新のビデオ符号化規格は、１つには、動き補償（motion compensation：以下、ＭＣという。）アルゴリズムを有する時間的予測に基づいてる。動き補償を有する時間的予測は、デジタルビデオ放送における連続するピクチャ間の時間的冗長を削減するために、用いられる。
【０００９】
動き補償アルゴリズムを有する時間的予測では、通常、個々のピクチャを符号化するために１つ又は２つの参照ピクチャを用いる。参照ピクチャは、既に符号化されたピクチャである。動き補償アルゴリズムを有する時間的予測では、符号化する特定のピクチャと参照ピクチャとを比較することによって、参照ピクチャと符号化する特定のピクチャ間の時間的冗長を利用し、仮に動き補償アルゴリズムを有する時間的予測を用いなかった場合と比べ、より高い圧縮率でピクチャを符号化することができる。参照ピクチャの一方は、符号化する特定のピクチャの後方にある。他方の参照ピクチャは、符号化する特定のピクチャの前方にある。
【００１０】
しかしながら、より高い解像度、より複雑な画像コンテンツ、より速い伝送速度を実現する要求に応じて、より優れたビデオ圧縮方法が望まれている。このために、現在、新たなビデオ符号化規格が開発されている。この新たなビデオ符号化規格は、ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格と呼ばれている。
【００１１】
ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格は、ビデオ圧縮における多くの新たな方法を提案している。例えば、新たに提案されたＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格の特徴の１つとして、参照ピクチャは２つに限定されず、複数の参照ピクチャ（multiple reference pictures）を用いることができる。複数の参照ピクチャを用いることによって、エンコーダは、符号化するピクチャに最も一致した参照ピクチャを探すことができ、動き補償アルゴリズムを有する時間的予測の性能を向上させることができる。符号化処理において、符号化するピクチャに最も一致した参照ピクチャを用いることによって、ピクチャの符号化において高い圧縮率が実現できる。参照ピクチャは、フレームバッファ及び／又はフィールドバッファに記憶される。
【００１２】
上述したように、エンコーダは、ピクチャを１つのフレーム又は２つのフィールドとして符号化することができる。符号化するピクチャのシーケンスにおいて、幾つかのピクチャをフレームとして符号化し、幾つかのピクチャをフィールドとして符号化することができれば、圧縮率をより高めることができる。
【発明の開示】
【課題を解決するための手段】
【００１３】
可能な数多くの実施例の１つとして、本発明は、デジタルビデオコンテンツのビットストリームを符号化、復号及び生成する方法を提供する。本発明に係る符号化方法は、複数のピクチャを有する画像シーケンスを符号化する符号化方法において、複数のピクチャの少なくとも１つのピクチャをフレーム符号化モードで符号化するステップと、複数のピクチャの少なくとも１つのピクチャをフィールド符号化モードで符号化するステップとを有する。上記フレーム符号化モードで符号化するステップ及び上記フィード符号化モードで符号化するステップはそれぞれ、符号化又は復号のいずれかを含む。上記複数のピクチャの少なくとも１つのピクチャをフレーム符号化モードで符号化するときには、複数のピクチャの少なくとも１つのピクチャをフィールド符号化モードで符号化し、複数のピクチャの少なくとも１つのピクチャをフレーム符号化モードで復号するときには、複数のピクチャの少なくとも１つのピクチャをフィールド符号化モードで復号する。
また、本発明に係る符号化装置は、複数のピクチャを有する画像シーケンスを符号化する符号化装置において、複数のピクチャの少なくとも１つのピクチャをフレーム符号化モードで符号化するとともに、複数のピクチャの少なくとも１つのピクチャをフィールド符号化モードで符号化する符号化手段を備える。上記符号化手段は、符号化又は復号のいずれか、あるいは符号化及び復号の両方を行う。上記符号化手段は、複数のピクチャの少なくとも１つのピクチャをフレーム符号化モードで符号化するときには、複数のピクチャの少なくとも１つのピクチャをフィールド符号化モードで符号化し、複数のピクチャの少なくとも１つのピクチャをフレーム符号化モードで復号するときには、複数のピクチャの少なくとも１つのピクチャをフィールド符号化モードで復号する。
【発明を実施するための最良の形態】
【００１４】
本発明は、複数のピクチャのストリーム（以下、ピクチャストリームという。）からなるデジタルビデオコンテンツのピクチャレベルでの適応フレーム／フィールド（以下、ＡＦＦという。）符号化方法を提供する。ピクチャレベルでのＡＦＦ符号化において、符号化するピクチャストリームの各ピクチャは、他のピクチャがフレームモード又はフィールドモードの何れで符号化されているかにかかわらずフレームモード又はフィールドモードで符号化される。ピクチャをフレームモードで符号化する場合、インタレースフレームを構成する２つのフィールドを一緒に符号化する。一方、ピクチャをフィールドモードで符号化する場合、インタレースフレームを構成する２つのフィールドを別々に符号化する。エンコーダは、フレームモード符号化とフィールドモード符号化のうちの、どちらのタイプが各ピクチャに対してより有利であるかを判定し、ピクチャの符号化タイプを選択する。フレームモードとフィールドモードとから選択する完全な方法は、本発明において重要でないので、詳細は省略する。
【００１５】
上述のように、ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格は、デジタルビデオコンテンツを符号化して圧縮する新たな規格である。引用により本願に援用されるＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格を制定している勧告書は、ジョイントビデオチーム（Joint Video Team：ＪＶＴ）によって２００２年８月１０日に発行された「ジョイントビデオ仕様の共同最終委員会草案（Joint Final Committee Draft (JFCD) of Joint Video Specification）」を包含している（ＩＴＵ−Ｔ勧告Ｈ．２６４＆ＩＳＯ／ＩＥＣ １４４９６−１０ ＡＶＣ）。ＪＶＴは、ＩＳＯ又はＭＰＥＧ及びＩＴＵ−Ｔの専門家らによって構成されている。ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格は公に知られているため、本明細書では、ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４ビデオ符号化規格の特徴を全て詳細に記載することはしないが、本発明は、この規格の仕様に基づいて実現される。
【００１６】
ここに説明するＡＦＦ符号化方法は、ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格の定めるガイドラインと互換性があり、これに則した説明を行うが、このＡＦＦ符号化方法は、特定の規格又は用途に応じて、適宜変更することができる。
【００１７】
以下、図面を参照して、本発明の好ましい実施例について説明する。
【００１８】
図１は、本発明を実現するために用いることができる３種類のピクチャのシーケンスの具体例を示しており、これらは、ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格を始めとする代表的なビデオ符号化方法において定義されている。上述のように、エンコーダはピクチャを符号化し、デコーダはピクチャを復号する。エンコーダ又はデコーダは、プロセッサ、特定用途向け集積回路（application specific integrated circuit：ＡＳＩＣ）、フィールドプログラマブルゲートアレー（field programmable gate array：ＦＰＧＡ）、エンコーダ／デコーダ（coder/decoder：ＣＯＤＥＣ）、デジタルシグナルプロセッサ（digital signal processor：ＤＳＰ）、又はピクチャストリームを符号化できる他の電子回路等の何れであってもよいが、以下及び特許請求の範囲において、特別に定義する場合を除き、「エンコーダ」という用語は、ピクチャストリームからなるデジタルビデオコンテンツを符号化する全ての電子回路を含むものとする。また、以下及び特許請求の範囲において、特別に定義する場合を除き、「デコーダ」という用語は、ピクチャストリームからなるデジタルビデオコンテンツを復号する全ての電子回路を含むものとする。
【００１９】
ビデオ符号化方法に用いることができるピクチャの３つのタイプを図１に示す。３つのピクチャタイプは、記憶されているデジタルビデオコンテンツのランダムアクセスをサポートし、動き補償を有する時間的予測を用いて、最大の冗長抑圧（the maximum redundancy reduction）を探索するよう定義されている。３つのピクチャタイプには、イントラピクチャ（intra picture：以下、Ｉピクチャという。）（１００）と、前方予測ピクチャ（predicted picture：以下、Ｐピクチャという。）（１０２ａ、１０２ｂ）と、両方向予測ピクチャ（bi-predicted picture：以下、Ｂピクチャという。）（１０１ａ〜１０１ｄ）とがある。Ｉピクチャ（１００）は、記憶されているデジタルビデオコンテンツにランダムアクセスするためのアクセスポイントになっており、低い圧縮率で符号化される。イントラピクチャ（１００）は、参照ピクチャを参照することなく符号化される。
【００２０】
前方予測ピクチャ（１０２ａ，１０２ｂ）は、既に符号化されたＩ、Ｐ、Ｂピクチャを参照ピクチャとして用いて符号化される。符号化するＰピクチャに対して時間的に前方又は後方のピクチャの何れも参照ピクチャとして用いることができる。前方予測ピクチャ（１０２ａ、１０２ｂ）は、イントラピクチャ（１００）よりも高い圧縮率で符号化することができる。
【００２１】
両方向予測ピクチャ（１０１ａ〜１０１ｄ）は、前方参照ピクチャと後方参照ピクチャとの２つの時間的な参照ピクチャを用いて符号化される。前方参照ピクチャは過去参照ピクチャと呼ばれることもあり、後方参照ピクチャは未来参照ピクチャと呼ばれることもある。本発明の実施例では、前方参照ピクチャ及び後方参照ピクチャは、符号化するＢピクチャに対して時間的に同一方向にあってもよい。両方向予測ピクチャ（１０１ａ〜１０１ｄ）は、３つのピクチャタイプのうちで最も高い圧縮率で符号化することができる。
【００２２】
図１は、３つのピクチャタイプの間の参照関係（１０３）を示している。例えば、Ｐピクチャ（１０２ａ）は、符号化されたＩピクチャ（１００）を参照ピクチャとして用いて符号化することができる。Ｂピクチャ（１０１ａ〜１０１ｄ）は、図１に示すように、符号化されたＩピクチャ（１００）及び／又は符号化されたＰピクチャ（１０２ａ）を参照ピクチャとして用いて符号化することができる。本発明の原理に基づけば、符号化されたＢピクチャ（１０１ａ〜１０１ｄ）は、符号化する他のＢピクチャの参照ピクチャとして用いることもできる。例えば、図１に示すＢピクチャ（１０１ｃ）は、他の２つのＢピクチャ（１０１ｂ、１０１ｄ）を参照ピクチャとしている。
【００２３】
図１に示すＩピクチャ（１００）、Ｂピクチャ（１０１ａ〜１０１ｄ）、Ｐピクチャ（１０２ａ、１０２ｂ）の各番号及び順序は、ピクチャの配置の一例を示しているに過ぎず、本発明を実現する上で必須要件ではない。特定の用途に応じて、どのような数のＩピクチャ、Ｂピクチャ、Ｐピクチャをどのような順序で用いてもよい。ＭＰＥＧ−４ Ｐａｒｔ １０ ＡＶＣ／Ｈ．２６４規格は、２つの参照ピクチャ間のＢピクチャの数又は２つのＩピクチャ間のピクチャの数に関して何の制約も課していない。
【００２４】
図２に示すように、各ピクチャ（２００）は、好ましくは複数のスライス（２０２）に分割される。各スライス（２０２）は、一群のマクロブロック（２０１）を含んでいる。マクロブロック（２０１）は、一群の画素である。図２に示すように、好ましいマクロブロック（２０１）のサイズは、１６×１６画素である。
【００２５】
図３（ａ）〜図３（ｆ）は、マクロブロックが更により小さいブロックに分割できることを示している。例えば、図３（ａ）〜図３（ｆ）に示すように、マクロブロックは、更に１６×８画素（図３ａ；３００）、８×１６画素（図３ｂ；３０１）、８×８画素（図３ｃ；３０２）、８×４画素（図３ｄ；３０３）、４×８画素（図３ｅ；３０４）、４×４画素（図３ｆ；３０５）等のブロックサイズに分割することができる。
【００２６】
図４は、本発明の実施例として示す動き補償を有する時間的予測を用いたピクチャ構造の一例を示している。動き補償を有する時間的予測では、現在のピクチャであるピクチャＮ（４００）は、他のピクチャＮ−１（４０１）を移動することによって局所的に作る（model）ことができるとみなされる。ピクチャＮ−１（４０１）は、ピクチャＮ（４００）を符号化するための参照ピクチャであり、ピクチャＮ（４００）に対して時間的に前方にあっても後方にあってもよい。
【００２７】
図４に示すように、各ピクチャは、好ましくは、マクロブロック（２０１ａ、２０１ｂ）を含むスライスに分割されている。ピクチャＮ−１（４０１）は、ピクチャＮ（４００）に示される画像（４０３）を含んでいる。図４に示すように、画像（４０３）は、ピクチャＮ（４００）では、ピクチャＮ−１（４０１）における位置とは異なる時間的位置（４０２）にある。ピクチャＮ（４００）の各マクロブロック（２０１ａ）の画像内容は、画像（４０３）がピクチャＮ（４００）における新たな時間的位置（４０２）に移動するために必要とされるピクチャＮ−１（４０１）の各マクロブロック（２０１ｂ）の画像内容の時間的動き量を推測することによって、ピクチャＮ−１（４０１）の対応するマクロブロック（２０１ｂ）の画像内容から予測符号化される。実際には、元の画像（４０２）ではなく、画像（４０２）とこの画像の予測画像（４０３）との間の予測誤差（４０４）が符号化され、伝送される。
【００２８】
ピクチャＮ（４００）内の各画像（４０２）に対して、時間的予測は、画像（４０３）がピクチャＮ（４００）内の新たな時間的位置（４０２）に移動するときに必要とされる時間的動き量を示す動きベクトルによって表すことができる。動き補償を有する時間的予測に使用される動きベクトル（４０６）は、符号化及び伝送される必要がある。
【００２９】
図４は、ピクチャＮ（４００）内の画像（４０２）が、画像とこの画像の予測値間の予測誤差（４０４）と、関連する動きベクトル（４０６）とによって表現されることを示している。動きベクトルを用いた符号化の完全な方法は、特定の用途に応じて変更することができ、この変更は、当業者にとって容易である。
【００３０】
図５は、本発明に基づき、動き補償を有する時間的予測に複数の参照ピクチャを用いることの利点を説明するためのピクチャストリームの具体例を示している。複数の参照ピクチャ（multiple reference pictures）を用いることにより、ピクチャＮ（４００）を最も高い圧縮率で符号化できる可能性が増す。この具体例では、ピクチャＮ−１（４０１）、ピクチャＮ−２（５００）、ピクチャＮ−３（５０１）は、既に符号化されている。図５に示すように、ピクチャＮ−３（５０１）内の画像（５０４）は、ピクチャＮ−１（４０１）内の画像（５０２）及びピクチャＮ−２（５００）内の画像（５０２）に比して、ピクチャＮ（４００）内の画像（４０２）により類似している。複数の参照ピクチャを用いることにより、ピクチャＮ−１（４０１）に代えて、ピクチャＮ−３（５０１）を参照ピクチャとして用いてピクチャＮ（４００）を符号化することができる。
【００３１】
以下、ピクチャストリームのピクチャレベルでのＡＦＦ符号化について詳細に説明する。インタレースシーケンスのフレームは、トップフィールドとボトムフィールドの２つのフィールドを含み、トップフィールドとボトムフィールドは、インタリーブされており、フィールド周期に対応する時間離れている。フィールド周期は、フレーム周期の半分である。ピクチャレベルのＡＦＦ符号化では、インタレースフレームの２つのフィールドは、一緒に又は別々に符号化される。２つのフィールドを一緒に符号化する場合、フレームモード符号化が用いられる。一方、２つのフィールドを別々に符号化する場合、フィールドモード符号化が用いられる。
【００３２】
一方、固定フレーム／フィールド符号化では、ピクチャストリームにおける全てのピクチャをフレームモード又はフィールドモードの何れか１つのモードで符号化する。そのモードは、フレームモードとすることができ、又はフィールドモードとすることができる。ピクチャレベルでのＡＦＦ符号化が固定フレーム／フィールド符号化よりも優れているのは、エンコーダがピクチャストリーム内の各ピクチャを符号化するために、デジタルビデオ素材の内容に基づいてフレームモード又はフィールドモードの何れかのモードを選択できるからである。
【００３３】
フレームモード符号化は、既に符号化されたピクチャを参照フレームとして使用する。符号化されたＩフレーム、Ｐフレーム、Ｂフレームの何れも参照フレームとして使用できる。参照フレームは、エンコーダの一部であるフレームバッファに記憶される。本発明の実施例では、図６に具体例を示すように、フレームモードで符号化している現在のピクチャからの距離に基づいて、フレームバッファ内の各参照フレームに固有のフレーム番号を割り当てる。例えば、図６に示すように、フレーム（６００）として符号化する現在のピクチャに対して、フレームバッファ（６０１）内に複数の参照フレーム（０〜５）がある。また、図６には、現在のフレーム（６００）及び参照フレーム（０〜５）に対応するフィールド（ｆ１、ｆ２）も示している。ｆ１として示す破線は、ファーストフィールドであり、ｆ２として示す破線は、セカンドフィールドである。ファーストフィールドは、２つのフィールドからなるピクチャにおいて符号化される最初のフィールドであり、セカンドフィールドは、２つのフィールドからなるピクチャにおいて符号化される２番目のフィールドである。本発明の実施例では、ファーストフィールドは、トップフィールド又はボトムフィールドの何れであってもよい。また、本発明の他の実施例では、セカンドフィールドは、トップフィールド又はボトムフィールドの何れであってもよい。フレームは、実線によって表されている。図６に示すように、参照フレーム０は、現在のフレーム（６００）に時間的に最も近いフレームである。参照フレーム番号の値は、現在のフレーム（６００）から時間的に離れるに従って大きくなる。
【００３４】
本発明の原理に基づけば、フレームとして符号化するＢピクチャは、前方及び後方の複数の参照ピクチャを有することができる。前方及び後方の参照ピクチャに対して固有の番号が割り当てられる。
【００３５】
動き補償アルゴリズムを有する時間的予測においては、フレームとして符号化するピクチャ内の各画素に対してサブピクセル補間法（sub-pel interpolation）を適用する。また、フレーム境界上の画素を繰り返すことにより、フレームとして符号化された参照ピクチャにパディング処理（Padding）を施すこともできる。動き補償アルゴリズムを有する時間的予測において、パディング処理を行うことが望ましい場合がある。隣接するブロックの境界において不連続な画素値の原因となるフレームブロックに対しては、ループフィルタリング又はデブロッキング（de-blocking）を適用することができる。
【００３６】
本発明の他の実施例では、Ｐピクチャ内のマクロブロックは、ＡＦＦ符号化においてはスキップ（skip）することができる。マクロブロックをスキップすると、そのデータは、Ｐピクチャの符号化においては伝送されない。Ｐピクチャ内のスキップされたマクロブロックは、時間的に最も近く符号化された参照Ｉピクチャ又は参照Ｐピクチャ内の動き補償により同じ位置とされた（co-located）マクロブロックをコピーすることによって復元される。
【００３７】
フィールドモード符号化では、既に符号化されたピクチャを参照フィールドとして用いる。参照フィールドとしては、符号化されたＩフィールド、Ｐフィールド又はＢフィールドの何れも使用することができる。参照フィールドは、エンコーダの一部であるフィールドバッファに記憶される。本発明の実施例では、２つのフィールドとして符号化する現在のピクチャからの距離に応じて、フィールドバッファ内の各参照フィールドに固有の参照フィールド番号を割り当てる。図７（ａ）及び図７（ｂ）は、参照フィールドの番号付けの具体例を示しており、ここでは、本発明の実施例として、現在のフィールドと同じフィールドパリティの参照フィールドには、対応するセカンドフィールドよりも小さい番号を付している。２つのフィールドは、ともにトップフィールドであるか又はともにボトムフィールドであれば、同じフィールドパリティを有する。図７（ａ）及び図７（ｂ）の具体例では、符号化する現在のピクチャのファーストフィールドがトップフィールドの場合、参照ピクチャのファーストフィールドもまたトップフィールドである。この場合、セカンドフィールドは、ボトムフィールドである。ファーストフィールドは、全てボトムフィールドであってもよく、セカンドフィールドは、全てトップフィールドであってもよい。
【００３８】
図７（ａ）に示すように、フィールドモードで符号化する現在のピクチャは、フィールドバッファ（７０１）内に多くの参照フィールド（０〜１０）を有する。ｆ１の符号が付された破線は、ファーストフィールドを示しており、ｆ２の符号が付された破線は、セカンドフィールドを示している。また、図７（ａ）では、これらのフィールドに対応するフレームを実線で示している。図７（ａ）に示すように、現在のフィールド（７００）が、符号化するピクチャのファーストフィールドである場合、フィールドバッファ（７０１）内の最初のピクチャのファーストフィールドには、番号０が割り当てられ、フィールドバッファ（７０１）内の最初のピクチャのセカンドフィールドには、番号１が割り当てられる。参照フィールドの番号は、参照フィールドが現在のフィールド（７００）から時間的に離れるにつれて大きくなる。フィールドバッファ（７０１）内のピクチャのファーストフィールドには、対応するセカンドフィールドより小さい番号が付される。
【００３９】
図７（ｂ）は、現在のフィールド（７０２）が、２つのフィールドとして符号化するピクチャのセカンドフィールドである場合の参照フィールドの番号付けの具体例を示している。ｆ１の符号が付された破線は、ファーストフィールドを示しており、ｆ２の符号が付された破線は、セカンドフィールドを示している。現在のピクチャのファーストフィールドは、既に符号化されている。図７（ｂ）に示すように、現在のフィールド（７０２）は、セカンドフィールドであるので、フィールドバッファ（７０１）内の最初のピクチャのセカンドフィールドには参照番号０を割り当てる。現在のピクチャの既に符号化されたファーストフィールドには番号１を割り当てる。参照フィールドの番号は、参照フィールドが現在のフィールド（７０２）から時間的に離れるにつれて大きくなる。フィールドバッファ（７０１）内のピクチャのファーストフィールドには、対応するセカンドフィールドより小さい番号が付される。
【００４０】
図８は、本発明の実施例に基づくフィールドバッファ（６０１）における参照フィールドの番号付けの他の具体例を示している。この具体例では、現在のフィールドと同じフィールドパリティのフィールドに優先順位（favoring）を与えない。例えば、図８に示すように、現在のフィールド（８００）は、ファーストフィールドである。フィールドバッファ（６０１）内の最も新しく符号化されたピクチャの最も新しく符号化されたフィールドに参照番号０を割り当てる。参照フィールドの番号は、フィールドパリティにかかわらず、参照フィールドが現在のフィールド（８００）から時間的に離れるにつれて大きくなる。
【００４１】
本発明の他の実施例では、エンコーダが特定のＰピクチャに対してフィールドモード符号化を選択した場合、エンコーダは、参照フィールドとして符号化されたファーストフィールドを用いて、セカンドフィールドを符号化することができる。ピクチャがＢピクチャである場合、符号化されたファーストフィールドは、セカンドフィールドを符号化するための２つの参照フィールドのうちの１つとして用いることができる。
【００４２】
適応両方向予測（adaptive bi-prediction：以下、ＡＢＰという。）では、２つの参照ピクチャをフィールドモードで符号化することができる。この場合、フィールド間隔を用いて、換算動きベクトル（scaled motion vectors）を計算する。ＡＢＰ符号化では、２つの参照ピクチャが同じ時間方向にある。
【００４３】
動き補償アルゴリズムを有する時間的予測では、フィールドモードで符号化するピクチャ内の各画素に対してサブピクセル補間法を適用する。また、フィールド境界上の画素を繰り返すことにより、フィールドモードで符号化された参照ピクチャにパディング処理を施すこともできる。動き補償アルゴリズムを有する時間的予測において、パディング処理を行うことが望ましい場合がある。隣接するブロックの境界において不連続な画素値の原因となるフィールドブロックに対しては、ループフィルタリング又はデブロッキングを適用することができる。
【００４４】
本発明の他の実施例では、Ｐピクチャ内のマクロブロックは、ＡＦＦ符号化においてはスキップすることができる。マクロブロックをスキップすると、そのデータは、ピクチャの符号化においては伝送されない。Ｐピクチャ内のスキップされたマクロブロックは、同じフィールドパリティの時間的に最も近く符号化されたＩ又はＰピクチャの参照フィール内の動き補償により同じ位置とされたマクロブロックをコピーすることによって復元される。他の実施例では、Ｐピクチャ内のスキップされたマクロブロックは、異なるフィールドパリティの時間的に最も近くに符号化された参照フィールド内の同じ位置のマクロブロックをコピーすることによって復元される。
【００４５】
本発明の他の実施例では、Ｂピクチャに対してダイレクトモード符号化（direct mode coding）を行う。ダイレクトモード符号化では、Ｂピクチャ内のマクロブロックの前方動きベクトル及び後方動きベクトルは、後方参照ピクチャの対応する、すなわち同じ位置に位置するマクロブロックから導出される。２つのピクチャ内の同じ位置のマクロブロックは、両ピクチャにおいて同じ幾何学的位置を占めている。後方参照ピクチャは、前方参照ピクチャとして参照されることがあり、本発明の実施例において、後方参照ピクチャは、必ずしも、符号化している現在のピクチャに対して時間的に前方にあるというわけではない。
【００４６】
ダイレクトモード符号化が他の符号化方法よりも優れているのは、マクロブロックがインターモード符号化（inter mode coding）において最大１６個の動きベクトルと最大４個の参照フレームを有することができる点である。インターモード符号化では、動き補償を有する時間的予測によってマクロブロックを符号化する。インターモード符号化によってマクロブロックを符号化する場合、ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格では、図３（ａ）〜図３（ｆ）に示すより小さな６つのブロックサイズ（１６×８画素、８×１６画素、８×８画素、８×４画素、４×８画素、４×４画素）が、それ自体の動きベクトルを有することができる。また、１６×１６画素のブロックサイズもそれ自体の動きベクトルを有することができる。また、ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格では、１６×１６画素、１６×８画素、８×８画素のブロックサイズが、それ自体の参照フレームを有することもできる。したがって、マクロブロックは、最大１６個の動きベクトルと最大４個の参照フレームを有することができる。このように、多数の動きベクトルを用いることができるため、後方参照ピクチャにおいて既に算出されている同じ位置のマクロブロックの動きベクトルから、符号化するマクロブロックの動きベクトルを導出するという利点がある。ダイレクトモード符号化において、符号化するマクロブロックの前方動きベクトル及び後方動きベクトルは、後方参照ピクチャ内の同じ位置のマクロブロックの前方動きベクトルの換算値（scaled versions）として算出される。
【００４７】
ピクチャレベルでのＡＦＦ符号化では、Ｂピクチャ及びその後方参照ピクチャは、それぞれフレームモードでもフィールドモードでも符号化することができる。したがって、フレーム及びフィールドモード符号化に関して、Ｂピクチャにおけるマクロブロックと、その後方参照ピクチャ内の同じ位置のマクロブロックとの対に対して、４つの異なる組合せが可能である。第１の組合せは、現在のマクロブロックとこのマクロブロックと同じ位置のマクロブロックがともにフレームモードである場合である。第２の組合せは、現在のマクロブロックとこのマクロブロックと同じ位置のマクロブロックがともにフィールドモードである場合である。第３の組合せは、現在のマクロブロックがフィールドモードであり、このマクロブロックと同じ位置のマクロブロックがフレームモードである場合である。第４の組合せは、現在のマクロブロックがフレームモードであり、このマクロブロックと同じ位置のマクロブロックがフィールドモードである場合である。符号化するマクロブロックの動きベクトルをダイレクトモードで計算する方法は、４つの組合せ毎に異なっている。Ｂピクチャ内のマクロブロックについてダイレクトモードで動きベクトルを計算する４つの方法を以下に詳細に説明する。
【００４８】
まず、第１の組合せにおけるダイレクトモードでの動きベクトルの計算について、図９を用いて説明する。図９に示すように、現在のＢピクチャ（９００）は、フレームモードで符号化された後方参照ピクチャ（９０１）と前方参照ピクチャ（９０２）とを参照ピクチャとして用いて、フレームモードで符号化される。図９では、フレームを垂直の実線で示し、これらに対応するフィールドｆ１、ｆ２を垂直の破線で示している。本発明の実施例では、後方参照ピクチャ（９０１）は、フレームモードで符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであってもよい。同様に、前方参照ピクチャ（９０２）もまたＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであってもよい。
【００４９】
図９に示すように、現在のＢピクチャ（９００）にはブロック（９０３）が含まれ、後方参照ピクチャ（９０１）にはブロック（９０３）と同じ位置のブロック（９０４）が含まれている。ブロック（９０３）及び同じ位置のブロック（９０４）は、等しい画素範囲を有している。これらの画素範囲は、１６×１６画素、１６×８画素、８×１６画素、８×８画素、８×４画素、４×８画素、又は４×４画素とすることができる。本発明の実施例では、エンコーダは、動き補償アルゴリズムを有する時間的予測において用いる現在のＢピクチャ（９００）内のブロック（９０３）に対して、２つの動きベクトルを導出する。一方の動きベクトルＭＶＦは、前方参照ピクチャ（９０２）を指している。他方の動きベクトルＭＶＢは、フレームモードで符号化された後方参照ピクチャ（９０１）を指している。これらの２つの動きベクトルは、以下の式（１）及び式（２）によって算出される。
【００５０】
【数１】
2005510984.tif 000001
【００５１】
【数２】
2005510984.tif 000002
【００５２】
式（１）及び式（２）において、ＴＲＢは、フレームモードで符号化する現在のＢピクチャ（９００）と前方参照ピクチャ（９０２）との間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。ＴＲＤは、前方参照ピクチャ（９０２）とフレームモードで符号化された後方参照ピクチャ（９０１）との間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。参照ピクチャ間の時間的距離を計算する好ましい方法については、後述する。ＭＶは、後方参照ピクチャ（９０１）内の同じ位置のブロック（９０４）のために既に算出された動きベクトルであり、前方参照ピクチャ（９０２）を指している。
【００５３】
次に、第２の組合せにおけるダイレクトモードでの動きベクトルの計算について、図１０及び図１１を用いて説明する。図１０及び図１１に示すように、現在のＢピクチャ（９００）は、フィールドモードで符号化された後方参照ピクチャ（９０１）と前方参照ピクチャ（９０２）とを参照ピクチャとして用いて、フィールドモードで符号化される。図１０及び図１１では、フレームを垂直の実線で示し、これらに対応するフィールドｆ１、ｆ２を垂直の破線で示している。本発明の実施例では、後方参照ピクチャ（９０１）は、フィールドモードで符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであってもよい。同様に、前方参照ピクチャ（９０２）もまたＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであってもよい。
【００５４】
図１０に示すように、現在のＢピクチャ（９００）のファーストフィールドにはブロック（９０５）が含まれている。ブロック（９０５）の動きベクトルは、後方参照ピクチャ（９０１）内の同じ位置のブロック（９０６）の前方動きベクトルＭＶ１から算出される。図１０に示す実施例では、同じ位置のブロック（９０６）は、現在のＢピクチャ（９００）内のブロック（９０５）と同じパリティのフィールドにある。ブロック（９０５）及び同じ位置のブロック（９０６）は、等しい画素範囲を有する。これらの画素範囲は、１６×１６画素、１６×８画素、８×１６画素、８×８画素、８×４画素、４×８画素、又は４×４画素とすることができる。
【００５５】
本発明の実施例では、エンコーダは、動き補償アルゴリズムを有する時間的予測において用いる現在のＢピクチャ（９００）内のブロック（９０５）に対して、２つの動きベクトルを導出する。一方の動きベクトルＭＶＦ，１は、動きベクトルＭＶ１が指すフィールドモードで符号化された前方参照ピクチャ（９０２）のフィールドを指している。他方の動きベクトルＭＶＢ，１は、後方参照ピクチャ（９０１）内の同じ位置のブロック（９０６）のフィールドを指している。これらの２つの動きベクトルは、以下の式（３）及び式（４）によって算出される。
【００５６】
【数３】
2005510984.tif 000003
【００５７】
【数４】
2005510984.tif 000004
【００５８】
式（３）及び式（４）に示す下付き添字のｉは、フィールド指標（field index）である。ファーストフィールドのフィールド指標は、１であり、セカンドフィールドのフィールド指標は、２である。したがって、図１０に示す具体例では、ファーストフィールドを符号化しているので、フィールド指標は、１である。ＭＶｉは、後方参照ピクチャ（９０１）のフィールドｉにおける同じ位置のマクロブロックの前方動きベクトルである。ＴＲＢ，ｉは、現在のＢピクチャ（９００）のｉ番目のフィールドと、前方動きベクトルＭＶｉによって指される参照フィールドとの間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。ＴＲＤ，ｉは、後方参照ピクチャ（９０１）と、前方動きベクトルＭＶｉによって指される参照フィールドとの間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。
【００５９】
図１０に示すように、現在のＢピクチャ（９００）のセカンドフィールドには、他のブロック（９０７）がある。このブロック（９０７）は、後方参照ピクチャ（９０１）のセカンドフィールド内の同じ位置のブロック（９０８）を有している。同じ位置のブロック（９０８）の前方動きベクトルが、その同じ位置のブロック（９０８）の属するピクチャ以外の何れかのピクチャの予め符号化されたフィールドを指している場合、前方動きベクトル及び後方動きベクトルは、フィールド指標を２とした式（３）及び式（４）によって算出される。
【００６０】
なお、本発明の実施例では、後方参照ピクチャ（９０１）のセカンドフィールド内の同じ位置のブロック（９０８）の前方動きベクトルは、図１１に示すように、同じ後方参照ピクチャ（９０１）のファーストフィールドを指すことができる。図１１は、同じ位置のブロック（９０８）が後方参照ピクチャ（９０１）のファーストフィールドを指す前方動きベクトルＭＶ２を有することを示している。この場合、現在のブロック（９０７）のための２つの動きベクトルは、以下の式によって算出される。
【００６１】
【数５】
2005510984.tif 000005
【００６２】
【数６】
2005510984.tif 000006
【００６３】
式（５）及び式（６）におけるＴＲＢ，２は、現在のＢピクチャ（９００）のセカンドフィールドと、前方動き動きベクトルＭＶ２によって指される参照フィールドとの間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。ＴＲＤ，２は、後方参照ピクチャ（９０１）のセカンドフィールドと、前方動き動きベクトルＭＶ２によって指される参照フィールドとの間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。この場合、図１１に示すように、両動きベクトルは、後方を指している。
【００６４】
次に、第３の組合せにおけるダイレクトモードでの動きベクトルの計算について、図１２を用いて説明する。図１２に示すように、現在のＢピクチャ（９００）は、フレームモードで符号化された後方参照ピクチャ（９０１）と前方参照ピクチャ（９０２）を参照ピクチャとして用いて、フィールドモードで符号化される。図１２では、フレームを垂直の実線で示し、これらに対応するフィールドｆ１、ｆ２を垂直の破線で示している。本発明の実施例では、後方参照ピクチャ（９０１）は、フレームモードで符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであってもよい。同様に、前方参照ピクチャ（９０２）もまたＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであってもよい。
【００６５】
図１２に示すように、現在のＢピクチャ（９００）のファーストフィールドには、ブロック（９０５）が含まれている。図１２に示す実施例においては、同じ位置のブロック（９０４）は、フレームモードで符号化されている。本発明の実施例では、エンコーダは、動き補償アルゴリズムを有する時間的予測において用いる現在のＢピクチャ（９００）内のブロック（９０５）に対して、２つの動きベクトルを導出する。図１２に示すように、一方の動きベクトルＭＶＦ，１は、現在のブロック（９０５）のフィールドパリティと同じパリティを有する前方参照ピクチャ（９０２）のフィールドを指している。図１２に示す具体例では、現在のブロック（９０５）は、現在のＢピクチャ（９００）のファーストフィールドにある。他方の動きベクトルＭＶＢ，１は、後方参照ピクチャ（９０１）において同じパリティのフィールドを指している。これらの２つの動きベクトルは、以下の式（７）及び式（８）によって算出される。
【００６６】
【数７】
2005510984.tif 000007
【００６７】
【数８】
2005510984.tif 000008
【００６８】
式（７）及び式（８）において、ＭＶは、同じ位置のブロック（９０４）のフレームベースの前方動きベクトルを垂直方向において２で除算することによって算出される。これにより、現在のブロック（９０５）がフィールドモードであり、同じ位置のブロック（９０４）がフレームモードであるという事実を補正している。下付き添字ｉは、フィールド指標である。ファーストフィールドのフィールド指標は、１であり、セカンドフィールドのフィールド指標は、２である。したがって、図１２に示す具体例では、ファーストフィールドを符号化しているので、フィールド指標は、１である。ＴＲＤは、後方参照ピクチャ（９０１）のｉ番目のフィールドと前方参照フレーム（９０２）のｉ番目のフィールドとの間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。ＴＲＢ，ｉは、現在のＢピクチャ（９００）のｉ番目のフィールドと後方参照ピクチャ（９０１）内の同じ位置のブロック（９０４）の参照フレームのｉ番目のフィールドとの間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。現在のＢピクチャ（９００）のセカンドフィールド内のブロック（９０７）のための動きベクトルの算出にも同様の数式が用いられる。
【００６９】
第４の組合せにおけるダイレクトモードでの動きベクトルの計算について、図１３を用いて説明する。図１３に示すように、現在のＢピクチャ（９００）は、フィールドモードで符号化された後方参照ピクチャ（９０１）と前方参照ピクチャ（９０２）を参照ピクチャとして用いて、フレームモードで符号化される。図１３では、フレームを垂直の実線で示し、これらに対応するフィールドｆ１、ｆ２を垂直の破線で示している。本発明の実施例では、後方参照ピクチャ（９０１）は、フィールドモードで符号化されたＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであってもよい。同様に、前方参照ピクチャ（９０２）もまたＩピクチャ、Ｐピクチャ、Ｂピクチャの何れであってもよい。
【００７０】
図１３に示すように、フレームとして符号化する現在のＢピクチャ（９００）には、ブロック（９０３）が含まれている。このブロック（９０３）の動きベクトルは、後方参照ピクチャ（９０１）内の同じ位置のブロック（９０６）の前方動きベクトルＭＶ１から算出される。本発明の実施例では、エンコーダは、動き補償アルゴリズムを有する時間的予測において用いる現在のＢピクチャ（９００）内の現在のブロック（９０３）に対して、２つの動きベクトルを導出する。２つの動きベクトルは、以下の式（９）及び式（１０）によって算出される。
【００７１】
【数９】
2005510984.tif 000009
【００７２】
【数１０】
2005510984.tif 000010
【００７３】
式（９）及び式（１０）において、ＭＶ１は、後方参照ピクチャ（９０１）のファーストフィールド内の同じ位置のブロック（９０６）のフィールドベースの動きベクトルを垂直方向に２倍にすることによって算出される。ＴＲＢは、現在のＢピクチャ（９００）と、同じ位置のブロック（９０６）の前方動きベクトルによって指されるフィールドを有する前方参照ピクチャ（９０２）との間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。図１３では、この前方動きベクトルをＭＶ１として表している。ＴＲＤ，１は、後方参照ピクチャ（９０１）のファーストフィールドと、同じ位置のブロック（９０６）の前方動きベクトルＭＶ１によって指される前方参照ピクチャ（９０２）におけるフィールドとの間の時間的距離、時間的距離の近似値、時間的距離に比例した値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。
【００７４】
本発明の他の実施例では、Ｐピクチャに対するダイレクトモード符号化を拡張する。ピクチャレベルでのＡＦＦ符号化では、Ｐピクチャ及びその前方参照ピクチャは、フレームモードでもフィールドモードでも符号化することができる。したがって、フレーム及びフィールドモード符号化に関して、Ｐピクチャにおけるマクロブロックと、その前方参照ピクチャ内の同じ位置のマクロブロックとの対に対して、４つの異なる組合せが可能である。第１の組合せは、現在のマクロブロックとこのマクロブロックと同じ位置のマクロブロックがともにフレームモードである場合である。第２の組合せは、現在のマクロブロックとこのマクロブロックと同じ位置のマクロブロックがともにフィールドモードである場合である。第３の組合せは、現在のマクロブロックがフィールドモードであり、このマクロブロックと同じ位置のマクロブロックがフレームモードである場合である。第４の組合せは、現在のマクロブロックがフレームモードであり、このマクロブロックと同じ位置のマクロブロックがフィールドモードである場合である。Ｐピクチャ内のブロックは、１つの動きベクトル、すなわち前方動きベクトルだけを有する。符号化するマクロブロックの動きベクトルをダイレクトモードで計算する方法は、４つの組合せ毎に異なっている。Ｐピクチャ内のマクロブロックについてダイレクトモードで動きベクトルを計算する４つの方法を以下に詳細に説明する。
【００７５】
第１の組合せでは、現在のＰピクチャとその前方参照ピクチャがともにフレームモードで符号化される。現在のＰピクチャ内のブロックのための前方参照ピクチャは、前方参照ピクチャ内のこのブロックと同じ位置のブロックによって用いられたのと同じピクチャである。現在のブロックの前方動きベクトルであるＭＶＦは、このブロックと同じ位置のブロックの前方動きベクトルと同じである。
【００７６】
第２の組合せでは、Ｐピクチャとその前方参照ピクチャは、ともにフィールドモードで符号化される。現在のＰピクチャのフィールド内のブロックのダイレクトモード符号化における動きベクトルは、前方参照ピクチャの同じパリティを有するフィールド内の同じ位置のブロックの前方動きベクトルから算出される。現在のＰピクチャのｉ番目のフィールド内のブロックのための前方動きベクトルＭＶＦ，ｉは、前方参照ピクチャのｉ番目のフィールド内の同じ位置のブロックの前方動きベクトルと同じである。
【００７７】
第３の組合せでは、現在のＰピクチャは、フィールドモードであり、前方参照ピクチャは、フレームモードである。現在のＰピクチャのフィールドの１つにおけるブロックと同じ位置のブロックは、フレームモードで符号化されているので、現在のＰピクチャのフィールドの１つにおけるブロックの前方動きベクトルは、同じ位置のブロックの動きベクトルを垂直方向において２で除算することで算出される。
【００７８】
第４の組合せでは、現在のＰピクチャは、フレームモードであり、前方参照ピクチャは、フィールドモードである。前方参照ピクチャのファーストフィールド内の同じ位置のブロックは、フレームモードである現在のＰピクチャ内のブロックの前方動きベクトルを算出するために用いられる。フレームモードでの現在のＰピクチャ内のブロックの前方動きベクトルＭＶＦは、前方参照ピクチャのファーストフィールド内の同じ位置のブロックのフィールドベースの動きベクトルを垂直方向において２倍にすることによって算出される。
【００７９】
本発明の他の実施例として、マルチフレーム補間予測モード（multi-frame interpolative prediction mode：以下、ＭＦＩＰという。）がある。ＭＦＩＰは、包括的なフレーム補間予測のフレームワークである。上述したように、フレームモード又はフィールドモードで符号化するＢピクチャは、フレームモード又はフィールドモードで符号化された２つの参照ピクチャを有している。２つの参照ピクチャは、図１４に示すように、ともに前方ピクチャとすることができる。図１４は、２つの参照ピクチャを有する、符号化するＢピクチャ（１４０）を示している。参照ピクチャの一方は、前方参照ピクチャ（１４１）であり、他方は、前方参照ピクチャ（１４２）である。図１４に示すように、これらの参照ピクチャは、ともに時間的に前方にある。また、２つの参照ピクチャは、図１５に示すように、ともに時間的に後方にあってもよい。図１５において、Ｂピクチャ（１４０）は、時間的に後方にある後方参照ピクチャ（１４１）と後方参照ピクチャ（１４２）を有している。本発明の他の実施例を図１６に示す。図１６に示すように、Ｂピクチャ（１４０）は、時間的に前方にある前方参照ピクチャ（１４１）と、時間的に後方にある後方参照ピクチャ（１４２）とを有することができる。
【００８０】
ＭＦＩＰでは、予測信号は、動き補償信号を線形補間したものである。ＢピクチャのＭＦＩＰによる予測信号（ｐｒｅｄ）は、以下の式（１１）で算出される。
【００８１】
【数１１】
2005510984.tif 000011
【００８２】
式（１１）において、変数ｒｅｆ１及び変数ｒｅｆ２は、２つの参照ピクチャである。変数ｗ１及び変数ｗ２は、重み係数である。変数ｄは、デフォルトではゼロに設定されている。線形補間係数ｗ１、ｗ２、ｄは、各マクロブロック毎に明確に決定することができる。参照ピクチャｒｅｆ１、ｒｅｆ２がともに前方参照ピクチャ又はともに後方ピクチャであれば、参照ピクチャｒｅｆ１は、Ｂピクチャに時間的距離でより近い参照ピクチャである。両方向参照ピクチャの場合、参照ピクチャｒｅｆ１、ｒｅｆ２は、それぞれ前方参照ピクチャと後方参照ピクチャである。
【００８３】
ＭＦＩＰにおけるマクロブロックの両動きベクトルは、互いに関連して符号化される。参照ピクチャｒｅｆ２の動きベクトルＭＶ２は、以下の式（１２）を用いて、参照ピクチャｒｅｆ１の換算動きベクトルＭＶ１にオフセットＤＭＶを加えることによって生成される。
【００８４】
【数１２】
2005510984.tif 000012
【００８５】
式（１２）では、変数ＤＭＶは、デルタ動きベクトル（delta motion vector）であり、オフセットを表している。変数ＴＲ１、ＴＲ２は、現在のピクチャと、最も近い参照ピクチャｒｅｆ１及び最も遠い参照ピクチャｒｅｆ２のそれぞれとの間の時間的距離、時間的距離の近似値、時間的距離に比例した距離、又は時間的距離の近似値に比例した近似値である。
【００８６】
ピクチャレベルでのＡＦＦ符号化においては、Ｂピクチャは、１つのＢフレームピクチャ又は２つのＢフィールドピクチャとして符号化される。フィールド構造で符号化する現在のＢピクチャに関するフィールドモードでのＭＦＩＰを扱う規則について以下に示す。
【００８７】
式（１１）によって予測信号が生成されるが、ここでは、ｒｅｆ１及びｒｅｆ２は、ｒｅｆ＿ｉｄｘ＿ｆｗｄ及びｒｅｆ＿ｉｄｘ＿ｂｗｄという参照フィールド番号によって示されるフィールドである。フィールドｒｅｆ１、ｒｅｆ２は、それぞれトップフィールド又はボトムフィールドの何れであってもよい。重み係数の初期値ｗ１、ｗ２は、それぞれ（０．５，０．５，０）及び（２，−１，０）である。
【００８８】
式（１２）によってＭＶ２が生成される。２つの参照ピクチャは、フィールド構造であるので、ＴＲ１及びＴＲ２は、参照フィールドと現在のフィールド間の時間的距離に基づいて決定される。
【００８９】
ＭＦＩＰモードにおける参照フィールド番号ｒｅｆ＿ｉｄｘ＿ｆｗｄ、ｒｅｆ＿ｉｄｘ＿ｂｗｄを表すコード番号は、フィールドピクチャにおける周知及び通常の取り決めに従う。
【００９０】
ＡＦＦ符号化におけるピクチャ間の時間的距離は、時間的参照値（ＴＲ）である変数を用いることによって、又はピクチャ番号をカウントし、ピクチャ番号の差分を計算することによって算出することができる。本発明の実施例では、ピクチャレベルのＡＦＦ符号化について、ＴＲをフィールド毎に１ずつ増加し、定数（例えば、２５６）でリセットする。すなわち、ＴＲは、フィールド間隔（in field interval）である。ここで、フレームインデックス又はフレーム番号をｎとする。変数ｎは、フレーム毎に１ずつ増加する。フレームインデックスｎを有するフレームがフレームモードで符号化されると、このフレームのＴＲは、２ｎになる。また、フレームインデックスｎを有するフレームがフィールドモードで符号化されると、このフレームのファーストフィールドのＴＲは、２ｎになり、セカンドフィールドのＴＲは、２ｎ＋１になる。
【００９１】
上述の説明は、本発明の実施の形態の一例を例示的に示したものであって、発明を完全に包括し限定することを意図したものではない。上述した記載に基づいて、多くの変形及び変更が可能である。
【００９２】
上述の実施の形態は、本発明の原理及び幾つかの実際的な用途を例示的に示すために選択されたものである。上述の説明により、当業者は、様々な形態で本発明を利用することができ、個々の用途に応じて様々な変形例を想到することができる。本発明は、特許請求の範囲によって定義される。
【図面の簡単な説明】
【００９３】
【図１】ＭＰＥＧ−４ Ｐａｒｔ１０ ＡＶＣ／Ｈ．２６４規格を始めとする代表的なビデオ符号化規格に規定され、本発明を実施するのに用いられる代表的な３つのピクチャタイプのシーケンスを示す図である。
【図２】本発明に基づき、各ピクチャがマクロブロックを含むスライスに分割されることを示す図である。
【図３Ａ】本発明に基づき、マクロブロックを１６×８画素のブロックに分割できることを示す図である。
【図３Ｂ】本発明に基づき、マクロブロックを８×１６画素のブロックに分割できることを示す図である。
【図３Ｃ】本発明に基づき、マクロブロックを８×８画素のブロックに分割できることを示す図である。
【図３Ｄ】本発明に基づき、マクロブロックを１６×４画素のブロックに分割できることを示す図である。
【図３Ｅ】本発明に基づき、マクロブロックを４×８画素のブロックに分割できることを示す図である。
【図３Ｆ】本発明に基づき、マクロブロックを４×４画素のブロックに分割できることを示す図である。
【図４】本発明に基づく動き補償を有する時間的予測を用いたピクチャ構成の具体例を説明する図である。
【図５】本発明に基づく動きベクトルを有する時間的予測において複数の参照ピクチャを用いることの利点を説明する例示的なピクチャストリームを示す図である。
【図６】本発明に基づき、フレームモードで符号化する現在のピクチャからの距離に応じてフレームバッファ内における各参照ピクチャに固有の参照フレーム番号が割り当てられることを説明する図である。
【図７Ａ】本発明に基づき、現在のフィールドと同じフィールドパリティの参照フィールドに対し、対応するセカンドフィールドよりも小さい番号を与える参照フィールドの番号付けを説明する図である。
【図７Ｂ】現在のフィールドが、２つのフィールドとして符号化するピクチャのセカンドフィールドである場合の参照フィールドの番号付けを説明する図である。
【図８】本発明に基づき、フィールドバッファにおける相互参照フィールドの番号付けの他の例を示す図である。
【図９】現在のマクロブロックと、同じ位置のマクロブロックとがともにフレームモードにある場合において、動きベクトルをダイレクトモードで算出する方法を説明する図である。
【図１０】現在のマクロブロックと、同じ位置のマクロブロックとがともにフィールドモードにある場合において、動きベクトルをダイレクトモードで算出する方法を説明する図である。
【図１１】現在のマクロブロックと、同じ位置のマクロブロックとがともにフィールドモードにある場合において、動きベクトルをダイレクトモードで算出する他の方法を説明する図である。
【図１２】現在のマクロブロックがフィールドモードであり、同じ位置のマクロブロックがフレームモードである場合において、動きベクトルをダイレクトモードで算出する方法を説明する図である。
【図１３】現在のマクロブロックがフレームモードであり、同じ位置のマクロブロックがフィールドモードである場合において、動きベクトルをダイレクトモードで算出する方法を説明する図である。
【図１４】本発明の実施例において、時間的に前方にある２つの参照ピクチャを有するＢピクチャを示す図である。
【図１５】本発明の実施例において、時間的に後方にある２つの参照ピクチャを有するＢピクチャを示す図である。
【図１６】時間的に前方にある前方参照ピクチャと時間的に後方にある後方参照ピクチャとを有するＢピクチャを示す図である。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】図７Ａ
【補正方法】変更
【補正の内容】
【図７Ａ】
2005510984.tif 000013
【手続補正４】
【補正対象書類名】図面
【補正対象項目名】図７Ｂ
【補正方法】変更
【補正の内容】
【図７Ｂ】
2005510984.tif 000014
【手続補正５】
【補正対象書類名】図面
【補正対象項目名】図８
【補正方法】変更
【補正の内容】
【図８】
2005510984.tif 000015