(57)【特許請求の範囲】
【請求項１】
複数のフィールドで構成される画像フレーム信号に対しフィールド間の動き補償予測を行う動画像符号化方法において、
パリティが異なるフィールド間で動きベクトル予測を行う際に、輝度成分及び色差成分の両成分とも、参照元のフィールドの画素位置から、空間的に同位置の参照先フィールドの画素位置を指し示す動きベクトルをゼロベクトル基準とし、パリティが異なるフィールド間で動きベクトル予測により輝度成分の動きベクトルを生成し、
色差の動きベクトルの垂直成分は、輝度の動きベクトルの垂直成分を正確に一定倍率スケーリングしてゼロベクトルを基準として生成する手順を有することを特徴とする動画像符号化方法。
【請求項２】
動きベクトルの参照元のフィールドがＴｏｐフィールドであり、参照先のフィールドがＢｏｔｔｏｍフィールドの場合、
参照元のフィールドの画面の上からｎ番目のラインの画素が、参照先のフィールドの画面の上から（ｎ−１）番目とｎ番目のラインの中間の位置を指し示す動きベクトルを、ゼロベクトル基準とすることを特徴とする請求項１記載の動画像符号化方法。
【請求項３】
動きベクトルの参照元のフィールドがＢｏｔｔｏｍフィールドであり、参照先のフィールドがＴｏｐフィールドの場合、
参照元のフィールドの画面の上からｎ番目のラインの画素が、参照先のフィールドの画面の上からｎ番目と  （ｎ＋１）番目のラインの中間の位置を指し示す動きベクトルを、ゼロベクトル基準とすることを特徴とする請求項１記載の動画像符号化方法。
【請求項４】
複数のフィールドで構成される画像フレーム信号に対しフィールド間の動き補償予測を行う動画像復号化方法において、
パリティが異なるフィールド間で動きベクトル予測を行う際に、輝度成分及び色差成分の両成分とも、参照元のフィールドの画素位置から、空間的に同位置の参照先フィールドの画素位置を指し示す動きベクトルをゼロベクトル基準とし、パリティが異なるフィールド間で動きベクトル予測により輝度成分の動きベクトルを生成し、
色差の動きベクトルの垂直成分は、輝度の動きベクトルの垂直成分を正確に一定倍率スケーリングしてゼロベクトルを基準として生成する手順を有することを特徴とする動画像復号化方法。
【請求項５】
動きベクトルの参照元のフィールドがＴｏｐフィールドであり、参照先のフィールドがＢｏｔｔｏｍフィールドの場合、
参照元のフィールドの画面の上からｎ番目のラインの画素が、参照先のフィールドの画面の上から（ｎ−１）番目とｎ番目のラインの中間の位置を指し示す動きベクトルを、ゼロベクトル基準とすることを特徴とする請求項４記載の動画像復号化方法。
【請求項６】
動きベクトルの参照元のフィールドがＢｏｔｔｏｍフィールドであり、参照先のフィールドがＴｏｐフィールドの場合、
参照元のフィールドの画面の上からｎ番目のラインの画素が、参照先のフィールドの画面の上からｎ番目と  （ｎ＋１）番目のラインの中間の位置を指し示す動きベクトルを、ゼロベクトル基準とすることを特徴とする請求項４記載の動画像復号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、フィールド間予測モードを有する動画像符号化方法及び動画像装復号化方法に係わる。
【０００２】
【従来の技術】
動画像データは、一般に、データ量が大きいので、送信装置から受信装置へ伝送される際、あるいは記憶装置に格納される際などには、高能率符号化が行われる。ここで、「高能率符号化」とは、あるデータ列を他のデータ列に変換する符号化処理であって、そのデータ量を圧縮する処理をいう。
【０００３】
動画像データは、主にフレームのみから構成されるものと、フィールドから構成されるものがある。以下、主に、フィールド画像を圧縮する方式の従来技術について説明する。
【０００４】
動画像データの高能率符号化方法としては、フレーム／フィールド間予測符号化方法が知られている。図１は、このフレーム／フィールド間予測符号化のブロック図を示す。この符号化方法では、動画像データが時間方向に相関性が高いことを利用する。図２の動作を簡単に説明すると、入力された原画像と予測画像との差分画像を減算機３９にて生成し、その差分画像を直交変換手段３１，量子化手段３２及び係数エントロピー符号化手段４０にて符号化する。また、量子化手段３２の出力を逆量子化手段３３及び逆直交変換手段３４により差分画像を復元し、復号画像生成手段３５にて復元した差分画像と符号化時に用いた予測画像とから符号化画像を復元する。その復元された画像は、復号画像記憶手段３６に記憶され、動きベクトル計算手段３７にて、次の入力画像との間の動きベクトルを計算し、その動きベクトルにより予測画像生成手段３８にて予測画像を生成する。生成された動きベクトルはベクトルエントロピー符号化手段４１にて符号化され、係数エントロピー符号化手段４０で符号化された係数符号化データとともにＭＵＸ４２を介して出力される。すなわち、動画像データは、一般に、あるタイミングのフレーム／フィールドデータと次のタイミングのフレーム／フィールドデータとの類似度が高いことが多いので、フレーム／フィールド間予測符号化方法では、その性質を使用する。例えば、フレーム／フィールド間予測符号化方法を用いたデータ伝送システムでは、送信装置において、前フレーム／フィールドの画像から対象フレーム／フィールドの画像への「動き」を表す動きベクトルデータ、及びその前フレーム／フィールドの画像からその動きベクトルデータを用いて作成した対象フレーム／フィールドの予測画像と対象フレーム／フィールドの実際の画像との差分データを生成し、それら動きベクトルデータおよび差分データを受信装置に送出する。一方、受信装置は、受信した動きベクトルデータおよび差分データから対象フレーム／フィールドの画像を再生する。
【０００５】
図１のこのフレーム／フィールド間予測符号化は、フレーム／フィールド間予測符号化の概略を説明したが、以下に、更にフレーム予測符号化、及びフィールド予測符号化について説明する。
【０００６】
図２、及び図３は、前述のISO/IEC MPEG-2／MPEG-4(以下MPEG-2、MPEG-4)、及び2002年7月現在において、ITU-TとISO/IECで共同で標準化中のITU-T H.264／ISO/IEC MPEG-4 Part 10(Advanced Video Coding：AVC)のCommittee Draft(以下AVC CDと省略)共通に用いられている、フィールド画像を符号化する際のフォーマットの説明である。すなわち、各フレームは2枚のフィールド、すなわちTop フィールドとBottomフィールドから構成される。図２は、輝度、色差の各画素の位置と、それらが属するフィールドを説明する図である。この図２で示したとおり、輝度第１ライン(50a)，輝度第３ライン(50b)，輝度第５ライン(50c)，輝度第７ライン(50d)・・・という、奇数番目のラインはTopフィールドに属し、輝度第２ライン(51a)，輝度第４ライン(51b)，輝度第６ライン(51c)，輝度第８ライン(51d)・・・という偶数番目のラインはBottomフィールドに属する。色差成分も同様に、色差第１ライン(52a)，色差第３ライン(52b)・・・といった奇数番目のラインはTopフィールドに属し、色差第２ライン(53a)，色差第４ライン(53b)・・・といった偶数番目のラインはBottomフィールドに属する。
【０００７】
このTopフィールドとBottomフィールドは、異なる時刻の画像をあらわす。次に、TopフィールドとBottomフィールドの時空間的な配置について、図３を用いて説明する。
【０００８】
なお、この図３以降、本発明に関わる技術は、動きベクトルの垂直成分に関わるものであるので、水平成分の画素は図示せず、かつ、動きベクトルの水平成分は、全て、便宜上、０として説明する。また、従来の問題点、及び本発明の効果を示すため、各フィールドの輝度、色差の画素の位置の位置関係は、正しく図示している。
【０００９】
この図３において縦軸は、各フィールドの垂直成分の画素位置を表し、横軸は時間の経過を表す。なお、各画像の画素の水平成分においては、フィールドによる位置の変位はないため、この図では水平方向の画素の図示及び説明は省略している。
【００１０】
この図３で示したとおり、色差成分のピクセル位置は、輝度のフィールド内の画素位置に対して、垂直成分が１／４画素ずれている。なお、これは、Top及びBottomの両フィールドからフレームを構成した場合、図２のような画素位置の関係を満たすためである。各Top及びBottomの隣接する両フィールド間(64a:65a、65a:64b・・)については、NTSCフォーマットをベースにした場合では、約1/60秒である。そして、TopフィールドからTopフィールド(64a:64b・・)又はBottomフィールドからBottomフィールド(65a:65b・・)の時間は約1/30秒の間隔である。
【００１１】
以下、MPEG-2やAVC CDで採用されている、フィールド画像のフレーム予測符号化モードとフィールド予測について、説明する。図４は、フレーム予測モード時に、2枚の連続するフィールド（隣接するTop及びBottomのフィールド）からフレームを構成する方法を説明したものである。この図の様に、フレームは、時間的に連続する2枚のフィールド（Top及びBottomのフィールド）から再構成されたものである。
【００１２】
図５はフレーム予測モードを説明したものである。この図では、各フレーム84a、84b、84c・・は、図４で説明したとおり、2枚の連続するフィールド（Top及びBottomのフィールド）から、既に再構成されたものとする。このフレーム予測モードでは、Top及びBottomの両フィールドから構成された符号化対象フレームを対象に符号化が行なわれる。そして、参照画像としても、連続する参照用に蓄積された2枚のフィールド（Top及びBottomのフィールド）から一枚の参照フレームを構成し、前符号化対象フレームの予測に用いる。そして、この2枚のフレーム画像を、図１に図示したブロック図に従って符号化する。このフレーム予測符号化モードの場合、動きベクトルの表現方法については、ゼロベクトル、即ち (0,0)は、空間的に同位置の画素を指し示す。具体的にはFrame #2(84b)に属する輝度の画素82に対して、動きベクトル（0,0）を指し示す動きベクトルは、Frame#1(84a)の画素位置81を指し示すものである。
【００１３】
次にフィールド予測符号化モードについて説明する。図６はフィールド間予測モード時の予測方法を説明する図である。フィールド予測モードでは、符号化対象は、原画として入力された一枚のTop フィールド(94a、94b・・)乃至はBottomフィールド(95a、95b・・)である。そして、参照画像としては、過去に蓄積されたTopフィールドあるいはBottomフィールドが使用可能である。ここで、原画フィールドと参照フィールドがパリティが同じ、とは、原画像のフィールドと参照フィールドが、両方ともTopフィールド、あるいは両方ともBottomフィールドであること、と一般に定義される。例えば、図中90の同パリティのフィールド予測は、原画(94b)、参照(94a)の両フィールドともTopフィールドである。同様に、原画フィールドと参照フィールドがパリティが異なる、とは、原画像のフィールドと参照フィールドの、一方がTopフィールド、もう片方がBottomフィールドであること、と一般に定義される。例えば、図中91に図示した異パリティのフィールド予測は、原画はBottom フィールド(95a)、参照はTopフィールド(94a)である。そして、この原画フィールド画像と参照フィールド画像を図１に図示したブロック図に従って符号化する。
【００１４】
なお、従来の技術では、フレームモード、及びフィールドモード、とも、各フレーム／フィールド内の画素の位置を元に、動きベクトルが求められている。従来方式における、動きベクトル算出方法、および、動きベクトルが与えられたときの、画素の対応付け方法について説明する。
【００１５】
図７は、MPEG-2, MPEG-1,AVC CDなどの符号化で広く用いられている、フレーム／フィールド画像の座標を定義した図である。図中、白丸は、対象とするフレーム／フィールドで、画素の定義位置(271)である。ここで、このフレーム／フィールド画像内の座標については、画面内の左上を原点(0,0)とし、水平、垂直方向に、画素の定義位置が、順番に１，２，３・・・という値が割り振られる。すなわち、水平方向ｎ番目、垂直方向ｍ番目の画素の座標は(n,m)となる。これに準じて、画素と画素の間を補間した位置の座標も同様に定義される。すなわち、図中の●の位置270に関しては、左上の画素から水平方向に1,5画素、垂直方向に2画素分のところにあるので、位置270の座標は(1.5, 2.0)と表される。なお、フィールド画像に置いては、垂直方向はフレーム画像の半分の画素しかないが、この場合でも、各フィールドに存在する画素の位置を基準に、図７と同様に取り扱う。
【００１６】
この図７の座標系を用いて、フィールド間の動きベクトルの定義を説明する。図８は、従来のフィールド間の対応する画素間の動きベクトルの算出方法を説明する図である。動きベクトルを定義するには、参照元の位置と参照先の位置が必要である。そして、この２点の間で動きベクトルが定義されることとなる。ここで、参照元のフィールド内の座標201が(Xs,Ys)の点 と参照先のフィールド内の座標202が(Xd,Yd)の点の間の動きベクトルを求める。従来のフィールド間に対応する画素間の動きベクトルの算出方法においては、参照元、および参照先が、Topフィールド、あるいはBottomフィールドに関わらず、以下に説明する、同一の方法で動きベクトルが求められていた。すなわち、参照元フィールド座標201(Xs,Ys)と、参照先フィールド座標202(Xd,Yd)が動きベクトル算出手段200に入力され、この二点間の動きベクトル203として、(Xd-Xs, Yd-Ys)が与えられるというものである。
【００１７】
また、図９は、従来技術において、フィールド間で定義された動きベクトルが指し示す画素の算出方法を説明する図である。ここで、動きベクトルは、前述の図８の方法で導出したものとする。参照先の座標を求めるために、参照元の位置と動きベクトルが必要である。この図の場合には、参照元のフィールド内の座標212が(Xs,Ys)の点に対し、動きベクトル211の(X,Y)が与えられ、この両者を用いて求められる参照先フィールド内の座標を求めることを想定している。従来のフィールド間に対応する画素間の動きベクトルの算出方法においては、参照元、および参照先が、Topフィールド、あるいはBottomフィールドに関わらず、以下に説明する、同一の方法で参照先フィールドの位置が求められていた。すなわち、動きベクトル211(X、Y)と参照元フィールド座標212(Xs,Ys)が画素対応付け手段210に入力され、参照先フィールド座標213として、 座標(Xs＋X, Ys＋Y)が与えられるというものである。
【００１８】
【発明が解決しようとする課題】
このフィールド符号化モードの場合、原画フィールドと参照フィールドが異なる、すなわちパリティの異なるフィールド間の予測においては、ゼロベクトルは空間的に同じ位置を指さない。このことを図１０を用いて説明する。図中、時間と共に、Topフィールド130、Bottomフィールド131、Top フィールド132が時間的に連続していると仮定する。ここで、Bottom フィールド131を、Top フィールド130を用いて符号化しようとしている。この際、フィールド間符号化では、各フィールドの同一ライン間の動きベクトルを垂直方向のゼロと定義している。このため、Bottomフィールド131に属する輝度の画素133aに対して、ゼロベクトル(0,0)が割当てられた場合、この画素は、Topフィールド130の画素135aから予測される。同様に、Bottomフィールド131に属する色差の画素134aに対して、ゼロベクトル(0,0)が割当てられた場合、この画素は、Topフィールド130の画素137aから予測される。また同様に、Topフィールド132に属する輝度画素133b及び色差画素134bはそれぞれ、Bottomフィールド131上の画素135b及び137bから予測される。なお、本来、色差と輝度は、動きベクトルが同一であるほうが好ましいので、輝度の動きベクトルを、現在のままとすれば、本来の色差134a、134bの画素は、それぞれ136a、136bの位置から予測するべきものである。
【００１９】
前述のとおり、異なるパリティを持つフィールド間の予測では、
・ゼロベクトルが、空間的に同一の位置を示さない。
・輝度と色差の動きベクトルが平行でない。
という点を説明した。この2種類の点が、異なるパリティを持つフィールド間の予測において、以下のような問題を引き起こす。
【００２０】
まず、第一の問題は、異なるフィールド間て定義された動きベクトルから符号化対象のフィールドの動きベクトルを内挿や外挿などで求める場合、予測する対象の画素の空間位置がズレる事によりミスマッチが起こるということが挙げられる。
この例を前述のAVC CDでは、B-Picture用にDirect Modeとして定義された予測モードを例として説明する。
【００２１】
まず、Direct Modeの説明を図１１を参照しながら説明するB-Pictureとは、主に、時間的に前後の参照フレーム2枚、即ち前方参照フレームＦと後方参照フレームＢから予測画像を生成して、画像を符号化する方法である。Direct Modeは、主にB-Pictureで用いられ、物体の動きは時間的になめらかと仮定して、動きベクトルを内挿した動きベクトルをBピクチャ内のマクロブロック／ブロックの動きベクトルとすることで、双方向予測のマクロブロックの動きベクトルの符号化を不要にし、大幅な符号化効率の改善を実現するものである。このB-Pictureにおいて、Direct Modeは、以下のように用いられる。図１１において、符号化対象マクロブロック(103)と空間的に同じ位置の、後方参照フレーム内の後方予測マクロブロック(104)が、前方参照フレーム(100)に属する画素を指す後方予測マクロブロックの動きベクトルMV1(105)を有するとする。また、便宜上、前方参照フレームＦ(100)、符号化対象フレーム(101)、及び後方参照フレームＢ(102)のそれぞれの時間間隔は等しいとする。この際、Direct Modeでは、符号化対象マクロブロック103から前方参照フレームＦ100を予測するための動きベクトルMVF(106)と、符号化対象マクロブロック103から後方参照フレームＢ102を予測するための動きベクトルMVB(107)を、以下のように内挿して求める。
【００２２】
MVF =  1/2・MV1
MVB = -1/2・MV1                                (式1)
そして、このMVF106、MVB107を予測用に用いることにより、符号化対象マクロブロック103を符号化するために動きベクトルを符号化する必要がなく、大幅な符号化効率向上が実現できる。
【００２３】
しかし、このDirect Modeをフィールド間に適用した場合、従来の技術では問題が生じる。この問題を図示したのが図１２である。
【００２４】
この例では、前方参照Topフィールド110、及び同様に請求項６は請求項１２後方参照Topフィールド112から、符号化対象Bottomフィールド111を符号化する例を図示している。この際、後方参照Topフィールドに属するマクロブロックは、後方予測の動きベクトル115として(0,1)を有しているとする。この際、例えば後方参照Topフィールド112に属する画素114を用いてBottomフィールドの画素113を予測するのだが、すでに符号化されたTopフィールド112の画素114を予測するのに、前方参照Topフィールド110の画素120が用いられていたことを示す。
この場合、符号化対象Bottomフィールド111に属する画素113を予測するための動きベクトルを前述のDirect Modeで求める場合を想定する。この場合、式1によれば、前方予測ベクトル 116(MVF)、および後方予測ベクトル117(MVB)は、以下のとおりとなる。
【００２５】
MVF = (0, 1/2)
MVB = (0, -1/2)                                (式２)
である。しかしながら、このMVF(116)、MVB(117)は、図示の通り、予測の元となった、後方予測マクロブロックの動きベクトルMV1(115)とは異なる向きを向いていることが分かる。
【００２６】
ここで、もし、物体の動きが一様だと仮定すれば、画素113を予測するのに好ましい動きベクトルは後方予測ブロックの動きベクトル115と平行であることが好ましい。すなわち、好ましい前方予測ベクトル118は、動きベクトル値(0,1)となり、好ましい後方予測ベクトル119は動きベクトル値(0,0)となる。すなわち、好ましい動きベクトルと、Direct Modeで求まる動きベクトルとが異なり、これがDirect Modeが選ばれた場合の画質劣化をもたらすなどの問題を引き起こす。
【００２７】
第二の問題は、パリティが異なるフィールド間での色差の動きベクトルに関する。図１３は、この問題を図示したものである。第一の問題と同様に前述のAVC CDに従って、問題を示す。
【００２８】
AVC CDでは、色差成分は、縦の画素数、横の画素数とも輝度成分の画素数の半分のため、色差成分の予測画素を求めるための動きベクトルは、輝度成分の動きベクトルを二分の一にスケーリングしたもの、と定められている。すなわち、輝度の動きベクトルをMV#Y、色差の動きベクトルをMV#Cとした場合、
MV#C = 1/2・MV#Y                 (式3)
と定義される。 これは、動きベクトルがフレーム間、同一パリティのフィールド間、異なるパリティのフィールド間で予測を行なっているかどうかに関わらない。
いま、この定義が、異なるパリティのフィールド間で定義された輝度の動きベクトルから、色差の動きベクトルを求める際に問題となることを示す。図１３において、Topフィールドの輝度の画素140は、予測ベクトルとして(0,2)を有し、その結果、Bottom Fieldの輝度画素141を指し示す。
【００２９】
この場合、同一ブロックに属する色差画素の動きベクトルは、式3に従って、動きベクトル(0,1)と求められる。そして、色差の画素142の予測値として、動きベクトル(0,1)を用いて予測した場合、予測値として、Bottomフィールドの色差の画素143を用いることとなる。
この場合、輝度の動きベクトル(0,2)と色差の動きベクトル（0,1）は平行でない。好ましくは、輝度のベクトルと平行になり、Bottomフィールドの色差の画素145を用いることが必要となる。このことから、従来の予測方法では輝度と色差でずれた位置の画素を参照することとなり、予測画像で、輝度と色差でずれた予測画像となってしまう。この問題は、MPEG-2では、特に低レートの際に問題となることが知られている。
【００３０】
【問題点を解決するための手段】
本発明は、上記の問題を解決するものである。
【００３１】
本発明においては、複数のフィールドで構成される画像フレーム信号に対しフィールド間の動き補償予測を行う動画像符号化方法及び動画像復号化方法において、パリティが異なるフィールド間で動きベクトル予測を行う際に、輝度成分及び色差成分の両成分とも、参照元のフィールドの画素位置から、空間的に同位置の参照先フィールドの画素位置を指し示す動きベクトルをゼロベクトル基準としてパリティが異なるフィールド間で動きベクトル予測により輝度成分の動きベクトルを生成し、色差の動きベクトルの垂直成分は、輝度の動きベクトルの垂直成分を正確に一定倍率スケーリングしてゼロベクトルを基準として生成することにより、パリティの異なるフィールド画像間の画素位置の空間的な位置ズレを考慮して動きベクトルを生成する事ができ、また本発明によれば、色差の動きベクトルの垂直成分は、空間的に同一位置の輝度成分の動きベクトルの垂直成分を一定倍率、即ち、ＭＰＥＧ−２やＡＶＣの場合には、単純に１／２倍したものを用いても、従来のように輝度と色差のミスマッチを発生しない。（請求項１）。
【００３３】
また、本発明の別の形態では、該動きベクトルの参照元のフィールドがＴｏｐフィールドであり、該動きベクトルの参照先のフィールドがＢｏｔｔｏｍフィールドであった場合、
参照元のフィールドの画面の上からｎ番目のラインの画素が、参照先のフィールドの画面の上から（ｎ−１）番目とｎ番目のラインの中間の位置を指し示す動きベクトルを、垂直成分のゼロ基準とすること、また、逆に、該動きベクトルの参照元のフィールドがＢｏｔｔｏｍフィールドであり、該動きベクトルの参照先のフィールドがＴｏｐフィールドであった場合、参照元のフィールドの画面の上からｎ番目のラインの画素が、参照先のフィールドの画面の上からｎ番目と（ｎ＋１）番目のラインの中間の位置を指し示す動きベクトルを、垂直成分のゼロ基準とすることにより、上記と同様に、パリティの異なるフィールド画像間の画素位置の空間的な位置ズレを考慮して動きベクトルを生成する事ができる。
（請求項２，３）また、符号化方法の請求項１は復号方法の請求項４に、同様に請求項２は請求項５に、請求項３は請求項６に対応し、基本的に同様な機能，作用をする。
【００３４】
【発明の実施の形態】
本実施形態では、主に符号化装置について、請求項１から６までを適用した例を用いて説明する。なお、本発明は、動きベクトルの垂直成分に関わるものであるので、動きベクトルの水平成分は、全て、便宜上、０とする。
【００３５】
以下、AVC CDに本発明を適用した場合を想定して実施例を説明する。
【００３６】
まず図１４に、本発明の実施例における、輝度及び色差成分のゼロベクトルの定義を示す。なお、この図においては、図３とは異なり、各画素ラインの番号は、各フィールド毎に定義している。まず、150aは、Bottomフィールドの輝度の第2ライン上の画素、151aは、本発明による、ゼロベクトルの基準となるTopフィールド上の位置を示す。この151aの位置は、Topフィールドにおいて、Topフィールドの輝度の第2ラインと第3ラインのちょうど中間に位置する。同様に、Bottomフィールドの色差152aは、Bottomフィールドの色差の第一ライン上に存在し、そのゼロベクトルの基準となる位置、即ちTopフィールドの153aは、Topフィールドの色差の第１ラインと第２ラインのちょうど中間に位置する。以下、同様に、輝度、色差とも、参照元のBottomフィールドの画面の上からｎ番目のラインの画素が、参照先のTopフィールドの画面の上からn番目と (n+1)番目のラインの中間の位置を指し示す動きベクトルを、垂直成分のゼロ基準と定義する。
【００３７】
また、150bは、Topフィールドの輝度の第３ライン上の画素、151bは、本発明による、ゼロベクトルの基準となるBottomフィールド上の位置を示す。この151bの位置は、Bottomフィールドにおいて、Bottmフィールドの輝度の第2ラインと第3ラインのちょうど中間に位置する。同様に、Topフィールドの色差152bは、Topフィールドの色差の第２ライン上に存在し、そのゼロベクトルの基準となる位置、即ちBottomフィールドの153bは、Bottomフィールドの色差の第１ラインと第２ラインのちょうど中間に位置する。以下、同様に、輝度、色差とも、参照元のTopフィールドの画面の上からｎ番目のラインの画素が、参照先のBottomフィールドの画面の上から(n-1)番目と n番目のラインの中間の位置を指し示す動きベクトルを、垂直成分のゼロ基準と定義する。ここで、パリティの異なるフィールド間で定義されたゼロ基準の位置に相当する画素としては、本来存在する画素の間を指し示す為、ゼロ基準の位置の画素については周囲の画素からの補間によりゼロ基準の位置の画素を生成する。
【００３８】
例として、図２２に補間画素の算出方法を説明する。図中、黒丸は整数画素を、点線白丸は補間画素を示している。補間画素G(286)を算出する場合、その周囲の整数画素A(280)、B(281)、C(282)、D(283)を平均して求められる。すなわち、
G=(A+B+C+D)/4
である。
また、補間画素H(287)を算出する場合、左右の整数画素C(282)、E(284)を平均して求められる。
すなわち、
H=(C+E)/2
である。
図２２を用いた補間方法については、補間画素を求めるための一例であり、他の算出方法を用いても問題はない。
【００３９】
以下に、これまでに説明した、本発明で定義するゼロベクトル基準を用いた場合の、パリティが異なるフィールド間の動きベクトルの算出方法、及び、動きベクトルが与えられた場合の画素の対応付け方法の実施例について説明する。
【００４０】
図１５は、本発明における、参照元がBottomフィールドで参照先がTopフィールドの場合の、動きベクトルの算出方法を説明する図である。従来技術同様、動きベクトルを定義するには、参照元の位置と参照先の位置が必要である。そして、この2点の間で動きベクトルが定義されることとなる。ここで、参照元のBottomフィールド内の座標(Xs,Ys)221の点と、参照先のTopフィールド内の座標(Xd,Yd)222の点の間の動きベクトルを求める。本発明においては、従来技術と異なり、参照元Bottomフィールド座標(Xs,Ys)221と、参照先Topフィールド座標(Xd,Yd)222が動きベクトル算出手段220に入力され、この2点間の動きベクトル223として、
(Xd-Xs, Yd-Ys + 1/2)
が与えられる。
【００４１】
図１６は、本発明における、参照元がTopフィールドで参照先がBottomフィールドの場合の、動きベクトルの算出方法を説明する図である。従来技術同様、動きベクトルを定義するには、参照元の位置と参照先の位置が必要である。そして、この2点の間で動きベクトルが定義されることとなる。ここで、参照元のTopフィールド内の座標(Xs,Ys)241の点と、参照先のBottomフィールド内の座標(Xd,Yd)242の点の間の動きベクトルを求める。本発明においては、従来技術と異なり、参照元Topフィールド座標(Xs,Ys)241と、参照先Bottomフィールド座標(Xd,Yd)242が動きベクトル算出手段240に入力され、この2点間の動きベクトル243として、
(Xd-Xs, Yd-Ys - 1/2)
が与えられる。
【００４２】
また、図１７は、本発明における、参照元がBottomフィールド、参照先がTopフィールドの場合の、動きベクトルが指し示す画素の算出方法を説明する図である。ここで、動きベクトルは、前述の図１５で説明した方法で導出したものとする。参照先の座標を求めるために、参照元の位置と動きベクトルが必要である。この図の場合には、参照元のBottomフィールド内の座標(Xs,Ys)232の点に対し、本発明で定義される動きベクトル(X,Y)231が与えられ、この両者を用いて求められる参照先Topフィールド内の座標を求めることを想定している。本発明では、従来技術と異なり、動きベクトル(X、Y)231と参照元Bottomフィールド座標(Xs,Ys)232が画素対応付け手段230に入力され、参照先Topフィールド座標233として、
座標
(Xs+X, Ys+Y-1/2)
が与えられる。
【００４３】
また、図１８は、本発明における、参照元がTopフィールド、参照先がBottomフィールドの場合の、動きベクトルが指し示す画素の算出方法を説明する図である。ここで、動きベクトルは、前述の図１６で説明した方法で導出したものとする。参照先の座標を求めるために、参照元の位置と動きベクトルが必要である。この図の場合には、参照元のTopフィールド内の座標(Xs,Ys)252の点に対し、本発明で定義される動きベクトル(X,Y)251が与えられ、この両者を用いて求められる参照先Bottomフィールド内の座標を求めることを想定している。本発明では、従来技術と異なり、動きベクトル(X、Y)251と参照元Topフィールド座標(Xs,Ys)252が画素対応付け手段250に入力され、参照先Bottomフィールド座標253として、
座標
(Xs+X, Ys+Y＋1/2)
が与えられる。
【００４４】
図１９は、本発明における、輝度動きベクトルから色差動きベクトルの算出方法を説明する図である。本発明では、特に、輝度動きベクトルとして、本発明により導出された、異なるパリティのフィールド間の輝度動きベクトルであり、また、出力される色差動きベクトルも、輝度とそれぞれ同一のフィールド、すなわち異なるパリティを持つ色差フィールドの動きベクトルであることを対象としている。そして、色差の動きベクトルも、本発明で定義されたものを用いる。すなわち、輝度動きベクトル261及び色差動きベクトル262ともに、図１５−図１６で説明したものである。本発明においては、色差動きベクトルは以下のように求められる。まず、輝度動きベクトル(X,Y)261が、色差動きベクトル生成手段260に入力される。ここで、本実施例の対称となる、AVC CDやMPEG-2では、輝度成分に比べて、水平、垂直とも画素数が半分である。このため、色差の画素の動きベクトルを輝度の画素から求める場合、スケーリングは１／２となる。このことから、本実施例では、色差動きベクトル262として、輝度動きベクトルを１／２倍にした、
(X/2, Y/2)
が与えられる。本発明では、一見、従来技術と同様に、単純に輝度の動きベクトルをスケーリングしているように見えるが、本発明で定義した動きベクトルを輝度、及び色差に用いることにより、従来技術の課題で説明した、輝度と色差の動きベクトルが指す位置が異なることによる色ずれ等の現象が発生しない。このことを以下に説明する。
【００４５】
図２０は、本実施例を用いた場合の、前方参照Bottomフィールドの画素と符号化対象Topフィールドの画素による動きベクトルの生成を示す。この図で符号化対象Topフィールドにある輝度の画素180が、前方参照Bottomフィールドの１番目と２番目の画素の中間である181の位置を差している。この場合、従来であれば、動きベクトルが前方参照Bottomフィールドの1番目と2番目の間、即ち1.5画素位置を指し示してたため、この動きベクトルは(０、1.5)と表される。しかし、本実施例では、輝度の画素180と同一の前方参照Bottomフィールドの位置184をゼロベクトルの基準とするため、181を指し示す動きベクトルは(0,2)と表される。
【００４６】
ここで、本発明に従って、この動きベクトル（０，２）を用いて、輝度画素１８０の近傍にある、符号化対象Ｔｏｐフィールドの色差成分１８２の動きベクトルを求めることを想定する。
即ち、本発明では、 図２０に示されたゼロベクトルの基準を用いて定められた輝度の動きベクトルを、単純にスケーリングして、色差成分の動きベクトルを求め、これが従来方式で問題となっていた、輝度と色差の動きベクトルのずれを生じないことを示す。
図１９で説明したとおり、本実施例の対象となる、ＡＶＣ  ＣＤやＭＰＥＧ−２では、輝度成分に比べて、水平、垂直とも画素数が半分である。
このため、色差の画素１８５の動きベクトルを輝度の画素１８０から求める場合、単純に画素１８０の動きベクトルを、図１９で説明した色差動きベクトル生成手段２６０に従って１／２倍する。
この場合、画素１８０の動きベクトルは（０，２）のため、これを１／２倍すると、動きベクトルは（０，１）となる。
ここで、この動きベクトル（０，１）を用いて色差の画素１８２の予測値となる色差の位置を前方参照Ｂｏｔｔｏｍフィールド上に求めた位置が１８３である。
この位置１８３は、前方参照Ｂｏｔｔｏｍフィールド上のゼロベクトル基準１８５から、垂直方向にちょうど色差の１画素分、下にずれた場所にある。
図２０は、画素位置のスケールについては、実際の輝度、色差の画素位置に即して、正しく描かれている。
この図から分かるとおり、輝度の画素１８０が有する動きベクトルを単純に１／２倍し、色差１８２に適用した動きベクトルと、元の輝度の画素１８０が有する動きベクトルは平行である。
このことより、輝度１８０と色差１８２は、前方参照Ｂｏｔｔｏｍフィールドのほぼ同じ位置から予測することが可能となり、従来のような、輝度成分と色差成分の動きベクトルの不整合による画質劣化は発生しない。
なお、本実施例では、動きベクトル（０，２）に限定して説明したが、その他の動きベクトルでも、同様に不整合は発生しない。
さらに、
本実施例では、参照元がＴｏｐフィールド、参照先がＢｏｔｔｏｍフィールドで限定して説明したが、本発明によると、参照元がＢｏｔｔｏｍフィールド、参照先がＴｏｐフィールドの場合でも、同様に、輝度と色差の動きベクトルの不整合は回避できる。
【００４７】
次に、従来方式で問題となった、B-PictureのDirect Modeに、本発明を適用した場合の実施例を図２１に示す。 この例では、前方参照Topフィールド170、及び後方参照Topフィールド172から、符号化対象Bottomフィールド171を符号化する例を図示している。この際、後方参照Topフィールドに属するマクロブロックは、後方予測の動きベクトル175として(0,1)を有しているとする。この際、例えば後方参照Topフィールド172に属する画素174を予測するのに、前方参照Topフィールド170の画素178が予測に用いられていることを示す。
この場合、符号化対象Bottomフィールド171に属する画素173を予測するための動きベクトルを前述のDirect Modeで求める場合を想定する。この場合、式1によれば、前方予測ベクトル 176(MVF)、および後方予測ベクトル177(MVB)は、以下のとおりとなる。
【００４８】
MVF = (0,  1/2)
MVB = (0, -1/2)                                (式２)
である。そして、このMVF,MVBを画素(173)に適用した場合、従来例とは異なり、MVF(176)、MVB(177)は、図示の通り、予測の元となった後方マクロブロック動きベクトル175と平行となっていることが分かる。
ここで、もし、物体の動きが一様だと仮定すれば、画素173を予測するのに好ましい動きベクトルは後方予測ブロックの動きベクトル(175)と平行であることが好ましい。すなわち、本実施例の場合は、本発明を用いることにより、異なるパリティのフィールド間においても、画素(173)の好ましい前方予測ベクトル及び後方予測ベクトルが求められることが分かる。この結果、従来方式で問題となった、Direct Modeが選ばれた場合の画質劣化等の問題を軽減することができる。
【００４９】
【００５０】
【発明の効果】
本発明によれば、パリティが異なるフィールド間においても、動きベクトルを正しく求める事が可能となり、従来方式で問題であった符号化効率の劣化や色成分のずれといった課題を、すべて解決することができる。
【図面の簡単な説明】
【図１】フレーム間予測符号可装置のブロック図
【図２】輝度、色差の各画素の位置と、それらが属するフィールドを説明する図
【図３】フィールド画像における輝度、色差の各画素の垂直方向の字空間位置を説明する図
【図４】フレーム符号化モード時にフィールドとフレームの関係を説明する図
【図５】フレーム間予測符号化モード時の予測方法を説明する図
【図６】フィールド間予測モード時の予測方法を説明する図
【図７】フィールド画像の座標を説明する図
【図８】従来方式のフィールド間の対応する画素間の動きベクトルの算出方法を説明する図
【図９】従来方式の動きベクトルが指し示す画素の算出方法を説明する図
【図１０】従来技術におけるパリティが異なるフィールド間のゼロベクトルを説明する図
【図１１】Direct Modeの原理を説明する図
【図１２】Direct Mode時の従来技術の問題点を説明する図
【図１３】輝度動きベクトルから色差動きベクトルを求める際の従来技術の問題点を説明する図
【図１４】本発明を用いた場合のゼロベクトルの定義の実施例を説明する図
【図１５】本発明における参照元がBottomフィールドで参照先がTopフィールドの場合の動きベクトルの算出方法を説明する図
【図１６】本発明における参照元がTopフィールドで参照先がBottomフィールドの場合の動きベクトルの算出方法を説明する図
【図１７】本発明における参照元がBottomフィールド、参照先がTopフィールドの場合の動きベクトルが指し示す画素の算出方法を説明する図
【図１８】本発明における参照元がTopフィールド、参照先がBottomフィールドの場合の動きベクトルが指し示す画素の算出方法を説明する図
【図１９】本発明による輝度動きベクトルから色差動きベクトルの算出方法を説明する図
【図２０】本発明を用いた場合の輝度と色差の動きベクトルの実施例を説明する図
【図２１】本発明を用いた場合のDirect Modeの実施例を説明する図
【図２２】補間画素の算出方法を説明する図
【符号の説明】
３１            直交変換手段
３２            量子化手段
３３            逆量子化手段
３４            逆直交変換手段
３５            復号画像生成手段
３６            復号画像記憶手段
３７            動きベクトル計算手段
３８            予測画像生成手段
３９            予測誤差信号生成手段
４０            係数エントロピー符号化手段
４１            動きベクトルエントロピー符号化手段
４２            多重化手段
50a-50d         Top Field輝度第1，３，５，７ライン
51a-51d         Bottom Field輝度第２，４，６，８ライン
52a-52b         Top Field色差第1，３ライン
53a-53b         Bottom Field色差第２，４ライン
64a-64c         Top Field
65a-65c         Bottom Field
81              Frame#1輝度成分
82              Frame#2輝度成分
84a-84c         Frame＃１〜＃３
90              同パリティフィールド間予測
91              異パリティフィールド間予測
94a-94b         Top Field
95a-95b         Bottom Field
100             前方参照フレーム
101             符号化対象フレーム
102             後方参照フレーム
103             符号化対象MB
104             後方予測MB
105             後方予測MBの動きベクトル
106             符号化対象ＭＢから参照フレームＦを予測するための動きベクトル
107             符号化対象ＭＢかさ参照フレームＢを予測するための動きベクトル
110             前方参照Top Field
111             符号化対象Bottom Field
112             後方参照Top Field
113             符号化対象Bottom Field輝度成分
114             後方参照Top Field輝度成分
115             後方予測MBの動きベクトル
116             前方予測ベクトル
117             後方予測ベクトル
118             好ましい前方予測ベクトル
119             好ましい後方予測ベクトル
120             前方参照Top Field輝度成分
130             Top Field
131             Bottom Field
132             Top Field
133a-133b       符号化対象輝度成分
134a-134b       符号化対象色差成分
135a-135b       参照フィールドの輝度成分
136a-136b       予測として好ましい色差成分
137a-137b       参照フィールドの色差成分
140             Top Field輝度成分
141             Bottom Field輝度成分
142             Top Field色差成分
143             Bottom Field色差成分
145             好ましい色差成分の位置
150a-150b       符号化対象輝度成分
151a-151b       ゼロベクトルの基準となる輝度成分の位置
152a-152b       符号化対象色差成分
153a-153b       ゼロベクトルの基準となる色差成分の位置
170             前方参照Top Field
171             符号化対象Bottom Field
172             後方参照Top Field
173             符号化対象Bottom Field輝度成分
174             後方参照Top Field輝度成分
175             後方予測ＭＢベクトル
176             前方参照動きベクトル
177             後方参照動きベクトル
178             前方参照Top Field輝度成分
180             符号化対象Top Fielのd輝度成分
181             前方参照Bottom Fieldの輝度成分の予測位置
182             符号化対象Top Fieldの色差成分
183             前方参照Bottom Fieldの色差成分の予測位置
184             前方参照Bottom Fieldの輝度成分のゼロベクトルの基準
184             前方参照Bottom Fieldの色差成分のゼロベクトルの基準
200             動きベクトル算出手段
201             参照元フィールド座標
202             参照先フィールド座標
203             動きベクトル
210             画素対応付け手段
211             動きベクトル
212             参照元フィールド座標
213             参照先フィールド座標
220             動きベクトル算出手段
221             参照元Bottomフィールド座標
222             参照先Topフィールド座標
223             動きベクトル
230             画素対応付け手段
231             動きベクトル
232             参照元Bottomフィールド座標
233             参照先Topフィールド座標
240             動きベクトル算出手段
241             参照元Topフィールド座標
242             参照先Bottomフィールド座標
243             動きベクトル
250             画素対応付け手段
251             動きベクトル
252             参照元Topフィールド座標
253             参照先Bottomフィールド座標
260             色差動きベクトル生成手段
261             輝度動きベクトル
262色差動きベクトル
270座標を求めたい位置
271画素の定義位置
280〜285        整数画素
286〜287        補間画素
【図１】
0004158442.tif 000002
【図２】
0004158442.tif 000003
【図３】
0004158442.tif 000004
【図４】
0004158442.tif 000005
【図５】
0004158442.tif 000006
【図６】
0004158442.tif 000007
【図７】
0004158442.tif 000008
【図８】
0004158442.tif 000009
【図９】
0004158442.tif 000010
【図１０】
0004158442.tif 000011
【図１１】
0004158442.tif 000012
【図１２】
0004158442.tif 000013
【図１３】
0004158442.tif 000014
【図１４】
0004158442.tif 000015
【図１５】
0004158442.tif 000016
【図１６】
0004158442.tif 000017
【図１７】
0004158442.tif 000018
【図１８】
0004158442.tif 000019
【図１９】
0004158442.tif 000020
【図２０】
0004158442.tif 000021
【図２１】
0004158442.tif 000022
【図２２】
0004158442.tif 000023