(57)【要約】本発明は、連続したビデオ・オブジェクト・プレーン（VOP）に分割される連続したシーンに相当する入力ビデオ・シーケンスに適用され、上記シーンのビデオ・オブジェクト全てを符号化するよう、ビットストリームのコンテンツのエレメント全てを認識し、復号化することを可能にするビットストリーム構文によって各データ・アイテムが記述される符号化ビデオ・データを有する符号化ビットストリームを生成する符号化方法に関する。該方法によれば、上記構文は、種々のチャネルの時間的予測の種類を独立的に記述するようにする更なる構文情報を備え、更なる構文情報は、符号化ビットストリームにおける画像レベルで配置され、存在するチャネル全てによって共有されるか各チャネルに特有である構文エレメントである。【特許請求の範囲】
【請求項１】
連続したビデオ・オブジェクト・プレーン（VOP）に分割される連続したシーンに相当する入力ビデオ・シーケンスに適用され、前記シーンのビデオ・オブジェクト全てを符号化するよう、ビットストリームのコンテンツのエレメント全てを認識し、復号化することを可能にするビットストリーム構文によって各データ・アイテムが記述される符号化ビデオ・データを有する符号化ビットストリームを生成する符号化方法であって、前記コンテンツは別個のチャネルによって記述され、更に、前記構文は、種々のチャネルの時間的予測の種類を前記生成される符号化ビットストリームにおいて画像レベルで独立的に記述するようにする更なる構文情報を備え、前記予測が：
1つ又は複数の参照ピクチャに対して、符号器によって送信される動きフィールドを直接適用することによって前記時間的予測が形成されるという場合；
該時間的予測が参照画像の複製であるという場合；
前記時間的予測が前記動きフィールドの時間的補間によって形成されるという場合；及び
前記時間的予測が、現行の動きフィールドの前記時間的補間によって形成され、前記符号器によって送信される前記動きフィールドによって更に精緻化されるという場合を備えるリストの中から選ばれることを特徴とする符号化方法。
【請求項２】
請求項1記載の符号化方法であって、前記更なる構文情報が、存在するチャネル毎に意味が特有である構文エレメントを有することを特徴とする符号化方法。
【請求項３】
請求項1記載の符号化方法であって、前記更なる構文情報が、存在するチャネル全てによって意味が共有される構文エレメントであることを特徴とする符号化方法。
【請求項４】
連続したビデオ・オブジェクト・プレーン（VOP）に分割される連続したシーンに相当する入力ビデオ・シーケンスを処理し、前記シーンのビデオ・オブジェクト全てを符号化するよう、ビットストリームのコンテンツのエレメント全てを認識し、復号化することを可能にするビットストリーム構文によって各データ・アイテムが記述される符号化ビデオ・データを有する符号化ビットストリームを生成する符号化装置であって、前記コンテンツは別個のチャネルによって記述され、前記符号化装置は、請求項1乃至3の何れか記載の符号化方法を実施するようにすることを特徴とする符号化装置。
【請求項５】
連続したビデオ・オブジェクト・プレーン（VOP）に分割される連続したシーンに相当する入力ビデオ・シーケンスを処理し、前記シーンのビデオ・オブジェクト全てを符号化するよう、ビットストリームのコンテンツのエレメント全てを認識し、復号化することを可能にするビットストリーム構文によって各データ・アイテムが記述される符号化ビデオ・データを有する符号化ビットストリームを生成する符号化装置によって生成される符号化ビットストリームを有する伝送可能ビデオ信号であって、前記コンテンツは別個のチャネルによって記述され、前記伝送可能ビデオ信号は更に、種々のチャネルの時間的予測の種類を前記生成される符号化ビットストリームにおいて画像レベルで独立的に記述するようにする更なる構文情報を備え、前記予測が：
1つ又は複数の参照ピクチャに対して、符号器によって送信される動きフィールドを直接適用することによって前記時間的予測が形成されるという場合；
該時間的予測が参照画像の複製であるという場合；
前記時間的予測が前記動きフィールドの時間的補間によって形成されるという場合；及び
前記時間的予測が、現行の動きフィールドの前記時間的補間によって形成され、前記符号器によって送信される前記動きフィールドによって更に精緻化されるという場合を備えるリストの中から選ばれることを特徴とする伝送可能ビデオ信号。
【請求項６】
連続したビデオ・オブジェクト・プレーン（VOP）に分割される連続したシーンに相当する入力ビデオ・シーケンスを処理し、前記シーンのビデオ・オブジェクト全てを符号化するよう、ビットストリームのコンテンツのエレメント全てを認識し、復号化することを可能にするビットストリーム構文によって各データ・アイテムが記述される符号化ビデオ・データを有する符号化ビットストリームを生成する符号化装置によって生成される符号化ビットストリームを有する伝送可能ビデオ信号を復号化する方法であって、前記コンテンツは別個のチャネルによって記述され、前記伝送可能ビデオ信号は、種々のチャネルの時間的予測の種類を前記生成される符号化ビットストリームにおいて画像レベルで独立的に記述するようにする更なる構文情報を備え、前記予測が：
1つ又は複数の参照ピクチャに対して、符号器によって送信される動きフィールドを直接適用することによって前記時間的予測が形成されるという場合；
該時間的予測が参照画像の複製であるという場合；
前記時間的予測が前記動きフィールドの時間的補間によって形成されるという場合；及び
前記時間的予測が、現行の動きフィールドの前記時間的補間によって形成され、前記符号器によって送信される前記動きフィールドによって更に精緻化されるという場合を備えるリストの中から選ばれることを特徴とする、復号化する方法。
【請求項７】
復号化装置であって、請求項6記載の、復号化する方法を行うことを特徴とする復号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ圧縮の分野に関し、例えば、MPEGファミリ(MPEG-1、MPEG-2、MPEG-4)のビデオ符号化標準や、ITU-H.26Xファミリ（H.261、H.263及び拡張仕様H.264）のビデオ勧告に関する。特に、本発明は、連続したビデオ・オブジェクト・プレーン(VOP)に分割される連続したシーンに相当する入力ビデオ・シーケンスに適用され、該シーンのビデオ・オブジェクト全てを符号化するよう、ビットストリームのコンテンツのエレメント全てを認識し、復号化することを可能にするビットストリーム構文によって各データ・アイテムが記述される符号化ビデオ・データを有する符号化ビットストリームを生成する符号化方法に関し、該コンテンツは別個のチャネルによって記述される。
【０００２】
本発明は、相当する符号化装置にも関し、そのような符号化装置によって生成される符号化ビットストリームを有する伝送可能ビデオ信号にも関し、そのような符号化ビットストリームを有するビデオ信号を復号化する装置にも関する。
【背景技術】
【０００３】
（MPEG-4及びH.264までの）最初のビデオ符号化標準及び勧告では、ビデオは、矩形であるものとみなされ、ルミナンス・チャネル及び２つのクロミナンス・チャネルによって記述されるものとみなされた。MPEG-4によって、更なるチャネル収容形状情報が導入された。これらのチャネルを圧縮するモードは、単一の画像について特定のチャネルにおける画素の空間的冗長度を利用することによって各チャネルが符号化されるINTRAモードと、別個の画像間の時間的冗長度を利用するINTERモードとの２つが存在する。INTERモードは、1つの画像から別の画像までの画素の動きを符号化することによって、先行して復号化された1つ（又は複数）の画像から、画像を表す動き補償手法に依存する。通常、符号化する対象の画像は、各々に動きベクトルが割り当てられる別個のブロックに分割される。画像の予測はその場合、動きベクトル群（ルミナンス・チャネルとクロミナンス・チャネルは同じ動き記述を共有する。）によって画素ブロックを参照画像から移動させることによって構築される。最後に、符号化する対象の画像とその動き補償予測との（残差信号と呼ぶ）差異がINTERモードにおいて符号化されて復号化画像を更に精緻化する。しかし、同じ動き情報によって全ての画素チャネルが記述されるということは、ビデオ符号化システムの圧縮効率を損なう制約である。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
したがって、本発明の目的は、時間的予測が形成される方法を改変することによって上記欠点がないようにするビデオ符号化方法を提案することにある。
【課題を解決するための手段】
【０００５】
この目的で、本発明は、本明細書の導入部分で規定したような、上記構文が、種々のチャネルの時間的予測の種類を画像レベルで独立的に記述するようにする更なる構文情報を備える方法に関し、上記予測は：
1つ又は複数の参照ピクチャに対して、符号器によって送信される動きフィールドを直接適用することによって時間的予測が形成されるという場合；
時間的予測が参照画像の複製であるという場合；
時間的予測が動きフィールドの時間的補間によって形成されるという場合；及び
時間的予測が、現行の動きフィールドの時間的補間によって形成され、符号器によって送信される動きフィールドによって更に精緻化されるという場合を備えるリストの中から選ばれる。
【０００６】
本発明は、相当する符号化装置にも関し、そのような符号化装置によって生成される符号化ビットストリームを有する伝送可能ビデオ信号にも関し、そのような符号化ビットストリームを有するビデオ信号を復号化する装置にも関する。
【発明を実施するための最良の形態】
【０００７】
〔実施例〕
本発明によれば、ビデオ標準及びビデオ勧告によって用いられる符号化構文において、それらの柔軟性がないことに対応し、種々のチャネルの時間的予測を更に効率的かつ独立的に符号化するうえでの新たな可能性を切り拓く新たな構文エレメントを導入することを提案する。この更なる構文エレメントは、例えば、「時間的チャネル予測」と呼び：
Motion_compensation
Temporal_copy
Temporal_interpolation
Motion_compensated_temporal_interpolation
のシンボル記号値を呈し、この値の意味は以下の通りである。
【０００８】
a)  motion_compensation：時間的予測は、符号器によって送信される動きフィールドを1つ又は複数の参照ピクチャに直接適用することによって形成される（このデフォールト・モードは暗黙的に、ほとんどの現行の符号化システムのINTER符号化モードである。）。
【０００９】
b)  temporal_copy：時間的予測は参照画像の複製である。
【００１０】
c)  temporal_interpolation：時間的予測は動きフィールドの時間的補間によって形成される。
【００１１】
d)  motion_compensated_temporal_interpolation：時間的予測は、現行の動きフィールドの時間的補間によって形成され、符号器によって送信される動きフィールドによって更に精緻化される。
【００１２】
「時間的補間」の語は、広い意味で解されることとする、すなわち、Vnew=a.V1+b.V2+Kなどの式によって規定される種類の何れかの演算を表すものとして解されることとする。このとき、V1及びV2は先行して復号化された動きフィールドを表し、a及びbは過去の動きフィールドと将来のフィールドとの各々に割り当てられる係数を表し、Kはオフセットを表し、Vnewはよって得られる新たな動きフィールドである。したがって、時間的複製の特定のケースは、実は、b=0であり、かつK=0である場合（又はa=0であり、かつK=0である場合）の、時間的補間のより一般的なケースが有するということが分かり得る。
【００１３】
よって提案される更なる構文エレメントは、記憶される（又は復号化側に送信される）ことを要する符号化ビットストリームにおいて画像レベル（すなわち、MPEG-4用語におけるVOPレベル）に配置されることが想定され、何れか一方の構文エレメントがINTERピクチャ内に配置され、その意味は、VOPに存在するチャネル全てによってその場合、共有されるか、存在するチャネル毎に構文エレメントが備えられる。
【００１４】
本発明は、チャネル全てについての動きベクトル群の符号化が必要でない上記の場合において用い得る。例えば、連続したフレーム間で動きがあまりないシーケンスでは、各マクロブロックが動きを何ら有していないということを繰り返す動きベクトルの完全な群の符号化の代わりに、動きが何らないということを通知することが効果的であり得る。他の場合には、動きベクトル・フィールドを符号化する代わりに、動きベクトルの予測が、画像をいくつかの参照画像から補間することによって構築されることとするということを通知することが効果的である場合があり（この場合、復号器はいくつかの参照画像間の動きフィールドを推定し、それを補間して、現行の画像の予測を作成することを要する。）、動きベクトル・フィールドが、1つ又はいくつかの参照画像から直接解釈されるのではなく、参照画像の時間的補間から解釈されるということがなお可能でもある。更に、時間的予測を構築する方法をチャネル単位で切り替えることが可能な場合が存在する。例えば、形状チャネルを備えているシーケンスの場合、形状情報はあまり変動しないが、ルミナンス・チャネル及びクロミナンス・チャネルが変動情報を収容しているということが考えられる（これは、例えば、回転している惑星を描く、すなわち、形状は常に円形であるが、そのテクスチャは惑星の回転によって変わってくる、ビデオの場合である。）この場合には、形状チャネルは時間的複製によって復元することが可能であり、ルミナンス・チャネル及びクロミナンス・チャネルは、動き補償された時間的補間によって復元することが可能である。
【国際調査報告】
2006522530.tif 000002
2006522530.tif 000003
2006522530.tif 000004