(57)【要約】本発明は、ビデオ系列のうちのピクチャの一部分を符号化する方法に関する。ビデオ系列の少なくとも１つのピクチャは、キーピクチャである。当該方法は、ａ）キーピクチャ又はそれぞれのキーピクチャの特性マップを計算し（４７）、ｂ）符号化すべきピクチャの一部分について、キーピクチャの一部分を示す少なくとも１つの動きベクトルを予測し（５０）、ｃ）ピクチャの一部分について、予測された特性マップの少なくとも１部を得るため、予測された動きベクトルを使用して特性マップの少なくとも１つの一部分を動き補償し（６４）、ｄ）予測された特性マップの一部分の特性レベルに従ってピクチャの一部分を符号化する（６８，７０，７４，７６，７８）。
2011519220.tif 000002
【特許請求の範囲】
【請求項１】
ビデオ系列のうちのピクチャの一部分を符号化する方法であって、
前記ビデオ系列の少なくとも１つのピクチャは、キーピクチャであり、
当該方法は、
ａ）前記キーピクチャ又はそれぞれのキーピクチャの特性マップを計算するステップと、
ｂ）符号化されるピクチャの一部分について、前記キーピクチャの一部分を示す少なくとも１つの動きベクトルを予測するステップと、
ｃ）前記ピクチャの一部分について、予測された特性マップの少なくとも１部を得るため、１つ又はそれぞれの予測された動きベクトルを使用して前記特性マップの少なくとも１つの一部分を動き補償するステップと、
ｄ）前記予測された特性マップのそれぞれの一部分の特性レベルに従って前記ピクチャの一部分を符号化するステップとを含み、
前記ステップｄ）は、
前記予測された特性マップのそれぞれの一部分の前記特性マップを決定するステップと、
予め定義された特性マップと、前記予測された特性マップの一部分の前記特性レベルとを比較するステップと、
前記比較の結果に従って選択される手法であって、少なくとも第一の手法と第二の手法から選択される手法を使用して前記ピクチャの一部分を符号化するステップと、
を含むことを特徴とする符号化方法。
【請求項２】
前記第一の符号化手法は、Ｈ．２６４標準により定義され、
前記第二の符号化手法は、それぞれの動きベクトルの成分の大きさが１／４画素よりも大きいＨ．２６４標準に基づく手法である、
請求項１記載の符号化方法
【請求項３】
第二の符号化手法は、前記第一の手法で使用されるフィルタとは異なる補間フィルタに基づく動き補間を有する、
請求項１及び２記載の符号化方法。
【請求項４】
前記ビデオ系列のピクチャの一部分は、レイヤによりスケーラブルである圧縮方法に従って符号化され、前記キーピクチャは、ベースレイヤで符号化され、前記ピクチャの一部分は、高位レイヤで符号化される、
請求項１及び２記載の符号化方法。
【請求項５】
第二の中間ピクチャの一部分から第一の中間ピクチャの一部分の少なくとも１部を示す動きベクトルを予測するステップと、
第一の中間ピクチャの一部分の画素の数をカウントするステップと、
カウントされる画素数が予め定義された数よりも大きいとき、前記第一の中間ピクチャの一部を使用して及び前記第一の中間ピクチャの一部分を符号化するために選択された手法により、前記第二の中間ピクチャの一部分を符号化するステップと、
を含む請求項１乃至４の何れか記載の符号化方法。
【請求項６】
前記第一のキーピクチャの一部分と前記第二のキーピクチャの一部分からの中間ピクチャの双方向符号化の間、前記予め定義された特性レベルに比較とされる前記特性レベルは、第一の動きベクトルからの前記予測される特性マップの第一の部分の特性レベルと、第二の動きベクトルからの前記予測される特性マップの第二の一部分の前記特性レベルとの関数であり、前記中間ピクチャの一部分は、前記第一のキーピクチャの一部分の予測と前記第二のキーピクチャの一部分と予測の平均から符号化され、前記平均は、前記予測される特性マップの第一の一部分と第二の一部分の前記特性レベルにより重み付けされ、
請求項１乃至４の何れか記載の符号化方法。
【請求項７】
前記ステップａ）は、前記キーピクチャを符号化するステップを含み、
前記ステップは、再構成されたキーピクチャを生成し、
前記特性マップは、前記再構成されたキーピクチャから計算される、
請求項１乃至６の何れか記載の符号化方法。
【請求項８】
再構成されるピクチャの一部分の再構成のため、ビデオ系列の動きベクトル、ピクチャ及びキーピクチャを表す圧縮されたバイナリストリームを有するバイナリストリームを復号化する方法であって、
当該方法は、
ａ）前記圧縮されたデータから前記キーピクチャを再構成するステップと、
ｂ）前記再構成されたキーピクチャの特性マップを計算するステップと、
ｃ）再構成される前記ピクチャの一部分について、前記キーピクチャの一部分を示す動きベクトルを復号化するステップと、
ｄ）再構成される前記ピクチャの一部分について前記予測される特性マップの一部分を得るため、前記復号化された動きベクトルを使用して前記特性マップの少なくとも１部分を動き補償するステップと、
ｅ）前記予測される特性マップの前記特性レベルに従って、再構成される前記ピクチャの一部分を再構成するステップとを含み、
前記ステップｅ）は、
前記予測された特性マップのそれぞれの一部分の特性レベルを決定するステップと、
予め定義された特性レベルと、前記予測された特性マップの一部分の特性レベルを比較するステップと、
前記比較の結果に従って選択される手法であって、第一の手法と第二の手法のうちから選択される手法を使用して、再構成すべき前記ピクチャの一部分を再構成するステップと、
を含むことを特徴とする復号化方法。
【請求項９】
前記ビデオ系列のピクチャの前記ピクチャの一部分は、レイヤによりスケーラブルな圧縮方法に従って符号化され、
ベースレイヤの圧縮されたデータの再構成は、前記キーピクチャを生成し、
高位レイヤの圧縮されたデータの再構成は、再構成すべき前記ピクチャの一部分を生成する、
請求項８記載の復号化方法。
【請求項１０】
第二の中間ピクチャの一部分から第一の復号化された中間ピクチャの一部分の少なくとも１部を示す少なくとも１つの動きベクトルを復号化するステップと、
当該方法は、
前記第一の復号化された中間ピクチャの一部分の画素の数をカウントするステップと、
カウントされる画素の数が予め定義された数よりも大きいとき、前記第一の中間ピクチャの一部分を使用して及び前記第一の中間ピクチャの一部分を再構成するために選択される手法により、前記第二の中間ピクチャの一部分を再構成するステップと、
を含む請求項８記載の復号化方法。
【請求項１１】
前記第一のキーピクチャの一部分と前記第二のキーピクチャの一部分からの双方向予測に従って符号化される中間ピクチャの一部分の再構成の間、前記予め定義された特性レベルと比較される前記特性レベルは、第一の動きベクトルから予測される前記特性マップの第一の一部分の前記特性レベルと、第二の動きベクトルから予測される前記特性マップの第二の一部分の前記特性レベルとの関数であり、前記中間ピクチャの一部分は、前記第一のキーピクチャの一部分の予測と、前記第二のキーピクチャの一部分と予測との平均から再構成され、前記平均は、前記予測された特性マップの第一の一部分と第二の一部分の前記特性レベルにより重み付けされる、
請求項８記載の復号化方法。
【請求項１２】
ビデオ系列のピクチャを符号化するコーダであって、
少なくとも１つのピクチャは、キーピクチャであり、
当該コーダは、
前記キーピクチャの特性マップを計算する計算ユニットと、
符号化すべき前記ピクチャの一部分について、前記キーピクチャの一部分を示す少なくとも１つの動きベクトルを予測する予測ユニットと、
前記ピクチャの一部分について前記予測される特性マップの少なくとも１つの一部分を得るため、前記予測される動きベクトルを使用して前記特性マップの一部分を動き補償する補償ユニットと、
前記予測される特性マップの一部分の前記特性レベルに従って前記ピクチャの一部分を符号化する符号化ユニットと、
を有することを特徴とするコーダ。
【請求項１３】
再構成すべきピクチャの一部分の再構成のため、ビデオ系列の動きベクトル、ピクチャ及びキーピクチャを表す圧縮されたデータを有するバイナリストリームのデコーダであって、
当該デコーダは、
前記圧縮されたデータから前記キーピクチャを再構成する再構成ユニットと、
前記再構成されたキーピクチャの前記特性マップを計算する計算ユニットと、
再構成すべきピクチャの一部分について、前記キーピクチャの一部分を示す少なくとも１つの動きベクトルを復号化する復号化ユニットと、
再構成すべき前記ピクチャの一部分について前記予測された特性マップの一部分を得るため、復号化された動きベクトルを使用して前記特性マップの少なくとも１部分を動き補償する動き補償ユニットと、
前記予測された特性マップの一部分の前記特性レベルに従って、再構成すべきピクチャ部分を再構成するために再構成ユニットと、
を有することを特徴とするデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、符号化方法、復号化方法、コーダ及びデコーダに関する。
【背景技術】
【０００２】
MPEG（Moving  Picture  Expert  Group）及びITU（International  Telecommunication  Union）標準機関は、MPEG1，MPEG2，MPEG4及びH.264のような様々なビデオ圧縮標準を定義している。これら異なる標準の圧縮効率は、様々なビデオアプリケーションの出現を出現を可能にしている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかし、益々改善される性能にも関わらず、ビデオ圧縮の問題は、現在のままであり、一定の品質で圧縮率を増加し、インターネットネットワークにわたる高品質ビデオの配信又は携帯電話でのビデオの配信のような新たに出現するサービスの発展を可能にする試みが必要とされる。
【０００４】
本発明の目的は、再構成された画像の視覚的な品質を維持しつつ、データ圧縮率が増加されるのを可能にする符号化及び復号化方法を提案することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するため、本発明は、あるビデオ系列のあるピクチャのうちのピクチャ部分を符号化する方法であり、ビデオ系列の少なくとも１つのピクチャは、キーピクチャであり、本方法は、以下のステップを含む。ａ）キーピクチャ又はそれぞれのキーピクチャの特性マップを計算するステップ。ｂ）符号化されるピクチャ部分について、キーピクチャの一部又はそれぞれのキーピクチャの一部に示す少なくとも１つの動きベクトルを予測するステップ。ｃ）前記ピクチャ部分について、予測された特性マップの少なくとも１部を得るため、予測される動きベクトル（V1，V2）を使用して特性マップの少なくとも１部を動き補償するステップ。ｄ）予測される特性マップの１部又はそれぞれの１部の特性レベルに従ってピクチャ部分を符号化するステップ。
【０００６】
特定の実現モードに従って、符号化手順は、個別に又は組み合わせで採用される、１以上の以下の特性を有する。ステップｄ）は、以下のステップを含む。予測される特性マップの一部の特性レベルを決定するステップ。予め定義された特性レベル（S1）と予測された特性マップの一部の特性レベル（S）とを比較するステップ。前記比較の結果に従って選択される方法を使用してピクチャ部分を符号化するステップ。前記方法は、少なくとも第一の方法と第二の方法のうちから選択される。第一の符号化方法は、H.264標準により定義され、第二の符号化方法は、それぞれの動きベクトル（V1，V2）の成分の振幅が１／４画素よりも大きいH.264標準に基づく方法である。第二の符号化方法は、第一の方法で使用されるフィルタ以外の補間フィルタに基づいた動き補間、及びアフィンパラメータにより定義される動き情報の符号化及び送信のステップを含む。ビデオ系列のあるピクチャのピクチャ部分は、スケーラブルレイヤ方法による圧縮に従って符号化され、キーピクチャは、ベースレイヤで符号化されることとなり、ピクチャ部分は、高位レベルで符号化される。
【０００７】
また、符号化方法は、以下のステップを含む。第二の中間ピクチャの一部から動きベクトルであって、第一の中間ピクチャのある部分の少なくとも１部を示す動きベクトルを予測するステップ。第一の中間ピクチャの前記部分の画素の数をカウントするステップ。
【０００８】
カウントされる画素の数が予め定義された数（Nmin）よりも大きい場合、符号化方法は、以下のステップを含む。第一の中間ピクチャの一部を使用し、第一の中間ピクチャの一部を符号化するために選択される方法により、第二の中間ピクチャの一部を符号化するステップ。第一のキーピクチャの一部及び第二のキーピクチャの一部から、ある中間ピクチャの一部の双方向符号化の間、予め定義された特性マップのレベルに比較される特性レベル（S1）は、第一の動きベクトル（V1）から予測される特性マップの第一の部分の特性レベル（S12）及び第二の動きベクトル（V2）から予測される特性マップの第二の部分の特性レベル（S14）の関数であり、中間ピクチャの前記一部は、第一のキーピクチャの一部の予測と第二のキーピクチャの一部の予測の平均から符号化される。前記平均は、予測される特性マップの第一及び第二の部分の前記特性レベル（S12，S14）により重み付けされる。ステップａは、キーピクチャ又はそれぞれのキーピクチャの符号化ステップを含む。前記ステップは、再構成されたキーピクチャを生成する。特性マップは、再構成されたキーピクチャから計算される。
【０００９】
また、本発明の方法は、再構成されるべきピクチャの一部の再構成のためにビデオ系列のピクチャ及びキーピクチャの、動きベクトル（V1，V2）を表す圧縮されたデータを含むバイナリストリームの復号化方法を含む。特定の実施の形態によれば、以下のステップを有する。ａ）圧縮されたデータからキーピクチャ又はそれぞれのキーピクチャを再構成するステップ。ｂ）再構成されたキーピクチャ又はそれぞれ再構成されたキーピクチャの特性マップを計算するステップ。ｃ）キーピクチャの一部を示す、再構成されるピクチャの部分について少なくとも１つの動きベクトル（V1，V2）を復号化するステップ。ｄ）再構成されるピクチャの部分について、予測される特性マップの一部を得るため、復号化された動きベクトル（V1，V2）を使用して特性マップの少なくとも１部を動き補償するステップ。ステップｅ）は、予測される特性マップの一部又はそれぞれの一部の特性レベルを決定するステップ。予め定義された特性レベル（S1）及び予め定義された特性マップの一部の特性レベル（S）を比較するステップ。前記比較の結果に従って選択された方法を使用して、再構成されるべきピクチャの一部を再構成するステップ。前記方法は、少なくとも第一の方法と第二の方法のうちから選択される方法である。ビデオ系列のあるピクチャのピクチャ部分は、レイヤによりスケーラブルな圧縮方法に従って復号化され、ベースレイヤの圧縮されたデータの再構成は、キーピクチャを生成し、ハイレベルの圧縮されたデータの再構成は、再構成されるピクチャ部分を生成する。
【００１０】
また、本方法は、以下のステップを含む。第二の中間ピクチャの一部から、第一の復号化された中間ピクチャのある部分の少なくとも１部を示す少なくとも１つの動きベクトル（V1，V2）を復号化するステップ。また、本方法は、以下のステップを含む。第一のデコードされた中間ピクチャの前記部分の一部の画素の数をカウントするステップ。
【００１１】
カウントされた画素の数が予め定義された数（Ｎmin）よりも大きいとき、本方法は、以下のステップを含む。第一の中間ピクチャの一部を使用して、及び第一の中間ピクチャの一部を再構成するために選択される方法により、第二の中間ピクチャの一部を再構成するステップ。第一のキーピクチャの一部と第二のキーピクチャの一部とから双方向の予測に従って符号化された中間ピクチャの一部の再構成の間、予め定義された特性レベル（S1）と比較される特性レベル（S）は、第一の動きベクトル（V1）から予測される特性マップの第一の部分の特性レベル（S12）と、第二の動きベクトル（V2）から予測される特性マップの第二の部分の特性レベル（S14）との関数であり、前記中間ピクチャの部分は、第一のキーピクチャの部分の予測と第二のキーピクチャの部分の予測との平均から再構成され、前記平均は、予測される特性マップの第一及び第二の部分の前記特性レベル（S12，S14）により重み付けされる。
【００１２】
さらに、本発明は、ビデオ系列のピクチャを符号化するコーダに関し、少なくとも１つのピクチャは、キーピクチャであり、本コーダは、以下を有することを特徴とする。キーピクチャ又はそれぞれのキーピクチャの特性マップの計算ユニット。符号化されるピクチャの一部について、キーピクチャ又はそれぞれのキーピクチャの一部を示す少なくとも１つの動きベクトル（V1，V2）を予測する予測ユニット。前記ピクチャの一部について、特性マップの少なくとも１つの部分を得るため、予測された動きベクトル（V1，V2）を使用して特性マップの部分を動き補償する補償ユニット。符号化ユニットは、予測された特性マップの部分の特性レベルに従ってピクチャの一部を符号化する符号化ユニット。
【００１３】
最終的に、本発明は、再構成されるピクチャの一部の再構成のため、ビデオ系列のピクチャ及びキーピクチャの動きベクトル（V1，V2）を表す圧縮されたデータを含むバイナリビットストリームのデコーダに関する。本デコーダは、以下を有する。圧縮されたデータからキーピクチャを再構成する再構成ユニット。再構成されたキーピクチャの特性マップを計算する計算ユニット。再構成されたピクチャの一部の少なくとも１つの動きベクトル（V1,V2）であって、キーピクチャの一部を示す動きベクトルを復号化する復号化ユニット。再構成されるピクチャの前記部分について、予測される特性マップの一部を得るため、復号化された動きベクトル（V1，V2）を使用して特性マップの少なくとも１部を動き補償する動き補償ユニット。予測される特性マップの一部の特性レベルに従って、再構成されるピクチャの一部を再構成する再構成ユニット。
【００１４】
本発明は、例示としてのみ与えられ、添付図面を参照して行われる以下の説明を読むことで良好に理解される。
【図面の簡単な説明】
【００１５】
【図１】本発明に係るコーダのブロック図である。
【図２】本発明に係るデコーダのブロック図である。
【図３】本発明に係る符号化方法のフローチャートである。
【図４】一方向予測に従って符号化されたピクチャの一部について、本発明に係る符号化及び復号化の間に実現される動き補償方法を示す図である。
【図５】本発明に係る復号化方法のフローチャートである。
【図６】双方向予測に従って符号化されたピクチャの一部について、本発明に係る符号化及び復号化の間に実現される動き補償方法を示す図である。
【図７】第一の中間ピクチャに少なくとも基づいた第二の中間ピクチャの符号化を示す図である。
【図８】第一の中間ピクチャに少なくとも基づいた第二の中間ピクチャの符号化方法の一部を示す図である。
【発明を実施するための形態】
【００１６】
図１を参照して、コーダ２は、符号化されるビデオ系列６を受ける入力４と、バイナリストリーム１０を送信する出力８を有する。
【００１７】
ビデオ系列６は、中間ピクチャ１８と一般に呼ばれる一連のピクチャを構成する少なくとも２つのキーピクチャ１２，１４から形成される１以上のGOP（Group  Of  Picture）を有する（中間ピクチャに先行する少なくとも１つのキーピクチャ及び中間ピクチャに後続する少なくとも１つのキーピクチャ）。
【００１８】
キーピクチャ１２，１４及び中間ピクチャ１６，１８は、マクロブロック、ブロック、サブブロック又は領域に分割される。
【００１９】
マクロブロック、ブロック及びサブブロックの表記は、たとえばMPEG-4で使用され、文献JVT-M050d4,  Draft  of  Version  4  of  H.264/AVC  (ITU  Recommendation  H.264  and  ISO/IEC  14496-10  (MPEG-4  part  10)  Advanced  Video  Coding)で定義される「マクロブロック」、「パーティション」及び「サブパーティション」と同様である。
【００２０】
マクロブロックは、16×16画素のセットである。係るマクロブロックは、16×8，8×16，8×8ブロックからなるブロックに分割される。それぞれのブロックは、4×8，8×4，4×4画素からなるサブブロックに分割される。この領域は、予め定義されたサイズを有さず、ピクチャのゾーンに対応する。この説明の残りでは、マクロブロック、サブブロック及び領域は、ピクチャの一部分（picture  portions）と呼ばれる。
【００２１】
コーダ２は、入力４に接続される動きベクトル予測ユニット１９、予測ユニット１９に接続される符号化判定ユニット２０、判定ユニット２０及び出力に接続される符号化ユニット２２、及び符号化ユニット２２に接続される特性マップ計算ユニット２４を有する。
【００２２】
動きベクトル予測ユニット１９は、それぞれの中間ピクチャ１６，１８のそれぞれの一部分について、中間ピクチャのこの一部分と、１以上の中間ピクチャのある一部分と、１以上のキーピクチャ１２，１４のある一部分との間の動きベクトル、及びそれぞれのキーピクチャ１２，１４のそれぞれの一部分について、このキーピクチャの一部分と別のキーピクチャの一部分との間の動きベクトルとを判定する。
【００２３】
動きベクトル予測ユニット１９は、物理的に存在する物理フィールドに近い動きベクトルを予測し、これにより、動き方向で補間される中間ピクチャの特性マップは、それらマップ自身の間で一時的に一致し、及びキーピクチャの特性マップと一時的に一致する。係る予測ユニットは、たとえば、文献［Tourapis,  Au,Liou,Fast  Motion  Estimation  using  Circular  Zonal  Search,  Proceedings  of  Visual  Communications  and  Image  Processing  1999  (VCIP’99)］で記載される。
【００２４】
変形例として、階層的な空間−時間型の予測ユニット１９を使用することもできる。
【００２５】
判定ユニット２０は、（文献JVT-M050d4の第7.4.5節で規定されるような）キーピクチャ１２，１４のそれぞれのマクロブロックについて、その符号化モードと、領域、マクロブロック、ブロック等へのその分割であるピクチャの一部分へのその分割、動き情報又は空間予測情報（参照画像、関連する動きベクトル）、変換及び定量化される予測残差を決定する。
【００２６】
符号化ユニット２２は、キーピクチャについて、ユニット２０により行われる符号化判定及び関連するデータ（符号化モード、ピクチャの一部分の分割、動きベクトル及びピクチャデータ、変換及び定量化された予測残差）を符号化する。
【００２７】
計算ユニット２４は、ローカルに復号化されたキーピクチャからキーピクチャ１２，１４の特性マップ、及びそれらに関連する符号化された動きデータを計算する。
【００２８】
この目的のために、計算ユニット２４は、たとえば文献（O.Le  Meur,  P.Le  Callet  and  D.  barba,  Predicting  visual  fixation  on  video  based  on  low-level  visual  features,  Vision  Research,  Vol47/19  pp2483/2498,  September  2007）で提供される方法を使用する。
【００２９】
また、コーダ２は、入力４及び予測ユニット１９に接続される符号化モード判定ユニット２５、ユニット２５及び出力８に接続される符号化判定の符号化ユニット２６、符号化ユニット２６及び計算ユニット２４に接続される動き補償ユニット２８を有する。
【００３０】
符号化判定ユニット２５は、H.264標準で定義されるイントラ、インター単方向又は双方向の間で中間ピクチャのそれぞれのピクチャの一部分の符号化モード、ピクチャの一部分の分割情報及び参照画像のインデックスを判定する。このユニット２５は、入力として、予測ユニット１９からのデータを使用する。
【００３１】
符号化ユニット２６は符号化判定ユニット２５により行われた全ての符号化の判定の内容を符号化する。
【００３２】
補償ユニット２８は、中間ピクチャのピクチャの一部分に関して、キーピクチャの特性マップから推定される特性レベルを決定するため、予測ユニット１９により予測された動きベクトルを使用してキーピクチャの特性マップの一部分を動き補償する。
【００３３】
また、コーダ２は、補償ユニット２８及び予測ユニット１９に接続される選択ユニット３０、並びに、入力４、選択ユニット３０及び出力８に接続される符号化ユニット３２を有する。
【００３４】
選択ユニット３０は、動き補償された特性マップの一部分の特性レベルSを分析し、後に定義されるように、この特性レベルに従って中間ピクチャ１６，１８のピクチャの一部分の符号化方法を選択する。
【００３５】
符号化ユニット３２は、選択ユニット３０により選択された符号化方法を使用して中間ピクチャ１６，１８のピクチャの一部分を符号化する。
【００３６】
記載される実施の形態によれば、ユニット３０は、第一及び第二の符号化方法を選択する。
【００３７】
第一の符号化方法は、高められた特性レベルを有するピクチャの一部分に選択され、これらの一部分は、符号化の間の保存のために必要とされると考えられる。第一の方法は、ソース信号に忠実であるような方法でピクチャの一部分を符号化することを狙いとし、残余の可能性のある予測誤差の符号化により補正を行う。
【００３８】
第一の方法は、たとえば、H.264標準の全ての符号化モードを使用する。
【００３９】
第二の符号化方法は、低い特性レベルを有するピクチャの一部分に関するものであり、これらの一部分は、ソース信号に対する現実の忠実度なしにリターンすることができるとして考えられる。残差は、これらのピクチャの一部分に関して符号化されず、一時的な予測によってのみ生成される。残差が符号化されるピクチャの一部分に対して予測が等価な品質からなるように、第二の方法は、より正確な動き補償ステップを有する。特に、第二の符号化方法は、第一の方法で採用されるよりも微細な動き補償に基づいている（たとえば、第一の方法では、動きベクトル成分の大きさは、１／１６画素に等しく、アフィン動きモデルによるH.264におけるような画素の１／４ではなく、H.264等におけるような並進運動（translational）ではない）。
【００４０】
たとえば、微細な動き補間は、文献JVT−X201  “Joint  Draft  ITU−T  Rec．  H．264／ISO／IEC  14496−10／Amd．3  Scalable  video  coding”  Geneva,  Switzerland,  29  June  −  5  July  2007.のG.8.6.2.3節の表G8に記載されるように、イントラレイヤ間テクスチャ補間についてMPEG-4  SVCで規定されるフィルタから実現される。たとえば、Lanczosフィルタモデル又は双三次フィルタから、（４を超える係数といった）長いサポートのフィルタを使用することもできる。
【００４１】
第二の方法は、アフィンパラメータに基づく動き補償及び符号化ステップを有する。
【００４２】
定義により、あるゾーンがある動きを受けるとき、そのゾーンの任意の点（ｘ,ｙ）の動きベクトルが（ｄｘ,ｄｙ）は以下のように書くことができるように、６つのアフィンパラメータθ＝（ａ,ｂ,α,β,γ,δ）Tをもつベクトルが存在する。
【００４３】
【数１】
2011519220.tif 000003
変形例として、キーピクチャと中間ピクチャは、分割されない。
【００４４】
本発明の実施の形態によれば、ビデオ系列のピクチャは、ＳＶＣ（Scalable  Video  Coding）標準により定義されるように、レイヤによりスケーラブルである符号化方法に従って符号化される。
【００４５】
このスケーラブル符号化方法によれば、それぞれのレイヤは、ベースレイヤと呼ばれるレイヤで符号化される最低解像度からトップレイヤと呼ばれるレイヤで符号化される最高解像度まで、ビデオコンテンツの異なる空間解像度に対応する。あるレイヤの符号化情報は、たとえばレイヤ間予測方法を使用することで、より高いレベルの符号化において役立つ。
【００４６】
この場合、第一の符号化方法は、４つの係数をもつフィルタによる補間と、全ての残差係数の符号化とを使用したレイヤ間予測によるＳＶＣ標準に基づいている。
【００４７】
第二の符号化方法は、たとえば、残差符号化のない長いフィルタにより実現される複雑な補間を使用したレイヤ間予測によるＳＶＣ標準に基づく。
【００４８】
変形例として、この第二の符号化方法は、ピクチャの輪郭を強調するステップを含む。
【００４９】
この実施の形態では、特性マップは、一体化して再構成されるベースレイヤからのピクチャから決定される。好適な実施の形態では、ベースレイヤの全てのキーピクチャは、完全に再構成される。ベースレイヤからのこれらの再構成されたピクチャに関して、特性マップが計算される。ベースピクチャが完全に再構成されたトップレイヤからのあるピクチャのピクチャ部分の符号化の間、ベースレベルからのピクチャにおいて、ピクチャ部分に対応するピクチャ部分の特性からその特性レベルが計算される。トップレイヤからのピクチャがベースレイヤからの再構成されたピクチャを有さない場合、特性レベルは、上述されたように、トップレイヤのキーピクチャの特性マップの動き補償により決定される。
【００５０】
代替的に、他の符号化方法が使用される。
【００５１】
符号化方法は、１以上のキーピクチャ１２，１４から又は他の中間ピクチャから単方向又は双方向の予測に従って、中間ピクチャ１６，１８のピクチャ部分の符号化を可能にする。本方法に係る符号化及び復号化方法は、これらの状況のそれぞれで以下に記載される。
【００５２】
図３及び図４を参照して、単方向予測に従う中間ピクチャ１６のピクチャ部分５４の符号化方法は、ユニット１９により実行されるキーピクチャの動き予測ステップ４３で開始し、ユニット２０により実行される符号化判定ステップ４５、ユニット２２により実行されるキーピクチャの符号化、及びユニット２４により実行されるキーピクチャの特性マップ計算ステップ４７が続く。
【００５３】
ピクチャの一部分５４の符号化方法は、中間ピクチャ１６の分割と、この中間ピクチャ１６と参照のキーピクチャ１２の間に存在する動きベクトルとの予測ステップ５０で継続する。
【００５４】
このステップは、中間ピクチャ１６のそれぞれのピクチャ部分について分割及び動き情報を計算する予測ユニット１９により実行される。
【００５５】
たとえば、図４を参照して、予測ユニット１９は、中間ピクチャ１６の一部５４とキーピクチャ１２の一部との間に動きベクトルＶ１が存在することを予測する。特に、動きベクトルＶ１は、ピクチャ部分５４からピクチャ部分５２を示す。
【００５６】
ステップ５５の間、判定ユニット２５は、中間ピクチャのピクチャ部分５４の符号化モードを決定する。
【００５７】
ステップ５６の間、符号化ユニット２６は、分割及び動きベクトルを含めて、符号化モードに関連する符号化の判定を符号化する。
【００５８】
ユニット２６により符号化された符号化モードがイントラタイプであるとき、プロセスは、残差情報の符号化ステップ７４によりダイレクトに継続する。
【００５９】
ステップ６４の間、補償ユニット２８は、ステップ５０から得られる動きデータによる特性マップ６０の補償を実行する。これは、一部分６６がキーピクチャ１２における一部分５２と特性マップ６０における同じ位置に位置されるように、特性マップ６０の一部分６６を決定し、次いで、動きベクトルのサブピクセルレベルの精度を考慮して、この一部分６６から一部分７２を補間することからなる。
【００６０】
ステップ６８は、動き補償された特性マップの一部分７２の特性レベルSを決定する。特性情報は、それぞれの画素で計算される、典型的に０と２５５の間で変化する２進でない情報を構成する。
【００６１】
決定された特性レベルは、ピクチャの一部分７２の平均の特性レベルである。変形例として、特性マップの一部分７２の平均の特性レベル又は最大の特性レベルが決定される。
【００６２】
ステップ７０の間、選択ユニット３０は、予め定義された特性レベルS1を動き補償された特性マップの一部分７２の特性レベルSに比較する。
【００６３】
一部分７２の特性レベルSが予め定義された特性レベルS1よりも大きい場合、ピクチャの一部分５４は、第一の符号化方法によりステップ７４の間に符号化される。（予測の残差のような）前の符号化ステップ５６で未だ符号化されていない情報のみが符号化される。対照的に、ステップ５０の間に決定された動きベクトルは、たとえば符号化されない。
【００６４】
動き補償された特性マップの一部分７２の特性レベルSが予め定義された特性レベルS1よりも小さいとき、符号化方法は、ステップ７６に進み、予測ユニット１９は、より正確な動きベクトル、たとえば成分の大きさが１／４画素よりも大きい精度のレベルを有する動きベクトルであって、たとえば１／１６画素に等しい精度のレベルを有する動きベクトルを計算する。
【００６５】
次いで、ステップ２８の間、ピクチャの部分５４は、第二の符号化方法により符号化ユニット３２により符号化される。
【００６６】
特性マップ７２の一部分が高レベルの特性を提供するとき、第一の符号化方法は、ステップ７４に従う符号化によりソース信号を最良に再生する。しかし、特性レベル７２の一部分が低レベルの特性を提供する場合、第二の符号化方法は、符号化されたピクチャを正確に再生しないが、ある視覚的な品質を有するピクチャの取得を可能にする。
【００６７】
図３及び図６を参照して、中間ピクチャ１６のピクチャの一部分の双方向の予測符号化の場合において、本発明に係る符号化方法が記載される。
【００６８】
ステップ４３〜４７の実現の後、予測ユニット１９は、中間ピクチャ１６のピクチャの一部分５４からキーピクチャ１２のピクチャの一部分５２を示す第一の動きベクトルV1と、ピクチャの一部分５４からキーピクチャ１４のピクチャの一部分９８を示す第二の動きベクトルV2を予測する。
【００６９】
ステップ５５の間、判定ユニット２５は、中間ピクチャのピクチャの一部分５４の符号化モードを決定する。
【００７０】
ステップ５６の間、符号化ユニット２６は、分割及び動きベクトルを含めて、符号化モードに関する符号化の判定を符号化する。
【００７１】
ステップ６４の間、補償ユニット２８は、ピクチャの一部分５２と同じ位置に位置される特性マップ６６の第一の部分と、ピクチャの一部分９８と同じ位置に位置される特性マップ１００の第二の部分を決定する。
【００７２】
一部分６６は、キーピクチャ１２の特性マップ６０に含まれ、一部分１００は、キーピクチャ１４の特性マップ１０１に含まれる。ステップ６４の間、ピクチャの一部分６６は、第一の動きベクトルV1を使用して動き補償され、動き補償された特性マップの一部分７２が取得される。
【００７３】
同様に、特性マップ１００の一部分は、第二の動きベクトルV2を使用して動き補償され、動き補償された特性マップの第二の部分１０２が取得される。
【００７４】
ステップ６８において、補償ユニット２８は、動き補償された特性マップの一部分７２の特性レベルS12、及び動き補償された特性マップの一部分１０２のレベルS14を決定する。
【００７５】
次いで、ユニット２８は、特性マップの一部分の特性レベルS12と特性マップ１０２の一部分の特性レベルS14との間の最大の特性レベルをサーチする。この最大の特性レベルは、ステップ７０の間に、符号化方法を選択するために予め定義された特性レベルS1に比較される。
【００７６】
変形例では、レベルS12，S14の平均の特性レベルは、比較ステップのために考慮される。
【００７７】
次いで、中間ピクチャ１６のピクチャの一部分は、ピクチャの一部分５２及び９８の重み付け総和により、第一のキーピクチャ１２及び第二のキーピクチャ１４からステップ７４及び７８で符号化され、前記重み付けは、特性マップの一部分６６及び１００の特性レベルS12，S14に従う。
【００７８】
たとえば、以下の式が適用される。
【００７９】
【数２】
2011519220.tif 000004
ここで（ｘ,ｙ）は、（中間ピクチャ１６における）予測されたピクチャの一部分におけるある画素の座標を示し、pred0[]及びpred1[]は、一部分５２及び９８の予測部分を構成し、S12及びS14は、一部分５２及び９８の特性レベルを表す。
【００８０】
変形例として、更なる重み付けW0は、一部分５２の予測部分に適用され、更なる重み付けW1は、W0+X1=A1により一部分９８の予測部分に適用される。これらの重み付けW0，W1は、たとえばキーピクチャ１２と中間ピクチャ１６との間の距離、従って中間ピクチャ１６とキーピクチャ１４の間の距離の関数である。この距離は、これらのピクチャ間に組み込まれるピクチャの数を表す。
【００８１】
この場合、先の式は以下のようになる。
【００８２】
【数３】
2011519220.tif 000005
特性レベルS12及びS14は、それぞれのピクチャの一部分について定義される。変形例として、それぞれのピクチャの一部分のそれぞれの画素の特性レベルは、それぞれの中間ピクチャのピクチャの一部分を符号化及び復号化するために考慮される。
【００８３】
本発明の別の態様によれば、中間ピクチャは、所定の場合に、他の中間ピクチャの符号化について参照としての役割を果たす。
【００８４】
この場合、図７及び図８を参照して、中間ピクチャ１８のピクチャ部分１１６の符号化方法が考慮される。
【００８５】
第一のステップ１０６において、予測ユニット１９は、第二の中間ピクチャ１８のピクチャの一部分１１６から第一の中間ピクチャ１６のピクチャの一部分１１８を示す動きベクトルＶ５を予測する。
【００８６】
ステップ１０８の間、第一の方法に従って符号化された画素の数Ｎ１は、第一の中間ピクチャ１６のピクチャの一部分１１８において数えられる。
【００８７】
ステップ１１０の間、第一の方法に従って符号化された画素の数Ｎ１は、閾値Ｎminに比較される。Ｎ１がＮminよりも大きい場合、第一の符号化方法は、ピクチャの一部分１１６の符号化について選択される。Ｎ１がＮminよりも大きくない場合、動きベクトルが有効であると考慮されず、中間ピクチャ１６からのピクチャの一部分１１６の予測及び符号化のために使用されない。
【００８８】
コーダ（及び従ってデコーダ）は、動きベクトルが示している中間ピクチャのピクチャの一部分が第一の方法に従って符号化された画素の十分な数を含む場合を除いて、中間ピクチャに対する予測を使用することができない。この場合、第一の符号化方法は、単一方向モード又は双方向モードの何れかに適用される（別のキーピクチャ又は中間ピクチャからの別予測子が使用される必要がある）。
【００８９】
図２を参照して、本発明に係るデコーダ３４は、たとえばコーダ２により符号化されるバイナリストリーム１０を受ける入力３６、たとば２つのキーピクチャ１２，１４及び中間ピクチャ１６，１８を含むグループオブピクチャを生成する出力３８を有する。
【００９０】
デコーダ３４は、キーピクチャ１２，１４を表す圧縮されたデータを復号化する復号化ユニット４０、及び中間ピクチャの動きデータ（分割、ベクトル、参照画像）を表す圧縮されたデータを復号化する復号化ユニット４２を有する。復号化ユニット４０は、入力３６及び出力３８に接続される。復号化ユニット４２は、入力３６及び復号化ユニット４０に接続される。
【００９１】
また、デコーダ３４は、中間ピクチャの動きデータ（分割、ベクトル、参照画像）を表す圧縮されたデータを復号化する復号化ユニット４２を有する。
【００９２】
復号化ユニット４０は、入力３６及び出力３８に接続される。復号化ユニット４２は、入力３６及び復号化ユニット４０に接続される。また、デコーダ３４は、復号化されたキーピクチャ１２，１４の特性マップを計算する計算ユニット４４、及び、中間ピクチャのピクチャの一部分の特性レベルを決定するためにキーピクチャの特性マップの一部分を動き補償する動き補償ユニット４６を有する。
【００９３】
計算ユニット４４は、復号化ユニット４０に接続される。補償ユニット４６は、計算ユニット４４及び復号化ユニット４２に接続される。
【００９４】
また、デコーダ３４は、補償ユニット４６に接続される中間ピクチャのピクチャの一部分を復号化する復号化方法を選択する選択ユニット４８、入力３６、選択ユニット４８及び出力３８に接続される中間ピクチャを再構成する再構成ユニット４９を有する。
【００９５】
選択ユニット４８は、中間ピクチャのピクチャの一部分について、動き補償された特性マップの一部分の特性レベルSを分析し、特性レベルに従って中間ピクチャのこれらのピクチャの一部分に復号化方法を選択する。
【００９６】
再構成ユニット４９は、少なくとも第一及び第二の復号化方法のうちから選択された方法に従って中間ピクチャ１６，１８を復号化する。
【００９７】
これら復号化方法は、勿論、H.264標準に基づく復号化方法又はSVC標準に基づく復号化方法の何れかである、コーダ２で使用される符号化方法の逆の処理に対応する。
【００９８】
代替的に、他の復号化方法が使用される。
【００９９】
図５を参照して、単方向予測による中間ピクチャ１６のピクチャの一部分５４を復号化する復号化方法は、キーピクチャの再構成ステップ８２及びキーピクチャの特性マップの計算ステップ８３で開始する。
【０１００】
ピクチャの一部分５４を復号化する復号化方法は、ステップ８４に進み、ここで復号化ユニット４２は、復号化モード、ピクチャの一部分の分割情報、及び中間ピクチャ１６，１８とキーピクチャ１２，１４の間で定義される動きベクトルを復号化する。
【０１０１】
ステップ８８の間、補償ユニット４６は、図４に示されるように動きベクトルV1が示すキーピクチャの一部分５２と同じ位置で位置される特性マップ６６の一部分を決定し、動きベクトルのサブピクセル精度のレベルを考慮してこの一部分６６から一部分７２を補間する。
【０１０２】
ステップ９０は、動き補償された特性マップの一部分７２の特性レベルSを決定する。
【０１０３】
ステップ９２の間、選択ユニット４８は、予め定義された特性レベルS1を動き補償された特性マップの一部分７２の特性レベルSと比較する。
【０１０４】
一部分７２の特性レベルSが予め定義された特性レベルS1よりも大きいとき、選択ユニット４８は、ピクチャの一部分５４を再構成するために第一の復号化方法を選択する。
【０１０５】
この第一の復号化方法は、ステップ７４で使用される第一の符号化方法に対応する。
【０１０６】
ピクチャの一部分５４は、ステップ９４の間に第一の復号化方法を使用して再構成される。
【０１０７】
一部分７２の特性レベルSが予め定義された特性レベルS1よりも小さいとき、ピクチャの一部分５４は、ステップ７８で使用される第二の符号化方法に対応する第二の復号化方法に従ってステップ９６の間に復号化される。
【０１０８】
図５を参照して、双方向予測方法に従って符号化される中間ピクチャのピクチャの一部分の再構成の間、ステップ８２〜８８は、第一の動きベクトルV1及び第二の動きベクトルV2について実現される。
【０１０９】
次いで、ステップ９０の間、補償ユニット２８は、第一の動きベクトルV1を使用して動き補償された特性マップの一部分７２の特性レベルS12及び第二の動きベクトルV2を使用して動き補償された特性マップの一部分１０２の特性レベルS14を決定する。
【０１１０】
次いで、最大の特性レベルは、特性レベルS12と特性レベルS14の間でサーチされる。この特性レベルは、ステップ９２の間、中間ピクチャ１６の復号化方法を選択するため、予め定義された特性レベルS1と比較される。
【０１１１】
予測ピクチャの第一の一部分５４と予測ピクチャの第二の一部分５４’が再構成され、ピクチャの一部分は、特性レベル及び／又は距離を使用して第一の予測されたピクチャの一部分５４及び第一の予測されたピクチャの一部分５４’の重み付けされた平均から計算される。
【０１１２】
同時に、このように符号化された中間ピクチャの再構成の間、復号化方法は、以下のステップを有する。第二の中間ピクチャ１８の一部分１１６から第一の復号化された中間ピクチャ１６の一部分１１８の少なくとも１部を示す動きベクトルを復号化するステップ。第一の符号化方法により第一の中間ピクチャの一部分を使用して第二の中間ピクチャ１８の一部分１１６を再構成するステップ。
【０１１３】
変形例として、符号化及び復号化方法は、幾つかの予め定義された特性レベルS1，S2，S3及びたとえば異なる動きベクトルの解像度を提供する幾つかの符号化方法を有することができる。
【図１】
2011519220.tif 000006
【図２】
2011519220.tif 000007
【図３】
2011519220.tif 000008
【図４】
2011519220.tif 000009
【図５】
2011519220.tif 000010
【図６】
2011519220.tif 000011
【図７】
2011519220.tif 000012
【図８】
2011519220.tif 000013
【国際調査報告】
2011519220.tif 000014
2011519220.tif 000015
2011519220.tif 000016
2011519220.tif 000017
2011519220.tif 000018
2011519220.tif 000019