(57)【要約】      （修正有）【課題】階層符号化における予測マクロブロックの生成方法を提供する。【解決手段】画像データ・マクロブロック（MBEL）は向上層に属しており、前記画像データ・マクロブロック（MBEL）には基本層において画像データ・ブロック（BBL）が対応している。前記画像データ・マクロブロック（MBEL）について、以前に符号化され、再構成された前記基本層の画像データ・ブロックから画像データの予測マクロブロック（MBpred）を生成するステップと、前記予測マクロブロック（MBpred）および向上層の画像データ・マクロブロックMBELから残差のマクロブロック（MBELresidues）を生成する。前記基本層の画像データ・ブロックは、対応するブロック（BBL）とは別である。【選択図】図３
2008104188.tif 000002
【特許請求の範囲】
【請求項１】
基本層および少なくとも一つの向上層の形で呈示される画像の系列の画像データ・マクロブロック（MBEL）を符号化する方法であって、前記画像データ・マクロブロック（MBEL）は前記向上層に属しており、前記画像データ・マクロブロック（MBEL）には前記基本層において画像データ・ブロック（BBL）が対応しており、そのブロックは対応するブロックと呼ばれ、当該方法は：
・前記画像データ・マクロブロック（MBEL）について、以前に符号化され（Ｅ７０）、再構成された（Ｅ７１）前記基本層の画像データの一ブロックないし数ブロックから画像データの予測マクロブロック（MBpred）を生成する（Ｅ７２、Ｅ７３、Ｅ７４）ステップと、
・前記予測マクロブロック（MBpred）および向上層の画像データ・マクロブロック（MBEL）から残差のマクロブロック（MBELresidues）を生成する（Ｅ７４）ステップと、
・前記残差のマクロブロック（MBELresidues）を符号化するステップとを有しており、
前記予測マクロブロック（MBpred）が、対応するブロック（BBL）とは違う基本層の画像データのブロックからのみ生成されることを特徴とする方法。
【請求項２】
基本層の画像データの前記ブロックが、前記対応するブロック（BBL）に隣接する、請求項１記載の方法。
【請求項３】
基本層の画像データの前記ブロックが、前記対応するブロック（BBL）の非因果的な近隣領域に位置するものである、請求項１記載の方法。
【請求項４】
前記予測マクロブロック（MBpred）が、
・前記対応するブロック（BBL）の左下にあるブロック；
・前記対応するブロック（BBL）の右下にあるブロック；
・前記対応するブロック（BBL）のすぐ右にあるブロック；および
・前記対応するブロック（BBL）のすぐ下にあるブロック、
からなる集合に属する基本層の画像データの一ブロックないし数ブロックから生成される、請求項３記載の方法。
【請求項５】
基本層および少なくとも一つの向上層の形で呈示される画像の系列を符号化する装置（ENC2）であって、前記向上層は少なくとも一つの画像データ・マクロブロック（MBEL）を含んでおり、前記画像データ・マクロブロック（MBEL）には前記基本層においてブロック（BBL）が対応しており、そのブロックは対応するブロックと呼ばれ、当該装置（ENC2）は、前記基本層の画像データ・ブロックを符号化するための第一の符号化モジュール（ENC_BL1）と、前記向上層の画像データ・マクロブロックを符号化するための第二の符号化モジュール（ENC_EL2）とを有しており、該第二の符号化モジュール（ENC_EL2）は：
・前記向上層の画像データの前記マクロブロック（MBEL）について、前記第一の符号化モジュール（ENC_BL1）によって以前に符号化され、再構成された前記基本層の画像データの一ブロックないし数ブロックから予測マクロブロック（MBpred）を生成する第一の手段（２０、２５）と、
・前記予測マクロブロック（MBpred）および向上層の画像データ・マクロブロック（MBEL）から残差のマクロブロック（MBELresidues）を生成する第二の手段（３０）と、
・前記残差のマクロブロック（MBELresidues）を符号化する第三の手段（４０）とを有しており、
前記第一の手段（２０、２５）が、前記予測マクロブロック（MBpred）を、対応するブロック（BBL）とは違う基本層の画像データのブロックからのみ生成するよう適応されていることを特徴とする、装置。
【請求項６】
基本層および少なくとも一つの向上層の形で呈示される画像の系列を表すビットストリームの一部を、前記向上層の画像データ・マクロブロック（MBELrec）の再構成のために復号する方法であって、前記画像データ・マクロブロック（MBELrec）には基本層において画像データ・ブロックが対応しており、そのブロックは対応するブロックと呼ばれ、当該復号方法は：
・前記画像データ・マクロブロック（MBELrec）について、前記画像データ・ブロックを表すビットストリームの第一の部分から以前に再構成された（Ｅ８０）前記基本層の画像データの一ブロックないし数ブロックから予測マクロブロック（MBpred）を生成する（Ｅ８１、Ｅ８２、Ｅ８２′）ステップと、
・残差のマクロブロックを表す前記ビットストリームの第二の部分から該残差のマクロブロック（MBELres_rec）を再構成する（Ｅ８３、Ｅ８３′）ステップと、
・前記予測マクロブロック（MBpred）および前記再構成された残差のマクロブロック（MBELres_rec）から前記向上層の前記マクロブロック（MBELrec）を再構成する（Ｅ８４）ステップとを有しており、
前記予測マクロブロック（MBpred）が、対応するブロック（BBL）とは違う基本層の画像データのブロックからのみ生成されることを特徴とする、方法。
【請求項７】
基本層および少なくとも一つの向上層の形で呈示される画像の系列を表すビットストリームの復号装置（DEC）であって、前記基本層の画像データ・ブロックを再構成するよう適応された第一の復号モジュール（DEC_BL）と、前記向上層の画像データ・マクロブロックを再構成するよう適応された第二の復号モジュール（DEC_EL）とを有しており、前記第二の復号モジュール（DEC_EL）は：
・対応するブロックと呼ばれる前記基本層の画像データ・ブロックが対応する前記向上層の画像データ・マクロブロック（MBELrec）について、該画像データ・ブロックを表す前記ビットストリームの第一の部分から前記第一の復号モジュール（DEC_BL）によって以前に再構成された画像データの一ブロックないし数ブロックから予測マクロブロック（MBpred）を生成する第一の手段（５０、６０）と、
・残差のマクロブロックを表す前記ビットストリームの第二の部分から残差のマクロブロック（MBELres_rec）を再構成する第二の手段（７０）と、
・前記予測マクロブロック（MBpred）および前記再構成された残差のマクロブロック（MBELres_rec）から前記画像データ・マクロブロック（MBELrec）を再構成する第三の手段（８０）とを有しており、
前記第一の手段（２０、２５）が、前記予測マクロブロック（MBpred）を、対応するブロック（BBL）とは違う基本層の画像データのブロックからのみ生成するよう適応されていることを特徴とする、復号装置。
【請求項８】
基本層および少なくとも一つの向上層の形で呈示される画像の系列を表す符号化されたデータ・ストリームであって、前記向上層の画像データ・マクロブロック（MBEL）に関連する二値データを含んでおり、該画像データ・マクロブロック（MBEL）には前記基本層の画像データ・ブロック（BBL）が対応しており、前記二値データは、前記マクロブロック（MBEL）が、対応するブロック（BBL）とは違う基本層の画像データのブロックからのみ符号化されていることを示すものであることを特徴とする、データ・ストリーム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の系列をスケーラブル形式で符号化する装置に関する。本発明はまた、画像の系列の再構成のためにスケーラブル・ビットストリームを復号する装置にも関する。本発明はまた、画像の系列をスケーラブル形式で符号化するための使用のために画像データ・マクロブロックを符号化する方法および画像の系列のマクロブロックの再構成のためにスケーラブル・ビットストリームの一部を復号する方法にも関する。
【背景技術】
【０００２】
図１を参照すると、符号化装置ENC1は、基本層（BL:  base  layer）および少なくとも一つの向上層（EL:  enhancement  layer）の形で呈示される画像の系列がスケーラブル形式で符号化されることを可能にする。BL層の画像は一般にEL層の画像のサブサンプリングされたバージョンである。符号化装置ENC1は、BL層を符号化するための第一の符号化モジュールENC_BL1およびEL層を符号化するための第二の符号化モジュールENC_EL1を有する。一般に、符号化装置ENC1は、符号化モジュールENC_BL1およびENC_EL1によって生成されたビットストリームを多重化するために符号化モジュールENC_BL1およびENC_EL1に接続されたモジュールMUXをも有する。多重化モジュールMUXは符号化装置ENC1の外部であってもよい。
【０００３】
一般に、第一の符号化モジュールENC_BL1はBL層の画像データ・ブロックを、たとえばMPEG-2、MPEG-4  AVC、H.261、H.262、H.263といった、ビデオ符号化器の技術分野の当業者に知られたビデオ符号化規格に従って符号化する。
【０００４】
EL層の画像間の空間的な冗長性を減らすため、第二の符号化モジュールENC_EL1は、EL層の画像データ・マクロブロックを標準的な符号化様式に従って符号化するよう適応されている。標準的な符号化様式とはたとえば、前記画像データ・マクロブロックをEL層の他の画像データ・マクロブロックから時間的または空間的に予測することによるものである。図２を参照すると、第二の符号化モジュールENC_EL1は、MBELと記されるEL層のイントラ型の画像データ・マクロブロックを、前記マクロブロックMBELの空間的近隣ブロックでありかつ、それまでに符号化され、次いで再構成された画像データ・マクロブロック（たとえばＡ、Ｂ、Ｃ、Ｄ）から予測および符号化できる。たとえば、マクロブロックMBELは、MPEG-4  AVC規格によって定義されているような同じ型の標準的なイントラ・モードに従って予測および符号化される。MPEG-4  AVC規格は、“Information  technology―Coding  of  audio-visual  objects―Part10:  Advanced  Video  Coding”と題する文書ISO/IEC14496-10にある。さらに、BL層の画像とEL層の画像との間の冗長性を減らすために、第二の符号化モジュールENC_EL1は、「層間（inter-layer）」として知られる符号化モードに従ってBL層の画像データからEL層の画像データ・マクロブロックを符号化するようにも適応される。第二の符号化モジュールENC_EL1はまた、以前に符号化され、再構成され、次いでマクロブロックMBELUPとしてアップサンプリングされた、対応する基本層の画像データ・ブロックBBLから（すなわちイントラBLと書かれる層間イントラ・モードに従って）前記画像データ・マクロブロックMBELを予測および符号化することもできる。
【０００５】
再び図１を参照すると、第二の符号化モジュールENC_EL1は伝統的には、EL層の所与のマクロブロックについて、所定の選択基準に従って符号化モード（たとえばイントラBLモード）を選択するよう適応されている。この選択は、たとえばレート‐ひずみ型の基準を基礎として実行される。すなわち、選択されるモードは、ビットレートと画質の最良の妥協を提供するモードである。図１にはイントラBLモードでEL層の画像データ・マクロブロックを符号化するのに必要とされるENC_BL1およびENC_EL1モジュールしか示していない。この図に示されていない、ビデオ符号化器の当業者によく知られた他のモジュール（たとえば動き推定モジュール）によって、EL層のマクロブロックは、ISO/IEC14496-10文書で定義されるような標準的な諸モード（たとえばイントラ、インターなど）に従って符号化できるようになる。この目的のため、第二の符号化モジュールENC_EL1は、第一の符号化モジュールENC_BL1によって再構成された（reconstructed）画像データ・ブロックBBLrecを、たとえば双線形補間によって、アップサンプリングするためのモジュール２０を含む。これにより得られるのがアップサンプリングされた画像データ・マクロブロックMBBLUPであり、これは予測マクロブロックとも呼ばれる。第二の符号化モジュールENC_EL1は、向上層MBELの画像データ・マクロブロックからピクセルごとに予測マクロブロックMBELUPを引き算するよう適応されているモジュール３０をも含む。よって、モジュール３０は、MBELresiduesと記される残差のマクロブロックを生成し、この残差マクロブロックが次いでモジュール４０によって変換され、量子化され、符号化される。画像データは伝統的に各ピクセルに割り当てられた輝度または色度の値である。
【０００６】
一般に、符号化装置ENC1は、マクロブロックMBELがイントラBLモードで符号化されることを、BL層の対応するブロックBBLがイントラ・モードで符号化されていない、すなわちインター・モードで符号化されている場合には、許容しない。そのような制限は、EL層の再構成前にBL層の全体的な再構成をしないようにすることを可能にし、符号化装置ENC1によって生成されるビットストリームを復号する復号装置の複雑さを軽減することを可能にもする。実際、符号化装置ENC1がマクロブロックMBELをイントラBLモードで符号化する一方、対応するブロックBBLがインター・モードで符号化されるとすると、マクロブロックMBELを再構成するよう適応されている復号装置は、まずインター・モードで符号化されているブロックBBLを再構成しなければならない。この符号化装置ENC1は、逆動き補償を動作させなければならないという欠点がある。だがこの逆動き補償の運用は複雑である。さらに、対応するブロックBBLがインター・モードで符号化されているときにマクロブロックMBELがイントラBLモードで符号化されることを許容しない符号化装置ENC1は、EL層の画像データとBL層の画像データとの間の冗長性をEL層符号化のために十分に利用しないという欠点がある。
【特許文献１】WO2006/080779A（Samsung  Electronics  Co.  Ltd.  [KR];  Cha  Sang-chang  [KR];  Han  Woo-jin  [KR]）2006年8月3日（段落００４３〜００７２、００９２〜０１０１、図５、６、１４）
【非特許文献１】Joseph  K  et  al.,“Design  and  performance  evaluation  of  a  variable  bit-rate  (VBR)  video  compression  algorithm  for  ATM  networks”,  Countdown  to  the  New  Millennium,  Phoenix,  Dec.  2-5,  1991,  Proceedings  of  the  Global  Telecommunications  Conference  (GLOBECOM),  New  York,  IEEE,  US,  vol.  3,  1991年12月2日  pp.9-15（頁1.2.2〜1.2.3、段落II）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、従来技術の少なくとも一つの欠点を克服することである。
【課題を解決するための手段】
【０００８】
本発明は、基本層および少なくとも一つの向上層の形で呈示される画像の系列の画像データ・マクロブロックを符号化する方法に関する。前記画像データ・マクロブロックは前記向上層に属しており、前記画像データ・マクロブロックには基本層において画像データ・ブロックが対応しており、そのブロックは対応するブロックと呼ばれる。本方法は、次のステップを有する：
・前記画像データ・マクロブロックについて、以前に符号化され、再構成された基本層の画像データの一ブロックないし数ブロックから画像データの予測マクロブロックを生成するステップと、
・前記予測マクロブロックおよび向上層の画像データ・マクロブロックMBELから残差のマクロブロックを生成するステップと、
・前記残差のマクロブロックを符号化するステップとである。
好ましくは、前記予測マクロブロックは、対応するブロックとは異なる基本層の画像データのブロックからのみ生成される。
【０００９】
ある個別的な特徴によれば、前記予測マクロブロックを生成するために使われる基本層の画像データ・ブロックは、対応するブロックに隣接するものである。
【００１０】
別の個別的な特徴によれば、前記予測マクロブロックを生成するために使われる基本層の画像データ・ブロックは、対応するブロックの非因果的な近隣領域に位置するものである。
【００１１】
別の個別的な特徴によれば、前記予測マクロブロックは、
・対応するブロック（BBL）の左下にあるブロック；
・対応するブロック（BBL）の右下にあるブロック；
・対応するブロック（BBL）のすぐ右にあるブロック；および
・対応するブロック（BBL）のすぐ下にあるブロック、
からなる集合に属する基本層の画像データの一ブロックないし数ブロックから生成される。
【００１２】
本発明はまた、基本層および少なくとも一つの向上層の形で呈示される画像の系列を符号化する装置に関する。向上層は少なくとも一つの画像データ・マクロブロックを含んでおり、前記画像データ・マクロブロックには基本層においてブロックが対応しており、そのブロックは対応するブロックと呼ばれる。本装置は、基本層の画像データ・ブロックを符号化するための第一の符号化モジュールと、向上層の画像データ・マクロブロックを符号化するための第二の符号化モジュールとを有する。第二の符号化モジュールは：
・向上層の前記画像データ・マクロブロックについて、第一の符号化モジュールによって以前に符号化され、再構成された基本層の画像データの一ブロックないし数ブロックから予測マクロブロックを生成する第一の手段と、
・前記予測マクロブロックおよび向上層の画像データ・マクロブロックから残差のマクロブロックを生成する第二の手段と、
・前記残差のマクロブロックを符号化する第三の手段とを有する。
有利には、前記第一の手段は、前記予測マクロブロックを、対応するブロックとは異なる基本層の画像データのブロックからのみ生成するよう適応される。
【００１３】
本発明はまた、基本層および少なくとも一つの向上層の形で呈示される画像の系列を表すビットストリームの一部を、向上層の画像データ・マクロブロックの再構成のために復号するための方法にも関する。前記画像データ・マクロブロックには基本層において画像データ・ブロックが対応しており、そのブロックは対応するブロックと呼ばれる。本方法は、次のステップを有する：
・前記画像データ・マクロブロックについて、前記画像データ・ブロックを表すビットストリームの第一の部分から以前に再構成された基本層の画像データの一ブロックないし数ブロックから予測マクロブロックを生成するステップと、
・残差のマクロブロックを表す前記ビットストリームの第二の部分から残差のマクロブロックを再構成するステップと、
・前記予測マクロブロックおよび前記再構成された残差のマクロブロックから向上層のマクロブロックを再構成するステップとである。
好ましくは、前記予測マクロブロックは、対応するブロックとは異なる基本層の画像データのブロックからのみ生成される。
【００１４】
本発明はまた、基本層および少なくとも一つの向上層の形で呈示される画像の系列を表すビットストリームを復号する装置にも関する。本装置は、基本層の画像データ・ブロックを再構成するよう適応された第一の復号モジュールと、向上層の画像データ・マクロブロックを再構成するよう適応された第二の復号モジュールとを有する。第二の復号モジュールは：
・対応するブロックと呼ばれる基本層の画像データ・ブロックが対応する向上層のある画像データ・マクロブロックについて、前記画像データ・ブロックを表すビットストリームの第一の部分から第一の復号モジュールによって以前に再構成された基本層の画像データの一ブロックないし数ブロックから予測マクロブロックを生成する第一の手段と、
・残差のマクロブロックを表す前記ビットストリームの第二の部分から残差のマクロブロックを再構成する第二の手段と、
・前記予測マクロブロックおよび前記再構成された残差のマクロブロックから画像データ・マクロブロックを再構成する第三の手段とを有する。
有利には、前記第一の手段は、前記予測マクロブロックを、対応するブロックとは異なる基本層の画像データのブロックからのみ生成するよう適応される。
【００１５】
本発明はまた、基本層および少なくとも一つの向上層の形で呈示される画像の系列を表す符号化されたデータ・ストリームに関する。該符号化されたデータ・ストリームは、向上層のある画像データ・マクロブロックに関連するバイナリー・データを含む。該画像データ・マクロブロックには基本層の画像データ・ブロックが対応する。ある個別的な特徴によれば、バイナリー・データは、前記マクロブロックが、対応するブロックとは異なる基本層の画像データのブロックからのみ符号化されていることを示す。
【００１６】
符号化されたデータ・ストリームはたとえばMPEG型のシンタックスに従っている。
【００１７】
本発明は、付録として添付された図面を参照しつつ、決して限定的なものではない有利な実施形態および実装によってよりよく理解され、解説される。
【発明を実施するための最良の形態】
【００１８】
本記載において、使用される用語は次の規格において定義されているものに対応する：MPEG-4  AVC（ISO/IEC14496-10）およびSVC（ISO/IEC  MPEG&ITU-T  VCEG  JVT-R202で、“Draft  of  the  Joint  Draft  7”と題する）。同様に、使用される数学的演算子はISO/IEC14496-10で定義されているものである。演算子>>は右へのシフトを示す。図３および図６ないし図１０で、示されているモジュールは機能的なユニットであり、物理的に区別可能なユニットに対応していても、いなくてもよい。たとえば、これらのモジュールあるいはその一部は単一のコンポーネントにまとめられることができ、あるいは同一のソフトウェアの機能をなすこともできる。逆に、一部のモジュールは別個の物理的実体からなっていてもよい。これらの図面は本発明の本質的な構成要素のみを示す。
【００１９】
図３を参照するに、本発明は、基本層および少なくとも一つの向上層の形で呈示される画像の系列を符号化する方法による使用を視野に、画像データ・マクロブロックMBELを符号化する方法に関する。画像データ・マクロブロックMBELはEL層のマクロブロックである。本発明に基づく符号化方法は、MPEG4  AVC符号化規格で定義されているような標準的な符号化モードに従ってマクロブロックMBELを符号化するよう適応されている。本方法はまた、ブロックBBLがイントラ・モードで符号化されている場合、BL層の対応するブロックBBLから層間モードにおいて（すなわちイントラBLモードで）マクロブロックMBELを符号化するようにも適応されている；イントラBLモードは、対応するブロックBBLがインター・モードで符号化されている場合には許容されない。本発明によれば、図４を参照するに、本方法はまた、マクロブロックMBELを、BL層のブロックBBLに近隣の、すなわち対応するブロックBBLとは異なる画像データ・ブロック（たとえばｅ、ｆ、ｇ、ｈ）から層間モードで符号化するようにも適応される。図４では、ブロックｅ、ｆ、ｇ、ｈはブロックBBLに隣接しており、ブロックBBLの非因果的な近隣領域に位置している、すなわちブロックBBLのほうがブロックｈ、ｇ、ｆ、ｅが符号化されるより前に符号化される。一方、ブロックBBLに隣接するブロックａ、ｂ、ｃ、ｄはブロックBBLの因果的な近隣領域に位置している、すなわち、ブロックBBLが符号化されるより前に符号化される。「隣接（adjacent）」の語は、その近隣の（neighbouring）ブロックがブロックBBLと辺または角を共有することを含意する。
【００２０】
第一の実施形態によれば、次の４つのモードが定義される：イントラBL_DC、イントラBL_Vert、イントラBL_Hor、イントラBL_Planeである。これら新しい層間イントラ・モードは、マクロブロックMBELが、以前にステップＥ７０で符号化され、ステップＥ７１で再構成され、次いでステップＥ７２でアップサンプリングされた基本層の画像データ・ブロックｅ、ｆおよび／またはｇから符号化されることを可能にする。前記ブロックがアップサンプリングされたものはそれぞれeUP、fUPおよびgUPと記される。これら４つのモードは輝度画像データについて定義されるが、色度ブロックの場合にもただちに拡張されうる。マクロブロックMBELを予測するために使われる予測（prediction）マクロブロックをMBpredと記し、マクロブロック中の座標(x,y)のピクセルに関連付けられた輝度値を、xがマクロブロック中のピクセルの水平位置を示し、yが垂直位置を示すものとして、MBpred[x,y]と記す。同様に、マクロブロックeUP中の座標(x,y)のピクセルに関連付けられた輝度値をeUP[x,y]、マクロブロックgUP中の座標(x,y)のピクセルに関連付けられた輝度値をgUP[x,y]およびマクロブロックfUP中の座標(x,y)のピクセルに関連付けられた輝度値をfUP[x,y]と記す。ピクセル・ブロックの左上のピクセルが座標(0,0)を有し、右下のピクセルはブロックのサイズをNとして座標(N−1,N−1)を有し、座標(x,y)のピクセルはブロックの列x、行yに位置する。たとえばレート‐ひずみ型の所定の基準に基づいて以前に定義された符号化モードをcod_modeで示す。マクロブロックMBELは、選択された符号化モードcod_modeに従ってマクロブロックeUP、fUPおよび／またはgUPからステップＥ７３において構築される予測マクロブロックMBpredを使って予測される。ステップＥ７４の間に、予測マクロブロックMBpredが向上層の画像データ・マクロブロックMBELからピクセルごとに引き算される。このステップＥ７４は、MBELresiduesと記される残差のマクロブロックを生成する。この残差のマクロブロックは次いでステップＥ７５の間に変換され、量子化され、符号化される。ステップＥ７５はビットストリーム、すなわち一連のビットを生成する。
【００２１】
本発明によれば、マクロブロックMBELがイントラBL_DCモードで符号化される場合、すなわちcod_mode＝イントラBL_DCの場合、マクロブロックMBpredは次のように構築される：
・MBpredを構築するために使われるブロックe  UPおよびg  UPのピクセルが利用可能である、すなわち使われるピクセルが画像外でない場合には：
【００２２】
【数１】
2008104188.tif 000003
・上記の場合以外で、MBpredを構築するために使われるブロックg  UPのピクセルが利用可能でない場合には：
【００２３】
【数２】
2008104188.tif 000004
・上記の場合以外で、MBpredを構築するために使われるブロックe  UPのピクセルが利用可能でない場合には：
【００２４】
【数３】
2008104188.tif 000005
・上記の場合以外には：
MBpred[x,y]＝128,    ここでx,y＝0..15である。
【００２５】
マクロブロックMBELがイントラBL_Vertモードで符号化される場合、すなわちcod_mode＝イントラBL_Vertの場合、マクロブロックMBpredは次のように構築される：
・MBpredを構築するために使われるブロックg  UPのピクセルが利用可能である、すなわち使われるピクセルが画像外でない場合には：
MBpred[x,y]＝gUP[x,0],    ここでx,y＝0..15
・上記以外の場合にはこのモードは許容されない。
【００２６】
マクロブロックMBELがイントラBL_Horモードで符号化される場合、すなわちcod_mode＝イントラBL_Horの場合、マクロブロックMBpredは次のように構築される：
・MBpredを構築するために使われるブロックe  UPのピクセルが利用可能である、すなわち使われるピクセルが画像外でない場合には：
MBpred[x,y]＝eUP[0,y],    ここでx,y＝0..15
・上記以外の場合にはこのモードは許容されない。
【００２７】
マクロブロックMBELがイントラBL_Planeモードで符号化される場合、すなわちcod_mode＝イントラBL_Planeの場合、マクロブロックMBpredは次のように構築される：
・MBpredを構築するために使われるブロックe  UP、fUPおよびgUPのピクセルが利用可能である、すなわち使われるピクセルが画像外でない場合には、gUP[16,0]＝fUP[0,0]およびeUP[0,16]＝fUP[0,0]と置き、次のようにする：
MBpred[x,y]＝(a＋b*(x−7)＋c*(y−7)),    ここでx,y＝0..15
ここで、・a＝16*(eUP[0,0]＋gUP[0,0])、b＝(5*H＋32)/64、c＝(5*V＋32)/64
【００２８】
【数４】
2008104188.tif 000006
・上記以外の場合にはこのモードは許容されない。
【００２９】
第二の実施形態によれば、前記４つのモード、イントラBL_DC、イントラBL_Vert、イントラBL_Hor、イントラBL_Planeの定義は、EL層の画像を再構成するために必ずしもBL層の画像を完全に再構成しなくてもよいように行われる。この層間イントラ・モードはマクロブロックMBELを、以前にステップＥ７０で符号化され、ステップＥ７１で再構成され、次いでステップＥ７２でアップサンプリングされた基本層の画像データ・ブロックe、fおよび／またはgから符号化することを可能にする。アップサンプリングされたブロックはそれぞれeUP、fUPおよびgUPと記されている。これら４つのモードは輝度画像データについて定義されるが、色度ブロックの場合にもただちに拡張されうる。マクロブロックMBELを予測するために使われる予測（prediction）マクロブロックをMBpredと記し、マクロブロック中の座標(x,y)のピクセルに関連付けられた輝度値を、xがマクロブロック中のピクセルの水平位置を示し、yが垂直位置を示すものとして、MBpred[x,y]と記す。同様に、マクロブロックeUP中の座標(x,y)のピクセルに関連付けられた輝度値をeUP[x,y]、マクロブロックgUP中の座標(x,y)のピクセルに関連付けられた輝度値をgUP[x,y]およびマクロブロックfUP中の座標(x,y)のピクセルに関連付けられた輝度値をfUP[x,y]と記す。ピクセル・ブロックの左上のピクセルが座標(0,0)を有し、右下のピクセルはブロックのサイズをNとして座標(N−1,N−1)を有し、座標(x,y)のピクセルはブロックの列x、行yに位置する。たとえばレート‐ひずみ型の所定の基準に基づいて以前に定義された符号化モードをcod_modeで示す。マクロブロックMBELは、選択された符号化モードcod_modeに従ってマクロブロックeUP、fUPおよび／またはgUPからステップＥ７３において構築される予測マクロブロックMBpredを使って予測される。ステップＥ７４の間に、予測マクロブロックMBpredが向上層の画像データ・マクロブロックMBELからピクセルごとに引き算される。このステップＥ７４は、MBELresiduesと記される残差のマクロブロックを生成する。この残差のマクロブロックは次いでステップＥ７５の間に変換され、量子化され、符号化される。ステップＥ７５はビットストリーム、すなわち一連のビットを生成する。この実施形態によれば、マクロブロックMBpredはステップＥ７３の間に、イントラ・モードで符号化されているBL層のブロックe、fおよび／またはgから一意的に構築される。
【００３０】
マクロブロックMBELがイントラBL_DCモードで符号化される場合、すなわちcod_mode＝イントラBL_DCの場合、マクロブロックMBpredは次のように構築される：
・MBpredを構築するために使われるブロックe  UPおよびg  UPのピクセルが利用可能である、すなわち使われるピクセルが画像外でなく、かつブロックeおよびgがイントラ・モードで符号化されている場合には：
【００３１】
【数５】
2008104188.tif 000007
・上記の場合以外で、MBpredを構築するために使われるブロックg  UPのピクセルが利用可能でない場合には：
【００３２】
【数６】
2008104188.tif 000008
・上記の場合以外で、MBpredを構築するために使われるブロックe  UPのピクセルが利用可能でない場合には：
【００３３】
【数７】
2008104188.tif 000009
・上記の場合以外には：
MBpred[x,y]＝128,    ここでx,y＝0..15である。
【００３４】
マクロブロックMBELがイントラBL_Vertモードで符号化される場合、すなわちcod_mode＝イントラBL_Vertの場合、マクロブロックMBpredは次のように構築される：
・MBpredを構築するために使われるブロックg  UPのピクセルが利用可能である、すなわち使われるピクセルが画像外でなく、かつブロックgがイントラ・モードで符号化されている場合には：
MBpred[x,y]＝gUP[x,0],    ここでx,y＝0..15
・上記以外の場合にはこのモードは許容されない。
【００３５】
マクロブロックMBELがイントラBL_Horモードで符号化される場合、すなわちcod_mode＝イントラBL_Horの場合、マクロブロックMBpredは次のように構築される：
・MBpredを構築するために使われるブロックe  UPのピクセルが利用可能である、すなわち使われるピクセルが画像外でなく、かつブロックeがイントラ・モードで符号化されている場合には：
MBpred[x,y]＝eUP[0,y],    ここでx,y＝0..15
・上記以外の場合にはこのモードは許容されない。
【００３６】
マクロブロックMBELがイントラBL_Planeモードで符号化される場合、すなわちcod_mode＝イントラBL_Planeの場合、マクロブロックMBpredは次のように構築される：
・MBpredを構築するために使われるブロックe  UP、fUPおよびgUPのピクセルが利用可能である、すなわち使われるピクセルが画像外でない場合には、gUP[16,0]＝fUP[0,0]およびeUP[0,16]＝fUP[0,0]と置き、次のようにする：
MBpred[x,y]＝(a＋b*(x−7)＋c*(y−7)),    ここでx,y＝0..15
ここで、・a＝16*(eUP[0,0]＋gUP[0,0])、b＝(5*H＋32)/64、c＝(5*V＋32)/64
【００３７】
【数８】
2008104188.tif 000010
・上記以外の場合にはこのモードは許容されない。
【００３８】
これら二つの実施形態は、有利なことに、BL層の対応するブロックBBLを符号化するモードに関わりなく、すなわちブロックBBLがイントラ・モードで符号化されているかインター・モードで符号化されているかに関わりなく、EL層のマクロブロックMBELの画像データを層間イントラ・モードに従って符号化することを可能にする。実際、前記二つの実施形態では、前記新たに定義された諸モードによれば、対応するブロックBBLは予測マクロブロックMBpredの構築に使われない。より精密には、予測マクロブロックMBpredは、対応するブロックBBLとは異なる基本層の画像データ・ブロックからのみ生成される。よって、本発明に基づく符号化方法は、BL層の画像データとEL層の画像データとの間の空間的冗長性を利用する度合いがより大きくなり、それによりEL層をより効率的に、すなわちより少数のビットで符号化する。さらに、前記二つの実施形態によれば、対応するブロックBBLの非因果的な近隣領域に位置するブロックe、f、gのみが予測マクロブロックMBpredを構築するために使われる。これは、追加されるモードの数を制限することによって、符号化方法の複雑さを制限する。ブロックe、f、gはブロックBBLの非因果的な近隣領域にあるので、マクロブロックMBELをEL層のマクロブロックＥ、Ｆ、ＧおよびＨ（図２参照）から空間的に予測することは、マクロブロックＥ、Ｆ、ＧおよびＨが非因果的な近隣領域に位置しているために、できない、という事実を克服するために使われる。さらに、図５に示されるように、マクロブロックＡ、Ｂ、Ｃ、ＤとマクロブロックMBELとの間に遷移（すなわち、基本層の輪郭Ｃ２が対応する輪郭Ｃ１）が存在する場合、それらはマクロブロックMBELをより精密に予測するために使うことができる。実際、MBELに近隣のマクロブロックＡ、Ｂ、Ｃ、Ｄから構築された予測マクロブロックMBpredはマクロブロックMBELを十分な精度で予測しない。この場合、マクロブロックMBELは符号化するのにビット数の面で非常にコスト高である。他方、ブロックｅ、ｆ、ｇおよびｈから構築される予測マクロブロックMBpredはマクロブロックMBELをより高い精度で予測する。この場合、マクロブロックMBELは符号化するのにビット数の面で以前の場合ほどコスト高ではない。色度値が関連付けられているピクセル・ブロックを予測し、符号化するためにも、類推によって同じ諸モード、イントラBL_DC、イントラBL_Vert、イントラBL_Hor、イントラBL_Planeが定義できる。
【００３９】
図６に示される第三の実施形態は、ISO/IEC  MPEG&ITU-T  VCEGの、J.  Reichel,  H.  Schwarz,  M.  Wienによる“Draft  of  the  Joint  Draft  7”と題するJVT-T005文書で定義されているSVC符号化規格の一部として提供される。図６に示される符号化方法のステップで図３に示される符号化方法と同一のものは、図６において同じ参照符号を使って指定されており、さらなる説明はしない。SVCによれば、マクロブロックMBELは、スケーラビリティに関するMPEG-4  AVC規格の拡張によって定義されるモード、イントラ16×16、イントラ4×4またはイントラ8×8に従って符号化されうる。この実施形態によれば、イントラ4×4BL、イントラ8×8  BLおよびイントラ16×16  BLと記される新しい符号化モードが定義され、マクロブロックMBELを符号化するために選択されることができる。マクロブロックMBELの新しいブロック予測モードも定義される。新しい層間イントラ・モード、イントラ4×4BL、イントラ8×8  BLおよびイントラ16×16  BLによりマクロブロックMBELが、以前にステップＥ７０で符号化され、ステップＥ７１で再構成され、次いでステップＥ７２でアップサンプリングされた基本層の画像データ・ブロックｅ、ｆ、ｇおよび／またはｈから符号化されることを可能にする。前記ブロックがアップサンプリングされたものはそれぞれeUP、fUP、ｇUPおよびhUPと記される。これらのモードは輝度画像データについて定義されるが、色度ブロックについてもただちに拡張されうる。マクロブロックMBELは、選択された符号化モードcod_modeおよび可能性としては前記マクロブロックMBELを形成するブロックのそれぞれの予測モードblc_mode(s)に従ってステップＥ７３′の間に構築される予測マクロブロックMBpredを使って予測される。ステップＥ７４の間に、予測マクロブロックMBpredが向上層の画像データ・マクロブロックMBELからピクセルごとに引き算される。このステップＥ７４は、MBELresiduesと記される残差のマクロブロックを生成する。この残差のマクロブロックは次いでステップＥ７５の間に変換され、量子化され、符号化される。ステップＥ７５はビットストリーム、すなわち一連のビットを生成する。
【００４０】
マクロブロックMBELがイントラ4×4BLモードで符号化される場合、4×4ブロックと記される4かける4のブロック16個のそれぞれは次のモードの一つに従って予測される：
Hier_Intra_4×4_Vertical_Up、Hier_Intra_4×4_Horizontal_Left、Hier_Intra_4×4_DC_Down_Right、Hier_Intra_4×4_Diagonal_Top_Right、Hier_Intra_4×4_Diagonal_Top_Left、Hier_Intra_4×4_Vertical_Up_Left、Hier_Intra_4×4_Horizontal_Top、Hier_Intra_4×4_Vertical_Up_RightおよびHier_Intra_4×4_Horizontal_Down_Left。
【００４１】
4×4ブロックのblc_modeとして記される予測モードの選択は、レート‐ひずみ型の基準に従ってなされうる。この選択は、マクロブロックの符号化cod_modeの選択と同時になされうる。マクロブロックMBELのうち、BELと記され、図１２に灰色で示される4×4ブロックを予測するために使われる予測ブロックをpred4×4Lと記し、予測ブロック中の座標(x,y)のピクセルに関連付けられた輝度値を、xがブロック中のピクセルの水平位置を示し、yが垂直位置を示すものとして、pred4×4L[x,y]と記す。予測ブロックの左上のピクセルが座標(0,0)を有し、右下のピクセルはブロックのサイズをNとして座標(N−1,N−1)を有し、座標(x,y)のピクセルはブロックの列x、行yに位置する。図１２を参照するに、第一の軸(X,Y)はブロックの左上のピクセルを原点とするブロックBELに関し、第二の軸(X′,Y′)はブロックBELの右下のピクセルを原点とするブロックBELに関する。x′＝3−x、y′＝3−yおよびp′[x′,y′]＝p[3−x′,3−y′]＝p[x,y]とおく。p[x,y]は第一の軸における座標(x,y)のピクセルに関する輝度値であり、p′[x′,y′]は第二の軸における座標(x′,y′)のピクセルに関する輝度値である。
【００４２】
マクロブロックMBELの各4×4ブロックに関連付けられた予測ブロックpred4×4Lは、予測マクロブロックMBpredを形成する。
【００４３】
マクロブロックMBELがイントラ4×4BLモードで符号化され、ブロックBELがモードHier_Intra_4×4_Vertical_Upに従って予測する場合、ブロックpred4×4Lは次のように構築される：
pred4×4L[x,y]＝p′[x′,−1]      ここで、x＝0..3およびy＝0..3
予測モードHier_Intra_4×4_Vertical_Upが許されるのは、ピクセルp′[x′,−1]が利用可能である、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロック（すなわちｅ、ｆ、ｇ、ｈ）から生成されたものである場合のみである。
【００４４】
マクロブロックMBELがイントラ4×4BLモードで符号化され、ブロックBELがモードHier_Intra_4×4_Horizontal_Leftに従って予測される場合、ブロックpred4×4Lは次のように構築される：
pred4×4L[x,y]＝p′[−1,y′]      ここで、x＝0..3およびy＝0..3
予測モードHier_Intra_4×4_Horizontal_Leftが許されるのは、ピクセルp′[−1,y′]が利用可能である、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックから生成されたものである場合のみである。
【００４５】
マクロブロックMBELがイントラ4×4BLモードで符号化され、ブロックBELがモードHier_Intra_4×4_DC_Down_Rightに従って予測される場合、ブロックpred4×4Lは次のように構築される：
・x＝0..3、y＝0..3としてピクセルp′[x′,−1]およびピクセルp′[−1,y′]が利用可能である場合、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックから生成されたものである場合、x＝0..3、y＝0..3として、値pred4×4L[x,y]は次のように決定される：
pred4×4L[x,y]＝(p′[0,−1]＋p′[1,−1]＋p′[2,−1]＋p′[3,−1]＋p′[−1,0]＋p′[−1,1]＋p′[−1,2]＋p′[−1,3]＋4)>>3
・上記以外の場合であって、x＝0..3としてピクセルp′[x′,−1]の一つが利用可能でなく、かつy＝0..3としてピクセルp′[−1,y′]はすべて利用可能である場合、x＝0..3、y＝0..3として値pred4×4L[x,y]は次のように決定される：
pred4×4L[x,y]＝(p′[−1,0]＋p′[−1,1]＋p′[−1,2]＋p′[−1,3]＋2)>>2
・上記以外の場合であって、y＝0..3としてピクセルp′[−1,y′]の一つが利用可能でなく、
かつx＝0..3としてピクセルp′[x′,−1]はすべて利用可能である場合、x＝0..3、y＝0..3として値pred4×4L[x,y]は次のように決定される：
pred4×4L[x,y]＝(p′[0,−1]＋p′[1,−1]＋p′[2,−1]＋p′[3,−1]＋2)>>
・上記以外の場合（x＝0..3としてピクセルp′[x′,−1]の一部およびy＝0..3としてピクセルp′[−1,y′]の一部が利用可能である場合）、x＝0..3、y＝0..3として値pred4×4L[x,y]は次のように決定される：
pred4×4L[x,y]＝(1<<(BitDepthY−1))
予測モードHier_Intra_4×4_DC_Down_Rightは常に使用できる。
【００４６】
マクロブロックMBELがイントラ4×4BLモードで符号化され、ブロックBELがモードHier_Intra_4×4_Diagonal_Top_Rightに従って予測される場合、ブロックpred4×4Lは次のように構築される：
・x′＝3かつy′＝3の場合、
pred4×4L[x,y]＝(p′[6,−1]＋3*p′[7,−1]＋2)>>2
・その他の場合（すなわち、x′が3に等しくない、またはy′が3に等しくない場合）、
pred4×4L[x,y]＝(p′[x′＋y′,−1]＋2*p′[x′＋y′＋1,−1]＋p′[x′＋y′＋2,−1]＋2)>>2
予測モードHier_Intra_4×4_Diagonal_Top_Rightが許されるのは、x＝0..7としてピクセルp′[x′,−1]が利用可能である場合のみである。
【００４７】
マクロブロックMBELがイントラ4×4BLモードで符号化され、ブロックBELがモードHier_Intra_4×4_Diagonal_Top_Leftに従って予測される場合、ブロックpred4×4Lは次のように構築される：
・x′＞y′の場合、
pred4×4L[x,y]＝(p′[x′−y′−2,−1]＋2*p′[x′−y′−1,−1]＋p′[x′−y′,−1]＋2)>>2
・それ以外で、x′＜y′の場合、
pred4×4L[x,y]＝(p′[−1,y′−x′−2]＋2*p′[−1,y′−x′−1]＋p′[−1,y′−x′]＋2)>>2
・それ以外の場合（すなわち、x′がy′に等しい場合）、
pred4×4L[x,y]＝(p′[0,−1]＋2*p′[−1,−1]＋p′[−1,0]＋2)>>2
予測モードHier_Intra_4×4_Diagonal_Top_Leftが許されるのは、x＝0..7、y＝0..7としてピクセルp′[x′,−1]およびp′[−1,y′]が利用可能である場合のみである。
【００４８】
マクロブロックMBELがイントラ4×4BLモードで符号化され、ブロックBELがモードHier_Intra_4×4_Vertical_Up_Leftに従って予測される場合、変数zVR′を2*x′−y′に等しいとして、ブロックpred4×4Lは次のように構築される、すなわちx＝0..3、y＝0..3として：
・zVR′が0,2,4または6に等しい場合、
pred4×4L[x,y]＝(p′[x′−(y′>>1)−1,−1]＋p′[x′−(y′>>1),−1]＋1)>>1
・それ以外の場合で、zVR′が1,3または5に等しい場合、
pred4×4L[x,y]＝(p′[x′−(y′>>1)−2,−1]＋2*p′[x′−(y′>>1)−1,−1]＋p′[x′−(y′>>1),−1]＋2)>>2
・それ以外の場合で、zVR′が−1に等しい場合、
pred4×4L[x,y]＝(p′[−1,0]＋2*p′[−1,−1]＋p′[0,−1]＋2)>>2
・それ以外の場合（すなわちzVR′が−2または−3に等しい場合）、
pred4×4L[x,y]＝(p′[−1,y′−1]＋2*p′[−1,y′−2]＋p′[−1,y′−3]＋2)>>2
予測モードHier_Intra_4×4_Vertical_Up_Leftが許されるのは、x＝0..7、y＝0..7としてピクセルp′[x′,−1]およびp′[−1,y′]が利用可能である場合のみである。
【００４９】
マクロブロックMBELがイントラ4×4BLモードで符号化され、ブロックBELがモードHier_Intra_4×4_Horizontal_Topに従って予測される場合、変数zHD′を2*y′−x′に等しいとして、ブロックpred4×4Lは次のように構築される、すなわちx＝0..3、y＝0..3として：
・zHD′が0,2,4または6に等しい場合、
pred4×4L[x,y]＝(p′[−1,y′−(x′>>1)−1]＋p′[−1,y′−(x′>>1)]＋1)>>1
・それ以外の場合で、zHD′が1,3または5に等しい場合、
pred4×4L[x,y]＝(p′[−1,y′−(x′>>1)−2]＋2*p′[−1,y′−(x′>>1)−1]＋p′[−1,y′−(x′>>1)]＋2)>>2
・それ以外の場合で、zHD′が−1に等しい場合、
pred4×4L[x,y]＝(p′[−1,0]＋2*p′[−1,−1]＋p′[0,−1]＋2)>>2
・それ以外の場合（すなわちzHD′が−2または−3に等しい場合）、
pred4×4L[x,y]＝(p′[x′−1,−1]＋2*p′[x′−2,−1]＋p′[x′−3,−1]＋2)>>2
予測モードHier_Intra_4×4_Horizontal_Topが許されるのは、x＝0..7、y＝0..7としてピクセルp′[x′,−1]およびp′[−1,y′]が利用可能である場合のみである。
【００５０】
マクロブロックMBELがイントラ4×4BLモードで符号化され、ブロックBELがモードHier_Intra_4×4_Vertical_Up_Rightに従って予測される場合、ブロックpred4×4Lは次のように構築される、すなわちx＝0..3、y＝0..3として：
・y′＝0または2に等しい場合、
pred4×4L[x,y]＝(p′[x′＋(y′>>1),−1]＋p′[x′＋(y′>>1)＋1,−1]＋1)>>1
・そうでない場合（y′は1または3に等しい）、
pred4×4L[x,y]＝(p′[x′＋(y′>>1),−1]＋2*p′[x′＋(y′>>1)＋1,−1]＋p′[x′＋(y′>>1)＋2,−1]＋2)>>2
マクロブロックMBELがイントラ4×4BLモードで符号化され、ブロックBELがモードHier_Intra_4×4_Horizontal_Down_Leftに従って予測される場合、変数zHU′をx′＋2*y′に等しいとして、ブロックpred4×4Lは次のように構築される、すなわちx＝0..3、y＝0..3として：
・zHU′が0,2または4に等しい場合、
pred4×4L[x,y]＝(p′[−1,y′＋(x′>>1)]＋p′[−1,y′＋(x′>>1)＋1]＋1)>>1
・それ以外の場合で、zHU′が1または3に等しい場合、
pred4×4L[x,y]＝(p′[−1,y′＋(x′>>1)]＋2*p′[−1,y′＋(x′>>1)＋1]＋p′[−1,y′＋(x′>>1)＋2]＋2)>>2
・それ以外の場合で、zHU′が5に等しい場合、
pred4×4L[x,y]＝(p′[−1,2]＋3*p′[−1,3]＋2)>>2
・それ以外の場合（すなわちzHU′＞5の場合）、
pred4×4L[x,y]＝p′[−1,3]。
【００５１】
マクロブロックMBELがイントラ8×8BLモードで符号化される場合、8×8ブロックと記される8かける8のブロック4個のそれぞれは次のモードの一つに従って予測される：
Hier_Intra_8×8_Vertical、Hier_Intra_8×8_Horizontal、Hier_Intra_8×8_DC、Hier_Intra_8×8_Diagonal_Up_Right、Hier_Intra_8×8_Diagonal_Up_Left、Hier_Intra_8×8_Vertical_Left、Hier_Intra_8×8_Horizontal_Up、Hier_Intra_8×8_Vertical_RightおよびHier_Intra_8×8_Horizontal_Down。
【００５２】
8×8ブロックの予測モードの選択は、レート‐ひずみ型の基準に従ってなされうる。
【００５３】
マクロブロックMBELのうち、BELと記され、図１２に灰色で示される8×8ブロックを予測するために使われる予測ブロックをpred8×8Lと記し、該ブロック中の座標(x,y)のピクセルに関連付けられた輝度値を、xが8×8ブロック中のピクセルの水平位置を示し、yが垂直位置を示すものとして、pred8×8L[x,y]と記す。ピクセル・ブロックの左上のピクセルが座標(0,0)を有し、右下のピクセルは8×8ブロックのサイズをNとして座標(N−1,N−1)を有し、座標(x,y)のピクセルはブロックの列x、行yに位置する。
【００５４】
図１２を参照するに、第一の軸(X,Y)はブロックの左上のピクセルを原点とするブロックBELに関し、第二の軸(X′,Y′)はブロックBELの右下のピクセルを原点とするブロックBELに関する。x′＝7−x、y′＝7−yおよびp′[x′,y′]＝p[7−x′,7−y′]＝p[x,y]とする。ここで、p[x,y]は第一の軸における座標(x,y)のピクセルに関する輝度値であり、p′[x′,y′]は第二の軸における座標(x′,y′)のピクセルに関する輝度値である。
【００５５】
x′＝−1、y′＝−1..7およびx′＝0..15、y′＝−1について、フィルタされ、p″[x′,y′]と記される前記の基準ピクセルは次のように構築される：
●x′＝0..7としてすべてのピクセルp′[x′,−1]が利用可能であれば：
○p″[0,−1]の値は次のように得られる：
・p′[−1,−1]が利用可能である場合、
p″[0,−1]＝(p′[−1,−1]＋2*p′[0,−1]＋p′[1,−1]＋2)>>2
・そうでない場合、
p″[0,−1]＝(3*  p′[0,−1]＋p′[1,−1]＋2)>>2
○p″[x′,−1]の値は、x′＝1..7として次のように得られる：
p″[x′,−1]＝(p′[x′−1,−1]＋2*p′[x′,−1]＋p′[x′＋1,−1]＋2)>>2
●x′＝7..15としてすべてのピクセルp′[x′,−1]が利用可能であれば：
○p″[x′,−1]の値は、x′＝8..14として、次のように得られる：
p″[x′,−1]＝(p′[x′−1,−1]＋2*p′[x′,−1]＋p′[x′＋1,−1]＋2)>>2
○p″[15,−1]の値は次のように得られる：
p″[15,−1]＝(p′[14,−1]＋3*p′[15,−1]＋2)>>2
●ピクセルp′[−1,−1]が利用可能であれば、p″[−1,−1]の値は次のように得られる：
○ピクセルp′[0,−1]が利用可能である、あるいはピクセルp′[−1,0]が利用可能でない場合、
・ピクセルp′[0,−1]が利用可能である場合、
p″[−1,−1]＝(3*p′[−1,−1]＋p′[0,−1]＋2)>>2
・そうでない場合（ピクセルp′[0,−1]が利用可能でなく、かつピクセルp′[−1,0]が利用可能）、
p″[−1,−1]＝(3*  p′[−1,−1]＋p′[−1,0]＋2)>>2
○そうでない場合（ピクセルp′[0,−1]が利用可能であり、かつピクセルp′[−1,0]が利用可能である場合）、
p″[−1,−1]＝(p′[0,−1],2*  p′[−1,−1]＋p′[−1,0]＋2)>>2
●y′＝0..7としてすべてのピクセルp′[−1,y′]が利用可能であれば：
○p″[−1,0]の値は次のように得られる：
・p′[−1,−1]が利用可能である場合、
p″[−1,0]＝(p′[−1,−1]＋2*p′[−1,0]＋p′[−1,1]＋2)>>2
・そうでない場合（p′[−1,−1]が利用可能でない場合）、
p″[−1,0]＝(3*  p′[−1,0]＋p′[−1,1]＋2)>>2
○p″[−1,y′]の値は、y′＝1..6として次のように得られる：
p″[−1,y′]＝(p′[−1,y′−1]＋2*p′[−1,y′]＋p′[−1,y′＋1]＋2)>>2
●p″[−1,7]の値は次のように得られる：
p″[−1,7]＝(p′[−1,6]＋3*p′[−1,7]＋2)>>2
マクロブロックMBELがイントラ8×8BLモードで符号化され、ブロックBELがモードHier_Intra_8×8_Verticalに従って予測する場合、ブロックpred8×8Lは次のように構築される：
pred8×8L[x,y]＝p″[x′,−1]      ここで、x′＝0..7およびy′＝0..7
予測モードHier_Intra_8×8_Verticalが許されるのは、ピクセルp″[x′,−1]が利用可能である、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックｇから生成されたものである場合のみである。
【００５６】
マクロブロックMBELがイントラ8×8BLモードで符号化され、ブロックBELがモードHier_Intra_8×8_Horizontalに従って予測される場合、ブロックpred8×8Lは次のように構築される：
pred8×8L[x,y]＝p″[−1,y′]      ここで、x′＝0..7およびy′＝0..7
予測モードHier_Intra_8×8_Horizontalが許されるのは、ピクセルp′[−1,y′]が利用可能である、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックｅから生成されたものである場合のみである。
【００５７】
マクロブロックMBELがイントラ8×8BLモードで符号化され、ブロックBELがモードHier_Intra_8×8_DCに従って予測される場合、ブロックpred8×8Lは次のように構築される：
・x＝0..7、y＝0..7としてピクセルp′[x′,−1]およびピクセルp′[−1,y′]が利用可能である場合、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックから生成されたものである場合、x＝0..7、y＝0..7として、値pred8×8L[x,y]は次のように決定される：
【００５８】
【数９】
2008104188.tif 000011
・上記以外の場合であって、x＝0..3としてピクセルp′[x′,−1]の一つが利用可能でなく、かつy＝0..3としてピクセルp′[−1,y′]はすべて利用可能である場合、x＝0..3、y＝0..3として値pred4×4L[x,y]は次のように決定される：
pred4×4L[x,y]＝(p′[−1,0]＋p′[−1,1]＋p′[−1,2]＋p′[−1,3]＋2)>>2
・上記以外の場合であって、x＝0..7としてピクセルp′[x′,−1]の一つが利用可能でなく、かつy＝0..7としてピクセルp′[−1,y′]がすべて利用可能である場合、x＝0..7、y＝0..7として値pred8×8L[x,y]は次のように決定される：
【００５９】
【数１０】
2008104188.tif 000012
・上記以外の場合であって、y′＝0..7としてピクセルp′[−1,y′]のいくつかおよびx′＝0..7としてピクセルp′[x′,−1]のすべてが利用可能である場合、x＝0..7、y＝0..7として値pred8×8L[x,y]は次のように決定される：
【００６０】
【数１１】
2008104188.tif 000013
・上記以外の場合（x＝0..7としていくつかのピクセルp′[x′,−1]およびy＝0..7としていくつかのピクセルp′[−1,y′]が利用可能でない場合）、x＝0..7、y＝0..7として値pred8×8L[x,y]は次のように決定される：
pred8×8L[x,y]＝(1<<(BitDepthY−1))
予測モードHier_Intra_4×4_DCは常に使用できる。
【００６１】
マクロブロックMBELがイントラ8×8BLモードで符号化され、ブロックBELがモードHier_Intra_8×8_Diagonal_Up_Rightに従って予測される場合、ブロックpred8×8Lは次のように構築される：
・x′＝7かつy′＝7の場合、
pred8×8L[x,y]＝(p″[14,−1]＋3*p″[15,−1]＋2)>>2
・その他の場合（すなわち、x′が7に等しくない、またはy′が7に等しくない場合）、
pred8×8L[x,y]＝(p″[x′＋y′,−1]＋2*p″[x′＋y′＋1,−1]＋p″[x′＋y′＋2,−1]＋2)>>2
予測モードHier_Intra_8×8_Diagonal_Up_Rightが許されるのは、x＝0..15としてピクセルp′[x′,−1]が利用可能である場合のみである。
【００６２】
マクロブロックMBELがイントラ8×8BLモードで符号化され、ブロックBELがモードHier_Intra_8×8_Diagonal_Up_Leftに従って予測される場合、ブロックpred8×8Lは次のように構築される：
・x′がy′より大きい場合、
pred8×8L[x,y]＝(p″[x′−y′−2,−1]＋2*p″[x′−y′−1,−1]＋p″[x′−y′,−1]＋2)>>2
・それ以外で、x′がy′より小さい場合、
pred8×8L[x,y]＝(p″[−1,y′−x′−2]＋2*p″[−1,y′−x′−1]＋p″[−1,y′−x′]＋2)>>2
・それ以外の場合（すなわち、x′がy′に等しい場合）、
pred8×8L[x,y]＝(p″[0,−1]＋2*p″[−1,−1]＋p″[−1,0]＋2)>>2
予測モードHier_Intra_8×8_Diagonal_Up_Rightが許されるのは、x＝0..7、y＝0..7としてピクセルp′[x′,−1]およびp′[−1,y′]が利用可能である場合のみである。
【００６３】
マクロブロックMBELがイントラ8×8BLモードで符号化され、ブロックBELがモードHier_Intra_8×8_Vertical_Leftに従って予測される場合、変数zVR′を2*x′−y′に等しいとして、ブロックpred4×4Lは次のように構築される、すなわちx＝0..7、y＝0..7として：
・zVR′が0,2,4,6,10,12または14に等しい場合、
pred8×8L[x,y]＝(p″[x′−(y′>>1)−1,−1]＋p″[x′−(y′>>1),−1]＋1)>>1
・それ以外の場合で、zVR′が1,3,5,7,9,11または13に等しい場合、
pred8×8L[x,y]＝(p″[x′−(y′>>1)−2,−1]＋2*p″[x′−(y′>>1)−1,−1]＋p″[x′−(y′>>1),−1]＋2)>>2
・それ以外の場合で、zVR′が−1に等しい場合、
pred8×8L[x,y]＝(p″[−1,0]＋2*p″[−1,−1]＋p″[0,−1]＋2)>>2
・それ以外の場合（すなわちzVR′が−2,−3,−4,−5,−6,−7に等しい場合）、
pred8×8L[x,y]＝(p″[−1,y′−2*x′−1]＋2*p″[−1,y′−2*x′−2]＋p″[−1,y′−2*x′−3]＋2)>>2
予測モードHier_Intra_8×8_Vertical_Leftが許されるのは、x＝0..7、y＝−1..7としてピクセルp′[x′,−1]およびp′[−1,y′]が利用可能である場合のみである。
【００６４】
マクロブロックMBELがイントラ8×8BLモードで符号化され、ブロックBELがモードHier_Intra_8×8_Horizontal_Upに従って予測される場合、変数zHD′を2*y′−x′に等しいとして、ブロックpred8×8Lは次のように構築される、すなわちx′＝0..7、y′＝0..7として：
・zHD′が0,2,4,6,10,12または14に等しい場合、
pred8×8L[x,y]＝(p″[−1,y′−(x′>>1)−1]＋p″[−1,y′−(x′>>1)]＋1)>>1
・それ以外の場合で、zHD′が1,3,5,7,9,11または13に等しい場合、
pred8×8L[x,y]＝(p″[−1,y′−(x′>>1)−2]＋2*p″[−1,y′−(x′>>1)−1]＋p″[−1,y′−(x′>>1)]＋2)>>2
・それ以外の場合で、zHD′が−1に等しい場合、
pred8×8L[x,y]＝(p″[−1,0]＋2*p″[−1,−1]＋p″[0,−1]＋2)>>2
・それ以外の場合（すなわちzHD′が−2,−3,−5,−6,−7に等しい場合）、
pred8×8L[x,y]＝(p″[x′−2*y′−1,−1]＋2*p″[x′−2*y′−2,−1]＋p″[x′−2*y′−3,−1]＋2)>>2
予測モードHier_Intra_8×8_Horizontal_Upが許されるのは、x＝0..7、y＝−1..7としてピクセルp′[x′,−1]およびp′[−1,y′]が利用可能である場合のみである。
【００６５】
マクロブロックMBELがイントラ8×8BLモードで符号化され、ブロックBELがモードHier_Intra_8×8_Vertical_Rightに従って予測される場合、ブロックpred8×8Lは次のように構築される、すなわちx′＝0..7、y′＝0..7として：
・y′＝0,2,4または6に等しい場合、
pred8×8L[x,y]＝(p″[x′＋(y′>>1),−1]＋p″[x′＋(y′>>1)＋1,−1]＋1)>>1
・そうでない場合（y′は1,3,5,7に等しい）、
pred8×8L[x,y]＝(p″[x′＋(y′>>1),−1]＋2*p″[x′＋(y′>>1)＋1,−1]＋p″[x′＋(y′>>1)＋2,−1]＋2)>>2
予測モードHier_Intra_8×8_Vertical_Rightが許されるのは、x＝0..15としてピクセルp′[x′,−1]が利用可能である場合のみである。
【００６６】
マクロブロックMBELがイントラ8×8BLモードで符号化され、ブロックBELがモードHier_Intra_8×8_Horizontal_Downに従って予測される場合、変数zHU′をx′＋2*y′に等しいとして、ブロックpred8×8Lは次のように構築される、すなわちx′＝0..7、y′＝0..7として：
・zHU′が0,2,4,6,8,10または12に等しい場合、
pred8×8L[x,y]＝(p″[−1,y′＋(x′>>1)]＋p″[−1,y′＋(x′>>1)＋1]＋1)>>1
・それ以外の場合で、zHU′が1,3,5,7,9または11に等しい場合、
pred8×8L[x,y]＝(p″[−1,y′＋(x′>>1)]＋2*p″[−1,y′＋(x′>>1)＋1]＋p″[−1,y′＋(x′>>1)＋2]＋2)>>2
・それ以外の場合で、zHU′が13に等しい場合、
pred8×8L[x,y]＝(p″[−1,6]＋3*p″[−1,7]＋2)>>2
・それ以外の場合（すなわちzHU′が13より大きい場合）、
pred8×8L[x,y]＝p″[−1,7]
予測モードHier_Intra_8×8_Horizontal_Downが許されるのは、y＝0..7としてピクセルp′[−1,y′]が利用可能である場合のみである。
【００６７】
マクロブロックMBELがイントラ16×16BLモードで符号化される場合、該マクロブロックMBELは次のモードの一つに従って予測される：Hier_Intra_16×16_Vertical、Hier_Intra_16×16_Horizontal、Hier_Intra_16×16_DCおよびHier_Intra_16×16_Plane。
【００６８】
16×16ブロックの予測モードの選択は、レート‐ひずみ型の基準に従ってなされうる。
【００６９】
図１２に灰色で示されるマクロブロックMBELを予測するために使われる予測マクロブロックをpred16×16Lと記し、該マクロブロック中の座標(x,y)のピクセルに関連付けられた輝度値を、xがマクロブロック中のピクセルの水平位置を示し、yが垂直位置を示すものとして、pred16×16L[x,y]と記す。ブロックの左上のピクセルが座標(0,0)を有し、右下のピクセルはNをマクロブロックのサイズとして座標(N−1,N−1)を有し、座標(x,y)のピクセルはマクロブロックの列x、行yに位置する。図１２を参照するに、第一の軸(X,Y)はマクロブロックの左上のピクセルを原点とするマクロブロックBELに関し、第二の軸(X′,Y′)はブロックMBELの右下のピクセルを原点とするマクロブロックMBELに関する。x′＝15−x、y′＝15−yおよびp′[x′,y′]＝p[15−x′,15−y′]＝p[x,y]とする。ここで、p[x,y]は第一の軸における座標(x,y)のピクセルに関する輝度値であり、p′[x′,y′]は第二の軸における座標(x′,y′)のピクセルに関する輝度値である。
【００７０】
マクロブロックMBELがイントラ16×16BLモードで符号化され、モードHier_Intra_16×16_Verticalに従って予測する場合、マクロブロックpred16×16Lは次のように構築される、すなわちx＝0..15およびy＝0..15として：
pred16×16L[x,y]＝p′[x′,−1]
予測モードHier_Intra_16×16_Verticalが許されるのは、ピクセルp′[x′,−1]が利用可能である、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックｇから生成されたものである場合のみである。
【００７１】
マクロブロックMBELがイントラ16×16BLモードで符号化され、モードHier_Intra_16×16_Horizontalに従って予測される場合、マクロブロックpred16×16Lは次のように構築される、すなわちx＝0..15およびy＝0..15として：
pred16×16L[x,y]＝p′[−1,y′]
予測モードHier_Intra_16×16_Horizontalが許されるのは、ピクセルp′[−1,y′]が利用可能である、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックｅから生成されたものである場合のみである。
【００７２】
マクロブロックMBELがイントラ16×16BLモードで符号化され、モードHier_Intra_16×16_DCに従って予測される場合、マクロブロックpred16×16Lは次のように構築される、すなわちx＝0..15およびy＝0..15として：
・ピクセルp′[x′,−1]およびピクセルp′[−1,y′]がすべて利用可能である場合、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックｇおよびｅから生成されたものである場合：
【００７３】
【数１２】
2008104188.tif 000014
・上記以外の場合であって、ピクセルp′[x′,−1]の一つが利用可能でなく、かつピクセルp′[−1,y′]はすべて利用可能である場合、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックｅから生成されたものである場合：
【００７４】
【数１３】
2008104188.tif 000015
・上記以外の場合であって、ピクセルp′[−1,y′]の一つが利用可能でなく、かつピクセルp′[x′,−1]のすべてが利用可能である場合、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックｇから生成されたものである場合：
【００７５】
【数１４】
2008104188.tif 000016
・上記以外の場合で、ピクセルp′[−1,y′]の一つが利用可能でなく、かつピクセルp′[x′,−1]の一つが利用可能でない場合：
pred16×16L[x,y]＝(1<<(BitDepthY−1))
マクロブロックMBELがイントラ16×16BLモードで符号化され、モードHier_Intra_16×16_Planeに従って予測される場合、マクロブロックpred16×16Lは次のように構築される、すなわちx＝0..15およびy＝0..15として：
・ピクセルp′[x′,−1]およびピクセルp′[−1,y′]がすべて利用可能である場合、すなわち該ピクセルが存在し、かつイントラ・モードで符号化されたBL層のピクセル・ブロックｇおよびｅから生成されたものである場合：
pred16×16L[x,y]＝ClipY(  (a′＋b′*(x′−7)＋c′*(y′−7)＋16)  >>5  )
ここで、
・ClipY(x)＝clip3(0,  (1<<BitDepthY)−1,  x)  ここで、
clip3(x,y,z)＝x      z＜xの場合
＝y      z＞xの場合
＝z      その他の場合
・a′＝16*(p′[−1,15]＋p′[15.−1])
・b′＝(5*H′＋32)>>6
・c′＝(5*V′＋32)>>6
【００７６】
【数１５】
2008104188.tif 000017
各色度ブロックは次の４つの予測モードの一つに従って予測される：Hier_Intra_Chroma_DC、Hier_Intra_Chroma_Horizontal、Hier_Intra_Chroma_VerticalおよびHier_Intra_Chroma_Plane。これらのモードはイントラ16×16予測モード、つまりHier_Intra_16×16_DC、Hier_Intra_16×16_Horizontal、Hier_Intra_16×16_VerticalおよびHier_Intra_16×16_Planeとの類推により定義される。両方の色度ブロックに対して常に同じ予測モードが使われる。8×8輝度ブロックの一つがイントラ・モードで符号化されていれば、二つの色度ブロックもイントラで符号化されることを注意しておくべきであろう。
【００７７】
この第三の実施形態は第二の実施形態と同じ利点を有する。すなわち：
・BL層の画像とEL層の画像との間に存在する空間的冗長さを利用する度合いがより大きくなる、すなわちマクロブロックMBELに対応する基本層のブロックBBLがインター・モードで符号化されているときでさえも前記空間的冗長さを利用する。これは、前記ブロックBBLが予測マクロブロックMBpredを構築するために使われないからである；
・近隣マクロブロックＡ、Ｂ、ＣおよびＤから輪郭線によって隔てられているマクロブロックMBELのより効率的な符号化を、該マクロブロックMBELをブロックｅ、ｆ、ｇおよび／またはｈから予測することによって可能にする；
・EL層を再構成するためにBL層全体を再構成する必要がないような、特にインター・モードで符号化されたBL層のブロックを再構成する、すなわち時間的予測をする必要がないような仕方でマクロブロックMBELを符号化することを可能にする。
【００７８】
さらに、対応するブロックBBLの非因果的な近隣領域に位置するブロックｅ、ｆ、ｇおよびｈのみが利用される。これは、追加されるモードの数を制限することによって、符号化方法の複雑さを制限する。ブロックｅ、ｆ、ｇおよびｈはブロックBBLの非因果的な近隣領域にあるので、マクロブロックMBELをEL層のマクロブロックＥ、Ｆ、ＧおよびＨ（図２参照）から空間的に予測することが、マクロブロックＥ、Ｆ、ＧおよびＨが非因果的な近隣領域に位置しているためにできない、という事実を克服するために使われる。
本発明はまた、基本層および少なくとも一つの向上層の形で呈示される画像の系列のMBELrecと記されるマクロブロックの再構成を視野に、ビットストリームの一部を復号する方法にも関する。前記マクロブロックMBELrecには基本層においてブロックが対応しており、そのブロックは対応するブロックと呼ばれ、前記マクロブロックは向上層に属する。図７および図８を参照すると、本方法は、ビットストリームの第一の部分から画像データ・ブロックｅ、ｆ、ｇおよび／またはｈを再構成するためのステップＥ８０を含む。ステップＥ８１の間に、マクロブロックMBELrecを再構成するもとになる、ステップＥ８０で再構成されたブロックｅ、ｆ、ｇおよび／またはｈが、たとえば双線形補間によりアップサンプリングされる。ステップＥ８２の間に、符号化方法（第一および第二の実施形態）のために上で定義した式から、ステップＥ８３の間に復号されたモードcod_modeに従って、予測マクロブロックMBpredが構築される。図８に示されるある変形によれば、予測マクロブロックMBpredはステップＥ８２′の間に、符号化方法（第三の実施形態）のために上で定義した式から、ステップＥ８３′の間に復号された符号化モードcod_modeおよび可能性としては予測モードblc_mode(s)に従って、構築される。予測マクロブロックMpredを構築するために使われない基本層のブロックを再構成およびアップサンプリングすることは必要ない。予測マクロブロックMpredは、ステップＥ８２またはＥ８２′の間の復号方法によるのと同じようにステップＥ７３またはＥ７３′の間の符号化方法によって構築されている。ステップＥ８３またはＥ８３′の間に、残差のマクロブロックMBELres_recも前記ビットストリームの第二の部分から再構成される。ステップＥ８４の間に、予測マクロブロックMBpredが再構成された残差のマクロブロックMBELres_recにピクセルごとに加算される。ステップＥ８４は再構成されたマクロブロックMBELrecを生成する。
【００７９】
図９を参照すると、本発明は、基本層BLおよび少なくとも一つの向上層ELの形で呈示される画像の系列を符号化する装置ENC2に関する。本符号化装置ENC2のモジュールで符号化装置ENC1のモジュールと同一のものは図９では同じ参照符号を使って指定されており、さらなる説明はしない。符号化装置ENC2は符号化モジュールENC_BL1、向上層を符号化するよう適応された新しい符号化モジュールENC_EL2および多重化モジュールMUXを含む。
【００８０】
符号化モジュールENC_EL2は、EL層のマクロブロックを、標準的な符号化モード（すなわちインター・モードまたはイントラ・モード）に従って、すなわち前記マクロブロックを当該EL層の他のマクロブロックから空間的または時間的に予測することによって、符号化するよう適応されている。さらに、基本層の画像と向上層の画像との間の冗長性を減らすため、符号化モジュールENC_EL2は、層間（inter-layer）と呼ばれる符号化モードに従ってBL層の画像データ・ブロックからEL層のマクロブロックを符号化するようにも適応される。すなわち、当該EL層の前記画像データ・マクロブロックをBL層の画像データ・ブロックから予測するのである。図９には、イントラ型のEL層の画像データ・マクロブロックMBELを基本層の画像データ・ブロックから、すなわち層間予測モードに従って予測し、符号化し、前記マクロブロックMBELを符号化するのに必要とされるENC_BL1およびENC_EL1モジュールしか示していない。この図に示されていない、ビデオ符号化器の当業者によく知られた他のモジュール（たとえば動き推定モジュール、空間的予測モジュール、時間的予測モジュールなど）によって、EL層のマクロブロックは、標準的なインター・モード（たとえば双方向モード）に従って、あるいは標準的なイントラ・モード（AVCで定義されるような）に従って、近隣マクロブロックＡ、Ｂ、Ｃおよび／またはＤから符号化できるようになる。図９を参照するに、モジュールENC_EL2は特に符号化モジュール４０およびアップサンプリング・モジュール２０を含んでいる。モジュールENC_EL2はまた、たとえばレート‐ひずみ型の所定の基準に従ってマクロブロックMBELの符号化モードcod_modeおよび可能性としては該マクロブロックを形成するブロックのそれぞれの予測モードblc_modeをモードの集合のうちから、特に符号化方法について上記した実施形態で定義されているモードのうちから選択するよう適応された決定モジュール１５をも含む。最後に、モジュールENC_EL2は、モジュール１５によって決定された符号化モードおよび可能性としてはモードblc_mode(s)に従って、モジュール２０によってアップサンプリングされたブロックｅ、ｆ、ｇおよび／またはｈから予測マクロブロックMBpredを生成するよう適応されたモジュール２５を含む。モジュールENC_EL2はまた、予測マクロブロックMBpredをマクロブロックMBELからピクセルごとに引き算する引き算モジュール３０をも含む。このモジュールは残差のマクロブロックMBELresiduesを生成し、この残差マクロブロックが符号化モジュール４０によって符号化される。
【００８１】
図１０を参照するに、本発明は、基本層および少なくとも一つの向上層の形で呈示される画像の系列を表すビットストリームを復号する装置DECにも関する。復号装置DECの入力で受信されたビットストリームは多重化解除モジュールDEMUXによって多重化解除されて、基本層に関するビットストリームT_BLおよび向上層に関する少なくとも一つのビットストリームT_ELを生成する。ある変形によれば、多重化解除モジュールDEMUXは復号装置DECの外部である。さらに、復号装置DECは、少なくとも部分的にビットストリームT_BLから基本層を再構成できる第一の復号モジュールDEC_BLを含む。有利なことに、本発明によれば、向上層の画像を再構成するために基本層の画像が完全に再構成されることは必要ではない。実際、第一の復号モジュールDEC_BLは、少なくとも、向上層の画像を再構成するために必要とされる基本層の画像データを再構成しなければならない。装置DECはまた、ビットストリームT_ELおよび可能性としては第一の復号モジュールDEC_BLによって以前に再構成された基本層の画像データから向上層を再構成できる第二の復号モジュールDEC_ELをも含む。第二の復号モジュールDEC_ELは、ビットストリームT_ELの一部から残差のマクロブロックMBELres_recを再構成し、該再構成された残差のマクロブロックMBELres_recに関連するモードcod_modeおよび可能性としてはマクロブロックの各ブロックに関連するモードblc_mode(s)を復号するモジュール７０を含んでいる。第二の復号モジュールDEC_ELはまた、第一の復号モジュールDEC_BLによって再構成された基本層のブロックをアップサンプリングするモジュール５０をも含む。モジュール５０は双線形補間フィルタの例である。第二の復号モジュールDEC_ELはまた、モジュール５０によってアップサンプリングされた基本層のブロックから、モードcod_modeおよび可能性としてはモードblc_mode(s)に従って予測マクロブロックMBpredを再構成するモジュール６０をも有する。さらに、第二の復号モジュールDEC_ELは、モジュール６０によって生成された予測マクロブロックMBpredとモジュール７０によって再構成された残差のマクロブロックMBELres_recとをピクセルごとに加算するモジュール８０を有する。モジュール８０は、MBELrecと記される、向上層のマクロブロックを再構成する。
本発明はまた、EL層のマクロブロックMBELが、基本層の対応するブロックBBLの近隣の少なくとも一つのブロックから層間イントラ・モードに従って符号化されていることを示す、たとえば１ビット上のコードされるフィールド（たとえばhier_intra_bl_flag）を有するMPEGデータ・ビットストリームにも関する。
【００８２】
どんなビデオ符号化規格でも、該規格と互換であるためにすべてのビットストリームが従わなければならないシンタックスを定義している。シンタックスは、具体的には、種々の情報（たとえば、系列に含まれる画像に関するデータ、動きベクトルなど）がどのように符号化されるかを定義する。SVCによれば、基本層はMPEG-4  AVC規格に従って符号化される。提案される新しいMPEG-4  AVCシンタックスは、下で表中に擬似コードとして提示される。この擬似コードは、JVT-T005文書、あるいはより一般にISO/IEC14496-10文書のスケーラビリティに関する部分における規則と同じである。特に、演算子==は「等しい」を表す。演算子!は否定を表す論理演算子である。この表において、追加される情報はイタリックで示されている。
【００８３】
【表１】
2008104188.tif 000018
【００８４】
【表２】
2008104188.tif 000019
hier_intra_bl_flagはたとえば１ビット上でコードされるフィールドであり、EL層のマクロブロックMBELが、基本層の対応するブロックBBLの近隣の少なくとも一つのブロックから層間型イントラ・モードに従って符号化されているかどうかを示す。
もちろん、本発明は上で言及した実施形態の例に限定されるものではない。特に、SVC規格について記述された発明は、画像の系列をスケーラブル形式で符号化するための別の定義された符号化規格に適用されてもよい。さらに、マクロブロックMBpredまたは予測ブロックpred4×4Lを生成するために、定義されているのとは別の式を使ってもよい。与えられている式は参考用でしかない。
【００８５】
さらに、基本層のブロックｅ、ｆ、ｇおよびｈについて記載されている符号化方法および復号方法は、前記マクロブロックMBELに対応するブロックBBLを取り巻くブロックａ、ｂ、ｃおよびｄについて使うことができる。図１１に示される実施形態によれば、予測マクロブロックMBpredは、ブロックａ、ｂ、ｃおよびｄのアップサンプリングされたバージョンである一つまたはいくつかのマクロブロックaUP、bUP、cUPおよびdUPから構築される。マクロブロックMBpredはたとえば、MPEG-4  AVC規格で定義される、マクロブロックの空間的予測（すなわちイントラ）のための式から構築されてもよい。これらの式において、マクロブロックＡはマクロブロックaUPで、マクロブロックＢはマクロブロックbUPで、マクロブロックＣはマクロブロックcUPで、マクロブロックＤはマクロブロックdUPで置き換えられる。同様に、本発明は、対応するブロックの、必ずしも隣接していない他の近隣ブロックに拡張されてもよい。
【００８６】
もちろん、以上の実施形態を組み合わせることもできる。すると、マクロブロックMBpredはブロックＡ、Ｂ、Ｃおよび／またはＤから、ｂ、ｃ、ｄ、ｅ、ｆ、ｇおよび／またはｈから、あるいはブロックBBLからのいずれでも構築される。その選択は符号化するための、よってたとえばレート‐ひずみ基準に従ってマクロブロックMBELを予測するための方法の決定ステップでなされている。
【図面の簡単な説明】
【００８７】
【図１】画像の系列をスケーラブル形式で符号化するための従来技術に基づく装置を示す図である。
【図２】向上層のマクロブロックMBELおよび空間的近隣ブロックＡ、Ｂ、Ｃ、Ｄならびに前記マクロブロックMBELに対応する基本層のブロックBBLおよび空間的に近隣のブロックａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈを示す図である。
【図３】本発明に基づいてマクロブロックを符号化する方法を示す図である。
【図４】向上層のマクロブロックMBELおよび空間的近隣ブロックＡ、Ｂ、Ｃ、Ｄおよび前記マクロブロックMBELに対応する基本層のブロックBBLおよび空間的に近隣のブロックａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈおよびそのアップサンプリングされたバージョンを示す図である。
【図５】向上層における輪郭線Ｃ１および基本層における輪郭線Ｃ２の位置を示す図である。
【図６】本発明に基づいてマクロブロックを符号化する方法の第二の実施形態を示す図である。
【図７】本発明に基づいてマクロブロックを復号する方法を示す図である。
【図８】本発明に基づいてマクロブロックを復号する方法の第二の実施形態を示す図である。
【図９】本発明に基づいて画像の系列をスケーラブル形式で符号化する装置を示す図である。
【図１０】本発明に基づいてスケーラブル形式で符号化された画像の系列を復号する装置を示す図である。
【図１１】向上層のマクロブロックMBEL、前記マクロブロックMBELに対応する基本層のブロックBBLおよび空間的に近隣のブロックａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈおよびそのアップサンプリングされたバージョンを示す図である。
【図１２】ピクセルのブロックまたはマクロブロックおよび関連する二つの軸を示す図である。
【符号の説明】
【００８８】
BL  基本層
EL  向上層
T_BL  基本層に関するビットストリーム
T_EL  向上層に関するビットストリーム
ENC1  符号化装置
ENC2  符号化装置（図９の本願発明）
ENC_BL1  BL層を符号化するための第一の符号化モジュール
ENC_EL1  EL層を符号化するための第二の符号化モジュール
ENC_EL2  EL層を符号化するためのモジュール（図９の本願発明）
BBL      対応する基本層の画像データ・ブロック
BBLrec    再構成された画像データ・ブロック
MBBLUP  BBLrecをアップサンプリングした画像データ・マクロブロック
MBpred  予測マクロブロック
MBEL    EL層の画像データ・マクロブロック
MBELresidues  残差マクロブロック
MBELres_rec  再構成された残差のマクロブロック
MBELrec  再構成されたマクロブロック
MUX    マルチプレクサ
DEMUX  デマルチプレクサ
DEC_BL  基本層を再構成できる第一の復号モジュール
DEC_EL  向上層を再構成できる第二の復号モジュール
DEC    復号装置
ａ、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ  画像データ・ブロック
ｅUP、ｆUP、ｇUP、ｈUP  アップサンプリングされた画像データ・マクロブロック
２０  アップサンプリング・モジュール
３０  引き算モジュール
４０  変換、量子化、符号化モジュール
５０  アップサンプリング・モジュール
６０  予測マクロブロックを再構成するモジュール
７０  残差のマクロブロックを再構成し、関連するモードを復号するモジュール
Ｅ７０  符号化
Ｅ７１  再構成
Ｅ７２  アップサンプリング
Ｅ７３  予測マクロブロック構築
Ｅ７４  予測マクロブロックを向上層の画像データ・マクロブロックから引き算
Ｅ７５  変換、量子化、符号化
Ｅ８０  再構成
Ｅ８１  アップサンプリング
Ｅ８２  予測マクロブロック構築
Ｅ８３  モードを復号
Ｅ８４  予測マクロブロックを再構成された残差のマクロブロックに加算
【図１】
2008104188.tif 000020
【図２】
2008104188.tif 000021
【図３】
2008104188.tif 000022
【図４】
2008104188.tif 000023
【図５】
2008104188.tif 000024
【図６】
2008104188.tif 000025
【図７】
2008104188.tif 000026
【図８】
2008104188.tif 000027
【図９】
2008104188.tif 000028
【図１０】
2008104188.tif 000029
【図１１】
2008104188.tif 000030
【図１２】
2008104188.tif 000031