(57)【要約】【課題】ビデオ信号デコーディング方法を提供する。【解決手段】この方法は、第１プロファイルによってエンコーディングされたビデオ信号と、第１プロファイルを識別するプロファイル情報と、を含むビットストリームを受信する段階と、ビットストリームからプロファイル情報を抽出する段階と、プロファイル情報が多視点ビデオ信号に対応する場合、各視点内に在るピクチャの部分間における照明補償を用いて、プロファイル情報によってビデオ信号をデコーディングする段階と、を含み、第１プロファイルは少なくとも１つの多視点ビデオ信号に対するプロファイルを含む複数個のプロファイルから選択されたことを表し、多視点ビデオ信号は複数個の視点を含み、複数個の視点のそれぞれは複数個の部分に区分された複数個のピクチャを含むことを特徴とする。【選択図】図１
2009536793.tif 000002
【特許請求の範囲】
【請求項１】
第１プロファイルによってエンコーディングされたビデオ信号と、前記第１プロファイルを識別するプロファイル情報とを含むビットストリームを受信する段階と、
前記ビットストリームから前記プロファイル情報を抽出する段階と、
前記プロファイル情報が多視点ビデオ信号に対応する場合、各視点内に在るピクチャの部分間における照明補償を用いて、前記プロファイル情報によって前記ビデオ信号をデコーディングする段階と、
を含み、
前記第１プロファイルは、少なくとも１つの多視点ビデオ信号に対するプロファイルを含む複数個のプロファイルから選択されたことを表し、
前記多視点ビデオ信号は複数個の視点を含み、前記複数個の視点のそれぞれは複数個の部分に区分された複数個のピクチャを含むことを特徴とする、ビデオ信号デコーディング方法。
【請求項２】
前記プロファイル情報が多視点ビデオ信号に対応する場合、複数個の視点と関連した属性情報を前記ビットストリームから抽出する段階をさらに含み、
前記属性情報は、各視点間の依存関係を示す視点間依存情報、参照視点を示す視点識別情報、視点の個数を示す視点個数情報、視点スケーラビリティを提供する視点レベル情報及びカメラ配列を示す視点配列情報のうち少なくとも１つを含むことを特徴とする請求項１に記載のビデオ信号デコーディング方法。
【請求項３】
前記プロファイル情報は、前記ビットストリームのヘッダに位置することを特徴とする請求項１に記載のビデオ信号デコーディング方法。
【請求項４】
前記視点レベル情報は、前記多視点ビデオ信号の視点間の階層的視点予測構造と関連した複数個のレベルのうちの１つに対応することを特徴とする請求項１に記載のビデオ信号デコーディング方法。
【請求項５】
前記視点間依存情報は、２次元データ構造の依存関係を示すことを特徴とする請求項１に記載のビデオ信号デコーディング方法。
【請求項６】
前記２次元データ構造は、マトリクスからなることを特徴とする請求項５に記載のビデオ信号デコーディング方法。
【請求項７】
前記部分は、イメージブロックからなることを特徴とする請求項１に記載のビデオ信号デコーディング方法。
【請求項８】
第１部分に対する照明補償を用いる段階は、隣ブロックの照明補償予測値と差分値を加算することによって、前記隣ブロックの照明補償オフセット値を獲得する段階を含むことを特徴とする請求項７に記載のビデオ信号デコーディング方法。
【請求項９】
１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか否かに基づいて少なくとも１つの隣ブロックを選択する段階をさらに含むことを特徴とする請求項８に記載のビデオ信号デコーディング方法。
【請求項１０】
少なくとも１つの隣ブロックを選択する段階は、
左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか可否を決定する段階を含むことを特徴とする請求項９に記載のビデオ信号デコーディング方法。
【請求項１１】
１つ以上の条件が隣ブロックに対して満足するか可否を決定する段階は、
前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を、前記ビットストリームから抽出する段階を含むことを特徴とする請求項９に記載のビデオ信号デコーディング方法。
【請求項１２】
少なくとも１つの隣ブロックを選択する段階は、
１つの隣ブロックの照明補償オフセット値を使用するか、または、各隣ブロックの照明補償オフセット値を使用するかを決定する段階を含むことを特徴とする請求項９に記載のビデオ信号デコーディング方法。
【請求項１３】
各視点間の依存関係によってエンコーディングされた多視点ビデオ信号と、前記依存関係を示す視点依存データと、を含むビットストリームを受信する段階と、
前記視点依存データを抽出し、前記抽出されたデータから依存関係を決定する段階と、
各視点内にあるピクチャの部分間における照明補償を用いて、前記決定された依存関係によって前記多視点ビデオ信号をデコーディングする段階と、
を含み、
前記多視点ビデオ信号は複数個の視点を含み、前記複数個の視点のそれぞれは複数個の部分に区分された複数個のピクチャを含むことを特徴とする多視点ビデオ信号デコーディング方法。
【請求項１４】
前記視点依存データは、２次元データ構造における前記依存関係を示すことを特徴とする請求項１３に記載の多視点ビデオ信号デコーディング方法。
【請求項１５】
前記視点依存データは、マトリクスからなることを特徴とする請求項１４に記載の多視点ビデオ信号デコーディング方法。
【請求項１６】
前記ビットストリームから属性情報を抽出する段階をさらに含み、
前記属性情報は、参照視点を示す視点識別情報、視点の個数を示す視点個数情報、視点スケーラビリティを提供する視点レベル情報及びカメラ配列を示す視点配列情報のうち少なくとも１つを含むことを特徴とする請求項１３に記載の多視点ビデオ信号デコーディング方法。
【請求項１７】
前記部分は、イメージブロックからなることを特徴とする請求項１３に記載の多視点ビデオ信号デコーディング方法。
【請求項１８】
第１部分に対する照明補償を用いる段階は、隣ブロックの照明補償予測値と差分値を加算することによって、前記隣ブロックの照明補償オフセット値を獲得する段階を含むことを特徴とする請求項１７に記載の多視点ビデオ信号デコーディング方法。
【請求項１９】
１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか否かに基づいて少なくとも１つの隣ブロックを選択する段階をさらに含むことを特徴とする請求項１８に記載の多視点ビデオ信号デコーディング方法。
【請求項２０】
少なくとも１つの隣ブロックを選択する段階は、
左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか可否を決定する段階を含むことを特徴とする請求項１９に記載の多視点ビデオ信号デコーディング方法。
【請求項２１】
１つ以上の条件が隣ブロックに対して満足するか可否を決定する段階は、
前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を、前記ビットストリームから抽出する段階を含むことを特徴とする請求項１９に記載の多視点ビデオ信号デコーディング方法。
【請求項２２】
少なくとも１つの隣ブロックを選択する段階は、
１つの隣ブロックの照明補償オフセット値を使用するか、または、各隣ブロックの照明補償オフセット値を使用するかを決定する段階を含むことを特徴とする請求項１９に記載の多視点ビデオ信号デコーディング方法。
【請求項２３】
複数個の照明補償オフセット値が用いられる場合、前記複数個の照明補償オフセット値を用いて前記第１部分の照明補償予測値を獲得する段階をさらに含むことを特徴とする請求項２２に記載の多視点ビデオ信号デコーディング方法。
【請求項２４】
前記複数個の照明補償オフセット値を用いる段階は、前記複数個の照明補償オフセット値の平均値または中間値を取る段階を含むことを特徴とする請求項２３に記載の多視点ビデオ信号デコーディング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点ビデオの処理に関する。
【背景技術】
【０００２】
多視点ビデオコーディング（ＭＶＣ）では、複数台のカメラから取得されたビデオ映像（例えば、一連のイメージまたはピクチャ）に対する圧縮標準を扱う。前記ビデオ映像または視点は、ＭＰＥＧのような標準によってコーディングされることができる。ビデオ映像内のピクチャは、完全なビデオフレームまたはビデオフレームのフィールドを表すことができる。スライスは、前記ピクチャ内の一部または全部のマクロブロックを含むピクチャの独立的にコーディングされた部分でありうる。そして、マクロブロックは、ピクチャ要素（またはピクセル）で構成されたブロックを含むことができる。
【０００３】
これらのビデオ映像は、Ｈ．２６４／ＡＶＣコーデック技術によって多視点ビデオ映像にコーディングされることができる。そして、多くの研究員らが多視点ビデオ映像を提供するために標準の追加技術への研究を行っている。
【０００４】
現在Ｈ．２６４には、特定の機能を支援する３個のプロファイルが定義されているが、プロファイルとは、ビデオ符号化/復号化過程でアルゴリズム上用いられる技術的構成要素を規格化したものを意味する。すなわち、圧縮された映像のビット列を復号するために必要な技術要素の集合で、一種のサブ規格といえる。前記３個のプロファイルは、ベースラインプロファイル、メインプロファイル、拡張プロファイルを指し示す。デコーダがそれぞれのプロファイルと互換されるように、エンコーダとデコーダに要求される多様な事項がＨ．２６４標準で定義されている。
【０００５】
Ｈ．２６４／ＡＶＣにおけるビット列の構成を見ると、動映像符号化処理そのものを扱うＶＣＬ（ビデオ符号化階層）と符号化された情報を転送して保存する下位システムとの間に在るＮＡＬ（ネットワーク抽象階層）との分離された階層構造で定義されている。符号化過程の出力は、ＶＣＬデータであって、転送したり保存する前にＮＡＬ単位にマッピングされる。各ＮＡＬ単位は、圧縮されたビデオデータまたはヘッダ情報に該当するデータであるＲＢＳＰ（動映像圧縮の結果データ）を含む。
【０００６】
ＮＡＬ単位は、ＮＡＬヘッダとＲＢＳＰを含む。前記ＮＡＬヘッダは、フラグ情報（例えば、ｎａｌ＿ｒｅｆ＿ｉｄｃ）と識別（ＩＤ）情報（例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含むことができる。前記フラグ情報は、前記ＮＡＬ単位の参照ピクチャとなるスライスが含まれているか否かを示し、前記識別情報はＮＡＬ単位の種類を示す。ＲＢＳＰには圧縮された原本のデータを保存し、ＲＢＳＰの長さを８ビットの倍数で表現するためにＲＢＳＰの最後にＲＢＳＰ埋め込みビットを加える。
【０００７】
このようなＮＡＬ単位の種類には、ＩＤＲ（瞬間復号リフラッシュ）ピクチャ、ＳＰＳ（シーケンスパラメータセット）、ＰＰＳ（ピクチャパラメータセット）、ＳＥＩ（補充的付加情報）などがある。
【０００８】
また、規格では、対象製品を適当な費用で具現可能なように様々なプロファイル及びレベルで制約しているが、復号器は該当のプロファイルとレベルで定められた制約を満たさなければならない。
【０００９】
このように復号器がどんな圧縮映像の範囲にまで対応可能かを示すように、復号器の機能またはパラメータを表すためのプロファイルとレベルという２種類の概念が定義された。ビットストリームがどんなプロファイルに基づくかは、プロファイル識別情報（ｐｒｏｆｉｌｅ＿ｉｄｃ）で識別可能である。プロファイル識別情報とは、ビットストリームに関連したプロファイルを示すフラグを意味する。Ｈ．２６４／ＡＶＣ標準は、３つのプロファイル識別情報を含むことができる。例えば、前記プロファイル識別情報が６６であれば前記ビットストリームはベースラインプロファイルに基づくことを意味し、７７であればメインプロファイルに基づくことを意味し、８８であれば拡張プロファイルに基づくことを意味する。前記プロファイル識別情報はシーケンスパラメータセットに含まれることができる。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、ブロック間または視点間の相関関係を用いてビデオ映像の符号化／復号化効率を高めることにある。
【００１１】
本発明の目的は、ビデオ映像データに效率的に符号化及び復号化を行う方法及び装置を提供することにある。
【００１２】
本発明の目的は、多視点映像に関する情報を規格化された方式で追加することによって符号化／復号化効率を高めることにある。
【００１３】
本発明の目的は、多視点映像に符号化されたデータを效率的に復号化する方法／装置及びこれを用いたディスプレイ方法を提供することにある。
【００１４】
本発明の目的は、多視点映像の符号化時に、予測順序及び方向を構造化することにおいて、多視点間の階層的符号化を行う方法を提供することにある。
【００１５】
本発明の目的は、多視点映像の復号化時に、ディスプレイに適合した階層的復号化方法を提供することにある。
【００１６】
本発明の目的は、多視点映像において、視点間の照明差を效率的に補償することにある。
【００１７】
本発明の目的は、一定階層に照明補償を適用するか否かを示す識別子を使用することによって、効率的な照明補償を行うことにある。
【００１８】
本発明の目的は、現在ブロックの照明補償を行うか否かを示す識別子とブロック間の平均画素値差を示すオフセット値を用いて照明補償を行うことによって、ビデオ信号のコーディング効率を高めることにある。
【００１９】
本発明の目的は、動き推定を行う時にブロック間の平均画素値差を示すオフセット値を考慮することによって、ビデオ信号のコーディング効率を高めることにある。
【課題を解決するための手段】
【００２０】
本発明は、第１プロファイルによってエンコーディングされたビデオ信号と、前記第１プロファイルを識別するプロファイル情報とを、含むビットストリームを受信する段階と、前記ビットストリームから前記プロファイル情報を抽出する段階と、前記プロファイル情報が多視点ビデオ信号に対応する場合、各視点内にあるピクチャの部分間での照明補償を用いて前記プロファイル情報によって前記ビデオ信号をデコーディングする段階と、を含み、前記第１プロファイルは、少なくとも１つの多視点ビデオ信号に対するプロファイルを含む複数個のプロファイルから選択されたことを表し、前記多視点ビデオ信号は複数個の視点を含み、前記複数個の視点のそれぞれは複数個の部分（例えば、単一ブロックまたはマクロブロックのようなイメージブロック部分、またはイメージのスライスのような部分で区分された複数個のピクチャを含むことを特徴とするビデオ信号デコーディング方法を提供する。
【００２１】
また、本発明は、下記のような特徴のうち１つ以上を含むことができる。
【００２２】
本発明は、プロファイル情報が多視点ビデオ信号に対応する場合、複数個の視点と関連した属性情報を前記ビットストリームから抽出する段階をさらに含み、前記属性情報は、各視点間の依存関係を示す視点間依存情報、参照視点を示す視点識別情報、視点の個数を示す視点個数情報、視点スケーラビリティを提供する視点レベル情報及びカメラ配列を示す視点配列情報のうち少なくとも１つを含むことを特徴とするビデオ信号デコーディング方法を提供する。
【００２３】
本発明で、前記プロファイル情報は、前記ビットストリームのヘッダに位置することを特徴とする。
【００２４】
本発明で、前記視点レベル情報は、前記多視点ビデオ信号の視点間の階層的視点予測構造と関連した複数個のレベルのうち１つに対応することを特徴とする。
【００２５】
本発明で、前記視点間依存情報は、２次元データ構造の依存関係を示すことを特徴とする。
【００２６】
本発明で、前記２次元データ構造は、マトリクスからなることを特徴とする。
【００２７】
本発明で、前記部分は、イメージブロックからなることを特徴とする。
【００２８】
本発明で、第１部分に対する照明補償を用いる段階は、隣ブロックの照明補償のための予測値と差分値を加算することによって、前記隣ブロックの照明補償のためのオフセット値を獲得する段階を含むことを特徴とする。
【００２９】
本発明は、１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか否かに基づいて少なくとも１つの隣ブロックを選択する段階をさらに含むことを特徴とする。
本発明で、少なくとも１つの隣ブロックを選択する段階は、左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するかどうかを決定する段階を含むことを特徴とする。
【００３０】
本発明で、１つ以上の条件が隣ブロックに対して満足するかどうかを決定する段階は、前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を前記ビットストリームから抽出する段階を含むことを特徴とする。
【００３１】
本発明で、少なくとも１つの隣ブロックを選択する段階は、１つの隣ブロックの照明補償のためのオフセット値を使用するか、または各隣ブロックの照明補償のためのオフセット値を使用するかを決定する段階を含むことを特徴とする。
【００３２】
本発明は、複数個のオフセット値が用いられる場合、前記複数個のオフセット値を用いて前記第１部分の照明補償のための予測値を獲得する段階をさらに含むことを特徴とする。
【００３３】
本発明で、前記複数個のオフセット値を用いる段階は、前記複数個のオフセット値の平均値または中間値を取る段階を含むことを特徴とする。
【００３４】
また、本発明は、各視点間の依存関係によってエンコーディングされた多視点ビデオ信号と、前記依存関係を示す視点依存データとを含むビットストリームを受信する段階と、前記視点依存データを抽出し、前記抽出されたデータから依存関係を決定する段階と、各視点内にあるピクチャの部分間における照明補償を用いて、前記決定された依存関係によって前記多視点ビデオ信号をデコーディングする段階とを含み、前記多視点ビデオ信号は複数個の視点を含み、前記複数個の視点のそれぞれは複数個の部分に区分された複数個のピクチャを含むことを特徴とする多視点ビデオ信号デコーディング方法を提供する。
【００３５】
本発明は、下記のような特徴のうち１つ以上を含むことができる。
【００３６】
本発明で、前記視点依存データは、２次元データ構造における前記依存関係を示すことを特徴とする。
【００３７】
本発明で、前記視点依存データは、マトリクスからなることを特徴とする。
【００３８】
本発明は、前記ビットストリームから属性情報を抽出する段階をさらに含み、前記属性情報は、参照視点を示す視点識別情報、視点の個数を示す視点個数情報、視点スケーラビリティを提供する視点レベル情報、及びカメラ配列を示す視点配列情報のうち少なくとも１つを含むことを特徴とする。
【００３９】
本発明で、前記部分は、イメージブロックからなることを特徴とする。
【００４０】
本発明で、第１部分に対する照明補償を用いる段階は、隣ブロックの照明補償のための予測値と差分値を加算することによって、前記隣ブロックの照明補償のためのオフセット値を獲得する段階を含むことを特徴とする。
【００４１】
本発明は、１つ以上の垂直または水平方向に在る隣ブロック、その次に１つ以上の対角線方向に在る隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するか否かに基づいて少なくとも１つの隣ブロックを選択する段階をさらに含むことを特徴とする。
【００４２】
本発明で、少なくとも１つの隣ブロックを選択する段階は、左側隣ブロック、上端隣ブロック、右側上端隣ブロック、左側上端隣ブロックの順に、１つ以上の条件が隣ブロックに対して満足するかどうかを決定する段階を含むことを特徴とする。
【００４３】
本発明で、１つ以上の条件が隣ブロックに対して満足するかどうかを決定する段階は、前記隣ブロックの照明補償が行われるか否かを示す前記隣ブロックに関連した値を前記ビットストリームから抽出する段階を含むことを特徴とする。
【００４４】
本発明で、少なくとも１つの隣ブロックを選択する段階は、１つの隣ブロックの照明補償のためのオフセット値を使用するか、または各隣ブロックの照明補償のためのオフセット値を使用するかを決定する段階を含むことを特徴とする。
【００４５】
本発明は、複数個のオフセット値が用いられる場合、前記複数個のオフセット値を用いて前記第１部分の照明補償のための予測値を獲得する段階をさらに含むことを特徴とする。
【００４６】
本発明で、前記複数個のオフセット値を用いる段階は、前記複数個のオフセット値の平均値または中間値を取る段階を含むことを特徴とする。
【００４７】
また、本発明は、それぞれのデコーディング方法に対して、前記それぞれのデコーディング方法によって前記ビデオ信号がデコーディングされることができるビットストリームを生成することを特徴とするビデオ信号エンコーディング方法を提供する。例えば、本発明は、第１プロファイルと、前記第１プロファイルを識別するプロファイル情報によってビットストリームを生成する段階と、前記プロファイル情報が多視点ビデオ信号に対応する場合、各視点内にあるピクチャの部分間における照明補償のための情報を提供する段階とを含み、前記第１プロファイルは、少なくとも１つの多視点ビデオ信号に対するプロファイルを含む複数個のプロファイルから選択されたことを表し、前記多視点ビデオ信号は複数個の視点を含み、前記複数個の視点のそれぞれは複数個の部分に区分された複数個のピクチャを含むことを特徴とするビデオ信号エンコーディング方法を提供する。
【００４８】
また、本発明は、各視点間の依存関係と、前記依存関係を示す視点依存データによってビットストリームを生成する段階と、プロファイル情報が多視点ビデオ信号に対応する場合、各視点内にあるピクチャの部分間における照明補償のための情報を提供する段階とを含み、前記多視点ビデオ信号は複数個の視点を含み、前記複数個の視点のそれぞれは複数個の部分に区分された複数個のピクチャを含むことを特徴とするビデオ信号エンコーディング方法を提供する。
【００４９】
また、それぞれのデコーディング方法に対して、コンピュータで読取り可能な媒体に保存されたコンピュータプログラムは、前記それぞれのデコーディング方法を行うようにコンピュータに指示することを特徴とする。
【００５０】
また、それぞれのデコーディング方法に対して、装置で読取り可能な情報運送体に含まれたイメージデータは、前記それぞれのデコーディング方法によってビデオ信号にデコーディングされることができる。
【００５１】
また、それぞれのデコーディング方法に対して、デコーダは、前記それぞれのデコーディング方法を行うための手段を含むことを特徴とする。
【００５２】
また、それぞれのデコーディング方法に対して、エンコーダは、前記それぞれのデコーディング方法によってビデオ信号にデコーディングされることができるようにビットストリームを生成する手段を含むことを特徴とする。
【００５３】
他の特徴と利点は、発明の詳細な説明と特許請求の範囲から明白にすることができる。
【発明を実施するための最良の形態】
【００５４】
多視点映像を效率的に扱うために、入力ビットストリームは、入力ビットストリームが多視点プロファイルに関連しているか否かをデコーディング装置が判別できるようにする情報を含むことができる。前記入力ビットストリームが多視点プロファイルと関連していると判別されると、多視点映像に関する１つ以上の追加情報を転送できるようにシンタックスを追加する必要がある。ここで、多視点プロファイル識別情報とは、Ｈ．２６４／ＡＶＣの追加技術で、多視点ビデオを扱うプロファイルモードを示すことができる。
【００５５】
ＭＶＣ技術はＨ．２６４／ＡＶＣ技術に対する追加技術であるから、無条件的なシンタックスよりは、ＭＶＣモードである場合に対する追加情報としてシンタックスを追加することがより効率的となりうる。例えば、ＡＶＣのプロファイル識別子が多視点プロファイルを示す時、多視点映像に関する情報を追加すると符号化効率を高めることができる。
【００５６】
シーケンスパラメータセットとは、プロファイル、レベルなど、シーケンス全体の符号化に亘る情報が含まれているヘッダ情報のことをいう。
【００５７】
圧縮された動映像全体、すなわちシーケンスは、必ずシーケンスヘッダから始まるべきなので、ヘッダ情報に相当するシーケンスパラメータセットは、該パラメータセットを参照するデータよりも先に復号器に到着すべきである。シーケンスパラメータセットＲＢＳＰ（図２のＳ１）は、動映像圧縮の結果データに関するヘッダ情報としての役割を果たす。ビットストリームが入力されると、まず、プロファイル識別子は、入力されたビットストリームが複数個のプロファイルのうちどのプロファイルに基づくかを識別することとなる。
【００５８】
したがって、入力されるビットストリームが多視点プロファイルに関するものかを判断する（例えば、“If（profile_idc==MULTI_VIEW_PROFILE）”）プロファイル識別情報をシンタックス上に含めることによって、入力されたビットストリームが多視点プロファイルに関するものか否かを判別し、多視点プロファイルに関するものと認められる場合に様々な属性情報を追加可能になる。
【００５９】
図１は、本発明が適用される実施例であり、多視点ビデオ映像を含むビデオ信号のデコーディングのための多視点ビデオシステムのデコーディング装置を示す概略ブロック図である。
【００６０】
この多視点ビデオシステムは、前記多視点ビデオ映像を提供するために、対応するエンコーディング装置（エンコーダ）を含むことができる。この時、前記多視点ビデオ映像は、装置で読取り可能な情報の搬送体（例えば、装置で読取り可能な保存媒体、または、送信機と受信機間で伝播される装置で読取り可能なエネルギー信号）に含まれたエンコーディングされたイメージデータを含むビットストリームとして提供されることができる。
【００６１】
図１を参照すると、前記デコーディング装置は、大きく、パーシング部１０、エントロピーデコーディング部１１、逆量子化／逆変換部１２、画面間予測部１３、画面内予測部１４、デブロッキングフィルタ部１５、復号ピクチャバッファ部１６などを含む。
【００６２】
画面間予測部１３は、動き補償部１７、照明補償部１８、照明補償オフセット予測部１９などを含む。
【００６３】
パーシング部１０では、受信したビデオ映像を復号するためにＮＡＬ単位にパーシングを行う。一般的に、１つまたはそれ以上のシーケンスパラメータセットとピクチャパラメータセットとが、スライスヘッダとスライスデータがデコーディングされる前にデコーダに転送される。この時、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域には様々な属性情報を含ませることができる。例えば、時間的レベル情報、視点レベル情報、アンカーピクチャ識別情報、視点識別情報などを含ませることができる。
【００６４】
ここで、時間的レベル情報とは、ビデオ信号から時間的拡張性を提供するための階層的な構造に関する情報のことをいう。このような時間的レベル情報を通じて使用者に多様な時間帯の映像を提供できることになる。
【００６５】
視点レベル情報とは、ビデオ信号から視点拡張性を提供するための階層的な構造に関する情報のことをいう。多視点ビデオ映像では、使用者に多様な時間及び視点の映像を提供するようにするために時間及び視点に対するレベルを定義する必要がある。
【００６６】
このようにレベル情報を定義する場合、時間及び視点に対する拡張性を利用できるようになる。したがって、使用者は、所望の時間及び視点の映像のみを見ることもでき、他の制限条件による映像のみを見ることが可能になる。前記レベル情報は、その基準条件によって多様な方法でそれぞれ別に設定することができる。例えば、前記レベル情報は、カメラの位置によって別々に設定することができ、カメラの配列形態によって別々に設定することができる。なお、前記レベル情報は、特別な基準によらずに任意に設定しても良い。
【００６７】
アンカーピクチャとは、全てのスライスが同一時間帯のフレームに在るスライスのみを参照する符号化されたピクチャのことを意味する。例えば、他の視点に在るスライスのみを参照し、現在視点に在るスライスは参照しない符号化されたピクチャのことをいう。多視点映像の復号化過程において、視点間のランダムアクセスが必要な場合がありうる。
【００６８】
復号化努力を最小化しながら任意視点に対するアクセスを可能にすべきである。ここで効率的なランダムアクセスを実現するためにアンカーピクチャ識別情報が必要とされることがある。
【００６９】
また、視点識別情報とは、現在視点に在るピクチャと他の視点に在るピクチャを区別するための情報のことをいう。ビデオ映像信号がコーディングされる時、それぞれのピクチャを識別するためにピクチャオーダカウント（ＰＯＣ）とｆｒａｍｅ＿ｎｕｍを利用することができる。
【００７０】
多視点ビデオ映像である場合には、視点間の予測が行われることができる。したがって、現在視点に在るピクチャと他の視点に在るピクチャを区別するために識別子が利用される。
【００７１】
ピクチャの視点を示す視点識別子を定義することができる。前記視点識別子を用いて現在ピクチャと他の視点に在るピクチャの情報を獲得し、前記他の視点に在るピクチャの情報を用いて前記ビデオ信号をデコーディングすることができる。このような視点識別子は、ビデオ信号のエンコーディング／デコーディング過程全般にわたって適用されることができる。また、特定の視点識別子ではなく視点が考慮されたｆｒａｍｅ＿ｎｕｍを用いて多視点ビデオコーディングにそのまま適用しても良い。
【００７２】
一般的に多視点映像のデータ量は膨大であり、よって、これを解決するために各視点の階層的符号化（これは、ビュースケーラビリティとも呼ばれる。）機能が必要となることができる。ビュースケーラビリティ機能を行うために多視点映像の視点を考慮した予測構造を定義することができる。
【００７３】
前記予測構造は、複数の視点映像に対して予測順序及び方向などを構造化することによって定義することができる。例えば、符号化しようとする様々な視点の映像が与えられる時、全体配列の中央を基準視点と定め、次第に階層的に符号化しようとする視点の映像を選択することができる。または、全体配列の終わり部分やその他の部分を基準視点と定めても良い。
【００７４】
カメラ視点の個数が２の指数乗の場合には、これを基準にして各視点映像間の階層的な予測構造を形成しても良い。または、カメラ視点の個数が２の指数乗でない場合には、実際個数よりも大きいながら最も小さい２の指数乗の場合を基準にして仮想の視点を想定し、予測構造を形成しても良い。また、カメラ配列が２次元の場合には、水平、垂直方向に交互に予測順序を定めることができる。
【００７５】
パーシングされたビットストリームは、エントロピーデコーディング部１１を通じてエントロピーデコーディングされ、各マクロブロックの係数、動きベクトルなどが抽出される。逆量子化部／逆変換部１２では、受信した量子化された値に一定の定数を乗算して変換された係数値を獲得し、該係数値を逆変換して画素値を復元することとなる。前記復元された画素値を用いて、画面内予測部１４では現在ピクチャ内のデコーディングされたサンプルから画面内予測を行う。
【００７６】
デブロッキングフィルタ部１５は、ブロック歪み現象を減少させるためにそれぞれのコーディングされたマクロブロックに適用される。フィルタは、ブロックの縁部を滑らかにし、デコーディングされたフレームの画質を向上させる。フィルタリング過程の選択は、境界強さと境界周囲のイメージサンプルの変化に左右される。フィルタリングを経たピクチャは出力されたり参照ピクチャとして用いるために復号ピクチャバッファ部１６に保存される。
【００７７】
復号ピクチャバッファ部１６では、画面間予測を行うべく、以前にコーディングされたピクチャを保存したり開放するなどの役割を果たす。この時、復号ピクチャバッファ部１６に保存したり開放するには、各ピクチャのｆｒａｍｅ＿ｎｕｍとＰＯＣが用いられることとなる。したがって、ＭＶＣにおいて前記以前にコーディングされたピクチャの中には現在ピクチャと異なる視点に在るピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、前記ｆｒａｍｅ＿ｎｕｍとＰＯＣだけでなく、ピクチャの視点を示す視点識別子も一緒に用いることができる。
【００７８】
画面間予測部１３では、復号ピクチャバッファ部１６に保存された参照ピクチャを用いて画面間予測を行う。インターコーディングされたマクロブロックは、マクロブロックパーティションに分けられることができ、各マクロブロックパーティションは１つまたは２つの参照ピクチャから予測されることができる。
【００７９】
動き補償部１７では、エントロピーデコーディング部１１から転送された情報を用いて現在ブロックの動きを補償する。ビデオ信号から現在ブロックに隣接するブロックの動きベクトルを抽出し、前記現在ブロックの動きベクトルプレディクタを獲得する。前記獲得された動きベクトルプレディクタとビデオ信号から抽出される差分ベクトルを用いて現在ブロックの動きを補償する。また、このような動き補償は、１つの参照ピクチャを用いて行われても良く、複数のピクチャを用いて行われても良い。
【００８０】
したがって、前記参照ピクチャが現在視点と異なる視点に在るピクチャである場合には、その視点を示す視点識別子を用いて動き補償を行うことができる。
また、直接予測モードは、符号化の終わったブロックの動き情報から現在ブロックの動き情報を予測する符号化モードである。このような方法は、動き情報を符号化する時に必要なビット数が軽減され、圧縮効率が向上する。
【００８１】
例えば、時間直接予測モードは、時間方向の動き情報相関度を用いて現在ブロックの動き情報を予測する。この方法と略同様に、前記デコーダは視点方向の動き情報相関度を用いて現在ブロックの動き情報を予測できる。
【００８２】
また、入力されたビットストリームが多視点映像に該当する場合、各視点映像は、それぞれ異なるカメラから取得された映像であるので、カメラの内外的要因によって照明差が発生することになる。これを防止するために、照明補償部１８では照明補償を行う。
【００８３】
照明補償を行うことにおいて、ビデオ信号の一定階層に対する照明補償を行うか否かを示すフラグ情報を用いることができる。例えば、該当スライスまたは該当マクロブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行うことができる。また、前記フラグ情報を用いて照明補償を行うにおいて、様々なマクロブロックのタイプ（例えば、インター１６×１６モード、Ｂ−Ｓｋｉｐモードまたは直接予測モード等）に適用されることができる。
【００８４】
また、照明補償を行うにおいて、現在ブロックを復元するために周辺ブロックの情報または現在ブロックと異なる視点に在るブロックの情報を用いることができ、現在ブロックのオフセット値を用いることができる。ここで、現在ブロックのオフセット値とは、現在ブロックの平均画素値とそれに対応する参照ブロックの平均画素値間の差のことをいう。前記オフセット値を用いる一例として、前記現在ブロックの隣ブロックを用いて前記現在ブロックのオフセット値のプレディクタを獲得し、前記オフセット値と前記プレディクタとの差分値を用いることができる。したがって、デコーダでは、前記差分値と前記プレディクタを用いて前記現在ブロックのオフセット値を復元できる。
【００８５】
また、現在ブロックのプレディクタを獲得するにおいて、隣ブロックの情報を用いることができる。
【００８６】
例えば、隣ブロックのオフセット値を用いて現在ブロックのオフセット値を予測できるが、これに先立って前記現在ブロックの参照番号と前記隣ブロックの参照番号が同一であるか否かを確認することができる。前記確認結果によって、前記照明補償部１８はどんな隣ブロックを用いるのか、またはどんな値を用いるかを決定できる。
【００８７】
また、前記照明補償部１８は、現在ブロックのプレディクションタイプを用いて照明補償を行うことができ、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合には、現在ブロックのオフセット値を用いて各参照ブロックに対応するオフセット値を獲得しても良い。
【００８８】
このように照明補償、動き補償などを用いてインター予測されたピクチャとイントラ予測されたピクチャは予測モードによって選択され、現在ピクチャを復元することになる。
【００８９】
以下では、現在ピクチャを復元するために適用されるエンコーディング／デコーディング方法の具体的な実施例について説明する。
【００９０】
図２は、本発明を適用したシーケンスパラメータセットＲＢＳＰシンタックスを示す構造図である。
【００９１】
図２を参照すると、シーケンスパラメータセットとは、プロファイル、レベルなどシーケンス全体の符号化にわたる情報が含まれているヘッダ情報のことをいう。
【００９２】
圧縮された動映像全体、すなわちシーケンスは、必ずシーケンスヘッダから始まるべきなので、ヘッダ情報に相当するシーケンスパラメータセットはそのパラメータセットを参照するデータよりも先に復号器に到着すべきである。結局、シーケンスパラメータセットＲＢＳＰは、動映像圧縮の結果データに関するヘッダ情報の役割を果たす（Ｓ１）。ビットストリームが入力されると、まず、プロファイル識別子（ｐｒｏｆｉｌｅ＿ｉｄｃ）の入力されたビットストリームが複数個のプロファイルのうちどんなプロファイルに基づくかを識別する（Ｓ２）。例えば、前記プロファイル識別情報が６６であれば、前記ビットストリームはベースラインプロファイルに基づくことを意味し、７７であればメインプロファイルに基づくことを意味し、８８であれば拡張プロファイルに基づくことを意味する。そして、入力ビットストリームが多視点プロファイルに関するものかを決定するシンタックス（“If(profile_idc==MULTI_VIEW_PROFILE)”）が用いられることができる（Ｓ３）。
【００９３】
前記Ｓ３部分において前記入力ビットストリームが多視点プロファイルに関するものと認定される場合、前記入力ビットストリームに多視点映像に関する様々な情報を追加可能になる。様々な情報の一例は、下記の通りである。
【００９４】
“参照視点（ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗ）”、すなわち、全体視点の基準となる参照視点を指定し、これに関する情報を追加できる。ＭＶＣで通常、１つの視点映像は、既存の符号化方式（例えば、Ｈ．２６４／ＡＶＣ  ｃｏｄｅｃ）で符号化／復号化をする。このように定められた視点を参照視点と呼び、シンタックス内に前記参照視点を追加した場合、何番目の視点を参照視点に設定すべきかを知らせる。
【００９５】
また、多視点のうち符号化の基準となる視点である“基準視点”も参照視点としての役割を果たす。参照視点映像は、他の視点映像に対する参照無しで独立して符号化される（Ｓ４）。
【００９６】
“視点個数（ｎｕｍ＿ｖｉｅｗｓ）”、すなわち、複数台のカメラから取得された多重視点の個数に関する情報を追加できる。各シーケンスごとに視点の個数は様々となりうるので、前記情報を転送することによってエンコーダ、デコーダ側ではこれを有用に用いることができる。（Ｓ５）。
【００９７】
“カメラの配列形態（ｖｉｅｗ＿ａｒｒａｎｇｅｍｅｎｔ）”とは、映像取得時にカメラがどんな方式で配列されているかを知らせる情報で、これをシンタックス内に追加した場合、各配列形態にもっと適合するように符号化を行うことができる。そして、以降、カメラの各配列形態にもっと適合した符号化方法が考案される場合に有用に用いられることができる（Ｓ６）。
【００９８】
“フレーム数（ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ）”は、各視点内で連続して符号化／復号化されるフレーム数を示し、前記フレーム数に関する情報を追加することができる。すなわち、現在Ｎ番目の視点を符号化／復号化しており、次はＭ番目の視点を符号化／復号化する順番である時、Ｎ番目の視点でいくつのフレームをまず処理してからＭ番目の視点に進むかに関するものである。前記ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報とｎｕｍ＿ｖｉｅｗｓ情報を通じて全体シーケンスにおいて各フレームが何番目の視点に属するかを計算することができる。各視点シーケンスのＩスライスとＰスライス間の第１長さ、ＰスライスとＰスライス間の第２長さ、または、前記第１または第２長さの何倍かに該当する長さをｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報と設定すれば、その単位に１つの視点で処理してから、次の視点に進むことができる。ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報は、既存のＧＯＰの長さより小さいか等しく設定することができる。例えば、図４Ｂと図４Ｃは、本発明で適用されるｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅの概念を説明するためのＧＧＯＰの構造を示す図で、この場合、図４Ｂは、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝３、図４Ｃはｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝１になりうる。
【００９９】
ＭＶＣでは、時間軸と視点軸にフレームが配列されるので、同じ時間帯で各視点ごとに１つのフレームを処理してから次の時間帯で再び各視点ごとに１つのフレームを処理することができる。この場合、例えばｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝１となる。そして、１つの視点内で時間軸に沿ってＮ個のフレームをまず処理してから、次の視点でＮ個のフレームを処理することができる。この場合、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝Ｎとなる。したがって、少なくとも１個のフレームは処理されるので、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅの代わりにｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＿ｍｉｎｕｓ１としてシンタックス内に追加することも可能である。ただし、この場合、上記の各例は、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＿ｍｉｎｕｓ1＝０、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＿ｍｉｎｕｓ1＝Ｎ−１となる（Ｓ７）。
【０１００】
既存符号化方式のプロファイルには共通するプロファイルがない。このため、プロファイル以外に、互換性を表示するためにフラグを使用する。ｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ＊＿ｆｌａｇは、ビットストリームがどんなプロファイルの復号器で復号されるかを示す。ｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ０＿ｆｌａｇは、ベースラインプロファイルの復号器で復号されることができるということを意味し（Ｓ８）、ｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ１＿ｆｌａｇは、メインプロファイルの復号器（Ｓ９）、ｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ２＿ｆｌａｇは拡張プロファイルの復号器で復号されることができるということを意味する（Ｓ１０）。したがって、ＭＵＬＴＩ＿ＶＩＥＷ＿ＰＲＯＦＩＬＥ復号器を定義する必要があり、これをｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ４＿ｆｌａｇで定義する（Ｓ１１）。
【０１０１】
“ｌｅｖｅｌ＿ｉｄｃ”は、レベル識別子を意味する。レベルとは、復号器の能力とビットストリームの複雑度を定義する役割を果たし、各プロファイルで規定された技術要素をどの範囲まで支援するかについて定義している（Ｓ１２）。
【０１０２】
“ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ”は、シーケンスを識別するためにＳＰＳ中に与えられたＳＰＳ識別情報を意味する（Ｓ１３）。
【０１０３】
図３Ａは、本発明が適用されたビットストリームの構造であり、１つのビットストリーム内で１つのシーケンスのみを含む場合を示す。
【０１０４】
図３Ａを参照すると、ＳＰＳ（シーケンスパラメータセット）は、プロファイル、レベルなどシーケンス全体の符号化にわたる情報が含まれているヘッダ情報であり、ＳＥＩ（補充的付加情報）は、動映像符号化階層の復号過程に必須でない付加情報を表す。ＰＰＳ（ピクチャパラメータセット）は、ピクチャ全体の符号化モードを示すヘッダ情報である。Ｉスライスは、画面内の符号化のみを行うスライスで、Ｐスライスは画面内の符号化あるいは画面間予測符号化を行うスライスのことをいう。ピクチャ区分記号は、ビデオピクチャ間の境界を区分する役割を果たす。本発明は、前記ＳＰＳ部分にＳＰＳ  ＲＢＳＰ  シンタックスが適用される。したがって、ビットストリーム生成時に前記シンタックスが適用され、様々な情報を追加可能になる。
【０１０５】
図３Ｂは、本発明が適用されたビットストリームの構造で、１つのビットストリーム内で２個のシーケンスを含む場合を示す。
【０１０６】
図３Ｂを参照すると、Ｈ．２６４／ＡＶＣは、１つのビットストリームがいくつかのシーケンスを扱うことができる。シーケンスを識別するためにＳＰＳ内にはＳＰＳ識別情報（ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）があり、ＰＰＳ内でＳＰＳ識別情報を指定し、どのシーケンスに属するかを識別できる。また、スライスヘッダ内でＰＰＳ識別情報（ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を指定することによってどのＰＰＳを使用するかを識別できる。
【０１０７】
その一実施例として、図３Ｂで、スライス＃１内のヘッダには参照するＰＰＳ識別情報（ＰＰＳ＝１）が含まれており（丸付数字の１）、ＰＰＳ＃１には、参照するＳＰＳ識別情報（ＳＰＳ＝１）が含まれている（丸付数字の２）。したがって、スライス＃１はシーケンス＃１に属することがわかる。同様に、スライス＃２はシーケンス＃２に属することがわかる（丸付数字の３と４）。実際に、ベースラインプロファイル映像とメインプロファイル映像を合わせて編集し、新しいビデオビットストリームを生成することができるが、この場合、２種類のビットストリームに異なるＳＰＳ識別情報を与え、そのいずれかは、多視点プロファイルにも変換が可能である。
【０１０８】
図４Ａは、本発明を適用した実施例であり、ＧＧＯＰの構造を示し、図４Ｂ及び図４Ｃは、本発明で適用されるｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅの概念を説明するためのＧＧＯＰの構造を示す。ＧＯＰは、何枚の画面データを１つにまとめたグループのことを意味する。ＭＶＣではより効率的な符号化のために時間的、空間的予測が両方とも行われなければならず、ＧＧＯＰの概念が必要となる。
【０１０９】
各視点シーケンスのＩスライスとＰスライス間の第１長さ、または、ＰスライスとＰスライス間の第２長さ、または前記第１または第２長さの何倍かに該当する第３長さをｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報と設定すると、その単位に１つの視点で処理し、次の視点に進むことができる。ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報は、既存のＧＯＰ長さよりも小さいか同一に設定されることができる。ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報の適用例であって、図４Ｂはｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝３の場合で、図４Ｃはｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝１の場合である。特に、図４Ｂでｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＞１であり、１つまたはそれ以上の視点がＩで始まる場合は、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＋１個のフレームが処理されることができる。また、前記ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報とｎｕｍ＿ｖｉｅｗｓ情報を通じて全体シーケンスで各フレームが何番目の視点に属するかを計算することができる。
【０１１０】
図４Ａで、各フレームは、時間軸と視点軸に配列されており、Ｖ１〜Ｖ８はそれぞれ、ＧＯＰを表し、Ｖ４は基準ＧＯＰで、他のＧＯＰの参照ＧＯＰの役割を果たす。ＭＶＣでは、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝１の場合、同じ時間帯で各視点のフレームを処理し、次の時間帯で再び各視点のフレームを処理できる。Ｔ１〜Ｔ４はそれぞれ同じ時間帯における各視点フレームを表す。すなわち、Ｔ１のフレームを処理し、続いてＴ４→Ｔ２→Ｔ３→…などの順に処理できる。また、ＭＶＣでは、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝Ｎの場合、１つの視点内で時間軸に沿ってＮ個のフレームをまず処理してから、次の視点内でＮ個のフレームを処理することができる。すなわち、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝４の場合、Ｖ４のＴ１〜Ｔ４に属するフレームを処理し、続いてＶ１→Ｖ２→Ｖ３→…などの順に処理できる。
【０１１１】
したがって、図４Ａでは、ビットストリームを生成する時、視点個数は８で、参照視点はＶ４  ＧＯＰとなる。そして、フレーム数（ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ）は、各視点内で連続して符号化／復号化されるフレーム数を表すので、図４Ａで、同じ時間帯で各視点のフレームを処理する場合は、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅは１になり、１つの視点内で時間軸に沿ってフレームを処理する場合は、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅはＮとなる。上記の情報がビットストリーム生成時に追加されることができる。
【０１１２】
図５は、本発明が適用されたビデオ映像の復号化方法を示すフローチャートである。
【０１１３】
まず、受信したビットストリームから１つ以上のプロファイル情報を抽出することができる。ここで、抽出されるプロファイル情報は、ベースラインプロファイル、メインプロファイル、多視点プロファイル等、様々なプロファイルのうちいずれか１つ以上とすれば良く、これは入力されるビデオ映像によって可変する（Ｓ５１）。前記抽出されたプロファイル情報から前記プロファイルに含まれた１つ以上の属性情報を抽出することができる。例えば、抽出されたプロファイル情報が多視点プロファイルに関する情報であれば、多視点プロファイルに含まれた１つ以上の属性情報、すなわち、例えば、“参照視点（ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗ）”、“視点個数（ｎｕｍ＿ｖｉｅｗｓ）”、“カメラの配列形態（ｖｉｅｗ＿ａｒｒａｎｇｅｍｅｎｔ）”、“フレーム数（ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ）”などに関する情報を抽出することができる（Ｓ５３）。このようにして抽出された情報は、多視点符号化されたビットストリームを復号化するのに活用される。
【０１１４】
図６Ａ及び図６Ｂは、本発明が適用される実施例であり、多視点映像の予測構造を示す。
【０１１５】
図６Ａ及び図６Ｂを参照すると、多視点の個数（ｍ）をｍ＝２nで表示すると、ｎ＝０なら視点個数は１になり、ｎ＝１なら視点個数は２になり、ｎ＝２なら視点個数は４になり、ｎ＝３なら視点個数は８になる。したがって、多視点の個数（ｍ）が２n-1＜ｍ＜＝２nの場合、１つの基準視点ビットストリームとＮ個の階層的補助視点ビットストリームを含むことができる。
【０１１６】
ここで、“基準視点”とは、前記多視点のうち符号化の基準となる視点を意味する。すなわち、基準視点に該当する映像は、一般的な映像符号化方式（ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ−２６４等）によって符号化され、独立したビットストリームに形成できるので、説明の便宜上、“基準視点ビットストリーム”と呼ばれる。
【０１１７】
また、“補助視点”とは、前記多視点のうち基準視点でない視点を意味する。すなわち、“補助視点”に該当する映像は、前記基準視点映像から動き推定などを行ってビットストリームを形成することとなるので、これは“補助視点ビットストリーム”と呼ばれる。
【０１１８】
また、多視点間の階層的符号化を行う場合、前記“補助視点ビットストリーム”は、“第１補助視点ビットストリーム”、“第２補助視点ビットストリーム”及び“第ｎ補助視点ビットストリーム”のように区別される。
【０１１９】
また、“ビットストリーム”とい用語は、前記“基準視点ビットストリーム”と“補助視点ビットストリーム”を包括する意味として用いられることができる。
【０１２０】
例えば、前記多視点の個数（ｍ）が８個（ｎ＝３）である場合、前記ビットストリームは１つの基準視点と３個の階層的補助視点を含む。上記のように、１つの基準視点とｎ個の階層的補助視点が存在する場合、多視点のうち、基準視点となる位置と、各階層的補助視点となる位置を一般的な規則により定義することが好ましい。参考として、図６Ａ及び図６Ｂで、四角形で表示された領域は各視点を意味し、四角形内の数字は、基準視点０、第１階層的補助視点１、第２階層的補助視点２及び第３階層的補助視点３を意味する。本例では最大８個の多視点を取り上げているが、それ以上の多視点の場合にも本発明の概念及び特徴が同様に適用可能である。
【０１２１】
すなわち、図６Ａを参照すると、各基準視点と階層的補助視点は次の規則により決定される。まず、基準視点の位置は２n-1番目の視点とする。例えば、ｎ＝３の場合は、基準視点は４番目に位置する視点となる。図６Ａ及び図６Ｂは、開始視点が最右側である場合を示すもので、最右側視点６１から４番目に該当する視点が基準視点となる。一般的に基準視点の位置は多視のうち中央付近または真中央が好ましく、これは、基準視点が他の補助視点の予測符号化において基準となるためである。これについては後述する。
【０１２２】
他の例として、常に最左側を開始視点とし、視点ナンバーをｍ＝１０，１，２，３，…の順に決定することも可能である。例えば、ｎ＝３の場合、２n-1番目の視点ナンバー（すなわち、ｍ＝４）を基準視点とすることも可能である。
【０１２３】
また、第１階層的補助視点の位置は、前記基準視点の位置から２n-2番目の大きさだけ離れた左または右方向のうちいずれか１つの視点とする。例えば、図６Ａは、基準視点から左方向に２n-2番目（すなわち、ｎ＝３の場合、２個の視点）離れた視点を第１階層的補助視点とした場合を示す。一方、図６Ｂは、基準視点から右方向に２n-2番目だけ離れた視点を第１階層的補助視点とした場合を示す。本例によれば、第１階層的補助視点の個数は１となる。
【０１２４】
また、第２階層的補助視点の位置は、前記基準視点及び第１階層的補助視点から２n-3大きさだけ離れた左及び右方向の視点とする。例えば、図６Ａでは、２個の第２階層的補助視点が発生することになる。一方、図６Ｂでは、第１階層的補助視点の右方向にそれ以上２n-2大きさだけ離れた視点が存在しないので、基準視点を基準にして左方向に２n-2大きさだけ離れた視点が第２階層的補助視点となる。
【０１２５】
なお、第２階層的補助視点を基準にして左方向に２n-2大きさだけ離れた位置を第２階層的補助視点６３とすることも可能である。ただし、該当の視点が多視点の両端に該当する場合、後述する第３階層的補助視点とすることができる。すなわち、図６Ｂでは、１個または２個の第２階層的補助視点が発生する。
【０１２６】
最後に、第３階層的補助視点の位置は、前記基準視点及び第１〜第２階層的補助視点とされた視点を除く残りの視点とする。図６Ａでは、４個の第３階層的補助視点が発生し、図６Ｂでは、４個または５個の第３階層的補助視点が発生することとなる。
【０１２７】
図７Ａ及び図７Ｂは、本発明が適用される実施例であり、多視点映像の予測構造を示す概念図である。
【０１２８】
本例は、前述した実施例（図６Ａ及び図６Ｂ）の場合と概念的内容が同一であり、ただし、基準視点を選択する開始視点の位置が最左側であるケースに該当する。すなわち、最左側視点６５から４番目に該当する視点を基準視点としたものである。これ以外の部分は図６Ａ及び図６Ｂの実施例と同一である。
【０１２９】
図８は、本発明が適用される実施例であり、多視点映像の予測構造を示す概念図である。
【０１３０】
本例は、多視点の個数（ｍ）が２n-1＜ｍ＜＝２nの場合を説明するためのものである。具体的には、ｍ＝５，６，７及び８の場合を挙げている。すなわち、ｍ＝５，６，７の場合は、多視点の個数（ｍ）がｍ＝２nを満足しないので、前述した第１実施例（図６Ａ及び図６Ｂ）及び第２実施例（図７Ａ及び図７Ｂ）をそのまま適用し難くなる。本例では、上記の問題点を仮想視点概念を導入して解決した。
【０１３１】
例えば、多視点の個数（ｍ）が２n-1＜ｍ＜２nの場合、２n−ｍだけの仮想視点を生成する。ｍ＝奇数個の場合、多視点配列左側（または右側）に（２n−ｍ＋１）／２個、右側（または左側）に（２n−ｍ−１）／２個の仮想視点を生成し、ｍ＝偶数個の場合、多視点配列左右側にそれぞれ（２n−ｍ）／２個の仮想視点を生成した後、前述した方式で予測構造を同一に適用することが可能である。
【０１３２】
例えば、前記多視点の個数（ｍ）が５個である場合、前記多視点の両端にそれぞれ１個または２個の仮想視点を追加し、多視点の個数を８個に仮想形成した後、基準視点位置及び３個の階層的補助視点位置をそれぞれ選択する。図８では、例えば、左側端に２個、右側端に１個の仮想視点をそれぞれ追加し、前述した図６Ａの実施例によって基準視点及び第１〜第３階層的補助視点を選択した場合を示した。
【０１３３】
また、前記多視点の個数（ｍ）が６である場合、前記多視点の両端にそれぞれ１個の仮想視点を追加し、多視点の個数を８に仮想形成した後、基準視点位置及び３個の階層的補助視点位置をそれぞれ選択する。図８では、前述した図６Ａの実施例によって基準視点及び第１〜第３階層的補助視点を選択した場合を示した。
【０１３４】
また、前記多視点の個数（ｍ）が７である場合、前記多視点の両端のいずれか一方に１個の仮想視点を追加し、多視点の個数を８に仮想形成した後、基準視点位置及び３個の階層的補助視点位置をそれぞれ選択する。図８では、例えば、左側端に１個の仮想視点を追加し、前述した図６Ａの実施例によって基準視点及び第１〜第３階層的補助視点を選択した場合を示した。
【０１３５】
図９Ａ及び図９Ｂは、本発明が適用される実施例であり、多視点映像の視点間階層的予測構造を示す図である。例えば、図９Ａは、前述した図６Ａの場合を、図９Ｂは前述した図７Ａの場合をそれぞれ適用して示すものである。すなわち、多視点の個数が８である場合、基準視点及び３個の階層的補助視点を持つことになる。これは、多視点動映像符号化時に視点間階層的符号化（または、‘ビュースケーラビリティ'）を可能にする。
【０１３６】
すなわち、前記階層的補助視点ビットストリームを構成する映像の各ピクチャは、前記基準視点映像の各ピクチャ及び／または上位階層的補助視点映像の各ピクチャから予測し、符号化を行うことになる。特に、前記予測は、動き推定（例えば、変移推定）方式が一般的に適用されることができる。
【０１３７】
例えば、第１階層的補助視点９２は、基準視点９１を参照して視点間予測符号化を行い、第２階層的補助視点９３ａ，９３ｂは、基準視点９１及び／または第１階層的補助視点９２を参照して視点間予測符号化を行い、また、第３階層的補助視点９４ａ，９４ｂ，９４ｃ，９４ｄは、基準視点及び第１階層的補助視点９２及び／または第２階層的補助視点９３ａ，９３ｂを参照して視点間予測符号化を行う。なお、同図中の矢印は、視点間予測符号化の進行方向を表示したもので、同一階層に含まれる補助ストリーム間にも互いに参照する視点が異なることができるということがわかる。上記のように、階層的符号化が行われたビットストリームは、受信端でそれぞれのディスプレイ特性に合うように選択的に復号化が行われ、これについては図１２で詳細に後述される。
【０１３８】
一般的にエンコーダで予測構造は可変するので、各視点の関係を表す情報を転送することによって、デコーダ側で容易に各視点映像間の予測構造関係を確認できるようにする。また、各視点が全体階層的構造でどのレベルに属するかに関する情報も同様にデコーダ側に転送することができる。
【０１３９】
各映像（またはスライス）別に視点レベル（ｖｉｅｗ＿ｌｅｖｅｌ）が割り当てられ、各視点映像間の予測構造関係が与えられると、エンコーダで多様に予測構造を変更しても、容易にデコーダで把握が可能である。この時、各視点間の予測構造／方向の情報は、マトリクスの形態で転送されることができる。すなわち、視点の個数（ｎｕｍ＿ｖｉｅｗ）もまたデコーダに転送されなければならず、各視点間の予測関係を２次元マトリクスで表現できる。
【０１４０】
視点間の予測関係が経時変化する場合、例えば、各ＧＯＰの最初フレームに対する予測関係と残りの時間帯におけるフレーム間の予測関係とが異なる場合、それぞれの場合に対する予測関係マトリクス情報を転送できる。
【０１４１】
図１０Ａ及び図１０Ｂは、本発明が適用される実施例であり、２次元多視点映像の予測構造を示す図である。
【０１４２】
前述した実施例はいずれも１次元配列の多視点の場合としたが、本例は２次元配列の多視点映像にも同じ方式で適用可能である。
【０１４３】
参考として、図１０Ａ及び図１０Ｂの各四角形は、２次元配列された各視点を意味し、四角形内の数字は階層的視点関係を表す。
【０１４４】
例えば、四角形内の数字が‘Ａ−Ｂ'形態の場合、Ａは、該当する階層的補助視点を意味し、Ｂは、同一階層的補助視点内での優先順位を表す。
【０１４５】
したがって、四角形内の数字は、基準視点０、第１階層的補助視点１、第２階層的補助視点２−１，２−２、第３階層的補助視点３−１，３−２、第４階層的補助視点４−１，４−２，４−３、及び第５階層的補助視点５−１，５−２，５−３をそれぞれ意味する。
【０１４６】
要するに、２次元配列された多視点から取得された映像を符号化してビットストリームを生成する場合、前記２次元多視点の個数（横軸＝ｍ、縦軸＝ｐ）が２n-1＜ｍ＜＝２n、２k-1＜ｐ＜＝２kの場合、前記ビットストリームは、１つの基準視点ビットストリームと（ｎ＋ｋ）個の階層的補助視点ビットストリームを含むことを特徴とする。
【０１４７】
これを具体的に説明すると、前記（ｎ＋ｋ）個の階層的補助視点は、横軸と縦軸を交互にして形成される。例えば、図１０Ａは、前記（ｎ＋ｋ）個の階層的補助視点のうち、第１階層的補助視点は、基準視点の含まれた縦軸内で決定する場合を示す。一方、図１０Ｂは、前記（ｎ＋ｋ）個の階層的補助視点のうち、第１階層的補助視点は、基準視点の含まれた横軸内で決定する場合を示す。
【０１４８】
例えば、図１０Ａに示すように、前記多視点の個数が横軸（ｍ）が８個（ｎ＝３）で、縦軸（ｐ）が４個（ｋ＝２）である場合、ビットストリームは１つの基準視点と５個の階層的補助視点を含む。これと関連し、図１０Ａは、‘縦軸→横軸→縦軸…’の順に階層的補助視点が選択される場合を示している。以下、基準視点及び各補助視点の位置を決定する方式について説明する。
【０１４９】
まず、基準視点の位置を決定すべきであり、これは、前述した１次元配列の場合と同じ方式が適用される。したがって、前記基準視点の位置は、横軸に２n-1番目、及び縦軸に２k-1番目に該当する視点とする。
【０１５０】
また、第１階層的補助視点の位置は、まず、縦軸に前記基準視点の位置から２k-2番目の大きさだけ離れた上または下方向のうちいずれか１つの視点とする（丸付数字の１）。続いて、第２階層的補助視点の位置は、前記基準視点及び第１階層的補助視点から横軸に２k-2の大きさだけ離れた左または右方向のうちいずれか１つの視点とする（丸付数字の２）。次に、第３階層的補助視点の位置は、前記基準視点、第１階層的補助視点及び第２階層的補助視点を含む縦軸内の残りの視点とする。続いて、第４階層的補助視点の位置は、前記基準視点及び第１〜第３階層的補助視点から横軸に２n-2大きさだけ離れた左及び右方向の視点とする。最後に、第５階層的補助視点の位置は、前記基準視点及び第１〜私４階層的補助視点を除外した残りの視点とする。
【０１５１】
また、例えば、図１０Ｂに示すように、前記多視点の個数が横軸（ｍ）が８個（ｎ＝３）で、縦軸（ｐ）が４個（ｋ＝２）である場合、ビットストリームは１つの基準視点と５個の階層的補助視点を含むこととなる。これと関連して、図１０Ｂは、‘横軸→縦軸→横軸…’の順に階層的補助視点が選択される場合を示している。以下、基準視点及び各補助視点の位置を決定する方式について説明する。
【０１５２】
まず、基準視点の位置を決定すべきであり、これは、前述した１次元配列の場合と同じ方式が適用される。したがって、前記基準視点の位置は横軸に２n-1番目及び縦軸に２k-1番目に該当する視点とする。
【０１５３】
また、第１階層的補助視点の位置は、横軸に前記基準視点の位置から２n-2番目の大きさだけ離れた左または右方向のうちいずれか１つの視点とする（丸付数字の１）。次の、第２階層的補助視点の位置は、前記基準視点及び第１階層的補助視点から縦軸に２k-1の大きさだけ離れた上または下方向のうちいずれか１つの視点とする（丸付数字の２）。次に、第３階層的補助視点の位置は、前記基準視点及び第１〜第２階層的補助視点から横軸に２n-2の大きさだけ離れた左及び右方向の視点とする。続いて、第４階層的補助視点の位置は、前記基準視点、第１〜第３階層的補助視点を含む縦軸内の残りの視点とする。最後に、第５階層的補助視点の位置は、前記基準視点及び第１〜第４階層的補助視点を除外した残りの視点とする。
【０１５４】
図１１Ａ〜図１１Ｃは、本発明が適用される実施例であり、多視点映像の予測構造を示す図である。本実施例は、前述した図６Ａ〜図６Ｂ、図７Ａ〜図７Ｂ、図８、図１０Ａ〜図１０Ｂの実施例とは異なる予測構造規則を適用した場合である。例えば、図１１Ａ〜図１１Ｃで四角形で表示された領域は各視点を意味するが、四角形内の数字は単に視点の予測順序を表す。すなわち、１番目に決定される第１視点「０」、２番目に決定される第２視点「１」、３番目に決定される第３視点「２」、４番目に決定される第４視点「３」等をそれぞれ意味する。
【０１５５】
例えば、図１１Ａは、多視点の個数（ｍ）がｍ＝１〜ｍ＝１０の場合のそれぞれに対して、前記第１視点〜第４視点が決定された形態を示すもので、前記第１視点〜第４視点は次の規則によって決定される。
【０１５６】
すなわち、例えば、前記多視点の両端を第１視点（０）と設定し、前記多視点のうち中央に位置した視点を第２視点（１）と設定し、前記第２視点から両方向に１つ以上の視点を飛ばして連続して位置した視点を第３視点（２）と設定し、前記第１視点〜第３視点に該当しない残りの視点を第４視点（３）と設定する。上記のように第１視点〜第４視点が決定されると、これらの中で基準視点と補助視点を区別すべきである。例えば、第１視点、第２視点及び第３視点のうちいずれか１つを基準視点と決定し、残りを補助視点とすることが可能である。
【０１５７】
また、上記のように基準視点が定められた規則によって決定されるのではなく、符号化端で任意に選択する場合では、基準視点の位置に関する識別情報（例えば、‘ｂａｓｅ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎ’）をビットストリーム内に含む必要がありうる。
【０１５８】
また、図１１Ｂは、前記第２視点（１）を決定するに当たり、第１視点（０）を除外した残りの視点が偶数である場合に対して図１１Ａとは異なる他の例を示す図である。すなわち、ｍ＝４、ｍ＝６、ｍ＝８、ｍ＝１０の場合に、図１１Ｂの第２視点（１）は、図１１Ａの第２視点（１）とは異なる位置の視点とすることができるということを示す。また、他の変形的使用例として、第２視点（１）以降を決定する場合、最左側の第１視点（０）から１つずつ視点を飛ばしながら上位視点を決定することも可能である。
【０１５９】
これと関連して、図１１Ｃは、多視点の個数が１０個（ｍ＝１０）で、このうち、基準視点が前記基準視点識別情報によって“ｂａｓｅ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＝‘１’の視点（すなわち、６番目の視点に該当する）”のように決定された場合の階層的補助視点の関係を示す図である。例えば、図１１Ｃに示すように、第１階層的補助視点は第３視点（２）となり、第２階層的補助視点は第１視点（０）となり、第３階層的補助視点は第４視点（３）となる。
【０１６０】
これと関連して、図１１Ａ及び図１１Ｂの場合に基準視点は常に、前述した図１１Ｃのように前記第１視点（１）と設定することも可能である。これは、基準視点が多視点の中央付近または真中央に位置する方が、他の補助視点の予測符号化を行うにおいて効率的でるためである。したがって、基準視点と補助視点の位置を次の規則によって決定することも可能である。
【０１６１】
すなわち、前記基準視点の位置は多視点のうち中央に位置した視点（１）とし、第２補助視点の位置は多視点の両端視点（０）とし、第１補助視点の位置は前記基準視点から両方向に１つ以上の視点を飛ばして連続して位置する視点（２）とする。前記視点以外の残りの視点（３）はいずれも第３補助視点となる。
【０１６２】
これと関連して、多視点の個数（ｍ）が７個以下（ｍ＜＝７）の場合、前記基準視点（１）と第２補助視点（０）間に２個以下の視点のみ存在する場合には、前記基準視点（１）と第２補助視点（０）間の全ての視点を第１補助視点（２）と設定する。
【０１６３】
一方、多視点の個数（ｍ）が８個以上（８<＝ｍ）の場合、前記第２補助視点（０）と第１補助視点（２）間に２個以下の視点のみ存在する場合には、前記第２補助視点（０）と第１補助視点（２）間の全ての視点を第３補助視点（３）と設定する。
【０１６４】
例えば、図１１Ａ及び図１１Ｂで、ｍ＝８，９，１０の場合、前記第２補助視点（０）と第１補助視点（２）間に存在する１個または２個の視点が第３補助視点（３）と設定されたことがわかる。
【０１６５】
他の方式として、前記基準視点（１）と第２補助視点（０）間に２個以下の視点のみ存在する場合にも、前記基準視点（１）と第２補助視点（０）間の全ての視点を第３補助視点（３）と設定することができる。例えば、図１１Ａ及び図１１Ｂで、ｍ＝８の場合、基準視点（１）と第２補助視点（０）間に存在する２個の視点がいずれも第３補助視点（３）と設定されたことがわかる。
【０１６６】
また、前記方式により決定された基準視点と補助視点を用いて、視点間階層的符号化を行うことが可能になる。
【０１６７】
例えば、多視点の個数（ｍ）が７以下（ｍ＜＝７）の場合には、１つの基準視点ビットストリームと２個の階層的補助視点ビットストリームを生成することになる。例えば、前記第２補助視点（０）を第１階層的補助視点とし、第１補助視点（２）を第２階層的補助視点とすることが可能である。
【０１６８】
また、例えば、多視点の個数（ｍ）が８以上（ｍ＞＝８）で、ｍ＝８，９，１０の場合には、１つの基準視点ビットストリームと３個の階層的補助視点ビットストリームを生成することになる。例えば、前記第１補助視点（２）を第１階層的補助視点とし、第２補助視点（０）を第１階層的補助視点とし、第３補助視点（３）を第３階層的補助視点とすることが可能である。
【０１６９】
図１２は、本発明の多視点動映像の視点間階層的復号化方法及び装置を説明するための概念図である。
【０１７０】
図１２を参照すると、本発明は、送信側符号化端で、前述した第１実施例〜第５実施例及びこれらの実施例から予測可能な変形的方式によって、多視点映像に対する階層的符号化を行ってビットストリームを生成し、これを受信側に送信する。
【０１７１】
したがって、本発明の復号化方法及び装置は、まず、前述した特徴によって生成されたビットストリームを受信し、これをデコーディングし、各階層別にデコーディングされたデータを生成する。以降、使用者またはディスプレイの選択によって前記階層別にデコーディングされたデータを用いて、多様な方式のディスプレイを具現することが可能になる。
【０１７２】
例えば、基準視点のみを再生する基準レイヤー１２１は、２次元の２Ｄディスプレイ１２５に適している。また、基準視点と第１階層的補助視点を共に再生する第１エンハンスメントレイヤ１２２は、２次元映像を２個結合したステレオタイプディスプレイ１２６に適している。また、基準視点と第１階層的補助視点及び第２階層的補助視点を共に再生する第２エンハンスメントレイヤー１２３は、多視点映像を立体的に再生するローマルチビュータイプディスプレイ１２７に適している。また、基準視点と全ての階層的補助視点を共に再生する第３エンハンスメントレイヤー１２４は、多視点映像を立体的に再生するハイマルチビュータイプディスプレイ１２８に適している。
【０１７３】
以上説明した予測構造は、照明補償を行う場合にも適用可能である。照明補償は、動き推定／動き補償を行う過程で適用されることができるが、より効率的な照明補償を行うための実施例について以下に説明する。
【０１７４】
図１３は、本発明が適用された一実施例であり、ビデオ映像符号化方法を説明するためのフローチャートである。
【０１７５】
図１３を参照すると、ビデオ映像符号化方法の一実施例として、現在ブロックに隣接したブロックと他の視点の参照映像ブロックのうち少なくとも１つのブロックに対する照明平均値を獲得する（Ｓ１３１）。前記獲得された値を以って複数個のモードのうち１つ以上のモードを用いて現在ブロックの照明平均予測値を誘導する（Ｓ１３２）。そして、前記現在ブロックの照明平均予測値と照明平均値との誤差値を獲得する（Ｓ１３３）。前記複数個のモードに対してそれぞれの符号化効率を測定し、最適のモードを選択する（Ｓ１３４）。前記最適のモードを選択する方法の一実施例としては、前記獲得された誤差値のうち、誤差値が最小となるモードを選択する方法、または、情報速度−歪み（ＲＤ）関係式を用いる方法などを挙げることができる。
【０１７６】
ここで、ＲＤ関係式は、該当のブロックを符号化する時に生じる符号化ビット数だけでなく実際映像に関する誤差値を示す歪み値を見分け、これら２成分を用いて費用を計算する。具体的に、ビット数に、量子化係数により決定されるラグランジュ乗数を乗じ、歪み値を加えて求めることができる。前記最適のモードが選択された後には、前記選択されたモードを示す識別情報のみを符号化して転送したり、前記選択されたモードを示す識別情報と一緒に前記選択されたモードによって獲得された誤差値も符号化して転送することができる（Ｓ１３５）。
【０１７７】
図１４は、本発明を適用した一実施例であり、他の視点の参照映像ブロックから現在ブロックの照明平均予測値を誘導する過程を説明するためのブロック構成図である。
【０１７８】
図１４を参照すると、Ｂcブロックピクセル値の平均値をＭc、Ｂr,1の平均値をＭr,1とし、残りのブロックの平均値も前記ブロック表示法に準して表現する。周辺情報を用いる方法によってＭc情報を予測する方法が多様である。説明のために、Ｂcブロックを符号化するときに、参照映像＃１が候補参照映像となる場合を考える。
【０１７９】
周辺情報を用いる方法によってＭc情報を予測する方法の一実施例として、現在ブロックに対応する他の視点の参照映像ブロックの照明平均値から予測する第１のモード方法（Ｍｏｄｅ１）を挙げることができる。すなわち、（Ｍｏｄｅ１）は、参照映像＃１のブロックＢr,1の平均値を用いてＭc情報を予測する場合である。誤差値は、下記の数式１で示される。
【０１８０】
【数１】
2009536793.tif 000003
【０１８１】
他の実施例として、現在ブロックとこれに対応する他の視点の参照映像ブロックの照明平均値との差を、現在ブロックと参照映像ブロックのそれぞれ隣接したブロック間の照明平均値差から予測する第２のモード方法（Ｍｏｄｅ２）を挙げることができる。すなわち、（Ｍｏｄｅ２）は、参照映像１のブロックＢr,lの照明平均値との差を、隣接したブロック（Ｂlc，Ｂlr,l）間の照明平均値差で予測する場合である。誤差値は下記の数式２で示される。
【０１８２】
【数２】
2009536793.tif 000004
【０１８３】
さらに他の実施例として、現在ブロックに隣接したブロックの照明平均値と現在ブロックに対応する他の視点の参照映像ブロックの照明平均値との差から予測する第３のモード方法（Ｍｏｄｅ３）を挙げることができる。すなわち、（Ｍｏｄｅ３）は、隣接したブロックＢlcの照明平均値と参照映像＃１のブロックＢr,lの照明平均値との差からＭc情報を予測する場合である。誤差値は、下記の数式３で示される。
【０１８４】
【数３】
2009536793.tif 000005
【０１８５】
さらに他の実施例として、現在ブロックに隣接したブロックが他の視点の参照映像ブロックの隣接したブロックから符号化された場合、現在ブロックに隣接したブロックの照明平均値予測差から予測する第４のモード方法（Ｍｏｄｅ４）を挙げることができる。すなわち、ブロックＢlcが既に参照映像＃２のブロックＢlr,2を参照して符号化された場合、現在ブロックＢcの照明平均値と該現在ブロックに該当する参照ブロックＢr,lとの誤差値は、現在ブロックの隣ブロックＢlcの照明平均値と他の視点参照ブロックの隣ブロックＢlr,2の照明平均値との誤差値から予測されることができる。誤差値は、下記の数式４で示される。
【０１８６】
【数４】
2009536793.tif 000006
【０１８７】
前述のＭｏｄｅ２、Ｍｏｄｅ３、Ｍｏｄｅ４の方法で隣接したブロック情報を用いるとき、真上の１つのブロックの情報のみを用いる場合としたが、一般的に現在ブロックを囲んでる様々な隣の情報を組み合わせわせて活用することができる。
【０１８８】
図１５は、本発明を適用した一実施例であり、他の視点の参照映像ブロックから現在ブロックの照明平均予測値を誘導する過程を一般化して説明するためのブロック構成図である。
【０１８９】
図１５では、現在ブロックと境界線を共有する既に符号化されたブロック、そして参照ブロックと境界線を共有するブロックを示す。この時、Ｍｏｄｅ２、Ｍｏｄｅ３、Ｍｏｄｅ４方法の式はそれぞれ、下記の数式５のように一般化することができる。
【０１９０】
【数５】
2009536793.tif 000007
【０１９１】
Ｍｏｄｅ４の一般化した式で、ｍir,kは、Ｂicブロックの参照ブロックが参照フレーム＃ｋに在る時、このブロックの照明平均値を表す。
【０１９２】
上記の式５でｗiは、加重値になり、予測に用いる隣接したブロックは、上記のように境界線を共有するものに限定されることはなく、前記隣の隣も含まれることができ、またその一部のみを用いても良い。これはｗiで調節できる。このようにして求めた誤差値（ｅ）は量子化した後、エントロピー符号化して転送する。
【０１９３】
上述のモードＭｏｄｅ１，Ｍｏｄｅ２，Ｍｏｄｅ３，Ｍｏｄｅ４参照フレームの決定は、実際ビットストリーム段階まで計算してみた後、情報速度と歪みの側面で最適なものを選ぶ。この最適のモードを選択する方法の一実施例として、前記獲得された誤差値のうち、誤差値が最小となるモードを選択する方法、または、ＲＤ関係式を用いる方法などを挙げることができる。
【０１９４】
前記ＲＤ関係式を用いる方法は、実際に各モードに対して実際ビットストリームまで計算する段階を全て行った後、情報速度と歪みの側面で最適なモードを選択する。既存の方式と違う点は、ブロック差分値を計算する時、現在ブロック及び参照ブロックから各ブロックの平均値を除算した値からその差値を計算するという点である。すなわち、下記の数式６のようにして求める。
【０１９５】
【数６】
2009536793.tif 000008
【０１９６】
ここで、ΔｘΔｙは、変移ベクトルを表し、Ｉは、照明値を表す。〔ｍc〕は、周辺情報を通じて予測した値と、誤差値を量子化した後に復元し、該復元された値を加算して求めた値で、エンコーダとデコーダで同じ値を得るためのものである。ｍrは、参照ブロックの照明平均値であって、復号された映像であるからエンコーダとデコーダで同じ値となる。そして、実際適用では、時間領域で参照ブロックを探した後、視空間領域で最適のものを探すことになる。したがって、照明補償を適用するか否かを示す識別情報もまた各フレームと各ブロックに対して「０」または「１」と指定され、これにもエントロピー符号化が適用される。
【０１９７】
前記最適のモードが選択された後には、前記選択されたモードのみを符号化して転送することができる。また、前記選択されたモードと一緒に、前記選択されたモードによって獲得された誤差値も符号化して転送することができる。選択されたモード情報はインデックスで表現され、この情報も同様に、隣モード情報から予測することができ、現在選択されたモードのインデックスと予測されたモードのインデックス値との誤差値も符号化して転送することができる。
【０１９８】
上記のモードを全て考慮しても良く、一部を選択したり、これらモードから１つのみを選択して適用しても良い。可能な全ての場合のうち、単一方法のみを使用する場合にはモードインデックスを別に符号化しなくても良い。
【０１９９】
本発明を適用した他の実施例として、照明平均値の獲得及び照明平均予測値を誘導する場合に、参照映像と符号化しようとする映像の符号化している現在ブロックに対して、既に復号化されたピクセル値を用いることができる。
【０２００】
基本的に、現在ブロックの照明平均値を予測する時、左側と上端のピクセルの既に復号化された値を用いる。実際のビデオ映像を符号化する時、ビデオ映像は、マクロブロックを基準にして符号化される。そして、１６×１６サイズのマクロブロックは、映像の複雑度によって、１６×８、８×１６、８×８に細分化して符号化しても良く、それぞれの８×８ブロックは再び同じ方式で８×４、４×８、４×４ブロックに細分化することができる。それぞれの場合に１つのマクロブロックを基準にして各位置に在る小さいブロックの照明平均値を予測する方法は様々である。
【０２０１】
図１６は、本発明を適用した実施例であり、照明平均値の獲得及び照明平均予測値を誘導する場合に、ブロックの左側と上端に在るピクセルの既に復号化された値を用いることを説明するための１６×１６マクロブロックを示す。
【０２０２】
図１６を参照すると、１６×１６マクロブロックは、上端、左側に在る全てのピクセル値を用いることができる。したがって、現在ブロックの照明平均値を予測する時、前記ブロックの上端、左側に在る全てのピクセル（ｖ１〜ｖ１６、ｈ１〜ｈ１６）の照明平均値を計算し、これから現在ブロックの照明平均値を予測することができる。この場合、Ｂ１６×１６ブロックの照明平均値は、下記の数式７で示される。
【０２０３】
【数７】
2009536793.tif 000009
【０２０４】
図１７Ａ及び図１７Ｂは、本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するに際して、前記分割されたブロックをめぐるピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための１６×８マクロブロックをそれぞれ示す。
【０２０５】
図１７Ａの場合、すなわち、前記分割されたブロックを囲むピクセル全部を用いる場合、Ｂ１６×８＿０及びＢ１６×８＿１ブロックの平均値は、下記の数式８で示される。
【０２０６】
【数８】
2009536793.tif 000010
【０２０７】
図１７Ｂの場合、すなわち、前記分割されたブロックを囲むピクセルのみを用いる場合、Ｂ１６×８＿０及びＢ１６×８＿１ブロックの照明平均値はそれぞれ、下記の数式９，１０で示される。
【０２０８】
【数９】
2009536793.tif 000011
【０２０９】
【数１０】
2009536793.tif 000012
【０２１０】
また、上記の図１７Ａ及び図１７Ｂの場合において、マクロブロックのコーナーに位置しているｈ0も含めて計算しても良い。この場合、図１７Ａ及び図１７Ｂ場合のＢ１６×８＿０照明平均値はそれぞれ、下記の数式１１，１２で示される。
【０２１１】
【数１１】
2009536793.tif 000013
【０２１２】
【数１２】
2009536793.tif 000014
【０２１３】
また、上記の図１７Ａ及び図１７Ｂの場合において、マクロブロックのコーナーに在るｈ0とｖ8も含めて計算することができる。この場合、上記の図１７Ａ及び図１７Ｂ場合のＢ１６×８＿１照明平均値はそれぞれ、下記の数式１３，１４で示される。
【０２１４】
【数１３】
2009536793.tif 000015
【０２１５】
【数１４】
2009536793.tif 000016
【０２１６】
図１８Ａ及び図１８Ｂは、本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するに際して、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×１６マクロブロックをそれぞれ示す。分割された各ブロックの照明平均値を求める方法は、上記の図１７Ａ及び図１７Ｂにおける方法と同じである。
【０２１７】
図１９Ａ及び図１９Ｂは、本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するに際して、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×８マクロブロックをそれぞれ示す。分割された各ブロックの照明平均値を求める方法は、上記の図１７Ａ及び図１７Ｂにおける方法と同じである。
【０２１８】
上記の方法と同様に、８×８ブロックはより細部ブロックに分割することができ、同じ方法を適用することができる。
【０２１９】
上記のような方式で符号化しようとする映像の現在ブロックと参照映像における該当ブロックピクセルの照明平均値を予測し、それぞれ＜ｍc＞、＜ｍr＞という。
【０２２０】
各ブロック内の全てのピクセルに対してそれぞれの照明平均予測値を減算した後に、２ブロックの誤差値を下記の数式１５で計算できる。
【０２２１】
【数１５】
2009536793.tif 000017
【０２２２】
ここで、（Δｘ，Δｙ）は、変移ベクトルを意味し、Ｉはピクセル値を表す。このブロック誤差が最も小さい参照映像のブロックを、照明が補償された最適ブロックとして選択する。この時、推定された変移ベクトルは（Δｘ，Δｙ）となる。実際システムでは、照明補償をしなかった場合と結果を比較し、性能の良いものを選択する。
【０２２３】
上記の方式の一変形としては、参照映像ブロックの照明平均値は周囲ピクセル値によって予測するのではなく、実際ブロック内の全てのピクセルの照明平均値によって直接計算する場合がある。
【０２２４】
他の変形として、上端と左側利用ピクセルの数を増やす場合がある。すなわち、直に隣接した一層のピクセルだけでなく、隣接した２個以上の層のピクセルを用いても良い。
【０２２５】
デコーダ側では、識別情報を通じて該当ブロックの照明補償を行うか否かを決定することができる。照明補償を行うことになる場合、誤差値（ｅ）に対する復号された値をまず求め、前記予測方法によって予測値を求めることができる。そして、これら２つの値を加算することによって〔ｍc〕(＝＜ｍc＞＋ｅ)を復号できる。いわゆる前記現在ブロックの予測子と呼ばれる予測ブロックである参照ブロックから＜ｍr＞−〔ｍc〕を減算した後、差分ブロック値の復号された値に加算することによって現在ブロック値を最終的に求めることができる。前記現在ブロックは下記のようにして復元することができる。
【０２２６】
Ｂ＝予測ブロック＋差分ブロック＋（＜ｍc＞−＜ｍr＞＋ｅ）、ここで、Ｂは現在ブロック値を表し、予測ブロックは、前記現在ブロックの予測子を表す。
【０２２７】
そして、＜ｍc＞−＜ｍr＞は、前記現在ブロックの照明補償オフセット予測値である平均ピクセル値の予測された差値を表し、ｅは前記で説明した誤差値を表す。デコーディング部は、前記現在ブロックの照明補償オフセット値と予測された差分値間の誤差値を獲得できる。そして、前記獲得された誤差値と前記予測された差分値を用いて前記現在ブロックの照明補償オフセット値を復元することができる。
【０２２８】
図２０は、本発明が適用される一実施例であり、現在ブロックのオフセット値を獲得する過程を説明するための図である。
【０２２９】
照明補償は、動き推定過程で行われることができる。現在ブロックと候補参照ブロックの類似性を比較する時、両ブロック間の照明差を考慮すべきである。前記照明差を補償すべく、新しい動き推定／動き補償が行われる。新しいＳＡＤは、下記の数式１６，１７を用いて求めることができる。
【０２３０】
【数１６】
2009536793.tif 000018
【０２３１】
【数１７】
2009536793.tif 000019
【０２３２】
ここで、Ｍcは、現在ブロックの平均画素値を表し、Ｍrは、参照ブロックの平均画素値を表す。Ｉc(ｘ,ｙ)は、現在ブロックの（ｘ，ｙ）座標での画素値を表し、Ｉr(ｘ＋△ｘ，ｙ＋△ｙ)は、参照ブロックの動きベクトル（△ｘ，△ｙ）の時の画素値を表す。上記数式１６の新しいＳＡＤに基づいて動き推定を行うことによって、前記現在ブロックと前記参照ブロック間の平均画素値差が獲得されることができる。前記獲得された平均画素値差をオフセット値（ＩＣ＿ｏｆｆｓｅｔ）という。
【０２３３】
照明補償が適用された動き推定が行われる場合、オフセット値と動きベクトルが求められ、照明補償は前記オフセット値と前記動きベクトルを用いて数式１８のように行うことができる。
【０２３４】
【数１８】
2009536793.tif 000020
【０２３５】
ここで、Ｒ(ｘ，ｙ)は、照明補償が行われた差分値を表す。
【０２３６】
前記オフセット値（ＩＣ＿ｏｆｆｓｅｔ＝Ｍc−Ｍr）はデコーディング部に転送することができる。デコーディング部での照明補償は、下記の数式１９のように行うことができる。
【０２３７】
【数１９】
2009536793.tif 000021
【０２３８】
Ｒ'(ｘ，ｙ)は、復元された、照明補償の行われた差分値を表し、Ｉ'ｃ(ｘ，ｙ)は、復元された現在ブロックの画素値を表す。
【０２３９】
現在ブロックを復元するためには、オフセット値がデコーディング部に転送されなければならず、前記オフセット値は、隣ブロックの情報から予測することができる。前記オフセット値をコーディングするビット数をより減少させるべく、現在ブロックのオフセット値（ＩＣ＿ｏｆｆｓｅｔ）と隣ブロックのオフセット値（ＩＣ＿ｏｆｆｓｅｔ＿ｐｒｅｄ）との差値（ＲIC_offset）のみを送ることができる。これは、下記の数式２０で示される。
【０２４０】
【数２０】
2009536793.tif 000022
【０２４１】
図２１は、本発明が適用される一実施例であり、現在ブロックに対する照明補償を行う過程を説明するためのフローチャートである。
【０２４２】
現在ブロックの照明補償フラグが「０」の場合には、現在ブロックに対する照明補償が行われない。フラグが「１」の場合に、現在ブロックのオフセット値を復元する過程が行われる。この時、現在ブロックのプレディクタを獲得するにおいて、隣ブロックの情報を用いることができる。まず、現在ブロックの参照番号と隣ブロックの参照番号が同一か否かを判断する（Ｓ２１０）。前記判断結果に基づいて、現在ブロックの照明補償のためのプレディクタを獲得する（Ｓ２１１）。前記獲得されたプレディクタを用いて現在ブロックのオフセット値を復元する（Ｓ２１２）。ここで、前記現在ブロックの参照番号と隣ブロックの参照番号が同一か否かを判断し（Ｓ２１０）、その判断結果に基づいてプレディクタを獲得する段階（Ｓ２１１）についてより詳細に説明する必要がある。これについては、図２２で説明する。
【０２４３】
図２２は、本発明が適用される一実施例であり、現在ブロックと隣ブロックの参照番号が同一か否かに基づいてプレディクタを獲得する方法を説明するためのフローチャートである。
【０２４４】
デコーディング部では、照明補償を行うべく、ビデオ信号から現在ブロックの隣ブロックのフラグ情報及びオフセット値、前記現在ブロックとその隣ブロックの該当参照ブロックの参照番号などを抽出し、このような情報を用いて現在ブロックのプレディクタを獲得することができる。そして、現在ブロックのオフセット値と前記プレディクタ間の差分値を獲得し、前記獲得された差分値と前記プレディクタを用いて前記現在ブロックのオフセット値を復元することができる。
【０２４５】
この時、現在ブロックのプレディクタを獲得するに際して、隣ブロックの情報を用いることができる。例えば、前記隣ブロックのオフセット値を用いて前記現在ブロックのオフセット値を予測できるが、これに先立って現在ブロックの参照番号と前記隣ブロックの参照番号が同一か否かを確認し、その確認結果によってどんな隣ブロックを用いるか、または、どんな値を用いるかを決定することができる。また、前記隣ブロックのフラグ情報が「真」であるか否かを確認し、その確認結果によって前記隣ブロックを用いるか否かを決定できる。
【０２４６】
第１の実施例として、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在するか否かを判断する（Ｓ２２０）。前記判断結果、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが１個のみ存在する場合、前記参照番号が同一である隣ブロックのオフセット値を現在ブロックのプレディクタに割り当てることになる（Ｓ２２１）。上記Ｓ２２０段階の判断結果によって現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが２個存在する場合には、同じ参照番号を持つ２個の隣ブロックのオフセット値の平均値が、現在ブロックのプレディクタに割り当てられる（Ｓ２２２）。また、前記Ｓ２２０段階の判断結果によって、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが３個存在する場合には、同じ参照番号を持つ３個の隣ブロックのオフセット値の中間値が、現在ブロックのプレディクタに割り当てられる（Ｓ２２３）。また、前記Ｓ２２０段階の判断結果によって、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在しない場合、現在ブロックのプレディクタは「０」として割り当てられる（Ｓ２２４）。上記の参照番号の同一性を確認する過程（Ｓ２２０）で、該当の隣ブロックのフラグが「１」か否かを確認する条件を含むことができる。
【０２４７】
第２の実施例として、隣ブロックが現在ブロックの参照番号と同じ参照番号を持つか否を確認し、前記隣ブロックのフラグが「１」であるか確認する。該２つの条件をいずれも満たす隣ブロックがあると、その隣ブロックのオフセット値をプレディクタとすることができる。この時、隣ブロックをチェックする順序は、左側→上端→上右側→上左側の順にしても良く、上端→左側→上右側→上左側の順にしても良い。前記２つの条件をいずれも満たす隣ブロックがなく、前記３個の隣ブロックのフラグ（例えば、左側、上端、上右側（または上左側）に在る３個の隣ブロックのフラグ）が「１」であれば、前記３個の隣ブロックのオフセット値の中間値をプレディクタとし、これも満たさないと、現在ブロックのプレディクタは「０」として割り当てることができる。
【０２４８】
図２３は、本発明が適用される一実施例であり、現在ブロックのプレディクションタイプに基づいて照明補償を行う方法を説明するためのフローチャートである。
【０２４９】
現在ブロックのプレディクションタイプによって参照する隣ブロックが変わる。例えば、現在ブロックと隣ブロックの形状が同一である場合には、現在ブロックは隣ブロックの中間値を用いて予測を行うことができる。しかし、その形状が異なる場合には、他の方法を適用することができる。
【０２５０】
例えば、現在ブロックの左側に在るブロックが複数のブロックに分けられている場合、そのうち、最も上端に位置しているブロックを予測のために使うことができる。または、現在ブロックの上端に在るブロックが複数に分けられている場合、そのうち最も左側に位置しているブロックを予測のために使うことができる。このように、現在ブロックのプレディクションタイプは、どの隣ブロックを使用するかによってその予測値が変わる。したがって、本発明の一実施例では、まず、現在ブロックのプレディクションタイプによって参照する隣ブロックを決定することができる（Ｓ２３１）。前記決定された隣ブロックの参照番号と前記現在ブロックの参照番号とが同一であるか否かを判断する（Ｓ２３２）。このとき、参照番号が同一か否かを確認する過程（Ｓ２３２）で該当の隣ブロックのフラグが「１」か否かを確認する条件も含むことができる。その判断結果に基づいて現在ブロックの照明補償のためのプレディクタを獲得できる（Ｓ２３３）。前記獲得されたプレディクタを用いて現在ブロックのオフセット値を復元することによって照明補償を行うことができる（Ｓ２３４）。ここで、前記Ｓ２３２段階の結果に基づいてＳ２３３段階を行う過程について、具体的な実施例に挙げて説明する。これについての具体的実施例は、図２２で説明した方式と類似する方式を適用することができる。
【０２５１】
例えば、現在ブロックのプレディクションタイプが現在ブロックの左側ブロックを参照して予測を行う場合では、前記現在ブロックの左側ブロックの参照番号が前記現在ブロックの参照番号と同一か否かを判断する。その判断結果、参照番号が同一である場合、前記左側ブロックのオフセット値を現在ブロックのプレディクタに割り当てる。また、現在ブロックのプレディクションタイプが現在ブロックの左側ブロックと上端ブロックの両方を参照して予測を行う場合、または、現在ブロックの左側ブロックと上端ブロック、そして右側上端ブロックの３つを参照する場合などそれぞれの場合は、図２２で説明した方式と同一の方式が適用される。
【０２５２】
図２４は、本発明が適用される一実施例であり、該当のブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行う方法を説明するためのフローチャートである。
【０２５３】
図２４を参照すると、現在ブロックのオフセット値を復元する時、前記現在ブロックの照明補償を行うか否かを示すフラグ情報（ＩＣ＿ｆｌａｇ）も用いることができる。または、図２２で説明した参照番号を確認する方法とフラグ情報を予測する方法を両方とも用いて前記プレディクタを獲得しても良い。まず、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在するか否かを判断できる（Ｓ２４１）。前記判断結果に基づいて現在ブロックの照明補償のためのプレディクタを獲得できる。この時、隣ブロックのフラグが「１」か否かを判断基準として含むことができる（Ｓ２４２）。また、前記判断結果に基づいて現在ブロックのフラグ情報を予測できる（Ｓ２４３）。前記獲得したプレディクタと前記予測したフラグ情報を用いて現在ブロックのオフセット値を復元することによって照明補償を行うことが可能になる（Ｓ２４４）。ここで、前記Ｓ２４２段階は、前記図２２で説明した方式と同一の方式を適用することができる。そして、前記Ｓ２４３段階は、図２５で詳細に後述する。
【０２５４】
図２５は、本発明が適用される一実施例であり、現在ブロックと隣ブロックの参照番号が同一か否かに基づいて現在ブロックのフラグ情報を予測する方法を説明するためのフローチャートである。
【０２５５】
本発明の一実施例では、まず、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在するか否かを判断する（Ｓ２５０）。前記判断結果、現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが１個のみ存在する場合、前記参照番号が同一である隣ブロックのフラグ情報から現在ブロックのフラグ情報を予測できる（Ｓ２５１）。前記Ｓ２５０段階の判断結果によって現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが２個存在する場合には、同じ参照番号を持つ２個の隣ブロックのフラグ情報のうちいずれか１つのフラグ情報から現在ブロックのフラグ情報を予測できる（Ｓ２５２）。
【０２５６】
また、前記Ｓ２５０段階の判断結果によって現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが３個存在する場合には、同じ参照番号を持つ３個の隣ブロックのフラグ情報のうち、中間値から現在ブロックのフラグ情報を予測できる（Ｓ２５３）。また、前記Ｓ２５０段階の判断結果によって現在ブロックの参照番号と同じ参照番号を持つ隣ブロックが存在しない場合、現在ブロックのフラグ情報予測は行われない（Ｓ２５４）。
【０２５７】
図２６は、本発明が適用される一実施例であり、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合において照明補償を行う方法を説明するためのフローチャートである。
【０２５８】
照明補償を行うにおいて、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合には、デコーダで各参照ブロックに対応するオフセット値が直接的にわからなくなる。これは、現在ブロックのオフセット値を獲得する時に、前記２個の参照ブロックを平均した画素値を用いたためである。したがって、本発明の一実施例では、各参照ブロックごとに対応するオフセット値を獲得し、より正確な予測が可能になる。まず、現在ブロックのプレディクタと誤差値を用いて現在ブロックのオフセット値を復元する（Ｓ２６１）。現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合、下記の数式２１に示すように、前記オフセット値を用いて各参照ブロックに対応するオフセット値を獲得する（Ｓ２６２）。
【０２５９】
【数２１】
2009536793.tif 000023
【０２６０】
ここで、ｍcは、現在ブロックの平均画素値を表し、ｍr,1、ｍr,2はそれぞれ、参照ブロックの平均画素値を表す。ｗ1、ｗ2は双方向予測コーディング時の加重値係数を表す。
【０２６１】
前記照明補償方法の一実施例として、前記システムは、各参照ブロックに対応する正確なオフセット値を別途に獲得して利用できるので、より正確な予測コーディングが可能になる。前記現在ブロックのオフセット値を復元する時（Ｓ２６２）、復元されたオフセット差分値とプレディクタ値を加算してオフセット値を求めることができる。この時、Ｌｉｓｔ  ０の参照ピクチャと、Ｌｉｓｔ  １の参照ピクチャのそれぞれに対するプレディクタを求め、これらを組み合わせて現在ブロックのオフセット値を復元する時に必要なプレディクタ値を求めることができる。
【０２６２】
他の実施例として、本発明は、スキップマクロブロックの場合にも適用することができる。本実施例では、予測が照明補償に関する情報を獲得するために行われる。照明補償を行うか否かを示すフラグ情報は、周辺ブロックで予測された値を用いることができ、現在ブロックのオフセット値は、周辺ブロックで予測されたオフセット値を用いることができる。例えば、フラグ情報が「真」であれば、オフセット値は参照ブロックに加算される。具体的な例として、Ｐ−Ｓｋｉｐモードが適用されるマクロブロックの場合、左側と上端の隣ブロックのフラグとオフセット値を用いて予測し、前記マクロブロックのフラグとオフセット値を求めることができる。１個のブロックのみがフラグ「１」を持つと、前記現在ブロックのフラグとオフセット値は、前記ブロックのフラグとオフセット値に設定することができる。２つのブロックがいずれもフラグ「１」を持つと、前記現在ブロックのフラグは「１」になり、オフセット値は２つの隣ブロックのオフセット値の平均値に設定することができる。
【０２６３】
さらに他の実施例として、本発明は、直接予測モード（例えば、Ｄｉｒｅｃｔ、Ｂ−Ｓｋｉｐモード）にも適用されることができる。本実施例では、予測が照明補償に関する情報を獲得するために行われる。上記の多様なフラグ、オフセット予測方法を適用してそれぞれのプレディクタを求めることができる。この値を、現在ブロックの実際フラグ、オフセット値として設定できる。各ブロックが１対のフラグ、オフセット情報のみを持っていれば、それぞれに対して１つずつの予測値を求めればよい。この時、参照ブロックが２個である場合、参照番号チェックをするときには前記現在ブロックと隣ブロックの各参照番号がいずれも一致するか否かをチェックする。また、各参照ブロックに対してそれぞれのオフセット値を持っている場合には、予測された第１フラグ情報と予測された第１オフセット値、予測された第２フラグ情報と予測された第２オフセット値を獲得することができる。この場合、フラグ情報は周辺ブロックで予測された値を用いることができ、２個の参照ブロックのオフセット値はそれぞれ、前記予測された第１オフセット値と第２オフセット値を用いることができる。ここで、現在ブロックのオフセット値は、各参照ブロックのオフセット値の平均値とすることができる。
【０２６４】
直接予測モードとスキップマクロブロックの場合、フラグ情報を符号化／復号化しても良い。すなわち、フラグ値によってオフセット値が加算されても良く、そうでなくても良い。また、オフセット値と予測されたオフセット値間の誤差値を符号化／復号化しても良い。この場合にはより正確に復元することができ、ＲＤ側面で最適なものを選択するようにしても良い。また、本明細書で説明した予測過程で参照ピクチャの利用が不可能な場合、すなわち、参照ピクチャ番号が「１」よりも小さい場合は、フラグ情報または予測されたフラグ情報が「偽」に設定され、オフセット値または予測されたオフセット値は「０」に設定することができる。
【０２６５】
さらに他の実施例として、本発明は、エントロピーコーディングにも適用することができる。フラグ情報に対しては隣ブロック（例えば、現在ブロックの左側ブロックと上位ブロック）のフラグ値によって３個の状況（コンテクスト）が考えられる。
【０２６６】
フラグ値が「真」の場合は「１」、「偽」の場合は「０」に変換すると、各場合に対して２つの値を合わせると３つ場合が出る。このような３つのコンテクストを用いてフラグ情報を符号化／復号化できる。オフセットの予測誤差値に対しては、例えば、変換係数レベルコーディングにおけると同じ方法を使用することができる。すなわち、ＵＥＧ０によって二進化が行われ、最初のビン値に対して１つのコンテクストモデルが適用され、単項の前置部の残りのビン値に対して他のコンテクストモデルが適用されることができる。サインビットは、バイパスモードで符号化／復号化されることができる。フラグ情報に対して他の実施例として、予測されたフラグ情報の値によって２個のコンテクストが考えられ、これを用いて符号化／復号化できる。
【０２６７】
図２７は、本発明が適用された実施例であり、現在ブロックの照明補償を行うか否かを示すフラグ情報と現在ブロックのオフセット値を用いて照明補償を行う過程を説明するためのフローチャートである。
【０２６８】
デコーディング部では、照明補償を行うためにビデオ信号から多様な情報、例えば、前記現在ブロックの隣ブロックのフラグ情報及びオフセット値、前記現在ブロックとその隣ブロックの該当の参照ブロックのインデックス情報などを抽出できる。そして、このような情報を用いて前記現在ブロックのプレディクタを獲得できる。前記デコーディング部は、現在ブロックのオフセット値と前記プレディクタ間の差分値を獲得し、前記獲得された差分値と前記プレディクタを用いて前記現在ブロックのオフセット値を復元できる。ここで、現在ブロックのオフセット値を復元する時、前記現在ブロックの照明補償を行うか否かを示すフラグ情報（ＩＣ＿ｆｌａｇ）を用いることができる。
【０２６９】
前記デコーディング部は、ビデオ信号から現在ブロックの照明補償を行うか否かを示すフラグ情報を獲得する（Ｓ２７１）。前記フラグ情報によって照明補償が行われる場合、前記現在ブロックの平均画素値と参照ブロックの平均画素値との差を示す現在ブロックのオフセット値を復元できる（Ｓ２７２）。このように、照明補償技術は、相互に異なるピクチャに属したブロックの平均画素値の差分値をコーディングする。各ブロックに照明補償技術を適用するか否かを示すフラグが用いられる時、該当のブロックがＰスライスに属したブロックである場合には、１つのフラグ情報と１つのオフセット値を符号化／復号化すればよい。しかし、該当のブロックがＢスライスに属したブロックである場合には、様々な方法が可能である。以下、これを図２８Ａ及び図２８Ｂを参照して詳細に説明する。
【０２７０】
図２８Ａ及び図２８Ｂは、本発明が適用された一実施例であり、それぞれＰスライス及びＢスライスに属したブロックにフラグ情報とオフセット値を用いて照明補償を行う方法を説明するための図である。
【０２７１】
図２８Ａで、“Ｃ”は、現在ブロック（Ｃ）を表し、“Ｎ”は現在ブロック（Ｃ）に隣接するブロックを、“Ｒ”は現在ブロック（Ｃ）が参照するブロックを、“Ｓ”は現在ブロック（Ｃ）に隣接するブロック（Ｎ）が参照するブロックを表す。“ｍc”は現在ブロックの平均画素値を表し、“ｍr”は現在ブロックが参照するブロックの平均画素値を表す。現在ブロック（Ｃ）のオフセット値を“ＩＣ＿ｏｆｆｓｅｔ”とすれば、ＩＣ＿ｏｆｆｓｅｔ＝ｍc−ｍrとなる。
【０２７２】
同様に、隣ブロック（Ｎ）のオフセット値を“ＩＣ＿ｏｆｆｓｅｔ＿ｐｒｅｄ”とすれば、エンコーディング部では現在ブロック（Ｃ）のオフセット値である“ＩＣ＿ｏｆｆｓｅｔ”を復元するためにその値をそのまま転送せずに、現在ブロックのオフセット値（ＩＣ＿ｏｆｆｓｅｔ）と隣ブロックのオフセット値（ＩＣ＿ｏｆｆｓｅｔ＿ｐｒｅｄ）との差分値（ＲIC_offset）のみを送ることができる。ここで、ＲIC_offsetは、上記の数式２０で示される。
【０２７３】
前記隣ブロックのフラグ情報またはオフセット値から現在ブロックのプレディクタを生成する時には、多様な方法が適用されることができる。例えば、隣ブロック１つのみの情報を用いても良く、２以上の隣ブロックの情報を用いても良い。２以上の隣ブロックの情報を用いる場合には、平均値を用いても良く、中間値を用いても良い。このように、現在ブロックが１つの参照ブロックを用いて予測コーディングされた場合には、１つのオフセット値と１つのフラグ情報を用いて照明補償を行うことができる。
【０２７４】
しかしながら、該当のブロックがＢスライスに属したブロックである場合、すなわち、現在ブロックが２以上の参照ブロックを用いて予測コーディングされた場合には、様々な方法が可能になりうる。
【０２７５】
例えば、図２８Ｂで、“Ｃ”は現在ブロック（Ｃ）を表し、“Ｎ”は現在ブロック（Ｃ）に隣接するブロックを、“Ｒ０”は現在ブロックが参照するＬｉｓｔ  ０の参照ピクチャ１に在る参照ブロックを、”Ｓ０”は隣ブロックが参照するＬｉｓｔ  ０の参照ピクチャ１に在る参照ブロックを表すと仮定する。そして、“Ｒ１”は現在ブロックが参照するＬｉｓｔ  １の参照ピクチャ３に在る参照ブロックを、“Ｓ０”は隣ブロックが参照するＬｉｓｔ１の参照ピクチャ３に在る参照ブロックを表すと仮定する。この時、現在ブロックのフラグ情報とオフセット値は各参照ブロックに対して存在するので、それぞれ２つの値が存在する。したがって、前記フラグ情報とオフセット値を用いる場合に、それぞれ少なくとも１つ以上を用いることができる。
【０２７６】
第１の例によれば、動き補償を通じて２つの参照ブロックに関する情報の組み合わせによって現在ブロックのプレディクタが求められることができる。ここで、現在ブロックに照明補償を適用するか否かを１つのフラグ情報で表し、前記フラグ情報が「真」である場合、前記現在ブロックと前記プレディクタから１つのオフセット値を獲得して符号化／復号化を行うことができる。
【０２７７】
第２の例によれば、動き補償を行う過程で２つの参照ブロックに対してそれぞれ照明補償を適用するか否かを決定することができる。それぞれの参照ブロックに対してフラグ情報が与えられ、前記フラグ情報を用いて獲得された１つのオフセット値を符号化／復号化することができる。この場合、フラグ情報は参照ブロックを基準にして２個、オフセット値は現在ブロックを基準にして１個用いることができる。
【０２７８】
第３の例では、現在ブロックを基準にして、このブロックに対して照明補償を適用するか否かを１つのフラグ情報で表すことができる。そして、２つの参照ブロックに対してそれぞれのオフセット値が符号化／復号化される。符号化過程において、いずれか一方の参照ブロックに対して照明補償を適用しない場合には、それに該当するオフセット値を「０」とする。この場合、フラグ情報は現在ブロックを基準にして１個、オフセット値は参照ブロックを基準にして２個用いることができる。
【０２７９】
第４の例では、各参照ブロックに対してそれぞれのフラグ情報とオフセット値が符号化／復号化される。この場合、フラグ情報とオフセット値はいずれも参照ブロックを基準にしてそれぞれ２個ずつ用いることができる。
【０２８０】
上記の第１から第４の例の場合に対して、オフセット値はそのまま符号化されずに、隣ブロックのオフセット値から予測した後、その誤差値のみを符号化できる。
【０２８１】
図２９は、本発明が適用される一実施例であり、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合において照明補償を行う方法を説明するためのフローチャートである。
【０２８２】
現在ブロックがＢスライスに属したブロックである場合、照明補償を行うためにビデオ信号から前記現在ブロックの隣ブロックのフラグ情報及びオフセット値、前記現在ブロックとその隣ブロックの該当の参照ブロックのインデックス情報などを抽出し、このような情報を用いて現在ブロックのプレディクタを獲得できる。そして、現在ブロックのオフセット値と前記プレディクタ間の差分値を獲得し、前記獲得された差分値と前記プレディクタを用いて前記現在ブロックのオフセット値を復元できる。この場合、現在ブロックのオフセット値を復元する時、前記現在ブロックの照明補償を行うか否かを示すフラグ情報（ＩＣ＿ｆｌａｇ）を用いることができる。
【０２８３】
前記デコーディング部は、ビデオ信号から現在ブロックの照明補償を行うか否かを示すフラグ情報を獲得できる（Ｓ２９１）。前記フラグ情報によって照明補償が行われる場合、前記現在ブロックの平均画素値と参照ブロックの平均画素値との差を示す現在ブロックのオフセット値を復元できる（Ｓ２９２）。
【０２８４】
ところが、このように現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合には、デコーダで各参照ブロックに対応するオフセット値が直接的にわからなくなる。これは、現在ブロックのオフセット値を獲得する時、前記２個の参照ブロックを平均した画素値を用いたためである。したがって、本発明の一実施例では、各参照ブロックごとに対応するオフセット値を獲得し、より正確な予測を可能にすることができる。したがって、現在ブロックが２個の参照ブロックを用いて予測コーディングをした場合、下記の数式２２に示すように、前記オフセット値を用いて各参照ブロックに対応するオフセット値を獲得できる（Ｓ２９３）。
【０２８５】
【数２２】
2009536793.tif 000024
【０２８６】
ここで、ｍcは現在ブロックの平均画素値を表し、ｍr,1、ｍr,2はそれぞれ、参照ブロックの平均画素値を表す。ｗ1、ｗ2は双方向予測コーディング時の加重値係数を表す。
【０２８７】
このような方法で照明補償を行う場合、各参照ブロックに対応する正確なオフセット値が別途獲得されて利用可能になるので、より正確な予測コーディングが可能になる。前記現在ブロックのオフセット値を復元する時、復元されたオフセット差分値とプレディクタ値を加算してオフセット値を獲得できる。この時、Ｌｉｓｔ０、Ｌｉｓｔ１のそれぞれに対するプレディクタを求め、これらを組み合わせて現在ブロックのオフセット値を復元する時に必要なプレディクタ値を求めることができる。
【０２８８】
図３０は、本発明が適用される一実施例であり、現在ブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行う過程を説明するためのフローチャートである。
【０２８９】
照明補償技術は、カメラ間の照明または色相差を補償するためのものである。この技術は、さらには、同じカメラで獲得されたシーケンス映像間においても適用できる。この技術を通じて照明や色相差が動き推定に大きく影響を及ぼさないようにすることができる。しかし、実際符号化過程では、照明補償を適用するか否かを示すフラグ情報を用いることとなる。照明補償の適用範囲は、シーケンス、視点、ＧＯＰ、ピクチャ、スライス、マクロブロック、サブブロックなどになりうる。
【０２９０】
小さい領域範囲に照明補償技術が用いられると、よりローカルな領域に対して調節が可能であるが、その分、フラグ情報のためのビットが多く必要となる。また、多くの場合に照明補償技術が要らない。したがって、各領域範囲別に照明補償技術を使用するか否かを示すフラグビットを割り当てることによって、效果的に照明補償技術を用いることができる。まず、ビデオ信号の一定階層に対して照明補償を行うように誘導するフラグ情報を獲得できる（Ｓ３０１）。
【０２９１】
例えば、各領域範囲別に次のようにフラグ情報を設定できる。シーケンス階層に対しては“ｓｅｑ＿ＩＣ＿ｆｌａｇ”、視点階層に対しては“ｖｉｅｗ＿ＩＣ＿ｆｌａｇ”、ＧＯＰ階層に対しては“ＧＯＰ＿ＩＣ＿ｆｌａｇ”、ピクチャ階層に対しては“ｐｉｃ＿ＩＣ＿ｆｌａｇ”、スライス階層に対しては“ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ”、マクロブロック階層に対しては“ｍｂ＿ＩＣ＿ｆｌａｇ”、ブロック階層に対しては“ｂｌｋ＿ＩＣ＿ｆｌａｇ”としてフラグビットを割り当てることができる。これについては、図３１Ａ〜図３１Ｃで詳細に説明するものとする。そして、前記フラグ情報によって照明補償が行われた前記ビデオ信号の一定階層を、デコーディング可能になる（Ｓ３０２）。
【０２９２】
図３１Ａ〜図３１Ｃは、本発明が適用された一実施例であり、現在ブロックの照明補償を行うように誘導するフラグ情報の使用範囲を説明するための図である。
【０２９３】
照明補償を行うように誘導するフラグ情報の適用範囲を階層別に区分できる。例えば、図３１Ａ〜図３１Ｂに示すように、シーケンス階層に対しては“ｓｅｑ＿ＩＣ＿ｆｌａｇ”３１１、視点階層に対しては“ｖｉｅｗ＿ＩＣ＿ｆｌａｇ”３１２、ＧＯＰ階層に対しては“ＧＯＰ＿ＩＣ＿ｆｌａｇ”３１３、ピクチャ階層に対しては“ｐｉｃ＿ＩＣ＿ｆｌａｇ”３１４、スライス階層に対しては“ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ”３１５、マクロブロック階層に対しては“ｍｂ＿ＩＣ＿ｆｌａｇ”３１６、ブロック階層に対しては“ｂｌｋ＿ＩＣ＿ｆｌａｇ”３１７が割り当てられる。
【０２９４】
ここで、各フラグは１ビット情報であり、これらのフラグは少なくとも１つ以上存在できる。また、シーケンス／視点／ピクチャ／スライス範囲などのフラグは、該当のパラメータセットまたはヘッダに位置させることができ、または、他のパラメータセットにも位置させることができる。例えば、“ｓｅｑ＿ＩＣ＿ｆｌａｇ”３１１は、シーケンスパラメータセットに位置させることができ、“ｖｉｅｗ＿ＩＣ＿ｆｌａｇ”３１２は、視点パラメータセットに位置させることができ、“ｐｉｃ＿ＩＣ＿ｆｌａｇ”３１４は、ピクチャパラメータセットに位置させることができる。また、“ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ”３１５はスライスヘッダに位置させることができる。
【０２９５】
前記フラグ情報が２以上存在する場合、２以上の一定階層のうち下位階層に照明補償を行うか否かは、上位階層の照明補償を行うか否かによって制御されることができる。すなわち、各フラグビット値が「１」と設定されると、その下位範囲で照明補償技術が適用される場合がありうるということを示す。
【０２９６】
例えば、ｐｉｃ＿ＩＣ＿ｆｌａｇ＝１の場合、該当のピクチャ範囲内の各スライスに対してｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ値を「１」または「０」に設定でき、または、各マクロブロックに対してｍｂ＿ＩＣ＿ｆｌａｇ値を「１」または「０」に設定でき、または、各ブロックに対してｂｌｋ＿ＩＣ＿ｆｌａｇ値を「１」または「０」に設定することができる。視点パラメータセットがある場合、ｓｅｑ＿ＩＣ＿ｆｌａｇ＝１であれば、各視点に対してｖｉｅｗ＿ＩＣ＿ｆｌａｇ値を「１」または「０」に設定できることとなる。ただし、ｖｉｅｗ＿ＩＣ＿ｆｌａｇ＝１の場合には、図３１Ａに示すように、該当の視点に属する各ＧＯＰ、ピクチャ、スライス、マクロブロック、またはブロックに対するフラグビット値を「１」または「０」に設定しても良く、そうでなくても良い。ここで、そうでない場合は、図３１Ｂのように、各ＧＯＰ、ピクチャ、スライス、マクロブロック、またはブロックに対するフラグが視点に関するフラグ情報によって制御されない場合のことをいう。
【０２９７】
上位範囲のフラグビット値が「０」の場合、下位範囲のフラグビット値は自動的に「０」となる。例えば、ｓｅｑ＿ＩＣ＿ｆｌａｇ＝０の場合、該当のシーケンスに対して照明補償技術が適用されないということを意味し、したがって、ｖｉｅｗ＿ＩＣ＿ｆｌａｇ、ＧＯＰ＿ＩＣ＿ｆｌａｇ、ｐｉｃ＿ＩＣ＿ｆｌａｇ、ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇ、ｍｂ＿ＩＣ＿ｆｌａｇ、ｂｌｋ＿ＩＣ＿ｆｌａｇはいずれも「０」に設定される。そして、ｍｂ＿ＩＣ＿ｆｌａｇとｂｌｋ＿ＩＣ＿ｆｌａｇは、照明補償技術の具体的な具現方法によって１つのみ用いられても良い。また、視点に関するフラグ情報（ｖｉｅｗ＿ＩＣ＿ｆｌａｇ）は多視点ビデオコーディングで視点パラメータセットが新しく適用される場合に適用することができる。最も下位単位であるマクロブロックまたはサブブロックにおけるフラグビット値によって現在ブロックのオフセット値が追加的に符号化／復号化されるであろう。
【０２９８】
また、図３１Ｃのように、ＩＣ技術適用に対するフラグがスライスとマクロブロック階層にのみ適用される実施例も考えられる。例えば、ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇが「０」の場合は、該当のスライスでＩＣが適用されないことを意味することができる。ｓｌｉｃｅ＿ＩＣ＿ｆｌａｇが「１」の場合は、該当のスライスでＩＣが適用されることを意味し、この場合、ｍｂ＿ＩＣ＿ｆｌａｇが「１」であれば、該当のマクロブロックでＩＣ＿ｏｆｆｓｅｔが復元される。ｍｂ＿ＩＣ＿ｆｌａｇが「０」であれば、該当のマクロブロックでＩＣが適用されないことを意味する。
【０２９９】
また、本発明の他の一実施例として、マクロブロック階層より上位階層のフラグ情報が「真」である場合、現在ブロックの平均画素値と参照ブロックの平均画素値との差を示す現在ブロックのオフセット値を獲得できるが、この時、前記マクロブロック階層または前記ブロック階層に対するフラグ情報は利用しなくて良い。照明補償技術を適用する時、各ブロックに対して照明補償技術を適用するか否かをフラグ情報を通じて表すことができる。しかし、動きベクトルのように、その値のみを示すことで充分な場合もある。これは、照明補償技術の適用範囲と一緒に運用が可能で、上位範囲（即ち、シーケンス、視点、ＧＯＰ、ピクチャ）に対しては、フラグ情報を通じてその下位範囲で照明補償が適用されるか否かを示すことができる。最も下位範囲であるマクロブロック階層またはブロック階層では、フラグビットを使用せずにオフセット値だけでも充分である。これは、基本的に動きベクトルと類似な方式で予測及び符号化を行うことができるからである。例えば、現在ブロックに対して予測コーディングを行う場合、隣ブロックのオフセット値を現在ブロックのオフセット値に割り当てることとなる。そして、双方向予測コーディングである場合、Ｌｉｓｔ  ０、Ｌｉｓｔ  １から見つけられた参照ブロックとの計算を通じて各参照ブロックに対するオフセット値が獲得される。したがって、現在ブロックのオフセット値を符号化する時、隣ブロックのオフセット値を用いて前記各参照ブロックに対するオフセット値を直接符号化せずに、予測誤差のみを符号化／復号化する。オフセット値の予測方法は、上記のオフセット予測方法や動きベクトル予測時に使われる中間値を獲得する方法を用いても良い。双方向予測の直接モードの時にも、動きベクトルと同様な方法を用いて付加情報の符号化／復号化をせずに、既に与えられた情報を通じてオフセット値を求めることができる。
【０３００】
また、本発明の他の実施例として、ＭＶＣデコーダでないデコーダ（例えば、Ｈ．２６４）を用いる場合、既存のデコーダと互換性を持つ視点映像は既存のデコーダでデコーディングされなければならないので、“ｖｉｅｗ＿ＩＣ＿ｆｌａｇ＝ｆａｌｓｅ  ｏｒ  ０”と設定すべきである。ここで、基準視点についての概念を説明する必要がある。まず、Ｈ．２６４／ＡＶＣデコーダと互換性を持つ少なくとも１つの視点映像が要求される。したがって、独立的に復号化可能な視点を定義する必要があるが、これを基準視点という。このような基準視点は、多視点のうち符号化の基準となり、これは参照視点に該当する。ＭＶＣで基準視点に該当する映像は、従来一般的な映像符号化方式（ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４等）により符号化されて独立したビットストリームに形成される。基準視点に該当する映像はＨ．２６４／ＡＶＣと互換されても良く、互換されなくても良い。しかし、Ｈ．２６４／ＡＶＣと互換できる視点の映像は常に基準視点となる。
【０３０１】
図３２は、本発明が適用される一実施例であり、現在ブロックのオフセット値を考慮して動きベクトルを獲得する過程を説明するためのフローチャートである。
【０３０２】
図３２を参照すると、前記システムは、ビデオ信号から現在ブロックのオフセット値を獲得できる（Ｓ３２１）。前記システムは、前記オフセット値を用いて現在ブロックと最適にマッチングされる参照ブロックをサーチできる（Ｓ３２２）。前記システムは、前記サーチされた参照ブロックから動きベクトルを獲得して符号化できる（Ｓ３２３）。ここで、照明補償を適用する場合、動き推定を行う時に考慮すべき事項がある。例えば、ブロック間の平均画素値を相殺して２ブロックの類似性を比較する方法の場合、動き推定を行う時に、各ブロックの画素値からブロックの平均画素値を減算した値によって類似性程度を計算できる。この時、２ブロック間のオフセット値がそれぞれ符号化されるので、このような費用も動き推定過程に反映されなければならない。既存の費用（ｃｏｓｔ）計算は、下記の数式２３で行われる。
【０３０３】
【数２３】
2009536793.tif 000025
【０３０４】
照明補償を適用する場合、絶対差の合計（ＳＡＤ）は、下記の数式２４で計算されることができる。
【０３０５】
【数２４】
2009536793.tif 000026
【０３０６】
ここで、Ｉc、Ｉrはそれぞれ現在ブロックと参照ブロックの画素値を表す。Ｍc、Ｍrはそれぞれ現在ブロックと参照ブロックの平均画素値を表す。オフセット値の費用は、以下の数式２５、２６に示されるように、ＳＡＤ計算に含めて反映することができる。
【０３０７】
【数２５】
2009536793.tif 000027
【０３０８】
【数２６】
2009536793.tif 000028
【０３０９】
ここで、αは加重値を表し、その値が「１」の時に、オフセット値の絶対値が反映される。また、照明補償費用を反映する他の方法として、オフセット値を符号化するのに用いられるビット数を推定して反映する方法がある。
【０３１０】
これは、下記の数式２７に示すように、オフセット符号化ビットを推定して反映する方法である。ここで、前記符号化ビットはオフセット差分値の大きさに比例するように推定できる。
【０３１１】
【数２７】
2009536793.tif 000029
【０３１２】
この場合、新しい費用は、下記の数式２８から得られる。
【０３１３】
【数２８】
2009536793.tif 000030
【産業上の利用可能性】
【０３１４】
本発明の属する技術分野における当業者は、本発明がその技術的思想や必須特徴を変更しない範囲内で他の具体的な形態に実施できるということを理解することができる。
【０３１５】
したがって、以上説明された実施例は全ての面で例示的なものであり、限定的なものとして理解してはならない。本発明の範囲は、上記の詳細な説明ではなく特許請求の範囲によって定められ、よって、特許請求の範囲の意味及び範囲そしてその等価概念から想到できるいかなる変更または変形された形態も本発明の範囲に含まれるものと解釈されるべきである。
【図面の簡単な説明】
【０３１６】
【図１】本発明が適用される実施例であり、多視点ビデオ映像を含むビデオ信号のデコーディングのための多視点ビデオシステムのデコーディング装置の概略的なブロック図である。
【図２】本発明を適用したシーケンスパラメータセットＲＢＳＰシンタックスを示す構造図である。
【図３Ａ】本発明が適用されたビットストリームの構造であり、１つのビットストリーム内で１つのシーケンスのみを含む場合を示す。
【図３Ｂ】本発明が適用されたビットストリームの構造であり、１つのビットストリーム内で２個のシーケンスを含む場合を示す。
【図４Ａ】本発明を適用した実施例であり、ＧＧＯＰの構造を例示する図である。
【図４Ｂ】本発明を適用した実施例であり、ＧＧＯＰの構造を例示する図である。
【図４Ｃ】本発明を適用した実施例であり、ＧＧＯＰの構造を例示する図である。
【図５】本発明が適用されたビデオ映像の復号化方法を説明するフローチャートである。
【図６Ａ】本発明が適用される実施例であり、多視点映像の予測構造を示す図である。
【図６Ｂ】本発明が適用される実施例であり、多視点映像の予測構造を示す図である。
【図７Ａ】本発明が適用される実施例であり、多視点映像の予測構造を示す図である。
【図７Ｂ】本発明が適用される実施例であり、多視点映像の予測構造を示す図である。
【図８】本発明が適用される実施例であり、多視点映像の予測構造を示す図である。
【図９Ａ】本発明が適用される実施例であり、多視点映像の視点間階層的予測構造を示す図である。
【図９Ｂ】本発明が適用される実施例であり、多視点映像の視点間階層的予測構造を示す図である。
【図１０Ａ】本発明が適用される実施例であり、２次元多視点映像の予測構造を示す図である。
【図１０Ｂ】本発明が適用される実施例であり、２次元多視点映像の予測構造を示す図である。
【図１１Ａ】本発明が適用される実施例であり、多視点映像の予測構造を示す図である。
【図１１Ｂ】本発明が適用される実施例であり、多視点映像の予測構造を示す図である。
【図１１Ｃ】本発明が適用される実施例であり、多視点映像の予測構造を示す図である。
【図１２】本発明の多視点映像の視点間階層的復号化方法及び装置を説明するための図である。
【図１３】本発明が適用された一実施例であり、ビデオ映像符号化方法を説明するためのフローチャートである。
【図１４】本発明を適用した一実施例であり、他の視点の参照映像ブロックから現在ブロックの照明平均予測値を誘導する過程を説明するためのブロック構成図である。
【図１５】本発明を適用した一実施例であり、他の視点の参照映像ブロックから現在ブロックの照明平均予測値を誘導する過程を一般化して説明するためのブロック構成図である。
【図１６】本発明を適用した一実施例であり、照明平均値の獲得及び照明平均予測値を誘導する場合に、ブロックの左側と上端に在るピクセルの既に復号化された値を用いることを説明するための１６×１６マクロブロックを示す図である。
【図１７Ａ】本発明を適用した実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための１６×８マクロブロックをそれぞれ示す図である。
【図１７Ｂ】本発明を適用した実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための１６×８マクロブロックをそれぞれ示す図である。
【図１８Ａ】本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×１６マクロブロックをそれぞれ示す図である。
【図１８Ｂ】本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×１６マクロブロックをそれぞれ示す図である。
【図１９Ａ】本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×８マクロブロックをそれぞれ示す図である。
【図１９Ｂ】本発明を適用した一実施例であり、ブロックが分割された場合、分割されたブロックの照明平均値の獲得及び照明平均予測値を誘導するにおいて、前記分割されたブロックを囲むピクセル全部を用いる場合と、前記分割されたブロックを囲むピクセルのみを用いる場合を説明するための８×８マクロブロックをそれぞれ示す図である。
【図２０】本発明が適用される一実施例であり、現在ブロックのオフセット値を獲得する過程を説明するための図である。
【図２１】本発明が適用される一実施例であり、現在ブロックに対する照明補償を行う過程を説明するためのフローチャートである。
【図２２】本発明が適用される一実施例であり、現在ブロックと隣ブロックの参照番号が同一か否かに基づいてプレディクタを獲得する方法を説明するためのフローチャートである。
【図２３】本発明が適用される一実施例であり、現在ブロックのプレディクションタイプに基づいて照明補償を行う方法を説明するためのフローチャートである。
【図２４】本発明が適用される一実施例であり、該当のブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行う方法を説明するためのフローチャートである。
【図２５】本発明が適用される一実施例であり、現在ブロックと隣ブロックの参照番号が同一か否かに基づいて現在ブロックのフラグ情報を予測する方法を説明するためのフローチャートである。
【図２６】本発明が適用される一実施例であり、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合において照明補償を行う方法を説明するためのフローチャートである。
【図２７】本発明が適用された一実施例であり、現在ブロックの照明補償を行うか否かを示すフラグ情報と現在ブロックのオフセット値を用いて照明補償を行う過程を説明するためのフローチャートである。
【図２８Ａ】本発明が適用された一実施例であり、それぞれＰスライス及びＢスライスに属したブロックに対してフラグ情報とオフセット値を用いて照明補償を行う方法を説明するための図である。
【図２８Ｂ】本発明が適用された一実施例であり、それぞれＰスライス及びＢスライスに属したブロックに対してフラグ情報とオフセット値を用いて照明補償を行う方法を説明するための図である。
【図２９】本発明が適用される一実施例であり、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合において照明補償を行う方法を説明するためのフローチャートである。
【図３０】本発明が適用される一実施例であり、現在ブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行う過程を説明するためのフローチャートである。
【図３１Ａ】本発明が適用された一実施例であり、現在ブロックの照明補償を行うように誘導するフラグ情報の使用範囲を説明するための図である。
【図３１Ｂ】本発明が適用された一実施例であり、現在ブロックの照明補償を行うように誘導するフラグ情報の使用範囲を説明するための図である。
【図３１Ｃ】本発明が適用された一実施例であり、現在ブロックの照明補償を行うように誘導するフラグ情報の使用範囲を説明するための図である。
【図３２】本発明が適用される一実施例であり、現在ブロックのオフセット値を考慮して動きベクトルを獲得する過程を説明するためのフローチャートである。
【図１】
2009536793.tif 000031
【図２】
2009536793.tif 000032
【図３Ａ】
2009536793.tif 000033
【図３Ｂ】
2009536793.tif 000034
【図４Ａ】
2009536793.tif 000035
【図４Ｂ】
2009536793.tif 000036
【図４Ｃ】
2009536793.tif 000037
【図５】
2009536793.tif 000038
【図６Ａ】
2009536793.tif 000039
【図６Ｂ】
2009536793.tif 000040
【図７Ａ】
2009536793.tif 000041
【図７Ｂ】
2009536793.tif 000042
【図８】
2009536793.tif 000043
【図９Ａ】
2009536793.tif 000044
【図９Ｂ】
2009536793.tif 000045
【図１０Ａ】
2009536793.tif 000046
【図１０Ｂ】
2009536793.tif 000047
【図１１Ａ】
2009536793.tif 000048
【図１１Ｂ】
2009536793.tif 000049
【図１１Ｃ】
2009536793.tif 000050
【図１２】
2009536793.tif 000051
【図１３】
2009536793.tif 000052
【図１４】
2009536793.tif 000053
【図１５】
2009536793.tif 000054
【図１６】
2009536793.tif 000055
【図１７Ａ】
2009536793.tif 000056
【図１７Ｂ】
2009536793.tif 000057
【図１８Ａ】
2009536793.tif 000058
【図１８Ｂ】
2009536793.tif 000059
【図１９Ａ】
2009536793.tif 000060
【図１９Ｂ】
2009536793.tif 000061
【図２０】
2009536793.tif 000062
【図２１】
2009536793.tif 000063
【図２２】
2009536793.tif 000064
【図２３】
2009536793.tif 000065
【図２４】
2009536793.tif 000066
【図２５】
2009536793.tif 000067
【図２６】
2009536793.tif 000068
【図２７】
2009536793.tif 000069
【図２８Ａ】
2009536793.tif 000070
【図２８Ｂ】
2009536793.tif 000071
【図２９】
2009536793.tif 000072
【図３０】
2009536793.tif 000073
【図３１Ａ】
2009536793.tif 000074
【図３１Ｂ】
2009536793.tif 000075
【図３１Ｃ】
2009536793.tif 000076
【図３２】
2009536793.tif 000077
【国際調査報告】
2009536793.tif 000078
2009536793.tif 000079