(57)【要約】【課題】ビデオ信号デコーディング方法を提供する。【解決手段】この方法は、第１プロファイル及び少なくとも１つの多視点ビデオ信号に対するプロファイルによってエンコーディングされたビデオ信号と、第１プロファイルを識別するプロファイル情報とを含むビットストリームを受信する段階と、ビットストリームから前記プロファイル情報を抽出する段階と、プロファイル情報によってビデオ信号をデコーディングする段階とを含み、第１プロファイルは、単一視点ビデオ信号に対する複数個のプロファイルから選択されることを特徴とする。【選択図】図５
2009523356.tif 000002
【特許請求の範囲】
【請求項１】
第１プロファイル及び少なくとも１つの多視点ビデオ信号に対するプロファイルによってエンコーディングされたビデオ信号と、前記第１プロファイルを識別するプロファイル情報とを含むビットストリームを受信する段階と、
前記ビットストリームから前記プロファイル情報を抽出する段階と、
前記プロファイル情報が多視点ビデオ信号に対応する場合、複数個の視点と関連した属性情報を前記ビットストリームから抽出する段階と、
前記属性情報によって前記ビデオ信号をデコーディングする段階とを含み、
前記第１プロファイルは、単一視点ビデオ信号に対する複数個のプロファイルから選択されたことを示し、
前記属性情報は、各視点間の依存関係を示す視点間依存情報、参照視点を示す視点識別情報、視点の個数を示す視点個数情報及び視点スケーラビリティを提供する視点レベル情報のうち少なくとも１つを含むことを特徴とするビデオ信号デコーディング方法。
【請求項２】
前記プロファイル情報は、前記ビットストリームのヘッダに位置していることを特徴とする請求項１に記載のビデオ信号デコーディング方法。
【請求項３】
前記視点間依存情報は、２次元データ構造における依存関係を示すことを特徴とする請求項１に記載のビデオ信号デコーディング方法。
【請求項４】
前記２次元データ構造は、マトリクスからなることを特徴とする請求項３に記載のビデオ信号デコーディング方法。
【請求項５】
前記視点レベル情報は、前記多視点ビデオ信号の視点間の階層的視点予測構造によって視点に割り当てられた複数個のレベルに対応することを特徴とする請求項１に記載のビデオ信号デコーディング方法。
【請求項６】
与えられた視点に在るピクチャの複数個の部分は、対応するレベルを示すそれぞれの識別子と関連していることを特徴とする請求項５に記載のビデオ信号デコーディング方法。
【請求項７】
前記複数個の部分は、前記ピクチャの独立したスライスに対応することを特徴とする請求項６に記載のビデオ信号デコーディング方法。
【請求項８】
各スライスは、全体ピクチャに対応することを特徴とする請求項７に記載のビデオ信号デコーディング方法。
【請求項９】
与えられたレベルで割り当てられた視点のピクチャは、前記与えられたレベルよりも低いレベルで割り当てられた視点のピクチャから予測されることを特徴とする請求項５に記載のビデオ信号デコーディング方法。
【請求項１０】
最も低いレベルで割り当てられた単一視点のピクチャは、他のレベルのピクチャから予測されないことを特徴とする請求項９に記載のビデオ信号デコーディング方法。
【請求項１１】
前記階層的視点予測構造は、１つの基準視点と複数個の補助視点とを含み、
第１レベル視点に在るピクチャは、前記基準視点に在るピクチャに基づいて予測され、前記第１レベル視点より上位レベル視点に在るピクチャは、前記上位レベルに在る視点のレベルよりも低いレベルに在る視点に基づいて予測されることを特徴とする請求項５に記載のビデオ信号デコーディング方法。
【請求項１２】
各視点間の依存関係によってエンコーディングされた多視点ビデオ信号と、２次元データ構造の依存関係を示す視点間依存情報とを含むビットストリームを受信する段階と、
前記２次元データ構造を抽出し、前記抽出されたデータ構造から依存関係を決定する段階と、
前記決定された依存関係によって前記多視点ビデオ信号をデコーディングする段階とを含むことを特徴とする多視点ビデオ信号デコーディング方法。
【請求項１３】
前記２次元データ構造は、マトリクスからなることを特徴とする請求項１２に記載の多視点ビデオ信号デコーディング方法。
【請求項１４】
前記ビットストリームから属性情報を抽出する段階をさらに含み、
前記属性情報は、参照視点を示す視点識別情報、視点の個数を示す視点個数情報、視点スケーラビリティを提供する視点レベル情報及びカメラ配列を示す視点配列情報のうち少なくとも１つを含むことを特徴とする請求項１２に記載の多視点ビデオ信号デコーディング方法。
【請求項１５】
前記視点レベル情報は、前記多視点ビデオ信号の視点間の階層的視点予測構造によって視点に割り当てられた複数個のレベルに対応することを特徴とする請求項１２に記載の多視点ビデオ信号デコーディング方法。
【請求項１６】
与えられた視点に在るピクチャの複数個の部分は、対応するレベルを示すそれぞれの識別子と関連していることを特徴とする請求項１５に記載の多視点ビデオ信号デコーディング方法。
【請求項１７】
前記複数個の部分は、前記ピクチャの独立したスライスに対応することを特徴とする請求項１６に記載の多視点ビデオ信号デコーディング方法。
【請求項１８】
各スライスは、全体ピクチャに対応することを特徴とする請求項１７に記載の多視点ビデオ信号デコーディング方法。
【請求項１９】
与えられたレベルで割り当てられた視点のピクチャは、前記与えられたレベルよりも低いレベルで割り当てられた視点のピクチャから予測されることを特徴とする請求項１５に記載の多視点ビデオ信号デコーディング方法。
【請求項２０】
最も低いレベルで割り当てられた単一視点のピクチャは、他のレベルのピクチャから予測されないことを特徴とする請求項１９に記載の多視点ビデオ信号デコーディング方法。
【請求項２１】
前記階層的視点予測構造は、１つの基準視点と複数個の補助視点とを含み、
第１レベル視点に在るピクチャは、前記基準視点に在るピクチャに基づいて予測され、前記第１レベル視点より上位レベル視点に在るピクチャは、前記上位レベルに在る視点のレベルよりも低いレベルに在る視点に基づいて予測されることを特徴とする請求項１５に記載の多視点ビデオ信号デコーディング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、多視点ビデオの処理に関する。
【背景技術】
【０００２】
多視点ビデオコーディング（ＭＶＣ）では、複数台のカメラから取得されたビデオ映像（例えば、一連のイメージまたはピクチャ）に対する圧縮標準を扱う。前記ビデオ映像または視点は、ＭＰＥＧのような標準によってコーディングされることができる。ビデオ映像内のピクチャは、完全なビデオフレームまたはビデオフレームのフィールドを表すことができる。スライスは、前記ピクチャ内の一部または全部のマクロブロックを含むピクチャの独立的にコーディングされた部分でありうる。そして、マクロブロックは、ピクチャ要素（またはピクセル）で構成されたブロックを含むことができる。
【０００３】
これらのビデオ映像は、Ｈ．２６４／ＡＶＣコーデック技術によって多視点ビデオ映像にコーディングされることができる。そして、多くの研究員らが多視点ビデオ映像を提供するために標準の追加技術への研究を行っている。
【０００４】
現在Ｈ．２６４には、特定の機能を支援する３個のプロファイルが定義されているが、プロファイルとは、ビデオ符号化/復号化過程でアルゴリズム上用いられる技術的構成要素を規格化したものを意味する。すなわち、圧縮された映像のビット列を復号するために必要な技術要素の集合で、一種のサブ規格といえる。前記３個のプロファイルは、ベースラインプロファイル、メインプロファイル、拡張プロファイルを指し示す。デコーダがそれぞれのプロファイルと互換されるように、エンコーダとデコーダに要求される多様な事項がＨ．２６４標準で定義されている。
【０００５】
Ｈ．２６４／ＡＶＣにおけるビット列の構成を見ると、動映像符号化処理そのものを扱うＶＣＬ（ビデオ符号化階層）と符号化された情報を転送して保存する下位システムとの間に在るＮＡＬ（ネットワーク抽象階層）との分離された階層構造で定義されている。符号化過程の出力は、ＶＣＬデータであって、転送したり保存する前にＮＡＬ単位にマッピングされる。各ＮＡＬ単位は、圧縮されたビデオデータまたはヘッダ情報に該当するデータであるＲＢＳＰ（動映像圧縮の結果データ）を含む。
【０００６】
ＮＡＬ単位は、ＮＡＬヘッダとＲＢＳＰを含む。前記ＮＡＬヘッダは、フラグ情報（例えば、ｎａｌ＿ｒｅｆ＿ｉｄｃ）と識別（ＩＤ）情報（例えば、ｎａｌ＿ｕｎｉｔ＿ｔｙｐｅ）を含むことができる。前記フラグ情報は、前記ＮＡＬ単位の参照ピクチャとなるスライスが含まれているか否かを示し、前記識別情報はＮＡＬ単位の種類を示す。ＲＢＳＰには圧縮された原本のデータを保存し、ＲＢＳＰの長さを８ビットの倍数で表現するためにＲＢＳＰの最後にＲＢＳＰ埋め込みビットを加える。
【０００７】
このようなＮＡＬ単位の種類には、ＩＤＲ瞬間復号リフラッシュ）ピクチャ、ＳＰＳ（シーケンスパラメータセット）、ＰＰＳ（ピクチャパラメータセット）、ＳＥＩ（補充的付加情報）などがある。
【０００８】
また、規格では、対象製品を適当な費用で具現可能なように様々なプロファイル及びレベルで制約しているが、復号器は該当のプロファイルとレベルで定められた制約を満たさなければならない。
【０００９】
このように復号器がどんな圧縮映像の範囲にまで対応可能かを示すように、復号器の機能またはパラメータを表すためのプロファイルとレベルという２種類の概念が定義された。ビットストリームがどんなプロファイルに基づくかは、プロファイル識別情報（ｐｒｏｆｉｌｅ＿ｉｄｃ）で識別可能である。プロファイル識別情報とは、ビットストリームに関連したプロファイルを示すフラグを意味する。Ｈ．２６４／ＡＶＣ標準は、３つのプロファイル識別情報を含むことができる。例えば、前記プロファイル識別情報が６６であれば前記ビットストリームはベースラインプロファイルに基づくことを意味し、７７であればメインプロファイルに基づくことを意味し、８８であれば拡張プロファイルに基づくことを意味する。前記プロファイル識別情報はシーケンスパラメータセットに含まれることができる。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、ブロック間または視点間の相関関係を用いてビデオ映像の符号化／復号化効率を高めることにある。
【００１１】
本発明の目的は、ビデオ映像データに效率的に符号化及び復号化を行う方法及び装置を提供することにある。
【００１２】
本発明の目的は、多視点映像に関する情報を規格化された方式で追加することによって符号化／復号化効率を高めることにある。
【００１３】
本発明の目的は、多視点映像に符号化されたデータを效率的に復号化する方法／装置及びこれを用いたディスプレイ方法を提供することにある。
【００１４】
本発明の目的は、多視点映像の符号化時に、予測順序及び方向を構造化することにおいて、多視点間の階層的符号化を行う方法を提供することにある。
【００１５】
本発明の目的は、多視点映像の復号化時に、ディスプレイに適合した階層的復号化方法を提供することにある。
【００１６】
本発明の目的は、多視点映像において、視点間の照明差を效率的に補償することにある。
【００１７】
本発明の目的は、一定階層に照明補償を適用するか否かを示す識別子を使用することによって効率的な照明補償を行うことにある。
【００１８】
本発明の目的は、現在ブロックの照明補償を行うか否かを示す識別子とブロック間の平均画素値差を示すオフセット値を用いて照明補償を行うことによってビデオ信号のコーディング効率を高めることにある。
【００１９】
本発明の目的は、動き推定を行う時にブロック間の平均画素値差を示すオフセット値を考慮することによって、ビデオ信号のコーディング効率を高めることにある。
【課題を解決するための手段】
【００２０】
本発明は、第１プロファイル及び少なくとも１つの多視点ビデオ信号に対するプロファイルによってエンコーディングされたビデオ信号と、前記第１プロファイルを識別するプロファイル情報とを、含むビットストリームを受信する段階と、前記ビットストリームから前記プロファイル情報を抽出する段階と、前記プロファイル情報によって前記ビデオ信号をデコーディングする段階とを含み、前記第１プロファイルは単一視点ビデオ信号に対する複数個のプロファイルから選択されたことを特徴とするビデオ信号デコーディング方法を提供する。
【００２１】
また、本発明は、下記のような特徴のうち１つ以上を含むことができる。
【００２２】
本発明は、前記プロファイル情報が多視点ビデオ信号に対応する場合、複数個の視点と関連した属性情報を前記ビットストリームから抽出する段階をさらに含み、前記属性情報は、各視点間の依存関係を示す視点間依存情報、参照視点を示す視点識別情報、視点の個数を示す視点個数情報、視点スケーラビリティを提供する視点レベル情報及びカメラ配列を示す視点配列情報のうち少なくとも１つを含むことを特徴とする。例えば、前記プロファイル情報が多視点ビデオ信号に対応すると決定される時に、前記属性情報は抽出されることができる。
【００２３】
本発明で、前記プロファイル情報は、前記ビットストリームのヘッダに位置することを特徴とする。
【００２４】
本発明で、前記視点間依存情報は、２次元データ構造での依存関係を示すことを特徴とする。
【００２５】
本発明で、前記２次元データ構造は、マトリクスからなることを特徴とする。
【００２６】
本発明で、前記視点レベル情報は、前記多視点ビデオ信号の視点間の階層的視点予測構造によって視点に割り当てられた複数個のレベルに対応することを特徴とする。
【００２７】
本発明で、与えられた視点に在るピクチャの複数個の部分は、対応するレベルを示すそれぞれの識別子と関連していることを特徴とする。
【００２８】
本発明で、前記複数個の部分は、前記ピクチャの独立したスライスに対応することを特徴とする。
【００２９】
本発明で、各スライスは、全体ピクチャに対応することを特徴とする。
【００３０】
本発明で、与えられたレベルに割り当てられた視点のピクチャは、前記与えられたレベルよりも低いレベルに割り当てられた視点のピクチャから予測されることを特徴とする。
【００３１】
本発明で、最も低いレベルで割り当てられた単一視点のピクチャは、他のレベルのピクチャから予測されないことを特徴とする。
【００３２】
本発明で、前記階層的視点予測構造は、１つの基準視点と複数個の補助視点を含み、第１レベル視点に在るピクチャは、前記基準視点に在るピクチャに基づいて予測され、前記第１レベル視点より上位レベル視点に在るピクチャは、前記上位レベルに在る視点のレベルよりも低いレベルに在る視点に基づいて予測されることを特徴とする。
【００３３】
また、本発明は、各視点間の依存関係によってエンコーディングされた多視点ビデオ信号と、２次元データ構造の依存関係を示す視点間依存情報とを含むビットストリームを受信する段階と、前記２次元データ構造を抽出し、前記抽出されたデータ構造から依存関係を決定する段階と、前記決定された依存関係によって前記多視点ビデオ信号をデコーディングする段階とを含むことを特徴とする多視点ビデオ信号デコーディング方法を提供する。
【００３４】
本発明は、下記のような特徴のうち１つ以上を含むことができる。
【００３５】
本発明で、前記２次元データ構造は、マトリクスからなることを特徴とする。
【００３６】
本発明で、前記ビットストリームから属性情報を抽出する段階をさらに含み、前記属性情報は、参照視点を示す視点識別情報、視点の個数を示す視点個数情報、視点スケーラビリティを提供する視点レベル情報及びカメラ配列を示す視点配列情報のうち少なくとも１つを含むことを特徴とする。
【００３７】
本発明で、前記視点レベル情報は、前記多視点ビデオ信号の視点間の階層的視点予測構造によって視点に割り当てられた複数個のレベルに対応することを特徴とする。
【００３８】
本発明で、与えられた視点に在るピクチャの複数個の部分は、対応するレベルを示すそれぞれの識別子と関連していることを特徴とする。
【００３９】
本発明で、前記複数個の部分は、前記ピクチャの独立したスライスに対応することを特徴とする。
【００４０】
本発明で、各スライスは、全体ピクチャに対応することを特徴とする。
【００４１】
本発明で、与えられたレベルで割り当てられた視点のピクチャは、前記与えられたレベルよりも低いレベルで割り当てられた視点のピクチャから予測されることを特徴とする。
【００４２】
本発明で、最も低いレベルで割り当てられた単一視点のピクチャは、他のレベルのピクチャから予測されないことを特徴とする。
【００４３】
本発明で、前記階層的視点予測構造は、１つの基準視点と複数個の補助視点を含み、第１レベル視点に在るピクチャは、前記基準視点に在るピクチャに基づいて予測され、前記第１レベル視点より上位レベル視点に在るピクチャは、前記上位レベルに在る視点のレベルよりも低いレベルに在る視点に基づいて予測されることを特徴とする。
【００４４】
また、本発明は、それぞれのデコーディング方法に対して、前記それぞれのデコーディング方法によって前記ビデオ信号がデコーディングされることができるビットストリームを生成することを特徴とするビデオ信号エンコーディング方法を提供する。例えば、本発明は、第１プロファイル及び少なくとも１つの多視点ビデオ信号に対するプロファイルによってビットストリームを生成し、前記第１プロファイルを識別するプロファイル情報を生成する段階を含み、前記第１プロファイルは、単一視点ビデオ信号に対する複数個のプロファイルから選択されたことを特徴とするビデオ信号エンコーディング方法を提供する。
【００４５】
また、本発明は、各視点間の依存関係によってビットストリームを生成し、２次元データ構造の依存関係を示す視点間依存情報を生成する段階を含むことを特徴とするビデオ信号エンコーディング方法を提供する。
【００４６】
また、それぞれのデコーディング方法に対して、コンピュータで読取り可能な媒体に保存されたコンピュータプログラムは、前記それぞれのデコーディング方法を行うようにコンピュータに指示することを特徴とする。
【００４７】
また、それぞれのデコーディング方法に対して、装置で読取り可能な情報運送体に含まれたイメージデータは、前記それぞれのデコーディング方法によってビデオ信号にデコーディングされることができる。
【００４８】
また、それぞれのデコーディング方法に対して、デコーダは、前記それぞれのデコーディング方法を行うための手段を含むことを特徴とする。
【００４９】
また、それぞれのデコーディング方法に対して、エンコーダは、前記それぞれのデコーディング方法によってビデオ信号にデコーディングされることができるようにビットストリームを生成する手段を含むことを特徴とする。
【００５０】
また、本発明は、多視点から取得された映像を符号化してビットストリームを生成し、前記多視点の個数（ｍ）が２n-1＜ｍ＜＝２nの場合、前記ビットストリームは、１つの基準視点ビットストリームとｎ個の階層的補助視点ビットストリームとを含むことを特徴とする多視点映像エンコーディング方法を提供する。
【００５１】
また、本発明は、２次元配列された多視点から取得された映像を符号化してビットストリームを生成し、前記多視点の個数（横軸＝ｍ、縦軸＝ｐ）が２n-1＜ｍ＜＝２n、２k-1＜ｐ＜＝２kの場合、前記ビットストリームは、１つの基準視点ビットストリームと（ｎ＋ｋ）個の階層的補助視点ビットストリームを含むことを特徴とする多視点映像エンコーディング方法を提供する。
【００５２】
また、本発明は、多視点から取得された映像を符号化したビットストリームを受信し、前記ビットストリームは、前記多視点の個数（ｍ）が２n-1＜ｍ＜＝２nの場合、１つの基準視点ビットストリームとｎ個の階層的補助視点ビットストリームとして含み、前記受信されたビットストリームから選択的に基準視点及び／またはｎ個の階層的補助視点ビットストリームを復号化することを特徴とする多視点映像デコーディング方法を提供する。
【００５３】
また、本発明は、２次元配列された多視点から取得された映像を符号化してビットストリームを受信し、前記ビットストリームは、前記多視点の個数（横軸＝ｍ、縦軸＝ｐ）が２n-1＜ｍ＜＝２n、２k-1＜ｐ＜＝２kの場合、１つの基準視点ビットストリームと（ｎ＋ｋ）個の階層的補助視点ビットストリームとして含み、前記受信されたビットストリームから選択的に基準視点及び／または（ｎ＋ｋ）個の階層的補助視点ビットストリームを復号化することを特徴とする多視点映像デコーディング方法を提供する。
【００５４】
また、本発明は、ｍ個の多視点から取得された映像を符号化してビットストリームを生成し、前記ビットストリームは、１つの基準視点ビットストリームと少なくとも１つ以上の補助視点ビットストリームを含み、前記多視点の両端を第１視点と設定し、前記多視点のうち中央に位置した視点を第２視点と設定し、前記第２視点から両方向に１つ以上の視点を飛ばして連続的に位置した視点を第３視点と設定し、前記第１視点〜第３視点に該当しない残りの視点を第４視点と設定し、前記第１視点乃至第３視点のうちいずれか１つの視点を独立した符号化を行う基準視点と決定し、基準視点を除く残りの視点は予測符号化を行う補助視点と決定することを特徴とする多視点映像エンコーディング方法を提供する。
【００５５】
また、本発明は、ｍ個の多視点から取得された映像を符号化してビットストリームを生成し、前記ビットストリームは、１つの基準視点ビットストリームと少なくとも１つ以上の補助視点ビットストリームを含み、前記基準視点の位置は、多視点のうち中央に位置した視点と設定し、第２補助視点の位置は多視点の両端視点と設定し、第１補助視点の位置は、前記基準視点から両方向に１つ以上の視点を飛ばして連続的に設定することを特徴とする多視点映像エンコーディング方法を提供する。
【００５６】
また、本発明は、ｍ個の多視点から取得された映像を符号化したビットストリームを受信し、前記ビットストリームは、１つの基準視点ビットストリームと少なくとも１つ以上の補助視点ビットストリームとを含み、前記受信されたビットストリームから、基準視点映像は、多視点のうち中央に位置した視点を独立的に復号化して復元し、第１補助視点映像は、前記基準視点から両方向に１つ以上の視点を飛ばして位置した視点を、前記基準視点映像を用いて復元し、第２補助視点映像は、多視点の両端視点を前記基準視点映像を用いて復元することを特徴とする多視点映像デコーディング方法を提供する。
【００５７】
また、本発明は、ｍ個の多視点から取得された映像を符号化したビットストリームを受信し、前記ビットストリームは、１つの基準視点ビットストリームと少なくとも１つ以上の補助視点ビットストリームとを含み、前記受信されたビットストリームから、基準視点位置情報を読み取り、前記基準視点及び補助視点の位置を確認した後、前記基準視点映像と補助視点映像を復元し、前記基準視点位置情報は、前記多視点の両端とする第１視点、前記多視点のうち中央に位置した第２視点、及び前記第２視点から両方向に１つ以上の視点を飛ばして連続的に位置した第３視点のうちいずれか１つを指定する情報であることを特徴とする多視点映像デコーディング方法を提供する。
【００５８】
また、本発明は、ビットストリームが生成される場合、いくつかのプロファイルから少なくとも１つのプロファイルを選択する段階と、前記プロファイル内にビデオ映像と関連した少なくとも１つの属性情報を含める段階とを含むことを特徴とするビデオ映像エンコーディング方法を提供する。
【００５９】
また、本発明は、受信されたビットストリームから少なくとも１つのプロファイル情報を抽出する段階と、前記抽出されたプロファイル情報に基づいて前記プロファイル内に含まれた少なくとも１つの属性情報を抽出する段階と、前記抽出された属性情報に基づいて前記ビットストリームをデコーディングする段階とを含むことを特徴とするビデオ映像デコーディング方法を提供する。
【００６０】
また、本発明は、ビットストリームが生成される場合、いくつかのプロファイルから少なくとも１つのプロファイルを選択する手段と、前記プロファイル内にビデオ映像と関連した少なくとも１つの属性情報を含める手段とを含むことを特徴とするビデオ映像エンコーディング方法を提供する。
【００６１】
また、本発明は、受信されたビットストリームから少なくとも１つのプロファイル情報を抽出する手段と、前記抽出されたプロファイル情報に基づいて前記プロファイル内に含まれた少なくとも１つの属性情報を抽出する手段と、前記抽出された属性情報に基づいて前記ビットストリームをデコーディングする手段と、を含むことを特徴とするビデオ映像デコーディング方法を提供する。
【００６２】
本発明は、１つ以上の下記のような利点を有することができる。
【００６３】
前記多視点映像のエンコーディング／デコーディング方法は、多視点映像を效率的にコーディングすることができる。前記多視点映像をデコーディングする間に、個別的な視点は階層的にディスプレイされることができる。前記方法は、前記多視点映像をエンコーディングする間に個別的な視点のイメージの予測構造を確立することができる。したがって、多視点の個数が多くなり、その配列が拡張されても、前記方法は、上記した実施例と同じ方法で前記予測構造を拡張させることができるわけである。なお、前記方法は、階層的構造を用いて多視点映像の視点拡張機能を行うことによって、受信端での多様なディスプレイ方式に適合するようにエンコーディング／デコーディング過程を行うことができる。したがって、効率的なエンコーディング／デコーディングシステムを行うことが可能になる。
【００６４】
前記ビデオ映像のエンコーディング／デコーディング方法は、数台のカメラによって撮られた多視点映像を扱う場合、エンコーダとデコーダに視点の個数を示すｎｕｍ＿ｖｉｅｗｓ情報を転送することができる。前記エンコーディング／デコーディング方法は、全体視点の基準として用いられる参照視点を指定することができる。前記参照視点映像は、他の視点の映像を参照せずに、互いに独立してコーディングされることができる。前記エンコーディング／デコーディング方法は、ｖｉｅｗ＿ａｒｒａｎｇｅｍｅｎｔ情報を参照することによって、各配列によって前記エンコーディング／デコーディング過程を效率的に行うことができる。
【００６５】
前記エンコーディング／デコーディング方法は、プロファイルタイプを識別でき、ビデオ映像に関連した多様な属性情報を追加でき、該追加された属性情報を用いて前記エンコーディング／デコーディング過程を效率的に行うことができる。
【００６６】
他の特徴と利点は、発明の詳細な説明と請求範囲からより明白になる。
【発明を実施するための最良の形態】
【００６７】
多視点映像を效率的に扱うために、入力ビットストリームは、入力ビットストリームが多視点プロファイルに関連しているか否かをデコーディング装置が判別できるようにする情報を含むことができる。前記入力ビットストリームが多視点プロファイルと関連していると判別されると、多視点映像に関する１つ以上の追加情報を転送できるようにシンタックスを追加する必要がある。ここで、多視点プロファイル識別情報とは、Ｈ．２６４／ＡＶＣの追加技術で、多視点ビデオを扱うプロファイルモードを示すことができる。
【００６８】
ＭＶＣ技術はＨ．２６４／ＡＶＣ技術に対する追加技術であるから、無条件的なシンタックスよりは、ＭＶＣモードである場合に対する追加情報としてシンタックスを追加することがより効率的となりうる。例えば、ＡＶＣのプロファイル識別子が多視点プロファイルを示す時、多視点映像に関する情報を追加すると符号化効率を高めることができる。
【００６９】
シーケンスパラメータセットとは、プロファイル、レベルなど、シーケンス全体の符号化に亘る情報が含まれているヘッダ情報のことをいう。
【００７０】
圧縮された動映像全体、すなわちシーケンスは、必ずシーケンスヘッダから始まるべきなので、ヘッダ情報に相当するシーケンスパラメータセットは、該パラメータセットを参照するデータよりも先に復号器に到着すべきである。シーケンスパラメータセットＲＢＳＰ（図２のＳ１）は、動映像圧縮の結果データに関するヘッダ情報としての役割を果たす。ビットストリームが入力されると、まず、プロファイル識別子は、入力されたビットストリームが複数個のプロファイルのうちどのプロファイルに基づくかを識別することとなる。
【００７１】
したがって、入力されるビットストリームが多視点プロファイルに関するものかを判断する（例えば、“If（profile_idc==MULTI_VIEW_PROFILE）”）プロファイル識別情報をシンタックス上に含めることによって、入力されたビットストリームが多視点プロファイルに関するものか否かを判別し、多視点プロファイルに関するものと認められる場合に様々な属性情報を追加可能になる。
【００７２】
図１は、本発明が適用される実施例であり、あり、多視点ビデオ映像を含むビデオ信号のデコーディングのための多視点ビデオシステムのデコーディング装置を示す概略ブロック図である。
【００７３】
この多視点ビデオシステムは、前記多視点ビデオ映像を提供するために、対応するエンコーディング装置（エンコーダ）を含むことができる。この時、前記多視点ビデオ映像は、装置で読取り可能な情報の搬送体（例えば、装置で読取り可能な保存媒体、または、送信機と受信機間で伝播される装置で読取り可能なエネルギー信号）に含まれたエンコーディングされたイメージデータを含むビットストリームとして提供されることができる。
【００７４】
図１を参照すると、前記デコーディング装置は、大きく、パーシング部１０、エントロピーデコーディング部１１、逆量子化／逆変換部１２、画面間予測部１３、画面内予測部１４、デブロッキングフィルタ部１５、復号ピクチャバッファ部１６などを含む。
【００７５】
画面間予測部１３は、動き補償部１７、照明補償部１８、照明補償オフセット予測部１９などを含む。
【００７６】
パーシング部１０では、受信したビデオ映像を復号するためにＮＡＬ単位にパーシングを行う。一般的に、１つまたはそれ以上のシーケンスパラメータセットとピクチャパラメータセットとが、スライスヘッダとスライスデータがデコーディングされる前にデコーダに転送される。この時、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域には様々な属性情報を含ませることができる。例えば、時間的レベル情報、視点レベル情報、アンカーピクチャ識別情報、視点識別情報などを含ませることができる。
【００７７】
ここで、時間的レベル情報とは、ビデオ信号から時間的拡張性を提供するための階層的な構造に関する情報のことをいう。このような時間的レベル情報を通じて使用者に多様な時間帯の映像を提供できることになる。
【００７８】
視点レベル情報とは、ビデオ信号から視点拡張性を提供するための階層的な構造に関する情報のことをいう。多視点ビデオ映像では、使用者に多様な時間及び視点の映像を提供するようにするために時間及び視点に対するレベルを定義する必要がある。
【００７９】
このようにレベル情報を定義する場合、時間及び視点に対する拡張性を利用できるようになる。したがって、使用者は、所望の時間及び視点の映像のみを見ることもでき、他の制限条件による映像のみを見ることが可能になる。前記レベル情報は、その基準条件によって多様な方法でそれぞれ別に設定することができる。例えば、前記レベル情報は、カメラの位置によって別々に設定することができ、カメラの配列形態によって別々に設定することができる。なお、前記レベル情報は、特別な基準によらずに任意に設定しても良い。
【００８０】
アンカーピクチャとは、全てのスライスが同一時間帯のフレームに在るスライスのみを参照する符号化されたピクチャのことを意味する。例えば、他の視点に在るスライスのみを参照し、現在視点に在るスライスは参照しない符号化されたピクチャのことをいう。多視点映像の復号化過程において、視点間のランダムアクセスが必要な場合がありうる。
【００８１】
復号化努力を最小化しながら任意視点に対するアクセスを可能にすべきである。ここで効率的なランダムアクセスを実現するためにアンカーピクチャ識別情報が必要とされることがある。
【００８２】
また、視点識別情報とは、現在視点に在るピクチャと他の視点に在るピクチャを区別するための情報のことをいう。ビデオ映像信号がコーディングされる時、それぞれのピクチャを識別するためにピクチャオーダカウント（ＰＯＣ）とｆｒａｍｅ＿ｎｕｍを利用することができる。
【００８３】
多視点ビデオ映像である場合には、視点間の予測が行われることができる。したがって、現在視点に在るピクチャと他の視点に在るピクチャを区別するために識別子が利用されることができる。
【００８４】
ピクチャの視点を示す視点識別子を定義することができる。前記視点識別子を用いて現在ピクチャと他の視点に在るピクチャの情報を獲得し、前記他の視点に在るピクチャの情報を用いて前記ビデオ信号をデコーディングすることができる。このような視点識別子は、ビデオ信号のエンコーディング／デコーディング過程全般にわたって適用されることができる。また、特定の視点識別子ではなく視点が考慮されたｆｒａｍｅ＿ｎｕｍを用いて多視点ビデオコーディングにそのまま適用しても良い。
【００８５】
一般的に多視点映像のデータ量は膨大であり、よって、これを解決するために各視点の階層的符号化（これは、ビュースケーラビリティとも呼ばれる。）機能が必要となることができる。ビュースケーラビリティ機能を行うために多視点映像の視点を考慮した予測構造を定義することができる。
【００８６】
前記予測構造は、複数の視点映像に対して予測順序及び方向などを構造化することによって定義することができる。例えば、符号化しようとする様々な視点の映像が与えられる時、全体配列の中央を基準視点と定め、次第に階層的に符号化しようとする視点の映像を選択することができる。または、全体配列の終わり部分やその他の部分を基準視点と定めても良い。
【００８７】
カメラ視点の個数が２の指数乗の場合には、これを基準にして各視点映像間の階層的な予測構造を形成しても良い。または、カメラ視点の個数が２の指数乗でない場合には、実際個数よりも大きいながら最も小さい２の指数乗の場合を基準にして仮想の視点を想定し、予測構造を形成しても良い。また、カメラ配列が２次元の場合には、水平、垂直方向に交互に予測順序を定めることができる。
【００８８】
パーシングされたビットストリームは、エントロピーデコーディング部１１を通じてエントロピーデコーディングされ、各マクロブロックの係数、動きベクトルなどが抽出される。逆量子化部／逆変換部１２では、受信した量子化された値に一定の定数を乗算して変換された係数値を獲得し、該係数値を逆変換して画素値を復元することとなる。前記復元された画素値を用いて、画面内予測部１４では現在ピクチャ内のデコーディングされたサンプルから画面内予測を行う。
【００８９】
デブロッキングフィルタ部１５は、ブロック歪み現象を減少させるためにそれぞれのコーディングされたマクロブロックに適用される。フィルタは、ブロックの縁部を滑らかにし、デコーディングされたフレームの画質を向上させる。フィルタリング過程の選択は、境界強さと境界周囲のイメージサンプルの変化に左右される。フィルタリングを経たピクチャは出力されたり参照ピクチャとして用いるために復号ピクチャバッファ部１６に保存される。
【００９０】
復号ピクチャバッファ部１６では、画面間予測を行うべく、以前にコーディングされたピクチャを保存したり開放するなどの役割を果たす。この時、復号ピクチャバッファ部１６に保存したり開放するには、各ピクチャのｆｒａｍｅ＿ｎｕｍとＰＯＣが用いられることとなる。したがって、ＭＶＣにおいて前記以前にコーディングされたピクチャの中には現在ピクチャと異なる視点に在るピクチャもあるので、このようなピクチャを参照ピクチャとして活用するためには、前記ｆｒａｍｅ＿ｎｕｍとＰＯＣだけでなく、ピクチャの視点を示す視点識別子も一緒に用いることができる。
【００９１】
画面間予測部１３では、復号ピクチャバッファ部１６に保存された参照ピクチャを用いて画面間予測を行う。インターコーディングされたマクロブロックは、マクロブロックパーティションに分けられることができ、各マクロブロックパーティションは１つまたは２つの参照ピクチャから予測されることができる。
【００９２】
動き補償部１７では、エントロピーデコーディング部１１から転送された情報を用いて現在ブロックの動きを補償する。ビデオ信号から現在ブロックに隣接するブロックの動きベクトルを抽出し、前記現在ブロックの動きベクトルプレディクタを獲得する。前記獲得された動きベクトルプレディクタとビデオ信号から抽出される差分ベクトルを用いて現在ブロックの動きを補償する。また、このような動き補償は、１つの参照ピクチャを用いて行われても良く、複数のピクチャを用いて行われても良い。
【００９３】
したがって、前記参照ピクチャが現在視点と異なる視点に在るピクチャである場合には、その視点を示す視点識別子を用いて動き補償を行うことができる。
また、直接予測モードは、符号化の終わったブロックの動き情報から現在ブロックの動き情報を予測する符号化モードである。このような方法は、動き情報を符号化する時に必要なビット数が軽減され、圧縮効率が向上する。
【００９４】
例えば、時間直接予測モードは、時間方向の動き情報相関度を用いて現在ブロックの動き情報を予測する。この方法と略同様に、前記デコーダは視点方向の動き情報相関度を用いて現在ブロックの動き情報を予測できる。
【００９５】
また、入力されたビットストリームが多視点映像に該当する場合、各視点映像は、それぞれ異なるカメラから取得された映像であるので、カメラの内外的要因によって照明差が発生することになる。これを防止するために、照明補償部１８では照明補償を行う。
【００９６】
照明補償を行うことにおいて、ビデオ信号の一定階層に対する照明補償を行うか否かを示すフラグ情報を用いることができる。例えば、該当スライスまたは該当マクロブロックの照明補償を行うか否かを示すフラグ情報を用いて照明補償を行うことができる。また、前記フラグ情報を用いて照明補償を行うにおいて、様々なマクロブロックのタイプ（例えば、インター１６×１６モード、Ｂ−Ｓｋｉｐモードまたは直接予測モード等）に適用されることができる。
【００９７】
また、照明補償を行うにおいて、現在ブロックを復元するために周辺ブロックの情報または現在ブロックと異なる視点に在るブロックの情報を用いることができ、現在ブロックのオフセット値を用いることができる。ここで、現在ブロックのオフセット値とは、現在ブロックの平均画素値とそれに対応する参照ブロックの平均画素値間の差のことをいう。前記オフセット値を用いる一例として、前記現在ブロックの隣ブロックを用いて前記現在ブロックのオフセット値のプレディクタを獲得し、前記オフセット値と前記プレディクタとの差分値を用いることができる。したがって、デコーダでは、前記差分値と前記プレディクタを用いて前記現在ブロックのオフセット値を復元できる。
【００９８】
また、現在ブロックのプレディクタを獲得するにおいて、隣ブロックの情報を用いることができる。
【００９９】
例えば、隣ブロックのオフセット値を用いて現在ブロックのオフセット値を予測できるが、これに先立って前記現在ブロックの参照番号と前記隣ブロックの参照番号が同一であるか否かを確認することができる。前記確認結果によって、前記照明補償部１８はどんな隣ブロックを用いるのか、またはどんな値を用いるかを決定できる。
【０１００】
また、前記照明補償部１８は、現在ブロックのプレディクションタイプを用いて照明補償を行うことができ、現在ブロックが２個の参照ブロックを用いて予測コーディングされた場合には、現在ブロックのオフセット値を用いて各参照ブロックに対応するオフセット値を獲得しても良い。
【０１０１】
このように照明補償、動き補償などを用いてインター予測されたピクチャとイントラ予測されたピクチャは予測モードによって選択され、現在ピクチャを復元することになる。
【０１０２】
以下では、現在ピクチャを復元するために適用されるエンコーディング／デコーディング方法の具体的な実施例について説明する。
【０１０３】
図２は、本発明を適用したシーケンスパラメータセットＲＢＳＰシンタックスを示す構造図である。
【０１０４】
図２を参照すると、シーケンスパラメータセットとは、プロファイル、レベルなどシーケンス全体の符号化にわたる情報が含まれているヘッダ情報のことをいう。
【０１０５】
圧縮された動映像全体、すなわちシーケンスは、必ずシーケンスヘッダから始まるべきなので、ヘッダ情報に相当するシーケンスパラメータセットはそのパラメータセットを参照するデータよりも先に復号器に到着すべきである。結局、シーケンスパラメータセットＲＢＳＰは、動映像圧縮の結果データに関するヘッダ情報の役割を果たす（Ｓ１）。ビットストリームが入力されると、まず、プロファイル識別子（ｐｒｏｆｉｌｅ＿ｉｄｃ）の入力されたビットストリームが複数個のプロファイルのうちどんなプロファイルに基づくかを識別する（Ｓ２）。例えば、前記プロファイル識別情報が６６であれば、前記ビットストリームはベースラインプロファイルに基づくことを意味し、７７であればメインプロファイルに基づくことを意味し、８８であれば拡張プロファイルに基づくことを意味する。そして、入力ビットストリームが多視点プロファイルに関するものかを決定するシンタックス（“If(profile_idc==MULTI_VIEW_PROFILE)”）が用いられることができる（Ｓ３）。
【０１０６】
前記Ｓ３部分において前記入力ビットストリームが多視点プロファイルに関するものと認定される場合、前記入力ビットストリームに多視点映像に関する様々な情報を追加可能になる。様々な情報の一例は、下記の通りである。
【０１０７】
“参照視点（ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗ）”、すなわち、全体視点の基準となる参照視点を指定し、これに関する情報を追加できる。ＭＶＣで通常、１つの視点映像は、既存の符号化方式（例えば、Ｈ．２６４／ＡＶＣ  ｃｏｄｅｃ）で符号化／復号化をする。このように定められた視点を参照視点と呼び、シンタックス内に前記参照視点を追加した場合、何番目の視点を参照視点に設定すべきかを知らせる。
【０１０８】
また、多視点のうち符号化の基準となる視点である“基準視点（ｂａｓｅ  ｖｉｅｗ）”も参照視点としての役割を果たす。参照視点映像は、他の視点映像に対する参照無しで独立して符号化される（Ｓ４）。
【０１０９】
“視点個数（ｎｕｍ＿ｖｉｅｗｓ）”、すなわち、複数台のカメラから取得された多重視点の個数に関する情報を追加できる。各シーケンスごとに視点の個数は様々となりうるので、前記情報を転送することによってエンコーダ、デコーダ側ではこれを有用に用いることができる。（Ｓ５）。
【０１１０】
“カメラの配列形態（ｖｉｅｗ＿ａｒｒａｎｇｅｍｅｎｔ）”とは、映像取得時にカメラがどんな方式で配列されているかを知らせる情報で、これをシンタックス内に追加した場合、各配列形態にもっと適合するように符号化を行うことができる。そして、以降、カメラの各配列形態にもっと適合した符号化方法が考案される場合に有用に用いられることができる（Ｓ６）。
【０１１１】
“フレーム数（ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ）”は、各視点内で連続して符号化／復号化されるフレーム数を示し、前記フレーム数に関する情報を追加することができる。すなわち、現在Ｎ番目の視点を符号化／復号化しており、次はＭ番目の視点を符号化／復号化する順番である時、Ｎ番目の視点でいくつのフレームをまず処理してからＭ番目の視点に進むかに関するものである。前記ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報とｎｕｍ＿ｖｉｅｗｓ情報を通じて全体シーケンスにおいて各フレームが何番目の視点に属するかを計算することができる。各視点シーケンスのＩスライスとＰスライス間の第１長さ、ＰスライスとＰスライス間の第２長さ、または、前記第１または第２長さの何倍かに該当する長さをｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報と設定すれば、その単位に１つの視点で処理してから、次の視点に進むことができる。ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報は、既存のＧＯＰの長さより小さいか等しく設定することができる。例えば、図４Ｂと図４Ｃは、本発明で適用されるｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅの概念を説明するためのＧＧＯＰの構造を示す図で、この場合、図４Ｂは、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝３、図４Ｃはｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝１になりうる。
【０１１２】
ＭＶＣでは、時間軸と視点軸にフレームが配列されるので、同じ時間帯で各視点ごとに１つのフレームを処理してから次の時間帯で再び各視点ごとに１つのフレームを処理することができる。この場合、例えばｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝１となる。そして、１つの視点内で時間軸に沿ってＮ個のフレームをまず処理してから、次の視点でＮ個のフレームを処理することができる。この場合、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝Ｎとなる。したがって、少なくとも１個のフレームは処理されるので、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅの代わりにｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＿ｍｉｎｕｓ１としてシンタックス内に追加することも可能である。ただし、この場合、上記の各例は、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＿ｍｉｎｕｓ1＝０、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＿ｍｉｎｕｓ1＝Ｎ−１となる（Ｓ７）。
【０１１３】
既存符号化方式のプロファイルには共通するプロファイルがない。このため、プロファイル以外に、互換性を表示するためにフラグを使用する。ｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ＊＿ｆｌａｇは、ビットストリームがどんなプロファイルの復号器で復号されるかを示す。ｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ０＿ｆｌａｇは、ベースラインプロファイルの復号器で復号されることができるということを意味し（Ｓ８）、ｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ１＿ｆｌａｇは、メインプロファイルの復号器（Ｓ９）、ｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ２＿ｆｌａｇは拡張プロファイルの復号器で復号されることができるということを意味する（Ｓ１０）。したがって、ＭＵＬＴＩ＿ＶＩＥＷ＿ＰＲＯＦＩＬＥ復号器を定義する必要があり、これをｃｏｎｓｔｒａｉｎｔ＿ｓｅｔ４＿ｆｌａｇで定義する（Ｓ１１）。
【０１１４】
“ｌｅｖｅｌ＿ｉｄｃ”は、レベル識別子を意味する。レベルとは、復号器の能力とビットストリームの複雑度を定義する役割を果たし、各プロファイルで規定された技術要素をどの範囲まで支援するかについて定義している（Ｓ１２）。
【０１１５】
“ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ”は、シーケンスを識別するためにＳＰＳ中に与えられたＳＰＳ識別情報を意味する（Ｓ１３）。
【０１１６】
図３Ａは、本発明が適用されたビットストリームの構造であり、１つのビットストリーム内で１つのシーケンスのみを含む場合を示す。
【０１１７】
図３Ａを参照すると、ＳＰＳ（シーケンスパラメータセット）は、プロファイル、レベルなどシーケンス全体の符号化にわたる情報が含まれているヘッダ情報であり、ＳＥＩ（補充的付加情報）は、動映像符号化階層の復号過程に必須でない付加情報を表す。ＰＰＳ（ピクチャパラメータセット）は、ピクチャ全体の符号化モードを示すヘッダ情報である。Ｉスライスは、画面内の符号化のみを行うスライスで、Ｐスライスは画面内の符号化あるいは画面間予測符号化を行うスライスのことをいう。ピクチャ区分記号は、ビデオピクチャ間の境界を区分する役割を果たす。本発明は、前記ＳＰＳ部分にＳＰＳ  ＲＢＳＰ  シンタックスが適用される。したがって、ビットストリーム生成時に前記シンタックスが適用され、様々な情報を追加可能になる。
【０１１８】
図３Ｂは、本発明が適用されたビットストリームの構造で、１つのビットストリーム内で２個のシーケンスを含む場合を示す。
【０１１９】
図３Ｂを参照すると、Ｈ．２６４／ＡＶＣは、１つのビットストリームがいくつかのシーケンスを扱うことができる。シーケンスを識別するためにＳＰＳ内にはＳＰＳ識別情報（ｓｅｑ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）があり、ＰＰＳ内でＳＰＳ識別情報を指定し、どのシーケンスに属するかを識別できる。また、スライスヘッダ内でＰＰＳ識別情報（ｐｉｃ＿ｐａｒａｍｅｔｅｒ＿ｓｅｔ＿ｉｄ）を指定することによってどのＰＰＳを使用するかを識別できる。
【０１２０】
その一実施例として、図３Ｂで、スライス＃１内のヘッダには参照するＰＰＳ識別情報（ＰＰＳ＝１）が含まれており（丸付数字の１）、ＰＰＳ＃１には、参照するＳＰＳ識別情報（ＳＰＳ＝１）が含まれている（丸付数字の２）。したがって、スライス＃１はシーケンス＃１に属することがわかる。同様に、スライス＃２はシーケンス＃２に属することがわかる（丸付数字の３と４）。実際に、ベースラインプロファイル映像とメインプロファイル映像を合わせて編集し、新しいビデオビットストリームを生成することができるが、この場合、２種類のビットストリームに異なるＳＰＳ識別情報を与え、そのいずれかは、多視点プロファイルにも変換が可能である。
【０１２１】
図４Ａは、本発明を適用した実施例であり、ＧＧＯＰの構造を示し、図４Ｂ及び図４Ｃは、本発明で適用されるｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅの概念を説明するためのＧＧＯＰの構造を示す。ＧＯＰは、何枚の画面データを１つにまとめたグループのことを意味する。ＭＶＣではより効率的な符号化のために時間的、空間的予測が両方とも行われなければならず、ＧＧＯＰの概念が必要となる。
【０１２２】
各視点シーケンスのＩスライスとＰスライス間の第１長さ、または、ＰスライスとＰスライス間の第２長さ、または前記第１または第２長さの何倍かに該当する第３長さをｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報と設定すると、その単位に１つの視点で処理し、次の視点に進むことができる。ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報は、既存のＧＯＰ長さよりも小さいか同一に設定されることができる。ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報の適用例であって、図４Ｂはｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝３の場合で、図４Ｃはｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝１の場合である。特に、図４Ｂでｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＞１であり、１つまたはそれ以上の視点がＩで始まる場合は、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＋１個のフレームが処理されることができる。また、前記ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ情報とｎｕｍ＿ｖｉｅｗｓ情報を通じて全体シーケンスで各フレームが何番目の視点に属するかを計算することができる。
【０１２３】
図４Ａで、各フレームは、時間軸と視点軸に配列されており、Ｖ１〜Ｖ８はそれぞれ、ＧＯＰを表し、Ｖ４は基準ＧＯＰで、他のＧＯＰの参照ＧＯＰの役割を果たす。ＭＶＣでは、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝１の場合、同じ時間帯で各視点のフレームを処理し、次の時間帯で再び各視点のフレームを処理できる。Ｔ１〜Ｔ４はそれぞれ同じ時間帯における各視点フレームを表す。すなわち、Ｔ１のフレームを処理し、続いてＴ４→Ｔ２→Ｔ３→…などの順に処理できる。また、ＭＶＣでは、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝Ｎの場合、１つの視点内で時間軸に沿ってＮ個のフレームをまず処理してから、次の視点内でＮ個のフレームを処理することができる。すなわち、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ＝４の場合、Ｖ４のＴ１〜Ｔ４に属するフレームを処理し、続いてＶ１→Ｖ２→Ｖ３→…などの順に処理できる。
【０１２４】
したがって、図４Ａでは、ビットストリームを生成する時、視点個数は８で、参照視点はＶ４  ＧＯＰとなる。そして、フレーム数（ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ）は、各視点内で連続して符号化／復号化されるフレーム数を表すので、図４Ａで、同じ時間帯で各視点のフレームを処理する場合は、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅは１になり、１つの視点内で時間軸に沿ってフレームを処理する場合は、ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅはＮとなる。上記の情報がビットストリーム生成時に追加されることができる。
【０１２５】
図５は、本発明が適用されたビデオ映像の復号化方法を示すフローチャートである。
【０１２６】
まず、受信したビットストリームから１つ以上のプロファイル情報を抽出することができる。ここで、抽出されるプロファイル情報は、ベースラインプロファイル、メインプロファイル、多視点プロファイル等、様々なプロファイルのうちいずれか１つ以上とすれば良く、これは入力されるビデオ映像によって可変する（Ｓ５１）。前記抽出されたプロファイル情報から前記プロファイルに含まれた１つ以上の属性情報を抽出することができる。例えば、抽出されたプロファイル情報が多視点プロファイルに関する情報であれば、多視点プロファイルに含まれた１つ以上の属性情報、すなわち、例えば、“参照視点（ｒｅｆｅｒｅｎｃｅ＿ｖｉｅｗ）”、“視点個数（ｎｕｍ＿ｖｉｅｗｓ）”、“カメラの配列形態（ｖｉｅｗ＿ａｒｒａｎｇｅｍｅｎｔ）”、“フレーム数（ｔｅｍｐｏｒａｌ＿ｕｎｉｔｓ＿ｓｉｚｅ）”などに関する情報を抽出することができる（Ｓ５３）。このようにして抽出された情報は、多視点符号化されたビットストリームを復号化するのに活用される。
【０１２７】
図６Ａ及び図６Ｂは、本発明が適用される実施例であり、多視点映像の予測構造を示す。
【０１２８】
図６Ａ及び図６Ｂを参照すると、多視点の個数（ｍ）をｍ＝２nで表示すると、ｎ＝０なら視点個数は１になり、ｎ＝１なら視点個数は２になり、ｎ＝２なら視点個数は４になり、ｎ＝３なら視点個数は８になる。したがって、多視点の個数（ｍ）が２n-1＜ｍ＜＝２nの場合、１つの基準視点ビットストリームとＮ個の階層的補助視点ビットストリームを含むことができる。
【０１２９】
ここで、“基準視点”とは、前記多視点のうち符号化の基準となる視点を意味する。すなわち、基準視点に該当する映像は、一般的な映像符号化方式（ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ−２６４等）によって符号化され、独立したビットストリームに形成できるので、説明の便宜上、“基準視点ビットストリーム”と呼ばれる。
【０１３０】
また、“補助視点”とは、前記多視点のうち基準視点でない視点を意味する。すなわち、“補助視点”に該当する映像は、前記基準視点映像から動き推定などを行ってビットストリームを形成することとなるので、これは“補助視点ビットストリーム”と呼ばれる。
【０１３１】
また、多視点間の階層的符号化を行う場合、前記“補助視点ビットストリーム”は、“第１補助視点ビットストリーム”、“第２補助視点ビットストリーム”及び“第ｎ補助視点ビットストリーム”のように区別される。
【０１３２】
また、“ビットストリーム”とい用語は、前記“基準視点ビットストリーム”と“補助視点ビットストリーム”を包括する意味として用いられることができる。
【０１３３】
例えば、前記多視点の個数（ｍ）が８個（ｎ＝３）である場合、前記ビットストリームは１つの基準視点と３個の階層的補助視点を含む。上記のように、１つの基準視点とｎ個の階層的補助視点が存在する場合、多視点のうち、基準視点となる位置と、各階層的補助視点となる位置を一般的な規則により定義することが好ましい。参考として、図６Ａ及び図６Ｂで、四角形で表示された領域は各視点を意味し、四角形内の数字は、基準視点０、第１階層的補助視点１、第２階層的補助視点２及び第３階層的補助視点３を意味する。本例では最大８個の多視点を取り上げているが、それ以上の多視点の場合にも本発明の概念及び特徴が同様に適用可能である。
【０１３４】
すなわち、図６Ａを参照すると、各基準視点と階層的補助視点は次の規則により決定される。まず、基準視点の位置は２n-1番目の視点とする。例えば、ｎ＝３の場合は、基準視点は４番目に位置する視点となる。図６Ａ及び図６Ｂは、開始視点が最右側である場合を示すもので、最右側視点６１から４番目に該当する視点が基準視点となる。一般的に基準視点の位置は多視のうち中央付近または真中央が好ましく、これは、基準視点が他の補助視点の予測符号化において基準となるためである。これについては後述する。
【０１３５】
他の例として、常に最左側を開始視点とし、視点ナンバーをｍ＝１０，１，２，３，…の順に決定することも可能である。例えば、ｎ＝３の場合、２n-1番目の視点ナンバー（すなわち、ｍ＝４）を基準視点とすることも可能である。
【０１３６】
また、第１階層的補助視点の位置は、前記基準視点の位置から２n-2番目の大きさだけ離れた左または右方向のうちいずれか１つの視点とする。例えば、図６Ａは、基準視点から左方向に２n-2番目（すなわち、ｎ＝３の場合、２個の視点）離れた視点を第１階層的補助視点とした場合を示す。一方、図６Ｂは、基準視点から右方向に２n-2番目だけ離れた視点を第１階層的補助視点とした場合を示す。本例によれば、第１階層的補助視点の個数は１となる。
【０１３７】
また、第２階層的補助視点の位置は、前記基準視点及び第１階層的補助視点から２n-3大きさだけ離れた左及び右方向の視点とする。例えば、図６Ａでは、２個の第２階層的補助視点が発生することになる。一方、図６Ｂでは、第１階層的補助視点の右方向にそれ以上２n-2大きさだけ離れた視点が存在しないので、基準視点を基準にして左方向に２n-2大きさだけ離れた視点が第２階層的補助視点となる。
【０１３８】
なお、第２階層的補助視点を基準にして左方向に２n-2大きさだけ離れた位置を第２階層的補助視点６３とすることも可能である。ただし、該当の視点が多視点の両端に該当する場合、後述する第３階層的補助視点とすることができる。すなわち、図６Ｂでは、１個または２個の第２階層的補助視点が発生する。
【０１３９】
最後に、第３階層的補助視点の位置は、前記基準視点及び第１〜第２階層的補助視点とされた視点を除く残りの視点とする。図６Ａでは、４個の第３階層的補助視点が発生し、図６Ｂでは、４個または５個の第３階層的補助視点が発生することとなる。
【０１４０】
図７Ａ及び図７Ｂは、本発明が適用される実施例であり、多視点映像の予測構造を示す概念図である。
【０１４１】
本例は、前述した実施例（図６Ａ及び図６Ｂ）の場合と概念的内容が同一であり、ただし、基準視点を選択する開始視点の位置が最左側であるケースに該当する。すなわち、最左側視点６５から４番目に該当する視点を基準視点としたものである。これ以外の部分は図６Ａ及び図６Ｂの実施例と同一である。
【０１４２】
図８は、本発明が適用される実施例であり、多視点映像の予測構造を示す概念図である。
【０１４３】
本例は、多視点の個数（ｍ）が２n-1＜ｍ＜＝２nの場合を説明するためのものである。具体的には、ｍ＝５，６，７及び８の場合を挙げている。すなわち、ｍ＝５，６，７の場合は、多視点の個数（ｍ）がｍ＝２nを満足しないので、前述した第１実施例（図６Ａ及び図６Ｂ）及び第２実施例（図７Ａ及び図７Ｂ）をそのまま適用し難くなる。本例では、上記の問題点を仮想視点概念を導入して解決した。
【０１４４】
例えば、多視点の個数（ｍ）が２n-1＜ｍ＜２nの場合、２n−ｍだけの仮想視点を生成する。ｍ＝奇数個の場合、多視点配列左側（または右側）に（２n−ｍ＋１）／２個、右側（または左側）に（２n−ｍ−１）／２個の仮想視点を生成し、ｍ＝偶数個の場合、多視点配列左右側にそれぞれ（２n−ｍ）／２個の仮想視点を生成した後、前述した方式で予測構造を同一に適用することが可能である。
【０１４５】
例えば、前記多視点の個数（ｍ）が５個である場合、前記多視点の両端にそれぞれ１個または２個の仮想視点を追加し、多視点の個数を８個に仮想形成した後、基準視点位置及び３個の階層的補助視点位置をそれぞれ選択する。図８では、例えば、左側端に２個、右側端に１個の仮想視点をそれぞれ追加し、前述した図６Ａの実施例によって基準視点及び第１〜第３階層的補助視点を選択した場合を示した。
【０１４６】
また、前記多視点の個数（ｍ）が６である場合、前記多視点の両端にそれぞれ１個の仮想視点を追加し、多視点の個数を８に仮想形成した後、基準視点位置及び３個の階層的補助視点位置をそれぞれ選択する。図８では、前述した図６Ａの実施例によって基準視点及び第１〜第３階層的補助視点を選択した場合を示した。
【０１４７】
また、前記多視点の個数（ｍ）が７である場合、前記多視点の両端のいずれか一方に１個の仮想視点を追加し、多視点の個数を８に仮想形成した後、基準視点位置及び３個の階層的補助視点位置をそれぞれ選択する。図８では、例えば、左側端に１個の仮想視点を追加し、前述した図６Ａの実施例によって基準視点及び第１〜第３階層的補助視点を選択した場合を示した。
【０１４８】
図９Ａ及び図９Ｂは、本発明が適用される実施例であり、多視点映像の視点間階層的予測構造を示す図である。例えば、図９Ａは、前述した図６Ａの場合を、図９Ｂは前述した図７Ａの場合をそれぞれ適用して示すものである。すなわち、多視点の個数が８である場合、基準視点及び３個の階層的補助視点を持つことになる。これは、多視点動映像符号化時に視点間階層的符号化（または、‘ビュースケーラビリティ'）を可能にする。
【０１４９】
すなわち、前記階層的補助視点ビットストリームを構成する映像の各ピクチャは、前記基準視点映像の各ピクチャ及び／または上位階層的補助視点映像の各ピクチャから予測し、符号化を行うことになる。特に、前記予測は、動き推定（例えば、変移推定）方式が一般的に適用されることができる。
【０１５０】
例えば、第１階層的補助視点９２は、基準視点９１を参照して視点間予測符号化を行い、第２階層的補助視点９３ａ，９３ｂは、基準視点９１及び／または第１階層的補助視点９２を参照して視点間予測符号化を行い、また、第３階層的補助視点９４ａ，９４ｂ，９４ｃ，９４ｄは、基準視点及び第１階層的補助視点９２及び／または第２階層的補助視点９３ａ，９３ｂを参照して視点間予測符号化を行う。なお、同図中の矢印は、視点間予測符号化の進行方向を表示したもので、同一階層に含まれる補助ストリーム間にも互いに参照する視点が異なることができるということがわかる。上記のように、階層的符号化が行われたビットストリームは、受信端でそれぞれのディスプレイ特性に合うように選択的に復号化が行われ、これについては図１２で詳細に後述される。
【０１５１】
一般的にエンコーダで予測構造は可変するので、各視点の関係を表す情報を転送することによって、デコーダ側で容易に各視点映像間の予測構造関係を確認できるようにする。また、各視点が全体階層的構造でどのレベルに属するかに関する情報も同様にデコーダ側に転送することができる。
【０１５２】
各映像（またはスライス）別に視点レベル（ｖｉｅｗ＿ｌｅｖｅｌ）が割り当てられ、各視点映像間の予測構造関係が与えられると、エンコーダで多様に予測構造を変更しても、容易にデコーダで把握が可能である。この時、各視点間の予測構造／方向の情報は、マトリクスの形態で転送されることができる。すなわち、視点の個数（ｎｕｍ＿ｖｉｅｗ）もまたデコーダに転送されなければならず、各視点間の予測関係を２次元マトリクスで表現できる。
【０１５３】
視点間の予測関係が経時変化する場合、例えば、各ＧＯＰの最初フレームに対する予測関係と残りの時間帯におけるフレーム間の予測関係とが異なる場合、それぞれの場合に対する予測関係マトリクス情報を転送できる。
【０１５４】
図１０Ａ及び図１０Ｂは、本発明が適用される実施例であり、２次元多視点映像の予測構造を示す図である。
【０１５５】
前述した実施例はいずれも１次元配列の多視点の場合としたが、本例は２次元配列の多視点映像にも同じ方式で適用可能である。
【０１５６】
参考として、図１０Ａ及び図１０Ｂの各四角形は、２次元配列された各視点を意味し、四角形内の数字は階層的視点関係を表す。
【０１５７】
例えば、四角形内の数字が‘Ａ−Ｂ'形態の場合、Ａは、該当する階層的補助視点を意味し、Ｂは、同一階層的補助視点内での優先順位を表す。
【０１５８】
したがって、四角形内の数字は、基準視点０、第１階層的補助視点１、第２階層的補助視点２−１，２−２、第３階層的補助視点３−１，３−２、第４階層的補助視点４−１，４−２，４−３、及び第５階層的補助視点５−１，５−２，５−３をそれぞれ意味する。
【０１５９】
要するに、２次元配列された多視点から取得された映像を符号化してビットストリームを生成する場合、前記２次元多視点の個数（横軸＝ｍ、縦軸＝ｐ）が２n-1＜ｍ＜＝２n、２k-1＜ｐ＜＝２kの場合、前記ビットストリームは、１つの基準視点ビットストリームと（ｎ＋ｋ）個の階層的補助視点ビットストリームを含むことを特徴とする。
【０１６０】
これを具体的に説明すると、前記（ｎ＋ｋ）個の階層的補助視点は、横軸と縦軸を交互にして形成される。例えば、図１０Ａは、前記（ｎ＋ｋ）個の階層的補助視点のうち、第１階層的補助視点は、基準視点の含まれた縦軸内で決定する場合を示す。一方、図１０Ｂは、前記（ｎ＋ｋ）個の階層的補助視点のうち、第１階層的補助視点は、基準視点の含まれた横軸内で決定する場合を示す。
【０１６１】
例えば、図１０Ａに示すように、前記多視点の個数が横軸（ｍ）が８個（ｎ＝３）で、縦軸（ｐ）が４個（ｋ＝２）である場合、ビットストリームは１つの基準視点と５個の階層的補助視点を含む。これと関連し、図１０Ａは、‘縦軸→横軸→縦軸…’の順に階層的補助視点が選択される場合を示している。以下、基準視点及び各補助視点の位置を決定する方式について説明する。
【０１６２】
まず、基準視点の位置を決定すべきであり、これは、前述した１次元配列の場合と同じ方式が適用される。したがって、前記基準視点の位置は、横軸に２n-1番目、及び縦軸に２k-1番目に該当する視点とする。
【０１６３】
また、第１階層的補助視点の位置は、まず、縦軸に前記基準視点の位置から２k-2番目の大きさだけ離れた上または下方向のうちいずれか１つの視点とする（丸付数字の１）。続いて、第２階層的補助視点の位置は、前記基準視点及び第１階層的補助視点から横軸に２k-2の大きさだけ離れた左（ｌｅｆｔ）または右（ｒｉｇｈｔ）方向のうちいずれか１つの視点とする（丸付数字の２）。次に、第３階層的補助視点の位置は、前記基準視点、第１階層的補助視点及び第２階層的補助視点を含む縦軸内の残りの視点とする。続いて、第４階層的補助視点の位置は、前記基準視点及び第１〜第３階層的補助視点から横軸に２n-2大きさだけ離れた左及び右方向の視点とする。最後に、第５階層的補助視点の位置は、前記基準視点及び第１〜私４階層的補助視点を除外した残りの視点とする。
【０１６４】
また、例えば、図１０Ｂに示すように、前記多視点の個数が横軸（ｍ）が８個（ｎ＝３）で、縦軸（ｐ）が４個（ｋ＝２）である場合、ビットストリームは１つの基準視点と５個の階層的補助視点を含むこととなる。これと関連して、図１０Ｂは、‘横軸→縦軸→横軸…’の順に階層的補助視点が選択される場合を示している。以下、基準視点及び各補助視点の位置を決定する方式について説明する。
【０１６５】
まず、基準視点の位置を決定すべきであり、これは、前述した１次元配列の場合と同じ方式が適用される。したがって、前記基準視点の位置は横軸に２n-1番目及び縦軸に２k-1番目に該当する視点とする。
【０１６６】
また、第１階層的補助視点の位置は、横軸に前記基準視点の位置から２n-2番目の大きさだけ離れた左または右方向のうちいずれか１つの視点とする（丸付数字の１）。次の、第２階層的補助視点の位置は、前記基準視点及び第１階層的補助視点から縦軸に２k-1の大きさだけ離れた上または下方向のうちいずれか１つの視点とする（丸付数字の２）。次に、第３階層的補助視点の位置は、前記基準視点及び第１〜第２階層的補助視点から横軸に２n-2の大きさだけ離れた左及び右方向の視点とする。続いて、第４階層的補助視点の位置は、前記基準視点、第１〜第３階層的補助視点を含む縦軸内の残りの視点とする。最後に、第５階層的補助視点の位置は、前記基準視点及び第１〜第４階層的補助視点を除外した残りの視点とする。
【０１６７】
図１１Ａ〜図１１Ｃは、本発明が適用される実施例であり、多視点映像の予測構造を示す図である。本実施例は、前述した図６Ａ〜図６Ｂ、図７Ａ〜図７Ｂ、図８、図１０Ａ〜図１０Ｂの実施例とは異なる予測構造規則を適用した場合である。例えば、図１１Ａ〜図１１Ｃで四角形で表示された領域は各視点を意味するが、四角形内の数字は単に視点の予測順序を表す。すなわち、１番目に決定される第１視点「０」、２番目に決定される第２視点「１」、３番目に決定される第３視点「２」、４番目に決定される第４視点「３」等をそれぞれ意味する。
【０１６８】
例えば、図１１Ａは、多視点の個数（ｍ）がｍ＝１〜ｍ＝１０の場合のそれぞれに対して、前記第１視点〜第４視点が決定された形態を示すもので、前記第１視点〜第４視点は次の規則によって決定される。
【０１６９】
すなわち、例えば、前記多視点の両端を第１視点（０）と設定し、前記多視点のうち中央に位置した視点を第２視点（１）と設定し、前記第２視点から両方向に１つ以上の視点を飛ばして連続して位置した視点を第３視点（２）と設定し、前記第１視点〜第３視点に該当しない残りの視点を第４視点（３）と設定する。上記のように第１視点〜第４視点が決定されると、これらの中で基準視点と補助視点を区別すべきである。例えば、第１視点、第２視点及び第３視点のうちいずれか１つを基準視点と決定し、残りを補助視点とすることが可能である。
【０１７０】
また、上記のように基準視点が定められた規則によって決定されるのではなく、符号化端で任意に選択する場合では、基準視点の位置に関する識別情報（例えば、‘ｂａｓｅ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎ’）をビットストリーム内に含む必要がありうる。
【０１７１】
また、図１１Ｂは、前記第２視点（１）を決定するに当たり、第１視点（０）を除外した残りの視点が偶数である場合に対して図１１Ａとは異なる他の例を示す図である。すなわち、ｍ＝４、ｍ＝６、ｍ＝８、ｍ＝１０の場合に、図１１Ｂの第２視点（１）は、図１１Ａの第２視点（１）とは異なる位置の視点とすることができるということを示す。また、他の変形的使用例として、第２視点（１）以降を決定する場合、最左側の第１視点（０）から１つずつ視点を飛ばしながら上位視点を決定することも可能である。
【０１７２】
これと関連して、図１１Ｃは、多視点の個数が１０個（ｍ＝１０）で、このうち、基準視点が前記基準視点識別情報によって“ｂａｓｅ＿ｖｉｅｗ＿ｐｏｓｉｔｉｏｎ＝‘１’の視点（すなわち、６番目の視点に該当する）”のように決定された場合の階層的補助視点の関係を示す図である。例えば、図１１Ｃに示すように、第１階層的補助視点は第３視点（２）となり、第２階層的補助視点は第１視点（０）となり、第３階層的補助視点は第４視点（３）となる。
【０１７３】
これと関連して、図１１Ａ及び図１１Ｂの場合に基準視点は常に、前述した図１１Ｃのように前記第１視点（１）と設定することも可能である。これは、基準視点が多視点の中央付近または真中央に位置する方が、他の補助視点の予測符号化を行うにおいて効率的でるためである。したがって、基準視点と補助視点の位置を次の規則によって決定することも可能である。
【０１７４】
すなわち、前記基準視点の位置は多視点のうち中央に位置した視点（１）とし、第２補助視点の位置は多視点の両端視点（０）とし、第１補助視点の位置は前記基準視点から両方向に１つ以上の視点を飛ばして連続して位置する視点（２）とする。前記視点以外の残りの視点（３）はいずれも第３補助視点となる。
【０１７５】
これと関連して、多視点の個数（ｍ）が７個以下（ｍ＜＝７）の場合、前記基準視点（１）と第２補助視点（０）間に２個以下の視点のみ存在する場合には、前記基準視点（１）と第２補助視点（０）間の全ての視点を第１補助視点（２）と設定する。
【０１７６】
一方、多視点の個数（ｍ）が８個以上（８<＝ｍ）の場合、前記第２補助視点（０）と第１補助視点（２）間に２個以下の視点のみ存在する場合には、前記第２補助視点（０）と第１補助視点（２）間の全ての視点を第３補助視点（３）と設定する。
【０１７７】
例えば、図１１Ａ及び図１１Ｂで、ｍ＝８，９，１０の場合、前記第２補助視点（０）と第１補助視点（２）間に存在する１個または２個の視点が第３補助視点（３）と設定されたことがわかる。
【０１７８】
他の方式として、前記基準視点（１）と第２補助視点（０）間に２個以下の視点のみ存在する場合にも、前記基準視点（１）と第２補助視点（０）間の全ての視点を第３補助視点（３）と設定することができる。例えば、図１１Ａ及び図１１Ｂで、ｍ＝８の場合、基準視点（１）と第２補助視点（０）間に存在する２個の視点がいずれも第３補助視点（３）と設定されたことがわかる。
【０１７９】
また、前記方式により決定された基準視点と補助視点を用いて、視点間階層的符号化を行うことが可能になる。
【０１８０】
例えば、多視点の個数（ｍ）が７以下（ｍ＜＝７）の場合には、１つの基準視点ビットストリームと２個の階層的補助視点ビットストリームを生成することになる。例えば、前記第２補助視点（０）を第１階層的補助視点とし、第１補助視点（２）を第２階層的補助視点とすることが可能である。
【０１８１】
また、例えば、多視点の個数（ｍ）が８以上（ｍ＞＝８）で、ｍ＝８，９，１０の場合には、１つの基準視点ビットストリームと３個の階層的補助視点ビットストリームを生成することになる。例えば、前記第１補助視点（２）を第１階層的補助視点とし、第２補助視点（０）を第１階層的補助視点とし、第３補助視点（３）を第３階層的補助視点とすることが可能である。
【０１８２】
図１２は、本発明の多視点動映像の視点間階層的復号化方法及び装置を説明するための概念図である。
【０１８３】
図１２を参照すると、本発明は、送信側符号化端で、前述した第１実施例〜第５実施例及びこれらの実施例から予測可能な変形的方式によって、多視点映像に対する階層的符号化を行ってビットストリームを生成し、これを受信側に送信する。
【０１８４】
したがって、本発明の復号化方法及び装置は、まず、前述した特徴によって生成されたビットストリームを受信し、これをデコーディングし、各階層別にデコーディングされたデータを生成する。以降、使用者またはディスプレイの選択によって前記階層別にデコーディングされたデータを用いて、多様な方式のディスプレイを具現することが可能になる。
【０１８５】
例えば、基準視点のみを再生する基準レイヤー１２１は、２次元の２Ｄディスプレイ１２５に適している。また、基準視点と第１階層的補助視点を共に再生する第１エンハンスメントレイヤー１２２は、２次元映像を２個結合したステレオタイプディスプレイ１２６に適している。また、基準視点と第１階層的補助視点及び第２階層的補助視点を共に再生する第２エンハンスメントレイヤー１２３は、多視点映像を立体的に再生するローマルチビュータイプディスプレイ１２７に適している。また、基準視点と全ての階層的補助視点を共に再生する第３エンハンスメントレイヤー１２４は、多視点映像を立体的に再生するハイマルチビュータイプディスプレイ１２８に適している。
【産業上の利用可能性】
【０１８６】
本発明の属する技術分野における当業者は、本発明がその技術的思想や必須特徴を変更しない範囲内で他の具体的な形態に実施できるということを理解することができる。
【０１８７】
したがって、以上説明された実施例は全ての面で例示的なものであり、限定的なものとして理解してはならない。本発明の範囲は、上記の詳細な説明ではなく特許請求の範囲によって定められ、よって、特許請求の範囲の意味及び範囲そしてその等価概念から想到できるいかなる変更または変形された形態も本発明の範囲に含まれるものと解釈されるべきである。
【図面の簡単な説明】
【０１８８】
【図１】本発明が適用される実施例であり、多視点ビデオ映像を含むビデオ信号のデコーディングのための多視点ビデオシステムのデコーディング装置の概略的なブロック図である。
【図２】本発明を適用したシーケンスパラメータセットＲＢＳＰシンタックスを示す構造図である。
【図３Ａ】本発明が適用されたビットストリームの構造であり、１つのビットストリーム内で１つのシーケンスのみを含む場合を示す。
【図３Ｂ】本発明が適用されたビットストリームの構造であり、１つのビットストリーム内で２個のシーケンスを含む場合を示す。
【図４Ａ】本発明を適用した実施例であり、ＧＧＯＰの構造を例示する図である。
【図４Ｂ】本発明を適用した実施例であり、ＧＧＯＰの構造を例示する図である。
【図５】本発明が適用されたビデオ映像の復号化方法を説明するフローチャートである。
【図６Ａ】本発明が適用される実施例であり、多視点映像の予測構造を示す図である。
【図６Ｂ】本発明が適用される実施例であり、多視点映像の予測構造を示す図である。
【図７Ａ】本発明が適用される実施例であり、多視点映像の予測構造を示す図である。
【図７Ｂ】本発明が適用される実施例であり、多視点映像の予測構造を示す図である。
【図８】本発明が適用される実施例であり、多視点映像の予測構造を示す図である。
【図９Ａ】本発明が適用される実施例であり、多視点映像の視点間階層的予測構造を示す図である。
【図９Ｂ】本発明が適用される実施例であり、多視点映像の視点間階層的予測構造を示す図である。
【図１０Ａ】本発明が適用される実施例であり、２次元多視点映像の予測構造を示す図である。
【図１０Ｂ】本発明が適用される実施例であり、２次元多視点映像の予測構造を示す図である。
【図１１Ａ】本発明が適用される実施例であり、多視点映像の予測構造を示す図である。
【図１１Ｂ】本発明が適用される実施例であり、多視点映像の予測構造を示す図である。
【図１１Ｃ】本発明が適用される実施例であり、多視点映像の予測構造を示す図である。
【図１２】本発明の多視点映像の視点間階層的復号化方法及び装置を説明するための図である。
【図１】
2009523356.tif 000003
【図２】
2009523356.tif 000004
【図３Ａ】
2009523356.tif 000005
【図３Ｂ】
2009523356.tif 000006
【図４Ａ】
2009523356.tif 000007
【図４Ｂ】
2009523356.tif 000008
【図４Ｃ】
2009523356.tif 000009
【図５】
2009523356.tif 000010
【図６Ａ】
2009523356.tif 000011
【図６Ｂ】
2009523356.tif 000012
【図７Ａ】
2009523356.tif 000013
【図７Ｂ】
2009523356.tif 000014
【図８】
2009523356.tif 000015
【図９Ａ】
2009523356.tif 000016
【図９Ｂ】
2009523356.tif 000017
【図１０Ａ】
2009523356.tif 000018
【図１０Ｂ】
2009523356.tif 000019
【図１１Ａ】
2009523356.tif 000020
【図１１Ｂ】
2009523356.tif 000021
【図１１Ｃ】
2009523356.tif 000022
【図１２】
2009523356.tif 000023
【国際調査報告】
2009523356.tif 000024
2009523356.tif 000025