(57)【要約】  本発明は、双予測現在ブロック中になんの情報も存在しない場合、現在ブロックに隣接するブロックの照明補償差分値を獲得し、隣接ブロックの照明補償差分値を用いて現在ブロックの照明補償差分値を誘導し、現在ブロックの照明補償差分値に基づいて、現在ブロックに照明補償が行われた否かを表す照明補償フラグを誘導し、現在ブロックの照明補償差分値と照明補償フラグに基づいて現在ブロックの照明補償を行うことを含み、現在ブロックの照明補償差分値は、現在ブロックと参照ブロックとの平均画素値差を表すことを特徴とするビデオ信号デコーディング方法を提供する。【選択図】図５
2010522494.tif 000002
【特許請求の範囲】
【請求項１】
双予測現在ブロック中になんの情報も存在しない場合、前記現在ブロックに隣接するブロックの照明補償差分値を獲得し、
前記隣接ブロックの照明補償差分値を用いて前記現在ブロックの照明補償差分値を誘導し、
前記現在ブロックの照明補償差分値に基づいて、前記現在ブロックに照明補償が行われた否かを表す照明補償フラグを誘導し、
前記現在ブロックの照明補償差分値と照明補償フラグに基づいて前記現在ブロックの照明補償を行う、ことを有し、
前記現在ブロックの照明補償差分値は、前記現在ブロックと参照ブロックとの平均画素値差を表す、
ことを特徴とするビデオ信号デコーディング方法。
【請求項２】
前記現在ブロックの照明補償差分値が０であれば、前記現在ブロックの照明補償フラグは０と誘導される、請求項１に記載のビデオ信号デコーディング方法。
【請求項３】
前記現在ブロックの照明補償差分値が０でなければ、前記現在ブロックの照明補償フラグは１と誘導される、請求項１に記載のビデオ信号デコーディング方法。
【請求項４】
前記現在ブロックの照明補償差分値は、前記現在ブロックの参照インデックスと前記隣接ブロックの参照インデックスとが同じであるか否かに基づいて誘導される、請求項１に記載のビデオ信号デコーディング方法。
【請求項５】
前記現在ブロックの参照インデックスと同じ参照インデックスを有する隣接ブロックが１個存在する場合、前記現在ブロックの照明補償差分値は、前記隣接ブロックの照明補償差分値にセッティングされる、請求項４に記載のビデオ信号デコーディング方法。
【請求項６】
前記隣接ブロックは、前記現在ブロックの上ブロック、左ブロック、上右ブロック、上左ブロックの順に確認される、請求項５に記載のビデオ信号デコーディング方法。
【請求項７】
前記現在ブロックの参照インデックスと同じ参照インデックスを有する隣接ブロックが３個存在する場合、前記現在ブロックの照明補償差分値は、前記３個の隣接ブロックの照明補償差分値の中間値にセッティングされる、請求項４に記載のビデオ信号デコーディング方法。
【請求項８】
前記ビデオ信号は、放送信号として受信される、請求項１に記載のビデオ信号デコーディング方法。
【請求項９】
前記ビデオ信号は、デジタル媒体を介して受信される、請求項１に記載のビデオ信号デコーディング方法。
【請求項１０】
請求項１に記載の方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能媒体。
【請求項１１】
双予測現在ブロック中になんの情報も存在しない場合、獲得された隣接ブロックの照明補償差分値を用いて前記現在ブロックの照明補償差分値を誘導する照明差分予測部と、
前記現在ブロックの照明補償差分値に基づいて、前記現在ブロックに照明補償が行われたか否かを表す照明補償フラグを誘導し、前記現在ブロックの照明補償差分値と照明補償フラグに基づいて前記現在ブロックの照明補償を行う照明補償部と、
を有することを特徴とするビデオ信号デコーディング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号のコーディングに関する技術である。
【背景技術】
【０００２】
圧縮符号化とは、デジタル化した情報を通信回線を通じて送信したり、記憶媒体に適合した形態で記憶させたりする一連の信号処理技術のことを意味する。圧縮符号化の対象には、音声、映像、文字などがあり、特に、映像を対象にして圧縮符号化を行う技術をビデオ映像圧縮と称する。ビデオ映像の一般的な特徴は、空間的重複性、時間的重複性を有している点にある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、ビデオ信号のコーディング効率を向上させることにある。
【課題を解決するための手段】
【０００４】
本発明は、ブロック間または視点間の相関関係を效果的に用いてビデオ映像のコーディング効率を高める。
【０００５】
本発明は、多視点映像において視点間の照明差を效率的に補償する。
【０００６】
本発明は、視点間依存関係を示す視点間参照情報を效率的に送信する。
【０００７】
本発明は、深さ情報を用いることによって、ビデオ信号のコーディング効率を高める。
【０００８】
本発明は、カメラ情報を用いることによってビデオ信号のコーディング効率を高めたり、ユーザに多様なサービスを提供したりする。
【０００９】
本発明は、ビデオ映像データに対して效率的にデコーディングする方法及び装置を提供する。
【発明の効果】
【００１０】
本発明によれば、映像シーケンスの時間的、空間的相関関係を用いて動き情報を予測することによって、信号処理効率を高めることができる。現在ブロックと相関関係が高いピクチャのコーディング情報を用いて、現在ブロックのコーディング情報を予測することによって、より正確な予測が可能となり、それによる誤差値送信量が減少するため、効率的なコーディングを行うことができる。そして、現在ブロックのコーディング情報が送信されなくても、現在ブロックのコーディング情報と非常に類似しているコーディング情報を算出できるため、復元率が向上する効果がある。また、深さ情報（depth information）を用いることによってコーディング効率及び映像復元率を向上させることができる。また、カメラ情報を用いることによってコーディング効率を高めることができ、ユーザに多様なサービスを提供可能になる。
【００１１】
また、本発明では、現在ブロックのオフセット値を隣接ブロックの情報を用いて予測し、その差値のみを送信するため、照明補償のために送信しなければならない情報を最小化することができる。また、２以上の参照ブロックを用いて予測コーディングされた場合、オフセット値及びフラグ情報をそれぞれ少なくとも一つ以上の多様な方法で適用することによって、より効率的なエンコーディングが可能になる。また、現在ブロックのオフセット値を予測する時、現在ブロックと隣接ブロックの参照インデックスが同一であるか否かを確認することによって、より正確な予測を行うことができる。そして、現在ブロックの照明補償を行うか否かを表すフラグ情報も予測し、その差値のみを送信することによって、送信すべき情報を最小化でき、同様に、現在ブロックと隣接ブロックの参照インデックスが同じであるか否かも確認することによって、より正確な予測を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例による、ビデオ信号デコーディング装置の概略的なブロック図である。
【図２】本発明の実施例による、多視点映像コーディングされたビットストリームに追加されうる多視点映像に関する属性情報を示す図である。
【図３】本発明の実施例による、現在ブロックの照明差分値を獲得する過程を説明するための図である。
【図４】本発明の実施例による、照明補償を考慮した動きベクトル予測方法を説明するための図である。
【図５】本発明の実施例による、照明補償を考慮した動きベクトル予測方法を説明するための図である。
【図６】本発明の実施例による、深さマップを用いてコーディングする方法を説明するための図である。
【図７】本発明の実施例による、カメラ情報を用いる多様な応用例を説明するためのシンタックス構造を示す図である。
【図８】本発明の実施例による、カメラ情報を用いる多様な応用例を説明するためのシンタックス構造を示す図である。
【図９】本発明の実施例による、カメラ情報を用いる多様な応用例を説明するためのシンタックス構造を示す図である。
【図１０】本発明の実施例による、カメラ情報を用いる多様な応用例を説明するためのシンタックス構造を示す図である。
【図１１】本発明の実施例による、カメラ情報を用いる多様な応用例を説明するためのシンタックス構造を示す図である。
【図１２】本発明の実施例による、カメラ情報を用いる多様な応用例を説明するためのシンタックス構造を示す図である。
【図１３】本発明の実施例による、カメラ情報を用いる多様な応用例を説明するためのシンタックス構造を示す図である。
【図１４】本発明の実施例による、カメラ情報を用いる多様な応用例を説明するためのシンタックス構造を示す図である。
【図１５】視点間ピクチャグループの概念を説明するための、本発明の実施例による多視点映像信号の全体的な予測構造を示す図である。
【図１６】本発明の実施例による、視点間参照情報を表す多様なシンタックス構造を示す図である。
【図１７】本発明の実施例による、視点間参照情報を表す多様なシンタックス構造を示す図である。
【図１８】本発明の実施例による、視点間参照情報を表す多様なシンタックス構造を示す図である。
【図１９】本発明の実施例による、視点間参照情報を表す多様なシンタックス構造を示す図である。
【図２０】本発明の実施例による、視点間参照情報を表す多様なシンタックス構造を示す図である。
【発明を実施するための形態】
【００１３】
本発明は、双予測現在ブロック中になんの情報も存在しない場合、現在ブロックに隣接するブロックの照明補償差分値を獲得し、隣接ブロックの照明補償差分値を用いて、現在ブロックの照明補償差分値を誘導し、現在ブロックの照明補償差分値に基づいて、現在ブロックに照明補償が行われた否かを表す照明補償フラグを誘導し、現在ブロックの照明補償差分値と照明補償フラグに基づいて、現在ブロックの照明補償を行うことを含み、ここで、現在ブロックの照明補償差分値は、現在ブロックと参照ブロック間の平均画素値差を表すことを特徴とするビデオ信号デコーディング方法を提供する。
【００１４】
また、本発明は、現在ブロックの照明補償差分値が０であれば、現在ブロックの照明補償フラグは０と誘導されることを特徴とする。
【００１５】
また、本発明は、現在ブロックの照明補償差分値が０でなければ、現在ブロックの照明補償フラグは１と誘導されることを特徴とする。
【００１６】
また、本発明は、現在ブロックの照明補償差分値は、現在ブロックの参照インデックスと隣接ブロックの参照インデックスが同一であるか否かに基づいて誘導されることを特徴とする。
【００１７】
また、本発明は、現在ブロックの参照インデックスと同一の参照インデックスを有する隣接ブロックが、１個存在する場合、現在ブロックの照明補償差分値は、隣接ブロックの照明補償差分値にセッティングされることを特徴とする。
【００１８】
また、本発明は、隣接ブロックが、現在ブロックの上ブロック、左ブロック、上右ブロック、上左ブロックの順に確認されることを特徴とする。
【００１９】
また、本発明は、現在ブロックの参照インデックスと同じ参照インデックスを有する隣接ブロックが、３個存在する場合、現在ブロックの照明補償差分値は、３個の隣接ブロックの照明補償差分値の中間値にセッティングされることを特徴とする。
【００２０】
また、本発明は、ビデオ信号が、放送信号として受信されることを特徴とする。
【００２１】
また、本発明は、ビデオ信号が、デジタル媒体（digital medium）を介して受信されることを特徴とする。
【００２２】
また、本発明は、本発明をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能媒体を提供する。
【００２３】
また、本発明は、双予測現在ブロック中になんの情報も存在しない場合、獲得された隣接ブロックの照明補償差分値を用いて、現在ブロックの照明補償差分値を誘導する照明差分予測部と、現在ブロックの照明補償差分値に基づいて、現在ブロックに照明補償が行われた否かを表す照明補償フラグを誘導し、現在ブロックの照明補償差分値と照明補償フラグに基づいて、現在ブロックの照明補償を行う照明補償部を有することを特徴とするビデオ信号デコーディング装置を提供する。
【実施例】
【００２４】
上述した目的及び構成の特徴は、添付の図面を参照した下記の詳細な説明からより明確になる。以下、添付の図面を参照しつつ、本発明の好適な実施例について詳細に説明する。
【００２５】
なお、本発明で使用される用語は、可能な限り、現在広く使用される一般的な用語としたが、特定の場合は、出願人が任意に選定した用語もあり、その場合は、該当する発明の説明部分において詳細にその意味を記載しておくので、単純な用語の名称ではなく用語が持つ意味でもって本発明を把握すべきということを明らかにしておきたい。
【００２６】
ビデオ信号データを圧縮符号化する技術は、空間的重複性、時間的重複性、スケーラブルな重複性、視点間に存在する重複性を考慮している。また、このような圧縮符号化過程で視点間に存在する相互重複性を考慮して圧縮コーディングをすることができる。視点間重複性を考慮する圧縮コーディングに対する技術は、本発明の実施例に過ぎず、本発明の技術的思想は、時間的重複性、スケーラブルな重複性などにも適用されることができる。また、本明細書でいうコーディングは、エンコーディングとデコーディングの両概念を含むことができ、本発明の技術的思想及び技術的範囲によって柔軟に解釈すれば良い。
【００２７】
ビデオ信号のビット列構成について説明すると、動映像符号化処理そのものを扱うＶＣＬ（Video Coding Layer：ビデオ符号化階層）と、符号化された情報を送信及び保存する下位システムとの間に在るＮＡＬ（Network Abstraction Layer：ネットワーク抽象階層）との分離された階層構造とされている。符号化過程の出力は、ＶＣＬデータであり、送信したり保存したりする前にＮＡＬ単位でマッピングされる。各ＮＡＬ単位は、圧縮されたビデオデータまたはヘッダ情報に該当するデータであるＲＢＳＰ（Raw Byte Sequence Payload：動映像圧縮の結果データ）を含む。
【００２８】
ＮＡＬ単位は、基本的に、ＮＡＬヘッダとＲＢＳＰの２部分で構成される。ＮＡＬヘッダには、そのＮＡＬ単位の参照ピクチャとなるスライスが含まれているか否かを表すフラグ情報（nal_ref_idc）と、ＮＡＬ単位の種類を表す識別子（nal_unit_type）が含まれている。ＲＢＳＰには、圧縮された原本のデータを保存し、ＲＢＳＰの長さを８ビットの倍数で表現するために、ＲＢＳＰの末尾にＲＢＳＰトレイリングビット（trailing bit）を加える。このようなＮＡＬ単位の種類には、ＩＤＲ（Instantaneous Decoding Refresh：瞬間復号リフラッシュ）ピクチャ、ＳＰＳ（Sequence Parameter Set：シーケンスパラメータセット）、ＰＰＳ（Picture Parameter Set：ピクチャパラメータセット）、ＳＥＩ（Supplemental Enhancement Information：補充的付加情報）などがある。
【００２９】
また、規格では、対象製品を適当なコストで具現できるように種々のプロファイル及びレベルに制約しているが、復号器は、該当のプロファイル及びレベルで定められている制約を満たさなければならない。このように復号器がどのような圧縮映像の範囲まで対応できるかを表す機能またはパラメータを示すために「プロファイル」と「レベル」という２つの概念が定義された。ビットストリームがどんなプロファイルに基づくかは、プロファイル識別子（profile_idc）で識別可能である。プロファイル識別子とは、ビットストリームが基づいているプロファイルを表すフラグを意味する。例えば、Ｈ．２６４／ＡＶＣでは、プロファイル識別子が６６であれば、ベースラインプロファイルに基づくということを意味し、７７なら、メインプロファイルに基づくということを意味し、８８なら、拡張プロファイルに基づくということを意味する。該プロファイル識別子は、シーケンスパラメータセットに含まれることができる。
【００３０】
したがって、多視点（multiview）映像を扱うためには、入力されるビットストリームが多視点プロファイル（Multiview Profile）に関するものか否かを識別し、多視点プロファイルと識別されると、多視点に対する一つ以上の追加情報を送信できるようにシンタックスを追加する必要がある。ここで、多視点プロファイルとは、Ｈ．２６４／ＡＶＣの追加技術であり、多視点ビデオ（multiview video）を扱うプロファイルモード（profile mode）を表す。ＭＶＣは、既存ＡＶＣ技術に対する追加技術であるから、無条件的なシンタックスよりはＭＶＣモードである場合に対する追加情報としてシンタックスを追加することがより効率的でありうる。例えば、ＡＶＣのプロファイル識別子が多視点プロファイルを表す時、多視点映像に関する情報を追加すると符号化効率を高めることができる。
【００３１】
シーケンスパラメータセットとは、プロファイル、レベルのように、シーケンス全体の符号化にわたっている情報が含まれているヘッダ情報のことをいう。圧縮された動映像全体、すなわち、シーケンスは、必ずシーケンスヘッダから始めるべきなので、ヘッダ情報に相当するシーケンスパラメータセットは、そのパラメータセットを参照するデータよりも先に復号器に到着しなければならない。つまり、シーケンスパラメータセットＲＢＳＰは、動映像圧縮の結果データに関するヘッダ情報の役割を果たす。ビットストリームが入力されると、まず、プロファイル識別子は、入力されたビットストリームが複数個のプロファイルの中でどのプロファイルに基づくかを識別することとなる。したがって、入力されるビットストリームが多視点プロファイルに関するものか否かを判断する（例えば、“If（profile_idc==MULTI_VIEW_PROFILE）”）部分をシンタックス上に追加することによって、入力されたビットストリームが多視点プロファイルに関するものか否かを判別し、多視点プロファイルに関するものと認定される場合にのみ、種々の属性情報を追加可能になる。例えば、全体視点の個数、視点間参照ピクチャの個数、視点間参照ピクチャの視点識別番号などを追加することができる。また、復号ピクチャバッファでは、参照ピクチャリストを生成及び管理するために、視点間参照ピクチャに関する情報を用いることができる。
【００３２】
図１は、本発明が適用されるビデオ信号デコーディング装置の概略的なブロック図である。
【００３３】
図１を参照すると、デコーディング装置は、パージング部１００、エントロピーデコーディング部２００、逆量子化／逆変換部３００、イントラ予測部４００、デブロッキングフィルタ部５００、復号ピクチャバッファ部６００、インター予測部７００などを含むことができる。そして、インター予測部７００は、照明差分予測部７１０、照明補償部７２０、動き補償部７３０などを含むことができる。
【００３４】
パージング部１００では、受信したビデオ映像を復号するためにＮＡＬ単位でパージングを行う。一般に、一つまたはそれ以上のシーケンスパラメータセットとピクチャパラメータセットが、スライスヘッダとスライスデータがデコーディングされる前にデコーダに送信される。この時、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域には、様々な属性情報が含まれることができる。ＭＶＣは、既存ＡＶＣ技術に対する追加技術であるから、無条件的に追加するよりは、ＭＶＣビットストリームである場合にのみ様々な属性情報を追加する方がより効率的でありうる。例えば、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域に、ＭＶＣビットストリームであるか否かを識別できるフラグ情報を追加することができる。該フラグ情報によって、入力されたビットストリームが多視点映像コーディングされたビットストリームである場合にのみ、多視点映像に関する属性情報を追加することができる。例えば、これらの属性情報は、視点識別（view identification）情報、視点間ピクチャグループ識別情報（inter-view picture group identification information）、視点間予測フラグ情報（inter-view prediction flag information）、時間的レベル（temporal level）情報、優先順位識別（priority identification）情報、視点に対する瞬間復号ピクチャであるか否かを表す識別情報などを含むことができる。これについては、図２で詳細に説明する。
【００３５】
パージングされたビットストリームは、エントロピーデコーディング部２００でエントロピーデコーディングされ、各マクロブロックの係数、動きベクトルなどが抽出される。
逆量子化／逆変換部３００では、受信した量子化された値に所定の定数を乗じて、変換された係数値を獲得し、該係数値を逆変換して画素値を復元する。該復元された画素値を用いてイントラ予測部４００では、現在ピクチャ内のデコーディングされたサンプルから画面内予測を行うこととなる。一方、デブロッキングフィルタ部５００は、ブロック歪み現象を減少させるために、それぞれのコーディングされたマクロブロックに適用される。フィルタは、ブロックの縁部を滑らかにし、デコーディングされたフレームの画質を向上させる。フィルタリング過程の選択は、境界強度（boundary strength）と境界周囲のイメージサンプルの変化（gradient）により左右される。フィルタリングを経たピクチャは、出力される、または、参照ピクチャとして用いるために復号ピクチャバッファ部６００に保存される。
【００３６】
復号ピクチャバッファ部（Decoded Picture Buffer unit）６００では、画面間予測を行うために、以前にコーディングされたピクチャを保存したり開放したりするなどの役割を果たす。この時、復号ピクチャバッファ部６００に保存したり開放するために、各ピクチャのframe_numとＰＯＣ（Picture Order Count：ピクチャオーダカウンタ）を用いる。したがって、ＭＶＣにおいて、以前にコーディングされたピクチャの中には、現在ピクチャと異なる視点にあるピクチャもあるので、このようなピクチャを参照ピクチャとして用いるためには、frame_numとＰＯＣの他に、ピクチャの視点を識別する視点情報も共に用いることができる。
【００３７】
復号ピクチャバッファ部６００では、視点間予測のための参照ピクチャリストを生成するために、視点に関する情報を用いることができる。例えば、視点間参照情報（inter-view reference information）を用いることができる。視点間参照情報とは、視点間依存関係を表すために用いられる情報のことをいう。例えば、全体視点の個数、視点識別番号、視点間参照ピクチャの個数、視点間参照ピクチャの視点識別番号などがある。
【００３８】
また、復号ピクチャバッファ部６００では、より柔軟に画面間予測を実現するために、参照ピクチャを管理する。例えば、メモリ管理制御操作方法（Memory Management Control Operation Method）と移動ウィンド方法（Sliding Window Method）が用いられることができる。これは、参照ピクチャと非参照ピクチャのメモリを一つのメモリとして管理し、少ないメモリで效率的に管理するためである。多視点ビデオコーディングにおいて、視点方向のピクチャは、ピクチャオーダカウンタ（Picture Order Count）が同一なため、これらのマーキングのためには各ピクチャの視点を識別する情報が用いられることができる。このような過程によって管理される参照ピクチャは、インター予測部７００で用いられることができる。
【００３９】
インターコーディングされたマクロブロックは、マクロブロックパーテーションに区分されることができ、各マクロブロックパーテーションは、一つまたは二つの参照ピクチャから予測されることができる。インター予測部７００は、照明差分予測部７１０、照明補償部７２０及び動き補償部７３０などを含む。
【００４０】
入力されたビットストリームが多視点映像に該当する場合、各視点映像（view sequence）は、それぞれ異なるカメラより取得された映像がであり、よって、カメラの内外的要因によって照明（illumination）差が発生することになる。これを防止するために、照明補償部７２０では、照明補償（illumination compensation）を行う。照明補償を行う際に、ビデオ信号の一定階層に対する照明補償を行うか否かを表すフラグ情報を用いることができる。例えば、該当のスライスまたは該当のマクロブロックの照明補償を行うか否かを表すフラグ情報を用いて、照明補償を行うことができる。また、該フラグ情報を用いて照明補償を行う際に、種々のマクロブロックのタイプ（例えば、インター１６×１６モードまたはＢ−ｓｋｉｐモードまたは直接モード等）に適用されることができる。
【００４１】
また、照明補償を行う際に、現在ブロックを復元するために周辺ブロックの情報、または、現在ブロックと異なる視点にあるブロックの情報を用いることができ、現在ブロックの照明差分値（IC offset value）を用いることもできる。この場合、現在ブロックが、他の視点にあるブロックを参照する場合、復号ピクチャバッファ部６００に保存されている視点間予測のための参照ピクチャリストに関する情報を用いて照明補償を行うことができる。ここで、現在ブロックの照明差分値とは、現在ブロックの平均画素値とそれに対応する参照ブロックの平均画素値との差を意味することができる。該照明差分値を用いる一例として、現在ブロックの隣接ブロックを用いて当該現在ブロックの照明差分予測値を獲得し、該照明差分値と照明差分予測値との差値である照明差分レジデュアル（IC offset residual）を用いることができる。したがって、デコーディング部では、照明差分レジデュアルと照明差分予測値を用いて、現在ブロックの照明差分値を復元することができる。
【００４２】
また、現在ブロックの照明差分予測値を獲得する際に、隣接ブロックの情報を用いることができる。例えば、隣接ブロックの照明差分値を用いて現在ブロックの照明差分値を予測できるが、これに先立って現在ブロックの参照インデックスと隣接ブロックの参照インデックスとが同じであるか否かを確認し、その確認結果に基づいてどの隣接ブロックを用いるか、または、どの値を用いるかが決定されることができる。
【００４３】
また、視点方向のコーディング情報相関度を用いて、現在ブロックのコーディング情報を予測できる。例えば、コーディング情報には、照明補償情報、予測方向情報またはパーテーション情報などを含むことができる。その具体的例として、現在ブロックの照明補償情報を予測するために、現在ブロックに隣接するブロックの照明補償情報を用いることができる。また、現在ブロックの視点と同じ視点にあり、現在ブロックに対応する他のピクチャのブロックの照明補償情報を用いることもできる。
【００４４】
動き補償部７３０では、エントロピーデコーディング部２００から送信された情報を用いて、現在ブロックの動きを補償する。ビデオ信号から現在ブロックに隣接するブロックの動きベクトルを抽出し、現在ブロックの動きベクトル予測値を獲得する。該獲得された動きベクトル予測値とビデオ信号から抽出される差分ベクトルとを用いて、現在ブロックの動きを補償する。また、このような動き補償は、一つの参照ピクチャを用いて行われても良く、複数のピクチャを用いて行われても良い。多視点ビデオコーディングにおいて、現在ピクチャが他の視点にあるピクチャを参照するようになる場合、復号ピクチャバッファ部６００に保存されている視点間予測のための参照ピクチャリストに関する情報を用いて動き補償を行うことができる。また、該当のピクチャの視点を識別する視点情報を用いて動き補償を行うこともできる。
【００４５】
また、直接予測モード（direct prediction mode）は、符号化の終わったブロックの動き情報から現在ブロックの動き情報を予測する符号化モードである。このような方法は、動き情報を符号化する時に必要なビット数が節約されるため、圧縮効率を向上させることができる。例えば、時間直接モード（temporal direct mode）は、時間方向の動き情報相関度を用いて、現在ブロックの動き情報を予測する。時間直接モードは、互いに異なる動きを含んでいる映像においてその動きの速度が一定な時に有効である。このような時間直接モードが多視点ビデオコーディングで用いられる場合、視点間の動きベクトルが考慮されるべきである。
【００４６】
直接予測モードの他の例として、空間直接モード（spatial direct mode）は、空間方向の動き情報相関度を用いて、現在ブロックの動き情報を予測する。空間直接モードは、互いに同一の動きを含んでいる映像においてその動きの速度が変わる時に有効である。現在ピクチャの逆方向参照ピクチャリスト（List 1）において最も小さい参照インデックスを有する参照ピクチャ内で、現在ブロックと同一位置（co-located）にあるブロックの動き情報を用いて現在ブロックの動き情報を予測できる。しかし、多視点ビデオコーディングにおいては、参照ピクチャが現在ピクチャと異なる視点上に存在することがある。したがって、このような場合、空間直接モードを適用するに当たり様々な実施例が利用されることができる。
【００４７】
また、ビデオ信号コーディングにおいて、特定アプリケーションのために、または、他の目的のために、深さ情報を用いることができる。深さ情報とは、視点間の変移差を表す情報を意味することができる。例えば、視点間の予測を通じて視差ベクトルを獲得でき、該獲得された視差ベクトルは、現在ブロックの変移補償のためにデコーディング装置に送信されなければならない。しかし、深さマップを求めてこれをデコーディング装置に送信すると、視差ベクトルをデコーディング装置に送信する必要がなく、深さマップ（depth map）（または、視差マップ（disparity map））から視差ベクトルを類推することができる。または、動きベクトルまたは視差ベクトルを深さマップと共に送信することもできる。ここで、深さマップ（depth map）は、一定単位ごとの深さ情報を表すことができる。例えば、一定単位は、ピクセル単位またはブロック単位でありうる。このような場合、デコーディング装置に送信されるべき深さ情報のビット数を減少させることができるという利点がある。深さマップを用いて隣接した２視点間の仮想視点を復元することができる。また、深さマップから視差ベクトルを類推することによって新しい変移補償方法を提供することができる。このように、深さマップから視差ベクトルを類推する過程において異なる視点のピクチャを用いる場合、ピクチャの視点を識別できる視点情報が利用されることができる。これについては、図６で詳細に後述する。
【００４８】
上記の過程を通じてインター予測されたピクチャとイントラ予測されたピクチャは、予測モードによって選択され、現在ピクチャを復元することとなる。
【００４９】
図２は、本発明の実施例による、多視点映像コーディングされたビットストリームに追加されうる多視点映像に関する属性情報を示す図である。
【００５０】
図２では、多視点映像に関する属性情報が追加されうるＮＡＬ単位の構成の一例を示す。主に、ＮＡＬユニットは、ＮＡＬユニットのヘッダとＲＢＳＰ（Raw Byte Sequence Payload：動映像圧縮の結果データ）とで構成されることができる。そして、ＮＡＬユニットのヘッダでは、ＮＡＬユニットが参照ピクチャのスライスを含んでいるか否かを表す識別情報（nal_ref_idc）と、ＮＡＬユニットのタイプを表す情報（nal_unit_type）を含むことができる。また、制限的に、ＮＡＬユニットヘッダの拡張領域も含むことができる。例えば、ＮＡＬユニットのタイプを表す情報が、スケーラブルビデオコーディングと関連している場合、または、プリフィックス（prefix）ＮＡＬユニットを表す場合に、該ＮＡＬユニットは、ＮＡＬユニットヘッダの拡張領域も含むことができる。具体的な例として、nal_unit_type＝２０または１４の時、ＮＡＬユニットは、ＮＡＬユニットヘッダの拡張領域も含むことができる。また、ＮＡＬユニットヘッダの拡張領域内では、ＭＶＣビットストリームであるか否かを識別できるフラグ情報（svc_mvc_flag）によって多視点映像に関する属性情報を追加することができる。
【００５１】
他の例として、ＮＡＬユニットのタイプを表す情報が、シーケンスパラメータセットを表す情報である場合、ＲＢＳＰは、シーケンスパラメータセットに関する情報を含むことができる。具体的な例として、nal_unit_type＝７の場合、ＲＢＳＰは、シーケンスパラメータセットに関する情報を含むことができる。この時、プロファイル情報によって、シーケンスパラメータセットは、シーケンスパラメータセットの拡張領域を含むことができる。例えば、プロファイル情報（profile_idc）が多視点ビデオコーディングに関連したプロファイルである場合、シーケンスパラメータセットは、シーケンスパラメータセットの拡張領域を含むことができる。または、プロファイル情報によって、サブセットシーケンスパラメータセットがシーケンスパラメータセットの拡張領域を含むことができる。シーケンスパラメータセットの拡張領域は、視点間依存関係を表す視点間参照情報を含むことができる。
【００５２】
以下、多視点映像に関する様々な属性情報、例えば、ＮＡＬユニットヘッダの拡張領域に含まれうる属性情報、または、シーケンスパラメータセットの拡張領域に含まれうる属性情報について具体的に説明する。
【００５３】
まず、視点識別情報（view identification information）とは、現在視点にあるピクチャと他の視点にあるピクチャとを区別するための情報のことをいう。ビデオ映像信号がコーディングされる時、それぞれのピクチャを識別するためにＰＯＣ（Picture Order Count）とframe_numが用いられる。多視点ビデオ映像の場合には視点間予測が行われるから、現在視点にあるピクチャと他の視点にあるピクチャとを区別するための識別情報が必要である。したがって、ピクチャの視点を識別する視点識別情報を定義する必要がある。この視点識別情報は、ビデオ信号のヘッダ領域から獲得されることができる。例えば、ヘッダ領域は、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域であっても良く、スライスヘッダ領域であっても良い。視点識別情報を用いて現在ピクチャと異なる視点にあるピクチャの情報を獲得し、この異なる視点にあるピクチャの情報を用いてビデオ信号をデコーディングすることができる。
【００５４】
このような視点識別情報は、ビデオ信号のエンコーディング／デコーディング過程全般にわたって適用されることができる。例えば、視点識別情報は、視点間依存関係を表すために用いられることができる。視点間依存関係を表すためには、視点間参照ピクチャの個数情報、視点間参照ピクチャの視点識別情報などが必要とされうる。視点間参照ピクチャの個数情報、視点間参照ピクチャの視点識別情報のように、視点間依存関係を表すために用いられる情報を、視点間参照情報（inter-view reference information）とする。ここで、視点間参照ピクチャの視点識別情報を表すのに視点識別情報が用いられることができる。ここで、視点間参照ピクチャとは、現在ピクチャに対して視点間予測を行う時に用いられる参照ピクチャのことを意味する。また、視点識別情報が、特定の視点識別子ではなく視点の考慮されたframe_numを用いて多視点ビデオコーディングにそのまま適用されることもできる。
【００５５】
視点間ピクチャグループ識別情報（inter-view picture group identification information）とは、現在ＮＡＬユニットのコーディングされたピクチャが、視点間ピクチャグループに含まれるか否かを識別する情報のことをいう。そして、視点間ピクチャグループ（inter-view picture group）とは、全てのスライスが同一時間帯のフレームにあるスライスのみを参照する符号化されたピクチャを意味する。例えば、他の視点にあるスライスのみを参照し、現在視点にあるスライスは参照しない符号化されたピクチャのことをいう。多視点映像の復号化過程において、視点間のランダムアクセスは可能である。また、視点間予測のためには視点間参照情報が必要とされるが、視点間参照情報を獲得する時、視点間ピクチャグループ識別情報が用いられることができる。例えば、現在ピクチャが視点間ピクチャグループに該当する場合、視点間ピクチャグループに対する視点間参照情報を獲得することができる。現在ピクチャが非視点間ピクチャグループ（non-inter-view picture group）に該当する場合には、非視点間ピクチャグループに対する視点間参照情報を獲得することができる。
【００５６】
このように、視点間ピクチャグループ識別情報に基づいて視点間参照情報を獲得すると、より効率的に視点間のランダムアクセスを行うことが可能になる。これは、視点間ピクチャグループにおける各ピクチャ間の視点間参照関係が、非視点間ピクチャグループにおける視点間参照関係と異なりうるためである。また、視点間ピクチャグループの場合、複数個の視点にあるピクチャを参照することもできるためである。例えば、複数個の視点にあるピクチャから仮想視点のピクチャを生成し、該仮想視点のピクチャを用いて現在ピクチャを予測することができる。
【００５７】
また、参照ピクチャリストを生成する時、視点間ピクチャグループ識別情報が用いられることもできる。この場合、参照ピクチャリストは、視点間予測のための参照ピクチャリストを含むことができる。そして、視点間予測のための参照ピクチャリストは、参照ピクチャリストに追加されることができる。例えば、参照ピクチャリストを初期化する場合や参照ピクチャリストを修正する場合に、視点間ピクチャグループ識別情報が用いられることができる。そして、追加された視点間予測のための参照ピクチャを管理するためにも用いられることができる。例えば、参照ピクチャを視点間ピクチャグループと非視点間ピクチャグループとに区分し、視点間予測を行う時に用いられない参照ピクチャは使用しないというマーキングをすることができる。また、視点間ピクチャグループ識別情報は、仮想参照デコーダ（hypothetical reference decoder）でも適用されることができる。
【００５８】
視点間予測フラグ情報（inter-view prediction flag information）とは、現在ＮＡＬユニットのコーディングされたピクチャが視点間予測のために用いられるか否かを表す情報のことをいう。視点間予測フラグ情報は、時間的予測または視点間予測が行われる部分において用いられることができる。この場合、ＮＡＬユニットが参照ピクチャのスライスを含んでいるか否かを表す識別情報と一緒に用いられることができる。例えば、識別情報によって現在ＮＡＬユニットが参照ピクチャのスライスを含んではいないが、視点間予測のために用いられる場合に、現在ＮＡＬユニットは視点間予測にのみ用いられる参照ピクチャであっても良い。または、識別情報によって現在ＮＡＬユニットが参照ピクチャのスライスを含んでおり、視点間予測のために用いられる場合に、現在ＮＡＬユニットは時間的予測と視点間予測のために用いられることができる。また、識別情報によってＮＡＬユニットが参照ピクチャのスライスを含んでいないとしても、復号ピクチャバッファに保存されることができる。なぜなら、視点間予測フラグ情報によって現在ＮＡＬユニットのコーディングされたピクチャが視点間予測のために用いられる場合には保存すべき必要があるためである。
【００５９】
フラグ情報と識別情報を共に用いる場合の他に、一つの識別情報は、現在ＮＡＬユニットのコーディングされたピクチャが時間的予測または／及び視点間予測のために用いられるか否かを表すこともできる。
【００６０】
時間的レベル情報（temporal level information）とは、ビデオ信号から時間的拡張性を提供するための階層的な構造に関する情報のことをいう。このような時間的レベル情報を用いてユーザに様々な時間帯の映像を提供可能である。
【００６１】
優先順位識別（priority identification）情報とは、ＮＡＬユニットの優先順位を識別する情報のことを意味する。これを用いて視点拡張性を提供できる。例えば、優先順位識別情報を用いて視点レベル情報を定義することができる。ここで、視点レベル情報とは、ビデオ信号から視点拡張性を提供するための階層的な構造に関する情報のことをいう。多視点ビデオ映像では、ユーザに様々な時間及び視点の映像を提供するために時間及び視点に対するレベルを定義する必要がある。このようにレベル情報を定義する場合、時間及び視点に対する拡張性（scalability）を利用可能になる。したがって、ユーザは、所望の時間及び視点の映像のみを見ることもでき、他の制限条件に対する映像のみを見ることもできる。このレベル情報は、その基準条件によって様々な方法で別々に設定されることができる。例えば、カメラの位置によって別々に設定されることもでき、カメラの配列形態によって別々に設定されることもできる。また、レベル情報は、視点間参照情報を考慮して決定されることもでき、例えば、視点間ピクチャグループがＩピクチャである視点には、レベルを０とし、視点間ピクチャグループがＰピクチャである視点には、レベルを１とし、視点間ピクチャグループがＢピクチャである視点には、レベルを２とする。このように、レベル値を優先順位情報に割り当てることもできる。また、レベル情報は、特別な基準によらず、任意に設定されても良い。
【００６２】
以下では、ビデオ信号の効率的なデコーディング方法を提供するための様々な実施例を説明する。
【００６３】
図３は、本発明の実施例による、現在ブロックの照明差分値を獲得する過程を説明するための図である。
【００６４】
現在ブロックと候補参照ブロック（candidate reference block）との類似性を比較する時、両ブロック間の照明差を考慮しなければならない。照明差を補償するために、新しい動き推定及び動き補償が行われる。新しいＳＡＤは、下記の式１を用いて求めることができる。
【００６５】
【数１】
2010522494.tif 000003
【００６６】
【数２】
2010522494.tif 000004
【００６７】
ここで、Mcurrは、現在ブロックの平均画素値を表し、Mrefは、参照ブロックの平均画素値を表す。f(i,j)は、現在ブロックの画素値を表し、r(i+x,j+y)は、参照ブロックの画素値を表す。式２の新しいＳＡＤに基づいて動き推定を行うことによって、現在ブロックと参照ブロックとの平均画素値差が獲得されることができる。獲得された平均画素値差を、照明差分値（IC_offset）という。
【００６８】
照明補償の適用された動き推定が行われる場合、照明差分値と動きベクトルが求められ、この照明差分値と動きベクトルを用いて、照明補償が式３のように行われる。
【００６９】
【数３】
2010522494.tif 000005
【００７０】
ここで、NewR(i,j)は、照明補償の行われた誤差値（residual）を表し、（x',y'）は、動きベクトルを表す。
【００７１】
照明差分値（Mcurr-Mref）は、デコーディング部に送信されなければならない。デコーディング部における照明補償は、下記のように行われる。
【００７２】
【数４】
2010522494.tif 000006
【００７３】
NewR"(i,j)は、復元された、照明補償の行われた誤差値（residual）を表し、f'(i,j)は、復元された現在ブロックの画素値を表す。
【００７４】
現在ブロックを復元するためには、照明差分値がデコーディング部に送信されなければならなく、この照明差分値は、隣接ブロックの情報から予測されることができる。この照明差分値をコーディングするビット数をより減少させるために、現在ブロックの照明差分値（IC_offset）と隣接ブロックの照明差分値（predIC_offset）との差値を表す照明差分レジデュアル（RIC_offset）のみを送ることができる。これは、下記の式５の通りである。
【００７５】
（式５）
RIC_offset = IC_offset - predIC_offset
【００７６】
図４及び図５は、本発明の実施例による、照明補償を考慮した動きベクトル予測方法を説明するための図である。
【００７７】
本発明が適用される実施例として、現在ブロックの照明補償を行うか否かを表すフラグ情報と、現在ブロックの照明差分値を用いて照明補償を行う過程について説明する。
【００７８】
デコーディング部では、照明補償を行うために、ビデオ信号から、現在ブロックの隣接ブロックのフラグ情報と照明差分値、現在ブロックとその隣接ブロックの該当の参照ブロックの参照インデックス（refidx）などを抽出し、これらの情報を用いて現在ブロックの照明差分予測値を獲得することができる。そして、現在ブロックの照明差分値と該照明差分予測値間の差値を表す照明差分レジデュアル（residual）を獲得し、この照明差分レジデュアル値と照明差分予測値を用いて、現在ブロックの照明差分値を復元することができる。ここで、現在ブロックの照明差分値を復元する時、現在ブロックの照明補償を行うか否かを表す照明補償フラグ（IC_flag）を用いることができる。
【００７９】
まず、ビデオ信号から、現在ブロックの照明補償を行うか否かを表す照明補償フラグを獲得することができる。このフラグ情報によって照明補償が行われる場合、現在ブロックの平均画素値と参照ブロックの平均画素値との差を表す現在ブロックの照明差分値を復元することができる。このように、照明補償技術は、互いに異なるピクチャに属するブロックの平均画素値の差値をコーディングする。各ブロックに照明補償技術を適用するか否かを表すフラグが使用される時、該当のブロックがＰスライスに属するブロックである場合は、一つのフラグ情報と一つの照明差分値を符号化／復号化すればよい。しかし、該当のブロックがＢスライスに属するブロックである場合は、様々な方法が適用可能である。
【００８０】
図４で、“Ｃ”は、現在ブロックを表し、“Ｎ”は、現在ブロックＣに隣接するブロックを、“Ｒ”は、現在ブロックＣが参照するブロックを、“Ｓ”は、現在ブロックＣに隣接するブロックＮが参照するブロックを表す。“ｍc”は、現在ブロックの平均画素値を表し、“ｍr”は、現在ブロックが参照するブロックの平均画素値を表す。現在ブロックＣの照明差分値を“IC_offset”とすれば、IC_offset=me-mrとなる。同様に、隣接ブロックＮの照明差分値を“IC_offset_pred"とすれば、エンコーディング部では、現在ブロックＣの照明差分値である“IC_offset”を復元するために、その値をそのまま送信せずに、現在ブロックの照明差分値（IC_offset）と隣接ブロックの照明差分値（IC_offset_pred）との差値を表す照明差分レジデュアル（RIC_offset）のみを送ることができる。ここで、照明差分レジデュアル（RIC_offset）は、上記の式５のようである。ここで、隣接ブロックのフラグ情報または照明差分値から現在ブロックの照明差分予測値を生成する時には、多様な方法が適用されることができる。例えば、隣接ブロック一つのみの情報を用いることもでき、２以上の隣接ブロックの情報を用いることもできる。２以上の隣接ブロックの情報を用いる場合には、平均値を用いることもでき、中間値（median）を用いることもできる。このように、現在ブロックが一つの参照ブロックを用いて予測コーディングされた場合は、一つの照明差分値と一つのフラグ情報を用いて照明補償を行うことができる。
【００８１】
しかしながら、該当のブロックがＢスライスに属するブロックである場合、すなわち、現在ブロックが２以上の参照ブロックを用いて予測コーディングされた場合は、様々な方法が可能となりうる。例えば、図５で、“Ｃ”は、現在ブロックを表し、“Ｎ”は、現在ブロックＣに隣接するブロックを、“Ｒ０”は、現在ブロックが参照するＬｉｓｔ ０の参照ピクチャ１にある参照ブロックを、“Ｓ０”は、隣接ブロックが参照するＬｉｓｔ ０の参照ピクチャ１にある参照ブロックを表すとする。そして、“Ｒ１”は、現在ブロックが参照するＬｉｓｔ １の参照ピクチャ３にある参照ブロックを、“Ｓ０”は、隣接ブロックが参照するＬｉｓｔ １の参照ピクチャ３にある参照ブロックを表すとする。この場合、現在ブロックのフラグ情報と照明差分値は各参照ブロックに対して存在するので、それぞれ二つの値が存在する。したがって、このフラグ情報と照明差分値を用いるにあたり、それぞれ少なくとも一つを用いることができる。
【００８２】
本発明が適用される実施例として、現在ブロックに対する照明補償を行う過程について説明する。
【００８３】
現在ブロックの照明補償フラグが０の場合は、現在ブロックに対する照明補償が行われない。照明補償フラグが１の場合に、現在ブロックの照明差分値を復元する過程が行われる。ここで、現在ブロックの予測値を獲得する際に、隣接ブロックの情報を用いることができる。
【００８４】
例えば、隣接ブロックの照明差分値を用いて、現在ブロックの照明差分値を予測することができるが、これに先立ち、現在ブロックの参照インデックス（reference index）と隣接ブロックの参照インデックスとが同じであるか否かを確認し、その確認結果に基づいて、どの隣接ブロックを用いるか、または、どの値を用いるかが決定されることができる。また、隣接ブロックのフラグ情報の真偽を確認し、その確認結果に基づいて隣接ブロックを用いるか否かを決定することができる。
【００８５】
本発明の他の実施例として、マクロブロックタイプに基づいて照明補償を行う過程について説明する。マクロブロックタイプにしたがって照明補償フラグと照明差分値を誘導する過程が異なることがある。
【００８６】
例えば、マクロブロックタイプがＰ＿Ｓｋｉｐの場合、まず、隣接ブロックを利用できるか、そして、照明補償が行われるか否かを確認することができる。もし、隣接ブロックをいずれも利用でき、且つ、照明補償が行われる場合、現在ブロックの照明補償フラグと照明差分値は、次のように誘導されることができる。隣接ブロックの照明差分値の平均値が０でないと、現在ブロックの照明補償フラグは１にセッティングされ、現在ブロックの照明差分値は、隣接ブロックの照明差分値の平均値にセッティングされることができる。例えば、これらの隣接ブロックは、現在ブロックの左ブロックと上ブロックでありうる。逆に、それらの隣接ブロックの照明差分値の平均値が０であれば、現在ブロックの照明補償フラグと照明差分値は両方とも０にセッティングされることができる。
【００８７】
いずれか一つの隣接ブロックを利用でき且つ照明補償が行われる場合、現在ブロックの照明補償フラグは１にセッティングされ、照明差分値は、隣接ブロックの照明差分値にセッティングされることができる。例えば、それら隣接ブロックは、現在ブロックの左ブロックまたは上ブロックでありうる。または、上右ブロックまたは上左ブロックでありうる。この時、いずれか一つの隣接ブロックを確認する時、上ブロックをまず確認し、続いて左ブロックを確認することができる。
【００８８】
これらの場合以外は、現在ブロックの照明補償フラグと照明差分値はいずれも０にセッティングされることができる。例えば、現在ブロックの上ブロックと左ブロックの２つを用いる場合と、現在ブロックの上ブロックのみを用いる場合と、現在ブロックの左ブロックのみを用いる場合、このように、三つの場合以外の場合でありうる。
【００８９】
一方、マクロブロックタイプがＢ＿Ｓｋｉｐの場合、現在ブロックの照明差分値は、次のように誘導されることができる。まず、現在ブロックの参照インデックスと隣接ブロックの参照インデックスが同じであるか否かを判断できる。判断結果に基づいて、現在ブロックの照明補償のための予測値を獲得できる。獲得された予測値を用いて、現在ブロックの照明差分値を復元できる。ここで、現在ブロックの参照インデックスと隣接ブロックの参照インデックスが同じであるか否かを判断し、その判断結果に基づいて予測値を獲得する段階についてより詳細に説明する。
【００９０】
その具体的実施例として、現在ブロックの参照インデックスと同じ参照インデックスを有する隣接ブロックが存在するか否かを判断できる。この時、利用される隣接ブロックは、照明補償を用いてエンコーディングされたブロックであると前提することができる。判断結果、現在ブロックの参照インデックスと同じ参照インデックスを有する隣接ブロックが１個のみ存在する場合、同一の参照インデックスを有する隣接ブロックの照明差分値を、現在ブロックの照明差分予測値に割り当てることができる。例えば、もし、現在ブロックの上ブロックが、照明補償を用いてエンコーディングされたブロックであり、現在ブロックの参照インデックスと同じ参照インデックスを有する場合であれば、上ブロックの照明差分値は、現在ブロックの照明差分予測値にセッティングできる。そうでない場合、現在ブロックの左ブロックに対して同じ過程を行うことができる。そうでない場合、現在ブロックの上右ブロックに対して同じ過程を行うことができる。そうでない場合、現在ブロックの上左ブロックに対して同じ過程を行うことができる。そうでない場合、現在ブロックの上、左、上右側にある３個の隣接ブロックとも照明補償を用いてエンコーディングされたブロックであれば、３個の隣接ブロックの照明差分値の中間値を、現在ブロックの照明差分予測値にセッティングできる。そうでない場合、現在ブロックの照明差分予測値は、０にセッティングできる。
【００９１】
また、現在ブロックの参照インデックスと同じ参照インデックスを有する隣接ブロックが、２個存在する場合は、２個の隣接ブロックの照明差分値の平均値が、現在ブロックの照明差分予測値にセッティングされることができる。
【００９２】
これらの照明差分予測値の誘導方法は、照明補償フラグを予測する過程においても同一に適用されることができる。
【００９３】
一方、マクロブロックタイプがＢ＿Ｓｋｉｐの場合、現在ブロックの照明補償フラグは、次のように誘導されることができる。現在ブロックの照明補償フラグは、現在ブロックの照明差分値に基づいて誘導されることができる。
【００９４】
例えば、現在ブロックの照明差分値が０であれば、現在ブロックの照明補償フラグは０にセッティングされることができる。そうでないと、現在ブロックの照明補償フラグは１にセッティングされることができる。この時、現在ブロックの照明差分値は、照明差分予測値を誘導する上記の様々な実施例によってセッティングされた照明差分予測値と同じ値でありうる。
【００９５】
一方、マクロブロックタイプがＢ＿Ｄｉｒｅｃ＿１６×１６の場合、現在ブロックの照明差分値は、次のように誘導されることができる。例えば、現在ブロックのタイプがＢ＿Ｄｉｒｅｃ＿１６×１６であり、照明補償フラグが１の場合、現在ブロックの照明差分値は、送信された照明差分レジデュアル値と誘導された照明差分予測値との和により誘導されることができる。この時、誘導された照明差分予測値は、上記で説明した様々な実施例により誘導されることができる。
【００９６】
本発明が適用される他の実施例として、該当のブロックの照明補償を行うか否かを表すフラグ情報を用いて照明補償を行う方法を説明する。
【００９７】
現在ブロックの照明差分値を復元する時、現在ブロックの照明補償を行うか否かを表す照明補償フラグ（Ie_flag）も用いることができる。または、上記の参照インデックスを確認する方法、照明補償フラグを予測する方法ともを用いて照明差分予測値を獲得することもできる。
【００９８】
まず、現在ブロックの参照インデックスと同じ参照インデックスを有する隣接ブロックが存在するか否かを判断することができる。判断結果に基づいて、現在ブロックの照明補償のための照明差分予測値を獲得できる。この時、隣接ブロックの照明補償フラグが１か否かを判断基準として含むことができる。また、判断結果に基づいて、現在ブロックの照明補償フラグを予測できる。獲得された照明差分予測値と予測された照明補償フラグを用いて現在ブロックの照明差分値を復元することで、照明補償を行うこととなる。
【００９９】
本発明が適用される他の実施例として、現在ブロックと隣接ブロックの参照インデックスが同一か否かに基づいて、現在ブロックの照明補償フラグを予測する方法を説明する。
【０１００】
まず、現在ブロックの参照インデックスと同じ参照インデックスを有する隣接ブロックが存在するか否かを判断できる。この判断結果、現在ブロックの参照インデックスと同じ参照インデックスを有する隣接ブロックが１個のみ存在する場合、同一の参照インデックスを有する隣接ブロックの照明補償フラグから、現在ブロックの照明補償フラグを予測することができる。上記の判断結果、現在ブロックの参照インデックスと同じ参照インデックスを有する隣接ブロックが２個存在する場合は、同一の参照インデックスを有する２個の隣接ブロックの照明補償フラグのうちいずれか一つの照明補償フラグから、現在ブロックの照明補償フラグを予測することができる。また、上記の判断結果、現在ブロックの参照インデックスと同じ参照インデックスを有する隣接ブロックが３個存在する場合は、同一の参照インデックスを有する３個の隣接ブロックの照明補償フラグの中間値（Median）から、現在ブロックの照明補償フラグを予測することができる。また、上記の判断結果、現在ブロックの参照インデックスと同じ参照インデックスを有する隣接ブロックが存在しない場合、現在ブロックの照明補償フラグ予測は行わない。
【０１０１】
本発明が適用される他の実施例として、照明補償が適用されるマクロブロックタイプは、１６×１６インターモードの場合と異なるコンテクストモデリングが行われることができる。フラグ情報については、隣接ブロック（例えば、現在ブロックの左ブロックと上位ブロック）のフラグ値によって３個のコンテクストを考えることができる。フラグ値が「真」の場合は１、「偽」の場合は０に変換すると、各場合について２値を合算すると３つの場合が出る。このような３個のコンテクストを用いてフラグ情報を符号化／復号化する。照明差分レジデュアルについては、例えば、変換係数レベルコーディング（transform coefficient levels coding）における同様に、２個のコンテクストモデルを用いる方法を用いることができる。すなわち、ＵＥＧ０（Unary/Oth order Exp-Golomb）で二進化が行われ、最初のビン（first bin）値に対してコンテクストモデル一つを適用し、ユーナリプリフィクスパート（unary prefix part）の残りのビン（bin）値についてコンテクストモデルを一つ適用することができる。サインビット（sign bit）は、バイパスモード（bypass mode）で符号化／復号化されることができる。フラグ情報について他の実施例として、予測されたフラグ情報の値によって３個のコンテクストを考えることができ、これを用いて符号化／復号化できる。
【０１０２】
本明細書で説明した記述は、マクロブロック単位の適用が容易であるが、より小さいブロックについても適用可能である。
【０１０３】
図６は、本発明の実施例による、深さマップを用いてコーディングする方法を説明するための図である。
【０１０４】
ビデオ信号コーディングにおいて、特定アプリケーションのためにまたは他の目的のために、深さ情報を用いることができる。深さ情報とは、視点間の変移差を表す情報を意味することができる。例えば、視点間の予測を通じて視差ベクトルを獲得できるが、獲得された視差ベクトルは、現在ブロックの変移補償のためにデコーディング装置に送信されなければならない。しかし、深さマップを求めてこれをデコーディング装置に送信すると、視差ベクトルをデコーディング装置に送信することなく、深さマップ（depth map）（または、視差マップ（disparity map））から視差ベクトルを類推することができる。または、動きベクトルまたは視差ベクトルと深さマップを共に送信することもできる。ここで、深さマップ（depth map）は、一定単位ごとの深さ情報を表すことができる。例えば、一定単位は、ピクセル単位またはブロック単位でありうる。
【０１０５】
本発明の実施例として、カラー成分と共に深さマップをコーディングする場合について説明する。
【０１０６】
まず、現在ビデオシーケンスにおいて深さマップが用いられるか否かを表す情報が必要とされうる。例えば、depth_coding_flagを、シーケンスパラメータセットの拡張領域から獲得できる。depth_coding_flagが０であれば、カラー成分、例えば、ＹＵＶ成分のみコーディングされることができる。depth_coding_flagが１であれば、カラー成分と共に深さマップもコーディングされて用いられることができる。
【０１０７】
本発明が適用される他の実施例として、深さマップを用いるに当たり様々な方式が適用されることができる。例えば、空間解像度によって多様な深さマップが利用されることができる。具体例として、depth_map_modeが０なら、深さマップが利用されないということを意味できる。depth_map_modeが１なら、カラー成分と同じフル解像度（full resolution）の深さマップが利用されるということを意味できる。depth_map_modeが２なら、水平方向に１／２ダウンサンプリングされた深さマップが利用されるということを意味できる。depth_map_modeが３なら、垂直方向に１／２ダウンサンプリングされた深さマップが利用されるということを意味できる。これらの値は、一例に過ぎず、他の値が設定されても良い。また、１／２ダウンサンプリングだけでなく、様々な空間解像度の深さマップも利用されることができる。
【０１０８】
一方、入力された深さマップがフル解像度（full resolution）の場合で、depth_map_modeが異なる解像度の深さマップを表すと、ダウンサンプリングする過程はエンコーダで行われ、アップサンプリングする過程はデコーダで行われなければならない。したがって、図５のように、入力された深さマップが低い解像度（low resolution）で既にダウンサンプリングされた場合なら、デコーダではフル解像度（full resolution）でアップサンプリングする過程が行われることができる。または、カラーピクチャとアップサンプリングされた深さピクチャとの位置差を表すオフセット値を用いて、現在ピクチャを復元することができる。このオフセットは、左側オフセット、右側オフセット、上位オフセット（top offset）及び下位オフセット（bottom offset）を含むことができる。
【０１０９】
上記depth_coding_flagとdepth_map_mode及びこのオフセットは、シーケンスパラメータセット、サブシーケンスパラメータセットの拡張領域、ピクチャパラメータセット、スライスヘッダまたはマクロブロックレイヤーから獲得することができる。
【０１１０】
図７〜図１４は、本発明の実施例による、カメラ情報を用いる様々な応用例を説明するためのシンタックス構造である。
【０１１１】
カメラ情報とは、一連のピクチャであるシーケンスを生成するカメラに関する情報で、一つのカメラにより撮影される一連のピクチャは、一つの視点（view）を構成する。または、カメラの位置が変更される場合にも、新しい視点を構成することができる。一方、カメラ情報の類型として、例えば、カメラパラメータを挙げることができる。カメラパラメータは、固有の（intrinsic）カメラパラメータ及び非固有（extrinsic）のカメラパラメータがありうる。固有のカメラパラメータには、焦点距離（focal length）、縦横比（aspect ratio）、歪み角度（skew）、主点（principal point）などがあり、非固有のカメラパラメータには、世界座標系におけるカメラの位置情報、ロテーションマトリクス（rotation matrix）、移動ベクトル（translation vector）などがありうる。非固有のカメラパラメータに含まれた情報を用いてカメラ間の幾何学的な位置関係（geometrical relation）を正確に求めることができる。
【０１１２】
また、カメラ間の位相的な位置関係（topological relation）が有用に使用されることができる。例えば、カメラ配列が１次元または水平／垂直の２次元形態を示す場合は、カメラ配列に関する情報を用いて位相的な関係を把握できる。したがって、直観的に所望の視点を選択してディスプレイすることができる。この時、カメラ配列に関する情報は、付加情報として送信されることができる。
【０１１３】
例えば、カメラ配列に関する情報は、線形性の有無によって線形（linear）またはアーク（arc）形態に該当することができ、次元（Dimension）によって１次元または２次元形態に該当することがきる。カメラ配列が２次元配列の時は、正規性の有無によって各列（row）別に同一個数の視点がある、または、各列（row）別に異なる個数の視点がある。このように様々な基準が適用されることによって、送信されるシンタックス構造が可変される。その具体的な実施例を、以下に説明する。
【０１１４】
まず、カメラ配列がどのような形態かを知らせるフラグを定義することができる。
【０１１５】
例えば、linear_configuration_flagが１であれば、カメラ配列が線形に配列されているということを意味できる。そして、linear_configuration_flagが０であれば、カメラ配列がアーク形態に配列されていることを意味できる。その他にも、フラグは様々な形態を含むことができ、定義によって可変する。
【０１１６】
また、カメラ配列を２次元配列と仮定した時、各ノードで実際カメラが存在するか否かを表すフラグを定義することができる。例えば、camera_present_flag[i][j]が１であれば、ｉ番目の列（row）、ｊ番目の行（column）のノードにカメラが存在することを意味できる。そして、camera_present_flag[i][j]が０であれば、ｉ番目の列（row）、j番目の行（column）のノードにカメラが存在しないことを意味できる。
【０１１７】
また、カメラ配列を２次元配列と仮定した時、水平方向と垂直方向に対してそれぞれ最大視点の個数を表す情報を定義することができる。例えば、max_num_view_hor_minus1は、水平方向に最大視点の個数−１を意味できる。そして、max_num_view_hor_minus1は、垂直方向に最大視点の個数−１を意味できる。または、num_view_hor_minus1[i]は、ｉ番目の列の水平方向に最大視点の個数−１を意味できる。
【０１１８】
また、view_id[i][j]は、ｉ番目の列（row）、ｊ番目の行（column）のノードにおける視点識別番号を意味することができる。
【０１１９】
また、カメラ配列が何次元になっているかを知らせる情報を定義することができる。例えば、one_dimension_flagが１であれば、カメラは、水平方向にのみ配列されていることを意味できる。そして、one_dimension_flagが０であれば、カメラは、水平／垂直方向に２次元配列されていることを意味できる。その他にも、フラグは様々な次元を含むことができ、定義によって可変する。
【０１２０】
また、水平または垂直方向に各列において視点の個数が同一であるか否かを表す情報を定義することができる。例えば、regular_two_dimension_flagが１であれば、水平、垂直方向の各列の視点の個数が同一であることを意味できる。そして、regular_two_dimension_flagが０なら、水平、垂直方向の各列の視点の個数が同一でないことを意味できる。
【０１２１】
以上で説明した情報を様々な形態に組み合わせて様々な応用例とすることができる。以下では、一部の実施例のみを説明する。
【０１２２】
図７の実施例では、２次元のカメラ配列において各ノードにおけるカメラ存在有無を知らせるシンタックス構造を示す。まず、linear_configuration_flag情報によって、カメラが線形に配列されているか、アーク形態で配列されているかが確認できる。そして水平／垂直方向に最大視点の個数をそれぞれ獲得できる。camera_present_flag[i][j]によって、各ノードにおけるカメラ存在有無が確認でき、カメラが存在すると、カメラが存在する位置における視点識別番号がわかる。
【０１２３】
図８の実施例では、１次元形態の場合に、カメラ配列を容易に確認できるシンタックス構造を示す。図８では、図７とは違い、１次元配列であるから、各ノードにおけるカメラ存在有無を確認する必要がない。したがって、視点識別番号を直接確認することによってカメラ配列を確認することができる。Else構文以降では、図６と同様に、２次元形態のカメラ配列が確認できる。
【０１２４】
図９の実施例では、何次元配列なのかを表すフラグによって適切にカメラ配列を確認できるシンタックス構造を示す。まず、one_dimension_flagによって２次元形態を表す場合には、垂直方向に各列ごとに視点の個数を把握し、各視点識別番号を確認することができる。一方、１次元形態を表す場合には、水平方向に最大視点の個数を把握し、各視点識別番号を確認することができる。
【０１２５】
図１０の実施例は、図７及び図９の実施例を組み合わせた実施例である。本実施例では、何次元配列なのかを表すone_dimension_flagによってカメラ存在有無を確認することができる。
【０１２６】
図１１の実施例では、まず、１次元配列の場合は、水平方向の最大視点個数を用いて視点識別番号を直接確認し、２次元配列の場合は、追加的に垂直方向の最大視点個数を用いて視点識別番号を確認する。
【０１２７】
図１２の実施例では、水平または垂直方向に各列において視点の個数が同じであるか否かを表す情報を用いてカメラ配列を確認することができる。
【０１２８】
まず、水平または垂直方向に各列において視点の個数が同一でない場合、垂直方向に在る各列ごとに、水平方向の視点個数を確認することによって、カメラ配列を確認することができる。一方、水平または垂直方向に各列において視点の個数が同一である場合は、水平／垂直方向に最大視点の個数によって各視点識別情報を確認することができる。
【０１２９】
図１３の実施例は、図１２の実施例と図７の実施例とを組み合わせた場合である。まず、水平または垂直方向に各列において視点の個数が同一でない場合、水平／垂直方向に最大視点の個数によってカメラ存在有無を確認することができる。一方、水平または垂直方向に各列において視点の個数が同一である場合は、水平／垂直方向に最大視点の個数によって各視点識別情報を確認することができる。
【０１３０】
図１４の実施例は、図１２の実施例と図９の実施例とを組み合わせた場合である。まず、何次元配列なのかを表すフラグによって２次元配列である場合にのみ、水平または垂直方向に各列において視点の個数が同一であるか否かを表す情報を獲得することができる。そして、垂直方向に最大視点の個数を表す情報も共に獲得可能である。そうでなければ、これら両情報は０にセッティングされることができる。以降のシンタックスは、図１２の実施例で説明した通りである。
【０１３１】
図１５は、視点間ピクチャグループの概念を説明するための、本発明の実施例による多視点映像信号の全体的な予測構造である。
【０１３２】
図１５に示すように、横軸のＴ０〜Ｔ１００はそれぞれ、時間によるフレームを表し、縦軸のＳ０〜Ｓ７はそれぞれ、視点によるフレームを表す。例えば、Ｔ０にあるピクチャは、同じ時間帯（Ｔ０）にそれぞれ異なるカメラで撮った映像を意味し、Ｓ０にあるピクチャは、１台のカメラで撮った異なる時間帯の映像を意味する。また、図中の矢印は、各ピクチャの予測方向と順序を表すもので、例えば、Ｔ０時間帯のＳ２視点にあるＰ0ピクチャは、Ｉ0から予測されたピクチャであり、これは、ＴＯ時間帯のＳ４視点にあるＰ0ピクチャの参照ピクチャとなる。また、Ｓ２視点のＴ４、Ｔ２時間帯にあるＢ1、Ｂ2ピクチャの参照ピクチャとなる。
【０１３３】
多視点映像の復号化過程において、視点間のランダムアクセスが必要とされうる。したがって、復号化努力を最小化しながら任意視点に対するアクセスを可能にさせるべきである。ここで、効率的なランダムアクセスを実現するために視点間ピクチャグループの概念が必要とされうる。視点間ピクチャグループの定義は、上の図２で説明した通りである。例えば、図１５で、Ｔ０時間帯のＳ０視点にあるＩ0ピクチャが視点間ピクチャグループに該当するとすれば、同じ時間帯にある、すなわち、Ｔ０時間帯の他の視点にある全てのピクチャも同様に視点間ピクチャグループに該当することができる。他の例として、Ｔ８時間帯のＳ０視点にあるＩ0ピクチャが視点間ピクチャグループに該当すると、同じ時間帯にある、すなわち、Ｔ８時間帯の他の視点にある全てのピクチャも同様、視点間ピクチャグループに該当することができる。同様に、Ｔ１６，…，Ｔ９６、Ｔ１００にある全てのピクチャが視点間ピクチャグループの例になることができる。
【０１３４】
他の実施例によれば、ＭＶＣの全般的な予測構造において、ＧＯＰはＩピクチャから始まることができ、このＩピクチャは、Ｈ．２６４／ＡＶＣと互換可能である。したがって、Ｈ．２６４／ＡＶＣと互換可能な全ての視点間ピクチャグループは、常にＩピクチャになりうる。しかし、ＩピクチャをＰピクチャに取り替えると、より効率的なコーディングが可能となりうる。すなわち、ＧＯＰがＨ．２６４／ＡＶＣと互換可能なＰピクチャから始まるようにする予測構造を用いる場合、より効率的なコーディングが可能となりうる。
【０１３５】
ここで、視点間ピクチャグループを再び定義すると、全てのスライスが同一時間帯のフレームにあるスライスだけでなく、同一視点の異なる時間帯にあるスライスも参照できる符号化されたピクチャとなる。ただし、同一視点の異なる時間帯にあるスライスを参照する場合は、Ｈ．２６４／ＡＶＣと互換可能な視点間ピクチャグループに限定されることができる。
【０１３６】
視点間ピクチャグループがデコーディングされた後、順次にコーディングされた全てのピクチャは、出力順序上視点間ピクチャグループに先行してデコーディングされたピクチャからインター予測（inter-prediction）無しでデコーディングされる。
【０１３７】
したがって、図１５の多視点ビデオ映像の全般的なコーディング構造によると、視点間ピクチャグループと非視点間ピクチャグループの視点間参照情報が異なるため、視点間ピクチャグループ識別情報によって視点間ピクチャグループと非視点間ピクチャグループとを区別する必要がある。
【０１３８】
視点間参照情報とは、視点間映像がいかなる構造で予測されたかを知らせる情報のことをいう。これはビデオ信号のデータ領域から獲得できるもので、例えば、シーケンスパラメータセット領域から獲得されることができる。また、視点間参照情報は、参照ピクチャの個数と参照ピクチャの視点情報を用いて把握できる。例えば、まず、全体視点の個数を獲得し、この全体視点の個数に基づいて各視点を区別する視点識別情報を把握できる。そして、各視点ごとに参照方向に対する参照ピクチャの個数を表す視点間参照ピクチャの個数情報を獲得できる。視点間参照ピクチャの個数情報によって各視点間参照ピクチャの視点識別情報を獲得することができる。
【０１３９】
このような方式を通じて視点間参照情報が獲得されることができ、視点間参照情報は、視点間ピクチャグループの場合と非視点間ピクチャグループの場合とに区分して把握されることができる。これは、現在ＮＡＬにあるコーディングされたスライスが視点間ピクチャグループに該当するか否かを表す視点間ピクチャグループ識別情報からわかる。このような視点間ピクチャグループ識別情報は、ＮＡＬヘッダの拡張領域から獲得される、または、スライスレイヤー領域から獲得されることができる。
【０１４０】
また、視点間ピクチャグループ識別情報によって獲得された視点間参照情報は、参照ピクチャリストの生成及び管理などに用いられることができる。
【０１４１】
以下では、視点間参照情報を表す様々な方法について説明する。
【０１４２】
図１６〜図２０は、本発明の実施例による、視点間参照情報を表す様々なシンタックス構造を示す図である。
【０１４３】
図１５で説明した通り、視点間参照情報は、視点間ピクチャグループの場合と非視点間ピクチャグループの場合とに区別して把握されることができる。
【０１４４】
図１６は、本発明の実施例による、視点間参照情報を獲得する際に重複するデータを除去できるシンタックス構造を示す。
【０１４５】
図１６では、全体視点個数によって各視点間参照ピクチャの視点識別情報を獲得することができる。この時、view_id[O]を有する視点は、基準視点または独立した視点でありうる。このような場合、視点間参照ピクチャの個数情報は、Ｌ０方向に対する個数とＬ１方向に対する個数が０値と、同一になる。これは、視点間ピクチャグループの場合と非視点間ピクチャグループの場合の両方において同一に適用されることができる。例えば、視点間ピクチャグループの場合、num_anchor_refs_l0[0]=num_anchor_refs_l1[0]=0が成立できる（Ｓ１６２０、Ｓ１６３０）。また、非視点間ピクチャグループの場合、num_non_anchor_refs_l0[0]=num_non_anchor_refs_l1[0]=0が成立できる（Ｓ１６５０，Ｓ１６６０）。したがって、ｉ＝Ｏの場合に、このような重複データは送信しなくて良い（Ｓ１６１０，Ｓ１６４０）。そして、ｉ＝Ｏの時のＬ０／Ｌ１方向に対する視点間参照ピクチャの個数情報は、それぞれ０に設定することができる。これは、視点間ピクチャグループの場合と非視点間ピクチャグループの場合の両方において同一に適用されることができる。
【０１４６】
本発明の他の実施例として、視点識別情報が異なる意味を有するように定義することができる。例えば、視点識別情報（view_id[i]）は、コーディング順序によって各視点に付与される視点識別番号を意味することができる。または、視点識別情報（view_id[i]）は、任意の順序によって各視点に付与される視点識別番号を意味することができる。または、視点識別情報（view_id[i]）は、カメラ配列情報によって各視点に付与される視点識別番号を意味することができる。
【０１４７】
図１７は、本発明の実施例による、視点間ピクチャグループの予測構造と非視点間ピクチャグループの予測構造との類似性を用いて、視点間参照情報を表すシンタックスである。
【０１４８】
非視点間ピクチャグループの予測構造は、視点間ピクチャグループの予測構造に従属する構造を有することができる。したがって、視点間ピクチャグループの視点間参照関係は、非視点間ピクチャグループの視点間参照関係を用いて表すことができる。
【０１４９】
図１７で、まず、非視点間ピクチャグループの視点間参照情報を獲得することができる（Ｓ１７１０）。例えば、num_non_anchor_refs_lO[i]、non_anchor_refs_lO[i][j]、num_non_anchor_refs_l1[i]、non_anchor_refs_l1[i][j]を獲得できる。
【０１５０】
以下のfor文は、視点間ピクチャグループの視点間参照関係を表す。この時、獲得した非視点間ピクチャグループの視点間参照情報を用いることができる。まず、non_anchor_refs_lO[i][j]値をanchor_refs_lO[i][j]に設定することによって、非視点間ピクチャグループの参照関係がわかる（Ｓ１７２０）。そして、視点間参照ピクチャと非視点間参照ピクチャの個数差分だけanchor_refs_lO[i][j]を獲得することによって、視点間ピクチャグループの残りの予測構造が把握できる（Ｓ１７３０）。Ｌ１方向についても同一に適用可能である（Ｓ１７４０，Ｓ１７５０）。
【０１５１】
このような場合、下記の式６のような関係が成り立つことができる。
【０１５２】
（式６）
num_anchor_refs_l0[i]>=num_non_anchor_refs_l0[i]
num_anchor_refs_l1[i]>=num_non_anchor_refs_l1[i]
【０１５３】
上記のように視点間参照関係を表現する場合、視点間ピクチャグループの予測構造が、全体シーケンスに対する予測構造を代表することができる。また、非視点間ピクチャグループ間の予測関係において必要な情報を、視点間ピクチャグループから誘導すると、より効率的なコーディングが可能になりうる。例えば、モーションスキップモードの場合、非視点間ピクチャグループにある現在ブロックが、隣接視点にあるピクチャのモーション情報を用いる時に、視点間ピクチャグループの予測構造を用いることができる。すなわち、視点間ピクチャグループの予測構造において、対応するピクチャから獲得されたモーション情報を用いることができる。
【０１５４】
図１８は、本発明の実施例による、視点間ピクチャグループの予測構造と非視点間ピクチャグループの予測構造との類似性を用いて視点間参照情報を表すシンタックスである。
【０１５５】
図１８のシンタックス構造は、図１７のシンタックス構造に似ている。図１８では、視点間参照ピクチャの個数情報を獲得する代わりに、視点間参照ピクチャと非視点間参照ピクチャとの個数差を表す情報（num_diff_anchor_non_anchor_refs_lO[i]、num_diff_anchor_non_anchor_refs_l1[i]）を獲得することができる（Ｓ１８１０，Ｓ１８３０）。そして、視点間参照ピクチャと非視点間参照ピクチャとの個数差を表す情報を用いてanchor_refs_l0[i][j]を獲得することによって、視点間ピクチャグループの残りの予測構造を把握することができる（Ｓ１８２０，Ｓ１８４０）。ここで、残りの予測構造とは、非視点間ピクチャグループの構造と異なる視点間ピクチャグループのみの予測構造を意味することができる。
【０１５６】
図１９は、本発明の実施例による、視点間参照関係をより簡単に表すためのシンタックス構造である。
【０１５７】
非視点間ピクチャグループの予測構造が視点間ピクチャグループの予測構造のサブセットになる場合、より有効になりうる。なぜなら、視点間ピクチャグループでは、視点方向の予測のみ可能であり、時間方向の予測は不可能であるためである。したがって、視点間映像の重複性を除去する側面では視点間予測を最大限に活用することが好ましい。一方、非視点間ピクチャグループは、視点及び時間方向予測がいずれも可能であるが、時間方向予測を通じた符号化利得がより大きくなりうる。したがって、非視点間ピクチャグループにおける視点間予測関係は、視点間ピクチャグループにおける視点間予測関係に属する構造が、効果的でありうる。
【０１５８】
このように、非視点間ピクチャグループの予測構造は、視点間ピクチャグループの予測構造に従属する構造を有することができる。したがって、視点間ピクチャグループの視点間参照関係は、非視点間ピクチャグループの視点間参照関係を用いて表すことができる。これは、ランダムアクセス及び視点拡張性側面でも効率的でありうる。例えば、視点間ピクチャグループにおける予測構造には属するが、非視点間ピクチャグループの予測構造には属さないピクチャを含む視点の場合、ピクチャは、デコーディングしなくても良いので効率的である。
【０１５９】
また、視点間ピクチャグループまたは非視点間ピクチャグループで視点間予測関係がない場合がありうる。このように、視点間ピクチャグループにおける視点間予測関係の不在は、速いランダムアクセス及び並列処理に効果的であり、また、非視点間ピクチャグループでは複雑度（complexity）を減少させるために取り込まれる。
【０１６０】
したがって、本発明の実施例では、anchor_ref_IX、non_anchor_ref_IXを区分して視点間参照関係を表す代わりに、一つのmultiview_ref_lx形態で視点間参照関係を表すことができる（Ｓ１９２０，Ｓ１９４０）。
【０１６１】
例えば、視点間ピクチャグループにおける視点間予測関係が存在しない場合、すなわち、num_anchor_refs_IO[i]=num_anchor_refs_l1[i]=0の場合を含むために、下記の式７を用いることができる（Ｓ１９１０，Ｓ１９３０）。
【０１６２】
（式７）
max(num_anchor_refs_lx[i]，num_non_anchor_refs_lx[i])
【０１６３】
この場合、１番目の視点における視点間参照関係を、一つのシンタックス（multiview_ref_lx[i]）で表現可能になる。また、０からmin(num_anchor_refs_lx[i]，num_non_anchor_refs_lx[i])-1までは、視点間ピクチャグループと非視点間ピクチャグループに共通した参照関係を表すことができる。
【０１６４】
図２０は、本発明の実施例によって、視点間参照情報を獲得する際に重複するデータを除去できるシンタックス構造である。
【０１６５】
図２０では、max(num_anchor_refs_lx[i]，num_non_anchor_refs_lx[i])値によって視点間参照ピクチャの視点識別情報を獲得できる。この時、view_id[O]を有する視点は、基準視点または独立した視点でありうる。このような場合、視点間参照ピクチャの個数情報は、Ｌ０方向に対する個数とＬ１方向に対する個数が０値と、同一になる。これは、視点間ピクチャグループの場合と非視点間ピクチャグループの場合の両方において同一に適用されることができる。例えば、視点間ピクチャグループの場合、num_anchor_refs_IO[O]=num_anchor_refs_l1[0]=0が成り立つことができる。また、非視点間ピクチャグループの場合、num_non_anchor_refs_I0[0]=num_non_anchor_refs_l1[0]=0が成り立つことができる。したがって、ｉ＝０の場合に、上記のような重複データは送信しなくても良い（Ｓ２０１０）。そして、ｉ＝Ｏの時のＬ０／Ｌ１方向に対する視点間参照ピクチャの個数情報はそれぞれ、０に設定することができる。
【０１６６】
以上の如く、本発明が適用されるデコーディング／エンコーディング装置は、ＤＭＢ（Digital Multimedia Broadcasting）のようなマルチメディア放送送／受信装置に組み込まれ、ビデオ信号及びデータ信号などを復号化するのに使用されることができる。また、マルチメディア放送送／受信装置は、移動通信端末機を含むことができる。
【０１６７】
また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行されるためのプログラムとして製作され、コンピュータ読み取り可能記録媒体に記憶されることができ、本発明によるデータ構造を有するマルチメディアデータも、コンピュータ読み取り可能記録媒体に記憶されることができる。コンピュータ読み取り可能記録媒体は、コンピュータシステムにより読み取られるデータが記憶されるいずれの種類の記憶装置をも含む。コンピュータ読み取り可能記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、さらに、キャリアウェーブ（例えば、インターネットを介した送信）の形態で具現されるものも含む。また、エンコーディング方法により生成されたビットストリームは、コンピュータ読み取り可能記録媒体に記憶されたり、有／無線通信網を用いて送信されることができる。
【産業上の利用可能性】
【０１６８】
以上説明した本発明の好適な実施例は、本発明を例示するためのもので、添付された特許請求の範囲に開示された本発明の技術的思想及びその技術的範囲内で、様々な他の形態に改良、変更、代替または付加可能であるということは、当業者にとって自明である。
【図１】
2010522494.tif 000007
【図２】
2010522494.tif 000008
【図３】
2010522494.tif 000009
【図４】
2010522494.tif 000010
【図５】
2010522494.tif 000011
【図６】
2010522494.tif 000012
【図７】
2010522494.tif 000013
【図８】
2010522494.tif 000014
【図９】
2010522494.tif 000015
【図１０】
2010522494.tif 000016
【図１１】
2010522494.tif 000017
【図１２】
2010522494.tif 000018
【図１３】
2010522494.tif 000019
【図１４】
2010522494.tif 000020
【図１５】
2010522494.tif 000021
【図１６】
2010522494.tif 000022
【図１７】
2010522494.tif 000023
【図１８】
2010522494.tif 000024
【図１９】
2010522494.tif 000025
【図２０】
2010522494.tif 000026
【国際調査報告】
2010522494.tif 000027
2010522494.tif 000028