(57)【要約】  付加情報を用いて参照ブロックを見つけるステップと、参照ブロックから現在のブロックの動き情報を求めるステップと、および現在のブロックの動き情報を用いて現在のブロックをデコーディングするステップと、を含み、付加情報は、参照ブロックと対応ブロックとの位置の差を示すオフセット情報を含み、対応ブロックは、現在のブロックの視点と参照ブロックの視点との間の変位差を示すグローバル動きベクトルが指すブロックであることを特徴とするビデオ信号デコーディング方法を提供する。
2010525724.tif 000002
【特許請求の範囲】
【請求項１】
付加情報を用いて参照ブロックを見つけるステップと、
前記参照ブロックから現在のブロックの動き情報を求めるステップと、
前記現在のブロックの動き情報を用いて前記現在のブロックをデコーディングするステップと、
を含み、
前記付加情報は、前記参照ブロックと対応ブロックとの位置の差を示すオフセット情報を含み、
前記対応ブロックは、前記現在のブロックの視点と前記参照ブロックの視点との間の変位差を示すグローバル動きベクトルが指すブロックであることを特徴とする、ビデオ信号デコーディング方法。
【請求項２】
前記現在のブロックの動き情報が求められるか否かを表す第２フラグ情報を取得するステップと、
前記第２フラグ情報に基づいて前記付加情報を取得するステップと、
をさらに含むことを特徴とする、請求項１に記載のビデオ信号デコーディング方法。
【請求項３】
前記第２フラグ情報は、マクロブロックレイヤから取得されることを特徴とする、請求項２に記載のビデオ信号デコーディング方法。
【請求項４】
現在のスライスがモーションスキップを用いるか否かを示す第１フラグ情報を取得するステップをさらに含み、
前記第２フラグ情報は、前記第１フラグ情報に基づいて取得されることを特徴とする、請求項２に記載のビデオ信号デコーディング方法。
【請求項５】
前記第１フラグ情報は、スライスヘッダから取得されることを特徴とする、請求項４に記載のビデオ信号デコーディング方法。
【請求項６】
前記第１フラグ情報または前記第２フラグ情報は、インタービューピクチャグループ識別情報に基づいて取得されることを特徴とする、請求項２または４に記載のビデオ信号デコーディング方法。
【請求項７】
前記インタービューピクチャグループ識別情報によって現在のピクチャがノンインタービューピクチャグループに該当する場合、前記第１フラグ情報または前記第２フラグ情報が取得されることを特徴とする、請求項６に記載のビデオ信号デコーディング方法。
【請求項８】
前記第１フラグ情報は、視点間参照関係を示すインタービュー参照情報に基づいて取得されることを特徴とする、請求項４に記載のビデオ信号デコーディング方法。
【請求項９】
前記インタービュー参照情報は、シーケンスパラメータセットの拡張領域から取得されることを特徴とする、請求項８に記載のビデオ信号デコーディング方法。
【請求項１０】
前記インタービュー参照情報は、ノンインタービューピクチャグループのインタービュー参照ピクチャの個数情報を含むことを特徴とする、請求項８に記載のビデオ信号デコーディング方法。
【請求項１１】
前記ノンインタービューピクチャグループのインタービュー参照ピクチャが、Ｌ０方向および／またはＬ１方向に少なくとも一つ存在することを特徴とする、請求項１０に記載のビデオ信号デコーディング方法。
【請求項１２】
前記グローバル動きベクトルと前記オフセット情報を用いて、修正されたグローバル動きベクトルを求めるステップをさらに含み、
前記修正されたグローバル動きベクトルを用いて前記参照ブロックの位置情報が求められることを特徴とする、請求項１に記載のビデオ信号デコーディング方法。
【請求項１３】
前記グローバル動きベクトルは、視点間参照関係を示すインタービュー参照情報に基づいて取得されることを特徴とする、請求項１に記載のビデオ信号デコーディング方法。
【請求項１４】
前記インタービュー参照情報はノンインタービューピクチャグループのインタービュー参照ピクチャの個数情報を含み、前記ノンインタービューピクチャグループのインタービュー参照ピクチャの個数情報分だけ前記グローバル動きベクトルが取得されることを特徴とする、請求項１３に記載のビデオ信号デコーディング方法。
【請求項１５】
前記グローバル動きベクトルは、インタービューピクチャグループ識別情報に基づいて取得されることを特徴とする、請求項１に記載のビデオ信号デコーディング方法。
【請求項１６】
前記インタービューピクチャグループ識別情報によって現在のピクチャがインタービューピクチャグループに該当する場合、前記グローバル動きベクトルが取得されることを特徴とする、請求項１５に記載のビデオ信号デコーディング方法。
【請求項１７】
前記ビデオ信号は、放送信号として受信されることを特徴とする、請求項１に記載のビデオ信号デコーディング方法。
【請求項１８】
前記ビデオ信号は、デジタル媒体を通じて受信されることを特徴とする、請求項１に記載のビデオ信号デコーディング方法。
【請求項１９】
請求項１に記載の方法を実行するためのプログラムを記録したコンピュータ読み取り可能媒体。
【請求項２０】
付加情報を用いて参照ブロックを見つける対応ブロック探索部と、
前記参照ブロックから現在のブロックの動き情報を求める動き情報導出部と、
前記現在のブロックの動き情報を用いて前記現在のブロックをデコーディングする動き補償部と、
を含み、
前記付加情報は、前記参照ブロックと対応ブロックとの位置の差を示すオフセット情報を含み、
前記対応ブロックは、前記現在のブロックの視点と前記参照ブロックの視点との間の変位差を示すグローバル動きベクトルが指すブロックであることを特徴とする、ビデオ信号デコーディング装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ信号のコーディングに関する技術である。
【背景技術】
【０００２】
圧縮符号化とは、デジタル化した情報を通信回線を通じて伝送したり、記憶媒体に適合した形態で記憶させたりする一連の信号処理技術のことを意味する。圧縮符号化の対象には、音声、映像、文字などがあり、特に、映像を対象にして圧縮符号化を行う技術をビデオ映像圧縮と称する。ビデオ映像の一般的な特徴は、空間的冗長性、時間的冗長性を有している点にある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、ビデオ信号のコーディング効率を向上させることができるビデオ信号をデコーディング／エンコーディングする方法および装置を提供することである。
【０００４】
本発明の目的は、視点間ピクチャの関係に基づいて現在のピクチャの動き情報を取得することによって動き補償を行うことができるビデオ信号をデコーディング／エンコーディングする方法および装置を提供することである。
【０００５】
本発明の他の目的は、現在のピクチャの動き情報と高い類似性を有する参照視点の動き情報を用いることによって、現在のピクチャの復元率を高めることができるビデオ信号をデコーディング／エンコーディングする方法および装置を提供することである。
【０００６】
本発明の他の目的は、ピクチャの視点を識別できる視点情報を定義することによってビデオ信号を效率的にコーディングすることである。
【０００７】
本発明の他の目的は、視点間予測に用いられる参照ピクチャを管理するための方法を提供することによって、ビデオ信号を效率的にコーディングすることである。
【０００８】
本発明の他の目的は、ビデオ信号の動き情報を予測する方法を提供することによって、ビデオ信号を效率的に処理することである。
【０００９】
本発明の他の目的は、現在のブロックに対応するブロックを見つける方法を提供することによってビデオ信号を效率的に処理することである。
【課題を解決するための手段】
【００１０】
本発明の他の特徴および利点は、以下の記載で述べるが、その一部については、明細書の記載から明らかになるであろうし、あるいは、本発明の実施によって習得されるであろう。本発明の目的および他の利点は、明細書および特許請求の範囲の書面ならびに添付図面で特別に示された構成によって、実現され達成されるであろう。
【００１１】
本発明の目的にしたがって上述した利点などを達成するため、実施形態として広範囲に説明されるように、本発明に係るビデオ信号デコーディング方法は、付加情報を用いて参照ブロックを見つけるステップと、該参照ブロックから現在のブロックの動き情報を求めるステップと、該現在のブロックの動き情報を用いて現在のブロックをデコーディングするステップと、を含み、ここで、付加情報は、参照ブロックと対応ブロックとの位置の差を表すオフセット情報を含み、対応ブロックは、現在のブロックの視点と参照ブロックの視点との間の変位差を表すグローバル動きベクトルが指すブロックであることを特徴とする。
【００１２】
また、本発明に係る方法は、現在のブロックの動き情報が求められるか否かを表す第２フラグ情報を取得するステップと、第２フラグ情報に基づいて付加情報を取得するステップと、をさらに含むことが好ましい。
【００１３】
また、第２フラグ情報がマクロブロックレイヤから取得されることが好ましい。
【００１４】
この場合、本発明に係る方法は、現在のスライスがモーションスキップを用いるか否かを表す第１フラグ情報を取得するステップをさらに含み、第２フラグ情報は、第１フラグ情報に基づいて取得されることを特徴とする。
【００１５】
また、第１フラグ情報がスライスヘッダから取得されることを特徴とする。
【００１６】
また、第１フラグ情報または第２フラグ情報がインタービューピクチャグループ識別情報に基づいて取得されることが好ましい。
【００１７】
この場合、インタービューピクチャグループ識別情報によって現在のピクチャがノンインタービューピクチャグループに該当する場合、第１フラグ情報または第２フラグ情報が取得されることを特徴とする。
【００１８】
また、第１フラグ情報が、視点間参照関係を表すインタービュー参照情報に基づいて取得されることを特徴とする。
【００１９】
この場合、インタービュー参照情報がシーケンスパラメータセットの拡張領域から取得されることを特徴とする。
【００２０】
また、インタービュー参照情報がノンインタービューピクチャグループのインタービュー参照ピクチャの個数情報を含むことを特徴とする。
【００２１】
また、ノンインタービューピクチャグループのインタービュー参照ピクチャがＬ０方向および／またはＬ１方向に少なくとも一つ存在することを特徴とする。
【００２２】
また、本発明に係る方法は、グローバル動きベクトルおよびオフセット情報を用いて、修正されたグローバル動きベクトルを求めるステップをさらに含み、該修正されたグローバル動きベクトルを用いて参照ブロックの位置情報が求められることが好ましい。
【００２３】
また、グローバル動きベクトルが、視点間参照関係を表すインタービュー参照情報に基づいて取得されることが好ましい。
【００２４】
また、インタービュー参照情報が、ノンインタービューピクチャグループのインタービュー参照ピクチャの個数情報を含み、該ノンインタービューピクチャグループのインタービュー参照ピクチャの個数情報分だけグローバル動きベクトルが取得されることが好ましい。
【００２５】
また、グローバル動きベクトルが、インタービューピクチャグループ識別情報に基づいて取得されることが好ましい。
【００２６】
また、インタービューピクチャグループ識別情報によって現在のピクチャがインタービューピクチャグループに該当する場合、前記グローバル動きベクトルが取得されることが好ましい。
【００２７】
ビデオ信号は、放送信号として受信されることが好ましい。
【００２８】
ビデオ信号は、デジタル媒体を通じて受信されることが好ましい。
【００２９】
また、本発明の目的にしたがって上述した利点などを達成するため、本発明に係るビデオ信号デコーディング装置は、付加情報を用いて参照ブロックを見つける対応ブロック探索部と、参照ブロックから現在のブロックの動き情報を求める動き情報導出部と、現在のブロックの動き情報を用いて現在のブロックをデコーディングする動き補償部と、を含み、ここで、付加情報は、参照ブロックと対応ブロックとの位置の差を表すオフセット情報を含み、対応ブロックは、現在のブロックの視点と参照ブロックの視点との間の変位差を表すグローバル動きベクトルが指すブロックであることを特徴とする。
【発明の効果】
【００３０】
本発明によれば、映像シーケンスの時間的、空間的相関関係を用いて動き情報を予測することによって、信号処理効率を上げることができる。また、現在のブロックと高い相関関係を有するピクチャのコーディング情報を用いて現在のブロックのコーディング情報を予測することによってより正確な予測が可能となり、その分、誤差の伝送量が減少し、効率的なコーディングを行うことができる。そして、現在のブロックの動き情報が伝送されない場合であっても、現在のブロックの動き情報と非常に類似する動き情報を算出できるため、復元率を向上させることができる。
【００３１】
また、視点間予測に用いられる参照ピクチャを管理するための方法を提供することによって、より効率的にコーディングを行うことができる。本発明を用いて視点間予測（inter-view prediction）を行うときに、ＤＰＢ（Decoded Picture Buffer：復号ピクチャバッファ）の負担を減らし、コーディング速度を向上させることができる他、より正確な予測が可能なため、伝送するビット数を減少させることができる。また、多視点映像に関する様々な属性情報を用いることによって、より効率的なコーディングを可能にする。
【図面の簡単な説明】
【００３２】
【図１】本発明の一実施例による、ビデオ信号デコーディング装置の概略ブロック図である。
【図２】本発明の一実施例による、多視点映像コーディングされたビットストリームに追加できる多視点映像に関する属性情報を示す図である。
【図３】インタービューピクチャグループの概念を説明するための、本発明の一実施例による多視点映像信号の全体的な予測構造を示す図である。
【図４】本発明の一実施例による、モーションスキップの有無によって動き補償を行う方法を説明するための図である。
【図５】本発明の一実施例による、対応ブロックを見つける方法を説明するための図である。
【図６】本発明の一実施例による、付加情報を用いて対応ブロックを見つける方法を説明するための図である。
【図７】本発明の一実施例による、一つ以上の参照視点が利用できる場合にモーションスキップを行う方法を説明するための図である。
【図８ａ】本発明の一実施例による、一つ以上の参照視点を利用できる場合にモーションスキップに用いられる視点を知らせるための例を示す図である。
【図８ｂ】本発明の一実施例による、一つ以上の参照視点を利用できる場合にモーションスキップに用いられる視点を知らせるための例を示す図である。
【図８ｃ】本発明の一実施例による、一つ以上の参照視点を利用できる場合にモーションスキップに用いられる視点を知らせるための例を示す図である。
【図８ｄ】本発明の一実施例による、一つ以上の参照視点を利用できる場合にモーションスキップに用いられる視点を知らせるための例を示す図である。
【図９ａ】本発明の一実施例による、視点間で解像度が異なる場合に視点間予測を行う方法を説明するための図である。
【図９ｂ】本発明の一実施例による、視点間で解像度が異なる場合に視点間予測を行う方法を説明するための図である。
【図１０ａ】本発明の一実施例による、視点間で解像度が異なる場合に視点間予測を行う方法を説明するための図である。
【図１０ｂ】本発明の一実施例による、視点間で解像度が異なる場合に視点間予測を行う方法を説明するための図である。
【図１１】本発明の一実施例による、モーションスキップが行われる場合に参照インデックスを求める方法を説明するための図である。
【図１２】本発明の一実施例による、視点間予測に用いられる動きベクトルを取得するための様々な方法を説明するための図である。
【図１３ａ】本発明の一実施例による、拡張されたインタービュー参照情報を表すシンタックスである。
【図１３ｂ】本発明の一実施例による、拡張されたインタービュー参照情報を表すシンタックスである。
【図１４】本発明の一実施例による、深さ情報を伝送するための様々な方法を説明するための図である。
【発明を実施するための形態】
【００３３】
添付された図面は、本明細書に組み込まれて本明細書の一部を構成しており、本発明をよりよく理解するために提供されている。これらの添付図面は、本発明の実施形態を例示し、明細書の記載と併せて本明細書の主旨を説明するものである。
【００３４】
以下の概略説明とその後の詳細説明は、両方とも例示と解説であって、特許請求の範囲に記載された本発明をさらに説明するためのものであることを理解されたい。
【００３５】
以下、添付の図面に例示された本発明の好適な実施形態を参照しつつ詳細に説明する。
【実施例】
【００３６】
ビデオ信号データを圧縮符号化する技術は、空間的冗長性、時間的冗長性、スケーラブル冗長性、視点間に存在する冗長性を考慮している。また、この圧縮符号化過程で視点間に存在する相互冗長性を考慮して圧縮コーディングをすることができる。視点間冗長性を考慮する圧縮コーディングに対する技術は、本発明の実施例に過ぎず、本発明の技術的思想は、時間的冗長性、スケーラブル冗長性などにも適用することができる。また、本明細書でいうコーディングは、エンコーディングとデコーディングの両概念を含むことができ、本発明の技術的思想および技術的範囲によって柔軟に解釈することができる。
【００３７】
ビデオ信号のビット列構成について説明すると、動画像符号化処理そのものを扱うＶＣＬ（Video Coding Layer：ビデオ符号化層）と符号化された情報を伝送および保存する下位システムとの間には、ＮＡＬ（Network Abstraction Layer：ネットワーク抽象化層）と呼ばれる分離された階層構造が存在する。符号化処理の出力は、ＶＣＬデータであり、伝送したり保存したりする前にＮＡＬユニットでマッピングされる。各ＮＡＬユニットは、ヘッダ情報に対応するデータである圧縮されたビデオデータまたはＲＢＳＰ（Raw Byte Sequence Payload（ローバイトシーケンスペイロード）：動画像圧縮の結果データ）を含む。
【００３８】
ＮＡＬユニットは、基本的に、ＮＡＬヘッダとＲＢＳＰの２つの部分で構成される。ＮＡＬヘッダには、そのＮＡＬユニットの参照ピクチャとなるスライスが含まれているか否かを表すフラグ情報（nal ref idc）と、ＮＡＬユニットの種類を表す識別子（nal unit type）が含まれている。ＲＢＳＰには、圧縮された原本データが保存され、ＲＢＳＰの長さを８ビットの倍数で表現するために、ＲＢＳＰの末尾にＲＢＳＰパディングビット（RBSP trailing bit）が追加される。これらのＮＡＬユニットの種類には、ＩＤＲ（Instantaneous Decoding Refresh：瞬時復号リフレッシュ）ピクチャ、ＳＰＳ（Sequence Parameter Set：シーケンスパラメータセット）、ＰＰＳ（Picture Parameter Set：ピクチャパラメータセット）、ＳＥＩ（Supplemental Enhancement Information：付加拡張情報）などがある。
【００３９】
また、標準化では、対象製品を適切なコストで具現できるように種々のプロファイルおよびレベルの要件を設定しているが、復号器は、該当のプロファイルおよびレベルで定められている要件を満たさなければならない。このように、復号器がどの範囲の圧縮映像まで対応できるかを表す機能またはパラメータを示すために‘プロファイル’と‘レベル’という２つの概念が定義されている。ビットストリームがどんなプロファイルに基づくかは、プロファイル識別子（profile idc）で識別可能である。プロファイル識別子とは、ビットストリームが基づくプロファイルを表すフラグを意味する。例えば、Ｈ．２６４／ＡＶＣでは、プロファイル識別子が６６であれば、ベースラインプロファイルに基づくということを意味し、７７なら、メインプロファイルに基づくということを意味し、８８なら、拡張プロファイルに基づくということを意味する。このプロファイル識別子は、シーケンスパラメータセットに含まれてもよい。
【００４０】
したがって、多視点（multiview）映像を扱うためには、入力されるビットストリームが多視点プロファイル（Multiview Profile）に基づくか否かを識別し、多視点プロファイルと識別されると、多視点に関する一つ以上の追加情報を伝送できるようにシンタックスを追加する必要がある。ここで、多視点プロファイルとは、Ｈ．２６４／ＡＶＣの追加技術であり、多視点ビデオ（multiview video）を扱うプロファイルモード（profile mode）を表す。ＭＶＣは、既存ＡＶＣ技術に対する追加技術であるから、無条件シンタックスではなくＭＶＣモードの場合の追加情報としてシンタックスを追加することがより効率的でありうる。例えば、ＡＶＣのプロファイル識別子が多視点プロファイルを表すとき、多視点映像に関する情報を追加すると符号化効率を高めることができる。
【００４１】
シーケンスパラメータセットとは、プロファイル、レベルのように、シーケンス全体の符号化にわたっている情報が含まれているヘッダ情報のことをいう。圧縮された動画像全体、すなわち、シーケンスは、必ずシーケンスヘッダから始めるべきなので、ヘッダ情報に相当するシーケンスパラメータセットは、そのパラメータセットを参照するデータよりも先に復号器に到着しなければならない。つまり、シーケンスパラメータセットＲＢＳＰは、動画像圧縮の結果データに関するヘッダ情報の役割を果たす。ビットストリームが入力されると、まず、プロファイル識別子は、入力されたビットストリームが複数個のプロファイルの中でどのプロファイルに基づくかを識別することとなる。したがって、入力されるビットストリームが多視点プロファイルに関するものか否かを判断する（例えば、“If（profile idc==MULTI VIEW PROFILE）”）部分をシンタックス上に追加することによって、入力されたビットストリームが多視点プロファイルに関するものか否かを判別し、多視点プロファイルに関するものと認定された場合にのみ、種々の属性情報を追加可能になる。例えば、視点の全個数、インタービュー参照ピクチャの個数、インタービュー参照ピクチャの視点識別番号などを追加することができる。また、復号ピクチャバッファでは、参照ピクチャリストを生成および管理するために、インタービュー参照ピクチャに関する情報を用いることができる。
【００４２】
図１は、本発明によるビデオ信号デコーディング装置の概略ブロック図である。
【００４３】
図１を参照すると、デコーディング装置は、パージング部１００、エントロピデコーディング部２００、逆量子化／逆変換部３００、イントラ予測部４００、デブロッキングフィルタ部５００、復号ピクチャバッファ部６００、インター予測部７００などを含むことがある。そして、復号ピクチャバッファ部６００は、主に、参照ピクチャ保存部（図示せず）、参照ピクチャリスト生成部（図示せず）、参照ピクチャ管理部（図示せず）などを含むことがある。インター予測部７００は、モーションスキップ判別部７１０、対応ブロック探索部７２０、動き情報導出部７３０、動き補償部７４０および動き情報取得部７５０を含むことがある。
【００４４】
パージング部１００では、受信したビデオ映像を復号するためにＮＡＬユニットごとにパージングを行う。一般に、一つまたはそれ以上のシーケンスパラメータセットとピクチャパラメータセットが、スライスヘッダとスライスデータがデコーディングされる前にデコーダに伝送される。このとき、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域には、様々な属性情報が含まれることがある。ＭＶＣは、既存ＡＶＣ技術に対する追加技術であるから、無条件に追加するよりは、ＭＶＣビットストリームである場合にのみ様々な属性情報を追加する方がより効率的でありうる。例えば、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域に、ＭＶＣビットストリームであるか否かを識別できるフラグ情報を追加することができる。該フラグ情報によって、入力されたビットストリームが多視点映像コーディングされたビットストリームである場合にのみ、多視点映像に関する属性情報を追加することができる。例えば、これらの属性情報は、視点識別（view identification）情報、インタービューピクチャグループ識別情報（inter-view picture group identification information）、インタービュー予測フラグ情報（inter-view prediction flag information）、時間レベル（temporal level）情報、優先順位識別（priority identification）情報、視点に対する瞬時復号ピクチャであるか否かを表す識別情報などを含むことがある。これらについては、図２で詳細に説明する。
【００４５】
パージングされたビットストリームは、エントロピデコーディング部２００でエントロピデコーディングされ、各マクロブロックの係数、動きベクトルなどが抽出される。逆量子化／逆変換部３００では、受信した量子化された値に所定の定数を乗じて、変換された係数値を取得し、この係数値を逆変換して画素値を復元する。この復元された画素値を用いてイントラ予測部４００では、現在のピクチャ内のデコーディングされたサンプルから画面内予測を行うこととなる。一方、デブロッキングフィルタ部５００は、ブロック歪み現象を減少させるために、それぞれのコーディングされたマクロブロックに適用される。フィルタは、ブロックの縁部を滑らかにし、デコーディングされたフレームの画質を向上させる。フィルタリング過程の選択は、境界強度（boundary strength）と境界周囲のイメージサンプルの階調（gradient）により左右される。フィルタリングを経たピクチャは、出力されるか、または、参照ピクチャとして用いるために復号ピクチャバッファ部６００に保存される。
【００４６】
復号ピクチャバッファ部（Decoded Picture Buffer unit）６００では、画面間予測を行うために、以前にコーディングされたピクチャを保存したり開放したりするなどの役割を果たす。このとき、復号ピクチャバッファ部６００に保存したり開放したりするために、各ピクチャのframe numとＰＯＣ（Picture Order Count：ピクチャ表示順序）を用いる。したがって、ＭＶＣにおいて、以前にコーディングされたピクチャの中には、現在のピクチャと異なる視点にあるピクチャもあるので、これらのピクチャを参照ピクチャとして用いるためには、frame numとＰＯＣの他に、ピクチャの視点を識別する視点情報も共に用いることがある。復号ピクチャバッファ部６００は、参照ピクチャ保存部（図示せず）、参照ピクチャリスト生成部（図示せず）および参照ピクチャ管理部（図示せず）を含む。
【００４７】
参照ピクチャ保存部は、現在のピクチャのコーディングのために参照されるピクチャを保存する。参照ピクチャリスト生成部は、画面間予測のための参照ピクチャのリストを生成する。多視点ビデオコーディングにおいては視点間予測ができるため、現在のピクチャが他の視点にあるピクチャを参照する場合、視点間予測のための参照ピクチャリストを生成する必要がありうる。
【００４８】
参照ピクチャリスト生成部は、視点間予測のための参照ピクチャリストを生成するために視点に関する情報を用いることができる。例えば、インタービュー参照情報（inter-view reference information）を用いることができる。インタービュー参照情報とは、視点間の依存関係を表すために用いられる情報のことをいう。例えば、視点の全個数、視点識別番号、インタービュー参照ピクチャの個数、インタービュー参照ピクチャの視点識別番号などがありうる。
【００４９】
参照ピクチャ管理部は、より柔軟に画面間予測を実現すべく参照ピクチャを管理する。例えば、適応メモリ管理方法（Memory Management Control Operation Method）と移動ウィンド方法（Sliding Window Method）が用いられてもよい。これは、参照ピクチャと非参照ピクチャのメモリを一つのメモリとして統一して管理し、少ないメモリで效率的に管理するためである。多視点ビデオコーディングにおいて、視点方向の各ピクチャはピクチャ表示順序（Picture Order Count）が同一なので、これらのマーキングのためには、各ピクチャの視点を識別する情報を用いることができる。この方法を通じて管理される参照ピクチャは、インター予測部７００で用いることができる。
【００５０】
上記の処理を通じてインター予測されたピクチャとイントラ予測されたピクチャは、予測モードによって選択され、現在のピクチャを復元することとなる。
【００５１】
図２は、本発明の一実施例による、多視点映像のコーディングされたビットストリームに追加できる多視点映像に関する属性情報を示す図である。
【００５２】
図２は、多視点映像に関する属性情報が追加されうるＮＡＬユニットの構成の一例を示す。主に、ＮＡＬユニットは、ＮＡＬユニットのヘッダとＲＢＳＰ（Raw Byte Sequence Payload（ローバイトシーケンスペイロード）：動画像圧縮の結果データ）とで構成されてもよい。そして、ＮＡＬユニットヘッダには、ＮＡＬユニットが参照ピクチャのスライスを含んでいるか否かを表す識別情報（nal ref idc）、およびＮＡＬユニットのタイプを表す情報（nal unit type）が含まれてもよい。また、制限的に、ＮＡＬユニットヘッダの拡張領域が含まれてもよい。例えば、ＮＡＬユニットのタイプを表す情報が、多視点ビデオコーディングと関連している場合、または、プリフィックス（prefix）ＮＡＬユニットを表す場合に、該ＮＡＬユニットは、ＮＡＬユニットヘッダの拡張領域を含むことがある。具体的な例として、nal unit type＝２０または１４のとき、ＮＡＬユニットは、ＮＡＬユニットヘッダの拡張領域を含むことがある。また、ＮＡＬユニットヘッダの拡張領域内では、ＭＶＣビットストリームであるか否かを識別できるフラグ情報（svc mvc flag）によって多視点映像に関する属性情報を追加することができる。
【００５３】
他の例として、ＮＡＬユニットのタイプを表す情報が、シーケンスパラメータセットを表す情報である場合、ＲＢＳＰは、シーケンスパラメータセットに関する情報を含むことがある。具体的な例として、nal unit type＝７の場合、ＲＢＳＰは、シーケンスパラメータセットに関する情報を含むことがある。または、nal unit type＝１５の場合、ＲＢＳＰは、サブセットシーケンスパラメータセットに関する情報を含むことがある。このとき、プロファイル情報によって、サブセットシーケンスパラメータセットは、シーケンスパラメータセットの拡張領域を含むことがある。例えば、プロファイル情報（profile idc）が多視点ビデオコーディングに関連したプロファイルである場合、サブセットシーケンスパラメータセットは、シーケンスパラメータセットの拡張領域を含むことがある。シーケンスパラメータセットの拡張領域は、視点間依存関係を表すインタービュー参照情報を含むことがある。
【００５４】
以下、多視点映像に関する様々な属性情報、例えば、ＮＡＬユニットヘッダの拡張領域に含まれうる属性情報、または、シーケンスパラメータセットの拡張領域に含まれうる属性情報について具体的に説明する。
【００５５】
まず、視点識別情報（view identification information）とは、現在の視点にあるピクチャと他の視点にあるピクチャとを区別するための情報のことをいう。ビデオ映像信号がコーディングされるとき、それぞれのピクチャを識別するためにＰＯＣ（Picture Order Count：ピクチャ表示順序）とframe numが用いられる。多視点ビデオ映像の場合には視点間予測が行われるから、現在の視点にあるピクチャと他の視点にあるピクチャとを区別するための識別情報が必要である。したがって、ピクチャの視点を識別する視点識別情報を定義する必要がある。この視点識別情報は、ビデオ信号のヘッダ領域から取得されてもよい。例えば、ヘッダ領域は、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域であってもよく、スライスヘッダ領域であってもよい。視点識別情報を用いて現在のピクチャと異なる視点にあるピクチャの情報を取得し、この異なる視点にあるピクチャの情報を用いてビデオ信号をデコーディングすることができる。
【００５６】
この視点識別情報は、ビデオ信号のエンコーディング／デコーディング過程全般にわたって適用可能である。例えば、視点識別情報は、視点間依存関係を表すために用いられてもよい。視点間依存関係を表すためには、インタービュー参照ピクチャの個数情報、インタービュー参照ピクチャの視点識別情報などが必要とされうる。インタービュー参照ピクチャの個数情報、インタービュー参照ピクチャの視点識別情報のように、視点間依存関係を表すために用いられる情報を、インタービュー参照情報（inter-view reference information）とする。ここで、インタービュー参照ピクチャの視点識別情報を表すのに視点識別情報が用いられてもよい。ここで、インタービュー参照ピクチャとは、現在のピクチャに対して視点間予測を行うときに用いられる参照ピクチャのことを意味してもよい。また、視点識別情報が、特定の視点識別子を考慮するのではなく視点を考慮するframe numを用いた多視点ビデオコーディングにそのまま適用されてもよい。
【００５７】
インタービューピクチャグループ識別情報（inter-view picture group identification information）とは、現在のＮＡＬユニットのコーディングされたピクチャが、インタービューピクチャグループに含まれるか否かを識別する情報のことをいう。そして、インタービューピクチャグループ（inter-view picture group）とは、全てのスライスが同一時間帯のフレームにあるスライスのみを参照する符号化されたピクチャを意味する。例えば、他の視点にあるスライスのみを参照し、現在の視点にあるスライスは参照しない符号化されたピクチャのことをいう。多視点映像の復号化過程において、視点間のランダムアクセスは可能でありうる。また、視点間予測のためにはインタービュー参照情報が必要とされるが、インタービュー参照情報を取得するとき、インタービューピクチャグループ識別情報が用いられてもよい。例えば、現在のピクチャがインタービューピクチャグループに該当する場合、インタービューピクチャグループに関するインタービュー参照情報を取得することができる。現在のピクチャがノンインタービューピクチャグループに該当する場合、ノンインタービューピクチャグループに関するインタービュー参照情報を取得することができる。これについては図３で詳細に説明する。
【００５８】
このように、インタービューピクチャグループ識別情報に基づいてインタービュー参照情報を取得すると、より効率的に視点間のランダムアクセスを行うことが可能になる。これは、インタービューピクチャグループにおける各ピクチャ間の視点間参照関係が、ノンインタービューピクチャグループにおける視点間参照関係と異なりうるためである。また、インタービューピクチャグループまたはノンインタービューピクチャグループの場合、複数個の視点にあるピクチャを参照することもできるためである。例えば、複数個の視点にあるピクチャから仮想視点のピクチャを生成し、この仮想視点のピクチャを用いて現在のピクチャを予測することができる。また、複数個の視点にある複数個のピクチャを参照して現在のピクチャを予測することもできる。
【００５９】
また、参照ピクチャリストを生成するとき、インタービューピクチャグループ識別情報が用いられてもよい。この場合、参照ピクチャリストは、視点間予測のための参照ピクチャリストを含んでもよい。そして、視点間予測のための参照ピクチャリストは、参照ピクチャリストに追加されてもよい。例えば、参照ピクチャリストを初期化する場合や参照ピクチャリストを修正する場合に、インタービューピクチャグループ識別情報が用いられてもよい。そして、追加された視点間予測のための参照ピクチャを管理するために用いられてもよい。例えば、参照ピクチャをインタービューピクチャグループとノンインタービューピクチャグループとに分けて、視点間予測を行うときに用いられない参照ピクチャは使用しないというマーキングをすることができる。また、インタービューピクチャグループ識別情報は、仮想参照デコーダ（hypothetical reference decoder）で適用されてもよい。
【００６０】
インタービュー予測フラグ情報（inter-view prediction flag information）とは、現在のＮＡＬユニットのコーディングされたピクチャが視点間予測のために用いられるか否かを表す情報のことをいう。インタービュー予測フラグ情報は、時間予測または視点間予測が行われる部分において有用である。この場合、ＮＡＬユニットが参照ピクチャのスライスを含んでいるか否かを表す識別情報と一緒に用いられてもよい。例えば、識別情報によると現在のＮＡＬユニットが参照ピクチャのスライスを含んではいないが、視点間予測のために用いられる場合、現在のＮＡＬユニットは視点間予測にのみ用いられる参照ピクチャでありうる。または、識別情報によると現在のＮＡＬユニットが参照ピクチャのスライスを含んでおり、視点間予測のために用いられる場合、現在のＮＡＬユニットは時間予測と視点間予測のために用いることができる。また、識別情報によるとＮＡＬユニットが参照ピクチャのスライスを含まない場合も、復号ピクチャバッファに保存されてもよい。なぜなら、インタービュー予測フラグ情報によると現在のＮＡＬユニットのコーディングされたピクチャが視点間予測のために用いられる場合、保存する必要があるためである。
【００６１】
フラグ情報と識別情報の両方を用いる場合の他に、一つの識別情報により、現在のＮＡＬユニットのコーディングされたピクチャが時間予測および／または視点間予測のために用いられるか否かを表すこともできる。
【００６２】
また、インタービュー予測フラグ情報は、シングルループデコーディング過程で用いてもよい。インタービュー予測フラグ情報によって現在のＮＡＬユニットのコーディングされたピクチャが、視点間予測のために用いられない場合、部分的にデコーディングを行うことができる。例えば、イントラマクロブロックは完全にデコーディングを行い、インターマクロブロックは、残差情報のみをデコーディングすることができる。これにより、デコーディング装置の複雑度を減少させることができる。これは、ユーザが全ての視点の映像を見ずにある特定視点の映像のみを見るとき、他の視点では特別に動き補償を行って映像を復元する必要がない場合に有効でありうる。
【００６３】
本発明の一実施例として、図３を用いて説明する。
【００６４】
例えば、図３の一部分を参照すると、コーディングする順序は、Ｓ０、Ｓ２、Ｓ１になりうる。現在コーディングしようとするピクチャを、視点Ｓ１の時間帯Ｔ２にあるピクチャＢ3とする。このとき、視点間予測のために視点Ｓ０の時間帯Ｔ２にあるピクチャＢ2と、視点Ｓ２の時間帯Ｔ２にあるピクチャＢ2を利用できる。もし、視点Ｓ０の時間帯Ｔ２にあるピクチャＢ2が視点間予測に用いられるとすれば、インタービュー予測フラグ情報が１にセットされ、もし、視点間予測に利用されないとすれば０にセットされてもよい。このとき、視点Ｓ０にある全てのスライスのインタービュー予測フラグ情報が０になるとすれば、視点Ｓ０における全てのスライスをデコーディングする必要がなく、よって、コーディング効率を上げることができる。
【００６５】
他の例として、もし、視点Ｓ０にある全てのスライスのインタービュー予測フラグ情報が０ではないとすれば、すなわち、一つでも１にセットされた場合、０にセットされたスライスも必ずデコーディングしなければならない。もし、視点Ｓ０の時間帯Ｔ２にあるピクチャＢ2が現在のピクチャのデコーディングに用いられないから、インタービュー予測フラグ情報を０にセットしてデコーディングを行わないとすれば、視点Ｓ０にあるスライスをデコーディングするとき、視点Ｓ０の時間帯Ｔ２にあるピクチャＢ2を参照ピクチャとして使用する、視点Ｓ０の時間帯Ｔ１にあるピクチャＢ3と視点Ｓ０の時間帯Ｔ３にあるピクチャＢ3は復元できないためである。したがって、インタービュー予測フラグ情報にかかわらずに必ず復元しなければならない。
【００６６】
さらに他の例として、インタービュー予測フラグ情報は、復号ピクチャバッファ（Decoded Picture Buffer：DPB）に用いてもよい。もし、インタービュー予測フラグ情報がないとすれば、復号ピクチャバッファに無条件で視点Ｓ０の時間帯Ｔ２にあるピクチャＢ2などを保存しておかなければならない。しかし、インタービュー予測フラグ情報が０ということがわかると、視点Ｓ０の時間帯Ｔ２にあるピクチャＢ2は、復号ピクチャバッファに保存しなくてもよく、したがって、復号ピクチャバッファのメモリを節約することができる。
【００６７】
時間レベル情報（temporal level information）とは、ビデオ信号に関して時間スケーラビリティを提供するための階層構造に関する情報のことをいう。この時間レベル情報を用いてユーザに様々な時間帯の映像を提供可能である。
【００６８】
優先順位識別（priority identification）情報とは、ＮＡＬユニットの優先順位を識別する情報のことを意味する。これを用いて視点スケーラビリティを提供できる。例えば、優先順位識別情報を用いて視点レベル情報を定義することができる。ここで、視点レベル情報とは、ビデオ信号に関して視点スケーラビリティを提供するための階層構造に関する情報のことをいう。多視点ビデオ映像では、ユーザに様々な時間および視点の映像を提供するために時間および視点に対するレベルを定義する必要がある。このようにレベル情報を定義する場合、時間および視点に対するスケーラビリティ（scalability）を利用することができる。したがって、ユーザは、所望の時間および視点の映像のみを見ることもでき、他の制限条件による映像のみを見ることもできる。このレベル情報は、その基準の条件にしたがって様々な方法で別々に設定されてもよい。例えば、カメラの位置によって別々に設定されてもよく、カメラの配列形態によって別々に設定されてもよい。また、レベル情報は、インタービュー参照情報を考慮して決定されてもよく、例えば、インタービューピクチャグループがＩピクチャである視点には、レベルを０とし、インタービューピクチャグループがＰピクチャである視点には、レベルを１とし、インタービューピクチャグループがＢピクチャである視点には、レベルを２とする。このように、レベル値を優先順位情報に割り当てることもできる。また、レベル情報は、特別な基準によらず、ランダムに設定されてもよい。
【００６９】
図３は、インタービューピクチャグループの概念を説明するための、本発明の実施例による多視点映像信号の予測構造全体を示す図である。
【００７０】
図３に示すように、横軸のＴ０〜Ｔ１００はそれぞれ、時間によるフレームを表し、縦軸のＳ０〜Ｓ７はそれぞれ、視点によるフレームを表す。例えば、Ｔ０にあるピクチャは、同じ時間帯（Ｔ０）にそれぞれ異なるカメラで撮った映像を意味し、Ｓ０にあるピクチャは、１台のカメラで撮った異なる時間帯の映像を意味する。また、図中の矢印は、各ピクチャの予測方向と順序を表すもので、例えば、時間帯Ｔ０の視点Ｓ２にあるピクチャＰ0は、Ｉ0から予測されたピクチャであり、これは、時間帯Ｔ０の視点Ｓ４にあるピクチャＰ0の参照ピクチャとなる。また、視点Ｓ２の時間帯Ｔ４、Ｔ２にあるピクチャＢ1、Ｂ2の参照ピクチャとなる。
【００７１】
多視点映像の復号化過程において、視点間のランダムアクセスが必要とされうる。したがって、復号処理の負荷を最小にしながら任意の視点へのアクセスを可能にしなければならない。ここで、効率的なランダムアクセスを実現するためにインタービューピクチャグループの概念が必要とされうる。インタービューピクチャグループの定義は、図２で説明した通りである。例えば、図３で、時間帯Ｔ０の視点Ｓ０にあるピクチャＩ0が１つのインタービューピクチャグループに該当する場合、同じ時間帯にある、すなわち、時間帯Ｔ０の他の視点にある全てのピクチャも同様にこのインタービューピクチャグループに該当することがある。他の例として、時間帯Ｔ８の視点Ｓ０にあるピクチャＩ0が１つのインタービューピクチャグループに該当する場合、同じ時間帯にある、すなわち、時間帯Ｔ８の他の視点にある全てのピクチャも同様、このインタービューピクチャグループに該当することがある。同様に、Ｔ１６，…，Ｔ９６、Ｔ１００にある全てのピクチャがインタービューピクチャグループの例になりうる。
【００７２】
他の実施例によれば、ＭＶＣの予測構造全体において、ＧＯＰはＩピクチャから始まることができ、このＩピクチャは、Ｈ．２６４／ＡＶＣと互換である。したがって、Ｈ．２６４／ＡＶＣと互換である全てのインタービューピクチャグループは、常にＩピクチャになりうる。しかし、ＩピクチャをＰピクチャに入れ替えると、より効率的なコーディングが可能となりうる。すなわち、ＧＯＰがＨ．２６４／ＡＶＣと互換であるＰピクチャから始まるようにした予測構造を用いる場合、より効率的なコーディングが可能となりうる。この場合、インタービューピクチャグループを再定義すると、全てのスライスが同一時間帯のフレームにあるスライスだけでなく、同一視点の異なる時間帯にあるスライスも参照できる符号化されたピクチャとなる。ただし、同一視点の異なる時間帯にあるスライスを参照する場合は、Ｈ．２６４／ＡＶＣと互換であるインタービューピクチャグループに限定されることがある。
【００７３】
インタービューピクチャグループがデコーディングされた後、順次コーディングされた全てのピクチャは、出力順序上インタービューピクチャグループに先行してデコーディングされたピクチャからインター予測（inter-prediction）を行わずにデコーディングされる。
【００７４】
したがって、図３の多視点ビデオ映像のコーディング構造全体を考慮すると、インタービューピクチャグループとノンインタービューピクチャグループのインタービュー参照情報が異なるため、インタービューピクチャグループ識別情報によってインタービューピクチャグループとノンインタービューピクチャグループとを区別する必要がある。
【００７５】
インタービュー参照情報とは、視点間映像がいかなる構造で予測されたかを知らせる情報のことをいう。これはビデオ信号のデータ領域から取得できるもので、例えば、シーケンスパラメータセット領域から取得されてもよい。また、インタービュー参照情報は、参照ピクチャの個数と参照ピクチャの視点情報を用いて取得することができる。例えば、まず、視点の全個数を取得し、この視点の全個数に基づいて各視点を区別する視点識別情報を取得できる。そして、視点ごとに参照方向に対する参照ピクチャの個数を表すインタービュー参照ピクチャの個数情報を取得できる。インタービュー参照ピクチャの個数情報によって各インタービュー参照ピクチャの視点識別情報を取得することができる。
【００７６】
この方式を通じてインタービュー参照情報が取得されてもよく、インタービュー参照情報は、インタービューピクチャグループの場合とノンインタービューピクチャグループの場合とに分けて取得されてもよい。これは、現在のＮＡＬにあるコーディングされたスライスがインタービューピクチャグループに該当するか否かを表すインタービューピクチャグループ識別情報からわかる。このインタービューピクチャグループ識別情報は、ＮＡＬヘッダの拡張領域から取得されるか、または、スライスレイヤ領域から取得されてもよい。
【００７７】
また、インタービューピクチャグループ識別情報によって取得されたインタービュー参照情報は、参照ピクチャリストの生成および管理などに用いられてもよい。
【００７８】
以下では、ビデオ信号の効率的なデコーディング方法を提供するための様々な実施例について説明する。
【００７９】
図４は、本発明の一実施例による、モーションスキップの有無によって動き補償を行う方法を説明するための図である。
【００８０】
インター予測部７００では、エントロピデコーディング部２００から伝送された情報を用いて現在のブロックの動きを補償する。ビデオ信号から現在のブロックに隣り合うブロックの動きベクトルを抽出し、現在のブロックの動きベクトル予測値を取得する。取得された動きベクトル予測値とビデオ信号から抽出される差分ベクトルを用いて現在のブロックの動きを補償する。また、この動き補償は、一つの参照ピクチャを用いて行うこともでき、複数のピクチャを用いて行うこともできる。多視点ビデオコーディングにおいて、現在のピクチャが他の視点にあるピクチャを参照する場合、復号ピクチャバッファ部６００に保存されている視点間予測のための参照ピクチャリストに関する情報を用いて、動き補償を行うことができる。また、そのピクチャの視点を識別する視点情報を用いて動き補償を行うことができる。
【００８１】
また、直接予測モード（direct prediction mode）は、符号化済みブロックの動き情報から現在のブロックの動き情報を予測する符号化モードである。この方法は、動き情報を符号化するときに必要なビット数が節約されるため、圧縮効率を向上させることができる。例えば、時間直接モード（temporal direct mode）は、時間方向の動き情報相関度を用いて、現在のブロックの動き情報を予測する。時間直接モードは、それぞれ異なる動きを含んでいる映像においてその動きの速度が一定の場合に有効である。この時間直接モードが多視点ビデオコーディングで用いられる場合、視点間の動きベクトルを考慮しなければならない。
【００８２】
直接予測モードの他の例として、空間直接モード（spatial direct mode）は、空間方向の動き情報相関度を用いて、現在のブロックの動き情報を予測する。空間直接モードは、それぞれ同一の動きを含んでいる映像においてその動きの速度が変わるときに有効である。現在のピクチャの逆方向参照ピクチャリスト（List 1）で最も小さい参照インデックスを持つ参照ピクチャにおいて、現在のブロックと同じ位置（co-located）にあるブロックの動き情報を用いて現在のブロックの動き情報を予測できる。しかし、多視点ビデオコーディングでは、参照ピクチャが現在のピクチャと異なる視点上に存在することがある。したがって、この場合、空間直接モードの適用において様々な実施例を用いることができる。
【００８３】
次に、本発明の実施例として、モーションスキップの有無によって動き補償を行う実施例について説明する。
【００８４】
モーションスキップ判別部７１０では、現在のブロックの動き情報を求めるか否かを判別する。例えば、モーションスキップを行うか否かを表すフラグ情報（以下、モーションスキップフラグ情報という）を用いることができる。モーションスキップフラグ情報は階層的に設定されてもよい。例えば、シーケンスレベル、視点レベル、ＧＯＰ（Group Of Picture）レベル、ピクチャレベル、スライスレベルまたはマクロブロックレベル、サブブロックレベルのうち、少なくとも一つのレベルで設定されてもよい。
【００８５】
モーションスキップフラグ情報が１の場合、モーションスキップを行う。すなわち、現在のブロックの動き情報を参照ブロックの動き情報から求めることができる。一方、モーションスキップフラグ情報が０の場合は、モーションスキップを行うことなく伝送されてきた動き情報を取得する。ここで、動き情報には、動きベクトル、参照インデックス、ブロックタイプ、パーティション情報などが含まれてもよい。
【００８６】
具体例として、スライスヘッダから第１フラグ情報（motion skip enable flag）を取得することができる。このとき、第１フラグ情報は、現在のスライスがモーションスキップを用いるか否かを表すことができる。例えば、第１フラグ情報が１であれば、現在のスライスはモーションスキップを用い、第１フラグ情報が０であれば、現在のスライスはモーションスキップを用いない。第１フラグ情報が存在しない場合、第１フラグ情報は０であるとしてもよい。
【００８７】
また、マクロブロックレイヤから第２フラグ情報（motion skip flag）を取得することができる。このとき、第２フラグ情報は、現在のブロックの動き情報を求めるか否かを表すことができる。例えば、第１フラグ情報によって現在のスライスでモーションスキップを用いる場合、マクロブロックレイヤから、モーションスキップを用いるか否かを表す第２フラグ情報を再び取得することができる。例えば、第２フラグ情報が１であれば、現在のマクロブロックの動き情報は、他の視点にある参照ブロックから求めることができる。第２フラグ情報が０であれば、現在のマクロブロックの動き情報は、他の視点にある参照ブロックから求めることができない。第２フラグ情報が存在しない場合、第２フラグ情報は０であるとしてもよい。このように、モーションスキップフラグ情報は、２以上のレベルで階層的に設定することによって、モーションスキップを行うか否かを階層的に制御することができる。または、一つのレベルで独立して設定することもできる。
【００８８】
他の実施例として、モーションスキップフラグ情報を取得するためには一定の要件が必要となりうる。
【００８９】
第一の例として、モーションスキップフラグ情報は、インタービューピクチャグループ識別情報に基づいて取得することができる。インタービューピクチャグループ識別情報は、図２で詳細に説明した通りである。ここで、モーションスキップフラグ情報は、第１フラグ情報および／または第２フラグ情報を含むことがある。または、他の階層で定義された他のフラグ情報を含んでもよい。インタービューピクチャグループ識別情報によって現在のピクチャがノンインタービューピクチャグループに該当する場合、モーションスキップフラグ情報を取得することができる。
【００９０】
第二の例として、モーションスキップフラグ情報は、インタービュー参照情報に基づいて取得することができる。インタービュー参照情報は、図２で詳細に説明した通りである。ここで、モーションスキップフラグ情報は、第１フラグ情報および／または第２フラグ情報を含むことがある。例えば、モーションスキップフラグ情報は、インタービュー参照関係が存在する場合に取得できる。インタービュー参照関係は、例えば、ノンインタービューピクチャグループのインタービュー参照関係を意味してもよい。具体例として、ノンインタービューピクチャグループのインタービュー参照ピクチャの個数情報に基づいてモーションスキップフラグ情報を取得できる。ノンインタービューピクチャグループのＬ０方向に対するインタービュー参照ピクチャの個数が０よりも大きい場合、モーションスキップフラグ情報を取得できる。または、ノンインタービューピクチャグループのＬ１方向に対するインタービュー参照ピクチャの個数が０よりも大きい場合、モーションスキップフラグ情報を取得できる。
【００９１】
または、モーションスキップフラグ情報は、インタービューピクチャグループのインタービュー参照関係が存在する場合に取得されるように設定することができる。または、インタービューピクチャグループであるか否かに関係なくモーションスキップフラグ情報が取得されるように設定することもできる。
【００９２】
第三の例として、モーションスキップフラグ情報は、インタービューピクチャグループ識別情報とインタービュー参照情報に基づいて取得することができる。ここで、モーションスキップフラグ情報は、第１フラグ情報および／または第２フラグ情報を含むことがある。例えば、現在のピクチャがインタービューピクチャグループでなく、ノンインタービューピクチャグループのＬ０および／またはＬ１方向に対するインタービュー参照ピクチャの個数が０よりも大きい場合、モーションスキップフラグ情報を取得できる。
【００９３】
また、モーションスキップフラグ情報は他のモーションスキップフラグ情報に基づいて取得することができる。例えば、第２フラグ情報は、第１フラグ情報に基づいて取得することができる。すなわち、第１フラグ情報（motion skip enable flag）によって現在のスライスがモーションスキップを行う場合に、第２フラグ情報（motion skip flag）を取得できる。または、第２フラグ情報は、現在のピクチャがインタービューピクチャでなく、現在のスライスがモーションスキップを行う場合に取得することができる。
【００９４】
第四の例として、モーションスキップフラグ情報を、現在の視点が基準視点であるか否かに基づいて取得することができる。ここで、基準視点とは、他の視点とは独立してコーディング可能な視点のことを意味してもよい。または、既存のデコーダ（例えば、Ｈ.２６４／ＡＶＣ、ＭＰＥＧ−２、ＭＰＥＧ−４等）との互換性のための少なくとも一つの視点を意味してもよい。基準視点は、多視点のうち符号化の基準になることもあり、または、他の視点の予測のための参照視点（reference view）に該当することもある。基準視点に該当する映像は、映像コーデック方式（ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ.２６Ｌシリーズ等）により符号化され、独立したビットストリームとして形成されてもよい。基準視点に該当するシーケンスは、Ｈ.２６４／ＡＶＣと互換であってもよく、互換でなくてもよい。しかし、Ｈ.２６４／ＡＶＣと互換である視点のシーケンスは、基準視点となる。例えば、現在のスライスが基準視点に該当する場合、現在のスライスのモーションスキップフラグ情報はパージングしなくてもよい。すなわち、現在のスライスのモーションスキップフラグ情報は、現在のスライスが基準視点に該当しない場合に取得可能である。
【００９５】
一方、上記の基準視点は様々な方法で定義可能である。第一に、現在コーディングしようとする対象が基準視点に該当するか否かを表すフラグ情報を用いることができる。例えば、base view=1であれば、現在の視点は基準視点に該当し、base view=0であれば、現在の視点は基準視点に該当しないことを意味してもよい。第二に、レベル情報を用いて基準視点を定義することができる。例えば、インタービューピクチャグループがイントラコーディングされた場合、インタービューピクチャグループを含む視点は、最も低いレベルに設定することができる。そして、最も低いレベルを持つ視点を基準視点と定義することができる。第三に、優先順位識別情報（priority identification information）を用いて基準視点を定義することができる。優先順位識別情報は、上述した通りである。例えば、優先順位識別情報が最も低い値を持つ視点を、基準視点と定義することができる。
【００９６】
第五の例として、モーションスキップフラグ情報を、部分デコーディングフラグに基づいて取得することができる。ここで、部分デコーディングフラグは、現在のピクチャがノンインタービューピクチャグループの場合、インタービュー参照ピクチャを完全に復元せずに現在のピクチャをデコーディングできるか否かを表す。例えば、部分デコーディングフラグが１の場合、現在のピクチャは、部分的にデコーディングされたインタービュー参照ピクチャを用いてデコーディングできる。ここで、部分デコーディング（partial decoding）は、残差情報のみをデコーディングする場合を指してもよい。
【００９７】
このようにモーションスキップフラグを取得するのに、上記の各実施例が独立した要件として適用されてもよく、その組合せとして適用されてもよい。また、モーションスキップフラグは、いずれの要件も適用せずに取得することもできる。例えば、モーションスキップフラグは、シーケンスパラメータセット、ピクチャ、スライスヘッダ、マクロブロックレイヤ、および／またはこれらの拡張領域から取得することができる。
【００９８】
モーションスキップ判別部７１０によってモーションスキップを行う場合、対応ブロック探索部７２０では対応ブロックを探索する。動き情報導出部７３０では、対応ブロックの動き情報を用いて現在のブロックの動き情報を求めることができる。このように求められた動き情報を用いて動き補償部７４０では動き補償を行う。一方、モーションスキップ判別部７１０によってモーションスキップを行わない場合は、動き情報取得部７５０で伝送されてきた動き情報を取得する。この取得された動き情報を用いて動き補償部７４０では動き補償を行う。次に、動き補償を行うための具体的な過程について説明する。
【００９９】
図５は、本発明の一実施例による、対応ブロックを見つける方法を説明するための図である。
【０１００】
本発明が適用される一実施例として、第１ドメインブロックの第２ドメインに対するコーディング情報を用いて現在のブロックの第２ドメインに対するコーディング情報を予測することができる。このとき、コーディング情報として、動き情報と一緒にブロック情報も取得できる。例えば、スキップモードとは、現在のブロックよりも先にコーディングされた他のブロックの情報を、現在のブロックの情報として活用することを意味してもよい。このスキップモードを適用する際に、それぞれ異なるドメインに存在する情報を用いることができる。その具体的な実施例について説明すると、下記の通りである。
【０１０１】
第一の例として、時間Ｔａにおける異なる二つの視点映像中の客体（または背景）の相対的な動きの関係は、充分に近い時間Ｔｃｕｒｒでも略同様に維持されると仮定することができる。この場合、時間Ｔａにおける視点方向コーディング情報と時間Ｔｃｕｒｒにおける視点方向コーディング情報とは高い相関関係を有する。同一視点における異なる時間帯にある対応ブロックの動き情報をそのまま用いると、高いコーディング効率を得ることができる。この場合、この方式を利用するか否かを表すモーションスキップ情報を使用することができる。モーションスキップ情報に基づいてモーションスキップが行われる場合、ブロックタイプ、動きベクトル、参照インデックスなどの動き情報を、現在のブロックの対応ブロックから予測できる。したがって、この動き情報のコーディングに所要されるビット量を減らすことができる。
【０１０２】
第二の例として、上記の例と同様に、アルゴリズムが適用される軸である第１ドメインと第２ドメインを入れ替えて同じ方式を適用することができる。すなわち、同一時間Ｔａにおける視点Ｖｎ内の客体（または背景）とそれに隣接する視点Ｖｍ内の客体（または背景）は、類似の動き情報を持つ確率が高い。このとき、同一時間帯の他の視点にある対応ブロックの動き情報をそのまま用いると、高いコーディング効率を得ることができる。この場合、この方式を利用するか否かを表すモーションスキップ情報を用いることができる。
【０１０３】
一方、エンコーダでは、現在のブロックに隣接するブロックの動き情報を用いて、現在のブロックの動き情報を予測し、実際の動きベクトルと予測された動きベクトルとの差値を伝送する。同様に、デコーダでは、現在のマクロブロックが参照するピクチャの参照インデックス（reference index）と隣接ブロックが参照するピクチャの参照インデックスとが同じであるか否かを判別し、それによって動きベクトル予測値を取得することができる。例えば、隣接ブロックのうち、現在のマクロブロックと同じ参照インデックスを持つブロックが一つのみ存在する場合は、その隣接ブロックの動きベクトルをそのまま使用し、それ以外の場合は、隣接ブロックの動きベクトルの中間値（median value）を使用することができる。
【０１０４】
また、多視点ビデオコーディングでは、参照ピクチャが時間軸の他に視点軸にも存在することがある。この特性から、現在のマクロブロックの参照ピクチャインデックスと隣接ブロックの参照ピクチャインデックスが異なる場合、それらの動きベクトルは何らの相関関係も持たない可能性が高い。この場合、動きベクトル予測値の正確さは非常に低下してしまう。したがって、本発明が適用される一実施例として、視点間の相関関係を用いた新しい動きベクトル予測方法を提案する。
【０１０５】
例えば、視点間に生じる動きベクトルは、各客体（object）の深さ（depth）に依存（dependent）することがある。映像の深さが空間的にあまり大きく変化せず、時間軸の変化による映像の動き自体があまり大きくない場合、各マクロブロック位置における深さ自体は大きく変わらない。ここで、深さ（depth）とは、視点間の変位差を示す情報のことを意味してもよい。また、基本的に、カメラ間にグローバル動きベクトルの影響が存在するので、深さが少し変わってもグローバル動きベクトルが深さ変化に比べて十分に大きいと、相関関係（correlation）のない隣接ブロックの時間方向の動きベクトルを用いるより、グローバル動きベクトルを用いる方がより効率的でありうる。
【０１０６】
ここで、グローバル動きベクトル（global motion vector）は、一定領域に共通して適用できる動きベクトルを意味してもよい。例えば、動きベクトルが一部領域（例：マクロブロック、ブロック、ピクセル等）に対応するとすれば、グローバル動きベクトル（global motion vectorまたはglobal disparity vector）は、当該一部領域を含む全体領域に対応する動きベクトルである。例えば、全体領域は一つのスライスに対応することもでき、一つのピクチャに対応することもでき、シーケンス全体に対応することもできる。または、ピクチャ中の一つ以上の客体、背景、または一定領域にそれぞれ対応することもできる。このグローバル動きベクトルは、ピクセル単位または１／４ピクセル単位の値になることもでき、４×４単位、８×８単位、またはマクロブロック単位の値になることもできる。
【０１０７】
本発明が適用される一実施例として、同位置（co-located）ブロックの視点間動き情報を用いて現在のブロックの動きベクトルを予測することができる。ここで、同位置（co-located）ブロックとは、同一ピクチャに存在する現在のブロックに隣接したブロックを意味してもよく、または、異なるピクチャに含まれた現在のブロックと同じ位置に存在するブロックを意味してもよい。例えば、異なる視点にある異なるピクチャである場合は、空間的同位置（spatial co-located）のブロックとすることもでき、同一視点にある異なるピクチャの場合は、時間的同位置（temporal co-located）のブロックとすることもできる。
【０１０８】
多視点ビデオコーディング構造では、一定の時間間隔で視点方向にのみ予測するピクチャを置くことによって、ランダムアクセス（random access）を実現できる。このように視点方向にのみ動き情報を予測する二つのピクチャが復号化されると、時間的にその間にあるピクチャに対して新しい動きベクトル予測方法を適用することができる。例えば、視点方向にのみ予測するピクチャから視点方向の動きベクトルを得ることができ、これを４×４ブロック単位で保存することができる。視点方向にのみ予測する際、照明（illumination）差が極めて大きい場合には、イントラ予測でコーディングされる場合が多く発生する。この場合には動きベクトルを０に設定することができる。しかし、照明差が大きいためにイントラ予測で多くコーディングされると、視点方向の動きベクトルに関する情報がわからないマクロブロックが多く生じることになる。これを補完するために、イントラ予測の場合は、隣接ブロックの動きベクトルを用いて仮想の視点間動きベクトル（inter-view motion vector）を計算することができる。そして、仮想の視点間動きベクトルを、イントラ予測でコーディングされたブロックの動きベクトルとして設定できる。
【０１０９】
このように復号化された２個のピクチャから視点間動き情報を取得した後、それらの間に存在する階層的（hierarchical）Ｂピクチャをコーディングすることができる。このとき、復号化された２個のピクチャは、インタービューピクチャグループに該当することがある。ここで、インタービューピクチャグループは、全てのスライスが同一時間帯のフレームにあるスライスのみを参照する符号化されたピクチャを意味する。例えば、他の視点にあるスライスのみを参照し、現在の視点にあるスライスは参照しない符号化されたピクチャを指す。
【０１１０】
一方、現在のブロックの動きベクトルを予測する方法において、現在のブロックの視点と異なる視点に存在する対応ブロックを探し、この対応ブロックのコーディング情報を用いて現在のブロックのコーディング情報を予測することができる。まず、現在のブロックの視点と異なる視点に存在する対応ブロックを見つける方法について説明する。
【０１１１】
例えば、対応ブロックは、現在のブロックの視点方向の動きベクトルが指すブロックでありうる。ここで、視点方向の動きベクトルは、視点間の変位差を表すベクトルを意味してもよく、または、グローバル動きベクトルを意味してもよい。このグローバル動きベクトルの意味は、上述した通りである。また、グローバル動きベクトルは、現在のブロックと同じ時間上にある隣接視点の対応するブロック位置を指すことができる。図５を参照すると、ピクチャＡ、Ｂは時間Ｔａに、ピクチャＣ、Ｄは時間Ｔｃｕｒｒに、ピクチャＥ、Ｆは時間Ｔｂに存在する。このとき、時間Ｔａ、ＴｂにあるピクチャＡ、Ｂ、Ｅ、Ｆは、インタービューピクチャグループに該当し、時間ＴｃｕｒｒにあるピクチャＣ、Ｄは、ノンインタービューピクチャグループに該当することがある。そして、ピクチャＡ、Ｃ、Ｅは、同じ視点（Ｖｎ）上に存在し、ピクチャＢ、Ｄ、Ｆも同じ視点（Ｖｍ）上に存在する。ピクチャＣが現在復号化しようとするピクチャであり、ピクチャＤの対応マクロブロック（corresponding MB）は、現在のブロック（current MB）の視点方向のグローバル動きベクトルGDVcurrが指すブロックである。このグローバル動きベクトルは、シーケンス単位、スライス単位またはマクロブロック単位で取得できる。このとき、隣接視点に関する情報は、視点間参照関係を表す情報からわかる。
【０１１２】
インタービュー参照関係（inter-view reference relation）を表す情報とは、視点間映像がどのような構造により予測されたかを示す情報のことをいう。これは、ビデオ信号のデータ領域から取得でき、例えば、シーケンスパラメータセット領域から取得できる。また、インタービュー参照情報は、参照ピクチャの個数と参照ピクチャの視点情報を用いて認識できる。例えば、まず、視点の全個数を取得し、この視点の全個数に基づいて各視点を区別する視点情報を認識できる。そして、視点ごとに参照方向に対する参照ピクチャの個数を取得できる。参照ピクチャの個数にしたがって各参照ピクチャの視点情報を取得できる。この方式によりインタービュー参照情報を取得でき、インタービュー参照情報は、インタービューピクチャグループの場合とノンインタービューピクチャグループの場合とに分けて取得することができる。これは、現在のＮＡＬにあるコーディングされたスライスが、インタービューピクチャグループか否かを示すインタービューピクチャグループ識別情報からわかる。
【０１１３】
本発明の実施例として、対応ブロックを見つけるための視点方向の動きベクトルを取得するには、一定の要件がありうる。例えば、グローバル動きベクトルを取得するための要件について述べる。
【０１１４】
第一の例として、グローバル動きベクトルは、インタービューピクチャグループ識別情報に基づいて取得できる。インタービューピクチャグループ識別情報とグローバル動きベクトルの詳細は、上述した通りである。例えば、インタービューピクチャグループ識別情報に基づいて現在のピクチャがインタービューピクチャグループに該当する場合、グローバル動きベクトルを取得できる。ここで、グローバル動きベクトルには、Ｌ０方向および／またはＬ１方向に対するグローバル動きベクトルが含まれてもよい。または、インタービューピクチャグループ識別情報に基づいて現在のピクチャがノンインタービューピクチャグループに該当する場合、グローバル動きベクトルを取得できるように設定することもできる。または、インタービューピクチャグループか否かに関係なく、グローバル動きベクトルを取得するように設定することもできる。
【０１１５】
第二の例として、グローバル動きベクトルは、スライスタイプに基づいて取得することができる。例えば、現在のマクロブロックのスライスタイプがＰスライスまたはＢスライスである場合、グローバル動きベクトルを取得できる。すなわち、現在のマクロブロックのスライスタイプがＰスライスの場合は、Ｌ０方向に対するグローバル動きベクトルを取得できる。現在のマクロブロックのスライスタイプがＢスライスの場合は、Ｌ０およびＬ１方向に対するグローバル動きベクトルを取得できる。
【０１１６】
第三の例として、グローバル動きベクトルは、インタービュー参照情報に基づいて取得することができる。インタービュー参照情報は、図２で詳細に説明した通りである。例えば、グローバル動きベクトルは、インタービュー参照関係が存在する場合に取得できる。ここで、インタービュー参照関係は、例えば、ノンインタービューピクチャグループのインタービュー参照関係を意味してもよい。具体例として、ノンインタービューピクチャグループのインタービュー参照ピクチャの個数情報に基づいてグローバル動きベクトルを取得することができる。ノンインタービューピクチャグループのＬ０方向に対するインタービュー参照ピクチャの個数だけ、Ｌ０方向のグローバル動きベクトルを取得することができる。または、ノンインタービューピクチャグループのＬ１方向に対するインタービュー参照個数だけ、Ｌ１方向のグローバル動きベクトルを取得できる。
【０１１７】
第四の例として、グローバル動きベクトルは、現在の視点が基準視点か否かに基づいて取得することができる。ここで、基準視点とは、他の視点とは独立してコーディング可能な視点を意味してもよい。または、既存のデコーダ（例えば、Ｈ.２６４／ＡＶＣ、ＭＰＥＧ−２、ＭＰＥＧ−４等）との互換性のための少なくとも一つの視点を意味してもよい。基準視点は、多視点のうち、符号化の基準になりうる。または、他の視点の予測のための参照視点（reference view）に該当することがある。基準視点に該当する映像は、映像コーデック方式（ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ.２６Ｌシリーズ等）により符号化され、独立したビットストリームとして形成されてもよい。この基準視点に該当するシーケンスは、Ｈ.２６４／ＡＶＣと互換でもよく、互換でなくてもよい。しかし、Ｈ.２６４／ＡＶＣと互換である視点のシーケンスは、基準視点となる。例えば、現在のスライスが基準視点に該当する場合、現在のスライスのグローバル動きベクトルはパージングしなくてもよい。すなわち、現在のスライスのグローバル動きベクトルは、現在のスライスが基準視点に該当しない場合に取得することができる。
【０１１８】
一方、基準視点は、様々な方法で定義することができる。第一に、現在コーディングしようとする対象が基準視点に該当するか否かを表すフラグ情報を利用できる。例えば、base view=1であれば、現在の視点は基準視点に該当し、base view=0であれば、現在の視点は基準視点に該当しないことを意味してもよい。第二に、レベル情報を用いて基準視点を定義することができる。例えば、インタービューピクチャグループがイントラコーディングされた場合、インタービューピクチャグループを含む視点は、最も低いレベルに設定できる。そして、最も低いレベルを持つ視点を基準視点として定義することができる。第三に、優先順位識別情報（priority identification information）を用いて基準視点を定義することができる。優先順位識別情報については、上述した通りである。例えば、優先順位識別情報が最も低い値を持つ視点を基準視点と定義することができる。
【０１１９】
このようにグローバル動きベクトルを取得する際に、上記の各例が独立した要件として適用されてもよく、それらの組合せとして適用されてもよい。
【０１２０】
本発明の他の実施例として、現在のピクチャがノンインタービューピクチャグループの場合、現在のピクチャのグローバル動きベクトルを求める方法について説明する。
【０１２１】
現在のピクチャがノンインタービューピクチャグループの場合、現在のピクチャのグローバル動きベクトルは、インタービューピクチャグループのグローバル動きベクトルから求めることができる。例えば、現在のピクチャのグローバル動きベクトルは、コーディング順序（in coding order）において現在のピクチャよりも先にコーディングされたインタービューピクチャグループのグローバル動きベクトルを用いて求めることができる。このとき、インタービューピクチャグループは、現在のピクチャよりも先にコーディングされたインタービューピクチャグループのうち、最後にコーディングされたインタービューピクチャグループとすることができる。しかし、最後にコーディングされたインタービューピクチャグループが利用不可能な場合は、この最後にコーディングされたインタービューピクチャグループよりも先にコーディングされたインタービューピクチャグループのグローバル動きベクトルを用いることができる。具体例として、図５の視点ＶｎにあるピクチャＡ、Ｃ、Ｅのコーディング順序をＡ、Ｅ、Ｃとしよう。そして、ピクチャＡ、Ｅはインタービューピクチャグループであり、ピクチャＣはノンインタービューピクチャグループとしよう。この場合、現在のピクチャＣのグローバル動きベクトルは、最後にコーディングされたインタービューピクチャグループであるピクチャＥのグローバル動きベクトルから求めることができる。すなわち、下記の数式（１）の通りである。
【０１２２】
GDVcurr = GDVB      （１）
【０１２３】
しかし、ＧＤＶBが利用不可能な場合は、ピクチャＡのグローバル動きベクトルを用いることができる。すなわち、下記の数式（２）の通りである。
【０１２４】
GDVcurr = GDVA      （２）
【０１２５】
そして、現在のピクチャのグローバル動きベクトルは、現在のピクチャが参照する視点の個数だけ取得されてもよい。このとき、参照する視点の個数は、インタービュー参照情報からわかる。そして、インタービュー参照情報は、シーケンスパラメータセットの拡張領域から取得することができる。例えば、参照する視点の個数は、ノンインタービューピクチャグループのインタービュー参照ピクチャの個数を意味してもよい。これは、Ｌｉｓｔ ０および／またはＬｉｓｔ １方向に適用されてもよい。
【０１２６】
そして、現在のピクチャが参照する視点も、インタービュー参照情報から取得できる。例えば、参照視点の視点識別情報は、ノンインタービューピクチャグループに対するインタービュー参照ピクチャの視点識別情報を意味してもよい。これは、Ｌｉｓｔ ０および／またはＬｉｓｔ １方向に適用されてもよい。
【０１２７】
本発明の他の実施例として、現在のピクチャがノンインタービューピクチャグループの場合、現在のピクチャのグローバル動きベクトルは、インタービューピクチャグループのグローバル動きベクトルと時間（または空間）距離を表す情報とを一緒に用いることによって取得することができる。例えば、図５を参照すると、ピクチャＡのグローバル動きベクトルをＧＤＶAとし、ピクチャＥのグローバル動きベクトルをＧＤＶBとすれば、ノンインタービューピクチャグループである現在のピクチャＣのグローバル動きベクトルは、インタービューピクチャグループであるピクチャＡ、Ｅのグローバル動きベクトルと時間距離情報を用いて取得できる。例えば、時間距離情報は、ピクチャ出力順序を表すＰＯＣ（Picture Order Count：ピクチャ表示順序）とすることができる。したがって、現在のピクチャのグローバル動きベクトルは、下記の数式（３）によって求めることができる。
【０１２８】
【数１】
2010525724.tif 000003
【０１２９】
数式（３）を参照すると、現在のピクチャＣと、用いられるインタービューピクチャグループＡ、Ｅとの時間距離を用いて現在のブロックのグローバル動きベクトルを計算できる。
【０１３０】
このように取得されたグローバル動きベクトルを用いて、現在のブロックが参照する対応ブロックを見つける。そして、この対応ブロックを用いて現在のブロックのコーディング情報を予測できる。しかし、グローバル動きベクトルは、適用される領域によって正確さが落ちる場合がある。したがって、より細かく対応ブロックを見つける必要がある。以下、図６では、付加情報を用いてより正確に対応ブロックを見つける方法について説明する。
【０１３１】
図６は、本発明の一実施例による、付加情報を用いて対応ブロックを見つける方法を説明するための図である。
【０１３２】
現在のブロックの動きベクトルを予測する方法において、現在のブロックの視点と異なる視点に存在する対応ブロックを探し出し、対応ブロックのコーディング情報を用いて現在のブロックのコーディング情報を予測できる。対応ブロックは、現在のブロックの視点方向の動きベクトルが指すブロックであり、視点方向の動きベクトルは、グローバル動きベクトルを意味してもよい。グローバル動きベクトルの意味については上述した通りである。ここで、付加情報を用いて現在のブロックと最も類似するブロックを見つけると、よりコーディング効率を上げることができる。
【０１３３】
本発明の実施例として、動きベクトルの正確さを向上させる方法について説明する。例えば、付加情報を用いて動きベクトルの正確さを高めることができる。付加情報は、オフセット情報を含むことがある。例えば、オフセット情報は、現在のブロックのグローバル動きベクトルが指す対応ブロックＭＢ１と、動き情報を含む実際の参照ブロックＭＢ２との位置の差を表す第１オフセット情報offset Xを含むことがある。このとき、対応ブロックＭＢ１と参照ブロックＭＢ２は、１６×１６マクロブロックでありうる。そして、第１オフセット情報offset Xは、モーションスキップが行われる場合にマクロブロックレイヤから取得できる。次に、第１オフセット情報offset Xを用いて、参照ブロックＭＢ２を指す動きベクトルを求める過程について説明する。
【０１３４】
まず、現在のブロックのグローバル動きベクトルが指す位置Ｐ１と、位置Ｐ１を含むマクロブロックＭＢ１の位置Ｐ２との差を表す第２オフセット情報offset Yを求めることができる。ここで、第２オフセット情報offset Yは、変数を意味してもよい。例えば、第２オフセット情報offset Yは、現在のブロックのグローバル動きベクトルが指す位置Ｐ１値に基づいて求めることができる。具体例として、現在のブロックのグローバル動きベクトルが指す位置Ｐ１（ｘ，ｙ）の水平、垂直成分値をそれぞれ２で割った余りの値が（０，０）なら、第２オフセット情報offset Yは（０，０）にセットされる。そして、（０，１）なら（０，１）に、（１，０）なら（１，０）に、（１，１）なら（１，１）に、それぞれセットされてもよい。
【０１３５】
第１オフセット情報offset Xと第２オフセット情報offset Yを用いて、現在のブロックのグローバル動きベクトルが指す位置Ｐ１と参照ブロックＭＢ２の位置Ｐ３との間の差を表す第３オフセット情報offset Zを求めることができる。これは、下記の数式（４）の通りである。
【０１３６】
offset Z[0] = offset X[0] - offset Y[0]
offset Z[1] = offset X[1] - offset Y[1]      （４）
【０１３７】
ここで、０と１はそれぞれ、水平方向と垂直方向を表すことができる。
【０１３８】
一方、現在のブロックのグローバル動きベクトルＧＤＶは、ビットストリームを通して伝送されてもよい。したがって、伝送されたグローバル動きベクトルＧＤＶおよび求められた第３オフセット情報offset Zを用いて、修正された動きベクトルを求めることができる。例えば、修正された動きベクトルとは、参照ブロックＭＢ２を指す動きベクトルaccGDVを表すことができる。ここで、参照ブロックＭＢ２は、エンコーダで全てのブロックの歪み率（rate-distortion）を計算した結果のうち、最適の歪み率を有するブロックを意味してもよい。すなわち、現在のブロックと最も類似するブロックを意味してもよい。修正された動きベクトルは、下記の数式（５）のように求めることができる。
【０１３９】
accGDV[0] = GDV[0] + offset Z[0]
accGDV[1] = GDV[1] + offset Z[1]      （５）
【０１４０】
修正された動きベクトルaccGDVを用いて、参照ブロックＭＢ２の位置情報を求めることができる。例えば、修正された動きベクトルが指す位置Ｐ３（ｘ，ｙ）の水平、垂直成分値をそれぞれ２で割った余りの値が（０，０）なら、モード０とすることができる。ここで、モード０は、参照ブロックＭＢ２の位置が８×８単位で４等分された１６×１６マクロブロックのうち、左上端の８×８ブロックの位置を表すことを意味してもよい。そして、修正された動きベクトルが指す位置Ｐ３（ｘ，ｙ）の水平、垂直成分値をそれぞれ２で割った余りの値が（１，０）なら、モード１とすることができる。ここで、モード１は、参照ブロックＭＢ２の位置が８×８単位で４等分された１６×１６マクロブロックのうち、右上端の８×８ブロックの位置を表すことを意味してもよい。同じ方式で、余りの値が（０，１）ならモード２、（１，１）ならモード３とすることができる。そして、モード２は、左下端の８×８ブロックの位置を表し、モード３は右下端の８×８ブロックの位置を表すことができる。
【０１４１】
このように、参照ブロックＭＢ２の位置情報が求められ、参照ブロックＭＢ２の位置情報によって現在のブロックの動き情報を求めることができる。ここで、動き情報とは、動きベクトル、参照インデックス（reference index）およびブロックタイプなどを含むことがある。
【０１４２】
図７は、本発明の一実施例による、一つ以上の参照視点が用いられうる場合にモーションスキップを行う方法を説明するための図である。
【０１４３】
参照視点に関する情報は、エンコーダからビットストリームを通じて伝送する明示的な方式もあり、デコーダから任意に決定される黙示的な方式もありうる。以下、明示的な方式および黙示的な方式について説明する。
【０１４４】
参照視点リストに含まれている視点の中でどの視点を参照視点とするかに関する情報、すなわち、参照視点の視点識別情報を明示的に伝送することができる。ここで、参照視点リストは、視点間参照関係に基づいて生成される参照視点のリストを意味してもよい。
【０１４５】
例えば、参照視点リストに属する視点のうち、現在の視点と最も近い視点から参照視点になりうるか否かをチェックするように設定されている場合は、参照視点の視点識別情報を明示的に伝送する必要はない。しかし、この場合でも、Ｌ０およびＬ１方向の参照視点リストが存在しうるため、これらの参照視点リストのうちどのリストからチェックするかを示すフラグ情報を明示的に伝送することができる。例えば、フラグ情報によってＬ０方向の参照視点リストをまずチェックするか、それとも、Ｌ１方向の参照視点リストをまずチェックするかを判断できる。
【０１４６】
他の例として、モーションスキップのために用いられる参照視点の個数情報を明示的に伝送することができる。このとき、参照視点の個数情報は、シーケンスパラメータセットから取得することができる。また、エンコーダで計算された最も効率の良い複数個のグローバル動きベクトルを明示的に伝送することもできる。このとき、複数個のグローバル動きベクトルは、ノンインタービューピクチャグループのスライスヘッダから取得することができる。このように伝送された複数個のグローバル動きベクトルを順次適用することができる。例えば、最も効率の良いグローバル動きベクトルが指すブロックが、イントラモードでコーディングされている、または、利用不可能な場合は、２番目に効率の良いグローバル動きベクトルが指すブロックをチェックすることができる。同じ方式で、明示的に伝送された複数個のグローバル動きベクトルが指すブロックを全てチェックすることができる。
【０１４７】
他の例として、シーケンスでモーションスキップモードを適用するか否かを示すフラグ情報を定義することができる。例えば、motion skip flag seqが１であれば、モーションスキップモードをシーケンスにおいて適用することができる。motion skip flag seqが０であれば、モーションスキップモードはシーケンスにおいて適用されない。この場合は、スライスまたはマクロブロックレベルでモーションスキップモードが適用されるか否かを再確認することができる。
【０１４８】
フラグ情報によってシーケンスにおいてモーションスキップモードが適用される場合、モーションスキップモードで用いられる参照視点の全個数を定義することができる。例えば、num of views minus1 for msは、モーションスキップモードで用いられる参照視点の全個数を意味してもよく、num of views minus1 for msはシーケンスパラメータセットの拡張領域から取得することができる。この参照視点の全個数だけグローバル動きベクトルを取得することができる。このとき、グローバル動きベクトルは、スライスヘッダから取得することができる。また、グローバル動きベクトルは、現在のスライスがノンインタービューピクチャグループに該当する場合にのみ取得することができる。このように取得した複数個のグローバル動きベクトルは、上記の方式と同様に順次適用することができる。
【０１４９】
他の例として、グローバル動きベクトルは、参照視点の個数に基づいてシーケンスパラメータセットの拡張領域から取得することができる。例えば、グローバル動きベクトルは、Ｌ０方向に対するグローバル動きベクトルとＬ１方向に対するグローバル動きベクトルとに分けてそれぞれ取得することができる。このとき、参照視点の個数は、インタービュー参照情報から確認することができ、Ｌ０方向に対する参照視点の個数とＬ１方向に対する参照視点の個数とに分けて取得することができる。この場合、スライス中の全てのブロックは、シーケンスパラメータセットの拡張領域から取得された同じグローバル動きベクトルを用いることとなる。そして、マクロブロックレイヤではそれぞれ異なるグローバル動きベクトルを用いることができる。このとき、グローバル動きベクトルを指示するインデックスは、既にコーディングされたインタービューピクチャグループのグローバル動きベクトルのインデックスと同一でありうる。また、グローバル動きベクトルの視点識別番号は、既にコーディングされたインタービューピクチャグループのグローバル動きベクトルが指す視点識別番号と同一でありうる。
【０１５０】
他の例として、エンコーダで計算された最も効率の良い対応ブロックの視点識別番号を伝送することができる。すなわち、選択された参照視点の視点識別番号は、マクロブロックレベルでコーディングしてもよい。または、選択された参照視点の視点識別番号は、スライスレベルでコーディングしてもよい。または、スライスレベルまたはマクロブロックレベルのいずれかを選択できるフラグ情報を、スライスレベルで定義することができる。例えば、フラグ情報がマクロブロックレベルでの利用を表す場合、参照視点の視点識別番号はマクロブロックレベルでパージングしてもよい。または、フラグ情報がスライスレベルでの利用を表す場合、参照視点の視点識別番号はスライスレベルでパージングし、マクロブロックレベルではパージングしない。
【０１５１】
一方、Ｌ０、Ｌ１方向の参照視点リストに含まれている参照視点のうち、どの視点を参照視点とするかに関する情報が伝送されない場合がある。この場合、各参照視点の対応ブロックに動き情報が存在するか否かをチェックしながら、最終的な参照視点および対応ブロックを決定することができる。Ｌ０、Ｌ１方向の参照視点リストのうち、どの参照視点リストに属する参照視点から優先してチェックするか、その参照視点に動き情報がない場合はその後にどの順序でチェックをするかについて様々な実施例がありうる。
【０１５２】
例えば、特定参照視点リストに属する参照視点間の優先順位において、先ず、Ｌ０方向の参照視点リスト（または、Ｌ１方向の参照視点リスト）に含まれている参照視点のうち、参照視点が指すインデックスが低い順にチェックすることができる。ここで、参照視点を指すインデックスは、エンコーダでビットストリームをコーディングするときに設定された参照視点の一連の番号であり、例えば、シーケンス拡張情報（SPS extension）におけるノンインタービューピクチャグループの参照視点をnon anchor ref l0[i]またはnon anchor ref l1[i]と表現し、ｉが参照視点を指すインデックスでもよい。エンコーダで、現在の視点と近い順に、低いインデックスを与えることができるが、本発明がこれに限定されることはない。もし、インデックス‘ｉ’が０から始まる場合、ｉ＝０の参照視点をチェックし、次にｉ＝１の参照視点を、続いてｉ＝２の参照視点をチェックすることができる。
【０１５３】
図７を参照すると、第１参照リストＲＬ１のうち、参照視点を表すインデックスが最も低い視点（VC-1=non anchor ref l0[0]）を第１参照視点ＲＶ１と決定できる。そして、現在の視点Ｖｃと第１参照視点ＲＶ１との間のグローバル動きベクトルGDV l0[0]が指すブロックを、第１対応ブロックＣＢ１と決定できる。もし、第１対応ブロックＣＢ１がイントラブロックでない場合、第１対応ブロックから動き情報を求めることができる。
【０１５４】
一方、第１対応ブロックＣＢ１のブロックタイプがイントラブロックである場合、第２参照リストＲＬ２の中でインデックスの最も低い視点（VC+1=non anchor ref l1[0]）を第２参照視点ＲＶ２と決定できる。そして、現在の視点Ｖｃと第２参照視点ＲＶ２との間のグローバル動きベクトルGDV l1[0]が指すブロックを、第２対応ブロックＣＢ２と決定できる。上記の方式と同様にして、対応ブロックのブロックタイプに基づいて第３参照視点ＲＶ３の第３対応ブロックＣＢ３、第４参照視点ＲＶ４の第４対応ブロックＣＢ４を順次確認することができる。すなわち、参照視点を表すインデックスを考慮して、Ｌ０方向の第１参照リストＲＬ１およびＬ１方向の第２参照リストＲＬ２の各参照視点を交互に確認しながら動き情報が存在するか否かをチェックすることができる。
【０１５５】
他の例として、Ｌ０方向の参照視点リスト（または、Ｌ１方向の参照視点リスト）に含まれている参照視点のうち、現在の視点と近い順に参照視点をチェックできる。
【０１５６】
他の例として、Ｌ０方向の参照視点リスト（または、Ｌ１方向の参照視点リスト）に含まれている参照視点のうち、基準視点（base view）と近い順に参照視点をチェックできる。
【０１５７】
また、Ｌ０方向の参照視点リストとＬ１方向の参照視点リストとの間の優先順位において、Ｌ１方向の参照視点リストよりも、Ｌ０方向の参照視点リストに属する参照視点からチェックすると設定できる。
【０１５８】
図８ａ〜図８ｄは、本発明の一実施例による、一つ以上の参照視点を利用できる場合にモーションスキップに用いられる視点を知らせるための様々な実施例を示す図である。
【０１５９】
第一の例として、モーションスキップに用いられる参照視点の視点識別情報を用いてモーションスキップを行うことができる。エンコーダで全ての場合における歪み率（rate-distortion）を計算し、それに基づいて最も効率の良い対応ブロックを見つけることができる。この対応ブロックの視点識別情報をデコーダに伝送することができる。例えば、図８ａを参照すると、現在のブロックに対してモーションスキップが行われる場合（Ｓ８２０）、対応ブロックの視点識別情報を取得できる（Ｓ８３０）。ここで、対応ブロックの視点識別情報は、現在のブロックに用いられる視点の視点識別子（view identifier）を意味してもよい。また、参照視点の視点識別情報は、現在のピクチャがノンインタービューピクチャグループである場合にのみ取得できる。そして、参照視点の視点識別情報は、インタービュー参照情報に基づいて取得することができる。例えば、参照視点の識別情報は、インタービュー参照関係が存在する場合に取得できる。ここで、インタービュー参照関係は、例えば、ノンインタービューピクチャグループのインタービュー参照関係を意味してもよい。具体例として、ノンインタービューピクチャグループのインタービュー参照ピクチャの個数情報に基づいて、参照視点の視点識別情報を取得することができる。ノンインタービューピクチャグループのＬ０方向に対するインタービュー参照ピクチャの個数が０よりも大きい、または、ノンインタービューピクチャグループのＬ１方向に対するインタービュー参照個数が０よりも大きい場合に、参照視点の視点識別情報を取得することができる（Ｓ８１０）。参照視点の視点識別情報は、シーケンスパラメータセット、シーケンスパラメータセットの拡張領域、スライスヘッダまたはマクロブロックレイヤから取得することができる。
【０１６０】
この取得された視点識別情報と同じ視点識別子を用いてインタービュー予測を行い、現在のピクチャと同じＰＯＣを持つピクチャのマクロブロックから、現在のブロックの動き情報を求めることができる。
【０１６１】
第二の例として、モーションスキップに用いられる参照スライスの参照インデックス（reference index）を用いてモーションスキップを行うことができる。エンコーダで全ての場合における歪み率（rate-distortion）を計算し、それに基づいて最も効率の良いピクチャ（またはスライス）順に参照インデックスを割り当てることができる。この参照インデックスをデコーダに伝送することができる。例えば、図８ｂを参照すると、現在のブロックに対してモーションスキップが行われる場合（Ｓ８５０）、現在のブロックを含むスライスの参照インデックスを取得することができる（Ｓ８６０）。ここで、参照インデックスは、現在のブロックのモーションスキップに用いられるスライスの参照インデックスを意味してもよい。また、参照インデックスは、現在のピクチャがノンインタービューピクチャグループである場合にのみ取得できる。そして、参照インデックスは、インタービュー参照情報に基づいて取得することができる。例えば、参照インデックスは、インタービュー参照関係が存在する場合に取得することができる。ここで、インタービュー参照関係は、例えば、ノンインタービューピクチャグループのインタービュー参照関係を意味してもよい。具体例として、ノンインタービューピクチャグループのインタービュー参照ピクチャの個数情報に基づいて参照インデックスを取得することができる。ノンインタービューピクチャグループのＬ０方向に対するインタービュー参照ピクチャの個数が０よりも大きい、または、ノンインタービューピクチャグループのＬ１方向に対するインタービュー参照個数が０よりも大きい場合に参照インデックスを取得することができる（Ｓ８４０）。この参照インデックスは、シーケンスパラメータセット、シーケンスパラメータセットの拡張領域、スライスヘッダまたはマクロブロックレイヤから取得することができる。
【０１６２】
参照インデックスが指す参照ピクチャ（またはスライス）の視点識別情報と同じ視点識別子を用いてインタービュー予測を行い、現在のピクチャと同じＰＯＣを持つピクチャのマクロブロックから現在のブロックの動き情報を求めることができる。
【０１６３】
第三の例として、モーションスキップに用いられる視点の視点インデックス（view index）を用いてモーションスキップを行うことができる。エンコーダで全ての場合における歪み率（rate-distortion）を計算し、それに基づいて最も効率の良いピクチャ（またはスライス）の視点順に視点インデックスを割り当てることができる。そして、この視点インデックスをデコーダに伝送することができる。例えば、図８ｃを参照すると、現在のブロックに対してモーションスキップが行われる場合（Ｓ８８０）、現在のブロックのモーションスキップに用いられる視点の視点インデックスを取得することができる（Ｓ８９０）。また、視点インデックスは、現在のピクチャがノンインタービューピクチャグループである場合にのみ取得可能である。そして、視点インデックスは、インタービュー参照情報に基づいて取得することができる。例えば、視点インデックスは、インタービュー参照関係が存在する場合に取得できる。ここで、インタービュー参照関係は、例えば、ノンインタービューピクチャグループのインタービュー参照関係を意味してもよい。具体例として、ノンインタービューピクチャグループのインタービュー参照ピクチャの個数情報に基づいて視点インデックスを取得することができる。ノンインタービューピクチャグループのＬ０方向に対するインタービュー参照ピクチャの個数が０よりも大きい、または、ノンインタービューピクチャグループのＬ１方向に対するインタービュー参照個数が０よりも大きい場合に視点インデックスを取得することができる（Ｓ８７０）。視点インデックスは、シーケンスパラメータセット、シーケンスパラメータセットの拡張領域、スライスヘッダまたはマクロブロックレイヤから取得することができる。
【０１６４】
視点インデックスを用いてモーションスキップを行うためのグローバル動きベクトルと参照ブロックの視点識別情報を求めることができる。例えば、図８ｄを参照すると、視点インデックスを２で割った余りが０の場合、Ｌ０方向のグローバル動きベクトルとＬ０方向の視点識別情報がモーションスキップのために用いられてもよい。しかし、視点インデックスを２で割った余りが１の場合、Ｌ１方向のグローバル動きベクトルとＬ１方向の視点識別情報がモーションスキップのために用いられてもよい。また、視点インデックスを２で割った商（整数）をグローバル動きベクトルインデックスに割り当て、それに基づいてグローバル動きベクトルと参照ブロックの視点識別情報を求めることができる。
【０１６５】
参照ブロックの視点識別情報と同じ視点でグローバル動きベクトルが指すマクロブロックから、現在のブロックの動き情報を求めることができる。
【０１６６】
図９ａ〜図１０ｂは、本発明の一実施例による、視点間で空間解像度が異なる場合に視点間予測を行う方法を説明するための図である。
【０１６７】
現在の視点と参照視点との空間解像度が異なる場合、視点間予測を行う方法が変わることがある。
【０１６８】
第一の例として、参照ピクチャのサンプリングを用いて視点間予測を行うことができる。例えば、図９ａを参照すると、現在のピクチャよりも参照ピクチャの空間解像度が大きい場合、参照ピクチャをダウンサンプリングし、ダウンサンプリングされた参照ピクチャを用いて視点間予測を行うことができる。または、現在のピクチャよりも参照ピクチャの空間解像度が小さい場合は、参照ピクチャをアップサンプリングし、視点間予測を行うことができる。または、これと同様に、現在のピクチャのサンプリングを用いて視点間予測を行うこともできる。
【０１６９】
第二の例として、エンコーダでサンプリング過程が行われない場合、参照ピクチャの動き情報のスケーリングを用いて視点間予測を行うことができる。例えば、図９ｂを参照すると、現在のピクチャよりも参照ピクチャの空間解像度が大きい場合、参照ブロックの動き情報をスケーリングした後、スケーリングされた動き情報から現在のブロックの動き情報を求めることができる。ここで、動き情報は、動きベクトル、グローバル動きベクトルなどを意味してもよい。これは、現在のピクチャよりも参照ピクチャの空間解像度が小さい場合にも、類似の方式で適用することができる。
【０１７０】
具体例として、現在のピクチャのスケーリング後に参照ピクチャから動き情報を求めることができる。これは、下記の数式（６）で示される。
【０１７１】
[MbX * (W0/W1)] + GDV      （６）
【０１７２】
ここで、ＭｂＸは、現在のブロックの水平位置を表す。これを参照ピクチャの解像度にスケーリングした後、ＧＤＶを加えることによって、対応ブロックの位置を求めることができる。
【０１７３】
例えば、図１０ａを参照すると、現在のマクロブロックの水平位置がそれぞれ０、１、２の場合、数式（６）を用いて対応ブロックの水平位置を計算することができる。それぞれの例は、下記の数式（７）の通りである。
【０１７４】
[MbX * (W0／W1)] + GDV = [0 * (3／2)] + 2 = 2
[MbX * (W0／W1)] + GDV = [1 * (3／2)] + 2 = 3
[MbX * (W0／W1)] + GDV = [2 * (3／2)] + 2 = 5      （７）
【０１７５】
すなわち、現在のマクロブロックの水平位置がそれぞれ０、１、２の場合に、対応ブロックの水平位置は２、３、５となる。
【０１７６】
他の例としてし、参照ピクチャのスケーリング後に現在のピクチャから動き情報を求めることができる。これは、下記の数式（８）の通りである。
【０１７７】
[(MBX + GDV) * (W0／W1)]       （８）
【０１７８】
同様に、ＭＢＸは、現在のブロックの水平位置を表す。現在のブロックの水平位置にＧＤＶを加えた後、参照ピクチャの解像度にスケーリングすることによって、対応ブロックの水平位置を求めることができる。
【０１７９】
例えば、図１０ｂを参照すると、現在のマクロブロックの水平位置がそれぞれ０、１、２の場合、数式（８）を用いて対応ブロックの水平位置を計算することができる。それぞれの例は、下記の数式（９）の通りである。
【０１８０】
[(MBX+GDV) * (W0／W1)] = [(0+1) * (3／2)] = 1
[(MBX+GDV) * (W0／W1)] = [(1+1) * (3／2)] = 3
[(MBX+GDV) * (W0／W1)] = [(2+1) * (3／2)] = 4      （９）
【０１８１】
すなわち、現在のマクロブロックの水平位置がそれぞれ０、１、２の場合に、対応ブロックの水平位置は１、３、４となる。
【０１８２】
上記の方法はいすれも、垂直方向の情報を用いて同じ方式で適用可能である。
【０１８３】
また、上記の例はいずれも、参照視点のピクチャが完全に復元される場合に適用することができる。そして、第二の例は、参照視点のピクチャが部分的に復元される場合にも適用することができる。一方、上記の例はいずれも、モーションスキップが行われる場合にも適用できる。
【０１８４】
図１１は、本発明の一実施例による、モーションスキップが行われる場合に参照インデックスを求める方法を説明するための図である。
【０１８５】
モーションスキップが行われる場合、現在のブロックの動き情報は、対応ブロックの動き情報から求めることができる。このとき、動き情報は、動きベクトル、参照インデックス、ブロックタイプなどを含むことがある。以下では、参照インデックスを求める様々な実施例について説明する。
【０１８６】
視点間予測において、対応ブロックを見つけるためには、視点方向の動きベクトルが必要となりうる。このとき、動きベクトルは、グローバル動きベクトルを含むことがある。図４〜図６で説明したように、グローバル動きベクトルを用いるにあたり、最も効率の良い対応ブロックを見つけるために、より正確なグローバル動きベクトルを用いることができる。例えば、１６ｐｅｌ、８ｐｅｌ、または４ｐｅｌ単位のグローバル動きベクトルを用いることができる。このように、細かい単位のグローバル動きベクトルを用いる場合、対応ブロックの位置が、定められたマクロブロックの位置と一致しないことがある。したがって、この場合、参照インデックスを求める様々な方法がある。
【０１８７】
例えば、図１１を参照すると、グローバル動きベクトルが指す対応ブロックが複数個のマクロブロックと重なり合っている場合、様々な方法で参照インデックスを求めることができる。このとき、重なるマクロブロックの参照インデックスのうち、利用不可能な参照インデックスがある場合は用いなくてもよい。例えば、refidx＞−１の場合にのみ参照インデックスを用いることができる。第一の例として、利用可能な参照インデックスのうち、最も重要な参照インデックスを用いることができる。例えば、最も多く重なり合う領域の参照インデックスを用いることができる。第二の例として、利用可能な参照インデックスのうち、最も小さい参照インデックスを用いることができる。第三の例として、利用可能な参照インデックスのうち、もっとも大きい参照インデックスを用いることができる。
【０１８８】
他の実施例として、重なり合うマクロブロックのうち、イントラコーディングされたパーティションを含む場合、様々な方法で動き情報を求めることができる。例えば、動き情報を求めるときに、イントラコーディングされたパーティションは用いなくてもよい。
【０１８９】
他の実施例として、重なり合うマクロブロックの中にイントラコーディングされたパーティションを含むと、他の視点にある情報を用いることができる。または、イントラコーディングされたパーティションに隣接した８×８マクロブロックから、動き情報を求めることができる。
【０１９０】
図１２は、本発明の一実施例による、視点間予測に用いられる動きベクトルを取得するための様々な方法を説明するための図である。
【０１９１】
上述したように、グローバル動きベクトル（global motion vector）は、一定領域に共通して適用できる動きベクトルを意味してもよい。例えば、動きベクトルが一部領域（例：マクロブロック、ブロック、ピクセル等）に対応するものであれば、グローバル動きベクトル（global motion vectorまたはglobal disparity vector）は、一部領域を含む全体領域に対応する動きベクトルである。例えば、全体領域は、一つのスライスに対応することもでき、一つのピクチャに対応することもでき、シーケンス全体に対応することもできる。または、ピクチャ中の一つ以上の客体、背景、または一定領域にそれぞれ対応することもできる。このグローバル動きベクトルは、ピクセル単位または１／４ピクセル単位の値でもよく、４×４単位、８×８単位、またはマクロブロック単位の値でもよい。
【０１９２】
第１の例として、ピクチャ内の領域を少なくとも一つの領域に分割し、分割された領域ごとにグローバル動きベクトルを取得することができる。例えば、ピクチャを１６等分した場合、各領域に該当するグローバル動きベクトルを取得することができる。このとき、１６個の領域ごとにインデックスが割り当てられてもよい。また、グローバル動きベクトルは、現在のピクチャがインタービューピクチャグループである場合に取得することができる。または、グローバル動きベクトルは、現在のピクチャがノンインタービューピクチャグループである場合に取得されるように設定することができる。グローバル動きベクトルを取得するための要件については、図５で詳細に説明した通りである。これらの要件が同じ方式で適用されてもよい。
【０１９３】
第２の例として、ピクチャ内の領域が少なくとも２以上の領域に分割された場合、各領域のグローバル動きベクトル間の差値を取得することができる。例えば、インデックス０の領域のグローバル動きベクトルとインデックス１の領域のグローバル動きベクトルとの間の差値を取得することができる。このとき、インデックス０の領域のグローバル動きベクトルを、この差値の初期値と設定することができる。そして、インデックス１の領域のグローバル動きベクトルは、インデックス０の領域のグローバル動きベクトルと伝送された差値とを加算することによって求めることができる。
【０１９４】
他の例として、インデックス値を４で割った余りが０の場合は、差値を下記の数式（１０）により取得することができる。
【０１９５】
diff val of GDV mb lX[j][idx] 
= GDV mb lX[j][idx-4]-GDV mb lX[j][idx]      （１０）
【０１９６】
ここで、ｉｄｘは、０〜（分割された領域数−１）値を表すことができる。そうでない場合は、上記差値は、数式（１１）を用いて取得することができる。
【０１９７】
diff val of GDV mb lX[j][idx]
= GDV mb lX[j][idx-１]-GDV mb lX[j][idx]      （１１）
【０１９８】
また、上記差値は、現在のピクチャがインタービューピクチャグループである場合に取得できる。または、差値は、現在のピクチャがノンインタービューピクチャグループである場合に取得されるように設定することができる。この差値を取得するための要件としては、図５で説明した要件を同じ方式で適用すればよい。
【０１９９】
第３の例として、ピクチャ内の領域をオブジェクトを基準に少なくとも一つの領域に分割し、分割された領域ごとにグローバル動きベクトルを取得することができる。このとき、分割された領域の個数情報と分割された領域の位置情報を取得することができる。例えば、図１２を参照すると、２個のオブジェクトを基準に３個の領域に分割することができる。このとき、分割された領域が３個という情報および各分割された領域の位置情報を取得することができる。例えば、位置情報は、左上端位置と右下端位置の情報を含んでもよい。
【０２００】
この個数情報は、スライス中の全領域の個数を意味してもよい。そして、この個数情報は、モーションスキップを行うときに用いることができ、スライスヘッダから取得することができる。または、この個数情報は、シーケンスレベルまたはピクチャレベルで取得することもできる。ただし、この場合、スライスレベルでは存在しなくてもよい。
【０２０１】
他の例として、現在のブロックの位置がそれぞれ分割された領域の左上端位置と右下端位置との間に存在する場合、分割された領域にインデックスを割り当てることができる。そうでない場合、インデックス値を１ずつ増加させながら上述した処理を繰り返し行えばよい。低いインデックス値を持つほどより高い優先順位を持つことができる。ここで、優先順位は、図２で説明した優先順位を意味してもよい。
【０２０２】
図１３ａおよび図１３ｂは、本発明の一実施例による、拡張されたインタービュー参照情報を表すシンタックである。
【０２０３】
拡張技術のための拡張されたインタービュー参照情報を定義することができる。例えば、モーションスキップに用いられるインタービュー参照情報を新しく定義することができる。具体例として、モーションスキップのときに用いられる参照視点の個数情報を定義することができる。このとき、参照視点の個数情報は、Ｌ０方向とＬ１方向に対してそれぞれ定義することができる。例えば、num motion skip refs l0[i]、num motion skip refs l1[i]と定義することができる（Ｓ１３１０、Ｓ１３３０）。また、参照視点の視点識別情報を定義することができる。例えば、motion skip refs l0[i][j]、motion skip refs l1[i][j]と定義することができる（Ｓ１３２０、Ｓ１３４０）。モーションスキップのためのインタービュー参照情報は、シーケンスパラメータセットの拡張領域から取得することができる。
【０２０４】
また、モーションスキップに用いられるインタービュー参照情報が定義される場合、インタービュー参照情報に基づいてモーションスキップフラグ情報およびグローバル動きベクトルを取得することができる（Ｓ１３５０）。これを取得するための要件については、図４〜図６で詳細に説明した通りである。したがって、これらの要件は類似の方式で適用することができる。
【０２０５】
このように、拡張されたインタービュー参照情報を定義する場合、元来のインタービュー参照情報は利用しなくてよい。拡張されたインタービュー参照情報は独立的に取得することができる。または、元来のインタービュー参照情報と一緒に取得してもよい。
【０２０６】
また、拡張されたインタービュー参照情報は、シーケンスパラメータセットの拡張領域に追加されてもよい。モーションスキップは、インタービューサンプル予測とは別に動作することができる。インタービューサンプル予測が利用不可能な視点に対してインタービュー参照関係を設定することによって、インタービューサンプル予測が利用不可能な視点に対してもモーションスキップを用いることができる。
【０２０７】
他の例として、拡張されたインタービュー参照情報を制御するためのフラグ情報を設定することができる。例えば、現在のシーケンスでモーションスキップが用いられるか否かを表すシーケンスモーションスキップフラグ情報を設定することができる。シーケンスモーションスキップフラグ情報によって現在のシーケンスがモーションスキップを行う場合、拡張されたインタービュー参照情報を取得することができる。
【０２０８】
他の例として、シーケンスモーションスキップフラグ情報を制御するためのフラグ情報を設定することができる。例えば、シーケンスモーションスキップフラグ情報は、部分デコーディングフラグに基づいて取得することができる。ここで、部分デコーディングフラグは、現在のピクチャがノンインタービューピクチャグループの場合に、インタービュー参照ピクチャの完全な復元なしで現在のピクチャがデコーディングされるか否かを表す。これについては、図４で詳細に説明した通りである。
【０２０９】
このようにシーケンスモーションスキップフラグを取得するには、これらの実施例を独立した要件として適用してもよく、その組合せとして適用してもよい。また、モーションスキップフラグは、いずれの要件も適用せずに取得することもできる。例えば、シーケンスパラメータセット、ピクチャ、スライスヘッダ、マクロブロックレイヤ、および／またはこれらの拡張領域から取得することができる。
【０２１０】
図１４は、本発明の一実施例による、深さ情報を伝送するための様々な方法を説明するための図である。
【０２１１】
ビデオ信号コーディングにおいて、特定アプリケーションのためにまたは他の目的のために深さ情報を用いることができる。深さ情報とは、視点間の変位差を表す情報のことを意味してもよい。例えば、視点間予測によって変位ベクトルを取得でき、この取得された変位ベクトルは、現在のブロックの変位補償のためにデコーディング装置に伝送しなければならない。しかし、深さマップを探し出してこれをデコーディング装置に伝送する場合は、変位ベクトルをデコーディング装置に伝送せずに、深さマップ（depth map）（または、変位マップ（disparity map））から変位ベクトルを類推することができる。この場合、デコーディング装置に伝送する深さ情報のビット数を減少させることができる。または、動きベクトルまたは変位ベクトルを深さマップと共に伝送することもできる。したがって、深さマップから変位ベクトルを求めることによって、新しい変位補償方法を提供することができる。そして、深さマップから変位ベクトルを求める過程で異なる視点のピクチャを用いる場合、視点識別情報が用いられてもよい。以下では、深さ情報を伝送する様々な方法について説明する。
【０２１２】
本発明の実施例として、現在のＮＡＬが深さ情報を含む深さビットストリームなのか、それとも、一般のカラービットストリームなのかを表すフラグ情報を定義することができる。例えば、depth flagが１の場合に、現在のＮＡＬは深さビットストリームを意味し、０の場合は現在のＮＡＬがカラービットストリームを意味してもよい。フラグ情報によって現在のＮＡＬが深さビットストリームを意味する場合、多視点ビデオコーディングのための属性情報を用いることができる。深さ情報間においても視点間予測が必要とされうるからである。例えば、これらの属性情報には、視点識別情報、インタービューピクチャグループ識別情報、インタービュー予測フラグ情報、時間レベル情報、優先順位識別情報、視点に対する瞬時復号ピクチャであるか否かを示す識別情報などがありうる。これについては、図２で詳細に説明した通りである。
【０２１３】
一方、現在のＮＡＬに属する深さマップは、複数個の視点間の深さを表すことができる。そして、深さ情報は、様々な情報を含むことがある。例えば、深さ情報には、深さマップに関連するピクチャの視点識別情報（target view id base、target view id ref）を含むことがある。または、カラービットストリームと深さビットストリーム間に空間解像度の差がある場合、水平および垂直方向それぞれのスケーリングファクタ（factor）（scale x、scale y）がありうる。または、サンプリングされた深さピクチャとカラーピクチャとの間の水平および垂直方向の位置の差を表すオフセット情報（offset x、offset y）がありうる。オフセット情報の例には、アップサンプリングされた深さピクチャと現在のピクチャとの上、下、左、右の位置の差を表すオフセット情報（left offset、top offset、right offset、bottom offset）がありうる。そして、ピクチャ間の遠近を表す深さのレンジ（range）情報（nk far、nk near）がありうる。
【０２１４】
他の実施例として、深さ情報をＮＡＬユニットヘッダ、ＮＡＬユニットＲＢＳＰまたはシーケンスパラメータセットに挿入して伝送することができる。
【０２１５】
ＮＡＬユニットは、ＮＡＬユニットヘッダとＲＢＳＰ（Raw Byte Sequence Payload（ローバイトシーケンスペイロード）：動画像圧縮結果データ）とで構成されてもよい。そして、ＮＡＬユニットヘッダは、nal ref idcおよびnal unit typeを含んでもよい。また、制限的に、ＮＡＬユニットヘッダの拡張領域を含んでもよい。例えば、ＮＡＬユニットのタイプを表す情報が多視点ビデオコーディングと関連を持つ場合、または、prefix NALユニットを表す場合に、このＮＡＬユニットは、ＮＡＬユニットヘッダの拡張領域も含むことがある。これについては図２で詳細に説明した通りである。また、シーケンスパラメータセットは、シーケンスパラメータセットの拡張領域、シーケンスパラメータセットの多視点拡張領域またはシーケンスパラメータセットの深さ拡張領域などを含むことがある。以下では、これに対する具体的な例について説明する。
【０２１６】
第１の例として、現在のＮＡＬが基準視点に該当する場合、深さ情報をＮＡＬユニットヘッダに挿入して伝送する方法について説明する。
【０２１７】
基準視点は、他の視点とは独立してコーディング可能な視点を意味してもよい。または、既存のデコーダ（例えば、Ｈ.２６４／ＡＶＣ、ＭＰＥＧ−２、ＭＰＥＧ−４等）との互換性のための少なくとも一つの視点を意味してもよい。したがって、現在のＮＡＬが基準視点に該当する場合、既存デコーダとの互換性から、深さ情報をコーディングすることが不可能になる。このため、先行するprefix NALユニットに深さ情報を挿入することができる。ここで、prefix NALユニットとは、後続するＮＡＬユニットの記述情報を含むＮＡＬユニットを意味してもよい。このprefix NALユニットはＲＢＳＰ情報を含まなくてもよい。例えば、ＮＡＬユニットタイプがprefix NALユニットを表す場合、ＮＡＬユニットヘッダは、深さ情報を含んでもよい。具体例として、nal unit type=14の場合、ＮＡＬユニットヘッダはスケーラブル拡張情報または多視点拡張情報を含むことがある。この多視点拡張情報は、深さ情報を含んでもよい。
【０２１８】
また、ＮＡＬヘッダ領域またはＮＡＬヘッダの拡張領域でＭＶＣビットストリームか否かを識別できるフラグ情報（svc mvc flag）を追加することができる。このフラグ情報によって、入力されたビットストリームが多視点映像コーディングされたビットストリームである場合、現在のＮＡＬユニットに深さ関連情報が存在するか否かを表すフラグ情報を定義することができる。例えば、depth flag=1なら、現在のＮＡＬユニットに深さ関連情報が存在することがわかる。このとき、深さ関連情報は、ＮＡＬユニットヘッダの拡張領域で定義することができる。または、ＮＡＬユニットヘッダの拡張領域のうち、深さ拡張領域内で別に定義することもできる。
【０２１９】
第２の例として、現在のＮＡＬが基準視点に該当しない場合、深さ情報をＮＡＬユニットヘッダに挿入して伝送する方法について説明する。
【０２２０】
現在のＮＡＬが基準視点に該当しない場合は、多視点拡張ＮＡＬユニットに深さ情報を挿入することができる。例えば、ＮＡＬユニットタイプがスケーラブル拡張ＮＡＬユニットまたは多視点拡張ＮＡＬユニットを表す場合、ＮＡＬユニットヘッダは深さ情報を含んでもよい。具体例として、nal unit type=20の場合、ＮＡＬユニットヘッダはスケーラブル拡張情報または多視点拡張情報を含んでもよい。多視点拡張情報は深さ情報を含むことがある。ここで、深さ情報を定義する具体的な方法は、第１の例で説明した方式と略同様な方式を適用することができる。
【０２２１】
第３の例として、現在のＮＡＬが基準視点に該当する場合、深さ情報をＮＡＬユニットのＲＢＳＰに挿入して伝送する方法にいて説明する。
【０２２２】
第１の例で説明したように、既存デコーダとの互換性から、prefix NALユニットに深さ情報を挿入することができる。ただし、第１の例では、深さ情報がprefix NALユニットのヘッダに含まれたが、第３の例では、prefix NALユニットのＲＢＳＰに含まれることがある。このとき、prefix NALユニットヘッダの拡張領域でdepth flagを定義することができる。そして、prefix NALユニットのＲＢＳＰからdepth flag情報に基づいて深さ情報を取得することができる。
【０２２３】
第４の例として、現在のＮＡＬが基準視点に該当しない場合、深さ情報をＮＡＬユニットのＲＢＳＰに挿入して伝送する方法を説明する。
【０２２４】
第２の例で説明したように、多視点拡張ＮＡＬユニットに深さ情報を挿入することができる。ただし、第２の例では、深さ情報が多視点拡張ＮＡＬユニットのヘッダに含まれたが、第４の例では、多視点拡張ＮＡＬユニットのＲＢＳＰに含まれることがある。このとき、多視点拡張ＮＡＬユニットのヘッダの拡張領域でdepth flagを定義することができる。そして、多視点拡張ＮＡＬユニットのＲＢＳＰから、depth flag情報に基づいて深さ情報を取得することができる。
【０２２５】
第５の例として、現在のＮＡＬが基準視点に該当する場合、深さ情報を新しいＮＡＬユニットヘッダに挿入して伝送する方法を説明する。
【０２２６】
深さ関連情報を伝送するための新しいＮＡＬユニットタイプを定義することができる。例えば、nal unit type=21の場合、現在のＮＡＬユニットに深さ関連情報が存在することがわかる。第１の例と同様に、既存デコーダとの互換性から、prefix NALユニットに深さ情報を挿入することができる。ＮＡＬユニットヘッダの拡張領域でＮＡＬユニットタイプがprefix NALユニットである場合にのみdepth flagを取得することができる。したがって、depth flagと新しいＮＡＬユニットタイプに基づいて深さ情報を取得することができる。このとき、深さ関連情報を、ＮＡＬユニットヘッダの拡張領域のうちの深さ拡張領域内で別に定義することもできる。
【０２２７】
第６の例として、現在のＮＡＬが基準視点に該当しない場合、深さ情報を新しいＮＡＬユニットヘッダに挿入して伝送する方法を説明する。
【０２２８】
第５の例と同様に、深さ関連情報を伝送するための新しいＮＡＬユニットタイプを定義することができる。新しいＮＡＬユニットタイプのヘッダで深さ関連情報を定義することができる。例えば、nal unit type=21の場合、ＮＡＬヘッダの拡張領域にある情報をパージングすることができる。そして、svc mvc flag=1なら、多視点映像の属性情報をパージングすることができる。このとき、ＮＡＬヘッダの拡張領域で再びnal unit type=21の場合には、ＮＡＬユニットヘッダの拡張領域のうち、深さ拡張領域をパージングすることができる。
【０２２９】
または、新しいＮＡＬユニットタイプを確認した後、直ちにＮＡＬユニットヘッダの深さ拡張領域をパージングすることができる。この場合、ＮＡＬユニットヘッダの拡張領域内の多視点映像属性情報は、ＮＡＬユニットヘッダの深さ拡張領域内で定義することができる。
【０２３０】
第７の例として、現在のＮＡＬが基準視点に該当する場合、深さ情報を新しいＮＡＬユニットのＲＢＳＰに挿入して伝送する方法を説明する。
【０２３１】
第５の例と同様に、既存デコーダとの互換性から、prefix NALユニットに深さ情報を挿入することができる。ＮＡＬユニットヘッダの拡張領域でＮＡＬユニットタイプがprefix NALユニットである場合にのみdepth flagを取得することができる。したがって、depth flagに基づいて深さ情報を取得することができる。このとき、ＮＡＬユニットヘッダの拡張領域中の深さ拡張領域で別に定義することもできる。そして、prefix NALユニットのＲＢＳＰから、depth flagに基づいて深さ情報を取得することができる。例えば、nal unit type=14の場合、ＮＡＬヘッダの拡張領域にある情報をパージングすることができる。そして、svc mvc flag=1なら、多視点映像の属性情報をパージングすることができる。このとき、ＮＡＬヘッダの拡張領域で再びnal unit type=14の場合には、depth flagをパージングすることができる。そして、prefix NALユニットのＲＢＳＰでdepth flag=1の場合に、深さ情報を取得することができる。
【０２３２】
第８の例として、現在のＮＡＬが基準視点に該当しない場合、深さ情報を新しいＮＡＬユニットのＲＢＳＰに挿入して伝送する方法を説明する。
【０２３３】
第６の例と同様に、深さ関連情報を伝送するための新しいＮＡＬユニットタイプを定義することができる。新しいＮＡＬユニットタイプのＲＢＳＰで深さ関連情報を定義することができる。例えば、nal unit type=21の場合、ＮＡＬヘッダの拡張領域にある情報をパージングすることができる。そして、svc mvc flag=1なら、多視点映像の属性情報をパージングすることができる。このとき、ＮＡＬヘッダの拡張領域で再びnal unit type=21の場合には、ＮＡＬユニットヘッダの深さ拡張領域をパージングすることができる。
【０２３４】
または、新しいＮＡＬユニットタイプを確認した後、直ちにＮＡＬユニットヘッダの深さ拡張領域をパージングすることができる。この場合、ＮＡＬユニットヘッダの拡張領域内の多視点映像属性情報は、ＮＡＬユニットヘッダの深さ拡張領域内で定義することができる。
【０２３５】
第９の例として、シーケンスパラメータセット内に深さ情報に対するインタービュー参照情報を定義することができる。以下、深さ情報に関する視点を呼ぶとき、深さ視点（depth view）という。例えば、コーディングされた深さ視点の全個数（num views minus1 depth）、コーディング順序に従う深さ視点の視点識別情報（view id depth[i]）、深さ視点を復元するのに必要なカラービデオ視点（基準視点、参照視点）の視点識別情報（target view id base[i]、target view id ref[i]）などがある。
【０２３６】
ＮＡＬユニットのタイプを表す情報がシーケンスパラメータセットを表す情報である場合、ＲＢＳＰは、シーケンスパラメータセットに関する情報を含むことがある。具体例として、nal unit type=7の場合、ＲＢＳＰは、シーケンスパラメータセットに関する情報を含むことがある。または、nal unit type=15の場合、ＲＢＳＰは、サブセットシーケンスパラメータセットに関する情報を含むことがある。このとき、プロファイル情報によって、サブセットシーケンスパラメータセットはシーケンスパラメータセットの拡張領域を含むことがある。
【０２３７】
例えば、プロファイル情報（profile idc）が多視点ビデオコーディングに関連するプロファイルである場合、サブセットシーケンスパラメータセットは、シーケンスパラメータセットの拡張領域を含むことがある。シーケンスパラメータセットの拡張領域は、深さ視点間依存関係を表す深さ視点間参照情報（inter-depth-view reference information）を含んでもよい。また、シーケンスパラメータセットの拡張領域は、図１４で説明した深さ情報を含むことがある。
【０２３８】
または、深さ関連情報のためのプロファイル情報（profile idc）を新しく定義することができる。例えば、プロファイル情報が深さ情報コーディングに関連するプロファイルである場合、サブセットシーケンスパラメータセットは、シーケンスパラメータセットの拡張領域を含むことがある。同様に、シーケンスパラメータセットの拡張領域は、新しいプロファイル情報に基づいて、深さ視点間参照情報および／または深さ情報を含むことがある。
【０２３９】
または、新しいプロファイル情報（profile idc）に基づいてシーケンスパラメータセットの深さ拡張領域を新しく定義することができる。このとき、シーケンスパラメータセットの深さ拡張領域は、深さ視点間参照情報および／または深さ情報を含むことがある。
【０２４０】
または、シーケンスパラメータセットの深さ拡張領域のＮＡＬユニットタイプを新しく定義することができる。例えば、新しいＮＡＬユニットタイプによって、新しいシーケンスパラメータセットの深さ拡張領域を定義することができる。そして、シーケンスパラメータセットの拡張領域は、深さ視点間参照情報および／または深さ情報を含んでもよい。また、シーケンスパラメータセットの拡張領域は、デコーディングされたピクチャの水平方向の長さ情報と、デコーディングされたフレーム／フィールドのスライスグループマップ単位の垂直方向の長さ情報も含むことがある。これは、カラーピクチャと深さピクチャとの間の空間解像度差を補償するために必要とされうる。
【０２４１】
以上で説明した通り、本発明が適用されるデコーディング／エンコーディング装置は、ＤＭＢ（Digital Multimedia Broadcasting：デジタルマルチメディア放送）などのマルチメディア放送用の送／受信装置に設けられて、ビデオ信号およびデータ信号などを復号化するのに使用されてもよい。また、マルチメディア放送送／受信装置は、移動通信端末機を含んでもよい。
【０２４２】
また、本発明が適用されるデコーディング／エンコーディング方法は、コンピュータで実行されるためのプログラムとして構成されて、コンピュータ読み取り可能記録媒体に記憶することができ、本発明によるデータ構造を持つマルチメディアデータも、コンピュータ読み取り可能記録媒体に記憶することができる。コンピュータ読み取り可能記録媒体は、コンピュータシステムにより読み取り可能なデータを記憶する全ての記憶装置を含む。コンピュータ読み取り可能記録媒体の例には、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ記憶装置などがあり、さらに、搬送波（例えば、インターネットを介した伝送）の形態で具現されるものも含む。また、エンコーディング方法により生成されたビットストリームは、コンピュータ読み取り可能記録媒体に保存されたり、有／無線通信網を通じて伝送されたりしてもよい。
【産業上の利用可能性】
【０２４３】
以上のように、本発明の好適な実施例を参照しながら、本発明について説明及び図示したが、本発明の主旨及び範囲から逸脱しない限り多様な修正及び変形が可能であることは、当業者にとって明白であろう。したがって、本発明は、添付の特許請求の範囲及びこれと同等の範囲内での本発明の多様な修正及び変形を含むものである。
【図１】
2010525724.tif 000004
【図２】
2010525724.tif 000005
【図３】
2010525724.tif 000006
【図４】
2010525724.tif 000007
【図５】
2010525724.tif 000008
【図６】
2010525724.tif 000009
【図７】
2010525724.tif 000010
【図８ａ】
2010525724.tif 000011
【図８ｂ】
2010525724.tif 000012
【図８ｃ】
2010525724.tif 000013
【図８ｄ】
2010525724.tif 000014
【図９ａ】
2010525724.tif 000015
【図９ｂ】
2010525724.tif 000016
【図１０ａ】
2010525724.tif 000017
【図１０ｂ】
2010525724.tif 000018
【図１１】
2010525724.tif 000019
【図１２】
2010525724.tif 000020
【図１３ａ】
2010525724.tif 000021
【図１３ｂ】
2010525724.tif 000022
【図１４】
2010525724.tif 000023
【国際調査報告】
2010525724.tif 000024
2010525724.tif 000025