"マルチビュービデオをデコードする方法であって、該マルチビュービデオは経時的な複数のビューのフレームを含むものであって、該方法は、前記マルチビュービデオの現在のフレームに関連する予測依存性メッセージを受け取るステップと、前記予測依存性メッセージは、特定のビューについて参照として用いられるビューの数と、どのビューが該特定のビューについて参照として用いられるかを示すビューインデックスの集合を示すものであって、参照ピクチャリストを保持するステップと、前記保持された参照ピクチャリストと、前記予測依存性メッセージに基づいてマルチビュービデオの現在のフレームを復号化するステップとを含むマルチビュービデオをデコードする方法。マルチビュービデオをデコードする方法であって、該マルチビュービデオは経時的な複数のビューのフレームを含むものであって、該方法は、前記マルチビュービデオの現在のフレームに関連する予測依存性メッセージを受け取るステップと、前記予測依存性メッセージは、特定のビューについて参照として用いられるビューの数と、どのビューが該特定のビューについて参照として用いられるかを示すビューインデックスの集合を示すものであって、参照ピクチャリストを保持するステップと、前記保持された参照ピクチャリストと、前記予測依存性メッセージに基づいてマルチビュービデオの前記特定のビューにおける現在の画像を予測するステップとを含む、マルチビュービデオをデコードする方法。マルチビュービデオをデコードする方法であって、該マルチビュービデオは経時的な複数のビューのフレームを含むものであって、該方法は、前記マルチビュービデオの現在のフレームに関連する予測依存性メッセージを受け取るステップと、前記予測依存性メッセージは、特定のビューについて参照として用いられるビューの数と、どのビューが該特定のビューについて参照として用いられるかを示すビューインデックスの集合を示すものであって、参照ピクチャリストを保持するステップと、前記参照ピクチャリストは、特定の時間とは異なる時間に参照される時間参照ピクチャと、同時間で異なるビューから参照される空間参照ピクチャとをインデックス付けするものであり、前記保持された参照ピクチャリストと、前記予測依存性メッセージに基づいてマルチビュービデオの前記特定のビューにおける現在の画像を予測するステップとを含む、マルチビュービデオをデコードする方法。マルチビュービデオをデコードする方法であって、該マルチビュービデオは経時的な複数のビューのフレームを含むものであって、該方法は、前記マルチビュービデオの現在のフレームに関連する予測依存性メッセージを受け取るステップと、前記予測依存性メッセージは、特定のビューについて参照として用いられるビューの数と、どのビューが該特定のビューについて参照として用いられるかを示すビューインデックスの集合を示すものであって、参照ピクチャリストを保持するステップと、前記参照ピクチャリストは、特定の時間とは異なる時間に参照される時間参照ピクチャと、同時間で異なるビューから参照される空間参照ピクチャとをインデックス付けするものであり、前記保持された参照ピクチャリストと、前記予測依存性メッセージに基づいてマルチビュービデオの現在のフレームを復号化するステップとを含む、マルチビュービデオをデコードする方法。マルチビュービデオをデコードする方法であって、該マルチビュービデオは経時的な複数のビューのフレームを含むものであって、該方法は、前記マルチビュービデオの現在のフレームに関連する予測依存性メッセージを受け取るステップと、前記予測依存性メッセージは、特定のビューについて参照として用いられるビューの数と、どのビューが該特定のビューについて参照として用いられるかを示すビューインデックスの集合を示すものであって、参照ピクチャリストを保持するステップと、前記参照ピクチャリストは、特定の時間とは異なる時間に参照される時間参照ピクチャと、同時間で異なるビューから参照される空間参照ピクチャとをインデックス付けするものであり、前記保持された参照ピクチャリストと、前記予測依存性メッセージに基づいてマルチビュービデオの前記特定のビューにおける現在の画像を予測するステップとを含み、前記予測するステップは、前記時間参照ピクチャを用いる時間予測と前記空間参照ピクチャを用いる空間予測から選択されるものであること、を含むマルチビュービデオをデコードする方法。マルチビュービデオをデコードする方法であって、該マルチビュービデオは経時的な複数のビューのフレームを含むものであって、該方法は、前記マルチビュービデオの現在のフレームに関連する予測依存性メッセージを受け取るステップと、前記予測依存性メッセージは、特定のビューについて参照として用いられるビューの数と、どのビューが前記特定のビューについて参照として用いられるかを示すビューインデックスの集合を示すものであって、参照ピクチャリストを保持するステップと、前記参照ピクチャリストは、特定の時間とは異なる時間に参照される時間参照ピクチャと、同時間で異なるビューから参照される空間参照ピクチャとをインデックス付けするものであり、前記保持された参照ピクチャリストと、前記予測依存性メッセージに基づいてマルチビュービデオの前記特定のビューにおける現在の画像を予測するステップとを含み、前記予測するステップは、前記空間参照ピクチャのみを用いる空間予測を用いるものであり、前記空間参照ピクチャのみを用いる空間予測を用いて前記現在の画像を生成する場合、前記参照ピクチャリストから全ての時間参照ピクチャを削除するステップと、を含むマルチビュービデオをデコードする方法。マルチビュービデオをデコードする方法であって、該マルチビュービデオは経時的な複数のビューのフレームを含むものであって、該方法は、前記マルチビュービデオの現在のフレームに関連する予測依存性メッセージを受け取るステップと、前記予測依存性メッセージは、特定のビューについて参照として用いられるビューの数と、どのビューが前記特定のビューについて参照として用いられるかを示すビューインデックスの集合を示すものであって、参照ピクチャリストを保持するステップと、前記参照ピクチャリストは、特定の時間とは異なる時間に参照される時間参照ピクチャと、同時間で異なるビューから参照される空間参照ピクチャとをインデックス付けするものであり、前記保持された参照ピクチャリストと、前記予測依存性メッセージに基づいてマルチビュービデオの前記特定のビューにおける現在の画像を予測するステップとを含み、前記予測するステップは、前記時間参照ピクチャを用いる時間予測と前記空間参照ピクチャを用いる空間予測と、前記空間参照ピクチャのみを用いる空間予測から選択されるものであり、前記空間参照ピクチャのみを用いる空間予測が選択されて前記現在の画像を生成する場合、前記参照ピクチャリストから全ての時間参照ピクチャを削除するステップと、を含むマルチビュービデオをデコードする方法。MCTFベースのビデオの圧縮効率は、H.264/AVC等のビデオ圧縮規格のそれに匹敵する。また、ビデオは固有の時間スケーラビリティを有する。しかし、この方法は、複数のビューから取得されたビデオ間に相関があるマルチビュービデオの直接符号化には用いることができない。これは、時間的相関を説明する効率的なビュー予測方法がないためである。リフティング方式は、静的ライトフィールド、すなわち単一のマルチビュー画像を符号化するためにも用いられてきた。動き補償時間フィルタリングを行う代わりに、エンコーダは、空間領域において静的ビュー間で視差補償ビュー間フィルタリングDCVFを行うChang他著視差補償リフティングを用いるライトフィールドのビュー間ウェーブレット圧縮InterviewwaveletcompressionoflightfieldswithdisparitycompensatedliftingSPIEConfonVisualCommunicationsandImageProcessing2003を参照のこと。符号化のために、DCVFは、静的ライトフィールドを高域画像と低域画像とに分解し、次にこれらの画像に空間変換を施して、残存する空間的相関を低減する。変換された画像は、関連する視差情報とともにエントロピー符号化されて、符号化ビットストリームを形成する。DCVFは通常、図3に示すようなリフティングベースのウェーブレット変換方式を用いて、空間的に隣接するカメラビューから取得される画像を入力として実施される。また、DCVFは、出力低域画像に反復的に適用することができる。DCVFベースの静的ライトフィールドの圧縮は、複数のフレームを個別に符号化するよりも高い圧縮効率を提供する。しかし、この方法もまた、ビュー間の時間的相関及び空間的相関の両方を用いるマルチビュービデオを符号化することができない。これは、時間的相関を説明する効率的なビュー予測方法がないためである。方法及びシステムは、複数のカメラによって或るシーンについて取得されたマルチビュービットストリームを分解する。マルチビュービットストリームはフレームシーケンスを含み、各カメラはシーンの異なるビューを提供する。時間予測モード、空間予測モード、ビュー合成予測モード、及びイントラ予測モードの中から1つの予測モードが選択される。次に、マルチビュービットストリームは、選択された予測モードに従って低域フレーム、高域フレーム、及びサイド情報に分解される。シーンの合成ビューを反映する新規のビデオもまた、マルチビュービデオのうちの1つ又は複数から生成することができる。特に、本発明の一つの実施の形態は、マルチビュービデオを管理するシステム及び方法を提供する。複数のマルチビュービデオの各現フレームについて参照ピクチャリストが保持される。参照ピクチャリストは、マルチビュービデオの時間参照ピクチャ、空間参照ピクチャ及び合成参照ピクチャをインデックス付けする。次に、マルチビュービデオの各現フレームが、符号化及び復号化中に、関連する参照ピクチャリストによってインデックス付けされた参照ピクチャに従って予測される。特に、本発明の一つの実施の形態は、マルチビュービデオを合成するシステム及び方法を提供する。複数のマルチビュービデオが、どの対のカメラ間でもビューが重なるような姿勢で配置される対応する複数のカメラによって或るシーンについて取得される。1つの合成マルチビュービデオが、1つの仮想カメラについて、取得された複数のマルチビュービデオから生成される。マルチビュービデオ及び合成ビデオのそれぞれの各現フレームについて参照ピクチャリストが保持される。参照ピクチャは、取得されたマルチビュービデオの時間参照ピクチャ及び空間参照ピクチャ、並びに合成マルチビュービデオの合成参照動ピクチャをインデックス付けする。次に、マルチビュービデオの各現フレームが、符号化及び復号化中に、関連する参照ピクチャリストによってインデックス付けされた参照ピクチャに従って予測される。特に、本発明の一つの実施の形態は、マルチビュービデオにランダムにアクセスする方法を提供する。複数のマルチビュービデオが、どの対のカメラ間でもビューが重なるような姿勢で配置される対応する複数のカメラによって或るシーンについて取得される。マルチビュービデオからVフレームが生成される。Vフレームは、空間予測のみを用いて符号化される。次に、Vフレームは、符号化ビットストリームに周期的に挿入されて、マルチビュービデオへのランダムな時間アクセスが提供される。特に、本発明の一つの実施の形態は、既知のビュー依存性によりマルチビュービデオにランダムにアクセスする方法を提供する。他の実施の形態と同様に、マルチビュービデオからVフレームが生成され、空間予測のみを用いて符号化される。次に、Vフレームは、符号化ビットストリームに周期的に挿入されて、マルチビュービデオへのランダムな時間アクセスが提供される。付加的なビュー依存性情報により、所与のビューのターゲットフレームにアクセスする前に復号化されたより少ない数のフレームへのマーキングが可能となる。本発明に係る方法は、マルチビュービデオにランダムにアクセスする。複数のマルチビュービデオが、どの対のカメラ間でもビューが重なるような姿勢で配置される対応する複数のカメラによって或るシーンについて取得される。Vフレームがマルチビュービデオから生成される。Vフレームは、空間予測のみを用いて符号化される。次に、Vフレームは、符号化ビットストリームに周期的に挿入されて、マルチビュービデオへのランダムな時間アクセスが提供される。付加的なビュー依存性情報により、指定されたビュー及び時刻のターゲットフレームにランダムにアクセスする前のより少ない数のフレームの復号化、及びターゲットフレームの復号化が可能となる。本発明の一実施形態は、マルチビュービデオのフレームを符号化及び復号化するための複合的時間/ビュー間処理方法を提供する。マルチビュービデオは、異なる姿勢を有する複数のカメラによって或るシーンについて取得されるビデオである。本発明では、カメラ姿勢を3Dのx,y,z位置及び3Dのφ,ρ,ψ向きの両方として定義する。各姿勢はシーンのビューに対応する。本方法は、特定のカメラ姿勢について取得される各ビデオ中のフレーム間の時間的相関、及び複数のカメラビューから取得されるビデオ中の合成フレーム間の空間的相関を用いる。また、後述のように合成フレームを相関させることができる。一実施形態において、時間的相関は動き補償時間フィルタリングMCTFを用い、空間的相関は視差補償ビュー間フィルタリングDCVFを用いる。本発明の別の実施形態において、空間的相関は、近傍フレームから生成される複数の合成フレームからの1つのビューの予測を用いる。近傍フレームは、時間的又は空間的に隣接するフレーム、例えば、時間領域における現フレームの前又は後のフレーム、又は同時刻に、ただし異なる姿勢又はシーンのビューを有するカメラから取得される1つ又は複数のフレームである。各ビデオの各フレームは画素のマクロブロックを含む。したがって、本発明の一実施形態によるマルチビュービデオの符号化及び復号化方法はマクロブロック適応的である。現フレーム内の現マクロブロックの符号化及び復号化は、様々な形態の時間予測、空間予測、ビュー合成予測、及びイントラ予測を含むいくつかの可能な予測モードを用いて行われる。マクロブロック毎に最良の予測モードを判定するために、本発明の一実施形態は、予測モードを選択する方法を提供する。この方法は、任意数のカメラ配置に対して使用することができる。既存のシングルビュー単視点の符号化及び復号化システムとの互換性を保つために、参照ピクチャリストを管理する方法を説明する。具体的には、参照ピクチャリストに従ってピクチャバッファから参照ピクチャを挿入及び除去する方法を説明する。参照ピクチャは、時間参照ピクチャ、空間参照ピクチャ及び合成参照ピクチャを含む。本明細書中で用いる場合、参照ピクチャは、符号化及び復号化中に現フレームを予測するために用いられる任意のフレームとして定義される。通常、参照ピクチャは、現フレームに空間的又は時間的に隣接する、すなわち近傍にある。任意の所与の時刻において現フレームを符号化及び復号化するために同一の参照ピクチャ集合が用いられるため、同一の操作がエンコーダ及びデコーダの両方に適用されることに留意することが重要である。本発明の一実施形態は、符号化及び復号化中にマルチビュービデオのフレームへのランダムアクセスを可能にする。これにより符号化効率が高まる。MCTF/DCVF分解図4は、本発明の一実施形態によるMCTF/DCVF分解400を示す。入力ビデオ401~404のフレームが、異なる姿勢を有するカメラ1~4によってシーン5について取得される。なお、図8に示すように、カメラのうちのいくつか1a及び1bは、同一位置にあり、ただし異なる向きであってもよい。どの対のカメラ間にも或る量のビューの重なりがあると仮定される。カメラの姿勢は、マルチビュービデオの取得中に変化し得る。通常、カメラは互いに同期される。各入力ビデオは、シーンの異なるビューを提供する。入力フレーム401~404はMCTF/DCVF分解400に送られる。この分解は、符号化された低域フレーム411、符号化された高域フレーム412、及び関連するサイド情報413を生成する。高域フレームは、低域フレームを参照ピクチャとして用いて予測誤差を符号化する。分解は、選択された予測モード410に従って行われる。予測モードは、空間予測モード、時間予測モード、ビュー合成予測モード、及びイントラ予測モードを含む。予測モードは、各現フレームについてマクロブロック毎に適応的に選択することができる。イントラ予測を用いる場合、現マクロブロックは、同一フレーム内の他のマクロブロックから予測される。図5は、フレーム近傍510の、低域フレームL411及び高域フレームH412の好ましい交番格子パターンを示す。これらのフレームは空間ビュー次元501及び時間次元502を有する。本質的に、このパターンは、低域フレーム及び高域フレームが空間次元で1つの時刻毎に交番し、さらに、低域フレーム及び高域フレームが1つのビデオ毎に時間的に交番する。この格子パターンにはいくつかの利点がある。このパターンは、低域フレームを空間次元及び時間次元の両方において均一に分散させることで、デコーダが低域フレームのみを再構成する場合に、空間及び時間においてスケーラビリティを実現する。また、このパターンは、空間次元及び時間次元の両方において高域フレームを隣接する低域フレームと整列させる。これは、図6に示すように、現フレームにおける誤差の予測を行うための参照ピクチャ間の相関を最大化する。リフティングベースのウェーブレット変換によれば、一方のサンプル集合を他方のサンプル集合から予測することによって高域フレーム412が生成される。この予測は、後述する本発明の実施形態による様々な形態の時間予測、様々な形態の空間予測、及びビュー合成予測を含むいくつかのモードを用いて達成することができる。高域フレーム412を予測するための手段及びこの予測を行うために必要な情報はサイド情報413と呼ばれる。時間予測を行う場合、時間モードがサイド情報の一部として、対応する動き情報とともに信号伝達される。空間予測を行う場合、空間モードがサイド情報の一部として、対応する視差情報とともに信号伝達される。ビュー合成予測を行う場合、ビュー合成モードがサイド情報の一部として、対応する視差情報、動き情報及び奥行き情報とともに信号伝達される。図6に示すように、各現フレーム600の予測は、空間次元及び時間次元の両方の近傍フレーム510を用いる。現フレームを予測するために用いられるフレームは参照ピクチャと呼ばれる。参照ピクチャは、符号化ビットストリームの一部である参照リストに保持される。参照ピクチャは復号ピクチャバッファに格納される。本発明の一実施形態において、MCTF及びDCVFは、入力ビデオの各フレームについて各現マクロブロックに対して適応的に適用されて、分解された低域フレーム、並びに高域フレーム及び関連するサイド情報を生じる。こうして、各マクロブロックは、最良の予測モードに従って適応的に処理される。予測モードを選択するための最適な方法は後述する。本発明の一実施形態において、MCTFがまず各ビデオのフレームに個別に適用される。結果として得られるフレームは次に、DCVFによりさらに分解される。最終的な分解されたフレームに加えて、対応するサイド情報も生成される。マクロブロック毎に行う場合、MCTF及びDCVFの予測モードの選択は別個に検討される。利点として、この予測モードの選択は本質的に時間スケーラビリティをサポートする。こうして、圧縮ビットストリームにおいてビデオのより低い時間レートが容易にアクセスされる。別の実施形態では、DCVFがまず入力ビデオのフレームに適用される。結果として得られるフレームが次に、MCTFにより時間的に分解される。最終的な分解されたフレームに加えて、サイド情報も生成される。マクロブロック毎に行う場合、MCTF及びDCVFの予測モードの選択は別個に検討される。利点として、この選択は本質的に空間スケーラビリティをサポートする。こうして、圧縮ビットストリームにおいてより少ない数のビューが容易にアクセスされる。上述した分解は、前の分解段階から結果として得られる低域フレームの集合に反復的に適用することができる。利点として、本発明のMCTF/DCVF分解400は、時間的相関及び空間的ビュー間相関の両方を効果的に除去し、非常に高い圧縮効率を達成することができる。本発明のマルチビュービットストリームエンコーダの圧縮効率は、各ビューを個別に符号化する従来のサイマル放送符号化に勝る。MCTF/DCVF分解の符号化図7に示すように、分解400の出力411及び412は信号エンコーダ710に供給され、出力413はサイド情報エンコーダ720に供給される。信号エンコーダ710は、変換、量子化及びエントロピー符号化を行って、分解された低域フレーム411及び高域フレーム412に残存する相関を除去する。このような操作は当該技術分野において既知であるNetravali及びHaskell著デジタルピクチャ:表現、圧縮及び規格DigitalPicturesRepresentationCompressionandStandardsSecondEditionPlenumPress1995。サイド情報エンコーダ720は、分解400により生成されたサイド情報413を符号化する。サイド情報413は、予測モード及び参照ピクチャリストに加えて、時間予測に対応する動き情報、空間予測に対応する視差情報、並びにビュー合成予測に対応するビュー合成情報及び奥行き情報を含む。サイド情報の符号化は、MPEG-4ビジュアル規格ISO/IEC14496-2情報技術-視聴覚オブジェクトの符号化-パート2:ビジュアルInformationtechnologyCodingofaudiovisualobjectsPart2Visual第2版、2001年、又はより最近のH.264/AVC規格、及びITU-T勧告H.264一般視聴覚サービスのための高度なビデオ符号化Advancedvideocodingforgenericaudiovisualservices2004年参照により本明細書中に援用されるにおいて用いられる技法等の既知の確立された技法によって達成することができる。例えば、マクロブロックの動きベクトルは通常、参照ピクチャ内のマクロブロックにおけるベクトルから予測ベクトルを求める予測方法を用いて符号化される。次に、予測ベクトルと現在のベクトルとの差にエントロピー符号化プロセスを施す。このプロセスは通常、予測誤差の統計値を用いる。同様の手順を用いて視差ベクトルを符号化することができる。さらに、参照ピクチャ内のマクロブロックからの予測値を得る予測符号化方法を用いて、又は単純に固定長符号を使用して奥行き値を直接表すことによって各マクロブロックの奥行き情報を符号化することができる。画素レベルの奥行き精度が抽出され圧縮される場合、変換技法、量子化技法及びエントロピー符号化技法を適用するテクスチャ符号化技法を適用することができる。信号エンコーダ710及びサイド情報エンコーダ720からの符号化された信号711~713を多重化して730、符号化された出力ビットストリーム731を生成することができる。MCTF/DCVF分解の復号化ビットストリーム731を復号化して740、入力マルチビュービットストリーム401~404に対応する出力マルチビュービットストリーム741を生成することができる。任意で、合成ビデオも生成することができる。概して、デコーダは、エンコーダの逆の操作を行ってマルチビュービデオを再構成する。全ての低域フレーム及び高域フレームが復号化されれば、空間ビュー次元及び時間次元の両方において符号化品質の完全なフレーム集合が再構成され利用可能になる。エンコーダにおいて適用した分解の反復レベル数、及びどのタイプの分解を適用したかに応じて、より少ない数のビデオ及び/又はより低い時間レートを図7に示すように復号化することができる。ビュー合成図8に示すように、ビュー合成は、1つ又は複数の実際のマルチビュービデオのフレーム803から合成ビデオのフレーム801を生成するプロセスである。言い換えれば、ビュー合成は、シーン5の選択された新たなビュー802に対応するフレーム801を合成する手段を提供する。この新たなビュー802は、入力マルチビュービデオ401~404が取得された時点では存在しない仮想カメラ800に対応してもよく、又は、取得されるカメラビューに対応することができ、よって、合成ビューは、後述のようにその予測及び符号化/復号化に用いられる。1つのビデオを用いる場合、合成は外挿又はワーピングに基づき、複数のビデオを用いる場合、合成は内挿に基づく。1つ又は複数のマルチビュービデオのフレーム803の画素値及びシーン中の複数の点の奥行き値が与えられれば、合成ビュー802のフレーム801内の画素を、フレーム803内の対応する画素値から合成することができる。ビュー合成は一般にコンピュータグラフィックスにおいて、複数のビューについて静止画をレンダリングするために用いられるBuehler他著非構造的なルミグラフのレンダリングUnstructuredLumigraphRenderingProcACMSIGGRAPH2001を参照のこと。この方法は、カメラの外部パラメータ及び内部パラメータを必要とする。マルチビュービデオを圧縮するためのビュー合成は新規である。本発明の一実施形態では、現フレームを予測するために使用する合成フレームを生成する。本発明の一実施形態では、指定された高域フレームについて合成フレームが生成される。本発明の別の実施形態では、特定のビューについて合成フレームが生成される。合成フレームは参照ピクチャとして働き、これらの参照ピクチャから現合成フレームを予測することができる。この手法に伴う1つの問題は、シーン5の奥行き値が分からないことである。したがって、本発明では、既知の技法を用いて、例えば、マルチビュービデオにおける特徴の対応関係に基づいて奥行き値を推定する。代替的に、合成ビデオ毎に、本発明では、候補奥行き値にそれぞれ対応する複数の合成フレームを生成する。現フレーム内のマクロブロック毎に、合成フレームの集合の中から最も良く一致するマクロブロックを求める。この最良一致が見つかった合成フレームは、現フレーム内のそのマクロブロックの奥行き値を示す。このプロセスを現フレーム内の各マクロブロックについて繰り返す。現マクロブロックと合成ブロックとの差は信号エンコーダ710により符号化及び圧縮される。このマルチビューモードのサイド情報は、サイド情報エンコーダ720によって符号化される。サイド情報は、ビュー合成予測モードを示す信号、マクロブロックの奥行き値、及び現フレーム内のマクロブロックと合成フレーム内の最良一致マクロブロックとの間の補償すべき位置ずれを補償する任意の変位ベクトルを含む。予測モードの選択マクロブロック適応的MCTF/DCVF分解において、各マクロブロックの予測モードmは、コスト関数をマクロブロック毎に適応的に最小化することによって選択することができる。ここで、Jm=DmλRmであり、Dは歪みであり、λは重みパラメータであり、Rはレートであり、mは候補予測モードの集合を示し、mは最小コスト基準に基づいて選択された最適予測モードを示す。候補モードmは様々な時間予測モード、空間予測モード、ビュー合成予測モード及びイントラ予測モードを含む。コスト関数Jmは、特定の予測モードmを用いてマクロブロックを符号化した結果として生じるレート及び歪みに依存する。歪みDは、再構成マクロブロックと元マクロブロックとの差を測定する。再構成マクロブロックは、所与の予測モードmを用いてマクロブロックを符号化及び復号化することによって得られる。一般的な歪み測度は差の二乗和である。レートRは、予測誤差及びサイド情報を含む、マクロブロックを符号化するために必要なビット数に対応する。重みパラメータλは、マクロブロック符号化のレート-歪みのトレードオフを制御するものであり、量子化ステップサイズから導出することができる。符号化プロセス及び復号化プロセスの詳細な態様を以下でさらに詳述する。特に、符号化プロセス及び復号化プロセスにより用いられる様々なデータ構造を説明する。エンコーダにおいて用いられるデータ構造は、本明細書中で説明するように、デコーダにおいて用いられる対応するデータ構造と同じであることを理解すべきである。また、デコーダの処理ステップは本質的に、エンコーダと同じ処理ステップに従うが、ただし逆の順序であることも理解すべきである。参照ピクチャ管理図9は、従来技術のシングルビューの符号化及び復号化システムのための参照ピクチャ管理を示す。時間参照ピクチャ901は、復号ピクチャバッファDPB940への時間参照ピクチャ901の挿入920及び削除930を決めるシングルビュー参照ピクチャリストRPLマネージャ910によって管理される。参照ピクチャリスト950もまた保持されて、DPB940に格納されているフレームを示す。RPLは、挿入920及び削除930といった参照ピクチャ管理操作、並びにエンコーダ及びデコーダの両方における時間予測960のために用いられる。シングルビューエンコーダにおいて、時間参照ピクチャ901は、予測、変換及び量子化を含む一組の通常の符号化操作を適用し、次にこれらの逆の、逆量子化、逆変換及び動き補償を含む操作を適用した結果として生成される。さらに、時間参照ピクチャ901は、エンコーダにおける現フレームの予測に時間ピクチャが必要なときにのみ、DPB940に挿入されて920RPL950に追加される。シングルビューデコーダにおいて、逆量子化、逆変換及び動き補償を含む一組の通常の復号化操作をビットストリームに対して適用することによって同じ時間参照ピクチャ901が生成される。エンコーダと同様に、時間参照ピクチャ901は、デコーダにおける現フレームの予測に必要である場合にのみDPB940に挿入されRPL950に追加される。図10は、マルチビューの符号化及び復号化のための参照ピクチャ管理を示す。時間参照ピクチャ1003に加えて、マルチビューシステムはまた、空間参照ピクチャ1001及び合成参照ピクチャ1002も含む。これらの参照ピクチャはまとめてマルチビュー参照ピクチャ1005と呼ばれる。これらのマルチビュー参照ピクチャ1005は、マルチビューDPB1040へのマルチビュー参照ピクチャ1005の挿入1020及び削除1030を決めるマルチビューRPLマネージャ1010によって管理される。ビデオ毎に、マルチビュー参照ピクチャリストRPL1050もまた保持されて、DPBに格納されているフレームを示す。すなわち、RPLはDPBのインデックスである。マルチビューRPLは、挿入1020及び削除1030といった参照ピクチャ管理操作、並びに現フレームの予測1060に用いられる。マルチビューシステムの予測1060は、異なるタイプのマルチビュー参照ピクチャ1005からの予測が可能となるため、シングルビューシステムの予測960とは異なることに留意されたい。マルチビュー参照ピクチャ管理1010に関するさらなる詳細は後述する。マルチビュー参照ピクチャリストマネージャエンコーダにおいて現フレームを符号化する前、又はデコーダにおいて現フレームを復号化する前に、マルチビューRPL1050においてマルチビュー参照ピクチャ1005の集合を指示することができる。従来及び本明細書中で定義されるように、集合は要素を全く有しなくても空集合、1つ又は複数の要素を有してもよい。RPLの同一コピーが、各現フレームについてエンコーダ及びデコーダの両方によって保持される。マルチビューRPL1050に挿入される全てのフレームが初期化され、適切な構文を用いて、予測に使用可能なものとしてマーキングされる。H.264/AVC規格及び参照ソフトウェアによれば、used_for_referenceフラグが1にセットされる。概して、参照ピクチャは、フレームをビデオ符号化システムにおける予測に使用することができるように初期化される。H.264/AVC等の従来のシングルビュービデオ圧縮規格との互換性を保つために、各参照ピクチャにピクチャ順序カウントpictureordercountPOCを割り当てる。通常、シングルビューの符号化及び復号化システムの場合、POCはピクチャの時間的な順序付け、例えばフレーム番号に対応する。マルチビューの符号化及び復号化システムの場合、時間順だけでは、各参照ピクチャにPOCを割り当てるのに不十分である。したがって、本発明では、全てのマルチビュー参照ピクチャについて或る規則に従って一意のPOCを求める。1つの規則は、時間参照ピクチャに対して時間順に基づいてPOCを割り当て、次に、非常に高いPOC番号のシーケンス、例えば10,000~10,100を空間参照ピクチャ及び合成参照ピクチャ用に確保するものである。他のPOC割り当て規則、又は単に順序付け規則を以下でさらに詳述する。マルチビュー参照フレームとして用いる全てのフレームがRPLに保持され、それらのフレームがエンコーダ700又はデコーダ740によって従来の参照ピクチャとして扱われるようにDPBに格納される。これにより、符号化プロセス及び復号化プロセスは従来通りとすることができる。マルチビュー参照ピクチャの格納に関するさらなる詳細は後述する。予測すべき現フレーム毎に、RPL及びDPBが対応して更新される。マルチビュー規則の定義及び信号伝達RPLを保持するプロセスは、エンコーダ700とデコーダ740との間で調整される。特に、エンコーダ及びデコーダは、特定の現フレームを予測する際にマルチビュー参照ピクチャリストの同一コピーを保持する。マルチフレーム参照ピクチャリストを保持するいくつかの規則が可能である。したがって、使用される特定の規則はビットストリーム731に挿入されるか、又はシーケンスレベルのサイド情報、例えばデコーダに伝達される構成情報として提供される。さらに、この規則は、異なる予測構造、例えば1Dアレイ、2Dアレイ、弧、十字、及びビューの内挿技法又はワーピング技法を用いて合成されるシーケンスを可能にする。例えば、合成フレームは、カメラによって取得されたマルチビュービデオのうちの1つの対応するフレームをワーピングすることによって生成される。代替的に、シーンの従来のモデルを合成中に用いることができる。本発明の他の実施形態では、ビュータイプ、挿入順、及びカメラ特性に依存するいくつかのマルチビュー参照ピクチャ保持規則を定義する。ビュータイプは、参照ピクチャが現フレームのビデオ以外のビデオからのフレームであるかどうか、又は、参照ピクチャが他のフレームから合成されたものであるかどうか、又は、参照ピクチャが他の参照ピクチャに依存するかどうかを示す。例えば、合成参照ピクチャは、現フレームと同じビデオからの参照ピクチャ、又は空間的に隣接するビデオからの参照ピクチャとは別に保持することができる。挿入順は、参照ピクチャがRPL内でどのように順序付けされるかを示す。例として、現フレームと同じビデオ中の参照ピクチャには、隣接ビューから撮影されたビデオ中の参照ピクチャよりも低い順序値を与えることができる。この場合、この参照ピクチャは、マルチビューRPLにおいて前のほうに配置される。カメラ特性は、参照ピクチャを取得するために使用されるカメラ、又は合成参照ピクチャを生成するために用いられる仮想カメラの特性を示す。これらの特性は、固定座標系に対する平行移動及び回転、すなわちカメラの姿勢、3Dの点が2D画像に投影される方法を記述する内部パラメータ、レンズ歪み、色較正情報、照明レベル等を含む。例として、カメラ特性に基づき、特定のカメラの隣接カメラに対する近接度を自動的に求めることができ、隣接カメラにより取得されたビデオのみを特定のRPLの一部とみなす。図11に示すように、本発明の一実施形態は、各参照ピクチャリストの一部1101を時間参照ピクチャ1003用に確保し、別の部分1102を合成参照ピクチャ1002用に確保し、第3の部分1103を空間参照ピクチャ1001用に確保する規則を使用する。これは、ビュータイプのみに依存する規則の一例である。各部分に含まれるフレーム数は、符号化又は復号化中の現フレームの予測依存性に基づいて変化し得る。特定の保持規則は、規格、明示的ルール又は暗黙的ルールによって規定するか、又は符号化ビットストリームにおいてサイド情報として規定することができる。DPBへのピクチャの格納マルチビューRPLマネージャ1010は、マルチビュー参照ピクチャがDPBに格納される順序が、符号化及び復号化の効率を高める上でのピクチャの有用性に対応するようにRPLを保持する。具体的には、RPLの初めのほうの参照ピクチャは、RPLの終わりのほうの参照ピクチャよりも少ないビットで断定的に符号化することができる。図12に示すように、マルチビュー参照ピクチャをRPLに保持する順序の最適化は、符号化効率に大きな影響を有し得る。例えば、初期化について上述したPOC割り当てに従うと、マルチビュー参照ピクチャには非常に大きなPOC値が割り当てられる可能性がある。これは、マルチビュー参照ピクチャがビデオシーケンスの通常の時間的な順序付けでは生じないためである。したがって、ほとんどのビデオコーデックのデフォルトの順序付けプロセスは、そのようなマルチビュー参照ピクチャを参照ピクチャリストの前のほうに配置する可能性がある。同一シーケンスからの時間参照ピクチャは通常、他のシーケンスからの空間参照ピクチャよりも強い相関を示すため、デフォルトの順序付けは望ましくない。したがって、マルチビュー参照ピクチャはエンコーダによって明示的に並べ替えられて、エンコーダがその後、この並べ替えをデコーダに信号伝達するか、又は、エンコーダ及びデコーダがマルチビュー参照ピクチャを所定の規則に従って暗黙的に並べ替える。図13に示すように、参照ピクチャの順序は、各参照ピクチャに対するビューモード1300によって容易になる。ビューモード1300もまたマルチビュー予測プロセス1060に影響を与えることに留意されたい。本発明の一実施形態では、さらに詳細に後述する3つの異なるタイプのビューモード、すなわち、Iビュー、Pビュー及びBビューを用いる。マルチビュー参照ピクチャ管理の詳細な動作を説明する前に、単一ビデオの符号化及び復号化システムのための従来技術の参照ピクチャ管理を図14に示す。時間参照ピクチャ901のみが時間予測960に用いられる。取得順又は表示順1401におけるビデオの時間参照ピクチャ間の時間予測依存性を示す。参照ピクチャは符号化順1402に並べ替えられ1410、この符号化順1402で各参照ピクチャが時刻t0~t6において符号化又は復号化される。ブロック1420は、時刻毎の参照ピクチャの順序付けを示す。イントラフレームI0が符号化又は復号化される時刻t0では、時間予測に使用される時間参照ピクチャはないため、DBP/RPLは空である。一方向インターフレームP1が符号化又は復号化される時刻t1では、フレームI0が時間参照ピクチャとして利用可能である。時刻t2及びt3では、フレームI0及びI1の両方がインターフレームB1及びB2の双方向時間予測のための参照フレームとして利用可能である。時間参照ピクチャ及びDBP/RPLは、将来のピクチャについても同様に管理される。本発明の一実施形態によるマルチビューの場合を説明するために、上述し図15に示す3つの異なるタイプのビュー、すなわち、Iビュー、Pビュー、及びBビューを検討する。表示順1501におけるビデオの参照ピクチャ間のマルチビューの予測依存性を示す。図15に示すように、ビデオの参照ピクチャはビューモード毎に符号化順1502に並べ替えられ1510、この符号化順1502で各参照ピクチャが、t0~t2で示す所与の時刻において符号化又は復号化される。マルチビュー参照ピクチャの順序を時刻毎にブロック1520に示す。Iビューは、より複雑なモードを可能にする最も単純なモードである。Iビューは、空間予測も合成予測も用いない従来の符号化及び予測モードを用いる。例えば、Iビューは、マルチビュー拡張を用いずに従来のH.264/AVC技法を用いて符号化することができる。Iビューシーケンスからの空間参照ピクチャを他のビューの参照リストに配置するとき、これらの空間参照ピクチャは通常、時間参照ピクチャの後に配置される。図15に示すように、Iビューの場合、フレームI0がt0において符号化又は復号化されるとき、予測に用いられるマルチビュー参照ピクチャはない。したがって、DBP/RPLは空である。フレームP0が符号化又は復号化される時刻t1では、I0が時間参照ピクチャとして利用可能である。フレームB0が符号化又は復号化される時刻t2では、フレームI0及びP0の両方が時間参照ピクチャとして利用可能である。Pビューは、別のビューからの予測を可能にしてビュー間の空間的相関を利用するという点で、Iビューよりも複雑である。具体的には、Pビューモードを用いて符号化されるシーケンスは、他のIビュー又はPビューからのマルチビュー参照ピクチャを用いる。Pビューでは合成参照ピクチャも用いることができる。Iビューからのマルチビュー参照ピクチャを他のビューの参照リストに配置するとき、Pビューは、時間参照ピクチャ、及びIビューから導出されるマルチビュー参照ピクチャの両方の後に配置される。図15に示すように、Pビューの場合、フレームI2がt0において符号化又は復号化されるとき、合成参照ピクチャS20及び空間参照ピクチャI0が予測に利用可能である。合成ピクチャの生成に関するさらなる詳細は後述する。P2が符号化又は復号化される時刻t1では、I2が時間参照ピクチャとして、合成参照ピクチャS21及びIビューからの空間参照ピクチャP0とともに利用可能である。時刻t2では、2つの時間参照ピクチャI2及びP2、並びに合成参照ピクチャS22及び空間参照ピクチャB0が存在し、これらの参照ピクチャから予測を行うことができる。Bビューは、マルチビュー参照ピクチャを用いるという点で、Pビューと同様である。PビューとBビューとの間の1つの重要な差異は、Pビューがそのビュー自体及び1つの他のビューからの参照ピクチャを用いるのに対し、Bビューは複数のビューのピクチャを参照し得ることである。合成参照ピクチャを用いるとき、合成ビューは通常、空間参照よりも強い相関を有するため、Bビューは空間参照ピクチャの前に配置される。図15に示すように、Bビューの場合、I1がt0において符号化又は復号化されるとき、合成参照ピクチャS10並びに空間参照ピクチャI0及びI2が予測に利用可能である。P1が符号化又は復号化される時刻t1では、I1が時間参照ピクチャとして、合成参照ピクチャS11、並びにそれぞれIビュー及びPビューからの空間参照ピクチャP0及びP2とともに利用可能である。時刻t2では、2つの時間参照ピクチャI1及びP1が存在するとともに、合成参照ピクチャS12並びに空間参照ピクチャB0及びB2が存在し、これらの参照ピクチャから予測を行うことができる。図15に示す例は本発明の一実施形態に関するものに過ぎないことを強調しておく。多くの異なるタイプの予測依存性がサポートされる。例として、空間参照ピクチャは、同時刻の異なるビューにおけるピクチャに限定されない。空間参照ピクチャはまた、異なる時刻の異なるビューに対する参照ピクチャも含むことができる。また、イントラピクチャ間の双方向予測ピクチャ及び一方向予測インターピクチャの数は変化し得る。同様に、Iビュー、Pビュー、及びBビューの構成も変化し得る。さらに、異なるピクチャ集合又は異なる奥行きマップ若しくはプロセスを用いてそれぞれ生成されるいくつかの合成参照ピクチャが利用可能であり得る。互換性本発明の実施形態によるマルチビューピクチャ管理の1つの重要な利点は、既存のシングルビューのビデオ符号化システム及び設計と互換性があることである。このマルチビューピクチャ管理は、既存のシングルビュービデオ符号化規格に加える変更が最小であるだけでなく、既存のシングルビュービデオ符号化システムからのソフトウェア及びハードウェアを、本明細書に記載するマルチビュービデオ符号化に使用することも可能にする。この理由は、ほとんどの従来のビデオ符号化システムが、符号化パラメータをデコーダに圧縮ビットストリームで伝達するからである。したがって、このようなパラメータを伝達する構文は、H.264/AVC規格等の既存のビデオ符号化規格によって規定されている。例えば、ビデオ符号化規格は、現フレーム内の所与のマクロブロックに対する予測モードを、他の時間的に関連する参照ピクチャから規定する。規格はまた、結果として生じる予測誤差を符号化及び復号化するために使用される方法を規定する。他のパラメータは、変換のタイプ又はサイズ、量子化方法、及びエントロピー符号化方法を規定する。したがって、本発明のマルチビュー参照ピクチャは、既存のシステムの参照ピクチャリスト、復号ピクチャバッファ、及び予測構造等の標準的な符号化コンポーネント及び復号化コンポーネントに限られた数の修正を加えるだけで実施することができる。マクロブロック構造、変換、量子化及びエントロピー符号化は変更されないことに留意されたい。ビュー合成図8について上述したように、ビュー合成は、仮想カメラ800の合成ビュー802に対応するフレーム801を、既存のビデオから取得されるフレーム803から生成するプロセスである。言い換えれば、ビュー合成は、入力ビデオが取得された時点では存在しない仮想カメラによるシーンの選択された新たなビューに対応するフレームを合成する手段を提供する。1つ又は複数の実際のビデオのフレームの画素値及びシーン中の点の奥行き値が与えられると、合成ビデオビューのフレーム内の画素を外挿及び/又は内挿により生成することができる。合成ビューからの予測図16は、奥行き情報1901が符号化マルチビュービットストリーム731に含まれているときに、ビュー合成モードを用いて再構成マクロブロックを生成するプロセスを示す。所与のマクロブロックの奥行きは、サイド情報デコーダ1910によって復号化される。奥行き及び空間参照ピクチャ1902を用いてビュー合成1920を行い、合成マクロブロック1904を生成する。次に、合成マクロブロック1904と復号化された残差マクロブロック1905とを加算する1930ことによって再構成マクロブロック1903が形成される。エンコーダにおけるマルチビューモード選択の詳細図17は、現フレームの符号化又は復号化中に予測モードを選択するプロセスを示す。時間参照ピクチャ2020を用いて現マクロブロック2011について動き推定2010を行う。結果として得られる動きベクトル2021を用いて、時間予測を用いて第1の符号化コストcost12031を求める2030。このプロセスに関連する予測モードはm1である。空間参照ピクチャ2041を用いて現マクロブロックについて視差推定2040を行う。結果として得られる視差ベクトル2042を用いて、空間予測を用いて第2の符号化コストcost22051を求める2050。このプロセスに関連する予測モードをm2で示す。空間参照ピクチャ2041に基づき現マクロブロックについて奥行き推定2060を行う。推定した奥行きに基づいてビュー合成を行う。奥行き情報2061及び合成ビュー2062を用いて、ビュー合成予測を用いて第3の符号化コストcost32071を求める2070。このプロセスに関連する予測モードはm3である。現マクロブロックの隣接画素2082を用いて、イントラ予測を用いて第4の符号化コストcost42081を求める2080。このプロセスに関連する予測モードはm4である。cost1、cost2、cost3及びcost4の中の最小コストを求め2090、モードm1、m2、m3及びm4のうち最小コストを有するモードを、現マクロブロック2011の最良予測モード2091として選択する。奥行き推定を用いたビュー合成ビュー合成モード2091を用いて、合成ビューの奥行き情報及び変位ベクトルを、1つ又は複数のマルチビュービデオの復号化フレームから推定することができる。奥行き情報は、適用されるプロセスに応じて、立体カメラから推定される画素毎の奥行きであってもよく、又は、マクロブロックマッチングから推定されるマクロブロック毎の奥行きであってもよい。この手法の利点は、エンコーダがデコーダと同じ奥行き情報及び変位情報にアクセス可能である限り、奥行き値及び変位ベクトルがビットストリーム中に必要ないため、帯域幅が小さくなることである。エンコーダは、デコーダがエンコーダと全く同じ奥行き及び変位推定プロセスを使用する限り、これを達成することができる。したがって、本発明のこの実施形態では、現マクロブロックと合成マクロブロックとの差がエンコーダによって符号化される。このモードのサイド情報はサイド情報エンコーダ720によって符号化される。サイド情報は、ビュー合成モードを示す信号及び参照ビュー複数可を含む。サイド情報は、エンコーダによってビュー合成に使用される奥行き及び変位と、デコーダによって推定される値との間の差である奥行き及び変位補正情報も含むことができる。図18は、奥行き情報がデコーダにおいて推定又は推測され、符号化マルチビュービットストリームで伝達されないときの、ビュー合成モードを用いたマクロブロックの復号化プロセスを示す。奥行き2101は空間参照ピクチャ2102から推定される2110。次に、推定された奥行き及び空間参照ピクチャを用いてビュー合成2120を行い、合成マクロブロック2121を生成する。再構成マクロブロック2103が、合成マクロブロックと復号化された残差マクロブロック2104との加算2130によって形成される。空間ランダムアクセス従来のビデオ中のフレームに対しランダムアクセスを提供するために、Iフレームとしても知られるイントラフレームが通常、ビデオ全体に間隔を置いて配置される。これにより、デコーダは、復号化シーケンス中の任意のフレームにアクセスすることが可能になるが、圧縮効率は低下する。本発明のマルチビューの符号化及び復号化システムのために、本明細書中においてVフレームと呼ぶ新たなタイプのフレームを提供し、ランダムアクセス及び圧縮効率の向上を可能にする。Vフレームは、時間予測を用いずに符号化されるという意味でIフレームと同様である。しかし、Vフレームは、他のカメラからの予測又は合成ビデオからの予測も可能にする。具体的には、Vフレームは、空間参照ピクチャ又は合成参照ピクチャから予測される圧縮ビットストリーム中のフレームである。Iフレームの代わりにVフレームをビットストリームに周期的に挿入することによって、本発明では、Iフレームで可能であるような時間ランダムアクセスを、より高い符号化効率で提供する。図19は、最初のビューに対するIフレームの使用、及び同時刻1900における以後のビューに対するVフレームの使用を示す。図5に示す格子構成の場合、Vフレームは、全てのビューについて同時刻には生じないことに留意されたい。低域フレームのいずれかにVフレームを割り当てることができる。この場合、Vフレームは、近傍ビューの低域フレームから予測されることになる。H.264/AVCビデオ符号化規格では、クローズドGOPを有するMPEG-2のIフレームに似たIDRフレームが、全ての参照ピクチャがデコーダピクチャバッファから削除されることを示唆する。これにより、IDRフレームの前のフレームは、IDRフレームよりも後のフレームの予測に用いることができない。本明細書中に記載するマルチビューデコーダでは、Vフレームが同様に、全ての時間参照ピクチャをデコーダピクチャバッファから削除することができることを示唆する。しかし、空間参照ピクチャはデコーダピクチャバッファに残しておくことができる。これにより、所与のビューにおけるVフレームの前のフレームは、同一ビューにおけるVフレームの後のフレームの時間予測を行うために用いることができない。マルチビュービデオ中の1つの特定のフレームにアクセスするためには、そのビューのVフレームをまず復号化しなければならない。上述のように、これは、時間参照ピクチャを使用することなく、空間参照ピクチャ又は合成参照ピクチャからの予測により達成することができる。選択ビューのVフレームを復号化した後、そのビューの以後のフレームを復号化する。これらの以後のフレームは、近傍ビューからの参照ピクチャに対して予測依存性を有する可能性が高いため、これらの近傍ビューにおける参照ピクチャも復号化する。既知の予測依存性による空間ランダムアクセス上述のVフレーム方法は、所与のビューの時間参照ピクチャに対する予測依存性を制限することによって空間ランダムアクセスを提供する。以下では、ビューを、1つ又は複数のカメラによって或るシーンについて取得された1つ又は複数のフレームとして定義する。異なるビューのフレームが異なるカメラにより取得される。これらのビューのフレームを、1つ又は複数のビットストリーム中に符号化することができる。好ましい実施形態では、これらのビューは、単一のマルチビュービットストリームに多重化される。しかし、効率的なランダムアクセスを可能にするために付加的な情報が必要である。この付加的な情報がなければ、デコーダは、所与の期間内の全てのビューの全てのフレームを復号化しなければならないか、又は、全てのマクロブロックをパースして全てのフレームについて予測依存性を求めた上で、復号化しなければならないフレームを決めなければならない。この問題を、複数のビューの従来のサイマル放送符号化、すなわち、各ビューの別個のビットストリームへの個別の符号化を一例として用いてさらに説明する。サイマル放送符号化では、ビューの切り替えは簡単である。デコーダは単純にストリームXを復号化し、他のストリームはすべて無視する。次に、ユーザが或る時刻TにおいてビューYに切り替えたいとき、デコーダは単純にストリームXの復号化を停止し、ランダムアクセスを開始して時刻TにおいてストリームYを復号化する。この場合、必要な遅延及び計算量は本質的に、個別に符号化される各ストリーム中のピクチャグループGOPの長さに比例する。対照的に、本発明の一実施形態による単一のマルチビュー圧縮されたビットストリーム中に、ビュー依存性に関する付加的な情報がなければ、ランダムアクセスは極めて複雑になる可能性がある。例えば、図20に示すような、各ビューのフレームが単一の時間順のシーケンスに配置され、階層的なBフレームを用いて符号化されているマルチビュービットストリームを検討する。この予測構造が与えられた状態で、デコーダが、ビットストリームの中程にあるフレーム例えばストリームS7の時刻T7にあるフレームへのランダムアクセスを開始したい場合、このフレームにアクセスできる唯一の方法は、IDRピクチャを求めてビットストリームを探索するか、又はアクセスすべきフレームの直前の付加拡張情報supplementalenhancementinformationSEIメッセージを回復し、次にこの時刻から順方向に、所望のフレームが復号化されるまで復号化することである。これは、I0とラベル付けされるフレームから順方向に復号化することに対応し、V×G1-1個の余分なフレームのオーバーヘッドを必要とし、ここで、Vはビューの数であり、GはGOP長である。対照的に、各ストリームの従来の個別の符号化を用いてこのフレームにランダムアクセスするためのオーバーヘッドは単純にGとなる。したがって、ビューを切り替える際のリアルタイム性能を保証するために、マルチビューデコーダは、従来のシングルビューデコーダのおよそV倍の速さで動作できなければならない。しかし、この大きなオーバーヘッドは必ずしも、図20の予測構造によるものではなく、デコーダがランダムアクセスを効率的に行うことを可能にするための適切な情報の欠如によるものである。具体的には、フレームT7,S7を復号化するために、正確な予測構造を事前に知っている全知omniscientデコーダであれば、このフレームのための参照として用いられるピクチャ、及びこれらの参照のための参照ピクチャとして用いられるフレーム等のみを、GOPの始まりのIピクチャまで復号化することができる。最悪でも、これに必要なオーバーヘッドはこの例におけるランダムアクセスの場合に18フレームであり、従来のH.264/AVC構文を用いてランダムアクセスを開始するデコーダの71フレームとは対照を成す。予測構造の知識は、ランダムアクセス要件を大幅に減らすことができるが、予測構造を探査traverseする最適な方法をデコーダが事前に完全に知ることを期待するのは、いくつかの理由から不合理である。第1に、最適な探査ルールはフレーム毎に異なる可能性がある。したがって、この探査ルールを格納することは実行不可能であり得る。第2に、エンコーダは、符号化時に予測構造を適応的に選択するので、正確な予測構造をデコーダに効率的に伝達することができないかもしれない。第3に、予測構造は、新たな構文要素を用いて通信されずとも他の方法で所定のランダムアクセス探査ルールを可能にする厳格な周期構造を有しない場合がある。単一マルチビュー圧縮ビットストリームにおけるターゲットフレームへの効率的なランダムアクセスを可能にするために、本発明では、ビュー依存性予測構造に関する付加的な情報を利用して復号化要件を最小化し、空間ランダムアクセスを達成する、空間ランダムアクセス方法を説明する。本明細書では、この付加的な情報を予測依存性メッセージと呼ぶ。H.264/AVC規格の文脈において、SEIメッセージは、このような付加的な情報をエンコーダからデコーダへ伝達するために用いられる。以下では、本明細書中でビュー依存性SEIメッセージと呼ぶ特定のタイプの予測依存性メッセージを説明する。上述したように、Vフレームは、同一ビューの他のフレームに対して時間依存性を持たず、同時刻における別のビューのフレームのみから予測され得る。本発明の一実施形態によるビュー依存性SEIメッセージは、Vフレーム及び前後のフレームシーケンスが正確にどのビューに依存し得るかを記述する。これがH.264/AVC規格の文脈でどのように規定されるかに関するさらなる詳細を後述する。第1に、H.264/AVC規格の表7-1を、Vフレームに対応する新たなネットワーク適応レイヤNALユニットタイプ14を含むように拡張する。NALユニットタイプ1~5のみが、ビデオ符号化レイヤVCLNALユニットとみなされることに留意されたい。この変更により、NALユニットタイプ14もVCLNALユニットとみなすべきである。第2に、Vフレームを次のように定義する:全てのスライスが同一の時間インデックスを有するスライスのみ、すなわち、他のビューのスライスのみを参照し、現在のビューのスライスは参照しない符号化フレーム。Vフレームを復号化又は表示する際、Vフレームはまた復号化プロセスに、IDRフレームでもVフレームでもなく、出力順においてVフレームに先行する同一ビューからの全てのフレームを、参照に使用されないものとしてマーキングさせる。各Vフレームは、同一NAL内で生じるビュー依存性SEIメッセージに関連付けられるべきである。上の定義は、Vフレームが復号化又は表示されるまで、Vフレームに先行する全てのフレームが参照に使用されないものとしてマーキングされないため、OpenGOPの予測を可能にすることを強調しておく。これにより、Vフレーム自体を先行フレームの予測に用いることが可能になるが、依然として、Vフレームより後のフレームの予測について時間依存性を制限する。ClosedGOP実施態様では、現フレームを受け取りVフレームとして識別する際、Vフレームに先行するフレームが参照に使用されないものとしてマーキングされる。第3に、ビュー依存性SEIメッセージを以下の構文により定義する。ここで、num_seq_reference_viewsは、現在のシーケンスの参照として使用することができるビューの数を示し、seq_reference_view_iは、現在のシーケンスの参照として使用することができるビューのビューインデックスであり、num_pic_reference_viewsは、現フレームの参照として使用することができるビューの数を示し、pic_reference_view_iは、現フレームの参照として使用することができるビューのビューインデックスである。SEIメッセージの各フィールドは、符号なし整数Exp-Golombにより符号化された構文要素として、H.264/AVC規格に従ってuevとして示される左端のビットから符号化される。ビュー依存性SEIメッセージに関連するフレームは、pic_reference_view_iにより示される指定されたビューのみを参照する。同様に、そのビューの出力順における以後のフレームはすべて、そのビューにおける次のビュー依存性SEIメッセージまで、seq_reference_view_iにより示される指定されたビューのみを参照する。ビュー依存性SEIメッセージがランダムアクセス目的で役立つために、個別に符号化された各フレーム、すなわちIDRフレームと関連付けられ、各フレームは、空間参照ピクチャ、すなわちVフレームのみを用いて符号化される。上記では、予測依存性メッセージの特殊な場合であるビュー依存性SEIメッセージを説明する。同様に、時間依存性SEIメッセージも定義することができる。このようなメッセージに含まれるフィールドは、復号化に必要なフレーム集合をさらに低減するために用いることができる。時間依存性SEIメッセージがランダムアクセス目的で役立つために、全ての符号化フレームと関連付けられる。所与のフレームについて時間依存性メッセージが存在しない場合、このフレームは時間参照ピクチャとして用いられないと推測することができる。空間ランダムアクセスのためのデコーダ動作以下では、上述の構文及び方法を用いてランダムアクセスを効率的に行うことができるデコーダを説明する。提案する構文を用いずにビューVの時刻Tにおけるフレームにアクセスするには、デコーダが、所望のフレームの前の最初の適切な回復フレームを位置決めして、その点から順方向へ復号化する必要がある。本発明のこの実施形態による方法では、デコーダは、指定されたビューVの時刻Tにおけるターゲットフレームを復号化するために必要なフレーム集合をマーキングする。次にデコーダは、適切な回復フレームから順方向に復号化する。ランダムアクセスに必要ないフレームはスキップされる。必要なフレームは従来通り復号化される。したがって、マルチビュー圧縮ビットストリームへのランダムアクセスのための復号化を行う上での主な差異は、ランダムアクセスを行うためにどのフレーム集合が必要であり、どのフレームをスキップできるかを判定することである。参照に使用されないものとしてマーキングされたフレームはスキップすることができるが、所望のランダムアクセスを提供するために参照のために使用されるものとしてマーキングされたフレームを復号化するかどうかを判定することのほうが関係が深い。概念的に、デコーダは、SEIメッセージ内に示される適切な回復フレームから開始して、必要なフレームのみを復号化することにより、どのフレームが必要であるかを判定することができる。図21は、ランダムアクセスを提供する方法を示す。予測依存性メッセージ2151がSEIメッセージデコーダ2152により受け取られて、予測依存性メッセージのフィールド2153が生成される。予測依存性メッセージのフィールド2153及びターゲットフレームV,T2154に基づいて、ターゲットフレームV,T2154にアクセスする前に復号化する必要のある、MarkFramesV,Tと呼ばれるフレーム集合2159が、必要なフレームのマーキングプロセス2155により判定される。フレーム集合2159はマルチビュービットストリームデコーダ2156に渡され、このマルチビュービットストリームデコーダ2156は、ビットストリーム2157を受け取り、必要なフレーム集合を復号化し、出力フレームV,T2158として示されるターゲットフレームへのアクセスを提供する。必要なフレームのマーキングプロセス2155の詳細を以下に説明する。=======================================MarkFramesV,T=======================================1.時刻T及びビューVにおけるフレームが必要なものとしてマーキングされた場合、それ以上は何も行わずに、このMarkFramesの呼び出しを終了し、そうでない場合、以下のステップを行う。2.時刻T及びビューVにおける参照ピクチャを必要なものとしてマーキングする。3.T’をビューVにおける時刻T以前の最初のIDRフレーム又はVフレームの時間インデックスに設定する。4.T’’をビューVにおける時刻T以後の最初のIDRフレーム又はVフレームの時間インデックスに設定する。5.時刻T’及びビューVにおけるピクチャに関連するビュー依存性SEIメッセージのpic_reference_view_iフィールドに列挙されている各ビューvについて、MarkFramesv,T’を反復的に実行する。6.時刻T’及びビューVにおけるピクチャに関連するビュー依存性SEIメッセージのpic_reference_view_iフィールドに列挙されている各ビューvについて、MarkFramesv,T’’を反復的に実行する。7.時刻T’及びビューVにおけるピクチャに関連するビュー依存性SEIメッセージのseq_reference_view_iフィールドに列挙されている各ビューvについて、またT’1~T’’-1の間のtの各値T’1及びT’’-1を含むについて、MarkFramesv,tを反復的に実行する。8.T’~T’’の間のtの各値T’及びT’’を含むについて、MarkFramesV,tを反復的に実行する。=======================================MarkFramesV,Tの呼び出しは、参照に使用されないものとしてマーキングされたフレームには行う必要がないことを理解すべきである。上記プロセスに対する直感は以下の通りである:ステップ1は、ほとんどの再帰関数において、処理が最終的に終了することを保証するために用いられる標準的な終了条件である。ステップ2は、必要なフレームをマーキングし、ステップ3及び4は特定のビューの時間的境界をインデックス付けする。ステップ5及び6は、ターゲットフレームの前又は後のVフレーム又はIDRフレームを復号化するために必要なフレーム集合をマーキングする。本質的に、これらのステップは、Vフレームのビュー間の依存性を説明する一方で、Vフレーム又はIDRフレームの前又は後のフレームに対する時間依存性を壊す。ステップ7の目的は、現在のビューにおける参照ピクチャの予測に必要である可能性がある他のビューの全てのフレームをマーキングすることである。最後に、ステップ8は、所望のフレームの時間予測に必要である可能性がある現在のビューのIスライス、Pスライス又はBスライスをすべてマーキングする。ターゲットフレームV,Tにアクセスするために必要なフレームをマーキングするための方法を図22に示す。まず、MarkFrameV,Tを呼び出す2201。次に、フレームV,Tが既にマーキングされているかどうかをチェックする2210。既にマーキングされている場合、プロセスは終了する2220。マーキングされていない場合、同一ビューの、時刻T以前における前のVフレーム又はIDRフレームのフレームインデックスを見つける2230。次に、このフレームに対応する、すなわち、現在のビューVにおける、Vフレーム又はIDRフレームが存在する時刻にあるビュー依存性SEIメッセージを得る2240。次に、MarkFramesプロセスをメッセージにより示される各フレームについて、メッセージにより示される他のビューの各フレーム範囲について反復的に呼び出し2202、時間参照であり得る現在のビューの各フレームについて再び呼び出す2203。最後に、フレームV,Tを必要なものとしてマーキングし2250、MarkFrameの現在の呼び出しを終了し、終了する2260。図20に示す予測構造に基づいて、マーキングプロセス、特にフレームがマーキングされる順序を明示するために、いくつかの例を以下に挙げる。0は必要でないフレームを表し、各例における1はランダムアクセスするターゲットフレームV,Tを表し、他の0でない整数は所与のフレームがマーキングされる順序を表す。1行目は第1のビューに対応し、2行目は第2のビューに対応し、以下同様に対応する。例1:V,T=2,2。この例は、ビュー2がビュー0の2つのフレームのみに依存すること、及びビュー2の全てのフレームが現在のプロセスによりマーキングされることを示す。これは、従来技術のような全フレームの順次復号化と比べて大幅な低減である。5、6、8、9、10とマーキングされているフレームはビュー2における時間参照ピクチャとして用いられないが、これらのフレームは、近傍ビューすなわちビュー1及びビュー3のフレームを予測するための参照に用いられる。参照に使用されないフラグがセットされていないため、これらのフレームをスキップできるかは定かでない。しかし、時間依存性メッセージ、又は現フレームが現在のビューにおいて時間参照として用いられるのか、或いは近傍ビューにおける空間参照としてのみ用いられるのかを区別する構文要素等のいくらかの付加的な情報により、これらのフレームを必要なものとしてマーキングせず、よって復号化する必要なフレーム数をさらに低減することが可能である。例2:V,T=1,3。この例は、ビュー1が2つの他のビュービュー0及びビュー2に依存することを示す。ビュー0及びビュー2の両方の全フレームが必要なフレームとしてマーキングされる。ビュー1の一部のフレームは参照として使用されないため、ビュー1の全てのフレームが必要なものとしてマーキングされる訳ではない。前の例と同様に、ターゲットフレームが依存しないとマーキングされているフレームもいくつかある。例えば、ビュー1の23とマーキングされているフレームは、ターゲットフレームへのアクセスに必要ではない。時間依存メッセージがこのような情報を伝達し得る。また、6、10、12、13、19とマーキングされているフレームは、ターゲットフレームにアクセスするための参照として必要とされないビュー1のフレームに対する参照としてのみ用いられる。この二次依存性は検出がより難しい。例3:V,T=5,2。この例は、ビュー予測依存性が制限されているため、ターゲットフレームが後のほうのビューにあっても必要なフレーム数が大幅に増加しないことを明示する。本発明の方法の実施形態は、マルチビュービットストリームでの空間ランダムアクセスのためのデコーダ要件を有効に最小化する。本方法は、ランダムに指定されるビューのランダムに指定される時刻におけるマルチビュービットストリームのターゲットフレームへのアクセスが必要である自由視点ビデオ用途に特に有用である。本発明を好ましい実施形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び修正を行うことができることが理解される。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るそのような変形及び修正をすべて網羅することである。"