(57)【特許請求の範囲】
【請求項１】
多視点映像コンテンツがビュー間予測を使用して符号化されたとき、シングルループの復号化を使用してビットストリームから前記多視点映像コンテンツを復号化するデコーダを有し、前記ビュー間予測は、参照ビューの完全に再構成されたピクチャを参照として使用せず、
前記ビュー間予測は、前記多視点映像コンテンツの前記参照ビューから深度情報、照明補償オフセット及び視差データの少なくとも１つを推定することを含み、
前記ビットストリームにおけるフラッグは、前記多視点映像コンテンツのアンカーピクチャ及びノンアンカーピクチャのうちの１つが、対応する各々の参照ビューのピクチャを完全に再構成することなしに、復号化できるか否かを示す、
ことを特徴とする装置。
【請求項２】
前記ビュー間予測は、所与のビューに関して前記多視点映像コンテンツの前記参照ビューからの少なくとも１つのピクチャの少なくとも１部に関連する特性から前記多視点映像コンテンツの前記所与のビューの符号化及び復号化に関連する情報を推定すること、及び前記少なくとも１つのピクチャの少なくとも１つに関連する情報を復号化することを含む、
請求項１記載の装置。
【請求項３】
多視点映像コンテンツがビュー間予測を使用して符号化されたとき、シングルループの復号化を使用してビットストリームから前記多視点映像コンテンツを復号化するステップを含み、前記ビュー間予測は、参照ビューの完全に再構成されたピクチャを参照として使用せず、
前記ビュー間予測は、前記多視点映像コンテンツの前記参照ビューから深度情報、照明補償オフセット及び視差データの少なくとも１つを推定することを含み、
前記ビットストリームにおけるフラッグは、前記多視点映像コンテンツのアンカーピクチャ及びノンアンカーピクチャのうちの１つが、対応する各々の参照ビューのピクチャを完全に再構成することなしに、復号化できるか否かを示す、
ことを特徴とする方法。
【請求項４】
前記ビュー間予測は、所与のビューに関して前記多視点映像コンテンツの前記参照ビューからの少なくとも１つのピクチャの少なくとも１部に関連する特性から前記多視点映像コンテンツの前記所与のビューの符号化及び復号化に関連する情報を推定すること、及び前記少なくとも１つのピクチャの少なくとも１つに関連する情報を復号化することを含む、
請求項３記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像符号化及び復号化に関し、より詳細には、多視点符号化映像のシングルループ復号化を支援するエンコーダ及びデコーダでの方法及び装置に関する。
【０００２】
本出願は、2007年6月28日に提出された米国特許仮出願第60/946,932号の利益を特許請求するものであり、この仮出願は、完全な形で本明細書において引用により盛り込まれる。さらに、本出願は、同一出願人によるものであって、本出願と同時に提出される“METHODS  AND  APPARATUS  AT  AN  ENCODER  AND  DECODER  FOR  SUPPORTING  SINGLE  LOOP  DECODING  OF  MULTI-VIEW  CODED  VIDEO”と題された代理人番号PU070161の非仮出願に関するものであり、この仮出願は、本明細書において引用において盛り込まれる。
【背景技術】
【０００３】
多視点映像符号化（MVC:  Multi-view  Video  Coding）は、自由視点及び３次元（３Ｄ）ビデオアプリケーション、ホームエンターテイメント及び調査を含む多様な用途に機能する。それら多視点の用途では、関与するビデオデータの量は膨大である。
【０００４】
多視点映像源は同じ又は類似のシーンの多数のビューを含むので、多数のビューの画像間で高い程度の相関が存在する。したがって、時間的な冗長度に加えてビューの冗長度を利用することができ、同じ又は類似のシーンの異なるビューにわたりビューの予測を行うことで達成される。
【０００５】
第一の従来技術のアプローチでは、ＭＶＣの符号化効率を改善するため、モーションスキップモードが提案される。第一の従来技術のアプローチは、２つの隣接するビュー間の動きの関して類似性が存在するという考えから生じている。
【０００６】
モーションスキップモードは、同じ時間的な瞬間での隣接するビューにおける対応するマクロブロックから直接的に、マクロブロックタイプ、動きベクトル、及びリファレンスインデックスのような動き情報を推測する。この方法は、２つの以下のステージに分解される。（１）対応するマクロブロックのサーチ、及び（２）動き情報の導出。第一のステージでは、隣接するビューのピクチャにおける対応する位置（マクロブロック）を示すため、グローバルディスパリティベクトル（ＧＤＶ）が使用される。グローバルディスパリティベクトルは、現在のピクチャと隣接するビューのピクチャとの間のマクロブロックサイズのユニットにより測定される。グローバルディスパリティベクトルは、たとえばアンカーピクチャ毎にといった周期的に予測及び復号化することができる。係るケースでは、ノン・アンカーピクチャのグローバルディスパリティベクトルは、アンカーピクチャから最近のグローバルディスパリティベクトルを使用して補間される。第二のステージでは、動き情報は、隣接するビューのピクチャにおける対応するマクロブロックから導出され、動き情報は、現在のマクロブロックに適用される。モーションスキップモードは、現在のマクロブロックがベースビューのピクチャにあるか、又はJMVM（Joint  Multi-view  Video  Model）で定義されるアンカーピクチャにある場合にディスエーブルにされる。これは、第一の従来技術のアプローチの提案される方法は、インター予測プロセスの別のやり方を与えるため、隣接するビューからのピクチャを利用するためである。
【０００７】
デコーダにモーションスキップモードの使用を通知するため、motion_skip_flagが多視点映像符号化のマクロブロックレイヤのシンタックスエレメントのヘッドに含まれる。motion_skip_flagがイネーブルにされた場合、現在のマクロブロックは、隣接するビューにおける対応するマクロブロックから、マクロブロックタイプ、動きベクトル及びリファレンスインデックスを導出する。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、実際のシナリオでは、多数のカメラを含む多視点映像システムは、異機種のカメラ、又は完全に較正されていないカメラを使用して構築される。多くのカメラにより、複雑度と同様にデコーダのメモリの要件は、著しく増加する。さらに、所定の用途は、あるビューのセットから幾つかのビューを復号化することのみを必要とする場合がある。結果として、出力のために必要とされないビューを完全に再構成する必要がない場合がある。
【課題を解決するための手段】
【０００９】
従来技術のこれらの課題及び問題点並びに他の課題及び問題点は、本発明により対処され、本発明は、多視点符号化映像のシングルループの復号化をサポートするエンコーダ及びデコーダでの方法及び装置に向けられる。
【００１０】
本発明の態様によれば、装置が提供される。本装置は、多視点映像のコンテンツがビュー間予測を使用して符号化されるとき、多視点映像コンテンツのシングルループの復号化をイネーブルにするため、多視点映像コンテンツを符号化するエンコーダを含む。
【００１１】
本発明の別の態様によれば、方法が提供される。本方法は、多視点映像のコンテンツがビュー間予測を使用して符号化されるとき、多視点映像コンテンツのシングルループの復号化をサポートするため、多視点映像コンテンツを符号化するステップを含む。
【００１２】
本発明の更に別の態様によれば、装置が提供される。本装置は、多視点映像のコンテンツがビュー間予測を使用して符号化されるとき、シングルループの復号化を使用して多視点映像コンテンツを復号化するデコーダを含む。
【００１３】
本発明の更なる態様によれば、方法が提供される。本方法は、多視点映像のコンテンツがビュー間予測を使用して符号化されるとき、シングルループの復号化を使用して多視点映像コンテンツを復号化するステップを含む。
【００１４】
本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれる、例示的な実施の形態の以下の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【００１５】
本発明は、以下の例示的な図面に従って良好に理解されるであろう。
【図１】本発明の実施の形態に係る、本発明が適用される場合がある例示的な多視点映像符号化（MVC）エンコーダのブロック図である。
【図２】本発明の実施の形態に係る、本発明が適用される場合がある例示的な多視点映像符号化（MVC）デコーダのブロック図である。
【図３】本発明の実施の形態に係る、本発明が適用される場合がある例示的なMVCシステムの符号化構造の図である。
【図４】本発明の実施の形態に係る、シングルループの復号化を支援する、多視点映像コンテンツを符号化する例示的な方法のフローダイアグラムである。
【図５】本発明の実施の形態に係る、多視点映像コンテンツのシングルループの復号化の例示的な方法のフローダイアグラムである。
【図６】本発明の実施の形態に係る、シングルループの復号化を支援する、多視点映像コンテンツを符号化する別の例示的な方法のフローダイアグラムである。
【図７】本発明の実施の形態に係る、多視点映像コンテンツのシングルループの復号化の別の例示的な方法のフローダイアグラムである。
【発明を実施するための最良の形態】
【００１６】
本発明は、多視点符号化映像のシングルループの復号化を支援するエンコーダ及びデコーダでの方法及び装置に向けられる。
【００１７】
本実施の形態の記載は、本発明を例示するものである。したがって、当業者であれば、本実施の形態において明示的に記載又は図示されていないが、本発明を実施し、且つ本発明の精神及び範囲に含まれる様々なアレンジメントを創作することができることを理解されたい。
【００１８】
本実施の形態で引用される全ての例及び条件付き言語は、本発明の原理及び当該技術分野を促進するために本発明者により寄与される概念の理解において読者を支援する教育的な目的が意図されており、係る引用される例及び条件に限定されないものとして解釈されるべきである。
【００１９】
さらに、本発明の原理、態様及び実施の形態を引用する全ての説明は、その特定の例と同様に、本発明の構造的に等価な概念と機能的な等価な概念の両者を包含することが意図される。さらに、係る等価な概念は、現在公知の等価な概念と同様に、将来的に開発される等価な概念、すなわち構造に係らず、同じ機能を実行する開発されたエレメントの両者を含むことが意図される。
【００２０】
したがって、たとえば、本実施の形態で表されるブロック図は、本発明の原理を実施する例示的な回路の概念図を表すことを当業者により理解されるであろう。同様に、任意のフローチャート、フローダイアグラム、状態遷移図、擬似コード等は、コンピュータ読取可能なメディアで実質的に表される様々なプロセスであって、コンピュータ又はプロセッサが明示的に示されるか否かに係らず、コンピュータ又はプロセッサにより実行される様々なプロセスを表すことが理解されるべきである。
【００２１】
図示される様々なエレメントの機能は、適切なソフトウェアに関連してソフトウェアを実行可能なハードウェアと同様に、専用ハードウェアの使用を通して提供される場合がある。プロセッサにより提供されたとき、機能は、１つの専用プロセッサにより、１つの共有プロセッサにより、又はそのうちの幾つかが共有される複数の個々のプロセッサにより提供される場合がある。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すように解釈されるべきではなく、限定されるものではないが、デジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性ストレージを暗黙的に含む。
【００２２】
コンベンショナル及び／又はカスタムである他のハードウェアも含まれる場合がある。同様に、図示される任意のスイッチは、概念的なものである。その機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御と専用ロジックのインタラクションを通して、又は更には手動で実行される場合があり、特定の技術は、文脈から更に詳細に理解されるように実現者により選択可能である。
【００２３】
本発明の特許請求の範囲では、ある特定の機能を実行する手段として表現されるエレメントは、たとえば、ａ）その機能を実行する回路エレメントの組み合わせ、又はｂ）その機能を実行するソフトウェアを実行する適切な回路と結合される、ファームウェア、マイクロコード等を含む任意の形式のソフトウェアを含む、その機能を実行する任意のやり方を包含することが意図される。係る請求項により定義される発明は、様々な引用される手段により提供される機能は結合され、請求項が要求するやり方で纏められるという事実にある。したがって、それらの機能を提供する任意の手段は、本実施の形態に示される機能に等価であるものとみなされる。
【００２４】
本発明の「１実施の形態」又は「実施の形態」への明細書における参照は、実施の形態と共に記載される特定の特徴、構造、特性等は、本発明の少なくとも１つの実施の形態に含まれることを意味する。したがって、明細書を通して様々な位置に現れるフレーズ「１実施の形態では」又は「実施の形態では」の出現は、必ずしも同じ実施の形態を全て参照するものではない。さらに、フレーズ「別の実施の形態では」は、記載される実施の形態の対象が別の実施の形態と全体的に又は部分的に結合されることから排除しない。
【００２５】
たとえば、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも１つ」の場合における用語「及び／又は」及び「少なくとも１つ」の使用は、最初に列挙されたオプション（Ａ）のみの選択、又は第二の列挙されたオプション（Ｂ）のみの選択、又は両方のオプションＡ及びＢの選択を包含することが意図される。更なる例として、「Ａ，Ｂ及び／又はＣ」及び「Ａ，Ｂ及びＣの少なくとも１つ」の場合では、係るフレーズは、最初に列挙されたオプション（Ａ）のみの選択、第二に列挙されたオプション（Ｂ）のみの選択、又は、第三の列挙されたオプション（Ｃ）のみの選択、或いは、第一及び第二の列挙されたオプション（Ａ及びＢ）の選択、或いは、第一及び第三の列挙されたオプション（Ａ及びＣ）のみの選択、或いは、第二及び第三の列挙されたオプション（Ｂ及びＣ）のみの選択、或いは、全ての３つのオプション（Ａ及びＢ及びＣ）の選択を包含する。これは、当業者により容易に明らかであるように、列挙される多数のアイテムについて拡張される場合がある。
【００２６】
本実施の形態で使用されるように、「多視点映像系列（Multi-view  video  sequence）」は、異なる視点から同じシーンを捕捉する２以上の映像系列のセットを示す。
【００２７】
さらに、本実施の形態において交換可能に使用されるように、「クロスビュー（cross  view）」及び「インタービュー（inter-view）」の両者は、現在のビュー以外のビューに属するピクチャを示す。
【００２８】
さらに、本実施の形態で使用されるように、フレーズ「完全な再構成がない（without  complete  reconstruction）」とは、符号化又は復号化ループにおいて動き補償が実行されない場合を示す。
【００２９】
さらに、本発明はMPEG-4  AVC標準の多視点映像符号化の拡張に関して本実施の形態で記載されるが、本発明はこの標準及び対応する拡張にのみ限定されるものではなく、本発明の精神を維持しつつ、多視点映像符号化に関連する他のビデオ符号化標準、勧告、及びその拡張に関して利用される場合がある。
【００３０】
図１を参照して、例示的な多視点映像符号化（MVC）エンコーダは、参照符号１００により示される。エンコーダ１００は、変換器１１０の入力と信号通信で接続される出力を有する結合手段１０５を有する。変換器１００の出力は、量子化器１１５の入力と信号通信で接続される。量子化器１１５の出力は、エントロピーコーダ１２０の入力及び逆量子化器１２５の入力と信号通信で接続される。逆量子化器１２５の出力は、逆変換器１３０の入力と信号通信で接続される。逆変換器１３０の出力は、結合器１３５の第一の非反転入力と信号通信で接続される。結合器１３５の出力は、イントラ予測器１４５の入力とデブロッキングフィルタ１５０の入力と信号通信で接続される。デブロッキングフィルタ１５０の出力は、（ビューｉ用の）参照画像ストア１５５の入力と信号通信で接続される。参照画像ストア１５５の出力は、動き補償器１７５の第一の入力と動き予測器１８０の第一の入力と信号通信で接続される。動き予測器１８０の出力は、動き補償器１７５の第二の入力と信号通信で接続される。
【００３１】
（他のビュー用の）参照画像ストア１６０の出力は、ディスパリティ（視差）／イルミネーション（照明）予測器１７０の第一の入力とディスパリティ／イルミネーション補償器１６５の第一の入力と信号通信で接続される。ディスパリティ／イルミネーション予測器１７０の出力は、ディスパリティ／イルミネーション補償器１６５の第二の入力と信号通信で接続される。
【００３２】
エントロピーデコーダ１２０の出力は、エンコーダ１００の出力として利用可能である。結合器１０５の非反転入力は、エンコーダ１００の入力として利用可能であり、ディスパリティ／イルミネーション予測器１７０の第二の入力と動き予測器１８０の第二の入力と信号通信で接続される。スイッチ１８５の出力は、結合器１３５の第二の非反転入力と結合器１０５の反転入力と信号通信で接続される。スイッチ１８５は、動き補償器１７５の出力と信号通信で接続される第一の入力、ディスパリティ／イルミネーション補償器１６５の出力と信号通信で接続される第二の入力、及びイントラ予測器１４５の出力と信号通信で接続される第三の入力を含む。
【００３３】
モード判定モジュール１４０は、どの入力がスイッチ１８５により選択されるかを制御するスイッチ１８５に接続される出力を有する。
【００３４】
図２を参照して、例示的な多視点映像符号化（MVC）デコーダは、参照符号２００により示される。デコーダ２００は、逆量子化器２１０の入力と信号通信で接続される出力を有するエントロピーデコーダ２０５を含む。逆量子化器の出力は、逆変換器２１５の入力と信号通信で接続される。逆変換器２１５の出力は、結合器２２０の第一の非反転入力と信号通信で接続される。結合器２２０の出力は、デブロッキングフィルタ２２５の入力及びイントラ予測器２３０の入力と信号通信で接続される。デブロッキングフィルタ２２５の出力は、（ビューｉ用の）参照画像ストア２４０の入力と信号通信で接続される。参照画像ストア２４０の出力は、動き補償器２３５の第一の入力と信号通信で接続される。
【００３５】
（他のビュー用の）参照画像ストア２４５の出力は、ディスパリティ／イルミネーション補償器２５０の第一の入力と信号通信で接続される。
【００３６】
エントロピーコーダ２０５の入力は、残差のビットストリームを受信するため、デコーダ２００の入力として利用可能である。さらに、モードモジュール２６０の入力は、どの入力がスイッチ２５５により選択されるかを制御する制御シンタックスを受信するため、デコーダ２００の入力として利用可能である。さらに、動き補償器２３５の第二の入力は、動きベクトルを受信するため、デコーダ２００の入力として利用可能である。また、ディスパリティ／イルミネーション補償器２５０の第二の入力は、ディスパリティベクトル及びイルミネーション補償シンタックスを受信するため、デコーダ２００への入力として利用可能である。
【００３７】
スイッチ２５５の出力は、結合手段２２０の第二の非反転入力と信号通信で接続される。スイッチ２５５の第一の入力は、ディスパリティ／イルミネーション補償器２５０の出力と信号通信で接続される。スイッチ２５５の第二の入力は、動き補償器２３５の出力と信号通信で接続される。スイッチ２５５の第三の入力は、イントラ予測器２３０の出力と信号通信で接続される。モードモジュール２６０の出力は、どの入力がスイッチ２５５により選択されるかを制御するため、スイッチ２５５と信号通信で接続される。デブロッキングフィルタ２２５の出力は、デコーダの出力として利用可能である。
【００３８】
上述されたように、本発明は、多視点符号化映像のシングルループの復号化をサポートするエンコーダ及びデコーダでの方法及び装置に向けられる。
【００３９】
本発明は、多視点映像コンテンツのうちの所定のビューのみが復号化される場合に特に適する。係る応用は、参照ビュー（すなわち画素データ）を完全に再構成することを含まない。実施の形態では、それらのビューからの所定のエレメントは、他のビューについて推定及び使用され、したがって金と時間が節約される。
【００４０】
現在の多視点映像符号化の仕様は、全てのビューが完全に再構成されることを要求する。次いで、再構成されたビューは、ビュー間の参照として使用される。図３を参照して、８つのビューをもつ例示的なＭＶＣシステムの符号化構造は、参照符号３００により示される。
【００４１】
再構成されたビューがビュー間の参照として使用された事実の結果として、それぞれのビューは、たとえそれぞれのビューが出力されない場合があるとしても、完全に復号化され、メモリ記憶される必要がある。これは、係る出力されないビューを復号化するプロセッサの時間を費やし、係る出力されたビューの復号化画像を記憶するメモリを費やす必要があるので、メモリ及びプロセッサの利用の観点で非常に効率的ではない。
【００４２】
したがって、本発明によれば、多視点符号化系列のシングルループの復号化をサポートする方法及び装置を提案する。上述されたように、本実施の形態で提供される例はMPEG-4AVC標準の多視点映像符号化の拡張に関して記載されるが、本実施の形態で提供される本発明の教示が与えられると、本発明の精神を維持しつつ、当業者により任意の多視点映像符号化システムに本発明が容易に適用される場合があることを理解されるであろう。
【００４３】
シングルループの復号化の１実施の形態では、アンカーピクチャのみがリファレンスととして完全に再構成されたピクチャを使用し、ノン・アンカーピクチャは、リファレンスとして完全に再構成されたピクチャを使用しない。ノン・アンカーピクチャの符号化効率を改善するため、ビュー間予測によって、隣接するビューを完全に再構成する必要なしに、隣接するビューから所定のデータが推定されるように、ビュー間予測が使用されることが提案される。隣接する参照ビューは、表１に示されるシーケンスパラメータセットにより示される。表１は、本発明の実施の形態に係る、MPEG-4  AVC標準の多視点映像符号化の拡張のシーケンスパラメータセット（SPS:  Sequence  Parameter  Set）シンタックスを示す。
【００４４】
【表１】
0005583578.tif 000002
完全な再構成なしに隣接する参照ビューから推定することができる情報は、以下の１以上の組み合わせである。（１）動き及びモード情報、（２）残差予測、（３）イントラ予測モード、（４）イルミネーション補償オフセット、（５）深度情報、及び（６）デブロッキング強度。先行するタイプの情報は例示的なものであって、本発明は、完全な再構成なしに隣接するビューから推定することができる情報に関して先行するタイプの情報のみに限定されない。たとえば、ピクチャ又はピクチャ部分の符号化及び／又は復号化に関連する任意のタイプの情報を含めて、隣接するビューからピクチャの少なくとも１部の特性に関連する任意のタイプの情報は、本発明の精神を維持しつつ、本発明に従って使用される場合があることを理解されたい。さらに、係る情報は、本発明の精神を維持しつつ、シンタックス及び／又は他のソースから推定される場合がある。
【００４５】
動き及びモード情報に関して、これは、動きベクトル、モード及び参照インデックス情報が隣接するビューから推定することができる現在の多視点映像符号化の仕様におけるモーションスキップモードに類似する。さらに、推定される動き情報は、更なるデータを送出することでリファインすることができる。さらに、ディスパリティ情報も推定される。
【００４６】
残差予測に関して、隣接するビューからの残差データは、現在のマクロブロックの残差の予測データとして使用される。この残差データは、現在のマクロブロックについて更なるデータを送出することで更にリファインされる。
【００４７】
イントラ予測モードに関して、係るモードを推定することもできる。再構成されたイントラマクロブロックの何れかは、予測データとして直接に使用することができるか、又は、イントラ予測モードは、現在のマクロブロックについて直接に使用することができる。
【００４８】
イルミネーション補償オフセットに関して、イルミネーション補償オフセット値を推定することができ、更にリファインすることができる。  
深さ情報に関して、深さ情報を推定することができる。
【００４９】
多視点映像符号化系列がシングルループの復号化をサポートするかを判定するため、ハイレベルのシンタックスは、以下の１以上で存在することができる。シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ、スライスヘッダ、及び補足的な付加情報（SEI）メッセージ。シングルループの多視点映像復号化は、プロファイルとして規定することもできる。
【００５０】
表２は、本実施の形態に係る、non_anchor_single_loop_decoding_flagシンタックスエレメントを含む、MPEG-4  AVC標準の多視点映像符号化の拡張について提案されるシーケンスパラメータセット（SPS）のシンタックスを示す。non_anchor_single_loop_decoding_flagは、ノン・アンカーピクチャの参照を示すループに加えられる付加的なシンタックスエレメントである。non_anchor_single_loop_decoding_flagシンタックスエレメントは、ビュー“ｉ”のノン・アンカーピクチャの参照がビュー“ｉ”を復号化するために完全に復号化されるべきか否かを示すために加えられる。non_anchor_single_loop_decoding_flagシンタックスエレメントは、以下のシンタックスを有する。
【００５１】
１に等しいnon_anchor_single_loop_decoding_flag[i]は、view_id[i]に等しいビューidをもつビューのノン・アンカーピクチャの参照ビューは、そのビューを復号化するために完全に再構成される必要がないことを示す。０に等しいnon_anchor_single_loop_decoding_flag[i]は、view_id[i]に等しいビューidをもつビューのノン・アンカーピクチャの参照ビューは、そのビューを復号化するために完全に再構成されるべきであることを示す。
【００５２】
【表２】
0005583578.tif 000003
表３は、別の実施の形態に係る、non_anchor_single_loop_decoding_flagシンタックスエレメントを含む、MPEG-4  AVC標準の多視点映像符号化の拡張について提案されるシーケンスパラメータセット（SPS）のシンタックスを示す。non_anchor_single_loop_decoding_flagシンタックスエレメントは、全体のシーケンスについて、全てのノン・アンカーピクチャは、参照ビューを完全に再構成することなしに復号化することができることを示すために使用される。non_anchor_single_loop_decoding_flagシンタックスエレメントは、以下のセマンティクスを有する。
【００５３】
１に等しいnon_anchor_single_loop_decoding_flagは、全てのビューの全てのノン・アンカーピクチャは、対応する参照ビューのピクチャを完全に再構成することなしに復号化することができることを示す。
【００５４】
【表３】
0005583578.tif 000004
シングルループの復号化の別の実施の形態では、アンカーピクチャは、シングルループの復号化に関してイネーブルにされる。表４は、別の実施の形態に係る、anchor_single_loop_decoding_flagシンタックスエレメントを含む、MPEG-4  AVC標準の多視点映像符号化の拡張について提案されるシーケンスパラメータセット（SPS）のシンタックスを示す。anchor_single_loop_decoding_flagシンタックスエレメントは、シーケンスパラメータセットにおけるアンカーピクチャ依存ループに存在することができる。anchor_single_loop_decoding_flagシンタックスエレメントは、以下のセマンティクスを有する。
【００５５】
１に等しいanchor_single_loop_decoding_flag[i]は、view_id[i]に等しいビューidをもつビューのアンカーピクチャの参照ビューは、そのビューを復号化するために完全に再構成される必要がないことを示す。０に等しいanchor_single_loop_decoding_flag[i]は、view_id[i]に等しいビューidをもつビューのアンカーピクチャの参照ビューは、そのビューを復号化するために完全に再構成されるべきであることを示す。
【００５６】
【表４】
0005583578.tif 000005
表５は、別の実施の形態に係る、anchor_single_loop_decoding_flagシンタックスエレメントを含む、MPEG-4  AVC標準の多視点映像符号化の拡張について提案されるシーケンスパラメータセット（SPS）のシンタックスを示す。anchor_single_loop_decoding_flagシンタックスエレメントは、以下のセマンティクスを有する。
【００５７】
１に等しいanchor_single_loop_decoding_flagは、全てのビューの全てのアンカーピクチャは、対応する参照ビューのピクチャを完全に再構成することなしに復号化することができることを示す。
【００５８】
【表５】
0005583578.tif 000006
図４を参照して、シングルループの復号化のサポートにおける多視点映像コンテンツを符号化する例示的な方法は、参照符号４００により示される。
【００５９】
本方法４００は、開始ブロック４０５を含み、この開始ブロックは、機能ブロック４１０に制御を移す。機能ブロック４１０は、エンコーダのコンフィギュレーションファイルを分析し、制御を判定ブロック４１５に移す。判定ブロック４１５は、変数ｉが符号化されるべきビューの数未満であるか否かを判定する。変数ｉが符号化されるべきビューの数未満である場合、制御を判定ブロック４２０に移す。さもなければ、制御を終了ブロック４９９に移す。
【００６０】
判定ブロック４２０は、シングルループの符号化がビューｉのアンカーピクチャについてイネーブルにされるか否かを判定する。シングルループの符号化がビューｉのアンカーピクチャについてイネーブルにされる場合、制御を機能ブロック４２５に移す。さもなければ、制御を機能ブロック４６０に移す。
【００６１】
機能ブロック４２５は、anchor_single_loop_decoding_flag[i]を１に等しく設定し、制御を判定ブロック４３０に移す。判定ブロック４３０は、シングルループの符号化がビューｉのノン・アンカーピクチャについてイネーブルにされるか否かを判定する。シングルループの符号化がビューｉのノン・アンカーピクチャについてイネーブルにされる場合、制御を機能ブロック４３５に移す。さもなければ、制御を機能ブロック４６５に移す。
【００６２】
機能ブロック４３５は、non_anchor_single_loop_decoding_flag[i]を１に等しく設定し、制御を機能ブロック４４０に移す。
【００６３】
機能ブロック４４０は、anchor_single_loop_decoding_flag[i]及びnon_anchor_single_loop_decoding_flag[i]をビューｉのシーケンスパラメータセット（SPS）及びピクチャパラメータセット（PPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ及び／又はスライスヘッダに書き込み、制御を機能ブロック４４５に移す。機能ブロック４４５は、インター予測が含まれないとき、あるビューのマクロブロックを符号化する間、ＳＰＳからのビュー間の依存を考慮し、制御を機能ブロック４５０に移す。機能ブロック４５０は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及びシングルループの符号化の深度情報の組み合わせを推定し、制御を機能ブロック４５５に移す。機能ブロック４５５は、１だけ変数ｉをインクリメントし、制御を判定ブロック４１５にリターンする。
【００６４】
機能ブロック４６０は、anchor_single_loop_decoding_flag[i]をゼロに設定し、制御を判定ブロック４３０に移す。
【００６５】
機能ブロック４６５は、non_anchor_single_loop_decoding_flag[i]をゼロに等しく設定し、制御を機能ブロック４４０に移す。
【００６６】
図５を参照して、多視点映像コンテンツのシングルループの復号化の例示的な方法は、参照符号５００により示される。
【００６７】
本方法５００は、開始ブロック５０５を含み、この開始ブロックは、制御を機能ブロック５１０に移す。機能ブロック５１０は、anchor_single_loop_decoding_flag[i]及びnon_anchor_single_loop_decoding_flag[i]をビューｉのシーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ、又はスライスヘッダから読取り、制御を判定ブロック５１５に移す。判定ブロック５１５は、変数ｉが復号化されるべきビュー数未満であるか否かを判定する。変数ｉが復号化されるべきビュー数未満である場合、制御を判定ブロック５２０に移す。さもなければ、制御を終了ブロック５９９に移す。
【００６８】
判定ブロック５２０は、現在のピクチャがアンカーピクチャであるか否かを判定する。現在のピクチャがアンカーピクチャである場合、制御を判定ブロック５２５に移す。さもなければ、制御を判定ブロック５７５に移す。
【００６９】
判定ブロック５２５は、anchor_single_loop_decoding_flag[i]が１に等しいか否かを判定する。anchor_single_loop_decoding_flag[i]が１に等しい場合、制御を機能ブロック５３０に移す。さもなければ、制御を機能ブロック５４０に移す。
【００７０】
機能ブロック５３０は、インター予測が含まれないとき、ビューｉのマクロブロックを復号化するとき、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック５３５に移す。機能ブロック５３５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、モーションスキップマクロブロックの深さ情報の組み合わせを推定し、制御を機能ブロック５７０に移す。
【００７１】
機能ブロック５７０は、１だけ変数ｉをインクリメントし、制御を判定ブロック５１５に移す。
【００７２】
判定ブロック５４０は、インター予測が含まれるとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からビュー間の依存度を考慮し、制御を機能ブロック５４５に移す。機能ブロック５４５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及び深さ情報の組み合わせを推定し、制御を機能ブロック５７０に移す。
【００７３】
判定ブロック５７５は、anchor_single_loop_decoding_flag[i]が１に等しいか否かを判定する。anchor_single_loop_decoding_flag[i]が１に等しい場合、制御を機能ブロック５５０に移す。さもなければ、制御を機能ブロック５６０に移す。
【００７４】
機能ブロック５５０は、ビュー間予測が含まれないとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック５５５に移す。機能ブロック５５５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及びモーションスキップマクロブロックの深度情報の組み合わせを推定する。
【００７５】
機能ブロック５６０は、インター予測が含まれるとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック５６５に移す。機能ブロック５６５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及び深さデータの組み合わせを推定し、制御を機能ブロック５７０に移す。
【００７６】
図６を参照して、シングルループの復号化のサポートにおける多視点映像コンテンツを符号化する別の例示的な方法は、参照符号６００により示される。
【００７７】
本方法６００は、開始ブロック６０５を含み、この開始ブロックは、制御を機能ブロック６１０に移す。機能ブロック６１０は、エンコーダのコンフィギュレーションファイルを分析し、制御を判定ブロック６１５に移す。判定ブロック６１５は、それぞれのビューについて全てのアンカーピクチャについてシングルループの符号化がイネーブルにされるか否かを判定する。シングルループの符号化がイネーブルにされる場合、制御を機能ブロック６２０に移す。さもなければ、制御を機能ブロック６６５に移す。
【００７８】
機能ブロック６２０は、anchor_single_loop_decoding_flagを１に等しく設定し、制御を判定ブロック６２５に移す。判定ブロック６２５は、それぞれの全てのノン・アンカーピクチャについてシングルループの符号化がイネーブルにされるか否かを判定する。シングルループの符号化がイネーブルにされる場合、制御を機能ブロック６３０に移す。さもなければ、制御を機能ブロック６６０に移す。
【００７９】
機能ブロック６３０は、non_anchor_single_loop_decoding_flagを１に等しく設定し、制御を機能ブロック６３５に移す。機能ブロック６３５は、anchor_single_loop_decoding_flagを、シーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ及び／又はスライスヘッダに書込み、制御を判定ブロック６４０に移す。判定ブロック６４０は、変数ｉが符号化されるべきビューの数未満であるか否かを判定する。変数ｉが符号化されるべきビューの数未満である場合、制御を機能ブロック６４５に移す。さもなければ、制御を終了ブロック６９９に移す。
【００８０】
機能ブロック６４５は、ビュー間予測が含まれないとき、あるビューのマクロブロックを符号化する間、ＳＰＳからのビュー間の依存度を考慮し、制御を機能ブロック６５０に移す。機能ブロック６５０は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、シングルループ符号化の深さ情報の組み合わせを推定し、制御を機能ブロック６５５に移す。機能ブロック６５５は、変数ｉを１だけインクリメントし、制御を判定ブロック６４０に移す。
【００８１】
機能ブロック６６５は、anchor_single_loop_decoding_flagをゼロに等しく設定し、制御を判定ブロック６２５に移す。
【００８２】
機能ブロック６６０は、non_anchor_single_loop_decoding_flagをゼロに等しく設定し、制御を機能ブロック６３５に移す。
【００８３】
図７を参照して、多視点映像コンテンツのシングルループの復号化の別の例示的な方法は、参照符号７００により示される。
【００８４】
本方法７００は、開始ブロック７０５を含み、この開始ブロックは、制御を機能ブロック７１０に移す。機能ブロック７１０は、anchor_single_loop_decoding_flag及びnon_anchor_single_loop_decoding_flagを、ビューｉのシーケンスパラメータセット（SPS）、ピクチャパラメータセット（PPS）、ネットワーク抽象レイヤ（NAL）ユニットヘッダ、スライスヘッダから読み出し、制御を判定ブロック７１５に移す。判定ブロック７１５は、変数ｉが復号化されるべきビューの数未満であるか否かを判定する。変数ｉが復号化されるべきビューの数未満である場合、制御を判定ブロック７２０に移す。さもなければ、制御を終了ブロック７９９に移す。
【００８５】
判定ブロック７２０は、現在のピクチャがアンカーピクチャであるか否かを判定する。現在のピクチャがアンカーピクチャである場合、制御を判定ブロック７２５に移す。さもなければ、制御を判定ブロック７７５に移す。
【００８６】
判定ブロック７２５は、anchor_single_loop_decoding_flagが１に等しいか否かを判定する。anchor_single_loop_decoding_flagが１に等しい場合、制御を機能ブロック７３０に移す。さもなければ、制御を機能ブロック７４０に移す。
【００８７】
機能ブロック７３０は、インター予測が含まれないとき、ビューｉのマクロブロックを復号化するとき、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック７３５に移す。機能ブロック７３５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、モーションスキップマクロブロックの深度情報の組み合わせを推定し、制御を機能ブロック７７０に移す。
【００８８】
機能ブロック７７０は、変数ｉを１だけインクリメントし、制御を判定ブロック７１５に移す。
【００８９】
機能ブロック７４０は、インター予測が含まれるとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック７４５に移す。機能ブロック７４５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、深度情報の組み合わせを推定し、制御を機能ブロック７７０に移す。
【００９０】
判定ブロック７７５は、non_anchor_single_loop_decoding_flagが１に等しいか否かを判定する。non_anchor_single_loop_decoding_flagが１に等しい場合、制御を機能ブロック７５０に移す。さもなければ、制御を機能ブロック７６０に移す。
【００９１】
機能ブロック７５０は、ビュー間予測が含まれないとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック７５５に移す。機能ブロック７５５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及びモーションスキップマクロブロックの深度情報の組み合わせを推定し、制御を機能ブロック７７０に移す。
【００９２】
機能ブロック７６０は、インター予測が含まれるとき、ビューｉのマクロブロックを復号化する間、シーケンスパラメータセット（SPS）からのビュー間の依存度を考慮し、制御を機能ブロック７６５に移す。機能ブロック７６５は、動き情報、インター予測モード、残差データ、ディスパリティデータ、イントラ予測モード、及び深さ情報の組み合わせを推定し、制御を機能ブロック７７０に移す。
【００９３】
本発明の多数の付随する利点／特徴のうちの幾つかの説明が与えられ、そのうちの幾つかは、先に記載された。たとえば、１つの利点／特徴は、多視点映像コンテンツがビュー間予測を使用して符号化されるとき、多視点映像コンテンツのシングルループの復号化をイネーブルにするため、多視点映像コンテンツを符号化するエンコーダを有する装置である。
【００９４】
別の利点／特徴は、上述されたエンコーダを有する装置であり、多視点映像コンテンツは、参照ビュー及び他のビューを含む。他のビューは、参照ビューの完全な再構成なしに再構成可能である。
【００９５】
更に別の利点／特徴は、上述されたようなエンコーダを有する装置であり、ビュー間予測は、多視点映像コンテンツの参照ビューからの動き情報、インター予測モード、イントラ予測モード、参照インデックス、残差データ、深度情報、イルミネーション補償オフセット、デブロッキング強度、及びディスパリティデータの少なくとも１つを推定する。
【００９６】
更に別の利点／特徴は、上述されたエンコーダを有する装置であり、ビュー間予測は、所与のビューに関して多視点映像コンテンツの参照ビューからの少なくとも１つのピクチャの少なくとも１部に関連する特性から多視点コンテンツの所与のビューの情報を推定し、少なくとも１つのピクチャの少なくとも１部に関する情報を復号化することを含む。
【００９７】
さらに、別の利点／特徴は、上述されたエンコーダを有する装置であり、ハイレベルシンタックスエレメントは、シングルループの複合化が多視点映像コンテンツについてイネーブルにされたことを示すために使用される。
【００９８】
さらに、別の利点／特徴は、記載されたハイレベルシンタックスを使用するエンコーダを有する装置であり、ハイレベルシンタックスエレメントは、個々に、多視点映像コンテンツにおけるアンカーピクチャ及びノン・アンカーピクチャについてシングルループの復号化がイネーブルにされたかを示し、シングルループの復号化がイネーブルにされたかをビュー毎に示し、シングルループの復号化がイネーブルにされたかをシーケンス毎に示し、多視点映像コンテンツにおけるノン・アンカーピクチャのみについてシングルループの復号化がイネーブルにされたことを示す。
【００９９】
本発明のこれらの特徴及び利点、並びに他の特徴及び利点は、本実施の形態における教示に基づいて当業者により容易に確認される場合がある。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ、又はその組み合わせで実現される場合があることを理解されたい。
【０１００】
最も好ましくは、本発明の教示は、ハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで実施されるアプリケーションプログラムとして実現される場合がある。アプリケーションプログラムは、適切なアーキテクチャを有するコンピュータにアップロードされるか、該コンピュータにより実行される場合がある。好ましくは、コンピュータは、１以上の中央処理装置（CPU）、ランダムアクセスメモリ（RAM）及び入力／出力（I/O）インタフェースのようなコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む場合がある。本実施の形態で記載される様々なプロセス及び機能は、CPUにより実行されるマイクロ命令コードの一部又はアプリケーションプログラムの一部であるか、或いはそれらの組み合わせである場合がある。さらに、様々な他の周辺装置は、更なるデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される場合がある。
【０１０１】
さらに、記憶媒体で符号化された映像信号データを有する記憶媒体への引用は、明細書で引用されるか、請求項で引用されるかに係らず、係るデータは記録される任意のタイプのコンピュータ読取可能な記憶媒体を含むことが理解される。
【０１０２】
添付図面で示されるシステム構成要素及び方法の幾つかはソフトウェアで実現されることが好ましいため、システム構成要素又はプロセス機能ブロック間の実際の接続は、本発明がプログラムされるやり方に依存して異なる場合があることを理解されたい。本実施の形態の教示が与えられると、当業者であれば、本発明のこれら及び類似の実現又はコンフィギュレーションを創作することができるであろう。
【０１０３】
例示的な実施の形態は添付図面を参照して記載されたが、本発明はそれら正確な実施の形態に限定されず、様々な変形及び変更は本発明の範囲又は精神から逸脱することなしに当業者により実施される場合がある。全ての係る変形及び変更は、特許請求の範囲で述べられる本発明の範囲に含まれることが意図される。
【図１】
0005583578.tif 000007
【図２】
0005583578.tif 000008
【図３】
0005583578.tif 000009
【図４】
0005583578.tif 000010
【図５】
0005583578.tif 000011
【図６】
0005583578.tif 000012
【図７】
0005583578.tif 000013