(57)【要約】  マルチ・ビュー符号化ビデオにおいて高レベル・シンタックス参照ビューを用いてビデオ・エラー隠蔽を行う方法および装置を提供する。この装置は、ビットストリームのマルチ・ビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するデコーダ（１００）を備える。これらのピクチャは、ビデオ・シーケンスの少なくとも一部分を表す。これらのピクチャの少なくともいくつかは、ビデオ・シーケンス内の異なる時刻に対応する。デコーダ（１００）は、前記異なる時刻の特定の１つに対応するピクチャの何れかが失われているかどうかを既存のシンタックス要素を用いて判定する。既存のシンタックス要素は、前記ピクチャの少なくとも１つのビュー間予測に用いられる少なくとも１つの参照ビューを示す（３３０）。
2010516098.tif 000002
【特許請求の範囲】
【請求項１】
ビットストリームのマルチ・ビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するデコーダ（１００）を備え、前記ピクチャがビデオ・シーケンスの少なくとも一部分を表し、前記ピクチャの少なくともいくつかがビデオ・シーケンス内の異なる時刻に対応する装置であって、
前記デコーダが、前記異なる時刻の特定の１つに対応するピクチャの何れかが失われているかどうかを既存のシンタックス要素を用いて判定し、前記既存のシンタックス要素が、前記ピクチャの少なくとも１つのビュー間予測に用いられる少なくとも１つの参照ビューを示す、前記装置。
【請求項２】
前記既存のシンタックス要素が、マルチ・ビュー・ビデオ符号化シンタックス要素である、請求項１に記載の装置。
【請求項３】
前記マルチ・ビュー・ビデオ符号化シンタックス要素が、国際標準化機構／国際電気標準会議ＭＰＥＧ−４  Ｐａｒｔ１０  ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告の拡張に対応する、請求項２に記載の装置。
【請求項４】
前記既存のシンタックス要素が、高レベルである、請求項１に記載の装置。
【請求項５】
前記高レベルが、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット・レベル、ピクチャ・パラメータ・セット・レベル、ビュー・パラメータ・セット・レベル、ネットワーク・アブストラクション・レイヤ・ユニット・ヘッダ・レベル、および付加拡張情報メッセージに対応するレベルの少なくとも１つに対応する、請求項１に記載の装置。
【請求項６】
前記デコーダ（１００）が、前記異なる時刻の特定の１つの時刻に対応するピクチャの何れかが失われているかどうかをタイム・ファースト符号化情報を用いて判定する、請求項１に記載の装置。
【請求項７】
前記デコーダ（１００）が、以前に復号されたピクチャのリストの中を、前記ピクチャの前記少なくとも１つのビュー間予測に使用される前記少なくとも１つの参照ピクチャがないか探索し、前記以前に復号されたピクチャのリストが、前記タイム・ファースト符号化情報の少なくとも一部分を表す、請求項６に記載の装置。
【請求項８】
探索される前記少なくとも１つの参照ピクチャが、前記少なくとも１つの参照ピクチャに対応する識別子、および前記ピクチャの前記少なくとも１つに対する前記異なる時刻の特定の１つの時刻を用いて識別され、前記ピクチャの前記少なくとも１つが、現在復号されるピクチャである、請求項７に記載の装置。
【請求項９】
ビットストリームのマルチ・ビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するステップを含み、前記ピクチャがビデオ・シーケンスの少なくとも一部分を表し、前記ピクチャの少なくともいくつかがビデオ・シーケンス内の異なる時刻に対応する方法であって、
前記復号ステップが、前記異なる時刻の特定の１つに対応するピクチャの何れかが失われているかどうかを既存のシンタックス要素を用いて判定するステップを含み、前記既存のシンタックス要素が、前記ピクチャの少なくとも１つのビュー間予測に用いられる少なくとも１つの参照ビューを示す（３３０）、前記方法。
【請求項１０】
前記既存のシンタックス要素が、マルチ・ビュー・ビデオ符号化シンタックス要素である（３１０）、請求項９に記載の方法。
【請求項１１】
前記マルチ・ビュー・ビデオ符号化シンタックス要素が、国際標準化機構／国際電気標準会議ＭＰＥＧ−４  Ｐａｒｔ１０  ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告の拡張に対応する（３１０）、請求項１０に記載の方法。
【請求項１２】
前記既存のシンタックス要素が、高レベルである（３１０）、請求項９に記載の方法。
【請求項１３】
前記高レベルが、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット・レベル、ピクチャ・パラメータ・セット・レベル、ビュー・パラメータ・セット・レベル、ネットワーク・アブストラクション・レイヤ・ユニット・ヘッダ・レベル、および付加拡張情報メッセージに対応するレベルの少なくとも１つに対応する（３１０）、請求項９に記載の方法。
【請求項１４】
前記判定ステップで、前記異なる時刻の特定の１つの時刻に対応するピクチャの何れかが失われているかどうかをタイム・ファースト符号化情報を用いて判定する（３２５）、請求項９に記載の方法。
【請求項１５】
前記判定ステップが、以前に復号されたピクチャのリストの中を、前記ピクチャの前記少なくとも１つのビュー間予測に使用される前記少なくとも１つの参照ピクチャがないか探索するステップを含み、前記以前に復号されたピクチャのリストが、前記タイム・ファースト符号化情報の少なくとも一部分を表す（３３５）、請求項１４に記載の方法。
【請求項１６】
探索される前記少なくとも１つの参照ピクチャが、前記少なくとも１つの参照ピクチャに対応する識別子、および前記ピクチャの前記少なくとも１つに対する前記異なる時刻の特定の１つの時刻を用いて識別され、前記ピクチャの前記少なくとも１つが、現在復号されるピクチャである（３３５）、請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本願は、２００７年１月４日出願の米国仮特許出願第６０／８８３４６０号の特典を請求するものであり、その全体を参照により組み込む。
【０００２】
本発明は、一般に、ビデオの符号化に関し、より詳細には、マルチ・ビュー符号化ビデオにおいて高レベル・シンタックス参照ビューを用いてビデオ・エラー隠蔽を行う方法および装置に関する。
【背景技術】
【０００３】
破損したビットストリームにおいてピクチャが失われたとき、いくつかのピクチャ単位のエラー隠蔽方法を使用して、失われたピクチャを隠蔽することができる。隠蔽を実行するためには、ピクチャが失われたと判定し、当該ピクチャの位置を決定しなければならない。
【０００４】
シングル・ビューの場合には、ピクチャの損失を検出する方法はいくつかある。ＩＳＯ／ＩＥＣ  ＭＰＥＧ−４  Ｐａｒｔ  １０  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（ＡＶＣ）標準／ＩＴＵ−Ｔ  Ｈ．２６４勧告（以下「ＭＰＥＧ−４  ＡＶＣ標準」と呼ぶ）では、ｆｒａｍｅ＿ｎｕｍの概念が参照ピクチャの損失を検出する目的に適う。さらに、リカバリ・ポイントＳＥＩメッセージ、サブシーケンスＳＥＩメッセージ、リカバリ・ポイントＳＥＩメッセージ、参照ピクチャ・マーキング反復ＳＥＩメッセージなどの付加拡張情報（Ｓｕｐｐｌｅｍｅｎｔａｌ  Ｅｎｈａｎｃｅｍｅｎｔ  Ｉｎｆｏｒｍａｔｉｏｎ）（ＳＥＩ）メッセージ、ピクチャ・オーダ・カウント（ＰＯＣ）設計、およびマルチ・リファレンス・ピクチャ・バッファリング（ｍｕｌｔｉｐｌｅ  ｒｅｆｅｒｅｎｃｅ  ｐｉｃｔｕｒｅ  ｂｕｆｆｅｒｉｎｇ）も、ピクチャ損失検出のために使用することができる。
【０００５】
ただし、これらの方法は、マルチ・ビューの場合には拡張されていない。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明は、従来技術の上記その他の欠点および不利に対処するものであり、マルチ・ビュー符号化ビデオにおいて高レベル・シンタックス参照ビューを用いてビデオ・エラー隠蔽を行う方法および装置に関するものである。
【０００７】
本発明の１つの特徴によれば、装置が提供される。この装置は、ビットストリームのマルチ・ビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するデコーダを備える。これらのピクチャは、ビデオ・シーケンスの少なくとも一部分を表す。これらのピクチャの少なくともいくつかは、ビデオ・シーケンス内の異なる時刻に対応する。デコーダは、前記異なる時刻の特定の１つに対応するピクチャの何れかが失われているかどうかを既存のシンタックス要素を用いて判定する。既存のシンタックス要素は、前記ピクチャの少なくとも１つのビュー間予測に用いられる少なくとも１つの参照ビューを示す。
【０００８】
本発明の別の特徴によれば、方法が提供される。この方法は、ビットストリームのマルチ・ビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するステップを含む。これらのピクチャは、ビデオ・シーケンスの少なくとも一部分を表す。これらのピクチャの少なくともいくつかは、ビデオ・シーケンス内の異なる時刻に対応する。復号ステップは、前記異なる時刻の特定の１つに対応するピクチャの何れかが失われているかどうかを既存のシンタックス要素を用いて判定するステップを含む。既存のシンタックス要素は、前記ピクチャの少なくとも１つのビュー間予測に用いられる少なくとも１つの参照ビューを示す。
【０００９】
本発明の上記その他の特徴、特色および利点は、以下の例示的な実施例の詳細な説明を添付の図面と関連付けて読めば明らかになるであろう。
【００１０】
本発明は、以下の例示的な図面によってより深く理解することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の一実施例による、本発明を適用することができる例示的なマルチ・ビュー・ビデオ符号化（ＭＶＣ）デコーダを示すブロック図である。
【図２】本発明の一実施例による、本発明を適用することができるビューの数が８個であるマルチ・ビュー・ビデオ符号化システムのタイム・ファースト（ｔｉｍｅ−ｆｉｒｓｔ）符号化構造を示す図である。
【図３】本発明の一実施例による、失われたピクチャに対するエラー隠蔽を用いてビデオ・シーケンスに対応するビデオ・データを復号する例示的な方法を示す流れ図である。
【発明を実施するための形態】
【００１２】
本発明は、マルチ・ビュー符号化ビデオにおいて高レベル・シンタックス参照ビューを用いてビデオ・エラー隠蔽を行う方法および装置に関する。
【００１３】
本明細書では、本発明について説明する。従って、本明細書に明示的に記述または図示してはいないが本発明を実施し、本発明の趣旨および範囲内に含まれる様々な構成を、当業者なら考案することができることを理解されたい。
【００１４】
本明細書に記載する全ての例および条件に関する表現は、本発明と発明者が与える当技術分野をさらに進歩させるための概念とを読者が理解するのを助けるという教育的な目的を有するものであり、これらの具体的に列挙した例および条件に限定されないものと解釈されたい。
【００１５】
さらに、本発明の原理、特徴および実施例ならびに本発明の具体的な例について本明細書で述べる全ての記述は、その構造的均等物および機能的均等物の両方を含むものとする。さらに、これらの均等物には、現在既知の均等物と将来開発されるであろう均等物の両方が含まれる、すなわち、その構造にかかわらず同じ機能を実行する、将来開発される任意の要素が含まれるものとする。
【００１６】
従って、例えば、当業者なら、本明細書に示すブロック図が本発明を実施する例示的な回路の概念図を表していることを理解するであろう。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどが、コンピュータ可読媒体中に実質的に表現され、明示される場合もされない場合もあるコンピュータまたはプロセッサによって実行される様々なプロセスを表すことも理解されたい。
【００１７】
図面に示す様々な要素の機能は、専用のハードウェア、および適当なソフトウェアと連動してソフトウェアを実行することができるハードウェアを使用して実現することができる。プロセッサによって実現するときには、これらの機能は単一の専用プロセッサで実現することも、単一の共用プロセッサで実現することも、あるいはその一部を共用することもできる複数の個別プロセッサで実施することもできる。さらに、「プロセッサ」または「制御装置」という用語を明示的に用いていても、ソフトウェアを実行することができるハードウェアのみを指していると解釈すべきではなく、ディジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するための読取り専用メモリ（ＲＯＭ）、ランダム・アクセス・メモリ（ＲＡＭ）および不揮発性記憶装置（ただしこれらに限定されない）を暗に含むことがある。
【００１８】
従来の、且つ／または特注のその他ハードウェアも含まれることがある。同様に、図面に示す任意のスイッチも、概念的なものに過ぎない。スイッチの機能は、プログラム論理の動作によっても、専用論理によっても、プログラム制御と専用論理の相互作用によっても、あるいは手作業でも実施することができ、開発者が前後関係から具体的に判断して特定の技術を選択することができる。
【００１９】
本明細書の特許請求の範囲において、特定の機能を実行する手段として表現されている任意の要素は、例えば、（ａ）当該機能を実行する回路素子の組合せや、（ｂ）ファームウェアやマイクロコードなども含めた任意の形態のソフトウェアを、当該ソフトウェアを実行して当該機能を実行する適当な回路と組み合わせたものなども含む、当該機能を実行する任意の態様を含むものとする。特許請求の範囲によって定義される本発明は、列挙する様々な手段が実施する機能を、特許請求の範囲が要求するかたちで組み合わせることにある。従って、これらの機能を実施することができる任意の手段を、本明細書に示す手段の均等物とみなすものとする。
【００２０】
本明細書において、本発明の「一実施例」または「実施例」と述べていれば、それは、当該実施例と関連づけて述べられる特定の特色、構造、特性などが、本発明の少なくとも１つの実施例には含まれているということを意味する。従って、本明細書では様々な箇所で「一実施例では」または「実施例では」という表現が出てくるが、それら全てが必ずしも同じ実施例のことを言っているとは限らない。
【００２１】
本明細書で用いる「高レベル・シンタックス」という用語は、階層的にマクロブロック・レイヤの上位に位置するビットストリームに存在するシンタックスを指す。例えば、本明細書で用いる「高レベル・シンタックス」という用語は、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット（ＳＰＳ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ）レベル、ビュー・パラメータ・セット（ＶＰＳ）レベル、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダ・レベルのシンタックス、および付加拡張情報（ＳＥＩ）メッセージのシンタックスを指すことができる。ただし、これらに限定されるわけではない。
【００２２】
説明のため、また簡潔にするために、本明細書では、以下の実施例を、シーケンス・パラメータ・セットを使用する場合に関連して説明する。ただし、本発明は、本明細書に開示する改良した信号方式に関するシーケンス・パラメータ・セットの使用のみに限定されるわけではなく、従って、この改良した信号方式は、本発明の趣旨を維持しながら、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット（ＳＰＳ）レベル、ピクチャ・パラメータ・セット（ＰＰＳ）レベル、ビュー・パラメータ・セット（ＶＰＳ）レベル、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダ・レベルのシンタックス、および付加拡張情報（ＳＥＩ）メッセージのシンタックスなど（ただしこれらに限定されない）、少なくとも上述したタイプの高レベル・シンタックスに関して実施することができることを理解されたい。
【００２３】
さらに、本明細書では本発明の１つまたは複数の実施例をＭＰＥＧ−４  ＡＶＣ標準に関連して説明しているが、本発明はこの標準のみに限定されるわけではなく、従って、本発明の趣旨を維持しながら、ＭＰＥＧ―４  ＡＶＣ標準の拡張など、その他のビデオ符号化標準、勧告およびそれらの拡張に関連して利用することもできることも理解されたい。
【００２４】
さらに、「および／または」という表現、例えば「Ａおよび／またはＢ」という表現を使用するのは、記載した第１の選択肢（Ａ）を選択する場合、記載した第２の選択肢（Ｂ）を選択する場合、または両選択肢（ＡおよびＢ）を選択する場合を含むものとすることを理解されたい。別の例として、「Ａ、Ｂおよび／またはＣ」の場合には、この表現は、記載した第１の選択肢（Ａ）を選択する場合、記載した第２の選択肢（Ｂ）を選択する場合、記載した第３の選択肢（Ｃ）を選択する場合、記載した第１および第２の選択肢（ＡおよびＢ）を選択する場合、記載した第１および第３の選択肢（ＡおよびＣ）を選択する場合、記載した第２および第３の選択肢（ＢおよびＣ）を選択する場合、または３つ全ての選択肢（ＡおよびＢおよびＣ）を選択する場合を含むものとする。これは、当技術分野および関連技術分野の当業者には明らかなように、列挙した項目の数だけ拡張することができる。
【００２５】
図１を参照すると、例示的なマルチ・ビュー・ビデオ符号化（ＭＶＣ）デコーダの全体を、参照番号１００で示してある。デコーダ１００は、逆量子化器１１０の入力に信号通信で接続された出力を有するエントロピ・デコーダ１０５を備える。逆量子化器の出力は、逆変換器１１５の入力に信号通信で接続される。逆変換器１１５の出力は、合成器１２０の第１の非反転入力に信号通信で接続される。合成器１２０の出力は、デブロッキング・フィルタ１２５の入力およびイントラ予測器１３０の入力に信号通信で接続される。デブロッキング・フィルタ１２５の出力は、参照ピクチャ記憶装置１４０（ビューｉ用）の入力に信号通信で接続される。参照ピクチャ記憶装置１４０の出力は、動き補償器１３５の第１の入力に信号通信で接続される。
【００２６】
参照ピクチャ記憶装置１４５（その他のビュー用）の出力は、視差／照度補償器１５０の第１の入力に信号通信で接続される。
【００２７】
エントロピ・コーダ１０５の入力は、デコーダ１００への入力として利用して、残余ビットストリームを受信することができる。さらに、モード・モジュール１６０の入力は、デコーダ１００への入力として利用して、どの入力をスイッチ１５５が選択するかを制御する制御シンタックスを受信することができる。さらに、動き補償器１３５の第２の入力は、デコーダ１００の入力として利用して、動きベクトルを受信することができる。また、視差／照度補償器１５０の第２の入力は、デコーダ１００への入力として利用して、視差ベクトルおよび照度補償シンタックスを受信することができる。
【００２８】
スイッチ１５５の出力は、合成器１２０の第２の非反転入力に信号通信で接続される。スイッチ１５５の第１の入力は、視差／照度補償器１５０の出力に信号通信で接続される。スイッチ１５５の第２の入力は、動き補償器１３５の出力に信号通信で接続される。スイッチ１５５の第３の入力は、イントラ予測器１３０の出力に信号通信で接続される。モード・モジュール１６０の出力は、スイッチ１５５に信号通信で接続されて、どの入力をスイッチ１５５が選択するかを制御する。デブロッキング・フィルタ１２５の出力は、デコーダの出力として利用することができる。
【００２９】
本発明によれば、高レベル・シンタックス参照ビューを用いてマルチ・ビュー符号化ビデオにおいてビデオ・エラー隠蔽を行う方法および装置が提供される。本発明は、最低でも、マルチ・ビュー符号化ビデオの場合にピクチャ損失を検出する問題に対処するものである。本明細書では、マルチ・ビュー符号化ビデオ・シーケンスの伝送中に１つのビューのどのピクチャが欠落している、失われている、または落ちているかを特定／検出する方法および装置が提供される。
【００３０】
インターネットや無線ネットワークなど、エラーの生じやすい伝送環境では、伝送されるビデオ・ビットストリームは、例えばチャネル障害などによって生じる破損を受ける恐れがある。一部の実用システムが共通して経験する状況は、特定の圧縮ビデオ・ピクチャがビットストリームから落ちることである。これは、特に、リアルタイム転送プロトコル（ＲＴＰ）パケットなどの伝送単位にまで符号化できるほどピクチャが小さい、ビット・レートの低い応用分野に当てはまる。受信機側では、ロバストなビデオ・デコーダが、このような損失を検出して、隠蔽することができなければならない。
【００３１】
マルチ・ビュー・ビデオ符号化（ＭＶＣ）では、符号化ビデオ・シーケンス中にいくつかのビューが存在する。ＭＰＥＧ−４  ＡＶＣ標準のこのＭＶＣ拡張の場合には、各ピクチャは、それが属しているビューを識別するためのビュー識別子と関連付けられている。表１は、スケーラブル・ビデオ符号化（ＳＶＣ）／マルチ・ビュー・ビデオ符号化（ＭＶＣ）拡張シンタックスのネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダを示す。さらに（ＭＰＥＧ−４  ＡＶＣ標準のシンタックスに加えて）、様々なビューのピクチャの復号に援用されるいくつかの高レベル・シンタックスがある。これらのシンタックスは、シーケンス・パラメータ・セット（ＳＰＳ）拡張に存在する。表２は、ＭＰＥＧ−４  ＡＶＣ標準のマルチ・ビュー・ビデオ符号化（ＭＶＣ）拡張のシーケンス・パラメータ・セット（ＳＰＳ）を示す。
【００３２】
【表１】
2010516098.tif 000003
【００３３】
【表２】
2010516098.tif 000004
【００３４】
従って、ＭＰＥＧ−４  ＡＶＣ標準に基づくマルチ・ビュー・ビデオ符号化の今回の提案（以下「ＭＰＥＧ−４  ＡＶＣに関する今回のＭＶＣ提案」と呼ぶ）は、シーケンス・パラメータ・セット（ＳＰＳ）に高レベル・シンタックスを含み、当該シーケンス中の符号化ビューの数を示す。さらに、ＭＰＥＧ−４  ＡＶＣに関する今回のＭＶＣ提案は、ビューについてビュー間参照情報を含む。ＭＰＥＧ−４  ＡＶＣに関する今回のＭＶＣ提案ではさらに、参照ビュー識別子を別個に送信することにより、アンカー・ピクチャと非アンカー・ピクチャを区別する。これを表２に示す。表２には、どのビューが特定のビューの参照として使用されているかという情報が示されている。発明者等は、マルチ・ビュー符号化ビデオの場合に、この情報（符号化ビューの数）を使用してピクチャ損失を検出することができることを知り、これを提案する。
【００３５】
このＭＰＥＧ−４  ＡＶＣ標準のマルチ・ビュー・ビデオ符号化（ＭＶＣ）拡張では、全てのビューについて、特定の時刻に属するピクチャが最初に符号化されるものとされている。図２を参照すると、ビューの数が８個であるマルチ・ビュー・ビデオ符号化システムのタイム・ファースト符号化構造の全体を、参照番号２００で示してある。図２の例では、異なるビューに含まれる同時刻の全てのピクチャが、連続的に符号化される。従って、時刻Ｔ０の全てのピクチャ（Ｓ０〜Ｓ７）が最初に符号化され、その後に時刻Ｔ８のピクチャ（Ｓ０〜Ｓ７）が符号化され、以下同様に続く。これをタイム・ファースト符号化と呼ぶ。
【００３６】
また、ＭＰＥＧ−４  ＡＶＣ標準の今回のマルチ・ビュー符号化（ＭＶＣ）拡張では、その時刻でしかピクチャを用いてビュー間予測を行うことができないという制約がある。従って、失われたピクチャは時間参照としてだけでなくビュー参照としても使用される可能性があるので、この時刻におけるピクチャの損失を検出することが、いっそう問題となる。従って、その他のビューの客観的品質のためには、このピクチャを適時隠蔽する必要がある。
【００３７】
これ（タイム・ファースト符号化）、ならびにシーケンス中の符号化ビューの数およびシーケンス・パラメータ・セット（ＳＰＳ）の特定のビューの参照に必要なビューを知ることにより、ピクチャの損失を検出することができる。
【００３８】
この検出アルゴリズムの一実施例は、以下の通りである。上述のように、全てのビューの同時刻のピクチャが最初に符号化されることが分かっている。さらに、シーケンス・パラメータ・セットを調べることにより、どのビューが所与のビューのビュー間参照に必要なのかも分かる。従って、復号すべきピクチャが到着したとき、シーケンス・パラメータ・セット・シンタックス（ｖｉｅｗ＿ｉｄ）から、どの（１つまたは複数の）ビューがビュー間参照に必要なのか分かる。ビュー間参照にはその時刻のピクチャしか必要でないため、（１つまたは複数の）ビュー間参照ピクチャを識別するための情報は全て有していることになる。また、ピクチャは、復号され、復号済みピクチャ・バッファ（ＤＰＢ）に格納した後でなければ、復号に使用することはできない。
【００３９】
参照ピクチャのｖｉｅｗ＿ｉｄおよび時刻（ピクチャ・オーダ・カウント（ＰＯＣ））が分かっているので、（ｖｉｅｗ＿ｉｄ、ＰＯＣ）の組合せを用いて復号済みピクチャ・バッファの探索を実行することができる。復号済みピクチャ・バッファにこのピクチャが見つからない場合には、このピクチャが欠落していると結論づけ、その失われたピクチャが参照として使用される前に適当な隠蔽アルゴリズムを呼び出して隠蔽することができる。
【００４０】
これを、以下に例を用いて説明する。図２を参照すると、ピクチャ（Ｓ２、Ｔ４）が失われていると仮定している。時刻Ｔ４において可能な符号化順序は、Ｓ０、Ｓ２、Ｓ１、Ｓ４、Ｓ３、Ｓ６、Ｓ５、Ｓ７である。この時刻ではＳ２が欠落しているので、受信されるのはＳ０、Ｓ１、Ｓ４、Ｓ３、Ｓ６、Ｓ５、Ｓ７である。Ｓ１を受信したとき、このビューに対応するシーケンス・パラメータ・セット・シンタックスから、時刻Ｔ４のＳ０およびＳ２は参照として使用されると判定することができる。これは、以下のようなＳ１の非アンカー・ピクチャの値によって示される。
ｎｕｍ＿ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿Ｉ０［ｉ］＝１
ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿Ｉ０［ｉ］［ｊ］＝０（Ｓ０のｖｉｅｗ＿ｉｄ）
ｎｕｍ＿ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆｓ＿Ｉ１［ｉ］＝１
ｎｏｎ＿ａｎｃｈｏｒ＿ｒｅｆ＿Ｉ１［ｉ］［ｊ］＝２（Ｓ２のｖｉｅｗ＿ｉｄ）
【００４１】
ここで、（Ｓ０、Ｔ４）および（Ｓ２、Ｔ４）が、現在のピクチャ（Ｓ１、Ｔ４）のビュー間参照として使用されることが分かっている。これら２つの参照ピクチャは、参照ピクチャとして使用するためには、復号し、記憶する必要があるので、復号済みピクチャ・バッファの探索を実行することができる。現在のピクチャは、これらのピクチャが両方とも復号済みピクチャ・バッファに見つかった場合にのみ、正しく復号することができる。ピクチャ（Ｓ２、Ｔ４）は失われているので、復号済みピクチャ・バッファ内には見つからず、ピクチャ（Ｓ２、Ｔ４）の損失を検出することができる。次いで、現在のピクチャ（Ｓ１、Ｔ４）を復号する前に、適当な隠蔽アルゴリズムを呼び出して、この失われたピクチャを隠蔽することができる。
【００４２】
上述のエラー検出アルゴリズムを複数の失われた参照ピクチャに適用して、複数のピクチャ損失を検出することもできる。
【００４３】
図３を参照すると、失われたピクチャに対するエラー隠蔽を用いてビデオ・シーケンスに対応するビデオ・データを復号する例示的な方法の全体を、参照番号３００で示してある。
【００４４】
方法３００は、機能ブロック３１０に制御を渡す開始ブロック３０５を含む。機能ブロック３１０では、シーケンス・パラメータ・セット（ＳＰＳ）、ピクチャ・パラメータ・セット（ＰＰＳ）、ビュー・パラメータ・セット（ＶＰＳ）、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）ユニット・ヘッダ、および／または付加拡張情報（ＳＥＩ）メッセージを解析し、制御を機能ブロック３１５に渡す。機能ブロック３１５では、変数ｎｕｍ＿ｖｉｅｗｓ＿ｍｉｎｕｓ＿１＋１に等しい変数ＮｕｍＶｉｅｗｓを設定し、ゼロに等しい変数ＰｒｅｖＰＯＣを設定し、ゼロに等しい変数ＲｅｃｖＰｉｃを設定し、制御を判定ブロック３２０に渡す。判定ブロック３２０では、ビデオ・シーケンスの末端に到達したかどうかを判定する。到達している場合には、制御は終了ブロック３９９に渡される。そうでない場合には、制御は機能ブロック３２５に渡される。
【００４５】
機能ブロック３２５では、次のピクチャのピクチャ・オーダ・カウント（ＰＯＣ）を読み取り、変数ＲｅｃｖＰｉｃを増分し、制御を機能ブロック３３０に渡す。機能ブロック３３０では、高レベル・シンタックスから、必要な全てのビュー間参照ピクチャを決定し、制御を機能ブロック３３５に渡す。機能ブロック３３５では、機能ブロック３３０で決定された各ビュー間参照ピクチャのピクチャ・オーダ・カウント（ＰＯＣ）およびビュー識別子（ｖｉｅｗ＿ｉｄ）を用いて、機能ブロック３３０で決定されたビュー間参照ピクチャがないか、復号済みピクチャ・バッファ（ＤＰＢ）を探索し、制御を判定ブロック３４０に渡す。判定ブロック３４０では、それらの参照ピクチャが復号済みピクチャ・バッファ（ＤＰＢ）に見つかったかどうかを判定する。見つかった場合には、制御は判定ブロック３４５に渡される。そうでない場合には、制御は機能ブロック３５５に渡される。
【００４６】
判定ブロック３４５では、全ての参照ピクチャが検査されたかどうかを判定する。全ての参照ピクチャが検査された場合には、制御は機能ブロック３５０に渡される。そうでない場合には、制御は機能ブロック３３５に戻される。
【００４７】
機能ブロック３５０では、現在のピクチャを復号し、制御を判定ブロック３２０に戻す。
【００４８】
次に、その一部については上記で既に説明した、本発明の多くの付随的な利点／特色の一部について説明する。例えば、１つの利点／特色は、ビットストリームのマルチ・ビュー・ビデオ・コンテンツに対応する少なくとも１つのビューのピクチャを復号するデコーダを備える装置である。これらのピクチャは、ビデオ・シーケンスの少なくとも一部分を表す。これらのピクチャの少なくともいくつかは、ビデオ・シーケンス内の異なる時刻に対応する。デコーダは、前記異なる時刻の特定の１つに対応するピクチャの何れかが失われているかどうかを、既存のシンタックス要素を用いて判定する。前記既存のシンタックス要素は、前記ピクチャの少なくとも１つのビュー間予測に用いられる少なくとも１つの参照ビューを示す。
【００４９】
別の利点／特色は、デコーダを備えた上述の装置であって、前記既存のシンタックス要素がマルチ・ビュー・ビデオ符号化シンタックス要素である装置である。
【００５０】
さらに別の利点／特色は、前記既存のシンタックス要素がマルチ・ビュー・ビデオ符号化シンタックス要素であるデコーダを備えた上述の装置であって、マルチ・ビュー・ビデオ符号化シンタックス要素が、国際標準化機構／国際電気標準会議ＭＰＥＧ−４  Ｐａｒｔ１０  ＡＶＣ標準／国際電気通信連合電気通信標準化部門Ｈ．２６４勧告の拡張に対応する装置である。
【００５１】
さらに別の利点／特色は、デコーダを備えた上述の装置であって、前記既存のシンタックス要素が高レベルに存在する装置である。
【００５２】
さらに、別の利点／特色は、デコーダを備えた上述の装置であって、前記高レベルが、スライス・ヘッダ・レベル、シーケンス・パラメータ・セット・レベル、ピクチャ・パラメータ・セット・レベル、ビュー・パラメータ・セット・レベル、ネットワーク・アブストラクション・レイヤ・ユニット・ヘッダ・レベル、および付加拡張情報メッセージに対応するレベルの少なくとも１つに対応する装置である。
【００５３】
さらに、別の利点／特色は、デコーダを備えた上述の装置であって、前記デコーダが、前記異なる時刻の特定の１つの時刻に対応するピクチャの何れかが失われているかどうかをタイム・ファースト符号化情報を用いて判定する装置である。
【００５４】
また、別の利点／特色は、上述の前記異なる時刻の特定の１つの時刻に対応するピクチャの何れかが失われているかどうかをタイム・ファースト符号化情報を用いて判定するデコーダを備えた装置であって、前記デコーダが、以前に復号されたピクチャのリストの中を、前記ピクチャの前記少なくとも１つのビュー間予測に使用される前記少なくとも１つの参照ピクチャがないか探索する装置である。前記以前に復号されたピクチャのリストは、前記タイム・ファースト符号化情報の少なくとも一部分を表す。
【００５５】
さらに、別の利点／特色は、上述の以前に復号されたピクチャのリストの中を、前記ピクチャの前記少なくとも１つのビュー間予測に使用される前記少なくとも１つの参照ピクチャがないか探索するデコーダを備えた装置であって、探索される前記少なくとも１つの参照ピクチャが、前記少なくとも１つの参照ピクチャに対応する識別子、および前記ピクチャの前記少なくとも１つに対する前記異なる時刻の特定の１つの時刻を用いて識別され、前記ピクチャの前記少なくとも１つが現在復号されるピクチャである装置である。
【００５６】
本発明の上記その他の特色および利点は、当業者なら本明細書の教示に基づいて容易に確認することができる。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特殊目的プロセッサまたはそれらの組合せといった様々な形態で実施することができることを理解されたい。
【００５７】
本発明の教示は、ハードウェアとソフトウェアの組合せとして実施されることが最も好ましい。さらに、ソフトウェアは、プログラム記憶装置に物理的に実装されたアプリケーション・プログラムとして実施することができる。アプリケーション・プログラムは、任意の適当なアーキテクチャを備えるマシンにアップロードし、このマシンによって実行することができる。このマシンは、１つまたは複数の中央処理装置（「ＣＰＵ」）、ランダム・アクセス・メモリ（「ＲＡＭ」）および入出力（「Ｉ／Ｏ」）インタフェースなどのハードウェアを有するコンピュータ・プラットフォームに実装されることが好ましい。コンピュータ・プラットフォームは、オペレーティング・システムおよびマイクロ命令コードを含むこともできる。本明細書に記載の様々なプロセスおよび機能は、ＣＰＵによって実行することができる、マイクロ命令コードの一部またはアプリケーション・プログラムの一部あるいはそれらの任意の組合せとすることもできる。さらに、追加のデータ記憶装置や印刷装置など、その他の様々な周辺機器をコンピュータ・プラットフォームに接続することもできる。
【００５８】
さらに、添付の図面に示すシステム構成要素および方法の一部はソフトウェアで実施することが好ましいので、システム構成要素間またはプロセス機能ブロック間の実際の接続形態は、本発明を実施する態様によって変わることがあることを理解されたい。本明細書の教示があれば、当業者なら、上記の、またそれに類する本発明の実施態様または構成を思いつくことができるであろう。
【００５９】
本明細書では添付の図面を参照しながら例示的な実施例について説明したが、本発明はこれらの具体的な実施例に限定されるものではなく、当業者なら、本発明の趣旨または範囲を逸脱することなく様々な変更および修正を加えることができることを理解されたい。これらの変更および修正は全て、添付の特許請求の範囲に記載する本発明の範囲に含まれるものとする。
【図１】
2010516098.tif 000005
【図２】
2010516098.tif 000006
【図３】
2010516098.tif 000007
【国際調査報告】
2010516098.tif 000008
2010516098.tif 000009
2010516098.tif 000010