(57)【要約】  画像フレームの少なくとも一部についてビュー間コード化モードを決定するステップと、ビュー間コード化モード指標の対応する値を特定するステップと、画像フレーム部分に関連付られたエンコード化された運動ベクトルを含むモード指標をビットストリームに提供するステップとを含むシステム、装置及び方法が説明されている。モード指標の第１の値が、第１のビュー間コード化モードに対応しており、ここで、エンコード化された運動ベクトルは、複数の次元の成分を含む。モード指標の第２の値は、第２のビュー間コード化モードに対応しており、エンコード化された運動ベクトルが、１つの次元のみの成分を含む。
2014527782.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータ実装方法であって、当該方法が、
ビデオエンコーダにおいて、
画像フレームの少なくとも一部についてビュー間コード化モードを決定するステップと、
ビュー間コード化モード指標に対応する値を特定するステップと、
前記モード指標をビットストリームに提供するステップであって、該ビットストリームは、前記画像フレーム部分に関連付けられたエンコード化された運動ベクトルを含む、提供ステップと、を含み、
前記モード指標の第１の値は、第１のビュー間コード化モードに対応しており、前記エンコード化された運動ベクトルは、複数の次元の成分を含んでおり、前記モード指標の第２の値は、第２のビュー間コード化モードに対応しており、前記エンコード化された運動ベクトルは、１つの次元のみの成分を含む、
方法。
【請求項２】
第２のビュー間コード化モードでは、ゼロ又は実質的にゼロの運動ベクトル成分がエンコード化されない、
請求項１に記載の方法。
【請求項３】
前記ビットストリームのピクチャヘッダ又はスライスヘッダが、前記ビュー間コード化モード指標を含む、
請求項１に記載の方法。
【請求項４】
前記画像フレーム部分は、マクロブロックを含み、前記モード指標をビットストリームに提供するステップは、前記マクロブロックに関連付けられた構文に前記モード指標を配置するステップを含む、
請求項１に記載の方法。
【請求項５】
第１のビュー間コード化モードでは、前記エンコード化された運動ベクトルが、複数の成分を含んでおり、且つ第２のビュー間コード化モードでは、前記エンコード化された運動ベクトルが、１つの成分のみを含む、
請求項１に記載の方法。
【請求項６】
前記ビュー間コード化モードを決定するステップが、基準画像フレームインデックスに応答して前記ビュー間コード化モードを選択的に決定するステップを含む、
請求項１に記載の方法。
【請求項７】
前記画像フレーム部分が、第１のビュー・ビデオシーケンスの画像フレーム部分を含んでおり、前記ビュー間コード化モードを選択的に決定するステップは、前記基準画像フレームインデックスが第２のビュー・ビデオシーケンスの画像フレームに対応する場合にのみ、前記ビュー間コード化モードを決定する、
請求項６に記載の方法。
【請求項８】
前記ビデオエンコーダが、多視点ビデオコード化（ＭＶＣ）用のエンコーダを含む、
請求項１に記載の方法。
【請求項９】
コンピュータでの実装方法であって、当該方法が、
ビデオデコーダにおいて、
ビットストリームを受信するステップであって、該ビットストリームが、画像フレームの少なくとも一部に関連付けられたビュー間コード化モード指標を含む、受信するステップと、
前記ビュー間コード化モード指標に応答して、第１のビュー間コード化モード又は第２のビュー間コード化モードのうちの１つを決定するステップと、
決定されたビュー間コード化モードに応答して画像フレーム部分についてビュー間動き補償を行うステップと、を含み、
第１のビュー間コード化モードでは、前記ビットストリームは、複数の次元の成分を含むエンコード化された運動ベクトルを有しており、第２のビュー間コード化モードでは、前記ビットストリームは、１つの次元のみの成分を含むエンコード化された運動ベクトルを有する、
方法。
【請求項１０】
第２のビュー間コード化モードでは、ゼロ又は実質的にゼロの運動ベクトル成分がエンコード化されない、
請求項９に記載の方法。
【請求項１１】
前記ビットストリームのピクチャヘッダ又はスライスヘッダは、前記ビュー間コード化モード指標を含む、
請求項９に記載の方法。
【請求項１２】
前記画像フレーム部分は、マクロブロックを含み、該マクロブロックのビットストリーム構文が、前記ビュー間コード化モード指標を含む、
請求項９に記載の方法。
【請求項１３】
第１のビュー間コード化モードでは、前記エンコード化された運動ベクトルが、複数の成分を含んでおり、且つ第２のビュー間コード化モードでは、前記エンコード化された運動ベクトルが、１つの成分のみを含む、
請求項９に記載の方法。
【請求項１４】
前記ビデオデコーダは、多視点ビデオコード化（ＭＶＣ）用のデコーダを含む、
請求項９に記載の方法。
【請求項１５】
内部に記憶された命令を有するコンピュータプログラム製品を含む物品であって、前記プログラムが実行された場合に、
画像フレームの少なくとも一部についてビュー間コード化モードを決定するステップと、
ビュー間コード化モード指標に対応する値を特定するステップと、
前記モード指標をビットストリームに提供するステップであって、該ビットストリームは、前記画像フレーム部分に関連付けられたエンコード化された運動ベクトルを含む、提供するステップと、を含み、
前記モード・指標の第１の値は、第１のビュー間コード化モードに対応しており、前記エンコード化された運動ベクトルは、複数の次元の成分を含んでおり、前記モード指標の第２の値は、第２のビュー間コード化モードに対応しており、前記エンコード化された運動ベクトルは、１つの次元のみの成分を含む、
物品。
【請求項１６】
第２のビュー間コード化モードでは、ゼロ又は実質的にゼロの運動ベクトル成分がエンコード化されない、
請求項１５に記載の物品。
【請求項１７】
前記画像フレーム部分は、マクロブロックを含み、前記モード指標をビットストリームに提供するステップは、前記マクロブロックに関連付けられた構文にモード指標を配置するステップを含む、
請求項１５に記載の物品。
【請求項１８】
第１のビュー間コード化モードでは、前記エンコード化された運動ベクトルが、複数の成分を含んでおり、且つ第２のビュー間コード化モードでは、前記エンコード化された運動ベクトルが、１つ成分のみを含む、
請求項１５に記載の物品。
【請求項１９】
前記ビュー間コード化モードを決定するステップが、基準画像フレームインデックスに応答して前記ビュー間コード化モードを選択的に決定するステップを含む、
請求項１５に記載の物品。
【請求項２０】
前記画像フレーム部分が、第１のビュー・ビデオシーケンスの画像フレーム部分を含んでおり、前記ビュー間コード化モードを選択的に決定するステップは、前記基準画像フレームインデックスが第２のビュー・ビデオシーケンスの画像フレームに対応する場合にのみ、前記ビュー間コード化モードを決定する、
請求項１９に記載の物品。
【請求項２１】
内部に記憶された命令を有するコンピュータプログラム製品を含む物品であって、前記プログラムが実行された場合に、
ビットストリームを受信するステップであって、該ビットストリームが、画像フレームの少なくとも一部に関連付られたビュー間コード化モード指標を含む、受信するステップと、
前記ビュー間コード化モード指標に応答して、第１のビュー間コード化モード又は第２のビュー間コード化モードのうちの１つを決定するステップと、
決定されたビュー間コード化モードに応答して画像のフレーム部分についてビュー間動き補償を行うステップと、を含み、
第１のビュー間コード化モードでは、前記ビットストリームは、複数の次元の成分を含むエンコード化された運動ベクトルを有しており、第２のビュー間コード化モードでは、前記ビットストリームは、１つの次元のみの成分を含むエンコード化された運動ベクトルを含む、物品。
【請求項２２】
第２のビュー間コード化モードでは、ゼロ又は実質的にゼロの運動ベクトル成分がエンコード化されない、
請求項２１に記載の物品。
【請求項２３】
前記画像フレーム部分は、マクロブロックを含み、モード指標をビットストリームに提供するステップは、前記マクロブロックに関連付けられた構文にモード指標を配置するステップを含む、
請求項２１に記載の物品。
【請求項２４】
第１のビュー間コード化モードでは、前記エンコード化された運動ベクトルが、複数の成分を含んでおり、且つ第２のビュー間コード化モードでは、前記エンコード化された運動ベクトルが、１つの成分のみを含む、
請求項２１に記載の物品。
【請求項２５】
システムであって、当該システムが、
ビデオデータを含むビットストリームを送信するアンテナと、
前記アンテナに通信可能に結合されビデオエンコーダと、を有しており、該ビデオデコーダが、
画像フレームの少なくとも一部についてビュー間コード化モードを決定するステップと、
ビュー間コード化モード指標に対応する値を特定するステップと、
前記モード指標を前記ビットストリームに提供するステップであって、前記ビットストリームは、前記画像フレーム部分に関連付けられたエンコード化された運動ベクトルを含む、提供するステップと、を含み、
前記モード指標の第１の値は、第１のビュー間コード化モードに対応しており、前記エンコード化された運動ベクトルは、複数の次元の成分を含んでおり、前記モード指標の第２の値は、第２のビュー間コード化モードに対応しており、前記エンコード化された運動ベクトルは、１つの次元のみの成分を含む、
システム。
【請求項２６】
第２のビュー間コード化モードでは、ゼロ又は実質的にゼロの運動ベクトル成分がエンコード化されない、
請求項２５に記載のシステム。
【請求項２７】
前記画像フレーム部分は、マクロブロックを含み、前記モード指標をビットストリームに提供するために、前記ビデオデコーダが、前記マクロブロックに関連付けられた構文にモード指標を配置する、
請求項２５に記載のシステム。
【請求項２８】
第１のビュー間コード化モードでは、前記エンコード化された運動ベクトルが、複数の成分を含んでおり、且つ第２のビュー間コード化モードでは、前記エンコード化された運動ベクトルが、１つの成分のみを含む、
請求項２５に記載のシステム。
【請求項２９】
前記ビュー間コード化モードを決定するために、前記ビデオエンコーダは、基準画像フレームインデックスに応答して前記ビュー間コード化モードを選択的に決定する、
請求項２５に記載のシステム。
【請求項３０】
前記画像フレームの部分が、第１のビュー・ビデオシーケンスの画像フレーム部分を含んでおり、前記ビュー間コード化モードを選択的に決定するために、前記ビデオエンコーダは、前記基準画像フレームインデックスが第２のビュー・ビデオシーケンスの画像フレームに対応する場合にのみ、前記ビュー間コード化モードを決定する、
請求項２９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願
本願は、２０１１年８月３０日に出願された米国特許仮出願番号第６１／５２８，８４４号の優先権の利益を主張する。
本発明は、多視点ビデオ化コード方式に関する。
【背景技術】
【０００２】
多視点のビデオコード化（ＭＶＣ）は、Ｈ．２６４／ＡＶＣビデオコード化規格を拡張したものである。これによって、あるシーンの様々なビュー（視点）を有するいくつかのビデオシーケンスを、基本ビューと、この基本ビューに依存してコード化される追加の非基本ビューとを含む単一のビットストリームにエンコード化することができる。非基本ビュー同士の間の依存関係をコード化することも可能である。エンコード化の後に、各ビューを個々のビットストリームとして表すことができ、又は（すなわち）個々のビュー・ビットストリームを一緒にマージしてもよい。
【０００３】
ビュー（視点）間予測は、ＭＶＣにおける重要な圧縮技術である。あるシーンに対して様々なカメラ位置で撮影された異なるビデオシーケンスは、多くの場合、ビュー（視点）同士の間に強い相関を示す。従って、特定のビューにおける画像フレーム又はピクチャをエンコード化する場合に、基本ビュー及び／又は他の追加のビューにおけるピクチャを、コード化効率を向上させるためにビュー（視点）間基準ピクチャとして使用することができる。さらに、エンコーダは、ビュー間基準ピクチャを使用するか、又は同じビューのビデオシーケンス内で時間基準ピクチャを使用するかを決定することができる。動き推定では、形式ＭＶ（ｘｐ，ｙｐ）の２次元（２Ｄ）運動ベクトル（ＭＶ）が、最初に予測され、次に他のＭＶｓが、現在のブロックと基準ブロックとの間の歪みを最小限に抑えるような最良のＭＶ（ｘ，ｙ）を識別するために特定の範囲内で検索される。ＭＶ（ｘ，ｙ）とＭＶ（ｘｐ，ｙｐ）との間の差は、次に残差信号としてエンコード化される。
【０００４】
多視点のシーケンスでは、同じ対象を異なるビューで投影することは、対応するカメラ位置に関連している。例えば、人間のステレオ視システムを十分にシミュレートするために、並列カメラ技術が広く使用されている。平行なカメラ設定では、カメラは、そのカメラ位置が（例えば、ｘ軸に沿って）一次元のみで実質的に異なるように整列されている。従って、２つの対応するビュー上における同じ３Ｄ空間画素の二つの投影位置が、一次元のみで（例えば、ｘ方向において）異なることがある。
【図面の簡単な説明】
【０００５】
【図１】例示的な多視点ビデオコード化システムの説明図である。
【図２】例示的な多視点シナリオを示す図である。
【図３】例示的なビットストリーム部分を示す図である。
【図４】例示的な構文スキームを説明する図である。
【図５】例示的な構文スキームを説明する図である。
【図６】ビュー間コード化方式を実装するための例示的プロセスのフローチャートである。
【図７】ビュー間コード化方式を実装するための例示的プロセスのフローチャートである。
【図８】例示的なシステムの説明図である。
【図９】本開示の少なくともいくつかの実装形態に従って全て配置された例示的な装置の説明図である。
【発明を実施するための形態】
【０００６】
本明細書に説明されるマテリアルは、例として示されているが、添付図面に限定されるものではない。説明を簡単且つ明瞭にするために、図面に示される要素は必ずしも一定の縮尺で描かれていない。例えば、いくつかの要素の寸法は、明確にするために他の要素に対して誇張されることがある。さらに、適切であると考えられる場合に、参照符号は、対応する又は類似の要素を示すために図面の間で繰り返し用いられる。
【０００７】
１つ以上の実施形態又は実装形態について、ここで添付図面を参照して説明する。特定の構成及び配置が説明されるが、これは説明目的のためだけに行われることを理解されたい。関連技術の当業者は、他の構成及び配置が詳細な説明の精神及び範囲から逸脱することなく用いることができることを認識するであろう。なお、本明細書に説明される技術及び／又は配置は、本明細書に説明される以外の様々な他のシステム及びアプリケーションで使用することもできることは当業者には明らかであろう。
【０００８】
以下の説明は、例えばシステムオンチップ（ＳｏＣ）アーキテクチャ等のアーキテクチャにおいて明らかにされる様々な実装形態を説明しているが、本明細書に説明される技術及び／又は配置の実装形態は、特定のアーキテクチャ及び／又はコンピュータ・システムに限定されるものではなく、同様の目的のために任意のアーキテクチャ及び／又はコンピュータ・システムによって実装されてもよい。用いられる様々なアーキテクチャ、例えば多重集積回路（ＩＣ）チップ及び／又はパッケージ、及び／又は様々なコンピュータ装置及び／又は、セットトップボックス、スマートフォン等の家庭用電化製品（ＣＥ）は、本明細書に説明される技術及び／又は構成を実装する。また、以下の説明は、論理の実装、システム・コンポーネント、論理区分／統合の選択等の種類及び相互関係等の多数の特定の詳細を説明しているが、本発明の主題は、そのような特定の詳細なしに実施することができる。他の例では、例えば制御構造及び完全なソフトウェア命令シーケンス等のいくつかのマテリアルは、本明細書に開示されたマテリアルを不明瞭にしないために詳細に示されないことがある。
【０００９】
本明細書に開示されたマテリアルは、ハードウェア、ファームウェア、ソフトウェア、又はこれらの任意の組合せとして実装することができる。本明細書に開示されたマテリアルは、機械可読媒体に記憶された命令として実装することができ、この媒体は、１つ以上のプロセッサによって読み出され且つ実行される。機械可読媒体は、機械（例えば、コンピュータ装置）によって読み取り可能な形式の情報を記憶又は送信するような任意の媒体及び／又は機構を含んでもよい。例えば、機械可読媒体は、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリデバイス、電子、光、音響又は他の形態の伝搬信号（例えば、搬送波、赤外線信号、デジタル信号等）等を含んでもよい。
【００１０】
明細書における「１つの実装形態」、「ある実装形態」、「実装例」等の参照は、説明される実装形態が特定の特徴、構造、又は特性を含み得ることを示しているが、全ての実装形態が必ずしも特定の特徴、構造又は特性を含まなくてもよい。さらに、そのような語句は、必ずしも同じ実装形態を指しているわけではない。特定の特徴、構造、又は特性が、ある実装形態に関連して説明される場合に、さらに、当業者の知見の範囲内で、本明細書で明示的に説明されているか否かに拘わらず他の実装に関連する特徴、構造、又は特性等を達成することが提示される。
【００１１】
図１には、本開示に従った例示的な多視点ビデオコード化（ＭＶＣ）システム１００が説明されている。様々な実装形態では、ＭＶＣ１００は、ＭＶＣエンコーダ１０２、サーバ１０４、ネットワーク１０６、メディアゲートウェイ１０８、及びＭＶＣデコーダ１１０及び１１２を含むことができる。様々な実装形態では、ＭＶＣエンコーダ１０２は、三次元（３Ｄ）シーンの多重入力のカメラのビュー（視点）に対応する入力ビデオ画像フレーム又はピクチャを受信して、１つ以上の最新のビデオコーデック規格に従ってビデオ圧縮を実施し、及び／又はビデオコーデックを実装するように構成されてもよい。例えば、Ｈ．２６４／ＡＶＣ規格、（ISO／IEC  JTC1及びITU−T,  H.264／AVC  市販のオーディオビジュアルサービスのための最新のビデオコード化  ITU−T勧告、H.264及びISO／IEC  14496−10（MPEG−4  第10部）、第3版、2005を参照）、及びＡＶＣ規格（ISO／IEC  14496−10:2008追補（2008）参照）（これ以降：「ＭＶＣ規格」という）に対して拡張された拡張多視点ビデコード化（ＭＶＣ）の拡張を含む。システム１００及び／又は他のシステム、スキーム又はプロセスは、例示及び説明の目的のためにＭＶＣ規格の文脈で本明細書で説明するが、本開示は、任意の特定のビデオエンコード化規格又は仕様に限定されるものではない。
【００１２】
様々な実装形態では、ＭＶＣエンコーダ１０２は、ビデオフレームがスライスに細分化されるようなブロックベースのハイブリッドビデオコード化手法を実装することができ、スライスは、同様に、エンコード化するためにマクロブロック（ＭＢｓ）に細分されている。各ＭＢは、１６ｘ１６輝度（luma)サンプル、及び４：２：０彩度（chroma）サンプルフォーマットのビデオの場合には、２つの８ｘ８彩度成分サンプル領域の矩形画像領域に対応する。ＭＢサンプルは、空間的又は時間的のいずれかで予測することができ、得られた予測残差信号を変換コードを用いて表すことができる。様々な実装形態では、ＭＶＣエンコーダ１０２は、ＭＢ当たりの基準で実行するために、どのような種類のエンコード化をするかを決定することができる。本明細書において使用されるように、用語「ブロック」は、ビデオデータのＭＢ又はサブＭＢ区分を指す。
【００１３】
以下でより詳細に説明するように、ＭＶＣエンコーダ１０２は、本開示による技術を使用して、あるシーンの様々なビュー（視点）を表すエンコード化された多視点ビデオデータを生成することができる。ＭＶＣエンコーダ１０２は、基本ビューと、コード化がこの基本ビューに依存するような追加の非基本ビューとを含むコード化ＭＶＣビットストリーム１０３の形式としてエンコード化された多視点ビデオデータを提供することができる。様々な実装形態では、各ビューは、別個のＭＶＣビットストリームによって表すことができ、又はビュー・ビットストリームは、ＭＶＣビットストリーム１０３等の単一のビットストリームを形成するために一緒にマージされてもよい。
【００１４】
サーバ１０４は、別のビデオデコード化能力を有するＭＶＣデコーダ１１０及び１１２等の異なるクライアントにネットワーク１０６を介してビットストリーム１０３を送信することができる。様々な実装形態では、ビットストリーム１０３を、メディアゲートウェイ１０８等の１つ以上のメディアゲートウェイを介して送信してもよい。様々な実装形態では、メディアゲートウェイ１０８は、ビットストリーム１０３の変更された形式をＭＶＣデコーダ１１０及び１１２に提供する前に、ビットストリーム１０３の入力ビデオパケット又はサブビットストリームを操作することができるようなメディアアウェア（認識型）ネットワーク要素であってもよい。いくつかの実装形態では、メディアゲートウェイ１０８は、ビットストリーム１０３を操作して、ＭＶＣ技術を実施するように構成されていないようなシステム及び／又は装置（図１には図示せず）に基本ビュー・ビットストリームのみを提供することができる。例えば、ＭＶＣデコーダ１１０及び１１２等のＭＶＣ技術に適用可能であるシステム及び／又はデバイスについて、ビットストリーム１０３の基本ビューストリーム及び一つ以上の非基本ビューストリームコンポーネントを、本明細書に説明されるようなＭＶＣ技術を実施するために使用することができる。
【００１５】
ＭＶＣデコーダ１１０及び１１２において、コード化されたビデオデータは、ビットストリーム１０３から抽出することができ、次にＭＶＣデコーダ１１０及び１１２を組み込んだシステム及び／又は装置のアプリケーションシナリオ及び能力に依存して様々な方法でデコード化され且つレンダリングされる。例えば、ＭＶＣデコーダ１１０は、立体表示システム（図１には示されない）の一部であってもよく、一方、ＭＶＣデコーダ１１２は、いくつかの非限定的な例を挙げると、自由視点ビデオシステム（これも図１には示されない）の一部であってもよい。様々な実装形態では、ＭＶＣデコーダ１１０及び１１２は、ビットストリーム１０３によって提供された情報及び／又はデータを用いて、ビュー（視点）間動き補償等の種々のＭＶＣ技術を実施することができる。例えば、非基本ビューの画像スライス内のＭＢが、ＭＶＣビットストリーム１０３に提供されたエンコード化されたＭＶに基づいて予測することができ、エンコード化されたＭＶは、基本ビュー画像内のＭＢを指し示す又は参照する。
【００１６】
様々な実施形態では、ビデオ及び／又はメディアプロセッサは、システム１００のＭＶＣエンコーダ１０２又はＭＶＣデコーダ１１０及び／又は１１２を実装することができる。一般に、システム１００の様々なコンポーネントは、ソフトウェア、ファームウェア、及び／又はハードウェア、及び／又はこれらの任意の組合せとして実装することができる。例えば、システム１００の様々なコンポーネントは、家庭用電化製品（ＣＥ）又はシステムに見出すことができるようなコンピュータ・システムオンチップ（ＳｏＣ）等のハードウェアにより少なくとも部分的に提供されてもよい。
【００１７】
さらに、図１は、ＭＶＣエンコーダ１０２をネットワーク１０６に通信可能に接続するサーバ１０４を示しているが、明確性のために図１には示されていない同様のサーバ（複数可）を、同様に、ＭＶＣデコーダ１１０及び１１２をネットワーク１０６に通信可能に接続してもよい。また、図１は、ネットワーク１０６からビットストリーム１０３を受信するようなＭＶＣデコーダ１１０及び１１２を示しているが、本開示は、ビットストリーム１０３をＭＶＣデコーダ１１０及び１１２に通信するための任意の特定のスキーム、技術及び／又はシステムに限定されるものではない。従って、様々な実装形態では、ＭＶＣデコーダ１１０及び１１２は、例えばHigh−Definition／Density  Digital  Video  Disk（HD−DVD）等のコンピュータ可読記憶媒体に記憶されたデータとしてビットストリーム１０３を受信することができる。さらに、様々な実装形態では、本開示によるＭＶＣデコーダは、セットトップボックス、ケーブル対応のテレビ等の家庭用電化製品（ＣＥ）として実装することができ、本開示によるＭＶＣビットストリームをケーブルネットワーク、衛星ネットワーク等を介して受信することができる。
【００１８】
様々な実装形態では、本開示は、サーバ１０４、ネットワーク１０６、及び／又はメディアゲートウェイ１０８等のシステム１００の様々なコンポーネントの特定の特性によって限定されるものではない。例えば、サーバ１０４は、任意のＷｅｂサーバ又は任意のコンピュータ・システム上で実行される同様のプログラムを含むことができ、それによって、ＭＶＣエンコーダ１０２が、ネットワーク１０６を介してビットストリーム１０３を送信することを可能にする。同様に、ネットワーク１０６は、ＭＶＣエンコーダ１０２及び／又はサーバ１０４と、ＭＶＣデコーダ１１０及び１１２との間でビットストリーム１０３を通信可能にするような有線及び／又は無線ネットワーク又はネットワークシステムの任意のタイプ及び／又は組合せであってもよい。
【００１９】
ビュー（視点）間予測
前述したように、非基本ビュー等の特定のビューでピクチャをエンコード化する際に、ＭＶＣエンコーダ１０２は、基本ビュー及び／又は他の非基本ビューのピクチャをビュー（視点）間基準ピクチャとして使用して、コード化効率を向上させることができる。また、特定のフレーム部分（例えば、ＭＢ）について動き推定を行う際に、ＭＶＣエンコーダ１０２は、ビュー（視点）間予測又は時間予測技術を使用する間に決定することができる。ビュー間予測技術を行うときに、ＭＶＣエンコーダ１０２は、動き推定の目的のためにビュー間ピクチャを基準ピクチャとして使用することができる。
【００２０】
本開示に従って、以下でより詳細に説明するが、ＭＶＣエンコーダ１０２は、ビュー（視点）間の予測を行う際に用いられるビュー間コード化モードを決定することができ、画像部分や多視点ビデオシーケンスに少なくとも関連付られたビュー間コード化モードを示すビットストリーム１０３に、対応するモード指標、ビット又はフラグを提供することができる。様々な実装形態では、ＭＶＣエンコーダ１０２は、ビットストリーム１０３のピクチャ及び／又はスライスヘッダ構文及び／又はＭＢ構文要素内に含まれるビットストリーム１０３の様々な位置にモード指標を配置してもよい。
【００２１】
本開示に従って、ＭＶＣエンコーダ１０２によって決定されたビュー間コード化モードは、２つの状態のうちいずれかを有するものとして特定することができ、第１のビュー間コード化モードでは、二次元（２Ｄ）ビュー間ＭＶｓがエンコード化され、各ＭＶについて、両方のＭＶ成分がビットストリームに現れるようにエンコード化されており、第２のビュー間コード化モードでは、一次元（１Ｄ）ビュー間ＭＶｓがエンコード化され、各ＭＶについて、一つのＭＶ成分のみが、エンコード化されてビットストリームに表示される。本明細書で使用する場合、ビュー間ＭＶは、１つのビュー（視点）のビデオシーケンス内のＭＢ（又はマクロブロック及び／又はサブマクロブロック区分）から他のビュー（視点）のビデオシーケンス内のＭＢ（又はマクロブロック及び／又はサブマクロブロック区分）へポインティングされる。例えば、第１のビュー間コード化モードでは、エンコード化されたビュー間ＭＶは、２次元の変位を特定するような２つのＭＶ成分（例えば、ｘ及びｙ）を含むことができ、第２のビュー間コード化モードでは、エンコード化されたビュー間ＭＶは、一次元のみの変位を特定するような一つのＭＶ成分のみ（例えば、ｘ又はｙ）を含むことができ、それにより、対応するビットストリームに現れるビット数を低減させる。
【００２２】
例えば、図２には、３Ｄシーン２０２のビデオシーケンスが二つの異なる視点２０４及び２０６からキャプチャされた例示的な多視点シナリオ２００が示されており、これら２つの異なる視点は、この例では「ｘ」軸として任意にラベル付された一方向に沿って互いにずらされている。シナリオ２００では、視点２０４及び２０６からのビデオをキャプチャするカメラ（図示せず）等の撮像装置は、これらカメラがある方向に沿って整列するような平行なカメラ設定とすることができ、それによって、それらカメラ位置が、１つの次元（例えばｘ軸）でのみ実質的に異なっており、他の二つの次元において実質的に同じにすることができる。その結果、２つのビュー（視点）２０４及び２０６上におけるシーン２０２の３Ｄ空間ピクセルの二つの投影位置は、その１つの次元でのみ実質的に異なる可能性がある。従って、１つのビューにおけるＭＢから他のビューにおけるＭＢを指し示すビュー間ＭＶは、一つの実質的な成分のみ（例えば、ｘ成分）を有してもよいが、他の成分（例えば、ｙ成分）は、ゼロか、実質的にゼロの値を有する。こうして、シナリオ２００等のゼロ又は実質的にゼロのＭＶ成分値を有するシナリオでビットストリームを形成する際に、ＭＶＣエンコーダ１０２は、ゼロ又は実質的にゼロのＭＶ成分をエンコード化しないように選択され、こうして、ビットストリーム内にエンコード化され且つ配置すべきＭＶ成分のみを、非ゼロＭＶ成分とすることができる。
【００２３】
ＭＶＣビットストリーム
様々な実装形態では、本開示によるビュー（視点）間ビデオコード化方式は、ＭＶのｙ成分がビットストリームでエンコード化され且つ表示されるか否かに拘わらず、ビデオビットストリームに直接的に示すことができる。例えば、ビットストリームは、ビュー間モード指標、フラグ又はビット（ｂ）を含むことができ、それによって、第１のビュー間コード化モード（例えば値ｂ＝０の状態）では、ｘ及びｙ両方のＭＶ成分がビットストリームにエンコード化され且つ表示され、第２のビュー間コード化モード（例えば値ｂ＝１の状態）では、ｘＭＶ成分のみがビットストリームにエンコード化され且つ表示され、ｙＭＶ成分はエンコード化されず、従ってビットストリームには表示されないように示す。それに対応して、ビットストリーム構文は、モードビットが０の値を有する場合に、エンコード化されたｘ成分及びエンコード化されたｙＭＶ成分（例えば、（ＭＶｘ，ＭＶｙ））を含み、モードビットが１の値を有する場合に、エンコード化されたｘＭＶ成分（例えば、（ＭＶｘ，０））を含むことができる。しかしながら、本開示は、特定のビュー間モード指標の論理値に限定されるものではなく、従って、他の実装形態では、ゼロのモードビット値は、ＭＶｘ成分のみがエンコード化されるように示されるが、モードビット値ｂ＝１は、ＭＶｘ及びＭＶｙ両成分がエンコード化される等を示すために使用される。
【００２４】
様々な実装形態では、ビュー間コード化モード指標を、スライスレベル又はピクチャレベル等のＭＢレベル及び／又はより高いレベルを含むがこれらに限定されるものではない様々なコード化レベルで適用してもよい。複数のＭＶｓを含むコード化レベルに適用される際に、ビュー間コード化モードビットは、コード化レベルのヘッダ内の先頭ビットであってもよく、エンコード化されたＭＶ成分をＭＢ構文に含んでもよい。
【００２５】
様々な実施形態では、ＭＶＣエンコーダ１０２は、ビットストリーム１０３に含めるためのエンコード化されたビデオデータをフォーマットすることによって、且つＭＶＣデコーダ１１０及び１１２によって多視点コード化方式の実装を可能にするようなヘッダ情報をビットストリーム１０３に提供することによって、ビットストリーム１０３を生成するようなネットワーク抽象化レイヤ（ＮＡＬ）を実装してもよい。本開示によれば、ＭＶＣエンコーダ１０２は、ＮＡＬユニット又はパケットのシーケンスとしてビットストリーム１０３を生成することができ、ここで、各ＮＡＬユニットは、エンコード化された運動ベクトル成分を含むような多バイトのビデオデータペイロードを含む。コード化された単一の画像フレーム、又はアクセスユニットは、連続したＮＡＬユニットのセットに対応させることができ、基本ビュー又は非基本ビューのコード化されたビデオシーケンス等のコード化されたビデオシーケンスは、連続したアクセスユニットのセットに対応させることができる。
【００２６】
様々な実装形態では、ビットストリーム１０３内のＮＡＬユニットは、シーケンス及びピクチャパラメータセット、及び／又は追加拡張情報（ＳＥＩ）メッセージを有するようなスライス及び／又はピクチャヘッダを含むことができる。例えば、ＭＶＣ規格において、コード化されたＭＶＣのスライスＮＡＬユニットは、ＮＡＬユニットペイロードに続く４バイトのヘッダを含む。ピクチャ又はスライスヘッダの構文要素は、優先度識別、ビュー（視点）識別等を含むことができる。例えば、図３には、スライスヘッダ３０２及びデータペイロード３０４を含む例示的なビットストリーム部分３００が示されており、ここで、ペイロード３０４は、例えばコード化されたＭＢ構文要素３０６を含む。コード化された各ＭＢ構文要素３０６は、ＭＢヘッダ３０８、一つ以上のコード化された運動ベクトルについてのコード化された成分値３１０と、コード化された残差データ３１２とを含むことができる。
【００２７】
本開示による様々な実装形態では、ビットストリーム１０３内のスライス及び／又はピクチャヘッダは、本明細書に説明されるようなビュー間コード化モード指標を含むことができる。様々な実装形態では、ビットストリーム１０３は、マクロブロックレイヤ又はレベルにおいてビュー間コード化モード指標を含むことができる。このような実装形態では、ビュー間コード化モード指標は、マクロブロックヘッダに提供された先頭ビットとすることができる。例えば、図４には、本開示の様々な実装形態による例示的なＭＢレベル構文スキーム４００が示されている。このスキーム４００は、ＭＢ構文４０２を含んでおり、ここで、（例えば、第１のビュー間コード化モードに対応する）先頭ビット４０４のゼロの値は、ＭＶｘ４０６及びＭＶｙ４０８の両成分がエンコード化されていることを示している。スキーム４００は、ＭＢ構文４１０を含んでおり、ここで、（例えば、第２のビュー間コード化モードに対応する）先頭ビット４０４の１の値は、ＭＶｘ成分４１２のみがエンコード化されていることを示している。いくつかの実装形態では、ＭＶｘ及びＭＶｙ成分の複数のペア４１４（例えば、二つ以上のＭＶｘ及びＭＶｙ成分のペア）は、構文４０２の先頭ビット４０４に続いてもよく、及び／又は複数のＭＶｘ成分４１６（例えば、複数のＭＶｘ成分）は、構文４１０の先頭ビット４０４に続いてもよい。
【００２８】
様々な実装形態では、ビットストリーム１０３は、ピクチャ及び／又はスライスレイヤ又はレベルにおけるビュー間コード化モード指標を含むことができる。このような実装形態では、ビュー間コード化モード指標は、ピクチャ及び／又はスライスヘッダに提供された先頭ビットとすることができる。例えば、図５には、本開示の様々な実装形態による例示的なスライスレベル構文スキーム５００が示されている。スキーム５００は、スライス／画像構文５０２を含んでおり、ここで、（例えば、第１のビュー間コード化モードに対応する）スライス／ピクチャヘッダ５０６におけるビット５０４のゼロの値は、ＭＶｘ５０６及びＭＶｙ５０８の両成分がエンコード化されていることを示している。スキーム５００は、スライス／ピクチャ構文５０８も含んでおり、ここで、（例えば、第２のビュー間コード化モードに対応する）ヘッダ５０６におけるビット５０４の１の値は、ＭＶｘ成分５１２のみがエンコード化されていることを示している。いくつかの実装形態では、ＭＶｘ及びＭＶｙ成分の複数のペア５１０は、構文５０２のヘッダ５０６に続いてもよく、及び／又は複数のＭＶｘ成分５１２は、構文５０８のヘッダ５０６に続いてもよい。
【００２９】
図６には、本開示の様々な実装形態に係るビデオエンコーダにおいて、ビュー間コード化方式を実装するための例示的なプロセス６００のフロー図が示されている。様々な実装形態では、プロセス６００を、例えばシステム１００のＭＶＣエンコーダ１０２によって生成されたビットストリーム内に挿入されたコード化モード指標を使用して、ビュー間コード化モードを示すために使用してもよい。プロセス６００は、図６の一つ以上のブロック６０２、６０４、及び６０６によって示されるような一つ以上の操作、機能又は動作を含んでもよい。非限定的な例として、プロセス６００は、図４及び図５の例示的なビュー間コード化構文スキーム４００及び５００をそれぞれ参照するだけでなく、図１のシステム１００を参照して本明細書で説明される。
【００３０】
プロセス６００は、ブロック６０２で開始され、ここで、画像フレームの少なくとも一部についてのビュー間コード化モードを決定してもよい。例えば、ブロック６０２は、スキーム４００の構文４０２に対応するビュー間コード化モードを決定するようなＭＶＣデコーダ１０２を含むことができ、ここで、複数の次元（例えば、ＭＶｘ及びＭＶｙ成分）についてエンコード化されたＭＶ成分は、現在の画像フレームの特定のマクロブロックについてビットストリーム１０３に提供される。あるいはまた、スキーム１００の構文４１０に対応するビュー間コード化モードを決定することができ、ここで、一つの次元のみ（例えば、ＭＶｘ成分のみ）についてのエンコード化されたＭＶ成分は、その特定のマクロブロックについてビットストリーム１０３に提供される。
【００３１】
様々な実装形態において、ブロック６０２は、ビュー間コード化モードを選択的に決定することを含んでもよい。例えば、本開示によるＭＶＣコード化方式を、ビュー間予測及び時間予測スキームの両方に適用してもよい。例えば、現在のフレームのコード化が、同じビデオシーケンスにおける単一の基準ピクチャのみに依存する（従って、時間的予測のみがそのフレームに適用される）場合は、ビュー間コード化モードの実装が望ましくないことがある。このような状況では、ビュー間コード化モードのフラグ又は指標を、ビットストリームの構文から取り除くことができ、又はビットストリームの構文内に配置しなくてもよい。一方、現在のフレームが複数の基準フレームを有しており、且つビュー間予測及び時間予測の両方が適用される場合に、ビュー間コード化モードフラグを、基準フレームインデックスに基づいて構文に選択的に追加してもよい。例えば、基準画像フレームインデックスが、別のビューのビデオシーケンスの画像フレームに対応する場合には、ビュー間コード化モードのフラグをビットストリームに追加してもよい。このように、様々な実装形態では、特定のＭＢ又はサブブロック区分が時間予測のみを使用する場合には、次に、ビュー間コード化モード指標をビットストリームに挿入する必要はない。一方、特定のＭＢ又はサブブロック区分が、ビュー間予測コード化を用いることができる場合には、次に、１つ以上のビュー間コード化モード指標を本明細書に説明されるような対応するビットストリームに挿入してもよい。
【００３２】
ブロック６０４において、ビュー間コード化モード指標に対応する値を特定してもよい。例えば、構文スキーム４００を参照すると、先頭ビット４０４を、ブロック６０２で決定されたモードに対応する値を有するようにＭＶＣエンコーダ１０２によって特定してもよい。スキーム４００の例に続いて、ブロック６０２において決定されたビュー間コード化モードによって、多次元ビュー（視点）間の運動ベクトルが特定された場合には、次に、ＭＶＣエンコーダ１０２は、先頭ビット４０４がブロック６０４でゼロの値を有するように特定してもよい。一方、ブロック６０２で決定されたビュー間コード化モードによって、一次元のビュー間の運動ベクトルのみが特定された場合には、次に、ＭＶＣエンコーダ１０２は、先頭ビット４０４がブロック６０４において１の値を有するように特定してもよい。同様に、構文スキーム５００を参照して、スライスヘッダ５０６内の先頭ビット５０４を、ブロック６０４においてＭＶＣエンコーダ１０２によって特定してもよく、それによって、ブロック６０２で決定されたモードに対応する値を有するようになる。
【００３３】
プロセス６００は、ブロック６０６で終結され、ここで、ビュー間コード化モード指標をビットストリームに提供することができる。例えば、ブロック６０６は、ブロック６０２で決定されたビュー間コード化モードを示すために、ビットストリーム１０３にビット４０４及び／又はビット５０４を挿入するようなシステム１００のＭＶＣエンコーダ１０２を含んでもよい。上述したように、ビュー間コード化モード指標を、スライスＮＡＬユニットのピクチャ及び／又はスライスヘッダ構文内に、及び／又はコード化されたＭＢ又はサブブロック要素のヘッダ構文内に提供してもよい。
【００３４】
図７には、本開示の様々な実装形態に係るビデオデコーダにおいて、ビュー間コード化方式を実装するための例示的なプロセス７００のフロー図が示されている。様々な実装形態では、プロセス７００は、例えばシステム１００のＭＶＣエンコーダ１０２によって提供されたビットストリームで受信されたコード化モード指標によって示されるように、システム１００のＭＶＣデコーダ１１０及び／又は１１２の一方又は両方において、ビュー間動き補償を行うように使用することができる。プロセス７００は、図７の一つ以上のブロック７０２，７０４，及び７０６によって示されるように、一つ以上の操作、機能又は動作を含んでもよい。非限定的な例として、プロセス７００は、図４及び図５の例示的なビュー間コード化構文スキーム４００及び５００をそれぞれ参照するだけでなく、図１のシステム１００も参照して本明細書で説明する。
【００３５】
プロセス７００は、ビットストリームが受信されるブロック７０２で開始され、ここで、ビットストリームは、画像フレームの少なくとも一部に関連付けられたビュー間コード化モード指標を含む。例えば、ブロック７０２は、本明細書で説明されるようにビュー間コード化モード指標を含むビットストリームを受信するようなＭＶＣデコーダ１１０を含んでもよい。例えば、ブロック７０２で受信されたビットストリームは、上述したように、プロセス６００のブロック６０８において提供されたビットストリームに対応するものである。
【００３６】
ブロック７０４において、ビュー間コード化モードを、ブロック７０２で受信したビュー間コード化モード指標に応答して決定してもよい。例えば、ビュー間コード化モード指標の値に依存して、ＭＶＣデコーダ１１０が、ブロック７０４においてビュー間コード化モードを決定してもよい。例えばＭＶＣデコーダ１１０が、スキーム４００の構文４０２によって提供された指標と同様のビュー間コード化モード指標を受信する場合には、次に、ＭＶＣデコーダ１１０は、ビュー間コード化モードを決定することができ、ここで、（例えば、エンコード化されたＭＶｘ及びＭＶｙ成分を含む）エンコード化された多次元ＭＶを、現在の画像フレームの特定のマクロブロックについてビュー間動き補償を実行するために使用する。あるいはまた、ＭＶＣデコーダ１１０が、スキーム４００の構文４１０によって提供された指標と同様のビュー間コード化モード指標を受信した場合には、次に、ＭＶＣデコーダ１１０は、ビュー間コード化モードを決定することができ、ここで、（例えば、エンコード化された一つのＭＶｘ成分のみ含む）エンコード化された一次元ＭＶを、その特定のマクロブロックのビュー間動き補償を実行するために使用する。
【００３７】
プロセス７００は、ブロック７０６で終結され、ここで、ビュー間動き補償を、ブロック７０４で決定されたビュー間コード化モードに応答して画像フレーム部分について実行してもよい。例えば、様々な実装形態では、１つのビュー間コード化モードで、ブロック７０６は、（例えば、ＭＶｘ及びＭＶｙ成分を含む）多次元ＭＶを使用して、特定のマクロブロックについて多視点動き補償を行うようなＭＶＣデコーダ１１０を含んでもよい。あるいはまた、他のビュー間コード化モードでは、ブロック７０６は、（例えば、ＭＶｘ成分のみを含む）一次元のＭＶを使用して、特定のマクロブロックについて多視点動き補償を行うようなＭＶＣデコーダ１１０を含んでもよい。
【００３８】
図６及び図７に示されるように、例示的なプロセス６００及び７００の実装形態では、例示された順番で示された全てのブロックを実施することを含むが、本開示は、プロセス６００及び７００の実装形態において、様々な例でこの順番に限定されるものではなく、示されたブロックのサブセットのみを実施する／又は示された以外の異なる順番で実施することを含むことができる。
【００３９】
また、図６及び図７の任意の１つ以上のブロックは、１つ以上のコンピュータプログラム製品によって提供される指示に応答して実施されてもよい。そのようなプログラム製品は、例えばプロセッサによって実行されたときに、本明細書に説明される機能を提供するような命令を与える単一の方向性信号(signal  bearing)媒体を含むことができる。コンピュータプログラム製品を、コンピュータ可読媒体の任意の形態で提供することができる。従って、例えば一つ以上のプロセッサコア（複数可）を含むプロセッサは、コンピュータ可読媒体によってプロセッサに送られる命令に応答して、図６及び図７に示された一つ以上のブロックを実施することができる。
【００４０】
本明細書に説明された任意の実装形態において使用される場合に、用語「モジュール」は、本明細書で説明する機能性を提供するように構成されたソフトウェア、ファームウェア、及び／又はハードウェアの任意の組合せを指す。ソフトウェアは、ソフトウェア・パッケージ、コード及び／又は命令セット又は命令として具現化することができ、及び本明細書に説明される任意の実装形態として使用される場合に、「ハードウェア」は、例えば、プログラム可能な回路によって実行される命令を記憶するような配線接続回路、プログラマブル回路、状態機械回路、及び／又はファームウェアを単独で又は任意の組合せで含むことができる。モジュールは、例えば集積回路（ＩＣ）、システムオンチップ（ＳｏＣ）等の大規模システムの一部を形成するような回路として集合的に又は別個に具体化することができる。
【００４１】
図８には、本開示による例示的なシステム８００が示されている。様々な実装形態では、システム８００は、このシステム８００がこの文脈において限定されるものではないが、メディアシステムであってもよい。例えば、システム８００は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組合せ、テレビ、スマートデバイス等（例えば、スマートフォン、スマートタブレットやスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイスなどに組み込まれてもよい。
【００４２】
様々な実装形態では、システム８００は、ディスプレイ８２０に結合されたプラットフォーム８０２を含む。プラットフォーム８０２は、コンテンツサービス装置（複数可）８３０や、コンテンツ配信装置（複数可）８４０、又は他の同様のコンテンツソース等のコンテンツ装置からコンテンツを受信することができる。一つ以上のナビゲーション機能を含むナビゲーション制御部８５０は、例えばプラットフォーム８０２及び／又はディスプレイ８２０と相互作用するように使用することができる。これらの各コンポーネントは、以下でより詳細に説明する。
【００４３】
様々な実装形態では、プラットフォーム８０２は、チップセット８０５、プロセッサ８１０、メモリ８１２、記憶装置８１４、グラフィックサブシステム８１５、アプリケーション８１６及び／又は無線装置８１８の任意の組合せを含むことができる。チップセット８０５は、プロセッサ８１０、メモリ８１２、記憶装置８１４、グラフィックサブシステム８１５、アプリケーション８１６及び／又は無線装置８１８の間での相互通信を提供することができる。例えば、チップセット８０５は、記憶装置８１４と相互通信を提供することができる記憶装置用アダプタ（図示せず）を含むことができる。
【００４４】
プロセッサ８１０は、複合命令セットコンピュータ（ＣＩＳＣ）又は縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、ｘ８６命令セット互換プロセッサ、マルチコア、又は他の任意のマイクロプロセッサ又は中央処理装置（ＣＰＵ）として実装することができる。様々な実装形態では、プロセッサ８１０は、デュアルコア・プロセッサ（複数可）、デュアルコア・モバイルプロセッサ（複数可）等であってもよい。
【００４５】
メモリ８１２は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミック・ランダムアクセスメモリ（ＤＲＡＭ）、又はスタティックＲＡＭ（ＳＲＡＭ）等の不揮発性メモリデバイスとして実装されるが、これらに限定されるものではない。
【００４６】
記憶装置８１４は、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部記憶装置、接続式記憶装置デバイス、フラッシュメモリ、バッテリバックアップ型ＳＤＲＡＭ（シンクロナスＤＲＡＭ）、及び／又はネットワークアクセス可能な記憶装置等の不揮発性記憶装置として実装されるが、これらに限定されるものではない。様々な実装形態では、記憶装置８１４は、例えば複数のハードドライブが含まれる場合には、重要なデジタルメディア用の保護が強化された記憶装置性能を高めるための技術を含むことができる。
【００４７】
グラフィックサブシステム８１５は、例えば表示用の静止画又は動画等の画像処理を行うことができる。グラフィックサブシステム８１５は、例えばグラフィック処理ユニット（ＧＰＵ）又はビジュアル処理ユニット（ＶＰＵ）であってもよい。アナログ又はデジタルインタフェイスは、グラフィックサブシステム８１５とディスプレイ８２０とを通信可能に接続するように使用することができる。例えばインタフェイスは、高品位マルチメディアインタフェイス、ディスプレイポート、無線ＨＤＭＩ（登録商標）、及び／又は無線ＨＤ準拠の技術のいずれであってもよい。グラフィックサブシステム８１５は、プロセッサ８１０又はチップセット８０５内に統合されてもよい。いくつかの実装形態では、グラフィックサブシステム８１５は、チップセット８０５に通信可能に接続されたスタンドアロン型カードであってもよい。
【００４８】
本明細書に説明されるグラフィック及び／又はビデオ処理技術を、様々なハードウェアアーキテクチャとして実装してもよい。例えば、グラフィック及び／又はビデオ機能を、チップセット内に統合してもよい。あるいはまた、別個のグラフィック及び／又はビデオプロセッサを使用してもよい。さらに別の実装形態として、グラフィック及び／又はビデオ機能を、マルチコアプロセッサを含む汎用プロセッサにより提供してもよい。さらなる実施形態では、これらの機能は、家庭用電化製品で実装されてもよい。
【００４９】
無線装置８１８は、種々の適切な無線通信技術を用いて信号を送受信可能な１つ以上の無線装置を含んでもよい。このような技術を１つ以上の無線ネットワーク間で通信を行うために含んでもよい。例えば無線ネットワークは、無線ローカルエリアネットワーク（ＷＬＡＮ）、無線パーソナルエリアネットワーク（ＷＰＡＮ）、無線メトロポリタンエリアネットワーク（ＷＭＡＮ）、セルラーネットワーク、衛星ネットワークが挙げられる（しかしこれらに限定されるものではない）。そのようなネットワークに亘る通信において、無線装置８１８は、任意のバージョンの１つ以上の適用可能な規格に従って動作することができる。
【００５０】
様々な実装形態において、ディスプレイ８２０は、任意のテレビタイプのモニタ又はディスプレイを含むことができる。ディスプレイ８２０は、例えばコンピュータディスプレイ画面、タッチスクリーンディスプレイ、ビデオモニタ、テレビ形式装置及び／又はテレビを含むことができる。ディスプレイ８２０は、デジタル及び／又はアナログであってもよい。様々な実装形態において、ディスプレイ８２０は、ホログラフィックディスプレイであってもよい。また、ディスプレイ８２０は、ビジュアル投影が投影される透明な表面とすることができる。このような投影によって、種々の形式の情報、画像、及び／又はオブジェクトを伝達してもよい。例えば、このような投影は、モバイル拡張現実（ＭＡＲ）アプリケーション用のビジュアルオーバーレイである。１つ以上のソフトウェアアプリケーション８１６の制御下で、プラットフォーム８０２は、ディスプレイ８２０上にユーザインタフェイス８２２を表示させることができる。
【００５１】
様々な実装形態では、コンテンツサービス装置（複数可）８３０は、国内の、国際的な及び／又は独立したサービスによってホストされ、こうして、例えばインターネットを経由してプラットフォーム８０２にアクセス可能になる。コンテンツサービス装置（複数可）８３０を、プラットフォーム８０２及び／又はディスプレイ８２０に結合してもよい。プラットフォーム８０２及び／又はコンテンツサービス装置（複数可）８３０は、ネットワーク８６０との間でメディア情報を通信（例えば、送信及び／又は受信）するためにネットワーク８６０に接続されてもよい。コンテンツ配信装置（複数可）８４０を、プラットフォーム８０２及び／又はディスプレイ８２０に結合することもできる。
【００５２】
様々な実装形態では、コンテンツサービス装置（複数可）８３０は、ケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話、デジタル情報及び／又はコンテンツを配信可能なインターネット対応デバイス又は機器、及び、コンテンツプロバイダとプラットフォーム８０２及び／又はディスプレイ８２０との間でネットワーク８６０を介して又は直接的にコンテンツを一方向又は双方向に通信することができる任意の他の同様の装置を含むことができる。なお、コンテンツは、ネットワーク８６０を介してシステム８００及びコンテンツプロバイダのコンポーネントのうちのいずれかとの間で一方向又は双方向に通信されることができることが理解されるであろう。コンテンツの例は、例えばビデオ、音楽、医療、及びゲーム情報等を含む任意のメディア情報を含んでもよい。
【００５３】
コンテンツサービス装置（複数可）８３０は、メディア情報、デジタル情報、及び／又は他のコンテンツを含むケーブルテレビ番組等のコンテンツを受信することができる。コンテンツプロバイダの例は、任意のケーブル又は衛星テレビ又はラジオ或いはインターネットコンテンツプロバイダを含むことができる。提供される実施例は、決して本開示による実装形態に制限されるものではない。
【００５４】
様々な実装形態では、プラットフォーム８０２は、一つ以上のナビゲーション機能を有するナビゲーション制御部８５０から制御信号を受信することができる。コントローラ８５０のナビゲーション機能は、例えばユーザインタフェイス８２２と情報のやり取りを行うために使用されてもよい。実施形態では、ナビゲーション制御部８５０は、コンピュータのハードウェアコンポーネント（具体的には、ヒューマンインタフェイスデバイス）とすることができるようなポイント指示デバイスであってもよく、このヒューマンインタフェイスデバイスは、ユーザがコンピュータに空間（例えば、連続的で且つ多次元の）データを入力することを可能にする。グラフィカルユーザインタフェイス（ＧＵＩ）や、テレビ及びモニタ等の多くのシステムは、ユーザが物理的なジェスチャーを使用してコンピュータ又はテレビにデータを提供し且つ制御することを可能にする。
【００５５】
コントローラ８５０のナビゲーション機能の動きは、ディスプレイ上に表示されるポインタ、カーソル、フォーカスリング、又は他の視覚的指標の動きによってディスプレイ（例えば、ディスプレイ８２０）上に反復されてもよい。例えば、ソフトウェアアプリケーション８１６の制御下で、ナビゲーション制御部８５０に位置するナビゲーション機能は、例えば、ユーザインタフェイス８２２に表示される仮想ナビゲーション機能にマッピングすることができる。実施形態では、コントローラ８５０を、別個のコンポーネントにしなくてもよいが、プラットフォーム８０２及び／又はディスプレイ８２０に統合してもよい。しかしながら、本開示は、本明細書に示され又は説明される要素又は文脈に限定されるものではない。
【００５６】
様々な実装形態では、（示されていない）ドライバは、例えば有効になったときに、初期起動後にユーザがボタンを押すだけでテレビ等のプラットフォーム８０２のスイッチを即座にオンオフできるようにするテクノロジを含んでいる。プログラム論理は、プラットフォーム８０２のスイッチが「オフ」にされたときでさえ、メディアアダプタや、他のコンテンツサービス装置（複数可）８３０、又はコンテンツ配信装置（複数可）８４０等のへのコンテンツのストリーミングを行うことを可能にする。また、チップセット８０５は、例えば５．１ｃｈサラウンドサウンドオーディオ及び／又は高品位７．１ｃｈサラウンドサウンドオーディオ用のハードウェア及び／又はソフトウェアサポートを含むことができる。ドライバは、統合グラフィックプラットフォーム用のグラフィックドライバを含んでもよい。実施形態では、グラフィックドライバは、周辺コンポーネント相互接続（ＰＣＩ）の高速グラフィックスカードを含んでもよい。
【００５７】
様々な実装形態では、システム８００に示されるコンポーネントのいずれか１つ以上を統合することができる。例えば、プラットフォーム８０２及びコンテンツサービス装置（複数可）８３０を統合してもよく、又はプラットフォーム８０２及びコンテンツ配信装置（複数可）８４０を統合してもよく、或いは例えばプラットフォーム８０２、コンテンツサービス装置（複数可）８３０、及びコンテンツ配信装置（複数可）８４０を統合してもよい。様々な実施形態において、プラットフォーム８０２及びディスプレイ８２０を統合ユニットにしてもよい。ディスプレイ８２０及びコンテンツサービス装置（複数可）８３０を統合してもよく、又は例えばディスプレイ８２０及びコンテンツ配信装置（複数可）８４０を統合してもよい。これらの例示は、本開示を限定するものではない。
【００５８】
様々な実施形態において、システム８００は、無線システム、有線システム、又はこれら両方の組み合わせとして実装することができる。無線システムとして実装される場合に、システム８００は、１つ以上のアンテナ、送信機、受信機、送受信機、アンプ、フィルタ、制御論理等の無線共有媒体を介して通信するのに適したコンポーネント及びインタフェイスを含んでもよい。無線共有媒体の例は、ＲＦスペクトル等の無線スペクトルの一部を含んでもよい。有線システムとして実装する場合に、システム８００は、入力／出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体に接続するための物理的コネクタ、ネットワークインタフェイスカード（ＮＩＣ）、ディスクコントローラ、ビデオコントローラ、オーディオコントローラ等の有線通信媒体を介して通信するのに適したコンポーネント及びインタフェイスを含んでもよい。有線通信媒体の例は、ワイヤ、ケーブル、金属リード線、プリント回路基板（ＰＣＢ）、バックプレーン、スイッチ構成、半導体材料、ツイストペア線、同軸ケーブル、光ファイバ等を含むことができる。
【００５９】
プラットフォーム８０２は、情報を通信するために１つ以上の論理的又は物理チャネルを確立することができる。情報は、メディア情報及び制御情報を含むことができる。メディア情報は、ユーザについての意味内容を表す任意のデータを指す。コンテンツの例としては、例えば音声変換、ビデオ会議、ストリーミングビデオ、電子メール（「Ｅメール」）メッセージ、ボイスメールメッセージ、英数字記号、グラフィック、画像、ビデオ、テキスト等のデータを含んでもよい。音声変換からのデータは、例えば会話情報、沈黙時間、背景雑音、快適雑音、トーン等である。制御情報は、コマンド、自動化システム用のコマンド、命令又は制御ワードを表す任意のデータを指す。例えば、制御情報をシステムを介してメディア情報をルーティングするように使用することができ、又はノードに命令して所定の方法でメディア情報を処理することができる。しかしながら、実施形態は、図８にに示され且つ説明された要素又は文脈に限定されるものではない。
【００６０】
上述したように、システム８００は、物理的スタイル又は形式ファクタを変更して実施することができる。図９には、システム８００を具現化することが可能な小さな形式ファクタ装置９００の実装形態が示されている。実施形態では、例えば、装置９００は、無線能力を有するモバイルコンピュータ装置として実装することができる。モバイルコンピュータ装置は、処理システム、及び例えば１つ以上の電池等のモバイル電源又は供給源を有する任意のデバイスを指す。
【００６１】
上述したように、モバイルコンピュータ装置の例としては、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組合せ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット又はスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信機器等を含んでもよい。
【００６２】
モバイルコンピュータ装置の例としては、例えば手首装着型コンピュータ、指先装着型コンピュータ、指輪型コンピュータ、眼鏡型コンピュータ、ベルトクリップ型コンピュータ、アームバンド型コンピュータ、靴装着型コンピュータ、衣服装着型コンピュータ、及び他のウェアラブルコンピュータ等の人によって着用されるように構成されるコンピュータを含んでもよい。種々の実施形態では、例えば、モバイルコンピュータ装置は、コンピュータのアプリケーションだけでなく、音声通信及び／又はデータ通信を実行可能なスマートフォンとして実装されてもよい。いくつかの実施形態は、例としてスマートフォンとして実装されたモバイルコンピュータ装置と説明することができるが、他の実施形態は、他の無線モバイルコンピュータ装置を用いて同様に実装され得ることは理解されよう。実施形態はこの文脈に限定されるものではない。
【００６３】
図９に示されるように、装置９００は、ハウジング９０２、ディスプレイ９０４、入力／出力（Ｉ／Ｏ）デバイス９０６、及びアンテナ９０８を含むことができる。装置９００は、ナビゲーション機能９１２も含むことができる。ディスプレイ９０４は、モバイルコンピュータ装置に適切な情報を表示するための任意の適切なディスプレイユニットを含んでもよい。Ｉ／Ｏデバイス９０６は、モバイルコンピュータ装置に情報を入力するための任意の適切なＩ／Ｏデバイスを含んでもよい。Ｉ／Ｏデバイス９０６の例としては、英数字キーボード、数字キーパッド、タッチパッド、入力キー、ボタン、スイッチ、ロッカースイッチ、マイクロフォン、スピーカ、音声認識装置及びソフトウェア等を含んでもよい。情報は、マイクロフォン（図示せず）によって装置９００に入力することもできる。このような情報は、音声認識装置（図示せず）によってデジタル化されてもよい。実施形態はこの文脈に限定されるものではない。
【００６４】
様々な実施形態は、ハードウェア要素、ソフトウェア要素、又はこれら両方の組合せを用いて実装することができる。ハードウェア要素の例としては、プロセッサ、マイクロプロセッサ、回路、回路素子（例えば、トランジスタ、抵抗、コンデンサ、インダクタ等）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス（ＰＬＤ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、論理ゲート、レジスタ、半導体装置、チップ、マイクロチップ、チップセット等を含んでもよい。ソフトウェアの例としては、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、マシンプログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、関数、メソッド、プロシージャ、ソフトウェアインタフェイス、アプリケーションプログラムインタフェイス（ＡＰＩ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、ワード、値、シンボル、又はこれらの任意の組合せを含んでもよい。実施形態がハードウェア要素及び／又はソフトウェア要素を用いて実装されるか否かを決定することは、所望の計算速度、電力レベル、熱耐性、処理サイクル量、入力データレート、出力データレート、メモリリソース、データバス速度及び他の設計又は性能制約等の任意の数の要因に応じて変更し得る。
【００６５】
少なくとも１つの実施形態の１つ以上の態様は、プロセッサ内の様々な論理を表す機械可読媒体上に格納された代表的な命令によって実装されてもよく、機械によって読み出されたときに、本明細書に説明される技術を実行するための論理を機械に組み立てさせる。「ＩＰコア」として知られているこのような表現は、有形の機械可読媒体に格納され、様々な顧客又は製造施設に供給されて、実際に論理又はプロセッサを製造する製造マシンにロードすることができる。
【００６６】
本明細書で説明された特定の特徴を様々な実装形態を参照して説明したが、この説明は限定的な意味に解釈すべきものではない。従って、本明細書に説明された実装だけでなく他の実装形態の様々な修正は、本開示が属する当業者には明らかであるように、本開示の精神及び範囲内に存在することが認められる。
【図１】
2014527782.tif 000003
【図２】
2014527782.tif 000004
【図３】
2014527782.tif 000005
【図４】
2014527782.tif 000006
【図５】
2014527782.tif 000007
【図６】
2014527782.tif 000008
【図７】
2014527782.tif 000009
【図８】
2014527782.tif 000010
【図９】
2014527782.tif 000011
【手続補正書】
【提出日】平成26年2月28日(2014.2.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
方法であって、当該方法が、
ビデオエンコーダにおいて、
画像フレームの少なくとも一部についてビュー間コード化モードを決定するステップと、
ビュー間コード化モード指標に対応する値を特定するステップと、
前記モード指標をビットストリームに提供するステップであって、該ビットストリームは、前記画像フレーム部分に関連付けられたエンコード化された運動ベクトルを含む、提供ステップと、を含み、
前記モード指標の第１の値は、第１のビュー間コード化モードに対応しており、前記エンコード化された運動ベクトルは、複数の次元の成分を含んでおり、前記モード指標の第２の値は、第２のビュー間コード化モードに対応しており、前記エンコード化された運動ベクトルは、１つの次元のみの成分を含む、
方法。
【請求項２】
第２のビュー間コード化モードでは、ゼロ又は実質的にゼロの運動ベクトル成分がエンコード化されない、
請求項１に記載の方法。
【請求項３】
前記ビットストリームのピクチャヘッダ又はスライスヘッダが、前記ビュー間コード化モード指標を含む、
請求項１に記載の方法。
【請求項４】
前記画像フレーム部分は、マクロブロックを含み、前記モード指標をビットストリームに提供するステップは、前記マクロブロックに関連付けられた構文に前記モード指標を配置するステップを含む、
請求項１に記載の方法。
【請求項５】
第１のビュー間コード化モードでは、前記エンコード化された運動ベクトルが、複数の成分を含んでおり、且つ第２のビュー間コード化モードでは、前記エンコード化された運動ベクトルが、１つの成分のみを含む、
請求項１に記載の方法。
【請求項６】
前記ビュー間コード化モードを決定するステップが、基準画像フレームインデックスに応答して前記ビュー間コード化モードを選択的に決定するステップを含む、
請求項１に記載の方法。
【請求項７】
前記画像フレーム部分が、第１のビュー・ビデオシーケンスの画像フレーム部分を含んでおり、前記ビュー間コード化モードを選択的に決定するステップは、前記基準画像フレームインデックスが第２のビュー・ビデオシーケンスの画像フレームに対応する場合にのみ、前記ビュー間コード化モードを決定する、
請求項６に記載の方法。
【請求項８】
前記ビデオエンコーダが、多視点ビデオコード化（ＭＶＣ）用のエンコーダを含む、
請求項１に記載の方法。
【請求項９】
方法であって、当該方法が、
ビデオデコーダにおいて、
ビットストリームを受信するステップであって、該ビットストリームが、画像フレームの少なくとも一部に関連付けられたビュー間コード化モード指標を含む、受信するステップと、
前記ビュー間コード化モード指標に応答して、第１のビュー間コード化モード又は第２のビュー間コード化モードのうちの１つを決定するステップと、
決定されたビュー間コード化モードに応答して画像フレーム部分についてビュー間動き補償を行うステップと、を含み、
第１のビュー間コード化モードでは、前記ビットストリームは、複数の次元の成分を含むエンコード化された運動ベクトルを有しており、第２のビュー間コード化モードでは、前記ビットストリームは、１つの次元のみの成分を含むエンコード化された運動ベクトルを有する、
方法。
【請求項１０】
第２のビュー間コード化モードでは、ゼロ又は実質的にゼロの運動ベクトル成分がエンコード化されない、
請求項９に記載の方法。
【請求項１１】
前記ビットストリームのピクチャヘッダ又はスライスヘッダは、前記ビュー間コード化モード指標を含む、
請求項９に記載の方法。
【請求項１２】
前記画像フレーム部分は、マクロブロックを含み、該マクロブロックのビットストリーム構文が、前記ビュー間コード化モード指標を含む、
請求項９に記載の方法。
【請求項１３】
第１のビュー間コード化モードでは、前記エンコード化された運動ベクトルが、複数の成分を含んでおり、且つ第２のビュー間コード化モードでは、前記エンコード化された運動ベクトルが、１つの成分のみを含む、
請求項９に記載の方法。
【請求項１４】
前記ビデオデコーダは、多視点ビデオコード化（ＭＶＣ）用のデコーダを含む、
請求項９に記載の方法。
【請求項１５】
システムであって、当該システムが、
ビデオデータを含むビットストリームを送信するアンテナと、
前記アンテナに通信可能に結合されビデオエンコーダと、を有しており、該ビデオデコーダが、
画像フレームの少なくとも一部についてビュー間コード化モードを決定する手段と、
ビュー間コード化モード指標に対応する値を特定する手段と、
前記モード指標を前記ビットストリームに提供する手段と、を含み、
前記ビットストリームは、前記画像フレーム部分に関連付けられたエンコード化された運動ベクトルを含み、
前記モード指標の第１の値は、第１のビュー間コード化モードに対応しており、前記エンコード化された運動ベクトルは、複数の次元の成分を含んでおり、前記モード指標の第２の値は、第２のビュー間コード化モードに対応しており、前記エンコード化された運動ベクトルは、１つの次元のみの成分を含む、
システム。
【請求項１６】
第２のビュー間コード化モードでは、ゼロ又は実質的にゼロの運動ベクトル成分がエンコード化されない、
請求項１５に記載のシステム。
【請求項１７】
前記画像フレーム部分は、マクロブロックを含み、前記モード指標をビットストリームに提供するために、前記ビデオデコーダが、前記マクロブロックに関連付けられた構文にモード指標を配置する、
請求項１５に記載のシステム。
【請求項１８】
第１のビュー間コード化モードでは、前記エンコード化された運動ベクトルが、複数の成分を含んでおり、且つ第２のビュー間コード化モードでは、前記エンコード化された運動ベクトルが、１つの成分のみを含む、
請求項１５に記載のシステム。
【請求項１９】
前記ビュー間コード化モードを決定するために、前記ビデオエンコーダは、基準画像フレームインデックスに応答して前記ビュー間コード化モードを選択的に決定する、
請求項１５に記載のシステム。
【請求項２０】
前記画像フレームの部分が、第１のビュー・ビデオシーケンスの画像フレーム部分を含んでおり、前記ビュー間コード化モードを選択的に決定するために、前記ビデオエンコーダは、前記基準画像フレームインデックスが第２のビュー・ビデオシーケンスの画像フレームに対応する場合にのみ、前記ビュー間コード化モードを決定する、
請求項１９に記載のシステム。
【国際調査報告】
2014527782.tif 000012
2014527782.tif 000013