(57)【要約】様々な実装形態はピクチャの処理に関する。特定の一実装形態では、クロップ済みピクチャがアクセスされる。クロップ済みピクチャは、仮想カメラ窓を使用して一連のピクチャ中のピクチャからクロップされている。仮想カメラ窓の動きおよび特徴の動きに基づいてクロップ済みピクチャ中の特徴に対する動きぼけが生成される。生成された動きぼけは、クロップ済みピクチャ中の特徴に追加される。他の特定の実装形態では、信号または信号構造は、仮想カメラ窓を使用して一連のピクチャ中のピクチャからクロップされたクロップ済みピクチャのためのピクチャセクションを含む。また、信号または信号構造は、仮想カメラ窓の動きを示すための動きセクションを含む。
2015521322.tif 000002
【特許請求の範囲】
【請求項１】
仮想カメラ窓を使用して一連のピクチャ中のピクチャからクロップされたクロップ済みピクチャにアクセスするステップと、
前記クロップ済みピクチャ中の特徴のための動きぼけを、前記仮想カメラ窓の動きおよび前記特徴の動きに基づいて生成するステップと、
前記クロップ済みピクチャ中の前記特徴に前記生成された動きぼけを加えるステップと、
を含む、方法。
【請求項２】
前記一連のピクチャは静止位置からであり、
前記仮想カメラ窓の前記動きは前記静止位置に対して決定され、
前記特徴の前記動きは前記静止位置に対して決定される、請求項１に記載の方法。
【請求項３】
前記一連のピクチャは、前記ピクチャより時間的により早い時期に生じる、より早いピクチャをさらに含み、
前記より早いピクチャは前記特徴を含み、
前記仮想カメラ窓は、前記特徴が前記仮想カメラ窓内に存在するよう、前記より早いピクチャ中に位置を有し、
前記仮想カメラ窓の前記動きは、前記より早いピクチャから前記ピクチャまでの、前記仮想カメラ窓の位置のあらゆる変化に基づいて決定され、
前記特徴の前記動きは、前記より早いピクチャから前記ピクチャまでの、前記特徴の位置のあらゆる変化に基づく、請求項１または２に記載の方法。
【請求項４】
前記仮想カメラ窓の前記動きおよび前記特徴の前記動きは結合動きとして決定され、
前記結合動きは、前記仮想カメラ窓を使用して前記一連のピクチャ中の他のピクチャからクロップされた他のクロップ済みピクチャに対する前記クロップ済みピクチャ中の前記特徴の動きを示す、請求項１に記載の方法。
【請求項５】
前記一連のピクチャは静止位置からであり、前記方法は、
前記クロップ済みピクチャに基づいて、前記特徴が前記静止位置に対して静止している背景の一部であることを決定するステップと、前記特徴の前記動きがゼロになるように割り当てるステップとをさらに含む、請求項１に記載の方法。
【請求項６】
前記ピクチャにアクセスするステップと、
前記ピクチャ中の前記特徴を識別するステップと、
前記ピクチャ内に前記特徴を含む前記仮想カメラ窓を生成するステップと、
前記仮想カメラ窓の前記動きと前記特徴の前記動きとの組合せである、前記特徴のための組合せ動きを決定するステップと、
をさらに含み、前記動きぼけを生成するステップは、前記組合せ動きに基づいて前記動きぼけを生成するステップを含む、請求項１に記載の方法。
【請求項７】
前記一連のピクチャ中の複数のピクチャにわたって前記特徴を追従するステップと、
前記追従に基づいて前記複数のピクチャ中に前記仮想カメラ窓を生成するステップと、
をさらに含む、請求項１または６に記載の方法。
【請求項８】
前記特徴を識別するステップは、対象認識または顔認識を使用するステップを含む、請求項６に記載の方法。
【請求項９】
前記クロップ済みピクチャ中の第２の特徴のための動きぼけを、前記仮想カメラ窓の前記動きおよび前記第２の特徴の動きに基づいて生成するステップをさらに含む、請求項１に記載の方法。
【請求項１０】
前記クロップ済みピクチャは、前記動きぼけを生成するステップの前に表示解像度にスケール化されるスケール化ピクチャである、請求項１に記載の方法。
【請求項１１】
前記生成された動きぼけを前記クロップ済みピクチャ中の前記特徴に加えるステップの後に前記クロップ済みピクチャを表示解像度にスケール化するステップをさらに含む、請求項１に記載の方法。
【請求項１２】
前記生成された動きぼけを加えた後の前記クロップ済みピクチャ、
前記生成された動きぼけを加える前の前記クロップ済みピクチャ、
前記仮想カメラ窓の前記動きのインジケータ、または
前記特徴の前記動きのインジケータ
のうちの１または複数を送信するステップをさらに含む、請求項１に記載の方法。
【請求項１３】
前記ピクチャは、複数のカメラで取得されたピクチャを含む合成ピクチャである、請求項１に記載の方法。
【請求項１４】
前記ピクチャは、単一のカメラで取得された単一のピクチャである、請求項１に記載の方法。
【請求項１５】
前記ピクチャは動きぼけを有していない、請求項１に記載の方法。
【請求項１６】
前記特徴を重要な特徴として識別する入力を受け取るステップと、
前記受け取った入力に基づいて前記仮想カメラ窓を決定するステップと、
をさらに含む、請求項１に記載の方法。
【請求項１７】
前記アクセスするステップ、前記生成するステップおよび前記加えるステップは受信機で実行され、前記方法は、
前記受信機からの信号を送信するステップであって、前記信号は第２の特徴が重要な特徴であることを示す、ステップと、
前記信号の送信に応答して、第２の仮想カメラ窓を使用して前記一連のピクチャ中の第２のピクチャからクロップされた第２のクロップ済みピクチャを前記受信機で受信するステップであって、前記第２の仮想カメラ窓は前記仮想カメラ窓とは異なる、ステップと、
をさらに含む、請求項１に記載の方法。
【請求項１８】
前記ピクチャはパノラマピクチャであり、
前記一連のピクチャは一連のパノラマピクチャである、請求項１に記載の方法。
【請求項１９】
前記アクセスするステップ、前記生成するステップおよび前記加えるステップは、同報通信トラック、ケーブルヘッドエンド、ケーブルハブまたは家庭のうちの１または複数で実行される、請求項１に記載の方法。
【請求項２０】
仮想カメラ窓を使用して一連のピクチャ中のピクチャからクロップされたクロップ済みピクチャにアクセスするための手段と、
前記クロップ済みピクチャ中の特徴のための動きぼけを、前記仮想カメラ窓の動きおよび前記特徴の動きに基づいて生成するための手段と、
前記クロップ済みピクチャ中の前記特徴に前記生成された動きぼけを加えるための手段と、
を備える、装置。
【請求項２１】
仮想カメラ窓を使用して一連のピクチャ中のピクチャからクロップされたクロップ済みピクチャにアクセスするステップと、
前記クロップ済みピクチャ中の特徴のための動きぼけを、前記仮想カメラ窓の動きおよび前記特徴の動きに基づいて生成するステップと、
前記クロップ済みピクチャ中の前記特徴に前記生成された動きぼけを加えるステップと、
を実行するように集合的に構成される１または複数のプロセッサーを備える、装置。
【請求項２２】
１または複数のプロセッサーに、
仮想カメラ窓を使用して一連のピクチャ中のピクチャからクロップされたクロップ済みピクチャにアクセスするステップと、
前記クロップ済みピクチャ中の特徴のための動きぼけを、前記仮想カメラ窓の動きおよび前記特徴の動きに基づいて生成するステップと、
前記クロップ済みピクチャ中の前記特徴に前記生成された動きぼけを加えるステップと、
を集合的に実行させるための命令を記憶した、プロセッサー可読媒体。
【請求項２３】
仮想カメラ窓を使用して一連のピクチャ中のピクチャからクロップされたクロップ済みピクチャのためのピクチャセクションと、
前記仮想カメラ窓の動きを示すための動きセクションと、
を含む、信号。
【請求項２４】
仮想カメラ窓を使用して一連のピクチャ中のピクチャからクロップされたクロップ済みピクチャのためのピクチャセクションと、
前記仮想カメラ窓の動きを示すための動きセクションと、
を含む、信号構造。
【請求項２５】
信号構造をその上に記憶したプロセッサー可読媒体であって、前記信号構造は、
仮想カメラ窓を使用して一連のピクチャ中のピクチャからクロップされたクロップ済みピクチャのためのピクチャセクションと、
前記仮想カメラ窓の動きを示すための動きセクションと、
を含む、前記プロセッサー可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
ディジタルピクチャに関連する実装形態が記述される。様々な特定の実装形態は、パノラマディジタルピクチャの処理に関する。
関連出願の相互参照
本出願は、２０１２年５月１８日に出願した、”Method to Create Realistic Pan and Scanned Virtual Images from Panoramic, Fixed Position Image Capture Devices”という名称の米国仮出願第６１／６８８６５８号の利益を主張するものであり、その内容は、参照により、あらゆる目的のために本明細書に組み込まれている。
【背景技術】
【０００２】
パノラマディジタルピクチャの一部が抽出されることが望ましいことが頻繁にある。しかしながら、結果として得られるピクチャは、しばしば表示品質が劣ることがある。
【発明の概要】
【課題を解決するための手段】
【０００３】
一般的な態様によると、クロップ済みピクチャがアクセスされる。クロップ済みピクチャは、仮想カメラ窓を使用して一連のピクチャ中のピクチャからクロップされている。動きぼけは、クロップ済みピクチャ中の特徴に関して、仮想カメラ窓の動きおよび特徴の動きに基づいて生成される。生成された動きぼけは、クロップ済みピクチャ中の特徴に追加される。
【０００４】
一般的な他の態様によると、信号または信号構造は、仮想カメラ窓を使用して一連のピクチャ中のピクチャからクロップされたクロップ済みピクチャのためのピクチャセクションを含む。また、信号または信号構造は、仮想カメラ窓の動きを示すための動きセクションを含む。
【０００５】
添付の図面および以下の説明には、１または複数の実装形態の詳細が示されている。１つの特定の方法で説明されてはいるが、実装形態は、様々な方法で構成し、または具体化することができることは明らかであろう。例えば実装形態は、方法として実行することができ、または例えば一組の動作を実行するように構成された装置もしくは一組の動作を実行するための命令を記憶する装置などの装置として具体化することができ、または信号中で具体化することができる。他の態様および特徴は、添付の図面および特許請求の範囲と共に考察される以下の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【０００６】
【図１】パノラマピクチャ（メガピクチャ）を覆っており、また、カメラベクトルによって示される動きを有する仮想カメラ窓の一例を示す絵図である。
【図２】図１の仮想カメラ窓であって、静止動きベクトルによって示される動きを有する対象を仮想カメラ窓内に有する仮想カメラ窓の一例を示す絵図である。
【図３】図２のベクトルのベクトル加算の一例であって、仮想カメラ窓内の対象に関連する合成ベクトルを示す絵図である。
【図４】第１のパノラマピクチャ中の特定の特徴を包含する仮想カメラ窓の一例を示す絵図である。
【図５】特定の特徴を包含するための第２のパノラマピクチャ中の新しい位置における図４の仮想カメラ窓の一例を示す絵図である。
【図６】図４および５の両方からの特定の特徴を含んだパノラマピクチャの一例であって、特定の特徴の動きを示すベクトルを示す絵図である。
【図７】図４および５の両方からの仮想カメラ窓を含んだパノラマピクチャの一例であって、仮想カメラ窓の動きを示すベクトルを示す絵図である。
【図８】図５のボールの動きぼけを決定するために使用される合成動きを示すベクトル加算の一例を示す絵図である。
【図９】図５のプレーヤの動きぼけを決定するために使用される合成動きを示すベクトル加算の一例を示す絵図である。
【図１０】動きぼけを適用するためのプロセスの一例を示す流れ図である。
【図１１】動きぼけを適用するためのプロセスの他の例を示す流れ図である。
【図１２】動きぼけを適用するために使用される送信システムの一例を示すブロック図である。
【図１３】動きぼけを適用するために使用される受信システムの一例を示すブロック図である。
【発明を実施するための形態】
【０００７】
本出願において説明される少なくとも１つの実装形態は、パノラマ固定位置画像キャプチャデバイスから写実的パンおよび走査された仮想画像を生成する方法を対象としている。このような実装形態の１つは、パンおよび走査プロセスに使用される窓の動きを決定し、かつ、それとは別に窓の中の特徴の動きを決定する。
【０００８】
（例えば広いフィールドで競技されているスポーツのような）規模の大きい事象の表示をより個別化するために、または事象をカバーするために必要なカメラの数を少なくするために、いくつかの実装形態は、（ｉ）単一の非常に広角度の超高解像度カメラ、または（ｉｉ）非常に広角度の視野をカバーするカメラアレイのいずれかを使用している。単一のカメラからの出力画像は、解像度が非常に高い画像である。または、カメラアレイからの出力は、超広角視野を解像度が非常に高い単一の画像にするために１つにステッチ（stitch）される。単一のカメラからの画像であれ、またはカメラアレイからの１つにステッチされた画像であれ、解像度が非常に高い単一の画像は、ここではメガピクチャまたはパノラマピクチャと呼ばれる。
【０００９】
このメガピクチャの生成に引き続いて、実際のカメラがその場で画像のフレーミングおよびズーミングを実施した場合に得られる画像を模倣するために、パンおよび走査操作が実施される。
【００１０】
単一のカメラまたはカメラアレイは、様々な実装形態では静止していることに留意されたい。つまり、１または複数のカメラはどの方向にも移動しない。例えば１または複数のカメラは、並進移動も回転移動もしない。動きは、この静止参照点すなわち視点に対して決定することができる。例えば隣接するピクチャ間の特徴の動きを決定するために、個々のピクチャ中におけるその特徴の位置を共通（広域）座標系に対して捕えることができる。これは、例えば隣接するピクチャの各々のＶＣＷ内におけるその座標に基づいて特徴の位置を決定する場合とは対照的である。
【００１１】
物理的なカメラの場合とは異なり、メガピクチャは、移動体を使用して静止位置から生成され、移動体（例えば運動選手）中に動きぼけを生成する、という事実を補償することは有利である。物理的なカメラは、対象（例えば運動選手）を追従し、したがってカメラにとってぼけているのは背景ということになる。人は、対象が鮮明で、背景がぼけた高速移動画像を観るのに慣れているため、それとは逆に、補償されない解決法は、通常は高品質表示とは両立しない。
【００１２】
少なくとも１つの実装形態では、超高速シャッター速度画像化システム（またはステッチ済みメガピクチャのための多重超高速シャッター速度システム）は、動きぼけが全くないソースコンテンツを生成する。ステッチ済みメガピクチャは、通常は同じ瞬間におけるピクチャを取得する複数のカメラからのピクチャをタイル張りにする、または配列することによって生成される。動きぼけがない場合、通常、人間の眼に対する非常に知覚可能なストロービング効果を生成するため、このソースコンテンツは、通常はその本来の形態のままでは見るに耐えない。
【００１３】
ソースコンテンツの生成に引き続いて、模擬された望ましいカメラの動きが使用者によって入力され、（メガピクチャからの）スケーリングおよびクロッピング特性、ならびに方向ベクトルを使用して仮想カメラ窓（ＶＣＷ）を生成する。これは図１に示されており、パノラマピクチャ１００は、カメラベクトル１２０を有するＶＣＷ１１０を含む。
【００１４】
カメラの動きは、異なる実装形態では様々な方法で入力される。例えば（ｉ）使用者は方向を規定することができ、（ｉｉ）使用者は追従すべき対象または他の特徴を識別することができ、方向をトラッキングに基づいて適応的に更新することができ、または（ｉｉｉ）対象または他の特徴を自動的に選択及び追従することができる。特定の一実装形態では、サッカーの試合のための追従の対象としてサッカーボールが自動的に選択される。使用者は、異なる実装形態では、単なる例にすぎないが、同報通信のためのコンテンツを生成するオペレータである、または自宅のテレビジョン（「ＴＶ」）でコンテンツを観る最終使用者である。
【００１５】
通常、ＶＣＷ内の任意の特徴に対して２つの動きベクトルが存在する。そのうちの１つは、（いくつかの例で上述したように）例えば使用者入力によって与えられるカメラベクトルである。もう１つのベクトルは、静的ソースに対する動き解析によって与えられる静止動きベクトルである。図２は、対象のためのこれらの２つのベクトルを例示する。
【００１６】
図２は、カメラベクトル１２０を有するＶＣＷ１１０を示す。また、図２は、ＶＣＷ１１０内の対象２１０を示す。対象２１０は静止動きベクトル２２０を有している。静止動きベクトル２２０は、例えばメガピクチャ１００中の対象２１０の位置と、先行する（時間的に）メガピクチャ中の対象２１０の位置とを比較することによって決定することができる。静止動きベクトル２２０は、ＶＣＷ１１０の動きを考慮しない。
【００１７】
画像中の任意の特徴のための結合済み動きベクトルは、カメラベクトルおよび静止動きベクトルの両方を加えることによって与えられる。結合済み動きベクトルは、ＶＣＷ内のこの特徴に対する動きぼけ計算を実施する際に適用すべき方向および強さを提供する。図３は結合済み動きベクトルを例示する。
【００１８】
図３は、結合済み動きベクトル３１０を得るためのカメラベクトル１２０および静止動きベクトル２２０のベクトル加算を示す。また、図３は、ＶＣＷ１１０内の対象２１０に関連する結合済み動きベクトル３１０を示す。
【００１９】
処理能力が制限されている、または表示をより快適にする場合、カメラの動きが動きぼけ計算能力または快適レベルを超過するのを防止するために、カメラベクトルに速度制限および速度変化バッファを追加することも可能である。
【００２０】
ＶＣＷおよび１または複数の特徴のための結合ベクトルが得られると、（当分野で知られているように）動きぼけを計算し、（当分野で知られているように）ＶＣＷ内のこれらの特徴に加えることができる。最終画像は、様々な方法で計算することができる。
【００２１】
一実装形態は、しばしば、（例えばリアルタイムまたはリアルタイムに近いアプリケーションが考慮されるアプリケーションのために）速度が優勢な要因である場合に適している。このような場合、仮想カメラ画像が最初にＶＣＷにクロップされ、次に目的デバイスの解像度にスケール化される。スケール化されると、動きぼけの計算および適用が適用される。通常、動きぼけに関連する計算は集約的であり、また通常、目的解像度内でより速く実施される。
【００２２】
他の実装形態は、（例えば映画キャプチャのような非リアルタイムアプリケーションのために）品質が優勢な要因である場合にしばしば適している。このような場合、動きぼけは最初にＶＣＷに対して適用され、したがって動きぼけ化アルゴリズムは、最も可能性の高い解像度から利益を得ることができる。引き続いて、目的解像度に合致するように画像がリサイズ化（スケール化）される。
【００２３】
本出願においては、「クロッピング」は、一般に、表示のためのより大きいピクチャの制限された部分を選択することを意味している。選択された部分（選択されない部分ではなく）は、通常はクロップ済みピクチャと呼ばれている。クロッピングの後、クロップ済みピクチャ（つまり選択された部分）は、通常、クロップされた部分が異なる解像度および異なる縦横比を有するよう、ディスプレイデバイスの解像度に基づいてスケール化操作を使用して変換される。本出願の中で使用されているように、クロッピングは、通常、スケール化操作とは別と考えられているが、ある実装形態は、選択操作およびスケール化操作の組合せを参照するために「クロッピング」を使用することができる。
【００２４】
次に、図４〜９を参照して他の実装形態について説明する。図４を参照すると、特定の時点におけるパノラマピクチャ４００が示されている。ピクチャ４００は、ボール４１０およびプレーヤ４２０を含む。ボール４１０およびプレーヤ４２０は、いずれもＶＣＷ４３０内に含まれている。
【００２５】
図５は、パノラマピクチャ４００が取得された時間より少し後に取得されたパノラマピクチャ５００を示す。ピクチャ５００は、異なる位置にボール４１０およびプレーヤ４２０を含む。さらに、図４と比較すると、ＶＣＷ４３０も異なる位置に示されており、したがってＶＣＷ４３０は依然としてボール４１０およびプレーヤ４２０の両方を含む。
【００２６】
この実装形態では、ＶＣＷ４３０は、ボール４１０がＶＣＷ４３０内の水平方向のほぼ中心に位置するように調整されている。他の実装形態は、例えば（ｉ）ボール４１０を垂直方向および水平方向の両方の中心に置くように試行する、または（ｉｉ）例えばボール４１０およびプレーヤ４２０である重要な対象のセットの重心（質量中心とも呼ばれる）を決定し、その重心をＶＣＷ４３０の垂直方向および水平方向の両方の中心に置くように試行する。
【００２７】
図６は、ピクチャ４００およびピクチャ５００の両方からのボール４１０およびプレーヤ４２０の重畳を示す。これは、ボール４１０およびプレーヤ４２０の動きを例示するための有用な構成である。また、図６は、ピクチャ４００からピクチャ５００へのボール４１０の動きを示すボールベクトル６１０（「Ｂ」のラベルも振られている）を含む。図６は、ピクチャ４００からピクチャ５００へのプレーヤ４２０の動きを示すプレーヤベクトル６２０（「Ｐ」のラベルも振られている）をさらに含む。
【００２８】
図７は、図６と類似した図であり、ピクチャ４００およびピクチャ５００の両方からのＶＣＷ４３０の重畳を示す。これは、ＶＣＷ４３０の動きを例示するための有用な構成である。また、図７は、ピクチャ４００からピクチャ５００へのＶＣＷ４３０の動きを示すＶＣＷベクトル７３０（「Ｗ」のラベルも振られている）を含む。ＶＣＷベクトル７３０は、カメラの動きに起因する特徴の動きをキャプチャするために考慮されることができるため、ＶＣＷベクトル７３０は、ボールベクトル６１０およびプレーヤベクトル６２０の方向とは逆の方向を有している。
【００２９】
図８は、ボール４１０の結合済み動きベクトルを生成するためのベクトル加算を示す。図８は、ボール４１０、ボールベクトル６１０およびＶＣＷベクトル７３０を含み、ベクトル６１０および７３０は、いずれも適切な方向および大きさを有している。図８の上側部分では、ボールベクトル６１０およびＶＣＷベクトル７３０は、いずれもボール４１０から生じており、これらのベクトルの個別の動きを示す。図８の下側部分では、ボールベクトル６１０はボール４１０から生じているが、ＶＣＷベクトル７３０は、２つのベクトル６１０および７３０の加算を例示するためにボールベクトル６１０の末端から生じている。ベクトル加算の結果は、大きさおよび方向を有していないゼロベクトルである。この結果は、この実装形態のＶＣＷ４３０が、図４から図５まで完全にボール４１０を追従していることによるものである。この結果が正しいことは、ボール４１０が図４および図５の両方のＶＣＷ４３０内の同じ相対位置に出現していることから分かる。結果として得られるゼロベクトルは、図５のボール４１０のための動きぼけを決定するために使用される合成動きである。
【００３０】
図９は、プレーヤ４２０の結合済み動きベクトルを生成するためのベクトル加算を示す。図９は、プレーヤ４２０、プレーヤベクトル６２０およびＶＣＷベクトル７３０を含み、ベクトル６２０および７３０は、いずれも適切な方向および大きさを有している。図９の上側部分では、プレーヤベクトル６２０およびＶＣＷベクトル７３０は、いずれもプレーヤ４２０から生じており、これらのベクトルの個別の動きを示す。図９の下側部分では、プレーヤベクトル６２０はプレーヤ４２０から生じているが、ＶＣＷベクトル７３０は、２つのベクトル６２０および７３０の加算を例示するためにプレーヤベクトル６２０の末端から生じている。ベクトル加算の結果は、図９に示される大きさおよび方向を有する結合したプレーヤベクトル（以下、結合プレーヤベクトル）９１０である。この結果は、この実装形態のＶＣＷ４３０が、プレーヤ４２０ではなく、ボール４１０を追従していることによるものである。したがってプレーヤ４２０は、図４および図５では異なる相対位置に出現している。結合プレーヤベクトル９１０は、図５のプレーヤ４２０の動きぼけを決定するために使用される合成動きである。
【００３１】
図１０を参照すると、流れ図が提供されている。流れ図は、動きぼけを適用するためのプロセスの一例を提供するプロセス１０００を表している。プロセス１０００は、複数のパノラマピクチャを含んだパノラマビデオを撮影するステップを含む（１０１０）。様々な実装形態では、パノラマビデオは、単一のカメラを使用して、または複数のカメラを使用してキャプチャされる。複数のカメラが使用される場合、単一のパノラマビデオを形成するために、カメラからの出力が１つにステッチされる、またはタイル張りにされる。
【００３２】
プロセス１０００は、１または複数の重要な特徴を識別するステップを含む（１０２０）。様々な実装形態では、１または複数の重要な特徴は、対象または顔を選択することによって自動的に識別される。このような例の１つでは、ビデオでキャプチャ中のサッカーの試合における重要な特徴としてサッカーボールが自動的に選択される。様々な実装形態では、１または複数の重要な特徴は、例えばオペレータまたは最終使用者による選択などの人間の入力に基づいて選択される。
【００３３】
オペレータまたは使用者による選択は、様々な実装形態では、一組の利用可能な特徴から、または一組の利用可能なＶＣＷから選択するステップを含む。このような実装形態では、システムは、通常、入力を受け取り、次に、選択に応答して適切な出力ビデオシーケンスを提供する。このような一実装形態では、使用者は、予めプログラムされた異なるＶＣＷを選択することによってサッカーの試合の異なる特徴を見ることができる。
【００３４】
様々な実装形態では、異なる特徴を追従するために異なるＶＣＷが準備される。しかしながら、異なる特徴は異なる出現頻度を有する可能性があり、したがって個々のＶＣＷ、必ずしも利用可能であるとは限らない。いくつかの重要な特徴（例えばサッカーの試合におけるサッカーボール）は、ビデオ中の大部分のピクチャに存在している。他の重要な特徴（例えば映画における脇役）は、（大部分というわけではないが）ビデオ中のピクチャのかなりの部分に存在している。他の重要な特徴（例えば映画における有名な俳優によるカメオ出現）は、ビデオ中のピクチャの比較的少ない部分にのみ存在している。
【００３５】
様々な実装形態では、重要な特徴は、ビデオ全体に対して一度決定される。例えばサッカーの試合をキャプチャする、ある実装形態では、重要な特徴はサッカーボールに決定される。他の実装形態では、ビデオの進行に応じて重要な特徴が変更される、または少なくとも更新される。例えば一実装形態では、話をしている任意の人物が、その人物が話をしているショットの間の重要な特徴として決定される。
【００３６】
プロセス１０００は、ＶＣＷピクチャを形成するためにパンおよび走査を実行するステップを含む（１０３０）。典型的な実装形態では、形成されたＶＣＷは、重要なすべての特徴を含み、また、ＶＣＷを使用してパノラマビデオ中の複数のピクチャのクロッピングが実行される。これらの複数のピクチャは、例えばビデオ中のすべてのピクチャ、シーン中のすべてのピクチャまたはショット中のすべてのピクチャである（ショットは、例えば同じカメラで取得されたビデオ中のすべての連続するピクチャである）。概して、パンおよび走査操作により、個々のパノラマピクチャの制限された部分が選択され、パンおよび走査操作はクロッピングと呼ばれる。
【００３７】
プロセス１０００は、カメラベクトルを決定するステップを含む（１０４０）。カメラベクトルは仮想カメラの動きをキャプチャし、このキャプチャは、ＶＣＷの動きのキャプチャと同じである。したがって、図４〜９の実装形態のカメラベクトルは、ＶＣＷベクトル７３０と同じである。様々な実装形態では、カメラベクトルは、図４〜９に例示されているように１つのピクチャを振り返ることによって決定される。他の実装形態では、カメラベクトルは、時間的に過去を振り返ることに加えて、または時間的に過去を振り返ることの代わりに、時間的にこれから先を見ることによって決定される。さらに、様々な実装形態では、カメラベクトルは、複数の将来のピクチャまたは過去のピクチャを見ることによって、および／または示された動きをフィルタリングすることによって決定される。このような実装形態は、しばしば、ボールなどの高速移動体が自動的に追従されている場合に有用である。複数のピクチャにわたる平均を使用することにより、カメラベクトルが極端に過剰に変化するのを防止することができる。カメラの極端な運動は、視聴者が観るのに不快感を感じることがある。
【００３８】
プロセス１０００は、１または複数の重要な特徴のための動きベクトルを決定するステップを含む（１０５０）。様々な実装形態では、動きは、例えば図４〜９で説明したようにパノラマピクチャに対して決定される。様々な実装形態では、よく知られているように、オプティカルフローアルゴリズムを使用して１または複数の特徴の動きが決定される。
【００３９】
プロセス１０００は、カメラベクトルと特徴動きベクトルを結合するステップを含む（１０６０）。例えば図４〜９で説明した典型的な実装形態では、重要な特徴毎に個別の結合ベクトルが決定され（例えば結合プレーヤベクトル９１０）、個々の特徴は、カメラベクトル（図７〜９でＶＣＷベクトル７３０と呼ばれている）を使用する。
【００４０】
プロセス１０００は、重要な特徴の動きぼけを決定し、かつ、動きぼけを適用するステップを含む（１０７０）。所与の重要な特徴に対する動きぼけは、操作１０６０で決定されるその特徴に対する結合ベクトルに基づいて決定される。様々な実装形態では、動きぼけはピクチャのすべての部分に対して決定され、一方、他の実装形態では、動きは選択された特徴に対してのみ決定される。
【００４１】
プロセス１０００は、ＶＣＷ内のピクチャを目的解像度にスケール化するステップを含む（１０７５）。プロセス１０００における操作の順序では、ＶＣＷ内のピクチャをスケール化するステップ（１０７５）には、重要な１または複数の特徴に動きぼけが適用された後に（１０７０）、ＶＣＷ内のピクチャをスケール化するステップが必要である。しかしながら、操作の他の順序も想定されており、様々な実装形態が本出願の他の箇所で説明されている。
【００４２】
プロセス１０００は情報を送信するステップを含む（１０８０）。様々な実装形態では、送信される情報は、（ｉ）パノラマピクチャ、（ｉｉ）ＶＣＷピクチャ、（ｉｉｉ）スケール化されたＶＣＷピクチャ、（ｉｖ）カメラベクトル、（ｖ）スケール化されたカメラベクトル、（ｖｉ）特徴動きベクトル、（ｖｉｉ）スケール化された特徴動きベクトル、（ｖｉｉｉ）結合ベクトル、（ｉｘ）スケール化された結合ベクトル、（ｘ）動きぼけが適用されたＶＣＷピクチャ、および／または（ｘｉ）動きぼけが適用された、スケール化されたＶＣＷピクチャのうちの１または複数を含む。送信機は、様々な実装形態では、例えばケーブル配線ネットワークのための同報通信トラックおよび／またはハブである。一実装形態では、同報通信トラックは情報をケーブル配線ヘッドエンドに送信し、ケーブル配線ヘッドエンドは情報をハブに送信し、またハブは情報を多くの家庭（例えば２０〜２５の家庭）に送信する。
【００４３】
プロセス１０００は情報を受信するステップを含む（１０８５）。受信される情報は、様々な実装形態では、例えば操作１０８０で送信される情報のうちの任意の情報である。
【００４４】
プロセス１０００は、動きぼけしたＶＣＷピクチャ（すなわち、動きぼけが適用されたＶＣＷピクチャ）を目的解像度で表示するステップを含む（１０９０）。典型的な実装形態は、ＶＣＷピクチャを受信し、ＶＣＷピクチャをＴＶまたは他のビデオ視聴デバイスに表示する家庭の使用者を含む。受信されるＶＣＷピクチャは、既に目的解像度にスケール化されており、また既に動きぼけが適用されている。
【００４５】
プロセス１０００は、様々なアプリケーションに使用することができる。以下、いくつかの一般的なアプリケーションについて簡単に説明する。
【００４６】
先に言及したように、第１のアプリケーションでは、同報通信トラックは、操作１０８０で情報を送信するステップを含むプロセス１０００全体を実行する。また、同報通信トラックは、これらのあるアプリケーションにおいて、例えば審判がフィールドの異なる部分で生じたプレーの一部を見直したい場合、要求に応じて異なるＶＣＷを生成することも可能である。審判は、追従すべき異なる重要な特徴を選択することができる。
【００４７】
第２のアプリケーションでは、同報通信トラックは、それぞれが１または複数の異なる重要な特徴を追従するいくつかの異なるＶＣＷからのピクチャを送信する。この方法によれば、（例えば家庭の）使用者は、見るＶＣＷを選択することができる。例えば第１のＶＣＷはボールを追従することができ、また、第２のＶＣＷは、ボールに最も近いゴールキーパを追従することができる。
【００４８】
第３のアプリケーションでは、ケーブル配線ヘッドエンドまたはハブは、（例えば同報通信トラックまたは他のコンテンツプロバイダから）パノラマビデオを受信し、また操作１０２０〜１０８０を実行し、（操作１０８０で）１または複数のＶＣＷを家庭の使用者に提供する。計算および処理の多くをケーブルハブに実行させる利点の１つは、ケーブルハブへの配線チャネルがしばしば広い帯域幅を有していることである。広い帯域幅は、パノラマビデオの送信を可能にする。しかしながら、ケーブルハブから個々の家庭への配線チャネル（「最後のマイル」と呼ばれることがある）は、しばしば帯域幅がはるかに狭く、したがってケーブルハブから個々の家庭までＶＣＷピクチャのみを送信することが有利である。
【００４９】
様々な実装形態は、プロセス１０００の操作を異なる順序で構成することによって達成される。以下、（ｉ）送信（１０８０）および受信（１０８５）操作、および／または（ｉｉ）スケール化（１０７５）操作の順序の並び替えを単純に参照することにより、これらの実装形態のうちのいくつかについて説明する。
【００５０】
第１のセットの代替実装形態は、送信操作１０８０および受信操作１０８５をプロセス１０００における以下の位置のうちの１または複数の位置まで移動することによって達成される。
【００５１】
１．操作１０１０におけるパノラマビデオをキャプチャするステップの後：このような実装形態では、通常はパノラマビデオ全体が送信および受信される。プロセス１０００の残りの部分は、通常は受信機で（または受信機から下流側で）生じる。
【００５２】
２．操作１０４０におけるカメラベクトルを決定するステップの後：このような実装形態では、通常はＶＣＷピクチャおよびカメラベクトルが送信および受信される。プロセス１０００の残りの部分は、通常は受信機で（または受信機から下流側で）生じる。様々な実装形態に対する１つの暗示は、操作１０５０で、パノラマビデオではなく、ＶＣＷピクチャに基づいて動きベクトルが決定されることである。それによって決定される動きベクトルは、通常、カメラの動きを含むことになる。したがって、特徴のための動きベクトルとカメラベクトルとを結合し、それにより結合ベクトルを得ることは通常は不要である。
【００５３】
１つの例外は、動きを正確に決定することはできないが、動きが存在していることは明らかである特徴の場合である。一例は、草原などの滑らかではない背景である。草の任意の特定の部分に関連する動きを正確に決定することは困難である。しかしながら、このような特徴の場合、その特徴は、静的背景の一部であることをしばしば決定することができる。次に、その特徴（草）の動きはゼロであると仮定することができる。したがって、カメラベクトルと同じとして結合ベクトルを捉えることができる。次に、結合ベクトルを使用して、特徴（草）に適用するための適切な動きぼけが決定される。
【００５４】
３．操作１０５０における特徴動きベクトルを決定するステップの後：このような実装形態では、通常はＶＣＷピクチャ、カメラベクトルおよび特徴動きベクトルが送信および受信される。プロセス１０００の残りの部分は、通常は受信機で（または受信機から下流側で）生じる。この実装形態によれば、受信機は、ベクトルを結合し、動きぼけを決定および適用し、結果をスケール化するために必要な処理を実行することができる。
【００５５】
４．操作１０６０におけるカメラベクトルと特徴動きベクトルを結合するステップの後：このような実装形態では、通常はＶＣＷピクチャおよび特徴のための結合済み動きベクトルが送信および受信される。プロセス１０００の残りの部分は、通常は受信機で（または受信機から下流側で）生じる。この実装形態によれば、受信機は、動きぼけを決定および適用するのに必要な処理、ならびに結果をスケール化するために必要な処理を実行することができる。
【００５６】
５．操作１０７０における、特徴のための動きぼけを決定し、ＶＣＷピクチャ内のその特徴に動きぼけを適用するステップの後：このような実装形態では、通常は動きぼけしたＶＣＷピクチャが送信および受信される。プロセス１０００の残りの部分は、通常は受信機で（または受信機から下流側で）生じる。このような実装形態は、しばしば、より高い品質を使用者に提供することができる。より高い品質は、システムが紛失しがちなビデオ符号化アルゴリズムを使用している場合、および生じる紛失がより高い解像度ビデオ上で生じる場合（スケール化の前）、使用者には気がつきにくい場合に達成することができる。つまり、より高い品質のビデオで開始する場合、失われる情報はそれほどには重要ではない。しかしながら、紛失しがちな圧縮スキームを適用する前にビデオがスケールダウンされる場合（スケール化はダウンスケーリングとするものと仮定されるが、いくつかの実装形態はアップスケーリングを使用する）、失われる情報は、しばしば使用者の主観的視聴経験にとってはより重要になる。
【００５７】
第２のセットの代替実装形態は、スケール化操作１０７５をプロセス１０００における異なる位置へ移動することによって達成される。これらのすべての変形形態は、送信および受信操作（１０８０、１０８５）も移動する上記変形形態と組み合わせることができることに留意されたい。スケール化操作１０７５は、例えばプロセス１０００における様々な位置のうちの１または複数の位置へ移動することができる。このような位置は、例えば（ｉ）ＶＣＷピクチャを形成するステップ（１０３０）の後、（ｉｉ）カメラベクトルを決定するステップ（１０４０）の後、（ｉｉｉ）１または複数の重要な特徴のための動きベクトルを決定するステップ（１０５０）の後、または（ｉｖ）カメラベクトルおよび特徴ベクトルを結合するステップ（１０６０）の後を含む。このような実装形態では、ベクトル（カメラベクトルおよび特徴ベクトルのいずれか、または単純に結合ベクトル）は、通常、動きぼけを決定し、適用するステップ（１０７０）の前にスケール化され、したがって結合ベクトルの解像度は、スケール化されたＶＣＷピクチャの解像度と一致する。
【００５８】
様々な実装形態の説明から明らかであるように、プロセス１０００のバージョンの実現を望んでいるシステム設計者が利用することができる多くのオプションおよび変形形態が存在している。いくつかのシステムメトリクスは、実現するプロセス１０００の変形形態を決定するために使用される基準としてシステム設計者が考慮することができる。これらのメトリクスおよびそれらの含意のいくつかは、以下の通りである。
【００５９】
１．様々な通信リンク上の帯域幅：例えばパノラマピクチャには、通常、広い帯域幅が必要である一方、ＶＣＷピクチャには、通常、比較的より狭い帯域幅が必要である。
【００６０】
２．最終表示の時点で必要な品質：例えば全解像度ビデオ上で動きぼけ処理を実行するステップは、通常、スケールダウンされた解像度上で処理を実行するステップより高い最終品質を提供する。
【００６１】
３．配線チェーン内の様々な点における処理能力および速度：配線チェーン内の点のいくつかは、例えばブロードキャスタまたは他のコンテンツプロバイダ、配線ヘッドエンド（例えばケーブルヘッドエンド）、配線ハブおよび家庭の最終使用者を含む。処理に関して、ホームシステムは、通常、動きベクトル決定（例えばオプティカルフローアルゴリズムを使用して）、または動きぼけ決定およびアプリケーションを実行するための処理能力および速度を有していない。
【００６２】
４．必要な最終使用者選択／制御：例えばスケジュールされた番組の重要な特徴を自由に選択する機能が家庭の最終使用者に与えられる場合、個々の家庭は、スケジュールされた番組の異なるＶＣＷ（およびＶＣＷビデオとも呼ばれるＶＣＷピクチャの関連するストリーム）を受信することができるため、システムには、通常、より広い帯域幅が必要になる。
【００６３】
また、これらのメトリクスは、例えば以下の実装形態に示されているように相互に関係している。
【００６４】
１．例えば一実装形態では、帯域幅はケーブルハブから最終使用者の家庭までは狭く、したがってシステム設計者はケーブルハブから家庭までスケールダウンされたビデオを送信することを希望する。
【００６５】
２．さらに、高い品質が望ましく、したがってシステム設計者は、（ブロードキャスタ、ケーブルヘッドエンドまたはケーブルハブにおける）ダウンスケーリングの前に動き解析および動きぼけを実行することを希望する。
【００６６】
３．さらに、ケーブルハブが複数のＶＣＷビデオを同時に送信することになる多くの選択／制御が最終使用者に与えられる。この必要条件は、スケールダウンされたピクチャをケーブルハブから家庭まで送信するシステム設計者の選択を強化する。さらに、ブロードキャスタまたはケーブルヘッドエンドの処理負荷を軽減するために、システム設計者は、ハブから下流側の家庭のために選択されたＶＣＷビデオをケーブルハブに生成させることを好む。
【００６７】
４．しかしながらケーブルハブの処理速度および能力が乏しい場合、システム設計者は、配線システムにおけるすべての家庭のためにケーブルヘッドエンドまたはブロードキャスタで（例えば動き解析および動きぼけ化を実行する）ＶＣＷビデオを生成するように強制されることがある。
【００６８】
図１１を参照すると、動きぼけを適用するためのプロセス１１００を示す流れ図が提供されている。プロセス１１００は、ＶＣＷを使用して形成されるクロップ済みピクチャにアクセスするステップを含む（１１１０）。少なくとも１つの実装形態では、操作１１１０は、仮想カメラ窓を使用して一連のピクチャ中のピクチャからクロップされたクロップ済みピクチャにアクセスするステップを含む。操作１１１０は、ある実装形態では、プロセス１０００の操作１０３０によって形成されたＶＣＷピクチャにアクセスするステップを含む。
【００６９】
プロセス１１００は、ＶＣＷの動きおよび特徴の動きに基づいて動きぼけを生成するステップを含む（１１２０）。少なくとも１つの実装形態では、操作１１２０は、仮想カメラ窓の動きおよび特徴の動きに基づいてクロップ済みピクチャ中の特徴のための動きぼけを生成するステップを含む。
【００７０】
プロセス１１００は、生成された動きぼけを特徴に加えるステップを含む（１１３０）。少なくとも１つの実装形態では、操作１１３０は、生成された動きぼけをクロップ済みピクチャ中の特徴に加えるステップを含む。操作１１２０および１１３０は、ある実装形態では、プロセス１０００の操作１０７０で説明したように、重要な特徴のための動きぼけを決定し、その動きぼけを適用するステップを含む。
【００７１】
プロセス１１００への追加特徴の追加を含む様々な実装形態が達成される。プロセス１１００のいくつかの変形形態は、以下の実装形態における特徴のうちの１または複数を含む。
【００７２】
・実装形態では、プロセス１１００は、（ｉ）一連のピクチャは静止位置からのものであり、（ｉｉ）仮想カメラ窓の動きは静止位置に対して決定され、および（ｉｉｉ）特徴の動きは静止位置に対して決定されるようにさらに定義される。
【００７３】
・他の実装形態では、プロセス１１００は、（ｉ）一連のピクチャは、ピクチャより時間的により早い時期に生じるより早いピクチャをさらに含み、（ｉｉ）より早いピクチャは特徴を含み、（ｉｉｉ）仮想カメラ窓は、特徴が仮想カメラ窓内に存在するよう、より早いピクチャ中に位置を有し、（ｉｖ）仮想カメラ窓の動きは、より早いピクチャからピクチャまで、仮想カメラ窓の位置のあらゆる変化に基づいて決定され、（ｖ）特徴の動きは、より早いピクチャからピクチャまで、特徴の位置のあらゆる変化に基づくようにさらに定義される。
【００７４】
・他の実装形態では、プロセス１１００は、（ｉ）仮想カメラ窓の動きおよび特徴の動きは結合動きとして決定され、また（ｉｉ）結合動きは、仮想カメラ窓を使用して一連のピクチャ中の他のピクチャからクロップされた他のクロップ済みピクチャに対するクロップ済みピクチャ中の特徴の動きを示すようにさらに定義される。
【００７５】
・他の実装形態では、プロセス１１００は、一連のピクチャは静止位置からのものであり、またプロセスは、クロップ済みピクチャに基づいて特徴が静止位置に対して静止している背景の一部であることを決定するステップと、特徴の動きがゼロになるように割り当てるステップとをさらに含むようにさらに定義される。
【００７６】
・他の実装形態では、プロセス１１００は、（ｉ）ピクチャにアクセスするステップと、（ｉｉ）ピクチャ中の特徴を識別するステップと、（ｉｉｉ）ピクチャ内に特徴を含む仮想カメラ窓を生成するステップと、（ｉｖ）仮想カメラ窓の動きと特徴の動きの組合せである、特徴のための組合せ動きを決定するステップとを含み、動きぼけを生成するステップは、組合せ動きに基づいて動きぼけを生成するステップを含むようにさらに定義される。
【００７７】
・他の実装形態では、プロセス１１００は、（ｉ）一連のピクチャ中の複数のピクチャにわたって特徴を追従するステップ、および（ｉｉ）追従に基づいて複数のピクチャ中に仮想カメラ窓を生成するステップを含むようにさらに定義される。
【００７８】
・他の実装形態では、プロセス１１００は、特徴を識別するステップが、対象認識または顔認識を使用するステップを含むようにさらに定義される。
【００７９】
・他の実装形態では、プロセス１１００は、クロップ済みピクチャ中の第２の特徴のための動きぼけを、仮想カメラ窓の動きおよび第２の特徴の動きに基づいて生成するステップを含むようにさらに定義される。
【００８０】
・他の実装形態では、プロセス１１００は、クロップ済みピクチャが、動きぼけを生成するステップの前に表示解像度にスケール化されるスケール化ピクチャであるようにさらに定義される。
【００８１】
・他の実装形態では、プロセス１１００は、生成された動きぼけをクロップ済みピクチャ中の特徴に加えるステップの後にクロップ済みピクチャを表示解像度にスケール化するステップを含むようにさらに定義される。
【００８２】
・他の実装形態では、プロセス１１００は、（ｉ）生成された動きぼけを加えた後のクロップ済みピクチャ、（ｉｉ）生成された動きぼけを加える前のクロップ済みピクチャ、（ｉｉｉ）仮想カメラ窓の動きのインジケータ、または（ｉｖ）特徴の動きのインジケータのうちの１または複数を送信するステップを含むようにさらに定義される。
【００８３】
・他の実装形態では、プロセス１１００は、ピクチャが、複数のカメラで取得されたピクチャを含む合成ピクチャであるようにさらに定義される。
【００８４】
・他の実装形態では、プロセス１１００は、ピクチャが、単一のカメラで取得された単一のピクチャであるようにさらに定義される。
【００８５】
・他の実装形態では、プロセス１１００は、ピクチャが動きぼけを有さないようにさらに定義される。
【００８６】
・他の実装形態では、プロセス１１００は、（ｉ）特徴を重要な特徴として識別する入力を受け取るステップ、および（ｉｉ）受け取った入力に基づいて仮想カメラ窓を決定するステップを含むようにさらに定義される。
【００８７】
・他の実装形態では、プロセス１１００は、アクセスするステップ、生成するステップおよび加えるステップが受信機で実行されるようにさらに定義され、かつ、プロセス１１００は、（ｉ）第２の特徴が重要な特徴であることを示す受信機からの信号を送信するステップと、（ｉｉ）信号の送信に応答して、第２の仮想カメラ窓を使用して一連のピクチャ中の第２のピクチャからクロップされた第２のクロップ済みピクチャを受信機で受信するステップであって、第２の仮想カメラ窓は仮想カメラ窓とは異なるステップとをさらに含むようにさらに定義される。
【００８８】
・他の実装形態では、プロセス１１００は、（ｉ）ピクチャはパノラマピクチャであり、（ｉｉ）一連のピクチャは一連のパノラマピクチャであるようにさらに定義される。
【００８９】
図１２は、動きぼけの適用に使用するための送信システムの一例を示すブロック図を提供したものである。図１２を参照すると、上で説明した特徴および原理を適用することができるビデオ送信システムまたは装置１６００が示されている。ビデオ送信システムまたは装置１６００は、例えば衛星、ケーブル、電話回線または地上同報通信などの任意の様々な媒体を使用して信号を送信するためのヘッドエンドまたは送信システムであってもよい。あるいはビデオ送信システムまたは装置１６００は、例えば記憶するための信号を提供するために使用することも可能である。送信は、インターネットまたは何らかの他のネットワークを介して提供することができる。ビデオ送信システムまたは装置１６００は、例えばビデオコンテンツおよび例えばメタデータなどの他のコンテンツを生成し、かつ、配信することができる。図１２のブロックは、ビデオ送信システムまたは装置のブロック図を提供しているだけではなく、またビデオ送信プロセスの流れ図を提供していることを明確にされたい。
【００９０】
ビデオ送信システムまたは装置１６００は、プロセッサー１６０１から入力ビデオを受け取る。一実装形態では、プロセッサー１６０１は、番組からの画像などのビデオ画像を単純にビデオ送信システムまたは装置１６００に提供する。しかしながら他の実装形態では、プロセッサー１６０１は、あるいは、または追加として、他のソースからのコンテンツをビデオ送信システムまたは装置１６００に提供する。また、プロセッサー１６０１は、メタデータをビデオ送信システムまたは装置１６００に提供することも可能であり、メタデータは、例えば入力画像のうちの１または複数に関連しており、例えばデータを符号化するために使用される符号化方法の記述を含むことができる。
【００９１】
ビデオ送信システムまたは装置１６００は、符号器１６０２および符号化された信号（以下、符号化信号）を送信することができる送信機１６０４を含む。符号器１６０２は、プロセッサー１６０１からビデオ情報を受け取る。ビデオ情報は、例えばビデオ画像および／または他のコンテンツを含むことができる。符号器１６０２は、ビデオおよび／または他の情報に基づいて符号化信号を生成する。符号器１６０２は、様々な実装形態では、ソース符号器、チャネル符号器、またはソース符号器とチャネル符号器の組合せである。様々な実装形態では、符号器１６０２は、例えばＡＶＣ符号器である（本出願の他の箇所で定義されている）。
【００９２】
符号器１６０２は、例えば、様々な情報片を受け取り、かつ、記憶または送信のための構造化されたフォーマットに組み立てるためのアセンブリユニットを含んだサブモジュールを含むことができる。様々な情報片は、例えば符号化された、もしくは符号化されていないビデオ、他のコンテンツ、メタデータまたは情報、ならびに例えば動きベクトル、符号化モードインジケータおよび構文要素などの様々な要素を含むことができる。いくつかの実装形態では、符号器１６０２はプロセッサー１６０１を含み、したがってプロセッサー１６０１の動作を実行する。
【００９３】
送信機１６０４は、符号器１６０２から符号化信号を受け取り、１または複数の出力信号中の符号化信号を送信する。送信機１６０４は、例えば、符号化されたピクチャおよび／またはそれに関連する情報を表す１または複数のビットストリームを有する番組信号を送信するように適合させることができる。典型的な送信機は、例えば誤り訂正符号化を提供する（これは、あるいは、または追加として符号器１６０２の中で実行することも可能である）、データを信号の中に交互配置する（これは、あるいは、または追加として符号器１６０２の中で実行することも可能である）、信号中のエネルギーを無作為化する、および変調器１６０６を使用して信号を１または複数の搬送波上で変調する、のうちの１または複数などの機能を実行する。送信機１６０４は、アンテナ（図示せず）を含むことができる、またはアンテナとインタフェースすることができる。さらに、送信機１６０４の実装形態は、変調器１６０６に制限することも可能である。
【００９４】
また、ビデオ送信システムまたは装置１６００は、記憶装置１６０８に通信可能に結合されている。一実装形態では、記憶装置１６０８は符号器１６０２に結合されており、また、記憶装置１６０８は、符号器１６０２からの符号化されたビットストリームを記憶し、かつ、任意選択で記憶されているビットストリームを送信機１６０４に提供する。他の実装形態では、記憶装置１６０８は送信機１６０４に結合されており、送信機１６０４からのビットストリームを記憶する。送信機１６０４からのビットストリームは、例えば送信機１６０４によってさらに処理された１または複数の符号化されたビットストリームを含むことができる。記憶装置１６０８は、異なる実装形態では、標準ＤＶＤ、Ｂｌｕ−Ｒａｙディスク、ハードドライブまたは何らかの他の記憶デバイスのうちの１または複数である。
【００９５】
また、図１２は、ユーザインタフェース１６１０およびディスプレイ１６２０を含み、それらはいずれもプロセッサー１６０１に通信可能に結合されている。プロセッサー１６０１は、例えばオペレータからの入力を受け入れるためにユーザインタフェース１６１０に通信可能に結合されている。プロセッサー１６０１は、例えばディジタルピクチャを表示するためにディスプレイ１６２０に通信可能に結合されている。ピクチャは、様々な実装形態では、プロセッサー１６０１によって処理される前、プロセッサー１６０１による処理中、および／またはプロセッサー１６０１によって処理された後に表示される。
【００９６】
また、ディスプレイ１６２０は、様々な実装形態ではユーザインタフェース１６１０を含む。一実装形態は、ユーザインタフェース１６１０およびディスプレイ１６２０の両方のためにタッチスクリーンを使用している。
【００９７】
図１３は、動きぼけの適用に使用するための受信システムの一例を示すブロック図を提供したものである。図１３を参照すると、上で説明した特徴および原理を適用することができるビデオ受信システムまたは装置１７００が示されている。ビデオ受信システムまたは装置１７００は、例えば衛星、ケーブル、電話回線または地上同報通信などの様々な媒体を介して信号を受信するように構成することができる。信号は、インターネットまたは何らかの他のネットワークを介して受信することができる。図１３のブロックは、ビデオ受信システムまたは装置のブロック図を提供しているだけではなく、またビデオ受信プロセスの流れ図を提供していることを明確にされたい。
【００９８】
ビデオ受信システムまたは装置１７００は、例えばセルフォーン、コンピューター、タブレット、ルータ、ゲートウェイ、セットトップボックス、テレビジョン、または符号化されたビデオを受信し、かつ、例えば表示（例えば使用者に対する表示）、処理または記憶するために復号されたビデオ信号を提供する他のデバイスを含むことができる。したがってビデオ受信システムまたは装置１７００は、その出力を例えばテレビジョンのスクリーン、セルフォーンのスクリーン、タブレットのスクリーン、コンピューターモニター、コンピューター（記憶、処理または表示のための）もしくは何らかの他の記憶、処理または表示デバイスに提供することができる。
【００９９】
ビデオ受信システムまたは装置１７００は、ビデオ情報を受け取り、かつ、処理することができる。ビデオ情報は、例えばビデオ画像、他のコンテンツおよび／またはメタデータを含むことができる。ビデオ受信システムまたは装置１７００は、例えば本出願の実装形態で説明されている信号などの符号化信号を受信するための受信機１７０２を含む。受信機１７０２は、例えば（ｉ）番組の中の一連のピクチャのための符号化された層を提供する信号、または（ｉｉ）図１２のビデオ送信システム１６００から出力される信号（例えば記憶装置１６０８または送信機１６０４から出力される信号）を受信することができる。
【０１００】
受信機１７０２は、例えば符号化されたピクチャ（例えばビデオピクチャまたは深度ピクチャ）を表す複数のビットストリームを有する番組信号を受信するように適合させることができる。典型的な受信機は、例えば、変調され、かつ、符号化されたデータ信号の受信、復調器１７０４を使用した、１または複数の搬送波からのデータ信号の復調、信号中のエネルギーの無作為化解除、信号中のデータの交互配置解除（これは、あるいは、または追加として復号器の中で実行することも可能である）、および信号の誤り訂正復号化（これは、あるいは、または追加として復号器の中で実行することも可能である）のうちの１または複数などの機能を実行する。受信機１７０２は、アンテナ（図示せず）を含むことができる、またはアンテナとインタフェースすることができる。受信機１７０２の実装形態は、復調器１７０４に制限することができる。
【０１０１】
ビデオ受信システムまたは装置１７００は、復号器１７０６を含む。復号器１７０６は、様々な実装形態では、ソース復号器、チャネル復号器、またはソース復号器とチャネル復号器の組合せである。一実装形態では、復号器１７０６は、図１のチャネル復号器１５５およびソース復号器１６０を含む。
【０１０２】
受信機１７０２は、受信した信号を復号器１７０６に提供する。受信機１７０２によって復号器１７０６に提供される信号は、１または複数の符号化されたビットストリームを含むことができる。復号器１７０６は、例えば、ビデオ情報、他のコンテンツまたはメタデータを含んだ復号されたビデオ信号などの復号された信号を出力する。復号器１７０６は、例えばＡＶＣ復号器であってもよい（本出願の他の箇所で定義されている）。
【０１０３】
また、ビデオ受信システムまたは装置１７００は、記憶装置１７０７に通信可能に結合されている。一実装形態では、記憶装置１７０７は受信機１７０２に結合されており、また、受信機１７０２は、記憶装置１７０７からビットストリームにアクセスし、かつ／または受け取ったビットストリームを記憶装置１７０７に記憶する。他の実装形態では、記憶装置１７０７は復号器１７０６に結合されており、また、復号器１７０６は、記憶装置１７０７からビットストリームにアクセスし、かつ／または復号されたビットストリームを記憶装置１７０７に記憶する。記憶装置１７０７からアクセスされるビットストリームは、異なる実装形態では、１または複数の符号化されたビットストリームを含む。記憶装置１７０７は、異なる実装形態では、標準ＤＶＤ、Ｂｌｕ−Ｒａｙディスク、ハードドライブまたは何らかの他の記憶デバイスのうちの１または複数である。
【０１０４】
復号器１７０６からの出力ビデオは、一実装形態ではプロセッサー１７０８に提供される。プロセッサー１７０８は、一実装形態では、復号されたディジタルピクチャを提供するように構成されたプロセッサーである。いくつかの実装形態では、復号器１７０６はプロセッサー１７０８を含み、したがってプロセッサー１７０８の動作を実行する。他の実装形態では、プロセッサー１７０８は、例えばセットトップボックスまたはテレビジョンなどの下流側のデバイスの一部である。
【０１０５】
また、図１３は、ユーザインタフェース１７１０およびディスプレイ１７２０を含み、それらはいずれもプロセッサー１７０８に通信可能に結合されている。プロセッサー１７０８は、例えば家庭の使用者またはケーブルハブのオペレータからの入力を受け入れるためにユーザインタフェース１７１０に通信可能に結合されている。プロセッサー１７０８は、例えばディジタルピクチャを表示するためにディスプレイ１７２０に通信可能に結合されている。ピクチャは、様々な実装形態では、プロセッサー１７０８によって処理される前、プロセッサー１７０８による処理中、および／またはプロセッサー１７０８によって処理された後に表示される。
【０１０６】
また、ディスプレイ１７２０は、様々な実装形態ではユーザインタフェース１７１０を含む。一実装形態は、ユーザインタフェース１７１０およびディスプレイ１７２０の両方のためにタッチスクリーンを使用している。さらに他の実装形態は、ユーザインタフェース１７１０および／またはディスプレイ１７２０をビデオ受信システム１７００の中に含む。
【０１０７】
図１２〜１３は、様々な実装形態では、プロセス１０００またはプロセス１１００のすべて、または一部、ならびにプロセス１０００または１１００に関連して説明した任意の追加特徴を実行するために使用することができる。いくつかのこのような実装形態は、以下の通りである。
【０１０８】
・実装形態では、プロセッサー１６０１は、ユーザインタフェース１６１０およびディスプレイ１６２０と共に、操作１０２０〜１０７５を実行するために使用される。送信機１６０４は、操作１０８０を実行するために使用される。受信機１７０２は、操作１０８５を実行するために使用される。プロセッサー１７０８は、ユーザインタフェース１７１０およびディスプレイ１７２０と共に、操作１０９０を実行するために使用される。
【０１０９】
・他の実装形態では、プロセッサー１６０１は、ユーザインタフェース１６１０およびディスプレイ１６２０と共に、操作１１１０〜１１３０を実行するために使用される。
【０１１０】
・他の実装形態では、プロセッサー１７０８は、ユーザインタフェース１７１０およびディスプレイ１７２０と共に、操作１１１０〜１１３０を実行するために使用される。
【０１１１】
図１２〜１３の構成要素は、他の実装形態を形成するために選択的に結合することができる。一実装形態では、ケーブルハブは、ビデオ送信システム１６００が後に続く図１３の構成要素を含む（場合によっては記憶デバイス１６０８を含む）。このような実装形態では、ケーブルハブは、例えばブロードキャスタ、ケーブルヘッドエンドまたは他のコンテンツプロバイダからパノラマビデオを受信するためにビデオ受信システム１７００を使用することができる。この場合、ケーブルハブは、プロセッサー１７０６、ユーザインタフェース１７１０およびディスプレイ１７２０を使用して、例えばプロセス１０００の操作１０２０〜１０７５を実行することができる（これらの操作１０２０〜１０７５は、自動的に実行することも可能である）。この場合、ケーブルハブは、例えば操作１０７５の結果として得られるビデオ（および場合によっては他の情報）をビデオ送信システム１６００に提供することができ、ビデオ送信システム１６００は、例えばプロセス１０００の操作１０８０を実行する。
【０１１２】
様々な実装形態は信号を提供する。一実装形態では、送信機１６０４は、プロセス１０００の操作１０８０を実行するステップのすべて、または一部として、ピクチャセクションおよび動きセクションを含む信号を提供する。ピクチャセクションは、仮想カメラ窓を使用して一連のピクチャ中のピクチャからクロップされたクロップ済みピクチャのためのものである。動きセクションは、仮想カメラ窓の動きを示すためのものである。ピクチャセクションおよび動きは、様々な実装形態では信号構造の中に含まれている。いくつかのこのような実装形態では、信号構造はプロセッサー可読媒体上に記憶される。
【０１１３】
ディスプレイ１６２０および／またはディスプレイ１７２０は、様々な実装形態では、コンピューターディスプレイ、ラップトップディスプレイ、タブレットディスプレイ、セルフォーンディスプレイ、テレビジョンディスプレイ、または本出願の中で言及されている、または例えば壁、天井、床もしくは歩道などの任意の表面で見ることができる投影型ディスプレイを含む当分野で知られている任意の他のディスプレイのうちの１または複数を含む。
【０１１４】
ユーザインタフェース１６１０および／またはユーザインタフェース１７１０は、様々な実装形態では、マウス、トラックパッド、キーボード、タッチスクリーン、プロセッサー１６０１および／もしくはプロセッサー１７０８によって翻訳される音声コマンドを受け入れるためのマイクロホン、遠隔制御、セルフォーン、遠隔であれ、または局所であれ、個別のコンピューター、または本出願の中で言及されている、もしくは当分野で知られている任意の他の入力デバイスのうちの１または複数を含む。
【０１１５】
記憶デバイス１６０８および／または記憶デバイス１７０７は、様々な実装形態では、本出願の中で言及されている、または当分野で知られている任意の記憶デバイスを含む。
【０１１６】
符号器１６０２は、様々な実装形態では、ＡＶＣもしくはＨ．２６４符号器（本出願の他の箇所で定義されている）、任意の他の標準のための符号器、または本出願の中で言及されている、もしくは当分野で知られている任意の他の符号化デバイスを含む。
【０１１７】
送信機１６０４は、様々な実装形態では、任意の集積回路の出力ピン、汎用非同期受信機／送信機（ＵＡＲＴ）、同報通信送信機、衛星送信機、ケーブル送信機、または本出願の中で言及されている、もしくは当分野で知られている任意の他の送信デバイスを含む。送信機１６０４は、例えば、符号化されたピクチャおよび／またはそれに関連する情報を表す１または複数のビットストリームを有する番組信号を送信するように適合させることができる。典型的な送信機は、例えば誤り訂正符号化を提供する（これは、あるいは、または追加として符号器１６０２の中で実行することも可能である）、データを信号の中に交互配置する（これは、あるいは、または追加として符号器１６０２の中で実行することも可能である）、信号中のエネルギーを無作為化する、および変調器を使用して信号を１または複数の搬送波上で変調する、のうちの１または複数などの機能を実行する。送信機１６０４は、アンテナ（図示せず）を含むことができる、またはアンテナとインタフェースすることができる。さらに、送信機１６０４の実装形態は、変調器に制限することも可能である。
【０１１８】
本出願は、図１〜９の絵図、図１０〜１１の流れ図および図１２〜１３のブロック図を含む複数の図を提供している。これらの図の各々は、以下の例に対して簡単に説明されているように、様々な実装形態のための開示を提供している。
【０１１９】
第１の例として、本出願人らは、図１〜９の絵図が、少なくとも部分的に、使用者に示される出力スクリーンを確かに記述し、または様々な概念を確かに例示していることに言及している。しかしながら、絵図は、１または複数のプロセスフローを記述していることも明確にされたい。例えば少なくとも図１〜２および５〜６は、対象のための初期動きベクトルを決定するプロセスも記述している。さらに、少なくとも図３および８〜９は、対象のための結合済み動きベクトルを決定するプロセスも記述している。
【０１２０】
第２の例として、本出願人らは、流れ図が、フロープロセスを確かに記述していることに言及している。しかしながら流れ図は、フロープロセスを実行するためのシステムまたは装置の機能ブロック間の相互接続を提供していることも明確にされたい。一例として、図１１は、プロセス１１００の機能を実行するためのブロック図も示す。例えば（ｉ）参照要素１１１０は、クロップ済みピクチャにアクセスする機能を実行するためのブロックも表しており、（ｉｉ）参照要素１１２０は、動きぼけを生成する機能を実行するためのブロックを表しており、また（ｉｉｉ）要素１１１０と１１２０の間の相互接続は、クロップ済みピクチャにアクセスするための構成要素と、動きぼけを生成するための構成要素との間の結合を表している。図１１の他のブロックは、このシステム／装置を記述することにおいて同様に解釈される。
【０１２１】
第３の例として、本出願人らは、ブロック図は、装置またはシステムの機能ブロックの相互接続を確かに記述していることに言及している。しかしながらブロック図は、様々なプロセスフローの記述を提供していることも明確にされたい。一例として、図１２は、図１２のブロックの機能を含んだ様々なプロセスを実行するための流れも示している。例えば（ｉ）符号器１６０２のためのブロックは、ピクチャを符号化する操作も表しており、（ｉｉ）送信機１６０４のためのブロックは、ピクチャを送信する操作も表しており、また、（ｉｉｉ）符号器１６０２と送信機１６０４の間の相互接続は、ピクチャが符号化され、引き続いて送信されるプロセスを表している。図１２の他のブロックは、このフロープロセスを記述することにおいて同様に解釈される。
【０１２２】
したがって本出願人らは多くの実装形態を提供した。説明されている実装形態の変形形態ならびに追加アプリケーションが企図されており、これらは、本出願人らの開示の範囲内と見なされることに留意されたい。さらに、説明されている実装形態の特徴および態様は、他の実装形態のために適合させることができる。
【０１２３】
様々な実装形態は、パノラマピクチャに関連して説明されている。しかしながら、このような実装形態は、パノラマピクチャではないピクチャと共に使用するために適合させることができる。例えばＶＣＷは、パノラマピクチャではないピクチャのために構成することができることを明確にされたい。
【０１２４】
いくつかの実装形態は、自動化される特徴、または自動的に実施される特徴を参照している。しかしながらこのような実装形態の変形形態は、自動化されず、かつ／または特徴のすべてまたは一部を自動的に実施しない。
【０１２５】
さらに、いくつかの実装形態は、特徴のための結合済み動きベクトルを２つの個別の動き（カメラの動きおよび独立した特徴の動き）に基づいて決定するステップを参照している。しかしながら様々な実装形態では、結合済み動きベクトルは、３つ以上の成分ベクトルに基づいて決定される。
【０１２６】
本出願の中で説明されている実装形態および特徴のうちのいくつかは、ＡＶＣ規格、および／またはＭＶＣ（Multiview Video Coding：多視点映像符号化）拡張（Ａｎｎｅｘ  Ｈ）を有するＡＶＣ、および／またはＳＶＣ（Scalable Video Coding：スケーラブル映像符号化）拡張（Annex G）を有するＡＶＣの文脈の中で使用することができる。さらに、これらの実装形態および特徴は、他の規格（既存の、または将来の）の文脈、または規格を含まない文脈の中で使用することも可能である。ＡＶＣは、既存の国際標準化機構／国際電気標準会議（International Organization for Standardization/International Electrotechnical Commission：「ＩＳＯ／ＩＥＣ」）Moving Picture Experts Group-４（「ＭＰＥＧ−４」）Part １０ Advanced Video Coding（「ＡＶＣ」）規格／国際電気通信連合（International Telecommunication Union， Telecommunication Sector：「ＩＴＵ−Ｔ」）Ｈ．２６４ Recommendationを表している（本文書を通して、「Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣ  規格」または「ＡＶＣ規格」、「Ｈ．２６４規格」または単純に「ＡＶＣ」または「Ｈ．２６４」などのその変形形態として様々に呼ばれている）ことに留意されたい。
【０１２７】
本原理の「一実施形態」もしくは「実施形態」または「一実装形態」もしくは「実装形態」への言及、ならびにそれらの他の変形形態への言及は、実施形態と関連して説明されている特定の特徴、構造、特性、等々が本原理の少なくとも１つの実施形態に含まれていることを意味している。したがって本明細書全体を通して様々な場所で出現する「一実施形態では」もしくは「実施形態では」または「一実装形態では」もしくは「実装形態では」という語句の出現、ならびに任意の他の変形形態の出現は、必ずしもすべてが同じ実施形態を意味しているわけではない。
【０１２８】
さらに、本出願またはその特許請求は、様々な情報片の「決定」に言及することがある。情報の決定には、例えば情報の推測、情報の計算、情報の予測またはメモリからの情報の検索のうちの１または複数を含むことができる。
【０１２９】
さらに、本出願またはその特許請求は、様々な情報片への「アクセス」に言及することがある。情報へのアクセスには、例えば情報の受取り、情報の検索（例えばメモリ）、情報の記憶、情報の処理、情報の送信、情報の移動、情報の複製、情報の消去、情報の計算、情報の決定、情報の予測または情報の推測のうちの１または複数を含むことができる。
【０１３０】
さらに、本出願またはその特許請求は、様々な情報片の「受取り」に言及することがある。受取りは、「アクセス」の場合と同様、広義の用語であることが意図されている。情報の受取りには、例えば情報へアクセスまたは情報の検索（例えばメモリからの）のうちの１または複数を含むことができる。さらに、「受取り」は、通常、例えば情報の記憶、情報の処理、情報の送信、情報の移動、情報の複製、情報の消去、情報の計算、情報の決定、情報の予測または情報の推測などの操作中に何らかの方法で含まれている。
【０１３１】
様々な実装形態は、「画像」および／または「ピクチャ」に言及する。「画像」および「ピクチャ」という用語は、本文書全体を通して交換可能に使用されており、また、広義の用語であることが意図されている。「画像」または「ピクチャ」は、例えばフレームまたはフィールドのすべてまたは一部であってもよい。「ビデオ」という用語は、一連の画像（またはピクチャ）を意味している。画像またはピクチャは、例えば任意の様々なビデオ構成要素またはそれらの組合せを含むことができる。このような構成要素またはそれらの組合せは、例えばルミナンス、クロミナンス、Ｙ（ＹＵＶもしくはＹＣｂＣｒまたはＹＰｂＰｒの）、Ｕ（ＹＵＶの）、Ｖ（ＹＵＶの）、Ｃｂ（ＹＣｂＣｒの）、Ｃｒ（ＹＣｂＣｒの）、Ｐｂ（ＹＰｂＰｒの）、Ｐｒ（ＹＰｂＰｒの）、赤（ＲＧＢの）、緑（ＲＧＢの）、青（ＲＧＢの）、Ｓ−ビデオ、および任意のこれらの構成要素の負または正を含む。また、「画像」または「ピクチャ」は、例えば典型的な二次元ビデオ、２Ｄビデオピクチャのための相違マップ、２Ｄビデオピクチャに対応する深度マップまたはエッジマップを含む様々な異なるタイプのコンテンツを意味することができ、あるいはこれらの様々な異なるタイプのコンテンツを意味する。
【０１３２】
さらに、多くの実装形態は、「フレーム」に言及することがある。しかしながらこのような実装形態は、「ピクチャ」または「画像」に等しく適用することができることが想定されている。
【０１３３】
また、「深度マップ」もしくは「相違マップ」または「エッジマップ」あるいは同様の用語も広義の用語であることが意図されている。マップは、一般に、例えば特定のタイプの情報を含んだピクチャを意味している。しかしながらマップは、その名称によっては示されない他のタイプの情報を含むことも可能である。例えば深度マップは、通常、深度情報を含むが、例えばビデオ情報またはエッジ情報などの他の情報を含むことも可能である。
【０１３４】
本出願は、様々な実装形態では、「符号器」および「復号器」に言及する。符号器は、例えば１または複数のソース符号器を含むことができる（またはソース符号器を含まなくてもよい）こと、および／または１または複数のチャネル符号器を含むことができる（またはチャネル符号器を含まなくてもよい）こと、ならびに１または複数の変調器を含むことができる（または変調器を含まなくてもよい）ことを明確にされたい。同様に、復号器は、例えば１または複数の変調器を含むことができる（または変調器を含まなくてもよい）こと、ならびに１または複数のチャネル符号器を含むことができる（またはチャネル符号器を含まなくてもよい）こと、および／または１または複数のソース符号器を含むことができる（またはソース符号器を含まなくてもよい）ことを明確にされたい。
【０１３５】
例えば「Ａ／Ｂ」、「Ａおよび／またはＢ」および「ＡおよびＢのうちの少なくとも１つ」の場合における、以下の「／」、「および／または」および「のうちの少なくとも１つ」のうちのいずれかの使用は、最初に挙げられているオプション（Ａ）のみの選択、もしくは２番目に挙げられているオプション（Ｂ）のみの選択、または両方のオプション（ＡおよびＢ）の選択を包含することが意図されていることを理解されたい。他の例として、「Ａ、Ｂおよび／またはＣ」および「Ａ、ＢおよびＣのうちの少なくとも１つ」および「Ａ、ＢまたはＣのうちの少なくとも１つ」の場合、このような語句には、最初に挙げられているオプション（Ａ）のみの選択、もしくは２番目に挙げられているオプション（Ｂ）のみの選択、または３番目に挙げられているオプション（Ｃ）のみの選択、もしくは最初に挙げられているオプションおよび２番目に挙げられているオプション（ＡおよびＢ）のみの選択、もしくは最初に挙げられているオプションおよび３番目に挙げられているオプション（ＡおよびＣ）のみの選択、もしくは２番目に挙げられているオプションおよび３番目に挙げられているオプション（ＢおよびＣ）のみの選択、もしくは３つのすべてのオプション（ＡおよびＢならびにＣ）の選択を包含することが意図されている。これは、当分野および関連する分野の業者には容易に明らかなように、挙げられている多くの項目に対して拡張することができる。
【０１３６】
さらに、多くの実装形態は、例えばポストプロセッサーまたはプリプロセッサーなどのプロセッサーの中で実現することができる。本出願の中で説明されているプロセッサーは、実際、様々な実装形態では、例えばプロセス、機能または操作を実施するように集合的に構成される複数のプロセッサー（サブプロセッサー）を含む。例えばプロセッサー１６０１および１７０８、ならびに例えば符号器１６０２、送信機１６０４、受信機１７０２および復号器１７０６などの他の処理構成要素は、様々な実装形態では、その構成要素の操作を実施するように集合的に構成される複数のサブプロセッサーから構成される。
【０１３７】
本明細書において説明されている実装形態は、例えば方法またはプロセス、装置、ソフトウェアプログラム、データストリームまたは信号の中で実現することができる。単に単一の形態の実装形態の文脈で説明されている（例えば方法としてのみ説明されている）場合であっても、説明されている特徴の実装形態は、他の形態（例えば装置またはプログラム）の中で実現することができる。装置は、例えば適切なハードウェア、ソフトウェアおよびファームウェアの中で実現することができる。方法は、例えばコンピューター、マイクロプロセッサー、集積回路またはプログラマブル論理デバイスを始めとする、例えば一般に処理デバイスと呼ばれているプロセッサーなどの装置の中で実現することができる。また、プロセッサーは、例えばコンピューター、セルフォーン、タブレット、ポータブル／パーソナルディジタルアシスタント（「ＰＤＡ」）、および最終使用者間の情報の通信を容易にする他のデバイスなどの通信デバイスも含む。
【０１３８】
本明細書において説明されている様々なプロセスおよび特徴の実装形態は、様々な異なる機器またはアプリケーションの中で具体化することができる。このような機器の例には、符号器、復号器、ポストプロセッサー、プリプロセッサー、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバ、テレビジョン、セットトップボックス、ルータ、ゲートウェイ、モデム、ラップトップ、パーソナルコンピューター、タブレット、セルフォーン、ＰＤＡおよび他の通信デバイスがある。明らかなように、機器は移動型であってもよく、移動車両に搭載することも可能である。
【０１３９】
さらに、方法は、プロセッサーによって実施される命令によって実現することができ、このような命令（および／または実装形態によって生成されるデータ値）は、例えば集積回路、ソフトウェアキャリヤ、または例えばハードディスク、コンパクトディスケット（「ＣＤ」）、光ディスク（例えばしばしばディジタル汎用ディスクまたはディジタルビデオディスクと呼ばれるＤＶＤ、またはＢｌｕ−Ｒａｙディスクなど）、ランダムアクセスメモリ（「ＲＡＭ」）、リードオンリメモリ（「ＲＯＭ」）、ＵＳＢサムドライブなどの他の記憶デバイス、または何らかの他の記憶デバイスなどのプロセッサー可読媒体上に記憶することができる。命令は、プロセッサー可読媒体上に有形的に具体化された応用プログラムの形態を取ることができる。命令は、例えばハードウェア、ファームウェア、ソフトウェアまたは組合せの中に存在させることができる。命令は、例えばオペレーティングシステム、個別アプリケーションまたはその２つの組合せの中に見出すことができる。したがってプロセッサーは、例えばプロセスを実行するように構成されたデバイス、およびプロセスを実行するための命令を有する（記憶デバイスなどの）プロセッサー可読媒体を含んだデバイスの両方として特性化することができる。さらに、プロセッサー可読媒体は、命令に加えて、または命令の代わりに、実装形態によって生成されるデータ値を記憶することも可能である。
【０１４０】
当業者には明らかなように、実装形態は、例えば記憶し、または送信することができる情報を運ぶようにフォーマット化される様々な信号を生成することができる。情報は、例えば方法を実施するための命令、または説明されている実装形態のうちの１つによって生成されるデータを含むことができる。例えば信号は、構文を書き込み、または読み取るための規則をデータとして運び、または構文規則を使用して生成された実際の構文値をデータとして運ぶようにフォーマット化することができる。このような信号は、（例えばスペクトルの無線周波数部分を使用した）例えば電磁波として、またはベースバンド信号としてフォーマット化することができる。フォーマット化は、例えばデータストリームの符号化、および符号化されたデータストリームを使用した搬送波の変調を含むことができる。信号が運ぶ情報は、例えばアナログ情報またはディジタル情報であってもよい。信号は、知られているように様々な異なる有線リンクまたは無線リンクを介して送信することができる。信号は、プロセッサー可読媒体上に記憶することができる。
【０１４１】
多くの実装形態について説明した。しかしながら、様々な修正を加えることができることは理解されよう。例えば異なる実装形態の要素は、他の実装形態を得るために結合し、補い、修正し、または除去することができる。さらに、開示されている構造および処理は、他の構造および処理に置き換えることができ、それによって得られる実装形態は、少なくとも実質的に同じ方法で、少なくとも実質的に同じ機能を実施することができ、それにより開示されている実装形態と少なくとも実質的に同じ結果を達成することができることは当業者には理解されよう。したがって、これらおよび他の実装形態は、本出願によって企図されている。
【図１】
2015521322.tif 000003
【図２】
2015521322.tif 000004
【図３】
2015521322.tif 000005
【図４】
2015521322.tif 000006
【図５】
2015521322.tif 000007
【図６】
2015521322.tif 000008
【図７】
2015521322.tif 000009
【図８】
2015521322.tif 000010
【図９】
2015521322.tif 000011
【図１０】
2015521322.tif 000012
【図１１】
2015521322.tif 000013
【図１２】
2015521322.tif 000014
【図１３】
2015521322.tif 000015
【国際調査報告】
2015521322.tif 000016
2015521322.tif 000017
2015521322.tif 000018
2015521322.tif 000019
2015521322.tif 000020