(57)【要約】【解決手段】複数視点を含むビデオコンテンツを提供するビデオ提供装置において、ビデオ記憶部はビデオコンテンツ中の複数視点の各々についてビデオの複数バージョンを記憶する。同じ視点に対応する各ビデオは異なる解像度および異なるピクチャグループ持続時間で符号化される。視点決定部はビデオコンテンツ内の要求された視点を決定する。ビデオ選択部は要求された視点に対応するビデオを選択する。選択されたビデオは次に発生するピクチャグループ境界を有する。ビデオ切り替え部は、選択されたビデオがその視点に対応する最高解像度ビデオではない場合、決定された視点に対する最高解像度のビデオに切り替えられるまで、高解像度ビデオの次に発生するピクチャグループの境界で高解像度ビデオへの連続的な切り替えを実行する。ビデオ送信部は選択されたビデオの代わりに切り替えられたビデオを送信する。【選択図】図２Ｂ
2020522935.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点を含むビデオコンテンツを提供するビデオ提供装置であって、
前記ビデオコンテンツ中の複数の視点のそれぞれについてビデオの複数のバージョンを記憶するように動作可能なビデオ記憶部であって、同じ視点に対応する各ビデオは、異なる解像度および異なるピクチャグループ持続時間でエンコードされる、ビデオ記憶部と、
前記ビデオコンテンツ内の要求された視点を決定するように動作可能な視点決定部と、
前記要求された視点に対応する複数のバージョンの中からビデオを選択するように動作可能なビデオ選択部であって、選択されたビデオは、次に発生するピクチャグループ境界を有する、ビデオ選択部と、
選択されたビデオをビデオ受信装置に送信するように動作可能なビデオ送信部と、
選択されたビデオがその視点に対応する最高解像度ビデオではない場合、決定された視点に対する最高解像度のビデオに切り替えられるまで、高解像度ビデオの次に発生するピクチャグループの境界で高解像度ビデオへの連続的な切り替えを実行するように動作可能なビデオ切り替え部とを含み、
前記ビデオ送信部は、選択されたビデオの代わりに切り替えられたビデオを送信するように動作可能である、ビデオ提供装置。
【請求項２】
解像度が高いビデオほど長いピクチャグループ持続時間を有する、請求項１に記載のビデオ提供装置。
【請求項３】
最低優先解像度のビデオは、視点に対応する複数のビデオの中で最も短いピクチャグループ持続時間をもつ、請求項１に記載のビデオ提供装置。
【請求項４】
前記ビデオ切り替え部は、次に発生するピクチャグループ境界時間を共有する最高または最低解像度のビデオのいずれか一方への切り替えを実行するように動作可能である、請求項１に記載のビデオ提供装置。
【請求項５】
ピクチャグループ持続時間は、前記ビデオの内容に依存する、請求項１に記載のビデオ提供装置。
【請求項６】
次に発生するピクチャグループ境界は、要求されたビデオ切り替え時間によって決められた閾値期間の後に、次に発生するものである、請求項１に記載のビデオ提供装置。
【請求項７】
複数のビデオは、最低優先解像度で記憶され、各ビデオは異なるピクチャグループ持続時間を有する、請求項１に記載のビデオ提供装置。
【請求項８】
複数のビデオは、最低優先解像度で記憶され、各ビデオはピクチャグループ境界で互いにオフセットを有する、請求項１に記載のビデオ提供装置。
【請求項９】
前記ビデオの立方体マッピングを表す６つの視点がある、請求項１に記載のビデオ提供装置。
【請求項１０】
前記要求された視点は、前記ビデオ受信装置の位置および／または向き、視点を指定する情報、または前記ビデオの領域を示す座標のうちの１つまたは複数に基づいて決定される、請求項１に記載のビデオ提供装置。
【請求項１１】
前記ビデオ受信装置は、ヘッドマウントディスプレイに関連づけられる、請求項１に記載のビデオ提供装置。
【請求項１２】
複数の視点を含むビデオコンテンツを受信するためのビデオ受信装置であって、
前記ビデオコンテンツ内の要求された視点を特定する情報を送信するように動作可能な視点送信部と、
要求された視点に応じてビデオ処理装置からビデオを受信するように動作可能なビデオ受信部であって、前記ビデオは、前記ビデオコンテンツの複数の視点のそれぞれに利用可能なビデオの複数のバージョンのうちの１つであり、同じ視点に対応する各ビデオは、異なる解像度と異なるピクチャグループ持続時間でエンコードされる、ビデオ受信部とを含み、
受信されたビデオは、次に発生するピクチャグループ境界を有する要求された視点に対応する複数のバージョンのうちの１つであり、
受信したビデオがその視点に対応する最高解像度のビデオではない場合、決定された視点に対する最高解像度への切り替えが実行されるまで、高解像度ビデオの次に発生するピクチャグループ境界で高解像度ビデオへの連続切り替えが実行され、切り替えられたビデオは選択されたビデオの代わりに前記ビデオ受信装置によって受信される、ビデオ受信装置。
【請求項１３】
複数の視点を含むビデオコンテンツを提供するためのビデオ提供方法であって、
前記ビデオコンテンツ内の複数の視点のそれぞれについてビデオの複数のバージョンを格納するステップであって、同じ視点に対応する各ビデオは、異なる解像度および異なるピクチャグループ持続時間でエンコードされる、ステップと、
前記ビデオコンテンツ内の要求された視点を決定するステップと、
前記要求された視点に対応するビデオを、次に発生するピクチャグループ境界で選択するステップと、
選択されたビデオをビデオ受信装置に送信するステップと、
選択されたビデオがその視点に対応する最高解像度ビデオではない場合、決定された視点の最高解像度のビデオへの切り替えが実行されるまで、高解像度ビデオの次に発生するピクチャグループの境界で高解像度ビデオに連続的に切り替えるステップと、
選択されたビデオの代わりに切り替えられたビデオを送信するステップとを含む、ビデオ提供方法。
【請求項１４】
複数の視点を含むビデオコンテンツを受信するためのビデオ受信方法であって、
前記ビデオコンテンツ内の要求された視点を特定する情報を送信するステップと、
前記要求された視点に応じて、ビデオ処理装置からビデオを受信するステップであって、前記ビデオは、前記ビデオコンテンツの複数の視点のそれぞれに利用可能なビデオの複数のバージョンのうちの１つであり、同じ視点に対応する各ビデオは、異なる解像度と異なるピクチャグループ持続時間でエンコードされる、ステップとを含み、
受信されたビデオは、次に発生するピクチャグループ境界を有する前記要求された視点に対応する複数のバージョンのうちの１つであり、
受信されたビデオがその視点に対応する最高解像度のビデオではない場合、決定された視点に対する最高解像度ビデオへの切り替えが実行されるまで、高解像度ビデオの次に発生するピクチャグループの境界で高解像度ビデオへの連続切り替えが実行され、切り替えられたビデオが選択されたビデオの代わりに受信される、ビデオ受信方法。
【請求項１５】
コンピュータによって実行される時、前記コンピュータに請求項１３または１４の方法を実行させる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置およびシステムに関する。
【背景技術】
【０００２】
没入型ビデオコンテンツは近年ますます普及しており、パノラマや３６０度ビデオコンテンツでさえも頻繁に生成されている。このようなコンテンツは、ユーザが何らかの方法でナビゲートして、コンテンツがキャプチャされ、見回している場所にあることをシミュレートできる。このナビゲーションは、コントローラなどを介した入力を使用して実行したり、ユーザが操作するデバイスの動きにリンクさせてもよい。たとえば、ユーザは電話機の位置を変更したり回転させたりして、視点を変更できる。
【０００３】
他の構成では、ヘッドマウントディスプレイ（ＨＭＤ）を使用して、そのようなコンテンツをユーザに提示する。これは、ユーザが単純に頭を動かして表示された視点を変更することができるため、有利である。これは、没入感をさらに高めるコンテンツとの直感的なインタラクションである。
【０００４】
複数の視点を含むビデオコンテンツの提供に関連する１つの問題は、ビデオコンテンツのファイルサイズの問題である。ビデオ品質とファイルサイズの間にはトレードオフがあり、ビデオコンテンツの品質が高いほど、対応するファイルサイズが大きくなり、その結果、ディスプレイ装置にコンテンツを送信するための帯域幅の要求がより大きくなる。当然のことながら、優れたユーザ体験を確保するために、可能な限り最高のビデオ品質を提供したいという要望があるが、帯域幅の制限により、使用できるデータの量には制限がある。
【０００５】
したがって、ファイルサイズを合理的なレベルまで小さくするために、望ましい解像度より低い解像度のコンテンツが提供されるのが一般的である（たとえば、球体に４Ｋ解像度の画像を使用すると、１０００ｘ１０００ピクセルの解像度を持つ視点が表示されることがある）。これは現在利用可能な多くのディスプレイの解像度よりも低いため、これによって表示品質がさらに低下することがある。
【０００６】
以前に提案された１つの解決策は、非常に高解像度のビデオをキャプチャし、これを使用して、各ビデオの異なる領域が高品質で残りが低品質である複数のビデオを生成することである。これは、狭い帯域幅の要件を維持しながら、見る方向に高品質の画像を提供することにより、上記の問題を軽減するが、そうすることで、ビューの方向に高品質の画像を提供するために、視聴者が視点を変える時、ビデオを切り替える必要があることによる遅延などのさらなる問題が発生する。
【０００７】
ここに提案される構成は、上記の問題を軽減しようとするものである。
【発明の概要】
【０００８】
本発明の様々な態様および特徴は、添付の特許請求の範囲および付随する説明の本文内で定義され、少なくともビデオ提供装置、ビデオ受信装置、これらの装置のそれぞれを動作させる方法、およびコンピュータプログラムを含む。
【図面の簡単な説明】
【０００９】
ここで、本発明の実施形態を、添付の図面を参照して、一例として説明する。
【図１】ビデオマッピングレイアウトを概略的に示す。
【図２Ａ】単一視点に対応する複数のビデオを概略的に示す。
【図２Ｂ】ビデオ切り替えプロセスを概略的に示す。
【図２Ｃ】ビデオ切り替えプロセスを概略的に示す。
【図２Ｄ】ビデオ切り替えプロセスを概略的に示す。
【図３】ビデオ切り替えの例を概略的に示す。
【図４】ビデオ提供装置を概略的に示す。
【図５】ビデオ受信装置を概略的に示す。
【図６】ビデオ提供方法を概略的に示す。
【図７】ビデオ受信方法を概略的に示す。
【発明を実施するための形態】
【００１０】
３６０度ビデオコンテンツ、または実際にユーザが一度に見ることができる領域よりも広い領域をカバーする任意のコンテンツを提供する場合、再生を簡素化するためにビデオを球体以外の形状にマッピングすることが望ましいことがある。たとえば、ビデオコンテンツを立方体にマッピングすることで６つのビデオタイルを提供してそれらの間でビデオコンテンツ全体を表すことができる。図１は、そのような立方体１００の平面図を概略的に示しており、６つの視点が提供される。もちろん、任意の数の視点を提供するために、立方体に限定されるのではなく、任意の適切なマッピングを使用することができる。
【００１１】
立方体１００は、正面図１０１、背面図１０２、左側面図１０３、右側面図１０４、上面図１０５および下面図１０６を含む。これらの方向は任意の方法で定義できる。たとえば、いわゆる「正面図」は、単に視聴者が見ている方向である可能性があり、コンテンツの再生を通じて異なる可能性がある。視点が区別され、正しく識別できる限り、使用される命名規則は必須ではない。
【００１２】
いくつかの実施の形態では、正面図は特定のタイルとして定義され、特定のストリームに対して一定である。図１の例では、アダプティブストリーミングを可能にするために、６つの個別のストリームを提供しており、これらはそれぞれ、単一の高解像度タイルのみで構成される。
【００１３】
上記のように、このような構成は、特定のストリームを選択することにより、ビューの各方向について同時に高品質のビデオコンテンツをストリーミングすることなく、ビューの一つの方向に表示品質の高いビデオコンテンツを視聴者に提供できるという利点がある。しかし、このような構成に関連する問題は、視聴者がビューの方向を変更した後、新しい視点に対して高品質のビデオコンテンツが視聴者に表示される前に遅延が発生することである。遅延時間の間、視聴者は以前の視聴方向に対応するコンテンツを視聴したままになり、視聴者によって体験される没入感が妨げられる結果となる。
【００１４】
本開示では、ビデオコンテンツは、ピクチャグループ（ＧＯＰ）フォーマットを利用するフォーマットで提供される。これの１つの制限は、ターゲットビデオのＧＯＰ境界でのみ切り替えを実行できることであり、したがって、視聴者がそれ以外の時間に視点を変更すると、ビデオの表示の変更は次のＧＯＰ境界まで遅延する。これにより、ＧＯＰの長さによっては、多くの現在のビデオで丸１秒の遅延が発生する可能性がある。これは、特に仮想現実アプリケーションにおいて、レイテンシが大きくなりすぎて、ユーザに気付かせないで済ませることはできない。
【００１５】
単に短いＧＯＰを使用することによりこのレイテンシを短縮することができるが、送信されるビデオのこの側面のみを変更すると、帯域幅の要件が大幅に増加し、他の点で問題が発生することがわかる。
【００１６】
本開示による実施の形態は、各視点に対する複数のビデオを提供することによりこれに対処する。複数内の各ビデオは同じコンテンツを含むが、各ビデオがその同じ視点に対応する他の各ビデオとは異なる解像度と異なるＧＯＰ持続時間を有するようにエンコードされる。
【００１７】
図２Ａは、単一の視点に対応する複数のビデオ２００、２１０、および２２０を概略的に示している。
【００１８】
ビデオ２００は、最高解像度のビデオ（例えば、４Ｋビデオ）であり、ビデオ２００は、複数のビデオの中で最も長いＧＯＰ持続時間を有する複数のＧＯＰ２０１を含む。ビデオ２００は、最高の詳細レベルを持っているため、一般的に最も望ましい表示ビデオである。ただし、ＧＯＰ期間が長いということは、視点を変更するときにかなり大きな遅れが生じる可能性があることを意味する。長いＧＯＰ期間は、ビットレートの大幅な節約につながるため有利であり、より応答性の高い切り替えを可能にするためにＧＯＰ期間を短くすると、ビットレートが大幅に増加する可能性がある。したがって、この欠点にもかかわらず、長いＧＯＰ期間を維持することが望ましい場合がある。したがって、いくつかの実施の形態では、より高い解像度を有するビデオはより長いＧＯＰ持続時間も有する。ＧＯＰ持続時間は、送信される可能性のあるすべてのビデオ解像度にわたって一定のビットレートを維持することを考慮して、各ビデオに対して決定できる。
【００１９】
ビデオ２１０は、解像度は低いがそれでもかなり高いビデオである（２Ｋビデオなど）。この解像度は一般に十分に高く、このビデオ２１０は視聴者にはまだ高品質のように見える。このビデオ２１０のＧＯＰ２１１は、ＧＯＰ持続時間が短く（ＧＯＰ２０１の持続時間の３分の１。ただし、これは、ＧＯＰ２０１の持続時間よりも短い任意のＧＯＰ持続時間として限定と見なされるべきではない）、より応答性の高いビデオ切り替えを可能にすることに留意されたい
【００２０】
ビデオ２２０は、低品質の静止画（例えば、１Ｋビデオ）を有するビデオであり、ビデオ２００および２１０で使用されるものよりも短いＧＯＰ持続時間を有するＧＯＰ２２１をもつ。ビデオ２２０で使用されるＧＯＰ持続時間は、ビデオ２００のＧＯＰ持続時間の５分の１であるように示されているが、上記のように、これは限定と見なされるべきではない。
【００２１】
図２Ｂは、図２Ａのビデオを使用して実行される例示的なビデオ切り替えプロセスを概略的に示している。ライン２３０によって表される時点で、要求された視点はＡから、ビデオ２００、２１０および２２０によって表される第２の視点に変化する。このような変化は、たとえばＨＭＤを装着したまま視聴者が頭を回転させることに応答している可能性がある。第２の破線は、ビデオ切り替えプロセス２４０を概略的にプロットするために使用されるビデオ切り替えパス２４０を表す。時間２３０の後に生じる第１のＧＯＰ境界は、最低解像度のビデオ２２０に現れ、その結果、ビデオ２２０の第２のＧＯＰが送信されるようにビデオ切り替えが実行される。
【００２２】
より高い解像度のビデオで次に発生するＧＯＰ境界は、ビデオ２１０の最初のＧＯＰと２番目のＧＯＰ間の境界の境界である。この境界で、ビデオ２１０の第２のＧＯＰが送信されるように、ビデオが再び切り替えられる。ビデオ２１０の３番目のＧＯＰも送信される。これは、ビデオ２１０の３番目のＧＯＰが終了するまで、高解像度ビデオ２００の次のＧＯＰ境界が発生しないためである。ビデオ２００の送信はこのＧＯＰ境界で開始され、次に視点の変更が要求されるまでユーザに最高解像度のビデオを提供します。
【００２３】
したがって、時間２３０からビデオ２００の次のＧＯＰ境界（いくつかの実施の形態では数秒に達することもある）まで待機する代わりに、そのような構成では、ユーザにはるかに小さいレイテンシで所望の視点を提供できることが明らかである。中間ビデオコンテンツの品質は一般に低くなるが、多くのアプリケーションで高品質の画像を維持するよりも、ビデオ切り替えの待ち時間を短縮することが重要であると考えられる。
【００２４】
これらの図には、異なる解像度の３つのビデオのみが示されているが、任意の数を提供できることは当業者には理解されよう。多数のビデオが提供されている場合、異なるビデオのＧＯＰ境界が整列する可能性がある。この場合、共有ＧＯＰの境界時間が次回の切り替えの実行である場合、通常はそれらの中から最高解像度のビデオが選択されることが想定される。
【００２５】
図２Ｃは、上記の図と同じビデオ２００、２１０、および２２０を使用する第２の切り替えプロセスを概略的に示す。この図では、ビデオ切り替え時間２５０が代わりに使用され、異なるラインがビデオ切り替えパス２６０を示す。
【００２６】
この例では、ビデオ切り替え時間２５０はビデオ２２０の最初のＧＯＰ境界の後に発生するため、代わりにビデオ２１０で最初に発生するＧＯＰ境界が見つかる。したがって、視点Ａを表すビデオからビデオ２１０への切り替えは、ビデオ２２０からコンテンツを送信する必要なく直接実行され得る。図２Ｂを参照する例のように、次に発生するＧＯＰ境界でビデオ２００への切り替えが実行される。
【００２７】
したがって、図２Ｃは、視点で使用可能な各ビデオを使用する必要はなく、視点がターゲットビデオとして最も低い解像度のビデオで必ずしも切り替えが実行されないことを示す。
【００２８】
図２Ｄは、上記の図と同じビデオ２００、２１０、および２２０を使用するビデオ切り替えプロセスのさらなる例を概略的に示す。この図では、ビデオ切り替え時間２７０が代わりに使用され、異なるラインがビデオ切り替えパス２８０を示す。
【００２９】
ビデオ切り替え時間２７０は、ビデオ２２０の４番目と５番目のＧＯＰを分離するＧＯＰ境界の直前に発生するため、ビデオ２２０からコンテンツを送信するためにこの境界で切り替えが実行される。高解像度ビデオ２００および２１０で次に発生するＧＯＰ境界は同時である。この場合、最高解像度のビデオ２００に切り替えられる。これにより、ビデオ２１０がバイパスされ、実行する必要があるビデオ切り替えが少なくなり、ビデオ切り替えプロセスが加速される。次に発生するＧＯＰ境界が次に高い品質のビデオ以外のビデオにある場合、任意の数のビデオをバイパスしてもよい。
【００３０】
しかし、いくつかの実施の形態では、最高解像度のビデオに直接切り替えるのではなく、ビデオ２１０に切り替えてもよい。これは、最低解像度のビデオから最高解像度のビデオへの切り替え（または解像度の大幅な変更）がユーザに不快感を与え、解像度が変更されたという事実が強調されるため、有利なことがある。経時的に滑らかな解像度勾配（つまり、単一の切り替え動作で単一のレイヤまたは別の適切なしきい値数のレイヤのみを切り替える）を使用すると、より破壊的ではない方法でユーザは新しい視点に移行することができる。
【００３１】
もちろん、ビデオの切り替えが最高解像度のビデオ２００のＧＯＰ内であるがもっと後の時間に発生した場合、次に発生するＧＯＰ境界が最高解像度のビデオ２００にある可能性がある。そのような場合、低解像度ビデオ２１０および２２０を全く送信せずに、視点Ａに対応するビデオから最高解像度ビデオ２００に直接ビデオを切り替えてもよい。
【００３２】
いくつかの実施の形態では、次に発生するＧＯＰ境界は、必要なビデオ切り替え時間によって決定される閾値の持続時間後に次に発生するものである。効果的には、切り替えに関連する処理時間（正しいビデオの検索やバッファリングなどの実行など）が実行されるように次の適切なＧＯＰ境界を選択する。
【００３３】
これらの図では、ビデオに対するＧＯＰ持続時間が解像度に比例することが示されているが、これは必須ではない。例えば、ビデオ２２０がビデオ２３０よりも短いＧＯＰ持続時間を有する実施の形態が提供され得る。これには、ビデオ切り替えを実行するときに、最小解像度よりも高い解像度が選択される可能性が高くなるという利点がある。上記の例では、これは２Ｋビデオが推奨される最低解像度であり、１Ｋビデオが送信される可能性が低い（そして、送信される時間が短縮される）ことを示す。
【００３４】
図３は、ビデオ切り替えプロセス中の視聴者への表示例を模式的に示す。もちろん、多くの実施形態では、静止画像の代わりにビデオコンテンツが表示されるが、視聴者には異なる画像が順番に（上から下に）表示される。
【００３５】
ここでの例での静止画像の使用は、単に明確にするためであり、本構成の限定的な特徴ではない。ここでの解像度の異なる画像間の明確な視覚的な違いは、この方法をビデオで使用する場合はそれほど顕著ではないかもしれない。たとえば、上記のビデオを参照すると、１Ｋ画像に関連する高度のブロックノイズは存在しない。
【００３６】
第１の画像３００は第１の視点に対応し、これは、たとえば、上記の図を参照したＡの視点である。これは最高品質の画像である。要求された視点をあまりにも急速に変化させる（実際には、最高解像度のビデオのＧＯＰ持続時間よりも短い時間時間で視点を変化させる）ため、開示された方法が最高解像度のコンテンツを表示するように進めることができないのでない限り、視聴者は一般的に最高解像度のコンテンツを視聴しているであろう。
【００３７】
第２の画像３１０は、新しい視点に対応し、上記の例ではビデオストリーム２２０に対応する。これは認識可能な最低解像度の画像であるが、ブロックノイズのため長期的な表示には適していない。ユーザは、長期間にわたってこのような低画質に満足しないであろう。
【００３８】
第３の画像３２０も新しい視点に対応し、上記の例ではビデオストリーム２１０に対応する。この画像３２０は、画像３１０よりも高い解像度であり、したがって、視聴者によりはるかに認識可能である。ただし、それは依然として望ましい解像度よりも低いため、長期的な表示には適さない可能性がある。
【００３９】
第４の最後の画像３３０は、その特定の視点に対する最高解像度のビデオ２００に対応する。これは、３つの画像３１０、３２０、３３０の中で最も鮮明であり、したがって、潜在的には長期表示に最適である。
【００４０】
この例の性質は、画像３１０と３３０との間の解像度の違いに関して単純化され、多少誇張されているが、本構成の利点を最大限に説明できないことは明らかである。それでも、視聴者が「２」を見るように視点を変えた場合、次のＧＯＰ境界を待っている間、「１」を見ることにこだわるのではなく、低解像度の（ただし識別可能な）「２」を見る方が不安が少ないことがわかるであろう。これは、例えばビデオのビットレートを下げるためにＧＯＰ持続時間が延長され、最低解像度のビデオがコンテンツを識別するのにまだ十分な品質のものである実施の形態において特に当てはまる。
【００４１】
いくつかの実施の形態では、好ましい最低解像度のビデオは、視点に対応する複数のビデオの中で最も短いＧＯＰ持続時間を有するかもしれない。図２Ａの例のビデオを使用すると、２Ｋビデオが、視聴者に気付かれるすぎるほど低い解像度としての最低優先解像度として選択されてもよい。このようなビデオのＧＯＰ期間を短くすると、このビデオが他の解像度のビデオよりも頻繁にＧＯＰ境界が発生するため、これが初期切り替えのターゲットである可能性が大幅に増加する可能性がある。
【００４２】
追加的または代替的に、複数のビデオがこの最低優先解像度で格納されてもよい。これらのビデオはそれぞれ、ビデオ切り替えの機会として利用可能なこの解像度に対するＧＯＰ境界の数を増やすために、異なるＧＯＰ期間を持ってもよい。代替的または追加的に、これらのビデオのそれぞれは、互いにＧＯＰ境界のオフセットを持ってもよい。たとえば、２つのビデオは同じＧＯＰ持続時間を持つことができるが、ＧＯＰ境界は異なる時間に発生する。一例では、１秒のＧＯＰ持続時間を使用することができる。第１のビデオは１／２／３秒（など）のマークでＧＯＰ境界を持ち、第２のビデオは１．５／２．５／３．５秒（など）のマークでＧＯＰ境界を持つ。
【００４３】
各ビデオに対するＧＯＰ持続時間は、ビデオのコンテンツに依存してもよい。たとえば、低解像度の画像が視聴者に著しく悪い視聴体験を提供しない場合、各視点に対する低解像度ビデオは短いＧＯＰ持続時間を持つ一方、高速ビデオ切り替えの必要性が減少する観点から、各高解像度ビデオはより長いＧＯＰを持つ。この例は、アニメーションコンテンツの視聴である。一般的に漫画スタイルのプログラムでは、低品質のビデオが、よりリアルなコンテンツを表示することを目的としたビデオよりも許容される。これにより、高解像度ビデオのビットレートが低下するという利点がある。
【００４４】
ＧＯＰ期間は、動きの少ないビデオではさらに延長してもよい。そのようなビデオコンテンツは、ビデオアーティファクトなどの影響を受ける可能性が低く、その結果、ビデオ品質を低下させる可能性が高くなることなく、ＧＯＰ期間を延長することができる。同様に、スポーツイベントなどのように、ビデオの急速な変化が特に望ましいコンテンツでは、各ビデオまたはアプリケーションに対する適切なビデオのサブセットのみに対して、より短いＧＯＰ期間が提供されてもよい。
【００４５】
図４は、ビデオ提供装置４００を概略的に示す。ビデオ提供装置４００は、複数の視点を含むビデオコンテンツを提供するために好適である。ビデオ提供装置４００は、ビデオ記憶部４１０、視点決定部４２０、ビデオ選択部４３０、ビデオ送信部４４０、およびビデオ切り替え部４５０を備える。
【００４６】
ビデオ記憶部４１０は、ビデオコンテンツ中の複数の視点のそれぞれについてビデオの複数のバージョンを記憶するように動作可能であり、各ビデオは同じ視点に対応し、異なる解像度および異なるピクチャグループ持続時間でエンコードされる。ビデオの複数のバージョンは、図２Ａに示される形式をとることができ、コンテンツ内の各視点に対して提供される。
【００４７】
視点決定部４２０は、ビデオコンテンツ内の要求された視点を決定するように動作可能であり、これは、受信装置によって送信された特定の視点を特定する情報を使用したり、ユーザなどが装着したＨＭＤの位置／方向情報から決定することができる。
【００４８】
ビデオ選択部４３０は、要求された視点に対応する複数のバージョンの中からビデオを選択するように動作可能であり、選択されたビデオは、次に発生するピクチャグループ境界を有する。ここで、「次に発生する」とは、その視点に対応するビデオのいずれかに存在する次のＧＯＰ境界、または単に、ビデオ間のスムーズな切り替えを可能にするためにバッファリングなどを許容するためのしきい値遅延後の次のＧＯＰ境界を指す。
【００４９】
ビデオ送信部４４０は、選択されたビデオをビデオ受信装置に送信するように動作可能である。これは、有線または無線接続などの適切な送信方法を介して行われる。
【００５０】
ビデオ切り替え部４５０は、選択されたビデオがその視点に対応する最高解像度ビデオではない場合、決定された視点に対する最高解像度のビデオに切り替えられるまで、高解像度ビデオの次に発生するピクチャグループの境界で高解像度ビデオへの連続的な切り替えを実行するように動作可能である。したがって、切り替え部４５０は、同じ視点に対応するビデオ間で切り替えるように動作可能である。ビデオ送信部４４０は、そのような切り替えがビデオ切り替え部４５０によって実行される場合、選択されたビデオの代わりに切り替えられたビデオを送信するように動作可能である。
【００５１】
いくつかの実施の形態では、ビデオ切り替え部は、次に発生するピクチャグループの境界時間を共有する最高解像度ビデオまたは最低解像度ビデオのいずれかへの切り替えを実行するように動作可能である。上記で説明したように、これらの前者は、中間ビデオをスキップすることにより、最高解像度のビデオに到達するプロセスを加速できるという利点がある。後者は、より緩やかな切り替えが提供されるという点で有利であり、視聴者にとって不快感が少なくなる可能性がある。
【００５２】
図５は、複数の視点を含むビデオコンテンツを受信するためのビデオ受信装置５００を概略的に示す。この装置は、視点送信部５１０、ビデオ受信部５２０、およびビデオ再生部５３０を含む。
【００５３】
視点送信部５１０は、ビデオコンテンツ内の要求された視点を特定する情報を送信するように動作可能である。
【００５４】
ビデオ受信部５２０は、要求された視点に応じてビデオ処理装置からビデオを受信するように動作可能であり、ビデオは、ビデオコンテンツの複数の視点のそれぞれに利用可能なビデオの複数のバージョンのうちの１つである。同じ視点に対応する各ビデオは、異なる解像度と異なるピクチャグループ持続時間でエンコードされる。受信されたビデオは、次に発生するピクチャグループ境界を有する要求された視点に対応する複数のバージョンのうちの１つである。
【００５５】
受信したビデオがその視点に対応する最高解像度のビデオではない場合、決定された視点に対する最高解像度への切り替えが実行されるまで、高解像度ビデオの次に発生するピクチャグループ境界で高解像度ビデオへの連続切り替えが実行され、切り替えられたビデオは選択されたビデオの代わりにビデオ受信装置によって受信される。
【００５６】
ここでは、ビデオ提供装置４００とビデオ受信装置５００との間で特定の方法で機能が分配されるように示されているが、代わりに様々な機能をいずれかの装置で提供できることは明らかである。たとえば、利用可能なビデオに関する十分な情報（たとえば、視点およびＧＯＰ境界情報）が与えられた場合、ビデオ受信装置５００は、ビデオ提供装置４００のみによって選択されるのではなく、特定の解像度の特定のビデオを要求することができる。
【００５７】
図６は、複数の視点を含むビデオコンテンツを提供するためのビデオ提供方法を概略的に示す。
【００５８】
ステップ６００は、ビデオコンテンツ内の複数の視点のそれぞれについてビデオの複数のバージョンを格納することを含み、同じ視点に対応する各ビデオは、異なる解像度および異なるピクチャグループ持続時間でエンコードされる。
【００５９】
ステップ６１０は、ビデオコンテンツ内の要求された視点を決定することを含む。要求された視点は、たとえば、ビデオ受信装置の位置および／または向き、視点を指定する情報、またはビデオの領域を示す座標のうちの１つまたは複数に基づいて決定されてもよい。
【００６０】
ステップ６２０は、要求された視点に対応するビデオを、次に発生するピクチャグループ境界で選択することを含む。
【００６１】
ステップ６３０は、選択されたビデオをビデオ受信装置に送信することを含む。
【００６２】
ステップ６４０は、選択されたビデオがその視点に対応する最高解像度ビデオではない場合、決定された視点の最高解像度のビデオへの切り替えが実行されるまで、高解像度ビデオの次に発生するピクチャグループの境界で高解像度ビデオに連続的に切り替えることを含む。そのような切り替えが実行される場合、選択されたビデオの代わりに切り替えられたビデオが送信ステップで送信される。
【００６３】
図７は、複数の視点を含むビデオコンテンツを受信するためのビデオ受信方法を概略的に示す。
【００６４】
ステップ７００は、例えば、ビデオ受信装置の位置および／または向き、視点を指定する情報、またはビデオの領域を示す座標のうちの１つまたは複数に基づいて、ビデオコンテンツの要求された視点を決定することを含む。
【００６５】
ステップ７１０は、ビデオコンテンツ内の要求された視点を特定する情報を送信することを含む。
【００６６】
ステップ７２０は、要求された視点に応じて、ビデオ処理装置からビデオを受信することを含み、ビデオは、ビデオコンテンツの複数の視点のそれぞれに利用可能なビデオの複数のバージョンのうちの１つである。同じ視点に対応する各ビデオが異なる解像度と異なるピクチャグループ持続時間でエンコードされる。受信されたビデオは、次に発生するピクチャグループ境界を有する要求された視点に対応する複数のバージョンのうちの１つである。
【００６７】
受信されたビデオがその視点に対応する最高解像度のビデオではない場合、決定された視点に対する最高解像度ビデオへの切り替えが実行されるまで、高解像度ビデオの次に発生するピクチャグループの境界で高解像度ビデオへの連続切り替えが実行される。切り替えられたビデオは、選択されたビデオの代わりにビデオ受信装置によって受信される。
【００６８】
本発明の実施の形態は、ハードウェア、プログラム可能なハードウェア、ソフトウェア制御のデータ処理装置、またはこれらの組み合わせで実施できることが理解されよう。そのような実施の形態で使用されるコンピュータソフトウェアまたはファームウェア、およびそのようなソフトウェアまたはファームウェアを提供するための媒体（記憶媒体、例えば、磁気または光学ディスクなどの機械可読非一時的記憶媒体、またはフラッシュメモリ）を提供することもまた、本発明の実施の形態を表すと考えられることが理解されよう。
【図１】
2020522935.tif 000003
【図２Ａ】
2020522935.tif 000004
【図２Ｂ】
2020522935.tif 000005
【図２Ｃ】
2020522935.tif 000006
【図２Ｄ】
2020522935.tif 000007
【図３】
2020522935.tif 000008
【図４】
2020522935.tif 000009
【図５】
2020522935.tif 000010
【図６】
2020522935.tif 000011
【図７】
2020522935.tif 000012
【国際調査報告】
2020522935.tif 000013
2020522935.tif 000014