(57)【特許請求の範囲】
【請求項１】
ビデオコンテンツセグメントを送信する方法であって、
静止シーン及び動きを含むシーンを有しているビデオコンテンツセグメントに低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定を夫々供与することと、
各ビデオコンテンツセグメントをその符号化モード指定に従って符号化し、ＨＦＲ符号化モード指定を伴うビデオコンテンツセグメントは、ＨＦＲ画像のシーケンスを有し、該ＨＦＲ画像のシーケンスは、ＨＦＲ画像の複数のサブシーケンスにグループ分けされ、各サブシーケンスは、前記ＨＦＲ画像のシーケンスの中の連続的な順序付けられたＨＦＲ画像の組を有し、前記ＨＦＲ符号化モード指定を伴うビデオコンテンツセグメントは、各サブシーケンスにおいて同じ順序を有しているＨＦＲ画像が同じＬＦＲ画像ブロックにパックされ、且つ、同じサブシーケンスのＨＦＲ画像がＬＦＲ画像の同じ象限にマッピングされるように、複数のＨＦＲ画像をＬＦＲ画像ブロックにカプセル化することによって符号化されることと、
復号器による取り出し及び復号化を可能にするよう前記符号化されたビデオコンテンツセグメントをその符号化モード指定とともに送信することと
を有する方法。
【請求項２】
ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントは、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう符号化される、
請求項１に記載の方法。
【請求項３】
前記符号化モード指定は、前記ビデオコンテンツセグメントから分離した符号化モード指定を生成することを含む、
請求項１に記載の方法。
【請求項４】
前記符号化モード指定は、前記ビデオコンテンツセグメント内に符号化モード指定を含めることを有する、
請求項１に記載の方法。
【請求項５】
受信されたビデオコンテンツセグメントを処理する方法であって、
夫々の受信されたビデオコンテンツセグメントについて、当該受信されたビデオコンテンツセグメントが静止シーン又は動きを含むシーンのいずれを含むかどうかを夫々示す当該受信されたビデオコンテンツセグメントについての低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定のうちの１つを決定することと、
各ビデオコンテンツセグメントをその符号化モード指定に従って復号し、ＨＦＲ符号化モード指定を伴うビデオコンテンツセグメントは、ＨＦＲ画像のシーケンスを有し、該ＨＦＲ画像のシーケンスは、ＨＦＲ画像の複数のサブシーケンスにグループ分けされ、各サブシーケンスは、前記ＨＦＲ画像のシーケンスの中の連続的な順序付けられたＨＦＲ画像の組を有し、前記ＨＦＲ符号化モード指定を伴うビデオコンテンツセグメントは、各サブシーケンスにおいて同じ順序を有しているＨＦＲ画像が同じＬＦＲ画像ブロックにパックされ、且つ、同じサブシーケンスのＨＦＲ画像がＬＦＲ画像の同じ象限にマッピングされるように、複数のＨＦＲ画像をＬＦＲ画像ブロックから得ることによって復号されることと、
夫々の復号されたビデオコンテンツセグメントを表示デバイスへ供給することと
を有する方法。
【請求項６】
ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントは、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう復号される、
請求項５に記載の方法。
【請求項７】
前記符号化モード指定は、前記ビデオコンテンツセグメントから分離した符号化モード指定を受信することを含む、
請求項５に記載の方法。
【請求項８】
（１）静止シーン及び動きを含むシーンを有している受信されたビデオコンテンツセグメントについての低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定を夫々受信し、
（２）各ビデオコンテンツセグメントをその符号化モード指定に従って符号化する
よう構成され、
ＨＦＲ符号化モード指定を伴うビデオコンテンツセグメントは、ＨＦＲ画像のシーケンスを有し、該ＨＦＲ画像のシーケンスは、ＨＦＲ画像の複数のサブシーケンスにグループ分けされ、各サブシーケンスは、前記ＨＦＲ画像のシーケンスの中の連続的な順序付けられたＨＦＲ画像の組を有し、前記ＨＦＲ符号化モード指定を伴うビデオコンテンツセグメントは、各サブシーケンスにおいて同じ順序を有しているＨＦＲ画像が同じＬＦＲ画像ブロックにパックされ、且つ、同じサブシーケンスのＨＦＲ画像がＬＦＲ画像の同じ象限にマッピングされるように、複数のＨＦＲ画像をＬＦＲ画像ブロックにカプセル化することによって符号化される、符号器を有する装置。
【請求項９】
前記符号器は、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう、ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントを符号化する
請求項８に記載の装置。
【請求項１０】
前記符号器は、前記ビデオコンテンツセグメントとは別個に又は前記受信されたビデオコンテンツセグメントの部分として前記符号化モード指定を受信する、
請求項８に記載の装置。
【請求項１１】
（ａ）夫々の受信された符号化されたビデオコンテンツセグメントについて、当該受信された符号化されたビデオコンテンツセグメントが静止シーン又は動きを含むシーンのいずれを含むかどうかに応じて低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定のうちの１つを夫々定め、
（ｂ）夫々の受信された符号化されたビデオコンテンツセグメントをその符号化モード指定に従って復号する
よう構成され、
ＨＦＲ符号化モード指定を伴うビデオコンテンツセグメントは、ＨＦＲ画像のシーケンスを有し、該ＨＦＲ画像のシーケンスは、ＨＦＲ画像の複数のサブシーケンスにグループ分けされ、各サブシーケンスは、前記ＨＦＲ画像のシーケンスの中の連続的な順序付けられたＨＦＲ画像の組を有し、前記ＨＦＲ符号化モード指定を伴うビデオコンテンツセグメントは、各サブシーケンスにおいて同じ順序を有しているＨＦＲ画像が同じＬＦＲ画像ブロックにパックされ、且つ、同じサブシーケンスのＨＦＲ画像がＬＦＲ画像の同じ象限にマッピングされるように、複数のＨＦＲ画像をＬＦＲ画像ブロックから得ることによって復号される、復号器を有する装置。
【請求項１２】
前記復号器は、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう、ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントを復号する、
請求項１１に記載の装置。
【請求項１３】
前記復号器は、前記ビデオコンテンツセグメントから分離した符号化モード指定を受信する、
請求項１１に記載の装置。
【請求項１４】
前記復号器は、受信されたビデオコンテンツセグメント内で、組み込まれた符号化モード指定を検出することができる、
請求項１１に記載の装置。
【請求項１５】
非一時的なコンピュータ可読媒体に記憶されており、請求項１乃至４のうちいずれか一項に記載の方法のステップを実施するようプロセッサによって実行可能なプログラムコード命令を有するコンピュータプログラム。
【請求項１６】
非一時的なコンピュータ可読媒体に記憶されており、請求項５乃至７のうちいずれか一項に記載の方法のステップを実施するようプロセッサによって実行可能なプログラムコード命令を有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像詳細を保ちながら高解像コンテンツを送信する技術に関係がある。
【背景技術】
【０００２】
これまで、テレビ放送局は、標準画質コンテンツを高精細（ＨＤ；high  definition）へ変換していたが、今や、多くは、ＨＤコンテンツを、４Ｋに達する解像度及び２１６０本もの画線を有している超高精細（ＵＨＤ；Ultra  High  Definition）コンテンツへ変換している。解像度がより高いＵＨＤコンテンツは、静止シーンに関してより高い水準の詳細を提供するが、シーン自体において又はカメラの動きにより動きが存在すると直ぐに、モーションブラー（motion  blur）が現れ、動いている物体の詳細の認知を大幅に低下させる。そのような状況下で、コンテンツは、細部描画の観点からもはやその４Ｋ特性を持ち続けない。そのようなモーションブラーを補償するようシャッターが開いている時間の量を減らすことは、誘発されるジャダー（judder）が見るには不快になるので、実行可能な解決法を提供しない。現在、唯一の実行可能な解決法は、適当なシャッター角度（１８０°以上）を保ちながら、シーンのサンプリング周波数を増大させることを必要とする。しかし、高解像度及び高フレームレート（例えば、４Ｋ／１２０ｆｐｓ）で事象を撮影し送信することは、多くの現行の送信デバイスがそのようなフォーマットをサポートしていないので、不可能でないにしても難しくなる。そのようなフォーマットをサポートすることができるデバイスによってさえ、そのようなフォーマットでコンテンツを送信することは、バンド幅に関して非常にコストが高くなる。このような理由により、放送局及びケーブルテレビ事業者は、同じバンド幅を消費するただ１つの４Ｋ／１２０ｆｐｓチャネルを供給することよりむしろ、複数（例えば、４つ）の４Ｋ／３０ｆｐｓチャネルとして固定バンド幅を割り当てることを好む。
【０００３】
よって、動いている物体についてさえ細部描画を保ちながら高品質コンテンツ（４Ｋ）を送信する技術のための必要性が存在する。
【発明の概要】
【０００４】
本原理の目的は、特に動画について、画像詳細を保ちながら高品質ビデオを送信する技術を提供することである。
【０００５】
本原理の他の目的は、低フレームレートビデオコンテンツ及び高フレームレートビデオコンテンツを交互に送信する技術を提供することである。
【０００６】
簡潔に、本原理の態様に従って、ビデオコンテンツを送信する方法及び装置及びシステムは、コンテンツが高解像度を有する静止シーン又は動きを含むシーンのいずれを含むかを指定する。ビデオコンテンツは、指定に従って符号化を受け、それにより、静止シーンを含むビデオコンテンツは低フレームレート（ＬＦＲ；Low  Frame  Rate）モードで符号化され、一方、動きを含むビデオコンテンツは高フレームレート（ＨＦＲ；High  Frame  Rate）で符号化される。その後に、符号化されたビデオコンテンツは、復号器による取り出し及び復号化を可能にするよう、コンテンツ指定とともに送信される。
【図面の簡単な説明】
【０００７】
【図１】本原理に従ってビデオコンテンツを符号化、送信及び復号化する本原理の態様に従って、システムのブロック概略図を表す。
【図２】図１のシステムによって高フレームレート（ＨＦＲ）モードで符号化される動きを含むビデオコンテンツの部分のグラフィカル描写を表す。
【図３】図１のシステムによって低フレームレート（ＬＦＲ）モードで符号化される静止シーンを含むビデオコンテンツの部分のシーケンスのグラフィカル描写を表す。
【図４】ＨＦＲモード及びＬＦＲモードで夫々符号化されたビデオコンテンツの交互シーケンスのストリームを表し、各ビデオコンテンツシーケンスは符号化モードを示す指定を有している。
【図５】符号化モードを示す各シーケンスに関連付けられた指定に従う復号化の後の、図４のＨＦＲモード及びＬＦＲモードで符号化されたビデオコンテンツの交互シーケンスのストリームを表す。
【発明を実施するための形態】
【０００８】
本原理の態様に従って、複合型のコンテンツ伝送技術は、低フレームレート（ＬＦＲ）モードで高解像度を有するビデオの静止シーンを送信する（すなわち、４Ｋ／３０ｆｐｓ）。反対に、本原理の技術に従って、ビデオコンテンツ内の、動きを含むシーンは、そのようなシーンがＬＦＲ画像ブロックにカプセル化された状態で（すなわち、４Ｋ／３０ｆｐｓ）、高フレームレート（ＨＦＲ）モードでの伝送を受ける（すなわち、ＨＤ／１２０ｆｐｓ）。図１は、本原理の複合伝送技術を実施するシステム１０を表す。システム１０は、テレビカメラ１４及び１６の対を含む複数のビデオソースから夫々ビデオを受信する符号器１２を含む。図１で表されているシステム１０の実例は２つのカメラ１４及び１６を表すが、システム１０は、より台数のカメラに容易に適応し得る。
【０００９】
図１の実例では、カメラ１４及び１６の夫々は、ビデオ信号を生成するだけでなく、通常は、カメラビデオ出力信号が静止シーン又は動きを含むシーンのいずれを有するかを示す“フラグ”の形で、指定も生成する。例えば、スポーツイベントを放送することといった、特定の用途について、例えばカメラ１４のようなカメラは、通常は、比較的静止したシーン、例えば、観衆のシーンしか供給しない。他のカメラ、例えば、カメラ１６は、通常は、動きを含むビデオコンテンツを供給する。例えば、カメラ１６は、試合、例えば、サッカー、野球、フットボール又は同様のもの、に関わるプレイヤーのビデオ出力信号を供給する。
【００１０】
図１で表されるように、カメラ１４及び１６の夫々によって供給される指定は、通常は、ビデオ出力信号から分離した信号（例えば、フラグ）の形をとる。しかし、カメラのビデオ信号は、静止画又は動きを含む画像のいずれか一方であるとしてそのビデオを指定する情報を含み得る。ビデオ信号自体の中にそのような情報を含めることは、このようにして別個の指定信号の必要性を取り除くことになる。
【００１１】
符号器１２は、カメラ１４及び１６の夫々からのビデオ出力信号を、そのカメラのビデオ出力を静止シーン又は動きを含むシーンを有するものとして示す付随する指定信号とともに受信する。符号器１２は、カメラ１４及び１６の夫々のビデオ出力信号を、ビデオ信号が静止画又は動きを含むシーンを有することに関してそのカメラのビデオ出力信号に付随する指定に従って、符号化する。よって、例えば、カメラ１４のビデオ出力信号を受信すると、符号器１２は、ビデオが静止シーンを有していることをそのビデオ信号に付随する指定が示す場合に、低フレームレート（ＬＦＲ）モード（例えば、４Ｋ／３０ｆｐｓ）でそのビデオ信号を符号化する。反対に、カメラ１６からビデオ出力信号を受信すると、符号器１２は、シーンが動きを有していることをそのカメラのビデオ信号に付随する指定が示す場合に、高フレームレート（ＨＦＲ）モード（例えば、４Ｋ／１２０ｆｐｓ）でそのビデオ信号を符号化する。符号器１２は、参照により本願に援用される、２０１４年５月３０日付けで出願された米国特許仮出願第６２／００５３９７号で記載されているように、ビデオ信号のシーンをＬＦＲ画像ブロックにカプセル化することによって、カメラ１６からのビデオ信号を符号化する。
【００１２】
カメラ１４及び１６からのビデオ出力信号に加えて、又はそれらの代わりに、符号器１２はまた、記憶デバイス又はテレビスタジオ放送設備の一部を有し得るオフラインのコンテンツソース１８によって例示されるように、１つ以上のオフラインのコンテンツソースからビデオ信号を受信し符号化することができる。ビデオ出力信号を符号器１２へ供給することに加えて、夫々のオフラインのコンテンツソース１８はまた、オフラインのコンテンツソースからの出力ビデオ信号が静止シーン又は動きを含むシーンのいずれを有するかを示す指定を供給する。カメラ１４及び１６の夫々と同じく、オフラインのコンテンツソース１８の出力ビデオ信号自体が、出力信号が静止シーン又は動きを含むシーンのいずれを有するかを指定する情報を含んでよく、それによって、別個の指定の必要性を取り除く。
【００１３】
上述されたように、カメラ１４及び１６は、通常は、静止シーン及び動きを含むシーンを夫々指定されるので、それらの各自の指定信号は固定され得る。対照的に、オフラインのコンテンツソース１８は、どちらの種類のビデオ出力信号も供給することができる。実際に、オフラインのコンテンツソース１８によって出力されるビデオの性質に応じて、オペレータは、オフラインのソースのビデオ出力信号のオペレータの評価に基づき設定された指定を手動により調整し得る。代替的に、オフラインのコンテンツソース１８は、例えば、動き解析アルゴリズムによるビデオコンテンツのその解析に基づき、その指定を自動的に生成し得る。
【００１４】
符号器１２は、符号化された出力信号と、上述されたように符号器のビデオ出力信号の性質を示す付随する指定とを生成するよう、カメラ１４及び１６並びに／又はオフラインのコンテンツソース１８から受信されたビデオ信号を符号化する。ネットワーク２０は、符号器１２のビデオ出力信号を、その信号の指定とともに、表示デバイス２４での提示のための復号されたビデオ出力信号を生じるよう復号するために復号器２２へ送る。実際に、復号器２２は、表示デバイス２４での表示のためにコンテンツを選択するセットトップボックス又は同様のものの部分を有することができる。いくつかの場合に、復号器２２は、表示デバイス２４の部分を有してよい。
【００１５】
カメラ１４及び１６並びにオフラインのコンテンツソース１８に関連して先に説明されたように、符号器１２は、そのビデオ出力信号において、符号器が低フレームレート（ＬＦＲ）モード又は高フレームレート（ＨＦＲ）モードのいずれでその信号を符号化したかを示す情報を含めることができる。信号がＬＦＲモード又はＨＦＲモードのいずれで符号化されているかを示す情報を符号器のビデオ出力信号内に含めることは、このようにして、別個の指定を生成する必要性を取り除く。
【００１６】
復号器２２は、入来信号がＬＦＲ又はＨＦＲのいずれで符号化されているかを示す付随する指定に従って、符号器から受信されたビデオ信号を復号する。先に説明されたように、図１の復号器２２によって受信される入来ビデオ信号は、それ自体が符号化のタイプ（ＬＦＲ又はＨＦＲ）に関する情報を含んでよく、このようにして、符号化モードを示す別個の指定の必要性を取り除く。符号化指定、又はその指定がない場合には、入来ビデオ信号自体からの符号化情報を用いて、復号器２２は、入来信号がＬＦＲ又はＨＦＲのいずれで符号化されているかに基づき正確に入来ビデオ信号を復号することができる。ＬＦＲにより符号化されたビデオ信号の場合に、夫々の高解像フレームは、それ自体のＬＤＲ画像ブロックに含まれ、夫々が低フレームレートで表示デバイス２４へ供給される。ＨＦＲにより符号化されたビデオ信号の場合には、参照により本願に援用される、２０１４年５月３０日付けで出願された米国特許仮出願第６２／００５３９７号で記載されているように、複数のフレームは各ＬＦＲ画像ブロックにカプセル化される。復号器２２は、高フレームレートでの表示デバイス２４への供給のために高フレームレートで複数のフレームの夫々１つを連続して抽出する。実際に、ディスプレイ２４は、表示デバイスが別々のＬＦＲモードビデオ信号及びＨＦＲモードビデオ信号を受信することを可能にするよう、復号器２２とのデジタルインターフェイス、例えば、高精細マルチメディアインターフェイス（ＨＤＭＩ（登録商標）；High  Definition  Multimedia  Interface）を有している。ディスプレイ２４は、夫々のモードでビデオ信号を適切に表示するよう、ＬＦＲモードとＨＦＲモードとの間をリアルタイムで切り替える能力を有している。いくつかの実施形態において、全てのビデオ信号は、高解像ＬＦＲフレーム、及び複数のＨＦＲ符号化されたフレームを含むＬＦＲ画像ブロックのいずれでも、例えばＨＤＭＩのようなインターフェイスにより、復号器２２及びディスプレイ２４の両方を有するモニタへ転送される。
【００１７】
符号器１２からの全ての出力は、元々が高解像度であるＬＦＲ画像、又は高解像度のＬＦＲブロックに符号化されたＨＦＲ画像としてそもそも供給されようとも、高解像度のＬＦＲストリームとして現れる点に留意されたい。利点は、特に、ＨＦＲ／ＬＦＲモード指定がストリームに埋め込まれる場合に、中間コンポーネント、例えば、通信リンク及びビデオ又はストリーム切り替え要素（図示せず。）を有し得るネットワーク２２が、符号器１２からのストリームの性質に気付いている必要なしに動作することができる点である。復号器２２によって受信されるまでは、一般的な高解像度ＬＦＲストリーム以外の何かとしてストリームを処理するのに必要とされる如何なる要素も必要とされない。
【００１８】
図２は、本原理の態様に従って、例となるフレームレート圧縮プロセス２００を表す。図２で表されるように、図１の高フレームレートカメラ１６と同様の、高フレームレート（ＨＦＲ）カメラ２０５は、被写体２０７の範囲を定める視野２０６を有する。動作中、カメラ２０５は、被写体のＨＦＲ画像のストリームを有するビデオ出力信号２０１を出力する。カメラ２０５によって生成されるＨＦＲ画像ストリームの部分２１０は図２において現れ、個別のシーケンシャルフレーム２１１〜２２６から成る。
【００１９】
図２で表されている例では、被写体２０７は、馬に乗っている人を有する。被写体２０７の画像２１１〜２２６は、明らかに識別できる差を個々の画像が示すように、誇張された時間スケールを有して図２で現れる。描かれている画像は、エドワード・マイブリッジによる１８８７年の作品“Jumping  a  hurdle,  black  horse”に由来し、それらが多くの人に知られており、且つ、本原理の理解にとって有用である認識し得るシーケンスを提示することから選択された。
【００２０】
ＨＦＲ画像ストリームの部分２１０の画像２１１〜２２６は、ステップ２０２の間に捕捉される。その時点で、画像は、図２ではカメラから離れて表されているが通常はカメラ２０５の中にある捕捉バッファ２３０において蓄積する。処理の容易さのために、画像２１１〜２２６は、サブシーケンス２３１〜２３４にグループ分けされる。画像のサブシーケンスは、図２で表されている符号化プロセス２０３の間に、図１の符号器１２による符号化を受ける。本原理の態様に従って、符号化プロセス２０３は、参照により本願に援用される、２０１４年５月３０日付けで出願された米国特許仮出願第６２／００５３９７号で記載されているように、高フレームレート（ＨＦＲ）画像をより低いフレームレート（ＬＦＲ）の画像にパックする。例えば、サブシーケンス２３１〜２３４の夫々からの第１画像は、単一のＬＦＲ画像ブロック２４１にまとめられる。同様に、各サブシーケンスからの第２画像はＬＦＲ画像ブロック２４２にまとめられ、各サブシーケンスからの第３画像及び第４画像はＬＦＲ画像ブロック２４３及び２４４に夫々パックされる。ＬＦＲ画像ブロックを生成することに加えて、図２のカメラ２０５はまた、先に説明されたように、指定を生成する。指定は、カメラ出力信号がＨＦＲモードで符号化されていることを示す。
【００２１】
画像圧縮を使用する実施形態では、ＬＦＲ画像ブロック２４１〜２４４は、例えば、よく知られているＪＰＥＧ又はＪＰＥＧ−２０００圧縮方式を用いて、個別的に圧縮（例えば、“符号化”）され得る。動きに基づいた圧縮方式が選択される場合には（例えば、ＭＰＥＧ−２又はＨ．２６４／ＭＰＥＧ−４）、ＬＦＲ画像ブロック２４１〜２４４は、符号化された“グループ・オブ・ピクチャ”（ＧＯＰ；group  of  pictures）２４０を形成することになる。そのようなフレーム符号化は、モーション符号化ビデオ、すなわち、Ｉフレーム、Ｐフレーム、及びＢフレームにおいて広く使用されている。Ｉフレームは“イントラ符号化”（intra-encoded）され、すなわち、フレームは、他のフレームへの如何なる参照もなしで符号化され、従って、スタンドアローンであることができる。Ｐフレーム、すなわち“予測フレーム”（predicted  frames）は、前の１つ以上の参照フレームに対して符号化され、効率的な表現（一般的に、Ｉフレームと比較してより小さい表現）のためにそれらの間の冗長性を利用する。Ｂフレーム、すなわち“双方向予測”（bi-directional  predicted）フレームは、前後両方の参照フレームの間の類似性を利用することによって符号化される。Ｐ及びＢフレームのための符号化プロセスのかなりの部分は、圧縮されるフレームにも存在する参照フレーム内の領域を識別し、そのような共通の領域の動きを推定し、それらを動きベクトルとして符号化することである。いくつかの実施形態において、符号器は、参照としてＩフレームだけでなく、他のＰ又はＢフレームも使用することを可能にされる。適切な場合に、現在のフレームの領域についての動きベクトル表現は、領域のピクセルについてのより明示的な表現よりも通常はコンパクトである。
【００２２】
図２に示されるＬＦＲ画像ブロック２１４〜２４４へのＨＦＲ画像２１１〜２２６のタイリングは、サブシーケンス２３１〜２３４の時間順序及び連続性を維持する点に留意されたい。このことは、例えばサブシーケンス２３２における、連続したＨＦＲフレーム間の差が、ＬＦＲフレーム２４１〜２４４への合成の後に保持されるという利点を提供する。然るに、ＨＦＲはＬＦＲよりも高いので、連続したＨＦＲフレーム間の期待される動きベクトルは、一般的に、より低いフレームレートで従来捕捉されていたシーケンス（図示せず。）のそれらよりも小さい。同様に、連続的に捕捉されたフレーム間の対応する類似領域は、一般的に、捕捉フレームレートがより遅い場合よりも類似性を示す。これは、ＨＦＲでは被写体の連続した画像間で過ぎる時間がより少ないからである。然るに、符号化されたＧＯＰ２４０の合成画像における動きを利用する圧縮スキームは特に有効であると期待される。これは、それらの合成画像の各象限内で、連続したＬＦＲ画像ブロック２４１〜２４４の間の明らかな時間増分が、たとえＧＯＰ２４０の画像ブロック２４１〜２４４がＬＦＲで供給されようとも、ＨＦＲに対応するからである。なお、現在の符号化されたＧＯＰ２４０の最後のＬＦＲフレーム２４４と次のＧＯＰ（図示せず。）の最初のＬＦＲフレーム（図示せず。）との間の各象限には時間的な不連続が存在する。図２の例におけるこの時間的な不連続の大きさは、ＬＦＲインターバルの３倍又はＨＦＲインターバルの２２倍である。この時間的な不連続のために、１つのＧＯＰの終わりと次のＧＯＰの最初との間の類似性を利用しようと試みる圧縮スキーム（すなわち、Ｂフレームを使用する。）は、特に上手く働かず、然るに、本実施形態における従来のモーション符号化技術は、望ましくは、Ｉフレーム及びＰフレームに制限される。
【００２３】
図３は、本原理の他の態様に従って、例となる符号化プロセス３００を表す。図３で表されるように、図１のＬＦＲカメラ１４と同様の、低フレームレート（ＬＦＲ）カメラ３０５は、一般的に静止画（実例として、群衆３０７として表される。）を捕捉する。動作中に、カメラ３０５は、群衆３０７のＬＦＲ画像のストリームを有するビデオ出力信号３０１を出力する。カメラ３０５によって生成されるＬＦＲ画像ストリームの部分３１０は、ＬＦＲフレーム３１０〜３１６のシーケンスから成る。本原理の教示に従って、符号化プロセス３００は、低フレームレートにおいて全部のフレームの形で高解像度のＬＦＲ画像を生成し、一方、複数のより低い解像度のＨＦＲ画像は、２０１４年５月３０日付けで出願された米国特許仮出願第６２／００５３９７号で記載されているように、夫々のＬＦＲ画像ブロック２４１〜２４４にカプセル化される。ＬＦＲ画像を生成することに加えて、図３のカメラ３０５は、先に説明されたように、指定を生成する。指定は、カメラ出力信号がＬＦＲモードで符号化されていることを示す。
【００２４】
ＬＦＲ及びＨＦＲの両方のモードで符号化されたビデオ信号を受信する、例えば図１の符号器１２のような、符号器は、実例としてＬＦＲシーケンス４０２１及び４０２２によって表されているＬＦＲ画像の別個のシーケンスと、実例としてＬＦＲ画像ブロック４０４１及び４０４２によって表されている、ＨＦＲ画像シーケンスをカプセル化するＬＦＲ画像ブロックとから成る、図４で表されているマルチフレーム出力ストリームを出力する。集合的に、ＬＦＲ画像及びＬＦＲ画像ブロックはビデオコンテンツセグメントを有する。ＬＦＲフレームシーケンス及びＬＦＲ画像ブロック（すなわち、ビデオコンテンツセグメント）は夫々が、符号化モード（すなわち、ＬＦＲ及びＨＦＲの夫々）を示す、フラグ４０６及び４０８によって夫々表されている、関連する指定を有している。図４は、ＬＦＲ画像ブロック及びＬＦＲ画像シーケンスを交互に示すが、符号器は、任意の数のＬＦＲ画像ブロックが後に続くようＬＦＲ画像シーケンスの任意長さの連続を出力してよく、あるいは、その逆も同様である。図４は、フラグ４０６及び４０８によって夫々表される分離した指定を有するものとしてＬＦＲ画像シーケンス及びＬＦＲ画像ブロックを表すが、ＬＦＲ画像シーケンス及びＬＦＲ画像ブロックは、各自の符号化モードを示す情報を含んでよく、このようにして、画像シーケンス及び画像ブロックから離れた別個の指定を取り除く。
【００２５】
図５は、図４に関連して先に説明されたＬＦＲ画像シーケンス４０２１及び４０２２並びにＬＦＲ画像ブロック４０４１及び４０４２の復号化を表す。例えば図１の復号器２２のような、復号器は、夫々の入来するＬＦＲ画像シーケンス及びＬＦＲ画像ブロックを、その付随する指定に従って（あるいは、そのような指定がない場合には、符号化情報が組み込まれているかどうかについて夫々の画像シーケンス又は画像ブロックを調べることによって）復号する。復号化に続いて、ＬＦＲ画像シーケンス４０２１及び４０２２の夫々は、図５においてスクリーン５０２１（示される４つのうちただ１つの高解像フレーム）及び５０２２（示される４つのうちただ１つの高解像フレーム）で表示される。ＬＦＲ画像ブロック４０４１及び４０４２の夫々は、表示スクリーン５０４１（示される１６個のうちただ１つの低解像フレーム）及び５０４２（示される１６個のうちただ１つの低解像フレーム）で夫々表されるように高フレームレートでＨＦＲ画像を表示するように、各ＬＦＲ画像ブロック内にカプセル化された個々の低解像ＨＦＲ画像を続けざまに取り外すよう復号化を受ける。
【００２６】
上記は、特にどうかについて画像詳細を保ちながら高品質ビデオを維持するよう高フレームレートビデオコンテンツ及び低フレームレートビデオコンテンツを交互に送信する技術について記載する。  
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
ビデオコンテンツセグメントを送信する方法であって、
静止シーン及び動きを含むシーンを有しているビデオコンテンツセグメントに低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定を夫々供与することと、
各ビデオコンテンツセグメントをその符号化モード指定に従って符号化することと、
復号器による取り出し及び復号化を可能にするよう前記符号化されたビデオコンテンツセグメントをその符号化モード指定とともに送信することと
を有する方法。
（付記２）
ＨＦＲ符号化モード指定を有するビデオコンテンツセグメントは、複数のＨＦＲ画像をＬＦＲ画像ブロックにカプセル化することによって符号化される、
付記１に記載の方法。
（付記３）
ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントは、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう符号化される、
付記１に記載の方法。
（付記４）
前記符号化モード指定は、前記ビデオコンテンツセグメントから分離した符号化モード指定を生成することを含む、
付記１に記載の方法。
（付記５）
前記符号化モード指定は、前記ビデオコンテンツセグメント内に符号化モード指定を含めることを有する、
付記１に記載の方法。
（付記６）
受信されたビデオコンテンツセグメントを処理する方法であって、
夫々の受信されたビデオコンテンツセグメントについて、当該受信されたビデオコンテンツセグメントが静止シーン又は動きを含むシーンのいずれを含むかどうかを夫々示す当該受信されたビデオコンテンツセグメントについての低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定のうちの１つを決定することと、
各ビデオコンテンツセグメントをその符号化モード指定に従って復号することと、
夫々の復号されたビデオコンテンツセグメントを表示デバイスへ供給することと
を有する方法。
（付記７）
ＨＦＲ符号化モード指定を有するビデオコンテンツセグメントは、ＬＦＲ画像ブロックにおけるカプセル化から複数のＨＦＲ画像を取り外すことによって復号される、
付記６に記載の方法。
（付記８）
ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントは、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう復号される、
付記６に記載の方法。
（付記９）
前記符号化モード指定は、前記ビデオコンテンツセグメントから分離した符号化モード指定を受信することを含む、
付記６に記載の方法。
（付記１０）
前記符号化モード指定は、組み込まれている符号化モード指定があるかについて前記ビデオコンテンツセグメントを検査することを含む、
付記６に記載の方法。
（付記１１）
（１）静止シーン及び動きを含むシーンを有している受信されたビデオコンテンツセグメントについての低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定を夫々受信し、
（２）各ビデオコンテンツセグメントをその符号化モード指定に従って符号化する
よう構成される符号器を有する装置。
（付記１２）
前記符号器は、複数のＨＦＲ画像をＬＦＲ画像ブロックにカプセル化することによって、ＨＦＲ符号化モード指定を有するビデオコンテンツセグメントを符号化する、
付記１１に記載の装置。
（付記１３）
前記符号器は、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう、ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントを符号化する
付記１１に記載の装置。
（付記１４）
前記符号器は、前記ビデオコンテンツセグメントから分離した前記符号化モード指定を受信する、
付記１１に記載の装置。
（付記１５）
前記符号器は、前記受信されたビデオコンテンツセグメントの部分として前記符号化モード指定を受信する、
付記１１に記載の装置。
（付記１６）
（ａ）夫々の受信された符号化されたビデオコンテンツセグメントについて、当該受信された符号化されたビデオコンテンツセグメントが静止シーン又は動きを含むシーンのいずれを含むかどうかに応じて低フレームレート（ＬＦＲ）符号化モード指定及び高フレームレート（ＨＦＲ）符号化モード指定のうちの１つを夫々定め、
（ｂ）夫々の受信された符号化されたビデオコンテンツセグメントをその符号化モード指定に従って復号する
よう構成される復号器を有する装置。
（付記１７）
前記復号器は、ＬＦＲ画像ブロックにおけるカプセル化から複数のＨＦＲ画像を取り外すことによって、ＨＦＲ符号化モード指定を有するビデオコンテンツセグメントを復号する、
付記１６に記載の装置。
（付記１８）
前記復号器は、少なくとも１つのＬＦＲ画像のシーケンスを生じるよう、ＬＦＲ符号化モード指定を有するビデオコンテンツセグメントを復号する、
付記１６に記載の装置。
（付記１９）
前記復号器は、前記ビデオコンテンツセグメントから分離した符号化モード指定を受信する、
付記１６に記載の装置。
（付記２０）
前記復号器は、受信されたビデオコンテンツセグメント内で、組み込まれた符号化モード指定を検出することができる、
付記１６に記載の装置。
（付記２１）
付記１乃至１０のうちいずれか一つに記載の方法のステップを実施するようプロセッサによって実行可能なプログラムコード命令を有するコンピュータプログラム。
（付記２２）
非一時的なコンピュータ可読媒体に記憶されており、付記１乃至１０のうちいずれか一つに記載の方法のステップを実施するようプロセッサによって実行可能なプログラムコード命令を有するコンピュータプログラム製品。
【図１】
0006573673.tif 000002
【図２】
0006573673.tif 000003
【図３】
0006573673.tif 000004
【図４】
0006573673.tif 000005
【図５】
0006573673.tif 000006