(57)【要約】  視聴者がマルチメディア信号のパノラマビデオ成分の空間カバレッジを制御できるパノラママルチメディアストリーミングの方法及び装置が開示されている。新規でフレキシブルなストリーミングサーバが、個々のクライアント装置の特性、並びにクライアント装置までのネットワーク経路の変動する容量にマルチメディア信号を適応させることに加えて、クライアント別のコンテンツフィルタリングを実施するように考案されている。サーバは、視聴者がパノラマシーンの好みの視聴領域を伝達することを可能にする為のソフトウェアモジュールをクライアント装置に配信してよい。サーバは学習モジュールを含み、学習モジュールは、視聴の好みのデータを保持し、視聴の好みとクライアント装置の特性とを相互に関連付け、クライアント装置ごとにデフォルトの視聴の好みを決定する。サーバは、コンテンツフィルタリング済みマルチメディア信号を生成してクライアントに配信する、計算効率の高いスキームを実施する。サーバは、共用クラウドコンピューティングネットワーク内で割り当てられるハードウェア処理ユニット及びメモリ装置を使用して実施されてよい。
2018530954.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つの物理プロセッサを含むサーバにおいて実施されるビデオ信号ストリーミングの方法であって、
パノラマビデオ信号を取得するステップと、
前記パノラマビデオ信号をコード変換して、クライアント装置に適合するコード変換済み信号を生成するステップと、
前記コード変換済み信号の信号サンプルを前記クライアント装置に送信するステップと、
前記クライアント装置から、好みの視聴領域の記述子を受信するステップと、
前記コード変換済み信号のコンテンツを編集して、前記好みの視聴領域に対応するコンテンツフィルタリング済み信号を生成するステップと、
前記コンテンツフィルタリング済み信号を前記クライアント装置に送信するステップと、
を含む方法。
【請求項２】
前記取得するステップは、
前記サーバからパノラママルチメディアソースまでの接続を確立するステップと、
前記パノラママルチメディアソースから、
前記パノラマビデオ信号を含むマルチメディア信号と、
前記パノラマビデオ信号に適用された信号処理があればそれを示すものと、を受信するステップと、を含む、
請求項１に記載の方法。
【請求項３】
前記取得するステップは、
前記パノラマビデオ信号が圧縮されていると判定された場合には前記パノラマビデオ信号を圧縮解除するステップと、
前記パノラマビデオ信号がデワープされていないと判定された場合には前記パノラマビデオ信号をデワープするステップと、を含む、
請求項１又は２に記載の方法。
【請求項４】
前記信号サンプルは、
前記コード変換済み信号のうちの互いに離れた複数のフレーム、
又は、
前記コード変換済み信号の圧縮された形態を含み、
前記送信の前に前記コンテンツフィルタリング済み信号を圧縮するステップを更に含む、
請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記サーバから前記クライアント装置までの経路における許容フローレートを決定するステップと、
前記信号サンプルが前記許容フローレートに適合することを確認するステップと、
前記コンテンツフィルタリング済み信号を圧縮する前記ステップが前記許容フローレートに適合することを確認するステップと、
を更に含む、請求項４に記載の方法。
【請求項６】
前記クライアント装置のユーザが前記好みの視聴領域の識別情報を前記サーバに伝達することを可能にするように構成されたソフトウェアモジュールを前記クライアント装置に送信するステップを更に含む、請求項１〜５のいずれか一項に記載の方法。
【請求項７】
前記パノラマビデオ信号は、単一カメラで生成されるか、或いは、複数のカメラで生成されたビデオ信号を組み合わせることによって生成される、請求項１〜６のいずれか一項に記載の方法。
【請求項８】
前記少なくとも１つの物理プロセッサ及び関連付けられたメモリ装置は、共用クラウドコンピューティングネットワーク内で割り当てられる、請求項１〜７のいずれか一項に記載の方法。
【請求項９】
少なくとも１つの物理プロセッサと、ソフトウェア命令を記憶する、関連付けられたメモリ装置と、を含むパノラママルチメディアストリーミング用サーバであって、
ネットワークインタフェースモジュールであって、少なくとも１つのネットワークを介して、
少なくとも１つのパノラマビデオソース、及び
複数のクライアント装置との間を行き来する通信経路を確立する前記ネットワークインタフェースモジュールと、
圧縮されたパノラマビデオ信号を圧縮解除する圧縮解除モジュールと、
パノラマビデオ信号をデワープするデワープモジュールと、
前記複数のクライアント装置のうちの任意のクライアント装置の特性に対してビデオ信号を適応させるコード変換モジュールと、
パノラマビデオ信号のコンテンツを、識別された視聴領域に対応するように編集するコンテンツフィルタリングモジュールと、
制御モジュールであって、
前記少なくとも１つのパノラマビデオソースからソースビデオ信号を取得することと、
前記コード変換モジュール及び前記コンテンツフィルタリングモジュールを活性化して、クライアント別の信号を生成することと、
前記クライアント別の信号を各クライアント装置に送信することと、を行うように構成された前記制御モジュールと、
を含むサーバ。
【請求項１０】
任意の前記クライアント装置のユーザが好みの視聴領域の識別情報を前記サーバに伝達することを可能にする為に前記複数のクライアント装置に配信されるソフトウェアモジュールを記憶するメモリ装置を更に含む、請求項９に記載のサーバ。
【請求項１１】
視聴の好みのデータを保持し、視聴の好みとクライアント装置の特性とを相互に関連付けるように構成された学習モジュールを更に含む、請求項９又は１０に記載のサーバ。
【請求項１２】
一連のクライアント装置タイプの各クライアント装置タイプの特性を記憶するクライアントプロファイルデータベースを更に含み、前記特性は、フレームレートの上限、フレーム分解能、及びフローレートを含む、請求項９〜１１のいずれか一項に記載のサーバ。
【請求項１３】
複数のビデオソース及び複数のクライアント装置と通信する為のネットワークアクセスポートを更に含む、請求項９〜１２のいずれか一項に記載のサーバ。
【請求項１４】
前記少なくとも１つの物理プロセッサ及び関連付けられたメモリ装置は、共用クラウドコンピューティングネットワーク内にエンベデッドされている、請求項９〜１３のいずれか一項に記載のサーバ。
【請求項１５】
離れたフレーム間隔の間にパノラマビデオ信号をサンプリングして、フレームサンプリングされたビデオ信号を生成することをプロセッサに行わせる、プロセッサで実行可能な命令を含むフレームサンプリングモジュールを更に含む、請求項９〜１４のいずれか一項に記載のサーバ。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、参照によって全内容が本明細書に組み込まれている、２０１５年９月９日に出願された米国仮特許出願第６２／２１６，３２６号明細書、件名「ＣＬＯＵＤ−ＥＭＢＥＤＤＥＤ  ＳＥＲＶＥＲ  ＦＯＲ  ＳＴＲＥＡＭＩＮＧ  ＰＡＮＯＲＡＭＩＣ  ＭＵＬＴＩＭＥＤＩＡ  ＳＩＧＮＡＬＳ」の利益を主張するものである。
【０００２】
本発明は、パノラマビデオ信号を含むマルチメディア信号のストリーミングに関する。特に、本発明は、視聴者がビデオ信号コンテンツを操作する為の方法及び装置を対象とする。
【背景技術】
【０００３】
データストリーミングシステムでは、サーバがマルチメディアデータを複数のクライアント装置に送信するであろう。サーバは、各クライアント装置の特性、並びにサーバからクライアント装置までのネットワーク経路の状態にデータを適応させるために、コード変換機能を実施するであろう。マルチメディアデータは、ビデオ信号、オーディオ信号、静止画像、及びテキストを表現することが可能である。
【０００４】
パノラマビデオ信号を含むマルチメディアデータのストリーミングを行うには、比較的大容量のトランスポートリソースと、より集約的な処理とが必要である。パノラマカメラを使用するビデオソースからのパノラマビデオ信号は、伝送媒体の比較的高い帯域幅を占有する。パノラマビデオ信号をビデオソースからクライアント装置へ直接送信する為には、ビデオソースからクライアントの装置までの広帯域経路と、クライアント装置における高速処理能力とが必要である。更に、ビデオ信号は、個々のクライアント装置の様々な特性に適応することが必要であろう。
【０００５】
これまで、個々のクライアント装置に対するマルチメディア信号の適応及び配信の実施にはストリーミングサーバが使用されてきた。パノラママルチメディア信号の場合は、マルチメディアソースとストリーミングサーバとの間に大容量経路が確立されねばならず、ストリーミングサーバと複数のクライアント装置との間に適応可能経路が確立されねばならず、ストリーミングサーバには強力な処理機能が装備されなければならない。
【０００６】
パノラママルチメディアストリーミングシステムにおいては、ストリーミングセッション中にパノラマシーンの視聴領域を適応的に選択する機能をクライアントが備えることが望ましい。従って、本発明の目的は、様々なタイプのクライアント装置、並びにクライアント装置を出入りするネットワーク経路の様々な容量に信号を適応させる為の、クライアント別の信号コンテンツフィルタリング及び信号処理の能力を有するフレキシブルなストリーミングサーバを提供することである。
【発明の概要】
【課題を解決するための手段】
【０００７】
求められるフレキシブルなストリーミングサーバの好ましい実施態様は、クラウドエンベデッドサーバである。クラウドコンピューティングにより、参加者は、時々刻々のニーズに応じて確保したり解放したりできるリソースに動的にアクセスすることが可能になる。このリソースは、処理ユニット、メモリ装置、ネットワークリンクなどを含む。
【０００８】
一態様によれば、本発明は、ビデオ信号ストリーミングの方法を提供する。本方法は、複数の物理プロセッサ及び関連付けられたメモリ装置を含むサーバにおいて実施される。本方法は、パノラママルチメディアソースにアクセスしてビデオ信号を取得する処理を含む。取得されたビデオ信号が圧縮されておらず、ソースにおいてデワープされている場合、このビデオ信号は「純ビデオ信号」を構成し、これは、スクリーンに表示されてよく、或いは、クライアント装置への配信の為に更に処理されてよい。取得されたビデオ信号がソースにおいて圧縮されている場合、このビデオ信号はサーバにおいて圧縮解除される。取得されたビデオ信号がソースにおいてデワープされていない場合、このビデオ信号はサーバにおいてデワープされる。圧縮されていないか圧縮解除されたビデオ信号であって、サーバにおいてデワープされたビデオ信号は、純ビデオ信号である。特定のクライアント装置にサービスを提供する為に、純ビデオ信号がコード変換されて、そのクライアント装置に適合するコード変換済み信号が生成される。純ビデオ信号は、最大４πステラジアンの立体角の達成可能カバレッジに対応し、（例えば、複数Ｇｂ／ｓの）高いフローレート（ビットレート）を有する可能性が高いが、これは、サーバからクライアント装置までの経路の利用可能な容量を超える可能性がある。コード変換済み信号も、フローレートが経路の容量を超える可能性がある。そこで、フローレートが経路の容量を超えないように、コード変換済み信号の圧縮が行われる。
【０００９】
圧縮されたコード変換済み信号は、クライアント装置に送信されて、クライアント装置において圧縮解除され、表示される。そして、クライアント装置における視聴者は、好みの視聴領域を識別し、その好みの視聴領域の記述子をサーバに送信してよい。そして、コード変換済み信号はコンテンツフィルタリングされ、信号のうちの、好みの視聴領域に対応する部分だけが保持される。コンテンツフィルタリング済み信号は、圧縮されてからクライアント装置に送信されてよい。
【００１０】
本方法は更に、サーバからクライアント装置までの経路における許容フローレートを決定する処理と、圧縮されたコード変換済み信号が許容フローレートに適合すること、並びにその後の圧縮されたコンテンツフィルタリング済み信号が許容フローレートに適合することを確認する処理と、を含む。
【００１１】
サーバがパノラママルチメディアソースにアクセスすると、ソースは、ビデオ信号と、ビデオ信号に適用されている信号処理（例えば、デワープや圧縮）があればそれを示すものを含む制御データと、を含むマルチメディア信号を提供する。取得されるビデオ信号は、単一カメラで生成されてよいパノラマビデオ信号、又は複数のカメラからのビデオ信号を組み合わせることによって生成されてよいパノラマビデオ信号である。
【００１２】
クライアント装置のユーザが好みの視聴領域の識別子を伝達することを可能にする為に、サーバは、この目的の為に考案されたソフトウェアモジュールをクライアント装置に送信する。サーバは、物理プロセッサ及び関連付けられたメモリ装置が時々刻々のニーズに応じて割り当てられる共用クラウドコンピューティングネットワーク内に一部又は全体がインストールされてよい。
【００１３】
別の態様によれば、本発明は、少なくとも１つの物理プロセッサを含むサーバにおいて実施されるビデオ信号ストリーミングの方法を提供する。本方法は、パノラママルチメディアソースにアクセスしてビデオ信号を取得する処理を含む。取得されたビデオ信号が圧縮されておらず、或いは、ソースにおいてデワープされていない場合、このビデオ信号は、上述のように「純ビデオ信号」を生成するように処理される。
【００１４】
特定のクライアント装置の一連のクライアント装置にサービスを提供する為に、純ビデオ信号がコード変換されて、そのクライアント装置タイプに適合するコード変換済み信号が生成される。コード変換済み信号のフローレートは、サーバからクライアント装置までの経路の一部の容量を超える可能性がある。クライアント装置に完全カバレッジ（達成可能カバレッジ）視聴を提供する為に、低フローレートの信号サンプルが生成され、クライアント装置にマルチキャストされる。信号サンプルは、フレームサンプリングされたコード変換済み信号、又は圧縮されたコード変換済み信号であってよい。個々のクライアント装置からそれぞれの好みの視聴領域の識別子が受信されると、コード変換済み信号がコンテンツフィルタリングされて、そのそれぞれの好みの視聴領域に対応するクライアント別の信号が生成される。このクライアント別の信号は、圧縮されて、個々のクライアント装置に送信される。
【００１５】
更に別の態様によれば、本発明は、少なくとも１つの物理プロセッサを含むサーバにおいて実施されるビデオ信号ストリーミングの方法を提供する。本方法は、パノラマビデオ信号を取得する処理と、そのパノラマビデオ信号をコード変換して、クライアント装置に適合するコード変換済み信号を生成する処理と、を含む。そして、コード変換済み信号の信号サンプルがクライアント装置に送信される。クライアント装置から好みの視聴領域の記述子が受信されると、コード変換済み信号のコンテンツが編集されて、その好みの視聴領域に対応するコンテンツフィルタリング済み信号が生成される。コンテンツフィルタリング済み信号、又はコンテンツフィルタリング済み信号の圧縮された形態が、信号サンプルの代わりにクライアント装置に送信される。
【００１６】
パノラマビデオ信号を取得する処理は、サーバからパノラママルチメディアソースまでの接続を確立する処理と、パノラマビデオ信号と、ソースにおいてパノラマビデオ信号に適用された信号処理があればそれを示すものと、を一緒に含むマルチメディア信号を要求して受信する処理と、を含む。取得されたパノラマビデオ信号は、ソースにおいて実施された処理を示すものに従って、サーバにおいて圧縮解除及び／又はデワープされてよい。信号サンプルは、コード変換済み信号のうちの互いに離れた複数のフレームを含む、フレームサンプリングされた信号であってよい。或いは、信号サンプルは、コード変換済み信号の圧縮された形態であってよい。
【００１７】
更に別の態様によれば、本発明は、少なくとも１つの物理プロセッサを含むサーバにおいて実施されるビデオ信号ストリーミングの方法を提供する。本方法は、パノラママルチメディアソースからソースビデオ信号を取得するステップと、上述のように純ビデオ信号を生成するステップと、を含む。
【００１８】
本方法は更に、ビデオ信号のコンテンツを編集して、所定の一連の視聴領域に対応する一連のコンテンツフィルタリング済み信号を生成するステップを含む。各コンテンツフィルタリング済み信号がコード変換されて、特定のクライアント装置に適合する一連のコード変換済み信号が生成される。コード変換済み信号のそれぞれが圧縮されて、一連の圧縮信号が生成される。これらの圧縮信号は、連続的にクライアント装置に送信される。特定のクライアント装置から、好みの視聴領域に対応する特定の圧縮信号の識別子が受信されると、その特定の圧縮信号だけが引き続きクライアント装置に送信される。
【００１９】
サーバは、パノラマカメラを含む信号ソースから、又はパノラマカメラ及びデワープモジュールを含む信号ソースから、又はパノラマカメラ及び圧縮モジュールを含む信号ソースから、又はパノラマカメラ、デワープモジュール、及び圧縮モジュールを含む信号ソースから、ビデオ信号を含むマルチメディア信号を取得するように考案されている。
【００２０】
更に別の態様では、本発明は、パノラママルチメディアストリーミング用サーバを提供する。サーバは、複数の物理プロセッサと、ソフトウェア命令のモジュールを記憶する、関連付けられたメモリ装置とを含み、ソフトウェア命令のモジュールは、様々な容量の通信経路を介してサーバに接続している、様々なタイプのクライアント装置にコンテンツフィルタリング済み信号を供給することをプロセッサに行わせる。
【００２１】
ネットワークインタフェースモジュールが、少なくとも１つのネットワークを介して、少なくとも１つのパノラマビデオソース、及び複数のクライアント装置との間を行き来する通信経路を確立するように考案されている。圧縮解除モジュールが、ソースにおいて圧縮されたビデオ信号を圧縮解除するように考案されている。デワープモジュールが、ソースにおいてデワープされていないビデオ信号をデワープするように考案されている。コード変換モジュールが、複数のクライアント装置のうちの任意のクライアント装置の特性に対してビデオ信号を適応させるように考案されている。コンテンツフィルタリングモジュールが、ビデオ信号のコンテンツを、識別された視聴領域に対応するように編集するように考案されている。制御モジュールが、少なくとも１つのパノラマビデオソースと通信してソースビデオ信号を取得することと、コード変換モジュール及びコンテンツフィルタリングモジュールにビデオ信号を渡してクライアント別ビデオ信号を生成することと、そのクライアント別ビデオ信号を各クライアント装置に送信することと、を行うように考案されている。
【００２２】
サーバは更にフレームサンプリングモジュールを含み、このモジュールは、離れたフレーム間隔の間にビデオ信号をサンプリングして、フレームサンプリングされたビデオ信号を生成することをプロセッサに行わせる、プロセッサで実行可能な命令を含む。サーバは更にメモリ装置を含み、メモリ装置は、クライアント装置のユーザが好みの視聴領域の識別情報をサーバに伝達することを可能にする為に複数のクライアント装置に配信されるソフトウェアモジュールを記憶する。
【００２３】
サーバは更に学習モジュールを含み、学習モジュールは、視聴の好みのデータを保持し、視聴の好みとクライアント装置の特性とを相互に関連付けるように考案されている。サーバは更にクライアントプロファイルデータベースを含み、これは、一連のクライアント装置タイプの各クライアント装置タイプの特性を記憶する。これらの特性は、フレームレートの上限、フレーム分解能、及びフローレートを含む。
【００２４】
サーバは更に、共用ネットワークを介して複数のビデオソース及び複数のクライアント装置と通信する為に、ネットワークアクセスポートを含む。サーバは、物理プロセッサ及び関連付けられたメモリ装置がオンデマンドで割り当てられる共用クラウドコンピューティングネットワーク内に一部又は全体がインストールされてよい。
【００２５】
別の態様によれば、本発明は、信号ストリーミングの方法を提供する。本方法は、共用クラウドコンピューティングネットワーク内で割り当てられるハードウェア処理ユニット及びメモリ装置を使用して実施されてよいサーバにおいて実施される。本方法は、信号を複数のクライアントにマルチキャストする処理と、信号のコンテンツを修正する要求を特定のクライアントから受信する処理と、修正された信号を生成する処理と、修正された信号を特定のクライアントに送信する処理と、を含む。信号は、単一カメラで生成されるか、或いは、複数のカメラからのビデオ信号を組み合わせることによって生成されるパノラマビデオ信号を含むパノラママルチメディア信号から抽出されてよい。修正された信号は、部分カバレッジマルチメディア信号であってよい。
【００２６】
本方法は、修正された信号を生成する為に、信号のビデオ信号成分をデワープして、デワープされたビデオ信号を生成する処理と、デワープされたビデオ信号をクライアント装置に適応させて、装置別ビデオ信号を生成する処理と、を含む。この装置別信号は、クライアントの視聴の好みに対して適応されてよい。視聴の好みは、クライアントから受信される要求の中で指定されてよく、或いは、クライアント装置タイプ別のデフォルト値に基づいてよい。
【００２７】
本方法は、サーバと通信してストリーミングサービスを要求するクライアント装置の特性を取得する処理を含む。クライアント装置の特性と視聴の好みの記録が、サーバにおいて保持される視聴の好みデータベースに追加されてよい。
【００２８】
別の態様によれば、本発明は、クラウドコンピューティングネットワークのリソースを使用して全体又は一部が実施されてよいサーバにおいて実施される信号ストリーミングの方法を提供する。本方法は、パノラママルチメディア信号を取得する処理と、そのパノラママルチメディア信号のビデオ信号成分を圧縮解除及びデワープして純ビデオ信号を生成する処理と、を含む。複数のクライアント装置のうちの所与のクライアント装置において、
（ｉ）純ビデオ信号がコンテンツフィルタリングされて、選択された視聴領域に対応する各コンテンツフィルタリング済み信号が生成され、
（ｉｉ）クライアント装置に向かうコンテンツフィルタリング済み信号は、クライアント装置の特性と、サーバからターゲットクライアント装置までのネットワーク経路の特性と、に対して適応される。
【００２９】
各クライアント装置は、プロセッサと、メモリ装置と、ディスプレイスクリーンとを含む。
【００３０】
クライアント装置は、視聴の好みを示すものをサーバに送信してよい。サーバは、視聴の好みに対応する各コンテンツフィルタリング済み信号を生成し、これはクライアント装置に送信される。
【００３１】
本方法は更に、
（ａ）視聴の好みをクライアントの装置の特性に関連付けるデータを保持するステップと、
（ｂ）その保持されたデータを使用して、複数のクライアント装置のクライアント装置ごとのデフォルトの視聴の好みを決定するステップと、を含む。
【００３２】
更に別の態様によれば、本発明は、信号ストリーミングの方法を提供する。本方法は、少なくとも部分的にはクラウドコンピューティングネットワークのリソースに基づいて構成されているサーバにおいて実施される。本方法は、ソースにおいてデワープ及び圧縮されているパノラマビデオ信号を取得し、このパノラマビデオ信号を圧縮解除して純ビデオ信号を生成するステップを含む。
【００３３】
その後、一連の修正済み信号が生成され、各修正済み信号は、所定の一連の部分カバレッジパターンの各部分カバレッジパターンに対応する。各接続要求が好みの部分カバレッジパターンを指定する、複数のクライアント装置からの接続要求が受信されると、サーバは、クライアント装置ごとに、それぞれの好みの部分カバレッジパターンに応じた、それぞれの修正済み信号を決定する。個々のクライアント装置に向かうそれぞれの修正済み信号は更に、その個々のクライアント装置の特性と、その個々のクライアント装置までのネットワーク経路の特性とに対して適応されてよい。
【００３４】
更に別の態様によれば、本発明はパノラママルチメディアサーバを提供し、パノラママルチメディアサーバは、ハードウェアプロセッサと、ビデオソースインタフェースと、ビデオソース特性化モジュールと、ビデオソースから受信されたパノラマビデオ信号をコンテンツフィルタリングして、視聴領域の選択結果に対応するコンテンツフィルタリング済み信号を生成するモジュールと、コンテンツフィルタリング済み信号を圧縮するモジュールと、ビデオ信号をクライアント装置の特性に対して適応させるモジュールと、を含む。
【００３５】
パノラママルチメディアサーバは更に、
（ａ）視聴の好みのデータを保持することと、視聴の好みを、クライアント装置の特性、並びに任意選択で、クライアントの環境と相互に関連付けることと、を行うように構成された学習モジュールと、
（ｂ）ビデオ信号をクライアント装置の特性に対して適応させるモジュールと結合された、クライアント装置の特性化を決定するモジュールと、を含む。
【００３６】
本発明の実施形態を、以下の添付の例示的図面を参照しながら、より詳細に説明する。
【図面の簡単な説明】
【００３７】
【図１】本発明の一実施形態による、パノラママルチメディアソース及びパノラママルチメディアサーバを含む、パノラママルチメディアストリーミングのシステムを示す図である。
【図２】本発明の一実施形態による、複数のパノラママルチメディアソース及び複数のパノラママルチメディアサーバを含む、パノラママルチメディアストリーミングのシステムを示す図である。
【図３】本発明の一実施形態による、パノラママルチメディアソースとパノラママルチメディアサーバとの間の通信選択肢を示す図である。
【図４】図３の通信選択肢に対応する通信経路を示す図である。
【図５】本発明の一実施形態による、図３の通信選択肢のうちの第１の通信選択肢に対応する端から端までの経路の構成要素を示す図である。
【図６】本発明の一実施形態による、図３の通信選択肢のうちの第２の通信選択肢に対応する端から端までの経路の構成要素を示す図である。
【図７】本発明の一実施形態による、図３の通信選択肢のうちの第３の通信選択肢に対応する端から端までの経路の構成要素を示す図である。
【図８】本発明の一実施形態による、図３の通信選択肢のうちの第４の通信選択肢に対応する端から端までの経路の構成要素を示す図である。
【図９】本発明の一実施形態による、パノラママルチメディアサーバの信号編集ユニットの入力及び出力におけるマルチメディア信号及び制御信号を示す図である。
【図１０】本発明の一実施形態による、クライアント別適応モジュールを使用する一例示的パノラママルチメディアサーバの構成要素を示す図である。
【図１１】本発明の一実施形態による、図１０の例示的パノラママルチメディアサーバのクライアント別適応モジュールの詳細を示す図である。
【図１２】圧縮ビデオ信号のフローレートの時間変動を示す図である。
【図１３】本発明の一実施形態による、低フローレートでありながらも、パノラマ完全空間カバレッジを提示することに適するビデオ信号を生成することにより、クライアントが好みの部分カバレッジ視聴を選択することを可能にするモジュールを示す図である。
【図１４】本発明の一実施形態による、コンテンツフィルタリング済みビデオ信号を要求して取得する処理を示す図である。
【図１５】パノラママルチメディアサーバからクライアント装置に送信されるビデオ信号の時間的フローレート変動を示す図であり、ビデオ信号は、フレームサンプリングされたビデオ信号と、それに続く圧縮ビデオ信号とを含む。
【図１６】本発明の一実施形態による、コンテンツフィルタリング段階及び信号処理段階として構造化された、図９の信号編集ユニットを示す図である。
【図１７】図１６のコンテンツフィルタリング段階を示す図である。
【図１８】図１６の信号処理段階の信号処理ユニットを示す図である。
【図１９】本発明の一実施形態による、図１６の信号編集ユニットを示す図であり、コンテンツフィルタリング段階及び信号処理段階の詳細を含む図である。
【図２０】本発明の一実施形態による、ターゲットクライアント装置に対するビデオ信号編集の処理を示す図である。
【図２１】許容フローレートを決定するモジュールの詳細を示す図である。
【図２２】本発明の一実施形態による、クライアント装置の構成要素を示す図である。
【図２３】本発明の一実施形態による、パノラママルチメディアサーバとパノラママルチメディアソースとの間の通信経路を示す図である。
【図２４】本発明の一実施形態による、図２３のパノラママルチメディアサーバと複数の異種クライアント装置との間の通信経路を示す図である。
【図２５】本発明の一実施形態による、図２３のマルチメディアソースにおいて生成されたパノラママルチメディア信号から適応されたクライアント別のコンテンツフィルタリング済みマルチメディア信号を、図２４の複数の異種クライアント装置にマルチキャストするシステムを示す図である。
【図２６】本発明の一実施形態による、パノラママルチメディアサーバのモジュール構造を示す図である。
【図２７】本発明の一実施形態による、図２６のパノラママルチメディアサーバに学習モジュールがつながっている様子を示す図である。
【図２８】本発明の一実施形態による、パノラママルチメディアサーバにおいて実施される処理を示す図であり、この処理では、パノラマビデオ信号がクライアント装置タイプに対して適応されてから、コンテンツフィルタリングされる。
【図２９】本発明の別の実施形態による、パノラママルチメディアサーバにおいて実施される処理を示す図であり、この処理では、パノラマビデオ信号がコンテンツフィルタリングされてから、クライアント装置タイプに対して適応される。
【図３０】本発明の一実施形態による、パノラママルチメディア信号を取得し、取得したマルチメディア信号を個々のクライアントに適応させる処理を示すフローチャートである。
【図３１】本発明の別の実施形態による、図３０の処理を異なる順序で実行することを示すフローチャートである。
【図３２】本発明の別の実施形態による、パノラママルチメディアサーバにおいて保持される、特定のビデオソースに対するストリーミング制御テーブルを示す図である。
【図３３】本発明の一実施形態による、特定のクライアントに対するマルチメディア信号の最初の適応の処理を示す図である。
【図３４】本発明の一実施形態による、クライアント装置タイプごとの視聴の好みのパターンの数を記録するテーブルを示す図である。
【図３５】本発明の一実施形態による、パノラママルチメディアサーバとネットワークのルータ−スイッチとの結合を示す図である。
【発明を実施するための形態】
【００３８】
用語
信号：ある時間窓を占有するデータストリームを、本明細書では「信号」と称する。時間窓の継続時間は、数マイクロ秒から数時間まで様々であってよい。
ビデオ信号のカバレッジ：ビデオ信号のカバレッジ（又は空間カバレッジ）は、本明細書では、ビデオ信号を生成するカメラから見える空間によって張られる立体角として定義される。
完全カバレッジビデオ信号：４πステラジアンをカバーするビデオ信号を完全カバレッジビデオ信号と称する。
達成可能カバレッジビデオ信号：完全カバレッジビデオ信号は理想的なカメラによって生成される。カメラによって生成されるビデオ信号の実際のカバレッジを、達成可能カバレッジと称する。
部分カバレッジビデオ信号：達成可能カバレッジ未満のカバレッジのビデオ信号を、部分カバレッジビデオ信号と称する。
パノラマビデオ信号：ほぼ完全カバレッジである達成可能カバレッジのビデオ信号を、パノラマビデオ信号と称する。
パノラママルチメディア信号：オーディオ信号、画像信号、テキスト信号、及びパノラマビデオ信号を含むコンポジット信号を、本明細書では、パノラママルチメディア信号と称する。
部分カバレッジマルチメディア信号：オーディオ信号、画像信号、テキスト信号、及び部分カバレッジビデオ信号を含むコンポジット信号を、本明細書では、部分カバレッジマルチメディア信号と称する。
完全カバレッジカメラ（又は４πカメラ）：完全カバレッジビデオ信号を生成するカメラを、本明細書では、完全カバレッジカメラ又は４πカメラと称する。
ソース：パノラママルチメディアソースは、完全カバレッジカメラ、デワープモジュール、及び圧縮解除モジュールを含み、「ソース」という用語は、本明細書では、パノラママルチメディアソースを意味する。
信号フィルタリング：信号フィルタリングという用語は、ノイズや遅延ジッタに起因する信号劣化を無くすか減らす為に信号受信機において実施される従来式の動作を意味し、信号フィルタリング処理では信号のコンテンツは変化しない。
コンテンツフィルタリング：この用語は、特定の情報だけを保持する為に（信号フィルタリング処理に続いて）信号の情報を修正する処理を意味し、完全カバレッジ（達成可能カバレッジ）ビデオ信号のコンテンツフィルタリングにより、縮小（注目）された視聴領域に対応する部分カバレッジビデオ信号が生成される。
ロービデオ信号：カメラによって生成される信号を「ロービデオ信号」と称する。
補正済みビデオ信号：デワープされたロービデオ信号を「補正済みビデオ信号」と称する。
圧縮ビデオ信号：圧縮されたロービデオ信号を「圧縮ビデオ信号」と称する。
コンパクトビデオ信号：圧縮された補正済み信号を「コンパクトビデオ信号」と称する。
修正済みビデオ信号：ロービデオ信号のデワープ、圧縮、及び圧縮解除をこの順で行う処理、又はロービデオ信号の圧縮、圧縮解除、及びデワープをこの順で行う処理により、修正済みビデオ信号が生成される。
純ビデオ信号：補正済みビデオ信号又は修正済みビデオ信号を、本明細書では、純ビデオ信号と称する。純ビデオ信号は、ソースにおいてキャプチャされた各シーンに対応する。
信号サンプル：この用語は、純ビデオ信号から、或いは、純ビデオ信号から抽出された、コード変換されたビデオ信号から、抽出された完全カバレッジ（達成可能カバレッジ）のビデオ信号を意味する。信号サンプルのフローレート（ビットレート）は、信号サンプルの抽出元であるビデオ信号のフローレートよりかなり低くなる。クライアント装置における視聴者が好みの視聴領域を選択及び識別することを可能にする為に、信号サンプルがクライアント装置に送信される。
ソースビデオ信号：パノラママルチメディアサーバがパノラママルチメディアソースから受け取るビデオ信号を「ソースビデオ信号」と称する。ソースビデオ信号は、ロービデオ信号、補正済みビデオ信号、圧縮ビデオ信号、又はコンパクトビデオ信号であってよい。
ソースマルチメディア信号：パノラママルチメディアサーバがパノラママルチメディアソースから受け取るマルチメディア信号を「ソースマルチメディア信号」と称する。ソースマルチメディア信号は、他の形式の信号（例えば、オーディオ信号やテキスト信号）に加えてソースビデオ信号を含んでよい。
送信機：この用語は、搬送波（光搬送波又はマイクロ波搬送波）をベースバンド信号で変調して変調搬送波を生成する従来式の装置を意味する。
受信機：この用語は、変調搬送波を復調して、送信されたベースバンド信号を抽出する従来式の装置を意味する。
プロセッサ：この用語は、ハードウェア装置（物理的処理装置）を意味する。
Ｇｂ／ｓ、Ｍｂ／ｓ：ギガビット毎秒（１０９ビット毎秒）、メガビット毎秒（１０６ビット毎秒）
本発明のサーバは、パノラママルチメディア信号を受け取って広く配信する。パノラママルチメディア信号は、他の形式の信号（例えば、オーディオ信号やテキスト）に加えてパノラマビデオ信号を含む。本明細書及び特許請求対象は、ビデオ信号成分に関連する新規な特徴に重点を置いている。しかしながら、当然のこととして、サーバは、編集済みパノラマビデオ信号を他のタイプの信号と一緒にクライアント装置に配信する。
【００３９】
図１はストリーミングシステム１００を示しており、このシステムでは、パノラママルチメディアソース１１０とパノラママルチメディアサーバ１２０とが伝送媒体１１５でつながっている。伝送媒体１１５は、光ファイバリンクや無線リンクなどの専用媒体であってよく、或いは、共用通信網を通る交換経路であってよい。パノラママルチメディアサーバは、ネットワーク１５０を介して複数のクライアント装置１８０と通信してよい。
【００４０】
図２はストリーミングシステム２００を示しており、このシステムには、ｎ個（ｎ≧１）のパノラママルチメディアソース１１０（個別には１１０（０）から１１０（ｎ−１）として識別されている）と、μ個（μ≧１）のパノラママルチメディアサーバ（個別には１２０（０）から１２０（μ−１）として識別されている）とが含まれており、これらのパノラママルチメディアサーバは、複数のクライアント装置１８０のうちのＭ個（Ｍ＞１）のクライアント装置に同時にサービスを提供することが可能である。パノラママルチメディアサーバ１２０は、ネットワーク１５０を介して、パノラママルチメディアソース１１０及びクライアント装置と通信してよい。代替として、パノラママルチメディアサーバ１２０は、パノラママルチメディアソース１１０とは、ある共用ネットワーク（図示せず）を介して通信してよく、一方、クライアント装置１８０とは、別のネットワーク（図示せず）を介して通信してよい。
【００４１】
パノラママルチメディアソース１１０は、最大４πステラジアンの視聴カバレッジをもたらす完全カバレッジパノラマカメラ（本明細書では４πカメラと称する）を使用することが好ましい。４πカメラの出力信号を、本明細書では、４πビデオ信号と称する。キャプチャされたシーンの４πビデオ信号の、フラットスクリーン上の表示は、本来的な歪みの為に、実際のシーンとはかなり異なる可能性がある。表示の歪みを無くすか大幅に減らす為に、表示とキャプチャされたシーンとがよく似るように、カメラで生成された信号に、人為的にオフセットされた歪みを与えてよい。「デワープ」と呼ばれる、歪んだビデオ信号を補正する様々な処理が、当該技術分野において知られている。
【００４２】
デワープ処理は、ソースにおいて実施されてよく（即ち、カメラの出力信号に直接適用されてよく）、或いは、パノラママルチメディアサーバ１２０において実施されてよい。
【００４３】
ソース１１０におけるビデオ信号は、そのままで大容量通信経路を介してパノラママルチメディアサーバ１２０に送信されてよく、或いは、ソースにおいて圧縮されて、占有スペクトル帯域が（格段に）狭い圧縮信号が生成されてよく、この圧縮信号は、小容量通信経路を介してパノラママルチメディアサーバ１２０に送られ、パノラママルチメディアサーバにおいて圧縮解除される。
【００４４】
図３は、４πソース１１０とサーバ１２０との間の通信の４つの選択肢を示す。ソースは、ロー信号３１２を生成する４πカメラを含む。ロー信号３１２は、表示の前、又は、受信者ごとに信号を調整する為の更なる処理の前にデワープが必要である。
【００４５】
一実施形態によれば、ロー信号３１２は、デワープモジュール３２０が装備されたサーバ１２０Ａに送られてよく、デワープモジュール３２０は補正済み信号３２２を生成し、これが更に処理されて、受信者ごとの信号が生成される。
【００４６】
別の実施形態によれば、ロー信号３１２は、ソース１１０とつながっているデワープモジュール３３０において処理されてよく、ここで生成された補正済み信号３２２がサーバ１２０Ｂに送られ、更に処理されて、受信者ごとの信号が生成される。
【００４７】
更に別の実施形態によれば、ロー信号３１２は、ソース１１０とつながっている圧縮モジュール３４０において処理されてよく、ここで生成された圧縮信号３４２がサーバ１２０Ｃに送られる。サーバ１２０Ｃには圧縮解除モジュール３５０が装備されており、圧縮解除モジュール３５０は、圧縮信号３４２を圧縮解除して圧縮解除済み信号３５２を生成し、これがデワープモジュール３２０において処理されて、修正済み信号３２４が生成される。ロスレス圧縮処理と理想的な圧縮解除処理とが行われれば、圧縮解除済み信号３５２は、ロー信号３１２の複製になるであろう。理想的なデワープが行われれば、修正済み信号３２４は、キャプチャされたシーンの忠実な表現になるであろう。
【００４８】
更に別の実施形態によれば、ロー信号３１２は、ソース１１０とつながっているデワープモジュール３３０において処理されてよく、ここで生成された補正済み信号３２２が圧縮モジュール３４０において処理されて、コンパクト信号３４３が生成され、これがサーバ１２０Ｄに送られる。サーバ１２０Ｄには圧縮解除モジュール３５０が装備されており、圧縮解除モジュール３５０は、コンパクト信号３４３を圧縮解除して修正済み信号３２４を生成する。理想的なデワープモジュール３３０が使用され、ロスレス圧縮処理が行われ、理想的な圧縮解除処理が行われれば、修正済み信号は、キャプチャされたシーンの忠実な表現になるであろう。
【００４９】
図４は、図３の各通信選択肢に対応する通信経路を示す。
【００５０】
第１の通信選択肢によれば、パノラママルチメディアソースモジュール１１０Ａの４πカメラ３１０において生成されたパノラマ信号が、大容量経路４８０を介してサーバ１２０Ａに送信され、サーバ１２０Ａはデワープモジュール３２０及び信号編集ユニット４６０を含み、信号編集ユニット４６０は、クライアント装置及びフローレート制約に合わせてコンテンツフィルタリング及び信号適応を実施する。サーバ１２０Ａは、デワープモジュール３２０及び信号編集ユニット４６０として編成された、少なくとも１つのプロセッサ（図４には示されず）と、プロセッサで実行可能な命令（ソフトウェア命令）を記憶するメモリ装置とを含む。デワープモジュール３２０のソフトウェア命令が実行されると、その少なくとも１つのプロセッサが、受け取られた信号とカメラの既知の特性とを使用して、デワープされた補正済み信号３２２を生成し、この信号は、フラットディスプレイ装置に直接渡されてよく、或いは、信号編集ユニット４６０において更に処理されてよい。信号編集ユニット４６０は、コンテンツフィルタリング処理を実施して、受信者ごとに１つ１つ調整された選択的部分カバレッジストリームを生成することが可能である。信号編集ユニット４６０は、受信者ごとに１つ１つ調整された完全カバレッジストリームを生成することも可能である。
【００５１】
第２の通信選択肢によれば、ソースモジュール１１０Ｂは、４πカメラ３１０、デワープモジュール３３０、及びプロセッサ（図示せず）を含み、プロセッサは、デワープモジュール３３０のソフトウェア命令を４πカメラの出力信号（ロー信号３１２）に適用する。結果として得られるデワープされた信号が大容量通信経路４８０を介してサーバ１２０Ｂに送られ、サーバ１２０Ｂは、上述の第１の実施態様と同様の信号編集ユニット４６０を含む。
【００５２】
第３の通信選択肢によれば、ソースモジュール１１０Ｃは、４πカメラ３１０、圧縮モジュール３４０、及びプロセッサ（図示せず）を含み、プロセッサは、圧縮モジュール３４０のソフトウェア命令を４πカメラの出力信号（ロー信号３１２）に適用する。結果として得られる圧縮信号３４２が小容量通信経路４９０を介してサーバ１２０Ｃに送られ、サーバ１２０Ｃは、圧縮解除モジュール３５０、デワープモジュール３２０、及び信号編集ユニット４６０を含む。サーバ１２０Ｃは、少なくとも１つのプロセッサ（図示せず）を含み、プロセッサは、圧縮解除モジュール３５０のソフトウェア命令を実施して圧縮解除済み信号３５２を生成する。この少なくとも１つのプロセッサは更に、デワープモジュール３２０のソフトウェア命令を実施して修正済み信号３２４を生成する。信号編集ユニット４６０は、修正済み信号３２４を処理してコンテンツフィルタリング処理を実施することにより、受信者ごとに１つ１つ調整された選択的部分カバレッジストリームを生成する。信号編集ユニット４６０は、受信者ごとに１つ１つ調整された完全カバレッジストリームを生成することも可能である。
【００５３】
第４の通信選択肢によれば、ソースモジュール１１０Ｄは、４πカメラ３１０、デワープモジュール３３０、圧縮モジュール３４０、及びプロセッサ（図示せず）を含み、プロセッサは、デワープモジュール３３０のソフトウェア命令を４πカメラの出力信号（ロー信号３１２）に適用して補正済み信号３２２を生成する。プロセッサは、圧縮モジュール３４０のソフトウェア命令を適用してコンパクト信号３４３を生成する。コンパクト信号３４３は小容量通信経路４９０を介してサーバ１２０Ｄに送られ、サーバ１２０Ｄは、圧縮解除モジュール３５０及び信号編集ユニット４６０を含む。サーバ１２０Ｄは、少なくとも１つのプロセッサ（図示せず）を含み、プロセッサは、圧縮解除モジュール３５０のソフトウェア命令を実施して補正済み信号３２２を復元する。上述の通信選択肢と同様に、信号編集ユニット４６０は、修正済み信号３２４を処理してコンテンツフィルタリング処理を実施することにより、受信者ごとに１つ１つ調整された選択的部分カバレッジストリームを生成する。信号編集ユニット４６０は、受信者ごとに１つ１つ調整された完全カバレッジストリームを生成することも可能である。
【００５４】
第１又は第２の通信選択肢の場合は、補正済みビデオ信号３２２が信号編集ユニット４６０に渡される。第３又は第４の通信選択肢の場合は、修正済みビデオ信号３２４が信号編集ユニット４６０に渡される。補正済みビデオ信号３２２及び修正済みビデオ信号３２４は両方とも、各シーンを忠実に表現する純ビデオ信号と見なされる。
【００５５】
図５は、図３の通信選択肢のうちの第１の通信選択肢に対応する端から端までの経路５００の構成要素を示す。ソース１１０Ａが（ベースバンド）ロー信号３１２を生成し、これは、大容量経路４８０を介してサーバ１２０Ａに送信される。大容量経路４８０は、ソース１１０Ａと並置されたソース送信機５２０と、伝送媒体１１５と、サーバ１２０Ａと並置されたサーバ受信機５４０と、を含む。受信機５４０は、伝送媒体１１５を介して受信された変調搬送波信号５２８を復調して、ロー信号３１２の複製５４２を取得する。サーバ１２０Ａは、デワープモジュール３２０を構成するソフトウェア命令を記憶するメモリ装置と、信号編集ユニット４６０を構成するソフトウェア命令を記憶するメモリ装置と、を含む。サーバ１２０Ａは更に、サーバ送信機を含むクライアント装置インタフェース５６０を含む。サーバ１２０Ａの出力信号５８５は、ネットワーク１５０を介して各クライアント装置１８０に伝達される。
【００５６】
図６は、図３の通信選択肢のうちの第２の通信選択肢に対応する端から端までの経路６００の構成要素を示す。ソース１１０Ｂは、４πカメラ３１０と、デワープモジュール３３０を構成するソフトウェア命令を記憶するメモリ装置とを含み、この命令によって、プロセッサ（図示せず）は補正済み信号３２２を生成する。補正済み信号３２２は、大容量経路４８０を介してサーバ１２０Ｂに送信される。大容量経路４８０は、ソース１１０Ｂと並置されたソース送信機５２０と、伝送媒体１１５と、サーバ１２０Ｂと並置されたサーバ受信機５４０と、を含む。受信機５４０は、伝送媒体１１５を介して受信された変調搬送波信号６２８を復調して、補正済み信号３２２の複製６４２を取得する。サーバ１２０Ｂは、信号編集ユニット４６０を構成するソフトウェア命令を記憶するメモリ装置を含む。サーバ１２０Ｂは更に、サーバ送信機を含むクライアント装置インタフェース５６０を含む。サーバ１２０Ｂの出力信号６８５は、ネットワーク１５０を介して各クライアント装置１８０に伝達される。
【００５７】
図７は、図３の通信選択肢のうちの第３の通信選択肢に対応する端から端までの経路７００の構成要素を示す。ソース１１０Ｃは、（ベースバンド）ロー信号３１２を生成する４πカメラ３１０と、圧縮モジュール３４０を構成するソフトウェア命令を記憶するメモリ装置とを含む。圧縮モジュール３４０は、ロー信号３１２を圧縮して圧縮信号３４２にし、圧縮信号３４２は、経路４９０を介してサーバ１２０Ｃに送信される。経路４９０は、ソース１１０Ｃと並置されたソース送信機７２０と、伝送媒体１１５と、サーバ１２０Ｃと並置されたサーバ受信機７４０と、を含む。受信機７４０は、伝送媒体１１５を介して受信された変調搬送波信号７２８を復調して、圧縮信号３４２の複製７４２を取得する。サーバ１２０Ｃは、圧縮解除モジュール３５０を構成するソフトウェア命令を記憶するメモリ装置と、デワープモジュール３２０を構成するソフトウェア命令を記憶するメモリ装置と、信号編集ユニット４６０を構成するソフトウェア命令を記憶するメモリ装置と、を含む。サーバ１２０Ｃは更に、サーバ送信機を含むクライアント装置インタフェース５６０を含む。サーバ１２０Ｃの出力信号７８５は、ネットワーク１５０を介して各クライアント装置１８０に伝達される。
【００５８】
図８は、図３の通信選択肢のうちの第４の通信選択肢に対応する端から端までの経路８００の構成要素を示す。ソース１１０Ｄは、４πカメラ３１０と、デワープモジュール３３０を構成するソフトウェア命令であって、補正済み信号３２２の生成をプロセッサ（図示せず）に行わせるソフトウェア命令を記憶するメモリ装置と、圧縮モジュール３４０を構成するソフトウェア命令であって、コンパクト信号３４３の生成をプロセッサ（図示せず）に行わせるソフトウェア命令を記憶するメモリ装置と、を含む。コンパクト信号３４３は、経路４９０を介してサーバ１２０Ｄに送信される。経路４９０は、ソース１１０Ｄと並置されたソース送信機７２０と、伝送媒体１１５と、サーバ１２０Ｃと並置されたサーバ受信機７４０と、を含む。受信機７４０は、伝送媒体１１５を介して受信された変調搬送波信号を復調して、コンパクト信号３４３の複製８４２を取得する。サーバ１２０Ｄは、圧縮解除モジュール３５０を構成するソフトウェア命令を記憶するメモリ装置と、信号編集ユニット４６０を構成するソフトウェア命令を記憶するメモリ装置と、を含む。サーバ１２０Ｄは更に、サーバ送信機を含むクライアント装置インタフェース５６０を含む。サーバ１２０Ｄの出力信号８８５は、ネットワーク１５０を介して各クライアント装置１８０に伝達される。
【００５９】
図９は、サーバ１２０の信号編集ユニット４６０の入出力信号を示す。
【００６０】
サーバ１２０は、ビデオ信号を含むマルチメディア信号をソース１１０から受け取り、ビデオ信号は、ロー信号３１２、補正済み信号３２２、圧縮信号３４２、又はコンパクト信号３４３であってよい。サーバがソース１１０から受け取るビデオ信号を、本明細書では「ソースビデオ信号」と称する。
【００６１】
サーバ１２０は、図２に示されたように、様々なパノラママルチメディアソース１１０からマルチメディア信号を受け取ってよい。従って、サーバは、第１のソース１１０からロービデオ信号３１２を受け取ってよく、第２のソース１１０から補正済みビデオ信号３２２を受け取ってよく、第３のソースから圧縮信号３４２を受け取ってよく、且つ／又は第４のソースからコンパクト信号３４３を受け取ってよい。そして、好ましくは、サーバは、様々なタイプのソース１１０と関与して、純ビデオ信号９２０を生成することが可能であるように、デワープモジュール３２０及び圧縮解除モジュール３５０を装備されてよく、純ビデオ信号９２０は、補正済みビデオ信号３２２又は修正済みビデオ信号３２４であってよい。
【００６２】
サーバは、クライアント装置１８０からアップストリーム制御信号９１０を受信し、ソース１１０から制御信号９２１を受信する。サーバは、クライアント装置にダウンストリーム制御信号９１２を送信し、ソース１１０に制御データ９２２を送信してよい。サーバのカーネル、即ち、信号編集ユニット４６０は、ソースのタイプにかかわらず、制御信号９１０及び９２１に基づいて純ビデオ信号９２０を処理する。
【００６３】
アップストリーム制御信号９１０は、クライアントの特性化データとクライアントの要求とを含んでよい。ダウンストリーム制御信号９１２は、クライアントの要求に対する応答を含んでよい。ダウンストリーム制御信号９１２は更に、つながっている各クライアント装置が好みの視聴領域をサーバに伝えることを可能にする為にクライアント装置１８０にインストールされるソフトウェアモジュールを含んでよい。制御データ９２１は、ソースの特性と、ソースにおいて既に実施された動作（例えば、デワープ及び／又はデータ圧縮）とに関連するデータを含んでよい。制御データ９２２は、サーバを特徴づけるデータを含んでよい。
【００６４】
信号編集ユニット４６０は、編集済みマルチメディア信号９４０を生成し、各編集済みマルチメディア信号は、各クライアントの視聴の好み、各クライアントの装置の能力、及びサーバから各クライアントの装置までのネットワーク経路の条件に合わせて個別に調整される。サーバ１２０は、編集済みマルチメディア信号９４０をクライアント装置に送信する。
【００６５】
図１０は、一例示的サーバ１２０の構成要素を示す。サーバは、少なくとも１つのプロセッサ（図示せず）と、プロセッサで実行可能な命令を記憶する複数のメモリ装置とを含み、これらの命令は幾つかのモジュールに編成されており、これらには、ネットワークインタフェース１０１０、ソース制御データモジュール１０２２、ソース信号処理モジュール１０２４、クライアント制御データモジュール１０２６、及び一連のクライアント別適応モジュール１０６０が含まれる。ネットワークインタフェース１０１０は、少なくとも１つのネットワークに対する少なくとも１つのデュアルリンク１００８につながっている。ネットワークインタフェース１０１０は、サーバ受信機５４０（図５及び図６）又は７４０（図７及び図８）を含み、これは、変調搬送波（光変調波又は無線マイクロ波搬送波）を復調して、ソース１１０（１１０Ａ、１１０Ｂ、１１０Ｃ、又は１１０Ｄ）から送られたベースバンドソースビデオ信号（ロー信号３１２、補正済み信号３２２、圧縮信号３４２、又はコンパクト信号３４３）を検波する。少なくとも１つのデュアルリンク１００８のデュアルリンクは、少なくとも１つのソース１１０と複数のクライアント装置との間を行き来する制御データと、ソースマルチメディア信号と、複数のクライアント装置に向けられた編集済みマルチメディア信号と、を搬送する。
【００６６】
ソースビデオ信号処理モジュール１０２４は、デワープモジュール３２０及び圧縮解除モジュール３５０を装備されて、純ビデオ信号９２０を生成してよく、純ビデオ信号９２０は、補正済みビデオ信号３２２又は修正済みビデオ信号３２４であってよい。
【００６７】
ネットワークインタフェース１０１０は、ソースビデオ信号をソースビデオ信号処理モジュール１０２４に誘導し、制御データ９２１をソース制御データ処理モジュール１０２２に誘導する。ソースビデオ信号処理モジュール１０２４は以下の処理を実施する。
（１）ビデオ信号のデワープ（モジュール３２０、図５）
（２）ビデオ信号の圧縮解除（モジュール３５０）及びデワープ（モジュール３２０、図７）、又は
（３）ビデオ信号の圧縮解除（モジュール３５０）
【００６８】
モジュール１０２２とモジュール１０２４は、図１０に示されるように、通信可能につながっている。モジュール１０２２の出力は、モジュール１０２４の処理に影響を及ぼしうる。モジュール１０２４は、ソース１１０に向けて制御データ９２２を生成してよく、制御データ９２２は、モジュール１０２２及びネットワークインタフェース１０１０を介して伝達される。
【００６９】
モジュール１０２４は、純ビデオ信号９２０を、ｍ個（ｍ＞１）のクライアント別適応モジュール１０６０（個別には１０６０（０）から１０６０（ｍ−１）として識別されている）に向ける。クライアント別適応モジュール１０６０は、それぞれ独立したハードウェアプロセッサを使用することが好ましい。各クライアント別適応モジュール１０６０は、必要なコード変換機能を各プロセッサに実施させる命令を記憶するメモリ装置を含む。
【００７０】
クライアント装置から受信されたデータは、アップストリーム制御データ９１０を含む。クライアント装置に向けられるデータは、制御データ９１２及び編集済みマルチメディア信号９４０を含む。アップストリーム制御データ９１０は、ネットワークインタフェース１０１０において抽出され、クライアントの制御データモジュール１０２６に向けられる。クライアント別適応モジュール１０６０は、クライアント制御バス１０６１を介してアップストリーム制御データ９１０にアクセスし、クライアント別制御データは、バッファ１０６２で、又は当該技術分野において知られている別の手段で保持される。クライアント別適応モジュール１０６０において生成されるダウンストリーム制御データは、クライアント制御バス１０６１、クライアント制御データモジュール１０２６、ネットワークインタフェース１０１０、及び少なくとも１つのデュアルリンク１００８を介して各クライアント装置１８０に配信される。各編集済みクライアント別マルチメディア信号９４０が結合されて（結合器１０９０）、この集合体ストリーム１０９５が、ネットワークインタフェース１０１０、少なくとも１つのデュアルリンク１００８、及び少なくとも１つのネットワークを介して各クライアント装置１８０に配信される。
【００７１】
図１１は、クライアント別適応モジュール１０６０の詳細を示す。このモジュールは、プロセッサで実行可能な命令を記憶する少なくとも１つのメモリ装置を含み、これらの命令が実行されると、少なくとも１つのプロセッサが、選択された視聴領域に対応する信号を抽出する、ビデオ信号のコンテンツフィルタリングの処理と、コンテンツフィルタリング済みビデオ信号をコード変換して、ターゲットクライアント装置１８０の能力に適合させる処理と、を実施する。ビデオ信号は、時間変動するフローレートの代表値であってよい許容フローレートの制約下で圧縮されてよい。
【００７２】
クライアント別適応モジュール１０６０は、コンテンツフィルタリングを行う構成要素モジュール１１２０と、クライアント装置の能力への適応を行う構成要素モジュール１１４０と、許容フローレート以内のフローレートを有するビデオ信号を生成する構成要素モジュール１１６０と、を含む。
【００７３】
一実施形態によれば、コンテンツフィルタリングモジュール１１２０は、純ビデオ信号９２０を処理して、指定された視聴領域に対応する信号部分を抽出することにより、コンテンツフィルタリング済み信号１１２２を生成する。コンテンツフィルタリング済み信号１１２２の平均フローレートは、信号９２０の平均フローレートより低くなる。信号１１２２がターゲットクライアント装置の能力に適合していて、許容値を満たすフローレートであれば、この信号がターゲットクライアント装置に送信されてよい。そうでない場合は、モジュール１１４０が適用されて、ターゲットクライアント装置の特性（例えば、フレームレートの上限やフレーム分解能の上限）に適合するように信号１１２２のコード変換が行われる。結果として得られるコード変換されたコンテンツフィルタリング済み信号１１４２のフローレートが許容値を超えていなければ、信号１１４２がターゲットクライアント装置に送信されてよい。そうでない場合は、モジュール１１６０が適用されて、許容フローレートに従って信号１１４２の圧縮が行われてよく、これによって、圧縮済み、コード変換済み、且つコンテンツフィルタリング済みの信号９４０が生成される。
【００７４】
別の実施形態によれば、モジュール１１４０が適用されて、純ビデオ信号９２０のコード変換が行われてよく、これによって、ターゲットクライアント装置の能力に適合するコード変換済み信号１１５２が生成される。コンテンツフィルタリングモジュール１１２０は、信号１１５２を処理して、指定された視聴領域に対応する信号部分を抽出することにより、コンテンツフィルタリングされたコード変換済みの信号１１３２を生成する。コンテンツフィルタリングされたコード変換済みの信号１１３２の平均フローレートは、信号９２０の平均フローレートより低くなる。信号１１３２のフローレートが許容値を満たせば、この信号がターゲットクライアント装置に送信されてよい。そうでない場合は、モジュール１１６０が適用されて、許容フローレートに従って信号１１３２の圧縮が行われてよく、これによって、圧縮済み、コード変換済み、且つコンテンツフィルタリング済みとなった信号９４０が生成される。
【００７５】
図１２は、圧縮ビデオ信号のフローレート（ビットレート）の時間変動を示す。これまで、可変フローレート（ビットレート）信号を特徴づける為に幾つかの記述子が使用されており、例えば、フローレートの平均値及びピーク値、並びにバースト継続時間を表すパラメータが使用されている。これらの記述子、並びに、信号を伝達するように指定された共用ネットワーク経路の容量が、実効フローレート（実効ビットレート）を決定する為に使用されてよい。モジュール１１６０は、実効フローレート（実効ビットレート）が（購入された）ネットワーク接続の許容フローレートを超えないことを確実にする。
【００７６】
図１３に示されるモジュール１３００は、時間制限され、低フローレートでありながらも、パノラマ完全空間カバレッジを提示することに適するビデオ信号を生成することにより、この時間制限ビデオ信号を受信するクライアントが好みの部分カバレッジ視聴を選択することを可能にする。
【００７７】
フレームサンプリングモジュール１３２０に含まれる、プロセッサで実行可能な命令により、プロセッサは、離れたフレーム間隔の間に、純ビデオ信号９２０、又は純ビデオ信号から抽出されたコード変換済みビデオ信号をサンプリングして、完全空間カバレッジサンプリングされた画像に対応する、フレームサンプリングされたビデオ信号１３２２を生成する。フレームサンプリングされたビデオ信号１３２２は、圧縮されておらず、許容フローレートを超えない一定のフローレートを有する。フレームサンプリングされたビデオ信号１３２２は、純ビデオ信号９２０の１つのフレームに対応する全てのデータが蓄積されてから、クライアント装置において表示される。
【００７８】
純ビデオ信号９２０は、補正済み信号３２２又は修正済み信号３２４（図３）であってよい。フレーム間のサンプリング期間は、ビデオ信号９２０のサンプリングされる部分のストリームの（一定）フローレートが許容フローレートを超えないように選択される。例えば、ビデオ信号９２０のデータフローレートが１Ｇｂ／ｓであって、許容フローレートが５Ｍｂ／ｓである場合、フレームサンプリングモジュール１３２０は、ひと組が連続する２００フレームである各組から１つのフレームを選択する。そして、サンプリングされたフレームを受信した特定のクライアント装置１８０が、２００フレームの時間間隔（フレームレートが４０フレーム毎秒であれば５秒）の間に各フレームを繰り返し表示する。サーバ１２０は、その特定のクライアント装置から好みの視聴領域の指示を受け取ったら、各編集済みマルチメディア信号９４０の送信を開始し、フレームサンプルの送信を終了する。
【００７９】
サーバ１２０は、視聴選択ソフトウェア命令を各クライアント装置に送ることにより、クライアントによる好みの視聴領域の選択を促進することが可能である。このソフトウェア命令は、ダウンストリーム制御データ９１２（図９）を搬送する経路と同じ経路で送られてよい。
【００８０】
空間−時間圧縮モジュール１３４０に含まれる、プロセッサで実行可能な命令により、プロセッサは、純ビデオ信号９２０、又は純ビデオ信号から抽出されたコード変換済みビデオ信号を圧縮して、完全空間カバレッジ画像に対応する圧縮信号１３４２を生成する。圧縮信号１３４２は、図１２に示されたようにフローレートが変動するが、圧縮モジュール１３４０は、実効フローレート（実効ビットレート）が許容フローレートを超えないようにしている。
【００８１】
空間−時間圧縮モジュール１３６０は、空間−時間圧縮モジュール１３４０と同様に、純ビデオ信号９２０から抽出された、事前選択されたコンテンツフィルタリング済み（部分カバレッジ）信号１３６２の圧縮をプロセッサに行わせる。連続する時間窓を占有する一連の圧縮されたコンテンツフィルタリング済み信号１３６４が、ターゲットクライアント装置に送られる。各圧縮信号１３６４は、図１２に示されたようにフローレートが変動するが、圧縮モジュール１３６０は、各圧縮信号１３６４の実効フローレート（実効ビットレート）が許容フローレートを超えないようにしている。
【００８２】
図１４は、コンテンツフィルタリング済みビデオ信号をクライアント装置に渡す処理を示す。時刻ｔ１に、特定のクライアント装置１８０のユーザが、特定のイベントの視聴を要求するメッセージ１４０２をサーバ１２０に送る。このメッセージは、時刻ｔ２にサーバ１２０が受け取る。特定のクライアント装置のユーザが好みの視聴領域の識別子をサーバに伝達することを可能にする為に、幾つかの方法が考えられる。
【００８３】
一方法では、サーバが、選択された完全空間カバレッジパノラマ画像に対応するフレームサンプリングされた信号１３２２を時刻ｔ３に送信する。時刻ｔ４に、クライアント装置１８０は、フレームサンプリングされた信号１３２２の受信を開始し、この信号は、１フレーム分のコンテンツが蓄積された後にディスプレイ装置にサブミットされる。時刻ｔ５に、特定のクライアント装置のユーザは、選択された視聴領域を指定するパラメータを渡すメッセージ１４０４を送信する。メッセージ１４０４は、時刻ｔ６にサーバが受け取る。サーバ１２０は、選択された視聴領域に対応する各コンテンツフィルタリング済みビデオ信号を形成する。各コンテンツフィルタリング済みビデオ信号は圧縮されてよく、これによって、圧縮されたコンテンツフィルタリング済み（部分空間カバレッジ）信号１４４０が生成される。サーバは、フレームサンプリングされた信号１３２２の送信を時刻ｔ７に終了し、クライアント装置１８０への信号１４４０の送信を時刻ｔ９に開始する。信号１４４０は、クライアント装置において圧縮解除され、表示される。クライアント装置は、フレームサンプリングされた信号１３２２の最後のフレームを時刻ｔ８までに受け取り、圧縮信号１４４０の受信を時刻ｔ１０に開始する。圧縮信号１４４０の送信は時刻ｔ１１に終了し、この信号の、クライアント装置での受信は時刻ｔ１２に終了する。
【００８４】
別の方法では、サーバは、図１３に示されたように、クライアント装置に適合する、許容フローレートまで圧縮された完全カバレッジビデオ信号１３４２を生成する。サーバは、信号１３４２を時刻ｔ３に送信し、クライアント装置１８０は、圧縮信号の受信を時刻ｔ４に開始する。圧縮信号１３４２は、クライアント装置において圧縮解除され、ディスプレイ装置にサブミットされる。時刻ｔ４の後のイベントシーケンスは、フレームサンプリングされたビデオ信号１３２２の場合に対応するイベントシーケンスと同様になる。
【００８５】
別の方法では、サーバは、図１３に示されたように、事前選択された視聴領域に対応する幾つかのコンテンツフィルタリング済みビデオ信号１３６２を純ビデオ信号９２０から抽出する。これらの抽出されたコンテンツフィルタリング済みビデオ信号のそれぞれは、クライアント装置の能力に適合するものであり、許容フローレートまで圧縮されている。一連の信号１３６２がクライアント装置に送信されてよく、クライアント装置のユーザは、事前選択された視聴領域のうちの好みの１つを示すメッセージをサーバに送信してよい。
【００８６】
図１５は、サーバ１２０からクライアント装置１８０に送信されるビデオ信号のビットレート（フローレート）の時間変動を示す。フレームサンプリングされた信号１３２２のビットレートは一定であり、所定の許容ビットレートを超えない値に設定されている。圧縮されたコンテンツフィルタリング済み信号１４４０のビットレートは時間変動する。従来、可変ビットレートは、平均ビットレート、ピークビットレート、平均データバースト長などのパラメータによって特徴づけられる。これらのパラメータを、各ネットワーク経路の容量とともに使用して、「実効ビットレート」を算出することが可能であり、これは平均ビットレートより大きい。フレームサンプリングされた信号１３２２を形成することにより、結果として得られる一定ビットレートは、確実に、（サービスレベル合意に基づいてよい）所定の許容ビットレートを超えない。サーバ１２０における圧縮処理は、圧縮信号１４４０の実効ビットレートが許容ビットレートを超えないように考案されている。
【００８７】
図１６は、サーバ１２０の信号編集ユニット４６０（図４から図９）の基本構成要素１６００を示す。第１の段階１６１０では、純ビデオ信号９２０が処理されて、Ｋ個（Ｋ≧１）のコンテンツフィルタリング済み信号１６１２が生成される。第２の段階１６２０では、各コンテンツフィルタリング済み信号１６１２が、それぞれのクライアント装置又はクライアント装置群１８０に適応される。各コンテンツフィルタリング済み信号は、それぞれの信号処理ユニット１６３０に誘導されて、フレームレートの上限、分解能、及びフローレート（ビットレート）を含む幾つかの条件を満たす、それぞれの調整済み信号１６５０が生成される。調整済み信号１６５０は、幾つかのクライアント装置にマルチキャストされることに適していてよい。コンテンツフィルタリング済み信号１６１２は、個別には１６１２（０）から１６１２（Ｋ−１）として識別されている。信号処理ユニット１６３０は、個別には１６３０（０）から１６３０（Ｋ−１）として識別されている。調整済み信号１６５０は、個別には１６５０（０）から１６５０（Ｋ−１）として識別されている。
【００８８】
図１７は、Ｋ個のコンテンツフィルタリングモジュール１７２０（個別には１７２０（０）から１７２０（Ｋ−１）として識別されている）を含むコンテンツフィルタリング段階１６１０を示す。各コンテンツフィルタリングモジュール１７２０は、純ビデオ信号９２０から、指定された視聴領域に対応する部分を抽出することを物理プロセッサ（図示せず）に行わせるように考案されている。純ビデオ信号９２０は各コンテンツフィルタリングモジュール１７２０にサブミットされ、各モジュール１７２０は、対応するコンテンツフィルタリング済み信号１６１２を生成するように活性化される。特定のコンテンツフィルタリング済み信号１６１２が、その特定のコンテンツフィルタリング済み信号に対応する、視聴領域の好みを示した幾つかのクライアントにマルチキャストされてよい。しかしながら、クライアント装置はそれぞれ特性が異なる場合があり、クライアント装置までのネットワーク経路の容量がそれぞれ異なる場合があり、ネットワーク経路の容量、及びクライアント装置における時間変動トラフィック負荷がそれぞれ異なる為にクライアント装置に対する許容フローレートがそれぞれ異なる場合がある。従って、コンテンツフィルタリング済み信号１６１２は、第２の段階１６２０において、クライアント装置及びネットワーク経路に適応するように処理される。
【００８９】
図１８は、第２の段階１６２０の信号処理ユニット１６３０を示しており、これは、クライアント装置の各タイプに対する信号適応を行うコード変換モジュール１８４０と、許容フローレートに適合する為の信号フローレート適応を行うモジュール１８６０と、を含む。モジュール１８４０は、フレームレート及び分解能が各クライアント装置の能力の範囲に収まるようにビデオ信号を適応させることが可能である。Ｎ個のタイプ（Ｎ≧１）のクライアント装置が活動している場合、モジュール１８４０は、それぞれが各装置タイプに適応されたＮ個の信号１８４２（個別には１８４２（０）から１８４２（Ｋ−１）として識別されている）を生成する。モジュール１８６０は更に、信号のフローレートが許容値を超えた場合にはフローレートを下げることが可能である。各モジュール１８６０（ｊ）（０≦ｊ＜Ｎ）は、各信号１８４２のデータブロックを保持するバッファ１８６１と、プロセッサで実行可能なフローレート適応命令を記憶するメモリ装置１８６２と、を含む。
【００９０】
図１９は、信号編集ユニット４６０の一例示的実施態様１９００を示す。図１７に示されたように、コンテンツフィルタリング段階１６１０は、Ｋ個のコンテンツフィルタリングモジュール１７２０を含む。各コンテンツフィルタリング済み信号１６１２は、コード変換モジュール１８４０にサブミットされて、クライアント装置の各タイプに対して適応される。コード変換モジュール１８４０は、コンテンツフィルタリング済み信号１６１２のデータブロックを保持するバッファ１９２２と、プロセッサで実行可能な命令を記憶するメモリ装置１９２３とを含み、これらの命令によって、プロセッサは、フレームレート及び／又は分解能を、クライアント受信機の能力に適合するように修正する。コード変換モジュール１８４０の各出力信号１８４２は、フローレート適応モジュール１８６０において更に処理されてよい。
【００９１】
図１７に示されたように、Ｋ個のモジュール１７２０（個別には１７２０（０）から１７２０（Ｋ−１）として識別されている）（Ｋ＞１）が同時に活性化されることにより、異なるコンテンツフィルタリング済み信号１６１２（０）から１６１２（Ｋ−１）が抽出されてよく、これらのそれぞれが更に、それぞれの信号処理ユニット１６３０において処理されて、各クライアント装置又はクライアント装置群での表示に適する信号１６５０が生成される。図１８に示されたように、コンテンツフィルタリング済み信号１６１２は、ターゲットクライアント装置１８０に適合するようにコード変換され、更に、許容上限を超えないフローレートに適応される。図２０は、ターゲットクライアント装置１８０に対するビデオ信号編集の処理２０００を示す。制御信号９１０は、トラフィックパフォーマンス測定値２０１４、公称フレームレート及びフレーム分解能２０１６、並びに好みの視聴領域の識別子２０１２を提供してよい。純ビデオ信号９２０がコンテンツフィルタリングモジュール１７２０（ｊ）に誘導されることにより、ターゲットクライアント装置のユーザによって識別された視聴領域ｊに対応するコンテンツがビデオ信号９２０から抽出される。モジュール２０４０は、モジュール１８４０（ｊ）において使用される、ターゲットクライアント装置１８０に適合する許容フローレートΦ、並びにフレームレート及びフレーム分解能を決定する為に活性化される。コード変換モジュール１８４０（ｊ）は、抽出されたコンテンツフィルタリング済み信号１６１２（ｊ）を、モジュール２０４０によって決定されたフレームレート及びフレーム分解能に適応させる為に活性化される。圧縮モジュール２０３０が編集済みビデオ信号９４０を生成し、この信号は、識別された視聴領域に適合し、ターゲットクライアント装置１８０の能力と、サーバ１２０からターゲットクライアント装置１８０までのネットワーク経路の能力とに適応されている。送信機２０５０が信号２０５２をターゲットクライアント装置に送信する。信号２０５２は、ビデオ信号９４０と、付随するマルチメディア信号（例えば、オーディオ信号及び／又はテキスト）及び制御信号とを一緒に含む。信号２０５２は、ネットワーク経路２０６０を通ってターゲットクライアント装置にルーティングされる。
【００９２】
図２１は、モジュール２０４０の詳細を示す。処理２１１０は、サーバに記憶されるか、ターゲットクライアントから受信される制御信号９１０に含まれていてよい、ターゲットクライアント装置１８０の公称フレームレート及び公称フレーム分解能から始めて、ターゲットクライアント装置１８０のディスプレイ装置において必要なフローレートＲを、フレームレートとフレーム当たり画素数と画素当たりビット数とを直接掛け合わせることによって決定する。処理２１２０は、独立に、サーバとターゲットクライアント装置との間の許容フローレートΦ（参照符号２１２２）を、ネットワーク経路２０６０上のトラフィックパフォーマンスの測定値と、クライアント装置の受信バッファの占有率とに基づいて決定する。トラフィックパフォーマンス測定値は、データロスインジケータ（あれば）及び遅延ジッタを含む。トラフィックパフォーマンス測定値は、当該技術分野においてよく知られている技術を用いて測定される。測定されたトラフィックパフォーマンスに基づいて許容フローレートを決定することは、実験式に基づいてよく、或いはパラメータ化分析モデルに基づいてよい。
【００９３】
処理２１４０は、ネットワーク経路２０６０上の許容フローレートΦに対する、ターゲットクライアントサーバのディスプレイ装置において必要なフローレートＲの比が、圧縮モジュール２０３０にとって適切かどうかを判定する。フローレートＲを下げないと圧縮比制限が満たされない場合には、処理２１５０は、改訂フレームレート及び／又は改訂分解能２１５２を決定してよく、これがモジュール１８４０（図２０）に伝達される。許容フローレートΦは、圧縮モジュール２０３０に伝達されてよい。
【００９４】
図２２は、クライアント装置１８０の構成要素を示す。メモリ装置２２１０が、クライアント装置の特性化データ（例えば、ディスプレイ装置のフレームレート及びフレーム分解能の上限）を記憶する。メモリ装置２２２０が、特定のサーバ１２０と相互作用するソフトウェア命令を記憶する。これらの命令は、クライアント装置のユーザが好みの視聴領域の識別情報をサーバに伝達することを可能にするソフトウェアモジュールを含んでよい。ソフトウェア命令は、クライアント装置のユーザによってインストールされてよく、或いは、ダウンストリーム制御信号９１２と一緒にサーバ１２０から送信されてよい。クライアント送信機２２３０が、全ての制御データをクライアント装置から各サーバ１２０に送信する。クライアント受信機２２４０が、サーバ１２０からの全ての信号を受信し、これには、編集済みビデオ信号９４０（これは圧縮されていてよい）、他のマルチメディアデータ（オーディオ信号及びテキスト）、及び制御信号９１２が含まれる。インタフェース２２４２が、制御信号９１２をプロセッサ２２５０に振り分け、編集済みビデオ信号９４０を、付随するオーディオ信号及びテキストと一緒にメモリ装置２２６０に振り分け、メモリ装置２２６０は、ビデオ信号９４０、オーディオデータ、及びテキストを含む着信マルチメディアデータのデータブロックをバッファリングする。着信マルチメディアデータが圧縮されていない場合、データはディスプレイ装置２２９０に渡される。着信マルチメディアデータが圧縮されている場合は、クライアント圧縮解除モジュール２２７０が、メモリ装置２２６０にバッファリングされている圧縮データブロックを圧縮解除して表示データを生成し、これが、ディスプレイ装置２２９０につながっているメモリ装置２２８０で保持される。特に、フレームサンプリングされた完全カバレッジ信号１３２２（図１３、図１４）の１フレーム分に対応するデータブロックが、メモリ装置２２８０からデキューされるまで何度も表示されてよい。
【００９５】
図２３は、パノラママルチメディアサーバ１２０と２つのパノラママルチメディアソース１１０−０及び１１０−１との間の通信経路を示す。マルチメディアソース１１０は、パノラマカメラ３１０（例えば、４πカメラ）を含み、図３から図８に示されたように、デワープモジュール３３０及び／又は圧縮モジュール３４０を含んでよい。パノラママルチメディアソース１１０は２つだけ示されているが、当然のことながら、パノラママルチメディアサーバ１２０は、より多くのマルチメディアソース１１０から同時にコンテンツを取得してよい。好ましい一実施態様では、パノラママルチメディアサーバは、パノラママルチメディアサーバのネットワーク接続性及び処理能力を活動レベルに応じて選択できるように、クラウドエンベデッドされている。パノラママルチメディアソース１１０からのソースマルチメディア信号は、適切な伝送能力のネットワーク経路２３１２を通って、パノラママルチメディアサーバ１２０に送信される。ソースマルチメディア信号は、ソースビデオ信号２３４０を含む。
【００９６】
ネットワーク経路２３１２が理想的であれば、パノラママルチメディアサーバ１２０が受信するマルチメディア信号は、送信されたビデオ信号の遅延した複製となる。しかしながら、ネットワーク経路２３１２は、ソース側のルータ、受け側のルータ、並びに場合によっては１つ以上の中間ルータを通る可能性がある。従って、受信されるマルチメディア信号は、ノイズ、遅延ジッタ、並びに場合によっては信号の一部消失に見舞われる可能性がある。サーバ１２０における信号フィルタリング、並びにフローレート制御によって、受信されるマルチメディア信号のコンテンツは、送信されたマルチメディア信号のコンテンツに近い複製となる。受信されたマルチメディア信号のビデオ信号成分２３６０は、上述のように規定されたソースビデオ信号を構成する。
【００９７】
ソースビデオ信号２３６０は、図３に示されたように、パノラマカメラで生成された「ロー」ビデオ信号３１２、補正済みビデオ信号３２２、又は圧縮ビデオ信号３４２、又はコンパクトビデオ信号３４３であってよい。デワープモジュール３３０により、ロービデオ信号から補正済みビデオ信号３２２が生成される。圧縮モジュール３４０（図３）により、標準化された圧縮方法又は独自の圧縮方法のいずれかに従って、ロー信号３１２から圧縮ビデオ信号３４２が生成される。圧縮モジュール３４０により、補正済みビデオ信号３２２からコンパクトビデオ信号３４３が生成される。ロービデオ信号は、単一のパノラマカメラ、又は複数のカメラにより生成されてよい。
【００９８】
パノラママルチメディアサーバ１２０は、ネットワーク経路２３１４を介して、制御信号９２２（図９）をパノラママルチメディアソース１１０に送信してよく、ネットワーク経路２３１４は、ペイロード経路２３１２に比べて伝送容量が（格段に）低いものとなる。制御信号９２２は、パノラママルチメディアソース１１０において、信号９２２と同じ制御情報を有する制御信号２３４１として受信される。
【００９９】
図２４は、パノラママルチメディアサーバ１２０と複数の異種クライアント装置１８０との間の通信経路を示す。パノラママルチメディアサーバ１２０は、ネットワーク経路２４１２を介して、編集済みマルチメディア信号９４０をクライアント装置に送信する。パノラママルチメディアサーバ１２０は、個々のクライアント装置１８０から制御データ９１０を受信する。制御データ９１０は、サービスの要求と視聴領域の選択とを含んでよい。
【０１００】
図２５は、マルチメディアソース１１０において生成されたパノラママルチメディア信号２３４０から適応されたクライアント別マルチメディア信号９４０を複数の異種クライアント装置１８０にマルチキャストするシステム２５００を示す。マルチメディア信号９４０は、各クライアント装置の能力、ネットワーク経路の利用可能な容量（「帯域幅」）、及びクライアントの好みに対して個別に適応される。パノラママルチメディアサーバ１２０は、共用クラウドコンピューティングネットワーク内に割り当てられたハードウェア処理ユニット及びメモリ装置を使用して実施されてよい。或いは、クラウドの外側のコンピューティング施設において、選択された処理が実施されてよい。
【０１０１】
図２６は、少なくとも１つのハードウェアプロセッサ２６１０を含む、パノラママルチメディアサーバ１２０のモジュール構造を示す。マルチメディアソースインタフェース２６５１が、マルチメディアソース１１０との通信を制御する。モジュール２６５２が、マルチメディアソース１１０を特性化し、受信されたパノラママルチメディア信号２３６０を処理するように考案されたモジュールのセット２６２０にソース特性化データを伝達する。ソース特性化データは、パノラママルチメディアソースによって伝達される特性化データから、或いは、記憶されているレコードから決定されてよい。モジュールのセット２６２０は、伝送ノイズや遅延ジッタに起因する信号劣化を相殺する信号フィルタリングモジュール２６２１を含み、圧縮解除モジュール３５０及びデワープモジュール３２０を含んでよい。信号フィルタリングモジュール２６２１は、ノイズ及び遅延ジッタによって引き起こされる信号劣化を相殺する。「ロー」ビデオ信号３１２（図３）がソースにおいてデワープされて「補正済み信号」３２２が生成され、これが更にソースにおいて圧縮される場合、圧縮解除モジュール３５０は、適切な圧縮解除処理を適用して、補正済み信号３２２の複製を生成する。そうでない場合、ロービデオ信号３１２がソースにおいてデワープされずに圧縮されていれば、圧縮解除モジュール３５０は、適切な圧縮解除処理を適用して、ロー信号３１２の複製を生成し、これがデワープモジュール３２０によってデワープされる。
【０１０２】
クライアント装置関連モジュール２６４０は、クライアント装置特性化モジュール２６４２と、クライアント装置の特性に対する信号適応を行うモジュール２６４３とを含む。クライアント装置特性化モジュール２６４２は、クライアントプロファイルデータベース２６４１に依存してよく、或いは、クライアントのインタフェース２６６１を介して受信された特性化データからクライアント装置の特性を抽出してよい。クライアントの装置の特性は、処理能力、フレームレート、フレーム分解能、フローレート制限などに関するものであってよい。
【０１０３】
クライアント別モジュール２６６０は、クライアントのインタフェース２６６１と、クライアントの環境に対する信号適応を行うモジュール２６６２と、クライアントの視聴の好みに対する信号適応を行うモジュール２６６３と、を含む。
【０１０４】
図２７は、学習モジュール２７２５を含むパノラママルチメディアサーバ１２０を示しており、学習モジュール２７２５は、視聴選択肢のクライアントの選択を追跡することと、視聴選択肢をクライアント装置の特性及びクライアントの他の属性と相互に関連付けることと、を行う。
【０１０５】
図２８は、パノラママルチメディアサーバ１２０において実施される処理を示しており、この処理では、パノラマビデオ信号がクライアント装置タイプに対して適応されてから、コンテンツフィルタリングされる。処理２８２０では、ソースビデオ信号２３４０がソースにおいて圧縮されている場合に、受信されたソースビデオ信号２３６０が圧縮解除される。ソースビデオ信号２３４０がソースにおいてデワープされていない場合には、受信されたソースビデオ信号２３６０がデワープされる。処理２８２０では純ビデオ信号９２０が生成され、この信号は、上述のように、補正済みビデオ信号３２２又は修正済みビデオ信号３２４（図３）であってよい。複数の処理２８３０が並列に実行されてよく、これによって、純ビデオ信号９２０が、様々なタイプのクライアント装置に適応されたビデオ信号にコード変換される。
【０１０６】
処理２８３０のそれぞれは、クライアント装置の各タイプに固有である。処理２８３０では、処理２８２０の結果として得られる純ビデオ信号９２０がコード変換されて、クライアント装置の各タイプに適する修正済み信号が生成される。幾つかのクライアントが同じタイプの装置を使用していてよい。しかしながら、各クライアントは視聴の好みが異なってよい。処理２８３０で生成されたビデオ信号が、処理２８４０において、各クライアント（人間）の視聴領域の選択結果に適応される。しかしながら、同じタイプの装置を使用する２つ以上のクライアントが視聴の好みも同様である場合には、処理２８４０が１つだけ実行されてよく、結果として適応された信号がその２つ以上のクライアントに送信される。
【０１０７】
図２９は、パノラママルチメディアサーバ１２０において実施される処理を示しており、この処理では、パノラマビデオ信号が、コンテンツフィルタリングされてから、クライアント装置タイプに対して適応される。図２８の処理２８２０と同様に、ソースビデオ信号２３４０がソースにおいて圧縮されている場合に、受信されたソースビデオ信号２３６０が圧縮解除される。ソースビデオ信号２３４０がソースにおいてデワープされていない場合には、受信されたソースビデオ信号２３６０がデワープされる。処理２８２０では純ビデオ信号９２０が生成され、この信号は、上述のように、補正済みビデオ信号３２２又は修正済みビデオ信号３２４（図３）であってよい。メモリ装置が、部分カバレッジ視聴領域の所定の記述子のセット２９２５を記憶する。
【０１０８】
複数の処理２９３０が並列に実行されてよく、これによって、純ビデオ信号９２０のコンテンツフィルタリングが実施されて、部分カバレッジ視聴領域の所定の記述子に対応するコンテンツフィルタリング済みビデオ信号が生成される。コンテンツフィルタリング済みビデオ信号を、タイプの異なる複数のクライアント装置に適応させる為に、複数の処理２９４０が並列に実行されてよい。２つ以上のクライアントが同じ視聴領域を選択し、同じタイプのクライアント装置を使用する場合には、処理２９４０が１つだけ実行され、結果として適応されたビデオ信号がその２つ以上のクライアントに送信される。
【０１０９】
図３０は、パノラママルチメディア信号を取得し、取得したマルチメディア信号を個々のクライアントに適応させる方法を示す。パノラママルチメディアサーバ１２０は、パノラママルチメディア信号と、好ましくはそれぞれのメタデータとを、選択されたパノラママルチメディアソース１１０から取得する（処理３０１０）。取得されたパノラママルチメディア信号はソースビデオ信号を含み、これは、図３に示されたように、ロービデオ信号、補正済みビデオ信号、圧縮ビデオ信号、又はコンパクトビデオ信号であってよい。ソースビデオ信号は、ノイズや遅延ジッタに起因する劣化を相殺する為にフィルタリングされ（処理３０１２）、信号がソースにおいて圧縮されている場合には圧縮解除される（処理３０１４）。そこまでに処理された信号は、ソースにおいて最初にデワープされていない場合にはデワープされる（処理３０１８）。処理３０１０から処理３０１８までで純ビデオ信号９２０が生成される。
【０１１０】
クライアントからのサービス要求が受信されると（処理３０２０）、純ビデオ信号９２０は、クライアントの装置の特性に対して適応される（処理３０２２）。適応された信号は、圧縮され（処理３０２６）、クライアント装置に送信される（処理３０２８）。処理３０２６では、サーバからクライアント装置までのネットワーク経路の状態によって生ずる可能性があるフローレート制約が考慮される。
【０１１１】
クライアントは、特定の視聴領域を希望してよく、パノラママルチメディアサーバ１２０と通信して好みを伝えることが可能である。好みの視聴領域を指定する制御信号３０３０がクライアントから受信されると（処理３０３２）、処理３０２２で生成された、適応された信号がコンテンツフィルタリングされ（処理３０３４）、圧縮され（処理３０２６）、クライアント装置に送信される（処理３０２８）。純視聴信号９２０は、ストリーミングセッション中に複数回コンテンツフィルタリングされてよい。
【０１１２】
図３１は、図３０の方法と同様の、パノラママルチメディア信号を取得し、取得したマルチメディア信号を個々のクライアントに適応させる方法を示す。異なるのは、処理３０１０、３０２０、及び３０２２の実行順序だけである。
【０１１３】
図３２は、パノラママルチメディアサーバ１２０において保持される、特定のパノラママルチメディアソース１１０に対応する一例示的ストリーミング制御テーブル３２００を示す。特定のクライアント装置１８０に配信される編集済みマルチメディア信号９４０（図９、図２４）は、そのクライアント装置の特性と、そのクライアント装置を使用する視聴者の視聴の好みとに依存する。多数のクライアント装置１８０が（活動をリアルタイムで監視している）パノラママルチメディアサーバ１２０に同時に接続している場合には、以下のことが可能性としてありそうである。
（ｉ）多数のクライアントが、同じ特性のクライアント装置１８０を使用するが、視聴の好みがそれぞれ異なる。
（ｉｉ）多数のクライアントが、視聴の好みはよく似ているが、使用するクライアント装置の特性がそれぞれ異なる。且つ／又は、
（ｉｉｉ）２人以上のクライアントが、同じ特性のクライアント装置を使用し、視聴の好みも同じである。
【０１１４】
従って、パノラママルチメディアサーバ１２０の処理負担を減らすために、
特性が同じである全てのクライアント装置に対してモジュール２６４３が１回だけ実行されてよく、次に、同様のクライアント装置と同様の視聴の好みとを有する全てのクライアントに対してモジュール２６６３が１回だけ実行されてよい。或いは、
視聴の好みが同様である全てのクライアントに対してモジュール２６６３が１回だけ実行されてよく、次に、同様の視聴の好みと同様のクライアント装置とを有する全てのクライアントに対してモジュール２６４３が１回だけ実行されてよい。
【０１１５】
上述のように、モジュール２６４３は、クライアント装置の特性に対する信号適応を行うように考案されており、モジュール２６６３は、クライアントの視聴の好みに対する信号適応を行うように考案されている。
【０１１６】
クライアントのサービス要求はランダムな順序で到着する可能性があり、先行する信号適応処理を追跡する簡単な一方法は、ストリーミング制御テーブル３２００（図３２）を使用することである。テーブル３２００は、ＮＵＬＬで初期化されている。図３２の例では、クライアント装置１８０の８つのタイプがＤ０、Ｄ１、…、Ｄ７と表されており、６つの視聴選択肢がＶ０、Ｖ１、…、Ｖ５と表されており、これらは、例えば、視聴立体角に従って定量化される。第１のクライアントが、タイプＤ１のクライアント装置を使用してパノラママルチメディアサーバ１２０にアクセスし、視聴選択肢Ｖ３を要求した。この場合は、ストリーム０と表されたストリームが生成され、制御テーブル３２００に示される。タイプＤ５のクライアント装置１８０を使用し、視聴選択肢Ｖ２を指定した別のクライアントに対しては、ストリーム１と表される別のストリームが生成され、その他も同様に行われる。制御テーブル３２００には６つのストリームだけが識別されているが、当然のことながら、同時に接続されているクライアント装置１８０が多数ある場合には、多数のストリームがあってよい。クライアントからの新しい要求が受信されると、制御テーブル３２００がアクセスされて、新しいストリームを生成するべきか、既存のストリームをそのクライアントに向けるべきかが判定される。本明細書では、ある装置タイプに対応する全てのストリームが、ある「ストリームカテゴリ」を形成するものとされている。
【０１１７】
図３３は、特定のクライアント装置１８０に対するビデオ信号の最初の適応のストリーミング制御処理３３００を示す。クライアント装置１８０からのサービス要求がクライアントインタフェースモジュール２６６１において受信され（処理３３１０）、クライアント装置１８０のタイプが識別される（処理３３１２）。処理３３１４では、その装置タイプが想定されているかどうかが判定される。
【０１１８】
クライアント装置タイプがまだ想定されていないものであれば（処理３３１４）、新しいストリームカテゴリが作成され（処理３３２０）、純ビデオ信号９２０がその装置タイプに適応される（処理３３２２）。新しいストリームカテゴリが記録され（処理３３２４）、新しいストリームが生成され（処理３３２６）、その特定のクライアント装置に送信される（処理３３３０）。
【０１１９】
その装置タイプが既に想定されている場合（処理３３１４）には、ストリームカテゴリが識別される（処理３３１６）。この時点では、クライアントは視聴の好みを示していなくてもよく、デフォルトの視聴選択肢が割り当てられてよい。識別された視聴領域に対応するストリームが既に生成されている場合（処理３３２６）には、そのストリームがその特定のクライアント装置に送信される（処理３３３０）。そうでない場合には、新しいストリームが生成され（処理３３２６）、その特定のクライアント装置に送信される（処理３３３０）。
【０１２０】
図３４は、クライアント装置１８０のタイプごとの視聴選択肢の数を示す、学習モジュール２７２５によって生成された一例示的テーブル３４００を示す。Ｄ０、Ｄ１、…、Ｄ７と表される８つのクライアント装置タイプと、Ｖ０、Ｖ１、…、Ｖ５と表される６つの視聴選択肢とが想定されている。このテーブルは、装置タイプと、可動時間窓であってよい所定の時間窓にわたる視聴選択肢と、によって規定される各ストリームの選択数を蓄積してよい。
【０１２１】
図３４の例示的テーブルでは、Ｄ１と表されるクライアント装置を使用するクライアントに最も人気のある視聴選択肢は、（その時間窓の間に６４回選択されている）視聴選択肢Ｖ３である。そこで、パノラママルチメディアサーバ１２０において受信される、タイプＤ１のクライアント装置からの新しいサービス要求に対しては、まず視聴選択肢Ｖ３が割り当てられてよい。
【０１２２】
図３５は、パノラママルチメディアサーバ１２０とネットワークとの結合を示す。パノラママルチメディアサーバ１２０は、その全体がクラウドコンピューティングネットワーク内で実施されてよく、クライアント装置１８０との通信も、そのクラウドコンピューティングネットワーク内で行われてよい。或いは、生成されたクライアントバウンドストリーム９４０が、別のネットワークのルータ／スイッチ３５４０を介してクライアント装置にルーティングされてよい。ルータ−スイッチ３５４０は、入力ポート３５４１及び出力ポート３５４２を介して多数の他のサーバ又は他のルータ−スイッチと接続してよい。
【０１２３】
本開示のパノラママルチメディアサーバは、タイプが異なる複数のパノラママルチメディアソース、並びに能力が異なる複数のクライアント装置と相互作用するように考案されている。サーバは、パノラママルチメディアソースと制御信号を交換することにより、マルチメディア信号を、マルチメディア信号の記述子、並びにソースにおいて実施された信号処理を示すデータと一緒に取得することを可能にしてよい。サーバは、クライアント装置と制御信号を交換することにより、完全カバレッジ（達成可能カバレッジ）パノラマビデオ信号の信号サンプルの配信を調整し、クライアント装置における視聴者から好みの視聴領域の識別子を取得してよい。
【０１２４】
サーバは、クライアントの視聴の好みをキャプチャする幾つかの方法を実施するように考案される。一方法によれば、達成可能空間カバレッジに対応する信号サンプルがクライアント装置に送信され、クライアント装置における視聴者が、好みの視聴領域の識別子をサーバに送信してよい。そして、サーバは、対応するコンテンツフィルタリング済みビデオ信号を送信する。サーバは、つながっている各クライアント装置にソフトウェアモジュールを配信することにより、この処理を可能にする。別の方法によれば、サーバは、様々な視聴領域に対応する幾つかのコンテンツフィルタリング済みビデオ信号を各クライアント装置にマルチキャストしてよい。コンテンツフィルタリング済みビデオ信号は、完全カバレッジ（達成可能カバレッジ）パノラマビデオ信号から抽出される。クライアント装置における視聴者は、それぞれの選択結果を個別にシグナリングしてよい。サーバは、冗長な処理を無くす為にストリーミング制御テーブル（図３２）を使用してよい。
【０１２５】
上述の各処理を各ハードウェアプロセッサに実施させる、プロセッサで実行可能な命令は、プロセッサ可読媒体、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、フラッシュＲＯＭ、不揮発性ＲＯＭ、又はＲＡＭに記憶されてよい。様々なプロセッサ、例えば、マイクロプロセッサ、デジタル信号プロセッサ、ゲートアレイなどが使用されてよい。
【０１２６】
本発明の特定の実施形態を詳細に説明してきたが、当然のことながら、記載された実施形態は、例示的であって限定的ではないものとする。 図面において示され、本明細書において記載された実施形態の様々な変更及び修正が、本発明の、そのより広い態様での範囲から逸脱しない限り、以下の特許請求の範囲内で行われてよい。
【図１】
2018530954.tif 000003
【図２】
2018530954.tif 000004
【図３】
2018530954.tif 000005
【図４】
2018530954.tif 000006
【図５】
2018530954.tif 000007
【図６】
2018530954.tif 000008
【図７】
2018530954.tif 000009
【図８】
2018530954.tif 000010
【図９】
2018530954.tif 000011
【図１０】
2018530954.tif 000012
【図１１】
2018530954.tif 000013
【図１２】
2018530954.tif 000014
【図１３】
2018530954.tif 000015
【図１４】
2018530954.tif 000016
【図１５】
2018530954.tif 000017
【図１６】
2018530954.tif 000018
【図１７】
2018530954.tif 000019
【図１８】
2018530954.tif 000020
【図１９】
2018530954.tif 000021
【図２０】
2018530954.tif 000022
【図２１】
2018530954.tif 000023
【図２２】
2018530954.tif 000024
【図２３】
2018530954.tif 000025
【図２４】
2018530954.tif 000026
【図２５】
2018530954.tif 000027
【図２６】
2018530954.tif 000028
【図２７】
2018530954.tif 000029
【図２８】
2018530954.tif 000030
【図２９】
2018530954.tif 000031
【図３０】
2018530954.tif 000032
【図３１】
2018530954.tif 000033
【図３２】
2018530954.tif 000034
【図３３】
2018530954.tif 000035
【図３４】
2018530954.tif 000036
【図３５】
2018530954.tif 000037
【国際調査報告】
2018530954.tif 000038
2018530954.tif 000039