(57)【要約】  発信元サイトもしくはコンテンツ制作者(例えばTVスタジオ)と(1つまたは複数の)配信もしくは消費サイトとの間の順方向映像伝送のコンテンツ利用の監視、品質制御、自動検証、信頼度の監視、および/または純収益の監視を可能にする技術。詳細には、(1つまたは複数)の配信サイトは、ハンドオーバポイントにおける映像品質についての情報を提供するために、様々なハンドオーバポイントから発信元サイトに、順方向映像伝送に基づいて映像信号を返す。
2013534785.tif 000002
【特許請求の範囲】
【請求項１】
順方向映像伝送を監視する方法であって、
第1のポイントから第2のポイントへ第1のリンクを通じて第1の映像信号を伝送するステップと、
前記第2のポイントにおいて前記第1の映像信号から第2の映像信号を生成するステップと、
前記第2のポイントから前記第1のポイントへ第2のリンクを通じて前記第2の映像信号を伝送するステップであって、前記第1のリンクと前記第2のリンクが同じネットワーク上に構築されないステップと
を含む、方法。
【請求項２】
前記第1のリンクが、単方向のリンクを含む、請求項1に記載の方法。
【請求項３】
前記第1のリンクが、配信ネットワークの一部を含む、請求項1に記載の方法。
【請求項４】
前記第2のリンクが、インターネット上に構築されたリンクを含む、請求項1に記載の方法。
【請求項５】
前記第1のポイントが、コンテンツ制作所、関連会社のサイト、商業上のハンドオーバポイント、または技術上のハンドオーバポイントのうちの少なくとも1つを含む、請求項1に記載の方法。
【請求項６】
前記第2のポイントが、関連会社のサイト、商業上のハンドオーバポイント、技術上のハンドオーバポイント、またはエンドポイントのうちの少なくとも1つを含む、請求項1に記載の方法。
【請求項７】
前記第2の映像信号が、信頼度の監視、純収益の監視、またはハンドオーバの保証のうちの少なくとも1つに適合された信号を含む、請求項1に記載の方法。
【請求項８】
前記第1の映像信号の時間移動されたバージョンおよび第2の映像信号をユーザに提示するステップ
をさらに含む、請求項1に記載の方法。
【請求項９】
前記第1の映像信号の時間移動されたバージョンを前記第2の映像信号と比較するステップ
をさらに含む、請求項1に記載の方法。
【請求項１０】
前記比較の結果に基づいて品質の表示を決定するステップ
をさらに含む、請求項9に記載の方法。
【請求項１１】
前記第2の映像信号が、スケーラブル映像符号化フォーマットで符号化された映像信号を含む、請求項1に記載の方法。
【請求項１２】
第1のポイントから第2のポイントへ第1のリンクを通じて第1の映像信号を伝送するステップと、
前記第2のポイントにおいて前記第1の映像信号から第2の映像信号を生成するステップと、
前記第2のポイントから前記第1のポイントへ第2のリンクを通じて前記第2の映像信号を伝送するステップであって、前記第1のリンクおよび前記第2のリンクが同じネットワーク上に構築されないステップと
を行うようにプログラムされた命令のセットを有する非一時的コンピュータ可読記録媒体。
【請求項１３】
前記第2の映像信号が信頼度の監視、純収益の監視、またはハンドオーバの保証のうちの少なくとも1つに適合された映像信号を含むような命令をさらに含む、請求項12に記載の非一時的コンピュータ可読記録媒体。
【請求項１４】
第1のポイントと第2のポイントとの間の第1のリンクと、
前記第1のポイントと前期第2のポイントとの間の第2のリンクと
を含み、
前記第1のポイントが、前記第1のポイントから前記第2のポイントへ前記第1のリンクを通じて第1の映像信号を伝送するように構成されたポイントを含み、前記第2のポイントが、前記第1の映像信号から導出される第2の映像信号を生成して、前記第2の映像信号を前記第2のポイントから前記第1のポイントへ前記第2のリンクを通じて伝送するように構成されたポイントを含み、前記第1のリンクおよび前記第2のリンクが同じネットワーク上に構築されない、
順方向映像伝送監視システム。
【請求項１５】
前記第1のリンクが、単方向のリンクを含む、請求項14に記載のシステム。
【請求項１６】
前記第1のリンクが、配信ネットワークの一部を含む、請求項14に記載のシステム。
【請求項１７】
前記第2のリンクが、インターネット上に構築されたリンクを含む、請求項14に記載のシステム。
【請求項１８】
前記第1のポイントが、コンテンツ制作所、関連会社のサイト、商業上のハンドオーバポイント、または技術上のハンドオーバポイントのうちの少なくとも1つを含む、請求項14に記載のシステム。
【請求項１９】
前記第2のポイントが、関連会社のサイト、商業上のハンドオーバポイント、技術上のハンドオーバポイント、またはエンドポイントのうちの1つを含む、請求項14に記載のシステム。
【請求項２０】
前記第2の映像信号が、信頼度の監視、純収益の監視、またはハンドオーバの保証のうちの少なくとも1つに適合された信号を含む、請求項14に記載のシステム。
【請求項２１】
前記第2のポイントが、前記第1の映像信号の時間移動されたバージョンおよび第2の映像信号をユーザに提示するように構成されたポイントを含む、請求項14に記載のシステム。
【請求項２２】
前記第2のポイントが、前記第1の映像信号の時間移動されたバージョンを前記第2の映像信号と比較するように構成されたポイントを含む、請求項14に記載のシステム。
【請求項２３】
前記第2のポイントが、前記比較の結果に基づいて品質の表示を決定するように構成されたポイントを含む、請求項22に記載のシステム。
【請求項２４】
前記第2の映像信号が、スケーラブル映像符号化フォーマットで符号化された信号を含む、請求項14に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、全体として参照により本明細書に組み込まれている、2010年6月30日に出願した米国仮特許出願第61/360,200号からの優先権の利益を主張する。
【０００２】
本発明は、例えばケーブルTV(CATV)およびインターネットプロトコルTV(IPTV)など、TV配信環境における双方向映像伝送に関する。
【背景技術】
【０００３】
本出願に関連する主題は、全体として参照により本明細書に組み込まれている、2009年12月22日に出願された、「System And Method For Interactive Synchronized Video Watching」という名称の同時係属の米国特許出願第61/289,249号に見つけることができる。
【０００４】
本開示では、発信元サイトと消費サイトとの間の音声映像信号(「コンテンツ」)の伝送を、コンテンツ配信または映像配信と呼ぶ。TV環境における音声映像コンテンツの典型的な配信経路は、少なくとも次のエンティティ、すなわち、コンテンツを作成するコンテンツ制作所、コンテンツの大量配信に関与する関連会社、および消費者を含むことができる。
【０００５】
まず、音声映像コンテンツは、コンテンツプロデューサまたはコンテンツプロバイダ(例えばTVスタジオ)としても知られるコンテンツ制作所によって制作され、パッケージ化される。これは、2つの概念的ステップ、すなわち(1)例えばカメラおよびマイクなどを用いてシーンを取り込むことによって、またはコンテンツ制作所と別のコンテンツ制作所(例えば別のスタジオ)との間で何らかの形態のデータ伝送を用いることによって、音声映像コンテンツを取得する、コンテンツの取得のステップと、(2)コンテンツ制作所が、例えばコンテンツの異なる部分をミキシングする、ロゴを追加するなどによってコンテンツを処理することができる、コンテンツの処理またはパッケージ化のステップとを含む。コンテンツ制作所は、リアルタイムで、すなわちライブコンテンツに対して稼働することができる、またはコンテンツ制作所は、(例えば映像データベースに格納された)非ライブコンテンツに対して非リアルタイムスケジュールに従って稼働することができる。現在のところ米国の大規模コンテンツ制作所の一例が、CNNである。
【０００６】
コンテンツは制作されると、消費者に配信される。やはり2つの一般的なステップが含まれる。第一に、コンテンツ制作所は、コンテンツの大量配信に関与する関連会社またはライセンシ(licensees)として知られる1つまたは複数のエンティティにコンテンツを利用可能にする。第二に、関連会社が多数のコンテンツプロバイダからコンテンツを取り込むことができ、多くの場合、コンテンツを一部限定的に改作した後に、関連会社によって運営されるネットワークを通じて消費者にコンテンツを利用可能にする。改作は、例えばフォーマットの変換、コマーシャルの挿入(splicing)、関連会社のロゴを追加すること、および/またはデジタル権利管理保護を有効にすることを含むことができるが、コンテンツの内容は完全な状態のままである。現在のところ米国の大規模な関連会社の一例が、Comcastである。関連会社は、リアルタイムでコンテンツプロバイダから入手されたコンテンツを再放送することができるか、または関連会社は、コンテンツをローカルに格納し、関連会社が選択する時間(例えばビデオオンデマンドなど消費者の需要によって、もしくはコンテンツ制作所によって設定される要件(例えば、一定の日時からのみ消費者に利用可能にされるように、早い時期には事前に録画された番組を配信する)によって左右される可能性がある)にこれを再放送することができる。
【０００７】
最終的にコンテンツは消費者のサイトで受信され、消費者に提示されることが可能である。これまでは、これは厳密にリアルタイムのプロセスであり、ユーザが所与の時間に所与のチャンネルに合わせると、ユーザは番組を見ることになるが、そうしなければ見ることはない。最近になって、例えばデジタルビデオレコーダ(DVR)など、ユーザが元の放送時間とは無関係にコンテンツを保存、録画、視聴できるようにする精巧なメカニズムが開発された。
【０００８】
コンテンツ制作所、関連会社、および消費者は、多くの場合異なる事業利益を有する独立したエンティティである。こうしたエンティティのそれぞれの間のリンクは、「ハンドオーバポイント」として知られる。またコンテンツ配信は、いくつかのコンテンツ制作所と関連会社を同時に含むことが考えられる。例えば、ワールドカップサッカーの試合が1つの国で撮影されるとき、ローカルのコンテンツ制作所がオリジナルコンテンツを提供することができる。このコンテンツを第2のコンテンツ制作所に伝えることができ、第2のコンテンツ制作所は、例えば別の国の言語の解説を追加することができる。編集されたコンテンツは、第1の関連会社に利用可能とすることができ、第1の関連会社は(例えばケーブルTVを通じて)コンテンツを自らの接続消費者にだけでなく、第2の関連会社にもコンテンツを伝え、第2の関連会社は、異なるネットワークインフラストラクチャ(例えばインターネット)を通じて同じコンテンツを再配信する。この場合、すべてのコンテンツ制作所、関連会社、およびすべての接続消費者の間にハンドオーバポイントが存在する。
【０００９】
今日、コンテンツ配信メカニズムの大部分は、単方向伝送のみを使用している。図1に示すように、例えばCNNまたはFoxNewsなどのコンテンツ制作所(101)は、映像ソース(102)(例えばカメラまたは他の適切なソース)からライブ映像コンテンツを作成することができる。このコンテンツは、配信ネットワーク(103)(例えば専用回線、衛星接続、および急増している、サービス品質(QoS)を管理されたインターネットリンク)を通じて関連会社(104)のヘッドエンドまで伝送することができる。関連会社は、CableLabs規格に基づくことができる、単方向の送信メカニズムおよびプロトコルを使用して、例えばケーブルテレビ(CATV)を介して消費者にコンテンツを配信することができる。消費者の宅内ではTV(106)により、時としてセットトップボックスおよび/またはその他のハードウェアの助けを借りて、コンテンツが消費者に提示される。
【００１０】
非常に専門化された品質監視設定以外は、関係するエンティティ、すなわちコンテンツ制作所、関連会社、および消費者のいずれの間にも、一般的なフィードバック機構がない。専門化された品質監視設定でも、通常は、ネットワークの品質に関する抽象的な情報、またはせいぜいユーザによる極めて主観的な映像品質評価のみを入手できる。例えば、消費者の選ばれたグループが、チャンネルの好みなど、他のデータの中から主観的な映像品質情報を伝えるために使用することができる専門の機器にアクセスすることができる。ネットワーク機器は、ネットワーク要素に対する簡易ネットワーク管理プロトコル(Simple Network Management Protocol、SNMP)のクエリに基づいた品質監視を含むことができる。コンテンツの伝送が、http://www.ietf.org/rfc/rfc3550.txtで入手可能なIP/UDP/RTP [RFC 3550]プロトコルスタックを使用する場合、例えば、http://www.ietf.org/rfc/rfc361l.txtで入手できる[RFC 3611]に従って、RTCP拡張受信機レポートを使用してフィードバックを提供することができる。
【００１１】
この抽象的な情報は、市場調査員またはネットワークエンジニアに配信側のプログラミングの品質およびネットワーク品質について多くを伝えることができるが、さらに多くのコンテンツ指向の映像エンジニア、制作者、およびスタジオ内の他のメディア専門家は、この抽象的な情報を容易に解釈することができない。しかしながら、コンテンツ指向のメディア専門家は、品質の問題が映像の形態で彼らに示される場合、ツールを自由に使用してこうした問題を識別する、また場合によっては訂正することができる。
【００１２】
メディア品質評価もまた、双方向映像伝送技術に関連することが可能である。通常テレビは、音声および映像媒体のみを使用し、他の人間感覚は刺激されない。したがって、音声および映像の品質を測定すれば十分である。数多くの形式的メディア品質測定基準および技術が提案されており、必ずしもTV配信環境ではないが、いくつかが採用されている。
【００１３】
主観的および客観的メディア品質測定法を区別することができるが、本発明の文脈では主観技法はあまり関連性がない。主観技法は、人間観察者のプールを必要とし、プールの人口が大きくなればなるほど、また(年齢、交際、場所、言語、および文化的嗜好などに関して)多様になればなるほど、結果はより信頼できるものとなることができる。このため信頼できる主観試験は非常に費用がかかり、多くの場合時間がかかるものになる。
【００１４】
客観技法の3つの広義のカテゴリを区別することができる:
(1)Full reference(完全参照)法は、原信号および試験用の信号を使用して品質を判断する。
(2)Reduced reference(縮小参照)法は、例えば音声帯域幅を削減する、完全な帯域幅で単に短いインターバルをとる、完全な解像度で映像フレームレートを下げる、映像解像度を下げるなどによって、帯域幅をあまり消費しないように改造された原信号、および(好適にダウンサンプリングされた)試験用の信号を使用して、品質を測定する。
(3)No reference(参照なし)法は、試験用信号でのみ動作し、一般に、ブロッキングまたは他の符号化アーチファクト(coding artifacts)の存在を検出するなど、発見的方法(heuristic technique)を使用する。
【００１５】
Full reference法は、Reduced reference法よりも信頼できるとみなされ、さらにReduced reference法は、No reference法よりも信頼できるとみなされる。
【発明の概要】
【課題を解決するための手段】
【００１６】
コンテンツ利用の監視、品質制御、自動検証、信頼度の監視、および/または発信元サイトもしくはコンテンツ制作者(例えばTVスタジオ)と(1つもしくは複数の)配信もしくは消費サイトとの間の順方向映像伝送の純収益の監視を可能にする技術を、本明細書に開示する。詳細には、(1つまたは複数の)配信サイトは、ハンドオーバポイントにおける映像品質についての情報を提供するために、様々なハンドオーバポイントから発信元サイトに、順方向映像伝送に基づいて映像信号を返す。
【００１７】
メディア専門家は、映像の観察に基づいて映像関連のパラメータを調整する経験を有する。いかなるハンドオーバポイントでも利用できる映像品質に関するメディア専門家の洞察を提供すると、消費者の人口に対して映像品質を向上させるのに役立つ可能性がある。
【００１８】
品質監視の配置が、重要となることがある。監視されるハンドオーバポイントがコンテンツ制作所に近づくほど、より多くの消費者が、行われている調整から恩恵を受けることができる。一方、監視には、元のコンテンツソースと消費者に近いハンドオーバポイントとの間のすべてのエンティティの品質への潜在的な悪影響が含まれるので、監視されるハンドオーバポイントが消費者に近づけば近づくほど、監視はユーザによって観察される品質に関してより確実であることが可能である。したがって、消費者宅内からスタジオに戻されるコンテンツのフィードバックループは、選択されたごく少数であろうと、大集団であろうと、すべての消費者の体験全体を改善するのに役立つものであることが可能である。
【００１９】
しかしながら、フィードバックループは、例えば、関連会社のヘッドエンド、衛星のアップリンクもしくはダウンリンクサイトのような関連会社独自のネットワーク内の戦略的に選択された場所、および同様の場所など、コンテンツ制作所と消費者との間の順方向伝送経路の他の好適な場所でも作り出されることが可能である。フィードバックは結果として、メディアの符号化関連パラメータを手動で調整することにより、消費者によって知覚されるコンテンツの品質を向上させることができる。例えば、コンテンツ指向のメディア専門家は、フィードバックループからの情報に基づいて、色、明るさ、および同様の設定を調節することができる。代替的にまたは追加的に自動ツールを使用して、フィードバック情報に基づいて配信映像の品質関連パラメータを調整することができる。例えば、自動化された機器が、フィードバックループから受信される情報に基づいて、色、明るさ、および同様の設定を調節することができる。
【００２０】
フィードバックループは、品質制御以外の目的に使用することもできる。さらに多くの応用が実行可能である可能性があるが、一例としてコンテンツ制作所と関連会社との間のハンドオーバポイントを使用した3つの使用法、すなわち信頼度の監視、ハンドオーバの保証、および純収益を紹介しなければならない。
【００２１】
「信頼度の監視」は、スタジオとヘッドエンドとの間の全コンテンツ伝送網の監視に関連する。拡張された形とすることが可能であるコンテンツをスタジオにフィードバックすることによって、フィードバックされているコンテンツの歪みまたは欠如からスタジオにおいて順方向伝送経路の機器の故障を容易に識別することができる。
【００２２】
「ハンドオーバの保証」では、フィードバックループは、コンテンツ制作所と関連会社との間のコンテンツの可用性(availability)および/または品質をめぐる論争を解決する助けとなることができる。コンテンツ制作所、または独立した信頼される第三者(エスクローエージェントなど)が、送信されて、フィードバックされているコンテンツの記録をつけることができる場合、また、コンテンツ制作所と関連会社との間に、こうした記録が信頼できるという合意がある(例えばコンテンツ制作所の構内で信頼される第三者に記録を作成させることによって保証することができる)場合、関連会社は、不良なコンテンツの品質について受け取った苦情を、記録が同様にそのような不良品質を示していない限り、コンテンツ制作会社に取り次ぐ立場ではない可能性がある。
【００２３】
「純収益」は、生番組がコンテンツ制作所で制作中という状況において理解することができる。コンテンツ制作所は映像の独自の操作についてはよく理解しているが、コンテンツ制作所で関わっているメディア専門家は下流で、すなわち関連会社で発生する操作については認識していない。関連会社がその独自の処理を導入した後に、コンテンツ制作所にフィードバックリンクを提供する場合、コンテンツ制作所の専門家は、この入力を使用して表示を微調整し、関連会社によって導入された修正に適応することができる。例えば、関連会社が画面の上部右側に大きなロゴを導入した場合、コンテンツ制作所は、大きなロゴによって使用される画面の場所に重要なコンテンツが配置されていないことを確認することによって対応することができる。
【００２４】
フィードバックループの他の多くの使用法もまた実行することができる。
【００２５】
順方向伝送に使用されるようにフィードバックに同じネットワーク技術を使用して、前述の意味でのフィードバックループが、長い間技術的に実行可能であった。しかしながら、現在のところ、フィードバックループは容認できないほど費用がかかり、したがってほとんど利用されていなかった。本明細書に開示する、またビデオ会議に初めて使用された技術に基づく、現代のインターネットベースのコンテンツの符号化および配信法は、この費用の障壁を乗り越える助けとなり、したがって、映像配信における日常的なツールとしてフィードバックを使用できるようになる。
【図面の簡単な説明】
【００２６】
【図１】従来の技術によるコンテンツ配信のブロック図である。
【図２】本発明による映像フィードバックループのブロック図である。
【図３】本発明による映像フィードバックループのブロック図である。
【図４】本発明による映像フィードバックループのブロック図である。
【発明を実施するための形態】
【００２７】
図面を通して、特に指定のない限り、同じ参照符号は例示の実施形態の同様の特徴、要素、構成要素、または部分を示すように使用される。さらに、開示の発明について図を参照して詳細に説明するが、例示の実施形態と関連してこれを行う。
【００２８】
本発明は、他の応用の中から、コンテンツ利用の監視、品質制御、自動検証、信頼度の監視、および/またはコンテンツ制作所と(1つまたは複数の) 配信サイトまたは消費サイトとの間の順方向映像伝送の純収益の監視を可能にする技術を開示する。(1つまたは複数)の配信サイトまたは消費サイトは、様々なハンドオーバポイントからの順方向映像伝送に基づいて映像信号を発信元サイトに返して、ハンドオーバポイントにおける映像品質についての情報を提供することができる。
【００２９】
図2は、本発明による例示的セットアップを示しており、フィードバックは消費者サイトから発信される。コンテンツ制作所(201)がコンテンツを用意する。ライブ設定では、コンテンツを例えば1つまたは複数のカメラ(202)およびマイク(203)で記録することができる。コンテンツは、ビデオテープレコーダまたはDVDなどのアナログまたはデジタルメディア(204)にあらかじめ記録することもできる。前述のソースのいずれかから、コンテンツはすでに好適な圧縮フォーマットで入手できる、またはコンテンツはエンコーダ(205)によって圧縮(すなわち符号化)されることが可能である。符号化を必要とする場合を図2に示す。エンコーダの出力は、配信ネットワーク(206)を介して(1つまたは複数の)関連会社に運ばれる信号を含む。
【００３０】
配信ネットワーク(206)は、非常に高コストである可能性があるが、衛星リンクセグメント、専用ファイバ、MPLSプロビジョニングIPリンク(MPLS provisioned IP link)、または優れたQoSおよび信頼度を提供する別の形態のリンクを含む、伝統的なTV配信ネットワークであることが可能である。配信ネットワークの詳細は、本発明には関連性がなく、したがってこれについてさらに詳細に説明しない。配信ネットワークのハードウェアを構成するネットワーク要素は、一部の形態の品質監視を制御することができるが、このネットワークの端末相互の映像品質は、多くの場合、全く監視されない。この配信ネットワークの映像配信は、双方向または単方向であることが可能であり、今日の一般的なビジネスの実践は単方向コンテンツ配信であり、本発明は、環境のこの側面を変えない。
【００３１】
配信ネットワークのリンクは、一方では配信ネットワークを接続するための技術的および経済的資源を有することができ、他方では配信ネットワークが提供するQoSおよび信頼度を要求することができるサイトで終端する。こうしたサイトの例が、関連会社のヘッドエンド、すなわち、CATVまたはIPTVオペレータのヘッドエンド(207)、衛星オペレータのアップリンク(208)、または(ローカル)TV局(209)である。他のサイトは、他のコンテンツ制作所(例えば、言語の同時翻訳のための、または検閲を可能にするためのコンテンツ操作を必要とする外国のコンテンツ制作所)、ならびにアーカイブサイトを含むことができる。
【００３２】
CATV、IPTV、衛星オペレータ、または(ローカル)TV局のような関連会社は、独自のネットワーク(210、211、212)を運営する。CATVの場合、ネットワークは、一般的にプライベート同軸ケーブルネットワークである。IPTVオペレータネットワークは、オペレータによって所有され、運営される物理ケーブルまたはファイバに基づくことができ、あるいはオペレータは、インターネットインフラストラクチャに依存し、仮想ネットワークのみを運営することができる。衛星オペレータの場合の「ネットワーク」は、信号を(1つまたは複数の)衛星に運ぶ1つまたは複数のアップリンクから成り、(1つまたは複数の)衛星は、地表に戻ってコンテンツを再放送し、コンテンツは、消費者の宅内の、もしくは共同設置のアンテナディッシュによって受信される。TV局は、地上放送用の1つまたは複数の伝送施設を運営し、この伝送施設が信号を無線で、消費者の宅内の、もしくは共同設置されたアンテナによって受信できる場所まで運ぶ。上述の詳細のすべてが本発明に関連するわけではない。しかしながら、これらは、物理ネットワーク構造または仮想ネットワーク構造により双方向通信が可能であっても、コンテンツ配信は単方向であるという特徴を共有する。
【００３３】
関連会社のネットワークリンクは、消費者の宅内近くで終端し、TVおよびセットトップボックスなど、消費者が操作する(また消費者の所有である可能性がある)エンドポイント機器(213、214、215、216、217)に接続される。
【００３４】
本発明の1つの実施形態では、エンドポイントの少なくとも1つ(213)は、好適なネットワーク(219)を介してコンテンツ制作所(201)に戻る接続(218)も維持する。好適なネットワーク(219)は、例えばインターネットであることが可能である。接続(218)を通じて、音声映像のフィードバック信号をもとのコンテンツ制作所(201)に伝えることができる。音声映像信号は、もともとコンテンツ制作所が映像配信ネットワーク(206)を通じて関連会社(例えば(207))に送信し、関連会社のネットワーク(例えば(210))を通じてエンドポイント(213)に送信されたコンテンツから引き出すことができる。音声映像フィードバック信号は、エンドポイント機器(213)に組み込むことができるユーザ宅内ベースのエンコーダ(220)を使用して符号化することができる。
【００３５】
同じまたは別の実施形態において、コンテンツ制作所では、将来の使用に備えてフィードバック信号をレコーダ(221)に記録することができる。レコーダは、例えば、十分に長い期間のフィードバック音声映像データを記録するのに十分なサイズのハードドライブを備えたPC、またはいかなる他の好適なデバイスであることも可能であり、第三者がこれを操作することができる。記録は、「ハンドオーバの保証」シナリオにおいて使用することができる。
【００３６】
同じまたは別の実施形態において、コンテンツ制作所では、フィードバック信号はデコーダ(222)によって復号され、監視局(223)で表示されることが可能である。ディスプレイは、メディア専門家(224)によって観察されることが可能であり、メディア専門家(224)は、ディスプレイを観察することによって取得された情報を反映させるために、スタジオの設定(例えば照明)、もしくは順方向エンコーダ(205)の設定のパラメータを調整することができる(すなわち、「信頼度の監視」シナリオ)、または非技術的パラメータ(例えばタレントの配置など)を調整することができる(すなわち、「純収益」シナリオ)。
【００３７】
同じまたは別の実施形態において、コンテンツ制作所では、フィードバック信号がデコーダ(222)によって復号され、比較器および映像品質アセッサ(assessor)(225)にフィードされる。比較器および品質アセッサは、別個のエンティティに実装されることが可能であるが、これらは有利には単一デバイスに組み込まれ、そうでない場合はこれらの間で利用可能でなければならない高帯域幅のリンクを避けるようにする。比較器は、フィードバック信号を時間移動された(time-shifted)原信号と比較することができる。時間移動は、順方向伝送およびフィードバック伝送の両方の伝送遅延を補償するように、手動または自動で設定することができる。比較器は、例えば次の場合のいずれかを検出する場合、メディア専門家(224)に警告することができる:フィードバック信号がない(機器の故障またはネットワークの状態によって引き起こされる可能性がある)、不良品質(すなわち、時間移動された原信号とフィードバック信号の品質間の相違が大きく、コネクタの緩み、または不十分な品質のネットワークの状態によるなど、致命的でない機器の問題によって引き起こされる可能性がある)、あるいは許容品質。フィードバック信号が順方向信号と本質的に同じ品質で伝えられる場合、品質アセッサは、完全参照の音声映像品質測定法を使用することができる。しかしながら多くの場合、フィードバック信号が順方向信号よりも低い品質で伝えられるならば、品質アセッサはよりコスト効率がよい。この場合、縮小参照の音声映像品質測定法を使用することができる。どちらも、従来の技術の端末相互のメディア品質評価で使用される参照のないツールとして、かなり信頼できることがわかっている。品質測定は、「信頼度の監視」シナリオで、または「ハンドオーバの保証」シナリオで、使用することができる。
【００３８】
図3は、本発明による別の例示的セットアップを示している。このセットアップでは、順方向メディア配信網は、前述の例と同様とみなされる。コンテンツ制作所(301)が、1つまたは複数の適切なソースから、ここでは例えばカメラ(302)およびマイク(303)によってタレントをリアルタイムで取り込むことにより、コンテンツを取得する。カメラ/マイクの信号は、配信ネットワーク(305)に結合された順方向エンコーダ(304)によって処理される。配信ネットワーク(305)は、衛星アップリンク、CATVヘッドエンドなどのような関連会社のサイト(306)にフィードする。関連会社のサイト(306)は、TVおよび同様の機器などの消費者の受信機器(308)が連結された消費者の配信ネットワーク(307)にフィードする。
【００３９】
この例では、フィードバックは末端の顧客ではなく、メディア配信網の中間のハンドオーバポイントで発生する。中間サイトのいずれかのまたは関連するネットワークのいかなる場所も、フィードバック発信元として機能することができるが、一般的な選択の2つのカテゴリがある。第1のカテゴリは、商業上の境界(commercial boundaries)がある、配信網トポロジのハンドオーバポイントを含む。例えば、コンテンツ制作所は、1つの商業企業体によって運営され、関連会社は別の商業企業体によって運営されることが可能である。コンテンツ制作所(301)によってどの品質のメディアが関連会社(306)に配信されたかを明確に理解する場合は、商業関係を容易にすることができる。特にフィードバックは、ハンドオーバポイントまたはハンドオーバポイントにつながるリンクにおける技術のトラブルシューティングに役立つ可能性がある。さらに、場合によっては関連会社が、ハンドオーバポイントにおける不良品質信号に対して誰が責任を負うかについて、コンテンツ制作所と論争する可能性がある。フィードバックリンクは、このような論争の円満解決に役立つ可能性がある。
【００４０】
フィードバック発信元の選択の第2のカテゴリは、異なるメディア伝送法の境界にあるハンドオーバポイントを含む。例えば、ファイバチャネル(非常に高いQoSおよび信頼度を有する)を終端させ、消費者レベルの衛星チャネル(より劣ったQoSおよび信頼度を有する)をもたらすサイトから、たとえ両チャネルが関連企業など、同じ商業企業体によって所有または運営されているとしても、ここからフィードバックループが始まることが可能である。第2のカテゴリの1つの利用が、信頼度の監視である。
【００４１】
図3では、フィードバックループは、商業的境界と技術的境界がともにあるポイントから始まっている。詳細には、この例では、関連会社のCATVヘッドエンド(306)が、コンテンツ制作所(301)とは異なる商業企業体によって運営されることが可能であり、ネットワーク技術もまた異なる(信頼度の高い配信ネットワーク(305)に対して消費者グレードの信頼度のCATVネットワーク(307))。
【００４２】
関連会社のCATVヘッドエンドでは、次の技術のいずれかを使用して、単独でまたは共同で、フィードバックを可能にすることができる。順方向信号は、例えばインターネットなどの好適なネットワーク(316)を通じてフィードバック送信者(309)によって変更されない形でコンテンツ制作所(301)に返送されることが可能である。コンテンツ制作所(301)では、順方向信号はフィードバック受信機(310)によって受信され、フィードバックデコーダ(311)によって復号される。代替的に、または追加として、順方向信号はトランスコーダ(312)によってトランスコードされて異なるメディア表現となり、その後同様の処理のためにネットワーク(316)を使用してフィードバック送信機(309)によってスタジオ(301)に送信されることが可能である。ここでは、「トランスコーダ」という用語は広義で使用し、トランスコードすることは、ピクセル/音声サンプル領域へのメディア再生の処理、および同じもしくは異なるメディア符号化フォーマットでの再符号化(re-encoding)を含むことができ、または、トランスコードすることは、圧縮信号の、すなわちレイヤ、フレーム、音声サンプルを削除すること(dropping)による操作のみを含むことができ、あるいはこの2つの組合せである。さらなる詳細については、本開示で後に提供する。
【００４３】
コンテンツ制作所では、図2で上述した活動と同様の活動を適用して同様に使用できるようにすることができる。詳細には、フィードバック受信機(310)によって受信されたメディアは、将来の使用に備えて(将来のハンドオーバの保証に備えるなど)レコーダ(312)に格納される、デコーダ(311)によって復号され、純収益の目的で人間の音声映像の専門家(314)によって監視されるようにディスプレイ(313)(および音声のアナログ)に表示される、または上述のように信頼度の監視のために同様の技術を実行することができる比較器および品質アセッサ(315)にフィードされることが可能である。
【００４４】
図4は、フィードバック伝送をより詳細に示している。本発明によるフィードバックループは、関係者のいずれにも収益を生み出すという意味で必要な構成要素ではない。したがって、フィードバックループは非常に費用重視(cost sensitive)である。よって、少なくとも非常に高品質で非常に費用のかかる配信ネットワークと比べるとき、このネットワークの安価な代替を使用することが、商業的に有利である可能性がある。本発明は、モバイルネットワークなど、他の好適なネットワークに基づくこともできるが、本開示の残部は、フィードバック情報を搬送する例示的ネットワークとしてインターネットを使用する。インターネットは、比較的安価であるだけでなく、広く利用できる。しかしながら、コスト効率を上げるために、インターネットトラフィックは「ベストエフォート」で運ばれる可能性があり、すなわち、IPパケットが伝送中に失われる可能性があり、この損失は必ずしも、機器の故障またはアンダープロビジョニング(under-provisioning)の結果ではなく、ネットワークの通常の動作ポイントである。
【００４５】
商用のIPTVシステムの伝送技術など、伝統的なIPTV伝送技術は、管理されたIPネットワークのQoSに依存するので、インターネット上のベストエフォート接続を通じて使用するには適していない可能性がある。インターネットの損失特性に対処するための他の(例えばストリーミング)技術が知られているが、これらによりしばしばおよそ数秒の大きさの遅延が付加される。前述の用途(例えば、信頼度の監視および純収益)の多くについては、フィードバックループによって取り込まれる数秒の遅延は、フィードバックループを有用性の低いものにする。したがって、結果を改善するために、フィードバック伝送は、パケットロスがあるが低遅延のベストエフォートネットワークを通じて伝えられるべきである。
【００４６】
ビデオ会議技術は、特にスケーラブル映像符号化(Scalable Video Coding、SVC)に基づくものは、ベストエフォートのインターネットリンクを通じて、低遅延で映像を高品質伝送するのに非常に好適であることがよく知られている。本発明の1つの態様によれば、有利にはフィードバックループの映像伝送の態様は、例えば同時係属の特許出願第61/289,249号に開示されるインフラストラクチャを使用して、SVC符号化された映像の形態で伝えられる。
【００４７】
図4に示すように、本発明の同じまたは別の実施形態において、フィードバック発信元サイト(401)は、SVCトランスコーダ(402)を含む。SVCトランスコーダ(402)は、配信ネットワーク(403)から符号化された順方向コンテンツを受信し(また、さらなる復号および/または符号化のステップを行うこともでき)、場合によっては例えば消費者の配信ネットワーク(405)または消費者サイトの受信機器(404)など、受信側(sinks)にコンテンツを転送する。SVCトランスコーダ(402)はまず、少なくとも部分的に、順方向の非SVC符号化コンテンツを復号し、同じコンテンツのSVC符号化表現を符号化する。
【００４８】
SVCトランスコーダは、最大解像度の順方向コンテンツを時間的にまたは空間的にサブサンプリングしてコンテンツ制作所で必要とされるフォーマットにすることができるサブサンプラ(sub-sampler)(407)を含むこともできる。例えば、コンテンツ制作所が完全参照の品質評価を実行することを希望する場合、サブサンプラは非アクティブにすることができる。しかしながら、コンテンツ制作所が縮小参照の品質評価のみを実行することを希望する場合、サブサンプラは、順方向コンテンツの時空間解像度を縮小して、コンテンツ制作所に必要とされる解像度にすることができる。サブサンプリングは、符号化に必要とされる1秒あたりのピクセル数を減少させ、同様にフィードバックリンクを通じて運ばれるのに必要とされるビット数と、符号化に必要とされるプロセッササイクル数を減少させ、それによって伝送および設備コストを削減することができる。サブサンプリングの性質は、有利にはコンテンツの特性に基づいて選択される。例えばスポーツチャンネルについては、スポーツコンテンツは高い時間的忠実度から大いに利益を得るので、時間的サブサンプリングは勧められない。一方、連続ホームコメディ(sitcom)TV番組のフォーマットについては、時間的サブサンプリングは適切であるが、このコンテンツのフォーマットでは空間的詳細が非常に重要であるので、空間的サブサンプリングは勧められない可能性がある。
【００４９】
時間的サブサンプリングについては、フレームまたはフィールドのスキップ技術が、低オーバヘッドで望ましい性能を提供することが明らかになっている。
【００５０】
空間的サブサンプリングについては、少なくとも4タップ2次元フィルタを含む技術が有利に使用されて、サブサンプリング後でも品質を適度に近づけることができる。直接的なピクセルドロップの技術は、非常に多くのエイリアシングを取り込み、コンテンツ制作所に戻った有益な品質測定結果を考慮することができない可能性がある。
【００５１】
一時的に図3に戻ると、あるとすればどんなサブサンプリング技術もトランスコーダ(312)で使用され、同じサブサンプリング技術が品質アセッサ(315)で使用されるべきであることを、当業者には理解されたい。
【００５２】
図4に戻ると、SVCトランスコーダ(402)は、複数のレイヤを生成することができ、ネットワークの状況に応じて、そのうちの1つまたは複数が、有利にはネットワークの「中に」位置する1つまたは複数のスケーラブル映像符号化サーバ(Scalable Video Coding Servers、SVCS)を使用して、コンテンツ制作所(407)に位置する受信機(406)に運ばれる。SVCS(408)およびその機能については、同時係属の特許出願第61/289,249号に開示しており、その主な目的は、レイヤの管理および個々のレイヤのパケットストリームで失われたパケットのローカル修復である。
【００５３】
別の実施形態では、SVCトランスコーダ(402)は、伝統的なエンコーダに置き換えることができる。優れたQoSを提供するインターネットの部分では、これは結果として、符号化された映像がコンテンツ制作所(407)に届くことになる可能性がある。しかしながら、ネットワークの状態が悪化するにつれて、SVCの使用はますます有利となる。
【００５４】
別の実施形態では、順方向コンテンツは、例えば、伝送制御プロトコル(Transmission Control Protocol、TCP)などの信頼できる伝送プロトコルを使用して、(映像プレーン上で)変更されていない形態でもとのコンテンツ制作所に運ばれることが可能である。この機能は、例えばコンテンツ制作所が完全参照の品質評価を必要とする場合に実行することができる。この場合、ネットワークに必要とされるリソースはかなり多く、大幅な遅延が取り込まれる可能性があるが、フィードバック情報は、順方向の情報と厳密に同じものであることが保証され、ハンドオーバの保証シナリオで使用されるとき、商業紛争の際の混乱または論争のあらゆる理由を無くす。
【００５５】
順方向符号化コンテンツがすでにSVC符号化フォーマットである場合、トランスコーダの機能は単純であって、フィードバックリンクを通じてコンテンツ制作所に返送されるレイヤの数を削減することが可能であり、したがってフィードバックリンクの許容量がレイヤを維持することができる。
【符号の説明】
【００５６】
201  コンテンツ制作所
202  カメラ
203  マイク
204  アナログまたはデジタルメディア
205  順方向エンコーダ
206  配信ネットワーク
207  CATV/IPTVオペレータのヘッドエンド
208  衛星オペレータのアップリンク
209  (ローカル)TV局
210  CATV/IPTVネットワーク
211  衛星ネットワーク
212  TV放送
213、214、215、216、217  エンドポイント機器
218  接続
219  インターネット
220  フィードバックエンコーダ
221  レコーダ
222  フィードバックデコーダ
223  監視局
224  メディア専門家
225  品質アセッサ
【図１】
2013534785.tif 000003
【図２】
2013534785.tif 000004
【図３】
2013534785.tif 000005
【図４】
2013534785.tif 000006
【国際調査報告】
2013534785.tif 000007