(57)【特許請求の範囲】
【請求項１】
ビデオディスプレイシステムのホストデバイスがデコンポーズドマルチストリーム（ＤＭＳ）を生成することと、ここで、前記ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、前記ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、前記第１のコンテンツが前記ＤＭＳ中の第１のフレームレートを定義し、前記第２のディスプレイコンテンツが前記ＤＭＳ中の第２のフレームレートを定義し、前記第１のフレームレートが前記第２のフレームレートとは異なる、
前記ホストデバイスが前記ビデオディスプレイシステムのクライアントデバイスに前記ＤＭＳを通信することと
を備え、
前記ＤＭＳを生成することが、アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトすることを含み、
前記ホストデバイスが、前記アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトすることが不可能であると判断することと、
前記ホストデバイスが、前記アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトすることが不可能であると判断することに応答して、前記ホストデバイスにおいてディスプレイバッファから直接、前記第１のコンテンツおよび前記第２のコンテンツを含むシグナルコンポーズドストリーム（ＳＣＳ）を生成することと
をさらに備える、方法。
【請求項２】
前記ホストデバイスが、前記第１のコンテンツと前記第２のコンテンツとに基づいて前記ＤＭＳ中の前記第１のフレームレートと前記第２のフレームレートとを動的に調整することをさらに備える、請求項１に記載の方法。
【請求項３】
前記ＤＭＳを生成することが、アプリケーションから前記第１のコンテンツをインターセプトし、前記ホストデバイス中のディスプレイバッファから前記第２のコンテンツをキャプチャすることを含む、請求項１に記載の方法。
【請求項４】
前記ホストデバイスが、前記第１のコンテンツと前記第２のコンテンツとに基づいて、前記ディスプレイバッファから前記第２のコンテンツをキャプチャすることに関連するキャプチャレートを動的に低減することをさらに備える、請求項３に記載の方法。
【請求項５】
前記ＤＭＳを生成することが、前記第２のコンテンツを符号化することを含む、請求項１に記載の方法。
【請求項６】
前記第１のエリアおよび前記第２のエリアがそれぞれ重なるエリアを含み、
前記ホストデバイスが、前記第１のコンテンツまたは前記第２のコンテンツのどちらが前記重なるエリア中で上にあるかを識別する情報を前記ＤＭＳ中に生成すること
をさらに含む、請求項１に記載の方法。
【請求項７】
前記ＤＭＳを生成することが、前記重なるエリア中で前記第１のコンテンツまたは前記第２のコンテンツのいずれかのデータを低減するかまたはなくすことを含み、前記低減されるかまたはなくされるデータが前記重なるエリア中で他のデータの下にある、請求項６に記載の方法。
【請求項８】
前記第１のコンテンツがビデオシーケンスを備え、前記第２のコンテンツが非ビデオアプリケーションの出力を備える、請求項１に記載の方法。
【請求項９】
前記第１のフレームレートが前記第２のフレームレートよりも大きい、請求項８に記載の方法。
【請求項１０】
前記第１のコンテンツがビデオシーケンスを備え、前記第２のコンテンツがグラフィカルユーザインターフェース要素を備える、請求項１に記載の方法。
【請求項１１】
前記ホストデバイスが、ユーザ入力に応答して前記第１のコンテンツまたは前記第２のコンテンツのうちの１つのみを含むように前記ＤＭＳを調整することをさらに備える、請求項１に記載の方法。
【請求項１２】
前記ホストデバイスが、前記ホストデバイスと前記クライアントデバイスとの間で利用可能な帯域幅を判断することと、
前記ホストデバイスが、前記利用可能な帯域幅に基づいて前記第１のフレームレートと前記第２のフレームレートの一方または両方を調整することと
をさらに備える、請求項１に記載の方法。
【請求項１３】
前記ホストデバイスが、前記ホストデバイスと前記クライアントデバイスとの間で利用可能な帯域幅を判断することと、
前記ホストデバイスが、前記利用可能な帯域幅に基づいて前記第１のコンテンツと前記第２のコンテンツの一方または両方を動的に符号化することと
をさらに備える、請求項１に記載の方法。
【請求項１４】
前記ホストデバイスが、前記第１のコンテンツと前記第２のコンテンツの一方または両方を動的に符号化することをさらに備える、請求項１に記載の方法。
【請求項１５】
ビデオディスプレイシステムのホストデバイスであって、
デコンポーズドマルチストリーム（ＤＭＳ）を生成するＤＭＳ生成器と、ここで、前記ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、前記ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、前記第１のコンテンツが前記ＤＭＳ中の第１のフレームレートを定義し、前記第２のディスプレイコンテンツが前記ＤＭＳ中の第２のフレームレートを定義し、前記第１のフレームレートが前記第２のフレームレートとは異なる、
前記ホストデバイスから前記ビデオディスプレイシステムのクライアントデバイスに前記ＤＭＳを通信するトランスポートユニットと
を備え、
前記ＤＭＳ生成器が、アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトし、
前記ＤＭＳ生成器が、
前記アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトすることが不可能であると判断することと、
前記アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトすることが不可能であると判断することに応答して、前記ホストデバイスにおいてディスプレイバッファから直接、前記第１のコンテンツおよび前記第２のコンテンツを含むシグナルコンポーズドストリーム（ＳＣＳ）を生成することと
を行う、ホストデバイス。
【請求項１６】
前記ＤＭＳ生成器が、前記第１のコンテンツと前記第２のコンテンツとに基づいて前記ＤＭＳ中の前記第１のフレームレートと前記第２のフレームレートとを動的に調整する、請求項１５に記載のホストデバイス。
【請求項１７】
前記ＤＭＳ生成器が、アプリケーションから前記第１のコンテンツをインターセプトし、前記ホストデバイス中のディスプレイバッファから前記第２のコンテンツをキャプチャする、請求項１５に記載のホストデバイス。
【請求項１８】
前記ＤＭＳ生成器が、前記第１のコンテンツと前記第２のコンテンツとに基づいて、前記ディスプレイバッファから前記第２のコンテンツをキャプチャすることに関連するキャプチャレートを動的に低減する、請求項１７に記載のホストデバイス。
【請求項１９】
前記ＤＭＳ生成器が、前記ＤＭＳ中で前記第２のコンテンツを符号化するために符号器を使用する、請求項１７に記載のホストデバイス。
【請求項２０】
前記第１のエリアおよび前記第２のエリアがそれぞれ重なるエリアを含み、前記ＤＭＳ生成器が、
前記第１のコンテンツまたは前記第２のコンテンツのどちらが前記重なるエリア中で上にあるかを識別する情報を前記ＤＭＳ中に生成する、請求項１５に記載のホストデバイス。
【請求項２１】
前記ＤＭＳ生成器が、前記重なるエリア中で前記第１のコンテンツまたは前記第２のコンテンツのいずれかのデータを低減するかまたはなくし、前記低減されるかまたはなくされるデータが前記重なるエリア中で他のデータの下にある、請求項２０に記載のホストデバイス。
【請求項２２】
前記第１のコンテンツがビデオシーケンスを備え、前記第２のコンテンツが非ビデオアプリケーションの出力を備える、請求項１５に記載のホストデバイス。
【請求項２３】
前記第１のフレームレートが前記第２のフレームレートよりも大きい、請求項２２に記載のホストデバイス。
【請求項２４】
前記第１のコンテンツがビデオシーケンスを備え、前記第２のコンテンツがグラフィカルユーザインターフェース要素を備える、請求項１５に記載のホストデバイス。
【請求項２５】
前記ＤＭＳ生成器が、ユーザ入力に応答して前記第１のコンテンツまたは前記第２のコンテンツのうちの１つのみを含むように前記ＤＭＳを調整する、請求項１５に記載のホストデバイス。
【請求項２６】
前記ＤＭＳ生成器が、
前記ホストデバイスと前記クライアントデバイスとの間で利用可能な帯域幅を判断することと、
前記利用可能な帯域幅に基づいて前記第１のフレームレートと前記第２のフレームレートの一方または両方を調整することと
を行う、請求項１５に記載のホストデバイス。
【請求項２７】
前記ＤＭＳ生成器が、
前記ホストデバイスと前記クライアントデバイスとの間で利用可能な帯域幅を判断することと、
前記利用可能な帯域幅に基づいて前記第１のコンテンツと前記第２のコンテンツの一方または両方を動的に符号化することと
を行う、請求項１５に記載のホストデバイス。
【請求項２８】
前記ＤＭＳ生成器が、前記第１のコンテンツと前記第２のコンテンツの一方または両方を動的に符号化する、請求項１５に記載のホストデバイス。
【請求項２９】
ビデオディスプレイシステムのホストデバイスのプロセッサ中での実行時に、前記ホストデバイスに、
デコンポーズドマルチストリーム（ＤＭＳ）を生成することと、ここで、前記ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、前記ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、前記第１のコンテンツが前記ＤＭＳ中の第１のフレームレートを定義し、前記第２のディスプレイコンテンツが前記ＤＭＳ中の第２のフレームレートを定義し、前記第１のフレームレートが前記第２のフレームレートとは異なる、
ホストデバイスから前記ビデオディスプレイシステムのクライアントデバイスに前記ＤＭＳを通信することと
を行わせる命令を備え、
前記ＤＭＳを生成することが、アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトすることを含み、前記命令はさらに、前記ホストデバイスに、
前記アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトすることが不可能であると判断することと、
前記アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトすることが不可能であると判断することに応答して、前記ホストデバイスにおいてディスプレイバッファから直接、前記第１のコンテンツおよび前記第２のコンテンツを含むシグナルコンポーズドストリーム（ＳＣＳ）を生成することと
を行わせる、コンピュータ可読記憶媒体。
【請求項３０】
ビデオディスプレイシステムのホストデバイスであって、
デコンポーズドマルチストリーム（ＤＭＳ）を生成するための手段と、ここで、前記ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、前記ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、前記第１のコンテンツが前記ＤＭＳ中の第１のフレームレートを定義し、前記第２のディスプレイコンテンツが前記ＤＭＳ中の第２のフレームレートを定義し、前記第１のフレームレートが前記第２のフレームレートとは異なる、
前記ホストデバイスから前記ビデオディスプレイシステムのクライアントデバイスに前記ＤＭＳを通信するための手段と
を備え、
前記ＤＭＳを生成するための手段が、アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトする手段を含み、
前記ＤＭＳを生成するための手段が、
前記アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトすることが不可能であると判断することと、
前記アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトすることが不可能であると判断することに応答して、前記ホストデバイスにおいてディスプレイバッファから直接、前記第１のコンテンツおよび前記第２のコンテンツを含むシグナルコンポーズドストリーム（ＳＣＳ）を生成することと
を行う、ホストデバイス。
【発明の詳細な説明】
【優先権の主張】
【０００１】
本出願は、その内容全体が参照により本明細書に組み込まれる、２００９年１２月１４日に出願された米国仮出願第６１／２８６，２８７号の利益を主張する。
【技術分野】
【０００２】
本開示は、ビデオディスプレイに関し、より詳細には、デコンポーズド（decomposed）マルチストリーム（ＤＭＳ）を生成、通信、およびレンダリングするためのビデオディスプレイシステムに関する。
【背景技術】
【０００３】
ビデオディスプレイは、広範囲にわたるデバイスにおいて使用されている。そのようなデバイスは、限定はしないが、デジタルテレビジョン、ワイヤレス通信デバイス、携帯情報端末（ＰＤＡ）、ラップトップまたはデスクトップコンピュータ、ワークステーション、デジタルカメラ、ビデオカメラ、デジタルメディアプレーヤ、ビデオゲームデバイス、ポータブルムービープレーヤ、電子リーダー、タブレットコンピュータ、セルラー電話または衛星無線電話、スマートフォンなどを含む。
【０００４】
ビデオディスプレイシステムは、しばしば、（ディスプレイなどの）クライアントデバイスのためのビデオコンテンツのストリームを生成する（コンピュータなどの）ホストデバイスを含む。多くの場合、ホストデバイスは、それ自体のディスプレイを含み、しかもなお、ホストデバイスよりも大きいディスプレイを含み得るクライアントデバイスにビデオデータを通信し得る。ホストデバイスとクライアントデバイスの両方がビデオコンテンツを表示することができるように、高速ワイヤレスリンク上でホストデバイスからクライアントデバイスにそのようなビデオコンテンツを通信することを可能にする様々な技法および規格が開発されている。
【０００５】
いくつかのビデオディスプレイシステムは、シグナルコンポーズドストリーム（ＳＣＳ）と呼ばれる、ビデオコンテンツのストリームを生成する。ＳＣＳは単一のビデオストリームを備えるが、ビデオコンテンツは、依然として、異なるストリームのように時々見えることがある異なるエリアを含み得る。この場合、ホストデバイスはＳＣＳを生成し得、クライアントデバイスは、ホストデバイスからＳＣＳを受信し、コンテンツを表示するために、信号ビデオストリームをレンダリングすることができる。本質的に、ＳＣＳの場合、ホストデバイスは、「スクリーンショット」のフレーム（たとえば、ディスプレイバッファのコンテンツ全体）を送る。スクリーンショットは、場合によってはコンテンツの異なるウィンドウを含むことができるが、ＳＣＳ中のコンテンツの異なるウィンドウは、別個のストリームでなく、スクリーンショットの一部にすぎない。
【０００６】
ＳＣＳを生成するシステムとは対照的に、他のタイプのビデオディスプレイシステムは、デコンポーズドマルチストリーム（ＤＭＳ）と呼ばれる、ビデオコンテンツのストリームを生成する。ＤＭＳは、可視エリアの別個の領域、または場合によっては可視エリア内の重なる（overlapping）領域に対応し得る、コンテンツの２つ以上の異なるビデオストリームを備える。この場合、ホストデバイスは、コンテンツの２つ以上の異なるビデオストリームを備えるＤＭＳを生成し得、クライアントデバイスは、ホストデバイスからＤＭＳを受信し、ＤＭＳ中に含まれるコンテンツの２つ以上の異なるビデオストリームを含むビデオをディスプレイスクリーン上にレンダリングすることができる。ホストデバイスは、スクリーンの異なるエリア中でＤＭＳの異なるストリームをレンダリングし得、場合によっては、ＤＭＳ内の異なるストリームの異なるエリアが重なることがある。
【発明の概要】
【０００７】
本開示では、ビデオディスプレイシステムのホストデバイスによるデコンポーズドマルチストリーム（ＤＭＳ）の生成と、ビデオディスプレイシステムのクライアントデバイスによるＤＭＳの表示とを改善することができる技法について説明する。本技法は、ＤＭＳ内の異なるストリームに異なるフレームレートを適用し得、フレームレートは、異なるストリーム内のコンテンツに依存し得る。たとえば、ＤＭＳ内のあるストリームは、（ビデオ再生において一般に使用される１０〜１２０フレーム毎秒などの）比較的高いフレームレートでレンダリングされ得る、フルモーションビデオ情報のシーケンスを備え得る。しかしながら、ＤＭＳ内の別のストリームは、ディスプレイの背景、様々なグラフィックユーザインターフェース制御ウィンドウまたは要素、あるいは（電子メールまたはドキュメントなどの）非ビデオコンテンツを含むディスプレイウィンドウに関連付けられ得る。ＤＭＳ中の第２のストリームは、フルモーションビデオ情報のシーケンスのために使用されるフレームレートよりもはるかに遅いフレームレートでレンダリングされ得る。さらに、異なるストリームがディスプレイスクリーンの可視エリア内の重なるエリアに関連付けられる場合、重なる領域中の一方または両方のストリームのデータを低減するための技法が適用され得る。
【０００８】
ＤＭＳを改善することができる他の技法についても説明する。ホストデバイスは、（ラップトップコンピュータ、スマートフォンまたは他のコンピュータデバイスなどの）コンピュータデバイスを備え得、クライアントデバイスは、コンピュータデバイスと同じ出力をレンダリングするために使用されるワイヤレスディスプレイを備え得る。ＤＭＳは、ホストデバイス（たとえば、コンピュータデバイス）とクライアントデバイス（たとえば、ワイヤレスディスプレイ）の両方が同様のコンテンツを表示することができるように、高速ワイヤレスリンク上でデータを通信するために使用され得る。コンテンツ自体が、異なるストリームにおいて異なり得るか、またはディスプレイの可視エリア内で重なり得るとして、本開示では、ＤＭＳを改善するための技法について説明する。ホストデバイスにおいてＤＭＳを生成するために、ホストデバイスは、ホストデバイスにおいてディスプレイバッファにアクセスするだけでなく、コンテンツを生成するアプリケーションからのコンテンツにアクセスし得る。たとえば、コンテンツを生成するアプリケーションからのコンテンツにアクセスできないために、ＤＭＳが不可能であるか望ましくないときに、ホストデバイスからクライアントデバイスにデータを通信するためのフォールバック技法（fall-back techniques）として、シグナルコンポーズドストリーム（ＳＣＳ）技法が実装され得る。
【０００９】
一例では、本開示では、ビデオディスプレイシステムのホストデバイスを介してＤＭＳを生成することであって、ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、第１のコンテンツがＤＭＳ中の第１のフレームレートを定義し、第２のディスプレイコンテンツがＤＭＳ中の第２のフレームレートを定義し、第１のフレームレートが第２のフレームレートとは異なる、生成することを備える方法について説明する。本方法はまた、ホストデバイスからビデオディスプレイシステムのクライアントデバイスにＤＭＳを通信することを備える。
【００１０】
別の例では、本開示では、ビデオディスプレイシステムのクライアントデバイスにおいて、ビデオディスプレイシステムのホストデバイスからＤＭＳを受信することであって、ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、第１のコンテンツがＤＭＳ中の第１のフレームレートを定義し、第２のディスプレイコンテンツがＤＭＳ中の第２のフレームレートを定義し、第１のフレームレートが第２のフレームレートとは異なる、受信することを備える方法について説明する。本方法はまた、クライアントデバイス上で第１のディスプレイコンテンツと第２のディスプレイコンテンツとをレンダリングすることを備える。
【００１１】
別の例では、本開示では、ビデオディスプレイシステムのホストデバイスであって、ホストデバイスが、ＤＭＳを生成するＤＭＳ生成器を備え、ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、第１のコンテンツがＤＭＳ中の第１のフレームレートを定義し、第２のディスプレイコンテンツがＤＭＳ中の第２のフレームレートを定義し、第１のフレームレートが第２のフレームレートとは異なる、ホストデバイスについて説明する。ホストデバイスはまた、ホストデバイスからビデオディスプレイシステムのクライアントデバイスにＤＭＳを通信するトランスポートユニットを備える。
【００１２】
別の例では、本開示では、ビデオディスプレイシステムのクライアントデバイスであって、クライアントデバイスが、ホストデバイスからＤＭＳを受信するトランスポートユニットを備え、ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、第１のコンテンツがＤＭＳ中の第１のフレームレートを定義し、第２のディスプレイコンテンツがＤＭＳ中の第２のフレームレートを定義し、第１のフレームレートが第２のフレームレートとは異なる、クライアントデバイスについて説明する。クライアントデバイスはまた、ディスプレイユニットと、ディスプレイユニット上で第１のディスプレイコンテンツと第２のディスプレイコンテンツとをレンダリングするＤＭＳレンダリングユニットとを備える。
【００１３】
別の例では、本開示では、ビデオディスプレイシステムのホストデバイスであって、ホストデバイスが、ＤＭＳを生成するための手段であって、ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、第１のコンテンツがＤＭＳ中の第１のフレームレートを定義し、第２のディスプレイコンテンツがＤＭＳ中の第２のフレームレートを定義し、第１のフレームレートが第２のフレームレートとは異なる、生成するための手段と、ホストデバイスからビデオディスプレイシステムのクライアントデバイスにＤＭＳを通信するための手段とを備える、ホストデバイスについて説明する。
【００１４】
別の例では、本開示では、ビデオディスプレイシステムのクライアントデバイスであって、クライアントデバイスが、ビデオディスプレイシステムのホストデバイスからＤＭＳを受信するための手段であって、ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、第１のコンテンツがＤＭＳ中の第１のフレームレートを定義し、第２のディスプレイコンテンツがＤＭＳ中の第２のフレームレートを定義し、第１のフレームレートが第２のフレームレートとは異なる、受信するための手段と、クライアントデバイス上で第１のディスプレイコンテンツと第２のディスプレイコンテンツとをレンダリングするための手段とを備える、クライアントデバイスについて説明する。
【００１５】
本開示で説明する技法は、場合によっては、ハードウェアと組み合わせたソフトウェアまたはファームウェアの態様を使用して、少なくとも部分的にハードウェアで実装され得る。ソフトウェアまたはファームウェアで実装した場合、ソフトウェアまたはファームウェアは、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはデジタル信号プロセッサ（ＤＳＰ）など、１つまたは複数のハードウェアプロセッサにおいて実行され得る。本技法を実行するソフトウェアは、最初にコンピュータ可読媒体に記憶され、プロセッサにロードされ、実行され得る。
【００１６】
したがって、本開示は、ビデオディスプレイシステムのホストデバイスのプロセッサ中での実行時に、ホストデバイスに、ＤＭＳを生成することであって、ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、第１のコンテンツがＤＭＳ中の第１のフレームレートを定義し、第２のディスプレイコンテンツがＤＭＳ中の第２のフレームレートを定義し、第１のフレームレートが第２のフレームレートとは異なる、生成することと、ホストデバイスからビデオディスプレイシステムのクライアントデバイスにＤＭＳを通信することとを行わせる命令を備える、コンピュータ可読記憶媒体を企図する。
【００１７】
別の例では、本開示では、ビデオディスプレイシステムのクライアントデバイスのプロセッサ中での実行時に、クライアントデバイスに、ビデオディスプレイシステムのホストデバイスからＤＭＳを受信することであって、ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツとディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、第１のコンテンツが、ＤＭＳ中の第１のフレームレートを定義し、第２のディスプレイコンテンツが、ＤＭＳ中の第２のフレームレートを定義し、第１のフレームレートが、第２のフレームレートとは異なる、受信することと、クライアントデバイス上で第１のディスプレイコンテンツと第２のディスプレイコンテンツとをレンダリングすることとを行わせる命令を備える、コンピュータ可読記憶媒体について説明する。
【００１８】
本開示の１つまたは複数の例の詳細を添付の図面および以下の説明に記載する。本開示の他の特徴、目的、および利点は、説明および図面、ならびに特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【００１９】
【図１】本開示の技法を実装するために使用され得る例示的なシステムを示すブロック図。
【図２】デコンポーズドマルチストリーム（ＤＭＳ）の異なるビデオストリームに対応するディスプレイコンテンツの２つの別個のエリアを含み得るディスプレイスクリーンの概念図。
【図３】本開示の一例に一致するホストデバイスの例示的なブロック図。
【図４】本開示の一例に一致するクライアントデバイスの例示的なブロック図。
【図５】本開示に一致するホストデバイスによって実装され得る技法を示す流れ図。
【図６】本開示に一致するホストデバイスによって実装され得る技法を示す流れ図。
【図７】本開示に一致するホストデバイスによって実装され得る技法を示す流れ図。
【図８】本開示に一致するホストデバイスによって実装され得る技法を示す流れ図。
【図９】本開示に一致するクライアントデバイスによって実装され得る技法を示す流れ図。
【図１０】本開示に一致するクライアントデバイスによって実装され得る技法を示す流れ図。
【図１１】本開示に一致するクライアントデバイスによって実装され得る技法を示す流れ図。
【発明を実施するための形態】
【００２０】
本開示では、ビデオディスプレイシステムのホストデバイスによるデコンポーズドマルチストリーム（ＤＭＳ）の生成と、ビデオディスプレイシステムのクライアントデバイスによるＤＭＳの表示とを改善することができる技法について説明する。ＤＭＳは、それ自体が、可視エリアの別個の領域、または場合によっては可視エリア内の重なる領域に対応し得る、コンテンツの２つ以上の異なるストリームを含む、ディスプレイのためのデータのストリームを指す。ホストデバイスは、コンテンツの２つ以上の異なるストリームを備えるＤＭＳを生成し得、クライアントデバイスは、ホストデバイスからＤＭＳを受信し、ＤＭＳ中に含まれるコンテンツの２つ以上の異なるビデオストリームを含むビデオをディスプレイスクリーン上にレンダリングすることができる。ホストデバイスは、スクリーンの異なるエリア中でＤＭＳの異なるストリームをレンダリングし得、場合によっては、異なるＤＭＳストリームの異なるエリアが重なることがある。
【００２１】
いくつかのビデオディスプレイシステムは、ＤＭＳストリームとは対照的に、シグナルコンポーズドストリーム（ＳＣＳ）と呼ばれる、ビデオコンテンツのストリームを生成する。ＳＣＳは、ホストデバイス中でスクリーンショットとして見なされ得る１つの単一ビデオストリームを備える。本質的に、ＳＣＳの場合、ホストデバイスは、クライアントデバイスにそのディスプレイバッファのコンテンツ全体を送る。これらのいわゆる「スクリーンショット」は、場合によってはコンテンツの異なるウィンドウを含むことができるが、ＳＣＳ中のコンテンツの異なるウィンドウは、別個のストリームでなく、スクリーンショットの一部にすぎない。ホストデバイスが、２つの別個のウィンドウ（フルモーションビデオのウィンドウと、比較的静的（static）なコンテンツの別のウィンドウ）を表示する場合、ＳＣＳは、一般に、フルモーションビデオに対応するフレームレートでスクリーンショットを送る。ＳＣＳ技法は、フルモーションビデオとともに比較的静的なコンテンツを送る非常に非効率的な方法とすることができる。
【００２２】
本技法は、ＤＭＳ内の異なるストリームに異なるフレームレートを適用し得、フレームレートは、異なるストリーム内のコンテンツに依存し得る。たとえば、ＤＭＳ内のあるストリームは、（ビデオ再生において一般に使用される１０〜１２０フレーム毎秒などの）比較的高いフレームレートでレンダリングされ得るビデオ情報のシーケンスを備え得る。しかしながら、ＤＭＳ内の別のストリームは、ディスプレイの背景、様々なグラフィックユーザインターフェース制御ウィンドウまたは要素、あるいは（電子メールまたはドキュメントなどの）非ビデオコンテンツを含むディスプレイウィンドウに関連付けられ得る。１つまたは複数の第２のストリーム（たとえば、比較的静的なコンテンツを含むストリーム）は、フルモーションビデオ情報のシーケンスのために使用されるフレームレートよりもはるかに遅いフレームレートでレンダリングされ得る。さらに、異なるストリームがディスプレイスクリーンの可視エリア内の重なるエリアに関連付けられる場合、重なる領域中の一方または両方のストリームのデータを低減するための技法が適用され得る。ＤＭＳを改善することができる多くの他の技法についても説明する。例として、第１のフレームレートは、１０〜１２０フレーム毎秒であり得、約３０フレーム毎秒が、多くのストリーミングビデオアプリケーションには十分であり得る。対照的に、第２のフレームレートは、１〜１０フレーム毎秒の間にあり得、約４フレーム毎秒が、概してフルモーションビデオを含まないアプリケーションには十分であり得る。
【００２３】
ホストデバイスは、（ラップトップコンピュータまたはスマートフォンなどの）コンピュータデバイスを備え得、クライアントデバイスは、コンピュータデバイスと同じ出力をレンダリングするために使用されるワイヤレスディスプレイを備え得る。ＤＭＳは、ホストデバイス（たとえば、コンピュータデバイス）とクライアントデバイス（たとえば、ワイヤレスディスプレイ）の両方が同様のコンテンツを表示することができるように、高速ワイヤレスリンク上でデータを通信するために使用され得る。コンテンツそれ自体が、異なるストリームで異なり得る、またはディスプレイの可視エリア内で重なり得るとすれば、本開示は、ＤＭＳを改善するための技法を提供する。ホストデバイスにおいてＤＭＳを生成するために、ホストデバイスは、ホストデバイスにおいてディスプレイバッファにアクセスするだけでなく、コンテンツを生成するアプリケーションからのコンテンツにアクセスし得る。たとえば、コンテンツを生成するアプリケーションからのコンテンツにアクセスできないために、ＤＭＳが不可能であるか望ましくないときにホストデバイスからクライアントデバイスにデータを通信するためのフォールバック技法として、ＳＣＳ技法が実装され得る。
【００２４】
図１は、本開示の技法を実装するために使用され得る例示的なビデオディスプレイシステムを示すブロック図である。図１のシステムは、ホストデバイス１０とクライアントデバイス２０とを含む。例示的な例では、ホストデバイス１０は、ラップトップまたはスマートフォンを備え得、クライアントデバイス２０は、ホストデバイス上にレンダリングされるコンテンツと同じコンテンツをレンダリングするために使用される別個の外部ディスプレイデバイスを備え得る。ホストデバイス１０とクライアントデバイス２０とは、短距離高速ワイヤレスプロトコルを介してデータを通信し得る。ただし、この例は例にすぎない。ホストデバイス１０とクライアントデバイス２０とは、代替的に、ＤＭＳ技法を介してデータを通信する任意の２つのコンピュータデバイスを備え得る。ホストデバイス１０とクライアントデバイス２０との間の通信リンクは、典型的には短距離ワイヤレスリンクである。しかしながら、他の例では、ホストデバイス１０とクライアントデバイス２０との間のリンクは、任意のワイヤードまたはワイヤレスプロトコルに準拠し得、ルータ、スイッチまたは他のネットワーキングデバイスなどの中間デバイスを含み得る。
【００２５】
ホストデバイス１０は、異なるコンテンツ（たとえば、コンテンツ１  １２Ａ、コンテンツ２  １２Ｂ、およびコンテンツＮ  １２Ｎ）にアクセスし得る。コンテンツ１２は、ディスプレイバッファを介してホストデバイスにアクセス可能であり得るが、コンテンツをレンダリングする１つまたは複数の特定のアプリケーションから別々にアクセス可能であり得る。一例として、コンテンツ１２Ａは、ビデオ再生アプリケーションからのコンテンツを備え得、コンテンツ１２Ｂは、電子メールアプリケーションまたはワードプロセシングアプリケーションからのコンテンツを備え得る。
【００２６】
ホストデバイス１０は、デコンポーズドマルチストリーム（ＤＭＳ）を生成するＤＭＳ生成器を含み、ＤＭＳは、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、第１のコンテンツはＤＭＳ中の第１のフレームレートを定義し、第２のディスプレイコンテンツはＤＭＳ中の第２のフレームレートを定義し、第１のフレームレートは第２のフレームレートとは異なる。たとえば、コンテンツ１２Ａがビデオ再生アプリケーションからのコンテンツを備え、コンテンツ１２Ｂが電子メールアプリケーションまたはワードプロセシングアプリケーションからのコンテンツを備える場合、コンテンツ１２Ａは、コンテンツ１２Ｂのために使用されるフレームレートよりも高いフレームレートを有するＤＭＳの第１のストリームに符号化され得る。
【００２７】
図２は、ＤＭＳの異なるビデオストリームに対応するディスプレイコンテンツの２つの別個のエリアを含むディスプレイスクリーンの概念図である。図２に示すように、可視エリア２０２は、第１のレンダリングエリア２０４と第２のレンダリングエリア２０６とを含む。さらに、この例では、第１のレンダリングエリア２０４と第２のレンダリングエリア２０６とは、両方とも重なるエリア２０５を含む。ＤＭＳは、第１のレンダリングエリア２０４および第２のレンダリングエリア２０６のコンテンツを通信するための２つの別個のストリームを含み得る。ＤＭＳは、追加のストリーム、すなわち、２つのストリームよりも多いストリームをも含み得る。
【００２８】
第１のレンダリングエリア２０４は、フルモーションビデオシーケンスを備え得、ＤＭＳで３０フレーム毎秒などで符号化され得る。第２のレンダリングエリア２０６は、電子メールアプリケーションまたはワードプロセシングアプリケーションなどのより静的なアプリケーションに関連するウィンドウを備え得る。第２のレンダリングエリア２０６は、代替または追加として、背景データ、（第１のレンダリングエリア２０４中のコンテンツに対する制御などの）グラフィックユーザインターフェース要素を含み得る。
【００２９】
再び図１を参照すると、ホストデバイス１０は、ホストデバイス１０からクライアントデバイス２０にＤＭＳを通信するマルチメディアトランスポートユニット１６を含む。この場合も、ＤＭＳは、（第１のレンダリングエリア２０４および第２のレンダリングエリア２０６などの）異なるレンダリングエリアに関連する２つ以上の異なるストリームを含む。クライアントデバイス２０は、同様に、ホストデバイス１０からＤＭＳを受信するためのマルチメディアトランスポートユニット２２を含む。ホストデバイス１０からクライアントデバイス２０にＤＭＳを通信する際、通信は、ＤＭＳを形成する際に定義されるフレームレートでストリームを送り得る。すなわち、ＤＭＳは、第１のコンテンツが第１のフレームレートで送られ、第２のコンテンツが第２のフレームレートで送られ、第１のフレームレートが第２のフレームレートとは異なるように、ホストデバイス１０からクライアントデバイス２０に送られ得る。
【００３０】
トランスポートユニット１６および２２は、互いにワイヤレス通信することが可能なワイヤレスユニットを備え得る。トランスポートユニット１６および２２は、ワイヤレス通信のために使用される任意のワイヤレス周波数を介して通信され得、短距離または長距離ワイヤレス規格、セルフォン規格、wi-fi（登録商標）、超広帯域通信、ホワイトスペース通信などを含む、そのような通信のための多種多様なワイヤレス技法または規格のいずれかを使用し得る。ホワイトスペースまたは認可テレビジョンＴＶ帯域が通信のために使用される場合、トランスポートユニット１６は、周波数が使用のために利用可能であることを保証するために、感知機能を含み得る（またはグローバルポジショニングなどの他の技法を使用し得る）。
【００３１】
クライアントデバイスにおいて、ディスプレイユニット２６上にＤＭＳの異なるストリームをレンダリングするために、ＤＭＳレンダリングユニット２４が呼び出され得る。以下でより詳細に説明するように、ＤＭＳレンダリングユニット２４は、ＤＭＳ中のコンテンツの異なるストリームに対して、異なるバッファリング技法および異なるレイテンシルールを利用し得る。たとえば、フルモーションビデオは、ビデオが途切れることなく表示されるようにするためにより多くのバッファリングを必要とし得るが、電子メールなどの他のアプリケーションに関連するストリームと比較して、フルモーションビデオをレンダリングするより前により多くのレイテンシまたは遅延（delay）を許容し得る。電子メールアプリケーションまたは他のアプリケーションは、（より遅いフレームレートを使用するので）フルモーションビデオのために必要とされるバッファリングのレベルを必要としないことがあるが、ディスプレイスクリーンへの変更におけるレイテンシまたは遅延を許容し得ない。これらまたは他の理由で、ＤＭＳリーダーユニット２４は、第２のコンテンツとは別様に第１のコンテンツをバッファし得、ディスプレイユニット２６による第１のコンテンツの表示のためと第２のコンテンツの表示のためとに異なるレイテンシルールを適用し得る。
【００３２】
本開示によれば、ホストデバイス１０のＤＭＳ生成器１４は、ＤＭＳ中の第１のレンダリングエリア２０４に関連する第１のフレームレートを動的に調整し、ＤＭＳ中の第２のレンダリングエリア２０６に関連する第２のフレームレートを動的に調整し得る。第１のフレームレートと第２のフレームレートの一方または両方へのこれらの動的調整は、第１のコンテンツと第２のコンテンツとに基づき得る。以下でより詳細に説明するように、ＤＭＳ生成器１４は、アプリケーションから第１のコンテンツをインターセプト（intercept）するが、ホストデバイス１０中のディスプレイバッファから第２のコンテンツを単にキャプチャし得る。そうする際に、ＤＭＳ生成器１４はまた、ディスプレイバッファから第２のコンテンツをキャプチャすることに関連するキャプチャレートを制御し得る（動的に増加または低減し得る）。ＤＭＳ生成器１４は、ＤＭＳ中のストリームのうちの１つまたは複数を符号化するための符号器を随意に含み得、その場合には、ＤＭＳレンダリングユニット２４は、相互復号器を含むことになる。
【００３３】
上述のように、第１のレンダリングエリア２０４および第２のレンダリングエリア２０６は、（重なる領域とも呼ばれる）重なるエリア２０５を含み得る。ＤＭＳのデータ整理と復号の簡略化とを可能にするために、ＤＭＳ生成器１４は、いくつかの例では、第１のコンテンツまたは第２のコンテンツのどちらが重なるエリア中で上にあるかを識別する情報（たとえば、シンタックス情報）をＤＭＳ中に生成し得る。このシンタックス情報は、ＤＭＳレンダリングユニット２４が、第１のコンテンツまたは第２のコンテンツのどちらが重なるエリア２０５中で上にあるかを確認することを可能にすることができるｚ順序付け情報（z-ordering information）または座標を備え得る。この場合、ＤＭＳ１４は、重なるエリア２０５中で第１のコンテンツまたは第２のコンテンツのいずれかのデータを低減するかまたはなくし得、低減されるかまたはなくされるデータは、重なるエリア中で他のデータの下にある。
【００３４】
場合によっては、ＤＭＳ生成器１４は、たとえば、特定のアプリケーションからコンテンツをインターセプトすることが不可能であるか実際的でない場合、ディスプレイバッファから直接、第１のコンテンツおよび第２のコンテンツを含むＳＣＳを生成する能力を含むことがある。この場合、ＤＭＳ生成器は、アプリケーションから第１のコンテンツまたは第２のコンテンツをインターセプトすることが不可能であると判断し得、アプリケーションから第１のコンテンツまたは第２のコンテンツをインターセプトすることが不可能であると判断することに応答して、ホストデバイス１０においてディスプレイバッファから直接、第１のコンテンツおよび第２のコンテンツを含むＳＣＳを生成し得る。ＤＭＳを定義するためにユーザ入力も使用され得る。たとえば、ＤＭＳ生成器１４は、ユーザ入力に応答して第１のコンテンツまたは第２のコンテンツのうちの１つのみを含むようにＤＭＳを調整するように構成され得る。
【００３５】
さらに、ＤＭＳ生成器１４は、ホストデバイス１０とクライアントデバイス２０との間で利用可能な帯域幅を判断し得る。利用可能な帯域幅は、所与の時間に利用可能であるデータ転送レートを定義し得る。ＤＭＳ生成器１４は、いくつかの例では、利用可能な帯域幅に基づいて第１のフレームレートと第２のフレームレートの一方または両方を調整し得る。追加または代替として、ＤＭＳ生成器１４は、利用可能な帯域幅に基づいて第１のコンテンツと第２のコンテンツの一方または両方を動的に符号化し得る。ＤＭＳ生成器１４はまた、通信されているコンテンツのタイプに基づいて第１のコンテンツおよび第２のコンテンツの一方または両方を動的に符号化し得る。多くの場合、本明細書で説明するように、ディスプレイバッファからキャプチャされるコンテンツを符号化することが望ましいことがある。アプリケーションからインターセプトされるコンテンツは、すでに符号化されていることがある。場合によっては、アプリケーションからインターセプトされるコンテンツをトランスコードすること（すなわち、復号し、次いで、異なる符号化フォーマットで再符号化すること）ができる。
【００３６】
概して、「シグナルコンポーズドストリーム」（ＳＣＳ）という句は、本明細書では、ディスプレイバッファ全体が圧縮形態または非圧縮形態のいずれかでエンドツーエンドに（たとえば、ホストデバイス１０からクライアントデバイス２０に）送信される技法を指すために使用されている。ＳＣＳの場合、部分的な表示更新も、圧縮形態または非圧縮形態でエンドツーエンドに送信され得る。対照的に、「デコンポーズドマルチストリーム」（ＤＭＳ）という句は、ディスプレイバッファからのディスプレイコンテンツの残部に加えて、アプリケーション（たとえば、メディアプレーヤアプリケーション）から直接のプリ圧縮コンテンツ（たとえば、ビデオ）の両方をパスする技法を指す。現在、ＤＭＳ技法のために、「ＶＥＳＡ  Ｎｅｔ２Ｄｉｓｐｌａｙ」および「ＵＳＢ−ＩＦ  Ｄｉｓｐｌａｙ」を含むいくつかの標準化仕様が開発中である。ＳＣＳ方法をサポートする仕様は、ＶＥＳＡ  Ｎｅｔ２Ｄｉｓｐｌａｙ、ＵＳＢ−ＩＦ  Ｄｉｓｐｌａｙ、および他の商用ＶＮＣシステムを含み得る。
【００３７】
ＤＭＳ方法は、プリ圧縮コンテンツの品質保持、ならびにホストデバイス１０に関連するホストプラットフォーム上でのリソースおよび電力節約など、多くの利点を定義し得る。ただし、ＤＭＳは、いくつかの欠点を有する。これらの欠点は、クライアントデバイス２０のコストおよび複雑さを増加させ得る追加の要件をＤＭＳがクライアントデバイス２０に課し得ることを含み得る。クライアントデバイス２０がＤＭＳをサポートすることについてのそのような追加の要件は、同時に２つ以上のビデオストリームを復号する能力と、２つ以上のストリームの復号された出力を構成し、レンダリングする能力とを含み得る。２つ以上のストリームの復号された出力を構成し、レンダリングする能力は、場合によっては、複数のディスプレイ表面の構造の一部としてクロマキーおよびアルファブレンディングを実行する能力を要求し得る。さらに、クロマキーおよびアルファブレンディングの要件は、他のコンテンツが、フルモーションビデオがレンダリングされているエリアの上に動的にオーバーレイされるときに重要になり得る。そのような動的（dynamic）コンテンツの例には、ユーザアクションによって生成されるドロップダウンメニュー、ホストデバイス１０上のオペレーティングシステムによって生成されるダイアログボックスおよび警報がある。時々、たとえば、これらまたは他のアイテムは、ムービーがレンダリングされているエリアの上に直接、ホストデバイス１０およびクライアントデバイス２０によってレンダリングされ得る。本開示の技法は、これらの事例においてＤＭＳを簡略化し、単にどのレンダリングエリアが重なるエリア中で上にあるかを識別するためにシンタックス情報を使用することによって、クロマキーおよび／またはアルファブレンディングの必要を回避し得る。
【００３８】
多くのホストデバイス実装形態は、背景ディスプレイ面の不要なキャプチャおよび符号化であり得るとしても、背景面を周期的にキャプチャするためにハイレベルのアプリケーションプログラムインターフェース（ＡＰＩ）（たとえば、グラフィカルドライバインターフェース（ＧＤＩ））に依拠し得る。たとえば、ホストデバイスのリソースの使用を低減し、ホストデバイス１０とクライアントデバイス２０との間で送信されるデータの量を低減するために、オーバーレイフルモーションビデオによって部分的に（または完全に）隠されるエリアはＤＭＳからなくされ得る。
【００３９】
また、ワイヤレスタッチスクリーン実装形態の場合、クライアントデバイス２０におけるタッチイベントのキャプチャは、ＤＭＳ中のすべての受信されたストリームのレンダリングロケーションにわたる、ディスプレイスクリーン全体にわたって望ましいことがある。さらに、ＤＭＳは、クライアントデバイス２０がプリ圧縮コンテンツの特定のメディアタイプをサポートしないときに機能しないことがある。解像度、使用される符号化の特定のタイプ、使用される色空間、配向、アスペクト比、または他のファクタなど、メディアタイプの多くの態様により、クライアントデバイス２０がそのメディアタイプをサポートしない場合に、ＤＭＳが機能しないことがある。
【００４０】
ＤＭＳはまた、ホストデバイス１０が、たとえば、メディアプレーヤアプリケーションからプリ圧縮コンテンツをインターセプトすることができないときに機能しないことがある。これは、メディアプレーヤが、モノリシック形態で実装され、インターセプトの助けとなる周知のメディアフレームワークを使用していない場合に起こり得る。また、ＤＭＳは、（別個のストリームについて）合成されたスループット要件が、ホストデバイス１０とクライアントデバイス２０との間で利用可能な送信リンク容量（すなわち、利用可能な帯域幅）を超えるときに機能しないことがある。チャネル状態は、ワイヤレスディスプレイセッションの過程でワイヤレスディスプレイセッションの開始時に、または任意のポイントにおいて動的に起こり得る。本開示の技法は、上記で説明したＤＭＳのこれらの論点および問題の解決策を提供し得る。
【００４１】
ＳＣＳ技法のみを使用するシステムは、ディスプレイエリア全体を単一ユニットとして扱うことを強制されることがある。したがって、この場合、クライアントデバイス２０は、再生用の共通ジッタバッファを実装することによって、レイテンシについて一様に異なるディスプレイエリアを扱い得る。これは、より静的なアプリケーションの生産性および応答性のためにレイテンシを最小限に抑えること（したがって、ジッタバッファリングを最小限に抑えること）と、（ジッタバッファリングを増加させることによって）フルモーションビデオ再生アプリケーションの滑らかさを向上させることとの間のトレードオフを提示し得る。また、ＳＣＳ技法のみを使用するシステムは、圧縮データ送信対非圧縮データ送信など、品質パラメータをトレードオフするときに、ディスプレイエリア全体に対して一様な処理を適用することを強制されることがある。この場合、動的適応は、制約され得、ディスプレイエリア全体上に一様に適用される必要があり得る。
【００４２】
本開示に一致して、ＤＭＳクライアント（すなわち、クライアントデバイス２０）の様々な要件は、たとえば、低コストのクライアント実装形態に対して緩和され得る。同時に２つ以上のビデオストリームを復号する能力が、クライアントデバイス２０において依然として必要とされ得るが、背景面の符号化フレームレートは、合計復号フレームレートを最小限に抑えるために著しく低減され得る。ＤＭＳ内のストリームのうちの１つのフレームレートの低減について、以下でさらに詳細に説明する。
【００４３】
２つ以上のストリームの復号された出力を構成し、レンダリングする能力は、重なるレンダリングエリア中のコンテンツ上で比較的単純なｚ順序付けを必要とすることのみによって、クライアントデバイス２０において簡略化され得る。これにより、クライアントデバイス２０におけるブレンディング演算およびクロマキーアプリケーションを回避することができる。この方式は、以下のように、フルモーションビデオがレンダリングされているエリアの上に表示される必要があるコンテンツを処理するために補足され得る。一例では、ホストデバイス１０は、フルモーションビデオオーバーレイ面の上に表示されるべきコンテンツの存在（またはその後の除去）を検出し得る。この検出は、ホストデバイス１０によって、いくつかの方法で、たとえば、更新の長方形座標を与えるディスプレイドライバ更新のインターセプトを介して、またはフルモーションビデオオーバーレイ面の座標の知識を用いた戦略的なロケーションにおける完全なグラフィックドライバインターフェース（ＧＤＩ）キャプチャバッファのスキャンを介して行われ得る。さらに、ホストデバイス１０は、クライアントデバイスにそのようなｚ順序付けを通知するために、制御メッセージ（または他のシンタックス要素）を介してクライアントデバイス２０をシグナリングし得る。ホストデバイス１０から制御メッセージを受信すると、クライアントデバイス２０は、２つの別個のストリームのｚ順序を制御（場合によってはスワップ）し得る。これにより、表示されるべきユーザインターフェース警報がある間にフルモーションビデオコンテンツが一時的に隠され得るが、これは、低コストの比較的単純なクライアントデバイス実装形態にとって許容できる制限であり得る。
【００４４】
周期的に背景面をキャプチャするためのハイレベルＡＰＩ（たとえばＧＤＩ）に依拠するホストデバイス実装形態の場合、背景ディスプレイ面のキャプチャおよび符号化のホストプラットフォームオーバーヘッドは、いくつかの異なる方法で最小限に抑えられ得る。一例では、アクティブなフルモーションビデオオーバーレイ表面がある間、ＧＤＩキャプチャレートは著しく（たとえば４ヘルツに）低減され得る。この低下されたキャプチャレートの影響は、フレームレートを低減し得るが、周囲のディスプレイエリアはたいてい静的である（または、一般にフルモーションビデオオーバーレイ面と比較してはるかに低いレートで変化する）ので、ほとんどの状況において知覚不可能であり得る。さらに、低減されたフレームレート（および低減されたキャプチャレート）のそのような利益は、（ホストデバイス上でハードウェアアクセラレーテッド復号が行われるときがそうであるように）フルモーションビデオオーバーレイ面エリアがＧＤＩキャプチャによってマスキングされるときに一層顕著になり得る。重なる領域内のマスキングされたエリアは、ＧＤＩキャプチャの間、ヌルデータまたは「黒」で充填され得、それにより、低下されたキャプチャレートでの符号化効率を改善し得る。フルモーションビデオがレンダリングされている「黒」エリア中でモーションは生成されないので、マスキングされた重なる領域の「黒化（blacking）」は、より低いＧＤＩキャプチャレートと相乗的であり得、場合によっては、任意の符号器ビットバジェットが、所与のビットバジェットのビデオ品質を改善するために、周囲のエリアで消耗され得る。
【００４５】
極端な例では、ホストデバイス１０が、（メディアプレーヤアプリケーションが「フルスクリーン」モードにあるときに起こり得る）フルモーションビデオオーバーレイ面が全ディスプレイエリアを占有することを検出した場合、ＧＤＩキャプチャレートは、０ヘルツに縮退し得る。０ヘルツへのＧＤＩキャプチャレートのこの縮退はまた、ホストデバイスメディアプレーヤアプリケーションがフルスクリーンモードでないとき、たとえば、ユーザが、クライアントデバイスのワイヤレスディスプレイ上で全ユーザインターフェースを可視化しないことを選択する場合、随意にシミュレートされ得る。これは、フルモーションオーバーレイ面のみがクライアントデバイス上で可視化されることが望まれる場合にクライアントデバイスのワイヤレスディスプレイがテレビジョン（ＴＶ）スクリーンである場合、好適な選択であり得る。
【００４６】
ワイヤレスタッチスクリーン実装形態の場合、クライアントデバイス２０におけるタッチイベントのキャプチャは、すべての受信されたＤＭＳストリームのレンダリングロケーションにわたる、ディスプレイスクリーン全体上で達成され得る。クライアントデバイス２０によって、全ディスプレイエリアと一致する追加の仮想ウィンドウ面がレンダリングされ得る。この仮想ウィンドウ面は、受信され、レンダリングされる実際のディスプレイストリームのいずれかを隠さないように、ユーザに透過的なウィンドウであり得る。（標準演算システムインターフェースを使用する）タッチスクリーンキャプチャは、クライアントデバイス２０においてこの仮想面上で実行され得、ホストデバイスディスプレイスクリーンサイズに適宜にスケーリングされ得る。
【００４７】
本開示で説明する技法を実装するとき、ホストデバイス１０は、クライアントデバイス２０がプリ圧縮コンテンツのメディアタイプをサポートしないときにＳＣＳモードにフォールバックし得る。メディアタイプの態様は、解像度、使用される符号化、色空間、配向、アスペクト比、または他のファクタを含み得る。また、本開示で説明する技法を実装するとき、ホストデバイス１０は、コンテンツをレンダリングするために使用される（メディアプレーヤアプリケーションなどの）アプリケーションからプリ圧縮コンテンツをホストデバイス１０がインターセプトすることができないときにＳＣＳモードにフォールバックし得る。これは、たとえば、（メディアプレーヤアプリケーションなどの）アプリケーションがホストデバイス１０に知られている媒体フレームワークを使用しない場合に、または場合によってはメディアがホストデバイス１０によるインターセプトの助けとならない場合に起こり得る。
【００４８】
ホストデバイス１０が、（すべてのＤＭＳストリーミングについて）合成されたスループット要件が、ホストデバイス１０とクライアントデバイス２０との間で利用可能な送信リンク容量（たとえば、利用可能な帯域幅）を超えることを検出したとき、ホストデバイス１０は、様々な動作を実行し得る。１つのそのような例では、ホストデバイス１０は、符号化において使用される量子化パラメータ、フレームレート、ビットレート、または他のパラメータなどの１つまたは複数のパラメータを適応させることによって、背景面のためのスループットバジェットを低下させ得る。これが、ホストデバイス１０とクライアントデバイス２０との間で利用可能な送信リンク容量内に両方のストリームを収めるのに依然として不十分な場合、クライアントデバイス２０は、量子化パラメータ、フレームレート、ビットレートまたは他の要素を適切に劣化しさせてＳＣＳモードに戻り得る。不十分なチャネル容量状態は、ワイヤレスディスプレイセッションの開始時に、またはワイヤレスディスプレイセッションの過程で動的に起こり得る。
【００４９】
クライアントデバイス２０は、レイテンシについて別様に受信されたストリームの各々を扱い得る。たとえば、クライアントデバイス２０は、フルモーションビデオのために使用されるジッタバッファと比較して、背景面ストリームのためにより小さいジッタバッファを実装し得る。クライアントデバイスはまた、レイテンシが背景面ストリームに導入されないようにするために、異なるレイテンシルールを適用し得る。レイテンシは、フルモーションビデオについてより許容でき得、ビデオシーケンス後半のビデオ再生中の中断を回避するのを助けることが当初は望ましいことがある。背景面ストリームのためのより小さいジッタバッファとは対照的に、クライアントデバイス２０は、ビデオ再生アプリケーションの滑らかさを改善するために、フルモーションビデオオーバーレイ面に対して比較的大きいジッタバッファを実装し得る。
【００５０】
ＤＭＳのための特定の遅延の実装形態は、たとえば、ホストデバイス１０によって一意に補償され得る、ＤＭＳ内の各ストリームに対して追加される提示タイムスタンプを介して、ホストデバイス１０によっても制御され得る。ホストデバイス１０はまた、ＤＭＳ状態（すなわち、現在、アクティブなフルモーションビデオオーバーレイ面があるかどうか）と、送信リンク容量の可用性とに応じて、背景面のために圧縮モード送信と非圧縮モード送信との間で選択し得る。たとえば、ホストデバイス１０は、アクティブなフルモーションビデオオーバーレイ面があるときはいつでも、より低いフレームレートの非圧縮モードを選び得る。この場合、背景面の非圧縮モード送信は、全面スクリーンショット、またはクライアントデバイス２０によってすでに受信されている前のスクリーンショットを修正する部分的な更新のいずれかであり得る。いずれの場合も、スクリーンショットまたは更新は、たとえば、クロマサブサンプリング（chroma-sub-sampling）、ランレングスコーディング（run-length coding）または他の技法を使用して軽度に圧縮され得る。
【００５１】
図３は、図１のホストデバイス１０に対応し得るホストデバイス３００のブロック図である。この例では、ホストデバイス３００は、プロセッサ上で動作するホストオペレーティングシステムを備え得るホストアプリケーションユニット３０２を含む。ホストデバイス３００はまた、ホストデバイス３００上での表示のためのディスプレイとソフトウェアドライバとを備え得るホストディスプレイシステム３０４を含む。ディスプレイバッファ３０６はまた、ホストディスプレイシステム３０４の一部を形成し得るが、ＤＭＳの生成の一部としてＤＭＳ生成器３０８によってアクセスされ得るので、別々に示してある。ＤＭＳ生成器３０８は、図１のＤＭＳ生成器１２に対応し得る。ホストデバイス３００はまた、図１のマルチメディアトランスポートユニット１４に対応し得るマルチメディアトランスポートユニット３１０を含む。トランスポートインターフェース３１６は、ホストデバイス３００上の１つまたは複数のアンテナ、ならびにワイヤレス通信のために使用されるエアインターフェースを含み得る。ホストデバイス３００はメディアプレーヤユニット３１２を含み得、ＤＭＳ生成器３０８は、ＤＭＳに含めるために（割込みなどを介して）メディアプレーヤユニット３１２から直接コンテンツを取得することが可能であり得る。ホストデバイス３００は、ＤＭＳ中に含まれるストリームのうちの１つまたは複数を符号化するためのエンコーダ３１４を随意に含み得る。エンコーダ３１４は、ＩＴＵ−Ｈ．２６３、ＩＴＵ−Ｈ．２６４、ＩＴＵ−Ｈ．２６５、または他のパブリックまたはプロプライエタリ（proprietary）ビデオコーディング規格または技法に準拠するエンコーダなどの任意のビデオエンコーダを備え得る。多くの場合、ディスプレイバッファ３０６からキャプチャされるコンテンツを符号化するためにエンコーダ３１４を呼び出すことが望ましいことがある。メディアプレーヤユニット３１２からインターセプトされるコンテンツは、すでに符号化されていることがある。場合によっては、メディアプレーヤユニット３１２からインターセプトされるコンテンツをエンコーダ３１４によってトランスコードすること（すなわち、復号し、次いで、異なる符号化フォーマットで再符号化すること）もできる。
【００５２】
ＤＭＳ生成器３０８は、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義するＤＭＳを生成し、第１のコンテンツがＤＭＳ中の第１のフレームレートを定義し、第２のディスプレイコンテンツがＤＭＳ中の第２のフレームレートを定義し、第１のフレームレートが第２のフレームレートとは異なる。第１のフレームレートに関連する第１のコンテンツは、メディアプレーヤユニット３１２から直接受信されるビデオ情報を備え得る。この場合、ＤＭＳ生成器３０８は、メディアプレーヤユニット３１２にＤＭＳ生成器に対して直接そのビデオストリームを与えるように命令するために、メディアプレーヤユニット３１２に割込みを発行し得る。メディアプレーヤユニット３１２はまた、ホストデバイス３００に関連するディスプレイデバイスによる表示のために、ホストディスプレイシステム３０４にそのビデオストリームを与え得る。
【００５３】
メディアプレーヤユニット３１２から直接受信されるこの第１のストリームに加えて、ＤＭＳ生成器３０８は、ディスプレイバッファ３０６から、本質的にＳＣＳである第２のストリームをも受信し得る。ＤＭＳ生成器３０８は、第１のストリームと第２のストリームの両方を含むＤＭＳを生成し得、異なるフレームレートを有する、ＤＭＳの異なるストリームを生成し得る。たとえば、メディアプレーヤユニット３１２から直接受信される第１のストリームは、ビデオ再生と共通の（１０〜３０フレーム毎秒などの）比較的高いフレームレートを定義し得る。ディスプレイバッファ３０６から受信される第２のストリームは、（１〜１０フレーム毎秒などの）比較的遅いフレームレートを定義し得る。第１のコンテンツのエリアと第２のコンテンツのエリアとが重なる場合、ＤＭＳ生成器３０８は、重なるエリア中の両方のストリームのためのデータを送ることを回避するために、本開示の技法を使用し得る。代わりに、ＤＭＳ生成器３０８は、どのストリームが上にあるかを識別するためにＤＭＳ情報を生成し得、（特に重なるエリア中で）下にあるストリームからデータをなくし得る。この場合、ＤＭＳを生成することは、重なるエリア中で第１のコンテンツまたは第２のコンテンツのいずれかのデータを低減するかまたはなくすことを含み得、低減されるかまたはなくされるデータは、重なるエリア中で他のデータの下にある。
【００５４】
場合によっては、ＤＭＳ生成器３０８は、ディスプレイバッファ３０６から第２のコンテンツをキャプチャすることに関連するそれのキャプチャレートを動的に低減するか、または動的に増加させることもあり、これらの調整は、第１のコンテンツおよび／または第２のコンテンツに基づき得る。エンコーダ３１４は、ＤＭＳの第１のコンテンツ、ＤＭＳの第２のコンテンツ、または第１のコンテンツと第２のコンテンツの両方を符号化するために呼び出され得る。エンコーダ３１４は、ＩＴＵ−Ｈ．２６３、ＩＴＵ−Ｈ．２６４、ＩＴＵ−Ｈ．２６５、または他のパブリックまたはプロプライエタリビデオコーディング規格または技法に従ってデータを符号化し得る。
【００５５】
場合によっては、ＤＭＳ生成器３０８は、メディアプレーヤユニット３１２から第１のコンテンツをインターセプトすることが不可能であると判断し得、この場合、アプリケーションから第１のコンテンツまたは第２のコンテンツをインターセプトすることが不可能であると判断することに応答して、ディスプレイバッファ３０６から直接、第１のコンテンツおよび第２のコンテンツを含むＳＣＳを生成し得る。この場合、ＳＣＳは、コンテンツがアプリケーションから利用可能でなく、ディスプレイバッファ３０６からのみ利用可能である場合、ＤＭＳへのフォールバックと見なされ得る。
【００５６】
異なる例では、第１のコンテンツがビデオシーケンスを備え、第２のコンテンツが非ビデオアプリケーションの出力を備える。場合によっては、第２のコンテンツは、第１のコンテンツのビデオシーケンスの周りにシェルを形成するグラフィカルユーザインターフェース要素を備え得る。他の場合には、第２のコンテンツは、グラフィカルユーザインターフェース制御要素、または第１のコンテンツと重なり得る別個のグラフィカルユーザインターフェースウィンドウを備え得る。さらに他の事例では、第２のコンテンツは、電子メールアプリケーションまたはワードプロセシングアプリケーションなどの異なるアプリケーションに関連する別個のウィンドウを備え得る。所望される場合、ＤＭＳは、ユーザ入力に応答して第１のコンテンツまたは第２のコンテンツのうちの１つのみを含むように調整され得る。
【００５７】
さらに他の例では、ＤＭＳ生成器３０８は、ＤＭＳを生成する際に（利用可能な帯域幅などの）他のファクタを検討し得る。たとえば、ＤＭＳ生成器３０８は、ホストデバイス３００とクライアントデバイスとの間で利用可能な帯域幅を判断し得、利用可能な帯域幅に基づいて、第１のフレームレートと第２のフレームレートの一方または両方を調整し得る。エンコーダ３１４が、ＤＭＳ中で符号化コンテンツを作成するためにＤＭＳ生成プロセスの一部としてＤＭＳ生成器３０８によって呼び出される場合、ＤＭＳ生成器３０８はまた、ＤＭＳ生成プロセスの一部として符号化パラメータを調整し得る。一例として、ＤＭＳ生成器３０８は、ホストデバイス３００とクライアントデバイスとの間で利用可能な帯域幅を判断し得、エンコーダ３１４に、利用可能な帯域幅に基づいて、第１のコンテンツと第２のコンテンツの一方または両方を動的に符号化させ得る。
【００５８】
ＤＭＳは、トランスポートインターフェース３１６を介してクライアントデバイス（図示せず）に通信するためにホストデバイス３００のマルチメディアトランスポートユニット３１０に転送され得る。マルチメディアトランスポートユニット３１０およびトランスポートインターフェース３１６は、短距離または長距離ワイヤレス規格、セルフォン規格、wi-fi、超広帯域通信、ホワイトスペース通信などを含む、そのような通信のための多種多様なワイヤレス技法または規格のいずれかを使用し得る。ホワイトスペースまたは認可テレビジョンＴＶ帯域が通信のために使用される場合、マルチメディアトランスポートユニット３１０は、周波数がトランスポートインターフェース３１６上で利用可能であることを保証するために、感知機能を含み得る（またはグローバルポジショニングなどの他の技法を使用し得る）。
【００５９】
図４は、図１のクライアントデバイス２０に対応し得るクライアントデバイス４００のブロック図である。この例では、クライアントデバイス４００は、プロセッサ上で動作するクライアントオペレーティングシステムを備え得るクライアントアプリケーションユニット４０２を含む。クライアントデバイス４００はまた、クライアントデバイス４００上での表示のためのディスプレイとソフトウェアドライバとを備え得るクライアントディスプレイシステム４０４を含む。ＤＭＳレンダリングユニット４０６が、図１のＤＭＳレンダリングユニット２４に対応し得る。クライアントデバイス４００はまた、図１のマルチメディアトランスポートユニット２２に対応し得るマルチメディアトランスポートユニット４０８を含む。トランスポートインターフェース４１２は、クライアントデバイス４００上の１つまたは複数のアンテナ、ならびにホストデバイス（図４に図示せず）からのワイヤレス通信のために使用されるエアインターフェースを含み得る。クライアントデバイス４００は、ＤＭＳ中に含まれるストリームのうちの１つまたは複数を復号するためのデコーダ４１０を随意に含み得る。デコーダ４１０は、ＩＴＵ−Ｈ．２６３、ＩＴＵ−Ｈ．２６４、ＩＴＵ−Ｈ．２６５、または他のパブリックまたはプロプライエタリビデオコーディング規格または技法に準拠するデコーダを備え得る。
【００６０】
クライアントデバイス４００は、トランスポートインターフェース４１２とマルチメディアトランスポートユニット４０８とを介してホストデバイスからＤＭＳストリームを受信する。本開示で説明するように、ＤＭＳは、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、第１のコンテンツがＤＭＳ中の第１のフレームレートを定義し、第２のディスプレイコンテンツがＤＭＳ中の第２のフレームレートを定義し、第１のフレームレートが第２のフレームレートとは異なる。ＤＭＳレンダリングユニット４０６は、クライアントデバイス４００のクライアントディスプレイシステム４０４上に第１のディスプレイコンテンツと第２のディスプレイコンテンツとをレンダリングする。さらに、一例では、第１のコンテンツがビデオシーケンスを備え、第２のコンテンツが非ビデオアプリケーションの出力を備える。別の例では、第１のコンテンツがビデオシーケンスを備え、第２のコンテンツがグラフィカルユーザインターフェース要素を備える。これらの例では、第１のフレームレートは、第２のフレームレートよりも大きくなり得る。
【００６１】
場合によっては、ＤＭＳレンダリングユニット４０６および／またはクライアントディスプレイシステム４０４が、ＤＭＳ中の異なるコンテンツに異なるタイプのバッファリングおよびレイテンシルールを実装することが望ましいことがある。たとえば、クライアントディスプレイシステム４０４は、ディスプレイバッファを含み得、第２のコンテンツとは別様に第１のコンテンツをバッファし得る。さらに、クライアントディスプレイシステム４０４は、第１のコンテンツの表示のためと第２のコンテンツの表示のためとに異なるレイテンシルールを適用し得る。たとえば、フルモーションビデオは、ビデオが途切れることなく表示されるようにするためにより多くのバッファリングを必要とし得るが、電子メールなどの他のアプリケーションに関連するストリームと比較して、フルモーションビデオをレンダリングするより前により多くのレイテンシまたは遅延を許容し得る。電子メールアプリケーションまたは他のアプリケーションは、（より遅いフレームレートを使用するので）フルモーションビデオのために必要とされるバッファリングのレベルを必要としないことがあるが、ディスプレイスクリーンへの変更におけるレイテンシまたは遅延を許容し得ない。これらまたは他の理由で、ＤＭＳリーダーユニット４０６および／またはクライアントディスプレイシステム４０４は、第２のコンテンツとは別様に第１のコンテンツをバッファし得、クライアントディスプレイシステム４０４による第１のコンテンツの表示のためと第２のコンテンツの表示のためとに異なるレイテンシルールを適用し得る。
【００６２】
図５は、ＤＭＳを生成するための技法を示す流れ図である。他のデバイスによって同様の技法が適用され得るが、図５について、ホストデバイス３００の観点から説明する。図５に示すように、ホストデバイス３００のＤＭＳ生成器３０８は、メディアプレーヤユニット３１２からの第１のコンテンツにアクセスし（５０１）、ディスプレイバッファ３０６からの第２のコンテンツにアクセスする（５０２）。ＤＭＳ生成器３０８は、異なるフレームレートで第１のコンテンツと第２のコンテンツとを含むＤＭＳを生成し（５０３）、マルチメディアトランスポートユニット３１０およびトランスポートインターフェース３１６などを介して、クライアントデバイスにＤＭＳを通信する（５０４）。場合によっては、追加のコンテンツ（すなわち、追加のストリーム）もＤＭＳ中に含まれ得る。
【００６３】
図６は、ＤＭＳを生成するための技法を示す別の流れ図である。他のデバイスによって同様の技法が適用され得るが、図６についても、ホストデバイス３００の観点から説明する。図６に示すように、ホストデバイス３００のＤＭＳ生成器３０８は、メディアプレーヤユニット３１２からの第１のコンテンツにアクセスし（６０１）、ディスプレイバッファ３０６からの第２のコンテンツにアクセスする（６０２）。ＤＭＳ生成器３０８は、異なるフレームレートで第１のコンテンツと第２のコンテンツとを含むＤＭＳを生成する（６０３）。さらに、ＤＭＳ生成器３０８は、クライアントデバイスに、どのように第１のコンテンツと第２のコンテンツとを再構成するのかを命令するシンタックス情報（たとえば、メタデータ）を備え得る、ＤＭＳ情報を生成する（６０４）。たとえば、第１のコンテンツと第２のコンテンツとの間で重なり合う場合、ＤＭＳ情報は、重なるエリアのｚ座標情報を備え得る。この場合、重なるエリア中で他のストリームの下にある、ＤＭＳ内のストリームは、何かが他のストリームによってオーバーレイされるそのエリア中のデータの量を低減するために、ヌルデータまたはブラックデータとして符号化され得る。次いで、ホストデバイス３００は、マルチメディアトランスポートユニット３１０およびトランスポートインターフェース３１６などを介して、クライアントデバイスにＤＭＳおよびＤＭＳ情報を通信する（６０５）。
【００６４】
図７は、ＤＭＳを生成するための技法を示す別の流れ図である。他のデバイスによって同様の技法が適用され得るが、図７についても、ホストデバイス３００の観点から説明する。図７に示すように、ホストデバイス３００のＤＭＳ生成器３０８は、メディアプレーヤユニット３１２からの第１のコンテンツにアクセスし（７０１）、ディスプレイバッファ３０６からの第２のコンテンツにアクセスする（７０２）。ＤＭＳ生成器３０８は、コンテンツ自体に基づいて第１のコンテンツおよび第２のコンテンツのためのフレームレートを動的に定義する（７０３）。たとえば、ＤＭＳ生成器３０８は、ビデオ情報により高いフレームレートを割り当て、より静的であるストリームにより遅いフレームレートを割り当て得る。場合によっては、フレームレートはアクセス場所によって判断され得る。たとえば、メディアプレーヤユニット３１２からのビデオ情報に、ディスプレイバッファ３０６からのデータよりも高いフレームレートが割り当てられ得る。電子メールアプリケーションまたはワードプロセシングアプリケーションからなど、他のアプリケーションからのデータに、同様に、メディアプレーヤユニット３１２または別のソースからのビデオデータよりも遅いフレームレートが割り当てられ得る。いずれの場合も、ＤＭＳ生成器３０８は、異なる動的に定義されるフレームレートで第１のコンテンツと第２のコンテンツとを含むＤＭＳを生成する（７０４）。異なるレートは、コンテンツが変化するとレートが変化し得るという意味で動的であり得る。そのような変化は、任意の所与のインスタンスにおいて、コンテンツのソースまたはコンテンツの実際のタイプに基づき得る。
【００６５】
図８は、異なるシナリオにおいてＤＭＳまたはＳＣＳを生成するための技法を示す流れ図である。他のデバイスによって同様の技法が適用され得るが、図８についても、ホストデバイス３００の観点から説明する。図８に示すように、ホストデバイス３００のＤＭＳ生成器３０８は、ビデオコンテンツがメディアプレーヤユニット３１２に関連するアプリケーションから利用可能であるかどうかを判断する（８０１）。利用可能でない場合（「いいえ」８０１）、ＤＭＳ生成器は、ＳＣＳ技法にデフォルト設定され得る。この場合（「いいえ」８０１）、ＤＭＳ生成器は、ディスプレイバッファ３０６からのコンテンツにアクセスし（８０６）、１つのフレームレートでディスプレイバッファ３０６のコンテンツ全体を含むＳＣＳを生成する（８０７）。次いで、ホストデバイス３００は、マルチメディアトランスポートユニット３１０およびトランスポートインターフェース３１６などを介して、クライアントデバイスにＳＣＳを通信する（８０８）。
【００６６】
ホストデバイス３００のＤＭＳ生成器３０８が、ビデオコンテンツがメディアプレーヤユニット３１２に関連するアプリケーションから利用可能であると判断する場合（「はい」８０１）、ＤＭＳ生成器は、ＤＭＳ技法を実装し得る。この場合（「はい」８０１）、ＤＭＳ生成器３０８は、メディアプレーヤユニット３１２に関連するアプリケーションからのビデオコンテンツにアクセスし（８０２）、ディスプレイバッファ３０６からの非ビデオコンテンツに別々にアクセスする（８０３）。ＤＭＳ生成器３０８は、異なるフレームレートで異なるコンテンツを含むＤＭＳを生成し（８０４）、マルチメディアトランスポートユニット３１０およびトランスポートインターフェース３１６などを介して、クライアントデバイスにＤＭＳを通信する（８０５）。
【００６７】
図９は、クライアントデバイスにおいてＤＭＳを処理するための技法を示す流れ図である。他のデバイスによって同様の技法が適用され得るが、図９について、クライアントデバイス４００の観点から説明する。図９に示すように、ＤＭＳレンダリングユニット４０６は、ＤＭＳを受信する（９０１）。たとえば、ＤＭＳは、ホストデバイスから通信され、トランスポートインターフェース４１２およびマルチメディアトランスポートユニット４０８を介してクライアントデバイス４００において受信され得る。マルチメディアトランスポートユニット４０８は、ＤＭＳレンダリングユニット４０６にＤＭＳを転送する。ＤＭＳレンダリングユニット４０６は、ＤＭＳに基づいて第１のコンテンツを生成し（９０２）、ＤＭＳに基づいて第２のコンテンツを生成する（９０３）。ＤＭＳレンダリングユニット４０６は、クライアントディスプレイシステム４０４に、第１のコンテンツと第２のコンテンツとをＤＭＳによって定義され得る異なるフレームレートで表示させる（９０４）。２つ以上のストリームのこの表示は、重なるエリア中の異なるストリームのオーバーレイを処理するための技法など、本明細書で説明する他の技法のいずれかを随意に含み得る。
【００６８】
図１０は、クライアントデバイスにおいてＤＭＳを処理するための技法を示す流れ図である。他のデバイスによって同様の技法が適用され得るが、図１０についても、クライアントデバイス４００の観点から説明する。図１０に示すように、ＤＭＳレンダリングユニット４０６は、ＤＭＳを受信し（１００１）、また、ＤＭＳに関連するメタデータあるいは他のサイドまたはシンタックス情報を備え得るＤＭＳ情報を受信する（１００２）。
【００６９】
ＤＭＳおよびＤＭＳ情報は、ホストデバイスから通信され、トランスポートインターフェース４１２およびマルチメディアトランスポートユニット４０８を介してクライアントデバイス４００において受信され得る。マルチメディアトランスポートユニット４０８は、ＤＭＳレンダリングユニット４０６にＤＭＳおよびＤＭＳ情報を転送する。ＤＭＳレンダリングユニット４０６は、ＤＭＳに基づいて第１のコンテンツを生成し（１００３）、ＤＭＳに基づいて第２のコンテンツを生成する（１００４）。ＤＭＳレンダリングユニット４０６は、クライアントディスプレイシステム４０４に、異なるフレームレートでＤＭＳ情報に基づいて第１のコンテンツと第２のコンテンツとを表示させる（１００５）。異なるフレームレートはＤＭＳ自体によって定義され得る。ＤＭＳ情報は、第１のストリームと第２のストリームの対話を定義する情報を備え得る。たとえば、ＤＭＳ情報は、ＤＭＳストリーム内の第１のコンテンツと第２のコンテンツのどちらが他方のコンテンツの上にオーバーレイされるかについて定義するＺ座標（すなわち、奥行き）情報を備え得る。Ｚ座標（すなわち、奥行き）情報は、あらゆる重なるエリアについて、どちらのコンテンツが上（on top）にあり、どちらのコンテンツが下（underneath）にあるかを定義するために、異なるストリームの相対奥行きを定義し得る。重なるエリア中で他のコンテンツの下にあるコンテンツは、スループットを改善するために、ＤＭＳストリーム中でヌル化（nulled）または黒化され得る。データは、他のデータの下にあるので、いずれにせよ視界から遮断されるので、ＤＭＳストリーム中のそのようなデータをヌル化または黒化することはクライアントデバイス４００におけるユーザによって観測されないことになる。
【００７０】
図１１は、クライアントデバイスにおいてＤＭＳを処理するための技法を示す流れ図である。他のデバイスによって同様の技法が適用され得るが、図１１についても、クライアントデバイス４００の観点から説明する。図１１に示すように、ＤＭＳレンダリングユニット４０６は、第１のコンテンツと第２のコンテンツとを含むＤＭＳを受信する（１１０１）。たとえば、ＤＭＳは、ホストデバイスから通信され、トランスポートインターフェース４１２およびマルチメディアトランスポートユニット４０８を介してクライアントデバイス４００において受信され得る。マルチメディアトランスポートユニット４０８は、ＤＭＳレンダリングユニット４０６にＤＭＳを転送する。ＤＭＳレンダリングユニット４０６は、クライアントディスプレイシステム４０４に、ＤＭＳからの第１のコンテンツをバッファさせ（１１０２）、ＤＭＳからの第２のコンテンツをバッファさせる（１１０３）。クライアントディスプレイシステム４０４によって使用されるバッファは、コンテンツに依存し得る。たとえば、リアルタイムビデオデータのためにより大きいバッファが使用され得るが、電子メールアプリケーションまたはワードプロセシングアプリケーションなどの他のタイプのアプリケーションに関連するグラフィカルデータまたはデータなど、他のタイプのデータのために（場合によっては、より大きいバッファよりも小さいレイテンシを定義する）より小さいバッファが使用され得る。したがって、クライアントディスプレイシステム４０４は、異なるコンテンツに適用されるバッファリングおよびレイテンシルールに従って異なるフレームレートで第１のコンテンツと第２のコンテンツとを表示する（１１０４）。これらのバッファリングおよびレイテンシルールは、他のタイプのアプリケーションからのグラフィカル要素またはデータと比較して、出力ビデオの滑らかさを保証するためにより長いレイテンシを許容し、より多くのバッファリングを必要とし得るフルモーションビデオ情報のレンダリングを改善するために、そのような異なるタイプのコンテンツについて異なり得る。たとえば、他のタイプのアプリケーションからのグラフィカル要素またはデータのストリームは、より短いレイテンシ（すなわち、より多くの応答性）を必要とし得るが、フルモーションビデオシーケンスにとって望ましいより広範なレベルのバッファリングを必要としないことがある。
【００７１】
さらに他の例では、背景データ（たとえば、第２のストリーム中のデータ）に関連するフレームレートは、リアルタイムビデオがＤＭＳの第１のストリーム中に含まれるときに明確に低減され得る。この技法は、クライアントデバイス中の限られたリソースの使用を改善し、そのようにリソースが限られる場合にビデオレンダリングを改善し得る。そのような技法を実装するために、ホストデバイスにおけるＤＭＳの第２のストリームのためのディスプレイバッファ中のデータのキャプチャに関連するＧＤＩキャプチャレートは、リアルタイムビデオがＤＭＳの第１のストリーム中に含まれるときに低減され得る。
【００７２】
さらに他の例では、データは、ＤＭＳストリーム中の第１のコンテンツと第２のコンテンツとにわたるタッチスクリーンオーバーレイを与えるためのさらに別のストリーム（たとえば、第３のストリーム）としてＤＭＳ中に含まれ得る。この場合、タッチスクリーンオーバーレイは、クライアントデバイスにおいてタッチスクリーンキャプチャまたはフィードバックを与えるための透過的なウィンドウを備え得る。ディスプレイシステムのホストデバイスおよびクライアントデバイス中でタッチスクリーンキャプチャを可能にするための他の技法も使用され得る。
【００７３】
上記の説明は、２つのストリームを含むＤＭＳに焦点を当てていることに留意されたい。しかしながら、本開示の技法は、追加のストリーム、すなわち、２つのストリームよりも多いストリームを含むＤＭＳに拡張され得る。ＤＭＳは、第１のストリーム、第２のストリーム、第３のストリーム、第４のストリームなどを含み得る。ＤＳＭ中の異なるストリームの一部または全部のフレームレートは、本明細書で説明するように動的な方法で定義され得る。３つ以上のストリームに関する重なりまたは他の特徴の問題に対処するために様々な他の技法も使用され得る。
【００７４】
本開示で説明する技法は、少なくとも部分的に、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。たとえば、説明する技法の様々な態様は、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、あるいは他の等価集積回路または個別論理回路、ならびにそのような構成要素の任意の組合せを含む１つまたは複数のプロセッサ内で実装され得る。「プロセッサ」または「処理回路」という用語は、一般に、単独で、あるいは他の論理回路または、処理を実行する個別ハードウェアなどの他の等価回路との組合せで上記の論理回路のいずれかを指すことがある。
【００７５】
そのようなハードウェア、ソフトウェア、およびファームウェアは、本開示で説明した様々な動作および機能をサポートするために、同じデバイス内で、または別々のデバイス内で実装され得る。さらに、説明したユニット、モジュール、または構成要素のいずれも、個別であるが相互運用可能な論理デバイスとして、一緒に、または別々に実装され得る。モジュールまたはユニットとしての様々なフィーチャの図は、様々な機能的態様を強調するものであり、そのようなモジュールまたはユニットが、必ずしも別々のハードウェアまたはソフトウェア構成要素によって実現されなければならないことを暗示しない。そうではなく、１つまたは複数のモジュールあるいはユニットに関連する機能は、別々のハードウェア、ファームウェア、またはソフトウェア構成要素によって実行されるか、あるいは共通または別々のハードウェアもしくはソフトウェア構成要素内に組み込まれることがある。
【００７６】
また、本開示で説明する技法は、命令を記憶するコンピュータ可読記憶媒体などのコンピュータ可読媒体中に記憶、実施または符号化され得る。コンピュータ可読媒体中に埋め込まれるか、または符号化される命令は、たとえば、その命令が１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに本明細書で説明する技法を実行させ得る。コンピュータ可読記憶媒体は、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラマブル読取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、カセット、磁気媒体、光学媒体、または他の有形のコンピュータ可読記憶媒体を含み得る。
【００７７】
コンピュータ可読媒体は、上記に記載した有形記憶媒体などの有形記憶媒体に対応するコンピュータ可読記憶媒体を含み得る。コンピュータ可読媒体はまた、たとえば、通信プロトコルに従ってある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を備え得る。このようにして、「コンピュータ可読媒体」という句は、概して、（１）非一時的である有形コンピュータ可読記憶媒体、および（２）一時的な信号または搬送波などの非有形コンピュータ可読通信媒体に対応し得る。
【００７８】
様々な態様および例について説明した。しかしながら、以下の特許請求の範囲から逸脱することなく本開示の構造または技法に変更を行うことができる。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ビデオディスプレイシステムのホストデバイスを介してデコンポーズドマルチストリーム（ＤＭＳ）を生成することであって、前記ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、前記ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、前記第１のコンテンツが前記ＤＭＳ中の第１のフレームレートを定義し、前記第２のディスプレイコンテンツが前記ＤＭＳ中の第２のフレームレートを定義し、前記第１のフレームレートが前記第２のフレームレートとは異なる、生成することと、
前記ホストデバイスから前記ビデオディスプレイシステムのクライアントデバイスに前記ＤＭＳを通信することとを備える、方法。
［Ｃ２］
前記第１のコンテンツと前記第２のコンテンツとに基づいて前記ＤＭＳ中の前記第１のフレームレートと前記第２のフレームレートとを動的に調整することをさらに備える、Ｃ１に記載の方法。
［Ｃ３］
前記ＤＭＳを生成することが、アプリケーションから前記第１のコンテンツをインターセプトし、前記ホストデバイス中のディスプレイバッファから前記第２のコンテンツをキャプチャすることを含む、Ｃ１に記載の方法。
［Ｃ４］
前記第１のコンテンツと前記第２のコンテンツとに基づいて、前記ディスプレイバッファから前記第２のコンテンツをキャプチャすることに関連するキャプチャレートを動的に低減することをさらに備える、Ｃ３に記載の方法。
［Ｃ５］
前記ＤＭＳを生成することが、前記第２のコンテンツを符号化することを含む、Ｃ１に記載の方法。
［Ｃ６］
前記第１のエリアおよび前記第２のエリアがそれぞれ重なるエリアを含み、前記方法が、
前記第１のコンテンツまたは前記第２のコンテンツのどちらが前記重なるエリア中で上にあるかを識別する情報を前記ＤＭＳ中に生成することをさらに含む、Ｃ１に記載の方法。
［Ｃ７］
前記ＤＭＳを生成することが、前記重なるエリア中で前記第１のコンテンツまたは前記第２のコンテンツのいずれかのデータを低減するかまたはなくすことを含み、前記低減されるかまたはなくされるデータが前記重なるエリア中で他のデータの下にある、Ｃ６に記載の方法。
［Ｃ８］
前記ＤＭＳを生成することが、アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトすることを含む、Ｃ１に記載の方法。
［Ｃ９］
前記アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトすることが不可能であると判断することと、
前記アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトすることが不可能であると判断することに応答して、前記ホストデバイスにおいてディスプレイバッファから直接、前記第１のコンテンツおよび前記第２のコンテンツを含むシグナルコンポーズドストリーム（ＳＣＳ）を生成することとをさらに備える、Ｃ８に記載の方法。
［Ｃ１０］
前記第１のコンテンツがビデオシーケンスを備え、前記第２のコンテンツが非ビデオアプリケーションの出力を備える、Ｃ１に記載の方法。
［Ｃ１１］
前記第１のフレームレートが前記第２のフレームレートよりも大きい、Ｃ１０に記載の方法。
［Ｃ１２］
前記第１のコンテンツがビデオシーケンスを備え、前記第２のコンテンツがグラフィカルユーザインターフェース要素を備える、Ｃ１に記載の方法。
［Ｃ１３］
ユーザ入力に応答して前記第１のコンテンツまたは前記第２のコンテンツのうちの１つのみを含むように前記ＤＭＳを調整することをさらに備える、Ｃ１に記載の方法。
［Ｃ１４］
前記ホストデバイスと前記クライアントデバイスとの間で利用可能な帯域幅を判断することと、
前記利用可能な帯域幅に基づいて前記第１のフレームレートと前記第２のフレームレートの一方または両方を調整することとをさらに備える、Ｃ１に記載の方法。
［Ｃ１５］
前記ホストデバイスと前記クライアントデバイスとの間で利用可能な帯域幅を判断することと、
前記利用可能な帯域幅に基づいて前記第１のコンテンツと前記第２のコンテンツの一方または両方を動的に符号化することとをさらに備える、Ｃ１に記載の方法。
［Ｃ１６］
前記第１のコンテンツと前記第２のコンテンツの一方または両方を動的に符号化することをさらに備える、Ｃ１に記載の方法。
［Ｃ１７］
ビデオディスプレイシステムのクライアントデバイスにおいて、前記ビデオディスプレイシステムのホストデバイスからデコンポーズドマルチストリーム（ＤＭＳ）を受信することであって、前記ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、前記ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、前記第１のコンテンツが前記ＤＭＳ中の第１のフレームレートを定義し、前記第２のディスプレイコンテンツが前記ＤＭＳ中の第２のフレームレートを定義し、前記第１のフレームレートが前記第２のフレームレートとは異なる、受信することと、
前記クライアントデバイス上に前記第１のディスプレイコンテンツと前記第２のディスプレイコンテンツとをレンダリングすることとを備える、方法。
［Ｃ１８］
前記第１のコンテンツがビデオシーケンスを備え、前記第２のコンテンツが非ビデオアプリケーションの出力を備える、Ｃ１７に記載の方法。
［Ｃ１９］
前記第１のフレームレートが前記第２のフレームレートよりも大きい、Ｃ１８に記載の方法。
［Ｃ２０］
前記第１のコンテンツがビデオシーケンスを備え、前記第２のコンテンツがグラフィカルユーザインターフェース要素を備える、Ｃ１７に記載の方法。
［Ｃ２１］
前記クライアントデバイス中で前記第２のコンテンツとは別様に前記第１のコンテンツをバッファすることをさらに備える、Ｃ１７に記載の方法。
［Ｃ２２］
前記クライアントデバイスによる前記第１のコンテンツの表示のためと、前記クライアントデバイスによる前記第２のコンテンツの表示のためとに異なるレイテンシルールを適用することをさらに備える、Ｃ２１に記載の方法。
［Ｃ２３］
ビデオディスプレイシステムのホストデバイスであって、
デコンポーズドマルチストリーム（ＤＭＳ）を生成するＤＭＳ生成器であって、前記ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、前記ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、前記第１のコンテンツが前記ＤＭＳ中の第１のフレームレートを定義し、前記第２のディスプレイコンテンツが前記ＤＭＳ中の第２のフレームレートを定義し、前記第１のフレームレートが前記第２のフレームレートとは異なる、ＤＭＳ生成器と、
前記ホストデバイスから前記ビデオディスプレイシステムのクライアントデバイスに前記ＤＭＳを通信するトランスポートユニットとを備える、ホストデバイス。
［Ｃ２４］
前記ＤＭＳ生成器が、前記第１のコンテンツと前記第２のコンテンツとに基づいて前記ＤＭＳ中の前記第１のフレームレートと前記第２のフレームレートとを動的に調整する、Ｃ２３に記載のホストデバイス。
［Ｃ２５］
前記ＤＭＳ生成器が、アプリケーションから前記第１のコンテンツをインターセプトし、前記ホストデバイス中のディスプレイバッファから前記第２のコンテンツをキャプチャする、Ｃ２３に記載のホストデバイス。
［Ｃ２６］
前記ＤＭＳ生成器が、前記第１のコンテンツと前記第２のコンテンツとに基づいて、前記ディスプレイバッファから前記第２のコンテンツをキャプチャすることに関連するキャプチャレートを動的に低減する、Ｃ２５に記載のホストデバイス。
［Ｃ２７］
前記ＤＭＳ生成器が、ＤＭＳ中で前記第２のコンテンツを符号化するために符号器を使用する、Ｃ２５に記載のホストデバイス。
［Ｃ２８］
前記第１のエリアおよび前記第２のエリアがそれぞれ重なるエリアを含み、前記ＤＭＳ生成器が、前記第１のコンテンツまたは前記第２のコンテンツのどちらが前記重なるエリア中で上にあるかを識別する情報を前記ＤＭＳ中に生成する、Ｃ２３に記載のホストデバイス。
［Ｃ２９］
前記ＤＭＳ生成器が、前記重なるエリア中で前記第１のコンテンツまたは前記第２のコンテンツのいずれかのデータを低減するかまたはなくし、前記低減されるかまたはなくされるデータが前記重なるエリア中で他のデータの下にある、Ｃ２８に記載のホストデバイス。
［Ｃ３０］
前記ＤＭＳ生成器が、アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトする、Ｃ２３に記載のホストデバイス。
［Ｃ３１］
前記ＤＭＳ生成器が、
前記アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトすることが不可能であると判断することと、
前記アプリケーションから前記第１のコンテンツまたは前記第２のコンテンツをインターセプトすることが不可能であると判断することに応答して、前記ホストデバイスにおいてディスプレイバッファから直接、前記第１のコンテンツおよび前記第２のコンテンツを含むシグナルコンポーズドストリーム（ＳＣＳ）を生成することとを行う、Ｃ３０に記載のホストデバイス。
［Ｃ３２］
前記第１のコンテンツがビデオシーケンスを備え、前記第２のコンテンツが非ビデオアプリケーションの出力を備える、Ｃ２３に記載のホストデバイス。
［Ｃ３３］
前記第１のフレームレートが前記第２のフレームレートよりも大きい、Ｃ３２に記載のホストデバイス。
［Ｃ３４］
前記第１のコンテンツがビデオシーケンスを備え、前記第２のコンテンツがグラフィカルユーザインターフェース要素を備える、Ｃ２３に記載のホストデバイス。
［Ｃ３５］
前記ＤＭＳ生成器が、ユーザ入力に応答して前記第１のコンテンツまたは前記第２のコンテンツのうちの１つのみを含むように前記ＤＭＳを調整する、Ｃ２３に記載のホストデバイス。
［Ｃ３６］
前記ＤＭＳ生成器が、
前記ホストデバイスと前記クライアントデバイスとの間で利用可能な帯域幅を判断することと、
前記利用可能な帯域幅に基づいて前記第１のフレームレートと前記第２のフレームレートの一方または両方を調整することとを行う、Ｃ２３に記載のホストデバイス。
［Ｃ３７］
前記ＤＭＳ生成器が、
前記ホストデバイスと前記クライアントデバイスとの間で利用可能な帯域幅を判断することと、
前記利用可能な帯域幅に基づいて前記第１のコンテンツと前記第２のコンテンツの一方または両方を動的に符号化することとを行う、Ｃ２３に記載のホストデバイス。
［Ｃ３８］
前記ＤＭＳ生成器が、前記第１のコンテンツと前記第２のコンテンツの一方または両方を動的に符号化する、Ｃ２３に記載のホストデバイス。
［Ｃ３９］
ビデオディスプレイシステムのクライアントデバイスであって、
ホストデバイスからデコンポーズドマルチストリーム（ＤＭＳ）を受信するトランスポートユニットであって、前記ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、前記ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、前記第１のコンテンツが前記ＤＭＳ中の第１のフレームレートを定義し、前記第２のディスプレイコンテンツが前記ＤＭＳ中の第２のフレームレートを定義し、前記第１のフレームレートが前記第２のフレームレートとは異なる、トランスポートユニットと、
ディスプレイユニットと、
前記ディスプレイユニット上に前記第１のディスプレイコンテンツと前記第２のディスプレイコンテンツとをレンダリングするＤＭＳレンダリングユニットとを備える、クライアントデバイス。
［Ｃ４０］
前記第１のコンテンツがビデオシーケンスを備え、前記第２のコンテンツが非ビデオアプリケーションの出力を備える、Ｃ３９に記載のクライアントデバイス。
［Ｃ４１］
前記第１のフレームレートが前記第２のフレームレートよりも大きい、Ｃ４０に記載のクライアントデバイス。
［Ｃ４２］
前記第１のコンテンツがビデオシーケンスを備え、前記第２のコンテンツがグラフィカルユーザインターフェース要素を備える、Ｃ３９に記載のクライアントデバイス。
［Ｃ４３］
前記ディスプレイユニットが、前記第２のコンテンツとは別様に前記第１のコンテンツをバッファするように構成されたバッファを含む、Ｃ３９に記載のクライアントデバイス。
［Ｃ４４］
前記レンダリングユニットが、前記ディスプレイユニットによる前記第１のコンテンツの表示のためと、前記ディスプレイユニットによる前記第２のコンテンツの表示のためとに異なるレイテンシルールを適用するように構成される、Ｃ３９に記載のクライアントデバイス。
［Ｃ４５］
ビデオディスプレイシステムのホストデバイスのプロセッサ中での実行時に、前記ホストデバイスに、
デコンポーズドマルチストリーム（ＤＭＳ）を生成することであって、前記ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、前記ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、前記第１のコンテンツが前記ＤＭＳ中の第１のフレームレートを定義し、前記第２のディスプレイコンテンツが前記ＤＭＳ中の第２のフレームレートを定義し、前記第１のフレームレートが前記第２のフレームレートとは異なる、生成することと、
ホストデバイスから前記ビデオディスプレイシステムのクライアントデバイスに前記ＤＭＳを通信することとを行わせる命令を備える、コンピュータ可読記憶媒体。
［Ｃ４６］
ビデオディスプレイシステムのクライアントデバイスのプロセッサ中での実行時に、前記クライアントデバイスに、
前記ビデオディスプレイシステムのホストデバイスからデコンポーズドマルチストリーム（ＤＭＳ）を受信することであって、前記ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと前記ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、前記第１のコンテンツが、前記ＤＭＳ中の第１のフレームレートを定義し、前記第２のディスプレイコンテンツが、前記ＤＭＳ中の第２のフレームレートを定義し、前記第１のフレームレートが、前記第２のフレームレートとは異なる、受信することと、
前記クライアントデバイス上に前記第１のディスプレイコンテンツと前記第２のディスプレイコンテンツとをレンダリングすることとを行わせる命令を備える、コンピュータ可読記憶媒体。
［Ｃ４７］
ビデオディスプレイシステムのホストデバイスであって、
デコンポーズドマルチストリーム（ＤＭＳ）を生成するための手段であって、前記ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと、前記ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、前記第１のコンテンツが前記ＤＭＳ中の第１のフレームレートを定義し、前記第２のディスプレイコンテンツが前記ＤＭＳ中の第２のフレームレートを定義し、前記第１のフレームレートが前記第２のフレームレートとは異なる、生成するための手段と、
前記ホストデバイスから前記ビデオディスプレイシステムのクライアントデバイスに前記ＤＭＳを通信するための手段とを備える、ホストデバイス。
［Ｃ４８］
ビデオディスプレイシステムのクライアントデバイスであって、
前記ビデオディスプレイシステムのホストデバイスからデコンポーズドマルチストリーム（ＤＭＳ）を受信するための手段であって、前記ＤＭＳが、ディスプレイウィンドウの第１のエリア中の第１のコンテンツと前記ディスプレイウィンドウの第２のエリア中の第２のコンテンツとを定義し、前記第１のコンテンツが、前記ＤＭＳ中の第１のフレームレートを定義し、前記第２のディスプレイコンテンツが、前記ＤＭＳ中の第２のフレームレートを定義し、前記第１のフレームレートが、前記第２のフレームレートとは異なる、受信するための手段と、
前記クライアントデバイス上に前記第１のディスプレイコンテンツと前記第２のディスプレイコンテンツとをレンダリングするための手段とを備える、クライアントデバイス。
【図１】
0005632015.tif 000002
【図２】
0005632015.tif 000003
【図３】
0005632015.tif 000004
【図４】
0005632015.tif 000005
【図５】
0005632015.tif 000006
【図６】
0005632015.tif 000007
【図７】
0005632015.tif 000008
【図８】
0005632015.tif 000009
【図９】
0005632015.tif 000010
【図１０】
0005632015.tif 000011
【図１１】
0005632015.tif 000012