(57)【特許請求の範囲】
【請求項１】
符号器と、
表示部への伝送のために画像データを前記符号器に提供する手段と、
前記画像データが、頻繁に変化する画像データであるかまたは頻繁に変化しない画像データであるかを前記符号器へ指示する手段と、
を備え、
前記指示する手段は、
前記画像データの少なくとも一部分が、前記画像データが表示される総表示エリアの閾値を上回る場合に、前記画像データを前記頻繁に変化する画像データと判断し、
前記画像データの少なくとも一部分が、前記画像データが表示される前記総表示エリアの前記閾値を下回る場合に、前記画像データを前記頻繁に変化しない画像データと判断し、
前記符号器が、
前記頻繁に変化する画像データを符号化した画像の品質よりも前記画像データの伝送を優先する第１のポリシーを実行し、
前記頻繁に変化しない画像データのための伝送よりも前記画像データを符号化した画像の品質を優先する第２のポリシーを実行し、
前記第１のポリシーが、伝送のために予測フレーム（ｐフレーム）を生成することを含み、
前記第２のポリシーが、伝送のためにイントラフレーム（ｉフレーム）を生成することを含む、ポリシーに基づく表示符号化のためのシステム。
【請求項２】
前記指示する手段が、
前記ポリシーに基づく画像符号化のためのシステムと関連付けられたオペレーティングシステム、
前記ポリシーに基づく画像符号化のためのシステムと関連付けられた前記システムのグラフィックススタック、または
それらの任意の組み合わせのうちの１または複数を含む、請求項１に記載のシステム。
【請求項３】
前記符号器は、
前記表示される画像に対する目標品質が達成されること、
前記目標品質が達成されないで前記表示される画像に対する変化が生じ続けること、および
システム制約が後続の更新に制限を課すこと、のうちの１または複数が生じるまで、前記符号化された画像の品質をプログレッシブ更新する、請求項１または２に記載のシステム。
【請求項４】
前記符号器が、前記プログレッシブ更新を複数の領域に一斉に行う、請求項３に記載のシステム。
【請求項５】
前記符号器が、
表示されるべき前記画像データの所与の部分について達成された品質値を追跡し、
前記画像の前記所与の部分についてプログレッシブ更新の進行を指示するメタデータを追跡する、請求項１から４のいずれか１項に記載のシステム。
【請求項６】
前記画像の品質のプログレッシブ更新が前記符号器よりも下流の構成要素によってドロップされるべきであるかどうかを指示するフィードバックを前記下流の構成要素から受信する手段と、
前記第１のポリシーおよび前記第２のポリシー、
システム制約、
前記下流の構成要素からの前記フィードバック、または
それらの任意の組み合わせを含む要因に基づいて、追加的なポリシーを前記下流の構成要素において実行する手段と、
を更に備え、
前記下流の構成要素が、パケット化器、およびネットワーク・インターフェース・コントローラ（ＮＩＣ）の少なくとも１つを含む、請求項１から５のいずれか１項に記載のシステム。
【請求項７】
前記符号器が、前記符号器よりも下流の構成要素によって可読となるべき優先順位付けに基づいて、符号化されたデータにフラグを立て、
前記下流の構成要素が、パケット化器、およびネットワーク・インターフェース・コントローラ（ＮＩＣ）の少なくとも１つを含む、請求項１から５のいずれか１項に記載のシステム。
【請求項８】
ポリシーに基づく表示符号化のための方法であって、
表示部への伝送のために画像データを符号器に、ハードウェア論理、アプリケーションおよびシステムの少なくとも１つにより提供することと、
前記ハードウェア論理、前記アプリケーションおよび前記システムの少なくとも１つにより、前記画像データの少なくとも一部分が、前記画像データが表示される総表示エリアの閾値を上回る場合に前記画像データを頻繁に変化する画像データと判断し、前記画像データの少なくとも一部分が前記画像データが表示される前記総表示エリアの前記閾値を下回る場合に前記画像データを頻繁に変化しない画像データと判断することと、
前記画像データが、前記頻繁に変化する画像データであるかまたは前記頻繁に変化しない画像データであるかを、前記ハードウェア論理、前記アプリケーションおよび前記システムの少なくとも１つにより、前記符号器へ指示することと、
前記頻繁に変化する画像データを符号化した画像の品質よりも前記画像データの伝送を優先する第１のポリシーを前記符号器において実行することと、
前記頻繁に変化しない画像データの伝送よりも前記画像データを符号化した画像の品質を優先する第２のポリシーを前記符号器において実行することと、
を含み、
前記第１のポリシーが、伝送のために予測フレーム（ｐフレーム）を生成することを含み、
前記第２のポリシーが、伝送のためにイントラフレーム（ｉフレーム）を生成することを含む、方法。
【請求項９】
前記指示することが、
前記ポリシーに基づく画像符号化のためのシステムと関連付けられたオペレーティングシステム、
前記ポリシーに基づく画像符号化のためのシステムと関連付けられた前記システムのグラフィックススタック、または
それらの任意の組み合わせのうちの１または複数によってなされる、請求項８に記載の方法。
【請求項１０】
前記表示される画像に対する目標品質が達成されること、
前記目標品質が達成されないで前記表示される画像に対する変化が生じ続けること、および
システム制約が後続の更新に制限を課すこと、のうちの１または複数が生じるまで、前記符号器により、符号化された前記画像の品質をプログレッシブ更新することを更に含む、請求項８または９に記載の方法。
【請求項１１】
前記符号器により、前記プログレッシブ更新を複数の領域に一斉に行うことを更に含む、請求項１０に記載の方法。
【請求項１２】
表示されるべき前記画像データの所与の部分について達成された品質値を、前記符号器により追跡することと、
前記画像の前記所与の部分についてプログレッシブ更新の進行を指示するメタデータを、前記符号器により追跡することと、を更に含む、請求項８から１１のいずれか１項に記載の方法。
【請求項１３】
前記画像の品質のプログレッシブ更新が前記符号器よりも下流の構成要素によってドロップされるべきであるかどうかを指示するフィードバックを前記下流の構成要素から受信することと、
前記第１のポリシーおよび第２のポリシー、
システム制約、
前記下流の構成要素からの前記フィードバック、または
それらの任意の組み合わせを含む要因に基づいて、追加的なポリシーを前記下流の構成要素において実行することと、を更に含み、
前記下流の構成要素が、パケット化器、およびネットワーク・インターフェース・コントローラ（ＮＩＣ）の少なくとも１つを含む、請求項８から１２のいずれか１項に記載の方法。
【請求項１４】
前記符号器よりも下流の構成要素によって可読となるべき優先順位付けに基づいて、符号化されたデータにフラグを立てることを更に含み、
前記下流の構成要素が、パケット化器、およびネットワーク・インターフェース・コントローラ（ＮＩＣ）の少なくとも１つを含む、請求項８から１２のいずれか１項に記載の方法。
【請求項１５】
処理デバイスに、請求項８から１４のいずれか一項に記載の方法を実行させるためのコンピュータプログラム。
【請求項１６】
請求項１５に記載のコンピュータプログラムを格納する、コンピュータ可読記録媒体。
【請求項１７】
画像ポリシーを実行するための手段を備える装置であって、前記手段が、
表示部への伝送のために画像データを符号器に提供し、
前記画像データが、頻繁に変化する画像データであるかまたは頻繁に変化しない画像データであるかを前記符号器へ指示し、
前記画像データの少なくとも一部分が、前記画像データが表示される総表示エリアの閾値を上回る場合に、前記画像データを前記頻繁に変化する画像データと判断し、
前記画像データの少なくとも一部分が、前記画像データが表示される前記総表示エリアの前記閾値を下回る場合に、前記画像データを前記頻繁に変化しない画像データと判断し、
前記頻繁に変化する画像データを符号化した画像の品質よりも前記画像データの伝送を優先する第１のポリシーを前記符号器において実行し、
前記頻繁に変化しない画像データの伝送よりも前記画像データを符号化した画像の品質を優先する第２のポリシーを前記符号器において実行し、
前記第１のポリシーが、伝送のために予測フレーム（ｐフレーム）を生成することを含み、
前記第２のポリシーが、伝送のためにイントラフレーム（ｉフレーム）を生成することを含む、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
［関連出願の相互参照］
本出願は、２０１４年１０月１５日に出願された米国特許出願第１４／５１５，１７５号の出願日の利益を主張し、その米国出願は、参照によって本明細書に組み込まれる。
【０００２】
本開示は、一般に、画像符号化に関する。より具体的には、本開示は、ポリシーに基づくアプローチを使用する画像符号化を記載する。
【背景技術】
【０００３】
コンピューティングデバイスは、コンピューティングデバイスと関連付けられた表示デバイス上で画像を見るためにますます使用されている。例えば、画像データは、グラフィックス処理ユニットによって、またはオペレーティングシステムと協働して、無線表示デバイスで表示されるためにレンダリングされ得る。いくつかのシナリオでは、画像データが、外部表示デバイスに提供される符号器を有する表示システムによってパケット化される。パケット化表示システムのうちのいくつかの例は、無線表示システムを含み得、コンピューティングデバイスは、無線通信プロトコル、例えば、ワイヤレス・フィディリティー（ＷｉＦｉ：Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）、ワイヤレス・ギガビット（ＷｉＧｉｇ：Ｗｉｒｅｌｅｓｓ  Ｇｉｇａｂｉｔ）、および同様のものなどによって、画像データを外の表示部に提供し得る。他のパケット化表示システムは、ユニバーサル・シリアル・バス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）プロトコル表示システムを含み得る。大量のデータが表示デバイスに伝送される必要がある場合、データを伝送する時間およびシステムにかかる負荷が増大し、システム機器の使用および利用可能な帯域幅の使用における非効率化を引き起こす。
【図面の簡単な説明】
【０００４】
【図１】ポリシーに基づく表示符号化システムを有するコンピューティングデバイスのブロック図である。
【０００５】
【図２】ビデオデータに適用されるポリシープロセスを例示するプロセスフロー図である。
【０００６】
【図３】イントラフレーム（Ｉフレーム）または予測フレーム（Ｐフレーム）技術を使用するポリシープロセスを例示するプロセスフロー図である。
【０００７】
【図４】プログレッシブ伝送を有するポリシープロセスを例示するプロセスフロー図である。
【０００８】
【図５】複数領域の更新を例示する図である。
【０００９】
【図６】符号化された更新の画像の品質の監視を例示する図である。
【００１０】
【図７】ポリシーに基づく画像符号化の機能的構成要素を例示するフロー図である。
【００１１】
【図８】ポリシーに基づく画像符号化の方法を例示するブロック図である。
【００１２】
【図９】ポリシーに基づく画像符号化を実装するように構成されたコンピュータ可読媒体の例を描写するブロック図である。
【発明を実施するための形態】
【００１３】
本明細書に開示される主題は、ポリシーに基づくアプローチを使用する画像符号化のための技法に関する。上述したように、パケット化表示システムは、画像データを符号化し得、表示デバイスに伝送し得る。多くの場合において、帯域幅は限定され得、したがって、伝送される大量のデータが、伝送のレイテンシを増大させ得るのみならず、増加された負荷の結果として電力消費を増大させ得る。本明細書に記載される技法は、画像データを符号化して表示部へ伝送することへの、ポリシーに基づくアプローチを含む。第１のポリシーは、伝送されるデータがビデオデータ、または換言すれば、頻繁に変化しているデータであるときに、高画像の品質よりも低レイテンシ伝送を優遇し得る。第２のポリシーは、伝送されるデータが非ビデオデータであるときに、または換言すれば、データが頻繁に変化していないときに、低レイテンシよりも高画像の品質データを優遇し得る。
【００１４】
用語「低レイテンシ」および「頻繁に」は、相対語であり得る。しかしながら、本明細書で言及される用語「低レイテンシ」は、画像の品質が、頻繁に変化している所与の画像データ種類、すなわちビデオデータに対して優遇される場合には、逆により高くなるレイテンシと比較しての、少ない伝送時間である。例えば、画像の品質が、ビデオデータについてのレイテンシ時間よりも優先された場合、連続的な符号化されたフレームと伝送されたフレームとの間の時間は増大し得る。したがって、低レイテンシという用語は、画像の品質が優先されたまたは一定の閾値にあるように要求された場合、さもなければ要求されることになるレイテンシとの比較として理解され得る。いくつかの場合では、用語「低レイテンシ」は、下回ると伝送のレイテンシが低いとみなされる期間を指示する所定の閾値に基づき得る。
【００１５】
本明細書で言及される用語「頻繁に」は、上回ると画像データが多いと考えられ得るべき閾値変化率のことを言い得る。いくつかの場合では、用語「頻繁に」は、伝送されるデータの種類によって決定され得る。例えば、ビデオデータである画像データは、変化率が上述した閾値を満たすまたは超えるか否かに関わらず、頻繁に変化する画像データとして分類され得る。本明細書で言及されるビデオデータは、所与の閾値を上回る頻繁に変化しているデータと関連付けられた、そのままのビデオデータを含み得る。対照的に、非ビデオデータは、所与の閾値を下回るデータを含み得、かつ生産性グラフィックスにおける変化と関連付けられたデータを含み得る。例えば、ワードプロセッサアプリケーションに対する変化は、ビデオデータと比べると比較的低頻度であり得る。ワードプロセッサアプリケーションと関連付けられた画像データに対する変化は、生産性グラフィックスにおいて発生する変化例のうちの１つであり得る。生産性グラフィックスにおける変化の他の例は、ファイルウィンドウアプリケーション、プレゼンテーションアプリケーション、ドキュメントビューアアプリケーション、および同様のものにおいて発生する変化を含み得る。
【００１６】
ユーザは、静的、または非ビデオ、画像データにおける低画像の品質よりも凝視せずにビデオにおける低画像の品質を見る可能性がある。例えば、ビデオデータの各フレームの内容がそれぞれの連続するフレームと共に変化している可能性があるので、ポリシーに基づく符号化は、画像の品質が設定閾値にとどまることを要求された場合に生じ得るレイテンシと比較して、迅速に符号化されたフレームを提供し得る。対照的に、非ビデオデータの各フレーム、例えば、表示されるワードプロセッサドキュメントを含むフレームは、頻繁に変化していないので、ポリシーに基づく符号化は、低レイテンシよりも画像の品質を優遇し得る。この場合では、ワードプロセッサドキュメント画像内に表示されるオブジェクトは、より高いレイテンシの犠牲を払ってでも、高画像の品質で提示され得る。しかしながら、ワードプロセッサドキュメント画像内で生じている変化は低頻度であるので、画像は、低レイテンシが優遇されるビデオ画像データと比較しても、依然として比較的低いレイテンシで符号化され、表示デバイスに伝送される可能性が高い。
【００１７】
いずれにせよ、本明細書に記載される技法は、優先順位付けが、符号化される画像データの種類、または符号化される画像データの変化の頻度に基づいて変化し得る、ポリシーに基づく符号化システムを含む。以下により詳細に記述される他の実施形態は、フレームの一部分の選択的な更新、フレームまたはフレームの一部分のプログレッシブ更新、複数領域の更新、品質指示の追跡、進行指示の追跡、分散型フィードバック、分散型制御、および同様のことを含む。
【００１８】
図１は、ポリシーに基づく表示符号化システムを有するコンピューティングデバイスのブロック図である。コンピューティングデバイス１０２は、プロセッサ１０４、非一時的なコンピュータ可読媒体を含む記憶デバイス１０６、およびメモリデバイス１０８を含み得る。コンピューティングデバイス１０２は、画像表示と関連付けられた構成要素、例えば、レンダリングモジュール１１２、捕捉および通知モジュール１１４、符号器１１６、パケット化器１１８、および同様のものなどにおいてポリシー決断を実装するように構成された表示システム１１０を含み得る。ポリシーエンジン１２０は、所与のポリシーの実装の間に表示システム１１０によって参照され得る。ポリシーエンジン１２０は、パケット化されたデータストリームが、エネルギーを保存するために、画像の品質、低レイテンシ、および同様のものを高めるために、画像データの特性に応じて異なって符号化され得る、ポリシーアーキテクチャであり得る。いくつかの場合では、ポリシーエンジンは、記憶デバイス１０６上に記憶されるように、およびプロセッサ１０４経由で表示システム１１０によって参照されるように構成され得る。いずれにせよ、表示システムは、画像データを符号化して、１または複数の外部表示デバイス１２２に伝送するように構成される。
【００１９】
表示デバイス１２２は、ネットワーク・インターフェース・コントローラ（ＮＩＣ：ｎｅｔｗｏｒｋ  ｉｎｔｅｒｆａｃｅ  ｃｏｎｔｒｏｌｌｅｒ）１２４、およびネットワーク１２６を通る無線接続によってコンピューティングデバイス１０２に通信可能に結合され得る。いくつかの場合では、本明細書に記述される技法が、破線１２８によって示されるような有線通信において実装され得、画像データが、ユニバーサル・シリアル・バス（ＵＳＢ）ドライバ１３０およびＵＳＢポート１３２経由で外部表示デバイス１２２に提供される
【００２０】
実施形態では、表示システム１１０の要素が、論理、ハードウェア論理、または処理デバイス１０４によって実行されるように構成されたソフトウェアとして実装され得る。更なる他の例では、表示システム１１０の要素が、ハードウェア、ソフトウェア、およびファームウェアの組み合わせであってもよい。表示システム１１０の要素は、独立して、並列して、分散して、または広範なプロセスの一部として、動作するように構成され得る。表示システム１１０の要素は、別個のモジュールまたは親モジュールのサブモジュールと考えられ得る。更なるモジュールがまた、含まれてもよい。
【００２１】
いくつかの場合では、表示システム１１０の要素が、コンピューティングデバイス１０２の他の要素において実装されてもよい。例えば、レンダリングモジュール１１２が、コンピューティングデバイスのオペレーティングシステム内で実装されてもよく、符号化のために画像データをレンダリングするように構成される。同様に、捕捉および通知モジュール１１４が、オペレーティングシステム内で実装されてもよいし、または画像データがビデオデータまたは非ビデオデータであるときを特定し、符号器１１６に通知するように構成されたグラフィックススタックの一部であってもよい。ビデオ対非ビデオデータのこの演繹的な知識は、１または複数のポリシーに従って画像データを符号化する符号器によって使用され得る。
【００２２】
上述したように、ポリシーは、符号器１１６が、ビデオデータである画像データのために符号化された画像の品質よりも伝送、すなわち、低レイテンシを優先するものである、第１のポリシーを含み得る。換言すれば、第１のポリシーは、潜在的に低い画像の品質を犠牲にして、伝送リンクの利用可能な帯域幅の制約内で頻繁に変化している画像データを伝送し得る。第２のポリシーでは、符号器１１６が、非ビデオデータのために低レイテンシよりも画像の品質を優先するものである。換言すれば、第２のポリシーは、一定のレベルの画像の品質が満たされるまで、伝送を延期するか、または瞬時に利用可能なものより高い帯域幅において伝送しようとし、それによって、頻繁に変化していない画像データについての画像の品質のために低レイテンシを犠牲にする。他のポリシーが実装されてもよいが、第１のポリシーおよび第２のポリシーは、頻繁に変化していない画像データ、例えば、ワードプロセッサドキュメントの画像データなどのために高画像の品質を、および頻繁に変化している画像データ、例えば、ビデオなどのために低レイテンシを、ユーザに提供するように実装される。符号器１１６が画像データを符号化した後、パケット化器１１８が、外部表示デバイスのうちの１または複数への伝送のために画像データをパケット化し得る。
【００２３】
プロセッサ１０４は、記憶された命令を実行するように適合された主プロセッサであってもよい。プロセッサ１０４は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、または任意の数の他の構成であってもよい。プロセッサ１０４は、複合命令セットコンピュータ（ＣＩＳＣ：Ｃｏｍｐｌｅｘ  Ｉｎｓｔｒｕｃｔｉｏｎ  Ｓｅｔ  Ｃｏｍｐｕｔｅｒ）または縮小命令セットコンピュータ（ＲＩＳＣ：Ｒｅｄｕｃｅｄ  Ｉｎｓｔｒｕｃｔｉｏｎ  Ｓｅｔ  Ｃｏｍｐｕｔｅｒ）プロセッサ、ｘ８６命令セット互換性プロセッサ、マルチコア、あるいは任意の他のマイクロプロセッサまたは中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）として実装されてもよい。
【００２４】
メモリデバイス１０８は、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）（例えば、静的ランダムアクセスメモリ（ＳＲＡＭ：ｓｔａｔｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、動的ランダムアクセスメモリ（ＤＲＡＭ：ｄｎａｍｉｃ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、ゼロキャパシタＲＡＭ、シリコン−酸化物−窒化物−酸化物−シリコン（ＳＯＮＯＳ：Ｓｉｌｉｃｏｎ−Ｏｘｉｄｅ−Ｎｉｔｒｉｄｅ−Ｏｘｉｄｅ−Ｓｉｌｉｃｏｎ）、埋込型ＤＲＡＭ、拡張データ出力ＲＡＭ、ダブルデータレート（ＤＤＲ：ｄｏｕｂｌｅ  ｄａｔａ  ｒａｔｅ）ＲＡＭ、抵抗変化型ランダムアクセスメモリ（ＲＲＡＭ（登録商標）：ｒｅｓｉｓｔｉｖｅ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）、パラメータランダムアクセスメモリ（ＰＲＡＭ：ｐａｒａｍｅｔｅｒ  ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）等）、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）（例えば、マスクＲＯＭ、プログラム可能な読み取り専用メモリ（ＰＲＯＭ：ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）、消去可能でプログラム可能な読み取り専用メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）、電気的に消去可能でプログラム可能な読み取り専用メモリ（ＥＥＰＲＯＭ：ｅｌｅｃｔｒｉｃａｌｌｙ  ｅｒａｓａｂｌｅ  ｐｒｏｇｒａｍｍａｂｌｅ  ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）等）、フラッシュメモリ、または任意の他の適切なメモリシステムを含むことができる。主プロセッサ１０４は、システムバス１３４（例えば、周辺部品相互接続（ＰＣＩ：Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）、業界標準アーキテクチャ（ＩＳＡ：Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）、ＰＣＩ−Ｅｘｐｒｅｓｓ、ハイパートランスポート（ＨｙｐｅｒＴｒａｎｓｐｏｒｔ）（登録商標）、ニューバス（ＮｕＢｕｓ）等）を通して、メモリ１０８および記憶デバイス１０６を含む構成要素に接続されてもよい。
【００２５】
図１のブロック図は、コンピューティングデバイス１０２が、図１に示される構成要素の全てを含むものであることを指し示すことを意図されない。更に、コンピューティングデバイス１０２は、特定の実装形態の詳細に従って、図１に示されない任意の数の追加的な構成要素を含んでもよい。
【００２６】
図２は、ビデオデータに適用されるポリシープロセスを例示するプロセスフロー図である。図２に関して上述したように、第１のポリシーは、ビデオデータである画像データのために画像伝送を優先するように構成される。例えば、２０２において、画像データが受信され得る。画像データは、オペレーティングシステムによって受信され得る。２０４において、画像データがビデオであるかまたは非ビデオであるかに関しての判断がなされる。判断は、オペレーティングシステム、グラフィックススタック、および同様のもののうちの１または複数によってなされ得る。いずれにせよ、判断は、画像データおよび画像データ種類の指示を符号器に提供することに対して演繹的になされる。上述した演繹的な判断は、符号器からの画像データ種類の判断の負荷を軽減し、より多くの処理能力を有する構成要素、例えば、グラフィックススタック、オペレーティングシステム、および同様のものなどが判断を実行することを可能にする。
【００２７】
実施形態では、画像データが、画像データ内の変化の頻度の判断によって、ビデオまたは非ビデオであると判断される。例えば、画像データの変化率が、所定の閾値と比較され得る。閾値を上回る画像データは、ビデオデータとして分類され得、一方、閾値を下回る画像データは、非ビデオデータとして分類され得る。
【００２８】
ブロック２０６で、画像データがビデオデータである場合、図１の符号器１１６は、画像伝送を優先し、画像の品質が低下することを潜在的に許容し得る。ブロック２０８で、画像データが非ビデオデータである場合、符号器１１６は、画像の品質を優先し、伝送のレイテンシを増大させることを潜在的に許容し得る。
【００２９】
図３は、イントラフレーム（Ｉフレーム）または予測フレーム（Ｐフレーム）技術を使用するポリシープロセスを例示するプロセスフロー図である。いくつかの場合では、第１または第２のポリシーは、検出された変化が、表示されるのに十分に小さいエリアの部分に生じるかどうかに基づいて、異なって実装され得る。図３に例示されるように、３０２において、画像データにおける変化を指示する画像データが、前に伝送されたフレームから受信され、３０４において、変化したエリアが所定の閾値を上回るかどうかに関しての判断がなされる。
【００３０】
例えば、画像データは、総表示フレームの２０％の部分のみにおける変化を指示し得る。変化が総表示フレームの小さな割合のみに影響を及ぼす場合、画像の品質が低レイテンシ伝送よりも優先される、第１のポリシー。図３において、３０６に示されるように、その部分が所定の閾値を下回る場合、イントラフレーム（ｉフレーム）が伝送のために生成され得る。ｉフレーム伝送は、３０８において生成されたｐフレーム符号化伝送よりも高品質画像が表示されることをもたらし得る。ｉフレーム伝送は、典型的には高帯域幅伝送であり得るが、画像データの小さな部分のみが変化した場合、帯域幅は、比較的小さくなる。したがって、図３に例示されるポリシーは、帯域幅制約を考慮しても、迅速に伝送され得る高品質更新を活用し得る。更に、小さな変化のみが生じているので、ｉフレームの伝送は、図１の符号器１１６の計算負荷を減らし得る。なぜなら、ｐフレーム符号化は、正確なｐフレーム符号化伝送を判断するために前のフレームを参照することを要求するからである。
【００３１】
図４は、プログレッシブ伝送を有するポリシープロセスを例示するプロセスフロー図である。図３に関して上述したように、場合によっては、第１または第２のポリシーは、検出された変化が、表示されるのに十分に小さいエリアの部分において生じるかどうかに基づいて、異なって実装され得る。図４に例示されるように、４０２において、画像データが受信され、４０４において、変化した画像データがエリア閾値を上回るかどうかの判断。エリアが閾値を上回り、４０６において、画像データがビデオデータであることが判断される場合、画像データは、図１および図２に関して上述した第１のポリシーに従って、４０８において示されるように、符号化され、伝送される。画像データがビデオではないものの、変化したエリア閾値を依然として上回る場合、画像データが、４１０において示されるように、第２のポリシー伝送に従って、符号化され、伝送される。
【００３２】
変化したエリアが閾値を上回らない場合には、基本伝送が、４１２において示されるように、低レイテンシよりも画像の品質を優先する第２のポリシーを利用して、生成され得る。場合によっては、基本伝送が、所望の画像の品質を達成し得る。しかしながら、基本伝送が所望の画像の品質を達成しない場合、所望の画像の品質が達成されるまで、４１４において示されるように、プログレッシブ更新が符号化され得、伝送され得る。場合によっては、所望の品質が所定の値と関連付けられ得、画像データが符号化され、伝送される際に、任意の所与の画像の品質が追跡され得る。以下により詳細に記述されるように、品質を指示するものが、符号化および伝送された画像の品質を追跡するために使用されてもよい。
【００３３】
基本伝送およびプログレッシブ更新は、スケーラブル・ビデオ・コーディング（ＳＶＣ：Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）を使用して符号化されてもよい。例えば、ある領域が静的になる際、ＳＶＣの忠実度強化層が、プログレッシブ更新を使用提供してもよい。それに加えてまたは代えて、場合によっては、基本伝送およびプログレッシブ更新が、対応するフレームレベルの精密化を使用するアドバンスド・ビデオ・コーデック（ＡＶＣ：Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｅｃ）を使用して符号化されてもよい。
【００３４】
上述したように、更新は、現在表示されている画像の一部分のみが変化したことの結果であり得る。変化した部分は、本明細書において、変化した「領域」と呼ばれ得る。上述した選択的な領域の更新は、論理、例えば、図１の表示システム１１０などによって追跡されてもよい。
【００３５】
図５は、複数領域の更新を例示する図である。本明細書に記載される技法は、ＳＶＣ層またはＡＶＣフレームによる複数の領域を更新することを含む。領域は、定義によれば、異なる種類の更新を要求してもよいし、または所与の領域と関連付けられた画像データが変化しなかった場合には全く更新を要求しなくてもよい。
【００３６】
図５に例示されるように、表示部５００は、領域５０２、領域５０４、および領域５０６を含む３つの領域を含み得る。領域５０２は、残りの表示エリアであり得、領域５０４および５０６は、画像データの更新を要求し得る。図５に示されるように、領域５０４は、基本更新を提供され得、一方、領域５０６は、プログレッシブ更新を提供される。領域５０６のためのプログレッシブ更新および領域５０４のための基本更新は、前のフレーム時間の間の変化した発生の結果として、伝送のために多重化され得る。経時的な、選択的かつ複数領域の更新の知識ならびに追跡は、図１の符号器１１６が、領域に特有の更新を実行することを可能にする。更に、領域に特有の知識および追跡はまた、ある領域が変化しなかったかどうかを判断するように図１の表示システム１１０によって実装され得、したがって、符号器１１６は、非変化領域についての動きの検索を不可能な状態にし得、非変化領域と関連付けられたマクロブロックについて飛び越しモードを利用し得る。
【００３７】
図６は、符号化された更新の画像の品質を監視することを例示する図である。上述したように、論理、例えば、図１の表示システム１１０などは、１組のマクロブロック、走査線、および同様のものを含む領域についての更新を追跡するように構成され得る。図１の符号器１１６は、領域の時間的および空間的特性ならびにそれらの関連した更新を追跡するように更に構成されてもよい。更新は、一般に、表示される画像の領域に対する変化が検出され、活動的な内容になるときに始まり得る。更新は、表示される画像の領域に対する変化が終了し、静的な内容になるときに、または領域が目標画像の品質を達したときに終了し得る。
【００３８】
本明細書に記載される技法は、画像データの画像の品質および進行ならびに関連した更新を追跡するために使用されるメタデータを含む。図６は、更新を受信する所与の表示エリア内の領域の例であって、任意の所与の領域の画像の品質が追跡される例として、段階６０２、段階６０４、段階６０６、および段階６０８を含む４つの段階を例示する。例えば、段階６０２において、領域Ａが０の画像の品質値を有し、一方で、領域Ｚが３の画像の品質値を有する。この例では、３の画像の品質値が目標画像の品質値であり、符号器は、更なる更新が要求されないことを判断し得る。後続の段階、例えば段階６０４などにおいて、領域Ａが１の値を有し、領域Ｚが３の値を有し続け、新しい領域、すなわち、領域Ｂが０の値を有する。更に段階６０６および６０８は、３の目標値が各領域について達成されるまで、領域Ａ、Ｂ、およびＺが監視されることを例示する。
【００３９】
場合によっては、ゼロの画像の品質値は、図２、３、および４に関して上述した選択的な更新毎に所与の領域の内容が最近変化したことを指示し得る。１の画像の品質値は、基本更新であり得、２以上の値は、符号器１１６によって符号化されたプログレッシブ更新の数を指示し得る。
【００４０】
実施形態では、ＳＶＣを用いて、微細な粒度を可能してもよい。具体的に、基本更新は、各フレーム時間内に複数のプログレッシブ更新を含み得る。図６では、３の所与の目標品質レベルにある全ての領域を表す、背景領域、例えば領域Ｚなどについて、何の更新も符号化、パケット化、または伝送されていないことに留意する。
【００４１】
実施形態では、メタデータは、表示システム１１６のロバスト性およびデバッグ能力を改善するように、各領域が符号化されたとき、パケット化されたとき、伝送されたとき、および同様のときを追跡するために、表示システム１１０によって収集され得る。具体的に、任意の所与の更新の進行を指示するメタデータが、追跡され得る。例えば、所与のフレームにおける符号化された更新をパケット化または伝送することの失敗が、符号器１１６において検出され得、次のフレームの開始時に対処され得る。ＳＶＣに照らして、これは、サブフレームおよびフレーム境界の両方に適用し得る。
【００４２】
図７は、ポリシーに基づく画像符号化の機能的構成要素を例示するフロー図である。表示システム、例えば、図１の表示システム１１０などは、画像データ符号化を実装し得、パイプラインを伝送し得る。図７に示されるように、画像データは、７０２において符号化され得る。変化している、またはさもなければビデオデータとして指示される画像データが、７０４において捕捉され、７０６において、画像データが符号化される前に、符号器１１６に通知される。符号化された画像データは、７０８においてパケット化され、７１０において伝送される。ポリシーエンジン７１２は、進行の際に表示システム１１０によって使用され得、画像の品質データは、ポリシー、例えば、上述した第１のポリシーおよび第２のポリシーなどを実装するために監視される。
【００４３】
それに加えて、表示システム１１０は、７１４に示されるように、各機能的ブロックおよび関連した構成要素において、局所的な制御を可能にするように構成され得る。例えば、伝送ブロック７１０は、符号化およびパケット化された画像データの更新を伝送するように構成された、ＮＩＣ、例えばＮＩＣ１２４などと関連付けられてもよい。ＮＩＣ１２４に影響を及ぼす熱的制約は、ＮＩＣ１２４が、無線伝送帯域幅を減らすように伝送ビットストリームからのプログレッシブ更新をドロップすることを結果としてもたらし得る。ＮＩＣ１２４は、ポリシーエンジン７１２と関連付けられた全体的なシステム目的に基づいて、どのパケットをドロップするかを選ぶように構成され得る。
【００４４】
場合によっては、局所的な制御が、更新の間に優先順位付けによって実装されてもよい。例えば、システムが、静的領域についてのより高い忠実度を犠牲にして低レイテンシおよび滑らかさを確実にするように制約される場合は常に、基本更新が、複数領域の更新におけるフレーム／層内のプログレッシブ更新およびフレーム／層にわたるプログレッシブ更新の両方よりも優先され得る。このシナリオでは、符号器１１６が、異なる更新種類の領域をカプセル化してフラグを立てるように構成される。下流の構成要素、例えば、パケット化器１１８、およびＮＩＣ１２４などは、フラグを立てられた領域を特定して構文解析し、そのフラグを立てられた領域に基づいて、局所的な動作、例えばパケットのドロップなどを実行するように構成され得る。
【００４５】
更に、フィードバックが、機能的構成要素ブロック間で提供され得る。例えば、ＮＩＣ１２４は、パケット化された更新の伝送を妨げる熱的条件によって制約され得る。条件が、構成可能な期間を超えて持続する場合、ＮＩＣ１２４は、７１６に示されるように、符号器１１６に通知し得る。通知は、後続のプログレッシブ更新の不必要な符号化およびパケット化を避けるためにプログレッシブ更新がドロップされることを指示し得る。
【００４６】
一般に、表示システム１１０は、所与の制約の実質的な影響、例えば、所与の制約からの電力消費の影響、熱的影響、帯域幅の影響、および同様のものなどを確認するように構成され得る。例えば、無線帯域幅における持続的ドロップは、プログレッシブ更新がドロップされ、ユーザに知覚される品質に悪影響を与え得る。ＮＩＣ１２４から符号器１１６へのフィードバックは、上述したようにプログレッシブ更新の生成を避け得る。制約が検出され、したがって、符号器１１６が調整される、より統合されたアプローチがまた実装されてもよい。例えば、符号器１１６は、さもなければ生じることになる帯域幅における持続的ドロップの間に、より小さな、ただし、比較的よりプログレッシブな更新を生成するように構成されてもよい。
【００４７】
図８は、ポリシーに基づく画像符号化の方法を例示するブロック図である。８０２で、画像データが、表示部への伝送のために符号器に提供される。ブロック８０４で、画像データの少なくとも一部分がビデオデータであるかまたは非ビデオデータであるかの指示が提供される。ブロック８０６に示されるように、ビデオデータである画像データのために符号化された画像の品質よりも画像データの低レイテンシ伝送を優先する第１のポリシーが、符号器において実装される。ブロック８０８で、第２のポリシーが非ビデオデータのために符号器において実装され得、第２のポリシーは、低レイテンシ伝送よりも符号化された画像の品質を優先する。
【００４８】
図９は、ポリシーに基づく画像符号化を実装するように構成されたコンピュータ可読媒体の例を描写するブロック図である。コンピュータ可読媒体９００は、コンピュータバス９０４上でプロセッサ９０２によってアクセスされ得る。いくつかの例では、コンピュータ可読媒体９００が、非一時的なコンピュータ可読媒体であってもよい。いくつかの例では、コンピュータ可読媒体が、記憶媒体であり得るが、搬送波、信号、および同様のものを含まない。なおその上に、コンピュータ可読媒体９００は、プロセッサ９０２に現在の方法のステップを実行することを指図するコンピュータで実行可能な命令を含み得る。
【００４９】
本明細書に記述される様々なソフトウェア構成要素は、図９に示されるように、有形の非一時的なコンピュータ可読媒体９００上に記憶され得る。例えば、ポリシーアプリケーション９０６は、表示部への伝送のために画像データを符号器に提供し、画像データの少なくとも一部分がビデオデータであるかまたは非ビデオデータであるかの指示を提供するように構成されてもよい。ポリシーアプリケーション９０６はまた、非ビデオデータである画像データのために符号化された画像の品質よりも画像データの伝送を優先する第１のポリシーを符号器において実装し、非ビデオデータである画像データのための伝送よりも符号化された画像の品質を優先する第２のポリシーを符号器において実装するように構成されてもよい。
【００５０】
例は、主題、例えば、方法、その方法の機能を実行するための手段、マシンによって実行されるときに、そのマシンにその方法の機能を実行させる命令を含む少なくとも１つのマシン可読媒体などを含み得る。
【００５１】
例１は、ポリシーに基づく表示符号化のためのシステムを含む。システムは、表示部への伝送のために画像データを符号器に提供する、および画像データの少なくとも一部分がビデオデータであるかまたは非ビデオデータであるかの指示を提供するものである、ハードウェア論理を少なくとも部分的に含む、論理を含む。論理は、ビデオデータである画像データのために符号化された画像の品質よりも画像データの伝送を優先する第１のポリシーを符号器において実装するように、および非ビデオデータである画像データのための伝送よりも符号化された画像の品質を優先する第２のポリシーを符号器において実装するように、更に構成される。
【００５２】
例２は、ポリシーに基づく表示符号化のための方法を含む。本方法は、表示部への伝送のために画像データを符号器に提供することと、画像データの少なくとも一部分がビデオデータであるかまたは非ビデオデータであるかの指示を提供することと、を含む。本方法は、ビデオデータである画像データのために符号化された画像の品質よりも画像データの伝送を優先する第１のポリシーを符号器において実装することと、非ビデオデータである画像データのための伝送よりも符号化された画像の品質を優先する第２のポリシーを符号器において実装することと、を含む。場合によっては、コンピュータ可読媒体が、例２の方法を実行するために実装され得る。
【００５３】
例３は、実行されるときに、処理デバイスに、表示部への伝送のために画像データを符号器に提供させる符号を含むコンピュータ可読媒体を含む。符号はまた、画像データの少なくとも一部分がビデオデータであるかまたは非ビデオデータであるかの指示を提供するように実装され得、非ビデオデータである画像データのために符号化された画像の品質よりも画像データの伝送を優先する第１のポリシーを符号器において実装し得る。符号は、非ビデオデータである画像データのための伝送よりも符号化された画像の品質を優先する第２のポリシーを符号器において実装するように更に構成されてもよい。
【００５４】
例４は、画像ポリシーを実装するための手段を備える装置を含む。手段は、表示部への伝送のために画像データを符号器に提供する、および画像データの少なくとも一部分がビデオデータであるかまたは非ビデオデータであるかの指示を提供するものである。手段は、非ビデオデータである画像データのために符号化された画像の品質よりも画像データの伝送を優先する第１のポリシーを符号器において実装するように、および非ビデオデータである画像データのための伝送よりも符号化された画像の品質を優先する第２のポリシーを符号器において実装するように、更に構成される。
【００５５】
例５は、画像ポリシーを実装するためにハードウェア論理を少なくとも部分的に含む、論理を備える装置を含む。論理は、表示部への伝送のために画像データを符号器に提供し、画像データの少なくとも一部分がビデオデータであるかまたは非ビデオデータであるかの指示を提供するものである。論理は、非ビデオデータである画像データのために符号化された画像の品質よりも画像データの伝送を優先する第１のポリシーを符号器において実装するように、および非ビデオデータである画像データのための伝送よりも符号化された画像の品質を優先する第２のポリシーを符号器において実装するように、更に構成される。
【００５６】
ある実施形態とは、ある実装形態または例である。明細書における「ある実施形態」、「一実施形態」、「いくつかの実施形態」、「様々な実施形態」、または「他の実施形態」への参照は、実施形態に関して記載される特定の特徴、構造、または特性が、本技法の、少なくともいくつかの実施形態に含まれるものの、必ずしも全ての実施形態に含まれないことを意味する。「ある実施形態」、「一実施形態」、または「いくつかの実施形態」の様々な出現は、必ずしも同じ実施形態を全て指すわけではない。
【００５７】
本明細書に記載および例示された全ての構成要素、特徴、構造、特性等が、ある特定の実施形態または複数の実施形態に含まれる必要はない。明細書が、例えば、構成要素、特徴、構造、または特性が含まれ「てもよい（ｍａｙ）」、含まれる「だろう（ｍｉｇｈｔ）」、含まれ「得る（ｃａｎ）」、または含まれる「可能性がある（ｃｏｕｌｄ）」を述べる場合、その特定の構成要素、特徴、構造、または特性は、含まれることを要求されない。明細書または特許請求の範囲が「ａ」または「ａｎ」要素を言及する場合、それは、その要素のただ１つが存在することを意味しない。明細書または特許請求の範囲が「追加的な」要素を言及する場合、それは、追加的な要素の２つ以上が存在していることを排除しない。
【００５８】
いくつかの実施形態が特定の実装形態に関して記載されたが、他の実装形態が、いくつかの実施形態に従って可能であることに留意されたい。更に、図面に例示されたおよび／または本明細書に記載された回路要素もしくは他の特徴の配列および／または順序は、例示および記載された特定の様式で配列される必要はない。多くの他の配列が、いくつかの実施形態に従って可能である。
【００５９】
図面に示される各システムにおいて、要素が、場合によっては、表現された要素が異なるおよび／または類似する可能性があることを示唆するように、同じ参照番号または異なる参照番号をそれぞれ有し得る。しかしながら、ある要素は、異なる実装形態を十分に有するだけの柔軟性があり得、本明細書に図示または記載されるシステムのうちのいくつかまたは全てと共に機能し得る。図面に示される様々な要素は、同じであってもよいし、または異なってもよい。どの１つが第１の要素と称され、どれが第２の要素と呼ばれるかは、任意的なものである。
【００６０】
前述の例における詳細は、１または複数の実施形態のどこにおいて使用されてもよいことを理解されたい。例えば、上記したコンピューティングデバイスの全ての任意選択的な特徴がまた、本明細書に記載される方法またはコンピュータ可読媒体のいずれかに関して実装されてもよい。なおその上に、フロー図および／または状態図は、実施形態を記載するために本明細書において使用された可能性があるが、本技法は、それらの図または本明細書における対応する記載に限定されない。例えば、フロー（流れ）は、それぞれ例示された枠もしくは状態を通して、または本明細書に例示および記載されたのと全く同じ順番で、動く必要はない。
【００６１】
本技法は、本明細書に列挙された特定の詳細に制限されない。実際、本開示の利益を得る当業者は、上述の記載および図面からの多くの他の変形が、本技法の範囲内でなされてもよいことを認識するであろう。したがって、以下の特許請求の範囲は、本技法の範囲を定義する、それに対する任意の補正を含む。
【図１】
0006442046.tif 000002
【図２】
0006442046.tif 000003
【図３】
0006442046.tif 000004
【図４】
0006442046.tif 000005
【図５】
0006442046.tif 000006
【図６】
0006442046.tif 000007
【図７】
0006442046.tif 000008
【図８】
0006442046.tif 000009
【図９】
0006442046.tif 000010