(57)【要約】  コンピュータ生成されたスクリーンコンテンツ（SC）と自然コンテンツ（NC）とを含む画像を含む混合コンテンツビデオを取得し、画像をSCエリアとNCエリアとに区分し、SC符号化ツールを用いてSCエリアをエンコードしNC符号化ツールを用いてNCエリアをエンコードすることによって画像をエンコードするように構成されたプロセッサと、プロセッサに結合された送信機であって、送信機が、クライアントデバイスにデータを送信するように構成された、送信機と、を備える装置であって、データは、エンコードされた画像と、区分の境界の指示とを含む、装置。
2017513318.tif 000002
【特許請求の範囲】
【請求項１】
装置であって、
コンピュータ生成されたスクリーンコンテンツ（SC）と自然コンテンツ（NC）とを含む画像を含む混合コンテンツビデオを取得し、
前記画像をSCエリアとNCエリアとに区分し、
SC符号化ツールを用いて前記SCエリアをエンコードしNC符号化ツールを用いて前記NCエリアをエンコードすることによって前記画像をエンコードする
ように構成されたプロセッサと、
前記プロセッサに結合された送信機であって、前記送信機が、クライアントデバイスにデータを送信するように構成された、送信機と、
を含み、
前記データが、前記エンコードされた画像と、前記画像の前記区分の境界の指示とを含む、装置。
【請求項２】
前記SCコンテンツは、コンピュータアプリケーションによって生成された画像コンテンツを含み、NCコンテンツは、画像記録デバイスによってキャプチャされた画像コンテンツ、または画像記録デバイスによってキャプチャされた画像コンテンツをエミュレートするコンピュータ生成されたグラフィックコンテンツを含む、請求項1に記載の装置。
【請求項３】
前記画像をエンコードすることは、前記画像を送信するために必要とされる帯域幅を低減するために量子化パラメータ（QP）を適用することを含み、第1の画像のSCエリアに適用されるSC QP値が、前記第1の画像のNCエリアに適用されるNC QP値とは異なる、請求項1に記載の装置。
【請求項４】
前記NC QP値は、前記NCエリアの品質が前記SCエリアの品質と比較して低減されるように、前記SC QP値よりも大きい、請求項3に記載の装置。
【請求項５】
各画像はサブセクションのグループを含み、前記画像の各々の各サブセクションのための前記区分の境界の前記指示が送信される、請求項1に記載の装置。
【請求項６】
前記区分の境界の前記指示は、前記SCエリアのサイズおよびロケーションまたは前記NCエリアのサイズおよびロケーションを示す、請求項1に記載の装置。
【請求項７】
前記区分の境界の前記指示は、前記区分の境界を示すピクセル座標を含む、請求項1に記載の装置。
【請求項８】
前記画像は、グリッドに量子化された座標によって記述され、前記区分の境界の前記指示は、前記区分の前記境界を示す前記グリッド上の座標を含む、請求項1に記載の装置。
【請求項９】
前記SCエリアまたは前記NCエリアのうちの少なくとも1つは非長方形形状を含み、前記画像を区分することは、前記非長方形形状を含む関連する画像を記述する長方形グリッドに前記非長方形形状をマッピングすることを含む、請求項1に記載の装置。
【請求項１０】
前記画像のうちの少なくとも1つは、少なくとも1つのNCピクセルと少なくとも1つのSCピクセルとを含むサブセクションを含み、前記画像を区分することは、SCコンテンツピクセルに対するNCコンテンツピクセルの比が所定のしきい値を超えるとき、前記サブセクションをNCエリアにマッピングすることを含む、請求項1に記載の装置。
【請求項１１】
前記区分の境界の前記指示は、ピクチャ・パラメータ・セット（PPS）中で、シーケンス・パラメータ・セット（SPS）中で、スライスヘッダ中で、符号化ユニット（CU）データ中で、予測ユニット（PU）データ中で、補足エンハンスメント情報（SEI）メッセージ中で、またはそれらの組合せで送信される、請求項1に記載の装置。
【請求項１２】
前記区分の境界の前記指示は、前記画像のシーケンスの最初に送信され、前記指示は、前記シーケンスの前記区分の境界を記述する、請求項1に記載の装置。
【請求項１３】
前記区分の境界は画像間で変化し、前記データは、前の指示に対する変化を記述する後続の指示を含む、請求項12に記載の装置。
【請求項１４】
クライアントデバイスにおいて混合コンテンツビデオをデコードする方法であって、
画像を含むエンコードされた混合コンテンツビデオを含むビットストリームを受信するステップであって、各画像が、コンピュータ生成されたスクリーンコンテンツ（SC）と自然コンテンツ（NC）とを含む、ステップと、
前記SCコンテンツを含むSCエリアと前記NCコンテンツを含むNCエリアとの間の区分の境界の指示を前記ビットストリーム中で受信するステップと、
前記区分の境界によって画定された前記SCエリアをデコードするステップであって、前記SCエリアをデコードすることが、SC符号化ツールを利用することを含む、ステップと、
前記区分の境界によって画定された前記NCエリアをデコードするステップであって、前記NCエリアをデコードすることが、前記SC符号化ツールとは異なるNC符号化ツールを利用することを含む、ステップと、
前記デコードされたSCエリアと前記デコードされたNCエリアとをデコードされた混合コンテンツビデオとしてディスプレイに転送するステップと、
を含む、方法。
【請求項１５】
前記SCエリアにおいて利用されるべき前記SC符号化ツールの指示と、前記NCエリアにおいて利用されるべき前記NC符号化ツールの指示とを前記ビットストリーム中で受信するステップをさらに含む、請求項14に記載の方法。
【請求項１６】
前記SCエリアにおいて無効化されるべきNC符号化ツールの指示と、前記NCエリアにおいて無効化されるべきSC符号化ツールの指示とを前記ビットストリーム中で受信するステップをさらに含む、請求項14に記載の方法。
【請求項１７】
前記SC符号化ツールおよび前記NC符号化ツールは、前記区分の境界に基づいて黙示的に選択される、請求項14に記載の方法。
【請求項１８】
前記SC符号化ツールは、前記SCエリアのために第1のクロマ・サンプリング・フォーマットを利用し、前記NC符号化ツールは、前記NCエリアのために第2のクロマ・サンプリング・フォーマットを利用し、前記第1のクロマ・サンプリング・フォーマットは前記第2のクロマ・サンプリング・フォーマットとは異なる、請求項14に記載の方法。
【請求項１９】
プロセッサによって実行されたとき、ネットワーク要素（NE）に、
コンピュータ生成されたスクリーンコンテンツ（SC）と自然コンテンツ（NC）とを含む画像を含む混合コンテンツビデオを取得させ、
前記画像を、SCを含んでいるSC画像とNCを含んでいるNC画像とに区分させ、
前記SC画像を少なくとも1つのSCサブストリーム中にエンコードさせ、
前記NC画像を少なくとも1つのNCサブストリーム中にエンコードさせ、
前記混合コンテンツビデオへの再合成のために前記サブストリームをクライアントデバイスに送信機を介して送信させる
ような、非一時的コンピュータ読み取り可能な媒体に記憶されたコンピュータ実行可能命令を含むコンピュータプログラム製品。
【請求項２０】
各画像は複数のSCエリアと複数のNCエリアとを含み、各エリアのための画像データは異なる専用サブストリーム中にエンコードされ、前記エリアのための前記専用サブストリームは異なる画像解像度を利用する、請求項19に記載のコンピュータプログラム製品。
【請求項２１】
前記SC画像をSCサブストリーム中にエンコードすることは、前記SCの外部の画像データにマスクを適用することをさらに含む、請求項19に記載のコンピュータプログラム製品。
【請求項２２】
前記NC画像をNCサブストリーム中にエンコードすることは、前記NCの外部の画像データにマスクを適用することをさらに含む、請求項19に記載のコンピュータプログラム製品。
【請求項２３】
前記SC画像をサブストリーム中にエンコードすることは、前記SC画像を前記サブストリーム中にエンコードする前に、区分されたSCエリアおよび関連するコンテンツを所定のサイズに拡張することをさらに含む、請求項19に記載のコンピュータプログラム製品。
【請求項２４】
前記NC画像をサブストリーム中にエンコードすることは、前記NC画像を前記サブストリーム中にエンコードする前に、区分されたNCエリアおよび関連するコンテンツを所定のサイズに拡張することをさらに含む、請求項19に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、改善されたスクリーンコンテンツおよび混合コンテンツの符号化に関する。
＜関連出願への相互参照＞
本出願は、Thorsten Laude、Marco Munderloh、およびJoern Ostermannによって2014年3月13日に出願された、発明の名称を「Improved Screen Content And Mixed Content Coding」とする米国仮特許出願第61／952，160号、およびThorsten Laude、Marco Munderloh、およびJoern Ostermannによって2015年3月11日に出願された、発明の名称を「Improved Screen Content And Mixed Content Coding」とする米国特許出願第14／645，136号の優先権を主張し、それらの両方が全体として再掲されるかのように参照によりここに組み込まれる。
【０００２】
＜連邦支援の調査または開発に関する陳述＞
該当なし。
【０００３】
＜マイクロフィッシュ付録への参照＞
該当なし。
【背景技術】
【０００４】
クラウドを基にしたサービスの最近の成長、ならびにコンテンツ表示デバイスとしてのスマートフォンおよびタブレットコンピュータのような携帯デバイスの展開とともに、コンピュータ生成されたコンテンツが1つのデバイス上で生成されるが、第2のデバイスを使用して表示される、新しいシナリオが出現している。さらに、そのようなデバイスは、コンピュータ生成されたコンテンツと同時にカメラキャプチャされたコンテンツを表示することが求められることがあり、結果として、混合コンテンツを表示することが必要になる。カメラキャプチャされたコンテンツと、コンピュータ生成されたコンテンツは、エッジの鮮明さ、異なる色の量、圧縮などに関して著しく異なる特性を有する。ビデオキャプチャされたコンテンツを表示するように構成されたビデオエンコードおよびデコード機構は、コンピュータ生成されたコンテンツを表示するときに貧弱に実行し、その逆も同様である。例えば、ビデオキャプチャされたコンテンツのために構成されたビデオエンコードおよびデコード機構を用いてコンピュータ生成されたコンテンツを表示するように試みることは、結果として、表示のコンピュータ生成されたコンテンツ部分の部分について符号化人工物、ぼやけ、過大なファイルサイズなどになり得る（その逆も同様である）。
【発明の概要】
【課題を解決するための手段】
【０００５】
一実施形態では、この開示は、コンピュータ生成されたスクリーンコンテンツ（SC）と自然コンテンツ（NC）とを含む画像を含む混合コンテンツビデオを取得し、画像をSCエリアとNCエリアとに区分し、SC符号化ツールを用いてSCエリアをエンコードしNC符号化ツールを用いてNCエリアをエンコードすることによって画像をエンコードするように構成されたプロセッサと、プロセッサに結合された送信機であって、送信機が、クライアントデバイスにデータを送信するように構成された、送信機と、を含む装置を含み、データは、エンコードされた画像と、区分の境界の指示とを含む。
【０００６】
別の実施形態では、この開示は、クライアントデバイスにおいて混合コンテンツビデオをデコードする方法を含み、この方法は、画像を含むエンコードされた混合コンテンツビデオを含むビットストリームを受信するステップであって、各画像が、SCとNCとを含む、ステップと、SCコンテンツを含むSCエリアとNCコンテンツを含むNCエリアとの間の区分の境界の指示をビットストリーム中で受信するステップと、区分の境界によって画定されたSCエリアをデコードするステップであって、SCエリアをデコードすることが、SC符号化ツールを利用することを含む、ステップと、区分の境界によって画定されたNCエリアをデコードするステップであって、NCエリアをデコードすることが、SC符号化ツールとは異なるNC符号化ツールを利用することを含む、ステップと、デコードされたSCエリアとデコードされたNCエリアとをデコードされた混合コンテンツビデオとしてディスプレイに転送するステップとを含む。
【０００７】
別の実施形態では、この開示は、プロセッサによって実行されたとき、ネットワーク要素（NE）に、SCとNCとを含む画像を含む混合コンテンツビデオを取得させ、画像をSCエリアとNCエリアとに区分させ、SCエリア中の画像データを少なくとも1つのSCサブストリーム中にエンコードさせ、NCエリア中の画像データを少なくとも1つのNCサブストリーム中にエンコードさせ、混合コンテンツビデオへの再合成のためにサブストリームをクライアントデバイスに送信機を介して送信させるような、非一時的コンピュータ読み取り可能な媒体に記憶されたコンピュータ実行可能命令を含むコンピュータプログラム製品を含む。
【０００８】
これらおよび他の特徴は、添付図面および請求項とともに行われる以下の詳細な説明からより明確に理解されよう。
【０００９】
この開示のより完全な理解のために、添付図面および詳細な説明に関連して行われる以下の簡単な説明への参照がここで行われ、ここで同様の参照番号は同様の部分を表現する。
【図面の簡単な説明】
【００１０】
【図１】SCとNCとを含む、一実施形態の混合コンテンツビデオを図示する。
【図２】混合コンテンツビデオをエンコードし配信するように構成されたネットワークの一実施形態の概略図である。
【図３】ネットワーク中のノードとして働くNEの一実施形態の概略図である。
【図４】混合コンテンツビデオをエンコードし配信する方法の一実施形態のフローチャートである。
【図５】複数の専用サブストリーム中に混合コンテンツビデオをエンコードし配信する方法の一実施形態のフローチャートである。
【図６】混合コンテンツビデオをデコードする方法の一実施形態のフローチャートである。
【図７】量子化パラメータ（QP）管理の方法の一実施形態の概略図である。
【図８】SCとNCとを含む、別の実施形態の混合コンテンツビデオを図示する。
【図９】混合コンテンツビデオに関連する例示の区分情報の概略図である。
【図１０】SCを含むSCセグメント化画像の一実施形態を図示する。
【図１１】NCを含むNCセグメント化画像の一実施形態を図示する。
【発明を実施するための形態】
【００１１】
1つまたは複数の実施形態の例示的な実装が以下に提供されるが、開示されるシステムおよび／または方法は、現在知られているまたは存在するかどうかにかかわらず、任意の数の技法を使用して実装され得ることを最初に理解すべきである。この開示は、ここで図示および説明される例示的な設計および実装を含む、以下に図示される例示的な実装、図面、および技法に決して限定されるべきではなく、均等物のそれらの全範囲とともに添付の請求項の範囲内で変更され得る。
【００１２】
以下の開示は、一実施形態では、以下のように解釈される、複数の用語を利用する。スライス  −  独立にエンコード／デコードされるフレームの空間的に異なった領域。スライスヘッダ  −  特定のスライスに関連する情報をシグナリングするように構成されたデータ構造。タイル  −  独立にエンコード／デコードされ、全体の画像を分割する当該領域のグリッドの一部を形成するフレームの、長方形の空間的に異なった領域。ブロック  −  サンプルのMxN（M列×N行）アレイ、または変換係数のMxNアレイ。最大符号化ユニット（LCU）グリッド  −  ビデオエンコードのためにピクセルのブロックをマクロブロックに区分するために利用されるグリッド構造。符号化ユニット（CU）  −  ルーマ・サンプルの符号化ブロック、3つのサンプルアレイを有する画像のクロマ・サンプルの2つの対応する符号化ブロック、またはモノクロームピクチャもしくは3つの別個のカラープレーンおよびサンプルを符号化するために使用されるシンタックス構造を使用して符号化されるピクチャのサンプルの符号化ブロック。ピクチャ・パラメータ・セット（PPS）  −  各スライスセグメントヘッダ中に見つけられるシンタックス要素によって決定される、0個以上の全体の符号化されたピクチャに適用されるシンタックス要素を含んでいるシンタックス構造。シーケンス・パラメータ・セット（SPS）  −  各スライスセグメントヘッダ中に見つけられるシンタックス要素によって参照されるPPS中に見つけられるシンタックス要素のコンテンツによって決定される、0個以上の全体の符号化されたビデオシーケンスに適用されるシンタックス要素を含んでいるシンタックス構造。予測ユニット（PU）  −  ルーマ・サンプルの予測ブロック、3つのサンプルアレイを有するピクチャのクロマ・サンプルの2つの対応する予測ブロック、またはモノクロームピクチャもしくは3つの別個のカラープレーンおよび予測ブロックサンプルを予測するために使用されるシンタックス構造を使用して符号化されるピクチャのサンプルの予測ブロック。補足エンハンスメント情報（SEI）  −  ビデオの使用を拡張するためにビデオビットストリーム中に挿入され得る追加の情報。ルーマ  −  画像サンプルの輝度を示す情報。クロマ  −  赤色差クロマ成分（Cr）と青色差クロマ成分（Cb）とに関して記述され得る、画像サンプルの色を示す情報。QP  −  サンプルの量子化を示す情報を含むパラメータ、ここで量子化は単一の値へのある範囲の値の圧縮を示す。
【００１３】
混合コンテンツビデオについての1つの可能なシナリオは、アプリケーションがリモートサーバ上で動作し、ディスプレイ出力がローカルユーザワークステーションに転送されるときに生じる。別の例示のシナリオは、ユーザが、携帯デバイススクリーンよりも大きいスクリーン上で動画を見ることを可能にするための、スマートフォンまたはタブレットコンピュータスクリーンの、テレビジョンデバイスのスクリーンへの複製である。そのようなシナリオは、既存の送信システムによって与えられるデータレート制約を遵守しながら、SC信号を十分な視覚的品質で表現することが可能でなければならない、SCの効率的な送信の必要が伴う。この課題への例示の解決策は、例えばムービング・ピクチャ・エキスパート・グループ（MPEG）バージョン2（MPEG-2）、MPEGバージョン4（MPEG-4）、高度ビデオ符号化（AVC）、および高効率ビデオ符号化（HEVC）のようなビデオ符号化規格を利用することによって、SCを圧縮するビデオ符号化技術を使用することである。HEVCは、カメラキャプチャされたコンテンツのようなNCを圧縮する目的で開発され、結果として、NCについては優れた圧縮性能、SCについては貧弱な性能になる。
【００１４】
NC信号およびSC信号が、他の属性の中でも、エッジの鮮明さ、異なる色の量に関して著しく異なる特性を有することは、注目に値する。したがって、いくつかのSC符号化（SCC）方法はNCについては良好に実行しないことがあり、いくつかのHEVC符号化ツールはSCについては良好に実行しないことがある。例えば、HEVC符号化器は、SCを、ぼやけたテキストおよびぼやけたエッジのような強い符号化人工物を伴ってたいへん貧弱に表現するか、あるいはSCが高品質で表現されることを可能にするためにたいへん高いビットレートでSCビデオを表現するかのいずれかである。全体のフレームを符号化するためにSCC機構が利用される場合、そのような機構は、SCについては良好に実行するが、NCの信号を貧弱に記述する。この課題への1つの解決策は、シーケンス／ピクチャがSCまたはNCのみを含んでいるならば、シーケンスおよび／またはピクチャレベルでSCCツールおよび／または従来の符号化ツールを有効化または無効化することである。しかし、そのような手法は、自然コンテンツとスクリーンコンテンツの両方を含んでいる混合コンテンツに好適でない。
【００１５】
ここで開示されるのは、混合ビデオコンテンツの効率的で一貫した品質の表示をサポートするための、改善されたスクリーンコンテンツおよび混合コンテンツ符号化のための様々な機構である。混合ビデオコンテンツは、NCエリアとSCエリアとに区分される。NCエリアはNC固有符号化ツールを用いてエンコードされるが、SCエリアはSC固有符号化ツールを用いてエンコードされる。さらに、異なるエリアのために異なるQPを利用することによって、NCエリアは、SCエリアの品質を低減することなしにより小さいファイルサイズを促進するために、SCエリアよりも低い解像度でエンコードされ得る。エンコードされた混合コンテンツビデオとともに区分情報がクライアントにシグナリングされ、クライアントが各エリアを独立にデコードすることを可能にする。エンコード・エンティティ（例えば、サーバ）は、また、各エリアのための符号化ツールを有効化／無効化するためにクライアントにシグナリングすることが可能であり、デコード中の処理要件の減少を可能にする（例えば、必要とされない符号化ツールは、必要とされないときにオフにされることが可能である）。代替の実施形態では、各エリア（例えばNCエリアまたはSCエリア）は、ビデオストリームの別個のビットストリーム／サブストリーム中でエンコードされる。クライアントは、そして、各ビットストリームをエンコードし、エリアを合成して、NCコンテンツとSCコンテンツの両方の複合画像を作成することが可能である。
【００１６】
図1は、SC120とNC110とを含む混合コンテンツビデオ100の一実施形態を図示する。ビデオシーケンスは、ビデオストリームの時間的部分を構成する複数の関係する画像である。画像はフレームまたはピクチャと呼ばれることもある。混合コンテンツビデオ100は、ビデオシーケンスからの単一の画像を図示している。SC120はSCの一例である。SCは、コンピュータプログラムまたはアプリケーションのためのインターフェースとして生成される視覚出力である。例えば、SCは、ウェブ・ブラウザ・ウィンドウ、テキスト・エディタ・インターフェース、電子メール・プログラム・インターフェース、チャート、グラフなどを含み得る。SCは、典型的には、コントラストをなすようにしばしば選択される、鮮明なエッジと、比較的少数の色とを含む。NC110はNCの一例である。NCは、ビデオ記録デバイスによってキャプチャされた視覚出力、またはキャプチャされたビデオを模倣するために生成されるコンピュータグラフィックスである。例えば、NCは、スポーツゲーム、ムービー、テレビジョンコンテンツ、インターネットビデオなどのような実世界の画像を含む。NCは、また、ビデオゲーム出力、コンピュータグラフィックス画像（CGI）を基にしたムービーなどのような実世界のイメージを模倣するように意図されたCGIを含む。NCは実世界の画像を表示または模倣するので、NCは、ぼやけたエッジと、隣接する色に微妙な変化がある比較的大きい数の色とを含む。わかるように、混合コンテンツビデオ100が、ビデオ100上でNCのために設計された符号化ツールを広域的に利用すると、結果として、SC120について貧弱な性能になる。さらに、混合コンテンツビデオ100上でSCのために設計された符号化ツールを広域的に利用すると、結果として、NC110について貧弱な性能になる。ここで使用される用語、符号化ツールは、コンテンツをエンコードするためのエンコードツールと、コンテンツをデコードするためのデコードツールの両方を含むことに留意すべきである。
【００１７】
図2は、混合コンテンツビデオ100のような混合コンテンツビデオをエンコードし配信するように構成されたネットワーク200の一実施形態の概略図である。ネットワーク200は、ビデオソース221と、サーバ211と、クライアント201とを含む。ビデオソース221は、NCとSCの両方を生成し、それらをエンコードのためにサーバ211に転送する。代替の実施形態では、ビデオソース221は、直接接続されないことがある複数のノードを含み得る。別の代替の実施形態では、ビデオソース221は、サーバ211と共同配置され得る。一例として、ビデオソース221は、リアルタイムビデオを記録しストリーミングするように構成されたビデオカメラと、記録されたビデオに関連するプレゼンテーションスライドをストリーミングするように構成されたコンピュータとを含み得る。別の実施形態として、ビデオソース221は、取り付けられたディスプレイのコンテンツをサーバ211に転送するように構成されたコンピュータ、携帯電話、タブレットコンピュータなどであり得る。実施形態に関係なく、SCコンテンツおよびNCコンテンツは、エンコードおよびクライアント201への配信のためにサーバ211に転送される。
【００１８】
サーバ211は、ここで説明されるように混合ビデオコンテンツのために構成された任意のデバイスであり得る。非限定的な例として、サーバ211は、図2に示されているようにクラウドネットワーク中に配置され得るか、ホーム／オフィス中の専用サーバとして配置され得るか、またはビデオソース221を含み得る。実施形態に関係なく、サーバ211は、混合コンテンツビデオを受信し、ビデオのフレーム、および／またはフレームのサブ部分を、1つまたは複数のSCエリアと、1つまたは複数のNCエリアとに区分する。サーバ211は、SCエリアのためにSC符号化ツールを、かつNCエリアのためにNCツールを利用することによって、SCエリアとNCエリアとを独立にエンコードする。さらに、SCエリアとNCエリアとの解像度は、ファイルサイズおよび解像度品質についてビデオを最適化するために、独立に変更され得る。例えば、NCビデオはSCビデオよりも一般に著しく複雑なので、NCの圧縮は、SCの圧縮よりもファイルサイズに大きい影響を有する。したがって、NCビデオは、SCビデオを著しく圧縮せずに著しく圧縮されることが可能であり、これは、結果として、SCビデオの品質を過度に低減せずに低減されたファイルサイズになり得る。サーバ211は、エンコードされた混合ビデオコンテンツをクライアント201に向けて送信するように構成される。一実施形態では、ビデオコンテンツは、それぞれがSCエンコードされたエリアとNCエンコードされたエリアとを含むフレームのビットストリームとして送信され得る。別の実施形態では、SCエリアはSCサブストリーム中でエンコードされ、NCエリアはNCサブストリーム中でエンコードされる。サブストリームは、そして、複合画像への合成のためにクライアント201に送信される。いずれの実施形態でも、サーバ211は、混合ビデオコンテンツのデコードにおいてクライアント201を補助するためにクライアント201にデータを送信するように構成される。クライアント201に送信されるデータは、各々のSCおよびNCエリアの境界を示す区分情報を含む。データは、また、各エリアについて有効化または無効化されるべき符号化ツールの黙示的または明示的な指示を含み得る。データは、また、各エリアについてのQPを含むことが可能であり、ここでQPは各エリアの圧縮を記述する
。
【００１９】
クライアント201は、混合コンテンツビデオを受信しデコードするように構成された任意のデバイスであり得る。クライアント201は、また、デコードされたコンテンツを表示するように構成され得る。例えば、クライアント201は、テレビジョンに結合されたセットトップボックス、コンピュータ、携帯電話、タブレットコンピュータなどであり得る。クライアント201は、エンコードされた混合ビデオコンテンツを受信し、サーバから受信されたデータ（例えば区分情報、符号化ツール情報、QPなど）に基づいて混合ビデオコンテンツをデコードし、デコードされた混合ビデオコンテンツを表示のためにエンドユーザに転送する。実施形態によっては、クライアント201は、区分情報に基づいて各フレームの各エリアをデコードするかまたは各サブストリームをデコードし、区分情報に基づいて各サブストリームからのエリアを複合画像に合成する。
【００２０】
混合コンテンツビデオをSCエリアとNCエリアとに区分することによって、各エリアは、関連するエリアのために最も適切な機構を利用することによって独立にエンコードされることが可能である。そのような区分は、同じ画像中のNCエリアとSCエリアとについての異なる画像処理要件の課題を解決する。各エリアを独立に区分し扱うことは、高度に複雑な符号化システムがNC画像データとSC画像データの両方を同時に処理する必要を軽減する。エリアを区分し、区分データを送信し、符号化ツールを有効化／無効化し、量子化をシグナリングし、エンコードされた混合ビデオコンテンツをクライアント201に転送するために複数の機構が存在し、これらは、以下、ここでより詳細に説明される。
【００２１】
図3は、サーバ211、クライアント201、および／またはビデオソース221のようなネットワーク中のノードとして働き、混合コンテンツビデオ100のような混合コンテンツビデオを符号化および／またはデコードするように構成されたNE300の一実施形態の概略図である。NE300は単一のノードにおいて実装され得るか、またはNE300の機能はネットワーク中の複数のノードにおいて実装され得る。用語NEは、そのうちのNE300が一例にすぎない、広い範囲のデバイスを包含することをこの技術分野の当業者は認識するであろう。NE300は、説明の明確さの目的のために含まれるが、本開示の適用を特定のNEの実施形態またはNEの実施形態の分類に限定することを決して意味しない。この開示において記述される特徴／方法の少なくともいくつかは、NE300のようなネットワーク装置または構成要素において実装され得る。例えば、この開示における特徴／方法は、ハードウェア上で実行するように設置されたハードウェア、ファームウェア、および／またはソフトウェアを使用して実装され得る。NE300は、ネットワークを通してフレームをトランスポートする任意のデバイス、例えばスイッチ、ルータ、ブリッジ、サーバ、クライアント、ビデオキャプチャデバイスなどであり得る。図3に表されているように、NE300は、送信機、受信機、またはそれらの組合せであり得るトランシーバ（Tx／Rx）310を含み得る。それぞれ、Tx／Rx310は、他のノードからフレームを送信および／または受信するために複数のダウンストリームポート320（例えばダウンストリームインターフェース）に結合されることが可能であり、Tx／Rx310は、他のノードからフレームを送信および／または受信するために複数のアップストリームポート350（例えばアップストリームインターフェース）に結合される。プロセッサ330は、フレームを処理するためにおよび／またはフレームをどのノードに送るべきかを決定するためにそれらのTx／Rx310に結合され得る。プロセッサ330は、1つまたは複数のマルチコアプロセッサ、および／またはデータストア、バッファなどとして機能し得るメモリデバイス332を含み得る。プロセッサ330は、汎用プロセッサとして実装され得るか、あるいは1つまたは複数の特定用途向け集積回路（AS
IC）および／またはデジタル信号プロセッサ（DSP）の一部であり得る。プロセッサ330は、実施形態によっては、方法400、500、600、および／または700を実行し得る、混合コンテンツ符号化モジュール334を含み得る。一実施形態では、混合コンテンツ符号化モジュール334は、SCエリアおよびNCエリアを区分し、区分に基づいて混合コンテンツビデオをエンコードし、区分情報、エンコードツール情報、量子化情報、および／またはエンコードされたビデオをクライアントにシグナリングする。別の実施形態では、混合コンテンツ符号化モジュール334は、サーバから受信された区分および関係する情報に基づいて混合ビデオコンテンツを受信しデコードする。代替の実施形態では、混合コンテンツ符号化モジュール334は、例えばコンピュータプログラム製品として、プロセッサ330によって実行され得る、メモリ332に記憶された命令として実装され得る。別の代替の実施形態では、混合コンテンツ符号化モジュール334は、別個のNE上に実装され得る。ダウンストリームポート320および／またはアップストリームポート350は、電気的および／または光学的な送信および／または受信の構成要素を含んでいることがある。
【００２２】
NE300上に実行可能な命令をプログラムおよび／またはロードすることによって、プロセッサ330、混合コンテンツ符号化モジュール334、ダウンストリームポート320、Tx／Rx310、メモリ332、および／またはアップストリームポート350のうちの少なくとも1つは変更され、NE300を、本開示によって教示される新規な機能を有する特定の機械または装置、例えば、マルチコア転送アーキテクチャに部分的に変換することが理解される。実行可能なソフトウェアをコンピュータにロードすることによって実装されることが可能である機能が、よく知られている設計ルールによってハードウェア実装に変換されることが可能であることは、電気工学およびソフトウェア工学の技術にとって基本的である。概念を、ソフトウェアにおいて実装することと、ハードウェアにおいて実装することの間の決定は、典型的には、ソフトウェア領域からハードウェア領域に変換することに関与する何らかの問題よりむしろ、設計の安定性と、製造されるべきユニットの数との考慮次第である。一般に、頻繁な変更を依然として受ける設計は、ハードウェア実装を再作成することはソフトウェア設計を再作成することよりも高価であるので、ソフトウェアにおいて実装されることが好まれ得る。一般に、安定しており、大量に製造されることになる設計は、大きい製造量についてハードウェア実装がソフトウェア実装よりも高価でないことがあるので、ハードウェアにおいて、例えばASICにおいて実装されることが好まれ得る。しばしば、設計は、ソフトウェアの形態で開発およびテストされ、後で、よく知られている設計ルールによって、ソフトウェアの命令をハード配線する特定用途向け集積回路において等価なハードウェア実装に変換されることがある。新しいASICによって制御される機械が特定の機械または装置であるのと同じ様式で、同様に、実行可能な命令でプログラムおよび／またはロードされたコンピュータは、特定の機械または装置と見られ得る。
【００２３】
図4は、混合コンテンツビデオ100のような混合コンテンツビデオをエンコードし配信する方法400の一実施形態のフローチャートである。方法400は、サーバ211および／またはNE300のようなネットワークデバイスによって実装されることが可能であり、混合コンテンツビデオとしてエンコードされるべきビデオコンテンツを受信することによって開始されることが可能である。ステップ401において、例えばビデオソース221から、NCとSCとを含む混合コンテンツビデオ信号が受信される。ステップ403において、ビデオがNCエリアとSCエリアとに区分される。区分の決定は、NCビデオ画像のビデオソースから受信されたデータに基づいて、かつ／またはSC画像を作成するプロセッサから受信されたデータに基づいて行われることが可能であり、そのようなデータはフレーム中のNCとSCとのロケーションを示す。代替の実施形態では、方法400は、区分の前に、SCロケーションとNCロケーションとを決定するためにフレームを検査し得る。
【００２４】
NCエリアおよびSCエリアを区分するために複数の機構が使用されることが可能である。例えば、エリアは、正方形形状エリアまたは長方形形状エリアに区分され得る。一実施形態では、区分のボーダーを記述するためにピクセル座標が使用される。例として、座標は、NCエリア、SCエリアまたは両方の左上位置および右下位置の水平成分および垂直成分によって表現される。他の例として、座標は、NCエリア、SCエリア、または両方の左下位置および右上位置の水平成分および垂直成分によって表現される。別の実施形態では、各画像はグリッドに量子化され、ここで2点間の最小距離は、HEVCマクロブロックに対応するLCUグリッドまたは予測符号化のために利用されるCUグリッドのようなフルピクセル距離よりも大きい。グリッド座標は、そして、区分のボーダーを記述するために使用される。座標は、NCエリア、SCエリアまたは両方の左上位置および右下位置の水平成分および垂直成分によって表現されることが可能である。座標は、また、NCエリア、SCエリアまたは両方の左下位置および右上位置の水平成分および垂直成分によって表現されることが可能である。異なる区分の可能性は、エリアボーダーのシグナリングオーバーヘッドと精度との間のトレードオフによって動機づけされる。エリアの寸法を記述するために厳密な座標が使用されるならば、区分のボーダーは、SCが終了しNCが開始する画像中の位置に厳密に設定され得る。しかし、符号化ツールがブロックごとに動作し得ることを考慮に入れると、区分は、区分のボーダーを、関連する符号化ツールによって利用されるブロックサイズに一致させるように適用され得る。エリアのボーダーが、より大きいグリッド上で、例えばLCUまたはCUサイズの倍数で表現され得るのみであるならば、SCエリアは、エリアボーダーにおいてNCのいくつかの行および／または列を含んでいることがあり、その逆も同様である。一方、より大きいグリッドは、より少ないシグナリングオーバーヘッドをもたらすであろう。
【００２５】
別の例として、エリアは、任意の形状のエリアに区分され得る。エリアが任意の形状を有するならば、エリアはフレームのコンテンツにより良く適合され得る。しかし、シンタックス要素としての任意の形状の記述は、長方形または正方形形状のエリアよりも多くのデータを必要とする。任意の形状のエリアを利用するとき、そのようなエリアは、正方形グリッドまたは長方形グリッドにマッピングされることが可能である。そのようなマッピングはブロックを基にした符号化ツールの使用をサポートし得る。そのようなマッピングプロセスは、また、NCおよび／またはSCエリアがLCUグリッドのようなグリッド上で表現されるならば、LCUのいくつかのサブCUがSCエリアに属すが、同じLCUの他のサブCUがNCエリアに属すときに適用され得る。例えば、ブロックは、そのブロックの少なくとも1つのサンプルがNCを含むとき、そのブロックのすべてのサンプルがNCを含むとき、またはブロック中のSCサンプルに対するNCサンプルの比が所定のしきい値（例えば、75パーセント、50パーセント、25パーセントなど）を超えるとき、マッピングされたNCエリアの一部として解釈され得る。他の例では、ブロックは、そのブロックの少なくとも1つのサンプルがSCを含むとき、そのブロックのすべてのサンプルがSCを含むとき、またはブロック中のNCサンプルに対するSCサンプルの比が所定のしきい値（例えば、75パーセント、50パーセント、25パーセントなど）を超えるとき、マッピングされたSCエリアの一部として解釈され得る。さらに、NCまたはSCエリアに誤ってマッピングされるサンプルの数を低減するために、エリア境界により良く適合するために4x4ブロックのような小さいブロック、および／または細かい非ピクセルを基にしたグリッドが使用されることが可能である。
【００２６】
区分は、また、複数のフレームにわたって利用され得る。例えば、区分は、シーケンスのエンコードの最初に作成され、変更なしに全シーケンスについて有効なままであり得る。区分は、また、シーケンスのエンコードの最初に作成され、例えばイベント（例えば混合ビデオコンテンツ中のウィンドウのサイズ変更）、時間の満了により、および／または所定数のフレームをエンコードした後に、新しい区分が必要とされるまで有効なままであり得る。区分の実施形態の実装は、効率と複雑さとの間のトレードオフに基づく。最も効率的な区分方式は、同時に各々の全体のフレームを区分することを伴い得る。区分を各フレームの小さいエリアに制限することは、増加したエンコードの並列化を可能にし得る。
【００２７】
ステップ405において、区分に基づいてNCツールを用いてNCエリアがエンコードされる。ステップ407において、区分に基づいてSCツールを用いてSCエリアがエンコードされる。いくつかのNCツールはSCエリアについて有益でないことがあり、いくつかのSCツールはNCエリアについて有益でないことがある。したがって、NCエリアおよびSCエリアは、異なる符号化ツールに基づいて独立にエンコードされる。さらに、大多数のSCエリアはたいへん効率的に符号化されることが可能であるが、NCエリアを記述するために著しくより高いビットレートが必要とされ得る。関連する送信またはストレージシステムのデータレート要件に準拠するために、混合ビデオコンテンツビットストリームのデータレートの低減が必要とされ得る。SCおよびNCにおける符号化エラーの認知に関する人間の視覚的知覚系の特性を考慮に入れると、エンコード中のデータレート低減は、NCエリアとSCエリアとのために別個に利用され得る。例えば、小さい品質劣化がSCエリア中では知覚可能であるが、NCエリア中では知覚可能でないことがある。したがって、画像のNCエリアおよびSCエリアは、異なるエリアのために異なる品質を有する表現を利用することによってエンコードされ得る。一実施形態では、NCエリアおよびSCエリアのために異なるQPが利用され得る。具体的な例として、より高いQPが、SCエリアよりもNCエリアのために利用されることが可能であり、結果として、NCエリアについての量子化はSCエリアについての量子化よりも粗くなる。NCエリアは、NCエリア中の多数の色および陰影により、混合コンテンツビデオの全体的なデータレートの主要な部分を受け持ち得る。したがって、NCエリアのためにより高いQPを、かつSCエリアのためにより低いQPを利用することは、SCエリア中の高い視覚的品質と、NCエリア中の適度に高い知覚可能な視覚的品質とを維持しながら、混合コンテンツビデオの全体的なデータレートを著しく低減し得る。NCエリアおよびSCエリアのための異なる品質の表現を達成するために他の機構も適用され得る。例えば、すべてのNCエリアのために1つのQP値を、かつすべてのSCエリアのための1つのQP値を有するのではなく、各NCおよび／またはSCエリアについて異なるQP値が利用され得る。さらに、
SCおよび／またはNCエリアの各クロマ成分について異なるQPオフセットが利用され得る。
【００２８】
ステップ409において、エンコードされた混合コンテンツビデオ、区分情報、符号化ツール情報、および量子化情報がデコードのためにクライアントに送信される。区分情報をシグナリングするための複数の実施形態がある。例えば、SCエリア区分、NCエリア区分、または両方は、エンコードされた混合ビデオコンテンツとともにビットストリームの一部として送信されることが可能である。区分情報は、シーケンスの最初に、区分が変化するときはいつでも、各ピクチャ／画像について、シーケンスの各スライスについて、シーケンスの各タイルについて、シーケンスの各ブロックについて（例えば各LCUまたはCUについて）、および／または各々の任意の形状のエリアについてシグナリングされ得る。SCエリアおよびNCエリアが決定されると、それらは、エンコードされた混合コンテンツビデオビットストリームの一部としてシグナリングされ得る。様々な実施形態では、区分情報、符号化ツール情報、および／または量子化情報は、CUレベル情報とともに、予測ユニット（PU）レベル情報とともに、符号化ツリーユニット（TU）レベル情報とともに、および／または補足エンハンスメント情報（SEI）メッセージ中で、ビデオ・ピクチャ・パラメータ・セット（PPS）、シーケンス・パラメータ・セット（SPS）、スライスヘッダの一部としてシグナリングされることが可能である。エリアの幅および高さとともにコーナーロケーションによってNCおよび／またはSCのコーナーを指定することのような、他の形態の区分も使用され得る。シグナリングオーバーヘッドは、後続の画像のためのNCおよび／またはSCエリアを予測するために前の画像からのNCおよび／またはSCエリアを利用することによって低減され得る。例えば、すべてのNCおよび／またはSCエリアが前の画像からコピーされ得る。いくつかのNCおよび／またはSCエリアは明示的にシグナリングされ得るが、いくつかのNCおよび／またはSCエリアは前の画像からコピーされ、あるいは（例えば、NCおよび／またはSCエリアがロケーションおよび／またはサイズにおいて変化するとき）、前の画像のNCおよび／またはSCエリアと、現在の画像のNCおよび／またはSCエリアとの間の相対的変化がシグナリングされ得る。
【００２９】
いくつかの実施形態では、クライアントは、区分情報に基づいて黙示的にどの符号化ツールを利用すべきかを決定し得る（例えば、SCエリアのためにSCツール、かつNCエリアのためにNCツール）。別の実施形態では、クライアントにおいてNCエリアおよび／またはSCエリアのための符号化ツールを無効化および／または有効化するために符号化ツール情報のシグナリングが利用される。いくつかの場合では、符号化ツールを有効化または無効化するための決定は、画像のサンプルがNCエリアに属すかSCエリアに属すかの決定のみに基づかないことがある。例えば、符号化ツールを有効化／無効化するためのシグナリングは、NCおよび／またはSCエリアが任意の形状であるときに有益であり得る。任意の形状のエリアに適用されるとき、ブロックを基にした符号化ツールがエリア境界の両側に適用されることが可能であり、ツールにNCおよびSCに適用されるようにさせる。クライアントは、エリアのためにSC符号化ツールを使用すべきかNC符号化ツールを使用すべきかを決定するために十分な情報を有しないことがある。従って、エリアのために有効化／無効化されるべき符号化ツールが明示的にシグナリングされるか、またはクライアントによって黙示的に決定されることが可能である。クライアントは、そして、符号化ツール情報に基づいてかつ／または区分情報に基づいてエリアのための符号化ツールを有効化または無効化し得る。別の例として、エンコードするステップ405および／または407における複雑さは、特定の符号化ツールが画像の特定のエリアについて無効化されるときに低減され得る。エンコードするステップの複雑さを低減することは、コスト、電力消費、遅延を低減し、エンコーダ（例えば、サーバ）の他の属性に有益であり得る。例えば、エンコードの複雑さは、シグナリングを必要とし得る、特定のSCおよび／またはNCエリア中の特定のコンテンツのために有益でないモード決定プロセスおよびレートひずみ最適化を限定することによって低減され得る。さらに、いくつかのモード決定プロセスおよびレートひずみ最適化は、特定のタイプのコンテンツには決して有益でないことがあり、黙示的に決定されるかまたはシグナリングされ得る。例えば、変換符号化方法がすべてのSCエリアについて無効化されることが可能であり、パレット符号化方法がすべてのNCエリアについて無効化されることが可能である。別の例として、NCエリアおよび／またはSCエリアについて異なるクロマ・サンプリング・フォーマットがシグナリングされ得る。
【００３０】
区分情報および／または符号化ツール情報と実質的に同様の様式で量子化情報もクライアントにシグナリングされ得る。例えば、NCおよび／またはSCエリアについての異なるQP値が黙示的に推論されるか、または混合コンテンツビデオビットストリームの一部としてシグナリングされ得る。SCおよび／またはNCエリアのQP値は、PPS、SPS、スライスヘッダ、CUレベル情報、PUレベル情報、TUレベル情報の一部として、および／またはSEIメッセージとしてシグナリングされ得る。
【００３１】
ここで説明されるようにエンコードされた混合コンテンツビデオ、区分情報、符号化ツール情報、および量子化情報を送信することによって、方法400は、クライアントデバイスによってデコードされることが可能である効率的にエンコードされた混合ビデオコンテンツビットストリームを作成するために、エンコード中に各SCエリアおよびNCエリアを別個に扱い得る。
【００３２】
方法400のステップは、説明の簡単さのために順に示されていることに留意すべきである。しかし、方法400は、ビデオシーケンスの一部として複数の画像をエンコードするために連続ループで実行され得ることを理解すべきである。さらに、方法400のステップは、実施形態によっては順序通りでなく実行され得る。例えば、ステップ403は、フレームの細粒度区分についてループ中で複数回実行されるか、または複数のフレームのために区分が利用されるときに複数のループについて1回実行され得る。さらに、ステップ405および407は順にあるいは並列に実行され得る。さらに、ステップ409の送信は、実施形態によっては、すべてのエンコードが完了した後に、または方法400の他のステップと並列に生じ得る。したがって、図4に示されたような方法400の順序は、説明的で非限定的であると考えられるべきである。
【００３３】
図5は、複数の専用サブストリーム中で、混合コンテンツビデオ100のような混合コンテンツビデオをエンコードし配信する方法500の一実施形態のフローチャートである。方法500は、サーバ211のようなサーバによって利用されることが可能であり、方法400と実質的に同様である（したがって、同様の条件下で実装される）が、混合コンテンツビデオ画像の各エリアについて専用ビットストリームを利用する。そのようなビットストリームは、ここではサブストリームと呼ばれる。ステップ501において、ステップ401と実質的に同様の様式で混合コンテンツビデオが受信される。ステップ503において、ビデオ画像は、NCエリアを含んでいるNC画像と、SCエリアを含んでいるSC画像とに区分される。例えば、各画像は、ステップ403と同様の様式でNCエリアとSCエリアとに区分される。各NCエリアはNC画像にセグメント化され、各SCエリアはSC画像にセグメント化される。ステップ505において、NC符号化ツールを用いてNC画像が1つまたは複数のNCサブストリーム中にエンコードされる。ステップ507において、SC符号化ツールを用いてSC画像が1つまたは複数のSCサブストリーム中にエンコードされる。ステップ509において、ステップ409と同様の様式で、サブストリームについての区分情報、符号化ツール情報、および量子化情報とともに、NCサブストリームとSCサブストリームとがデコードのためにクライアント201のようなクライアントに送信される。
【００３４】
方法400と同様に、方法500は複数の実施形態において展開され得る。例えば、単一のNCサブストリームがすべてのNCエリアのために利用されることが可能であり、一方、単一のSCサブストリームがすべてのSCエリアのために利用されることが可能である。さらに、NCエリアおよび／またはSCエリアが各々さらに再分割されることが可能であり、各サブエリアは別個のサブストリームに割り当てられる。また、いくつかのサブエリアはサブストリーム中で合成されることが可能であり、一方、他のサブエリアは、例えば、利用される量子化、符号化ツールなどに基づいてそのようなサブエリアをグループ化することによって、専用サブストリームに割り当てられる。各混合コンテンツ画像を複数の画像にセグメント化することによって、各セグメント化画像は独立にエンコードされ、複合画像への合成のためにクライアントに送られることが可能である。
【００３５】
一実施形態では、各サブストリームは、ステップ505および／または507において異なる解像度を有するようにエンコードされ得る。例えば、サブストリームの解像度は、それぞれ、対応するNCエリアおよびSCエリアのサイズに対応し得る。出力を生成するためにどのようにサブストリームがデコーダにおいて組み立てられるかを定義するためにサブストリームの解像度および／またはマスクが利用され得る。解像度および／またはマスクは、例えばMPEG-4シーン用バイナリフォーマット（BIFS）および／またはMPEG計量応用シーン表現（LASeR）のようなプロトコルを利用することによって、ステップ509において区分情報として送信され得る。別の実施形態では、すべてのサブストリームは等しい解像度を利用することが可能であり、これはクライアント／デコーダにおいてサブストリームの容易な合成を可能にし得る。そのような場合、サブストリームは、どのサブストリームからどのエリアが抽出されるかを示すマスクを適用することによって合成され得る。エリア抽出は、最終ピクチャへのエリアの組み立てが続き得る。
【００３６】
複数のエリアが複数のサブストリーム中にエンコードされる実施形態では、いくつかのエリアは、例えば混合コンテンツビデオシーケンス中にウィンドウがリサイズ、クローズなどされるとき、常に画像コンテンツを含まないことがある。そのような場合、関連するサブストリームは、常に画像データを搬送しないことがある。適切なデコードを保証するために、サブストリームの正しい複合画像への合成においてデコーダを補助するために、定義された／デフォルトの値が割り当てられかつ／またはシグナリングされ得る。例えば、サブストリームが、マッピングされたコンテンツを含まないとき、関連するサンプルは、ステップ505および／または507において、均一の色（例えば、緑）を表現し得る固定値（例えば0）を割り当てられ得る。固定の値／色は、デコード中にマスク情報として利用され得る。
【００３７】
別の実施形態として、マッピングされたコンテンツを有するエリアは、ステップ505および／または507のエンコード中に、マッピングされたコンテンツを有さないエリア中に拡張され得る。例えば、そのような実施形態は、サブストリーム中のエリアのサイズおよび／または位置が、関連する符号化システムのCUまたはブロックグリッドと整合されないときに利用され得る。したがって、エリアは、デコードの容易さのために関連するグリッドに拡張され得る。さらに、コンテンツエリアが非長方形であるとき、コンテンツエリアは長方形形状エリア中に拡張され得る。この拡張は、マッピングされたコンテンツを有するエリアからのエッジサンプルの複製、および／またはマッピングされたコンテンツを有するエリアのサンプルに基づく補間を伴い得る。方向性拡張法も利用され得る。例えば、マッピングされたコンテンツを有するエリアを、マッピングされたコンテンツを有さないエリア中に拡張するためにHEVCイントラ予測法が適用され得る。
【００３８】
NCエリアは、他のビデオ符号化規格によってすでに圧縮されている受信コンテンツのような前にエンコードされたコンテンツを含み得ることに留意すべきである。例えば、NCエリアの第1の部分は、第1のソフトウェアウィンドウ中に圧縮されたビデオを含むことが可能であり、一方、圧縮された画像（例えばジョイント・フォトグラフィック・エキスパート・グループ（JPEG））は第2のウィンドウ中に表示されることが可能である。前にエンコードされたコンテンツを再エンコードすることは、結果として、よくない効率および増加したデータ損失になり得る。したがって、前にエンコードされた素材を含むエリアは、これらのエリアに関連するサブストリームのために元の圧縮されたビットストリームを利用し得る。
【００３９】
図6は、混合コンテンツビデオ100のような混合コンテンツビデオをデコードする方法600の一実施形態のフローチャートである。方法600は、クライアント201のようなクライアントによって利用されることが可能であり、（例えば、サーバ211から）エンコードされた混合コンテンツビデオを受信すると開始される。ステップ601において、例えばステップ409または509の結果としてサーバ211から、エンコードされた混合コンテンツビデオ、区分情報、符号化ツール情報、および／または量子化情報が受信される。ステップ603において、符号化ツール情報によって示されるSC符号化ツールを利用することによって区分情報によって示される境界に基づいて、かつSCエリアについての量子化情報に基づいてSCエリアがデコードされる。例えば、各エリアのロケーションおよびサイズは、ステップ601において受信された区分情報によって決定され得る。有効化および／または無効化されるべき符号化ツールは、明示的な符号化ツール情報によって、または区分情報に基づいて黙示的に、決定され得る。SCエリアは、そして、それらのロケーション／サイズ（例えば区分の境界）に基づいて、かつステップ601において受信されたいずれかの量子化／QP値に基づいて、決定／シグナリングされた符号化ツールをSCエリアに適用することによってデコードされ得る。ステップ605において、ステップ603と実質的に同様の様式で、符号化ツール情報によって示されるNC符号化（NCC）ツールを利用することによって区分情報によって示される境界に基づいて、かつNCエリアについての量子化情報に基づいてNCエリアがデコードされる。SCエリアおよびNCエリアが複数の専用サブストリーム中で受信される実施形態では、ステップ603および605は、区分情報に基づいて各画像についてのデコードされたエリアを複合画像に合成することをさらに含む。ステップ607において、デコードされた混合ビデオコンテンツはディスプレイに向けて転送される。方法400および500と同様に、方法600のステップは、受信されたビデオをデコードするために、必要に応じて、順序通りでなくかつ／または並列に実行され得る。
【００４０】
方法400、500、および600における区分情報シグナリング、符号化ツールシグナリング、および／または量子化シグナリングをさらに明確にするために、デコーダ（例えばクライアント201）は、例えばシグナリング、デコーダにおける信号解析などに基づいて、画像中のNCおよび／またはSCエリアの信号および位置において、異なるコンテンツタイプ（例えばNCおよび／またはSC）を知り得ることに留意すべきである。デコーダにおいて有効化／無効化されるべき符号化ツールは、明示的シグナリングに基づくか、またはSCエリアとNCエリアとを示す区分情報に黙示的に基づく。符号化ツールが無効化されるとき、デコーダは、関連するビットストリームおよび／またはサブストリーム中で無効化された符号化ツールに関連するシンタックス要素を予期しないことがある。例えば、デコーダは、SCエリア内のブロックのための変換符号化を無効化し得る。具体的には、transform_skip_flag[x0][y0][cIdx]が、関連するビットストリーム中に存在しないことがあり得るが、デコーダによって、エリア中のいくつかまたはすべての色成分について1として推論され得る。アレイ・インデックスx0、y0は、画像の左上ルーマ・サンプルに対して考慮されている変換ブロックの左上ルーマ・サンプルのロケーション（x0，y0）を指定する。アレイ・インデックスcIdxは色成分についてのインジケータを指定し、例えば、ルーマについては0に等しく、Cbについては1に等しく、Crについては2に等しい。デコーダは、また、NCエリアとSCエリアとに関連する異なるクロマ・サンプリング・フォーマットを使用し得る。クロマ・サンプリング・フォーマットは表記法J：a：bを利用し、ここで、Jは、（例えばピクセル、グリッド座標などにおける）サンプリング領域の幅を示し、aは、サンプリング領域の第1の行におけるクロミナンス・サンプルの数を示し、bは、Jの第1の行とJの第2の行との間のクロミナンス・サンプルの変化の数を示す。4：2：0サンプリング・フォーマットは、NCについて人間の視覚的知覚系の必要および能力を満たすために十分であり得るが、4：4：4サンプリング・フォーマットはSCのために利用され得る。一実施形態では、4：4：4サンプリング・フォーマットは画像のSCエリアのために
利用されることが可能であり、4：2：0サンプリング・フォーマットは画像のNCエリアのために利用されることが可能である。クロマ・サンプリング・フォーマットは、区分情報に基づいて黙示的にデコーダによって決定され得るか、または符号化ツール情報のタイプとして受信され得る。そのようなクロマ・サンプリング・フォーマット情報は、ビデオPPS、SPS、スライスヘッダの一部として、CUレベル情報とともに、PUレベル情報とともに、TUレベル情報とともに、かつ／またはSEIメッセージ中でシグナリングされることが可能である。
【００４１】
図7は、方法400、500、および／または600に関連して利用され得る、QP管理の方法の一実施形態の概略図700である。上記で説明したように、NCおよび／またはSCエリアのために量子化情報として異なるQP値がシグナリングされ得る。デコーダは、画像を左から右に（またはその逆に）かつ上から下に（またはその逆に）デコードし得る。SCエリアはNCエリアを囲み得るので（またはその逆）、クライアント201のようなデコーダは、エリアからエリアへ移動するとき、QP値を繰り返し変更することを必要とされ得る。例えばステップ603および605におけるデコードは、エリア間を移動するとき、前に利用されたQP値を再確立することによって改善され得る。図700は、コンテンツ711（例えばNCコンテンツ）とコンテンツ713（例えば、SCコンテンツ）とを含む。コンテンツ711および713は、適切なデコードのために異なるQP値を必要とする。デコードするとき、デコーダは、最初に前のエリア701、そして現在のエリア703、そして次のエリア705をデコードし得る。前のエリア701のデコードを完了すると、前のエリア701についてのQP値は、エリア701とエリア705の両方が同じコンテンツエリア中にコンテンツ713を含むので、次のエリア705についてのQP値の予測子として使用するために記憶され得る。現在のエリア703についてのQP値は、そして、現在のエリアのデコード中に利用され得る。現在のエリア703の完了時に、デコーダは、（デコードする順序で）次の量子化グループ／コンテンツエリアにおけるQP値のための予測子として、（デコードする順序で）前の量子化グループ／コンテンツエリアにおいて（例えば前のエリア701のために）使用された最後のQP値を再確立し得る。さらに、現在のエリア703のQP値も、次のエリア705をデコードする前に記憶されることが可能であり、これは、デコーダがコンテンツ711に戻ったとき、現在のエリア703のQP値が再確立されることを可能にし得る。コンテンツエリア間でQP値を再確立することによって、デコーダは、コンテンツエリア間を移動するときにQP値の間でトグル操作することが可能である。
【００４２】
上記で説明したように、区分情報、および量子化情報は、複数の機構を利用することによってシグナリングおよび／または推論され得る。そのような情報をシグナリングするために利用され得る具体的な例示の実施形態が開示される。表1は、参照により組み込まれる、D．FlynnらによるHEVC Range Extensions text specification: draft 6を介してスライスヘッダ中でNCエリアに関係する区分情報をシグナリングするために利用され得る具体的なソースコードを記述している。
【００４３】
【表１】
2017513318.tif 000003
【００４４】
表1に表されているように、nc_areas_enabled_flagは、NCエリアのシグナリングがスライスのために有効化されることを指定するために1に等しく設定されることが可能であり、nc_areas_enabled_flagは、NCエリアがスライスのためにシグナリングされないことを指定するために0に等しく設定されることが可能である。number_nc_areas_minus1＋1は、スライスのためにシグナリングされるNCエリアの数を指定し得る。nc_area_left_list_entry[i]は、i番目のNCエリアの左上ピクセルの水平位置を指定し得る。nc_areas_top_list_entry[i]は、i番目のNCエリアの左上ピクセルの垂直位置を指定し得る。nc_area_width_list_entry[i]は、i番目のNCエリアの幅を指定し得る。nc_area_height_list_entry[i]は、i番目のNCエリアの高さを指定し得る。
【００４５】
表2は、HEVC Range Extensions text specification: draft 6を介してスライスヘッダ中でSCエリアに関係する区分情報をシグナリングするために使用され得る具体的なソースコードを記述している。
【００４６】
【表２】
2017513318.tif 000004
【００４７】
表2に表されているように、sc_areas_enabled_flagは、SCエリアをシグナリングすることがスライスのために有効化されることを指定するために1に等しく設定され得る。sc_areas_enabled_flagは、SCエリアがスライスのためにシグナリングされないことを指定するために0に等しく設定され得る。number_sc_areas_minus1＋1は、スライスのためにシグナリングされるSCエリアの数を指定し得る。sc_area_left_list_entry[i]は、i番目のSCエリアの左上ピクセルの水平位置を指定し得る。sc_areas_top_list_entry[i]は、i番目のSCエリアの左上ピクセルの垂直位置を指定し得る。sc_area_width_list_entry[i]は、i番目のSCエリアの幅を指定し得る。sc_area_height_list_entry[i]は、i番目のSCエリアの高さを指定し得る。
【００４８】
表3は、HEVC Range Extensions text specification: draft 6を介してCUシンタックスの一部としてNC／SCエリアに関係する区分情報をシグナリングするために利用され得る具体的なソースコードを記述している。
【００４９】
【表３】
2017513318.tif 000005
【００５０】
表3に表されているように、cu_nc_area_flagは、現在のCUがNCエリアに属すことを指定するために1に等しく設定され得る。cu_nc_area_flagは、現在のCUがSCエリアに属すことを指定するために0に等しく設定され得る。
【００５１】
表4は、HEVC Range Extensions text specification: draft 6を介してPPSの一部としてNC／SCエリアに関係するQP情報をシグナリングするために利用され得る具体的なソースコードを記述している。
【００５２】
【表４】
2017513318.tif 000006
【００５３】
表4に表されているように、pps_nc_qp_offsetは、NCエリアについての量子化パラメータを導出するためのオフセット値を指定し得る。スライスのための初期NCエリアQP値、SliceNcQpYは以下のように導出される。SliceNcQpY＝26＋init_qp_minus26＋slice_qp_delta＋pps_nc_qp_offset。同様のプロセスは、SCスライスのためのQP値を指定するためにも利用され得る。
【００５４】
表5は、HEVC Range Extensions text specification: draft 6に関して利用され得る量子化パラメータのための導出プロセスを記述している。
【００５５】
【表５】
2017513318.tif 000007
【００５６】
表1から表5では特定のパラメータ／関数が利用され、そのうちのいくつかは明確さおよび簡潔さの目的のためにここに再掲されないことに留意すべきである。しかし、そのようなパラメータ／関数は、HEVC Range Extensions text specification: draft 6においてさらに説明されている。
【００５７】
図8は、SC820とNC810とを含む、別の実施形態の混合コンテンツビデオ800を図示する。混合コンテンツビデオ800は、混合ビデオコンテンツ100と実質的に同様であることが可能であり、ここで説明される機構を利用することによって方法400、500および／または600に従ってエンコード／デコードされ得るビデオ画像の具体的な例として含まれる。例えば、混合コンテンツビデオ800は、ステップ401または501において受信され、ステップ403または503において区分され得る。SC820およびNC810はSC120およびNC110と実質的に同様であり得る。
【００５８】
図9は、混合コンテンツビデオ800に関連する例示の区分情報900の概略図である。区分されると、混合コンテンツビデオ800はNCエリア910とSCエリア920とを含む。図8から図9に表されているように、NCエリア910は、NC810を正確に記述する多角形非長方形エリアであり、SCエリア920は、SC820を正確に記述する多角形非長方形エリアである。NCエリア910およびSCエリア920は任意であると考えられ得る。したがって、エリア910および920は、上記で説明されたように、任意のエリアとしてエンコードされ、グリッドにマッピングされ、および／または追加のサブエリア（例えば複数の長方形エリア）に再分割され得る。NCエリア910とSCエリア920とを含む区分情報900は、例えばステップ409および／または509において、デコードをサポートするためにクライアント（例えばクライアント201）に送られるか、あるいはステップ601においてクライアントによって受信される。区分情報900に基づいて、クライアントは混合コンテンツビデオ800をデコードすることが可能である。
【００５９】
図10は、区分情報900のSCエリア920に基づく混合ビデオコンテンツ800のSC820のようなSC1020を含むSCセグメント化画像1000の一実施形態を図示する。SCセグメント化画像1000はステップ503および507によって作成され得る。SCセグメント化画像1000はエンコードされたSC820のみを含み、NC810は、固定値（例えば0）、固定色（例えば緑）または他のマスクデータを含み得るマスク1010で置き換えられる。したがって、マスク1010は、SCがSCセグメント化画像1000中にエンコードされることを可能にするために、SCの外部のNCに適用される。SCセグメント化画像1000は、エンコードされると、SCサブストリーム中でデコーダ（例えばクライアント201）に送信され得る。
【００６０】
図11は、区分情報900のNCエリア910に基づく混合ビデオコンテンツ800のNC810のようなNC1110を含むNCセグメント化画像1100の一実施形態を図示する。SCセグメント化画像はステップ503および505によって作成され得る。SCセグメント化画像1000はエンコードされたNC810のみを含み、SC810は、固定値（例えば0）、固定色（例えば緑）または他のマスクデータを含み得るマスク1120で置き換えられる。したがって、マスク1120は、NCがNCセグメント化画像1100中にエンコードされることを可能にするために、NCの外部のSCに適用される。NCセグメント化画像1100は、エンコードされると、NCサブストリーム中でデコーダ（例えばクライアント201）に送信され得る。マスク1010および1120は、実質的に同様であり得るか、あるいは異なる固定値、色、マスクデータを含み得ることに留意すべきである。（例えばステップ601において）SCセグメント化画像1000、NCセグメント化画像1100、および区分情報900を受信すると、デコーダ／クライアントは、（例えば、ステップ603および605において）SCエリアとNCエリアとをデコードし、それらを混合コンテンツビデオ800と等価な複合画像に合成し得る。複合画像は、そしてステップ607において、ユーザにより見るためにディスプレイに転送され得る。
【００６１】
本開示ではいくつかの実施形態が提供されたが、開示されたシステムおよび方法は、本開示の思想または範囲から逸脱することなく他の多くの具体的な形態において具現化され得ることが理解され得る。本例示は限定的ではなく例示的であると考えられるべきであり、意図は、ここに与えられた詳細に限定されることではない。例えば、様々な要素または構成要素が別のシステムにおいて組み合わされるかまたは組み込まれることがあり、あるいはある特徴が省略されるかまたは実装されないことがある。
【００６２】
さらに、様々な実施形態において個別または別個のものとして記述および図示された技法、システム、および方法は、本開示の範囲から逸脱することなく他のシステム、モジュール、技法、または方法と組み合わされるかまたは組み込まれ得る。互いに結合され、または直接的に結合され、または通信しているものとして表されまたは説明された他の項目は、電気的にでも、機械的にでも、または他でも、何らかのインターフェース、デバイス、または中間構成要素を通して間接的に結合されるかまたは通信し得る。変更、代替、および改変の他の例は、この技術分野の当業者によって確認可能であり、ここで開示された思想および範囲から逸脱することなく行われ得る。
【符号の説明】
【００６３】
100  混合コンテンツビデオ
110  NC
120  SC
200  ネットワーク
201  クライアント
211  サーバ
221  ビデオソース
300  NE
310  Tx／Rx
310  トランシーバ（Tx／Rx）
320  ダウンストリームポート
330  プロセッサ
332  メモリ、メモリデバイス
334  混合コンテンツ符号化モジュール
350  アップストリームポート
700  概略図
701  エリア
703  エリア
705  エリア
711  コンテンツ
713  コンテンツ
800  混合コンテンツビデオ、混合ビデオコンテンツ
810  NC
820  SC
900  区分情報
910  NCエリア
920  SCエリア
1000  SCセグメント化画像
1010  マスク
1020  SC
1100  NCセグメント化画像
1110  NC
1120  マスク
【図１】
2017513318.tif 000008
【図２】
2017513318.tif 000009
【図３】
2017513318.tif 000010
【図４】
2017513318.tif 000011
【図５】
2017513318.tif 000012
【図６】
2017513318.tif 000013
【図７】
2017513318.tif 000014
【図８】
2017513318.tif 000015
【図９】
2017513318.tif 000016
【図１０】
2017513318.tif 000017
【図１１】
2017513318.tif 000018
【手続補正書】
【提出日】平成28年10月21日(2016.10.21)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、改善されたスクリーンコンテンツおよび混合コンテンツの符号化に関する。
＜関連出願への相互参照＞
本出願は、Thorsten Laude、Marco Munderloh、およびJoern Ostermannによって2014年3月13日に出願された、発明の名称を「Improved Screen Content And Mixed Content Coding」とする米国仮特許出願第61／952，160号、およびThorsten Laude、Marco Munderloh、およびJoern Ostermannによって2015年3月11日に出願された、発明の名称を「Improved Screen Content And Mixed Content Coding」とする米国特許出願第14／645，136号の優先権を主張し、それらの両方が全体として再掲されるかのように参照によりここに組み込まれる。
【背景技術】
【０００２】
クラウドを基にしたサービスの最近の成長、ならびにコンテンツ表示デバイスとしてのスマートフォンおよびタブレットコンピュータのような携帯デバイスの展開とともに、コンピュータ生成されたコンテンツが1つのデバイス上で生成されるが、第2のデバイスを使用して表示される、新しいシナリオが出現している。さらに、そのようなデバイスは、コンピュータ生成されたコンテンツと同時にカメラキャプチャされたコンテンツを表示することが求められることがあり、結果として、混合コンテンツを表示することが必要になる。カメラキャプチャされたコンテンツと、コンピュータ生成されたコンテンツは、エッジの鮮明さ、異なる色の量、圧縮などに関して著しく異なる特性を有する。ビデオキャプチャされたコンテンツを表示するように構成されたビデオエンコードおよびデコード機構は、コンピュータ生成されたコンテンツを表示するときに貧弱に実行し、その逆も同様である。例えば、ビデオキャプチャされたコンテンツのために構成されたビデオエンコードおよびデコード機構を用いてコンピュータ生成されたコンテンツを表示するように試みることは、結果として、表示のコンピュータ生成されたコンテンツ部分の部分について符号化人工物、ぼやけ、過大なファイルサイズなどになり得る（その逆も同様である）。
【発明の概要】
【課題を解決するための手段】
【０００３】
一実施形態では、この開示は、コンピュータ生成されたスクリーンコンテンツ（SC）と自然コンテンツ（NC）とを含む画像を含む混合コンテンツビデオを取得し、画像をSCエリアとNCエリアとに区分し、SC符号化ツールを用いてSCエリアをエンコードしNC符号化ツールを用いてNCエリアをエンコードすることによって画像をエンコードするように構成されたプロセッサと、プロセッサに結合された送信機であって、送信機が、クライアントデバイスにデータを送信するように構成された、送信機と、を含む装置を含み、データは、エンコードされた画像と、区分の境界の指示とを含む。
【０００４】
別の実施形態では、この開示は、クライアントデバイスにおいて混合コンテンツビデオをデコードする方法を含み、この方法は、画像を含むエンコードされた混合コンテンツビデオを含むビットストリームを受信するステップであって、各画像が、SCとNCとを含む、ステップと、SCコンテンツを含むSCエリアとNCコンテンツを含むNCエリアとの間の区分の境界の指示をビットストリーム中で受信するステップと、区分の境界によって画定されたSCエリアをデコードするステップであって、SCエリアをデコードすることが、SC符号化ツールを利用することを含む、ステップと、区分の境界によって画定されたNCエリアをデコードするステップであって、NCエリアをデコードすることが、SC符号化ツールとは異なるNC符号化ツールを利用することを含む、ステップと、デコードされたSCエリアとデコードされたNCエリアとをデコードされた混合コンテンツビデオとしてディスプレイに転送するステップとを含む。
【０００５】
別の実施形態では、この開示は、プロセッサによって実行されたとき、ネットワーク要素（NE）に、SCとNCとを含む画像を含む混合コンテンツビデオを取得させ、画像をSCエリアとNCエリアとに区分させ、SCエリア中の画像データを少なくとも1つのSCサブストリーム中にエンコードさせ、NCエリア中の画像データを少なくとも1つのNCサブストリーム中にエンコードさせ、混合コンテンツビデオへの再合成のためにサブストリームをクライアントデバイスに送信機を介して送信させるような、非一時的コンピュータ読み取り可能な媒体に記憶されたコンピュータ実行可能命令を含むコンピュータプログラム製品を含む。
【０００６】
これらおよび他の特徴は、添付図面および請求項とともに行われる以下の詳細な説明からより明確に理解されよう。
【０００７】
この開示のより完全な理解のために、添付図面および詳細な説明に関連して行われる以下の簡単な説明への参照がここで行われ、ここで同様の参照番号は同様の部分を表現する。
【図面の簡単な説明】
【０００８】
【図１】SCとNCとを含む、一実施形態の混合コンテンツビデオを図示する。
【図２】混合コンテンツビデオをエンコードし配信するように構成されたネットワークの一実施形態の概略図である。
【図３】ネットワーク中のノードとして働くNEの一実施形態の概略図である。
【図４】混合コンテンツビデオをエンコードし配信する方法の一実施形態のフローチャートである。
【図５】複数の専用サブストリーム中に混合コンテンツビデオをエンコードし配信する方法の一実施形態のフローチャートである。
【図６】混合コンテンツビデオをデコードする方法の一実施形態のフローチャートである。
【図７】量子化パラメータ（QP）管理の方法の一実施形態の概略図である。
【図８】SCとNCとを含む、別の実施形態の混合コンテンツビデオを図示する。
【図９】混合コンテンツビデオに関連する例示の区分情報の概略図である。
【図１０】SCを含むSCセグメント化画像の一実施形態を図示する。
【図１１】NCを含むNCセグメント化画像の一実施形態を図示する。
【発明を実施するための形態】
【０００９】
1つまたは複数の実施形態の例示的な実装が以下に提供されるが、開示されるシステムおよび／または方法は、現在知られているまたは存在するかどうかにかかわらず、任意の数の技法を使用して実装され得ることを最初に理解すべきである。この開示は、ここで図示および説明される例示的な設計および実装を含む、以下に図示される例示的な実装、図面、および技法に決して限定されるべきではなく、均等物のそれらの全範囲とともに添付の請求項の範囲内で変更され得る。
【００１０】
以下の開示は、一実施形態では、以下のように解釈される、複数の用語を利用する。スライス  −  独立にエンコード／デコードされるフレームの空間的に異なった領域。スライスヘッダ  −  特定のスライスに関連する情報をシグナリングするように構成されたデータ構造。タイル  −  独立にエンコード／デコードされ、全体の画像を分割する当該領域のグリッドの一部を形成するフレームの、長方形の空間的に異なった領域。ブロック  −  サンプルのMxN（M列×N行）アレイ、または変換係数のMxNアレイ。最大符号化ユニット（LCU）グリッド  −  ビデオエンコードのためにピクセルのブロックをマクロブロックに区分するために利用されるグリッド構造。符号化ユニット（CU）  −  ルーマ・サンプルの符号化ブロック、3つのサンプルアレイを有する画像のクロマ・サンプルの2つの対応する符号化ブロック、またはモノクロームピクチャもしくは3つの別個のカラープレーンおよびサンプルを符号化するために使用されるシンタックス構造を使用して符号化されるピクチャのサンプルの符号化ブロック。ピクチャ・パラメータ・セット（PPS）  −  各スライスセグメントヘッダ中に見つけられるシンタックス要素によって決定される、0個以上の全体の符号化されたピクチャに適用されるシンタックス要素を含んでいるシンタックス構造。シーケンス・パラメータ・セット（SPS）  −  各スライスセグメントヘッダ中に見つけられるシンタックス要素によって参照されるPPS中に見つけられるシンタックス要素のコンテンツによって決定される、0個以上の全体の符号化されたビデオシーケンスに適用されるシンタックス要素を含んでいるシンタックス構造。予測ユニット（PU）  −  ルーマ・サンプルの予測ブロック、3つのサンプルアレイを有するピクチャのクロマ・サンプルの2つの対応する予測ブロック、またはモノクロームピクチャもしくは3つの別個のカラープレーンおよび予測ブロックサンプルを予測するために使用されるシンタックス構造を使用して符号化されるピクチャのサンプルの予測ブロック。補足エンハンスメント情報（SEI）  −  ビデオの使用を拡張するためにビデオビットストリーム中に挿入され得る追加の情報。ルーマ  −  画像サンプルの輝度を示す情報。クロマ  −  赤色差クロマ成分（Cr）と青色差クロマ成分（Cb）とに関して記述され得る、画像サンプルの色を示す情報。QP  −  サンプルの量子化を示す情報を含むパラメータ、ここで量子化は単一の値へのある範囲の値の圧縮を示す。
【００１１】
混合コンテンツビデオについての1つの可能なシナリオは、アプリケーションがリモートサーバ上で動作し、ディスプレイ出力がローカルユーザワークステーションに転送されるときに生じる。別の例示のシナリオは、ユーザが、携帯デバイススクリーンよりも大きいスクリーン上で動画を見ることを可能にするための、スマートフォンまたはタブレットコンピュータスクリーンの、テレビジョンデバイスのスクリーンへの複製である。そのようなシナリオは、既存の送信システムによって与えられるデータレート制約を遵守しながら、SC信号を十分な視覚的品質で表現することが可能でなければならない、SCの効率的な送信の必要が伴う。この課題への例示の解決策は、例えばムービング・ピクチャ・エキスパート・グループ（MPEG）バージョン2（MPEG-2）、MPEGバージョン4（MPEG-4）、高度ビデオ符号化（AVC）、および高効率ビデオ符号化（HEVC）のようなビデオ符号化規格を利用することによって、SCを圧縮するビデオ符号化技術を使用することである。HEVCは、カメラキャプチャされたコンテンツのようなNCを圧縮する目的で開発され、結果として、NCについては優れた圧縮性能、SCについては貧弱な性能になる。
【００１２】
NC信号およびSC信号が、他の属性の中でも、エッジの鮮明さ、異なる色の量に関して著しく異なる特性を有することは、注目に値する。したがって、いくつかのSC符号化（SCC）方法はNCについては良好に実行しないことがあり、いくつかのHEVC符号化ツールはSCについては良好に実行しないことがある。例えば、HEVC符号化器は、SCを、ぼやけたテキストおよびぼやけたエッジのような強い符号化人工物を伴ってたいへん貧弱に表現するか、あるいはSCが高品質で表現されることを可能にするためにたいへん高いビットレートでSCビデオを表現するかのいずれかである。全体のフレームを符号化するためにSCC機構が利用される場合、そのような機構は、SCについては良好に実行するが、NCの信号を貧弱に記述する。この課題への1つの解決策は、シーケンス／ピクチャがSCまたはNCのみを含んでいるならば、シーケンスおよび／またはピクチャレベルでSCCツールおよび／または従来の符号化ツールを有効化または無効化することである。しかし、そのような手法は、自然コンテンツとスクリーンコンテンツの両方を含んでいる混合コンテンツに好適でない。
【００１３】
ここで開示されるのは、混合ビデオコンテンツの効率的で一貫した品質の表示をサポートするための、改善されたスクリーンコンテンツおよび混合コンテンツ符号化のための様々な機構である。混合ビデオコンテンツは、NCエリアとSCエリアとに区分される。NCエリアはNC固有符号化ツールを用いてエンコードされるが、SCエリアはSC固有符号化ツールを用いてエンコードされる。さらに、異なるエリアのために異なるQPを利用することによって、NCエリアは、SCエリアの品質を低減することなしにより小さいファイルサイズを促進するために、SCエリアよりも低い解像度でエンコードされ得る。エンコードされた混合コンテンツビデオとともに区分情報がクライアントにシグナリングされ、クライアントが各エリアを独立にデコードすることを可能にする。エンコード・エンティティ（例えば、サーバ）は、また、各エリアのための符号化ツールを有効化／無効化するためにクライアントにシグナリングすることが可能であり、デコード中の処理要件の減少を可能にする（例えば、必要とされない符号化ツールは、必要とされないときにオフにされることが可能である）。代替の実施形態では、各エリア（例えばNCエリアまたはSCエリア）は、ビデオストリームの別個のビットストリーム／サブストリーム中でエンコードされる。クライアントは、そして、各ビットストリームをエンコードし、エリアを合成して、NCコンテンツとSCコンテンツの両方の複合画像を作成することが可能である。
【００１４】
図1は、SC120とNC110とを含む混合コンテンツビデオ100の一実施形態を図示する。ビデオシーケンスは、ビデオストリームの時間的部分を構成する複数の関係する画像である。画像はフレームまたはピクチャと呼ばれることもある。混合コンテンツビデオ100は、ビデオシーケンスからの単一の画像を図示している。SC120はSCの一例である。SCは、コンピュータプログラムまたはアプリケーションのためのインターフェースとして生成される視覚出力である。例えば、SCは、ウェブ・ブラウザ・ウィンドウ、テキスト・エディタ・インターフェース、電子メール・プログラム・インターフェース、チャート、グラフなどを含み得る。SCは、典型的には、コントラストをなすようにしばしば選択される、鮮明なエッジと、比較的少数の色とを含む。NC110はNCの一例である。NCは、ビデオ記録デバイスによってキャプチャされた視覚出力、またはキャプチャされたビデオを模倣するために生成されるコンピュータグラフィックスである。例えば、NCは、スポーツゲーム、ムービー、テレビジョンコンテンツ、インターネットビデオなどのような実世界の画像を含む。NCは、また、ビデオゲーム出力、コンピュータグラフィックス画像（CGI）を基にしたムービーなどのような実世界のイメージを模倣するように意図されたCGIを含む。NCは実世界の画像を表示または模倣するので、NCは、ぼやけたエッジと、隣接する色に微妙な変化がある比較的大きい数の色とを含む。わかるように、混合コンテンツビデオ100が、ビデオ100上でNCのために設計された符号化ツールを広域的に利用すると、結果として、SC120について貧弱な性能になる。さらに、混合コンテンツビデオ100上でSCのために設計された符号化ツールを広域的に利用すると、結果として、NC110について貧弱な性能になる。ここで使用される用語、符号化ツールは、コンテンツをエンコードするためのエンコードツールと、コンテンツをデコードするためのデコードツールの両方を含むことに留意すべきである。
【００１５】
図2は、混合コンテンツビデオ100のような混合コンテンツビデオをエンコードし配信するように構成されたネットワーク200の一実施形態の概略図である。ネットワーク200は、ビデオソース221と、サーバ211と、クライアント201とを含む。ビデオソース221は、NCとSCの両方を生成し、それらをエンコードのためにサーバ211に転送する。代替の実施形態では、ビデオソース221は、直接接続されないことがある複数のノードを含み得る。別の代替の実施形態では、ビデオソース221は、サーバ211と共同配置され得る。一例として、ビデオソース221は、リアルタイムビデオを記録しストリーミングするように構成されたビデオカメラと、記録されたビデオに関連するプレゼンテーションスライドをストリーミングするように構成されたコンピュータとを含み得る。別の実施形態として、ビデオソース221は、取り付けられたディスプレイのコンテンツをサーバ211に転送するように構成されたコンピュータ、携帯電話、タブレットコンピュータなどであり得る。実施形態に関係なく、SCコンテンツおよびNCコンテンツは、エンコードおよびクライアント201への配信のためにサーバ211に転送される。
【００１６】
サーバ211は、ここで説明されるように混合ビデオコンテンツのために構成された任意のデバイスであり得る。非限定的な例として、サーバ211は、図2に示されているようにクラウドネットワーク中に配置され得るか、ホーム／オフィス中の専用サーバとして配置され得るか、またはビデオソース221を含み得る。実施形態に関係なく、サーバ211は、混合コンテンツビデオを受信し、ビデオのフレーム、および／またはフレームのサブ部分を、1つまたは複数のSCエリアと、1つまたは複数のNCエリアとに区分する。サーバ211は、SCエリアのためにSC符号化ツールを、かつNCエリアのためにNCツールを利用することによって、SCエリアとNCエリアとを独立にエンコードする。さらに、SCエリアとNCエリアとの解像度は、ファイルサイズおよび解像度品質についてビデオを最適化するために、独立に変更され得る。例えば、NCビデオはSCビデオよりも一般に著しく複雑なので、NCの圧縮は、SCの圧縮よりもファイルサイズに大きい影響を有する。したがって、NCビデオは、SCビデオを著しく圧縮せずに著しく圧縮されることが可能であり、これは、結果として、SCビデオの品質を過度に低減せずに低減されたファイルサイズになり得る。サーバ211は、エンコードされた混合ビデオコンテンツをクライアント201に向けて送信するように構成される。一実施形態では、ビデオコンテンツは、それぞれがSCエンコードされたエリアとNCエンコードされたエリアとを含むフレームのビットストリームとして送信され得る。別の実施形態では、SCエリアはSCサブストリーム中でエンコードされ、NCエリアはNCサブストリーム中でエンコードされる。サブストリームは、そして、複合画像への合成のためにクライアント201に送信される。いずれの実施形態でも、サーバ211は、混合ビデオコンテンツのデコードにおいてクライアント201を補助するためにクライアント201にデータを送信するように構成される。クライアント201に送信されるデータは、各々のSCおよびNCエリアの境界を示す区分情報を含む。データは、また、各エリアについて有効化または無効化されるべき符号化ツールの黙示的または明示的な指示を含み得る。データは、また、各エリアについてのQPを含むことが可能であり、ここでQPは各エリアの圧縮を記述する
。
【００１７】
クライアント201は、混合コンテンツビデオを受信しデコードするように構成された任意のデバイスであり得る。クライアント201は、また、デコードされたコンテンツを表示するように構成され得る。例えば、クライアント201は、テレビジョンに結合されたセットトップボックス、コンピュータ、携帯電話、タブレットコンピュータなどであり得る。クライアント201は、エンコードされた混合ビデオコンテンツを受信し、サーバから受信されたデータ（例えば区分情報、符号化ツール情報、QPなど）に基づいて混合ビデオコンテンツをデコードし、デコードされた混合ビデオコンテンツを表示のためにエンドユーザに転送する。実施形態によっては、クライアント201は、区分情報に基づいて各フレームの各エリアをデコードするかまたは各サブストリームをデコードし、区分情報に基づいて各サブストリームからのエリアを複合画像に合成する。
【００１８】
混合コンテンツビデオをSCエリアとNCエリアとに区分することによって、各エリアは、関連するエリアのために最も適切な機構を利用することによって独立にエンコードされることが可能である。そのような区分は、同じ画像中のNCエリアとSCエリアとについての異なる画像処理要件の課題を解決する。各エリアを独立に区分し扱うことは、高度に複雑な符号化システムがNC画像データとSC画像データの両方を同時に処理する必要を軽減する。エリアを区分し、区分データを送信し、符号化ツールを有効化／無効化し、量子化をシグナリングし、エンコードされた混合ビデオコンテンツをクライアント201に転送するために複数の機構が存在し、これらは、以下、ここでより詳細に説明される。
【００１９】
図3は、サーバ211、クライアント201、および／またはビデオソース221のようなネットワーク中のノードとして働き、混合コンテンツビデオ100のような混合コンテンツビデオを符号化および／またはデコードするように構成されたNE300の一実施形態の概略図である。NE300は単一のノードにおいて実装され得るか、またはNE300の機能はネットワーク中の複数のノードにおいて実装され得る。用語NEは、そのうちのNE300が一例にすぎない、広い範囲のデバイスを包含することをこの技術分野の当業者は認識するであろう。NE300は、説明の明確さの目的のために含まれるが、本開示の適用を特定のNEの実施形態またはNEの実施形態の分類に限定することを決して意味しない。この開示において記述される特徴／方法の少なくともいくつかは、NE300のようなネットワーク装置または構成要素において実装され得る。例えば、この開示における特徴／方法は、ハードウェア上で実行するように設置されたハードウェア、ファームウェア、および／またはソフトウェアを使用して実装され得る。NE300は、ネットワークを通してフレームをトランスポートする任意のデバイス、例えばスイッチ、ルータ、ブリッジ、サーバ、クライアント、ビデオキャプチャデバイスなどであり得る。図3に表されているように、NE300は、送信機、受信機、またはそれらの組合せであり得るトランシーバ（Tx／Rx）310を含み得る。それぞれ、Tx／Rx310は、他のノードからフレームを送信および／または受信するために複数のダウンストリームポート320（例えばダウンストリームインターフェース）に結合されることが可能であり、Tx／Rx310は、他のノードからフレームを送信および／または受信するために複数のアップストリームポート350（例えばアップストリームインターフェース）に結合される。プロセッサ330は、フレームを処理するためにおよび／またはフレームをどのノードに送るべきかを決定するためにそれらのTx／Rx310に結合され得る。プロセッサ330は、1つまたは複数のマルチコアプロセッサ、および／またはデータストア、バッファなどとして機能し得るメモリデバイス332を含み得る。プロセッサ330は、汎用プロセッサとして実装され得るか、あるいは1つまたは複数の特定用途向け集積回路（AS
IC）および／またはデジタル信号プロセッサ（DSP）の一部であり得る。プロセッサ330は、実施形態によっては、方法400、500、600、および／または700を実行し得る、混合コンテンツ符号化モジュール334を含み得る。一実施形態では、混合コンテンツ符号化モジュール334は、SCエリアおよびNCエリアを区分し、区分に基づいて混合コンテンツビデオをエンコードし、区分情報、エンコードツール情報、量子化情報、および／またはエンコードされたビデオをクライアントにシグナリングする。別の実施形態では、混合コンテンツ符号化モジュール334は、サーバから受信された区分および関係する情報に基づいて混合ビデオコンテンツを受信しデコードする。代替の実施形態では、混合コンテンツ符号化モジュール334は、例えばコンピュータプログラム製品として、プロセッサ330によって実行され得る、メモリ332に記憶された命令として実装され得る。別の代替の実施形態では、混合コンテンツ符号化モジュール334は、別個のNE上に実装され得る。ダウンストリームポート320および／またはアップストリームポート350は、電気的および／または光学的な送信および／または受信の構成要素を含んでいることがある。
【００２０】
NE300上に実行可能な命令をプログラムおよび／またはロードすることによって、プロセッサ330、混合コンテンツ符号化モジュール334、ダウンストリームポート320、Tx／Rx310、メモリ332、および／またはアップストリームポート350のうちの少なくとも1つは変更され、NE300を、本開示によって教示される新規な機能を有する特定の機械または装置、例えば、マルチコア転送アーキテクチャに部分的に変換することが理解される。実行可能なソフトウェアをコンピュータにロードすることによって実装されることが可能である機能が、よく知られている設計ルールによってハードウェア実装に変換されることが可能であることは、電気工学およびソフトウェア工学の技術にとって基本的である。概念を、ソフトウェアにおいて実装することと、ハードウェアにおいて実装することの間の決定は、典型的には、ソフトウェア領域からハードウェア領域に変換することに関与する何らかの問題よりむしろ、設計の安定性と、製造されるべきユニットの数との考慮次第である。一般に、頻繁な変更を依然として受ける設計は、ハードウェア実装を再作成することはソフトウェア設計を再作成することよりも高価であるので、ソフトウェアにおいて実装されることが好まれ得る。一般に、安定しており、大量に製造されることになる設計は、大きい製造量についてハードウェア実装がソフトウェア実装よりも高価でないことがあるので、ハードウェアにおいて、例えばASICにおいて実装されることが好まれ得る。しばしば、設計は、ソフトウェアの形態で開発およびテストされ、後で、よく知られている設計ルールによって、ソフトウェアの命令をハード配線する特定用途向け集積回路において等価なハードウェア実装に変換されることがある。新しいASICによって制御される機械が特定の機械または装置であるのと同じ様式で、同様に、実行可能な命令でプログラムおよび／またはロードされたコンピュータは、特定の機械または装置と見られ得る。
【００２１】
図4は、混合コンテンツビデオ100のような混合コンテンツビデオをエンコードし配信する方法400の一実施形態のフローチャートである。方法400は、サーバ211および／またはNE300のようなネットワークデバイスによって実装されることが可能であり、混合コンテンツビデオとしてエンコードされるべきビデオコンテンツを受信することによって開始されることが可能である。ステップ401において、例えばビデオソース221から、NCとSCとを含む混合コンテンツビデオ信号が受信される。ステップ403において、ビデオがNCエリアとSCエリアとに区分される。区分の決定は、NCビデオ画像のビデオソースから受信されたデータに基づいて、かつ／またはSC画像を作成するプロセッサから受信されたデータに基づいて行われることが可能であり、そのようなデータはフレーム中のNCとSCとのロケーションを示す。代替の実施形態では、方法400は、区分の前に、SCロケーションとNCロケーションとを決定するためにフレームを検査し得る。
【００２２】
NCエリアおよびSCエリアを区分するために複数の機構が使用されることが可能である。例えば、エリアは、正方形形状エリアまたは長方形形状エリアに区分され得る。一実施形態では、区分のボーダーを記述するためにピクセル座標が使用される。例として、座標は、NCエリア、SCエリアまたは両方の左上位置および右下位置の水平成分および垂直成分によって表現される。他の例として、座標は、NCエリア、SCエリア、または両方の左下位置および右上位置の水平成分および垂直成分によって表現される。別の実施形態では、各画像はグリッドに量子化され、ここで2点間の最小距離は、HEVCマクロブロックに対応するLCUグリッドまたは予測符号化のために利用されるCUグリッドのようなフルピクセル距離よりも大きい。グリッド座標は、そして、区分のボーダーを記述するために使用される。座標は、NCエリア、SCエリアまたは両方の左上位置および右下位置の水平成分および垂直成分によって表現されることが可能である。座標は、また、NCエリア、SCエリアまたは両方の左下位置および右上位置の水平成分および垂直成分によって表現されることが可能である。異なる区分の可能性は、エリアボーダーのシグナリングオーバーヘッドと精度との間のトレードオフによって動機づけされる。エリアの寸法を記述するために厳密な座標が使用されるならば、区分のボーダーは、SCが終了しNCが開始する画像中の位置に厳密に設定され得る。しかし、符号化ツールがブロックごとに動作し得ることを考慮に入れると、区分は、区分のボーダーを、関連する符号化ツールによって利用されるブロックサイズに一致させるように適用され得る。エリアのボーダーが、より大きいグリッド上で、例えばLCUまたはCUサイズの倍数で表現され得るのみであるならば、SCエリアは、エリアボーダーにおいてNCのいくつかの行および／または列を含んでいることがあり、その逆も同様である。一方、より大きいグリッドは、より少ないシグナリングオーバーヘッドをもたらすであろう。
【００２３】
別の例として、エリアは、任意の形状のエリアに区分され得る。エリアが任意の形状を有するならば、エリアはフレームのコンテンツにより良く適合され得る。しかし、シンタックス要素としての任意の形状の記述は、長方形または正方形形状のエリアよりも多くのデータを必要とする。任意の形状のエリアを利用するとき、そのようなエリアは、正方形グリッドまたは長方形グリッドにマッピングされることが可能である。そのようなマッピングはブロックを基にした符号化ツールの使用をサポートし得る。そのようなマッピングプロセスは、また、NCおよび／またはSCエリアがLCUグリッドのようなグリッド上で表現されるならば、LCUのいくつかのサブCUがSCエリアに属すが、同じLCUの他のサブCUがNCエリアに属すときに適用され得る。例えば、ブロックは、そのブロックの少なくとも1つのサンプルがNCを含むとき、そのブロックのすべてのサンプルがNCを含むとき、またはブロック中のSCサンプルに対するNCサンプルの比が所定のしきい値（例えば、75パーセント、50パーセント、25パーセントなど）を超えるとき、マッピングされたNCエリアの一部として解釈され得る。他の例では、ブロックは、そのブロックの少なくとも1つのサンプルがSCを含むとき、そのブロックのすべてのサンプルがSCを含むとき、またはブロック中のNCサンプルに対するSCサンプルの比が所定のしきい値（例えば、75パーセント、50パーセント、25パーセントなど）を超えるとき、マッピングされたSCエリアの一部として解釈され得る。さらに、NCまたはSCエリアに誤ってマッピングされるサンプルの数を低減するために、エリア境界により良く適合するために4x4ブロックのような小さいブロック、および／または細かい非ピクセルを基にしたグリッドが使用されることが可能である。
【００２４】
区分は、また、複数のフレームにわたって利用され得る。例えば、区分は、シーケンスのエンコードの最初に作成され、変更なしに全シーケンスについて有効なままであり得る。区分は、また、シーケンスのエンコードの最初に作成され、例えばイベント（例えば混合ビデオコンテンツ中のウィンドウのサイズ変更）、時間の満了により、および／または所定数のフレームをエンコードした後に、新しい区分が必要とされるまで有効なままであり得る。区分の実施形態の実装は、効率と複雑さとの間のトレードオフに基づく。最も効率的な区分方式は、同時に各々の全体のフレームを区分することを伴い得る。区分を各フレームの小さいエリアに制限することは、増加したエンコードの並列化を可能にし得る。
【００２５】
ステップ405において、区分に基づいてNCツールを用いてNCエリアがエンコードされる。ステップ407において、区分に基づいてSCツールを用いてSCエリアがエンコードされる。いくつかのNCツールはSCエリアについて有益でないことがあり、いくつかのSCツールはNCエリアについて有益でないことがある。したがって、NCエリアおよびSCエリアは、異なる符号化ツールに基づいて独立にエンコードされる。さらに、大多数のSCエリアはたいへん効率的に符号化されることが可能であるが、NCエリアを記述するために著しくより高いビットレートが必要とされ得る。関連する送信またはストレージシステムのデータレート要件に準拠するために、混合ビデオコンテンツビットストリームのデータレートの低減が必要とされ得る。SCおよびNCにおける符号化エラーの認知に関する人間の視覚的知覚系の特性を考慮に入れると、エンコード中のデータレート低減は、NCエリアとSCエリアとのために別個に利用され得る。例えば、小さい品質劣化がSCエリア中では知覚可能であるが、NCエリア中では知覚可能でないことがある。したがって、画像のNCエリアおよびSCエリアは、異なるエリアのために異なる品質を有する表現を利用することによってエンコードされ得る。一実施形態では、NCエリアおよびSCエリアのために異なるQPが利用され得る。具体的な例として、より高いQPが、SCエリアよりもNCエリアのために利用されることが可能であり、結果として、NCエリアについての量子化はSCエリアについての量子化よりも粗くなる。NCエリアは、NCエリア中の多数の色および陰影により、混合コンテンツビデオの全体的なデータレートの主要な部分を受け持ち得る。したがって、NCエリアのためにより高いQPを、かつSCエリアのためにより低いQPを利用することは、SCエリア中の高い視覚的品質と、NCエリア中の適度に高い知覚可能な視覚的品質とを維持しながら、混合コンテンツビデオの全体的なデータレートを著しく低減し得る。NCエリアおよびSCエリアのための異なる品質の表現を達成するために他の機構も適用され得る。例えば、すべてのNCエリアのために1つのQP値を、かつすべてのSCエリアのための1つのQP値を有するのではなく、各NCおよび／またはSCエリアについて異なるQP値が利用され得る。さらに、
SCおよび／またはNCエリアの各クロマ成分について異なるQPオフセットが利用され得る。
【００２６】
ステップ409において、エンコードされた混合コンテンツビデオ、区分情報、符号化ツール情報、および量子化情報がデコードのためにクライアントに送信される。区分情報をシグナリングするための複数の実施形態がある。例えば、SCエリア区分、NCエリア区分、または両方は、エンコードされた混合ビデオコンテンツとともにビットストリームの一部として送信されることが可能である。区分情報は、シーケンスの最初に、区分が変化するときはいつでも、各ピクチャ／画像について、シーケンスの各スライスについて、シーケンスの各タイルについて、シーケンスの各ブロックについて（例えば各LCUまたはCUについて）、および／または各々の任意の形状のエリアについてシグナリングされ得る。SCエリアおよびNCエリアが決定されると、それらは、エンコードされた混合コンテンツビデオビットストリームの一部としてシグナリングされ得る。様々な実施形態では、区分情報、符号化ツール情報、および／または量子化情報は、CUレベル情報とともに、予測ユニット（PU）レベル情報とともに、符号化ツリーユニット（TU）レベル情報とともに、および／または補足エンハンスメント情報（SEI）メッセージ中で、ビデオ・ピクチャ・パラメータ・セット（PPS）、シーケンス・パラメータ・セット（SPS）、スライスヘッダの一部としてシグナリングされることが可能である。エリアの幅および高さとともにコーナーロケーションによってNCおよび／またはSCのコーナーを指定することのような、他の形態の区分も使用され得る。シグナリングオーバーヘッドは、後続の画像のためのNCおよび／またはSCエリアを予測するために前の画像からのNCおよび／またはSCエリアを利用することによって低減され得る。例えば、すべてのNCおよび／またはSCエリアが前の画像からコピーされ得る。いくつかのNCおよび／またはSCエリアは明示的にシグナリングされ得るが、いくつかのNCおよび／またはSCエリアは前の画像からコピーされ、あるいは（例えば、NCおよび／またはSCエリアがロケーションおよび／またはサイズにおいて変化するとき）、前の画像のNCおよび／またはSCエリアと、現在の画像のNCおよび／またはSCエリアとの間の相対的変化がシグナリングされ得る。
【００２７】
いくつかの実施形態では、クライアントは、区分情報に基づいて黙示的にどの符号化ツールを利用すべきかを決定し得る（例えば、SCエリアのためにSCツール、かつNCエリアのためにNCツール）。別の実施形態では、クライアントにおいてNCエリアおよび／またはSCエリアのための符号化ツールを無効化および／または有効化するために符号化ツール情報のシグナリングが利用される。いくつかの場合では、符号化ツールを有効化または無効化するための決定は、画像のサンプルがNCエリアに属すかSCエリアに属すかの決定のみに基づかないことがある。例えば、符号化ツールを有効化／無効化するためのシグナリングは、NCおよび／またはSCエリアが任意の形状であるときに有益であり得る。任意の形状のエリアに適用されるとき、ブロックを基にした符号化ツールがエリア境界の両側に適用されることが可能であり、ツールにNCおよびSCに適用されるようにさせる。クライアントは、エリアのためにSC符号化ツールを使用すべきかNC符号化ツールを使用すべきかを決定するために十分な情報を有しないことがある。従って、エリアのために有効化／無効化されるべき符号化ツールが明示的にシグナリングされるか、またはクライアントによって黙示的に決定されることが可能である。クライアントは、そして、符号化ツール情報に基づいてかつ／または区分情報に基づいてエリアのための符号化ツールを有効化または無効化し得る。別の例として、エンコードするステップ405および／または407における複雑さは、特定の符号化ツールが画像の特定のエリアについて無効化されるときに低減され得る。エンコードするステップの複雑さを低減することは、コスト、電力消費、遅延を低減し、エンコーダ（例えば、サーバ）の他の属性に有益であり得る。例えば、エンコードの複雑さは、シグナリングを必要とし得る、特定のSCおよび／またはNCエリア中の特定のコンテンツのために有益でないモード決定プロセスおよびレートひずみ最適化を限定することによって低減され得る。さらに、いくつかのモード決定プロセスおよびレートひずみ最適化は、特定のタイプのコンテンツには決して有益でないことがあり、黙示的に決定されるかまたはシグナリングされ得る。例えば、変換符号化方法がすべてのSCエリアについて無効化されることが可能であり、パレット符号化方法がすべてのNCエリアについて無効化されることが可能である。別の例として、NCエリアおよび／またはSCエリアについて異なるクロマ・サンプリング・フォーマットがシグナリングされ得る。
【００２８】
区分情報および／または符号化ツール情報と実質的に同様の様式で量子化情報もクライアントにシグナリングされ得る。例えば、NCおよび／またはSCエリアについての異なるQP値が黙示的に推論されるか、または混合コンテンツビデオビットストリームの一部としてシグナリングされ得る。SCおよび／またはNCエリアのQP値は、PPS、SPS、スライスヘッダ、CUレベル情報、PUレベル情報、TUレベル情報の一部として、および／またはSEIメッセージとしてシグナリングされ得る。
【００２９】
ここで説明されるようにエンコードされた混合コンテンツビデオ、区分情報、符号化ツール情報、および量子化情報を送信することによって、方法400は、クライアントデバイスによってデコードされることが可能である効率的にエンコードされた混合ビデオコンテンツビットストリームを作成するために、エンコード中に各SCエリアおよびNCエリアを別個に扱い得る。
【００３０】
方法400のステップは、説明の簡単さのために順に示されていることに留意すべきである。しかし、方法400は、ビデオシーケンスの一部として複数の画像をエンコードするために連続ループで実行され得ることを理解すべきである。さらに、方法400のステップは、実施形態によっては順序通りでなく実行され得る。例えば、ステップ403は、フレームの細粒度区分についてループ中で複数回実行されるか、または複数のフレームのために区分が利用されるときに複数のループについて1回実行され得る。さらに、ステップ405および407は順にあるいは並列に実行され得る。さらに、ステップ409の送信は、実施形態によっては、すべてのエンコードが完了した後に、または方法400の他のステップと並列に生じ得る。したがって、図4に示されたような方法400の順序は、説明的で非限定的であると考えられるべきである。
【００３１】
図5は、複数の専用サブストリーム中で、混合コンテンツビデオ100のような混合コンテンツビデオをエンコードし配信する方法500の一実施形態のフローチャートである。方法500は、サーバ211のようなサーバによって利用されることが可能であり、方法400と実質的に同様である（したがって、同様の条件下で実装される）が、混合コンテンツビデオ画像の各エリアについて専用ビットストリームを利用する。そのようなビットストリームは、ここではサブストリームと呼ばれる。ステップ501において、ステップ401と実質的に同様の様式で混合コンテンツビデオが受信される。ステップ503において、ビデオ画像は、NCエリアを含んでいるNC画像と、SCエリアを含んでいるSC画像とに区分される。例えば、各画像は、ステップ403と同様の様式でNCエリアとSCエリアとに区分される。各NCエリアはNC画像にセグメント化され、各SCエリアはSC画像にセグメント化される。ステップ505において、NC符号化ツールを用いてNC画像が1つまたは複数のNCサブストリーム中にエンコードされる。ステップ507において、SC符号化ツールを用いてSC画像が1つまたは複数のSCサブストリーム中にエンコードされる。ステップ509において、ステップ409と同様の様式で、サブストリームについての区分情報、符号化ツール情報、および量子化情報とともに、NCサブストリームとSCサブストリームとがデコードのためにクライアント201のようなクライアントに送信される。
【００３２】
方法400と同様に、方法500は複数の実施形態において展開され得る。例えば、単一のNCサブストリームがすべてのNCエリアのために利用されることが可能であり、一方、単一のSCサブストリームがすべてのSCエリアのために利用されることが可能である。さらに、NCエリアおよび／またはSCエリアが各々さらに再分割されることが可能であり、各サブエリアは別個のサブストリームに割り当てられる。また、いくつかのサブエリアはサブストリーム中で合成されることが可能であり、一方、他のサブエリアは、例えば、利用される量子化、符号化ツールなどに基づいてそのようなサブエリアをグループ化することによって、専用サブストリームに割り当てられる。各混合コンテンツ画像を複数の画像にセグメント化することによって、各セグメント化画像は独立にエンコードされ、複合画像への合成のためにクライアントに送られることが可能である。
【００３３】
一実施形態では、各サブストリームは、ステップ505および／または507において異なる解像度を有するようにエンコードされ得る。例えば、サブストリームの解像度は、それぞれ、対応するNCエリアおよびSCエリアのサイズに対応し得る。出力を生成するためにどのようにサブストリームがデコーダにおいて組み立てられるかを定義するためにサブストリームの解像度および／またはマスクが利用され得る。解像度および／またはマスクは、例えばMPEG-4シーン用バイナリフォーマット（BIFS）および／またはMPEG計量応用シーン表現（LASeR）のようなプロトコルを利用することによって、ステップ509において区分情報として送信され得る。別の実施形態では、すべてのサブストリームは等しい解像度を利用することが可能であり、これはクライアント／デコーダにおいてサブストリームの容易な合成を可能にし得る。そのような場合、サブストリームは、どのサブストリームからどのエリアが抽出されるかを示すマスクを適用することによって合成され得る。エリア抽出は、最終ピクチャへのエリアの組み立てが続き得る。
【００３４】
複数のエリアが複数のサブストリーム中にエンコードされる実施形態では、いくつかのエリアは、例えば混合コンテンツビデオシーケンス中にウィンドウがリサイズ、クローズなどされるとき、常に画像コンテンツを含まないことがある。そのような場合、関連するサブストリームは、常に画像データを搬送しないことがある。適切なデコードを保証するために、サブストリームの正しい複合画像への合成においてデコーダを補助するために、定義された／デフォルトの値が割り当てられかつ／またはシグナリングされ得る。例えば、サブストリームが、マッピングされたコンテンツを含まないとき、関連するサンプルは、ステップ505および／または507において、均一の色（例えば、緑）を表現し得る固定値（例えば0）を割り当てられ得る。固定の値／色は、デコード中にマスク情報として利用され得る。
【００３５】
別の実施形態として、マッピングされたコンテンツを有するエリアは、ステップ505および／または507のエンコード中に、マッピングされたコンテンツを有さないエリア中に拡張され得る。例えば、そのような実施形態は、サブストリーム中のエリアのサイズおよび／または位置が、関連する符号化システムのCUまたはブロックグリッドと整合されないときに利用され得る。したがって、エリアは、デコードの容易さのために関連するグリッドに拡張され得る。さらに、コンテンツエリアが非長方形であるとき、コンテンツエリアは長方形形状エリア中に拡張され得る。この拡張は、マッピングされたコンテンツを有するエリアからのエッジサンプルの複製、および／またはマッピングされたコンテンツを有するエリアのサンプルに基づく補間を伴い得る。方向性拡張法も利用され得る。例えば、マッピングされたコンテンツを有するエリアを、マッピングされたコンテンツを有さないエリア中に拡張するためにHEVCイントラ予測法が適用され得る。
【００３６】
NCエリアは、他のビデオ符号化規格によってすでに圧縮されている受信コンテンツのような前にエンコードされたコンテンツを含み得ることに留意すべきである。例えば、NCエリアの第1の部分は、第1のソフトウェアウィンドウ中に圧縮されたビデオを含むことが可能であり、一方、圧縮された画像（例えばジョイント・フォトグラフィック・エキスパート・グループ（JPEG））は第2のウィンドウ中に表示されることが可能である。前にエンコードされたコンテンツを再エンコードすることは、結果として、よくない効率および増加したデータ損失になり得る。したがって、前にエンコードされた素材を含むエリアは、これらのエリアに関連するサブストリームのために元の圧縮されたビットストリームを利用し得る。
【００３７】
図6は、混合コンテンツビデオ100のような混合コンテンツビデオをデコードする方法600の一実施形態のフローチャートである。方法600は、クライアント201のようなクライアントによって利用されることが可能であり、（例えば、サーバ211から）エンコードされた混合コンテンツビデオを受信すると開始される。ステップ601において、例えばステップ409または509の結果としてサーバ211から、エンコードされた混合コンテンツビデオ、区分情報、符号化ツール情報、および／または量子化情報が受信される。ステップ603において、符号化ツール情報によって示されるSC符号化ツールを利用することによって区分情報によって示される境界に基づいて、かつSCエリアについての量子化情報に基づいてSCエリアがデコードされる。例えば、各エリアのロケーションおよびサイズは、ステップ601において受信された区分情報によって決定され得る。有効化および／または無効化されるべき符号化ツールは、明示的な符号化ツール情報によって、または区分情報に基づいて黙示的に、決定され得る。SCエリアは、そして、それらのロケーション／サイズ（例えば区分の境界）に基づいて、かつステップ601において受信されたいずれかの量子化／QP値に基づいて、決定／シグナリングされた符号化ツールをSCエリアに適用することによってデコードされ得る。ステップ605において、ステップ603と実質的に同様の様式で、符号化ツール情報によって示されるNC符号化（NCC）ツールを利用することによって区分情報によって示される境界に基づいて、かつNCエリアについての量子化情報に基づいてNCエリアがデコードされる。SCエリアおよびNCエリアが複数の専用サブストリーム中で受信される実施形態では、ステップ603および605は、区分情報に基づいて各画像についてのデコードされたエリアを複合画像に合成することをさらに含む。ステップ607において、デコードされた混合ビデオコンテンツはディスプレイに向けて転送される。方法400および500と同様に、方法600のステップは、受信されたビデオをデコードするために、必要に応じて、順序通りでなくかつ／または並列に実行され得る。
【００３８】
方法400、500、および600における区分情報シグナリング、符号化ツールシグナリング、および／または量子化シグナリングをさらに明確にするために、デコーダ（例えばクライアント201）は、例えばシグナリング、デコーダにおける信号解析などに基づいて、画像中のNCおよび／またはSCエリアの信号および位置において、異なるコンテンツタイプ（例えばNCおよび／またはSC）を知り得ることに留意すべきである。デコーダにおいて有効化／無効化されるべき符号化ツールは、明示的シグナリングに基づくか、またはSCエリアとNCエリアとを示す区分情報に黙示的に基づく。符号化ツールが無効化されるとき、デコーダは、関連するビットストリームおよび／またはサブストリーム中で無効化された符号化ツールに関連するシンタックス要素を予期しないことがある。例えば、デコーダは、SCエリア内のブロックのための変換符号化を無効化し得る。具体的には、transform_skip_flag[x0][y0][cIdx]が、関連するビットストリーム中に存在しないことがあり得るが、デコーダによって、エリア中のいくつかまたはすべての色成分について1として推論され得る。アレイ・インデックスx0、y0は、画像の左上ルーマ・サンプルに対して考慮されている変換ブロックの左上ルーマ・サンプルのロケーション（x0，y0）を指定する。アレイ・インデックスcIdxは色成分についてのインジケータを指定し、例えば、ルーマについては0に等しく、Cbについては1に等しく、Crについては2に等しい。デコーダは、また、NCエリアとSCエリアとに関連する異なるクロマ・サンプリング・フォーマットを使用し得る。クロマ・サンプリング・フォーマットは表記法J：a：bを利用し、ここで、Jは、（例えばピクセル、グリッド座標などにおける）サンプリング領域の幅を示し、aは、サンプリング領域の第1の行におけるクロミナンス・サンプルの数を示し、bは、Jの第1の行とJの第2の行との間のクロミナンス・サンプルの変化の数を示す。4：2：0サンプリング・フォーマットは、NCについて人間の視覚的知覚系の必要および能力を満たすために十分であり得るが、4：4：4サンプリング・フォーマットはSCのために利用され得る。一実施形態では、4：4：4サンプリング・フォーマットは画像のSCエリアのために
利用されることが可能であり、4：2：0サンプリング・フォーマットは画像のNCエリアのために利用されることが可能である。クロマ・サンプリング・フォーマットは、区分情報に基づいて黙示的にデコーダによって決定され得るか、または符号化ツール情報のタイプとして受信され得る。そのようなクロマ・サンプリング・フォーマット情報は、ビデオPPS、SPS、スライスヘッダの一部として、CUレベル情報とともに、PUレベル情報とともに、TUレベル情報とともに、かつ／またはSEIメッセージ中でシグナリングされることが可能である。
【００３９】
図7は、方法400、500、および／または600に関連して利用され得る、QP管理の方法の一実施形態の概略図700である。上記で説明したように、NCおよび／またはSCエリアのために量子化情報として異なるQP値がシグナリングされ得る。デコーダは、画像を左から右に（またはその逆に）かつ上から下に（またはその逆に）デコードし得る。SCエリアはNCエリアを囲み得るので（またはその逆）、クライアント201のようなデコーダは、エリアからエリアへ移動するとき、QP値を繰り返し変更することを必要とされ得る。例えばステップ603および605におけるデコードは、エリア間を移動するとき、前に利用されたQP値を再確立することによって改善され得る。図700は、コンテンツ711（例えばNCコンテンツ）とコンテンツ713（例えば、SCコンテンツ）とを含む。コンテンツ711および713は、適切なデコードのために異なるQP値を必要とする。デコードするとき、デコーダは、最初に前のエリア701、そして現在のエリア703、そして次のエリア705をデコードし得る。前のエリア701のデコードを完了すると、前のエリア701についてのQP値は、エリア701とエリア705の両方が同じコンテンツエリア中にコンテンツ713を含むので、次のエリア705についてのQP値の予測子として使用するために記憶され得る。現在のエリア703についてのQP値は、そして、現在のエリアのデコード中に利用され得る。現在のエリア703の完了時に、デコーダは、（デコードする順序で）次の量子化グループ／コンテンツエリアにおけるQP値のための予測子として、（デコードする順序で）前の量子化グループ／コンテンツエリアにおいて（例えば前のエリア701のために）使用された最後のQP値を再確立し得る。さらに、現在のエリア703のQP値も、次のエリア705をデコードする前に記憶されることが可能であり、これは、デコーダがコンテンツ711に戻ったとき、現在のエリア703のQP値が再確立されることを可能にし得る。コンテンツエリア間でQP値を再確立することによって、デコーダは、コンテンツエリア間を移動するときにQP値の間でトグル操作することが可能である。
【００４０】
上記で説明したように、区分情報、および量子化情報は、複数の機構を利用することによってシグナリングおよび／または推論され得る。そのような情報をシグナリングするために利用され得る具体的な例示の実施形態が開示される。表1は、参照により組み込まれる、D．FlynnらによるHEVC Range Extensions text specification: draft 6を介してスライスヘッダ中でNCエリアに関係する区分情報をシグナリングするために利用され得る具体的なソースコードを記述している。
【００４１】
【表１】
2017513318.tif 000019
【００４２】
表1に表されているように、nc_areas_enabled_flagは、NCエリアのシグナリングがスライスのために有効化されることを指定するために1に等しく設定されることが可能であり、nc_areas_enabled_flagは、NCエリアがスライスのためにシグナリングされないことを指定するために0に等しく設定されることが可能である。number_nc_areas_minus1＋1は、スライスのためにシグナリングされるNCエリアの数を指定し得る。nc_area_left_list_entry[i]は、i番目のNCエリアの左上ピクセルの水平位置を指定し得る。nc_areas_top_list_entry[i]は、i番目のNCエリアの左上ピクセルの垂直位置を指定し得る。nc_area_width_list_entry[i]は、i番目のNCエリアの幅を指定し得る。nc_area_height_list_entry[i]は、i番目のNCエリアの高さを指定し得る。
【００４３】
表2は、HEVC Range Extensions text specification: draft 6を介してスライスヘッダ中でSCエリアに関係する区分情報をシグナリングするために使用され得る具体的なソースコードを記述している。
【００４４】
【表２】
2017513318.tif 000020
【００４５】
表2に表されているように、sc_areas_enabled_flagは、SCエリアをシグナリングすることがスライスのために有効化されることを指定するために1に等しく設定され得る。sc_areas_enabled_flagは、SCエリアがスライスのためにシグナリングされないことを指定するために0に等しく設定され得る。number_sc_areas_minus1＋1は、スライスのためにシグナリングされるSCエリアの数を指定し得る。sc_area_left_list_entry[i]は、i番目のSCエリアの左上ピクセルの水平位置を指定し得る。sc_areas_top_list_entry[i]は、i番目のSCエリアの左上ピクセルの垂直位置を指定し得る。sc_area_width_list_entry[i]は、i番目のSCエリアの幅を指定し得る。sc_area_height_list_entry[i]は、i番目のSCエリアの高さを指定し得る。
【００４６】
表3は、HEVC Range Extensions text specification: draft 6を介してCUシンタックスの一部としてNC／SCエリアに関係する区分情報をシグナリングするために利用され得る具体的なソースコードを記述している。
【００４７】
【表３】
2017513318.tif 000021
【００４８】
表3に表されているように、cu_nc_area_flagは、現在のCUがNCエリアに属すことを指定するために1に等しく設定され得る。cu_nc_area_flagは、現在のCUがSCエリアに属すことを指定するために0に等しく設定され得る。
【００４９】
表4は、HEVC Range Extensions text specification: draft 6を介してPPSの一部としてNC／SCエリアに関係するQP情報をシグナリングするために利用され得る具体的なソースコードを記述している。
【００５０】
【表４】
2017513318.tif 000022
【００５１】
表4に表されているように、pps_nc_qp_offsetは、NCエリアについての量子化パラメータを導出するためのオフセット値を指定し得る。スライスのための初期NCエリアQP値、SliceNcQpYは以下のように導出される。SliceNcQpY＝26＋init_qp_minus26＋slice_qp_delta＋pps_nc_qp_offset。同様のプロセスは、SCスライスのためのQP値を指定するためにも利用され得る。
【００５２】
表5は、HEVC Range Extensions text specification: draft 6に関して利用され得る量子化パラメータのための導出プロセスを記述している。
【００５３】
【表５】
2017513318.tif 000023
【００５４】
表1から表5では特定のパラメータ／関数が利用され、そのうちのいくつかは明確さおよび簡潔さの目的のためにここに再掲されないことに留意すべきである。しかし、そのようなパラメータ／関数は、HEVC Range Extensions text specification: draft 6においてさらに説明されている。
【００５５】
図8は、SC820とNC810とを含む、別の実施形態の混合コンテンツビデオ800を図示する。混合コンテンツビデオ800は、混合ビデオコンテンツ100と実質的に同様であることが可能であり、ここで説明される機構を利用することによって方法400、500および／または600に従ってエンコード／デコードされ得るビデオ画像の具体的な例として含まれる。例えば、混合コンテンツビデオ800は、ステップ401または501において受信され、ステップ403または503において区分され得る。SC820およびNC810はSC120およびNC110と実質的に同様であり得る。
【００５６】
図9は、混合コンテンツビデオ800に関連する例示の区分情報900の概略図である。区分されると、混合コンテンツビデオ800はNCエリア910とSCエリア920とを含む。図8から図9に表されているように、NCエリア910は、NC810を正確に記述する多角形非長方形エリアであり、SCエリア920は、SC820を正確に記述する多角形非長方形エリアである。NCエリア910およびSCエリア920は任意であると考えられ得る。したがって、エリア910および920は、上記で説明されたように、任意のエリアとしてエンコードされ、グリッドにマッピングされ、および／または追加のサブエリア（例えば複数の長方形エリア）に再分割され得る。NCエリア910とSCエリア920とを含む区分情報900は、例えばステップ409および／または509において、デコードをサポートするためにクライアント（例えばクライアント201）に送られるか、あるいはステップ601においてクライアントによって受信される。区分情報900に基づいて、クライアントは混合コンテンツビデオ800をデコードすることが可能である。
【００５７】
図10は、区分情報900のSCエリア920に基づく混合ビデオコンテンツ800のSC820のようなSC1020を含むSCセグメント化画像1000の一実施形態を図示する。SCセグメント化画像1000はステップ503および507によって作成され得る。SCセグメント化画像1000はエンコードされたSC820のみを含み、NC810は、固定値（例えば0）、固定色（例えば緑）または他のマスクデータを含み得るマスク1010で置き換えられる。したがって、マスク1010は、SCがSCセグメント化画像1000中にエンコードされることを可能にするために、SCの外部のNCに適用される。SCセグメント化画像1000は、エンコードされると、SCサブストリーム中でデコーダ（例えばクライアント201）に送信され得る。
【００５８】
図11は、区分情報900のNCエリア910に基づく混合ビデオコンテンツ800のNC810のようなNC1110を含むNCセグメント化画像1100の一実施形態を図示する。SCセグメント化画像はステップ503および505によって作成され得る。NCセグメント化画像1100はエンコードされたNC810のみを含み、SC810は、固定値（例えば0）、固定色（例えば緑）または他のマスクデータを含み得るマスク1120で置き換えられる。したがって、マスク1120は、NCがNCセグメント化画像1100中にエンコードされることを可能にするために、NCの外部のSCに適用される。NCセグメント化画像1100は、エンコードされると、NCサブストリーム中でデコーダ（例えばクライアント201）に送信され得る。マスク1010および1120は、実質的に同様であり得るか、あるいは異なる固定値、色、マスクデータを含み得ることに留意すべきである。（例えばステップ601において）SCセグメント化画像1000、NCセグメント化画像1100、および区分情報900を受信すると、デコーダ／クライアントは、（例えば、ステップ603および605において）SCエリアとNCエリアとをデコードし、それらを混合コンテンツビデオ800と等価な複合画像に合成し得る。複合画像は、そしてステップ607において、ユーザにより見るためにディスプレイに転送され得る。
【００５９】
本開示ではいくつかの実施形態が提供されたが、開示されたシステムおよび方法は、本開示の思想または範囲から逸脱することなく他の多くの具体的な形態において具現化され得ることが理解され得る。本例示は限定的ではなく例示的であると考えられるべきであり、意図は、ここに与えられた詳細に限定されることではない。例えば、様々な要素または構成要素が別のシステムにおいて組み合わされるかまたは組み込まれることがあり、あるいはある特徴が省略されるかまたは実装されないことがある。
【００６０】
さらに、様々な実施形態において個別または別個のものとして記述および図示された技法、システム、および方法は、本開示の範囲から逸脱することなく他のシステム、モジュール、技法、または方法と組み合わされるかまたは組み込まれ得る。互いに結合され、または直接的に結合され、または通信しているものとして表されまたは説明された他の項目は、電気的にでも、機械的にでも、または他でも、何らかのインターフェース、デバイス、または中間構成要素を通して間接的に結合されるかまたは通信し得る。変更、代替、および改変の他の例は、この技術分野の当業者によって確認可能であり、ここで開示された思想および範囲から逸脱することなく行われ得る。
【符号の説明】
【００６１】
100  混合コンテンツビデオ
110  NC
120  SC
200  ネットワーク
201  クライアント
211  サーバ
221  ビデオソース
300  NE
310  Tx／Rx
310  トランシーバ（Tx／Rx）
320  ダウンストリームポート
330  プロセッサ
332  メモリ、メモリデバイス
334  混合コンテンツ符号化モジュール
350  アップストリームポート
700  概略図
701  エリア
703  エリア
705  エリア
711  コンテンツ
713  コンテンツ
800  混合コンテンツビデオ、混合ビデオコンテンツ
810  NC
820  SC
900  区分情報
910  NCエリア
920  SCエリア
1000  SCセグメント化画像
1010  マスク
1020  SC
1100  NCセグメント化画像
1110  NC
1120  マスク
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
装置であって、
コンピュータ生成されたスクリーンコンテンツ（SC）と自然コンテンツ（NC）とを含む画像を含む混合コンテンツビデオを取得し、
前記画像をSCエリアとNCエリアとに区分し、
SC符号化ツールを用いて前記SCエリアをエンコードしNC符号化ツールを用いて前記NCエリアをエンコードすることによって前記画像をエンコードする
ように構成されたプロセッサと、
前記プロセッサに結合された送信機であって、前記送信機が、クライアントデバイスにデータを送信するように構成された、送信機と、
を含み、
前記データが、前記エンコードされた画像と、前記画像の前記区分の境界の指示とを含む、装置。
【請求項２】
前記SCコンテンツは、コンピュータアプリケーションによって生成された画像コンテンツを含み、NCコンテンツは、画像記録デバイスによってキャプチャされた画像コンテンツ、または画像記録デバイスによってキャプチャされた画像コンテンツをエミュレートするコンピュータ生成されたグラフィックコンテンツを含む、請求項1に記載の装置。
【請求項３】
前記画像をエンコードすることは、前記画像を送信するために必要とされる帯域幅を低減するために量子化パラメータ（QP）を適用することを含み、第1の画像のSCエリアに適用されるSC QP値が、前記第1の画像のNCエリアに適用されるNC QP値とは異なる、請求項1または2に記載の装置。
【請求項４】
前記NC QP値は、前記NCエリアの品質が前記SCエリアの品質と比較して低減されるように、前記SC QP値よりも大きい、請求項3に記載の装置。
【請求項５】
各画像はサブセクションのグループを含み、前記画像の各々の各サブセクションのための前記区分の境界の前記指示が送信される、請求項1から4のいずれか一項に記載の装置。
【請求項６】
前記区分の境界の前記指示は、前記SCエリアのサイズおよびロケーションまたは前記NCエリアのサイズおよびロケーションを示す、請求項1から5のいずれか一項に記載の装置。
【請求項７】
前記区分の境界の前記指示は、前記区分の境界を示すピクセル座標を含む、請求項1から6のいずれか一項に記載の装置。
【請求項８】
前記画像は、グリッドに量子化された座標によって記述され、前記区分の境界の前記指示は、前記区分の前記境界を示す前記グリッド上の座標を含む、請求項1から7のいずれか一項に記載の装置。
【請求項９】
前記SCエリアまたは前記NCエリアのうちの少なくとも1つは非長方形形状を含み、前記画像を区分することは、前記非長方形形状を含む関連する画像を記述する長方形グリッドに前記非長方形形状をマッピングすることを含む、請求項1から8のいずれか一項に記載の装置。
【請求項１０】
前記画像のうちの少なくとも1つは、少なくとも1つのNCピクセルと少なくとも1つのSCピクセルとを含むサブセクションを含み、前記画像を区分することは、SCコンテンツピクセルに対するNCコンテンツピクセルの比が所定のしきい値を超えるとき、前記サブセクションをNCエリアにマッピングすることを含む、請求項1から9のいずれか一項に記載の装置。
【請求項１１】
前記区分の境界の前記指示は、ピクチャ・パラメータ・セット（PPS）中で、シーケンス・パラメータ・セット（SPS）中で、スライスヘッダ中で、符号化ユニット（CU）データ中で、予測ユニット（PU）データ中で、補足エンハンスメント情報（SEI）メッセージ中で、またはそれらの組合せで送信される、請求項1から10のいずれか一項に記載の装置。
【請求項１２】
前記区分の境界の前記指示は、前記画像のシーケンスの最初に送信され、前記指示は、前記シーケンスの前記区分の境界を記述する、請求項1から11のいずれか一項に記載の装置。
【請求項１３】
前記区分の境界は画像間で変化し、前記データは、前の指示に対する変化を記述する後続の指示を含む、請求項12に記載の装置。
【請求項１４】
クライアントデバイスにおいて混合コンテンツビデオをデコードする方法であって、
画像を含むエンコードされた混合コンテンツビデオを含むビットストリームを受信するステップであって、各画像が、コンピュータ生成されたスクリーンコンテンツ（SC）と自然コンテンツ（NC）とを含む、ステップと、
前記SCコンテンツを含むSCエリアと前記NCコンテンツを含むNCエリアとの間の区分の境界の指示を前記ビットストリーム中で受信するステップと、
前記区分の境界によって画定された前記SCエリアをデコードするステップであって、前記SCエリアをデコードすることが、SC符号化ツールを利用することを含む、ステップと、
前記区分の境界によって画定された前記NCエリアをデコードするステップであって、前記NCエリアをデコードすることが、前記SC符号化ツールとは異なるNC符号化ツールを利用することを含む、ステップと、
前記デコードされたSCエリアと前記デコードされたNCエリアとをデコードされた混合コンテンツビデオとしてディスプレイに転送するステップと、
を含む、方法。
【請求項１５】
前記SCエリアにおいて利用されるべき前記SC符号化ツールの指示と、前記NCエリアにおいて利用されるべき前記NC符号化ツールの指示とを前記ビットストリーム中で受信するステップをさらに含む、請求項14に記載の方法。
【請求項１６】
前記SCエリアにおいて無効化されるべきNC符号化ツールの指示と、前記NCエリアにおいて無効化されるべきSC符号化ツールの指示とを前記ビットストリーム中で受信するステップをさらに含む、請求項14または15に記載の方法。
【請求項１７】
前記SC符号化ツールおよび前記NC符号化ツールは、前記区分の境界に基づいて黙示的に選択される、請求項14から16のいずれか一項に記載の方法。
【請求項１８】
前記SC符号化ツールは、前記SCエリアのために第1のクロマ・サンプリング・フォーマットを利用し、前記NC符号化ツールは、前記NCエリアのために第2のクロマ・サンプリング・フォーマットを利用し、前記第1のクロマ・サンプリング・フォーマットは前記第2のクロマ・サンプリング・フォーマットとは異なる、請求項14から17のいずれか一項に記載の方法。
【請求項１９】
プロセッサによって実行されたとき、ネットワーク要素（NE）に、
コンピュータ生成されたスクリーンコンテンツ（SC）と自然コンテンツ（NC）とを含む画像を含む混合コンテンツビデオを取得させ、
前記画像を、SCを含んでいるSC画像とNCを含んでいるNC画像とに区分させ、
前記SC画像を少なくとも1つのSCサブストリーム中にエンコードさせ、
前記NC画像を少なくとも1つのNCサブストリーム中にエンコードさせ、
前記混合コンテンツビデオへの再合成のために前記サブストリームをクライアントデバイスに送信機を介して送信させる
ような、非一時的コンピュータ読み取り可能な媒体に記憶されたコンピュータ実行可能命令を含むコンピュータプログラム。
【請求項２０】
各画像は複数のSCエリアと複数のNCエリアとを含み、各エリアのための画像データは異なる専用サブストリーム中にエンコードされ、前記エリアのための前記専用サブストリームは異なる画像解像度を利用する、請求項19に記載のコンピュータプログラム。
【請求項２１】
前記SC画像をSCサブストリーム中にエンコードすることは、前記SCの外部の画像データにマスクを適用することをさらに含む、請求項19または20に記載のコンピュータプログラム。
【請求項２２】
前記NC画像をNCサブストリーム中にエンコードすることは、前記NCの外部の画像データにマスクを適用することをさらに含む、請求項19から21のいずれか一項に記載のコンピュータプログラム。
【請求項２３】
前記SC画像をサブストリーム中にエンコードすることは、前記SC画像を前記サブストリーム中にエンコードする前に、区分されたSCエリアおよび関連するコンテンツを所定のサイズに拡張することをさらに含む、請求項19から22のいずれか一項に記載のコンピュータプログラム。
【請求項２４】
前記NC画像をサブストリーム中にエンコードすることは、前記NC画像を前記サブストリーム中にエンコードする前に、区分されたNCエリアおよび関連するコンテンツを所定のサイズに拡張することをさらに含む、請求項19から23のいずれか一項に記載のコンピュータプログラム。
【国際調査報告】
2017513318.tif 000024
2017513318.tif 000025