(57)【要約】変換係数等の構文要素を最適化するためのオプティマイザ及び技法を含むエンコーダ及びビデオエンコードの例が記載される。いくつかの例では、ビデオ信号の複数の色成分は、複数の色成分に対する歪み及び／又はレートメトリックの組み合わせを用いたコスト計算を用いることによって同時に最適化され得る。いくつかの例では、色変換が生じ得、最適化がエンコーディングとは異なる色領域で起こり得る。いくつかの例では、オプティマイザによって行われるコスト計算に用いられる歪みメトリックは、構造的類似性指数に基づいている。
2015533461.tif 000002
【特許請求の範囲】
【請求項１】
ビデオエンコーダであって、
ビデオ信号の残差表現を変換係数に変換するように構成された変換部と、
前記変換係数を受信し、且つ、レート及び歪みに基づき、前記ビデオ信号の複数の色成分に起因する歪みメトリックの組み合わせを含むコスト計算を用いて、最適化変換係数を提供するように構成されたオプティマイザと、
前記最適化変換係数を用いて前記ビデオ信号をエンコードするように構成されたエントロピーエンコーダと、
を備えることを特徴とするビデオエンコーダ。
【請求項２】
前記エントロピーエンコーダは、第２色領域内での表示のために第１色領域内で前記ビデオ信号をエンコードするように構成され、
前記歪みメトリックの組み合わせは、前記第２色領域内で計算された歪みメトリックをさらに含む、
ことを特徴とする、請求項１に記載のビデオエンコーダ。
【請求項３】
前記第１色領域は、ＹＵＶであり、
前記第２色領域は、ＲＧＢである、
ことを特徴とする、請求項２に記載のビデオエンコーダ。
【請求項４】
前記オプティマイザは、前記第１色領域から前記第２色領域に前記変換係数を変換するように構成された色変換部を備える、
ことを特徴とする、請求項２に記載のビデオエンコーダ。
【請求項５】
前記オプティマイザは、前記ビデオ信号の少なくとも一部を補間し、且つ、前記補間された部分を前記色変換部に提供するように構成された補間器をさらに備える、
ことを特徴とする、請求項４に記載のビデオエンコーダ。
【請求項６】
前記歪みメトリックの少なくとも１つは、構造的類似性指数に基づいて計算される、
ことを特徴とする、請求項１に記載のビデオエンコーダ。
【請求項７】
前記歪みメトリックの少なくとも１つは、前記変換係数のＤＣ係数に基づく輝度メトリックを含む、
ことを特徴とする、請求項６に記載のビデオエンコーダ。
【請求項８】
前記オプティマイザは、前記ビデオ信号のオブジェクトセグメンテーションに選択的に基づく前記歪みメトリックの組み合わせを含む前記コスト計算を行うように構成される、
ことを特徴とする、請求項１に記載のビデオエンコーダ。
【請求項９】
前記オプティマイザは、前記ビデオエンコーダのリソース利用可能性に選択的に基づく前記歪みメトリックの組み合わせを含む前記コスト計算を行うように構成される、
ことを特徴とする、請求項１に記載のビデオエンコーダ。
【請求項１０】
前記歪みメトリックの組み合わせが、前記ビデオ信号の彩度成分に起因する歪みの合計を含む、
ことを特徴とする、請求項１に記載のビデオエンコーダ。
【請求項１１】
ビデオエンコーダであって、
ビデオ信号の残差表現を変換係数に変換するように構成された変換部と、
前記変換係数を受信し、且つ、構造的類似性指数に基づくコスト計算を用いて、最適化変換係数を提供するように構成されたオプティマイザと、
前記最適化変換係数を用いて前記ビデオ信号をエンコードするように構成されたエントロピーエンコーダと、
を備えることを特徴とするビデオエンコーダ。
【請求項１２】
前記構造的類似性指数に基づくコスト計算は、輝度歪みメトリックを計算することを含む、
ことを特徴とする、請求項１１に記載のビデオエンコーダ。
【請求項１３】
前記輝度歪みメトリックは、前記変換係数のＤＣ係数に基づいて計算される、
ことを特徴とする、請求項１２に記載のビデオエンコーダ。
【請求項１４】
前記構造的類似性指数に基づくコスト計算は、前記変換係数の少なくとも１つのＡＣ係数に基づくテクスチャ歪みメトリックの計算を含む、
ことを特徴とする、請求項１３に記載のビデオエンコーダ。
【請求項１５】
前記オプティマイザは、前記構造的類似性指数に基づくコスト計算を用いて最適化ＤＣ係数を提供し、且つ、絶対差の和又は二乗誤差の和に基づくコスト計算を用いて最適化ＡＣ係数を提供するように構成される、
ことを特徴とする、請求項１１に記載のビデオエンコーダ。
【請求項１６】
エンコード用の変換係数の候補を受信するステップと、
ビデオ信号の複数の色成分に起因する歪みの組み合わせを用いて前記候補のそれぞれに対するレート歪みコストを計算するステップと、
前記レート歪みコストに基づいて最適化変換係数を提供するステップと、
を含むことを特徴とする方法。
【請求項１７】
構造的類似性指数に基づいて少なくとも１つの歪みメトリックを用いて前記レート歪みコストを計算するステップをさらに含む、
ことを特徴とする、請求項１６に記載の方法。
【請求項１８】
前記レート歪みコストを計算するステップは、前記ビデオ信号の輝度成分に対するコストを別々に計算することを含み、
前記複数の色成分は、彩度成分を含む、
ことを特徴とする、請求項１６に記載の方法。
【請求項１９】
第１の色領域から第２の色領域に変換係数の候補を変換するために色変換を行うステップをさらに含む、
ことを特徴とする、請求項１６に記載の方法。
【請求項２０】
前記第１の色領域は、前記最適化変換係数をエンコードするように構成されたエンコーダによって用いられる色領域であり、
前記第２の色領域は、前記エンコードされた最適化変換係数に基づく受信したビデオ信号を表示するように構成されたディスプレイによって用いられる色領域である、
ことを特徴とする、請求項１９に記載の方法。
【請求項２１】
前記第２の色領域において前記レート歪みコストを計算するステップをさらに含む、
ことを特徴とする、請求項１９に記載の方法。
【請求項２２】
オブジェクトセグメンテーションによって前記ビデオ信号において識別されたある特定のオブジェクトに関連付けられた候補に対して歪みの前記組み合わせを用いてレート歪みコストを選択的に計算するステップをさらに含む、
ことを特徴とする、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、概して、ビデオエンコーディングに関する。いくつかの例において、例えば、歪みを計算するための方法及びシステムを含む最適化技法が説明される。
【背景技術】
【０００２】
ビデオ又は他のメディア信号は、テレビ、放送システム、モバイルデバイス、及びラップトップとデスクトップコンピュータの両方を含む様々なデバイスによって用いられ得る。典型的には、デバイスは、多くの場合、エンコードされた形式から信号をデコードした後、ビデオ又は他のメディア信号の受信に応答してビデオを表示又は送信し得る。デバイス間に提供されたビデオ信号は、多くの場合、様々なエンコーディング及び／又は圧縮技法のうちの１つ以上を用いてエンコードされる。典型的には、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４／ＭＰＥＧ−４  Ｐａｒｔ  １０等の特定の規格に従ってデコードされ得る方法でエンコードされる。ビデオ又は他のメディア信号をエンコードして、その後、受信した信号をデコードすることにより、デバイス間で伝送されなければならないデータ量が大幅に減少し得る。
【０００３】
ビデオエンコーディングは、典型的には、ビデオデータのマクロブロック又は他のユニットと呼ばれる１６×１６画素ブロックをエンコードすることによって行われる。予測コーディングは、予測ブロック及び残差ブロックを生成するために用いられ得る。この場合、残差ブロックは、予測ブロックとエンコードされているブロックとの差分を表す。予測コーディングは、ビデオ信号内の冗長データを除去するために空間的及び／又は時間的予測を含み得、それにより送信又は記憶されなければならないデータの量をさらに減少させ得る。例えば、イントラコーディングは、空間的予測と、フレーム又はスライス内のブロック間の空間的冗長性の量の減少を対象とする。その一方で、インターコーディングは、時間的予測と、連続するフレーム又はスライス内のブロック間の時間的冗長性の量の減少を対象とする。インターコーディングは、連続するフレーム又はスライスの対応するブロック間の動きを追跡するために動き予測を利用することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許出願１３／６２７，７７６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
典型的には、係数及び動きベクトル等の構文要素は、様々なエンコーディング技法（例えば、エントロピーエンコーディング）のうちの１つを用いてエンコードされ、それからエンコーディングデバイスとデコーディングデバイスとの間で送信され得る。さらに、いくつかのアプローチは、構文要素（例えば、動きベクトル、モード、変換係数等）を最適化することをさらに試み得る。多くのビデオエンコーディング法は、達成可能なデータレートとデコードされた信号に存在する歪みの量との間のトレードオフのいくつかの形式を利用する。トレリス最適化技法は、最小レート歪みコストを有する構文要素（例えば、係数）の最適な組を識別するために用いられ得る。動的計画法とも称され得る従来の最適化技法は、構文要素のための複数の可能なコーディング候補（例えば、状態）を考慮しながら、構文要素をエンコードすることができる。最小の全体のコストにつながる最適な状態を選択することができる。
【課題を解決するための手段】
【０００６】
ビデオエンコーダ及び方法の例が本明細書に開示される。ビデオエンコーダの例は、ビデオ信号の残差表示を変換係数に変換するように構成された変換部と、変換係数を受信し、かつレート及び歪みに基づくコスト計算を用いて最適化係数を提供するように構成されたオプティマイザとを含んでもよい。コスト計算は、ビデオ信号の複数の色成分に起因する歪みメトリックの組み合わせを含んでもよい。そのビデオエンコーダの例は、最適化変換係数を用いてビデオ信号をエンコードするように構成されたエントロピーエンコーダをさらに含んでもよい。
【０００７】
ビデオエンコーダの第２の例は、ビデオ信号の残差表示を変換係数に変換するように構成された変換部と、変換係数を受信し、かつ構造的類似性指数に基づくコスト計算を用いて最適化係数を提供するように構成されたオプティマイザとを含んでもよい。そのビデオエンコーダの第２の例は、最適化変換係数を用いてビデオ信号をエンコードするように構成されたエントロピーエンコーダをさらに含んでもよい。
【０００８】
方法の例は、エンコード用の変換係数の候補を受信することと、ビデオ信号の複数の色成分に起因する歪みの組み合わせを用いて候補のそれぞれに対するレート歪みコストを計算することとを含んでもよい。その方法は、レート歪みコストに基づいて最適化変換係数を提供することをさらに含んでもよい。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に従う、エンコーダ１００のブロック図である。
【図２】本発明の実施形態に従って配置されたトレリス線図の概略図である。
【図３】本発明の実施形態に従って配置された構文要素を最適化するための方法のフローチャートである。
【図４】本発明の実施形態に従う、エンコーダの概略ブロック図である。
【図５】本発明の実施形態に従う、オプティマイザの概略ブロック図である。
【図６】本発明の実施形態に従う、メディア配信システムの概略図である。
【図７】本明細書に記載されるエンコーダを利用することができるビデオ配信システムの概略図である。
【発明を実施するための形態】
【００１０】
本発明の実施形態の十分な理解を提供するために、ある特定の詳細例が以下に記載される。しかしながら、本発明の実施形態がこれらの様々な特定の詳細例以外の形態で実践され得ることは、当業者には明らかであろう。いくつかの例において、周知のビデオコンポーネント、エンコーダ又はデコーダのコンポーネント、回路、制御信号、タイミングプロトコル、ソフトウェア動作は、記載される実施形態を不必要に曖昧にすることを避けるために、詳細には示されていない。
【００１１】
図１は、本発明の実施形態に従う、エンコーダ１００のブロック図である。エンコーダ１００は、１つ以上の論理回路、制御論理、論理ゲート、プロセッサ、メモリ、及び／又はそれらの任意の組合せ若しくは部分的組み合わせを含んでもよく、１つ以上のエンコーディング技法を用いてビデオ信号をエンコード及び／又は圧縮するように構成されてもよく、その例は、以下にさらに記載される。エンコーダ１００は、例えば、可変ビットレート信号及び／又は固定ビットレート信号をエンコードするように構成され得、概して、レートに依存しない方法で生成され得るビットストリームを出力するために一定レートで動作し得る。エンコーダ１００は、パーソナルビデオレコーダ、放送システム、モバイルデバイス、ラップトップとデスクトップコンピュータとの両方、及び計算ノードのクラスタを含むが、これらに限定されないビデオエンコーディングを用いた様々なデバイスのいずれかに実装されてもよい。少なくとも一実施形態では、エンコーダ１００は、可変長コーディングエンコーダ（例えば、ハフマンエンコーダ、ＣＡＶＬＣ、又はＣＡＢＡＣエンコーダ）等のエントロピーエンコーダを含んでもよく、及び／又は、例えば、マクロブロックレベルで、データをエンコードするように構成されてもよい。それぞれのマクロブロックは、イントラコードされたモード、インターコードされたモード、双方向で、又はこれらの任意の組合せ又は部分的組み合わせでエンコードされてもよい。エンコードされたビットストリームは、有線又は無線の電子通信の任意のメカニズムを介してデコーダ（図１に図示せず）に提供されてもよく、デコードされて、例えば、視聴用のディスプレイ１２０上に、最終的に表示されてもよい。エンコードされたビットストリームは、また、ディスプレイ１２０上に表示される代わりに、又は表示されることに加えて、任意の点で保存されてもよい。
【００１２】
一例として、エンコーダ１００は、一実施形態では、映像データ（例えば、フレーム）を含んでもよいビデオ信号を受信して、エンコードしてもよい。ビデオ信号は、概して、ビデオの一部を表す電子データを指す。ビデオ信号は、記憶データ及び／又は送信信号を指してもよい。ビデオ信号は、ネットワークを介して受信されてもよく、あるいは、電子メモリ又は記憶装置から検索されたデータを表してもよい。ビデオ信号は、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、Ｈ．２６４、及び／又はＨ．ＨＥＶＣ等の１つ以上のエンコーディング規格に従ってエンコードされて、エンコードされたビットストリームを提供してもよい。そのビットストリームは、次に、データバス及び／又はデコーダ若しくはトランスコーダ等の装置（図示せず）に提供される。以下でより詳細に説明するように、ビデオ信号は、構文要素のレート歪みのトレードオフを最適化し得るように、エンコーダ１００によってエンコードされてもよい。いくつかの実施形態では、例えば、歪みは、単独でのビデオ映像信号のそれぞれの色成分を分析することよりも、むしろ複数の色成分を用いて計算されてもよい。いくつかの例では、歪みは、ビデオ信号（例えば、ＹＵＶ又はＹＣｂＣｒ）が設けられている色空間においてよりも、むしろビデオ（例えば、ＲＧＢ）を表示するために用いられる色空間において、計算されてもよい。
【００１３】
周知のように、構文要素は、概して、ビデオ信号の圧縮表現を提供するために、ビットストリームにおいて用いてもよいシンボルを指す。構文要素は、これらに限定されない変換係数、動きベクトル、モード等の１つ以上のコーディング規格に従う構文を有するビデオ信号の１つ以上の要素を含んでもよく、構文階層の様々なレベル（例えば、配列、フレーム、又はブロック）において生じ得る。また、レート歪み最適化は、十分なレートが歪みの許容量内で維持される特定のレート歪みのトレードオフを選択するように設計された過程を指してもよい。次の式で示されるように、レート歪みコスト関数は、典型的には、ラムダ係数λ又はλとレートとを乗じた積を、歪みに加算して表される。
【数１】
2015533461.tif 000003
式中、Ｊは、係数等の１つ以上の構文要素に対して、レート歪みコスト、つまり「ＲＤスコア」を表す。あるいは、式は次のように表してもよい。
【数２】
2015533461.tif 000004
【００１４】
本発明の実施形態は、以下にさらに説明するように、歪みに対して特定の計算を用いてもよく、及び／又は複数の色成分を用いてコストを計算してもよく、及び／又はレート歪み最適化を実行するために１つの色空間から別の色空間に構文要素を変換してもよい。概して、エンコーディング方法は、所与のビットレートに対して、例えば、ＲＤスコアを最小化することを目指してもよい。しかし、エンコーディング方法は、任意の基準を満たすＲＤスコア（例えば、最小スコア、最大スコア、第２最小スコア等）を生成する構文要素を選択してもよい。ラムダは、エンコーダ１００によって決定されてもよく、デコーダ、トランスコーダ、又は論理回路（図示せず）等のデバイスによって提供されてもよく、あるいはユーザによって指定されてもよい。
【００１５】
図２は、本発明の実施形態に従って配置されたトレリス線図の概略図である。トレリスの最適化技法は、構文要素を最適化するために用いられてもよい。概して、トレリスの最適化は、複数の状態のいずれかを有してもよい（セルと呼ばれることもある）ノードとしての構文要素（例えば、Ａ変換係数）のそれぞれの部分を検討する過程を指す。図２は、５つのノード２１０−２１４を有するトレリス線図２００を図解する。それらの５つのノードのそれぞれは、それぞれ４つの状態２１０ａ〜２１０ｄ、２１１ａ〜２１１ｄ、２１２ａ〜２１２ｄ、２１３ａ〜２１３ｄ、２１４ａ〜２１４ｄのうちの１つを有してもよい。例えば、ノード２１０に対しては、可能な状態は、状態２１０ａ（‘００’）、状態２１０ｂ（‘０１’）、状態２１０ｃ（‘１０’）、及び状態２１０ｄ（‘１１’）である。構文要素の部分（例えば、変換係数）は、相互依存してもよく、図２の矢印によって示される、状態間にある特定の許容転移だけになる結果となってもよい。それで、例えば、ノード２１０が状態２１０ａ（‘００’）である場合、状態２１０ａと、状態２１１ａ及び状態２１１ｃとの間の矢印によって示されるように、ノード２１１においては、状態２１１ａ（‘００’）又は状態２１１ｃ（‘１０’）のみに遷移する。許容可能な状態遷移は、本明細書に記載のエンコーダの実施形態からアクセス可能に記憶されてよい。トレリスの最適化を実行するように構成されたオプティマイザを含み得る本明細書に記載のエンコーダは、それぞれのノードのそれぞれの状態のコストを計算してもよい。コストは、そのノードでのその状態の使用から生じる歪みだけでなく、ビットレートに基づいて計算されてもよい。コストは、最適な経路（例えば、それぞれのノードに対する状態の組）を位置付ける前に、すべてのノードのすべての状態のために計算されてもよく、あるいは、コストは、いくつかのノード及び状態のために、また、すべてのノード又は状態がいくつかの例においてコストを計算しておく前に実行された最適化のために、計算されてもよい。
【００１６】
経路（例えば、それぞれのノードに対する状態の組）は、それから、最小の総コストを有するオプティマイザによって選択されてもよい。例えば、経路は、経路に沿ったノードの状態のすべてのコストの合計が最小の総コストをもたらすように選択されてもよい。図２の例では、選択した経路は、状態２１０ａから、状態２１１ａ、状態２１２ｃ、状態２１３ｂ、及び状態２１４ｃへの太い矢印で示される。様々な周知の経路探索技法のいずれも、最小コスト経路を識別するために用いられてもよい。したがって、図２の例で識別される構文要素又はその部分は、｛００｝、｛００｝、｛１０｝、｛０１｝、及び｛１０｝であろう。５つのノード及びノードごとの４つの状態が図２に示されているが、ノードと状態の任意の数が他の例で用いられてもよい。
【００１７】
トレリスの最適化技法の使用は、ブロック又はマクロブロック内の変換係数の量子化を実行する場合を含む、ビデオエンコーディングにおいて一般的である。トレリス最適化技法は、例えば、ＭＰＥＧ−１、ＭＰＥＧ−２、Ｈ．２６３、Ｈ／２６４／ＭＰＥＧ−４  ＡＶＣ、ＨＥＶＣ、並びにＶＣ−１及びＶＰ８等であるがこれらに限定されないコーデックにおいて用いられてもよい。図２のノード２１０〜ノード２１４は、例えば、異なる変換係数を表してもよく、その状態は、例えば、それぞれの係数が量子化後に取り得る異なる可能値を表してもよい。係数がエントロピーエンコードされているので、一係数の決定は、別の係数のコスト（例えば、ビット）に影響を与えてもよい。従来のコスト計算の例は、上述されていて、Ｊ＝Ｄ＋λ×Ｒ及びＪ＝Ｄ×λ−１＋Ｒを含み、式中、Ｒはコーディングのビットレートコストに対応し、Ｄは、典型的には、その元の値を考慮してその係数に導入される二乗誤差の和（ＳＳＥ）又は絶対差の和（ＳＡＤ）を用いて計算される歪みに対応し、λはラングランジュ乗数である。最適であると考えられる経路は、コスト全体の最小化という結果になるものであってもよく、例えば、下式で表される。
【００１８】
【数３】
2015533461.tif 000005
式中、ｉはそれぞれのノードを表す。
【００１９】
しかし、既存の技術は、典型的には、１つ又はそれぞれの色成分のコストを個別に計算する。したがって、色成分間の歪みへの相互作用は考慮されない場合がある。また、既存の技術は、典型的には、データがエンコードされた領域内のみで歪みを計算する。例えば、ビデオ信号（例えばデータ）は、データをエンコードする間、ＹＵＶ／ＹＣｂＣｒ色表現内にあってもよい。したがって、オプティマイザは、ＹＵＶ／ＹＣｂＣｒの領域内の歪みを計算し、ＹＵＶ／ＹＣｂＣｒの領域内で実行された歪みの計算に基づいて、最適な係数又は他の構文要素を選択してもよい。しかし、最終的に、ビデオは、例えば、図１のディスプレイ１２０上に、ディスプレイ用ＲＧＢ色表現に変換されてもよい。例えば、クリッピング動作と、４：２：０又は４：２：２のデータからフル解像度への例における彩度成分のアップサンプリング過程とを考慮して、１つの色領域における歪み計算の影響であるが別の色領域における表示は、無視できないかもしれない。例えば、クリッピング動作のため、ＹＵＶ空間でＲＧＢにエンコードされたエンコードデータを変換する過程は、真に線形でなくてもよく、したがって、品質は、ＹＵＶの領域から歪み計算を用いることによって影響を受けてもよい。
【００２０】
したがって、いくつかの実施形態では、オプティマイザは、コストが複数の色成分のそれぞれに起因する歪み及び／又はレートの合計を含む場合のトレリス最適化の１つ以上のノードのコストを計算してもよい。図３は、本発明の実施形態に従って配置された構文要素を最適化するための方法のフローチャートである。方法３００は、示される順で実行されてもよいステップを含み、あるいは、いくつかの例では、示されるステップのある特定は、異なる順で実行されてもよい。ブロック３０５において、候補は識別されてもよい（例えば、図２に示されるノード及び／又は状態間の許容可能な経路）。候補は、任意の好適な方法で生成されてもよい。例えば、係数の候補は、標準的な量子化器の出力を用いて、指定されたオフセットを印加することによってそれぞれの係数の候補の組（例えば、±１、±２、及び／又は±３）を生成することによって識別されてもよい。ブロック３１０において、色変換は、いくつかの実施形態で実行されてもよい。色変換は、概して、１つの色領域から別の色領域へビデオ信号（例えば、ビデオデータ）を変換してもよい。色領域には、ＲＧＢ及びＹＵＶ／ＹＣｒＣｂが含まれるが、これらに限定されない。概して、色変換は、ビデオが表示されるべき色領域にエンコーディングが実行される色領域からのものであってもよい。それで、例えば、典型的にＹＵＶ色領域内でビデオをエンコードするが、ビデオがＲＧＢ内に表示されるエンコーダにおいて、色変換は、ＹＵＢからＲＧＢへのステップ３１０において生じ得る。色変換を実行するには、いくつかの例では、色変換は線形過程として近似されてもよく、１つの色領域における係数又は歪みは、記憶されるか、又は図３の方法３００を実行するオプティマイザにアクセス可能であってもよい色変換パラメータを用いた乗算により、他の色領域に変換されてもよい。
【００２１】
色変換を行うブロック３１０は、いくつかの例では、ブロック３０５における候補を識別する前に生じ得、いくつかの例では、それぞれのノードのコストが複数の色成分を用いて計算され得る場合にブロック３１５の一部として生じ得る。例えば、本発明の実施形態は、個別に各色成分を最適化するより、むしろ複数の色成分に対して計算された歪み及び／又はレートの組み合わせを用いて、ノードのレート歪みコストを計算する。ブロック３１５内で実行されてもよい計算の例は、以下にさらに記載されている。
【００２２】
ブロック３１７は、ブロック３１５におけるコスト計算が、いくつかの例では構造的類似性指数（ＳＳＩＭ）に基づく歪みメトリックを用いて実行されてもよいことを示している。構造的類似性指数は、概して、輝度成分と分散（例えば、活性）成分によって特徴付けられる。したがって、ＳＳＩＭは、従来のＳＳＥ又はＳＡＤメトリックとは対照的に、歪みを計算するために用いられてもよい。
【００２３】
ノードのいくつか又はすべてのコストの計算に続き、ブロック３２０において、最小コスト経路が識別され得る。最小コスト経路は、当技術分野で周知であるか、又は今後開発される任意の数の経路探索法を用いて識別され得る。他の例では、最小のコスト以外を有する経路は、ブロック３２０において識別され得る。
【００２４】
ブロック３１５を再び参照して、ノードのコストは、複数の色成分を用いて計算されてもよい。例えば、そのノードにおける複数の色成分を考慮したコスト全体が計算されてもよい。いくつかの例では、コスト計算は、複数の色成分における係数によって生成された歪みの合計を用いてもよい。ＹＵＶ色領域において、総コストは、それに応じて次のように計算されてもよい。
【００２５】
【数４】
2015533461.tif 000006
式中、ＤＹ、ＤＵ、及びＤＶは、それぞれＹ、Ｕ、及びＶの色成分に関連した歪みを表し、ＲＹ、ＲＵ、及びＲＶは、それぞれＹ、Ｕ、及びＶの色成分のレートを表す。そのような例は、任意の色変換を反映しなくてもよく、実際にいくつかの例では、色変換は何も用いられなくてもよい（例えば、図３のブロック３１０は実行されなくてもよい）。むしろ、最適化は、任意の色領域の複数の色成分からのレートと歪みとの組み合わせに起因するコスト全体を最小化することを目的とする。
【００２６】
他の例では、色変換は、色変換を行うブロック３１５内のコスト計算の一部として生じ得る。例えば、いくつかの例では、総コストを次のように計算してもよい。
【００２７】
【数５】
2015533461.tif 000007
式中、ａｊ、ｂｊ、及びｃｊは、計算された歪みを１つの色領域（例えば、ＹＵＶ）から別の色領域（例えば、ＲＧＢ）へ変換する色変換パラメータである。したがって、歪みは、ＹＵＶ又は他の色領域内の係数を用いて計算され、それからＲＧＢの領域に関連する値に歪みを変換する色変換パラメータによって乗算されてもよい。色変換パラメータによる乗算は、線形過程として色変換をモデル化し、それにより、実際の色変換の彩度及び量子化を無視するか単純化してもよい。他の例では、フルカラーの変換が適用されてもよく、及び／又は、より詳細なモデルは、歪み値に適用されてもよい。
【００２８】
本明細書に記載のコスト計算は複雑であってもよく、それに応じて、いくつかの実施形態において、複数の色成分を用いるコスト計算は、ブロックのＤＣ係数のみに対して実行されてもよい。例えば、変換及び量子化ＤＣ係数は、ブロック３１０において色変換を用いてさらに変換されてもよい。図３のブロック３１５において、コストは、ブロックのＤＣ係数に関連するノードに対してのみ計算されてもよい。そして、図３のブロック３２０において、最適なＤＣ係数は、最小コスト経路内において識別されてもよい。
【００２９】
さらに、いくつかの例では、すべての色成分が、コストを計算するために同時に用いられてもよいわけではない。いくつかの例では、ビデオ信号（例えば、ビデオデータ）内のすべての色成分の特定の色成分のみが、レート歪みコストを計算するために同時に用いられてもよい。例えば、輝度成分は、それらの輝度成分を含むコスト方程式を用いて分離して最適化されてもよい。２つの彩度成分は、それから、それらの２つの彩度成分に関連する歪みを合計するコスト方程式を用いて同時に最適化されてもよい。例えば、一例では好適なコストの方程式は、
【００３０】
【数６】
2015533461.tif 000008
【００３１】
式中、ｂｊ及びｃｊは、彩度成分に対する色変換パラメータを表す。このように、同時最適化のための追加の計算リソースは、それらの２つの彩度成分上で用いられてもよいだけである一方、輝度成分は別々に最適化されてもよい。
【００３２】
本明細書に記載のコスト計算では、歪みは、二乗誤差（ＳＳＥ）の和又は絶対差（ＳＡＤ）の方法の和等の歪み計算のための周知の又は将来開発される任意の方法で計算されてもよい。しかし、いくつかの例では、構造的類似性指数（ＳＳＩＭ）に基づく歪みメトリックは、図３のブロック３１７でのように用いられてもよい。ＳＳＩＭは、概して、輝度成分及び分散又は活性成分を用いてビデオ信号を表してもよい。ＳＳＩＭ表現を用いることは、輝度及び歪みの最適化を別々に可能にし得る。例えば、ＳＳＩＭは次のように表されてもよい。
【００３３】
【数７】
2015533461.tif 000009
【００３４】
式中、Ｅ（ｘ）はビデオ信号の平均、Ｃｏｖ（ｘ，ｙ）は共分散、Ｖａｒ（ｘ）は分散を指す。ｃ１及びｃ２は、非常に小さい分母による除算を有する例において用いられてもよい変数である。
【００３５】
平均（例えば、Ｅ（ｘ））は、第一に、ビデオ信号のＤＣ値によって影響を受けてもよく、分散及び共分散は、第一に、ビデオ信号のＡＣ係数によって影響を受けてもよい。したがって、ＤＣ係数を最適化することが平均を最適化してもよい一方、ＡＣ係数を最適化することは共分散及び／又は分散を最適化してもよい。したがって、ＳＳＥ又はＳＡＤの歪みメトリックとしての使用の代わりに、又は使用に加えて、ＳＳＩＭ量のための歪みメトリックが用いられてもよい。輝度歪みは、例えば、次のように平均の観点で表されてもよい。
【００３６】
【数８】
2015533461.tif 000010
【００３７】
テクスチャの歪みは、例えば、次のように分散及び共分散の観点で表されてもよい。
【００３８】
【数９】
2015533461.tif 000011
【００３９】
輝度歪みは、ＤＣ係数のみの考慮を伴ってもよいので、計算がより容易であり得る。ＭＰＥＧ−２エンコーディングを用いる例を含む、本発明の実施例に従って用いられてもよいＤＣ係数の候補の生成の例としては、２０１２年９月２６日に提出された、共同発明者としてＫｒｚｙｓｚｔｏｆ  Ｈｅｂｅｌ、Ｅｒｉｃ  Ｐｅａｒｓｏｎ、及びＰａｖｅｌ  Ｎｏｖｏｔｎｙの名前で提出された、“Ａｐｐａｒａｔｕｓｅｓ  ａｎｄ  ｍｅｔｈｏｄｓ  ｆｏｒ  ｏｐｔｉｍｉｚｉｎｇ  ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ  ｏｆ  ｓｙｎｔａｘ  ｅｌｅｍｅｎｔｓ”と題された、その出願が本明細書の任意の目的のためにその全体が参照として援用される、同時係属中の米国特許出願番号１３／６２７，７７６に記載のものが挙げられる。本発明のいくつかの例においてコスト計算におけるＳＡＤ基準に従って歪み計算を用いる代わりに、輝度歪みメトリックが用いられてもよい。これらのメトリックの計算における差分が、次のように見られてもよい。絶対差の和（ＳＡＤ）を用いて、歪みは、｜（ＤＣ−Ｑ−１（Ｑ（ＤＣ）））｜として計算されてもよく、式中、ＤＣはＤＣ係数であり、Ｑは順方向量子化過程、Ｑ−１は逆量子化過程をそれぞれ表す。ＳＡＤ歪みメトリックは、このように、量子化された後逆量子化されたＤＣ係数のＤＣ係数からの減算を伴う。しかし、輝度歪みメトリックは、次のように表されてもよい。
【００４０】
【数１０】
2015533461.tif 000012
【００４１】
したがって、図３のブロック３１５においてコストを計算するときに、輝度歪みメトリックが用いられてもよい。いくつかの例では、テクスチャメトリックは、さらに、ＡＣ係数の共分散及び分散を計算することによって用いられてもよい。しかし、いくつかの例では、ＡＣ係数が、ＳＡＤ又はＳＳＥ歪みメトリックを用いて、図３の方法に従って最適化されてもよい一方、ＤＣ係数は、ＳＳＩＭメトリックを用いて最適化されてもよい。
【００４２】
図４は、本発明の実施形態に従う、エンコーダ４００の概略ブロック図である。エンコーダ４００は、少なくとも部分的に、図１のエンコーダ１００を実装するために用いられてもよい。エンコーダ４００は、モード決定ブロック４３０、予測ブロック４２０、遅延バッファ４０２、変換部４０６、量子化ブロック４５０、オプティマイザ４５２、エントロピーエンコーダ４０８、逆量子化ブロック４１０、逆変換ブロック４１２、加算器４１４、及びデコードされた画像バッファ４１８を含んでもよい。モード決定ブロック４３０は、以下でさらに説明するような着信ベースバンドビデオ信号及びデコードされた画像バッファ信号に少なくとも部分的に基づいて適切なコーディングモードを決定するように構成されてもよく、並びに／若しくは適切なコーディングモードをフレーム及び／又はマクロブロック単位で決定してもよい。モード決定は、マクロブロックタイプ、イントラモード、インターモード、構文要素（例えば、変換係数、動きベクトル）、及び／又は量子化パラメータを含んでもよい。本発明のいくつかの例では、モード決定ブロック４３０は、オプティマイザ４５２による使用のためにラムダを提供してもよい。モード決定ブロック４３０は、また、本発明の例に従ったモード決定を行う際にラムダを用いてもよい。いくつかの実施形態では、ラムダは、モード決定ブロック４３０及びオプティマイザ４５２に亘って共通であってもよい。
【００４３】
モード決定ブロック４３０の出力は、エンコーディング規格に従って予測を生成する予測ブロック４２０によって用いられてもよい。予測器は、減算器４０４においてビデオ信号の遅延バージョンから減算されてもよい。ビデオ信号の遅延バージョンを用いることは、モード決定ブロック４３０が作用する時間を提供し得る。減算器４０４の出力は、例えば、ブロックとブロックの予測との間の差等の残差であってもよい。
【００４４】
変換部４０６は、変換領域（例えば、周波数領域）への残差を変換するための残余に、離散コサイン変換（ＤＣＴ）などの変換を実行するように構成されてもよい。その結果、変換部４０６は、例えば、ビデオ信号内のデータのスペクトル成分に対応し得る係数ブロックを提供してもよい。例えば、係数ブロックは、ブロックの平均値に対応し得る係数ブロックのゼロ周波数成分に対応するＤＣ係数を含んでもよい。係数ブロックは、その係数ブロックのより高い（非ゼロ）周波数部分に対応する複数のＡＣ係数をさらに含んでもよい。
【００４５】
量子化ブロック４５０は、係数ブロックを受信し、量子化係数ブロックを生成するために係数ブロックの係数（例えば、ＤＣ係数及びＡＣ係数）を量子化するように構成されてもよい。量子化ブロック４５０によって提供された量子化は、いくつかの例では、不可逆であってもよい。オプティマイザ４５２は、図３に関して上述した方法を用いて、例えば、量子化係数を受信し、係数を最適化するように構成されてもよく、また、係数ブロックのうちの１つ以上の係数のレート歪みのトレードオフを調整及び／又は最適化するためにラムダを用いてもよい。ラムダは、モード決定ブロック４３０から受信されてもよく、ユーザによって指定されてもよく、あるいは、エンコーダ４００の別の要素によって提供されてもよい。ラムダは、それぞれのマクロブロック又は任意の他の単位に合わせて調整されてもよく、エンコーダ４００によってエンコードされた情報に基づいてもよい（例えば、ビデオ信号エンコーディング広告は、詳細なシーンをエンコードしているビデオ信号よりも概して大きいラムダ又は小さいラムダ逆数を用いてもよい）。したがって、オプティマイザ４５２は、最適化係数ブロックを提供してもよい。オプティマイザは、ハードウェア、ソフトウェア、又はそれらの組み合わせを用いて実装されてもよい。例えば、オプティマイザは、実行されたときに１つ以上のプロセッサに、コスト及び／又は歪みの計算を実行することを含む、図３を参照して本明細書に記載の、上述した最適化技法を実行させる、実行可能な命令でエンコードされる１つ以上のプロセッサ及びコンピュータ可読媒体（例えば、メモリ）を含んでもよい。他の例では、オプティマイザのすべて又は一部は、例えば、記載された計算を実行するように構成された論理ゲートを含むハードウェアに実装されてもよい。
【００４６】
少なくとも１つの実施形態では、オプティマイザ４５２は、ＤＣ係数オプティマイザ及びＡＣ係数オプティマイザを含んでもよい。ＡＣ係数オプティマイザは、係数ブロックの１つ以上のＡＣ係数を受信して、ＤＣ係数を受信してＤＣ係数を最適化してもよいＤＣ係数オプティマイザとは異なる方法を用いてＡＣ係数を最適化するように構成されてもよい。例えば、上述したように、ＡＣ係数オプティマイザは、ＳＳＥ又はＳＡＤメトリックに基づくコスト計算を用いてＡＣ係数を最適化してもよい一方、ＤＣ係数オプティマイザは、ＳＳＩＭメトリック（例えば、輝度歪み）に基づくコスト計算を用いてＤＣ係数を最適化してもよい。
【００４７】
次に、エントロピーエンコーダ４０８は、エンコードされたビットストリームを提供するために最適化係数ブロックをエンコードしてもよい。エントロピーエンコーダ４０８は、可変長コーディング（ＶＬＣ）エンコーダ等の、当業者によって知られている又は今後開発される任意のエントロピーエンコーダであってもよい。最適化係数ブロックは、逆量子化ブロック４１０によって、逆スケーリングされ、かつ量子化されてもよい。逆スケーリングされ、量子化された係数は、逆復元されたビデオを生成するために加算器４１４にて予測に追加されてもよい復元された残差を生成するために、逆変換ブロック４１２によって逆変換されてもよい。復元されたビデオは、将来のフレームにおける使用のためにデコードされた画像バッファ４１８に提供されてもよく、デコードされた画像バッファ４１８から、さらにマクロブロック内のイントラ予測又は他のモード決定法のためのモード決定ブロック４３０に、さらに提供されてもよい。
【００４８】
エンコーダ４００の動作例では、ビデオ信号（例えば、ベースバンドビデオ信号）は、エンコーダ４００に提供されてもよい。ビデオ信号は、遅延バッファ４０２及びモード決定ブロック４３０に提供されてもよい。減算器４０４は、遅延バッファ４０２からのビデオ信号を受信して、残差信号を生成するためにビデオ信号から動き予測信号を減算してもよい。残差信号は、変換部４０６に提供され、ＤＣＴ等の順方向変換を用いて過程されてもよい。上述したように、変換部４０６は、量子化ブロック４５０に提供されてもよい係数ブロックを生成してもよく、オプティマイザ４５２は、係数ブロックの係数を最適化してもよい。係数ブロックの最適化は、ビデオ信号の複数の色成分を含むコスト計算を用いてもよく、いくつかの例では、最適化は、ＳＳＩＭに基づく歪みメトリックを含んでもよい。最適化係数は、エントロピーエンコーダ４０８に提供されて、それにより、エンコードされたビットストリームにエンコードされてもよい。
【００４９】
最適化係数ブロックは、エンコーダ４００のフィードバックループにさらに提供されてもよい。量子化係数ブロックは、それぞれ、逆量子化ブロック４１０、逆変換ブロック４１２、及び加算器４１４によって、逆量子化され、逆変換され、動き予測信号に加えられて、復元されたビデオ信号を生成してもよい。デコードされた画像バッファ４１８は、復元されたビデオ信号を受信し、バッファされ復元されたビデオ信号をモード決定ブロック４３０及び予測ブロック４２０に提供してもよい。少なくとも部分的に復元されたビデオ信号に基づいて、予測ブロック４２０は、減算器４０４に動き予測信号を提供してもよい。
【００５０】
したがって、図４のエンコーダ４００は、エンコードされたビットストリームをビデオ信号に基づいて提供してもよく、そこでは、エンコードされたビットストリームが、本発明の実施形態に従って最適化係数を用いて部分的に生成される。エンコーダ４００は、半導体技術に実装されてもよく、ハードウェア、ソフトウェア、又はそれらの組み合わせに実装されてもよい。いくつかの例では、エンコーダ４００は、ソフトウェアに実装され得るモード決定ブロック４３０を除いて、ハードウェアに実装されてもよい。他の例では、他のブロックは、ソフトウェアに実装され得るが、いくつかの場合におけるソフトウェアの実装は、リアルタイム動作を達成しなくてもよい。ソフトウェアにおける実装は、１つ以上の過程ユニット（例えばプロセッサ）を用いた実装と、実行されたときに１つ以上の過程ユニットに本明細書に記載の機能のすべて又は一部を実行させるコンピュータ実行可能命令でエンコードされたメモリ又は他の記憶装置を含んでもよい。
【００５１】
図５は、本発明の実施形態に従う、図４のオプティマイザ４５２の概略ブロック図である。オプティマイザ４５２は、変換係数を受信してもよくて、補間器５０５を含んでもよい。補間器は、例えば、４：２：０又は４：２：２のコンテンツがオプティマイザ４５２によって受信され、色変換が望まれた実施形態において、用いてもよい。補間器５０５は、４：４：４データにまで補間を実行してもよい。一般に、補間器５０５は、１つの色領域から別の色領域（例えば、ＹＵＶからＲＧＢ）へのデータの変換を容易にする実施形態に含まれてもよい。
【００５２】
オプティマイザ４５２は、色変換部５１０をさらに含んでもよい。色変換部５１０は、変換係数又は補間された変換係数を受信して、１つの色領域から別の色領域（例えば、ＹＵＶからＲＧＢ）へデータを変換してもよい。例えば、上述したように、データが表示されることになる色領域にエンコーディングが実行される色領域から、データは変換されてもよい。
【００５３】
変換されたデータ及び任意の追加の候補は、オプティマイザ４５２に含まれるコスト計算機５１５に提供してもよい。補間器及び／又は色変換が存在しない他の例では、コスト計算機５１５は、変換係数を直接受信してもよい。いくつかの例では、色変換部５１０は、コスト計算機５１５と一体であってもよく、色変換は、コスト計算の一部として起こってもよい。候補は、任意の好適な方法で生成してもよい。例えば、係数の候補の組は、標準量子化器の出力を取得して、例えば、±１、±２、及び／又は±３のそれぞれの量子化係数にオフセット数を適用することによって生成して、したがってそれぞれの係数のためのいくつかの候補を個別に生成してもよい。量子化器の出力は、色変換を受けても、受けなくてもよい。
【００５４】
一般に上述したように、コスト計算機５１５は、変換係数に対して異なる候補に関連づけられたコストを計算してもよい。コストは、ビデオ信号（例えば、受信したデータ）の複数の色成分を用いて計算されてもよい。例えば、上述したように、コスト計算は、それぞれの色成分に起因する歪みの合計を含んでもよい。コスト計算機５１５は、コストを計算する際に用いるラムダを受信してもよい。ラムダの使用例は、上記で議論されてきた。コスト計算機５１５は、歪みメトリックが例が上述されているＳＳＩＭに基づいてもよい歪みメトリックを用いて、コストを計算してもよい。
【００５５】
オプティマイザ４５２は、最小コスト経路探索装置５２０をさらに含んでもよい。最小コスト経路探索装置５２０は、コスト計算機５１５によって提供されるコストを用いて、最小コスト経路を見つけることができる（例えば、最適化変換係数を識別することができる）。したがって、最適化変換係数は、最小コスト経路探索装置５２０の出力において提供されてもよい。
【００５６】
図４においては、オプティマイザ４５２は、変換部４０６及び量子化ブロック４５０の後に示されているが、いくつかの例では、オプティマイザは、他の場所に位置づけられて、エンコーダ４００の他の場所で生成されたデータを用いてもよい。例えば、いくつかの例では、係数は画像領域内で最適化されてもよい。したがって、歪みは、例えば逆変換ブロック４１２で逆変換が実行された後、計算されてもよく、予測信号が加算器４１４によって追加される。したがって、いくつかの例では、加算器４１４の出力におけるデータは、コスト計算を実行するためにオプティマイザ４５２によって用いられてもよい。いくつかの例では、色変換は、最適化の前に、又は最適化の一部として、加算器４１４の出力においてデータに関して実行されてもよい。
【００５７】
したがって、本発明の例には、複数の色成分の最適化を伴うコスト計算を同時に用いるトレリスの最適化技法が含まれる。いくつかの例では、３つの色成分（例えば、ＹＵＶ又はＲＧＢ）は、同時に最適化されてもよい一方、他の例では、２つの色成分だけが同時に最適化され、別の色成分は個別に最適化されてもよい。３つの色成分は一例として提供され、任意の数が他の例で用いられてもよい。また、本発明の例には、ＳＳＩＭに基づく歪みメトリックを用いてコストを計算するオプティマイザ及びトレリスの最適化技法が含まれる。
【００５８】
本発明の実施形態によるコスト計算は、したがって従来のトレリスの最適化技法（例えば、最適の色成分を個別に最適化する及び／又はＳＡＤ若しくはＳＳＥ歪みメトリックのみを用いるもの）よりも複雑であり得る。いくつかの実施形態では、異なるコスト計算は、したがって信号の事前分析に基づいてビデオ信号（例えばビデオデータ）に選択的に適用してもよい。したがって、本発明に従うオプティマイザは、輝度（例えば、ウェーバーフェヒナーの法則は、歪みが明るい領域よりも暗い領域においてはるかに明らかであり得ることを示す）、テクスチャ（低対高）、及びモーションを含むが、これらに限定されないビデオ信号の属性に基づいて、コスト計算を選択的に適用するように構成されてもよい。ビデオ信号の特定の部分（例えば、暗い領域、低テクスチャ、又は低モーション）のために、オプティマイザが、本発明の実施形態に従う最適化技法を適用するように構成されてもよい一方、ビデオ信号の他の部分（例えば、明るい領域、高テクスチャ、又は高モーション）に対しては、オプティマイザは、リソースを保存するために、より従来の最適化技法を適用するように構成されてもよい。例えば、相対的に均質で、平滑な色勾配によって特徴付けられる領域内でバンディングを低減又は排除する、ことが望ましい場合がある。したがって、オプティマイザは、いくつかの例では、より正確な結果を提供するかもしれない本明細書に記載するより複雑な最適化技法を用いて、それらの領域に関連付けられた係数を最適化するように構成されてもよい。いくつかの例では、テクスチャはそれほど重要ではない場合があり、テクスチャの活性は、コーディングアーティファクトをマスクする場合がある。したがって、オプティマイザは、簡略化された係数の決定が十分かもしれないテクスチャ領域に標準的な最適化技法を適用するように構成されてもよい。
【００５９】
オブジェクトセグメンテーションの過程は、それぞれの異なる種類の最適化技法（例えば、歪み計算）をどこに用いるべきであるかを示してもよい。例えば、図４を遡って参照して、プリプロセッサであって、映像信号を受信して、より高い複雑度の最適化（例えば、高い複雑度の歪みの計算）に好適な領域とより低い複雑度の最適化（例えば、ＳＡＤ又はＳＳＥ等のより低い複雑度の歪みの計算）に好適な領域とを識別するオブジェクトセグメンテーションを実行してもよいプリプロセッサ（図示せず）を設けてもよい。プリプロセッサは、どの領域がどの種類の最適化技法を受信することになるかに関する指示をオプティマイザ４５２に提供してもよい。
【００６０】
他の例では、本発明の実施形態に従って配置されたオプティマイザは、オプティマイザを含むシステムの利用可能なリソース（例えば、電力）に基づいて、最適化技法を適用してもよい。例えば、電力又は処理リソースが不足している場合は、より従来の最適化技法（例えば、単独で色成分を最適化して、及び／又はＳＡＤ又はＳＳＥ歪みメトリックを用いて）を用いてもよい。しかし、電力及び／又は処理リソースの利用可能性が特定の閾値を超えているとき、本明細書に記載される最適化技法は、複数の色成分の同時最適化及び／又はＳＳＩＭに基づく歪みメトリックを含むオプティマイザによって用いられてもよい。オプティマイザは、最適化技法を実装するように構成されたプロセッサへの負荷を表す負荷信号を受信するなどして、利用可能な処理リソースの指示を受信してもよい。負荷信号は、いくつかの例では、プロセッサ自体によって提供されてもよい。オプティマイザは、エンコーダに含まれるコントローラ等によって提供されてもよい電力消費量を示す信号を受信することによって、例えば全体としてのエンコーダ等のシステムの電力消費量の指示を受信してもよい。負荷信号及び／又は電力消費量を示す信号に基づいて、オプティマイザは、選択された最適化技法を着信係数に適用してもよい。このように、最適化技法は、本明細書に記載のエンコーダの動作中に動的に変化してもよい。
【００６１】
また、本明細書の実施例は、変換係数の単一のブロックを最適化する例を用いて説明してきた。しかし、他の例では、オプティマイザは、複数のブロックに亘って同時に変換係数を最適化するように提供されてもよい。例えば、多数のブロックは、ブロックの数がメガブロック、スライス、画像内のブロックの数より小さい又は等しくしてもよいいくつかの例では、オプティマイザには固定数であって、一緒に最適化されてもよい。他の例では、一緒に最適化された多数のブロックは、電力若しくは他のリソース利用可能性に関連して又はオブジェクトセグメンテーションに基づいて記載されるように、適応的であってもよい。
【００６２】
図６は、本発明の実施形態に従う、メディア配信システムの概略図である。メディア配信システム６００は、様々なメディア出力（複数可）６０４のうちの１つ以上にメディアソースデータ６０２を提供するためのメカニズムを提供することが可能である。ただ１つのメディアソースデータ６０２及びメディア出力６０４が図６に図解されているが、任意の数が用いられてもよいことが理解されるべきであり、本発明の例は、放送され、及び／又はメディアコンテンツを任意の数のメディア出力に配信するために用いられてもよい。
【００６３】
メディアソースデータ６０２は、ビデオ、オーディオ、データ、又はそれらの組み合わせを含むが、これらに限定されないメディアコンテンツの任意のソースであってもよい。メディアソースデータ６０２は、例えば、カメラ、マイクロホン、並びに／若しくは他の撮像デバイスを用いて撮像することが可能なオーディオ及び／又はビデオデータであってもよく、あるいは処理デバイスによって生成又は提供されてもよい。メディアソースデータ６０２は、アナログ又はデジタルであってもよい。メディアソースデータ６０２がアナログデータである場合、メディアソースデータ６０２は、例えば、アナログ−デジタル変換器（ＡＤＣ）を用いてデジタルデータに変換することが可能である。典型的には、メディアソースデータ６０２を送信するために、いくつかの種類の圧縮及び／又は暗号化が望ましい場合がある。したがって、現在又は将来において知られているがこれらに限定されないＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６４、ＨＥＶＣ、若しくは、これら又は他のエンコーディング規格の組み合わせ等のビデオ規格に従うエンコーディング方法を含む当技術分野におけるエンコーディング方法を用いて、メディアソースデータ６０２をエンコードする可能性のあるエンコーダ６１０を設けてもよい。エンコーダ６１０は、図１のエンコーダ１００、図４のエンコーダを含む本明細書に記載の任意のエンコーダを用いて実装されてもよく、図３の方法３００、並びに本明細書に記載のコスト計算及び／又は最適化のいずれかを実装するためにさらに用いられてもよい。
【００６４】
エンコードされたデータ６１２は、衛星６１４、アンテナ６１６、及び／又はネットワーク６１８等の通信リンクに提供されてもよい。ネットワーク６１８は、有線又は無線であってもよく、電気及び／又は光送信を用いてさらに通信してもよい。アンテナ６１６は、地上波アンテナであってもよく、例えば、当業界で周知の従来のＡＭ及びＦＭ信号、衛星信号、又は他の信号を受信並びに送信してもよい。通信リンクは、エンコードされたデータ６１２を放送してもよく、いくつかの例において、エンコードされたデータ６１２を変更して、変更されたエンコードされたデータ６１２を（例えば、エンコードされたデータ６１２を再エンコードする、それに加える、又はそこから減じることで）放送してもよい。通信リンクから提供されたエンコードされたデータ６２０は、デコーダを含むかそれに結合されてもよい受信機６２２によって受信されてもよい。デコーダは、図６に示すメディア出力６０４と共に、１つ以上のメディア出力を提供するために、エンコードされたデータ６２０をデコードしてもよい。
【００６５】
受信機６２２は、モデム、ルータ、サーバ、セットトップボックス、ラップトップ、デスクトップ、コンピュータ、タブレット、携帯電話等を含むが、これらに限定されない任意の数のデバイスに含まれるか、それらと通信してもよい。
【００６６】
図６のメディア配信システム６００及び／又はエンコーダ６１０は、コンテンツ配信産業の多様なセグメントに用いられてもよい。
【００６７】
図７は、本明細書に記載されるエンコーダを利用することができるビデオ配信システム７００の概略図である。ビデオ配信システム７００は、ビデオ投稿元７０５を含む。ビデオ投稿元７０５は、デジタル衛星ニュース取材システム７０６、イベント放送７０７、及びリモートスタジオ７０８を含んでもよいが、これらに限定されない。これらのビデオ投稿元７０５のそれぞれ又はいずれも、図６のエンコーダ６１０、図１のエンコーダ１００、図４のエンコーダ等の本明細書に記載のエンコーダを用いてもよく、図３の方法３００、並びに、メディアソースデータをエンコードし、通信リンクにエンコードされたデータを提供するための本明細書に記載のコスト計算及び／又は最適化技法を実装するために用いられてもよい。デジタル衛星ニュース取材システム７０６は、エンコードされたデータを衛星７０２に提供してもよい。イベント放送７０７は、エンコードされたデータをアンテナ７０１に提供してもよい。リモートスタジオ７０８は、ネットワーク７０３を介してエンコードされたデータを提供してもよい。
【００６８】
生産セグメント７１０は、コンテンツ発信元７１２を含んでもよい。コンテンツ発信元７１２は、ビデオ投稿元７０５のいずれか又は組み合わせからエンコードされたデータを受信してもよい。コンテンツ発信元７１２は、受信したコンテンツを利用可能にし得、受信したコンテンツのいずれかを編集して、組み合わせて、及び／又は操作して、コンテンツを利用可能にし得る。コンテンツ発信元７１２は、衛星７１４（又は別の通信リンク）にエンコードされたデータを提供するために、図６のエンコーダ６１０等の本明細書に記載されたエンコーダを用いてもよい。コンテンツ発信元７１２は、ネットワーク又は他の通信リンクを介して地上デジタルテレビシステム７１６にエンコードされたデータを提供してもよい。いくつかの例では、コンテンツ発信元７１２は、投稿元（複数可）７０５から受信したコンテンツをデコードするためにデコーダを用いてもよい。コンテンツ発信元７１２は、データを再エンコードして、衛星７１４にエンコードされたデータを提供してもよい。他の例では、コンテンツ発信元７１２は、受信したデータをデコードしない場合があり、受信したデータのエンコーディング形式を変更するためにトランスコーダを用いてもよい。
【００６９】
一次配信セグメント７２０は、デジタル放送システム７２１、地上デジタルテレビシステム７１６、及び／又はケーブルシステム７２３を含んでもよい。デジタル放送システム７２１は、衛星７１４からのエンコードされたデータを受信するように、図６を参照して説明した受信機６２２等の受信機を含んでもよい。地上デジタルテレビシステム７１６は、コンテンツ発信元７１２からエンコードされたデータを受信するために、図６を参照して説明した受信機６２２等の受信機を含んでもよい。ケーブルシステム７２３は、生産セグメント７１０及び／又は投稿元セグメント７０５から受信された又はされていない場合のある独自のコンテンツをホストしてもよい。例えば、ケーブルシステム７２３は、図６を参照して説明したものとしてそれ自体のメディアソースデータ６０２を提供してもよい。
【００７０】
デジタル放送システム７２１は、衛星７２５にエンコードされたデータを提供するために、図６を参照して説明したエンコーダ６１０等のエンコーダを含んでもよい。ケーブルシステム７２３は、ケーブルローカルヘッドエンド７３２へのネットワーク又は他の通信リンクを介してエンコードされたデータを提供するために、図６を参照して説明されたエンコーダ６１０等のエンコーダを含んでもよい。二次配信セグメント７３０は、例えば、衛星７２５及び／又はケーブルローカルヘッドエンド７３２を含んでもよい。
【００７１】
ケーブルローカルヘッドエンド７３２は、ネットワーク又は他の通信リンクを介してクライアントセグメント６４０内のクライアントにエンコードされたデータを提供するために、図６を参照して説明したエンコーダ６１０等のエンコーダを含んでもよい。衛星７２５は、クライアントセグメント７４０内のクライアントに信号を放送してもよい。クライアントセグメント７４０は、コンテンツをデコードして、最終的にコンテンツをユーザに利用可能にするための、図６を参照して説明した受信機６２２及び関連づけられたデコーダ等の受信機を含んでもよい任意の数のデバイスを含んでもよい。クライアントセグメント７４０は、セットトップボックス、タブレット、コンピュータ、サーバ、ラップトップ、デスクトップ、携帯電話等のデバイスを含んでもよい。
【００７２】
したがって、エンコーディング、トランスコーディング、及び／又はデコーディングは、ビデオ配信システム内の多くの点のいずれかで用いられてもよい。本発明の実施形態は、これらのセグメントのうちのいずれかで、又はいくつかの例ではそれらのすべてにおいて、使用を見出すことができる。
【００７３】
以上により、本発明の特定の実施形態が本明細書に例証の目的で記載されてきたが、本発明の趣旨及び範囲から逸脱することなく様々な修正が行われてもよいことが理解されるであろう。
【図１】
2015533461.tif 000013
【図２】
2015533461.tif 000014
【図３】
2015533461.tif 000015
【図４】
2015533461.tif 000016
【図５】
2015533461.tif 000017
【図６】
2015533461.tif 000018
【図７】
2015533461.tif 000019
【国際調査報告】
2015533461.tif 000020
2015533461.tif 000021