(57)【特許請求の範囲】
【請求項１】
ビデオ圧縮量子化を制御する量子化制御方法であって、前記量子化制御方法は、
データブロックの少なくとも一部の隣接画素のペア同士の輝度成分の差に基づき、対角周波数因子を生成することと；
前記対角周波数因子と、前記データブロックの少なくとも一部の輝度強度と、および前記データブロックの動きレベルとに基づき、量子化スケールオフセットを生成させることと；
第２量子化スケールを受信すべく、前記量子化スケールオフセットを用いて第１量子化スケールを調整することと；
前記第２量子化スケールを用いて前記データブロックを量子化することと
を備える、量子化制御方法。
【請求項２】
前記量子化スケールオフセットの前記生成は、前記対角周波数因子、前記輝度強度、および前記動きレベルに、重み関数を適用することを含む、
請求項１記載の量子化制御方法。
【請求項３】
前記対角周波数因子の前記生成は、
前記データブロックの画素の複数のグループを選択することと；
それぞれ前記グループ毎に、対応するグループ輝度成分を算出することと；
前記対角周波数因子を算出すべく、複数の前記グループ輝度成分を加算することと；
を備え、
前記グループ毎の前記グループ輝度成分の算出は、
第１差分グループを求めるために、水平に隣接する画素の複数のペアの輝度成分同士を引算することと；
第２差分グループを求めるために、画素の垂直に隣接する複数のペアの前記第１差分グループのペア同士で引算することと；
前記グループ輝度成分を算出するために前記第２差分グループを加算することと
を備える、
請求項１記載の量子化制御方法。
【請求項４】
前記重み関数の適用は、ビデオ圧縮エンコーダの特性に関連するパラメータに基づき、前記対角周波数因子、前記輝度強度、および前記動きレベルのうちの少なくとも１つを処理することを含む、
請求項２記載の量子化制御方法。
【請求項５】
前記データブロック内の画素の複数の前記グループは、前記データブロックの全ての画素を有する、
請求項３記載の量子化制御方法。
【請求項６】
前記データブロック内の画素の複数の前記グループは、前記データブロックの部分集合を規定する、
請求項３記載の量子化制御方法。
【請求項７】
前記重み関数は、ビデオ圧縮エンコーダの特性に関連するパラメータに基づく積の予め規定された加重和を含む、
請求項２記載の量子化制御方法。
【請求項８】
前記重み関数は、コード化すべきビデオストリームの特性に関連するパラメータに基づく積の適応加重和を含む、
請求項２記載の量子化制御方法。
【請求項９】
前記対角周波数因子の前記生成は、
前記データブロックの画素の複数のグループを選択することと；
それぞれ前記グループ毎に、対応するグループ輝度成分を算出することと；
前記対角周波数因子を算出すべく、複数の前記グループ輝度成分を加算することと；
を備え、
前記グループ毎の前記グループ輝度成分の算出は、
第１差分グループを求めるために、垂直に隣接する画素の複数のペアの輝度成分同士を引算することと；
第２差分グループを求めるために、画素の水平に隣接する複数のペアの前記第１差分グループのペア同士で引算することと；
前記グループ輝度成分を算出するために前記第２差分グループを加算することと
を備える、
請求項１記載の量子化制御方法。
【請求項１０】
前記量子化制御方法はさらに、前記データブロックの量子化に先立ち、実時間で前記データブロックに対して前記量子化スケールオフセットと前記第２量子化スケールをアップデートすることを備える、
請求項１記載の量子化制御方法。
【請求項１１】
ビデオ圧縮量子化を制御する量子化制御システムであって、前記量子化制御システムは、
第１量子化スケールを生成するビット伝送速度制御装置と；
対角周波数検出器を有する量子化制御装置であって、前記対角周波数検出器は、データブロックの少なくとも一部の隣接画素のペア同士の輝度成分の差に基づき対角周波数因子を生成し、前記量子化制御装置は前記対角周波数因子と、前記データブロックの少なくとも一部の輝度強度と、および前記データブロックの動きレベルとに基づき量子化スケールオフセットを生成し、前記量子化制御装置は第２量子化スケールを受信すべく、前記量子化スケールオフセットを用いて第１量子化スケールを調整する、量子化制御装置と；
前記第２量子化スケールを用いて前記データブロックを量子化する量子化器と
を備える、量子化制御システム。
【請求項１２】
前記量子化制御装置は、前記対角周波数因子、前記輝度強度、および前記動きレベルに重み関数を適用することによって、前記量子化スケールオフセットを生成する、
請求項１１記載の量子化制御システム。
【請求項１３】
前記対角周波数検出器は、
前記データブロックの画素の複数のグループを選択することと；
それぞれ前記グループ毎に、対応するグループ輝度成分を算出することと；
前記対角周波数因子を算出すべく、複数の前記グループ輝度成分を加算することと；
を実行し、
前記グループ毎に前記対角周波数検出器は、
第１差分グループを求めるために、水平に隣接する画素の複数のペアの輝度成分同士を引算することと；
第２差分グループを求めるために、画素の垂直に隣接する複数のペアの前記第１差分グループのペア同士で引算することと；
前記グループ輝度成分を算出するために前記第２差分グループを加算することと
を実行する、
請求項１１記載の量子化制御システム。
【請求項１４】
前記重み関数の適用は、ビデオ圧縮エンコーダの特性に関連するパラメータに基づき、前記対角周波数因子、前記輝度強度、および前記動きレベルのうちの少なくとも１つを処理することを備える、
請求項１２記載の量子化制御システム。
【請求項１５】
前記データブロック内の画素の複数の前記グループは、前記データブロックの全ての画素を有する、
請求項１３記載の量子化制御システム。
【請求項１６】
前記データブロック内の画素の複数の前記グループは、前記データブロックの部分集合を規定する、
請求項１３記載の量子化制御システム。
【請求項１７】
前記重み関数は、ビデオ圧縮エンコーダの特性に関連するパラメータに基づく積の予め規定された加重和を含む、
請求項１２記載の量子化制御システム。
【請求項１８】
前記重み関数は、コード化すべきビデオストリームの特性に関連するパラメータに基づく積の適応加重和を含む、
請求項１２記載の量子化制御システム。
【請求項１９】
前記対角周波数検出器は、
前記データブロックの画素の複数のグループを選択することと；
それぞれ前記グループ毎に、対応するグループ輝度成分を算出することと；
前記対角周波数因子を算出すべく、複数の前記グループ輝度成分を加算することと；
を実行し、
前記グループ毎に前記対角周波数検出器は、
第１差分グループを求めるために、垂直に隣接する画素の複数のペアの輝度成分同士を引算することと；
第２差分グループを求めるために、画素の水平に隣接する複数のペアの前記第１差分グ
ループのペア同士で引算することと；
前記グループ輝度成分を算出するために前記第２差分グループを加算することと
を実行する、
請求項１１記載の量子化制御システム。
【請求項２０】
前記量子化器は、前記量子化スケールオフセットと前記第２量子化スケールを実時間でアップデートする、
請求項１１記載の量子化制御システム。
【請求項２１】
ビデオ圧縮量子化を制御するために、データブロックの少なくとも一部の隣接画素のペア同士の輝度成分の差に基づき、対角周波数因子を生成する手順と；
前記対角周波数因子と、前記データブロックの少なくとも一部の輝度強度と、および前記データブロックの動きレベルとに基づき、量子化スケールオフセットを生成させる手順と；
第２量子化スケールを受信すべく、前記量子化スケールオフセットを用いて第１量子化スケールを調整する手順と；
前記第２量子化スケールを用いて前記データブロックを量子化する手順と
をコンピュータに実行させるためのプログラムを記録したコンピュータ可読媒体。
【請求項２２】
前記量子化スケールオフセットの前記生成は、前記対角周波数因子、前記輝度強度、および前記動きレベルに、重み関数を適用する手順をコンピュータに実行させる手順を備える、
請求項２１記載のコンピュータ可読媒体。
【請求項２３】
前記対角周波数因子の前記生成は、
前記データブロックの画素の複数のグループを選択する手順と；
それぞれ前記グループ毎に、対応するグループ輝度成分を算出する手順と；
前記対角周波数因子を算出すべく、複数の前記グループ輝度成分を加算する手順と；
を備え、
前記グループ毎の前記グループ輝度成分の算出は、
第１差分グループを求めるために、水平に隣接する画素の複数のペアの輝度成分同士を引算する手順と；
第２差分グループを求めるために、画素の垂直に隣接する複数のペアの前記第１差分グループのペア同士で引算する手順と；
前記グループ輝度成分を算出するために前記第２差分グループを加算する手順と
を備える、
請求項２１記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオ圧縮量子化を制御する制御方法と制御システムに関する。
【背景技術】
【０００２】
デジタルビデオ圧縮は、たとえば放送、ストリーミング、および保存などの様々な実施において用いられ得る。幾つかのビデオ圧縮アルゴリズムは、特定量のデータが圧縮プロセス中、たとえば量子化プロセス中に損失され得るという事実のため、不可逆アルゴリズムであると考えられている。そのようなアルゴリズムを用いる場合、処理データのビット伝送速度は、コード化ブロックのエントロピーに依存して可変的に低下し得る。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
量子化は、一般的にビデオ圧縮プロセス中の情報損失の主原因である。ビデオのコード化における量子化プロセスの制御は、画像品質に有意に影響を及ぼし得る。画像の主観的品質を高めるため、適応量子化制御の実時間解法が強く求められる。
【課題を解決するための手段】
【０００４】
以下の詳細な説明において数多くの具体的な詳細が、本発明の理解を徹底するために示される。しかし当業者には当然のことながら、本発明はこれらの具体的な詳細なしに実施され得る。他の例において、周知の方法、手順、および構成成分は、本発明を分かりにくくするといけないので詳細に記載されていない。
【０００５】
本発明の実施形態は、この点に関して制限されないが、たとえば「処理する」、「コンピュータで計算する」、「算出する」、「測定する」、「確立する」、「解析する」、「チェックする」などの用語を用いる考察は、コンピュータレジスタとメモリのうちの少なくとも一方内の物理（たとえば電子）量として示されるデータを、コンピュータレジスタとメモリのうちの少なくとも一方または操作とプロセスのうちの少なくとも一方を実行する命令を保存し得る他の情報保存媒体内に物理量として同様に示される他のデータに操作と変換の少なくとも一方を行うコンピュータ、計算プラットフォーム、コンピュータシステム、または他の電子計算装置の操作とプロセスのうちの少なくとも一方を称し得る。
【０００６】
本発明の実施形態は、この点に関して制限されないが、本明細書において用いられるような用語「複数」と「１つの複数」には、たとえば「多数の」または「２つ以上」が含まれ得る。用語「複数」または「１つの複数」は、２つ以上の成分、デバイス、要素、ユニット、パラメータなどを記載すべく、本明細書を通して用いられ得る。
【０００７】
本発明とされる対象を具体的に指摘し、明細書の最終部分において明確にクレームする。しかし本発明は、目的、特徴、およびその利点と共に機構と動作方法の両方に関して、添付図面と共に読むとき、以下の詳細な説明を参照することによってよく理解され得る。
【０００８】
当然のことながら説明を平易かつ明確にするため、図面において示す要素は、必ずしも縮尺通りに描かれていない。たとえば幾つかの要素の寸法は、明瞭にするため、他の要素に対して誇張され得る。更に適当と考えられる場合、参照数字は、対応または類似要素を示すべく図面間で繰り返され得る。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に従う、模範的ビデオエンコーダのブロック線図。
【図２Ａ】本発明の実施形態に従って用いられる、マクロブロックの模範的部分抽出集合の部分抽出マップ。
【図２Ｂ】本発明の実施形態に従って用いられる、マクロブロックの模範的部分抽出集合の部分抽出マップ。
【図３】本発明の実施形態に従って、適応量子化制御を実行する方法のフローチャート。
【発明を実施するための形態】
【００１０】
次に本発明の実施形態に従う模範的ビデオエンコーダのブロック線図である図１を参照する。ビデオエンコーダ１００は、コード化されるべき原画像またはフレームを保存し得るフレームメモリ１０１を含み得る。画像またはフレームは、マクロブロック（ＭＢ）に分割され得る。各々のマクロブロックは、たとえば１６×１６画素の画素群を含み得る。減算器１０２は、フレームメモリ１０１に保存した進行中フレームの画素と、基準フレームメモリ１０９に保存した基準フレームの画素との間の差を算出し得る。差は、離散コサイン変換器（ＤＣＴ）１０３によって周波数領域に変換され得る。変換した出力は、水平、垂直、および対角空間周波数による入力データのエネルギーを示す係数の配列であり得る。ビデオエンコーダ１００は、量子化器１０４を含み得る。量子化器１０４は、離散コサイン変換器１０３の変換出力を量子化し得ると共に、本発明の実施形態に従って以下に詳述されるように量子化制御装置１０５によって動的に制御され得る。
【００１１】
量子化出力信号は、逆離散コサイン変換ブロック１０７で逆離散コサイン変換（ＩＤＣＴ）を受ける前に逆量子化器１０６で逆量子化され得る。逆離散コサイン変換１０７由来の出力は、加算器１０８によって動き推定補正ブロック１１０の出力に加算され、算出和は、基準フレームメモリ１０９に保存され得る。基準フレームメモリ１０９に保存したデータ、およびフレームメモリ１０１に保存した原画像は、双方が減算器１０２と、動き推定補正ブロック１１０への入力として用いられ得る。
【００１２】
図１の模範的説明図において離散コサイン変換と逆離散コサイン変換が用いられているが、当業者には当然のことながら、本発明はこの点に関して制限されず、本発明の実施形態に従って時間領域から周波数領域への関数をマッピングし得る任意の他の数学的変換を用い得る。
【００１３】
量子化器１０４の出力はまた、エントロピーコード化ブロック１１２でエントロピーのコード化を受ける。エントロピーコード化ブロック１１２由来のコード化出力信号は、ビットバッファ１１３を通過する出力であり得る。ビデオエンコーダ１００は、ビット伝送速度制御装置１１１を含み得る。ビット伝送速度制御装置１１１は、ビットバッファ１１３の占有量を示すビットバッファ１１３由来の入力を受信し得ると共に、制御信号とパラメータのうちの少なくとも一方を量子化制御装置１０５に転送し得る。
【００１４】
本発明の実施形態に従って量子化制御装置１０５は、本明細書において“量子化スケール１１４”とも称され得る少なくとも１つのパラメータを、ビット伝送速度制御装置１１１から受信し得る。量子化スケール１１４は、量子化器１０４における離散コサイン変換係数の量子化に用いられ得る。量子化制御装置１０５は、進行中マクロブロックの複雑性に従ってビット伝送速度制御装置１１１から受信した量子化スケール１１４を適応または変化させる。更に下記に詳述されるように量子化器１０４に新量子化スケール１１５を提供することによって、量子化器１０４における離散コサイン変換係数の量子化を制御し得る。人間の眼は、たとえば詳細な外見、画像の暗部、および動きの速い物体の画像の「ノイズが存在する」部分における量子化ノイズに対する感受性が低い。従って量子化制御装置１０５は、そのような画像部分の量子化を制御することによって、より粗くし得ると共に、他の部分、たとえばノイズが非常に明らかな場所、たとえば画像の滑らかな部分や、
顔の保存ビットを用い得る。量子化制御装置１０５は、画像の主観的品質を高めるため、量子化スケール１１４を変化させることによって、高空間動作では粗く、低空間動作では粗さを少なく量子化器１０４の量子化を制御し得る。
【００１５】
本発明の実施形態に従って量子化制御装置１０５は、画像品質を改善すべく実時間適応量子化制御を提供し得る。量子化制御装置１０５は、量子化強化器（量子化強化ブロック）１２０、対角周波数検出器（ＤＦＤ）１２２、輝度レベル検出器１２４、および動きレベル検出器１２６を含み得る。対角周波数検出器１２２、輝度レベル検出器１２４、および動きレベル検出器１２６は、全て量子化強化器１２０に連結され得る。量子化強化器１２０は、対角周波数検出器１２２、輝度（ルーマ）レベル検出器１２４、および動きレベル検出器１２６から受信した入力に基づき、新量子化スケール１１５を発生させ得る。
【００１６】
本発明の実施形態に従って対角周波数検出器１２２は、進行中画像のマクロブロックデータを受信し得ると共に、マクロブロックの平滑度レベルを分類し得る対角周波数検出アルゴリズムを適用し得る。対角周波数検出器１２２によって実行されるアルゴリズムまたは関数は、対角変換係数によって高振幅を正確に検出し得る低複雑度算出を含み得る。これはブロックノイズ性を示す。対角周波数検出アルゴリズムは、離散コサイン変換の実際の計算を実行する前に、フレームメモリ１０１に保存される進行中画像の輝度成分（Ｙ）の試料に適用され得る。
【００１７】
本発明の実施形態に従って、輝度レベル検出器１２４は、進行中画像のマクロブロックデータを受信し得ると共に、入力マクロブロックの輝度強度を算出し得る。輝度レベル検出器１２４は、更に変換表を用いることによって所定レベルに算出値をマッピングし得る。
【００１８】
本発明の実施形態に従って、動きレベル検出器１２６は、動き推定補正ブロック１１０由来の１つまたは複数の動きベクトルを受信し得ると共に、受信ベクトル成分を合計することによって、進行中画像の動きレベルを検出し得る。
【００１９】
量子化強化器１２０は、対角周波数検出器１２２から受信した対角周波数検出アルゴリズム結果、輝度レベル検出器１２４から受信した輝度レベル計算、および動きレベル検出器１２６から受信した動きレベル情報の重み関数を用いることによって、量子化器オフセットを生成し得ると共に、新量子化スケール１１５を測定すべくこれらのオフセットを使用し得る。
【００２０】
この点に関して本発明は制限されないが、対角周波数検出器１２２によって実行される対角周波数を検出する関数、および輝度レベル検出器（輝度レベル分析器）１２４によって実行される輝度強度を検出する関数は、マクロブロックの画素全てに適用され得るか、またはマクロブロックの画素の部分抽出集合に適用され得る。マクロブロックの画素の部分抽出集合のうちの一例は、図２Ａと図２Ｂにおいて示す。当業者には当然のことながら、マクロブロック画素の部分抽出集合に適用した計算と関数は、マクロブロック画素の任意の他の部分抽出集合またはマクロブロック全体、すなわちマクロブロックの画素全てに適用され得る。
【００２１】
次に、本発明の実施形態に従って用いられるマクロブロック画素の模範的部分抽出集合のマップである図２Ａと図２Ｂを参照する。
第１マップ２００は、１６×１６画素の模範的マクロブロックを例示する。第１マップ２００における各々の正方形は、単一画素を示す。当業者には当然のことながら、任意の他のサイズのマクロブロックを用い得る。本発明の実施形態は、第１マップ２００の２５６画素全て、または第１マップ２００の画素の任意の部分集合を用い得る。画素の部分集
合は、エンコーダ実行または速度、対角周波数検出器１２２の出力の所望精度、および輝度レベル検出器１２４に従って、または任意の他のパラメータに従って選択され得る。たとえばデジタル信号処理（ＤＳＰ）の実行に十分最適化した平行４バイト操作を実行するエンコーダは、ｘによって示す第１マップ２００の画素の部分集合を用い得る。任意の他の集合の画素を用い得る。
【００２２】
本発明の実施形態に従って対角周波数検出器１２２は、以下のように水平と垂直の勾配を測定すべく、画素対を減算し得る。
DFD=Σ|{Y(i,j)-Y(i,j+1)}-{Y(i+1,j)-Y(i+1,j+1)}| …（数式１）
式中、ｉ＝０〜水平マクロブロックサイズ；
ｊ＝０〜垂直マクロブロックサイズ；
式中、Ｙは画素の輝度成分を示す。
【００２３】
数式１の低複雑度算出は、対角変換係数で高振幅を正確に検出し得る。これはブロックノイズを示し得る。たとえば高い対角周波数検出（ＤＦＤ）結果は、マクロブロックが幾つかの高い対角周波数を含有し得ることを暗示し得る。数式１の結果は、量子化スケール１１４のオフセットを測定すべく、量子化強化器（量子化強化ブロック）１２０に転送され得る。
【００２４】
当業者には当然のことながら、数式１は、マクロブロックの画素全てを用いる実施形態において適用可能であり、数式１は、たとえば第２マップ２５０において示す画素の部分集合の対角周波数検出算出に関連する数式２〜数式１０に記載されるように、画素の部分集合の任意の他の選択に適合するように構成され得る。
【００２５】
第２マップ２５０の対角周波数検出算出に含まれる画素は、ラテン文字（ｘを含む）によって示す画素である。数式１は、記号付き画素の画素対を減算するように構成され得ると共に、以下のように定義され得る。
【００２６】
Y1=Ya-Ye …（数式２）
Y2=Yb-Yf …（数式３）
Y3=Yc-Yg …（数式４）
Y4=Yd-Yh …（数式５）
Z1=abs(Y1-Y2)+abs(Y2-Y3)+abs(Y3-Y4) …（数式６）
式中、Ｙａ〜Ｙｈは、ａ〜ｈの記号を付けた画素の輝度成分を示す。
【００２７】
数式２〜数式４は、各々が８画素を含むマクロブロックの２０個の部分群すなわち第１群２６０〜第２０群２７９のうちのあらゆる群、たとえば第１群２６０，第２群２６１，第３群２６２および第２０群２７９に使用され得る。数式２〜数式４が第１群２６０〜第２０群２７９のうちの各々の群について実行した後、最終対角周波数検出値（ＤＦＤ）は、以下のように算出され得る。
【００２８】
DFD=ΣZi …（数式７）
式中、ｉ＝１〜２０。
図２Ｂの第２マップ２５０の模範的説明図において、各々が８画素を含む２０群が示されるが、当業者には当然のことながら本発明はこの点に関して制限されず、本発明の実施形態に従って任意数の画素を含有するマクロブロックの任意の適切な群は、対角周波数値を算出すべく対角周波数検出器１２２によって用いられ得る。数式１は、フレームの画素の任意選択に適合するように構成され得る。
【００２９】
本発明の実施形態に従って輝度レベル検出器１２４は、以下のようにマクロブロックの
選択画素の輝度成分の強度を算出し得る。
輝度レベル＝ΣY(i,j) …（数式８）
式中、ｉ＝０〜水平マクロブロックサイズ、ｊ＝０〜垂直マクロブロックサイズ。
【００３０】
数式８の結果は、量子化スケール１１４のオフセットを測定すべく、量子化強化器１２０に転送され得る。
当業者には当然のことながら、数式８は、マクロブロックの画素全てを使用する実施形態において適用可能である。数式８は、たとえば第２マップ２５０において示す画素の部分集合の輝度レベル算出に関連する数式９〜数式１０において記載されるように、画素の部分集合の任意の他の選択に適合するように構成され得る。
【００３１】
第２マップ２５０の輝度レベル算出において含まれる画素は、ラテン文字（ｘを含む）の記号が付けられた画素である。数式８は、記号付き画素の輝度成分を合計することによって、記号付き画素の強度を算出するように構成され得ると共に、以下のように記載され得る。
【００３２】
L1=(a+b+c+d)+(e+f+g+h) …（数式９）
式中、Ｌ１は、第１群２６０の輝度レベルを示す。
数式９は、各々が８画素を含む２０個の部分群である第１群２６０〜第２０群２７９のあらゆる群、たとえばｉ〜ｐの記号が付けられた画素によって例示される第２群２６１に使用され得る。数式９が２０個の部分群すなわち第１群２６０〜第２０群２７９全てに対して実行した後、最終輝度レベル値は、以下のように算出され得る。
【００３３】
輝度レベル=ΣLi …（数式１０）
式中、ｉ＝１〜２０。
第２マップ２５０の模範的説明図において、各々が８画素を含む第１群２６０〜第２０群２７９が示される。当業者には当然のことながら、本発明はこの点に関して制限されず、本発明の実施形態に従って任意数の画素を含有するマクロブロックの任意の適切な群は、輝度レベル算出すべく輝度レベル検出器１２４によって使用され得る。数式９〜数式１０は、フレームの画素の任意の選択に適合するように構成され得る。
【００３４】
本発明の実施形態に従って、動きレベル検出器１２６は、動き推定補正ブロック１１０から複数の動きベクトルを受信し得る。各々のベクトルは、水平成分（Ｖｘ）と垂直成分（Ｖｙ）によって示され得る。動きレベル検出器は、以下のように画像間の動きベクトル成分の絶対値を合計し得る。
【００３５】
動き＝Σ|Vix|+Σ|Viy| …（数式１１）
式中、ｉ＝０〜受信ベクトル数。
数式１１の結果は、量子化スケール１１４のオフセットを測定すべく、量子化強化器１２０に転送され得る。
【００３６】
本発明の実施形態に従って、量子化強化器（量子化強化ブロック）１２０は、対角周波数検出器１２２から算出した対角周波数検出値と、輝度レベル検出器１２４から輝度レベルと、動きレベル検出器１２６からマクロブロックの絶対動きとを受信し得る。更に量子化強化器１２０は、ビット伝送速度制御装置１１１から本明細書において「第１」量子化スケールとも称される最初の量子化スケール１１４を受信し得る。量子化強化器１２０は、１つまたは複数の入力を処理し得ると共に、下記のように本明細書において「第２」量子化スケールとも称される新量子化スケール１１５を発生させるべく、オフセットを測定するため、そしてこのオフセットを用いるため、算出対角周波数検出値、輝度レベル、および絶対動きの重み関数を用い得る。
【００３７】
本発明は、この点に関して制限されないが、対角周波数検出器１２２から受信した算出対角周波数検出値は、量子化強化器１２０によって更に処理され得る。たとえば対角周波数検出値は、要求される任意の数学演算を実行することによって、別の値に変換され得る。数学演算または変換は、たとえばシフター、加算器、減算器によって、あるいは受信対角周波数検出値を変換し得る任意の他の成分またはブロックによって実行され得る。数学演算は、たとえば要求出力ビット伝送速度などのエンコーダ操作に関連するパラメータ、たとえばデジタル信号処理，ＡＳＩＣ，ＦＰＧＡ(Field Programmable Gate Array：フィールドプログラマブルゲートアレイなどのエンコーダ実行またはソフトウェア実行に関連するパラメータ、たとえばＭＰＥＧ−２，ＭＰＥＧ−４，Ｈ−２６４などのエンコーダによって用いられるビデオ圧縮標準に関連するパラメータに基づき、あるいは任意の他のエンコーダ特性に関連するパラメータに基づき測定され得る。
【００３８】
上記の説明において対角周波数検出値に関する数学演算は、量子化強化器１２０によって実行されるように記載されているが、当業者には当然のことながら、本発明は、この点に関して制限されず、本発明の実施形態に従って任意のそのような数学演算は、量子化強化器１２０の操作前に対角周波数検出器１２２において実行され得る。たとえば対角周波数検出値をシフトさせるシフターは、対角周波数検出器１２２、量子化強化器１２０、または対角周波数検出器１２２と量子化強化器１２０の両方のいずれかにおいて実装され得る。
【００３９】
本発明は、この点に関して制限されないが、輝度レベル検出器１２４から受信した入力は、量子化強化器１２０によって更に処理され得る。たとえばマクロブロック強度を示す受信した輝度レベル値は、マッピングされ得ると共に、１つまたは複数の変換表と、所望の重み関数に適合させるため、たとえばシフト演算などの任意の他の数学演算とのうちの少なくとも一方を用いることによって変換またはスケーリングされ得る。変換表と数学演算のうちの少なくとも一方は、事前に定義され得ると共に、たとえば要求出力ビット伝送速度などのエンコーダ操作に関連するパラメータ、たとえばデジタル信号処理，ＡＳＩＣ，ＦＰＧＡなどのエンコーダ実行またはソフトウェア実行に関連するパラメータ、たとえばＭＰＥＧ−２，ＭＰＥＧ−４，Ｈ−２６４などのエンコーダによって使用されるビデオ圧縮標準に関連するパラメータに基づき、または任意の他のエンコーダ特性に関連するパラメータに基づき得る。
【００４０】
上記の説明において輝度レベル値に適用される変換表は、量子化強化器１２０の一部として記載されているが、当業者には当然のことながら、本発明はこの点に関して制限されず、本発明の実施形態に従って任意の変換表と他の数学演算のうちの少なくとも一方は、量子化強化器１２０の操作前に輝度レベル検出器１２４において実行され得る。たとえば所定の変換表は、輝度レベル検出器１２４、量子化強化器１２０、または輝度レベル検出器１２４と量子化強化器１２０の両方のいずれかに含まれ得る。
【００４１】
本発明は、この点に関して制限されないが、動きレベル検出器１２６から受信した入力は、量子化強化器１２０によって更に処理され得る。たとえば受信動きレベル値は、１つまたは複数の変換表と、所望重み関数に適合させるため、たとえばシフト操作などの任意の他の数学演算とのうちの少なくとも一方を用いることによって、マッピング、変換またはスケーリングされ得る。変換表と数学演算のうちの少なくとも一方は、事前に定義され得ると共に、たとえば要求出力ビット伝送速度などのエンコーダ操作に関連するパラメータ、たとえばデジタル信号処理，ＡＳＩＣ，ＦＰＧＡなどのエンコーダ実行またはソフトウェア実行に関連するパラメータ、たとえばＭＰＥＧ−２，ＭＰＥＧ−４，Ｈ−２６４などのエンコーダによって使用されるビデオ圧縮標準に関連するパラメータに基づき得るか、または任意の他のエンコーダ特性に関連するパラメータに基づき得る。
【００４２】
上記の説明において動きレベル値に適用される変換表は、量子化強化器１２０の一部として記載されているが、当業者には当然のことながら本発明は、この点に関して制限されず、本発明の実施形態に従って任意の変換表と他の数学演算のうちの少なくとも一方は、量子化強化器１２０の操作前に動きレベル検出器１２６において実行され得る。たとえば所定の変換表は、動きレベル検出器１２６、量子化強化器１２０、または動きレベル検出器１２６および量子化強化器１２０の両方のいずれかに含まれ得る。
【００４３】
本発明の実施形態に従って量子化強化器１２０は、以下のような所定の重み関数によって量子化スケールオフセットを算出し得る。
量子化スケールオフセット＝(DFD)×W0+(輝度レベル)×W1+(動き)×W2 …（数式１２）
数式１２は、積の加重和の一般形態を記載し得る。Ｗ０，Ｗ１およびＷ２は、たとえば要求出力ビット伝送速度などのエンコーダ操作に関連するパラメータ、たとえばデジタル信号処理，ＡＳＩＣ，ＦＰＧＡなどのエンコーダ実行またはソフトウェア実行に関連するパラメータ、たとえばＭＰＥＧ−２，ＭＰＥＧ−４，Ｈ−２６４などのエンコーダによって用いられるビデオ圧縮標準に関連するパラメータ、または任意の他のパラメータの複数のパラメータによって測定される重みを示し得る。上記のパラメータと、エンコーダに関連する任意の他のパラメータまたは特性とのうちの少なくとも一方は、本明細書において「エンコーダ特性」と称され得る。本発明の他の実施形態に従って積の加重和は、コード化されるべきビデオストリームの特性に関連するパラメータに基づき、動的に変化され得る適応重み関数であり得る。
【００４４】
数式１２の一般形態は、処理後の要求値としての対角周波数検出値，輝度レベル、および動き値に関連し得る。他の実施形態は、たとえば一般的数式１２の加重した３つの入力の幾つかまたは全ての前処理または変換の幾つかまたは全てを含み得る数式１３などの異なる加重和を用い得る。
【００４５】
量子化スケールオフセット＝(DFD>>a0)×W0+(Table1[輝度レベル>>a1])×W1+(Table2[動き>>a2])×W2 …（数式１３）
式中、ａ０，ａ１，ａ２は、エンコーダ特性によって測定される可変定数である。Ｗ０，Ｗ１，Ｗ２は、エンコーダ特性によって測定される重みである。Table１は、輝度レベル
値の変換に用いられる所定表である。Table２は、動きレベル値の変換に用いられる所定
表である。「＞＞」は、右シフトを示す。Table［ｙ］は、表におけるエントリ「ｙ」に
おける値を示す。
【００４６】
本発明の実施形態に従って数式１２、数式１３または対角周波数検出の任意の他の重み関数によって算出される量子化スケールオフセット、輝度レベル、および動きレベル入力は、ビット伝送速度制御装置１１１から受信した最初の量子化スケールに適用され得る。たとえば新量子化スケール１１５を生成すべく、最初の量子化スケール１１４に対して加算、減算、シフトまたは乗算され得る。新量子化スケール１１５すなわち第２量子化スケール１１５は、量子化プロセスを動的に変化させるため、および実時間適応量子化制御を提供するため、量子化制御装置（量子化制御ブロック）１０５から量子化器（量子化ブロック）１０４に転送され得る。
【００４７】
本発明の実施形態に従う量子化制御が以下の表に示すように適用したとき、７２０×４８０画素のフレーム解像度のビデオストリームに対するＨ．２６４エンコーダのピーク信号対ノイズ比（ＰＳＮＲ）の実験的測定値は、ピーク信号対ノイズ比において改善を示した。
【００４８】
【表１】
0005015129.tif 000002
【００４９】
表１の値は、以下のパラメータと変換表を用いながら測定した。
ａ０＝６，ａ１＝１５３６０，ａ２＝３；
Ｗ０＝０．６，Ｗ１＝０．２，Ｗ２＝０．２；
Table１［］＝｛−２，−１，１，３｝；
Table２［］＝｛０，０，１，２，４｝。
【００５０】
本発明の実施形態に従う適応量子化制御を実行する方法のフローチャートである図３を次に参照する。方法の操作は、たとえば図１のビデオエンコーダ１００によって、および他の適切なユニット、デバイスとシステムの少なくとも一方によってとの少なくとも一方によって実行され得る。
【００５１】
ステップＳ３１０に示すように、方法は、量子化プロセスを制御すべく用いられ得る受信入力を含み得る。入力は、コード化されるべき進行中画像のマクロブロックデータ、１つまたは複数の動きベクトル、および現在使用される量子化スケールを含み得る。全入力は、量子化制御ブロックたとえば量子化制御装置１０５（図１の）によって受信され得る。
【００５２】
ステップＳ３２０に示すように、方法は、受信マクロブロックデータの輝度レベルの検出、獲得または算出を含み得る。輝度レベルの検出は、受信マクロブロックデータの画素の選択集合の輝度成分の強度を合計することを含み得る。輝度レベルの検出は、専用ユニットまたはブロックによって、たとえば輝度レベル検出器１２４（図１の）によって実行され得る。しかし当業者には当然のことながら、輝度レベルを検出または算出を行うため、任意の他の数学演算が実行され得ると共に、任意の他の適切なユニットまたはブロックが用いられ得る。
【００５３】
ステップＳ３３０に示すように、方法は、受信マクロブロックデータの対角周波数（ＤＦ）の検出、獲得または算出を含み得る。対角周波数の検出は、受信マクロブロックデータの対角変換係数で高振幅を正確に検出し得る。これはブロックノイズ性を示し得る。対角周波数の検出は、受信マクロブロックデータの水平と垂直の勾配を測定すべく、画素対の輝度成分を減算することと、差の絶対値を合計することとを含み得る。対角周波数の検出は、専用ユニットまたはブロックによって、たとえば対角周波数検出器１２２（図１の）によって実行され得る。しかし当業者には当然のことながら、任意の他の数学演算が、対角周波数を検出または算出するために実行され得ると共に、任意の他の適切なユニット
またはブロックが使用され得る。
【００５４】
ステップＳ３４０に示すように、方法は、２つ以上のフレーム間の動きレベルの検出、獲得または算出を含み得る。動きレベルの検出は、受信動きベクトルの垂直成分と水平成分の絶対値を合計することを含み得る。動きレベルの検出は、専用ユニットまたはブロックによって、たとえば動きレベル検出器１２６（図１の）によって実行され得る。しかし当業者には当然のことながら、任意の他の数学演算が、動きレベルを検出または算出するために実行され得ると共に、任意の他の適切なユニットまたはブロックが使用され得る。
【００５５】
ステップＳ３５０に示すように、方法は、ステップＳ３２０，Ｓ３３０およびＳ３４０で検出した値に基づき、量子化スケールオフセットを発生させることを含み得る。量子化スケールオフセットの発生、生成または算出は、ステップＳ３２０，Ｓ３３０およびＳ３４０で算出した値を乗じるエンコーダ特性によって測定した重みの積を合計することを含み得る。量子化スケールオフセットの発生は、ステップＳ３２０，Ｓ３３０およびＳ３４０で算出した値のさらなる処理後に実行され得る。量子化スケールオフセットの発生は、専用ユニットまたはブロックによって、たとえば量子化強化器１２０（図１の）によって実行され得る。しかし当業者には当然のことながら、任意の他の数学演算が、量子化スケールオフセットを発生または算出するために実行され得ると共に、任意の他の適切なユニットまたはブロックが使用され得る。
【００５６】
ステップＳ３６０に示すように、方法は、エンコーダ、たとえばビデオエンコーダ１００（図１の）の量子化プロセスを強化するため、第２量子化スケール１１５を受信すべく第１量子化スケール１１４を変えることを含み得る。ステップＳ３１０で入力として受信され得る第１量子化スケール１１４の変更は、たとえば第１量子化スケール１１４に、または第１量子化スケール１１４から加算、減算、シフト、乗算することによってステップＳ３５０で生じた量子化スケールオフセットを適用することによって実行され得る。任意の他の数学演算は、第２量子化スケール１１５を受信すべく第１量子化スケール１１４と量子化スケールオフセットによって実行され得る。量子化スケールの変更は、専用ユニットまたはブロックによって、たとえば量子化強化器１２０（図１の）によって実行され得る。しかし当業者には当然のことながら、任意の他の数学演算が、第２量子化スケール１１５を発生または算出するために実行され得ると共に、任意の他の適切なユニットまたはブロックが使用され得る。
【００５７】
本発明の特定の形状構成を本明細書において例示および説明してきたが、多くの改変、置換、変更、および等価物が今や当業者には思い浮かぶだろう。従って添付の請求項は、本発明の趣旨内に含まれるものとしてそのような改変と変更の全てを対象とするよう意図される。
【図１】
0005015129.tif 000003
【図２Ａ】
0005015129.tif 000004
【図２Ｂ】
0005015129.tif 000005
【図３】
0005015129.tif 000006