(57)【要約】  本発明はビデオ符号化に適用され、ＩＴＵのＨ．２６３及びＨ．２６４標準の直裁的推進実施の場合に於けるよりも、符号化過程の早期の段階でスキップされるよう指示されるべきブロックを検出する方法を開示する。これはゼロのスキップベクトルを有するマクロブロック内の４×４ブロックを２進変換関数で変換することにより提供される。予め規定されるしきい値より小さい、４つの最上部左の２進変換の係数値を有するブロックがスキップされるよう規定される。かくして、これらのブロックの更に進めるコスト高な計算する要求のある変換と量子化は必要無くなる。
2007521740.tif 000002
【特許請求の範囲】
【請求項１】
或る数の決定値により規定される量子化区間を使ってのその整数変換係数の定量化を伴う、該整数変換係数の対応する第２ブロックを発生する整数変換関数により動画像の残留画素値の第１ブロックを変換するビデオ符号化の方法に於いて、
該第１ブロックを、２進変換係数の対応する第３ブロックを発生する２進変換関数により変換する過程と、
もし該第３ブロック内の最低の座標の１つ以上の２進変換係数が予め規定されたしきい値より小さい場合該第２ブロックをゼロのみを含むと規定する過程と、を特徴とする方法。
【請求項２】
前記予め規定されたしきい値が、該第２ブロック内の最低変換座標の係数の量子化と組み合わされた該数の決定値の最小決定値であることを特徴とする請求項１の方法。
【請求項３】
該ビデオ符号化がＨ．２６４に依り、該整数変換関数がそこに規定された整数変換であることを特徴とする請求項１又は２の方法。
【請求項４】
該ブロックが動画像内の４×４画素の同じ第１の正方形範囲を表すことを特徴とする前記請求項の１つの方法。
【請求項５】
前記第１の正方形範囲が前記動画像内の１６×１６画素の第２の正方形範囲を表すマクロブロックの１６分の１の１つをカバーすることを特徴とする請求項４の方法。
【請求項６】
下記過程、すなわち
前記動画像内の空間的に隣接するブロックの現存する運動ベクトルに基づき前記マクロブロック用にスキップベクトルを決定する過程と、
もし前記スキップベクトルがゼロに等しい場合のみ２進変換関数により該第１ブロックを変換する過程を実行する過程と、を特徴とする請求項５の方法。
【請求項７】
前記２進変換関数がアダマール変換又は前記アダマール変換から導き出された変換であることを特徴とする前記請求項の１つの方法。
【請求項８】
該前記１つ以上の２進変換係数が該第３ブロックの最上部の左のコーナーの該４つの２進変換係数であることを特徴とする前記請求項の１つの方法。
【請求項９】
該第１ブロックを整数変換関数により変換する過程の前に該第１ブロックを２進変換関数により変換する過程を実行する過程と、
もし該第２ブロックがゼロのみを含むと既に規定されたならば整数変換関数により該第１ブロックを変換する過程をスキップする過程と、を特徴とする前記請求項の１つの方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオ圧縮システム（ｖｉｄｅｏ  ｃｏｍｐｒｅｓｓｉｏｎ  ｓｙｓｔｅｍｓ）に関する。
【背景技術】
【０００２】
実時間での動画像（ｍｏｖｉｎｇ  ｐｉｃｔｕｒｅ）の伝送は、例えば、ビデオ会議（ｖｉｄｅｏ  ｃｏｎｆｅｒｅｎｃｅ）、ネット会合（ｎｅｔ  ｍｅｅｔｉｎｇ）、テレビ放送及びビデオ電話通信（ｖｉｄｅｏ  ｔｅｌｅｐｈｏｎｙ）の様な幾つかの応用で使われる。
【０００３】
しかしながら、動画像の表現は、デジタルビデオが典型的に８ビット（１バイト）で画像の各画素を表すことにより記述されるので、大量の情報を要する。この様な圧縮されないビデオデータは大きなビット量に帰着し、従来の通信ネットワークと通信線上では限られたバンド幅のために実時間では伝送され得ない。
【０００４】
かくして、実時間ビデオ伝送を可能にするには大きな程度のデータ圧縮（ｄａｔａ  ｃｏｍｐｒｅｓｓｉｏｎ）を要する。データ圧縮は、しかしながら、画像品質との妥協を行う。従って、バンド幅の限られたデータ接続上で高品質ビデオの実時間を可能にする圧縮技術を開発するために大きな努力が行われて来た。
【０００５】
ビデオ圧縮システムでは、主な目標はビデオ情報を出来るだけ小容量（ｌｉｔｔｌｅ  ｃａｐａｃｉｔｙ）で表現することである。容量は一定値（ｃｏｎｓｔａｎｔ  ｖａｌｕｅ）か又はビット／時間単位（ｂｉｔ／ｔｉｍｅ  ｕｎｉｔ）か何れかの、ビットで定義される。両方の場合、主目的は該ビット数を減らすことである。
【０００６】
最も共通したビデオ符号化方法（ｍｏｓｔ  ｃｏｍｍｏｎ  ｖｉｄｅｏ  ｃｏｄｉｎｇ
ｍｅｔｈｏｄ）はＭＰＥＧ＊及びＨ．２６＊標準で記述されている。該ビデオデータは伝送（ｔｒａｎｓｍｉｓｓｉｏｎ）前に、４つの主過程（ｍａｉｎ  ｐｒｏｃｅｓｓｅｓ）、すなわち、予測（ｐｒｅｄｉｃｔｉｏｎ）、変換（ｔｒａｎｓｆｏｒｍａｔｉｏｎ）、量子化（ｑｕａｎｔｉｚａｔｉｏｎ）そしてエントロピー符号化（ｅｎｔｒｏｐｙ  ｃｏｄｉｎｇ）を受ける。
【０００７】
該予測過程は伝送されるべきビデオシーケンス内で各画像用に要するビット量を可成り減ずる。そのシーケンスの部分の該シーケンスの他の部分との類似性（ｓｉｍｉｌａｒｉｔｙ）を利用する。予測部部分（ｐｒｅｄｉｃｔｏｒ  ｐａｒｔ）は符号化器（ｅｎｃｏｄｅｒ）と復号器（ｄｅｃｏｄｅｒ）の両者に知られているので、その差のみが伝送されればよい。この差はその表現用には遙かに少ない容量しか要しないのが典型的である。該予測は前に再生された画像からの画像内容に主として基づき、該内容の位置は運動ベクトル（ｍｏｔｉｏｎ  ｖｅｃｔｏｒ）により規定される。該予測過程は正方形ブロックサイズ（ｓｑｕａｒｅ  ｂｌｏｃｋ  ｓｉｚｅ）（例えば、１６×１６画素）上で行われるのが典型的である。或る場合には、前の画像の画素より寧ろ同じ画像内の隣接画素に基づく画素の予測が使われることを注意しておく。これはインター予測（ｉｎｔｅｒ  ｐｒｅｄｉｃｔｉｏｎ）に相対して、イントラ予測（ｉｎｔｒａ  ｐｒｅｄｉｃｔｉｏｎ）と称される。
【０００８】
データのブロック（例えば、４×４画素）として表現される残余（ｒｅｓｉｄｕａｌ）はなお内部相関（ｉｎｔｅｒｎａｌ  ｃｏｒｒｅｌａｔｉｏｎ）を含む。これを利用する
良く知られた方法は２次元ブロック変換（ｔｗｏ  ｄｉｍｅｎｓｉｏｎａｌ  ｂｌｏｃｋ
ｔｒａｎｓｆｏｒｍ）を行うことである。ＩＴＵ勧告Ｈ．２６４（ＩＴＵ  ｒｅｃｏｍｍｅｎｄａｔｉｏｎ  Ｈ．２６４）は４×４整数型変換（ｉｎｔｅｇｅｒ  ｔｙｐｅ  ｔｒａｎｓｆｏｒｍ）を使う。これは４×４画素を４×４変換係数（ｔｒａｎｓｆｏｒｍ  ｃｏｅｆｆｉｃｉｅｎｔｓ）に変換し、それらは通常は該画素表現より少ないビットで表現され得る。内部相関を有する画素の４×４配列の変換は多分、元の４×４画素ブロックより遙かに少ない非ゼロ値（ｎｏｎ−ｚｅｒｏ  ｖａｌｕｅｓ）を有する変換係数の４×４ブロックに帰着するだろう。
【０００９】
該変換係数の直接表現は多くの応用にはなお余りにコスト高である。該データ表現の更に進んだ削減用に量子化過程が行われる。従って該変換係数は量子化を経験する。該変換係数の可能値範囲（ｐｏｓｓｉｂｌｅ  ｖａｌｕｅ  ｒａｎｇｅ）は、各々が最高及び最低決定値（ｕｐｐｅｒｍｏｓｔ  ａｎｄ  ｌｏｗｅｒｍｏｓｔ  ｄｅｃｉｓｉｏｎ  ｖａｌｕｅ）で限られ、固定量化子値（ｆｉｘｅｄ  ｑｕａｎｔｉｚａｔｉｏｎ  ｖａｌｕｅ）を割り当てられた値区間（ｖａｌｕｅ  ｉｎｔｅｒｖａｌｓ）に分けられる。次いで該変換係数は、中にそれぞれの係数が定在する区間と組み合わされる量子化値へと定量化（ｑｕａｎｔｉｆｉｅｄ）される。該最低決定値より低い係数はゼロと定量化される。この量子化過程は、再生されたビデオシーケンス（ｒｅｃｏｎｓｔｒｕｃｔｅｄ  ｖｉｄｅｏ  ｓｅｑｕｅｎｃｅ）が圧縮されないシーケンスに比較して幾らか異なることに帰着することを述べるべきである。
【００１０】
既に示した様に、符号化されるべきビデオ内容の１つの特性はそのシーケンスを記述するためのビットの要求が甚だしく変化することである。幾つかの応用では、その画像の可成りの部分の内容はフレームからフレームで変化しないことが当業者には良く知られている。Ｈ．２６４はこの規定を、画像の一定運動を有する部分も追加情報の使用無しで符号化され得るよう、拡げている。フレームからフレームで小変化又は無変化である領域は、表現されるべき最小数のビットしか要しない。この様な領域に含まれるブロックは”スキップされる（ｓｋｉｐｐｅｄ）”と規定され、対応する前のブロックに比して無変化又は予測可能運動のみ起ることを反映し、従って該ブロックは”スキップされる”として復号されるべき指示より他に、これらのブロックを表すデータを要しない。この指示は幾つかのマクロブロックに共通してもよい。
【００１１】
Ｈ．２６４は復号の仕様（ｄｅｃｏｄｉｎｇ  ｓｐｅｃｉｆｉｃａｔｉｏｎ）なので、それは変換及び量子化の過程の前にマージナル（ｍａｒｇｉｎａｌ）な又は無変化の領域を検出する方法は何等記述していない。結果として、これらの領域は、例えそれらが最終的にスキップされると規定され、何等かのデータで表現されなくても、運動探索（ｍｏｔｉｏｎ  ｓｅａｒｃｈ）と、変換及び量子化と、の双方を経験する。これらの操作は処理容量を要するので、これは該符号化器内の資源の不必要な消費である。処理資源の有効な利用はＨ．２６４に関連しては特に重要であり、何故ならそれが大きな処理資源を要するからである。少なくとも幾つかの応用では、従って符号化器の複雑さを減じることは非常に望ましい。
【００１２】
Ｈ．２６４に付随するもう１つの問題は、符号化が各画像が或る誤差付きで再生される意味で”非可逆的（ｌｏｓｓｙ）”であることである。この事実はソース信号上のノイズと共に、例え画像内容内に真の変化が無くても、前の画像内の未符号化のブロック（ｕｎｃｏｄｅｄ  ｂｌｏｃｋ）と、一緒にあるブロックと、の間に常に差があることを意味する。典型的な符号化手順は従って屡々残留信号としてのこれの符号化へ導く。これは該ブロックの客観的再生（ｏｂｊｅｃｔｉｖｅ  ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）の僅かな改良へ導くのが典型的であるが、その画像の静止領域内の悩ましいフリッカリング効果（ａｎｎｏｙｉｎｇ  ｆｌｉｃｋｅｒｉｎｇ  ｅｆｆｅｃｔ）に帰着するであろう。
【発明の開示】
【課題を解決するための手段】
【００１３】
本発明の目的は上記説明の問題を避ける方法を提供することである。
【００１４】
本書内の独立請求項で規定された特徴がこの方法を特徴付ける。
【００１５】
特に、本発明は、或る数の決定値（ａ  ｎｕｍｂｅｒ  ｏｆ  ｄｅｃｉｓｉｏｎ  ｖａｌｕｅｓ）により規定される量子化区間（ｑｕａｎｔｉｚａｔｉｏｎ  ｉｎｔｅｒｖａｌ）を使ってのその整数変換係数の定量化（ｑｕａｎｔｉｆｙｉｎｇ）を伴う、該整数変換係数（ｉｎｔｅｇｅｒ−ｔｒａｎｓｆｏｒｍ  ｃｏｅｆｉｃｉｅｎｔｓ）の対応する第２ブロックを発生する整数変換関数（ｉｎｔｅｇｅｒ−ｔｒａｎｓｆｏｒｍ  ｆｕｎｃｔｉｏｎ）により動画像の残留画素値の第１ブロックを変換するビデオ符号化の方法を提供するが、該方法は２進変換係数（ｂｉｎａｒｙ−ｔｒａｎｓｆｏｒｍ  ｃｏｅｆｆｉｃｉｅｎｔｓ）の対応する第３ブロックを発生する２進変換関数（ｂｉｎａｒｙ−ｔｒａｎｓｆｏｒｍ  ｆｕｎｃｔｉｏｎ）により該第１ブロックを変換する過程と、もし該第３ブロックの最上部の左のコーナー（ｕｐｐｅｒｍｏｓｔ  ｌｅｆｔ  ｃｏｒｎｅｒ）の１つ以上の２進変換係数が予め規定されたしきい値より小さい場合、ゼロのみを有するよう該第２ブロックを規定する過程と、を具備する。
【実施例１】
【００１６】
下記では、本発明は、好ましい実施例を説明し、付属する図面を参照して論じられる。しかしながら、本書内の独立請求項で規定される本発明の範囲内で当業者は他の応用と変型を実現するであろう。
【００１７】
本発明はスキップされると示されるべきブロックを、ＩＴＵのＨ．２６３及びＨ．２６４標準の他の直裁的実施例より早い符号化過程段階で、検出する方法を提供する。
【００１８】
本発明の好ましい実施例に依れば、スキップされるとラベル付けされるブロックを発見する時は、各１つの１６×１６マクロブロックが考慮に入れられる。該主要意志決定過程を行う前に、それぞれのマクロブロック上で幾つかの予備的過程が必要となる。
【００１９】
該予備過程の第１は、いわゆるスキップベクトル（ｓｋｉｐ  ｖｅｃｔｏｒ）を見出すことを狙う。スキップベクトルの導出は、Ｈ．２６４で規定される様に、１６×１６ブロック用の対応する運動ベクトルの予測（ｐｒｅｄｉｃｔｉｏｎ）に追随する。主な差は、該１６×１６予測ベクトル（ｐｒｅｄｉｃｔｉｏｎ  ｖｅｃｔｏｒ）が存在しない或る条件で該スキップベクトルはゼロにセットされることである。これらの条件は又該Ｈ．２６４標準でも規定される。１６×１６マクロブロックの該スキップベクトルは近くのそして既に符号化されたマクロブロック（ｎｅａｒｂｙ  ａｎｄ  ａｌｒｅａｄｙ  ｃｏｄｅｄ  ｍａｃｒｏ  ｂｌｏｃｋ）のベクトルにより規定される。該手順はＨ．２６４に良く規定されている。次いで、該得られたスキップベクトルに基づき、懸案の該マクロブロック用の次の過程へ進むべきか否かの決定が行われる。進めるための、すなわち、該マクロブロックが早期段階でスキップされると規定されるための候補であると仮定するための、基準（ｃｒｉｔｅｒｉｏｎ）は該スキップベクトルが、Ｈ．２６３に依る時、ゼロに等しいことであってもよい。これは、その状況が全く運動が無いことで更にチェックされるのみであることを意味するのに、Ｈ．２６４は又、ゼロと異なるスキップベクトル予測でスキップされるとマクロブロックを規定する余地を残している。しかしながら、下記では、該スキップベクトルはゼロに等しいと決定されると仮定する。
【００２０】
次の予備的過程は、符号化されるべき該マクロブロックと、前に復号されたフレーム内
に一緒に置かれたブロックと、の間の画素毎の差として規定された残余（ｒｅｓｉｄｕａｌ）を見出すことである。これは多くの処理容量を要しない極めて直裁的過程である。ゼロに等しい該スキップベクトルの上記仮定は、該残余が、前に一緒に置かれたブロックから現在のマクロブロックの画素を引き算することにより見出されることを意味し、相対的空間的オフセットを有するブロックでない。
【００２１】
スキップ検出過程の該予備過程を通った後、その少なくとも１部分でもスキップされると分類される予め規定された基準を充たすかどうかを見るために該マクロブロックを調査する時が来る。
【００２２】
スキップ検出の最も直線的前進方法は唯画素ベースの残余のみに基づくだろう。或るしきい値が規定され得て、該基準は画素の最大、平均又は或る他の組み合わせがこのしきい値を超えるかどうかと成り得る。
【００２３】
他方、該マクロブロックを符号化する時、変換は該残留画素値（ｒｅｓｉｄｕａｌ  ｐｉｘｅｌ  ｖａｌｕｅｓ）に関して行われる。次の量子化過程は、最低の決定値の下の全ての変換値がゼロにセットされるので、多くのゼロ値を導入しそうである。もし量子化後全ての該変換係数がゼロであるなら、そのマクロブロックはスキップされると規定されるであろう。該変換値の最低決定値は画素ドメイン内のしきい値へ直接導き出されないので、該画素ドメイン内のしきい値との比較は、該変換ドメイン内で同じ比較を行うのとは異なる結果を与えることが多い。他方、該変換を行い、次に、ゼロで充たされたブロックを見出すために全ての係数のチェックをすることは容量消費的（ｃａｐａｃｉｔｙ  ｃｏｎｓｕｍｉｎｇ）である。
【００２４】
本発明に依れば、該普通の変換の前にスキップされるブロックを検出する目的で、代わりに簡単でより容易な変換（ａ  ｓｉｍｐｌｉｆｉｅｄ  ａｎｄ  ｌｅｓｓ  ｄｅｍａｎｄｉｎｇ  ｔｒａｎｓｆｏｒｍ）を導入することにより、スキップされるブロックの完全な変換（ｆｕｌｌ  ｔｒａｎｓｆｏｒｍ）を避ける。該簡単な変換を図解するために、図１はＨ．２６４による画像画素の分割（ｐａｒｔｉｔｉｏｎｉｎｇ）の１部分を示す。１６×１６のマクロブロックは１６の４×４ブロックに分けられ、４×４変換係数に帰着する２次元整数変換により各４×４ブロック上の変換用に準備する。Ｈ．２６４により真の変換（ｒｅａｌ  ｔｒａｎｓｆｏｒｍ）で使われるべき変換は４×４整数タイプ変換であり、その係数は、該変換されるブロックの上左値（ｕｐｐｅｒ  ｌｅｆｔ  ｖａｌｕｅ）が全画素の和又は平均を表すようオーガナイズ（ｏｒｇａｎｉｚｅｄ）される。我々が右及び下へ動くと、該変換係数は水平と垂直により高い周波数からの寄与を表す。その信号の大部分の”エネルギー”は従って該変換の低い周波数（上左）寄与の方へ統計的に集中される。該上左の係数はデーシー係数（ＤＣ  ｃｏｅｆｆｉｃｉｅｎｔ）と称されることが多い。かくして、４×４ブロック内の上左の方へ該４つの係数上で集中することは充分であると仮定することは合理的であろう。これらの係数は図１では影付きになっている。使われる変換により、変換されるべき値のエネルギーの大部分を表す該デーシー係数及び他の”低い周波数の”係数は、最上部の、左のコーナーに配置されるよう制限されないことを注意しておく。
【００２５】
概して、ブロックの該”低い周波数の”係数は該ブロックの低い座標位置に配置される。
【００２６】
しかしながら、前に指示した様に、簡単化された変換は、本発明により、スキップされるブロックの検出に使われる。本発明の好ましい実施例の変換はアダマール変換（Ｈａｄａｍａｒｄ  ｔｒａｎｓｆｏｒｍ）から演繹される。該４×４整数タイプ変換と異なり、アダマール変換の基底ベクトル（ｂａｓｉｓ  ｖｅｃｔｏｒ）の要素は２進値＋１と−１
のみを取る。それらは、従って、計算簡素化が要求されるデジタル信号処理応用に良く適合している。該簡単化された変換の該基底ベクトルは下記で示される。
【００２７】
１  １  １  １      １  １−１−１
１  １  １  １      １  １−１−１
１  １  １  １      １  １−１−１
１  １  １  １      １  １−１−１
１  １  １  １      １  １−１−１
１  １  １  １      １  １−１−１
−１−１−１−１    −１−１  １  １
−１−１−１−１    −１−１  １  １
ブロック用係数は該ブロックを、それぞれの係数位置に組み合わされる基底ベクトルと掛け算することにより導き出される。上記基底ベクトルを用いると、該計算は加算と引き算とに帰せられる。この様な変換は２進変換（ｂｉｎａｒｙ  ｔｒａｎｓｆｏｒｍ）と呼ばれる。該４つの上部左の係数を導き出すための上記基底ベクトルの使用はＨ．２６４で指定される４×４整数タイプ変換の対応する係数に可成り近い結果を提供する。事実、最上部左の係数は真の変換と同一になろう。結果として、該４×４整数タイプ変換のデーシー係数用の最低決定レベルは該簡単化された変換のそれぞれの４つの係数用のしきい値として直接使用され得る。
【００２８】
この方法では、これら４つの係数が統計的に最も大きいことが知られているので、そしてもし該４つの係数が該しきい値の下にあるなら残りの係数がゼロであると仮定する場合、ゼロ係数を検出するための非常によいテストが達成される。
【００２９】
本発明は変換及び量子化の前に係数ゼロを検出する簡単な方法を提供し、該方法は運動ベクトル探索の回避による可成りの計算節約と、より少ない変換及び量子化と、の結果をもたらす。
【００３０】
更に、本発明は、変化を有しない出来るだけ多くのマクロブロックと、それが符号化されるべき時にスキップされるよう規定される出来るだけ少ないマクロブロックと、の良好なバランスを表す。
【００３１】
本発明は又ゼロに近い値の変換の数の削減により変換で導入されるノイズを制限する。
【００３２】
本発明をより容易に理解可能にするために付随する議論は付属する図面を参照する。
【図面の簡単な説明】
【００３３】
【図１】４×４画素ブロックに分けられた１つの１６×１６マクロブロックを示しており、該４×４画素ブロックは更に４ｘ４変換ブロックに分けられる。
【図１】
2007521740.tif 000003
【国際調査報告】
2007521740.tif 000004
2007521740.tif 000005
2007521740.tif 000006