(57)【要約】  本発明は圧縮規格Ｈ．２６４／ＡＶＣの拡張版又は他の同様の規格内で種々のビデオ解像度を扱うことに関する。本発明は上記の４：２：２及び４：４：４のようなフォーマットを含めるために規格の拡張を提供する。その方法はＨ．２６４／ＡＶＣ内で既にクロミナンスが処理されている方法に基づいている。
2007502595.tif 000002
【特許請求の範囲】
【請求項１】
動画の残差クロミナンスのピクセル値の第一のｍ×ｎマクロブロックを第一の整数変換関数により変換して、対応する整数変換係数の第二のｍ×ｎマクロブロックを発生し、さらに、整数変換係数のＤＣ値を第二の整数変換関数により変換して、整数変換されたＤＣ係数の第三のブロックを発生するためのビデオのコーディング方法で、
第一のｍ×ｎマクロブロックの各ｋ×ｋサブブロックにｋ×ｋ整数変換関数を用いることにより整数変換係数の第二のｍ×ｎマクロブロックを発生すること、ここでｎ及びｍはｋの倍数であること、
ＤＣ値に第二のｉ×ｊ整数変換関数を用いることにより、第三のブロックの係数を発生し、整数変換されたＤＣ係数の（ｍ／ｋ）×（ｎ／ｋ）の第三のブロックを得ること、
を特徴とする方法。
【請求項２】
ｋ＝４、ｍ＝８及びｎ＝８であることを特徴とする請求項１に基づく方法。
【請求項３】
ｋ＝４、ｍ＝１６及びｎ＝８であることを特徴とする請求項１に基づく方法。
【請求項４】
ｋ＝４、ｍ＝１６及びｎ＝１６であることを特徴とする請求項１に基づく方法。
【請求項５】
ｉ＝ｍ／ｋ及びｊ＝ｎ／ｋであることを特徴とする前記請求項のひとつに基づく方法。
【請求項６】
そのビデオのコーディングがＨ．２６４に基づいて行なわれることを特徴とする前記請求項のひとつに基づく方法。
【請求項７】
整数変換関数がＨａｄａｍａｒｄ変換であることを特徴とする前記請求項のひとつに基づく方法。
【請求項８】
さらに、
ｍ個の上方に配置され、隣接しているピクセル（ａｌｎｐ：  ａｂｏｖｅ−ｌｙｉｎｇ  ｎｅｉｇｈｂｏｒｉｎｇ  ｐｉｘｅｌｓ）及びｎ個の左方に配置され、隣接しているピクセル（ｌｌｎｐ：  ｌｅｆｔ−ｌｙｉｎｇ  ｎｅｉｂｏｒｉｎｇ  ｐｉｘｅｌｓ）により、
（２×（ｍ個のａｌｎｐの合計）＋（ｎ個のｌｌｎｐの合計））／２×ｍ
の表示に基づき、第一のｍ×ｎマクロブロックに関連するひとつのＤＣ値を予測すること、
のステップを含むことを特徴とする請求項１に基づく方法。
【請求項９】
ｍ＝８及びｎ＝１６で、かつ、その表示内の除算がシフト操作により行なわれることを特徴とする請求項８に基づく方法。
【請求項１０】
第一の逆整数変換関数により整数変換されたＤＣ係数の第一ブロックを変換して、整数変換係数の第一のｍ×ｎマクロブロックのいくつかのＤＣ値を発生させ、それが第二の逆整数変換関数により変換されて、動画の残差クロミナンスのピクセル値の第二のｍ×ｎマクロブロックを発生するためのビデオのデコーディングの方法で、
整数変換されたＤＣ係数の第一のブロックに、第一のｉ×ｊ逆整数変換関数を用いることにより整数変換係数の第一のｍ×ｎマクロブロックのその数のＤＣ値を発生すること、
整数変換係数の第一のｍ×ｎマクロブロックのｋ×ｋサブブロックのそれぞれにｋ×ｋ逆整数変換関数を用いることにより残差クロミナンスのピクセル値の第二のｍ×ｎマクロブロックを発生すること、この場合、ｎ及びｍはｋの倍数であり、かつ、整数変換されたＤＣ係数の第一ブロックが（ｍ／ｋ）×（ｎ／ｋ）のサイズであること、
を特徴とする方法。
【請求項１１】
ｋ＝４、ｍ＝８、ｎ＝８を特徴とする請求項１０に基づく方法。
【請求項１２】
ｋ＝４、ｍ＝１６、ｎ＝８を特徴とする請求項１０に基づく方法。
【請求項１３】
ｋ＝４、ｍ＝１６、ｎ＝１６を特徴とする請求項１０に基づく方法。
【請求項１４】
ｉ＝ｍ／ｋ及びｊ＝ｎ／ｋを特徴とする前記請求項のひとつに基づく方法。
【請求項１５】
ビデオのコーディングがＨ．２６４規格に基づいて実施されることを特徴とする請求項１０−１４のひとつに基づく方法。
【請求項１６】
整数変換関数がＨａｄａｍａｒｄ変換であることを特徴とする請求項１０−１５のひとつに基づく方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は圧縮規格Ｈ．２６４／ＡＶＣの拡張版又は他の同様の規格内で種々のピクチュア（ｐｉｃｔｕｒｅ）解像度を扱うことに関する。
【背景技術】
【０００２】
動画の実時間伝送が、例えば、テレビ会議、ネット会議、テレビ放送及びテレビ電話のようないくつかの用途で用いられている。
【０００３】
しかしながら、動画の表現には膨大な情報を必要としていて、典型的には、デジタルビデオ（ｄｉｇｉｔａｌ  ｖｉｄｅｏ）は、８ビット（ｂｉｔ）（１バイト（Ｂｙｔｅ））以上を有するピクチュア内の各ピクセル（ｐｉｘｅｌ）を表現することにより記述されている。そのような非圧縮のビデオデータ（ｖｉｄｅｏ  ｄａｔａ）は大きなビット量になり、従来の通信ネットワーク（ｎｅｔｗｏｒｋ）及び伝送線では、限られた帯域により実時間で伝送できない。
【０００４】
それゆえ、実時間ビデオ伝送を可能にするには、大幅なデータ圧縮を必要とする。しかしながら、データ圧縮は画質を損なう。それゆえ、帯域で制限されたデータ接続で高画質のビデオを実時間伝送できる圧縮技術を開発するための大きな努力が行なわれている。
【０００５】
ビデオ圧縮システムでは、その主目標は可能な限り小さな容量でビデオ情報を表現することである。容量は、一定値として又はビット／時間の単位として、ビットにより定義される。両方の場合、主目標はビット数を低減することである。
【０００６】
最も普通のビデオコーディング（ｖｉｄｅｏ  ｃｏｄｉｎｇ）方法はＭＰＥＧ＊及びＨ．２６＊の規格で記述されている。そのビデオデータは伝送前に主要な４工程で処理される。即ち、予測、変換、定量化及びエントロピー（ｅｎｔｒｏｐｙ）コーディングである。
【０００７】
予測工程は伝送すべきビデオシーケンス（ｖｉｄｅｏ  ｓｅｑｕｅｎｃｅ）内の各ピクチュア（ｐｉｃｔｕｒｅ）に必要なビット量を有意に低減する。シーケンスの一部とそのシーケンスの他の部分の類似性を利用する。予測部の一部がエンコーダー（ｅｎｃｏｄｅｒ）とデコーダー（ｄｅｃｏｄｅｒ）の両方に知られているので、差のみを伝送すればよい。典型的にこの差が表現に必要な容量を大きく低減する。その予測は主として移動を表現するベクトル（ｖｅｃｔｏｒ）に基づいている。その予測工程は典型的には正方形のブロックサイズ（ｂｌｏｃｋ  ｓｉｚｅｓ）（例えば、１６×１６ピクセル）上で行なわれる。
【０００８】
Ｈ．２６４／ＡＶＣと同様なある場合に、先行するピクチャーのピクセルの代わりに、同じピクチャー内の隣接ピクセルに基づくピクセルの予測を用いていることに留意されたい。これは、相互予測に対して、内部予測と呼ばれる。図４に太字で示されたピクセルはそのような隣接ピクセルである。Ｈ．２６４／ＡＶＣでは、ルミナンス（ｌｕｍｉｎａｎｃｅ）ブロック（ｂｌｏｃｋ）とクロミナンス（ｃｈｒｏｍｉｎａｎｃｅ）ブロックの両方でそのような予測を行なうために多様なモード（ｍｏｄｅ）がある。その予測モードのひとつはＤＣ予測と呼ばれる。それは同じ値を持つブロック内の全てのピクセルを予測する。残差のコーディングに用いる特定変換の特性を考慮したとき、それは、予測無しにブロックデータ（ｂｌｏｃｋ  ｄａｔａ）を変換するのと比較して、残差のブロックデータのＤＣ係数のみを変えることを意味する。全てのＡＣ係数を変更しない。この理由で、その予測モードはＤＣ予測と名付けられる。
【０００９】
データのブロック（例えば、４×４のピクセル）として表現された残差の部分には依然として内部相関性が含まれる。これを利用する良く知られた方法は、二次元ブロック変換を実施することである。Ｈ．２６３では、８×８の離散的余弦変換（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：ＤＣＴ）を用いている。一方、Ｈ．２６４は４×４の整数型変換を用いている。これは４×４ピクセルを４×４の変換係数に変換する。それらは通常ピクセル表現よりも少ないビットで表現できる。内部相関性を持つ４×４のピクセルのアレー（ａｒｒａｙ  ｏｆ  ｐｉｘｅｌｓ）の変換が多分４×４の変換係数のブロックになり、最初の４×４のピクセル・ブロックより非ゼロ値がずっと少なくなる。
【００１０】
マクロブロック（ｍａｃｒｏ  ｂｌｏｃｋ）はクロミナンス（ｃｈｒｏｍｉｎａｎｃｅ：ｃｈｒｏｍａ）だけでなく、ルミナンス（ｌｉｍｉｎａｎｃｅ：ｌｕｍａ）のためのいくつかのサブブロックから成るピクチャーの一部である。
【００１１】
典型的に、ルミナンスと比較して、水平及び垂直の両方で半分の解像度を有する２種のクロミナンス成分（Ｃｒ，Ｃｂ）がある。これは例えばカメラ・センサー（ｃａｍｅｒａ  ｓｅｎｓｏｒ）及びモニター・ディスプレー（ｍｏｎｉｔｏｒ  ｄｉｓｐｌａｙ）で典型的に用いる表現であるＲＧＢ（赤ｒｅｄ，緑ｇｒｅｅｎ、青ｂｌｕｅ）とは対照的である。図１ではマクロブロックは１６×１６のルミナンス・ピクセル及び２種のそれぞれ８×８のピクセルを有する２種のクロミナンス成分から成る。各成分はさらに小さな正方形により表現される４×４のブロックに分割される。コーディングの目的で、ｌｕｍａとｃｈｒｏｍａの両方の４×４のブロックはお互いに８×８のサブブロックにまとめられ、Ｙ０−Ｙ３及びＣｒ、Ｃｂと指定される。このフォーマット（ｆｏｒｍａｔ）のｃｈｒｏｍａの部分がある場合に４：２：０として表示され、図２の左に示している。略図は必ずしも一目瞭然ではない。それは垂直だけでなく水平でもクロミナンスがルミナンスの半分の解像度を有していることを意味する。従来のビデオ・フォーマットＣＩＦの場合、これはルミナンス・フレーム（ｌｕｍｉｎａｎｃｅ  ｆｒａｍｅ）が３５２×２８８のピクセルを有しているがそのクロミナンス成分のそれぞれが１７６×１４４のピクセルを有していることを意味する。
【００１２】
別のフォーマットでは、４：２：２の表示で、図２の中央部分に示されていて、クロミナンスは水平方向でルミナンス解像度の半分を有し、垂直方向でルミナンスと同じ解像度を有している。このフォーマットは典型的に高画質インターレース（ｉｎｔｅｒｌａｃｅｄ）処理されたテレビ信号に用いられ、そのインターレース構造が垂直方向でクロミナンスの半分の解像度を用いるのにある種の問題を生じている。
【００１３】
さらに別のフォーマットでは、４：４：４の表示で、図２の右に示されているが、ルミナンスとクロミナンスの信号が水平方向と垂直方向の両方で同じ解像度を有している。典型的な応用分野のひとつはルミナンスとクロミナンスが同じ解像度を持つことが望ましいように、色を用いているグラフィックス（ｇｒａｐｈｉｃｓ）材料である。
【００１４】
特許文献には、ビデオのエンコーディング（ｅｎｃｏｄｉｎｇ）／デコーディング（ｄｅｃｏｄｉｎｇ）及び圧縮方法を開示している例がある。特に特許文献１に言及すべきで、これは４：２：２又は４：２：０のフォーマットでルミナンス及びクロミナンスのデータを含むピクセルブロックの形で圧縮解除されたＭＰＥＧでコード化したデジタル・ビデオ信号から予測誤差値を受信し、かつ、事前決定された解像度にそのピクセルブロックを再圧縮するイメージ・プロセッサー（ｉｍａｇｅ  ｐｒｏｃｅｓｓｏｒ）を開示している。ルミナンスとクロミナンスのデータは再圧縮の際に異なる圧縮法則により処理される。ルミナンスのデータはピクセル当たり平均６ビットに再圧縮されるが、クロミナンスのデータはピクセル当たり平均４ビットに再圧縮される。それで、この特許は４：２：２及び４：２：０のフォーマット上のデータのビット圧縮を行なう方法を開示している。それゆえ、複数のフォーマットを用いる一般的方法ではない。
【００１５】
さらに、特許文献２がルミナンス行列と２個のクロミナンス行列により代表される一連のフレーム（ｆｒａｍｅ）を含む入力信号（ｉｎｐｕｔ  ｓｉｇｎａｌ：ＩＳ）に加えられるビデオ・コーディングのための方法を開示している。
【００１６】
前述のように、多くのビデオ・コーディングの規格は主として、４：２：０のために設計されている。ＭＰＥＧ２プロフェショナル・プロフィール（ｐｒｏｆｅｓｓｉｏｎａｌ  ｐｒｏｆｉｌｅ）は特別なクロミナンス・ブロック配置を用いて４：２：２をカバーしている。同じことがＨ，２６３にあてはまる。一般的に、これは、各フォーマットが特別な解決策を必要とすることを意味する。
【特許文献１】米国特許第６，２５６，３４７  Ｂ１号明細書
【特許文献２】米国特許出願第２００３／００４３９２１  Ａ１号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１７】
本発明の目的は、４：２：０、４：２：２、４：４：４のような種々のビデオ・フォーマットのエンコーディング／デコーディングに対する統一した解決策を提供することである。
【課題を解決するための手段】
【００１８】
特に、本発明は第一の整数変換関数により動画の残差クロミナンスのピクセル値の第一のｍ×ｎマクロブロックを変換して、対応する整数変換係数の第二のｍ×ｎマクロブロックを発生し、さらに、整数変換係数のＤＣ値を第二の整数変換関数により変換して、整数変換されたＤＣ係数の第三のブロックを発生する。この方法にはさらに第一のｍ×ｎマクロブロックの各ｋ×ｋサブブロック上にｋ×ｋ整数変換関数を用いることにより第二のｍ×ｎマクロブロックの整数変換係数を発生するステップが含まれている。ここで、ｎとｍはｋの倍数である。次ぎに、ＤＣ値に第二のｉ×ｊ整数変換関数を用いることにより第三のブロックの係数を発生させて、（ｍ／ｋ）×（ｎ／ｋ）の第三のブロックの整数変換されたＤＣ係数を得る。
【００１９】
さらに、本発明はビデオのコーディング方法の逆になっているビデオのデコーディングの方法を提供している。
【００２０】
本発明を理解しやすくするために、以下の議論は添付図面を参照して行なっている。
【実施例１】
【００２１】
本発明は上記の４：２：２及び４：４：４のようなフォーマットを含めるためにＨ．２６４／ＡＶＣビデオ・コーディング規格の拡張を行なっている。その方法はクロミナンスがＨ．２６４／ＡＶＣで既に処理されている方法に基づいている。マクロブロックは１６×１６ルミナンス・ピクセルとそれぞれが８×８ピクセルを有する２個のクロミナンス要素を有するピクチュアの一部から成っている。これは図２内に示され、４：２：０と表示されている。
【００２２】
記述は主としてエンコーディング工程に関している。しかしながら、これは、デコーディングの実施方法と関連している。このことは、例えば、エンコーダー（ｅｎｃｏｄｅｒ）での変換が２段階で行なわれる場合、デコーダー（ｄｅｃｏｄｅｒ）が２段階で逆変換を実施しなければならないことを意味する。一般的に、「コーディング（ｃｏｄｉｎｇ）」の用語は多くの場合エンコーディング（ｅｎｃｏｄｉｎｇ）とデコーディング（ｄｅｃｏｄｉｎｇ）の全工程を含めた短い表現として使用される。本発明はエンコーディングとデコーディングの両方を含むように定義されたコーディング工程全体をカバーしている。
【００２３】
本発明の第一の側面は残差信号を記述するコーディングに関する。Ｈ．２６４／ＡＶＣで、クロミナンスの残差信号は２段階の変換を用いて記述されている。図２の４：２：０のボックスは８×８ピクセルのクロミナンス・ブロックが４×４ピクセルのサブブロックに分割されていることを示している。４×４のサブブロックのそれぞれの残差信号が４×４の変換をされて、１個のＤＣ係数と１５のＡＣ係数が得られる。そのＤＣ係数は４×４ブロックの平均値になる。
【００２４】
本発明の第一の側面に基づくと、クロミナンス残差信号の第一の変換の４×４というブロック・サイズ（ｂｌｏｃｋ  ｓｉｚｅ）が維持される。そして、そのようなサブブロックの数は種々のピクチュア・フォーマットで違う。一般的表示では、ｋ×ｋ変換をｍ×ｎ（ｍは水平方向、ｎは垂直方向）のクロミナンス・ピクセルのマクロブロック上で用いる。
【００２５】
図３に示すように、４×４ブロックのそれぞれのＤＣ係数をさらに変換するのに２×２変換を行なう。一般的な場合で、ＤＣ係数に対するｉ×ｊ変換が用いられる。ｉとｊは、ｉ×ｋ＝マクロブロック内でクロミナンスのピクセルの水平方向の数であり、ｊ×ｋ＝マクロブロック内でクロミナンスのピクセルの垂直方向の数となるような値を持つ。変換のタイプ（ｔｙｐｅ）は二次元のＨａｄａｍａｒｄ変換になるように選択するのが好ましい。
【００２６】
さらに、本発明は、コーディングの内部予測の部分に関している。本発明の好ましい実施例では、４：２：２フォーマットに対するＤＣ予測が提供される。ＤＣ予測が、全ブロックに対してひとつの値を予測する。この場合、８×１６ブロック内の全てのピクセルに対してひとつの値を、隣接していて、既にコーディングとデコーディングが行なわれたピクセルから予測することを希望する。これは図４に示され、図４では、８×１６を太字で示された２４の隣接するピクセルから予測する。
【００２７】
自然の予測では太字の２４個全てのピクセルの平均をとる。
【００２８】
予測値＝合計（２４個の隣接するピクセル）／２４
しかしながら、２４による除算を避けるのが望ましい。それゆえ、我々は以下の定義を用いる：
予測値＝（２×合計（８個のピクセル、上方）
＋合計（１６個のピクセル、左方）／３２
この方法で、３２による除算はシフト（ｓｈｉｆｔ）操作により容易に行なえる。
【００２９】
一般的な場合で、シフト操作の利点を利用するために、サイズ２ｑ×２ｒの長方形ブロックでＤＣ予測を実施しなければならない。ここでｑ及びｒは整数である。ｑ＞ｒで、かつ、ｑはブロックの第一の寸法を表現するように定義されていて、ｒはブロックの第二の寸法を表現するように定義されている。第一の寸法は垂直のサイズを示し、第二の寸法はブロックの水平のサイズを示すか、その逆である。ブロックのＤＣ予測は以下の形になっている：
予測値＝（合計（第一の寸法までの隣接ピクセル）＋２（ｑ−ｒ）
×（合計（第二の寸法までの隣接ピクセル）／２（ｑ＋１）
上記に続いて、ｍ＝２ｑ及びｎ＝２ｒである。
【００３０】
本発明を用いて、図２の４：２：２及び４：４：４に示すように、マクロブロックのクロミナンス・ピクセルが４×４のサブブロックに分割される。そして、各サブブロックが４×４の変換を受ける。図３に示すように、ＤＣ係数の第二段階の変換は２個の高位フォーマットのためのサイズ２×４及び４×４になる。そこで、種々のフォーマットのコーディングの間の主な差は二次残差のクロミナンス変換である。
【００３１】
本発明の範囲はＨ．２６４／ＡＶＣに限定されないことに留意されない。例えば、ＳＩＰのような他のビデオ・コーディング規格と関連して、有利に利用しうる。
【図面の簡単な説明】
【００３２】
【図１】１６ｘ１６ルミナンス・ピクセルとそれぞれ８ｘ８ピクセルを持つ２種のクロミナンス成分から成る４：２：０フォーマットを持つマクロブロックを４ｘ４ブロックに分割し、さらに、４個の４ｘ４ブロックのサブグループに配置する方法を示している。さらに、４個のクロミナンス・ブロックのそれぞれからＤＣ係数を差し引いて、２ｘ２ブロックから成る別々のクロミナンスＤＣ要素を形成する方法を示している。
【図２】種々のピクチャー・フォーマットのマクロブロック内のクロミナンス・ピクセルの一要素を示している。
【図３】種々のフォーマットに対するＤＣ値の第二段階の変換を示す。
【図４】８×１６ブロックのＤＣ予測の根拠を示す。
【符号の説明】
【００３３】
ｍ      水平方向の数でｋの倍数
ｎ      垂直方向の数でｋの倍数
ｋ      部分行列のサイズ
ｉｘｋ  マクロブロック内でクロミナンスのピクセルの水平方向の数
ｊｘｋ  マクロブロック内でクロミナンスのピクセルの垂直方向の数
ｌｕｍａ    ルミナンス
ｃｈｒｏｍａ  クロミナンス
Ｃｒ，  Ｃｂ  クロミナンス成分
Ｃｒ−ｄｃ；Ｃｂ−ｄｃ  クロミナンス成分のＤＣ値
Ｃｒ−ａｃ；Ｃｂ−ａｃ  クロミナンス成分のＡＣ値
【図１】
2007502595.tif 000003
【図２】
2007502595.tif 000004
【図３】
2007502595.tif 000005
【図４】
2007502595.tif 000006
【手続補正書】
【提出日】平成17年3月9日(2005.3.9)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動画内の種々のクロミナンスのフォーマットを均一に変換するためのビデオのコーディング方法で、ここで、残差クロミナンスのピクセル値の第一のｍ×ｎマクロブロックを第一の整数変換関数により変換して、対応する整数変換係数の第二のｍ×ｎマクロブロックを発生し、さらに、整数変換係数のDC値を第二の整数変換関数により変換して、整数変換されたDC係数の第三のブロックを発生し、
第一のｍ×ｎマクロブロックの各ｋ×ｋサブブロックにｋ×ｋ整数変換関数を用いることにより整数変換係数の第二のｍ×ｎマクロブロックを発生すること、ここでｎ及びｍはｋの倍数であり、ｋは種々のクロミナンスのフォーマットに対して固定されていること、
DC値に第二のｉ×ｊ整数変換関数を用いることにより、第三のブロックの係数を発生し、整数変換されたDC係数の（ｍ／ｋ）×（ｎ／ｋ）の第三のブロックを得ること、ここで、ｉ及びｊは種々のクロミナンスのフォーマットに対して固定されていないこと、
を特徴とする方法。
【請求項２】
ｋ＝４、ｍ＝８及びｎ＝８であることを特徴とする請求項１に基づく方法。
【請求項３】
ｋ＝４、ｍ＝１６及びｎ＝８であることを特徴とする請求項１に基づく方法。
【請求項４】
ｋ＝４、ｍ＝１６及びｎ＝１６であることを特徴とする請求項１に基づく方法。
【請求項５】
ｉ＝ｍ／ｋ及びｊ＝ｎ／ｋであることを特徴とする前記請求項のひとつに基づく方法。
【請求項６】
そのビデオのコーディングがH.264に基づいて行なわれることを特徴とする前記請求項のひとつに基づく方法。
【請求項７】
整数変換関数がHadamard変換であることを特徴とする前記請求項のひとつに基づく方法。
【請求項８】
さらに、
ｍ個の上方に配置され、隣接しているピクセル(alnp: above-lying neighboring pixels)及びｎ個の左方に配置され、隣接しているピクセル(llnp: left-lying neiboring pixels)により、
（２×（ｍ個のalnpの合計）＋（ｎ個のllnpの合計））／２×(ｍ+ｎ)
の表示に基づき、第一のｍ×ｎマクロブロックに関連するひとつのDC値を予測すること、のステップを含むことを特徴とする請求項１に基づく方法。
【請求項９】
ｍ＝８及びｎ＝１６で、かつ、その表示内の除算がシフト操作により行なわれることを特徴とする請求項８に基づく方法。
【請求項１０】
動画内の種々のコーディングされたクロミナンスのフォーマットを均一に変換するためのビデオのコーディング方法で、ここで、整数変換されたDC係数の第一ブロックを第一の逆整数変換関数により変換して、整数変換係数の第一のｍ×ｎマクロブロックのいくつかのDC値を発生させ、それが第二の逆整数変換関数により変換されて、動画の残差クロミナンスのピクセル値の第二のｍ×ｎマクロブロックを発生していて、
整数変換されたDC係数の第一のブロックに、第一のｉ×ｊ逆整数変換関数を用いることにより整数変換係数の第一のｍ×ｎマクロブロックのその数のDC値を発生すること、ここで、ｉ及びｊは種々のクロミナンスのフォーマットに対して固定されていないこと、
整数変換係数の第一のｍ×ｎマクロブロックのｋ×ｋサブブロックのそれぞれにｋ×ｋ逆整数変換関数を用いることにより残差クロミナンスのピクセル値の第二のｍ×ｎマクロブロックを発生すること、この場合、ｎ及びｍはｋの倍数であり、ｋは種々のクロミナンスのフォーマットに対して固定されていること、かつ、整数変換されたDC係数の第一ブロックが（ｍ／ｋ）×（ｎ／ｋ）のサイズであること、
を特徴とする方法。
【請求項１１】
ｋ＝４、ｍ＝８、ｎ＝８を特徴とする請求項１０に基づく方法。
【請求項１２】
ｋ＝４、ｍ＝１６、ｎ＝８を特徴とする請求項１０に基づく方法。
【請求項１３】
ｋ＝４、ｍ＝１６、ｎ＝１６を特徴とする請求項１０に基づく方法。
【請求項１４】
ｉ＝ｍ／ｋ及びｊ＝ｎ／ｋを特徴とする前記請求項のひとつに基づく方法。
【請求項１５】
ビデオのコーディングがH.264規格に基づいて実施されることを特徴とする請求項１０−１４のひとつに基づく方法。
【請求項１６】
整数変換関数がHadamard変換であることを特徴とする請求項１０−１５のひとつに基づく方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は圧縮規格H.264/AVCの拡張版又は他の同様の規格内で種々のピクチュア(picture)解像度を扱うことに関する。
【背景技術】
【０００２】
動画の実時間伝送が、例えば、テレビ会議、ネット会議、テレビ放送及びテレビ電話のようないくつかの用途で用いられている。
【０００３】
しかしながら、動画の表現には膨大な情報を必要としていて、典型的には、デジタルビデオ(digital video)は、８ビット(bit)（１バイト(Byte)）以上を有するピクチュア内の各ピクセル(pixel)を表現することにより記述されている。そのような非圧縮のビデオデータ(video data)は大きなビット量になり、従来の通信ネットワーク(network)及び伝送線では、限られた帯域により実時間で伝送できない。
【０００４】
それゆえ、実時間ビデオ伝送を可能にするには、大幅なデータ圧縮を必要とする。しかしながら、データ圧縮は画質を損なう。それゆえ、帯域で制限されたデータ接続で高画質のビデオを実時間伝送できる圧縮技術を開発するための大きな努力が行なわれている。
【０００５】
ビデオ圧縮システムでは、その主目標は可能な限り小さな容量でビデオ情報を表現することである。容量は、一定値として又はビット／時間の単位として、ビットにより定義される。両方の場合、主目標はビット数を低減することである。
【０００６】
最も普通のビデオコーディング(video coding)方法はMPEG＊及びH.26＊の規格で記述されている。そのビデオデータは伝送前に主要な４工程で処理される。即ち、予測、変換、定量化及びエントロピー(entropy)コーディングである。
【０００７】
予測工程は伝送すべきビデオシーケンス(video sequence)内の各ピクチュア(picture)に必要なビット量を有意に低減する。シーケンスの一部とそのシーケンスの他の部分の類似性を利用する。予測部の一部がエンコーダー(encoder)とデコーダー(decoder)の両方に知られているので、差のみを伝送すればよい。典型的にこの差が表現に必要な容量を大きく低減する。その予測は主として移動を表現するベクトル(vector)に基づいている。その予測工程は典型的には正方形のブロックサイズ(block sizes)(例えば、16×16ピクセル)上で行なわれる。
【０００８】
H.264/AVCと同様なある場合に、先行するピクチャーのピクセルの代わりに、同じピクチャー内の隣接ピクセルに基づくピクセルの予測を用いていることに留意されたい。これは、相互予測に対して、内部予測と呼ばれる。図４に太字で示されたピクセルはそのような隣接ピクセルである。H.264/AVCでは、ルミナンス(luminance)ブロック(block)とクロミナンス(chrominance)ブロックの両方でそのような予測を行なうために多様なモード(mode)がある。その予測モードのひとつはＤＣ予測と呼ばれる。それは同じ値を持つブロック内の全てのピクセルを予測する。残差のコーディングに用いる特定変換の特性を考慮したとき、それは、予測無しにブロックデータ(block data)を変換するのと比較して、残差のブロックデータのＤＣ係数のみを変えることを意味する。全てのＡＣ係数を変更しない。この理由で、その予測モードはＤＣ予測と名付けられる。
【０００９】
データのブロック（例えば、4×4のピクセル）として表現された残差の部分には依然として内部相関性が含まれる。これを利用する良く知られた方法は、二次元ブロック変換を実施することである。H.263では、８×8の離散的余弦変換(Discrete Cosine Transform: DCT)を用いている。一方、H.264は４×４の整数型変換を用いている。これは４×４ピクセルを４×４の変換係数に変換する。それらは通常ピクセル表現よりも少ないビットで表現できる。内部相関性を持つ４×４のピクセルのアレー(array of pixels)の変換が多分４×４の変換係数のブロックになり、最初の４×４のピクセル・ブロックより非ゼロ値がずっと少なくなる。
【００１０】
マクロブロック(macro block)はクロミナンス(chrominance：chroma)だけでなく、ルミナンス(liminance：luma)のためのいくつかのサブブロックから成るピクチャーの一部である。
【００１１】
典型的に、ルミナンスと比較して、水平及び垂直の両方で半分の解像度を有する２種のクロミナンス成分（Cr, Cb）がある。これは例えばカメラ・センサー(camera sensor)及びモニター・ディスプレー(monitor display)で典型的に用いる表現であるＲＧＢ（赤red，緑green、青blue）とは対照的である。図１ではマクロブロックは１６×１６のルミナンス・ピクセル及び２種のそれぞれ８×８のピクセルを有する２種のクロミナンス成分から成る。各成分はさらに小さな正方形により表現される４×４のブロックに分割される。コーディングの目的で、lumaとchromaの両方の４×４のブロックはお互いに８×８のサブブロックにまとめられ、Y0-Y3及びCr、Cbと指定される。このフォーマット(format)のchromaの部分がある場合に４：２：０として表示され、図２の左に示している。略図は必ずしも一目瞭然ではない。それは垂直だけでなく水平でもクロミナンスがルミナンスの半分の解像度を有していることを意味する。従来のビデオ・フォーマットCIFの場合、これはルミナンス・フレーム(luminance frame)が３５２×２８８のピクセルを有しているがそのクロミナンス成分のそれぞれが１７６×１４４のピクセルを有していることを意味する。
【００１２】
別のフォーマットでは、４：２：２の表示で、図２の中央部分に示されていて、クロミナンスは水平方向でルミナンス解像度の半分を有し、垂直方向でルミナンスと同じ解像度を有している。このフォーマットは典型的に高画質インターレース(interlaced)処理されたテレビ信号に用いられ、そのインターレース構造が垂直方向でクロミナンスの半分の解像度を用いるのにある種の問題を生じている。
【００１３】
さらに別のフォーマットでは、４：４：４の表示で、図２の右に示されているが、ルミナンスとクロミナンスの信号が水平方向と垂直方向の両方で同じ解像度を有している。典型的な応用分野のひとつはルミナンスとクロミナンスが同じ解像度を持つことが望ましいように、色を用いているグラフィックス(graphics)材料である。
【００１４】
前述のように、多くのビデオ・コーディングの規格は主として、４：２：０のために設計されている。ＭＰＥＧ２プロフェショナル・プロフィール(professional profile)は特別なクロミナンス・ブロック配置を用いて４：２：２をカバーしている。同じことがH,263にあてはまる。一般的に、これは、各フォーマットが特別な解決策を必要とし、種々のクロミナンスのピクチャー・フォーマットのために多くの伝達関数のフォーマットを求めていることを意味する。
【特許文献１】米国特許第6,256,347 B1号明細書
【特許文献２】米国特許出願第2003/0043921 A1号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１５】
本発明の目的は、４：２：０、４：２：２、４：４：４のような種々のビデオ・フォーマットのエンコーディング／デコーディングに対する統一した解決策を提供することである。
【課題を解決するための手段】
【００１６】
特に、本発明は動画内で種々のクロミナンスのフォーマットを均一に変換するためのビデオ・コーディングの方法を提供する。ここで、第一の整数変換関数により残差クロミナンスのピクセル値の第一のｍ×ｎマクロブロックを変換して、対応する整数変換係数の第二のｍ×ｎマクロブロックを発生し、さらに、整数変換係数のDC値を第二の整数変換関数
により変換して、整数変換されたDC係数の第三のブロックを発生する。この方法にはさらに第一のｍ×ｎマクロブロックの各ｋ×ｋサブブロック上にｋ×ｋ整数変換関数を用いることにより第二のｍ×ｎマクロブロックの整数変換係数を発生するステップが含まれている。ここで、ｎとｍはｋの倍数である。そして、種々のクロミナンスのフォーマットに対してｋが固定されている。又、DC値に第二のｉ×ｊ整数変換関数を用いることにより第三のブロックの係数を発生させて、（ｍ／ｋ）×（ｎ／ｋ）の第三のブロックの整数変換されたDC係数を得る。ここで、種々のクロミナンスのフォーマットに対してｉ及びｊが固定されていない。
【００１７】
さらに、本発明はビデオのコーディング方法の逆になっているビデオのデコーディングの方法を提供している。
【００１８】
本発明を理解しやすくするために、以下の議論は添付図面を参照して行なっている。
【実施例１】
【００１９】
本発明は上記の４：２：２及び４：４：４のようなフォーマットを含めるためにH.264/AVCビデオ・コーディング規格の拡張を行なっている。その方法はクロミナンスがH.264/AVCで既に処理されている方法に基づいている。マクロブロックは１６×１６ルミナンス・ピクセルとそれぞれが８×８ピクセルを有する２個のクロミナンス要素を有するピクチュアの一部から成っている。これは図２内に示され、４：２：０と表示されている。
【００２０】
記述は主としてエンコーディング工程に関している。しかしながら、これは、デコーディングの実施方法と関連している。このことは、例えば、エンコーダー(encoder)での変換が２段階で行なわれる場合、デコーダー(decoder)が２段階で逆変換を実施しなければならないことを意味する。一般的に、「コーディング(coding)」の用語は多くの場合エンコーディング(encoding)とデコーディング(decoding)の全工程を含めた短い表現として使用される。本発明はエンコーディングとデコーディングの両方を含むように定義されたコーディング工程全体をカバーしている。
【００２１】
本発明の第一の側面は残差信号を記述するコーディングに関する。H.264/AVCで、クロミナンスの残差信号は２段階の変換を用いて記述されている。図２の４：２：０のボックスは８×８ピクセルのクロミナンス・ブロックが４×４ピクセルのサブブロックに分割されていることを示している。４×４のサブブロックのそれぞれの残差信号が４×４の変換をされて、１個のDC係数と１５のAC係数が得られる。そのDC係数は４×４ブロックの平均値になる。
【００２２】
本発明の第一の側面に基づくと、クロミナンス残差信号の第一の変換の４×４というブロック・サイズ(block size)が維持される。そして、そのようなサブブロックの数は種々のピクチュア・フォーマットで違う。一般的表示では、ｋ×ｋ変換をｍ×ｎ（ｍは水平方向、ｎは垂直方向）のクロミナンス・ピクセルのマクロブロック上で用いる。
【００２３】
図３に示すように、４×４ブロックのそれぞれのDC係数をさらに変換するのに２×２変換を行なう。一般的な場合で、DC係数に対するｉ×ｊ変換が用いられる。ｉとｊは、ｉ×ｋ＝マクロブロック内でクロミナンスのピクセルの水平方向の数であり、ｊ×ｋ＝マクロブロック内でクロミナンスのピクセルの垂直方向の数となるような値を持つ。変換のタイプ(type)は二次元のHadamard変換になるように選択するのが好ましい。
【００２４】
本発明により、変換関数のフォーマット内の変化はＤＣ変換に移行する。これは全コーディングの小さな部分を構成していて、それは種々のクロミナンスのピクチャー・フォーマットのコーディング内の僅かな違いを意味している。
【００２５】
さらに、本発明は、コーディングの内部予測の部分に関している。本発明の好ましい実施例では、４：２：２フォーマットに対するDC予測が提供される。DC予測が、全ブロックに対してひとつの値を予測する。この場合、８×１６ブロック内の全てのピクセルに対してひとつの値を、隣接していて、既にコーディングとデコーディングが行なわれたピクセルから予測することを希望する。これは図４に示され、図４では、８×１６を太字で示された２４の隣接するピクセルから予測する。
【００２６】
自然の予測では太字の２４個全てのピクセルの平均をとる。
【００２７】
予測値＝合計（２４個の隣接するピクセル）／２４
しかしながら、２４による除算を避けるのが望ましい。それゆえ、我々は以下の定義を用いる：
予測値＝（２×合計（８個のピクセル、上方）＋合計（１６個のピクセル、左方）／３２
この方法で、３２による除算はシフト(shift)操作により容易に行なえる。
【００２８】
一般的な場合で、シフト操作の利点を利用するために、サイズ２ｑ×２ｒの長方形ブロックでDC予測を実施しなければならない。ここでｑ及びｒは整数である。ｑ＞ｒで、かつ、ｑはブロックの第一の寸法を表現するように定義されていて、ｒはブロックの第二の寸法を表現するように定義されている。第一の寸法は垂直のサイズを示し、第二の寸法はブロックの水平のサイズを示すか、その逆である。ブロックのDC予測は以下の形になっている：
予測値＝（合計（第一の寸法までの隣接ピクセル）＋２（ｑ−ｒ）×（合計（第二の寸法までの隣接ピクセル）／２２ｑ
上記に続いて、ｍ＝２ｑ及びｎ＝２ｒである。
【００２９】
本発明を用いて、図２の４：２：２及び４：４：４に示すように、マクロブロックのクロミナンス・ピクセルが４×４のサブブロックに分割される。そして、各サブブロックが４×４の変換を受ける。図３に示すように、DC係数の第二段階の変換は２個の高位フォーマットのためのサイズ２×４及び４×４になる。そこで、種々のフォーマットのコーディングの間の主な差は二次残差のクロミナンス変換である。
【００３０】
本発明の範囲はH.264/AVCに限定されないことに留意されない。例えば、ＳＩＰのような他のビデオ・コーディング規格と関連して、有利に利用しうる。
【図面の簡単な説明】
【００３１】
【図１】１６ｘ１６ルミナンス・ピクセルとそれぞれ８ｘ８ピクセルを持つ２種のクロミナンス成分から成る４：２：０フォーマットを持つマクロブロックを４ｘ４ブロックに分割し、さらに、４個の４ｘ４ブロックのサブグループに配置する方法を示している。さらに、４個のクロミナンス・ブロックのそれぞれからDC係数を差し引いて、２ｘ２ブロックから成る別々のクロミナンスDC要素を形成する方法を示している。
【図２】種々のピクチャー・フォーマットのマクロブロック内のクロミナンス・ピクセルの一要素を示している。
【図３】種々のフォーマットに対するDC値の第二段階の変換を示す。
【図４】８×１６ブロックのDC予測の根拠を示す。
【符号の説明】
【００３２】
ｍ      水平方向の数でｋの倍数
ｎ      垂直方向の数でｋの倍数
ｋ      部分行列のサイズ
ｉｘｋ  マクロブロック内でクロミナンスのピクセルの水平方向の数
ｊｘｋ  マクロブロック内でクロミナンスのピクセルの垂直方向の数
luma    ルミナンス
chroma  クロミナンス
Cr, Cb  クロミナンス成分
Cr-dc；Cb-dc  クロミナンス成分のDC値
Cr-ac；Cb-ac  クロミナンス成分のAC値
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2007502595.tif 000007
【図２】
2007502595.tif 000008
【図３】
2007502595.tif 000009
【図４】
2007502595.tif 000010
【国際調査報告】
2007502595.tif 000011
2007502595.tif 000012