(57)【要約】本発明は、オーバラップしないＮ×Ｎ画素のブロックに分割されるオーバラップしないマクロブロックに分割される画像をバイナリストリームに符号化する方法に関する。本方法は、ブロックのそれぞれを、１つの低周波の係数と、低周波よりも高い周波数からなる高周波の係数と呼ばれるＮ２−１個の係数とを含む変換された係数のブロックに変換し、変換されたブロックのそれぞれの係数を量子化パラメータで量子化し、量子化された係数をバイナリストリームに符号化する。本発明によれば、変換されたブロックの低周波係数は、第一の量子化パラメータと呼ばれる同じ量子化パラメータで量子化される。
2010512674.tif 000002
【特許請求の範囲】
【請求項１】
オーバラップしないＮ×Ｎ画素のブロックに分割されるオーバラップしないマクロブロックに分割される画像をバイナリストリームに符号化する方法であって、
前記ブロックのそれぞれを、１つの低周波の係数と、前記低周波よりも高い周波数からなる高周波の係数と呼ばれるＮ２−１個の係数とを含む変換された係数のブロックに変換するステップと、
前記変換されたブロックのそれぞれの係数を量子化パラメータで量子化するステップと、
前記量子化された係数をバイナリストリームに符号化するステップとを含み、
前記変換されたブロックの低周波係数は、第一の量子化パラメータと呼ばれる同じ量子化パラメータで量子化される、
ことを特徴とする方法。
【請求項２】
同じマクロブロックの高周波係数は、第二の量子化パラメータと呼ばれる同じ量子化パラメータで量子化される、
請求項１記載の方法。
【請求項３】
前記第二の量子化パラメータは、前記第一の量子化パラメータと増加量との合計として計算され、前記増加量は、前記マクロブロックについて計算された視覚的な知覚の影響に基づいて決定される、
請求項２記載の方法。
【請求項４】
前記視覚的な知覚の影響の値は、前記マクロブロックの平均輝度値に依存する、
請求項３記載の方法。
【請求項５】
前記視覚的な知覚の影響の値は、前記マクロブロックのそれぞれのブロックの分散値に依存する、
請求項３又は４記載の方法。
【請求項６】
前記視覚的な知覚の影響の値は、前記マクロブロックの色度値に依存する、
請求項３乃至５の何れか記載の方法。
【請求項７】
オーバラップしないＮ×Ｎ画素のブロックに分割されるオーバラップしないマクロブロックに分割される画像をバイナリストリームに符号化する装置であって、
前記ブロックのそれぞれを、１つの低周波の係数と、前記低周波よりも高い周波数からなる高周波の係数と呼ばれるＮ２−１個の係数とを含む変換された係数のブロックに変換する変換手段と、
前記変換されたブロックのそれぞれの係数を量子化パラメータで量子化する量子化手段と、
前記量子化された係数をバイナリストリームに符号化する符号化手段とを有し、
前記量子化手段は、前記変換されたブロックの低周波係数を第一の量子化パラメータと呼ばれる同じ量子化パラメータで量子化する、
ことを特徴とする装置。
【請求項８】
前記変換手段は、ＤＣＴ変換ユニットである、
請求項７記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像符号化方法に関する。より詳細には、本発明は、係る画像を量子化する方法に関する。また、本発明は、係る方法を実現する符号化装置に関する。
【背景技術】
【０００２】
画像を符号化するため、空間的な冗長度を低減することが必要なことがある。このため、典型的な画像符号化方法では、画像はＮ×Ｎ画素のオーバラップしないブロックに分割され、次いで、それぞれのブロックは、変換された係数のブロックに変換される。これらの符号化方法は、画素の相関を低下させ、変換された領域において冗長度をより効率的に低減することができる。この点では、変換のエネルギー圧縮特性が重要である。
【０００３】
一般に使用されている様々な変換のうち、離散コサイン変換（ＤＣＴ）は、その優れたエネルギー圧縮特性のために広く使用されている。変換されたブロックは、増加される空間周波数をもつ係数のセットを表す。変換ブロックの左上の位置における係数（０，０）は、ＤＣ係数として知られており、Ｎ×Ｎブロックの平均値を表す。他の係数（Ｎ２−１）は、ＡＣ係数として知られ、高周波の詳細を表す。次元Ｎ×Ｎは、異なるアプリケーションに従って１６×１６、８×８又は４×４である。
【０００４】
画像を符号化するために必要とされるビット数を低減するため、典型的な画像符号化方法は、量子化ステップにより変換ブロックの係数を量子化する。量子化は、ある量に関して可能性のある値の数を低減するプロセスであり、これにより、ある量を表すために必要とされるビット数が低減される。量子化ステップの選択は、デコードされた画像の高い品質を保証するために決定的に重要である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、画像の量子化に関するソリューションを提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は、Ｎ×Ｎ画素のオーバラップしないブロックに分割されるオーバラップしない複数のマクロブロックに分割される画像をバイナリストリームに符号化する方法に関する。本発明は、以下のステップを含む。ブロックのそれぞれを、１つの低周波の係数と、低周波よりも高い周波数からなる高周波の係数と呼ばれるＮ２−１個の係数とを有する変換された係数のブロックに変換するステップ。量子化パラメータにより、変換ブロックのそれぞれのそれぞれの係数を量子化するステップ。量子化された係数をバイナリストリームに符号化するステップ。  
本発明によれば、変換されたブロックの低周波係数は、第一の量子化パラメータと呼ばれる同じ量子化パラメータで量子化される。これにより、有利なことに、画像全体について連続的且つ基本的な品質を保証することができる。
【０００７】
有利なことに、同じマクロブロックの高周波係数は、第二の量子化パラメータと呼ばれる同じ量子化パラメータで量子化される。  
好ましくは、第二の量子化パラメータは、第一の量子化パラメータと増分との合計として計算され、この増分は、マクロブロックについて計算される視覚的な知覚の影響の値（ｖｉｓｕａｌ  ｐｅｒｃｅｐｔｕａｌ  ｉｎｔｅｒｅｓｔ  ｖａｌｕｅ）に基づいて決定される。  
本発明の第一の態様によれば、視覚的な知覚の影響の値は、マクロブロックの平均の輝度値に依存する。変形例に拠れば、視覚的な知覚の影響の値は、マクロブロックのそれぞれのブロックの分散に依存する。  
別の変形例に拠れば、視覚的な知覚の関心の値は、マクロブロックの色情報に依存する。
【０００８】
本発明は、Ｎ×Ｎ画素のオーバラップしないブロックに分割されるオーバラップしない複数のマクロブロックに分割される画像をバイナリストリームに符号化する装置に関する。本装置は、以下を有する。ブロックのそれぞれを、１つの低周波の係数と、低周波よりも高い周波数からなる高周波の係数と呼ばれるＮ２−１個の係数とを有する変換された係数のブロックに変換する変換手段。量子化パラメータにより、変換されたブロックのそれぞれのそれぞれの係数を量子化する量子化手段。量子化された係数をバイナリストリームに符号化する符号化手段。  
本発明によれば、量子化手段は、変換されたブロックの低周波係数を、第一の量子化パラメータと呼ばれる同じ量子化パラメータで量子化する。  
本発明の態様によれば、変換手段は、ＤＣＴ変換ユニットである。
【図面の簡単な説明】
【０００９】
本発明の他の特徴及び利点は、本発明の実施の形態の幾つかに関する以下の記載で明らかとなり、この記載は添付図面と共に行われる。
【図１】本発明の第一の実施の形態に係る方法のフローチャートである。
【図２】本発明の第一の実施の形態に係る方法の量子化ステップの詳細のフローチャートである。
【図３】本発明の第一の実施の形態に係る方法の特徴抽出ステップの詳細のフローチャートである。
【図４】画像における領域について、異なるグレイレベルを使用したこれら領域の視覚的な知覚の影響のレベルを示す図である。
【図５】本発明の第二の実施の形態に係る方法のフローチャートである。
【図６】本発明の第一の実施の形態に係る符号化装置を示す図である。
【図７】本発明の第二の実施の形態に係る符号化装置を示す図である。
【発明を実施するための最良の形態】
【００１０】
図１から図３及び図５では、表現されるボックスは、純粋に機能的なエンティティであり、これらは、物理的に分離されたエンティティに必ずしも対応しない。すなわち、これらは、ソフトウェアの形式で開発されるか、又は１以上の集積回路で実現される。これらの図に関して、同様のエレメントは、同じ符号で参照される。
【００１１】
本発明は、画像を符号化する方法に関する。画像は、画素から構成されており、オーバラップしないマクロブロックＭＩに分割され、これらオーバラップしないマクロブロック自身は、画素のブロックｂｐ，ｑに分割され、ここでＩはマクロブロックのインデックスであり、（ｐ，ｑ）はブロックの座標であり、すなわちブロックｂｐ，ｑは、ブロックのｐ番目の列及びブロックｑ番目のラインに位置される。多くのアプリケーションでは、ブロックｂｐ，ｑは、８×８画素のブロックであり、マクロブロックは、４つのブロックｂｐ，ｑから構成される。しかし、本発明は、このケースに限定されず、如何なるサイズのブロックｂｐ，ｑ及び如何なるサイズのマクロブロックＭＢＩであっても使用される場合がある。
【００１２】
本方法の第一の実施の形態は、図１、図２及び図３を参照して記載される。本方法は、画像のそれぞれのブロックｂｐ，ｑを係数の変換されたブロックＢｐ，ｑに変換するステップ１０を含む。ブロックｂｐ，ｑがマクロブロックＭＩに位置される場合、変換されたブロックＢｐ，ｑは、ＭＢで示される対応する変換されたマクロブロックに位置される。それぞれのブロックｂｐ，ｑは、たとえば、以下の式に従って離散コサイン変換（ＤＣＴ）により変換されたブロックＢｐ，ｑに変換される。  
【００１３】
【数１】
2010512674.tif 000003
この場合、ｕ，ν＝０，１，．．．，Ｎ−１である。ｂｐ，ｑ（ｊ，ｋ）は、ブロックｂｐ，ｑの画素の輝度値（又は色度値）であり、その座標は（ｊ，ｋ）である。Ｂｐ，ｑ（ｕ，ν）は、変換されたブロックＢｐ，ｑの係数の値であり、その座標は（ｕ，ｖ）である。
さらに、Ｑ（ｗ）は以下に示される。
【００１４】
【数２】
2010512674.tif 000004
ステップ２０で、それぞれ変換されたブロックＢｐ，ｑのそれぞれの係数Ｂｐ，ｑ（ｕ，ｖ）は、量子化パラメータＱＰｐ，ｑ（ｕ，ｖ）により量子化された係数ＢＱｐ，ｑ（ｕ，ｖ）に量子化される。本発明の第一の態様によれば、画像における全てのＤＣ係数は、同じ量子化パラメータＱＰｆで量子化され（２１０）、すなわち、∀（ｐ，ｑ），ＱＰｐ，ｑ（０，０）＝ＱＰｆである。これにより、画像全体に関して連続的且つ基本的な品質を保証することができる。この量子化パラメータＱＰｆは、たとえば、１９９３年４月の“Ｔｅｓｔ  Ｍｏｄｅｌ  ５”と題されたＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１からの文献Ｎ０４００におけるＭＰＥＧ２について記載される公知のＴＭ５レート制御方法のようなレート制御方法により決定される。
【００１５】
本発明の別の態様によれば、同じマクロブロックＭＢＩに位置される全てのブロックＢｐ，ｑの全てのＡＣ係数は、ＱＰｆに等しいか又は等しくない場合がある同じ量子化パラメータＱＰｌで量子化される（２２０）。独特な特性によれば、全てのこれらＡＣ係数を量子化するために使用される量子化パラメータは、ＱＰｌ＝ＱＰｆ＋ΔＱＰｌに等しく、この場合、ΔＱＰｌは、マクロブロックＭＢの知覚の影響に基づいて決定される。この場合、ＭＢＩにおける全てのＡＣ係数について、ＱＰｐ，ｑ（ｕ，ｖ）＝ＱＰｌ＝ＱＰｆ＋ΔＱＰｌである。
【００１６】
第一の実施の形態によれば、ΔＱＰｌ＝−Ｗｌ＊ＱＰｓｔｅｐであり、この場合、ＱＰｓｔｅｐはたとえば２に設定される。重みＷＩは、ステップ３１０、３２０及び３３０のそれぞれでマクロブロックＭＩから計算された３つの異なる特徴Ｆｌ１，Ｆｌ２及びＦ１３を結合する（３４０）。画像におけるそれぞれのマクロブロックに関連される第一の特徴Ｆｌ１は、セット｛０，１｝でその値をとる。Ｆｐ，ｑ１＝１である場合、マクロブロックＭＩは、たとえば人間の顔のような皮膚の領域に属し、さもなければ、すなわちＦｌ１＝０である場合、ブロックは、皮膚領域に属さない。この特徴を計算するため（３１０）、肌の色合いを検出することが必要とされる。このため、画像における皮膚の領域は、文献“ｆａｃｅ  ｓｅｇｍｅｎｔａｔｉｏｎ  ｕｓｉｎｇ  ｓｋｉｎ  ｃｏｌｏｒ  ｍａｐ  ｉｎ  ｖｉｄｅｏｐｈｏｎｅ  ａｐｐｌｉｃａｔｉｏｎｓ”ｐｕｂｌｉｓｈｅｄ  ｉｎ  ＩＥＥＥ  ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ＣＳＶＴ  ｉｎ  １９９９と題されたＤ，Ｃａｉ及びＫ．Ｎ．Ｎｇａｎにより提案されるようなカラーセグメンテーションの方法を使用して検出される場合がある。この特徴により、視覚的な品質の観点から人間の目にとって重要である皮膚の領域を更に精細に量子化することができる。
【００１７】
画像におけるそれぞれのマクロブロックＭＩに関連される第二の特徴Ｆｌ２は、セット｛０，１｝でその値をとる。Ｆｌ２＝１である場合、マクロブロックＭＩは、平坦な領域に属し、さもなければ、平坦な領域に属さない。このため、マクロブロックＭＩに位置されるそれぞれのブロックｂｐ，ｑの分散ｖｋは、以下のようにａｃｔｌを計算するために使用される。
【００１８】
【数３】
2010512674.tif 000005
この特徴により、平坦な領域、すなわち低い詳細の領域を更に精細に量子化することができる。たしかに、係る平坦な領域における視野の欠損は、人間の目にとって更に目障りである。画像におけるそれぞれのマクロブロックＭＩに関連される第三の特徴Ｆｌ３は、セット｛０，１｝でその値をとる。値Ｆｌ３を計算するため（３３０）、マクロブロックＭＩにわたる平均輝度レベルは、２つの閾値ＴＨＬ及びＴＨＨに比較され、これらの閾値は２３及び１９５２にそれぞれ設定される。  
ｌｅｖｅｌと名付けられた値は、以下のように導出される。
【００１９】
【数４】
2010512674.tif 000006
ｌｅｖｅｌ＝０又は２の場合にＦｌ３＝０であり、ｌｅｖｅｌ＝１の場合にＦｌ３＝１である。この特徴により、視覚的な品質の観点から人間の目がより感度が高い中間調の領域を更に精細に量子化することができる３つの特徴は、重みＷＩにおいて以下のように結合される（３４０）。
【００２０】
【数５】
2010512674.tif 000007
これは、図４により例示されている。
【００２１】
次いで、量子化された係数は、たとえば、“Ｉｎｆｏｒｍａｔｉｏｎ  Ｔｅｃｈｎｏｌｏｇｙ  Ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ−ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ  ‐  ｐａｒｔ１０：  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ”と題されたＩＳＯ／ＩＥＣ１４４９６−１０からの文献におけるセクション７．９で記載される方法のような古典的なエントロピー符号化方法により、ステップ４０で符号化される。
【００２２】
本方法の第一の実施の形態は、図２及び図５を参照して記載される。本方法は、画像のそれぞれのブロックｂｐ，ｑを係数の変換されたブロックＢｐ，ｑに変換するステップ１０を含む。ブロックｂｐ，ｑがマクロブロックＭＩに位置される場合、変換されたブロックＢｐ，ｑは、ＭＢＩで示される対応する変換されたマクロブロックに位置される。それぞれのブロックｂｐ，ｑは、たとえば、以下の式に従って離散コサイン変換（ＤＣＴ）により変換されたブロックＢｐ，ｑに変換される。
【００２３】
【数６】
2010512674.tif 000008
この場合、ｕ，ν＝０，１，．．．，Ｎ−１である。ｂｐ，ｑ（ｊ，ｋ）は、ブロックｂｐ，ｑの画素の輝度値（又は色度値）であり、その座標は（ｊ，ｋ）である。Ｂｐ，ｑ（ｕ，ν）は、変換されたブロックＢｐ，ｑの係数の値であり、その座標は（ｕ，ｖ）である。さらに、Ｑ（ｗ）は以下に示される。
【００２４】
【数７】
2010512674.tif 000009
ステップ２０で、それぞれ変換されたブロックＢｐ，ｑのそれぞれの係数Ｂｐ，ｑ（ｕ，ｖ）は、量子化パラメータＱＰｐ，ｑ（ｕ，ｖ）により量子化された係数ＢＱｐ，ｑ（ｕ，ｖ）に量子化される。本発明の第一の態様によれば、画像における全てのＤＣ係数は、同じ量子化パラメータＱＰｆで量子化され（２１０）、すなわち、∀（ｐ，ｑ），ＱＰｐ，ｑ（０，０）＝ＱＰｆである。これにより、画像全体に関して連続的且つ基本的な品質を保証することができる。この量子化パラメータＱＰｆは、たとえば、１９９３年４月の“Ｔｅｓｔ  Ｍｏｄｅｌ  ５”と題されたＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１からの文献Ｎ０４００におけるＭＰＥＧ２について記載される公知のＴＭ５レート制御方法のようなレート制御方法により決定される。
【００２５】
本発明の別の態様によれば、同じマクロブロックＭＢＩに位置される全てのブロックＢｐ，ｑの全てのＡＣ係数は、ＱＰｆに等しいか又は等しくない場合がある同じ量子化パラメータＱＰｌで量子化される（２２０）。独特な特性によれば、全てのこれらＡＣ係数を量子化するために使用される量子化パラメータは、ＱＰｌ＝ＱＰｆ＋ΔＱＰｌに等しく、この場合、ΔＱＰｌは、マクロブロックＭＢＩの知覚の影響に基づいて決定される。この場合、ＭＢＩにおける全てのＡＣ係数について、ＱＰｐ，ｑ（ｕ，ｖ）＝ＱＰｌ＝ＱＰｆ＋ΔＱＰｌである。
【００２６】
第二の実施の形態によれば、以下の通りである。
【００２７】
【数８】
2010512674.tif 000010
この場合、ＶｌはマクロブロックＭｌの重要レベルである。この場合、ＱＰｓｔｅｐ’は６に設定される。ＶｌはマクロブロックＭｌからステップ３１で計算され、範囲［０−２５５］にあるようにクリップされる。このため、“Ｉｍａｇｅ  ａｎａｌｙｓｉｓ  ｔｈｒｏｕｇｈ  ｌｏｃａｌ  ｉｎｆｏｒｍａｔｉｏｎ  ｍｅａｓｕｒｅ”  ｐｕｂｌｉｓｈｅｄ  ｉｎ  ｔｈｅ  ｐｒｏｃｅｅｄｉｎｇ  ｏｆ  ｔｈｅ  １７ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ｐｐ  ６１６−６１９．  Ａｕｇ  ２００４と題された文献におけるＮ．Ｂｒｕｃｅにより記載される情報マップが画像全体について計算される（３１）。
【００２８】
このマップは、重要レベルＶＩをそれぞれのマクロブロックＭＩに割り当てる。この方法により、古典的な情報理論の設定における局所的な画像の統計値の特性を分析することで、画像における知覚的に重要な領域を識別することができる。したがって、更に連続的に量子化パラメータを調節することが可能であり、これにより、デコードされた画像の視覚的品質が改善される。
【００２９】
次いで、量子化された係数は、たとえば、“Ｉｎｆｏｒｍａｔｉｏｎ  ｔｅｃｈｎｏｌｏｇｙ  ‐  Ｃｏｄｉｎｇ  ｏｆ  ａｕｄｉｏ  ‐ｖｉｓｕａｌ  ｏｂｊｅｃｔｓ  ‐  Ｐａｒｔ  １０  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ”と題されたＩＳＯ／ＩＥＣ１４４９６−１０からの文献におけるセクション７．９で記載される方法のような古典的なエントロピー符号化方法により、ステップ４０で符号化される。このソリューションにより、ビットレート全体に関して殆ど変化することなしに滑らかに分布される知覚的な品質の改善を得ることができる。
【００３０】
また、本発明は、図６及び図７に示される符号化装置ＣＯＤＥＣに関する。これらの図に関して、類似のエレメントは、同じ符号で参照される。装置ＣＯＤＥＣは、画像のそれぞれのブロックｂｐ，ｑを変換された係数のブロックＢｐ，ｑに変換するモジュールＴを有する。このモジュールは、たとえばＤＣＴを実現する。
【００３１】
モジュールＴは、それぞれ変換されたブロックＢｐ，ｑのそれぞれの係数Ｂｐ，ｑ（ｕ，ｖ）を量子化された係数ＢＱｐ，ｑ（ｕ，ｖ）に量子化するために適合されるモジュールＱにリンクされる。モジュールＱは、上述された方法のステップ２０を実現する。したがって、装置ＣＯＤＥＣは、モジュールＱにリンクされるモジュールＲＯＩ１を有し、たとえば上述された方法のステップ３１０〜３４０を実現することで画像のそれぞれのマクロブロックについて重みＷＩを計算するために適合されるモジュールＲＯＩ１を有する。
【００３２】
図７に示される別の特徴によれば、装置ＣＯＤＥＣにおけるモジュールＲＯＩ１は、たとえば“Ｉｍａｇｅ  ａｎａｌｙｓｉｓ  ｔｈｒｏｕｇｈ  ｌｏｃａｌ  ｉｎｆｏｒｍａｔｉｏｎ  ｍｅａｓｕｒｅ”  ｐｕｂｌｉｓｈｅｄ  ｉｎ  ｔｈｅ  Ｐｒｏｃｅｅｄｉｎｇ  ｏｆ  ｔｈｅ  １７ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ｐｐ．６１６−６１９，  Ａｕｇ．２００４と題された文献に記載される方法を実現することで、画像のそれぞれのマクロブロックＭＩについて重要レベルＶｌを計算するために適合されるモジュールＲＯＩ２により置き換えられる。このモジュールは、好ましくは、エントロピーコーダである。  
本発明は、ビデオに有利に適用される場合があり、より詳細には、ビデオのそれぞれの画像に適用される場合がある。
【図１】
2010512674.tif 000011
【図２】
2010512674.tif 000012
【図３】
2010512674.tif 000013
【図４】
2010512674.tif 000014
【図５】
2010512674.tif 000015
【図６】
2010512674.tif 000016
【図７】
2010512674.tif 000017
【国際調査報告】
2010512674.tif 000018
2010512674.tif 000019