(57)【要約】本発明は、一連のビデオフレームに対して適用されるビデオ符号化方法に関するものであって：第一符号化パスにおいて固定量子化ステップサイズで、各フレームを符号化する段階；その符号化されたビットストリームを復号する段階；そのフレームについてブロック現象のマップを形成する段階；及び第一のパスに対して修正された数のビット数の第二出力ビットストリームを生成すべく、前記マップによる修正に基づいて、第二符号化パスにおいて、可変量子化ステップサイズで、そのフレームを再符号化する段階；を含むところの方法。改良された実施例では、前記再符号化段階の前に、いくらかの望まれない現象を防止するために正規化を行う追加的段階が実行される。
2004523985.tif 000002
【特許請求の範囲】
【請求項１】
マクロブロックに分割され、該マクロブロックがさらにブロック単位にサブ分割されている一連のビデオフレームに対して適用されるビデオ符号化方法であって、前記一連のビデオフレームの各フレームに対して：
（Ａ）第一符号化パスにおいて、第一出力ビットストリーム及び前記各フレームの各マクロブロックに対応する統計量を生成するために、固定量子化ステップサイズをもって前記各フレームを符号化する段階；及び
（Ｂ）第二符号化パスにおいて、前記各フレームの各マクロブロックにおけるビット数が前記第一出力ビットストリームに対して修正されている、第二出力ビットストリームを生成するために、前記統計量に基づいて、可変量子化ステップサイズをもって前記各フレームを再符号化する段階；
から構成され、
当該方法の更なる特徴として、前記第一符号化パス及び前記第二符号化パスとの間において、
（ａ）復号された出力ビットストリームを生成するために、前記第一出力ビットストリームを復号する段階；
（ｂ）前記各マクロブロック全てのブロック内部境界で発生しているブロック現象のマップを形成するために、前記復号された出力ビットストリームにおけるブロックノイズを検出する段階；及び
（ｃ）前記マップに従って、第二符号化パスを実行するための基礎にされる前記統計量を修正する段階；
から構成される方法。
【請求項２】
請求項１記載の符号化方法であって、前記ノイズを検出する段階は：
前記各マクロブロックの４つのブロック内部境界それぞれに対して、該ブロック内部境界に前記ブロック現象が発見されない場合には第一の値を、そうでない場合には第二の値を、対応付ける従属段階；
各マクロブロックについて前記４つのブロック内部境界の値の和をグローバル値Ｇとして規定する従属段階；
処理された前記各フレームの各マクロブロックについて規定された全ての前記グローバル値の前記マップを前記各フレーム全体について形成する従属段階；及び
対応する前記グローバル値それぞれに従ったスケーリング係数に基づいて、前記各マクロブロックの前記統計量を修正する従属段階；
を含む、ところの符号化方法。
【請求項３】
請求項２記載の符号化方法であって、前記第一符号化パスは、第一出力ビットストリーム及び処理された前記各フレームの当初の各マクロブロックに対応付けられた複雑度を生成するために行われ、その後、前記修正する従属段階は、対象となる前記各マクロブロックに対応する前記グローバル値に線形的に従ったスケーリング係数をもって、前記各マクロブロックの複雑度を乗算して行われる、ところの符号化方法。
【請求項４】
マクロブロックに分割され、該マクロブロックがさらにブロック単位にサブ分割されている一連のビデオフレームを符号化する装置であって、該装置は、：
（ａ）少なくとも直列の量子化回路と可変長回路とを有している少なくとも１つの符号化部；
（ｂ）制御回路であって、前記一連のビデオフレームの各フレームに対して、
（Ａ）第一符号化パスにおいて、第一出力ビットストリーム及び前記各フレームの各マクロブロックに対応する統計量を生成するために、固定量子化ステップサイズをもって前記各フレームを符号化する段階；及び
（Ｂ）第二符号化パスにおいて、前記各フレームの各マクロブロックにおけるビット数が前記第一出力ビットストリームに対して修正されている、第二出力ビットストリームを生成するために、前記統計量に基づいて、可変量子化ステップサイズをもって前記各フレームを再符号化する段階；及び
（Ｃ）前記第一符号化パス及び前記第二符号化パスとの間に行われ、かつ
（ａ）復号された出力ビットストリームを生成するために、前記第一出力ビットストリームを復号する従属段階；
（ｂ）前記各マクロブロック全てのブロック内部境界で発生しているブロック現象のマップを形成するために、前記復号された出力ビットストリームにおけるブロックノイズを検出する従属段階；及び
（ｃ）前記マップに従って、第二符号化パスを実行するための基礎にされる前記統計量を修正する段階；という従属段階から構成されている追加段階；
の実行を制御する制御回路、を有するところの装置。
【請求項５】
請求項１記載の符号化方法であって、該符号化方法の更なる特徴として、前記再符号化段階の前に：
（ａ）前記マップによる修正が行われる前と後の統計量の値の和をそれぞれＸ（ｉｎ）及びＸ（ｏｕｔ）とする場合において、
Ｆ（ｎｏｒｍ）＝Ｘ（ｉｎ）／Ｘ（ｏｕｔ）に従って、正規化要素を算出する追加段階；及び
（ｂ）前記正規化要素をもって、前記修正後の統計量のそれぞれの値を乗算する追加段階；から構成されているところの符号化方法。
【請求項６】
請求項５記載のビデオ符号化方法であって、符号化の対象となる入力フレームがＩタイプ又はＰタイプの場合には、前記正規化要素が１に設定される、ところの符号化方法。
【請求項７】
マクロブロックに分割され、該マクロブロックがさらにブロック単位にサブ分割されている一連のビデオフレームを符号化する装置であって、該装置は、：
（ａ）少なくとも直列の量子化回路と可変長回路とを有している少なくとも１つの符号化部；
（ｂ）制御回路であって、前記一連のビデオフレームの各フレームに対して、
（Ａ）第一符号化パスにおいて、第一出力ビットストリーム及び前記各フレームの各マクロブロックに対応する統計量を生成するために、固定量子化ステップサイズをもって前記各フレームを符号化する段階；及び
（Ｂ）復号された出力ビットストリームを生成するために、前記第一出力ビットストリームを復号する段階；
（Ｃ）前記各マクロブロック全てのブロック内部境界で発生しているブロック現象のマップを形成するために、前記復号された出力ビットストリームにおけるブロックノイズを検出する段階；
（Ｄ）前記マップに従って前記統計量を修正する段階；及び
（Ｅ）第二符号化パスにおいて、前記各フレームの各マクロブロックにおけるビット数が前記第一出力ビットストリームに対して修正されている、第二出力ビットストリームを生成するために、前記修正された統計量に基づいて、可変量子化ステップサイズをもって前記各フレームを再符号化する段階；
の実行を制御する制御回路；
から構成され、
当該装置の更なる特徴として、前記制御回路は、更に、前記一連のビデオフレームの各フレームに対して、前記再符号化段階の前に：
（ａ）前記マップによる修正が行われる前と後の統計量の値の和をそれぞれＸ（ｉｎ）及びＸ（ｏｕｔ）とする場合において、
Ｆ（ｎｏｒｍ）＝Ｘ（ｉｎ）／Ｘ（ｏｕｔ）に従って、正規化要素を算出する段階；及び
（ｂ）前記正規化要素をもって、前記修正後の統計量のそれぞれの値を乗算する段階；の実行を制御する、ところの装置。
【発明の詳細な説明】
【０００１】
本発明は、マクロブロックに分割され、該マクロブロックがさらにブロック単位に各々もサブ分割されている一連のビデオフレームに対して適用されるビデオ符号化方法であって、前記一連のビデオフレームの各フレームに対して：
（Ａ）第一符号化パスにおいて、第一出力ビットストリーム及び前記各フレームの各マクロブロックに対応する統計量を生成するために、固定量子化ステップサイズをもって前記各フレームを符号化する段階；及び
（Ｂ）第二符号化パスにおいて、前記各フレームの各マクロブロックにおけるビット数が前記第一出力ビットストリームに対して修正されている、第二出力ビットストリームを生成するために、前記統計量に基づいて、可変量子化ステップサイズをもって前記各フレームを再符号化する段階；
を有するところの符号化方法に関するものである。
【０００２】
本発明は、更に、対応する符号化装置に関するものである。
【０００３】
「MPEG video coding: a basic tutorial introduction」（S.R.Ely、BBC-RD report、1996/3）などの文書で説明され、今日のデジタルテレビの分野で広まっているMPEG-2標準は、衛星やケーブルを介して放送事業者によって既に利用されており、近々において、デジタル地上放送に利用されることが期待される。MPEG-2対応ビデオエンコーダは、MPEG-2対応ビットストリーム、即ち、シーケンス、ピクチャーのグループ（或いはＧＯＰ）、ピクチャー（或いはフレーム）、スライス、マクロブロック、及び、ブロック（各フレームはマクロブロックに分割されており、各マクロブロックは、４つの輝度ブロック及び２つの色度ブロックからなり、各ブロックは、８x８ピクセルからなる）という６層からなるシンタックスを有するビットストリームを生成する。
【０００４】
かかるエンコーダは、Ｉフレーム、Ｐフレーム、及びＢフレームの三種類のフレームを識別し、各ＧＯＰは、Ｉフレームから開始し、任意の数量のＰフレーム及びＢフレームを有するフレームのセットである。Ｉフレームの各マクロブロックにおいて、ＤＣＴ符号化（Discrete Cosine Transform）が各８x８ブロック単位で行われて、その得られた変換係数は、量子化され（各マクロブロックに対して量子化のスケーリング要素が選択される）、その結果として量子化されたＤＣＴ係数は、走査され、可変長コード（ＶＬＣ）を使用して符号化される。Ｐフレームにおいては、各マクロブロックを（上記のように）Ｉ又はＰのいずれかとして符号化するために決断がされ、即ち、動きベクトルによって識別された片方向予測を頼りにそれが行われる。この動きベクトルは、先行するフレームとそのマクロブロック自身（現在のフレーム内のもの）との間で予測の解釈を示すものであり、それらの間の誤差についてのみ上述したＩフレームの各マクロブロックの符号化が行われる（そして、対応付けられた動きベクトルと伝送される）。Ｂフレームにおいても、上述した符号化技術（Ｉマクロブロック又はＰマクロブロックの符号化がされ、前記片方向予測による符号化が、上述したように先行するフレーム又は後続のフレームに基づいて行われるもの）或いは、誤差の符号化を同様に行うものの、後方動き補償予測と前方動き補償予測を内挿することによって得られた動き補償予測を行った後にのみ実行するという双方向予測による符号化技術のいずれかの技術によって決断が行われる。
【０００５】
前記ビデオエンコーダでの符号化（フレームの種類によってはっきりと識別できる圧縮の度合いをもっての符号化、Ｂフレームが最もビット数が少なく、その次がＰフレームで、その次がＩフレームである）を行った後、それから得られたビットストリームはエンコーダ出力バッファーに蓄積され、伝送され、そして、最終的に蓄積媒体に蓄積されるか、或いは、直ちにデコーダのバッファーに受け取られて、復号される。その符号化されたビットストリームにおいて、各マクロブロックに使用される量子化ステップサイズを制御することによって、Ｉ、Ｐ、Ｂの各フレームについての前記符号化処理によって得られたビット数は、修正できるものであり、この適応的な量子化の結果として、小さい量子化ステップサイズが用いられる場合よりも、大きな量子化ステップサイズが用いられる場合の方が、より少ないビットが得られる。
【０００６】
そして、前記エンコーダの出力において要求される条件を満たすべく、前記符号化方法を実行するにあたって、少なくとも２つの符号化のパスを経た後にのみ符号化出力ビットストリームを取得する方法が提案されている。例えば、国際特許出願WO 99/07158 (PHF98524) では、前記一連のフレームは、一定した量子化ステップサイズによって、第一パスで符号化される。これによって、生成されたビットストリームは、必ずしもその要求される条件を満たさないが、この第一パスは、その処理されたフレームの統計量（例えば、動きベクトル、フレームの複雑度等）の取得を可能にする。その分析段階の次の第二パスでは、少なくとも量子化ステップサイズを修正するために、前記統計量が処理され、そして、対象となるフレームの各マクロブロックにおけるビットをより調和された分配が実行される。
【０００７】
各フレームを符号化するのに、異なったビット数を割り当てること（その際、デコーダ側においてバッファー問題を避けるべく最大チャンネルレートが超過されないことを確保）により、可変ビットレートが得られる。これで、ＭＰＥＧ２標準は、上記アプリケーションにおいて、番組の放送を行うにあたって、ビットレートの高い自由度を与えるのである。しかしながら、ビットレートが低ければ低いほど、圧縮ノイズが発生する可能性が高くなる。これらノイズには、空間的なもの（ブロックノイズ、リンギングノイズ、角部ノイズ）又は時間的なもの（モスキートノイズ）が含まれ、視聴者にとっては極めて不快なものである。
【０００８】
よって、本発明の第一の目的は、前記ノイズによって知覚される不快感の削減が図られる符号化方法を提供することにある。
【０００９】
このため、本発明は、この説明の冒頭で定義されているようなビデオ符号化方法に関するものであり、さらに、それを特徴付けるものとして、前記第一符号化パスと第二符号化パスとの間において：
（ａ）復号された出力ビットストリームを生成するために、第一出力ビットストリームを復号する段階；
（ｂ）各マクロブロック全てのブロック内部境界で発生しているブロック現象のマップを形成するために、前記復号された出力ビットストリームにおけるブロックノイズを検出する段階；及び
（ｃ）第二符号化パスを実行するための基礎とされる前記統計量を前記マップに従って修正する段階；
が行われるのである。
【００１０】
上記符号化方法をより有利に実行するにあたって、前記検出段階には、
さらに：
前記各マクロブロックの４つのブロック内部境界それぞれに対して、該内部境界に前記ブロック現象が発見されない場合には第一の値を、そうでない場合には第二の値を、対応付ける従属段階；
各マクロブロックについて前記４つのブロック内部境界の値の和をグローバル値Ｇとして規定する従属段階；
前記処理された各フレームの各マクロブロックについて規定された全ての前記グローバル値の前記マップを前記各フレーム全体について形成する従属段階；及び
対応する前記グローバル値それぞれに従うスケーリング係数に基づいて、前記各マクロブロックの前記統計量を修正する従属段階；が含まれるのである。
【００１１】
より詳しく説明すると、前記第一符号化パスは、第一出力ビットストリーム及び処理された前記各フレームの当初の各マクロブロックに対応付けられた複雑度を生成するために行われ、その後、前記修正する従属段階は、対象となるマクロブロックに対応するグローバル値に線形的に従うスケーリング係数をもって、そのマクロブロックの複雑度を乗算して行われる。
【００１２】
前記符号化方法を改良したものによると、前記再符号化段階の前に：
（ａ）前記マップによる修正が行われる前と後の統計量の値の和をそれぞれＸ（ｉｎ）及びＸ（ｏｕｔ）とする場合において、
Ｆ（ｎｏｒｍ）＝Ｘ（ｉｎ）／Ｘ（ｏｕｔ）に従って、正規化要素を算出する段階；及び
（ｂ）前記正規化要素をもって、前記修正後の統計量のそれぞれの値を乗算する段階を行うものであってもよい。
【００１３】
また、本発明のもう一つの目的としては、本発明に係る前記符号化方法の実行に対応する符号化装置を提案することにある。
【００１４】
上記で引用された文献 WO 99/07158 に説明されているような符号化体系は、図１のように概略的に図示できる。順次の各フレームＦＲＡは、エンコーダによって処理され、第一パスＦＰにおいては、量子化ステップサイズＱは一定である。この第一パスの最後において、いくらかの情報（図１ではＳＴＡＴ１として示されている）：処理されたマクロブロックの複雑度、前記マクロブロックそれぞれに対応する動きベクトル等、が利用できる。この情報に基づいて、出力ビットストリームＯＢへと向かう第二パスＳＰ１が実行され、該出力ビットストリームＯＢにおける前記マクロブロックそれぞれに対応するビット配分を修正すべく、フレームの各マクロブロックについて量子化ステップサイズが修正されるのである。
【００１５】
ノイズの量を削減すべく、前記符号化体系は、本発明によって、図２に示されているように変更できる。前記第一パスＦＰの最後において利用できる出力ビットストリームＯＢ１は（デコーダＤＥＣにおいて）復号され、その復号されたビットストリームは、以下に説明するブロック現象検出器ＤＥＴへと伝送される。この検出器によって、ブロックノイズマップＢＡＭが生成され、それは、図２においてＳＴＡＴ２として示されている統計量（ここでは、複雑度）を修正するために、保存されて、使用される。その後、出力ビットストリームＯＢ２がその出力側で利用可能となる第二パスＳＰ２が実行されるところ、各マクロブロックには、（図１の第二パスＳＰ１の場合に対して）異なった量子化ステップサイズが用いられ、その結果として、当初観察されたノイズが削減されるのである。
【００１６】
前記検出器ＤＥＴが実行するブロック現象検出処理は以下のように行われる。前述したように、マクロブロックは、四つのブロックから構成されている。マクロブロック相互の間で生じるブロック現象を除いては、いずれのマクロブロック内の、四つの内部ブロック境界（図３においてＡ、Ｂ、Ｃ、Ｄと示されている）のいずれにおいても、ブロック現象は、生じるものと考えられている。それら境界それぞれは、Ｖ（Ａ）、Ｖ（Ｂ）、Ｖ（Ｃ）、Ｖ（Ｄ）の各々の値と対応付けられ、ブロック現象が検出されない場合には、「０」の値、そうでない場合には、「１」の値が付けられる。そして、各マクロブロックについて、Ｇ＝Ｖ（Ａ）＋Ｖ（Ｂ）＋Ｖ（Ｃ）＋Ｖ（Ｄ）のようにグローバル値Ｇが規定され、各マクロブロックの前記値Ｇを蓄積したブロックノイズマップが構成されるのである。前記第一パスの処理によって取得された第一パス複雑度Ｘ１が、各マクロブロックについて利用できる。画像又は画像の一部の複雑度は、例えば米国特許US 5680483 (PHF94510)にあるように規定され、また、例えば、米国特許US 5929914(PHF95584)のように種々の文献において、複雑度を推測する解法が説明されており、複雑度とエンコーダのビットレート制御との関係が示されている。その後、グローバル値Ｇに従った値を前記複雑度Ｘ1に乗算することによって、例えば次の従属関係表のように、ＣをＧに従う係数として、修正された複雑度 Ｘ２＝Ｘ１ｘC（Ｇ） が導かれるのである。
【００１７】
【表１】
2004523985.tif 000003
しかしながら、ブロックが著しい画像に対して、かかる方法が適用されると、画像全体の複雑度が同じ要素によって乗算される。そのようになると、その画像レベル規制の効果が失われ、画像の複雑度の重みがＧＯＰにおいて高くなることから、そのＧＯＰレベル規制が害される。
【００１８】
その出力複雑度について一種の正規化を行うという追加段階をエンコーダで行わせることにより、図４に描かれているように（図２において点線で囲まれた部分の改良を図ったものが示されている）、図２における前記符号化体系の改良を図ることができる。この追加段階は、以下の二つの処理を有する。第一に、正規化要素Ｆ(norm)は、次の数式F(norm)=X(in)/X(out)に基づいて算出され、この場合、X(in)は、STAT2の受け入れ側における対象たるフレームのマクロブロック全ての値Xinの和を表すものであり、X(out)は、STAT2の出力側で利用可能となる前記マクロブロック全ての値Xoutの和を表すものである。第二に、STAT2における出力値Xoutは、STAT2とSP2との間に設けられた乗数器(MUL)をもって、Ｆ(norm)に乗じられる。
【００１９】
図４に図示されている本発明の他の実施の形態は、符号化の対象となる入力フレームがＩタイプ又はＰタイプである場合には、正規化要素を１に設定するという修正を含むものであってもよく、これによって、ＧＯＰの規制におけるフレームをより重くすることができる。これを実行するにあたっては、図４において点線でＤＥＳと示されている追加の判断段階が行われる。
【００２０】
前記符号化方法は、図５における各ブロックがコントローラ５５の監督の下で行われる特定機能に対応しているビデオ符号化装置によって実行してもよい。図示されている該符号化装置は、直列に、一連のビデオフレームを受け入れる入力バッファ５１、減算器５４９、ＤＣＴ（discrete cosine transform）回路５２１、量子化回路５２２、可変長符号化回路５２３、出力バッファ５２４、及び前記回路５２２における量子化ステップサイズの修正を可能ならしめるビットレート規制回路５２５を有するものである。前記回路５２１〜前記回路５２５は、符号化部５２の主要要素を構成するものであり、それらは、逆量子化回路５３１、逆ＤＣＴ回路５３２、及び予測サブシステムを含んでいる予測部５３と関連付けられる。該予測サブシステム自身は、加算器５４１、バッファ５４２及び第二入力側において動き予測回路５４３の出力を受け入れる動き補償回路５４４（その予測は、バッファ５１の出力側で利用できる入力信号の分析に基づいている）。前記動き補償回路５４４からの出力信号は、逆方向に、前記加算器５４１の第二入力へ、及び、前記減算器５４９（前記バッファ５１からの出力信号も受けるものであって、その出力信号と前記回路５４４の出力信号との差を前記符号化部に送るもの）へと送られる。図示された前記符号化装置の出力は、第一パスの後に、前記ブロック現象復号段階ＤＥＣへと送られ、そして、その出力は、前記ブロック現象検出器ＤＥＴへと送られる。そして、前記検出器ＤＥＴによって生成されるブロックノイズマップＢＡＭは、第二パスＳＰ２が実行される前に、その統計量を修正するのに用いられる。前記追加の正規化の段階は、F(norm)を算出する回路Ｆ及び前記乗算器MULによって実行される。
【００２１】
本発明の上記実施の形態は、専ら例示及び説明のためにものである。これは、全てを網羅したものと意図したものではなく、また、本発明をここに開示されている通りの形態に限定するものではなく、そして、当然、当業者によって明らかであって、本発明の範囲内のものとして意図される修正及び変更は、上記教えによるところ、可能である。ここに説明されている装置は、例えば、ハードウェア、ソフトウェア、或いは、ハードウェアとソフトウェアとの組み合わせについて適用することが可能であり、単一のハードウェア又はソフトウェアが複数の機能を実行できる場合、或いは、ハードウェアの集合又はソフトウェアの集合若しくは両者が単一の機能を実行する場合をも含むものである。上記方法及び装置は、あらゆる種類のコンピュータシステム又はここに説明されている方法を実行するのに適用されるその他の装置についても、実施してもよい。ハードウェアとソフトウェアとの一般的な組み合わせは、一般目的用のコンピュータシステムであって、コンピュータプログラムがロードされ、実行されることにより、ここで説明されている方法を実行できるようにそのコンピュータシステムを制御するものであってもよい。
【００２２】
代わりとして、本発明の機能上の課題を一つ以上実行するための特定されたハードウェアを含む特定使用コンピュータを用いることも可能である。本発明は、ここで説明されている方法及び機能の実行を可能にする特徴を全て含み、コンピュータシステムにロードされるとこれら方法及び機能を実行するコンピュータプログラム製品に埋め込まれることも可能である。
【００２３】
ここの文脈におけるコンピュータプログラム、ソフトウェアプログラム、プログラム、プログラム製品、又はソフトウェアの語は、ある機能を実行する情報処理能力を有するシステムに対して、直接的に、或いは、(a)他の言語、符号、表記へ変換すること及び／又は(b)他の物的形態で再生することのいずれか若しくはいずれとも行った後に、ある機能を実行させることを目的としたあらゆる言語、符号、表記のあらゆる表現を意味するものである。
【図面の簡単な説明】
【００２４】
【図１】二つの符号化パスを含む従来の符号化体系が示されている。
【図２】本発明による前記従来の符号化体系を変更したものが示されている。
【図３】マクロブロックの内部境界が示されている。
【図４】本発明による符号化方法の別の実施の形態が示されている。
【図５】図４の方法の実施例が描かれている。
【国際公開パンフレット】
2004523985.tif 000004
2004523985.tif 000005
2004523985.tif 000006
2004523985.tif 000007
2004523985.tif 000008
2004523985.tif 000009
2004523985.tif 000010
2004523985.tif 000011
2004523985.tif 000012
2004523985.tif 000013
2004523985.tif 000014
2004523985.tif 000015
2004523985.tif 000016
2004523985.tif 000017
2004523985.tif 000018
【国際公開パンフレット（コレクトバージョン）】
2004523985.tif 000019
2004523985.tif 000020
【国際調査報告】
2004523985.tif 000021
2004523985.tif 000022
2004523985.tif 000023
2004523985.tif 000024