(57)【要約】  本発明は、ビデオデータの符号化処理の全体の符号化効率に悪影響を与えずにフィルムグレイン情報の符号化を制御することを可能にする。この目的のために、もっとも低い変換係数値に対する量子化間隔のサイズの制御は、量子化間隔と量子化された値とを変換係数値の確率分布へ適合する制御から分離される。これは、量子化処理と量子化解除処理によって考慮されるデッドゾーン変数を提供することで実現される。
2007522743.tif 000002
【特許請求の範囲】
【請求項１】
ビデオデータを符号化する方法であって、
画像を複数の画素を含む複数のブロックに分割し、
前記画素ブロックを変換係数（Ｗ）に変換し、
各々の係数値を量子化された係数値へ写像することによりあらかじめ定義された量子化間隔にしたがって前記変換係数（Ｗ）を量子化する
手順を備え、
最も低い係数値の量子化間隔のサイズは、可変のデッドゾーン変数（Θ）に従って調整され、
適用された前記デッドゾーン変数（Θ）は、復号化器側において、対応する最も低い係数値の前記量子化間隔の変形のために符号化されたビデオデータに含まれている
ことを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、
前記量子化間隔のサイズは丸め用制御変数（f）に従って調整され、
前記丸め用制御変数（f）は符号化された前記ビデオデータの一部ではない。
【請求項３】
請求項目１または２に記載の方法であって、
前記デッドゾーン変数（Θ）は前記間隔のステップサイズの半分から５倍の間のサイズをもつ。
【請求項４】
請求項１ないし３のいずれかに記載の方法であって、
前記デッドゾーン変数（Θ）は、前記間隔のサイズのほぼ４分の１の大きさをもつ。
【請求項５】
請求項１ないし４のいずれかに記載の方法であって、
前記デッドゾーン変数（Θ）は、ビデオシーケンスのフィールド毎またはフレーム毎に更新される。
【請求項６】
請求項１ないし４のいずれかに記載の方法であって、
前記デッドゾーン変数（Θ）は、符号化されたビデオシーケンス毎またはあらかじめ定義されたそのサブシーケンス毎に１回更新される。
【請求項７】
請求項１ないし６のいずれかに記載の方法であって、
前記ビデオデータはＩ、ＰまたはＢタイプのマクロブロックに基づいて符号化され、
異なった前記デッドゾーン変数（Θ）は各々のマクロブロックで用いられる。
【請求項８】
請求項１ないし７のいずれかに記載の方法であって、
前記方法はさらに、
符号化されるビデオデータ内にあるフィルムグレインの存在または程度を検出し、
検出結果にしたがって、前記デッドゾーン変数のサイズを適合する
手順を備える。
【請求項９】
請求項１ないし７のいずれかに記載の方法であって、
前記手法はさらに、
符号化されるビデオデータ内にフィルムグレインの存在を検出し、
フィルムグレインが検出された場合のみに前記デッドゾーン変数の適用を可能にする
手順を備える。
【請求項１０】
請求項１ないし９のいずれかに記載の方法であって、
前記手法はさらに
あらかじめ符号化されたブロックに基づいて符号化されるブロックを検出する手順を備え、
前記予測手順は、量子化解除のため前記デッドゾーン変数を適用する逆量子化手順を含む復号化手順を備える。
【請求項１１】
各々が複数の画素を含む画像ブロックに基づきビデオデータを符号化する符号化器であって、
ブロックの画素を変換係数に変換する変換器（１２０）と、
各々の係数値を量子化された係数値に写像することであらかじめ定義された量子化間隔にしたがって係数を量子化する量子化器（１２０）と
を備え、
最も低い係数値の量子化間隔のサイズは、可変のデッドゾーン変数（Θ）にしたがい調整でき、
適用されたデッドゾーン変数（Θ）は、復号化器側において、対応する最も低い係数値の量子化間隔の変更のために符号化されたビデオデータに含まれている
ことを特徴とする。
【請求項１２】
請求項１１に記載の符号化器であって、
前記量子化間隔のサイズが丸め用制御変数（f）にしたがい調整でき、
前記丸め用制御変数（f）は前記符号化されたビデオデータの一部分ではない。
【請求項１３】
請求項１１および１２記載の符号化器であって、
前記デッドゾーン変数（Θ）は、前記間隔のサイズの半分から５倍の間の大きさをもつ。
【請求項１４】
請求項１１ないし１３のいずれかに記載の符号化器であって、
前記デッドゾーン変数（Θ）は、前記間隔のサイズのほぼ４分の１の大きさをもつ。
【請求項１５】
請求項１１ないし１４のいずれかに記載の符号化器であって、
前記デッドゾーン変数（Θ）は、ビデオシーケンスのフィールド毎またはフレーム毎に更新される。
【請求項１６】
請求項１１ないし１４のいずれかに記載の符号化器であって、
前記デッドゾーン変数（Θ）は、符号化されたビデオシーケンス毎またはあらかじめ定義されたそのサブシーケンス毎に１回更新する。
【請求項１７】
請求項１１ないし１６のいずれかに記載の符号化器であって、
前記ビデオデータはＩ、ＰもしくはＢタイプのマクロブロックに基づき符号化され、
異なった前記デッドゾーン変数（Θ）は各々のマクロブロックで用いられる。
【請求項１８】
請求項１１ないし１７のいずれかに記載の符号化器であって、
さらに
符号化されるビデオデータ内にあるフィルムグレインの存在または程度を検出する検出器と、
検出結果にしたがって、前記デッドゾーン変数のサイズを適合する設定手段と
を備える。
【請求項１９】
請求項１１ないし１７のいずれかに記載の符号化器であって、
さらに、
符号化される前記ビデオデータ内にフィルムグレインの存在を検出する検出器と、
フィルムグレインが検出された場合のみに前記デッドゾーン変数の適用を可能にする手段とを備える。
【請求項２０】
請求項１１ないし１９のいずれかに記載の符号化器であって、
前記符号化器は予測符号化器であり、さらに、
符号化されたビデオデータを復号化する復号化器を備え、
前記復号化器は、量子化解除する間に前記デッドゾーン変数を適用する量子化解除器を含む。
【請求項２１】
ブロックに基づき符号化されたビデオデータを復号化する方法であって、前記ビデオデータは量子化された係数を含み、
あらかじめ定義された量子化解除された間隔にしたがい各々量子化された係数値を量子化解除された係数値に写像することにより前記符号化されたビデオデータの量子化された係数のブロックを量子化解除し、
量子化解除された係数のブロックを画素ブロックに変換する
手順を構成し、
最も低い係数値の量子化解除された間隔のサイズが、可変のデッドゾーン変数（Θ）にしたがい、調整される
ことを特徴とする。
【請求項２２】
請求項２１記載の方法であって
前記デッドゾーン変数（Θ）は前記間隔のステップサイズの半分から５倍の間の大きさをもつ。
【請求項２３】
請求項２１または２２記載の方法であって、
前記デッドゾーン変数（Θ）は、前記間隔のサイズのほぼ４分の１の大きさをもつ。
【請求項２４】
請求項２１ないし２３のいずれかに記載の方法であって、
前記デッドゾーン変数（Θ）は、ビデオシーケンスのフィールド毎またはフレーム毎に更新する。
【請求項２５】
請求項２１ないし２４のいずれかに記載の方法であって、
前記ビデオデータはＩ、ＰあるいはＢタイプのマクロブロックとして符号化され、
各々のマクロブロックは異なった前記デッドゾーン変数（Θ）をもつ。
【請求項２６】
請求項２１ないし２５記載の方法であって、
前記デッドゾーン変数（Θ）は記符号化されたビデオデータの一部分ではない。
【請求項２７】
ブロックに基づき符号化されたビデオデータを復号化する復号化器であって、
前記符号化されたビデオデータは量子化された係数を含み、
あらかじめ定義された量子化解除された間隔にしたがい各々の量子化された係数値を量子化解除された係数値に写像することで、前記符号化されたデータの量子化された係数のブロックを量子化解除する逆量子化器（２２０）と、
量子化解除された係数のブロックを画素ブロックに変換する逆変換器（２２０）と、
を備え、
最も低い係数値の量子化解除された間隔のサイズは、可変のデッドゾーン変数（Θ）にしたがい調整されること
を特徴としている。
【請求項２８】
請求項２７に記載の復号化器であって、
前記デッドゾーン変数（Θ）は、前記間隔のステップサイズの半分から５倍の大きさをもつ。
【請求項２９】
請求項２７および２８記載の復号化器であって、
前記デッドゾーン変数（Θ）は、前記間隔のサイズのほぼ４分の１の大きさをもつ。
【請求項３０】
請求項２７ないし２９のいずれかに記載の復号化器であって、
前記デッドゾーン変数（Θ）は、ビデオシーケンスのフィールド毎またはフレーム毎に更新される。
【請求項３１】
請求項２７ないし３０のいずれかに記載の符号化器であって、
前記ビデオデータはＩ、ＰあるいはＢタイプのマクロブロックとして符号化され、
各々のマクロブロックは異なった前記デッドゾーン変数（Θ）をもつ。
【請求項３２】
請求項２７ないし３１のいずれかに記載の符号化器であって、
前記デッドゾーン変数（Θ）は前記符号化されたビデオデータの一部分ではない。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画ビデオデータの符号化及び復号化に関する。特に、本発明は、適した量子化を用いることで、フィルム粒子情報を含むビデオデータを符号化及び復号化する方法及び装置に関する。
【背景技術】
【０００２】
動画フィルムは、フィルムの写真乳剤中に分散する銀ハロゲン結晶からなる。写真フィルムに記録される各画像は、銀ハロゲン結晶を感光させ現像することで生成される。カラー画像では、銀は、現像後に化学的に除去される。しかしながら、銀結晶構造は、小さい染料粒の形で現像後に残る。乳剤中の銀結晶のランダムな形状により、粒子群は、画像中にランダムに形成され、分布する。粒子構造の図示例は、図１に示される通りである。知覚可能な粒子構造は、フィルムグレインと呼ばれる。
【０００３】
動画の再生を見ている視聴者は、約０．００２ｍｍからその１０分の１以上のサイズの個々の粒子を認識することはない。しかしながら、視聴者は、粒子群のグループについては知覚し、それをフィルムグレインとして識別するであろう。
【０００４】
画像の解像度を向上させると、それに伴ってフィルムグレインも知覚され易くなる。特に、フィルムグレインは、映画の再生や高解像度ビデオ画像では明瞭に知覚される。一方、フィルムグレインは、標準テレビ画像や、より小さなテレビ表示フォーマットでは、重要ではない。
【０００５】
動画は、ビデオ電話及びビデオ会議からＤＶＤ及びデジタルテレビに至るまで、増大しつつある数多くのアプリケーションで採用されている。動画を転送又は記録するには、相当なデータ量が限られた帯域しかない従来の伝送チャネルを介して送信し、限られたデータ量しかない従来の記録媒体に格納しなければならない。従来のチャネル／媒体でデジタルデータを伝送し格納するためには、デジタルデータの量を圧縮又は削減することが必須である。
【０００６】
ビデオデータの圧縮としては、複数のビデオ符号化規格が開発されている。そのようなビデオ規格とは、たとえば、Ｈ．２６ｘと記述されるＩＴＵ−Ｔ規格や、ＭＰＥＧ−ｘと記述されるＩＳＯ／ＩＥＣ規格である。最も最新で進んだビデオ符号化規格は、現在、Ｈ．２６４／ＡＶＣ又はＭＰＥＧ−４／ＡＶＣと記述される規格である。
【０００７】
ほとんどのこれらの規格の基礎となる符号化のアプローチは、次の主要なステージからなる。
【０００８】
（ａ）各ビデオフレームをブロックレベルでデータ圧縮できるように、それぞれの個々のフレームを画像ブロックに分割する。
（ｂ）ビデオデータの各ブロックを空間領域から周波数領域に変換することで、ビデオフレームにおける空間的な冗長度を削減する。
（ｃ）その結果としての変換係数を量子化する。
（ｄ）量子化された変換係数をエントロピー符号化する。
（ｅ）続くフレーム間の変化だけを伝送するために、続くフレームのブロック間における時間的な依存性を利用する。これは、動き予測／補償技術を用いることで実現される。
【０００９】
様々なビデオ圧縮技術において、いわゆるハイブリッド符号化技術が最も効果的であると知られている。ハイブリッド符号化技術は、統計的な符号化とともに、時間及び空間における圧縮技術を結合している。最もよいハイブリッド技術は、動き補償された差分パルス符号変調（ＤＰＣＭ）、２次元離散コサイン変換（ＤＣＴ）、ＤＣＴ係数の量子化、可変長符号（ＶＬＣ）である。
【００１０】
動き補償されたＤＰＣＭは、現在のフレームと前のフレーム間における画像オブジェクトの動きを決定し、決定した動きに従って、現在のフレームと予測値との差分を示す差分信号を生成するために、現在のフレームを予測する処理である。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
現在のビデオ符号化規格は、異なるビデオコンテンツに対処するために、複数の異なる処理手順を用いているが、これらの規格は、フィルムグレインを考慮していない。よって、これらの規格は、フィルムグレイン情報を符号化しない。フィルムグレイン情報は、符号化効率をかなり削減する時に、保持されるだけである。
【００１２】
そこで、本発明は、高い符号化効率を維持することで、フィルムグレイン情報を含むビデオデータを符号化及び復号化する改良された方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
これは、独立クレームの発明によって実現される。
好ましい実施の形態は、従属クレームの発明である。
【００１４】
本発明の第一の形態によれば、ビデオデータの符号化手法が提供される。その手法は、画像を複数の画素を含む複数のブロックに分割し、前記画素ブロックを変換係数に変換し、各々の係数値を量子化された係数値へ写像することにより、あらかじめ定義された量子化間隔に従ってその変換係数を量子化する手順を備える。最も低い係数値の量子化間隔のサイズは、可変のデッドゾーン変数に従って調整される。適用されたデッドゾーン変数は、復号化器側において、対応する最も低い係数値の前記量子化間隔の変形のために符号化されたビデオデータに含まれている。
【００１５】
本発明の形態はさらに、画像ブロックに基づきビデオデータを符号化する符号化装置が提供される。各々の画像ブロックは、複数の画素を含む。符号化器は変換部と量子化器とを備える。変換部は画像ブロックを変換係数に変換する。量子化器は各々の係数値を量子化された係数値に写像することによりあらかじめ定義された量子化間隔にしたがって、変換係数を量子化する。最も低い係数値の量子化間隔のサイズは、可変のデッドゾーン変数に従って調整される。適用されたデッドゾーンパラメータは、復号化器側において、対応する最も低い係数値の前記量子化間隔の変形のために符号化されたビデオデータに含まれる。
【００１６】
本発明の別の形態によれば、画像ブロックに基づきビデオデータを復号化する手法が提供される。符号化されたビデオデータは量子化された係数を含む。その手法は、あらかじめ定義された量子化間隔に従い、各々の量子化された係数値を量子化解除された係数値に写像することによって、前記符号化されたビデオデータの量子化された係数値を量子化解除し、量子化解除された係数のブロックを画像ブロックに変換する手段を備える。最も低い係数値の量子化間隔のサイズは、可変のデッドゾーン変数に従い調整される。
【００１７】
本発明のさらに別の形態によれば、ブロックに基づき符号化されたビデオデータを復号化する復号化装置が提供される。符号化されたビデオデータは量子化された係数を含む。復号化器は、逆量子化器と逆変換部とを備える。逆量子化器は、あらかじめ定義された量子化間隔にしたがい各々の量子化された係数値を量子化解除された係数値に写像することによって、前記符号化されたビデオデータの量子化された係数のブロックを量子化解除する。逆変換部は、量子化解除された係数のブロックを画像ブロックに変換する。最も低い係数値の量子化間隔のサイズは、可変のデッドゾーン変数に従い調整される。
【００１８】
本発明の一態様として、ゼロに量子化される最も低い係数値に対する量子化間隔の間隔サイズは、可変のデッドゾーン変数にしたがい適応的に設定されても良い。デッドゾーン変数は、その間隔が量子化解除処理の間、それに対応して変更されるような復号化器へ送られる。このようにして、量子化間隔（および量子化値）に関しての係数値の相対的な位置とその結果の符号化効率とは維持される。
【００１９】
従来の発明の方法によれば、丸め用制御変数は、最も低い係数値の量子化間隔のサイズに影響を及ぼすために用いられてもよい。しかし、丸め用制御変数によるその間隔サイズの調整は、量子化間隔の範囲における係数値の位置に悪影響を及ぼす。従って、符号化効率も影響される。対照的に、本発明は、最も低い係数値に対する間隔のサイズを調整することにより、符号化効率を維持することを可能にする。この目的のために、復号化処理は、それに対応して調整される。この目的のために、可変の調整変数は、復号器側における量子化間隔が逆の方法で調整され得るような復号器に提供される。
【００２０】
最も低い係数値に対する量子化間隔のサイズを調整することにより、符号化するフィルムグレイン情報の程度が適応に設定され得る。最も低い係数値に対する量子化間隔のサイズを減らしておけば、符号化されるビデオデータ内のフィルムグレイン情報が保持される。対照的に、その間隔を拡大しておけば、符号化されたビデオデータにおけるフィルムグレイン情報が減少する。本発明によって導入された最も低い係数値に対する間隔の調整は、変換係数値の確率分布への量子化の適合度に影響しないので、符号化効率は悪影響を受けない。
【００２１】
好ましくは、量子化間隔はさらに丸め用制御変数に従って調整される。デッドゾーン変数とは対照的に、丸め用制御変数は、符号化されたビデオデータの部分ではない。
【００２２】
したがって、量子化間隔の範囲は、二つの異なった方法にて調整され得る。まず、量子化間隔の範囲は、丸め用制御変数を設定することにより、各々の間隔に対する係数値の確率分布に好ましく適応するよう調整されても良い。次に、最も低い係数値に対する量子化間隔は、丸め用制御変数の調整を維持すること、言い換えれば、獲得した確率分布への適合を保持することにより、調整されても良い。この方法では、フィルムグレイン情報は、符号化効率に悪影響を与えずに符号化され得る。
【００２３】
デッドゾーン変数は、好ましくは、前記間隔のステップサイズの半分から５倍の間の大きさを持つことである。もっとも好ましくは、デッドゾーン変数は、前記間隔のサイズの４分の１のサイズを持つことである。
【００２４】
好ましくは、符号化されたビデオデータに含まれるデッドゾーン変数は、符号化されたビデオシーケンスのフィールド毎またはフレーム毎に更新される。この方法では、最も低い係数値に対する量子化間隔のサイズを効率的に制御するために、ビデオデータにおけるフィルムグレイン情報の可変の程度が迅速に考慮される。
【００２５】
別の好ましい実施例によれば、デッドゾーン変数はより大きな間隔で、例えば符号化される各々の新しいビデオシーケンスに対して更新される。
【００２６】
別の好ましい実施の形態の例によれば、異なったデッドゾーン変数は、使用されたビデオ符号化モードによって選択される。特に、適用可能なデッドゾーン変数は、マクロブロックのタイプ、例えばＩタイプ、ＰタイプあるいはＢタイプのマクロブロックにより、各々のマクロブロックに対して選択される。
【００２７】
さらに好ましい実施の形態の例によれば、デッドゾーン変数は、符号化されたデータ内にあるフィルムグレインの検出された存在または程度に従って選択される。そんな適応可能な手法は、現在の符号化された画像内容にしたがい、近似のデッドゾーン変数を常に選択することを許容する。もう一つの方法として、検出処理は、符号化されたビデオデータにあるフィルムグレインの存在を評価するだけでも良い。
【００２８】
前述の内容と本発明における他の目的および特徴は、後述の詳細と添付の図と連結された好ましい実施の形態とから、よりいっそう明らかになる。
【発明を実施するための最良の形態】
【００２９】
図２を参照すると、ハイブリッドビデオ符号化器の例が示されている。全体的に数値符号１００で示されるそのビデオ符号化器は、現在のビデオ画像（入力信号）と先に符号化された画像に基づく現在のビデオ画像の予測信号との間の差分を決定する差分器１１０を備えている。変換量子化部１２０は、その結果生じた予測誤差を空間領域から周波数領域へ変換し、得られた変換係数を量子化する。エントロピー符号化部１９０は、量子化された変換係数をエントロピー符号化する。
【００３０】
図２のビデオ符号化器の動作は以下の通りである。その符号化器は、入力ビデオシーケンスの続く画像間の差分を伝送するだけの差分パルス符号化変調（ＤＰＣＭ）手法を用いる。この差分は、そこから現在の画像の予測分を差し引くために符号化対象となるビデオ画像を受け取る１１０で決定される。
【００３１】
その予測分は、符号化器側で先に符号化された画像の復号化する結果（“自装置内で復号化された画像”）に基づいている。これは、ビデオ符号化器１００に組み込まれた復号化部によって実現される。復号化部は符号化手順を逆に実行する。逆量子化および逆変換部１３０は、量子化された係数を量子解除化し、逆変換を量子解除化係数に適用する。加算器１３５において、復号化された差分は予測信号に加えられる。
【００３２】
図２のビデオ符号化器で処理される、動き補償されたＤＰＣＭは、対応する前のフィールドまたはフレームデータから現在のフィールドまたはフレームを予測する。この予測は、現在および前のフィールドまたはフレーム間の動きの予測に基づいている。この動き予測は、現在および前のフレーム間での画素の差分を表す２次元の動きベクトルによって決定される。通常は、動き予測はブロックごとに実行されるが、もっとも適合するものが決定するまで、現在のフレームのブロックは前のフレームのブロックと比較される。その比較結果に基づいて、現在のフレームの各々のブロックにおける差分ベクトルが予測される。
【００３３】
これは、現在の入力信号と自装置内で復号化された画像を受け取る動き予測部１７０により実現される。
【００３４】
動き予測の結果に基づき、動き補償予測部１６０により実行される動き補償は、決定された動きベクトルを利用する予測分を提供する。その後、現在と予測されたブロック間の差分を表す、予測誤差ブロックに含まれるその情報は、変換部１２０によって変換係数に変換される。したがって、一般的に２次元の離散コサイン変換（ＤＣＴ）が用いられる。
【００３５】
Ｈ．２６４／ＡＶＣ規格によれば、入力画像はマクロブロックに分割される。マクロブロックは“イントラ”または“インター”の符号化モードを適用して、符号化される。インターモードにおいては、マクロブロックは、上述したように動き補償を用いることにより、予測される。イントラモードにおいては、予測信号はゼロに設定されるが、ビデオ符号化規格Ｈ．２６４／ＡＶＣはさらに続くマクロブロックを予測するためにすでに符号化された同じ画像のマクロブロックに基づいた予測方式を用いる。
【００３６】
面内符号化された画像（Ｉタイプ画像）だけが、前に符号化された画像を参照することなく符号化されることができる。そのＩタイプ画像は、符号化された続くビデオに対して誤り回復を提供する。さらに、ランダムアクセスを可能にするために、言い換えれば、符号化されたビデオ画像のシーケンス内にあるＩタイプ画像にアクセスするために、符号化されたデータのビットストリームへの入力点はＩタイプ画像によって提供される。イントラモード間の切り替え、言い換えれば、面内フレーム予測部１５０によってされる処理と、インターモード、言い換えれば動き補償予測部１６０によってされる処理とが、面内／面間スイッチ１８０よって制御される。
【００３７】
さらに、自装置内で復号化された画像内でのブロックする効果を減らすのに、デブロッキングフィルター１３７を備えてもよい。
【００３８】
符号化された画像を復号化器側にて再構成するのに、符号化処理は逆の方法で適用される。対応する復号化器の構成を示した概念的な図は図３に示されている。まず、エントロピー符号化はエントロピー復号化器２１０で、復号される。そのエントロピー復号化された係数は逆量子化逆変換器２２０へ送られ、その動画データは動き補償予測部２７０へ送られる。量子化された係数は、逆量子化逆変換部２２０で処理される。予測差分を含み再構成された画像ブロックはインターモード動き補償予測部２７０もしくはイントラモード面内フレーム予測部２６０から取り出された予測信号に加算器２３０によって加えられる。その結果得られる画像は、デブロッキングフィルター２４０に適用され、復号化された信号は予測部２６０、２７０に適用されるためにメモリー２５０に蓄積される。
【００３９】
図４を参照すると、一様量子化器における入力係数値Ｗと量子化された出力係数値Ｗ’の間の関係の一例が示されている。入力係数値Ｗは  図２に示されるように量子化部１２０に送られる前述の係数値を表している。Ｗ’は図２または図３の逆量子化部１３０、２２０から出力された量子化解除された係数値を表している。図４で示される例より、Ｗが−Δ／２より大きくΔ／２以下である範囲の入力係数値のすべては、Ｗ’が０になる出力係数値へと量子化される。同様に、Ｗが−Δ／２より大きく３Δ／２以下の間の入力係数値はＷ’がΔになるよう量子化される。この一様量子化、言い換えれば、一様な量子化間隔に適用する量子化は、以下の式（１）によって表される。
【数１】
2007522743.tif 000003
【００４０】
式（１）より、入力係数値Ｗは量子化レベルＺへ写像される。Δは量子化ステップサイズまたは間隔の大きさを表し、fは丸め用制御変数を表す。丸め用制御変数fは  Ｗ軸にある２つの量子化値間の閾値を調整することができる。これは以下にて図５に関連して述べる。
【００４１】
丸め用制御変数fは図４で示されるfがΔ／２である量子化曲線で規定される。関数“ｓｇｎ（…）”が、入力係数値Ｗの符号を返す一方で、その関数“ｆｌｏｏｒ（…）”は、ゼロに最も近い整数へ丸める。
【００４２】
量子化レベルＺを量化された係数値Ｗ’に写像したものは、式（２）で表される。
【数２】
2007522743.tif 000004
【００４３】
式（２）の演算は、“逆量子化”あるいは“量子化解除”と呼ばれる。
【００４４】
量子化曲線の他の例は、図５に示されている。丸め用制御変数fを変更することで、量子化演算の丸め誤差の処理が制御され得る。例えば図４に示されるように、丸め用誤差制御変数fをΔ／２とすることにより、その量子化された係数値Ｗ’はそれぞれ値Ｗを入力された係数値の量子化間隔の中心に位置するよう定められる。例えば、ＷがΔ／２から３Δ／２の間である入力係数値のすべてが  出力係数値Ｗ’がΔとなるよう量子化される。
【００４５】
丸め用制御変数fがより小さな値をとるとき、量子化された係数値Ｗ’は入力係数値Ｗの間隔の中心値に比べて小さくなる傾向がある。fが０となるよう変数を丸める制御の例は図５に示される。ここから分かるように、入力係数値Ｗの各量子化間隔は出力係数値Ｗ’のようにより低い間隔値に写像される。
【００４６】
丸め用制御変数f＝０を導入することで、次のふたつの効果を持つ。
【００４７】
１．  係数値が０付近である量子化間隔は増加する。このようにして、−Δより大きくΔより小さい入力係数値ＷのすべてはＷ’が０となる出力係数値へ量子化される。
２．  Ｗ’が０でない量子化された係数値の値は、量子化間隔の中心には位置づけられない。例えば、−Δより大きく２Δより小さい入力係数値Ｗは  Ｗ’がΔになるよう量子化される。
【００４８】
Ｈ．２６４／ＡＶＣにおいてのビデオ符号規格は、イントラモードでfがΔ／３の値を持ち、インターモードでΔ／６の値を持つ丸め用制御変数fを採用する。図４で示される量子化間隔と比較して量子化範囲を変化させているのは入力係数値の一様でない確率分布へより適合することを目的としている。ビデオ符号化における変換係数の一様でない確率分布は、ラプラシアン確率分布により近似される。ラプラシアン確率分布の例は図６に示される。その変換係数の確率分布によれば、各量子化間隔以内でより量子化値が小さくなる傾向がある。従って、fがΔ／２より小さい丸め用制御変数は、量子化された係数値Ｗ’の値がより小さくなる結果となる。量子化された係数値は、このようにして、量子化間隔の中心には位置づけられない。
【００４９】
ラプラシアン分布の変数が面内または面間の符号化するモードへ変化する際には異なった丸め用制御変数が各符号化モードで使われる。
【００５０】
動画における現在のフィルムグレインの符号化に関して、フィルムグレインは、動き補償で予測できない、一時的に無相関な構造である。その結果、フィルムグレインは、予測誤差にて、言い換えれば、符号化するブロックそれぞれにて符号化される必要がある。予測誤差のブロック係数の一例は図１１Ａに示される。
【００５１】
フィルムグレイン情報は、小さな変換係数値に順番に反映された小さな予測誤差値によって、特に表される。ビデオ符号化する間の量子化段階は、ゼロ付近のすべての係数値がゼロになるよう量子化されるよう設計されるため、フィルムグレイン情報は不可逆的に失われる。フィルムグレイン情報を再生できないぐらい小さな表示寸法が用いられる限りは、この量子化ロスは意図されたものとなる。量子化された変換係数ブロックの例が図１１Ｂに示されている。これによりわかるように、最も低い係数値の量子化間隔ではすべての係数値がゼロとなるように量子化される結果となる。
【００５２】
フィルムグレイン情報は、より多くの量子化間隔が提供されるように量子化間隔のサイズを減じることによって、符号化されたビデオデータ内で保持される。しかし、そんな変更は、符号化結果およびそれに相応し低下した符号化効率における深刻なビットレートの増加という結果をもたらす。
【００５３】
他の手法によれば、丸め用制御変数fは、例えば図４や図５に示されるように変更されてもよい。しかし、丸め用制御変数の変更は、最も低い係数値の量子化間隔のサイズに影響するだけである一方、隣接した量子化値へ量子化する係数値Ｗに対する閾値は、すべての閾値に対して一様に変更される。各量子化間隔のこの変更はラプラシアン分布への量子化の適合度を下げる。その結果、量子化誤差は増加し、符号化効率は低下する。
【００５４】
本発明は、ラプラシアン確率分布にあわせて変更される、他の量子化間隔での係数値を写像するのに悪影響を与えずに、最も低い係数値に対して量子化間隔のサイズを制御するよう割り当てる可変のデッドゾーンを持つ。変数のサイズが可変に設定されるように、残留するフィルムグレインと全体の歪との間においてのトレードオフが制御され得る。
【００５５】
量子化器のデッドゾーンサイズの変更は、直接的に残留フィルムグレイン強度に関連する。デッドゾーンサイズが小さくなるときは、多くのフィルムグレインが見えるようになる。その反面、デッドゾーンのサイズが大きくなると、符号化されたデータの中にフィルムグレインが保持されることが少なくなる。一方、現在のビデオ符号化規格は本発明に係るデッドゾーン変数を用いていない。本発明におけるデッドゾーン変数を用いることにより最適化されたデッドゾーン変数のサイズは、重要なフィルムグレインを含む高精細の動画の画質を高めることができる。
【００５６】
符号化されたデータ内のフィルムグレインを保持する必要性は、特定のアプリケーションに左右される。復号化器側でフィルムグレインを再構成する必要性がない場合、より大きなデッドゾーンが容認される。より大きなデッドゾーンが適用されることによって、量子化処理が原因で失われる、小さくそして重要な変換係数の数は増えることになる。しかしながら、フィルムグレインが復号器側で再構成される必要がある場合には、小さいサイズのデッドゾーンを適用することによって、符号化されたビデオデータからのフィルムグレインの再生は改善される。このようにして、可変のデッドゾーン変数を適用することで、デッドゾーンのサイズは、符号化器および復号化器の場所で同時に、適切に設定され得る。
【００５７】
量子化処理をする可変のデッドゾーン変数を含むとき、それに応じて式（１）が変形され、下記の式（３）によって表される。
【数３】
2007522743.tif 000005
【００５８】
逆量子化は式（４）で与えられる。
【数４】
2007522743.tif 000006
【００５９】
式（４）から分かるように、量子化レベルを示す絶対値は、ステップサイズΔと掛け合わされる。その掛け算から得られる値に、デッドゾーン変数Θが加えられる。式（４）で定義される逆量子化処理の中で、デッドゾーン変数Θを加えることによって、式（３）で定義される符号化器側のデッドゾーン変数Θによるデッドゾーンのサイズの減少は補償される。本発明におけるデッドゾーン変数Θは、符号化器および復号化器側で最も低い係数値に対する間隔サイズの修正に作用する一方で、丸め用制御変数fは符号化する処理の間、適用されるだけであり、復号器側での補償は必要とされない。
【００６０】
図７ないし図８Ａを参照すると、量子化処理間にデッドゾーン変数を適用する例が示されている。図７の例は、デッドゾーンが拡大するデッドゾーン変数Θを示している。一方、図８Ａのデッドゾーンは、本発明におけるデッドゾーン変数を適用することで、小さくなっている。
【００６１】
図７は、入力係数値Ｗと量子化解除された出力係数値Ｗ’との間の関係を示している。図４で示される関係から起因して、デッドゾーン、言い換えれば、最も低い係数値に対する量子化間隔のサイズはデッドゾーン変数Θを加えることで、大きくなっている。一方で、丸め用制御変数fの影響は復号化器側に通知されないままである一方で、符号化器側でそれに対応した拡大は復号化器側でのデッドゾーン変数によって影響される。デッドゾーンを大きくすることで、より小さな係数値が符号化されたデータ内に保持される。
【００６２】
それに引き換え、図８Ａは、前述のデッドゾーン変数Θを適用することにより、デッドゾーンのサイズが小さくなる係数値Ｗと量子化された出力係数値Ｗ’との間の関係を示している。図７とは対照的に、図８の丸め用制御変数はfがΔ／４となるように設定されている。
【００６３】
ゼロより小さいデッドゾーン変数Θを用いることで、ゼロ付近の量子化間隔は小さくなり、より小なくなる小さな値はゼロになるよう量子化されている。デッドゾーンのサイズは小さくなるが、量子化解除された出力係数値Ｗ’は、依然のまま、各量子化間隔内にある同様の相対的な位置に位置づけられる。例えば、１／２Δより大きく３／２Δ以下となる範囲のＷは、Ｗ’が３／４Δの出力係数値となるよう量子化される。
【００６４】
デッドゾーン変数Θを制御することによって、符号化されたビデオデータ内にあるフィルムグレイン情報を保持するための小さな係数値の再構成が制御され得る。
【００６５】
図８Ｂは、図５で示される例に基づく従来技術の例を示している。しかし、丸め用制御変数fは図８で適用されるfすなわちfがΔ／４となるのと対応している。図８Ａ図８Ｂの量子化器を比較すると、
１．各間隔内にある係数値は、量子化された値と関連した同様の相対的な位置に位置づけられている。このようにして、両方の量子化器における写像は、ラプラシアン確率分布に適応している。
２．最も低い係数値に対する量子化間隔のサイズは異なる。従来の量子化器（図８Ｂ）は３／４Δまでの範囲で最も低い係数値に対する量子化間隔を適用するが、この間隔は、本発明（図８Ａ）によると、Δ／２をデッドゾーン変数Θに適用することにより適応される。
【００６６】
その結果、最も低い係数値に対する量子化間隔のサイズは、前述のデッドゾーン変数Θを適用することにより、ラプラシアン確率分布への写像への適合に悪影響を与えずに変化させることができる。丸め用制御変数fのサイズを変化させることにより、この写像はラプラシアン確率分布へ適合させたままにすることができる。
【００６７】
丸め用制御変数fとは対照的に、デッドゾーン変数Θは、符号化処理中に加えて、復号化処理中にも適用されなければならない。それゆえ、デッドゾーン変数は、符号化器から復号化器側に伝送されなければならない。復号化器で適用されるデッドゾーン変数を伝送する頻度は、例えば、フレーム毎やシーケンス毎などに設定されてもよい。
【００６８】
本発明における符号化器と復号化器の構成を示す概念的なブロック図は、図９および図１０で示される。図９および図１０のブロック図では、同一の数値符号で示されている図２および図３のブロック構成要素と同一のブロック構成要素を示している。
【００６９】
さらに、これらのブロック構成要素はすでに、図２で示されている。数値符号３００で全体的に記述されている図９で示される符号化器はさらに、デッドゾーン変数を量子化器１２０へ適用し、適用したデッドゾーン変数を復号化器側への伝送のためにエントロピー符号化器１９０へ転送する処理部３１０を備える。その代わりに、デッドゾーン変数は、復号化器側への伝送前ではエントロピー符号化の対象とならない。
【００７０】
図１０は図９の符号化器に対応する復号化装置の構成を示す。その復号化器は、数値符号４００で全体的に記述される。図３のブロック構成要素に加え、処理部４１０が挿入されている。処理部４１０は受け取られたデッドゾーン変数を逆量子化器２２０に適用する。
【００７１】
処理部３１０および４１０は、適用できるデッドゾーン変数の適用期間に適用するためのデッドゾーン変数を記憶しても良い。特に、処理部は、異なった符号化モード、たとえば、ＩタイプやＰタイプ、Ｂタイプ画像もしくはマクロブロックに適用される異なったデッドゾーン変数を記憶してもよい。
【００７２】
図１１Ｃは、図１１Ａが示すブロックに対応する量子化された変換係数値の４つのブロックを示している一方で、図１１Ｄは本発明に従いデッドゾーン変数を適用したときの量子化された変換係数の４つのブロックを示している。
【００７３】
図９および図１０における符号化器および復号化器での動作は図１２および図１３に関連して次に述べる。
【００７４】
図１２は本発明における符号化器の動作を示すフローチャートである。符号化されるビデオ画像を複数のブロックに分割したあと（ステップＳ１０）、画像ブロックはブロック変換係数に変換される（ステップＳ２０）。ＤＣＴのような直交変換が適用されるのが好ましい。ゼロ付近の最も低い係数値の間隔のサイズは、本発明で導入されるデッドゾーン変数に従って設定される（ステップＳ３０）。その変換係数は、量子化間隔の調整されたサイズに基づき、量子化される（ステップＳ４０）。
【００７５】
デッドゾーン変数は、固定された変数あるいは更新可能な変数であっても良い。更新可能な変数を適用する場合、その変数は、復号化器が対応する動作を適用できるようにするために、符号化されたビデオデータに含まれる。
【００７６】
符号化されたビデオデータは、量子化された変換係数とひとつあるいはいくつかのデッドゾーン変数とを含む。これらのデータは、記憶装置に保存されてもよく、圧縮された画像の即座の再構築のために復号化器に伝送されてもよい。
【００７７】
復号化処理は、図１３に関連して、次に述べる。ゼロ付近の最も低い係数値における間隔のサイズは、符号化器側から受け取ったデッドゾーン変数に従い設定される（ステップＳ５０）。その受け取った係数は、調整された量子化間隔にしたがった量子化解除の対象となる（ステップＳ６０）。その量子化解除された係数値は、画像ブロックへ変換され（ステップＳ７０）、続くブロックは復号化されたビデオ画像を形成するように結合される（ステップＳ８０）。
【００７８】
現在のビデオ復号化規格Ｈ．２６４／ＡＶＣによって適用される変換係数の量子化は式（５）で表すことができる。
【数５】
2007522743.tif 000007
【００７９】
項Ｗij・ＭＦは量子化される変換された係数を表している。ハードウェアと親和性の良い量子化処理を実施するために、換算係数ＭＦは、変換処理と分離され、量子化処理へ含まれる。添字ｉｊは変換行列で変換された係数の位置を記述する。丸め用制御変数fは変換係数のラプラシアン確率分布に量子化処理を適合させるのに役立つ。確率分布がイントラ符号化モードとインター符号化モードに対して異なってもよいし、その制御変数fに対して異なった値が各々のモードに対して使われてもよい。その＞＞演算は右シフトを記述している。右シフトの動作は、割り算を避けるために使われ、その結果、容易なハードウェアの実施を可能にする。右シフトの演算は、式（６）で表される“ｑｂｉｔ”にて短縮された項である２qbitによって割り算されることに等しい。
【数６】
2007522743.tif 000008
【００８０】
ＱＰは量子化変数を示している。式（５）の関数“ｓｇｎ（…）”は入力係数値の符号を返す。式（７）を適用すると、
【数７】
2007522743.tif 000009
【００８１】
式（５）は式（８）と変形できる。
【数８】
2007522743.tif 000010
【００８２】
デッドゾーン変数Θを導入することで、式（８）はさらに、式（９）へ変形される。つまり、
【数９】
2007522743.tif 000011
【００８３】
式（７）を考慮することで、式（９）はさらに式（１０）に変形される。
【数１０】
2007522743.tif 000012
【００８４】
現在の符号化規格Ｈ．２６４／ＡＶＣにより定義される逆量子化は、式（１１）で表される。
【数１１】
2007522743.tif 000013
【００８５】
その要素
【数１２】
2007522743.tif 000014
は式（７）の量子化ステップサイズΔとその換算係数に含まれる。その換算係数は逆変換から起因しており、量子化の仕組みの核心の部分ではない。式（１１）の逆変換でデッドゾーン変数Θを導入するには、その換算係数は量子化ステップサイズΔと分離されなければならない。式（６）により、その分離は式（１２）よって示されるように表され得る。
【数１３】
2007522743.tif 000015
【００８６】
式（１２）を考慮すると、式（１１）表される逆量子変換は、式（１３）に変形できる。
【数１４】
2007522743.tif 000016
【００８７】
式（１３）では、
【数１５】
2007522743.tif 000017
は逆変換から起因する換算係数を記述している。デッドゾーンのサイズは逆変換へまとめられ、式（１３）は、式（１４）へ変形することができる。
【数１６】
2007522743.tif 000018
【００８８】
２-15の乗法演算に代えてシフト動作を適用すると、式（１４）は式（１５）のように書き換えることができる。
【数１５】
2007522743.tif 000019
【００８９】
以上より、本発明によれば、ビデオデータを符号化する処理の全体的な符号化効率に悪影響を及ぼさずに、フィルムグレイン情報を制御するが可能になる。この目的のために、もっとも低い変換係数値に対する量子化間隔のサイズの制御は、量子化間隔と量子化された値とを変換係数値の確率分布へ適合する制御から分離される。これは、量子化処理と量子化解除処理によって考慮されるデッドゾーン変数を提供することで実現される。
【図面の簡単な説明】
【００９０】
【図１】図１は、拡大されたフィルムグレイン構造の例を示している。
【図２】図２は、従来技術におけるハイブリッドビデオ符号化器の構成をブロック図形式で概念的に示している。
【図３】図３は、従来技術におけるハイブリッドビデオ復号化器の構成をブロック図形式で概念的に示している。
【図４】図４は、Δのステップサイズとf＝Δ／２の丸め用制御値を持つ一様量子化器における入力係数値Ｗと量子化された出力係数値Ｗ’との関係の一例を示している。
【図５】図５は、Δのステップサイズとf＝０の丸め用制御値を持つ量子化器における入力係数値Ｗと量子化された出力係数値Ｗ’との関係の一例を示している。
【図６】図６は、ラプラシアン確率分布を概念的に示している。
【図７】図７は、本発明に従いデッドゾーン変数Θ適用することによって最も低い係数値に対する量子化間隔のサイズが広げられた場合における、入力係数値Ｗと量子化された出力係数値Ｗ’との関係の一例を示している。
【図８Ａ】図８Ａは、本発明に従いデッドゾーン変数Θを適用することにより最も低い係数値に対する量子化間隔のサイズが縮められた場合における、入力係数値Ｗと量子化された出力係数値Ｗ’との関係の一例を示している。
【図８Ｂ】図８Ｂは、図８Ａの丸めた制御変数に対応し、Δのステップサイズとf＝Δ／４の丸め用制御値を持つ一様量子化器における入力係数値Ｗと量子化された出力係数値Ｗ’との関係の一例を示している。
【図９】図９は、本発明におけるハイブリッドビデオ符号化器の好ましい変形例をブロック図形式で概念的に示している。
【図１０】図１０は、本発明におけるハイブリッドビデオ復号化器の変形例をブロック図形式で概念的に示している。
【図１１Ａ】図１１Ａは、量子化前のブロック変換係数の例を示している。
【図１１Ｂ】図１１Ｂは、量子化された後のブロック変換係数の例を示している。
【図１１Ｃ】図１１Ｃは、図１１Ａの例における量子化前のブロック変換係数の例を示している。
【図１１Ｄ】図１１Ｄは、本発明における量子化後のブロック変換係数の例を示している。
【図１２】図１２は、本発明におけるビデオデータを符号化する工程を示すフローチャートである。
【図１３】図１３は、本発明におけるビデオデータを復号化する工程を示すフローチャートである。
【図１】
2007522743.tif 000020
【図２】
2007522743.tif 000021
【図３】
2007522743.tif 000022
【図４】
2007522743.tif 000023
【図５】
2007522743.tif 000024
【図６】
2007522743.tif 000025
【図７】
2007522743.tif 000026
【図８Ａ】
2007522743.tif 000027
【図８Ｂ】
2007522743.tif 000028
【図９】
2007522743.tif 000029
【図１０】
2007522743.tif 000030
【図１１Ａ】
2007522743.tif 000031
【図１１Ｂ】
2007522743.tif 000032
【図１１Ｃ】
2007522743.tif 000033
【図１１Ｄ】
2007522743.tif 000034
【図１２】
2007522743.tif 000035
【図１３】
2007522743.tif 000036
【国際調査報告】
2007522743.tif 000037
2007522743.tif 000038
2007522743.tif 000039