(57)【要約】本発明は、ブロック符合化技術に従って、符合化される映像データに基づいて、ブロッキングアーチファクトを測定する方法に関する。この方法は、第１仮想境界画素（ｖｅｐ１）の値を供給するために適切である、符合化映像データの第１ブロックの第１行の一次元逆離散変換（３１）を演算する段階を有する。その方法は又、第２仮想境界画素（ｖｅｐ２）の値を供給するために適切である、符合化映像データの第２ブロックの第１行の一次元逆離散変換（３２）を演算する段階であって、第２ブロックは第１ブロックに隣接している、段階を有する。最終的に、その方法は、第１仮想画素の値と第２仮想画素の値との間の差の絶対値に基づいて、ブロッキングアーチファクトレベル（ＶＥＰ＿Ｌ）を演算する段階を有する。この方法は、例えば、映像符号化器、復号化器及びトランスコーダに対してそのアプリケーションを見出す。
2006509401.tif 000002
【特許請求の範囲】
【請求項１】
ブロックベースの符合化技術に従って符号化される映像データに基づいてブロッキングアーチファクトを測定する方法であって：
第１仮想境界画素の値を供給するために適切である、符合化映像データの第１ブロックの第１行の一次元逆離散変換を演算する段階；
−  符合化映像データの第２ブロックの第１行の一次元逆離散変換を演算する段階であって、前記第２ブロックは、第２仮想境界画素の値を供給するために適切である、前記第１ブロックに隣接している、段階；及び
−  前記第１仮想画素の値と前記第２仮想画素の値との間の差の絶対値に基づいて、ブロッキングアーチファクトレベルを演算する段階；
を有することを特徴とするブロッキングアーチファクトを測定する方法。
【請求項２】
請求項１に記載のブロッキングアーチファクトを測定する方法であって、前記仮想境界画素は、前記第１ブロックと前記第２ブロックとの間の境界に対応するポイントにおいて決定される、ことを特徴とするブロッキングアーチファクトを測定する方法。
【請求項３】
請求項１に記載のブロッキングアーチファクトを測定する方法であって、前記仮想境界画素は、前記第１ブロックと前記第２ブロックとの間の境界の両側における最近接画素に対応するポイントにおいて決定される、ことを特徴とするブロッキングアーチファクトを測定する方法。
【請求項４】
請求項１に記載のブロッキングアーチファクトを測定する方法であって、ブロッキングアーチファクトのレベルの演算は、人間の視覚体系の特性の関数である重み付け係数により重み付けされる、ことを特徴とするブロッキングアーチファクトを測定する方法。
【請求項５】
ブロックの形で映像データを符合化する方法であって：
符合化前処理のデータブロック及び符合化前処理のパラメータのアセンブリを供給するために適切である映像データブロックの集合を符合化前処理する段階；
変換データブロックを供給するために適切である、符合化前処理データブロックの集合
を部分的に復号化する段階；
変換データブロックに基づいて、ブロッキングアーチファクトレベルを供給するために適切である、請求項１に記載のブロッキングアーチファクトを測定する段階；
変更された符合化前処理パラメータを供給するために適切である、前記ブロックに関連するブロッキングアーチファクトレベルに従って、ブロックの符合化前処理パラメータを変更する段階；並びに
変更された符合化前処理パラメータに基づいて、映像データのアセンブリを符合化する段階；
を有することを特徴とする映像データを符合化する方法。
【請求項６】
符合化データブロックを復号化する方法であって：
変更データブロックを供給するために適切である、前記符合化データブロックを部分的に復号化する段階；
変換データブロックを逆変換データブロックに変換するために適切である逆離散変換の段階；
変換データブロックに基づいてブロッキングアーチファクトレベルを供給するために適切である、請求項１に記載のブロッキングアーチファクトを測定する段階；並びに
境界に関連するブロッキングアーチファクトレベルに従って、２つのブロック間の前記境界の両側における逆変換データのアセンブリに対してフィルタの集合の間のフィルタを適用するために適切であるフィルタリングの段階；
を有することを特徴とする符合化データブロックを復号化する方法。
【請求項７】
符合化データブロックをトランスコーディングする方法であって：
第１量子化ステップが関連付けられる変更データブロックを供給するために適切である、符合化データブロックを部分的に復号化する段階；
変換データブロックに基づいてブロッキングアーチファクトレベルを供給するために適切である、請求項１に記載のブロッキングアーチファクトを測定する段階；
第２量子化ステップが関連付けられる符合化データブロックを供給するために適切である、変換データブロックを部分的に符合化する段階；
記憶器に符合化データブロックを記憶する段階であって、ブロックの第２量子化ステップの値は、前記記憶器において利用可能であるスペース及び前記ブロックのアーチファクトレベルの値の関数である、段階；
を有することを特徴とする符合化データブロックをトランスコーディングする方法。
【請求項８】
ブロック符合化技術に従って、符合化映像データに基づいてブロッキングアーチファクトを測定する装置であって：
第１仮想境界画素の値を供給するために適切である、符合化映像データの第１ブロックの第１行の一次元逆離散変換を演算するための手段；
第１仮想境界画素の値を供給するために適切である、符合化映像データの第１ブロックの第１行の一次元逆離散変換を演算するための手段であって、前記第２ブロックは前記第１ブロックに隣接している、手段；並びに
第１仮想画素の値と第２仮想画素の値との間の差の絶対値に基づいて、ブロッキングアーチファクトレベルを演算するために適切な演算器；
を有することを特徴とするブロッキングアーチファクトを測定する装置。
【請求項９】
ブロックの形で映像データを符合化する映像符号化装置であって：
符合化前処理データブロック及び符合化前処理パラメータのアセンブリを供給するために適切である映像データブロックの集合を符合化前処理するための手段；
変換データブロックを供給するために適切である、符合化前処理データブロックの周おグを部分的に復号化するための手段；
変換データブロックに基づいて、ブロッキングアーチファクトレベルを供給するために適切である、請求項８に記載のブロッキングアーチファクトを測定する装置；
ブロックに関連するブロッキングアーチファクトレベルと前記ブロックの符合化前処理パラメータに基づく変更された符合化前処理パラメータを演算するためのユニット；並びに
変更された符合化前処理パラメータに基づいて映像データのアセンブリを符合化するための手段；
有することを特徴とする映像符号化装置。
【請求項１０】
符合化データブロックの映像復号化装置であって：
変換データブロックを供給するために適切である、符合化データブロックを部分的に復号化するための手段；
変換データブロックを逆変換データブロックに変換するために適切である、逆離散変換のための手段；
変換データブロックに基づいて、ブロッキングアーチファクトレベルを供給するために適切である、請求項８に記載のブロッキングアーチファクトを測定する装置；
境界に関連するブロッキングアーチファクトレベルに従って、２つのブロック間の前記境界の両側における逆変換データのアセンブリに対してフィルタの集合の間のフィルタを適用するために適切であるフィルタリングユニット；
を有することを特徴とする映像復号化装置。
【請求項１１】
符合化データブロックの映像トランスコーダであって：
第１量子化ステップが関連付けられる変更データブロックを供給するために適切である、符合化データブロックを部分的に復号化するための手段；
変換データブロックに基づいてブロッキングアーチファクトレベルを供給するために適切である、請求項１に記載のブロッキングアーチファクトを測定するための手段；
第２量子化ステップが関連付けられる符合化データブロックを供給するために適切である、変換データブロックを部分的に復号化するための手段；
符合化データブロックを記憶するためのユニット；並びに
ブロックに関連するブロッキングアーチファクトレベルの値と前記記憶ユニットにおいて利用可能なスペースとに基づいて、前記ブロックの第２量子化ステップの値を演算するために適切である演算ユニット；
を有することを特徴とする映像トランスコーダ。
【請求項１２】
コンピュータプログラムが処理器により実行されるとき、請求項１に記載のブロッキングアーチファクトを測定するための方法を実行するために適切であるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ブロックベースの符合化技術に従って符号化される映像データに基づくブロッキングアーチファクトを測定する方法に関する。
【０００２】
本発明は、特に、映像圧縮におけるそのアプリケーションであって、その圧縮技術は、例えば、映像データの適応圧縮又は後処理操作により、前記ブロッキングアーチファクトを補正するための、例えば、ＭＰＥＧ基準（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅｓ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）に基づく、アプリケーションに関する。
【背景技術】
【０００３】
ＭＰＥＧ又はＨ．２６ｘのようなブロックベースの符合化技術を用いる映像圧縮アルゴリズムは、情報の損失を伴う圧縮アルゴリズムであり、しばしば、オリジナル画像に関して符合化し、続いて復号化する画像のシーケンスの視覚的品質の劣化に繋がる。
【０００４】
これらの符合化技術を用いて最も頻繁に観測される映像アーチファクトの１つは、ブロッキングアーチファクトと呼ばれる。このアーチファクトは、特に、離散コサイン変換（ＤＣＴ）からもたらされる係数のブロックの量子化に起因し、その量子化は、圧縮レートが大きくなるにつれて、粗くなる。その結果、視覚的品質の劣化は、低圧縮レートに対する知覚できないレベルから、高圧縮レートに対するビューアにとって非常に厄介なレベルまでの範囲に亘る可能性がある。
【０００５】
国際公開第０１／２０９１２号明細書においては、復号化ディジタル画像におけるブロッキングアーチファクトに対応するグリッドのローカリゼーション及び検出を気能にする方法について記載している。この方法は、ディジタル画像の画素のグラディエントフィルタを用い、この理由のために、ディジタル画像を有する符合化データの完全な復号化を必要とし、そのことは、特に、トランスコーディング中のコンピュータ資源の使用の点で、かなりコストの掛かるものにする。
【０００６】
欧州特許第１２０２５７７号明細書においては、上記の方法より正確であるブロッキングアーチファクトの測定方法について記載している、しかしながら、この方法は、ディジタル画像を有する符合化データストリームの完全な復号化と補助的な直接及び離散コサイン変換とを必要とし、その補助的な直接及び離散コサイン変換は、上記の方法よりコンピューティング資源の使用の点で、かなりコストの掛かるものにする。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明の目的は、良好な効率を保ちながら、従来技術より複雑度の小さい、ブロッキングアーチファクトを測定する方法を提供することである。
【課題を解決するための手段】
【０００８】
このために、本発明に従った、ブロッキングアーチファクトを測定する方法は：
−  第１仮想境界画素の値を供給するために適切である、符合化映像データの第１ブロックの第１行の一次元逆離散変換を演算する段階；
−  符合化映像データの第２ブロックの第１行の一次元逆離散変換を演算する段階であって、第２ブロックは、第２仮想境界画素の値を供給するために適切である、第１ブロックに隣接している、段階；及び
−  第１仮想画素の値と第２仮想画素の値との間の差の絶対値に基づくブロッキングアーチファクトレベルを演算する段階；
を有することを特徴とする。
【０００９】
そのようなブロッキングアーチファクトを測定する方法は、従来技術の方法より、コンピューティング資源の点で非常に経済的である。実際には、そのような方法は、データノ一部の復号化のみ、即ち、符合化映像データのブロックの一部のみ、即ち第１行の逆離散変換を実行する。更に、以下において非常に詳細に説明するように、その測定方法は、厳密な数学的手法に基づいているため、非常に効率的である。
【００１０】
本発明の目的は又、例えば、ハードウェア又はソフトウェアにより、集積回路におけるブロッキングアーチファクトヲ測定する前記方法の使用を可能にする、ボロッキングアーチファクトを測定するための装置を提供することである。
【００１１】
本発明は又、ブロッキングアーチファクトを測定する方法及び対応する装置を有する、映像データを復号化する方法に関する。
【００１２】
本発明は又、ブロッキングアーチファクトを測定する方法及び対応する装置を有する、映像データを符合化する方法に関する。
【００１３】
本発明は最後に、ブロッキングアーチファクトを測定する方法及び対応する装置を有する、映像データをトランスコーディングする方法に関する。
【００１４】
本発明の以上の特徴及び他の更に詳細な特徴については、添付図面を参照しながら、非制限的な例として挙げている、幾つかの本発明の実施形態についての以下の詳細説明から更に明確に理解されるであろう。
【発明を実施するための最良の形態】
【００１５】
本発明は、ブロッキングアーチファクトを測定する方法に関する。その方法は、ブロックベースの符合化技術に従って、符合化され、続いて復号化された映像データを有するいずれの映像信号に適用される。本発明者の例においては、符合化技術はＭＰＥＧ規格であるが、その符合化技術は、例えば、国際電気通信連合（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｕｎｉｏｎ（ＩＴＵ））の規格Ｈ．２６１、Ｈ．２６３又はＨ．２６４又はＪＰＥＧ規格のようないずれの他のブロックベースの符合化技術であることが可能である。
【００１６】
ＭＰＥＧ規格の場合、前記ブロックは８つの画素の８つの行を有する。しかしながら、本発明は又、例えば、Ｈ．２６４規格において用いられる４つの画素の４つの行のブロックのような、異なるサイズのブロックに適用することが可能であることが理解されるであろう。
【００１７】
次の説明において、映像データは、好適には、ディジタル画像を構成する画素の輝度値であるが、ブロッキングアーチファクトを測定する方法によりクロミナンス値のような映像データが又、処理されることが可能であることを、当業者は理解することができるであろう。
【００１８】
更に、映像データは、離散コサイン変換を用いることにより符合化された。しかしながら、本発明は、何れの等化な離散変換であって、特に、フーリエ型の離散変換に適用可能であることは又、当業者には明らかであろう。
【００１９】
本発明に従った、ブロッキングアーチファクトを測定する方法の原理及びその変形及び適用については、添付図面を参照する説明において明らかにする。
【００２０】
図１に示すように、水平方向に隣接する２つのデータブロック（１１、１２）について考慮することにする。それら２つのブロックはブロック境界（１３）により分離されている。本発明は、対象物に対して、このブロック境界に存在し得る垂直方向のブロッキングアーチファクトを決定する必要がある。２つの垂直方向に隣接する画素ブロックに基づいて、水平方向のブロッキングアーチファクトが検出されることが可能であるため、この垂直方向のブロッキングアーチファクトの検出に基づいて、次に示すが、この検出に限定されるものではない。
【００２１】
図２は、従来の復号化方法について示している。そのような方法は、一連の符合化映像データのブロック１の形で符号化された画像のシーケンスを受信するために適切である。特に、復号化方法は：
−  量子化データのブロック（２）を供給するために適切である、符号化映像データのブロック（１）を可変長復号化の段階ＶＬＤ（２１）；
−  変換データのブロック（３）、即ち、本発明者の例においては６４個のＤＣＴ係数のブロックを供給するために適切である、量子化データのブロック（２）の逆量子化の段階ＩＱ（２２）であって、前記ブロックは、前記ブロックの画素の値の平均及び周波数係数ＡＣを示すブロックの右上における直接係数ＤＣを有する、段階；並びに
−  逆変換データのブロック（４）、即ち、本発明者の例における画素のブロックに変換データのブロック（３）を変換するために適切である、逆周波数変換の段階であって、本発明者の例においては、逆離散コサイン変換の段階ＩＤＣＴ（２３）；
を有する。
【００２２】
この方法に従った、完全な復号化は、それ故、６４個のＤＣＴ係数に対する逆離散コサイン変換ＩＤＣＴの演算を必要とし、その演算は、復号化方法の最も複雑な部分を構成する。本発明は、対象に対して、そのような複雑な演算を用いることなく、ブロッキングアーチファクトの検出を可能にする必要がある。
【００２３】
図３は、本発明に従った、ブロッキングアーチファクトを測定する方法について示している。そのような方法は：
−  前記ブロック境界近傍のポイントにおいて、ブロック境界（１３）の左に位置しているＤＣＴ係数の第１ブロック（Ｂｔ１）の第１の水平方向の行（Ｒ１ｔ１）の一次元逆離散コサイン変換ＩＤＣＴ１ｘ８（３１）を演算し、その結果、第１仮想境界画素（ｖｅｐ１）を得る段階；
−  前記ブロック境界近傍のポイントにおいて、第１ブロック（Ｂｔ１）に隣接し、ブロック境界（１３）の右に位置しているＤＣＴ係数の第２ブロック（Ｂｔｒ）の第１の垂直方向の行（Ｒ１ｔｒ）の一次元逆離散コサイン変換ＩＤＣＴ１ｘ８（３２）を演算し、その結果、第２仮想境界画素（ｖｅｐ２）を得る段階；並びに
−  第１仮想画素の値と第２仮想画素の値との間の差に基づいて、ブロッキングアーチファクトレベル（ＶＥＰ＿Ｌ）のＢＭ（３３）を演算する段階；
を有する。
【００２４】
本発明は、図４に示す数学的方法に基づいている。ブロック内の位置（ｕ，ｖ）のＤＣＴ係数の値Ｆは、次式
【００２５】
【数１】
2006509401.tif 000003
のように、値ｆ（ｘ，ｙ）を有する、対応する画素のブロックに基づいて規定され、ここで、本発明者の例においては、Ｎ＝８であり、Ｃ（ｕ）及びＣ（ｖ）は所定の係数である。
【００２６】
二次元離散コサイン変換は線形変換であるため、対応する画素のブロック（Ｂ）の前記二次元離散コサイン変換ＤＣＴ８ｘ８に基づいて得られるＤＣＴ係数のブロック（Ｂｔ）の第１の水平方向の行（Ｒ１ｔ）は、それ故、画素ブロック（Ｂ）の８つの水平方向の行の一次元離散コサイン変換ＤＣＴ８ｘから発生するデータの垂直方向に従った平均値（ＶＡ）である。この第１の水平方向の行（Ｒ１ｔ）は、前記ブロックにおける水平方向の変化に対応している。
【００２７】
ＤＣＴ係数（Ｂｔ）の第１の水平方向の行（Ｒ１ｔ）は、それ故、得られる平均値の水平方向の行（Ｒ１ａ）のＤＣＴ１ｘ８変換により後続されるブロック（Ｂ）の画素の垂直方向に従った平均値（ＶＡ）からか又は、それ故、得られる変換されたデータの垂直方向に従った平均値（ＶＡ）により後続される画素ブロックの各々の行のＤＣＴ１ｘ８変換から、得ることが可能であることに、留意する必要がある。直接係数ＤＣは、それ故、得られる第１の水平方向の行（Ｒ１ｔ）の第１係数である。仮想境界画素（ｖｅｐ）の値は、例えば、ブロックの境界が左又は右にあるかどうかに従って、平均値の行（Ｒ１ａ）の左又は右における画素の値である。
【００２８】
本発明は、この仮想境界画素の演算に基づいている。この仮想画素は、実際の画素を演算するために用いられる６４個のＤＣＴ係数に代えて、本発明者の例においては、単に、８個のＤＣＴ係数に基づいて演算される。仮想境界画素は、実質的に、ブロック境界に沿って存在する画素の平均値に一致し、、即ち、その境界の左に位置しているブロックに対しては、右のエッジに位置している画素の平均値に、そして、境界の右に位置しているブロックに対しては、左のエッジに位置している画素の平均値に一致する。仮想境界画素を演算するためには、種々の方法が有効である。
【００２９】
本発明の第１実施形態に従って、仮想画素は、境界に再近接である画素に正確に対応するポイントにおける、垂直方向の境界（１３）の左に位置しているブロックの第１行（Ｒ１ｔ１）及び前記境界の右に位置しているブロックの第１行（Ｒ１ｔｒ）であって、即ち、本発明者の例においては、左側のブロックに対してＲ１ａ１（７）及び右側のブロックに対してＲ１ａｒ（０）、の一次元逆離散変換ＩＤＣＴ１ｘ８に基づいて決定される。それ故、次式、
【００３０】
【数２】
2006509401.tif 000004
【００３１】
【数３】
2006509401.tif 000005
が得られ、ここで、Ｋ及びＣ（ｖ）は定数である。
【００３２】
本発明の第２実施形態に従って、仮想画素は、第１ブロックと第２ブロックとの境界に正確に一致するポイントの一次元逆離散コサイン変換ＩＤＣＴ１ｘ８に基づいて決定される。この実施形態は、上で説明した実施形態より更に高度なものであり、局部変化を考慮することが可能である。この第２実施形態の例について、図５に示し、この実施形態は、
中間データＲ１ａ１（６）及びＲ１ａ１（７）の線形補間に基づいて、左の行に関する位置７、５における仮想境界画素ｖｅｐ１の値の演算を可能にする。中間データＲ１ａｒ（０）及びＲ１ａｒ（１）の線形補間に基づいて、右の行に関して位置−０．５において、仮想境界画素ｖｅｐ２に対して、同様の原理を用いることができ、次式のようになる。
【００３３】
【数４】
2006509401.tif 000006
ここで、Ｔｌ（ν）＝（１／２）［３＊ｃｏｓ（１５πν／１６）−ｃｏｓ（１３πν／１６）］
であり、
【００３４】
【数５】
2006509401.tif 000007
ここで、Ｔｒ（ν）＝（１／２）［３＊ｃｏｓ（πν／１６）−ｃｏｓ（３πν／１６）］
である。係数Ｔｌ（ν）及びＴｒ（ν）がルックアップテーブルＬＵＴに記憶される場合、この第２実施形態を実行するために必要である演算は、第１変形の演算と同等である複雑度を有する。更に一般的な方式においては、３つ以上の値の集合に関して補間を実行することが可能であり、その補間は線形である必要はなく、例えば、多項式であることが可能である。
【００３５】
従来技術の解決方法は、二次元逆離散コサイン変換、即ち、８ｘ８ブロックに対して８ｘ６４回の乗算及び６４回の加算、を用いることにより、境界に沿った８つの画素の復号化を、少なくとも各々のブロックに対して必要とするが、本発明は、単一のポイントにおける一次元逆離散コサイン変換、即ち、８回の乗算及び８回の加算のみを必要とする。従って、本発明は、ブロッキングアーチファクトを測定する方法により符合化映像データのストリームにアクセスするという条件で、従来のブロッキングアーチファクトを測定する方法に比べて、少なくとも６４倍、複雑度が小さい。
【００３６】
２つの仮想境界画素、即ち、２つの隣接ブロックの各々に対して１つが決定されるとき、本発明に従ったアーチファクトを測定する方法は、前記仮想画素の値に基づいてブロッキングアーチファクトレベルを演算する段階を有する。本発明の実施形態に従って、ブロッキングアーチファクトレベル（ＶＥＰ＿Ｌ）は、第１仮想画素の値と第２仮想画素の値と間の差の絶対値に対応する。これらのブロッキングアーチファクトレベルは、例えば、画像の水平方向及び垂直方向のブロックの境界各々に対して、加算され、画像毎にブロッキングアーチファクトのグローバルレベルを与え、即ち、次式のようになり、
【００３７】
【数６】
2006509401.tif 000008
ここで、ＶＥＰ＿ＬＨは水平方向のブロックの境界に対応するアーチファクトレベルを表し、ＶＥＰ＿ＬＶは垂直方向のブロックの境界に対応するアーチファクトレベルを表す。
【００３８】
本発明の好適な実施形態に従って、ブロッキングアーチファクトのグローバルレベルは、いずれの他の画像を参照することなく、イントラタイプの画像、即ち、符合化された画像に対して演算される。第１変形に従って、このグローバルブロッキングアーチファクトレベルは、前記イントラタイプの画像と少なくとも１つの異なるタイプの他の画像とを有するピクチャの群（ＧＯＰ）に対するブロッキングアーチファクトレベルの集合を表すとみなされる。第２変形に従って、グローバルブロッキングアーチファクトレベルの測定は、例えば、用いられる量子化ステップ、動きベクトルのサイズ又は画像を符合化するために必要とされたビット数等の、ピクチャの群の他の画像に関連するパラメータに基づく測定により達成される。
【００３９】
ゼロ動きベクトルを有するブロック又はイントラタイプのブロックにブロッキングアーチファクトを測定する方法であって、前記ブロックはイントラタイプの画像、即ち、少なくとも１つの他の画像に関して符合化された画像に属する、方法を適用することが又、可能である。この場合、イントラタイプの画像とインタータイプの画像との間のブロッキングアーチファクトの一致は、例えば、前記ブロッキングアーチファクトの存在の確認とみなされ、対応するブロッキングアーチファクトのレベルに対して、１より大きい重み係数が適用される。
【００４０】
ブロッキングアーチファクトを測定する方法は、特に、人間の視覚体系に基づく考慮に関して、多くのやり方で改善されることが可能である。
【００４１】
本発明の実施形態に従って、ブロッキングアーチファクトを測定する方法は、輝度マスキング効果を考慮する。その輝度マスキング効果は、ブロック効果が、画像の非常に暗いゾーンにおいて及び非常に明るいゾーンにおいて視認性を小さくする。この人間の視覚体系の特性を変換する参照関数について、図６に示している。この関数（ｆ）については、文献、Ｈ．Ｒ．Ｗｕ  ａｎｄ  Ｍ．Ｙｕｅｎ，“Ａ  ｇｅｎｅｒａｌｉｚｅｄ  ｂｌｏｃｋ−ｅｄｇｅ  ｉｍｐａｉｒｍｅｎｔ  ｍｅｔｒｉｃ  ｆｏｒ  ｖｉｄｅｏ  ｃｏｄｉｎｇ”，ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｌｅｔｔｅｒｓ，Ｖｏｌ．４，Ｎｏ．１１，ｐｐ．３１７−３２０，Ｎｏｖｅｍｂｅｒ  １９９７に詳細に記載されている。その文献においては、例えば、隣接ブロックの対により覆われた表面に等しい画像のゾーンの平均輝度（ＡｖｇＬ）の関数として、ビューアに視認可能である輝度値の最小差（ΔＬ）を示している。この関数は、輝度が０とＬｍａｘ＝２５５との間である場合、約７０（Ｌ０）に等しい輝度の平均値に対して、約１又は２単位に等しい最小（ΔＬ０）を通過する。
【００４２】
この実施形態の第１の変形に従って、隣接ブロックの対の輝度の平均値が参照関数より大きい場合、このブロックのついに対して決定されるブロッキングアーチファクトレベル（ＶＥＰ＿Ｌ）は不変のまま保たれる。そうでない場合、０に設定される。
【００４３】
この実施形態の第２の変形に従って、隣接ブロックの対に対して決定されたブロッキングアーチファクトレベル（ＶＥＰ＿Ｌ）は、ブロックの対の平均輝度（ＡｖｇＬ）の関数として重み付けされ、その重み付けは、本発明者の例においては、０又は２５５に等しい平均輝度値に対して最小であり、約７０に等しい平均輝度値に対して最大である。
【００４４】
本発明の他の実施形態に従って、ブロッキングアーチファクトを測定する方法はテクスチャマスキング効果を考慮する。そのテクスチャマスキング効果は、ブロック効果がテクスチャゾーンにおけるより画像の均一なゾーンにおいてより視認性が大きくなるようにする。このために、本発明に従ったブロッキングアーチファクトを測定する方法は、図２に示しているような、低周波数係数ＡＣｂｆを考慮することによりＤＣＴ係数ブロックの周波数係数ＡＣのエネルギーＥを演算する段階であって、例えば、次式のように演算する段階を有し、
【００４５】
【数７】
2006509401.tif 000009
ここで、ｆｍａｘは、ブロックのエネルギーの演算において考慮される最大周波数である。隣接ブロックの対のエネルギーが第１閾値Ｔ１より小さい場合、そのゾーンは準均一であり、２つの隣接ブロック間の境界に関連するブロッキングアーチファクトレベル（ＶＥＰ＿Ｌ）は、大きい重み付け係数ｃ１であって、例えば、１より大きいｃ１により重み付けされる。隣接ブロックの対のエネルギーが第１閾値Ｔ１より大きく、第２閾値Ｔ２より小さい場合、そのゾーンはテクスチャの度合いが小さく、２つの隣接ブロック間の境界に関連するブロッキングアーチファクトのレベルは、小さい重み付け係数ｃ２であって、例えば、１に等しいｃ２により重み付けされる。最終的に、隣接ブロックの対のエネルギーが第２閾値Ｔ２より大きい場合、そのゾーンはテクスチャ化され、２つの隣接ブロック間の境界に関連するブロッキングアーチファクトレベルは、ブロッキングアーチファクトがこれらのゾーンにおいては視認性が小さいため、より小さい重み付け係数ｃ３であって、例えば、１より小さいｃ３により重み付けされる。
【００４６】
本発明の他の実施形態に従って、ブロッキングアーチファクトを測定する方法は、隣接ブロックの境界数を考慮する。例えば、ブロックの水平方向の境界が、角が形成されるように、ブロックの垂直方向の境界に隣接している場合、及び、それらの境界に関連するブロッキングアーチファクトレベルが所定の閾値Ｔｍｉｎ１より大きい場合、前記ブロッキングアーチファクトレベルは、１より大きい重み付け係数ｃにより重み付けされる。他の例に従って、他のブロックの境界が、所定の方向に関して連続的である場合、及び、それらの境界の各々が、所定の閾値Ｔｍｉｎ２より大きいブロッキングアーチファクトレベルを有する場合、前記ブロッキングアーチファクトレベルは、１より大きい重み付け係数ｃ´により重み付けされる。
【００４７】
本発明の他の実施形態に従って、ブロッキングアーチファクトを測定する方法は、自然の輪郭を検出する段階を有する。例えば、境界のブロッキングアーチファクトレベルは、例えば、３０に等しい、所定の閾値Ｔｍａｘと比較される。ブロッキングアーチファクトレベルがこの所定の閾値Ｔｍａｘより大きい場合、ブロッキングアーチファクトレベルの値は、自然な輪郭が検出されたために、０に設定される。他の例に従って、所定の閾値Ｔｍａｘは、境界の両側においてブロックに関連する量子化ステップの関数として重み付けされる。
【００４８】
ブロッキングアーチファクトを測定する方法は、例えば、ハードウェア、ソフトウェア又はそれら両方の組み合わせにより、集積回路において用いられることが可能である。
【００４９】
ハードウェアの実施の例においては、ブロッキングアーチファクトを測定する装置は、上記のようなブロッキングアーチファクトを測定する方法の段階を各々実現する回路を有し、その装置において、逆離散コサイン変換ＩＤＣＴを演算するための回路については、特に、当業者には周知である。前記装置は：
−  第１の垂直方向の境界画素の値を供給するために適切である符合化映像データの第１ブロックの水平方向又は垂直方向の第１の行の一次元逆離散変換を演算するための手段；
−  第２の垂直方向の境界画素の値を供給するために適切である符合化映像データの第２ブロックの水平方向又は垂直方向の第１の行の一次元逆離散変換を演算するための手段であって、第２ブロックは第１ブロックに対して水平方向に又は垂直方向に隣接する、手段；並びに
−  演算器であって、例えば、第１仮想画素の値と第２仮想画素の値との間の差に基づいてブロッキングアーチファクトレベルを演算するために適切である処理器である、演算器；
を有する。
【００５０】
適切にプログラムされた回路によりブロッキングアーチファクトを測定する方法の段階を実行することが又、可能である。プログラミングメモリにおける命令の集合は、回路が、上記のブロッキングアーチファクトを測定する方法の種々の段階を実行するようにすることが可能である。それらの命令の集合は又、共通のデータキャリアであって、例えば、命令の集合を有するディスクを読み出すことにより、プログラミングメモリにロードされることが可能である。共通の通信ネットワークであって、例えば、インターネットにより、読み出しは又、実行されることが可能である。この場合、サービスプロバイダは、対象の命令の集合を供給する。
【００５１】
ブロッキングアーチファクトを測定する方法は、多くのアプリケーションであって、例えば、符合化映像データの復号化又は復元、映像データの符合化又は圧縮、及び、例えば、ディスクにおける符合化映像データのエラスティックストアを可能にするトランスコーディングのような符合化映像データのトランスコーディング等の、多くのアプリケーションを見出す。
【００５２】
本発明に従った映像データを復号化する方法については、図７を参照して説明する。特に、この方法は：
−  量子化データのブロック（２）を供給するために適切である、符合化映像データのブロック（１）の可変長復号化の段階ＶＬＤ（２１）；
−  変換されたデータのブロック（３）であって、本発明者の例においては６４個のＤＣＴ係数のブロック、を供給するために適切である量子化データのブロックの逆量子化の段階ＩＱ（２２）；
−  逆量子化されたデータのブロック（４）、即ち、本発明者の例においては画素のブロックに、変換データのブロック（３）を変換するために適切である逆離散コサイン変換の段階ＩＤＣＴ（２３）；
−  変換されたデータのブロック（３）に基づいて、ブロッキングアーチファクトレベル（ＶＥＰ＿Ｌ）の水平方向の及び／又は垂直方向のカードを実現するために適切である、上記のようなブロッキングアーチファクトを測定する段階（３０）；
−  境界に関連するブロッキングアーチファクトレベル（ＶＥＰ＿Ｌ）に従って、２つのブロック間の境界の両側における画素の集合のためのフィルタ（７１、７２、７３）の集合の間においてフィルタを用いるために適切であるフィルタリングの段階であって、結果的にフィルタリングされた画像を得る、段階（５）；
を有する。
【００５３】
本発明の実施形態においては、３つのフィルタリングタイプが規定された。光フィルタは、第１の所定の閾値ＴＲ１より小さいブロッキングアーチファクトレベルに対して用いられる。より強いフィルタリングは、第１の所定の閾値ＴＲ１と第２の所定の閾値ＴＲ２との間のブロッキングアーチファクトレベルに対して適用される。最終的に、更に強いフィルタリングが、第２の所定の閾値ＴＲ２より大きいブロッキングアーチファクトレベルに対して用いられる。好適には、ブロック境界に沿った画素のみがフィルタリングされる。ブロッキングアーチファクトレベルの範囲の他の部分及びフィルタの他の選択が可能であることが、当業者には理解されるであろう。
【００５４】
他の実施形態に従って、復号化方法は又、輪郭をエンハンスする段階を有し、該段階は、ブロッキングアーチファクトがエンハンスされないように、最小境界と最大境界との間のブロッキングアーチファクトレベルが測定段階において検出された場合、前記段階は負動作状態にされる。
【００５５】
本発明は又、前記符合化方法の使用を可能にする映像符号化器に関する。
【００５６】
本発明に従った映像データを符合化する方法について、又、図８に示している。その方法は、画像に対応する画素ブロック（ＩＳ）を符合化前処理する段階ＰＡＳＳ１（８０）を有し、前記段階は、当業者には周知であり、例えば、欧州特許第１０８２８５５号明細書に記載されている原理に従った、画像のブロック全てに対して一定である量子化ステップｑを用いて実行される。例えば、画像のブロックを符合化前処理するために用いられるビット数のような、符合化前処理映像データ（ＰＥＳ）及び符合化前処理パラメータ（ｐ）の中間ストリームは、この符合化前処理段階からもたらされる。
【００５７】
本発明に従って、又、符合化方法は：
−  符合化前処理映像データの部分復号化中間ストリーム（ＰＥＳ）を部分的に復号化する段階であって、前記段階は、カスケードの状態で、変換データのブロックを供給するために適切である逆量子化ＩＱ（８２）及び可変長復号化の副段階を有する、段階ＶＬＤ（８１）；
−  上記のようなブロッキングアーチファクトを測定する段階であって、変換データのブロックに基づいてブロッキングアーチファクトレベル（ＶＥＰ＿Ｌ）の水平カード及び／又は垂直カードを実現するために適切である、段階；
−  前記ブロックに関連するブロッキングアーチファクトレベルに従って、画素のブロックに対応する１つ又は幾つかの符合化前処理パラメータ（ｐ）を変更ＭＯＤ（８３）する段階であって、このレベルは、例えば、ブロックに対して有効な４つの仮想境界画素、即ち、左、右、上及び下の画素に関連するブロッキングアーチファクトレベルの平均値であり、前記段階は１つ又はそれ以上の符合化前処理パラメータ（ｐ´）を供給する、段階；
を有する。
【００５８】
それらの変更された符合化前処理パラメータは、画素ブロック（ＩＳ）を符合化する段階ＰＡＳＳ２（８４）中、実質的に使用され、その段階は、当業者に周知である原理に従って、符合化映像データ（ＥＳ）の最終ストリームを供給する。
【００５９】
本発明の実施形態に従って、符合化前処理パラメータは、複雑度Ｘ（ｉ，ｊ）であり、この複雑度は、量子化ステップと符合化動作のために用いられるビット数との積に等しく、画像の位置（ｉ、ｊ）におけるブロックに対応する。この複雑度は、次式のように変更され、その結果、変更された複雑度Ｘ´（ｉ、ｊ）が得られ、
Ｘ´（ｉ、ｊ）＝Ｃ（ＶＥＰ＿Ｌ（ｉ、ｊ））＊Ｘ（ｉ，ｊ）
ここで、ＣはブロッキングアーチファクトレベルＶＥＰ＿Ｌ（ｉ、ｊ）に依存する係数である。
【００６０】
図９は、ブロッキングアーチファクトレベルＶＥＰ＿Ｌ（ｉ、ｊ）の関数としての係数Ｃの変化の３つの例であって、２つの境界Ｃｍｉｎ及びＣｍａｘであって、例えば、それぞれ１及び２の間の１つの線形変化（９１）及び２つの非線形変化を示している。
【００６１】
イントラタイプの画像の符合化は、それ故、改善され、ピクチャの群ＧＯＰにおける個のイントラ画像に続く画像の符合化は又、カスケードの状態で改善される。
【００６２】
本発明は又、前記符合化方法の使用を可能にする映像符号化器に関する。
【００６３】
本発明に従った映像データをトランスコーディングする方法について、図１０を参照して説明する。特に、その方法は：
−  量子化データのブロックを供給するために適切である、符合化映像データのブロックを可変長復号化する段階ＶＬＤ（１０１）；
−  変換データのブロックであって、本発明の例においては６４個のＤＣＴ係数のブロックを供給するために適切である、量子化データのブロックを逆量子化する段階ＩＱ（１０２）であって、その逆量子化は第１量子化ステップＱ１を用いて実行される、段階；
−  変換データのブロックに基づいてブロッキングアーチファクトレベルＶＥＰ＿Ｌ（ｉ、ｊ）の水平及び垂直カードの実現のために適切である、上記のようなブロッキングアーチファクトを測定する段階（３０）；
−  量子化データのブロックを供給するために適切である、変換データのブロックを量子化する段階Ｑ（１０３）であって、その量子化は第２量子化ステップＱ２を用いて実行される、段階；
−  符合化データのブロックを供給するために適切である、量子化映像データのブロックを可変長符号化する段階ＶＬＣ（１０４）；並びに
−  記録キャリアであって、例えば、ハードディスクに符合化データのブロックを記憶する段階ＤＳＫ（１０５）；
を有する。
【００６４】
処理中のブロックの第２量子化ステップＱ２の値は、ディスクにおいて利用可能であるスペース及び前記ブロックに関連するブロッキングアーチファクトレベルの値の関数である。
【００６５】
本発明の実施形態においては、符合化映像データのストリームはスケーラブル構造を有する、即ち、そのストリームは、ベースレイヤ及びエンハンスメントレイヤを有する。ディスクにおいて利用可能であるスペース及びブロッキングアーチファクトレベルに従って、本発明に基づくブロッキングアーチファクトレベルの測定により量子的に表される記憶されたストリームの視覚的品質と、ディスクにおいて尚も利用可能であるスペースとの間の良好な妥協を保つように、１つ又は幾つかのエンハンスメントレイヤを記憶すること又は記憶しないことが可能である。
【００６６】
本発明は又、前記トランスコーディング方法の使用を可能にする映像トランスコーダに関する。
【００６７】
用語“を有する”及びその派生表現は、同時提出の特許請求の範囲において記載している要素又は段階以外の要素又は段階の存在を排除するものではない。要素又は段階の単数表現はそれらの要素又は段階の複数の存在を排除するものではない。
【図面の簡単な説明】
【００６８】
【図１】２つの隣接するブロックの間の境界を示す図である。
【図２】従来の復号化方法を示す図である。
【図３】本発明に従った、ブロッキングアーチファクトを測定するための方法を示す図である。
【図４】本発明が基にする数学的原理を示す図である。
【図５】垂直方向の境界画素を決定するモードを示す方法である。本発明の第３実施形態に従った画素駆動の模式的回路図である。
【図６】人間の視覚体系に固有の強度マスキング効果に対応する参照関数を示す図である。
【図７】本発明に従った、映像データを復号化する方法を示す図である。
【図８】本発明に従った、映像データを符合化する方法を示す図である。
【図９】前記の映像データを符合化する方法に従って、符合化前処理パラメータを変更する３つの例を示す図である。
【図１０】本発明に従って、映像データをトランスコーディングする方法を示す図である。
【図１】
2006509401.tif 000010
【図２】
2006509401.tif 000011
【図３】
2006509401.tif 000012
【図４】
2006509401.tif 000013
【図５】
2006509401.tif 000014
【図６】
2006509401.tif 000015
【図７】
2006509401.tif 000016
【図８】
2006509401.tif 000017
【図９】
2006509401.tif 000018
【図１０】
2006509401.tif 000019
【国際調査報告】
2006509401.tif 000020
2006509401.tif 000021