(57)【要約】  アーチファクトを減らすために、画像信号が、符号化される。オリジナルの画像フレームFにおいて、一つ以上の緩やかに遷移するエリアRが、識別され、復号化フレームF´では、上のエリアRに対応する一つ以上の緩やかに遷移するエリアR´が識別され、オリジナルの画像フレーム内にある、一つ以上の緩やかに遷移するエリアのデータ・コンテンツを記述する、関数のパラメータCが確立され、そして、復号化フレームF´内にある、一つ以上の対応するエリアR´の位置に対する位置データPが確立される。復号化フレーム内にあるエリアR´のコンテンツを、オリジナルのフレーム内のエリアRの再構築されたコンテンツと置き換えることは、復号化フレームの画質を改善する。
2010514315.tif 000002
【特許請求の範囲】
【請求項１】
アーチファクトの削減が行われる、画像信号を符号化する方法であって、第1の画像フレームの中で、一つ以上の緩やかに遷移するエリアが識別され、前記第1の画像フレームから抽出された第2の画像フレーム内で、対応する一つ以上の緩やかに遷移するエリアが識別され、前記第1のフレームの前記一つ以上の緩やかに遷移するエリアのデータ・コンテンツを記述する関数のパラメータが確立され、抽出された前記第2の画像フレーム内の一つ以上の対応するエリアの位置に対する位置データが確立される、画像信号を符号化する方法。
【請求項２】
抽出された前記第2の画像フレームが復号化フレームであり、前記第1のフレームがオリジナルのフレームである、請求項１に記載の符号化方法。
【請求項３】
前記復号化フレームは、エンコーダのループをもっているエンコーダ内部で生成され、
アーチファクトの削減は、前記一つ以上の対応する緩やかに遷移するエリアのコンテンツを前記一つ以上の緩やかに遷移するエリアのコンテンツの再構築データと置き換えることによって、エンコーダ・ループ内で行われる、請求項２に記載の符号化方法。
【請求項４】
一つ以上の閾値が、緩やかに遷移するエリアの識別のために用いられる、請求項１に記載の符号化方法。
【請求項５】
前記閾値は、サイズ閾値である、請求項４に記載の符号化方法。
【請求項６】
前記サイズ閾値は、符号化-復号化の際に使用される量子化に依存し、量子化がより粗くなるにつれて、前記閾値の大きさが増大する、請求項５に記載の方法。
【請求項７】
前記閾値がFloodFill閾値である、請求項４に記載の方法。
【請求項８】
前記FloodFill閾値が、前記第2の画像からの緩やかに遷移するエリアの再構築データを、前記第1の画像のオリジナルからの緩やかに遷移するエリアと、両者の重なり合っているエリアが最大になるよう比較することによって決定される、請求項７に記載の符号化方法。
【請求項９】
スプライン関数が、前記一つ以上の緩やかに遷移するエリアのデータ・コンテンツを供するために用いられる、請求項１に記載の符号化方法。
【請求項１０】
アーチファクトの削減が行われる、画像信号を符号化するためのシステムであって、
−第1の画像フレームの中で、一つ以上の緩やかに遷移するエリアを識別するための第1の識別子、
−前記第1の画像から抽出された第2の画像フレーム内で、対応する一つ以上の緩やかに遷移するエリアを識別するための第2の識別子、及び
−前記一つ以上の緩やかに遷移するエリアのデータ・コンテンツを記述している関数パラメータと、前記第2の、抽出された画像フレーム内の対応する一つ以上の緩やかに遷移するエリアの位置に対する位置データとを生成するための生成器を有する、システム。
【請求項１１】
第1の識別子及び第2の識別子が、オリジナルの画像フレーム及び復号化された画像フレーム内にある緩やかに遷移するエリアを識別する、請求項１０に記載の画像信号を符号化するためのシステム。
【請求項１２】
前記第1の識別子及び第2の識別子が、エンコーダ・ループ内に配置された、請求項１１に記載の画像信号を符号化するためのシステム。
【請求項１３】
緩やかに遷移するエリアの識別のために、前記第1の識別子及び第2の識別子が、一つ以上の閾値を使用する、請求項１０に記載の画像信号を符号化するためのシステム。
【請求項１４】
画像データ及び制御情報を有する画像信号であって、当該制御情報が、フレーム内にある緩やかに遷移するエリアのデータ・コンテンツの関数パラメータと、フレーム内にある前記緩やかに遷移するエリアに対する位置データとを有する、画像信号。
【請求項１５】
前記制御情報が、一つ以上の緩やかに遷移するエリアに対するタイプ識別情報を有する、請求項１４に記載の画像信号。
【請求項１６】
エンコーダ側及びデコーダ側で、画像セグメントを同期させるために使用可能な、セグメントと画像データを決定するパラメータとを有する、画像信号。
【請求項１７】
セグメント化を決定するパラメータが、画像内のそれぞれの位置に対して、連続した画像ピクセルが同一のセグメントに帰属するかどうか決定する、少なくとも二つの閾値を有する、請求項１６に記載の画像信号。 
【請求項１８】
画像信号を復号化する方法であって、当該画像信号は、画像データ及び制御情報を有し、当該制御情報は、緩やかに遷移するエリアのデータ・コンテンツに対する関数パラメータと、前記緩やかに遷移するエリアに対する位置データとを有し、当該制御情報が読み取られ、前記緩やかに遷移するエリアが、復号化画像フレーム内で識別され、データ処理され、挿入される、方法。
【請求項１９】
前記関数パラメータから、前記緩やかに遷移するエリアのデータ・コンテンツが再構築される、請求項18に記載の画像信号を復号化する方法。
【請求項２０】
緩やかに遷移するエリアと隣接するエリアとの間の「移行バンド」が識別され、
当該移行バンド内で、前記緩やかに遷移するエリアと隣接するエリアとの間の移行を滑らかにするために、スムージング機能が適用される、請求項18に記載の画像信号を復号化する方法。
【請求項２１】
前記画像信号が、画像データ及び制御情報を有し、前記制御情報が、緩やかに遷移するエリアのデータ・コンテンツに対する関数パラメータと、緩やかに遷移するエリアに対する位置データとを有する、画像信号を復号化するためのデコーダであって、
−前記制御情報を読み込むための読み取り器と、
−前記緩やかに遷移するエリアを識別するための識別子と
−前記緩やかに遷移するエリアのコンテンツをデータ処理し、当該データ処理されたコンテンツを復号化画像フレームに挿入するためのデータ・プロセッサとを有する、デコーダ。
【請求項２２】
緩やかに遷移するエリアのコンテンツのデータ処理が、前記関数パラメータに基づいた前記コンテンツの再構築によって実行される、請求項２１に記載のデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を符号化するための方法及びシステムに関し、当該方法又はシステムにおいて、アーチファクトの削減が行われる。
【０００２】
本発明は、画像信号を復号化するための方法及びシステムにも関する。
【０００３】
本発明は、画像信号にも関する。
【背景技術】
【０００４】
画像信号を符号化する際、アーチファクトが発生する。アーチファクトの一つのタイプは、画像内で滑らかで緩やかに遷移するエリア（例えば、空、皮膚、草等）の符号化で、しばしば発生する。これらのアーチファクトは、画面の一時的な展開の際に、ブロックノイズ、色歪み、及びガタツキ効果を示す。これらのアーチファクトは、符号化の際の量子化によって、及び符号化手順の際の他の情報損失によって主に生じ、当該アーチファクトは、より多くのテクスチャが貼られたエリアよりも、よりはっきり見え、イライラさせる。
【０００５】
上記の問題に対する一つの可能性がある解決策は、適応量子化を使用することであり、これは（少ないQP（量子化パラメータ）を使用して）より多くのビットを、より滑らかなエリアに割り当て、より少ないビットを、より多くのテクスチャが貼られたエリアに割り当てる。しかしながら、従来のコーデックFFMPEGを使った実験では、低いQPでさえ、依然として可視アーチファクトを伴い、満足な結果を与えない。また、滑らかな緩やかに遷移するエリアで低いQPを用いることは、利用できるビットの不相応な量を、画像コンテンツにおいて、実際、比較的単純なエリアに対して割り当ててしまう。例えば、データ空間の限られた量のみが利用可能な状況においては、これは問題を生じることだろう。
【０００６】
別の可能な解決策は、復号化された画像に対して、デ・ブロッキング（ブロックノイズ解消技術）を使った純粋な後処理フィルタ（デ・ブロッキング・フィルタ）、及び/又は平滑フィルタを使用することである。しかしながら、既にループ内でデ・ブロッキング・フィルタを使用した実験は、恐らくは、大量の緩やかに遷移するエリアに起因して、アーチファクトが取り除かれなかったことを示した。さらにまた、斯様な種類の後処理フィルタを使用することは概して困難である。何故ならば、
1.  どこに後処理フィルタリングを使用するべきかを、デコーダ側で完全に決定するのが困難である。符号化された緩やかに遷移するエリアがすでに歪められる（もはや滑らかではない）ので、オリジナルのフレームが滑らかかどうかについて知ることが非常に困難である。
2.  後処理フィルタリングは、過度の、又は過小のフィルタリング効果を回避するために、（開口サイズ、など）正しいフィルタ・パラメータの選択を必要とする。使用するフィルタのタイプは、エリアの範囲及びアーチファクトの強さなどの多くの要因によって決定され、量子化パラメータなどの符号化パラメータによって影響されることがある。しかしながら、発明者は、パラメータの手動調整でさえ、所望の結果に至ることができないとわかった。さらにまた、この種のフィルタリングは、緩やかに遷移するエリアで生じる一時的なアーチファクトを殆ど取り除くことができない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
とりわけ（特に空などの緩やかに遷移する領域での）大量の圧縮に対して、より上質の画像を得るために使われ、及び更に、他のアプリケーションがより良好に実施できる、画像信号を符号化するための方法及びシステム、符号化された画像信号、及び符号化された画像信号を復号化するための方法及びシステムを供することが、本発明の目的である。
【０００８】
符号化の方法は、第1の画像フレーム中で、一つ以上の緩やかに遷移するエリアが識別され、当該第1の画像フレームから抽出された第2の画像フレーム内で、対応する一つ以上の緩やかに遷移するエリアが識別され、当該一つ以上の緩やかに遷移するエリアのデータ・コンテンツを記述している関数のパラメータを確立し、関連の第2の画像内で一つ以上の対応する緩やかに遷移するエリアの位置に対する位置データを確立するという点を特徴とする。
【課題を解決するための手段】
【０００９】
当該方法は、緩やかに遷移するエリアについてのエンコーダ情報を利用している。本発明では、第1の画像フレームの符号化の際、緩やかに遷移するエリアが識別される。第2の関連する画像フレーム内の、対応する緩やかに遷移するエリアも識別される。関数パラメータ、例えば第1の画像のデータ・コンテンツに対するスプライン関数のパラメータが生成される。これは、比較的少ないビット量を有する緩やかに遷移するエリアの画像コンテンツを特徴づけることを可能にする。第2の、抽出された、画像フレーム内での対応する緩やかに遷移するエリアの位置も識別されるので、第2の、抽出された、画像フレームの正しい位置に、緩やかに遷移するエリアを、高レベルの精度で構築することが可能である。この構築は、一般的に符号化／復号化に対する画像エラーを生じない。
【００１０】
第1のフレームから第2のフレームを抽出する際に、アーチファクトが生成される。抽出動作は、例えば符号化及び/又は復号化であることがあり、符号化された及び/又は復号化されたフレームは、オリジナルのフレームから抽出される。
【００１１】
上で説明したように、斯様なアーチファクトは修正するのが困難である。本発明は、沢山の追加データを必要としない、単純な解決策を供する。
【００１２】
デコーダ側での緩やかに遷移するエリアの構築は、幾つかのエラー、基本的に平滑化エラー、及び恐らく幾つかの場所エラーを誘発するであろうが、しかし、（符号化/復号化、量子化等の）抽出プロセスに起因するどのようなエラーも取り除くことであろう、即ち画像を改善することができよう。発明者によって、緩やかに遷移するエリアに対する長所が、短所を上回ることがわかった。
【００１３】
デコーダ側でのセグメント化、又は具体的なエリア検出のみが公知であることに注意されたい。しかしながら、符号化された画像は既に歪んでおり、オリジナルの画像は入手できないので、斯様な自律的なセグメント化は問題を解決しないであろう。ピクセル・コンテンツに応じて、例えば適応量子化を用い、符号化パラメータを適応させるよう試みることも公知である。しかしながら斯様な手順は、例えもし緩やかに遷移するエリアが規定され、対応する符号化パラメータが生成されたとしても、本発明がもつ可能性及び長所を供することはない。実際、前述したように、この態様で緩やかに遷移するエリアを取扱う標準的な態様は、低いQPが使われるので、必要なデータの量が更に大幅に増加するのと同時に、依然としてかなりの可視アーチファクトを残す。
【００１４】
集められた関数パラメータは、抽出画像内にある対応する緩やかに遷移するエリアを、オリジナル画像内又は改善された画像内にある、データの関数的な描写で満たすことを可能にする。
【００１５】
構築されるべき緩やかに遷移するエリアを識別するために、位置データは制御情報を供する。
【００１６】
符号化の方法及び符号化システムは、以下の長所を供する：
【００１７】
当該方法は、オリジナルの画像フレーム、及び抽出された画像フレームの両方について、エンコーダ情報を利用する。制御情報は、緩やかに遷移するエリアの最善の識別と後処理とをするように、最適に選択されることができる。これは、抽出された画像フレームのみで自主的な後処理をするのに比べて、重要な長所を与える。
【００１８】
第1の実施例では、抽出された画像フレームが復号化フレームであり、第1のフレームがオリジナルのフレームである。当該方法は、オリジナルのフレームから抽出された復号化フレームを供するための符号化ステップ及び復号化ステップを含む；即ち、当該システムは、符号化フレーム内に、オリジナルの画像フレームを符号化するため、及び当該符号化されたフレームから復号化フレームを供するために、エンコーダ及びデコーダを有する。
【００１９】
本発明は、緩やかに遷移するエリアにおける符号化エラー／復号化エラーの顕著な削減を可能にする。実際に、復号化された画像フレームの中の一つ以上の識別された緩やかに遷移するエリアを、情報から抽出されたデータとデコーダ側で置換するための情報が生成される。実施例では、復号化フレームと符号化フレームとが、エンコーダ・ループ自身の外側で使用されている。
【００２０】
他の実施例では、復号化フレームは、エンコーダ・ループの内側で復号化される。エンコーダは一つ以上のエンコーダ・ループを有し、当該ループ内で、復号化フレームが生成され、当該復号化フレームは符号化を改善するために使用される。エンコーダ・ループ内では、フレームが、さまざまな方法で、さまざまな目的のために復号化される。目的のうちの一つは、Iフレームから、Bフレーム又はPフレームを生成することである。当該方法を使用することにより、エンコーダ・ループ内で使われた復号化フレームの画質を改善することが可能である。これは、エンコーダ・ループ内で前記復号化フレームと共に実行されるいかなる方法ステップにも、有益な影響を与えることであろう。
【００２１】
好ましくは符号化の方法及び符号化のシステムにおいて、緩やかに遷移するエリアの識別のために、一つ以上の閾値が用いられる。
【００２２】
発明者は、本発明が、相当なサイズをもった緩やかに遷移するエリアに対して、最も役立つことが分かった。本実施例では、十分に大きいサイズをもち、サイズ閾値を上回るエリアのみが、緩やかに遷移するエリアとして選択される。より小さいエリアは、本発明の本実施例では使われない。好ましくは、サイズ閾値は、符号化−復号化の際に使われた量子化に依存しており、量子化がより粗くなるにつれて、閾値のサイズは増大する。量子化の粗さが増大するにつれて、閾値のサイズは増大する。量子化の粗さが増大するにつれて、可視ブロックのエッジ間の距離が増大する。
【００２３】
好ましくは、FloodFillアルゴリズム（画像の塗りつぶしアルゴリズム）が、用いられる。FloodFillアルゴリズムは、スタートは、エリアの種である種ピクセルから作成されるアルゴリズムであり、複数の隣接ピクセルは、特徴データの一つ又は同データの組合せの差が閾値を超えない場合、同一の緩やかに遷移するエリアに帰属していると規定されるアルゴリズムである。好ましくは、FloodFill閾値は、第2の画像内の緩やかに遷移するエリアの再構築されたものと、オリジナルの緩やかに遷移するエリアとの間のマッチングに依存している。一般的に、量子化の粗さが増大するにつれて、閾値は増大する。
【００２４】
単純な実施例では、特徴データは輝度であり、閾値は例えば輝度3の値である。より高度な実施例では、輝度データ、色データ及び多次元の閾値の組合せが、閾値として使われてもよい。
【００２５】
FloodFillアルゴリズムを使用しない、更に他の実施例では、画像フレームは、いわゆるz‐深さマップと呼ばれる三次元(3-D)情報を有し、特徴データは、当該深さマップの範囲内で緩やかに遷移するエリアを見つけるために使われる。深さマップは、符号化及び復号化の際、又は１個の中間フレームが別の１個の中間フレームから作られているとき、デ・ブロッキング及び他のエラーに影響される。斯様なエラーは、緩やかに遷移するエリアで、見かけの深さが一つの値から別の値へとジャンプする、奇妙な3-D効果につながる。本発明は、この効果を顕著に減じることを可能にする。
【００２６】
FloodFillアルゴリズムを使用することは、緩やかに遷移するエリアを識別するのに最も適しているセグメント化アルゴリズムを使用することを可能にする。制御情報は非常に簡潔な態様で記述されることができ、当該情報は抽出された画像に対して容易に最適化されることもできる。FloodFillアルゴリズムに対する種ピクセル及びパラメータを識別することは、緩やかに遷移するエリアを再構築することを可能にする。これは制御情報に対して極めて少ないビットのみを使うことを可能にし、このことは、（例えば境界、マスク・マップ等の）エリアの完全な記述を送信する（又は格納する）ことに比べて、より好都合である。
【００２７】
本発明のこれらの好都合な態様、及び他の好都合な態様が、以下の図を使用して更に詳細に説明されよう。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施例に従う符号化及び復号化のための方法を含む、後処理方法の処理フローを示す。
【図２】空の色が緩やかに遷移しているオリジナルの画像を示す。
【図３】画像エラーを生じた空の色をもつ例を示す。
【図４】緩やかに遷移するエリアRが、オリジナルのフレームFにおいて識別されていることを示す。
【図５】復号化フレームF'で、緩やかに遷移するエリアR'が識別されたことを示す。
【図６】エリアRのスプライン機能をエリアR'に適用することにより、緩やかに遷移するエリアR'をより滑らかに変化させることを示す。
【図７】復号化フレームの一部が置き換えられた実施例を例示する。
【図８】復号化フレームの一部が置き換えられた実施例のバリエーションを例示する。
【図９】緩やかに遷移するエリアの識別プロセス（GTE)及び緩やかに遷移するエリアの変換プロセス（GT)を有する実施例を例示する。
【図１０】本発明の尚更なる実施例を例示する。
【発明を実施するための形態】
【００２９】
図は、縮尺通りに描かれてはいない。概して、同一の部品は、図中の同一の参照番号によって示されている。
【００３０】
図1は、後処理法として用いられる、本発明の実施例の処理フローを示す。これは、以下に例示される：
エンコーダ側：
1.  フレームFを符号化し、対応する復号化フレームF´を得る。
2.  フレームF内にある緩やかに遷移するエリアを検出する。このとき、フレームFが第1の画像フレームであり、フレームF´が抽出された画像フレームである。
【００３１】
フレームFに対して、最初に、すべてのピクセルを未処理であるとして印を付ける。左から右へ、そして、上から下への順に、フレームFを走査する。場所（xs、ys）にあるピクセルが未処理である場合、それを種として選び、FloodFillアルゴリズムを適用する。隣接するピクセル間の輝度の差が所定の閾値Tを上回らない限り、当該アルゴリズムを、選択された種から始め、エリアを拡大する。この閾値は、小さな数（例えば3）で設定されることができる。これは、オリジナルのフレーム内の緩やかに遷移するエリアが、（全体のエリアは、広い輝度値の分布をもつことができるにもかかわらず）これらのエリアの隣接するピクセルが非常に類似の輝度値をもつとの特徴を有するという理由による。当該エリア内の各ピクセルを、データ処理されたとしてマークし、当該エリアをRとラベル付けする。このように、第1の画像フレームにおいて、緩やかに遷移するエリアが識別される。フレームFのすべてのピクセルがデータ処理されるまで、このプロセスは続く。全てのラベルを付けられたエリアに対して、好ましくは、（例えばサイズ閾値を上回る）充分な大きいサイズを有するエリアのみが、後処理のための候補エリアとして選ばれる。これは、オリジナル・フレームF内の緩やかに遷移するエリアを識別する際の閾値を意味することになる。図において、この処理は、「セグメント化」ブロックによって示されている。
3.      F及びF´に基づくエリア分析
フレームF内のラベルを付けられたエリアRごとに、同じ種（xs、ys）から始め、フレームF´内の対応するエリアR´をセグメント化するために、FloodFillアルゴリズムを実行する。フレームF´は、起こり得る顕著なアーチファクトによって既に歪められているので、同じエリアをセグメント化するために、フレームFで使われた同じ閾値Tを使用することはできない。これ故、我々は、フレームF´から同じエリアをセグメント化するための最適閾値T´を見つけるために、以下のストラテジを用いる。
T'＝Tと設定
繰り返し
{
閾値T´によってエリアをセグメント化するために、FloodFillを使用（隣接したピクセルの差）。
フレームF´内のセグメント化されたエリアR´と、フレームF内のエリアRとの間で、R（R´）のエリアと比較して、重なり合うエリアLを計算。
T'＝T'+1とする
}
R´がRに密接にマッチするように、T´が選択される。
【００３２】
この態様にて、最適な閾値T´が、デコーダ側での過少又は過大なセグメント化を回避して、フレームF´内のエリアR´をセグメント化するために見出される。したがって、抽出された画像フレーム内で、緩やかに対応している緩やかに遷移するエリアが識別される。
4.  各エリアに対する後処理データ・コンテンツ制御情報の生成
フレームF内の緩やかに遷移するエリアRごとに、例えば2Dスプライン適合又は他の補間／平滑化ストラテジを、エリアR内のピクセル輝度に対して実行する（例えば、緩やかに遷移するエリアが幾つかのテクスチャ面  −例えば小さくパターン化されたノイズ−  をもつ場合、補間動作は、テクスチャ・モデル・パラメータを含むかも知れない、即ち、補間は例えばモデル・ベースのテクスチャ再生を含む、より複雑な補間である）。2Dスプラインは、任意の平滑なエリアに適合するために、区分的な基底関数（例えば多項式）から成る。スプラインの複雑さは、使用される基底関数の数によって制御される。基底関数の最小数Kを、R及び適合された表面の間の平均差が、所定のエラー閾値以下にあるように自動的に選択する、スプライン適合アルゴリズムの使用が好まれる。これは、緩やかに遷移するエリアに対する関数のパラメータを確立する。この例では、スプライン関数が用いられているが、しかしながら他の適合関数が、例えば、比較的小さなエリアに対しては、単純な多項式適合が使われることができる。図中では、これは、「制御情報を決定する」ブロックで示されている。
【００３３】
好ましい実施例においては、適合画質（例えば適合エラー）が、適合した面がオリジナルのフレームの忠実な描写をするかどうか決定するために、この段階で判断される。忠実な描写をしない場合は、当該エリアは、後処理の候補として選ばれない。これは、関数パラメータを確立した後の、閾値のアプリケーションの例である。
【００３４】
次に、各エリアに対する後処理制御情報が、エンコーダ側で以下のように、この後、生成される：
エリアの記述（制御情報）
｛
種の場所（xs，ys）
デコーダ側（T´）でのFloodFillアルゴリズム用のセグメント閾値
スプライン関数（K）の複雑さの制御
（オプション：スプライン係数）。
}
【００３５】
種の場所及びセグメント閾値が、抽出された画像F´内の対応する緩やかなセグメント化エリアの位置を決定する。これらは、位置データを形成する。図1では、これは、制御情報内の位置情報としてPで、概観的に示されている。
【００３６】
スプライン関数及びスプライン係数の複雑さの制御は、緩やかなセグメント化エリア内でのデータ・コンテンツに対する関数パラメータを供する。図1では、これは、制御情報内のコンテンツ情報としてCで、概観的に示されている。エンコーダは、制御情報を生成するための生成器を有する。制御情報は、タイプの識別データも有する。緩やかに遷移するエリアは、「空」、「草」又は「皮膚」として、例えば識別される。この識別は、オリジナル画像の情報を使用して、デコーダ側で行うよりも、エンコーダ側で、非常に高い精度によって行われることができる。エンコーダ側では、緩やかに遷移するエリアの色、サイズ、及び位置の情報は、緩やかに遷移するエリアのタイプの、しばしば良好な表示である。（図では、タイプに対してTyで示されている）このタイプ情報は、データ信号の制御情報に挿入される。これは、デコーダ側で、緩やかに遷移するエリアの具体的な種類を識別することを可能にする。
【００３７】
制御情報はサイド情報として、デコーダへ送信（又は記憶）される。例として、当該制御情報は現行の H.264/AVCH規格で規定されたSEI（補足強化情報）メッセージによって担持される。画像信号は、この時点で、既知の画像信号には存在しない、これ自身が本発明の実施例である、追加の制御情報を有する。また、本発明に従うデータ信号を有する、DVD又は他のデータキャリアなどの、いかなるデータキャリアも、本発明の実施例を形成する。本発明は、このように、画像データ及び制御情報を有するデータ信号内にも実施され、当該制御情報は、緩やかに遷移するエリアのデータ・コンテンツに対する関数パラメータ、及び緩やかに遷移するエリアに対する位置データから成る。斯様な信号は両方とも、本発明に従うデコーダによって使われることができるのと同様、標準デコーダによって使われることができる。デコーダ側では、本発明の復号化方法に従って、以下のステップが実行される：
デコーダ側：
1.  エンコーダ側から受信された位置情報Pに基づいて、セグメント化された緩やかに遷移するエリア（種（xs、ys）及び閾値T´）を識別するステップ。デコーダは、緩やかに遷移するエリアに対する位置データを識別するための識別子を有する。復号化フレーム内の緩やかに遷移するエリア（即ち復号化フレームのセグメント部）が、これによって識別される。デコーダは、情報C及び情報Pを読む取るための読み取り器をもっている。
2.  K個の基底関数（複雑さの制御）を有するエリアに、 2Dスプライン適合を使用するステップ。デコーダは、緩やかに遷移するエリアのデータ・コンテンツに対する関数パラメータを識別するための識別子を有する。本発明の概念の範囲内では、「関数パラメータ」は、広範に理解されるべきである。これらのパラメータは、使用されるべき関数（スプライン関数、単純な多項式、又は他の関数）のタイプを示している何らかのデータ、関数の複雑さ（例えば、多項式の項の数）を示しているパラメータ、項の係数、関係するデータのタイプ（輝度、色係数、z-値）等々、又は斯様なデータの何らかの組合せ、を有する。また、これらのパラメータは絶対値の形式で、又は、例えば先行フレームに対する差の形で与えられてもよい。後者の実施例は、パラメータのために必要とされるビットの数を減らすことができる。同じタイプの関数が、フレーム又は一連のフレームを通して使われてもよいし、さもなければ、種々異なる関数が、例えば緩やかに遷移するエリアのサイズに応じて、又は関係するデータのタイプに応じて使われてもよい。また、例えば輝度及び深さなどの、種々異なるデータに対して、緩やかに遷移するエリアが一致することもあるし、一致しないこともある。本実施例では、コンテンツ情報が使われている。
【００３８】
代替的には、識別されたセグメントは、代替処理を受けることもある。例えば、スプライン関数は、エリアにまたがる緩やかな遷移を強化するか、又は減じるために変更されることができる。例えば、空は、より青くされることもあり、草は、より緑にされることもあり、曇り空のエリアが青い空と置き換えられることもある。どの場合でも、識別されデータ処理された後の緩やかに遷移するエリアが、オリジナルの対応する部分を置き換えて、復号化フレームに挿入される。最終的には、符号化-復号化の際に、量子化に起因してブロックノイズとなりやすい、少なくとも幾つかの緩やかに遷移する部分が、他の部分と置き換えられる。特に、制御情報がタイプ情報Tyを有するとき、例えばタイプ情報「皮膚又は顔」は、顔の描写の改善アルゴリズムを例えば起動することができる。
【００３９】
概して本発明は、エンコーダ（オリジナルか、又は推定された復号化画像）及びデコーダからのセグメント形状の同期ができる。エンコーダは、復号化ストラテジを知っており、その時点で、圧縮された画像信号（これは圧縮のソフトウエア・アルゴリズムの符号さえも含んでいる）に付随するサイド情報として送信され、使用されるのに、何がセグメント化するための最善の方法（例えば、どの統計数値、どの方法、どのパラメータ. . .）かを決定することができる。斯様な、より良いセグメントをもつことは、より最適な（特に広い範囲の）アーチファクト除去のために使用されることができ、これゆえ、より良好な圧縮/画質比率を実現するが、しかし、また、他のアプリケーションも有益である（例えば、うまくセグメント化された人が画像上に有る場合、人の性向分析など、より高次の画像データ処理が有益であろう）。
【００４０】
最後に、セグメント内のサブ領域に対する補正データも送信される。例えば、スチール写真又は連続したビデオ・イメージでの空は、段階的に青色が変化する画像データと最適スプラインとによって、非常に安易に描写されるが、しかし、幾つかの領域又は画像では、取り除かれる二、三の領域（例えば、小さい雲の一塊）が有る。これは、少量のセグメント関連のピクセル補正データによって修正されることができる。
3.  好ましくは、事後処理エリアと、他の画像に影響しない部分との間の突然の移行を回避する目的で、緩やかに遷移するエリアとその隣接するエリアとの間の「移行バンド」を識別するために、距離変換が適用される。例えば、（非）線形の重み付け技術が、これらの境界エリアをまたぐ移行を改善するために用いられる。移行バンドにおいては、関数的な描写で満たされたエリアと隣接するエリアとの間の移行を滑らかにするために、スムージング機能が適用される。
4.  スプライン適合の結果は浮動小数点精度であり、これは後で、どのようなディスプレィの設定（例えば、８ビットの色階調、又は10ビットの色階調）でも再生されることができる。
【００４１】
最終的には、改善された復号化フレームIDFを得る。
【００４２】
IDFは、ディスプレィに固有の再生ブロックに送られる。
追加コメント：
1.  デコーダが特定の計算制約をもつ場合、スプライン・モデル（の係数）は、デコーダに送信されることができる。
2.  我々の実験の一例は、本発明を適用することによって、（緩やかに遷移するエリアのみで測定された）PSNR（ピーク信号対ノイズ比）値が、最高2dBから4 dB改善されたことを示している。この場合、スプライン適合は、オリジナル・フレームF内のエリアRに実行されなければならない。これ故、本発明の実施例は、当該方法が、エンコーダに実装されたループ内のデータ処理としても用いられたということである。斯様な実施例は、図7、図8及び図9に示された更なる実施例において、更に説明されるだろう。
【００４３】
図2及び図3では、緩やかに遷移するエリアをもつ復号化画像における、一般的なエラーが、例示されている。図2は、オリジナルのフレームを示す。最上部、例えば空は、上部の白から地平線の灰色へと、緩やかな遷移を示す。この例では、九つの灰色の色合いが移行した。図3は、復号化の後の画像を示す。量子化エラーが発生した。グレイ・レベルの差が僅かな場合でさえ、量子化エラーは灰色の縞として、及び（灰色の一つの色合いのみであるけれども）灰色の縞間の差異として、人間の目によって容易に見抜かれ得る。
【００４４】
図4から図6は、本発明の方法を例示している。緩やかに遷移するエリアRが、オリジナルのフレームF内で識別されている。例えば、×点によって示されたFloodFillアルゴリズムの種点から、当該種点からの矢印によって概観的に示された、緩やかに遷移するエリア（GTA）が見出される。この緩やかに遷移するエリアに対して、最も適切なスプライン関数が、エリアR内の輝度を最善に記述するために生成される。当該エリアが、線によって示されている。理論的には勿論、当該線は、画像、地平線、及び工場の輪郭のフレームと一致しなければならない。この図においては、GTAが見えるように、線は僅かに内側に描かれている。
【００４５】
復号化フレームF´では、対応する緩やかに遷移するエリアR´が識別される。復号化フレームF´のエリアR´をオリジナルのフレームFの対応するエリアRのパラメータ化された再構築データと実質的に置き換える、エリアRのスプライン関数がエリアR´に、ここで、適用される。緩やかに遷移するエリアが、緩やかな遷移を示す、まさしくその事実によって、高精度でパラメータ化されることができるので、これは、量子化効果に起因するグレイ・レベルの縞がもはや見えない、改善された復号化フレームIDFを再生する。
【００４６】
実験では、他の部分の画像の詳細を妨げること無く、改善された空のエリアの再生画質が見出されることがわかった。肉眼で明らかにわかる、PSNR値の2dBから4dBの改善が見出された。
【００４７】
図7及び図8は、本発明の更なる実施例を例示している。
【００４８】
図1に示された例では、本発明が、エンコーダのループ外で用いられている。デコーダ側では、改善された復号化フレームIDFが作成されている。
【００４９】
しかしながら、本発明は、エンコーダのループ内で用いられることもできる。よく知られているように、エンコーダ内では、Bフレーム及びPフレームがIフレームから生成されるとき、動き推定及び動き補償のために、復号化フレームがエンコーダ内のループでも用いられる。図3で示されたのと同じアーチファクトが、エンコーダ内の復号化フレームに存在するであろうし、当該アーチファクトは、動き推定及び動き補償の精度と、Bフレーム及びPフレームの画質とに影響を及ぼすであろう。エンコーダ内部で、復号化フレーム又は復号化フレームの描写画像が作られることは、どのような構成に対しても真実である。前述したように、本発明は、デコーダ側で改善された復号化フレームIDFを供する。しかし、同じ改善又は同様の改善が、エンコーダ内で（つまりループ内で）使用される復号化フレーム内で得られることができる。これは、より良好な動き推定及び動き補償と、従ってBフレーム及びPフレームの改善された再生とを、例えば可能にする。図7は、この実施例を例示している。エンコーダ内部では、動き推定（ME）及び動き補償（MC）に対して復号化フレームを使用するのに先立ち、オリジナルのフレーム及び復号化フレームが、GTAI、緩やかに遷移するエリアの識別（即ち、位置情報）及びGT、緩やかに遷移するエリアの変換に送られる。即ち、復号化フレーム内の緩やかに遷移するエリアを、オリジナルのフレーム内の対応する緩やかに遷移するエリアのパラメータ化された描写へと変換する。最終的な結果は、ME及びMCのために用いられるべき改善されたフレームであり、これによるBフレーム及びPフレームの改善された再生である。勿論、デコーダ側では、対応するアルゴリズムが、同じ動き推定及び動き補償を実施するために使用されなければならない。緩やかな変換エリアの位置と、当該エリアを満たす関数とを如何に見出すかについての情報は、好ましくはデータストリームに含まれている。しかしながら、この情報は、多くのビットを必要としない。
【００５０】
図7は、復号化フレームの一部が置き換えられた実施例を例示している。図8は、この実施例のバリエーションを示す。
【００５１】
動き推定及び動き補償のための更にいくつかの高度な方法においては、動き推定及び動き補償の計算に対する出発点として、必ずしも先行フレーム（kフレーム）ではなく、それより前のフレーム（k―1）、又はそれよりも更に一つ前のフレーム（k―2）を選択する自由がある。この選択は、フレームのどの部分に対しても行われることができる。この選択方式は、考慮の対象となる1組のフレーム内に、本発明によって作られる一つ以上のIDFフレームを含むことによって拡張することができる。概観的に、これは図8に例示され、動き推定及び動き補償に対して、「オリジナルの、復号化フレーム」の使用と、改善された復号化フレームIDFの使用との間の選択が、決定器D1 内で為されることができる。
【００５２】
復号化フレーム又は同フレームの一部に対する複数の予測が為され、最善の符号化/復号化のモードを見つけるためにオリジナルのフレームと比較される、複数のエンコーダがある。このフレームワーク内で、緩やかに遷移するエリアが識別され、パラメータが算出される、考え得る符号化の方法のリストを加えることによって、本発明が用いられることもでき、復号化フレーム内で、復号化フレームの緩やかに遷移するエリアが、対応するオリジナルのフレームの緩やかに遷移するエリアの再構築データと置き換えられる。図9において、pred1、pred2、即ち、さまざまな符号化／復号化方法の予測の表示がある箱の次に、GTAI、及びGTと書かれた箱をもつことで、これが例示されている。決定器MDにおいては、予測の結果をオリジナルのフレーム、又はオリジナルのフレームの一部と比較することによって、符号化／復号化の最良で可能なモードが、一つのフレームに対して、又は、恐らくはフレームの一部、例えばマクロブロックに対して選択される。
【００５３】
従って、図7では、緩やかな遷移の補間が、ループ外の場合と非常に同様に、I-フレームの後処理として用いられている。緩やかな遷移の補間がI-フレームに適用され、その後、Pフレーム及びBフレームに対する（動き補償された）基準として用いられることが違いである。ビデオストリームに加えられる追加情報は、ループ外での処理に関するものと同じである：即ち、セグメント制御パラメータ及びモデル・パラメータの両方である。第2のループ内のモードは、いくらか異なる。ここでは、補間されたフレームが、他の予測モードとは別に、有り得る符号化モードとして用いられる。緩やかに遷移するモデルが補間器として選ばれた場合、他のいかなる予測モードに対しても為されるように、このことがストリーム内に示される。しかしながら、基本的な要件は、依然として、緩やかに遷移するエリアをオリジナル・フレーム内で見つけることであり、復号化フレーム内で、対応するエリアを見つけることであり、復号化フレームが、エンコーダ・ループをもつエンコーダ内で生成されることであり、そして、アーチファクトの削減が、エンコーダ・ループ内で行われることである。
【００５４】
図7から図9の省略記号は、以下を表している：
DCT ＝ 離散値余弦フーリエ変換
Q ＝ 量子化器
VLC ＝ 可変長符号化
Pred ＝ 予測モード
Pred_d ＝ 決定された予測
GTAI ＝緩やかに遷移するエリアの識別
MD ＝ モードの決定
GT ＝緩やかに遷移するエリアの変換
DCT-1 ＝ DCTの逆変換
【００５５】
上で例示的態様にて説明されたように、本発明は、符号化の方法及び符号化システムに関し、同様に復号化の方法及び復号化システムに関する。
【００５６】
本発明は、一つ以上の緩やかに遷移するエリアのデータ・コンテンツを記述している関数パラメータと、対応する一つ以上の緩やかに遷移するエリアの位置に関する位置データとを有する制御情報と、符号化された画像信号を有する画像信号とにおいて実施される。これは、図7から図9の実施例に関する、図1に示した実施例に対して、両方ともあてはまる。制御情報は、上で説明された実施例のどれか、又はどれかの組合せに従ったデータを有する。上で説明されたように、データ信号は復号化信号内の緩やかに遷移するエリアを、オリジナルのフレーム内の対応するエリアの再構築データと置換するために用いることができるが、しかし、本発明は、自由にこれらのエリアを変化させて、例えばこれらのエリアを種々異なる色又は別の描写と置き換えるために用いられることもできる。
【００５７】
ここで記述されたアーチファクト除去の例は、再構築された/復号化された画像を、まさしく符号化されたオリジナルのように見せる本発明の目的の、単に制限の無い例示である。連続した画像のみが符号化されると限定して、特徴のイメージが理解されてはならない。送信器端部の技術者は、この方法を、受信器に対して幾つかの「オリジナルの」（小区域の）画像を特定するためにも使用することができる。例えば、彼は、送信側で、単純なスプライン補間又はコンピュータ・グラフィックスの何の影響が、空の再生を複雑にするかをテストすることができる。信号は、この後、両方の組み合わせの修正パラメータを含むことができる。デコーダは、自身の機能に応じて、又は支払われたデジタル権利料などに応じて、修正パラメータを選択することができる。
【００５８】
本発明の強化された視覚画質の実施例が、エンコーダ・ループの外側で用いられることができ（図1）、同様に、復号化フレームが使われるか、又は、斯様な復号化フレームの予測が使われる、エンコーダ・ループの内側でも用いられることができる（図7から図9）。
【００５９】
閾値に関しては、当該閾値が、単純な実施例では、固定された閾値である（例えば、撮影された全映画のすべての空のセグメントに対して一度だけ設定される）ことができるが、しかし、また、適応可能な閾値でもよいことに注意されたい（例えば、人間が複数のセグメント化ストラテジをチェックし、例えば図10で例示されるように、多数の最適な閾値を  -メモリ（例えばBlu-rayディスク）に記憶するため、又は（リアルタイムで、若しくは後で）TV放送等のために-  規定する）。エンコーダは、セグメント化ストラテジを実行し、この後、例えば専門家のアドバイスによって、オフラインで実行されることが出来る、所望の画像領域に適合する、正しくパラメータ化されたストラテジを見出した後に、画像信号を有するパラメータを、例えばSEIメッセージへと送信し、この結果、デコーダも、正しいセグメント化を簡単に実行できることが、主要な着想である。
【００６０】
図10は、領域を拡大させるセグメント化の例を示す。セグメント化されるべき所望の領域（ダーク・グレイ）は、異なる領域（白い）と、かなり同様の領域（ライト・グレイ）との隣にある。セグメント化されるべき領域が、ジグザク線で走査されている。ジグザク線の走査線がたどられるので、エンコーダとデコーダとで拡大するセグメントを同期させるための、追加データは必要とされない。実時間で統計記述子（例えば、公差をもつ平均輝度又はグレイ・レベル）が算出されて、例えばメタデータとして初期化される。現在走査しているピクセル又は現在のブロックが、実時間の統計記述子の値から値T1より大きくずれない場合、当該ピクセル/ブロックは、当該セグメントに追加される。しかしながら、違いがT1未満だった時点から、異なる領域が誤って追加されるということがあり得る。この図では、T1→T2にて概観的に示されているように、閾値をT2に適応させることによって、この追加が修正されることができる。この修正は、走査線のこの位置に対して、更新されたT2を送信することによって実施されることができる。閾値T1、T2は、この時点で、一定の値ではなく適応可能な値である。セグメント化は、グレイ値に行われることができるが、テクスチャに行われることもできる。テクスチャを特徴づけるアルゴリズムで、テクスチャ画像をグレイ値の画像に最初に変換し、グレイ値のセグメント化を行うことができようが、しかし、統計的にテクスチャ基準を直接比較することもでき、例えば、多くの局所的なパターン形状基準を算出することができる。斯様なストラテジでは、SEI情報は例えば、丸みフィルタ又は局所的な丸みフィルタを算出するアルゴリズムのデータであり得る。
【００６１】
例えば、セグメント化は、以下を算出することに基づいて行われる：
2010514315.tif 000003
ここで、Cは、特定のグレイ値、及び/又は（例えば、 8x8個のブロックの）Aに加えられるべき領域の（例えば250から255の間の）色クラスiに属している、同じクラスi内で代表的な平均化された統計値と比較され、A内のピクセル数と同じ数を乗算された、現在のセグメントRに対するピクセルの数である。
【００６２】
上式の第2項は、局部的なテクスチャ、例えば算出された形状の測定値のクラスを比較する（例えば、第1の総和演算子S1は、4ピクセルより小さい場合、テクスチャ要素の長さを短いと分類し、4ピクセル以上であると長いと分類する）。そして、第2の総和演算子S2の値は、丸くされたか又は伸ばされたことに対する丸みを示し、この組合せ（丸い、小さい）は、クラスCM i＝1、等である。測定基準は、ブロック内で追加されるべき斯様な局部的なサブ領域の数を計数し、また、現在扱っているセグメントに対して、隣接領域が-  テクスチャ的には  -  どれくらい類似しているかを示している、リアルタイムのセグメント統計の数を再度計数する。Nは、正規化群である。
【００６３】
「標準的な」（DCT）圧縮の視覚的な画質損失を計数するための訂正ストラテジとして、例えば、テクスチャ合成モデル＋パラメータを送信することができる。この例では、セグメント化を決定するパラメータは、例えば、丸み及びサイズを決定するアルゴリズム、上記のG-関数、閾値より上の値でGが相違していると示す閾値、そして恐らく（リアルタイム結合、4分木空間分割等の）セグメント化ストラテジである。従って、テクスチャにとっても、緩やかに遷移するエリアは、特性が大幅には変化しない領域として見ることが出来る。
【００６４】
送信されたセグメントのための情報をもち、本発明に従った方法及び信号の実施例において、きれいにされ/再構築され、オリジナルと同じくらい良好な解凍されたイメージ画像を作るために、即ち、オペレータによって容認された、オリジナルからの良く見える偏移（例えば捕捉されたオリジナル画像よりも、よりシャープに見える偏移）を作るために、エンコーダ側で実行されるべき画像操作に関する情報も、送信され、信号中に含まれる。空のデ・ブロッキングの例では、これは、例えばフィルタのサポート、又は補間パラメータであり、草のクリーンアップ又は置き換えの例では、これは、例えば草生成パラメータである。デコーダ側で実行されるべき画像操作に関するこの情報は、この時点で、緩やかに遷移するエリアのコンテンツを決定している関数パラメータCの一部を形成する。したがって、コンテンツを決定するための関数パラメータCは、セグメント化されたエリアのコンテンツを満たす、及び/又は置き換える、及び/又は操作することができる、すべてのパラメータである。
【００６５】
本発明は、本発明に従った方法又は装置用のどのコンピュータ・プログラムでも実施される。コンピュータ・プログラムの下で、ひとまとまりの命令のいかなる物理的な実現も、（中間言語への翻訳、及び最終的なプロセッサ言語への翻訳のような、中間的な変換ステップを含む、）一連のローディング・ステップの後で、-一般的な、又は特別な目的用の-  データプロセッサが、発明の特性関数のいずれかを実行するために、命令をデータプロセッサに入力することを可能にしている点を理解すべきである。特に、コンピュータ・プログラムは、例えばディスク又はテープなどのキャリア上のデータとして実現されることができ、当該データはメモリ内に存在し、当該データは  -有線若しくは無線の-  ネットワーク接続上、又は紙に書かれたプログラムコードとして運ばれる。プログラムコードとは別に、プログラムのために必要とされる特徴データも、コンピュータ・プログラムとして実現されることができる。
【００６６】
上述の実施例が本発明を限定するよりはむしろ、例示する点に留意されねばならず、当業者は添付の請求項の範囲を逸脱する事無く、多くの代替の実施例を設計することが可能である。
【００６７】
請求項において、括弧の間に置かれたいかなる参照記号も、本請求項を限定するものとして解釈されてはならない。
【００６８】
本発明のフレームワークの範囲内で、多くのバリエーションが考えられることが、明白である。本発明が、特にこれまで説明され図示されたものによって限定されないことが、当業者によって理解されよう。本発明は、どの新規な特徴機能にも存在し、及び特徴機能のどの組合せにも存在する。請求項中の参照数字は、それらの保護範囲を限定することはない。
【００６９】
例えば、本発明の方法は、画像の一部のみのために使用されるか、又は、本発明の方法の種々異なる実施例が、画像の種々異なる部分のために使われることができる。例えば、一つの実施例を画像の中央部のために用い、その一方で、別の実施例を画像の端部のために用いることができる。
【００７０】
動詞「有する」及びその活用形の使用は、請求項において明言された以外の要素の存在を除外することはない。要素に先行する冠詞「a」又は「an」は、複数の斯様な要素の存在を除外することはない。
【図１】
2010514315.tif 000004
【図２】
2010514315.tif 000005
【図３】
2010514315.tif 000006
【図４−６】
2010514315.tif 000007
【図７】
2010514315.tif 000008
【図８】
2010514315.tif 000009
【図９】
2010514315.tif 000010
【図１０】
2010514315.tif 000011
【国際調査報告】
2010514315.tif 000012
2010514315.tif 000013
2010514315.tif 000014
2010514315.tif 000015
2010514315.tif 000016