(57)【要約】  第１領域及び第２領域の少なくとも一方と第３領域とを有する入力画像を圧縮する画像エンコーダ２０である。該画像エンコーダは、上記第１領域の第１テクスチャパラメータ（ρ１０）及び上記第２領域の第２テクスチャパラメータ（ρ２０）の少なくとも一方から所定の推定アルゴリズム（Ｋ）に基づいて第３テクスチャパラメータ（ρ３ｅ）を推定するように構成された推定器２１と、推定された第３テクスチャパラメータ（ρ３ｅ）に対応して発生されたテクスチャの表現（Ｒ３'）を前記入力画像の第３領域に存在するテクスチャの表現（Ｒ３）と所定の整合規準に基づいて比較すると共に、整合度の値（μｍ）を計算するように構成された比較器２２と、前記第１テクスチャパラメータ及び第２テクスチャパラメータ（ρ１０，ρ２０）の少なくとも一方を圧縮されたデータストリームＳＴ（ρ１０，ρ２０）に符号化するように構成されると共に、前記整合度の値（μｍ）が所定の区間内に入る場合に、前記入力画像の第３領域に存在するテクスチャを前記推定アルゴリズム（Ｋ）の符号化情報により、圧縮されたデータストリームＳＴ（ρ１０，ρ２０，Ｋ）に符号化するように構成されたデータエンコーダ２３とを有する。
2009501479.tif 000002
【特許請求の範囲】
【請求項１】
第１領域及び第２領域の少なくとも一方並びに第３領域を有する入力画像を圧縮する画像エンコーダであって、該画像エンコーダが、
−  前記第１領域の第１テクスチャパラメータ及び前記第２領域の第２テクスチャパラメータの少なくとも一方から所定の推定アルゴリズムに従って第３テクスチャパラメータを推定するように構成された推定器と、
−  前記推定された第３テクスチャパラメータに対応する発生されたテクスチャの表現と、前記入力画像の前記第３領域に存在するテクスチャの表現とを所定の整合規準に従って比較すると共に、整合度の値を計算するように構成された比較器と、
−  前記第１テクスチャパラメータ及び前記第２テクスチャパラメータの少なくとも一方を圧縮されたデータストリームに符号化するように構成されると共に、前記整合度の値が所定の区間内に入る場合に前記入力画像の前記第３領域に存在する前記テクスチャを前記推定アルゴリズムの符号化情報により前記圧縮されたデータストリームに符号化するように構成されたデータエンコーダと、
を有するような画像エンコーダ。
【請求項２】
請求項１に記載の画像エンコーダにおいて、前記推定器が、前記所定の推定アルゴリズムとして、前記第１テクスチャパラメータ及び前記第２テクスチャパラメータの加重組み合わせを適用するように構成された画像エンコーダ。
【請求項３】
請求項２に記載の画像エンコーダにおいて、前記推定器が、更に、前記加重組み合わせのための重みを前記整合度の値を最小化することにより適応的に選択するように構成された画像エンコーダ。
【請求項４】
請求項１に記載の画像エンコーダにおいて、前記比較器が前記所定の整合規準として心理／視覚的整合関数を適用するように構成され、該心理／視覚的整合関数が、前記発生されたテクスチャの表現及び前記存在するテクスチャの表現を入力として取り込み、これら両表現が前記画像内の複数のピクセルにわたり定義されたものとすると共に、出力として前記整合度の値を発生するような画像エンコーダ。
【請求項５】
請求項１に記載の画像エンコーダにおいて、前記比較器が前記所定の整合規準として統計的整合関数を適用するように構成され、該統計的整合関数が、前記発生されたテクスチャの表現の統計的特性及び前記存在するテクスチャの表現の統計的特性を入力として取り込むと共に、出力として前記整合度の値を発生するような画像エンコーダ。
【請求項６】
請求項１に記載の画像エンコーダにおいて、前記比較器が前記所定の整合規準として距離的尺度関数を適用するように構成され、該距離的尺度関数が、前記第３テクスチャパラメータ及び前記入力画像の前記第３領域に存在するテクスチャのテクスチャパラメータを入力として取り込むと共に、出力として前記整合度の値を発生するような画像エンコーダ。
【請求項７】
請求項１に記載の画像エンコーダにおいて、該エンコーダが画像の時間的シーケンスを有するビデオ情報を符号化するように構成されている画像エンコーダ。
【請求項８】
請求項１に記載の画像エンコーダにおいて、該画像エンコーダは前記第１領域を有する第１画像、前記第２領域を有する第２画像及び前記第３領域を有する第３画像を圧縮するように構成され、前記第１画像及び前記第２画像が前記第３画像に対して時間的に隣接しているような画像エンコーダ。
【請求項９】
第１領域及び第２領域の少なくとも一方並びに第３領域を有する入力画像を符号化する方法であって、該符号化する方法が、
−  前記第１領域の第１テクスチャパラメータ及び前記第２領域の第２テクスチャパラメータの少なくとも一方から所定の推定アルゴリズムに従って第３テクスチャパラメータを推定するステップと、
−  前記推定された第３テクスチャパラメータに対応する発生されたテクスチャの表現を、前記入力画像の前記第３領域に存在するテクスチャの表現と所定の整合規準に従って比較すると共に、整合度の値を計算するステップと、
−  前記第１テクスチャパラメータ及び前記第２テクスチャパラメータの少なくとも一方を圧縮されたデータストリームに符号化すると共に、前記整合度の値が所定の区間内に入る場合に前記入力画像の前記第３領域に存在する前記テクスチャを前記推定アルゴリズムの符号化情報により前記圧縮されたデータストリームに符号化するステップと、
を有するような符号化する方法。
【請求項１０】
推定アルゴリズムの符号化情報を有する圧縮されたデータストリームを、第１領域、第２領域及び第３領域の少なくとも１つを有する画像に復号する画像デコーダであって、該画像デコーダが、
−  前記第１領域の第１テクスチャパラメータ及び前記第２領域の第２テクスチャパラメータの少なくとも一方を前記圧縮されたデータストリームから復号するように構成されたデータデコーダと、
−  前記推定アルゴリズムの符号化情報を前記圧縮されたデータストリームから検出する検出器と、
−  前記第３領域の第３テクスチャパラメータを、前記第１テクスチャパラメータ及び前記第２テクスチャパラメータの少なくとも一方から前記推定アルゴリズムにより示される所定の推定アルゴリズムに従って推定する推定器と、
を有するような画像デコーダ。
【請求項１１】
推定アルゴリズムの符号化情報を有する圧縮されたデータストリームを、第１領域、第２領域及び第３領域の少なくとも１つを有する画像に復号する方法であって、該方法が、
−  第１テクスチャ領域の第１テクスチャパラメータ及び第２テクスチャ領域の第２テクスチャパラメータを前記圧縮されたデータストリームから復号するステップと、
−  前記推定アルゴリズムの符号化情報を前記圧縮されたデータストリームから検出するステップと、
−  第３テクスチャパラメータを、前記第１領域の第１テクスチャパラメータ及び前記第２領域の第２テクスチャパラメータの少なくとも一方から前記推定アルゴリズムにより示される所定の推定アルゴリズムに従って推定するステップと、
を有するような方法。
【請求項１２】
テクスチャの領域を有する少なくとも１つの画像を圧縮されたデータストリームに圧縮する画像エンコーダであって、該画像エンコーダが、
−  少なくとも１つのオブジェクトを有する前記少なくとも１つの画像を、所定の画像圧縮規格に準拠した圧縮されたデータストリームの第１部分に符号化するように構成された前記エンコーダの第１部分と、
−  前記テクスチャの部分を、請求項１又は請求項８に従って第２の圧縮されたデータストリームに符号化するように構成された前記エンコーダの第２部分と、
を有し、前記第１及び第２の圧縮されたデータストリームが、前記所定の画像圧縮規格に準拠した組み合わされたデータストリームを表すようにインターリーブされる画像エンコーダ。
【請求項１３】
テクスチャの領域を有する少なくとも１つの入力画像を符号化することにより得られる圧縮されたデータストリームを伝送する伝送装置であって、該伝送装置が、
−  テクスチャの領域のテクスチャを二次元自己回帰モデルのような所定のモデルによりモデル化し、該モデルのテクスチャパラメータを推定し、該モデルの情報を圧縮されたデータストリームに符号化するように構成されたテクスチャモデル化ユニットと、
−  請求項１又は請求項１２に記載された画像エンコーダであって、前記テクスチャパラメータ及び前記画像内に存在する少なくとも１つのテクスチャの表現を入力するように構成されると共に、前記テクスチャパラメータ及び推定アルゴリズムの符号化情報を前記圧縮されたデータストリームに更に符号化するように構成された画像エンコーダと、
−  前記圧縮されたデータストリームをデータ伝送主体又は記憶主体に伝送するように構成された伝送ユニットと、
を有するような伝送装置。
【請求項１４】
携帯装置であって、
−  少なくとも１つの画像を捕捉するように構成されたカメラと、
−  請求項１３に記載の伝送装置であって、前記少なくとも１つの画像の符号化されたバージョンをデータ伝送主体又は記憶主体に伝送するように構成された伝送装置と、
を有するような携帯装置。
【請求項１５】
圧縮されたデータストリームを少なくとも１つの画像に復号する画像デコーダであって、該画像デコーダが、
−  所定の画像圧縮規格に準拠した前記圧縮されたデータストリームの第１部分を、少なくとも１つの画像オブジェクトに復号するように構成された前記デコーダの第１部分と、
−  推定アルゴリズムの符号化情報及びテクスチャの領域のパラメータを有する前記圧縮されたデータストリームの第２部分を、請求項１０に記載したように復号するよう構成された前記デコーダの第２部分と、
を有し、前記デコーダの第２部分が、更に、前記テクスチャの領域を前記テクスチャ領域のパラメータから合成すると共に、該テクスチャの領域を前記画像オブジェクトに加算して出力画像を発生させるように構成されている画像デコーダ。
【請求項１６】
少なくとも１つの画像の符号化バージョンを有する圧縮されたデータストリームを画像伝送設備又は記憶設備から受信する受信機であって、該受信機が、
−  前記圧縮されたデータストリームを、請求項１５に記載したように少なくとも１つの出力画像に復号するよう構成されたデコーダと、
−  前記出力画像を、組み込まれた又は接続可能な表示器に接続するよう構成された出力手段と、
を有する受信機。
【請求項１７】
圧縮された符号化画像信号であって、
−  画像内に存在する画像オブジェクトを、画像オブジェクト内に含まれるピクセルの群のピクセル値の線形変換に基づいて、所定の画像圧縮規格に従って符号化するデータと、
−  前記画像内に含まれるテクスチャ領域を符号化するパラメトリックデータと、
−  前記画像の他のテクスチャを再生するために使用可能な、前記テクスチャを符号化する前記パラメトリックデータに基づいて他のテクスチャパラメータを発生するためのモデルの符号化情報と、
を有するような圧縮された符号化画像信号。
【請求項１８】
画像内に含まれる他のテクスチャ領域を再生するために使用可能な、前記画像内に含まれる第１テクスチャ領域を符号化するパラメトリックデータに基づいて他のテクスチャパラメータを発生するためのモデルを識別する符号化情報を有するような圧縮された符号化画像信号を伝送する方法であって、該方法が、
−  前記画像に存在する画像オブジェクトを、該画像オブジェクト内に含まれるピクセルの群のピクセル値の線形変換に基づいて所定の画像圧縮規格に従う圧縮された符号化画像信号に符号化するステップと、
−  前記画像内に含まれる前記第１テクスチャ領域をパラメトリックデータにより符号化するステップと、
−  前記画像の前記他のテクスチャを再生するために利用可能な、前記パラメトリックデータに基づいて他のテクスチャパラメータを発生するための前記モデルの符号化情報を符号化するステップと、
−  前記符号化された圧縮されたデータストリームをデータ伝送の有線又は無線の媒体を介して伝送するステップと、
を有するような方法。
【請求項１９】
コンピュータ装置によりロードされるべきコンピュータプログラムであって、テクスチャの領域を有する画像を圧縮されたデータストリームに圧縮する命令を有し、前記コンピュータ装置は処理ユニットとメモリとを有し、該コンピュータプログラムは、ロードされた後に、前記処理ユニットに、
−  第１領域の第１テクスチャパラメータ及び第２領域の第２テクスチャパラメータの少なくとも一方から所定の推定アルゴリズムに従って第３テクスチャパラメータを推定し、
−  前記推定された第３テクスチャパラメータに対応する発生されたテクスチャの表現を、第３領域に存在するテクスチャの表現と所定の整合規準に従って比較すると共に、整合度の値を計算し、且つ、
−  前記第１テクスチャパラメータ及び前記第２テクスチャパラメータを圧縮されたデータストリームに符号化すると共に、前記整合度の値が所定の区間内に入る場合に前記第３領域に存在する前記テクスチャを前記推定アルゴリズムの符号化情報により前記圧縮されたデータストリームに符号化する、
各タスクを実行する能力を付与するようなコンピュータプログラム。
【請求項２０】
請求項１に記載のエンコーダにおいて、テクスチャの領域を得るために前記画像が手動で区分されるようなエンコーダ。
【請求項２１】
請求項１に記載のエンコーダにおいて、テクスチャの領域及びパラメータを得るために前記画像が画像区分化アルゴリズムにより予め区分されるようなエンコーダ。
【請求項２２】
請求項７に記載の画像エンコーダにおいて、前記推定器は現在の画像の時点に対する差分テクスチャを該現在の入力画像の第３領域に存在するテクスチャに基づいて符号化するように構成され、前記現在の画像の第３領域に対して動き補償されたテクスチャが、少なくとも１つの前の画像における同等のテクスチャ領域、好ましくは現在の画像の第３領域に対応する逆時間的に動き補償された領域、に存在するテクスチャから発生され、前記データエンコーダが前記差分テクスチャを符号化するように構成される画像エンコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テクスチャの領域を有する画像を圧縮されたデータストリームに圧縮する画像エンコーダに関する。
【０００２】
本発明は、更に、テクスチャの領域を有する画像を圧縮されたデータストリームに符号化する方法、圧縮されたデータストリームをテクスチャの領域を有する画像に復号する画像デコーダ、圧縮されたデータストリームをテクスチャの領域を有する画像に復号する方法、テクスチャの領域を有する符号化された画像の圧縮されたデータストリームを伝送する伝送装置、符号化された画像の圧縮されたデータストリームを伝送する携帯装置、圧縮されたデータストリームを受信しテクスチャの領域を有する画像を復号する受信機、圧縮された符号化された画像信号、圧縮された符号化された画像信号を伝送する方法、及び上述した方法の何れかを実行するためのコンピュータプログラム製品に関する。
【背景技術】
【０００３】
画像のシーケンスを有するビデオ情報は、効率的な伝送及び記憶のために圧縮されたデジタルデータストリームに符号化される。近年、帯域幅を低減する一方、復号された画像の高い品質を維持するような一層良好なコーダ及びデコーダの開発への大きな関心が存在する。テクスチャの領域を伴う画像シーケンスの圧縮は、復号された画像における一層良好なテクスチャ再生の品質のための一層大きな帯域幅の必要性等の更なる挑戦をもたらす。
【０００４】
画像は、他のタイプのテクスチャのなかでも、確率的テクスチャ（stochastic texture）を含んでいる。確率的テクスチャの表現は、その最も似たパラメトリックモデルを見付けることにより得ることができる。テクスチャの領域を従来の方法により符号化する代わりに、ビットレートの低減の点では、当該テクスチャのパラメトリックモデル及び、必要な場合には、当該領域の境界情報を圧縮されたデータストリームに符号化する方が有利である。該圧縮されたデータストリームはデコーダにおいて受信され、例えば当該テクスチャの統計的パラメータ等の復号されたテクスチャパラメータ及び上記境界情報が、出力画像における上記テクスチャの領域を再生するために使用される。人間の目の心理／視覚的知覚により、このように再生されたテクスチャは元の画像に存在したテクスチャとは実効的には区別されない。
【０００５】
テクスチャモデルを表すパラメータを圧縮されたデータストリームに符号化すると共に、該テクスチャモデルのパラメータを復号して出力画像にテクスチャ領域を再生する画像符号化システムの実施例は、例えば２００４年６月発行のIEEE Transactions on Circuits and Systems第６号、第１４巻のAdrina Dumitras及びBarry G. Haskellによる論文" An Encoder-Decoder Texture Replacement Method With Application to Content-Based Movie Coding"等の従来技術から既知である。
【０００６】
しかしながら、斯かる従来技術の欠点は、多数のテクスチャの符号化が、特にテクスチャを正確に符号化しようと欲すると、テクスチャモデルを表すパラメータが符号化されたとしても、依然としてかなりの量のデータが符号化されることを要する点にある。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従って、テクスチャの領域を有する画像を一層効率的な態様で圧縮する画像エンコーダを提供することが望ましい。
【課題を解決するための手段】
【０００８】
これは、第１領域、第２領域及び第３領域の少なくとも１つを有する画像を圧縮する画像エンコーダが、
−  第１領域の第１テクスチャパラメータ及び第２領域の第２テクスチャパラメータのうちの少なくとも一方から所定の推定アルゴリズムに従って第３テクスチャパラメータを推定するように構成された推定器と、
−  推定された第３テクスチャパラメータに対応する発生されたテクスチャの表現を、入力画像の第３領域に存在するテクスチャの表現と所定の整合規準に従って比較すると共に、整合度の値を計算するように構成された比較器と、
−  第１テクスチャパラメータ及び第２テクスチャパラメータのうちの少なくとも一方を圧縮されたデータストリームに符号化するように構成されると共に、前記整合度の値が所定の区間内に入る場合に入力画像の第３領域に存在するテクスチャを、前記推定アルゴリズムの符号化情報により、前記圧縮されたデータストリームに符号化するように構成されたデータエンコーダと、
を有することにより達成される。
【０００９】
発明者は、画像内のテクスチャは、非常にしばしば、相互に或る程度の類似性を有し、或るテクスチャのパラメータは１以上の類似のテクスチャのパラメータから推定することができることを認識した。従属するテクスチャのパラメータから推定することが可能なテクスチャのパラメータは符号化及び伝送する必要はなく、これにより大量の記憶スペース及び帯域幅を節約することができる。しかしながら、所定の推定アルゴリズムは符号化され、圧縮されたデータストリーム内で伝送される必要がある。該推定アルゴリズムは、デコーダにより、伝送されなかったテクスチャのパラメータを推定するために使用される。
【００１０】
本発明によれば、前記推定器は第３テクスチャパラメータを第１テクスチャパラメータ及び第２テクスチャパラメータのうちの少なくとも一方から所定の推定アルゴリズムに従い推定するように構成される。該推定アルゴリズムは、符号化及び更なる伝送又は記憶のためのデータエンコーダにおいて利用可能とされる。
【００１１】
前記比較器は、推定されたテクスチャパラメータにより発生される第３テクスチャの表現と画像内にある第３テクスチャの表現とを比較するように構成される。第３テクスチャの表現は、テクスチャから導出される統計的特性又はモデルパラメータ又はピクセルの形態とすることができ、テクスチャの比較は対応するドメインで実行することができる。上記比較器により発生される整合度の値は、存在するテクスチャに対する発生されたテクスチャの類似性の尺度であり、該発生されたテクスチャを存在するテクスチャに代用することができるかを決定するために使用することができる。
【００１２】
上記データエンコーダにおいては、上記整合度の値が所定の区間内に入ることが判ったなら、前記推定アルゴリズムが当該圧縮されたデータストリーム内に符号化される。それ以外の場合は、第３テクスチャの実際のパラメータが該データストリームに符号化される。上記推定アルゴリズムは、有利には、第３テクスチャのパラメータを符号化するために必要とされるビットレートに比較して少ないビットレートで符号化される。このようにして、ビットレートの節約が達成され、これによりテクスチャの領域を伴う画像を符号化する効率を改善する。
【００１３】
ビットレートの節約に加えて、本発明によるエンコーダは多数の付加的利点を有している。前記整合度の値は、存在するテクスチャに良く似せるために推定パラメータから再生することが可能なテクスチャの領域をエンコーダにおいて選択すべく有利に使用される有効な品質尺度と考えることができる。許容可能な整合度の値に対してデータエンコーダにおいて所望の所定区間を設定することにより、存在するテクスチャに対する発生されるテクスチャの所望の整合品質を得ることができる。このようにして、上記所定の区間を変化させることにより、前記推定アルゴリズムにより表すことが可能なテクスチャの領域の数を変化させることができる。
【００１４】
テクスチャパラメータ及び推定規準の符号化情報は、追加のデータとして圧縮されたデータストリームに含めることができ、当該構成を規定のビデオ圧縮規格の何れかと互換性があるようにさせる。
【００１５】
本発明による画像エンコーダの一実施例において、前記推定器は前記所定の推定アルゴリズムとして第１テクスチャパラメータ及び第２テクスチャパラメータの加重組み合わせを適用するように構成される。
【００１６】
加重組み合わせは、貢献するテクスチャのパラメータの割合を変化させながら、推定されたテクスチャのパラメータの補間又は補外（外挿）を可能にする。重みを調整することにより、第３テクスチャパラメータの推定に所定の精度で効果的に到達することができる。
【００１７】
本発明による画像エンコーダの他の実施例においては、前記推定器は前記整合度の値を最小化することにより上記加重組み合わせのための重みを適応的に選択するように構成される。
【００１８】
重みは、事前には分らず、サーチの処理により選択されねばならない。前記整合度の値は、上記重みを初期状態から増加的に変化させながら、最小化されるべき点数として使用することができる。前記整合度の値は、推定された第３テクスチャパラメータに従って発生されたテクスチャの、当該画像に存在するままの元のテクスチャに対する類似性の尺度となる。類似性の尺度に依存して重みの選択を適応的に制御するために、帰還メカニズムを有利に使用することができる。所定の整合度の値に収束させるために、最適な組の重みを反復的に且つ適応的に選択することができる。
【００１９】
本発明による画像エンコーダの他の実施例では、前記比較器は所定の整合関数として心理視覚的整合関数を適用するように構成され、入力として前記発生されたテクスチャの表現及び存在するテクスチャの表現を入力し（両表現は複数のピクセルにわたり定義される）、出力として整合度の値を生じる。
【００２０】
上記比較器は、発生されたテクスチャと存在するテクスチャとを比較するために心理視覚的整合関数を適用するように構成される。心理視覚的整合関数は、しばしば、画像の視覚的品質を評価するために人の視覚系をエミュレートするために使用される。心理視覚的整合関数は、複数のピクセルにわたって表現された２つのテクスチャを比較し、テクスチャの類似性の尺度を示す整合度の値を発生するように特別に設計することができる。上記整合度の値は、存在するテクスチャを発生されたテクスチャにより、歪が人の目により殆ど知覚されないように置換することができるかを判断するために使用することができる。本発明において心理視覚的関数を使用する利点は、存在するテクスチャが発生されたテクスチャにより、或る量の事前に決められた視覚的品質で置換される点にある。
【００２１】
本発明による画像エンコーダの他の実施例においては、前記比較器は所定の整合関数として統計的整合関数を適用するように構成され、入力として前記発生されたテクスチャの表現の統計的特性及び存在するテクスチャの表現の統計的特性を入力し（両表現は複数のピクセルにわたり定義される）、出力として整合度の値を生じる。
【００２２】
ピクセルの領域により表される２つのテクスチャが類似性に関して比較されねばならない場合、多数の既知の統計的特性を比較することができる。該統計的特性は、基本的特性から一層進んだ統計的特性までおよび得る。基本的特性の幾つかの例は、共起行列（co-occurrence matrices）から導出される尺度、モーメント、相関、エントロピ、モーメント、標準偏差、分散及び平均（mean）である。均一性尺度及びエネルギクラスタリング尺度等の一層進んだ統計的特性も考慮することができる。このような統計的特性の組み合わせを、２つのテクスチャの類似性を表す整合度の値を得るために使用することができる。
【００２３】
本発明による画像エンコーダの他の実施例においては、前記比較器は前記所定の整合関数として距離尺度関数を適用するように構成され、該関数は入力として前記第３テクスチャパラメータ及び第３領域に存在するテクスチャのテクスチャパラメータを入力し、出力として整合度の値を生じる。
【００２４】
２つのテクスチャのパラメータが２つのベクトルとして表される場合、これら２つのベクトルの間の整合度を計算するために距離尺度を使用することができる。距離尺度は、２つのテクスチャの類似性を整合度の値の形で表すように適切に変換することができる。
【００２５】
本発明による画像エンコーダの他の実施例においては、該エンコーダは画像の時間的シーケンスを含むビデオ情報を符号化するように構成される。
【００２６】
本発明は、ビデオにおける時間的シーケンスの画像、又は特に画像内のテクスチャが相互に関係する若しくは類似する場合は画像の如何なるシーケンスにも適用することができる。画像シーケンスにおいては、隣接する画像内に存在する関連するテクスチャからのイントラ及びインターテクスチャ推定が可能である。結果として、テクスチャを有する画像シーケンスの符号化は、テクスチャパラメータ及び推定アルゴリズムを使用して有利に実行することもできる。
【００２７】
本発明による画像エンコーダの他の実施例では、該画像エンコーダは第１領域を含む第１画像、第２領域を含む第２画像及び第３領域を含む第３画像を符号化するように構成され、第１画像及び第２画像は第３画像に対して時間的に隣接している。
【００２８】
パラメータが推定されるべき第３テクスチャは、同一の画像に含まれる必要はなく、関連するテクスチャ、例えばテクスチャの第１及び第２領域、を含むような時間的に隣接する画像の１つに含まれるものとすることができる。このようにして、本発明は、関連するテクスチャを含み得るビデオシーケンス及び画像シーケンスに有利に適用することができる。
【００２９】
第１領域、第２領域及び第３領域のうちの少なくとも１つを有する画像を一層効率的な態様で符号化する方法を提供するような、画像を符号化する方法を提供することが更に望ましい。
【００３０】
これは、第１領域及び第２領域の少なくとも一方及び第３領域を有する画像を符号化する方法において、該符号化する方法が、
−  第１領域の第１テクスチャパラメータ及び第２領域の第２テクスチャパラメータの少なくとも一方から所定の推定アルゴリズムに従って第３テクスチャパラメータを推定するステップと、
−  前記推定された第３テクスチャパラメータに対応する発生されたテクスチャの表現を入力画像の第３領域に存在するテクスチャの表現と所定の整合規準に従って比較すると共に、整合度の値を計算するステップと、
−  第１テクスチャパラメータ及び第２テクスチャパラメータの少なくとも一方を圧縮されたデータストリームに符号化すると共に、上記整合度の値が所定の区間内に入る場合に、入力画像の第３領域に存在するテクスチャを、上記推定アルゴリズムの符号化情報により、上記の圧縮されたデータストリームに符号化するステップと、
を有することにより達成される。
【００３１】
第１及び第２テクスチャのパラメータから第３テクスチャのパラメータを推定する推定アルゴリズムは、当該パラメータ自体の代わりとして符号化され、かなりの量のビットレートを節約する。該推定されたパラメータに基づいて発生された第３テクスチャは、存在する第３テクスチャと比較されて、整合度の値を発生する。該整合度の値が所定の限界内に入る場合、再生の品質は許容可能な限界内にあると推定することができる。このような場合、上記第３テクスチャのパラメータを符号化して伝送する代わりに、当該推定アルゴリズムが符号化されて伝送され、結果として、当該画像又は画像シーケンスに対する効果的な帯域幅及び記憶スペースの低減となる。
【００３２】
更に、圧縮されたデータストリームを一層効率的な態様で復号する画像デコーダを提供することが望ましい。
【００３３】
これは、推定アルゴリズムの符号化情報を含む圧縮されたデータストリームを、第１領域、第２領域及び第３領域のうちの少なくとも１つを有する画像に復号する画像デコーダが、
−  上記の圧縮されたデータストリームから、第１領域の第１テクスチャパラメータ及び第２領域の第２テクスチャパラメータを復号するように構成されたデータデコーダと、
−  上記の圧縮されたデータストリームから前記推定アルゴリズムの符号化情報を検出する検出器と、
−  第３領域の第３テクスチャパラメータを、第１テクスチャパラメータ及び第２テクスチャパラメータの少なくとも一方から上記推定アルゴリズムにより示される所定の推定アルゴリズムに従って推定する推定器と、
を有することにより達成される。
【００３４】
上記画像デコーダは第１及び第２テクスチャパラメータを復号するように構成することができ、前記推定アルゴリズムの符号化情報から第３テクスチャパラメータを推定することができ、これらパラメータからテクスチャを合成することができる。該デコーダには、上記推定アルゴリズムの符号化情報を検出するための検出器メカニズムが設けられる。該推定アルゴリズムに基づいて、第３テクスチャパラメータが計算される。かくして、第３テクスチャパラメータを復号する負荷が、低減される。このようして、本発明によるデコーダにおいては復号効率が改善される。
【００３５】
更に、圧縮されたデータストリームを一層効率的な態様で画像復号する方法を提供することが望ましい。
【００３６】
これは、推定アルゴリズムの符号化情報を含む圧縮されたデータストリームを、第１領域、第２領域及び第３領域のうちの少なくとも１つを有する画像に復号する方法が、
−  上記の圧縮されたデータストリームから、第１テクスチャ領域の第１テクスチャパラメータ及び第２テクスチャ領域の第２テクスチャパラメータを復号するステップと、
−  上記の圧縮されたデータストリームから前記推定アルゴリズムの符号化情報を検出するステップと、
−  第３テクスチャパラメータを、第１領域の第１テクスチャパラメータ及び第２領域の第２テクスチャパラメータの少なくとも一方から上記推定アルゴリズムにより示される所定の推定アルゴリズムに従って推定するステップと、
を有することにより達成される。
【００３７】
本発明による復号する方法は、第１テクスチャパラメータ及び第２テクスチャパラメータを復号するステップを有する。第３テクスチャパラメータは、上記推定アルゴリズムの符号化情報を検出した後で、第１及び第２テクスチャパラメータから推定される。
【００３８】
本発明による少なくとも１つの画像を符号化する画像エンコーダの他の実施例では、該画像エンコーダは、
−  少なくとも１つの画像オブジェクトを有する上記少なくとも１つの画像を、所定の画像圧縮規格に準拠する圧縮されたデータストリームの第１の部分に符号化するように構成された上記エンコーダの第１の部分と、
−  テクスチャ領域を、第１及び第２テクスチャパラメータの符号化されたパラメトリックデータと、第１及び第２テクスチャから第３テクスチャを推定するための推定アルゴリズムの符号化情報とを含む第２の圧縮されたデータストリームに符号化するように構成された前記エンコーダの第２の部分と、
を有し、
上記第１及び第２のデータストリームは、前記所定の画像圧縮規格に準拠した組み合わせデータストリームを表すようにインターリーブされる。
【００３９】
或る画像は、例えば競技者のいるサッカー場のように、大量の背景テクスチャ内にオブジェクトを含む。このような画像においては、前景のオブジェクト及び背景のテクスチャを当該エンコーダの２つの部分において別々に圧縮し、これら２つの部分の圧縮されたデータストリームを組み合わせて単一のデータストリームを形成するのが有利である。複数のテクスチャを符号化するエンコーダの上記第２の部分は、本発明に従って構築される。この方法の結果として、かなりの量のビットレートの節約を得ることができる。というのは、斯かるテクスチャは、さもなければ従来の圧縮方法により必要とされるよりも大幅に少ないビット数で再生することができるからである。
【００４０】
圧縮されたデータストリームのうちの上記第１の部分は良く知られた画像圧縮規格の１つに準拠するので、依然として従来のデコーダが、該圧縮されたデータストリームを粗い背景を伴うオブジェクトに復号する。従って、本発明によるエンコーダの実施例は、良く知られた画像圧縮規格の従来のエンコーダにオプションとして含めることができる。
【００４１】
更に、テクスチャの領域を含む少なくとも１つの入力画像を符号化することにより得られた圧縮されたデータストリームを伝送する伝送装置を提供することが望まれる。
【００４２】
これは、テクスチャの領域を含む少なくとも１つの入力画像を符号化することによって得られた圧縮されたデータストリームを伝送する伝送装置が、
−  テクスチャ領域のテクスチャを二次元自己回帰モデル等の所定のモデルによりモデル化し、該モデルのテクスチャパラメータを推定し、該モデルの情報を圧縮されたデータストリームに符号化するように構成されたテクスチャモデル化ユニットと、
−  上記テクスチャパラメータ及び当該画像内に存在する少なくとも１つのテクスチャの表現を入力するよう構成されると共に、上記テクスチャパラメータ及び推定アルゴリズムの符号化情報を更に上記圧縮されたデータストリームに符号化するように構成された画像エンコーダと、
−  上記圧縮されたデータストリームをデータ伝送主体又は記憶主体に伝送するように構成された伝送ユニットと、
を有することにより達成される。
【００４３】
上記伝送装置は、テクスチャ領域を区分することができると共に、これら領域のテクスチャパラメータを推定することが可能なテクスチャモデル化ユニットを有する。該伝送装置は、第１及び第２テクスチャから第３テクスチャパラメータを推定し、発生された第３テクスチャを存在する第３テクスチャと比較し、整合度の値が所定の区間内に入る場合に前記推定アルゴリズムを圧縮されたデータストリームに符号化するように構成されたエンコーダを更に有する。このようにして、該圧縮されたデータストリームの帯域幅は従来のシステムと比較して減少される。該伝送装置は、上記の圧縮されたデータストリームを例えば有線、無線又はインターネット等の伝送媒体と互換性があるように変換する伝送装置ユニットを更に有する。本発明の伝送装置は画像シーケンスを入力すると共に、これらシーケンスを、全テクスチャパラメータを符号化する従来技術の伝送装置よりも少ない帯域幅で伝送することができ、従って一層効率的である。ビデオシーケンスを伝送するための本発明による伝送装置は、ケーブル運用者のヘッドエンド又は無線放送局又はダイレクト・ツー・ホーム放送局又はインターネットサーバ等の種々の放送オプション部に配置することができる。
【００４４】
更に、画像の符号化バージョンを一層効率的な態様で記憶及び／又は伝送する携帯装置を提供することが望ましい。
【００４５】
これは、該携帯装置が、
−  少なくとも１つの画像を捕捉するように構成されたカメラと、
−  上記少なくとも１つの画像の符号化バージョンをデータ伝送主体又は記憶主体に伝送するよう構成された本発明による伝送装置と、
を有することにより達成される。
【００４６】
上記携帯装置は、カメラ及び本発明による伝送装置を有することができる。上記カメラは、記憶又は伝送されるべき画像のシーケンスを供給することができる。本発明による伝送装置は、上記画像のシーケンスを圧縮されたデータストリームに変換することができる。当該携帯装置の伝送装置は、本発明による先の段落で説明したような伝送装置に類似するものである。該伝送装置は、本発明により従来の伝送装置と比較してビットレート及び記憶スペースを低減するように構成される。結果として、該携帯装置は、帯域幅の制限された又は記憶の制限されたアプリケーションに有利に使用することができる。このような装置の例は、カメラ付き携帯電話、カメラ付きパーソナル・デジタル・アシスタント（ＰＤＡ）又はデジタルスチル／ビデオカメラである。全ての可能性のある例において、画像の記憶のための記憶媒体又は画像シーケンスの伝送のための伝送装置を有することも可能である。"伝送装置"なる文言を用いる場合は、例えばメモリスティック等の（そのデータ規格に従う）記憶メモリへの伝送も含むことを意味するものである。
【００４７】
本発明による画像デコーダの一実施例において、この画像デコーダは圧縮されたデータストリームを少なくとも１つの画像に復号するように構成され、該画像デコーダは、
−  所定の画像圧縮規格に準拠する上記圧縮されたデータストリームの第１部分を少なくとも画像オブジェクトに復号するように構成された上記デコーダの第１部分と、
−  推定アルゴリズムの符号化情報及びテクスチャ領域のパラメータを含む上記圧縮されたデータストリームの第２部分を復号するように構成された上記デコーダの第２部分と、
を有し、上記デコーダの第２部分は、更に、上記テクスチャ領域のパラメータからテクスチャの領域を合成すると共に、該テクスチャの領域を前記画像オブジェクトに追加して出力画像を発生するように構成される。
【００４８】
上記デコーダは、良く知られた画像圧縮規格に準拠する圧縮されたデータストリームを復号することができる。上記圧縮されたデータストリームの第１部分は、復号されると、上記画像オブジェクトを発生することができ、本発明により符号化された上記圧縮データストリームの第２部分はテクスチャを含む領域を発生することができ、両出力が加算されて出力画像を形成する。該デコーダは、上記圧縮されたデータストリームの第１部分を復号すると共に、既知の規格の圧縮されたデータストリームと互換性があるように構成される。
【００４９】
更に、少なくとも１つの画像の符号化バージョンを含む圧縮されたデータストリームを受信し、一層効率的な態様で少なくとも１つの画像を出力する受信機を提供することが望ましい。
【００５０】
これは、画像伝送又は記憶設備から少なくとも１つの画像の符号化バージョンを含む圧縮されたデータストリームを受信する受信機が、
−  上記圧縮されたデータストリームを少なくとも１つの出力画像に復号するように構成された本発明によるデコーダと、
−  上記出力画像を、含まれる又は接続可能な表示器に接続するように構成された出力手段と、
を有することにより達成される。
【００５１】
本発明による前記画像デコーダは、圧縮されたデータストリームを受信し、少なくとも１つの画像を出力する受信機に含まれる。該受信機は、既知のビデオ圧縮規格に準拠する圧縮されたデータストリーム、及び／又はテクスチャパラメータ及び推定アルゴリズムの符号化情報を含む圧縮されたデータストリームを受信すると共に、画像のシーケンスを出力するように構成される。該受信機は表示器を有することができるか、又は外部の表示器に結合する手段を有することができる。本発明は、例えば、テレビジョン受信機、ホームシアタシステム、セットトップボックス、インターネット接続を備える又は備えないパーソナルコンピュータ、並びにメディアセンタ、携帯ビデオプレーヤ、パーソナル・デジタル・アシスタント（ＰＤＡ）及び携帯電話等の携帯装置のような多くの受信機の１つに使用することができる。
【００５２】
更に、画像シーケンスを一層効率的な態様で圧縮するような圧縮された符号化画像信号を提供することが望ましい。
【００５３】
これは、上記圧縮された符号化画像信号が、
−  画像内に存在する画像オブジェクトを、画像オブジェクト内に含まれるピクセルの群のピクセル値の線形変換に基づいて、所定の画像圧縮規格に従って符号化するデータ、
−  上記画像内に含まれるテクスチャ領域を符号化するパラメトリックデータ、及び
−  前記画像の他のテクスチャを再生するために使用可能な、前記テクスチャを符号化したパラメトリックデータに基づいて他のテクスチャパラメータを発生するためのモデルの符号化情報、
を有することにより達成される。
【００５４】
画像圧縮の良く知られた規格に準拠する圧縮された符号化画像信号は、例えば送信されたテクスチャのパラメータから他のテクスチャを発生するためのモデルの符号化情報等の追加の成分を受容するように適切に変更される。テクスチャのパラメータに基づき他のテクスチャを発生するためのモデルの追加の符号化情報は、当該信号を、標準の画像圧縮信号と比較してビットレート低減の点で一層効率的にさせる。従来のデコーダで復号する際には、上記追加の成分は破棄されることができ、受信されたパラメータを持つテクスチャの領域のみが合成されるであろう。このようにして発生される画像信号は、依然として、従来のデコーダに準拠することができる。
【００５５】
更に、圧縮された符号化画像信号を一層効率的な態様で伝送する方法を提供することが望ましい。
【００５６】
これは、上記圧縮された符号化画像信号が、画像内に含まれる他のテクスチャ領域を再生するために使用可能な、当該画像内に含まれる第１テクスチャ領域を符号化したパラメトリックデータに基づいて他のテクスチャパラメータを発生するためのモデルを識別する符号化情報を有し、当該方法が、
−  当該画像に存在する画像オブジェクトを、該画像オブジェクト内に含まれるピクセルの群のピクセル値の線形変換に基づいて、所定の画像圧縮規格に従う圧縮された符号化画像信号に符号化するステップと、
−  当該画像内に含まれる第１テクスチャ領域をパラメトリックデータにより符号化するステップと、
−  当該画像の他のテクスチャを再生するために使用可能な、前記パラメトリックデータに基づいて該他のテクスチャを発生するための前記モデルの符号化情報を符号化するステップと、
−  上記の符号化された圧縮されたデータストリームを、データ伝送の有線又は無線媒体上で伝送するステップと、
を有することにより達成される。
【００５７】
本発明による圧縮された符号化ビデオ信号を伝送する方法は、他のテクスチャパラメータを第１テクスチャのパラメータに基づいて発生するためのモデルの符号化情報を符号化するステップを有する。このようにして、符号化する方法は、テクスチャパラメータ自体の代わりにテクスチャを再生するモデルを符号化することによりビットレートを節約する。従って、当該方法は、従来の画像のテクスチャを符号化する方法よりも効率的である。
【００５８】
更に、プロセッサが効率的な態様で画像を符号化する方法を実行するのを可能にするようなコンピュータプログラム製品を提供することが望ましい。
【００５９】
これは、コンピュータ装置によりロードされるべき上記プログラム製品が、テクスチャの領域を含む画像を圧縮されたデータストリームに圧縮する命令を有し、上記コンピュータ装置が処理ユニットとメモリとを有し、上記コンピュータプログラム製品が、ロードされた後に、上記処理ユニットに、下記のタスク、即ち、
−  第１領域の第１テクスチャパラメータ及び第２領域の第２テクスチャパラメータのうちの少なくとも一方から所定の推定アルゴリズムに従って第３テクスチャパラメータを推定するタスク、
−  上記の推定された第３テクスチャパラメータに対応する発生されたテクスチャの表現を上記第３領域の存在するテクスチャの表現と所定の整合規準に従って比較すると共に、整合度の値を計算するタスク、及び
−  第１テクスチャパラメータ及び第２テクスチャパラメータを圧縮されたデータストリームに符号化すると共に、前記整合度の値が所定の区間内に入る場合に第３領域に存在するテクスチャを上記推定アルゴリズムの符号化情報により前記圧縮されたデータストリームに符号化し、これにより当該画像を圧縮するタスク、
を実行する能力を付与することにより達成される。
【００６０】
本発明による方法を実行するためのステップ毎の命令を有するコンピュータプログラム製品は、テクスチャのパラメータの代わりに推定規準を符号化することにより符号化の効率を増加させ、これによりビットレートを低減する。該コンピュータプログラム製品は、全てのテクスチャパラメータを符号化するプログラムよりも良好な圧縮を達成するのに有効である。該コンピュータプログラムは、種々のプラットフォームに適用して当該符号化する方法を効果的に実施する汎用ツリーとなる。該コンピュータプログラム製品は、例えばセットトップボックス、ビデオ受信機、レコーダ、プレーヤ、手持ち装置及び携帯装置等の種々の形態の消費者向け装置及び機器に使用することができる。該コンピュータプログラム製品は、これら装置の一つにおいて、例えばＰＣ、手持ち装置、ビデオプレーヤのオペレーティングシステム（ＯＳ）等の種々のプラットフォームに、又は良く知られた埋込システムの何れかに、又はジャバ仮想マシンに組み込むことができる。
【００６１】
本発明による画像エンコーダの一実施例において、テクスチャの領域を得るために当該画像は手動で区分される。
【００６２】
画像におけるテクスチャの領域は、機械的に区分された領域よりも相対的に正確且つ意味のある領域を得るために手で区分することができる。手動区分は、繰り返しシーン及びテクスチャのセグメントが当該シーンの大きな部分を占める（例えば、サッカー場における芝生）場合に有効である。
【００６３】
テクスチャ推定及び補間の技術は、画像をグラフィック設定及び背景と統合する場合に（例えば、制作側におけるグラフィックス作業）、有利に適用することができる。
【００６４】
本発明による画像エンコーダの一実施例では、テクスチャの領域及びパラメータを得るために画像は画像区分アルゴリズムにより予備区分される。
【００６５】
例えば分割及びマージ又は再帰ヒストグラム分割又は領域成長等の古典的区分方法の一つを適用することで、画像を自動的に区分することができる。アルゴリズムは、計算機においてソフトウェア又はハードウェアで実施化することができる。画像はパラメトリックモデルの存在するテクスチャとの適合を仮定及びテストすることにより予備区分することができ、その過程で、領域を区分することもできる。分割及びマージ方法は、洗練されたセグメントのモデルのパラメータを洗練するために第２反復に使用することができる。テクスチャの領域及びテクスチャのパラメータは、斯かるテクスチャのパラメータを更に符号化するために本発明によるエンコーダに直接供給することができる。パラメトリックモデルによる自動化された区分は、最初に区分し、領域のテクスチャのパラメータを見付けるよりも高速である。自動化された区分は、オプションとして、例えば１６ｘ１６ピクセルの正方形領域又は１６ｘ３２ピクセルの長方形領域等の規則的形状及び寸法の領域を得るように構成することもできる。
【発明を実施するための最良の形態】
【００６６】
本発明の前記目的及び所望のフィーチャは、図面を参照する好ましい実施例の下記の説明から一層明らかになるであろう。
【００６７】
画像シーケンスは、それらの伝送及び記憶に要するデータのサイズを低減するために符号化及び圧縮される。達成される圧縮比は例えば復号された画像品質に直接的に影響し得、より高い圧縮比は、結果として、復号された画像の低品質につながる。画像内のテクスチャは何らかの空間的に一様な特性を有し、典型的には、時には例えばランダムな位置、向き又は色等の幾つかのランダムな変化を伴う繰り返し構造を有する。テクスチャは、当該テクスチャの重要な統計的信号特性が当該画像内の位置に依存しない場合は、静止的であると仮定される。テクスチャの領域を伴う画像を圧縮することは、復号された画像の良好な品質を達成する場合に一層高い圧縮比を達成しようと試みる際に更なる挑戦を課すことになる。
【００６８】
図１は、テクスチャの領域を伴う例示的画像１０の概要図である。画像１０は、前景の例えば人１５等の画像オブジェクト、並びに背景の３つのテクスチャ１１、１２及び１３の領域を有する。テクスチャ１３の領域はテクスチャ１１及び１２の領域と類似したものであり得る。テクスチャ１１及び１２の少なくとも一方に類似し、関係し又は依存するテクスチャ１３の領域は、当該画像の如何なる場所にも出現し得る。例えば、テクスチャ１３の領域は、類似するテクスチャ１１及び１２の両者に隣接して現れるか、又は離れて出現し得る。このようにして、画像内のテクスチャは類似性又は相互依存性でグループ化することができる。１つ又は２つのテクスチャに極めて類似したテクスチャは、類似したテクスチャの推定されたパラメータを用いて再生するための良好な候補である。
【００６９】
テクスチャ１３の領域は一端から他端へ徐々に変化することもでき、一端においては或るテクスチャ１１に類似する一方、他端においては他のテクスチャ１２に類似する。或る等級の画像においては、大きな領域内のテクスチャは当該テクスチャを形成する変化する大きさの要素を有し得る。これらは、時には、粗い粒子のテクスチャから細かい粒子のテクスチャへ変化すると言われる。当該領域の一方の境界から他方の境界へ徐々に変化するテクスチャ粒子構造も、例えば類似するテクスチャを表す統計的パラメータ等の推定されたパラメータにより再生するための良好な候補である。
【００７０】
テクスチャは分析することができ、パラメトリックモデルが該テクスチャに適合される。該テクスチャは、該モデルから得られたパラメータの補助で特徴付けることができる。従って、圧縮されたストリームには、当該テクスチャが合成され、画像の適切な位置で再生することができるように、上記モデルのパラメータを符号化するだけで十分であろう。当該テクスチャの位置及び境界情報は送信される必要があろう。上記境界情報は、データ圧縮を達成するために、オプションとして例えば幾何学図に対する境界の近似により、又は多項式関数、フーリエ記述子若しくはフラクタル幾何学（fractal geometry）を用いた境界の記述により符号化することができる。
【００７１】
境界情報は全ての実施例で必要とされるのではない。というのは、例えば予め固定された画像の部分パーツにおける背景の芝生テクスチャは、前景オブジェクトを重畳することが可能な如何なる開始テクスチャからも完成することができるからである。前景オブジェクトにおけるテクスチャ及び本発明によるパラメータ的に発生された背景テクスチャの移送（transfer）を滑らかにするために戦略が適用される。
【００７２】
一般的に、テクスチャの実現を元のテクスチャのものと同一の統計的特性で行うことが可能である。また、１以上の関連する又は依存するテクスチャの中間の又は徐々に変化するテクスチャを、それらのモデルパラメータから発生することも可能である。このような場合において、画像内に存在する全てのテクスチャの領域のモデルパラメータの符号化と比較して、ビットレートの低減を達成することができる。
【００７３】
図２は、本発明による画像エンコーダ２０の一実施例の概略ブロック図である。
【００７４】
画像エンコーダ２０は、推定器２１、比較器２２及びデータエンコーダ２３を有している。該画像エンコーダは、テクスチャの領域のテクスチャパラメータを入力するように構成されている。テクスチャパラメータは、テクスチャの表現であり、該テクスチャを再生するために使用することができる。テクスチャの領域のテクスチャパラメータを推定する種々の方法が存在する。テクスチャの確率的表現であるテクスチャパラメータは、例えば自身の最も類似したパラメトリックモデルを見付けることにより得ることができる。テクスチャパラメータは、付加的に、当該テクスチャの領域の境界情報の表現を有することができる。
【００７５】
画像エンコーダ２０は、第１領域１１、第２領域１２及び第３領域１３のうちの少なくとも１つを有する図１に示す画像１０を符号化するように構成される。推定器２１は、第１領域の第１テクスチャパラメータ（ρ1o）及び第２領域の第２テクスチャパラメータ（ρ2o）のうちの少なくとも一方を入力すると共に、所定の推定アルゴリズム（Ｋ）に従って第３テクスチャパラメータ（ρ3e）を推定するように構成される。上記推定アルゴリズムは、テクスチャパラメータの平均等の簡単なものから、テクスチャパラメータの多項式非線形方程式等の一層複雑なものまでとすることができる。推定アルゴリズムとして、テクスチャパラメータの加重平均を有利に使用することができる。
【００７６】
入力画像を入力すると共にテクスチャを有する領域を区分し、且つ、テクスチャパラメータを計算する区分化手段は、当該エンコーダの外部に設けることができるか、又は該エンコーダ内に追加のモジュールとして設けることができる。区分は、テクスチャの領域のパラメータ推定と組み合わせることができるか、段階で有利に実行することができる。自己回帰移動平均（ＡＲＭＡ）モデル等のパラメトリックモデルの予測及び訂正を、区分及びパラメータ推定のために使用することができる。分割及びマージ又は何らかの他の良く知られた手順を介しての区分の改善策も当該区分化モジュールに含めることができる。当該区分は、ヒストグラム分割法等の良く知られた技術の何れか１つを適用する自動化された区分とすることができる。
【００７７】
モデルの適合及びテクスチャのある領域のパラメータ推定の一例を示す。位置（m,n）の関数ＸであるようなテクスチャＲ１を考察しよう。該テクスチャは静止的であると仮定する。このようなテクスチャに対する幾つかの有効な統計的パラメータは、平均及び自己共分散であり得る。この例においては、自己共分散パラメータρ１の推定を説明する。表記を容易にするために、更に、平均はゼロであると仮定することができる。ゼロでない平均の場合に対しては、平均を推定し、減算することができる。自己共分散は、２つの観測Ｘ(m0,n0)及びＸ(m0+Δm,n0+Δn)の間の共分散と定義され、ここで、(Δm,Δn)は座標(m0,n0)に対する増分的ずれである、
【数１】
2009501479.tif 000003
【００７８】
静止の特性の結果、ρ１は位置(m0,n0)とは独立であり、２つの観測の相対位置(Δm,Δn)にのみ依存することになる。分散は座標のずれ(0,0)における自己共分散により与えられる、
【数２】
2009501479.tif 000004
【００７９】
２次元自己回帰（２Ｄ ＡＲ）モデルを、テクスチャ共分散関数における統計的に重要な細部の小さな表現を得るために使用することができる。テクスチャＸに対する２Ｄ ＡＲモデルは、下記の異なる方程式により与えられ、
【数３】
2009501479.tif 000005
ここで、Ｘはテクスチャであり、ε(m,n)はゼロ平均の独立した等しく分散されたランダム変数である。総和に用いられる周囲の領域Ｓはサポート領域（ＲＯＳ）と定義される。点(m,n)は該サポート領域における中心点と呼ぶことができる。上記総和は、観測Ｘ(m,n)の周囲の値の係数ａi,jとの線形結合である。
【００８０】
ＡＲモデルパラメータａは、Ｘ＾(m,n)の周囲のピクセルに基づく予測に使用することができる：
【数４】
2009501479.tif 000006
【００８１】
ａi,jは２Ｄユール・ウォーカ方程式により自己共分散に関係づけられる：
【数５】
2009501479.tif 000007
【００８２】
更なる技術が、モデル順序及び最適係数を決定するためのモデル適合の文献中に存在する。
【００８３】
テクスチャの領域を、手動の区分により得ることが可能である。このような領域は、テクスチャパラメータを得るために更に処理することができる。手動区分は幾つかの利点を有している。即ち、意味論的に意味のある領域を単一の反復で得ることができ、区分化のエラーを自動区分と比較して大幅に少なくすることができ、手動区分は静止的及び繰り返しシーンに良く適し得る。
【００８４】
比較器２２は、推定された第３テクスチャパラメータ（ρ3e）に対応する発生されたテクスチャと、図１に示した画像１０に存在する第３テクスチャ１３（Ｒ３）とを比較するように構成されている。該比較器の別の実施例は、テクスチャを異なる可能性のある表現から開始して比較し、整合度の値（μｍ）と呼ばれる類似性の尺度を発生するように構成される。該整合度の値は、第３テクスチャを、推定されたテクスチャパラメータにより発生されたテクスチャと置換することができるかを判断するのに有効である。
【００８５】
発生されたテクスチャの当該画像内で見つかったテクスチャに対する適合度を見付けるために、発生／テスト戦略が採用される。上記整合度の値は、テクスチャを統計的整合関数又は心理視覚的整合関数によって比較することにより計算することができる。該整合度の値が或る区間内に入る場合、これは他のテクスチャパラメータからの第３テクスチャパラメータの満足のゆく推定であることを示し、該第３テクスチャパラメータを推定アルゴリズムにより置換する決定に到達することができる。決定は、上記整合度の値が所定の閾値より高い場合になすこともできる。
【００８６】
一例として、左から右へ徐々に変化するテクスチャの領域が、該テクスチャ領域の左及び右半部に適合される２つの２次元自己回帰（ＡＲ）モデルＭ１及びＭ２を用いてモデル化されると仮定しよう。遷移領域においては、上記モデルＭ１及びＭ２間の遷移モデルＭ３が、Ｍ１又はＭ２の何れよりも良好に適合することが期待される。
【００８７】
この遷移領域に対しては、中間モデルを決定することができる。しかしながら、この新たなモデルはデコーダに送信しなければならない付加的パラメータを生じ、ビットレートを増加させる。代替案は、モデルＭ３のパラメータを、例えばモデルパラメータＭ１及びＭ２の補間による等の、利用可能なモデルパラメータＭ１及びＭ２の組み合わせにより推定することである。推定は、ビットレートを増加させること無しに、Ｍ１又はＭ２に比較して当該遷移領域に対する一層正確なモデルを発生させることができる。自己相関係数、反射係数及び予測係数等の当該モデルパラメータに対する多くの等価な表現が利用可能である。
【００８８】
更に、当該例においては、モデルＭ３の自己共分散係数ρ3eは、モデルＭ１及びＭ２の自己共分散係数ρ１及びρ２の、
【数６】
2009501479.tif 000008
なる重み（w1,w2）による加重平均により得ることもできる。
【００８９】
対応するモデルパラメータは、ａIi,jにより示される。これらのモデルパラメータは、ρ3eに対してユール・ウォーカ方程式を解くことにより見付けることができる：
【数７】
2009501479.tif 000009
【００９０】
特定のセグメントＲ３に対する補間モデルの品質は、このモデルのデータに対する適合度を計算することにより評価することができる。この適合度は、残差ｒの平均自乗値であり：
【数８】
2009501479.tif 000010
ここで、ｒは真のテクスチャＸ(m,n)の統計的特性Ｙ(m,n)と、予測されたテクスチャＸ^(m,n)の統計的特性Ｙ^(m,n)との間の差により与えられ、ここで(m,n)は座標である。
【数９】
2009501479.tif 000011
【００９１】
より一般的に言うと、上記残差ｒは特定の領域におけるテクスチャがテクスチャの合成に適しているかを決定するために使用することができる。例えば、テクスチャ合成が２Ｄ−ＡＲモデルによりガウス的ホワイトノイズεを入力として用いることにより実行される場合、残差ｒも同様の統計的特性を有さなければならない。これは、統計的テストにより検証することができる。
【００９２】
データエンコーダ２３は、第１テクスチャパラメータ及び第２テクスチャパラメータ（ρ1o，ρ2o）を、圧縮されたデータストリームＳＴ(ρ1o,ρ2o,…)に符号化するように構成されている。パラメータ値を既知の規格によるフォーマット化されたフレームに挿入することで、圧縮されたデータストリームを形成することができる。他の例として、パラメータをデータストリームに圧縮及び符号化することができる。該データエンコーダは、更に、前記整合度の値が所定の区間内に入る場合、第３領域内に存在するテクスチャを、ρ3oの代わりに前記推定アルゴリズム（Ｋ）の符号化情報で符号化するように構成される。或る量の精度内で推定することが可能なテクスチャパラメータは、上記圧縮されたデータストリームに符号化する必要はなく、該推定アルゴリズムを示す所定の合意されたシンボル又は短いコードを符号化すれば十分であるので、結果としてビットレートの節約となる。従って、テクスチャパラメータが、そのまま、圧縮されたデータストリームに符号化されるような従来技術と比較して、画像の一層良好な圧縮が可能である。デコーダにおいては、受信されたシンボルに対応する推定アルゴリズムを、予め決められた推定アルゴリズムのテーブルから選択することができる。
【００９３】
図３は、本発明による画像エンコーダの、推定器３１と比較器３２とを有する例示的ユニット３０のブロック図である。
【００９４】
推定器３１は、入力として第１テクスチャパラメータ（ρ1o）及び第２テクスチャパラメータ（ρ2o）を入力し、所定の推定アルゴリズム（Ｋ）により第３テクスチャパラメータ（ρ3e）を推定するように構成されている。複数の推定アルゴリズムを当該推定器に予め記憶しておくことができ、第３テクスチャパラメータの推定のために規準（Ｋ）の１つが適用され、これが前記データエンコーダ２３に結合される。比較器３２は、推定された第３テクスチャパラメータ（ρ3e）及び第３テクスチャ（Ｒ３）の表現を入力し、これらを比較すると共に、出力として整合度の値（μｍ）を計算する。存在するテクスチャの第３領域から導出されたテクスチャパラメータ（ρ3o）も、上記比較において利用可能にされ、推定されたテクスチャパラメータ（ρ3e）と比較される。上記整合度の値（μｍ）は、推定器３１が所定の区間内の整合度の値を得るために所定の方式の推定を選択するように、該推定器に帰還することができる。上記整合度の値は、該値が所定の区間内に入るように増加又は減少することができる。このようにして、推定器３１は、比較器３２からの帰還制御信号を供給することにより第３テクスチャパラメータ（ρ3e）を効果的に推定するように設計することができる。
【００９５】
図４は、本発明による比較器４０の一実施例の概略ブロック図である。
【００９６】
比較器の一実施例４０は、図４に示すように、下記の可能性のある整合関数のうちの少なくとも１つを呼び出すことにより整合度の値（μｍ）を計算するように構成されている。心理／視覚的整合関数４３又は統計的整合関数４４又は距離的尺度整合関数を使用することができる。これら関数のうちの１以上の出力を組み合わせることにより整合度の値（μｍ）を計算することも可能である。
【００９７】
心理視覚的整合関数（ＰＶＭＦ）４３は、当該画像に存在する第３領域（Ｒ３）と、推定された第３テクスチャパラメータ（ρ3e）に対応する第３領域（Ｒ３'）とを入力するように構成される。この目的のために、テクスチャ合成器４１をオプションとして当該比較器４０の内部に設計することができる。ＰＶＭＦは、整合を、人の目により知覚されたかのようにエミュレートするよう設計される。良く知られたＰＶＭＦの幾つかは、輝度ドメインで表された２つの画像を知覚するために人の視覚系モデルを使用し、出力として整合度の値を計算する。人の視覚系の特性（例えば、種々の周波数における周波数感度、種々の周波数におけるエネルギ感度及び低周波数知覚対高周波数知覚等）を、適切な整合度の値を出力として得るために、重み付け関数に組み込むことができる。
【００９８】
テクスチャの統計的試験のために、統計的整合関数を設計することができる。存在するテクスチャ（Ｒ３）から第１の統計的パラメータ（Ｐ３）を計算するために、統計的パラメータ推定器４６を当該比較器４０にオプションとして組み込むことができる。同様に、再生されたテクスチャ（Ｒ3'）から第２の統計的パラメータ（Ｐ3'）を計算するために、当該比較器４０にオプションとして第２の統計的パラメータ推定器４２を組み込むことができる。統計的整合関数４４は、第１の統計的パラメータ（Ｐ３）及び統計的パラメータ（Ｐ3'）を入力して、整合度の値（μｍ）を計算するように構成される。テクスチャの統計的パラメータは、平均、分散、標準偏差、共分散、エントロピ及びモーメント等の基本的パラメータから、エネルギ尺度及び関係尺度等の一層進んだパラメータまで様々であり得る。
【００９９】
統計的整合関数により整合度の値を推定する例を示す。例えば、下記の式により与えられるような相対的スペクトルエラー尺度ＩＲは、２つのテクスチャ領域（Ｒ３，Ｒ3'）を比較するための有効な統計的整合関数であり得、
【数１０】
2009501479.tif 000012
ここで、ｆ(w)は存在するテクスチャの正規化されたスペクトル密度であり、ｆ^(w)は推定されたテクスチャの正規化されたスペクトル密度であり、Γは正規化されたスペクトル密度を得るためにピクセルの領域に適用される変換である。
【０１００】
整合度の値を得るために、ＩＲに対して線形変換を適用することができる。この方法の利点は、斯様な整合関数の統計的特性を容易に計算することができることである。このような有用な統計的整合関数の多数の例が、２００１年６月のIEEE Transactions on Instrumentation and Measurement, Vol. 50, No. 3 にPiet M. T. Broersen により掲載された"The Performance of Spectral Quality Measures"なる論文に記載されている。
【０１０１】
距離的尺度関数４５は、第３領域に存在するテクスチャから推定されたテクスチャパラメータ（ρ3o）と、１以上の他のテクスチャパラメータから推定された第３テクスチャパラメータ（ρ3e）とを入力するように構成することができる。これらテクスチャパラメータはベクトルであると仮定することができる。パラメータドメインにおける比較は、輝度ドメインにおける比較よりも大幅に簡単である。更に、整合度の値（μｍ）は線形変換により効果的に発生することができる。２つのベクトルを比較する例の１つは、２つのベクトルの点乗積（dot product）又は接線距離の計算である。
【０１０２】
図５は、テクスチャの領域を有する画像のビデオシーケンスの概要図である。
【０１０３】
本発明は、単一の画像又はシーケンスの画像又はビデオシーケンスに適用することができる。第１画像５１、第２画像５２及び第３画像５３を有する画像シーケンス５０が図５に示されている。第１画像５１は第１領域５４を有し、第２画像５２は第２領域５５を有し、第３画像５３は第３領域５６を有している。同一の画像内に存在する１以上のテクスチャ又は隣接する画像内に存在する１以上のテクスチャからテクスチャを推定することが可能である。テクスチャの近接度はテクスチャを推定する場合の有効な規準となるが、画像の順序は重要ではない。静止画像のシーケンス（例えば、海岸で又はサッカー場で撮られた一連の写真）においてテクスチャを推定することも同様に可能である。このような画像において、前景は物体、人、木又は建物を含み得、背景は芝生又は砂のテクスチャを含み得る。
【０１０４】
図６は、本発明による画像を符号化する方法６０の一実施例のフローチャートである。
【０１０５】
第１及び第２のテクスチャパラメータ（ρ1o,ρ2o）が推定ステップ６１において入力され、第３テクスチャパラメータ（ρ3e）が推定される。次のステップ６２において、上記の推定されたテクスチャパラメータ（ρ3e）は当該画像に存在する第３テクスチャ（Ｒ３）のテクスチャパラメータ（ρ3o）と比較される。例えば、ピクセルドメインでの比較、モデル化されたパラメータドメインでの比較又は統計的パラメータのドメインでの比較等の、テクスチャを比較する多くの方法が存在し得る。斯かる比較の何れの出力も、整合度の値（μｍ）を出力するように構成される。整合度の値（μｍ）を得るために、１以上の比較出力を組み合わせるオプション的方法も存在し得る。上記整合度の値（μｍ）は、データ符号化ステップ６３において、該値が所定の区間内に入るかを見るために判定される。該整合度の値（μｍ）が許容可能なら、第３テクスチャパラメータ（ρ3e）の推定アルゴリズム（Ｋ）が圧縮データストリームＳＴ（ρ1o,ρ2o,Ｋ）に符号化され、結果的にビットレートを節約する。それ以外の場合、第３領域に存在するテクスチャに対応するテクスチャパラメータ（ρ3o）が圧縮データストリームＳＴ（ρ1o,ρ2o,…）に符号化される。これら両圧縮データストリームは結合器６４において組み合わされる。このようにして、当該画像符号化方法６０は、上記整合度の値（μｍ）が所定の区間内に入る場合に、第３テクスチャ領域に存在するテクスチャが推定アルゴリズム（Ｋ）により符号化されるような圧縮されたデータストリームを発生する。
【０１０６】
洗練された方法であること以外に、推定されたパラメータからのテクスチャの再生は、余り複雑でなく、従来技術でよく推奨されているような輝度ドメインにおける補間と比較して少ないアーチファクトしか発生しない。
【０１０７】
図７は、本発明による画像デコーダ７０の一実施例の概略ブロック図である。
【０１０８】
圧縮されたデータストリームＳＴ（ρ1o,ρ2o,…）がデコーダ７１により入力される。該圧縮されたデータストリームは、推定アルゴリズムの符号化情報を含むことができるＳＴ（ρ1o,ρ2o,Ｋ）。第１テクスチャパラメータ及び第２テクスチャパラメータ（ρ1o,ρ2o,…）はデータデコーダ７１により復号される。デコーダ７２は、圧縮されたデータストリームから推定規準（Ｋ）の符号化情報を検出するように構成されている。検出された推定規準（Ｋ）からは、第３テクスチャパラメータ（ρ3e）が推定器７３において第１及び第２テクスチャパラメータ（ρ1o,ρ2o）の少なくとも一方から推定（発生）される。データストリームから検出された推定アルゴリズムに基づいて、少なくとも１つのテクスチャパラメータから１以上のテクスチャパラメータを推定することが可能である。上記推定器は推定アルゴリズムが検出されない限り動作することはない。このような場合、当該データデコーダは、圧縮されたデータストリームで入力されたままのテクスチャパラメータを復号し続ける。
【０１０９】
図８は、本発明による画像を復号する方法８０の一実施例のフローチャートである。
【０１１０】
該復号方法８０は、圧縮されたデータストリームＳＴ（ρ1o,ρ2o,…）から第１及び第２テクスチャパラメータ（ρ1o,ρ2o）を復号する第１ステップ８１を有している。該圧縮されたデータストリームＳＴ（ρ1o,ρ2o,Ｋ）は、時には、符号化された推定アルゴリズム（Ｋ）を含む。次のステップ８２において、復号されたデータストリームは、推定アルゴリズムが存在するか判定される。推定アルゴリズムが検出された場合、第３テクスチャパラメータ（ρ3e）が第１及び第２テクスチャパラメータ（ρ1o,ρ2o）の少なくとも一方から推定アルゴリズム（Ｋ）に従って推定される。それ以外の場合、当該データデコーダにより復号されたままのパラメータが、更なる処理（例えば、テクスチャの合成）のために採用される。
【０１１１】
図９は、本発明による画像エンコーダ９０の一実施例の概略ブロック図である。
【０１１２】
本発明による画像エンコーダ９０は該エンコーダの第１部分９１を有し、該第１部分は例えばＨ．２６４又は先端的ビデオ符号化（ＡＶＣ）規格等の決定的圧縮規格により画像を符号化する。このような方式において、テクスチャの領域の分類に属さないであろう画像オブジェクトは、線形変換（更に詳細にはＤＣＴ）を受け、圧縮データストリーム９８Ａに符号化される。上記テクスチャの領域も、上記画像オブジェクトよりも相対的に少ない数のビットを割り当てることにより、圧縮データストリーム９８Ａに粗く符号化することができる。結果としてのテクスチャは、標準のデコーダにより復号された場合は、ベタッとして見え、時には"プラスチック的外観を持つ"のが分かる。当該エンコーダの第１部分９１により供給される再生画像９６Ａは、減算器９５において元の画像９６から減算される。差分画像は、テクスチャの領域９６Ｂを有する。該テクスチャ領域９６Ｂは、テクスチャの一層細かな細部を有することができ、パラメトリックモデル化のために取り上げることができる。
【０１１３】
テクスチャ分析モジュール９２は、テクスチャ領域９６Ｂをモデル化し、モデルパラメータを推定するように構成される。所定の精度で上記モデルに適合しないテクスチャ領域９７Ａは、当該エンコーダの第１部分９１に戻すことができる。上記モデルに所定の精度で適合するテクスチャ領域９７Ｂは、選択し、当該エンコーダの第２部分９３に結合することができる。テクスチャに対するモデルの適合度を評価する一例は、式（８）に示されている。テクスチャ分析モジュール９２は、オプションとして、当該エンコーダの第１部分９１に又は当該エンコーダの第２部分９３に組み込むこともできる。
【０１１４】
他の実施例では、画像オブジェクト及びテクスチャ領域９７Ｂは、画像９６からテクスチャフィルタにより分離され、当該エンコーダの第１部分９１及び当該エンコーダの第２部分９３に、各々、別個に結合することができる。更に他の実施例では、画像９６はテクスチャ分析モジュール９２に直接的に供給することができ、予め指定されたモデルの何れにも所定の精度で適合しない領域は画像オブジェクト９７Ａと見なし、当該エンコーダの前記第１部分に結合することができる。指定されたモデルに適合するテクスチャ領域９７Ｂは、当該エンコーダの第２部分９３に結合することができる。
【０１１５】
本発明によるエンコーダの第２部分９３は、テクスチャ領域９７Ｂを、パラメータ及びテクスチャパラメータを他のテクスチャパラメータの少なくとも１つから推定することができる場合は推定規準の符号化情報で符号化する。斯かる符号化されたテクスチャパラメータ及び推定規準の符号化情報を有する圧縮データストリーム９８Ｂは、当該エンコーダの第１部分９１により発生された圧縮データストリーム９８Ａと組み合わされる。結合ユニット９４は、上記の２つの圧縮データストリーム９８Ａ、９８Ｂをインターリーブし、前記決定的圧縮規格と依然として互換性のあり得る合成データストリーム９９を発生するように構成される。例えば、当該エンコーダの第２部分９３からの圧縮データストリーム９８Ｂは、先端的ビデオ符号化（ＡＶＣ）規格と互換性のある圧縮データストリーム９８Ａに、補足拡張情報（ＳＥＩ）メッセージとして含めることができる。該ＳＥＩメッセージは、モデルパラメータ及び推定規準の符号化情報を含むことができる。これら情報以外に、該ＳＥＩメッセージは、領域区分情報、領域に対するテクスチャモデルのインデックス、推定に使用されたモデルのインデックス、並びに推定されたテクスチャ及び例えば当該テクスチャを推定するための加重平均法の重み等の推定係数を更に有することができる。
【０１１６】
図１０は、本発明による圧縮データストリームを伝送する伝送装置１００の一実施例の概略ブロック図である。
【０１１７】
伝送装置１００はテクスチャモデル化ユニット１０１を有し、該ユニットにおいては画像１０４が入力され、テクスチャ領域がモデル化され、それらのテクスチャパラメータが推定される。区分化及びテクスチャのモデル化は、組み合わすか又は別個の処理とすることができる。区分化が別個の処理である場合、該区分化は統計的特性の１以上の一様性に基づく古典的区分化技術に基づくものとすることができる。基本的区分化の一例は、２００２年、デンマーク、コペンハーゲンにおけるProceedings of European Conference on Computer VisionにおいてF. Ernst、P. Wilinski及びK. van Overveldにより著された" Dense structure from motion: an approach based on segment matching"なる論文に見付けることができる。テクスチャ区分のために、例えば自己回帰モデル（ＡＲ）、移動平均モデル（ＭＡ）、自己回帰移動平均モデル（ＡＲＭＡ）又はフラクタルモデル等の種々の他のパラメトリックモデルを考えることができる。例えばＨ．２６４エンコーダ等の規格に準拠したエンコーダの決定的符号化ベースレイヤに基づくテクスチャ区分も考えることができる。
【０１１８】
前記テクスチャモデル化モジュールは、更に、視覚的に一層意味のある区分化領域を得るためのセグメント精製モジュールを有するように構成することができる。近接するセグメントＡ及びＢに対するモデルを比較することにより、これらセグメントが同一のテクスチャに属するかが決定される。そのような場合、これら領域は併合（マージ）されて単一の領域を形成し、モデルパラメータも対応して更新される。幾つかの場合において、セグメントが２以上の領域を有し、モデルの適合が大きなエラーとなる場合、該セグメントは２以上の領域に分割され、当該モデルが残留エラーの大幅な低減となるかを見るために各セグメントに対してモデルが再適合される。そして、マージ処理が分割セグメントに対して再び実行される。斯かる手順は、改善された区分化が得られるまで繰り返すことができる。
【０１１９】
他の実施例において、領域の境界は、近似が当該画像内に存在するオブジェクトを重ね合わせ又は覆い隠さない限りにおいて、或る量のエラーを許容することにより例えば正方形、長方形又は円等の規則的形状に近似させることができる。このような技術は、領域の境界を符号化する際にビットレートを大幅に低減するために採用することができる。一例として、図１に図示した第１領域１１の境界の１つは、階段状構造により近似し、より少ないビット数で符号化することができる。同様にして、第２領域１２の境界は、当該画像内に存在するオブジェクト１５を隠さない限りにおいて、長方形により近似することができる。規則的な境界を符号化する際に節約される帯域幅は、これら領域１１、１２内に存在するテクスチャの一層正確なモデル化のために使用することができる。このようにして、境界の符号化とテクスチャの内容の符号化との間の帯域幅又はビットレートの取引を効果的に実施することができる。
【０１２０】
他の実施例において、合成のためのテクスチャ領域は、長方形／円形境界ボックスと、輝度及び／又はカラー区間との組み合わせを用いて符号化することができる。例えば、サッカー場における芝生のテクスチャの領域を表すために、ビット数を節約すべく、長方形の境界ボックス並びに緑の背景に対応する一連のクロミナンス及び輝度値（Ｙ、Ｕ及びＶ値）を符号化することができる。例えば、先端的ビデオ符号化（ＡＶＣ）規格における復号された基本レイヤを、所定の態様で区分することができる。
【０１２１】
テクスチャモデル化ユニット１０１においては、テクスチャの領域１０５Ａ及びそれらの対応するテクスチャパラメータ１０５Ｂが発生される。加えて、当該テクスチャモデルの情報を含む圧縮されたデータストリーム１０６が発生される。テクスチャの領域１０５Ａ、それらの対応するテクスチャパラメータ１０５Ｂ及びテクスチャモデルの情報を含む圧縮データストリーム１０６を有する当該テクスチャモデル化ユニット１０１の出力は、エンコーダ１０２に結合される。該エンコーダ１０２は、第１及び第２テクスチャから第３テクスチャパラメータを推定し、発生された第３テクスチャを存在する第３テクスチャと比較し、整合度の値が所定の区間内に入る場合に第１及び第２テクスチャパラメータ並びに推定アルゴリズムを圧縮データストリーム１０６に符号化するよう構成される。該エンコーダの出力は、テクスチャパラメータ、推定アルゴリズム及びテクスチャモデルの情報を有する圧縮されたデータストリーム１０７である。該伝送装置は、更に、オプションとして上記圧縮データストリーム１０７を例えば有線、無線又はインターネット等の伝送媒体と互換性があるように変換する伝送ユニット１０３を有する。テクスチャモデルの情報を圧縮データストリームに含めることは、エンコーダ１０２において又は伝送ユニット１０３において実行することができる。上記圧縮データストリームを有する伝送信号１０８の信号帯域幅は、従来のシステムと比較して小さい。該伝送信号１０８は、例えばインターネットサーバ等の伝送主体１０９Ａを介して伝送することができるか、又はハードディスク若しくは光記憶装置等の記憶主体１０９Ｂに記憶することができる。
【０１２２】
図１１は、本発明の一実施例による携帯装置１１０の一実施例の概略ブロック図である。
【０１２３】
本発明による携帯装置１１０は、カメラ１１１及びトランスミッタ１１２を有する。カメラ１１１は少なくとも１つの画像１１５を捕捉するためのスチルカメラ又はビデオカメラとすることができる。画像１１３はトランスミッタユニット１１２により入力され、圧縮データストリームを含む伝送信号１１４に変換される。
【０１２４】
図１２は、本発明による画像デコーダ１２０の一実施例の概略ブロック図である。
【０１２５】
画像デコーダ１２０は、良く知られた画像圧縮規格と互換性のある入力圧縮データストリーム１２５を入力し、該データストリームを少なくとも１つの画像に復号するように構成されている。該画像デコーダは、スプリッタ１２１と、該デコーダの第１部分１２２と、該デコーダの第２部分１２３とを有している。スプリッタ１２１は、圧縮データストリーム１２５を、良く知られた画像圧縮規格に準拠した、該圧縮データストリームの第１部分１２６に分離するよう構成される。該圧縮データストリームの第２部分１２７は、本発明による推定規準の符号化情報及びテクスチャのパラメータを含む。第１デコーダ１２２は、当該圧縮データストリームの所定の画像圧縮規格に準拠する第１部分１２６を少なくとも１つの画像オブジェクト１２８に復号するよう構成される。当該デコーダの第２部分１２３は、上記圧縮データストリームの第２部分１２７をテクスチャパラメータに復号するように構成される。該デコーダの第２部分１２３は、更に、上記テクスチャパラメータからテクスチャ領域１２９を合成すると共に、該テクスチャ領域１２９を画像オブジェクト１２８に加算して、出力画像１３０を発生するように構成される。
【０１２６】
図１３は、本発明による受信機の一実施例の概略ブロック図である。
【０１２７】
受信機１４０は、デコーダ１４１と、出力手段１４２と、組み込み表示器１４８とを有する。本発明による上記デコーダは、符号化されたテクスチャパラメータ及び推定アルゴリズムの符号化情報を含む圧縮データストリーム１４３を受信するように構成される。該圧縮データストリームは、遠隔の送信機１４４から又は内部記憶手段１４５から受信することができる。上記内部記憶手段は当該受信機の内部に又は該受信機と一緒に配置されることができる。該内部記憶手段は、ハードディスク、又はデジタル汎用ディスク（ＤＶＤ）若しくはブルーレイディスク等の光記憶装置とすることができる。該受信機は、本発明によるデコーダ１４１を有する。該デコーダは、前記圧縮データストリームを、テクスチャの領域を含む少なくとも１つの画像１４６に復号する。該画像１４６は、組み込まれた表示器１４８又は接続された表示器１４９に適したフォーマットに変換される。受信機の例は、セットトップボックス、メディアセンタ、パーソナル・デジタル・アシスタント、携帯電話、テレビジョン、ホームシアタ、パーソナルコンピュータ又はＤＶＤ／ブルーレイディスクプレーヤである。
【０１２８】
図１４は、本発明によるコンピュータプログラム製品の概略ブロック図である。
【０１２９】
該コンピュータプログラム製品１５０は、計算マシンにロードすることができ、処理ユニット及びメモリを有する該マシンを動作させることができる。該コンピュータプログラム製品は、ロードされた後、上記処理ユニットに、テクスチャ領域を含む画像に対する符号化処理、及び／又は領域を含む画像を得るために圧縮データストリームに対する復号処理を実行する能力を付与する。該コンピュータプログラム製品は、例えばフラッシュメモリ又はコンパクトディスク又はハードディスク等の標準の組込型又は着脱可能型記憶部内の状態で扱うことができる。該コンピュータプログラム製品は、計算マシン内に組込ソフトウェアとして組み込むことができるか、又は事前にロードされた状態に維持することができるか、又は標準のメモリ装置の１つからロードすることができる。該コンピュータプログラム製品は、マシン言語コード又はアセンブリ言語コード等の既知のコードの何れかで設計することができ、パーソナルコンピュータ又はサーバ等の利用可能なプラットフォームの何れかにおいて動作させることができる。
【０１３０】
発明者は、自身の経験から、動き補償された同一の領域に関連するテクスチャを含む連続した画像に対してテクスチャを合成することが、パターンの妨害的な時間的変動を生じることも理解している（理想的には、例えば局所的な芝生等の静止パターンが、局部的動きと一緒に移動すべき場合）。
【０１３１】
これは、エンコーダにおいて、動き前画像テクスチャを符号化し、これを動き補償することにより対処することができる。
【０１３２】
新たな現在のテクスチャ（例えば、今度は何らかの陰影が現れている場合）は何となく異なるものであり得、符号化されたものと比較して差分（differential）として符号化することができる。
【０１３３】
領域Ｘに対する動き補償された過去のテクスチャも、新たに発生されたテクスチャ（例えば、過去のテクスチャの動き補償（例えば、ワーピング）＋更新テクスチャ等の何らかの規準による）により重みを付けることができ、かくして、時間的な一貫性と真実さ（突然のかげり等の時間的に一定しない現象）との間の最適な（視覚的に満足な）整合が維持される。重み付け方法は、ユーザパネルで事前に最適化することができる。
【０１３４】
最良の適合テクスチャを決定することができ、これらテクスチャのモデルパラメータを主実施例に関して前述したのと同様の方法で符号化することができる。
【０１３５】
デコーダは逆のことをする。
【０１３６】
尚、上述した実施例は本発明を限定するというよりは解説するものであり、当業者であれば添付請求項の範囲から逸脱すること無しに多くの代替実施例を設計することができることに注意すべきである。また、請求項において、括弧内の如何なる符号も当該請求項を限定するものと見なしてはならない。また、"有する"なる用語は、請求項に記載されたもの以外の構成要素又はステップの存在を排除するものではない。また、単数の構成要素は、複数の斯様な構成要素の存在を排除するものではない。本発明は、幾つかの別個の要素を有するハードウェアにより、及び適切にプログラムされたコンピュータにより実施化することができる。幾つかの手段を列挙するシステムの請求項において、これら手段の幾つかはコンピュータ読み取り可能なソフトウェア又はハードウェアの１つの且つ同一の項目により実施化することができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これら手段の組み合わせが有利に使用することができないことを示すものではない。
【図面の簡単な説明】
【０１３７】
【図１】図１は、テクスチャの領域を伴う例示的画像の概要図である。
【図２】図２は、本発明による画像エンコーダの一実施例の概要図である。
【図３】図３は、本発明による画像エンコーダの推定器及び比較器を有する例示的ユニット３０のブロック図である。
【図４】図４は、本発明による比較器の一実施例の概略ブロック図である。
【図５】図５は、テクスチャの領域を含む画像のビデオシーケンスの概略図である。
【図６】図６は、本発明による画像を符号化する方法の一実施例のフローチャートである。
【図７】図７は、本発明による画像エンコーダの一実施例の概略ブロック図である。
【図８】図８は、本発明による画像を復号する方法の一実施例のフローチャートである。
【図９】図９は、本発明による画像エンコーダの一実施例の概略ブロック図である。
【図１０】図１０は、本発明による圧縮されたデータストリームを伝送する伝送装置の一実施例の概略ブロック図である。
【図１１】図１１は、本発明の一実施例による携帯装置の一実施例の概略ブロック図である。
【図１２】図１２は、本発明による画像デコーダの一実施例の概略ブロック図である。
【図１３】図１３は、本発明による受信機の概略ブロック図である。
【図１４】図１４は、本発明によるコンピュータプログラム製品の概略ブロック図である。
【図１】
2009501479.tif 000013
【図２】
2009501479.tif 000014
【図３】
2009501479.tif 000015
【図４】
2009501479.tif 000016
【図５】
2009501479.tif 000017
【図６】
2009501479.tif 000018
【図７】
2009501479.tif 000019
【図８】
2009501479.tif 000020
【図９】
2009501479.tif 000021
【図１０】
2009501479.tif 000022
【図１１】
2009501479.tif 000023
【図１２】
2009501479.tif 000024
【図１３】
2009501479.tif 000025
【図１４】
2009501479.tif 000026
【国際調査報告】
2009501479.tif 000027
2009501479.tif 000028
2009501479.tif 000029