(57)【要約】  本発明は、参照画像の統計特性を利用することで画像を処理することに関する。本発明の画像向上装置は、入力画像を受信し、差分画像の統計特性を受信し、前記特性受信手段で受信された前記差分画像の統計特性に基づいてフィルタを生成し、フィルタ処理された画像を生成するように、前記フィルタを前記入力画像に適用する第１画像処理部（１２０）及び第２画像処理部（１３０）と、出力画像を生成するように、前記フィルタ処理された画像を前記入力画像に加算する加算器（１４０）とを備える。
2008152797.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を圧縮する圧縮ステップと、
前記圧縮ステップで得られる圧縮画像を符号化する画像符号化ステップと、
前記入力画像と前記圧縮画像との差分画像を算出する差分画像算出ステップと、
前記差分画像算出ステップで算出された前記差分画像の統計特性を抽出する第１特性抽出ステップと、
前記第１特性抽出ステップで抽出された前記差分画像の統計特性を符号化する第１特性符号化ステップとを含む
画像符号化方法。
【請求項２】
前記第１特性抽出ステップで抽出された前記差分画像の統計特性は、前記差分画像の自己相関関数の値と、前記差分画像の画素値の平均、分散、歪度及び尖度の少なくとも１つとを含む
請求項１記載の画像符号化方法。
【請求項３】
前記画像符号化方法は、さらに、
前記入力画像の統計特性を抽出する第２特性抽出ステップと、
前記第２特性抽出ステップで抽出された前記入力画像の統計特性を符号化する第２特性符号化ステップとを含む
請求項２記載の画像符号化方法。
【請求項４】
前記第２特性抽出ステップで抽出された前記入力画像の統計特性は、前記入力画像の画素値の平均、分散、歪度及び尖度の少なくとも１つを含む
請求項３記載の画像符号化方法。
【請求項５】
前記圧縮ステップでは、前記入力画像を、変換ベースの符号化方式によって、圧縮する
請求項１記載の画像符号化方法。
【請求項６】
前記画像符号化方法は、さらに、
前記入力画像をローパスフィルタ処理するローパスフィルタ処理ステップを含み、
前記圧縮ステップでは、前記入力画像ではなく、前記ローパスフィルタ処理された画像を圧縮する
請求項１記載の画像符号化方法。
【請求項７】
圧縮画像を復号化する画像復号化ステップと、
前記画像復号化ステップで得られる復号化画像を伸張する伸張ステップと、
差分画像の統計特性を復号化する第１特性復号化ステップと、
前記第１特性復号化ステップで復号化された前記差分画像の統計特性に基づいて第１フィルタを生成する第１フィルタ生成ステップと、
フィルタ処理された画像を生成するように、前記伸張ステップで得られた伸張画像に前記第１フィルタを適用する第１フィルタ処理ステップと、
出力画像を生成するように、前記フィルタ処理された画像を前記伸張画像に加算する加算ステップとを含む
画像復号化方法。
【請求項８】
前記第１フィルタは、前記フィルタ処理された画像の統計特性を前記第１特性復号化ステップで復号化された前記差分画像の統計特性に調整するように適応される
請求項７記載の画像復号化方法。
【請求項９】
前記第１特性復号化ステップで復号化された前記差分画像の統計特性は、前記差分画像の自己相関特性の値と、前記差分画像の画素値の平均、分散、歪度及び尖度の少なくとも１つとを含む
請求項８記載の画像復号化方法。
【請求項１０】
前記画像復号化方法は、さらに、
前記伸張画像の自己相関特性の値と、前記伸張画像の画素値の平均、分散、歪度及び尖度の少なくとも１つとを含む、前記伸張画像の統計特性を抽出する第１特性抽出ステップを含み、
前記第１フィルタは、前記第１特性復号化ステップで復号化された前記差分画像の統計特性と、前記第１特性抽出ステップで抽出された前記伸張画像の統計特性とに基づいて生成される
請求項９記載の画像復号化方法。
【請求項１１】
前記画像復号化方法は、さらに、
参照画像の統計特性を復号化する第２特性復号化ステップと、
前記第２特性復号化ステップで復号化された前記参照画像の統計特性に基づいて第２フィルタを生成する第２フィルタ生成ステップと、
前記出力画像に前記第２フィルタを適用する第２フィルタ処理ステップとを含む
請求項７記載の画像復号化方法。
【請求項１２】
前記第２フィルタは、前記出力画像の統計特性を前記第２特性復号化ステップで復号化された前記参照画像の前記統計特性に調整するように適応される
請求項１１記載の画像復号化方法。
【請求項１３】
前記第２特性復号化ステップで復号化された前記参照画像の前記統計特性は、前記参照画像の画素値の平均、分散、歪度及び尖度の少なくとも１つを含む
請求項１２記載の画像復号化方法。
【請求項１４】
前記画像復号化方法は、さらに、
前記出力画像の画素値の平均、分散、歪度及び尖度の少なくとも１つを含む、前記出力画像の統計特性を抽出する第２特性抽出ステップを含み、
前記第２フィルタは、前記第２特性復号化ステップで復号化された前記参照画像の統計特性と、前記第２特性抽出ステップで抽出された前記出力画像の統計特性とに基づいて生成される
請求項１３記載の画像復号化方法。
【請求項１５】
前記画像復号化方法は、さらに、
前記出力画像と前記復号化画像との差分を算出する差分算出ステップを含み、
前記第１フィルタ処理ステップでは、前記差分算出ステップで算出された差分に対して前記第１フィルタを適用し、
前記第１フィルタ処理ステップと前記加算ステップとを繰り返す
請求項７記載の画像復号化方法。
【請求項１６】
前記伸張ステップでは、前記復号化画像を、変換ベースの符号化方式によって伸張する
請求項７記載の画像復号化方法。
【請求項１７】
入力画像を受信する画像受信ステップと、
差分画像の統計特性を受信する第１特性受信ステップと、
前記第１特性受信ステップで受信された前記差分画像の統計特性に基づいて第１フィルタを生成する第１フィルタ生成ステップと、
フィルタ処理された画像を生成するように、前記第１フィルタを前記入力画像に適用する第１フィルタ処理ステップと、
出力画像を生成するように、前記フィルタ処理された画像を前記入力画像に加算する加算ステップとを含む
画像向上方法。
【請求項１８】
前記第１フィルタは、前記フィルタ処理された画像の統計特性を、前記第１特性受信ステップで受信された前記差分画像の統計特性に調整するように適応される
請求項１７記載の画像向上方法。
【請求項１９】
前記第１特性受信ステップで受信された前記差分画像の統計特性は、前記差分画像の自己相関特性の値と、前記差分画像の画素値の平均、分散、歪度及び尖度の少なくとも１つとを含む
請求項１８記載の画像向上方法。
【請求項２０】
前記画像向上方法は、さらに、
前記入力画像の自己相関関数の値と、前記入力画像の画素値の平均、分散、歪度及び尖度の少なくとも１つとを含む、前記入力画像の統計特性を抽出する第１特性抽出ステップを含み、
前記第１フィルタは、前記第１特性受信ステップで受信された前記差分画像の統計特性と、前記第１特性抽出ステップで抽出された前記入力画像の統計特性とに基づいて生成される
請求項１９記載の画像向上方法。
【請求項２１】
前記画像向上方法は、さらに、
参照画像の統計特性を受信する第２特性受信ステップと、
前記第２特性受信ステップで受信された前記参照画像の統計特性に基づいて第２フィルタを生成する第２フィルタ生成ステップと、
前記第２フィルタを前記出力画像に適用する第２フィルタ処理ステップとを含む
請求項１７記載の画像向上方法。
【請求項２２】
前記第２フィルタは、前記出力画像の統計特性を前記第２特性受信ステップで受信された前記参照画像の統計特性に調整するように用いられる
請求項２１記載の画像向上方法。
【請求項２３】
前記第２特性受信ステップで受信された前記参照画像の統計特性は、前記参照画像の画素値の平均、分散、歪度及び尖度の少なくとも１つを含む
請求項２２記載の画像向上方法。
【請求項２４】
前記画像向上方法は、さらに、
前記出力画像の画素値の平均、分散、歪度及び尖度の少なくとも１つを含む、前記出力画像の統計特性を抽出する第２特性抽出ステップを含み、
前記第２フィルタは、前記第２特性受信ステップで受信された前記参照画像の統計特性と、前記第２特性抽出ステップで抽出された前記出力画像の統計特性とに基づいて生成される
請求項２３記載の画像向上方法。
【請求項２５】
前記画像向上方法は、さらに、
前記出力画像と前記入力画像との差分を算出する差分算出ステップを含み、
前記第１フィルタ処理ステップでは、前記差分算出ステップで算出された差分に対して前記第１フィルタを適用し、
前記第１フィルタ処理ステップと前記加算ステップとを繰り返す
請求項１７記載の画像向上方法。
【請求項２６】
入力画像を圧縮し、得られた圧縮画像を符号化する画像符号化手段と、
前記入力画像と前記圧縮画像との差分画像を算出する差分画像算出手段と、
前記差分画像算出手段で算出された前記差分画像の統計特性を抽出する特性抽出手段と、
前記特性抽出手段で抽出された前記差分画像の統計特性を符号化する特性符号化手段とを備える
画像符号化装置。
【請求項２７】
圧縮画像を復号化し、得られた復号化画像を伸張する画像復号化手段と、
差分画像の統計特性を復号化する特性復号化手段と、
前記特性復号化手段で復号化された前記差分画像の統計特性に基づいてフィルタを生成するフィルタ生成手段と、
フィルタ処理された画像を生成するように、前記画像復号化手段で得られた伸張画像に前記フィルタを適用するフィルタ処理手段と、
出力画像を生成するように、前記フィルタ処理された画像を前記伸張画像に加算する加算手段とを備える
画像復号化装置。
【請求項２８】
入力画像を受信する画像受信手段と、
差分画像の統計特性を受信する特性受信手段と、
前記特性受信手段で受信された前記差分画像の統計特性に基づいてフィルタを生成するフィルタ生成手段と、
フィルタ処理された画像を生成するように、前記フィルタを前記入力画像に適用するフィルタ処理手段と、
出力画像を生成するように、前記フィルタ処理された画像を前記入力画像に加算する加算手段とを備える
画像向上装置。
【請求項２９】
入力画像を受信する画像受信手段と、
前記画像受信手段で受信された前記入力画像を保持する第１フレームメモリと、
差分画像の統計特性を受信する特性受信手段と、
前記特性受信手段で受信された前記差分画像の統計特性に基づいてフィルタを生成するフィルタ生成手段と、
フィルタ処理された画像を生成するように、前記第１フレームメモリから読み出された前記入力画像に、前記フィルタを適用するフィルタ処理手段と、
出力画像を生成するように、前記フィルタ処理された画像を前記入力画像に加算する加算手段と、
前記フィルタ処理手段及び前記加算手段による処理の実行中の画像を保持する第２フレームメモリとを備える
画像処理装置。
【請求項３０】
入力画像を圧縮し、得られた圧縮画像を符号化する画像符号化手段と、
前記入力画像と前記圧縮画像との差分画像を算出する差分画像算出手段と、
前記差分画像算出手段で算出された前記差分画像の統計特性を抽出する特性抽出手段と、
前記特性抽出手段で抽出された前記差分画像の統計特性を符号化する特性符号化手段と、
前記圧縮画像を復号化し、得られた復号化画像を伸張する画像復号化手段と、
前記差分画像の統計特性を復号化する特性復号化手段と、
前記特性復号化手段で復号化された前記差分画像の統計特性に基づいてフィルタを生成するフィルタ生成手段と、
フィルタ処理された画像を生成するように、前記画像復号化手段で得られた伸張画像に前記フィルタを適用するフィルタ処理手段と、
出力画像を生成するように、前記フィルタ処理された画像を前記伸張画像に加算する加算手段とを備える
画像処理システム。
【請求項３１】
入力画像を受信する画像受信ステップと、
差分画像の統計特性を受信する特性受信ステップと、
前記特性受信手段で受信された前記差分画像の統計特性に基づいてフィルタを生成するフィルタ生成ステップと、
フィルタ処理された画像を生成するように、前記フィルタを前記入力画像に適用するフィルタ処理ステップと、
出力画像を生成するように、前記フィルタ処理された画像を前記入力画像に加算する加算ステップとを含む
画像向上方法をコンピュータに実行させるプログラム。
【請求項３２】
入力画像を受信する画像受信手段と、
差分画像の統計特性を受信する特性受信手段と、
前記特性受信手段で受信された前記差分画像の統計特性に基づいてフィルタを生成するフィルタ生成手段と、
フィルタ処理された画像を生成するように、前記フィルタを前記入力画像に適用するフィルタ処理手段と、
出力画像を生成するように、前記フィルタ処理された画像を前記入力画像に加算する加算手段とを備える
集積回路。                                                                                
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主観的な画質を改良する方法に関し、特に、主観的に改良された画質を提供する画像及び動画像データを符号化する方法に関する。
【背景技術】
【０００２】
従来の信号表現方法は、ＭＳＥ（平均二乗誤差）に基づく客観的な画質量が最小化されるというように、信号を表現することを目的とする。例えば、ＰＣＭ（パルス符号変調）、ＤＰＣＭ（差分パルス符号変調）、又は変換に基づいた方法である。【０００３】
これらの画質量は、人間の観察者が主観的に画質を比較するときの結果とあまり一致しない。画質を比較するときに、人間の視覚システム（以下、ＨＶＳ（Ｈｕｍａｎ  Ｖｉｓｕａｌ  Ｓｙｓｔｅｍ）とする）が数種類の画像の属性に対して感度が高いことが知られている。より具体的には、前注意的に見るだけのとき、ＨＶＳは、同じ高次統計量を有するテクスチャを区別することができない。このために、いくつかのテクスチャ合成方法は、別に与えられたテクスチャの高次統計値とマッチングするテクスチャを合成することに基づいている（参照：非特許文献１）。テクスチャ合成方法は、主に、あるシーンで抜けを埋める、又は、物体を取り除くために修整する画像に用いられる。しかし、動画像符号化では、直接的に符号化するよりむしろ、複数のテクスチャを合成するアプローチもある（参照：非特許文献２及び非特許文献３）。【０００４】
また、ＨＶＳのための主観的な画質を改良する従来の他の方法として、画像を鮮鋭化することがある。共通の技術は、画像をより鮮鋭化するために、アンシャープマスクの使用、又は、局所的なコントラスト向上の使用である。【０００５】
以上のようにして、テクスチャを合成する、又は、画像を鮮鋭化する技術を用いて、ＨＶＳのための主観的な画質を改良することができる。
【非特許文献１】J. Portilla and E. P. Simoncelli, A parametric texture model based on joint statistics of complex wavelet coefficients, Int. J. Comput. Vis., vol. 40, no. 1, pp. 49-71, 2000
【非特許文献２】A. Dumitras and B. G. Haskell, An encoder-decoder texture replacement method with application to content-based movie coding, IEEE Trans. Circuits Syst. Video Technol., 14: 825-840, 2004
【非特許文献３】P. Ndjiki-Nya, et al., Improved H.264 coding using texture analysis and synthesis, Proc Icip 2003, 3: 849-852, 2003
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記従来技術によれば、これらの技術の結果として、より強い印象を与えるが、画像の不自然な出現、又は、ハローアーティファクト（符号化歪み）にもつながりうるという課題がある。【０００７】
そこで、本発明の目的は、主観的な画質を改良する方法を提供することであり、特に、主観的に改良された画質を生み出す画像及び動画像を符号化する方法、及び、対応する符号化装置、復号化装置及び画像向上装置を提供することである。
【課題を解決するための手段】
【０００８】
上記従来の課題を解決するために、本発明の格別のアプローチは、欠落した周波数成分を統計特性に基づいて再構成することによって、主観的な画質を向上することである。【０００９】
本発明の画像符号化方法は、入力画像を圧縮するステップと、圧縮された画像を符号化するステップと、入力画像と圧縮された画像との差分画像を算出するステップと、算出された差分画像の統計特性を抽出するステップと、算出された差分画像の抽出された統計特性を符号化するステップとを含む。【００１０】
これにより、本来失われるはずの成分に関する統計特性を抽出し、符号化することができるので、復号化装置側で、失われた成分を復元することができる。よって、単に符号化画像を復号化する場合に比べて、優れた画質の画像を得ることができる。【００１１】
また、本発明の画像復号化方法は、圧縮された画像を復号化するステップと、復号化された画像を伸張するステップと、差分画像の統計特性を復号化するステップと、差分画像の復号化された統計特性に基づいて第１フィルタを生成するステップと、フィルタ処理された画像を生成するために、第１フィルタを伸張された画像に適用するステップと、出力画像を生成するために、フィルタ処理された画像と伸張された画像とを加えるステップとを含む。【００１２】
これにより、符号化時に失われた成分に関する統計特性を復号化時に復元することができるので、単に符号化画像を復号化する場合に比べて、優れた画質の画像を得ることができる。【００１３】
また、本発明の画像向上方法は、入力画像を受信するステップと、差分画像の統計特性を受信するステップと、差分画像の受信された統計特性に基づいて第１フィルタを生成するステップと、フィルタ処理された画像を生成するために、入力画像に第１フィルタを適用するステップと、出力画像を生成するために、フィルタ処理された画像と入力画像とを加えるステップとを含む。【００１４】
これにより、入力画像に本来含まれていたはずの成分に関する統計特性を復元することができるので、優れた画質の画像を得ることができる。【００１５】
また、本発明の画像符号化装置は、入力画像を圧縮する画像圧縮器と、圧縮された画像を符号化する第１符号化器と、入力画像と圧縮画像との差分画像を算出する減算器と、算出された差分画像の統計特性を抽出するための第１統計分析部と、算出された差分画像の抽出された統計特性を符号化する第２符号化器とを備える。【００１６】
また、本発明の画像復号化装置は、圧縮された画像を復号化する第１復号化器と、復号化された画像を伸張する画像伸張器と、差分画像の統計特性を復号化する第２復号化器と、差分画像の復号化された統計特性に基づいて第１フィルタを生成し、かつ、フィルタ処理された画像を生成するために第１フィルタを伸張された画像に適用するための画像処理部と、出力画像を生成するために伸張された画像にフィルタ処理された画像を加える加算器とを備える。【００１７】
また、本発明の画像向上装置は、入力画像を受信する第１入力手段と、差分画像の統計特性を受信する第２入力手段と、差分画像の受信された統計特性に基づいて第１フィルタを生成し、かつ、フィルタ処理された画像を生成するために入力画像に第１フィルタを適用するための第１画像処理部と、出力画像を生成するためにフィルタ処理された画像に入力画像を加える加算器とを備える。【００１８】
また、好ましくは、用いられる差分画像の統計特性は、差分画像の自己相関関数の値と、差分画像の画素値の平均、分散、歪度、尖度の少なくとも１つとを含む。【００１９】
これにより、これらの統計特性は、効果的なアルゴリズムによって決定され、向上化された画像の自然に見えるテクスチャをもたらすことができる。【００２０】
また、好ましくは、第１フィルタは、フィルタ処理された画像の統計特性を差分画像の統計特性に調整するように適応される。好ましくは、第１フィルタは、差分画像の統計特性、すなわち、統計特性の目標値と、伸張された（入力）画像自体から抽出された統計特性、つまり、現実の値とに基づいて生成される。【００２１】
これにより、欠落した周波数成分を、統計特性のみから再構成することができる。【００２２】
また、好ましくは、当該方法は、さらに、入力画像（参照画像）の統計特性を用い、これらの統計特性に基づいて第２フィルタを生成し、第２フィルタを出力画像に適用する。好ましくは、第２フィルタは、出力画像の統計特性を、参照画像の復号化された（受信された）統計特性に調整するために適応される。これらの特性は、好ましくは、各画像の画素値の平均、分散、歪度、尖度の少なくとも１つを含む。【００２３】
これにより、結果の画質は、さらに改良されることができる。【００２４】
また、好ましくは、当該方法は、さらに、出力画像と復号化（入力）画像との差分を算出し、フィルタ処理ステップと加算ステップとを算出された差分に対して繰り返し適用する。【００２５】
これにより、欠落した周波数成分の統計特性は、より高精度で参照画像のそれらに一致させることができる。【００２６】
また、好ましくは、変換ベースの符号化の枠組みは、入力／復号化画像を圧縮及び伸張するために用いられる。【００２７】
これにより、最先端の変換ベースの符号化の枠組みを用いることで、高効率なアルゴリズムで優れた符号化効率を達成することができる。【００２８】
また、入力画像を符号化する際に、入力画像は、好ましくは、圧縮されるのに先行してローパスフィルタにさらされる。【００２９】
これにより、高周波成分の減衰のために、ローパスフィルタ処理された画像は、より効果的に圧縮されることができる。しかしながら、減衰した成分は、復号化器側での統計特性から再構成されることができる。この点で、効率よく符号化することは、画質に影響を与えることなく、改良されることができる。
【発明の効果】
【００３０】
本発明によれば、過度の鮮鋭化及びハローアーティファクトなどの不自然な影響を画像に対して与えることなく、画像の画質を向上させることができる。
【図面の簡単な説明】
【００３１】
本発明の上記の及び他の目的及び特徴は、付随の図面と合わせて与えられる以下の説明及び好ましい実施の形態からより明らかになるだろう。
【図１】図１は、実施の形態１の統計的画像向上装置の構成を示すブロック図である。
【図２】図２は、実施の形態１の統計的画像向上装置の動作を示すフローチャートである。
【図３】図３は、実施の形態２の画像／動画像符号化装置の構成を示すブロック図である。
【図４】図４は、実施の形態２の画像／動画像符号化装置の動作を示すフローチャートである。
【図５】図５は、実施の形態３の画像／動画像復号化装置の構成を示すブロック図である。
【図６】図６は、実施の形態３の画像／動画像復号化装置の動作を示すフローチャートである。
【図７】図７は、実施の形態４の画像処理装置の構成を示すブロック図である。
【図８】図８は、実施の形態２の画像／動画像符号化装置の変形例の構成を示すブロック図である。
【符号の説明】
【００３２】
１００  統計的画像向上装置
１１０、２３０  減算器
１２０  第１画像処理部
１３０  第２画像処理部
１４０  加算器
１５０  第３画像処理部
２００、２０１  符号化装置
２１０  画像／動画像符号化器
２２０  画像／動画像復号化器
２４０  第１統計分析部
２５０  第２統計分析部
２６０  統計特性符号化器
２７０  マルチプレクサ
２８０  フィルタ処理部
３００  復号化装置
３６０  統計特性復号化器
３７０  デマルチプレクサ
４００  画像処理装置
４１０  バス
４２０  メモリ
４３０  第１フレームメモリ
４４０  第２フレームメモリ
【発明を実施するための最良の形態】
【００３３】
（実施の形態１）
実施の形態１の統計的画像向上装置及び方法は、参照画像の統計データに基づいて画像を微調整する。例えば、原画像Ｉとローパス画像Ｉlとが与えられた場合、本実施の形態の統計的画像向上装置及び方法は、いくつかの画像統計量を調整することで欠落した周波数成分を再構成する。これにより、ローパス画像Ｉlを向上化することができる。【００３４】
本実施の形態の統計的画像向上方法において、第１のステップでは、原画像Ｉと差分画像Ｉd（＝Ｉ−Ｉl）との高次統計量と自己相関とが解析される。第２のステップでは、解析の結果が、ローパス画像Ｉl内の欠落した周波数成分を再構成するために用いられる。【００３５】
図１は、実施の形態１の統計的画像向上装置１００の構成を示すブロック図である。同図の統計的画像向上装置１００は、減算器１１０と、第１画像処理部１２０と、第２画像処理部１３０と、加算器１４０と、第３画像処理部１５０とを備える。【００３６】
減算器１１０は、入力画像と、第３画像処理部１５０から出力される出力画像との差分を算出する。なお、第３画像処理部１５０からの出力画像がまだ得られていない場合は、減算器１１０における処理は省略され、入力画像は、直接、第１画像処理部１２０に入力される。【００３７】
第１画像処理部１２０は、減算器１１０からの出力を受信する。また、上述したように、第３画像処理部１５０からの出力画像がまだ得られていない場合は、入力画像Ｉlを受信する。なお、入力画像Ｉlは、原画像Ｉに対してローパスフィルタ処理された画像に対応するローパス画像である。例えば、入力画像Ｉlは、外部の画像／動画像復号化器で復号化された画像である。【００３８】
さらに、第１画像処理部１２０は、第１参照画像Ｉdの統計特性を受信する。そして、第１画像処理部１２０は、入力画像の空間的な統計特性と、第１参照画像Ｉdの空間的な統計特性とを照合するためのフィルタを適用する。第１参照画像Ｉdは、例えば、原画像Ｉとローパス画像Ｉlとの差分、すなわち、Ｉd＝Ｉ−Ｉlに対応する。この場合、フィルタは基本的に、綿密に設計されたハイパスフィルタに対応する。【００３９】
より具体的には、第１画像処理部１２０は、第１参照画像Ｉdの統計特性として、第１参照画像Ｉdの自己相関関数の値を受信する。また、第１画像処理部１２０は、減算器１１０からの出力画像又は入力画像Ｉlの自己相関関数の値を抽出する。第１画像処理部１２０は、受信した自己相関関数の値及び抽出した自己相関関数の値に基づいてフィルタを生成し、減算器１１０から入力される画像、又は、入力画像Ｉlに対して生成したフィルタを適用する。【００４０】
第１画像処理部１２０は、以上のようにフィルタ処理された画像を、第２画像処理部１３０に出力する。【００４１】
第１画像処理部１２０は、好ましくは、画像の自己相関関数（の一部）を、第１参照画像のために算出された自己相関関数に調整するために、自己相関フィルタ処理を実行する。この目的を達成するために、第１画像処理部１２０は、入力画像の自己相関関数の値と、空間的な統計特性の一部を形成する、第１参照画像の自己相関関数の値とに基づいて、フィルタ係数を決定する。そのようなフィルタを決定するための技術ではどのような方法が用いられてもよい。特に、非特許文献１に示される方法でもよい。【００４２】
しかしながら、本実施の形態の統計的画像向上装置では、自己相関フィルタ処理に限定されず、画像の他の空間的な統計特性を、入力画像と参照画像との照合に用いてもよい。例えば、フーリエ変換係数又はウェーブレット変換係数、画像の異なるサブバンド間での相関などの統計特性を用いてもよい。さらに、ウィーナーフィルタ設計のような、最適なフィルタを設計する他の方法が用いられてもよい。【００４３】
なお、画像を鮮鋭化する場合には、零値近辺の自己相関関数の値は、特に関連性がある。それゆえに、第１画像処理部１２０は、Ｎ×Ｎタップフィルタのフィルタ係数を、入力画像と第１参照画像との自己相関関数のＮ×Ｎの零値近辺の値を基礎として、決定する。このとき、Ｎ＝７が最適であることが分かっている。ただし、他のいかなる数のタップが同様に用いられてもよい。このように決定されたフィルタ係数を持つフィルタは、第１画像処理部１２０の出力を発生するために入力画像に適用される。【００４４】
第２画像処理部１３０は、第１参照画像Ｉdの統計特性を受信する。具体的には、第１参照画像Ｉdの高次統計特性を受信する。第２画像処理部１３０は、第１画像処理部１２０から入力される画像の高次統計特性と第１参照画像の高次統計特性とを照合する。第２画像処理部１３０は、それぞれの入力信号の高次統計特性を調整するために適応される。高次統計特性は、画素値の平均、分散、歪度及び尖度といった周辺統計記述子を含む。例えば、平均及び分散は、それぞれ、画像の平均の明るさとコントラストのための尺度として、考えられてもよい。【００４５】
最適な結果は、周辺分布を４次モーメントまで調整することで、すなわち、平均、分散、歪度及び尖度の全てを調整することによって得られることができる。しかしながら、本実施の形態の統計的画像向上装置は、この点に限定されない。他の統計特性が同様に用いられてもよい。例えば、上述の特性の一部のみを含み、周辺分布の高次モーメント、画素値の空間的相関、画像のサブバンド間の相関といった他の統計特性などを用いてもよい。【００４６】
第２画像処理部１３０は、所望の周辺統計制約が合うように、各画素値を対象画素値にマッピングする変換を決定する。例えば、平均及び分散は、入力信号の平均を各画素値から減算し、対象の標準偏差（例えば、分散の平方根）と入力信号の標準偏差との比によって結果をスケーリングし、対象の平均値を加えることで、照合されることができる。歪度及び尖度は、同様に、画素値に対して６次多項式を適用することで調整されることができる。このような変換のための係数を決定する技術で知られるいかなる方法が用いられてもよい。例えば、勾配投影アルゴリズムや非特許文献１によって開示される方法である。なお、歪度は、分布の非対称性を示す値である。尖度は、分布が平均値の付近に密集している度合いを示す値である。平均、分散、歪度及び尖度の詳細な算出方法は、例えば、非特許文献１に示される。【００４７】
第２画像処理部１３０は、受信した第１参照画像Ｉdの高次統計特性（画素値の平均、分散、歪度及び尖度の少なくとも１つ）に対応する、第１画像処理部１２０から入力される画像の高次統計特性の少なくとも１つを抽出する。そして、第２画像処理部１３０は、抽出した高次統計特性を第１参照画像Ｉdの高次統計特性に合うように調整する。【００４８】
第２画像処理部１３０は、以上のように高次統計特性を調整した画像を、加算器１４０に出力する。【００４９】
加算器１４０は、第２画像処理部１３０からの出力と、入力画像とを加算し、第３画像処理部１５０に出力する。【００５０】
第３画像処理部１５０は、第２参照画像Ｉの統計特性を受信する。具体的には、第２参照画像Ｉの高次統計特性を受信する。なお、第２参照画像Ｉは、例えば、原画像である。第３画像処理部１５０は、それぞれの入力信号の高次統計特性を調整するために適応される。【００５１】
第３画像処理部１５０は、第２画像処理部１３０と同様の処理を実行する。異なる点は、第３画像処理部１５０の入力が、加算器１４０からの出力と第２参照画像Ｉとである点である。【００５２】
第１画像処理部１２０、第２画像処理部１３０及び第３画像処理部１５０において統計特性を調整することは、互いに独立して行われることができない。このため、結果をさらに改良するために繰り返しが実行されてもよい。この目的を達成するために、第３画像処理部１５０の出力は、入力画像を減算し、算出された差分画像に上述の処理ステップを適用するために、減算器１１０に供給される。【００５３】
なお、およそ７回の繰り返しを行うことが、最適であることが判明している。上述したように、最初の（すなわち、０番目の）繰り返しでは、第３画像処理部１５０の出力はまだ利用可能でないため、例えば、スイッチ（図示せず）によって減算器１１０は省略されてもよく、直接的に入力画像を第１画像処理部１２０に供給する。なお、代わりに、例えば、第３画像処理部１５０の利用可能でない出力に代用するために、従来の鮮鋭化アルゴリズムから任意の入力画像（図示せず）が提供されてもよい。【００５４】
第１画像処理部１２０、第２画像処理部１３０及び第３画像処理部１５０のそれぞれは、複雑な係数が対象画像次第であるという意味では、非線形の画像変換を実行する。それゆえに、画像処理部によって適用されるフィルタと変換とは、各繰り返しの中で更新される。画像の統計特性は、所望の値に集中するので、フィルタ／変換処理の影響を少なくするために、繰り返しが行われる。【００５５】
以上のように、本実施の形態の統計的画像向上装置では、２段階で入力画像の画質を向上化する。すなわち、第１画像処理部１２０及び第２画像処理部１３０が差分画像の画質を向上化し、第３画像処理部１５０が入力画像を加算後の全体画像の画質を向上化する。これにより、非常に優れた画質を有する画像を得ることができる。【００５６】
続いて、本実施の形態の統計的画像向上装置の動作について説明する。【００５７】
図２は、本実施の形態の統計的画像向上装置の動作を示すフローチャートである。【００５８】
統計的画像向上装置１００は、入力画像を受信する（Ｓ１０１）。受信された入力画像は、第１画像処理部１２０に入力される。次に、統計的画像向上装置１００は、差分画像の統計特性を受信する（Ｓ１０２）。受信した差分画像の統計特性のうち、自己相関関数の値は、第１画像処理部１２０に入力される。受信した差分画像の統計特性のうち、高次統計特性（平均、分散、歪度及び尖度の少なくとも１つ）は、第２画像処理部１３０に入力される。なお、差分画像とは、例えば、原画像と原画像に対してローパスフィルタ処理を施したローパス画像との差分などである。原画像に対してハイパスフィルタ処理を施した画像でもよい。【００５９】
第１画像処理部１２０は、自己相関フィルタ処理を実行する（Ｓ１０３）。具体的には、まず、第１画像処理部１２０は、入力画像の自己相関関数の値を抽出する。そして、抽出した入力画像の自己相関関数の値と、入力された差分画像の自己相関関数の値とに基づいてフィルタ係数を決定することで、フィルタを生成する。第１画像処理部１２０は、入力画像の自己相関関数の値を、差分画像の自己相関関数の値に調整するように、生成したフィルタを入力画像に適用する。第１画像処理部１２０は、フィルタ処理を施した画像を第２画像処理部１３０に出力する。【００６０】
第２画像処理部１３０は、第１画像処理部１２０でフィルタ処理された画像の高次統計特性の調整を行う（Ｓ１０４）。具体的には、まず、第２画像処理部１３０は、第１画像処理部１２０から入力される画像の高次統計特性（平均、分散、歪度及び尖度の少なくとも１つ）を抽出する。そして、抽出した高次統計特性と、入力される差分画像の高次統計特性とに基づいてフィルタ係数を決定することで、フィルタを生成する。第２画像処理部１３０は、フィルタ処理された画像の高次統計特性を、差分画像の高次統計特性に調整するように、生成したフィルタをフィルタ処理された画像に適用する。第２画像処理部１３０は、フィルタ処理を施した画像を加算器１４０に出力する。【００６１】
加算器１４０は、第２画像処理部１３０から入力された画像と、入力画像とを加算する（Ｓ１０５）。【００６２】
次に、統計的画像向上装置１００は、参照画像の統計特性（平均、分散、歪度及び尖度の少なくとも１つ）を受信する（Ｓ１０６）。受信した参照画像の統計特性は、第３画像処理部１５０に入力される。なお、参照画像とは、入力画像の欠落した高周波成分を含む画像である。【００６３】
第３画像処理部１５０は、加算器１４０で加算された画像の高次統計特性の調整を行う（Ｓ１０７）。具体的には、まず、加算器１４０で加算された画像の高次統計特性（平均、分散、歪度及び尖度の少なくとも１つ）を抽出する。そして、抽出した高次統計特性と、参照画像の高次統計特性とに基づいてフィルタ係数を決定することで、フィルタを生成する。第３画像処理部１５０は、加算器１４０で加算された画像の高次統計特性を、参照画像の高次統計特性に調整するように、生成したフィルタを加算された画像に適用する。第３画像処理部１５０は、フィルタ処理を施した画像を出力画像として出力する。【００６４】
統計的画像向上装置１００は、第３画像処理部１５０から出力される出力画像が、最適であるかを判断する（Ｓ１０８）。本実施の形態では、上述の処理（Ｓ１０３〜Ｓ１０７）を７回繰り返すことで最適な出力画像を得ることができるので、処理を行った回数が７回であるか否かを判定する。【００６５】
上述の処理（Ｓ１０３〜Ｓ１０７）の回数が７回である場合（Ｓ１０８でＹｅｓ）、統計的画像向上装置１００は、出力画像を出力する（Ｓ１０９）。【００６６】
上述の処理（Ｓ１０３〜Ｓ１０７）の回数が７回でない場合（Ｓ１０８でＮｏ）、出力画像は、減算器１１０に入力される。減算器１１０は、出力画像から入力画像を減算する（Ｓ１１０）。減算後の画像は、第１画像処理部１２０に入力され、統計的画像向上装置１００は、上述の処理（Ｓ１０３〜Ｓ１０７）を繰り返す。なお、例えば、以上の処理はマクロブロック単位で実行される。【００６７】
以上の処理により、本実施の形態の統計的画像向上装置１００は、入力画像の画質を向上させることができる。【００６８】
以上のように、本実施の形態の統計的画像向上装置及び方法によれば、入力画像の主観的な画質は、参照画像の統計特性、特に、入力画像に欠落している周波数成分を含む参照画像の統計特性を用いることで高めることができる。なお、入力画像は、参照画像を直接用いることによっては、高められない。むしろ、参照画像の選択された統計特性のみが考慮に入れられる。しかしながら、関連ある統計特性は、他のソースから得られ、推定され、又は概算されてもよい。例えば、入力画像が、１つの画像方向により多くの周波数情報を含む場合、この方向の統計は、その直交方向に高周波成分を構成するのに用いられる。【００６９】
また、本実施の形態の統計的画像向上装置及び方法によれば、従来の鮮鋭化アルゴリズムの問題を避けることができる。特に、参照画像の統計特性を使用することで、過度の鮮鋭化及びハローアーティファクトが生じない。さらに、本実施の形態の統計的画像向上装置及び方法は、鮮鋭度の向上化の目的には限定されない。統計の選択を考慮に入れるために、特に、テクスチャは非常に自然に現れる。【００７０】
（実施の形態２）
図３は、実施の形態２の画像／動画像符号化装置の構成を示すブロック図である。同図の符号化装置２００は、画像／動画像符号化器２１０と、画像／動画像復号化器２２０と、減算器２３０と、第１統計分析部２４０と、第２統計分析部２５０と、統計特性符号化器２６０と、マルチプレクサ２７０とを備える。【００７１】
画像／動画像符号化器２１０は、外部から取得した入力画像を圧縮し、符号化する。なお、本実施の形態の画像／動画像符号化器２１０は、入力画像に対してローパスフィルタ処理を施し、ローパスフィルタ処理された画像を圧縮し、符号化する。例えば、画像／動画像符号化器２１０は、ＪＰＥＧ、ＭＰＥＧ−１，２，４及びＨ．２６４／ＡＶＣなどを含む技術に示される（不可逆の）符号化方式に従って入力画像を符号化する。【００７２】
画像／動画像復号化器２２０は、符号化された入力画像を復号化する。さらに、得られた復号化画像を伸張する。【００７３】
減算器２３０は、入力画像と圧縮画像との差分画像を算出する。なお、ここでいう圧縮画像とは、画像／動画像復号化器２２０によって復号化及び伸張されることにより、復元された画像のことである。より具体的には、減算器２３０は、外部から取得した入力画像から、画像／動画像符号化器２１０が圧縮符号化し、画像／動画像復号化器２２０によって復号化された圧縮画像を減算する。つまり、原画像信号と内部で復号化された信号との差分、すなわち、符号化エラーを決定する。この差分信号は、符号化エラーの付随する統計特性を決定するために、第２統計分析部２５０に供給される。【００７４】
第１統計分析部２４０は、外部から取得した入力画像の統計特性を抽出する。【００７５】
第２統計分析部２５０は、差分画像、すなわち、符号化エラーの統計特性を抽出する。そして、統計特性は、統計特性符号化器２６０によって符号化され、符号化された出力画像を生成するために、マルチプレクサ２７０によって、画像／動画像符号化器２１０の出力と掛け合わされる。符号化エラーの統計特性に加えて、第２統計分析部２５０によって決定された原入力画像の符号化された統計特性を含んで出力されてもよい。【００７６】
第１統計分析部２４０及び第２統計分析部２５０によって抽出された統計特性は、図１と共に上述したものに対応し、画像の空間特性（相関）と強度ヒストグラムの特性（周辺分布の統計量）とを含んでもよい。特に、零値近辺の自己相関関数の値は、強度分布の平均、分散、歪度、尖度を含み、強度及び／又は色分布のモーメントと同様に、決定されてもよい。これを達成するために、乱数を推定する技術に示される方法が用いられてもよい。【００７７】
統計特性符号化器２６０は、第１統計分析部２４０及び第２統計分析部２５０によって抽出された統計特性を符号化する。符号化には、単純二進数形式から高効率エントロピー符号化方式までの、数値データを符号化する技術に示される方法を用いてもよい。【００７８】
マルチプレクサ２７０は、画像／動画像符号化器２１０で圧縮符号化された符号化画像と、統計特性符号化器２６０で符号化された符号化統計特性とを混合する。【００７９】
なお、統計特性符号化器２６０とマルチプレクサ２７０とは、ＪＰＥＧ及びＭＰＥＧなどの従来の符号化画像及び符号化動画像データを記憶するための容器形式を特にうまく利用し、従来の符号化画像データのメタデータとして統計特性を記憶するように設計されてもよい。この点において、符号化装置２００の出力は、付加的な統計情報を単に無視してもよい従来の符号化装置と互換性がある。一方で、実施の形態３で詳細に述べる復号化装置は、向上化された出力画像を提供するために、付加的な統計情報を用いてもよい。【００８０】
続いて、本実施の形態の画像／動画像符号化装置の動作について説明する。【００８１】
図４は、本実施の形態の画像／動画像符号化装置の動作を示すフローチャートである。【００８２】
まず、入力画像は、画像／動画像符号化器２１０、減算器２３０及び第１統計分析部２４０に入力される。画像／動画像符号化器２１０は、入力画像に対してローパスフィルタ処理を実行する（Ｓ２０１）。そして、ローパスフィルタ処理された画像を圧縮し、得られた圧縮画像を符号化する（Ｓ２０２）。【００８３】
次に、減算器２３０は、入力画像と圧縮画像との差分画像を算出する（Ｓ２０３）。具体的には、画像／動画像符号化器２１０で符号化された符号化圧縮画像は、画像／動画像復号化器２２０に入力される。画像／動画像復号化器２２０は、入力された符号化圧縮画像を復号化し、得られた復号化圧縮画像を減算器２３０に出力する。そして、減算器２３０が、入力画像から復号化圧縮画像を減算することで、差分画像を算出する。算出された差分画像は、第２統計分析部２５０に入力される。【００８４】
続いて、第１統計分析部２４０及び第２統計分析部２５０が、それぞれ、入力画像の統計特性と差分画像の統計特性とを抽出する（Ｓ２０４）。抽出した統計特性は、統計特性符号化器２６０に入力される。【００８５】
統計特性符号化器２６０は、第１統計分析部２４０及び第２統計分析部２５０で抽出された入力画像の統計特性と差分画像の統計特性とを符号化する（Ｓ２０５）。そして、マルチプレクサ２７０は、画像／動画像符号化器２１０で符号化された圧縮画像と、統計特性符号化器２６０で符号化された統計特性とを混合し、出力する（Ｓ２０６）。【００８６】
以上の処理により、本実施の形態の符号化装置２００は、入力画像を圧縮するときに欠落する周波数成分を示す統計特性を符号化し、符号化画像と混合して出力する。これにより、本来欠落していた周波数成分を復号化することができるので、画質を向上させることができる。【００８７】
（実施の形態３）
図５は、実施の形態３の画像／動画像復号化装置の構成を示すブロック図である。同図の復号化装置３００は、デマルチプレクサ３７０と、統計特性復号化器３６０と、画像／動画像復号化器２２０と、統計的画像向上装置１００とを備える。なお、統計的画像向上装置１００は、実施の形態１で説明した統計的画像向上装置１００であり、画像／動画像復号化器２２０は、実施の形態２で説明した画像／動画像復号化器２２０であるため、以下では説明を省略する。【００８８】
デマルチプレクサ３７０は、符号化された画像／動画像を表すデータを、符号化された統計特性を示すデータと、符号化画像そのものを示すデータとに分離する。そして、両者は、適切な復号化器、すなわち、統計特性復号化器３６０と従来の画像／動画像復号化器２２０に入力される。【００８９】
統計特性復号化器３６０は、デマルチプレクサ３７０で分離された符号化統計特性を復号化する。統計特性復号化器３６０は、図３で示す統計特性符号化器２６０で用いられた符号化方式と対応して、統計データを復号化する。【００９０】
画像／動画像復号化器２２０は、符号化データを発生させるのに用いられた方式と一致するものであれば、いかなる符号化方式を用いてもよい。【００９１】
以上のように、復号化された画像及び復号化された統計特性は、統計的画像向上装置１００に供給される。図１で説明したように、統計的画像向上装置１００は、画像成分、特に、不可逆圧縮により復号化画像では失われた高周波成分（符号化エラー）を再構成するために統計データを用いる。【００９２】
続いて、本実施の形態の画像／動画像復号化装置の動作について説明する。【００９３】
図６は、本実施の形態の画像／動画像復号化装置の動作を示すフローチャートである。【００９４】
まず、符号化画像データが入力され、デマルチプレクサ３７０は、符号化画像そのものと、符号化統計特性とに分離する（Ｓ３０１）。符号化画像そのものは、画像／動画像復号化器２２０に入力され、符号化統計特性は、統計特性復号化器３６０に入力される。【００９５】
画像／動画像復号化器２２０は、入力される符号化画像を復号化する（Ｓ３０２）。復号化された画像は、統計的画像向上装置１００に、入力画像として入力される。【００９６】
統計特性復号化器３６０は、入力される符号化統計特性を復号化する（Ｓ３０３）。復号化された統計特性は、統計的画像向上装置１００に入力される。このとき、差分画像の統計特性については、図１の第１画像処理部１２０及び第２画像処理部１３０に入力される。参照画像の統計特性については、図１の第３画像処理部１５０に入力される。【００９７】
統計的画像向上装置１００は、図２のフローチャートに示す処理を実行する（Ｓ３０４）。【００９８】
以上の処理により、本実施の形態の復号化装置３００は、符号化画像と符号化統計特性とを分離して、個別に復号化することができる。これにより、個別に得られた入力画像と統計特性とを用いて、図１に示す統計的画像向上装置１００は、容易に画像の画質を向上化することができる。【００９９】
このように、復号化画像の主観的画質は、事実上、符号化されるデータの量を増加することなく、改良される。特に、動画像符号化の関連では、符号化効率において大切なゲインが得られてもよい。なぜなら、符号化エラーの統計特性は、少なくとも動画像シーケンス全体にとっては同じである可能性があるためである。それ故に、統計特性は、複数の動画像のために一度だけは、決定され、符号化され、送信されなければならない。さらに、符号化エラーの統計特性は、カメラの光学的及び電気的特性のためであるかもしれず、全体的に、対象画像内容とは独立している。このことは、信号のオーバーヘッドを減らすのに、さらに用いられてもよい。【０１００】
（実施の形態４）
本実施の形態の画像処理装置は、実施の形態１の統計的画像向上装置と、少なくとも２つのフレームメモリを備える。【０１０１】
図７は、本実施の形態の画像処理装置の構成を示すブロック図である。同図に示す画像処理装置４００は、統計的画像向上装置１００と、バス４１０と、メモリ４２０とを備える。【０１０２】
統計的画像向上装置１００は、図１に示す統計的画像向上装置１００と同じ構成であり、ここでは説明を省略する。なお、実施の形態４の統計的画像向上装置１００は、バス４１０を介して、メモリ４２０とデータのやり取りを行うことができる。【０１０３】
メモリ４２０は、第１フレームメモリ４３０と、第２フレームメモリ４４０との少なくとも２つのメモリを備える。【０１０４】
第１フレームメモリ４３０は、統計的画像向上装置１００が受信した入力画像を保持する。【０１０５】
第２フレームメモリ４４０は、統計的画像向上装置１００における処理中の画像を保持する。【０１０６】
統計的画像向上装置１００は、画像の向上化処理を終了すると、第２フレームメモリ４４０に保持された画像を読み出し、外部に出力する。【０１０７】
以上のように、本実施の形態の画像処理装置は、入力画像と処理中の画像とを異なるフレームメモリに格納する。これにより、統計的画像向上装置１００における繰り返し処理を行う際には、入力画像を一方のフレームメモリから読み出し、処理中の画像を他方のフレームメモリから読み出すことができるので、簡易な構成で各処理を実行することができる。【０１０８】
以上、本発明の統計的画像向上装置、画像符号化装置及び画像復号化装置について、実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。【０１０９】
例えば、主観的な画質を改良し、送信又は記憶されるデータ量を一定に維持する代わりに、本発明は、画質を一定に保つことによって圧縮ゲインを改良するのに用いられてもよい。例えば、より正確な量子化は、本発明の統計的画像向上方法を用いることにより、補償されてもよい。【０１１０】
なお、本発明では、入力画像は、図３の画像／動画像符号化器２１０に供給される前に、ローパスフィルタ処理が行われる。図８は、実施の形態２の画像／動画像符号化装置の変形例の構成を示す図である。同図の符号化装置２０１は、図３の符号化装置２００に、さらに、フィルタ処理部２８０が加えられた点が異なる。以下では、異なる点を中心に説明し、同じ点の説明は省略する。【０１１１】
フィルタ処理部２８０は、入力画像に対して、ローパスフィルタ処理を行う。そして、ローパスフィルタ処理された入力画像を、画像／動画像符号化器２１０に供給する。画像／動画像符号化器２１０は、ローパスフィルタ処理された入力画像を圧縮し、得られた圧縮画像を符号化する。【０１１２】
これにより、高周波成分の減衰のために、ローパスフィルタ処理を施された画像は、より効率良く符号化されることができる。そして、復号化器側で、統計特性は、欠落した周波数成分を再構成するために用いられてもよい。ただし、この入力画像に対するローパスフィルタ処理は必ずしも必要ではない。【０１１３】
なお、本発明は、統計的画像向上装置、画像符号化装置及び画像復号化装置として実現できるだけではなく、上述の装置を構成する処理手段をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。【０１１４】
また、上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。【０１１５】
以上のように、要約すると、本発明は、参照画像の統計特性を利用することによって、画像を向上化することに関連する。特に、原画像とローパスフィルタ処理された画像との差分に対応する参照画像の高次統計特性から決定される統計制約に対応する、欠落した周波数成分を再構成することによって、画像は鮮鋭化されてもよい。この形式の統計画像向上は、符号化画像と共に符号化エラーの統計特性を送信することによって、高圧縮ゲインで優れた画質を得るために、画像及び動画像符号化に適用されてもよい。
【産業上の利用可能性】
【０１１６】
本発明は、画像の画質を向上させる装置に適用でき、例えば、画像／動画像符号化装置及び画像／動画像復号化装置などに適用することができる。
【図１】
2008152797.tif 000003
【図２】
2008152797.tif 000004
【図３】
2008152797.tif 000005
【図４】
2008152797.tif 000006
【図５】
2008152797.tif 000007
【図６】
2008152797.tif 000008
【図７】
2008152797.tif 000009
【図８】
2008152797.tif 000010
【手続補正書】
【提出日】平成21年11月26日(2009.11.26)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、主観的な画質を改良する方法に関し、特に、主観的に改良された画質を提供する画像及び動画像データを符号化する方法に関する。
【背景技術】
【０００２】
従来の信号表現方法は、ＭＳＥ（平均二乗誤差）に基づく客観的な画質量が最小化されるというように、信号を表現することを目的とする。例えば、ＰＣＭ（パルス符号変調）、ＤＰＣＭ（差分パルス符号変調）、又は変換に基づいた方法である。
【０００３】
これらの画質量は、人間の観察者が主観的に画質を比較するときの結果とあまり一致しない。画質を比較するときに、人間の視覚システム（以下、ＨＶＳ（Ｈｕｍａｎ  Ｖｉｓｕａｌ  Ｓｙｓｔｅｍ）とする）が数種類の画像の属性に対して感度が高いことが知られている。より具体的には、前注意的に見るだけのとき、ＨＶＳは、同じ高次統計量を有するテクスチャを区別することができない。このために、いくつかのテクスチャ合成方法は、別に与えられたテクスチャの高次統計値とマッチングするテクスチャを合成することに基づいている（参照：非特許文献１）。テクスチャ合成方法は、主に、あるシーンで抜けを埋める、又は、物体を取り除くために修整する画像に用いられる。しかし、動画像符号化では、直接的に符号化するよりむしろ、複数のテクスチャを合成するアプローチもある（参照：非特許文献２及び非特許文献３）。
【０００４】
また、ＨＶＳのための主観的な画質を改良する従来の他の方法として、画像を鮮鋭化することがある。共通の技術は、画像をより鮮鋭化するために、アンシャープマスクの使用、又は、局所的なコントラスト向上の使用である。
【０００５】
以上のようにして、テクスチャを合成する、又は、画像を鮮鋭化する技術を用いて、ＨＶＳのための主観的な画質を改良することができる。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】J. Portilla and E. P. Simoncelli, A parametric texture model based on joint statistics of complex wavelet coefficients, Int. J. Comput. Vis., vol. 40, no. 1, pp. 49-71, 2000
【非特許文献２】A. Dumitras and B. G. Haskell, An encoder-decoder texture replacement method with application to content-based movie coding, IEEE Trans. Circuits Syst. Video Technol., 14: 825-840, 2004
【非特許文献３】P. Ndjiki-Nya, et al., Improved H.264 coding using texture analysis and synthesis, Proc Icip 2003, 3: 849-852, 2003
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記従来技術によれば、これらの技術の結果として、より強い印象を与えるが、画像の不自然な出現、又は、ハローアーティファクト（符号化歪み）にもつながりうるという課題がある。
【０００８】
そこで、本発明の目的は、主観的な画質を改良する方法を提供することであり、特に、主観的に改良された画質を生み出す画像及び動画像を符号化する方法、及び、対応する符号化装置、復号化装置及び画像向上装置を提供することである。
【課題を解決するための手段】
【０００９】
上記従来の課題を解決するために、本発明の格別のアプローチは、欠落した周波数成分を統計特性に基づいて再構成することによって、主観的な画質を向上することである。
【００１０】
本発明の画像符号化方法は、入力画像を圧縮するステップと、圧縮された画像を符号化するステップと、入力画像と圧縮された画像との差分画像を算出するステップと、算出された差分画像の統計特性を抽出するステップと、算出された差分画像の抽出された統計特性を符号化するステップとを含む。
【００１１】
これにより、本来失われるはずの成分に関する統計特性を抽出し、符号化することができるので、復号化装置側で、失われた成分を復元することができる。よって、単に符号化画像を復号化する場合に比べて、優れた画質の画像を得ることができる。
【００１２】
また、本発明の画像復号化方法は、圧縮された画像を復号化するステップと、復号化された画像を伸張するステップと、差分画像の統計特性を復号化するステップと、差分画像の復号化された統計特性に基づいて第１フィルタを生成するステップと、フィルタ処理された画像を生成するために、第１フィルタを伸張された画像に適用するステップと、出力画像を生成するために、フィルタ処理された画像と伸張された画像とを加えるステップとを含む。
【００１３】
これにより、符号化時に失われた成分に関する統計特性を復号化時に復元することができるので、単に符号化画像を復号化する場合に比べて、優れた画質の画像を得ることができる。
【００１４】
また、本発明の画像向上方法は、入力画像を受信するステップと、差分画像の統計特性を受信するステップと、差分画像の受信された統計特性に基づいて第１フィルタを生成するステップと、フィルタ処理された画像を生成するために、入力画像に第１フィルタを適用するステップと、出力画像を生成するために、フィルタ処理された画像と入力画像とを加えるステップとを含む。
【００１５】
これにより、入力画像に本来含まれていたはずの成分に関する統計特性を復元することができるので、優れた画質の画像を得ることができる。
【００１６】
また、本発明の画像符号化装置は、入力画像を圧縮する画像圧縮器と、圧縮された画像を符号化する第１符号化器と、入力画像と圧縮画像との差分画像を算出する減算器と、算出された差分画像の統計特性を抽出するための第１統計分析部と、算出された差分画像の抽出された統計特性を符号化する第２符号化器とを備える。
【００１７】
また、本発明の画像復号化装置は、圧縮された画像を復号化する第１復号化器と、復号化された画像を伸張する画像伸張器と、差分画像の統計特性を復号化する第２復号化器と、差分画像の復号化された統計特性に基づいて第１フィルタを生成し、かつ、フィルタ処理された画像を生成するために第１フィルタを伸張された画像に適用するための画像処理部と、出力画像を生成するために伸張された画像にフィルタ処理された画像を加える加算器とを備える。
【００１８】
また、本発明の画像向上装置は、入力画像を受信する第１入力手段と、差分画像の統計特性を受信する第２入力手段と、差分画像の受信された統計特性に基づいて第１フィルタを生成し、かつ、フィルタ処理された画像を生成するために入力画像に第１フィルタを適用するための第１画像処理部と、出力画像を生成するためにフィルタ処理された画像に入力画像を加える加算器とを備える。
【００１９】
また、好ましくは、用いられる差分画像の統計特性は、差分画像の自己相関関数の値と、差分画像の画素値の平均、分散、歪度、尖度の少なくとも１つとを含む。
【００２０】
これにより、これらの統計特性は、効果的なアルゴリズムによって決定され、向上化された画像の自然に見えるテクスチャをもたらすことができる。
【００２１】
また、好ましくは、第１フィルタは、フィルタ処理された画像の統計特性を差分画像の統計特性に調整するように適応される。好ましくは、第１フィルタは、差分画像の統計特性、すなわち、統計特性の目標値と、伸張された（入力）画像自体から抽出された統計特性、つまり、現実の値とに基づいて生成される。
【００２２】
これにより、欠落した周波数成分を、統計特性のみから再構成することができる。
【００２３】
また、好ましくは、当該方法は、さらに、入力画像（参照画像）の統計特性を用い、これらの統計特性に基づいて第２フィルタを生成し、第２フィルタを出力画像に適用する。好ましくは、第２フィルタは、出力画像の統計特性を、参照画像の復号化された（受信された）統計特性に調整するために適応される。これらの特性は、好ましくは、各画像の画素値の平均、分散、歪度、尖度の少なくとも１つを含む。
【００２４】
これにより、結果の画質は、さらに改良されることができる。
【００２５】
また、好ましくは、当該方法は、さらに、出力画像と復号化（入力）画像との差分を算出し、フィルタ処理ステップと加算ステップとを算出された差分に対して繰り返し適用する。
【００２６】
これにより、欠落した周波数成分の統計特性は、より高精度で参照画像のそれらに一致させることができる。
【００２７】
また、好ましくは、変換ベースの符号化の枠組みは、入力／復号化画像を圧縮及び伸張するために用いられる。
【００２８】
これにより、最先端の変換ベースの符号化の枠組みを用いることで、高効率なアルゴリズムで優れた符号化効率を達成することができる。
【００２９】
また、入力画像を符号化する際に、入力画像は、好ましくは、圧縮されるのに先行してローパスフィルタにさらされる。
【００３０】
これにより、高周波成分の減衰のために、ローパスフィルタ処理された画像は、より効果的に圧縮されることができる。しかしながら、減衰した成分は、復号化器側での統計特性から再構成されることができる。この点で、効率よく符号化することは、画質に影響を与えることなく、改良されることができる。
【発明の効果】
【００３１】
本発明によれば、過度の鮮鋭化及びハローアーティファクトなどの不自然な影響を画像に対して与えることなく、画像の画質を向上させることができる。
【図面の簡単な説明】
【００３２】
本発明の上記の及び他の目的及び特徴は、付随の図面と合わせて与えられる以下の説明及び好ましい実施の形態からより明らかになるだろう。
【図１】図１は、実施の形態１の統計的画像向上装置の構成を示すブロック図である。
【図２】図２は、実施の形態１の統計的画像向上装置の動作を示すフローチャートである。
【図３】図３は、実施の形態２の画像／動画像符号化装置の構成を示すブロック図である。
【図４】図４は、実施の形態２の画像／動画像符号化装置の動作を示すフローチャートである。
【図５】図５は、実施の形態３の画像／動画像復号化装置の構成を示すブロック図である。
【図６】図６は、実施の形態３の画像／動画像復号化装置の動作を示すフローチャートである。
【図７】図７は、実施の形態４の画像処理装置の構成を示すブロック図である。
【図８】図８は、実施の形態２の画像／動画像符号化装置の変形例の構成を示すブロック図である。
【発明を実施するための形態】
【００３３】
（実施の形態１）
実施の形態１の統計的画像向上装置及び方法は、参照画像の統計データに基づいて画像を微調整する。例えば、原画像Ｉとローパス画像Ｉlとが与えられた場合、本実施の形態の統計的画像向上装置及び方法は、いくつかの画像統計量を調整することで欠落した周波数成分を再構成する。これにより、ローパス画像Ｉlを向上化することができる。
【００３４】
本実施の形態の統計的画像向上方法において、第１のステップでは、原画像Ｉと差分画像Ｉd（＝Ｉ−Ｉl）との高次統計量と自己相関とが解析される。第２のステップでは、解析の結果が、ローパス画像Ｉl内の欠落した周波数成分を再構成するために用いられる。
【００３５】
図１は、実施の形態１の統計的画像向上装置１００の構成を示すブロック図である。同図の統計的画像向上装置１００は、減算器１１０と、第１画像処理部１２０と、第２画像処理部１３０と、加算器１４０と、第３画像処理部１５０とを備える。
【００３６】
減算器１１０は、入力画像と、第３画像処理部１５０から出力される出力画像との差分を算出する。なお、第３画像処理部１５０からの出力画像がまだ得られていない場合は、減算器１１０における処理は省略され、入力画像は、直接、第１画像処理部１２０に入力される。
【００３７】
第１画像処理部１２０は、減算器１１０からの出力を受信する。また、上述したように、第３画像処理部１５０からの出力画像がまだ得られていない場合は、入力画像Ｉlを受信する。なお、入力画像Ｉlは、原画像Ｉに対してローパスフィルタ処理された画像に対応するローパス画像である。例えば、入力画像Ｉlは、外部の画像／動画像復号化器で復号化された画像である。
【００３８】
さらに、第１画像処理部１２０は、第１参照画像Ｉdの統計特性を受信する。そして、第１画像処理部１２０は、入力画像の空間的な統計特性と、第１参照画像Ｉdの空間的な統計特性とを照合するためのフィルタを適用する。第１参照画像Ｉdは、例えば、原画像Ｉとローパス画像Ｉlとの差分、すなわち、Ｉd＝Ｉ−Ｉlに対応する。この場合、フィルタは基本的に、綿密に設計されたハイパスフィルタに対応する。
【００３９】
より具体的には、第１画像処理部１２０は、第１参照画像Ｉdの統計特性として、第１参照画像Ｉdの自己相関関数の値を受信する。また、第１画像処理部１２０は、減算器１１０からの出力画像又は入力画像Ｉlの自己相関関数の値を抽出する。第１画像処理部１２０は、受信した自己相関関数の値及び抽出した自己相関関数の値に基づいてフィルタを生成し、減算器１１０から入力される画像、又は、入力画像Ｉlに対して生成したフィルタを適用する。
【００４０】
第１画像処理部１２０は、以上のようにフィルタ処理された画像を、第２画像処理部１３０に出力する。
【００４１】
第１画像処理部１２０は、好ましくは、画像の自己相関関数（の一部）を、第１参照画像のために算出された自己相関関数に調整するために、自己相関フィルタ処理を実行する。この目的を達成するために、第１画像処理部１２０は、入力画像の自己相関関数の値と、空間的な統計特性の一部を形成する、第１参照画像の自己相関関数の値とに基づいて、フィルタ係数を決定する。そのようなフィルタを決定するための技術ではどのような方法が用いられてもよい。特に、非特許文献１に示される方法でもよい。
【００４２】
しかしながら、本実施の形態の統計的画像向上装置では、自己相関フィルタ処理に限定されず、画像の他の空間的な統計特性を、入力画像と参照画像との照合に用いてもよい。例えば、フーリエ変換係数又はウェーブレット変換係数、画像の異なるサブバンド間での相関などの統計特性を用いてもよい。さらに、ウィーナーフィルタ設計のような、最適なフィルタを設計する他の方法が用いられてもよい。
【００４３】
なお、画像を鮮鋭化する場合には、零値近辺の自己相関関数の値は、特に関連性がある。それゆえに、第１画像処理部１２０は、Ｎ×Ｎタップフィルタのフィルタ係数を、入力画像と第１参照画像との自己相関関数のＮ×Ｎの零値近辺の値を基礎として、決定する。このとき、Ｎ＝７が最適であることが分かっている。ただし、他のいかなる数のタップが同様に用いられてもよい。このように決定されたフィルタ係数を持つフィルタは、第１画像処理部１２０の出力を発生するために入力画像に適用される。
【００４４】
第２画像処理部１３０は、第１参照画像Ｉdの統計特性を受信する。具体的には、第１参照画像Ｉdの高次統計特性を受信する。第２画像処理部１３０は、第１画像処理部１２０から入力される画像の高次統計特性と第１参照画像の高次統計特性とを照合する。第２画像処理部１３０は、それぞれの入力信号の高次統計特性を調整するために適応される。高次統計特性は、画素値の平均、分散、歪度及び尖度といった周辺統計記述子を含む。例えば、平均及び分散は、それぞれ、画像の平均の明るさとコントラストのための尺度として、考えられてもよい。
【００４５】
最適な結果は、周辺分布を４次モーメントまで調整することで、すなわち、平均、分散、歪度及び尖度の全てを調整することによって得られることができる。しかしながら、本実施の形態の統計的画像向上装置は、この点に限定されない。他の統計特性が同様に用いられてもよい。例えば、上述の特性の一部のみを含み、周辺分布の高次モーメント、画素値の空間的相関、画像のサブバンド間の相関といった他の統計特性などを用いてもよい。
【００４６】
第２画像処理部１３０は、所望の周辺統計制約が合うように、各画素値を対象画素値にマッピングする変換を決定する。例えば、平均及び分散は、入力信号の平均を各画素値から減算し、対象の標準偏差（例えば、分散の平方根）と入力信号の標準偏差との比によって結果をスケーリングし、対象の平均値を加えることで、照合されることができる。歪度及び尖度は、同様に、画素値に対して６次多項式を適用することで調整されることができる。このような変換のための係数を決定する技術で知られるいかなる方法が用いられてもよい。例えば、勾配投影アルゴリズムや非特許文献１によって開示される方法である。なお、歪度は、分布の非対称性を示す値である。尖度は、分布が平均値の付近に密集している度合いを示す値である。平均、分散、歪度及び尖度の詳細な算出方法は、例えば、非特許文献１に示される。
【００４７】
第２画像処理部１３０は、受信した第１参照画像Ｉdの高次統計特性（画素値の平均、分散、歪度及び尖度の少なくとも１つ）に対応する、第１画像処理部１２０から入力される画像の高次統計特性の少なくとも１つを抽出する。そして、第２画像処理部１３０は、抽出した高次統計特性を第１参照画像Ｉdの高次統計特性に合うように調整する。
【００４８】
第２画像処理部１３０は、以上のように高次統計特性を調整した画像を、加算器１４０に出力する。
【００４９】
加算器１４０は、第２画像処理部１３０からの出力と、入力画像とを加算し、第３画像処理部１５０に出力する。
【００５０】
第３画像処理部１５０は、第２参照画像Ｉの統計特性を受信する。具体的には、第２参照画像Ｉの高次統計特性を受信する。なお、第２参照画像Ｉは、例えば、原画像である。第３画像処理部１５０は、それぞれの入力信号の高次統計特性を調整するために適応される。
【００５１】
第３画像処理部１５０は、第２画像処理部１３０と同様の処理を実行する。異なる点は、第３画像処理部１５０の入力が、加算器１４０からの出力と第２参照画像Ｉとである点である。
【００５２】
第１画像処理部１２０、第２画像処理部１３０及び第３画像処理部１５０において統計特性を調整することは、互いに独立して行われることができない。このため、結果をさらに改良するために繰り返しが実行されてもよい。この目的を達成するために、第３画像処理部１５０の出力は、入力画像を減算し、算出された差分画像に上述の処理ステップを適用するために、減算器１１０に供給される。
【００５３】
なお、およそ７回の繰り返しを行うことが、最適であることが判明している。上述したように、最初の（すなわち、０番目の）繰り返しでは、第３画像処理部１５０の出力はまだ利用可能でないため、例えば、スイッチ（図示せず）によって減算器１１０は省略されてもよく、直接的に入力画像を第１画像処理部１２０に供給する。なお、代わりに、例えば、第３画像処理部１５０の利用可能でない出力に代用するために、従来の鮮鋭化アルゴリズムから任意の入力画像（図示せず）が提供されてもよい。
【００５４】
第１画像処理部１２０、第２画像処理部１３０及び第３画像処理部１５０のそれぞれは、複雑な係数が対象画像次第であるという意味では、非線形の画像変換を実行する。それゆえに、画像処理部によって適用されるフィルタと変換とは、各繰り返しの中で更新される。画像の統計特性は、所望の値に集中するので、フィルタ／変換処理の影響を少なくするために、繰り返しが行われる。
【００５５】
以上のように、本実施の形態の統計的画像向上装置では、２段階で入力画像の画質を向上化する。すなわち、第１画像処理部１２０及び第２画像処理部１３０が差分画像の画質を向上化し、第３画像処理部１５０が入力画像を加算後の全体画像の画質を向上化する。これにより、非常に優れた画質を有する画像を得ることができる。
【００５６】
続いて、本実施の形態の統計的画像向上装置の動作について説明する。
【００５７】
図２は、本実施の形態の統計的画像向上装置の動作を示すフローチャートである。
【００５８】
統計的画像向上装置１００は、入力画像を受信する（Ｓ１０１）。受信された入力画像は、第１画像処理部１２０に入力される。次に、統計的画像向上装置１００は、差分画像の統計特性を受信する（Ｓ１０２）。受信した差分画像の統計特性のうち、自己相関関数の値は、第１画像処理部１２０に入力される。受信した差分画像の統計特性のうち、高次統計特性（平均、分散、歪度及び尖度の少なくとも１つ）は、第２画像処理部１３０に入力される。なお、差分画像とは、例えば、原画像と原画像に対してローパスフィルタ処理を施したローパス画像との差分などである。原画像に対してハイパスフィルタ処理を施した画像でもよい。
【００５９】
第１画像処理部１２０は、自己相関フィルタ処理を実行する（Ｓ１０３）。具体的には、まず、第１画像処理部１２０は、入力画像の自己相関関数の値を抽出する。そして、抽出した入力画像の自己相関関数の値と、入力された差分画像の自己相関関数の値とに基づいてフィルタ係数を決定することで、フィルタを生成する。第１画像処理部１２０は、入力画像の自己相関関数の値を、差分画像の自己相関関数の値に調整するように、生成したフィルタを入力画像に適用する。第１画像処理部１２０は、フィルタ処理を施した画像を第２画像処理部１３０に出力する。
【００６０】
第２画像処理部１３０は、第１画像処理部１２０でフィルタ処理された画像の高次統計特性の調整を行う（Ｓ１０４）。具体的には、まず、第２画像処理部１３０は、第１画像処理部１２０から入力される画像の高次統計特性（平均、分散、歪度及び尖度の少なくとも１つ）を抽出する。そして、抽出した高次統計特性と、入力される差分画像の高次統計特性とに基づいてフィルタ係数を決定することで、フィルタを生成する。第２画像処理部１３０は、フィルタ処理された画像の高次統計特性を、差分画像の高次統計特性に調整するように、生成したフィルタをフィルタ処理された画像に適用する。第２画像処理部１３０は、フィルタ処理を施した画像を加算器１４０に出力する。
【００６１】
加算器１４０は、第２画像処理部１３０から入力された画像と、入力画像とを加算する（Ｓ１０５）。
【００６２】
次に、統計的画像向上装置１００は、参照画像の統計特性（平均、分散、歪度及び尖度の少なくとも１つ）を受信する（Ｓ１０６）。受信した参照画像の統計特性は、第３画像処理部１５０に入力される。なお、参照画像とは、入力画像の欠落した高周波成分を含む画像である。
【００６３】
第３画像処理部１５０は、加算器１４０で加算された画像の高次統計特性の調整を行う（Ｓ１０７）。具体的には、まず、加算器１４０で加算された画像の高次統計特性（平均、分散、歪度及び尖度の少なくとも１つ）を抽出する。そして、抽出した高次統計特性と、参照画像の高次統計特性とに基づいてフィルタ係数を決定することで、フィルタを生成する。第３画像処理部１５０は、加算器１４０で加算された画像の高次統計特性を、参照画像の高次統計特性に調整するように、生成したフィルタを加算された画像に適用する。第３画像処理部１５０は、フィルタ処理を施した画像を出力画像として出力する。
【００６４】
統計的画像向上装置１００は、第３画像処理部１５０から出力される出力画像が、最適であるかを判断する（Ｓ１０８）。本実施の形態では、上述の処理（Ｓ１０３〜Ｓ１０７）を７回繰り返すことで最適な出力画像を得ることができるので、処理を行った回数が７回であるか否かを判定する。
【００６５】
上述の処理（Ｓ１０３〜Ｓ１０７）の回数が７回である場合（Ｓ１０８でＹｅｓ）、統計的画像向上装置１００は、出力画像を出力する（Ｓ１０９）。
【００６６】
上述の処理（Ｓ１０３〜Ｓ１０７）の回数が７回でない場合（Ｓ１０８でＮｏ）、出力画像は、減算器１１０に入力される。減算器１１０は、出力画像から入力画像を減算する（Ｓ１１０）。減算後の画像は、第１画像処理部１２０に入力され、統計的画像向上装置１００は、上述の処理（Ｓ１０３〜Ｓ１０７）を繰り返す。なお、例えば、以上の処理はマクロブロック単位で実行される。
【００６７】
以上の処理により、本実施の形態の統計的画像向上装置１００は、入力画像の画質を向上させることができる。
【００６８】
以上のように、本実施の形態の統計的画像向上装置及び方法によれば、入力画像の主観的な画質は、参照画像の統計特性、特に、入力画像に欠落している周波数成分を含む参照画像の統計特性を用いることで高めることができる。なお、入力画像は、参照画像を直接用いることによっては、高められない。むしろ、参照画像の選択された統計特性のみが考慮に入れられる。しかしながら、関連ある統計特性は、他のソースから得られ、推定され、又は概算されてもよい。例えば、入力画像が、１つの画像方向により多くの周波数情報を含む場合、この方向の統計は、その直交方向に高周波成分を構成するのに用いられる。
【００６９】
また、本実施の形態の統計的画像向上装置及び方法によれば、従来の鮮鋭化アルゴリズムの問題を避けることができる。特に、参照画像の統計特性を使用することで、過度の鮮鋭化及びハローアーティファクトが生じない。さらに、本実施の形態の統計的画像向上装置及び方法は、鮮鋭度の向上化の目的には限定されない。統計の選択を考慮に入れるために、特に、テクスチャは非常に自然に現れる。
【００７０】
（実施の形態２）
図３は、実施の形態２の画像／動画像符号化装置の構成を示すブロック図である。同図の符号化装置２００は、画像／動画像符号化器２１０と、画像／動画像復号化器２２０と、減算器２３０と、第１統計分析部２４０と、第２統計分析部２５０と、統計特性符号化器２６０と、マルチプレクサ２７０とを備える。
【００７１】
画像／動画像符号化器２１０は、外部から取得した入力画像を圧縮し、符号化する。なお、本実施の形態の画像／動画像符号化器２１０は、入力画像に対してローパスフィルタ処理を施し、ローパスフィルタ処理された画像を圧縮し、符号化する。例えば、画像／動画像符号化器２１０は、ＪＰＥＧ、ＭＰＥＧ−１，２，４及びＨ．２６４／ＡＶＣなどを含む技術に示される（不可逆の）符号化方式に従って入力画像を符号化する。
【００７２】
画像／動画像復号化器２２０は、符号化された入力画像を復号化する。さらに、得られた復号化画像を伸張する。
【００７３】
減算器２３０は、入力画像と圧縮画像との差分画像を算出する。なお、ここでいう圧縮画像とは、画像／動画像復号化器２２０によって復号化及び伸張されることにより、復元された画像のことである。より具体的には、減算器２３０は、外部から取得した入力画像から、画像／動画像符号化器２１０が圧縮符号化し、画像／動画像復号化器２２０によって復号化された圧縮画像を減算する。つまり、原画像信号と内部で復号化された信号との差分、すなわち、符号化エラーを決定する。この差分信号は、符号化エラーの付随する統計特性を決定するために、第２統計分析部２５０に供給される。
【００７４】
第１統計分析部２４０は、外部から取得した入力画像の統計特性を抽出する。
【００７５】
第２統計分析部２５０は、差分画像、すなわち、符号化エラーの統計特性を抽出する。そして、統計特性は、統計特性符号化器２６０によって符号化され、符号化された出力画像を生成するために、マルチプレクサ２７０によって、画像／動画像符号化器２１０の出力と掛け合わされる。符号化エラーの統計特性に加えて、第２統計分析部２５０によって決定された原入力画像の符号化された統計特性を含んで出力されてもよい。
【００７６】
第１統計分析部２４０及び第２統計分析部２５０によって抽出された統計特性は、図１と共に上述したものに対応し、画像の空間特性（相関）と強度ヒストグラムの特性（周辺分布の統計量）とを含んでもよい。特に、零値近辺の自己相関関数の値は、強度分布の平均、分散、歪度、尖度を含み、強度及び／又は色分布のモーメントと同様に、決定されてもよい。これを達成するために、乱数を推定する技術に示される方法が用いられてもよい。
【００７７】
統計特性符号化器２６０は、第１統計分析部２４０及び第２統計分析部２５０によって抽出された統計特性を符号化する。符号化には、単純二進数形式から高効率エントロピー符号化方式までの、数値データを符号化する技術に示される方法を用いてもよい。
【００７８】
マルチプレクサ２７０は、画像／動画像符号化器２１０で圧縮符号化された符号化画像と、統計特性符号化器２６０で符号化された符号化統計特性とを混合する。
【００７９】
なお、統計特性符号化器２６０とマルチプレクサ２７０とは、ＪＰＥＧ及びＭＰＥＧなどの従来の符号化画像及び符号化動画像データを記憶するための容器形式を特にうまく利用し、従来の符号化画像データのメタデータとして統計特性を記憶するように設計されてもよい。この点において、符号化装置２００の出力は、付加的な統計情報を単に無視してもよい従来の符号化装置と互換性がある。一方で、実施の形態３で詳細に述べる復号化装置は、向上化された出力画像を提供するために、付加的な統計情報を用いてもよい。
【００８０】
続いて、本実施の形態の画像／動画像符号化装置の動作について説明する。
【００８１】
図４は、本実施の形態の画像／動画像符号化装置の動作を示すフローチャートである。
【００８２】
まず、入力画像は、画像／動画像符号化器２１０、減算器２３０及び第１統計分析部２４０に入力される。画像／動画像符号化器２１０は、入力画像に対してローパスフィルタ処理を実行する（Ｓ２０１）。そして、ローパスフィルタ処理された画像を圧縮し、得られた圧縮画像を符号化する（Ｓ２０２）。
【００８３】
次に、減算器２３０は、入力画像と圧縮画像との差分画像を算出する（Ｓ２０３）。具体的には、画像／動画像符号化器２１０で符号化された符号化圧縮画像は、画像／動画像復号化器２２０に入力される。画像／動画像復号化器２２０は、入力された符号化圧縮画像を復号化し、得られた復号化圧縮画像を減算器２３０に出力する。そして、減算器２３０が、入力画像から復号化圧縮画像を減算することで、差分画像を算出する。算出された差分画像は、第２統計分析部２５０に入力される。
【００８４】
続いて、第１統計分析部２４０及び第２統計分析部２５０が、それぞれ、入力画像の統計特性と差分画像の統計特性とを抽出する（Ｓ２０４）。抽出した統計特性は、統計特性符号化器２６０に入力される。
【００８５】
統計特性符号化器２６０は、第１統計分析部２４０及び第２統計分析部２５０で抽出された入力画像の統計特性と差分画像の統計特性とを符号化する（Ｓ２０５）。そして、マルチプレクサ２７０は、画像／動画像符号化器２１０で符号化された圧縮画像と、統計特性符号化器２６０で符号化された統計特性とを混合し、出力する（Ｓ２０６）。
【００８６】
以上の処理により、本実施の形態の符号化装置２００は、入力画像を圧縮するときに欠落する周波数成分を示す統計特性を符号化し、符号化画像と混合して出力する。これにより、本来欠落していた周波数成分を復号化することができるので、画質を向上させることができる。
【００８７】
（実施の形態３）
図５は、実施の形態３の画像／動画像復号化装置の構成を示すブロック図である。同図の復号化装置３００は、デマルチプレクサ３７０と、統計特性復号化器３６０と、画像／動画像復号化器２２０と、統計的画像向上装置１００とを備える。なお、統計的画像向上装置１００は、実施の形態１で説明した統計的画像向上装置１００であり、画像／動画像復号化器２２０は、実施の形態２で説明した画像／動画像復号化器２２０であるため、以下では説明を省略する。
【００８８】
デマルチプレクサ３７０は、符号化された画像／動画像を表すデータを、符号化された統計特性を示すデータと、符号化画像そのものを示すデータとに分離する。そして、両者は、適切な復号化器、すなわち、統計特性復号化器３６０と従来の画像／動画像復号化器２２０に入力される。
【００８９】
統計特性復号化器３６０は、デマルチプレクサ３７０で分離された符号化統計特性を復号化する。統計特性復号化器３６０は、図３で示す統計特性符号化器２６０で用いられた符号化方式と対応して、統計データを復号化する。
【００９０】
画像／動画像復号化器２２０は、符号化データを発生させるのに用いられた方式と一致するものであれば、いかなる符号化方式を用いてもよい。
【００９１】
以上のように、復号化された画像及び復号化された統計特性は、統計的画像向上装置１００に供給される。図１で説明したように、統計的画像向上装置１００は、画像成分、特に、不可逆圧縮により復号化画像では失われた高周波成分（符号化エラー）を再構成するために統計データを用いる。
【００９２】
続いて、本実施の形態の画像／動画像復号化装置の動作について説明する。
【００９３】
図６は、本実施の形態の画像／動画像復号化装置の動作を示すフローチャートである。
【００９４】
まず、符号化画像データが入力され、デマルチプレクサ３７０は、符号化画像そのものと、符号化統計特性とに分離する（Ｓ３０１）。符号化画像そのものは、画像／動画像復号化器２２０に入力され、符号化統計特性は、統計特性復号化器３６０に入力される。
【００９５】
画像／動画像復号化器２２０は、入力される符号化画像を復号化する（Ｓ３０２）。復号化された画像は、統計的画像向上装置１００に、入力画像として入力される。
【００９６】
統計特性復号化器３６０は、入力される符号化統計特性を復号化する（Ｓ３０３）。復号化された統計特性は、統計的画像向上装置１００に入力される。このとき、差分画像の統計特性については、図１の第１画像処理部１２０及び第２画像処理部１３０に入力される。参照画像の統計特性については、図１の第３画像処理部１５０に入力される。
【００９７】
統計的画像向上装置１００は、図２のフローチャートに示す処理を実行する（Ｓ３０４）。
【００９８】
以上の処理により、本実施の形態の復号化装置３００は、符号化画像と符号化統計特性とを分離して、個別に復号化することができる。これにより、個別に得られた入力画像と統計特性とを用いて、図１に示す統計的画像向上装置１００は、容易に画像の画質を向上化することができる。
【００９９】
このように、復号化画像の主観的画質は、事実上、符号化されるデータの量を増加することなく、改良される。特に、動画像符号化の関連では、符号化効率において大切なゲインが得られてもよい。なぜなら、符号化エラーの統計特性は、少なくとも動画像シーケンス全体にとっては同じである可能性があるためである。それ故に、統計特性は、複数の動画像のために一度だけは、決定され、符号化され、送信されなければならない。さらに、符号化エラーの統計特性は、カメラの光学的及び電気的特性のためであるかもしれず、全体的に、対象画像内容とは独立している。このことは、信号のオーバーヘッドを減らすのに、さらに用いられてもよい。
【０１００】
（実施の形態４）
本実施の形態の画像処理装置は、実施の形態１の統計的画像向上装置と、少なくとも２つのフレームメモリを備える。
【０１０１】
図７は、本実施の形態の画像処理装置の構成を示すブロック図である。同図に示す画像処理装置４００は、統計的画像向上装置１００と、バス４１０と、メモリ４２０とを備える。
【０１０２】
統計的画像向上装置１００は、図１に示す統計的画像向上装置１００と同じ構成であり、ここでは説明を省略する。なお、実施の形態４の統計的画像向上装置１００は、バス４１０を介して、メモリ４２０とデータのやり取りを行うことができる。
【０１０３】
メモリ４２０は、第１フレームメモリ４３０と、第２フレームメモリ４４０との少なくとも２つのメモリを備える。
【０１０４】
第１フレームメモリ４３０は、統計的画像向上装置１００が受信した入力画像を保持する。
【０１０５】
第２フレームメモリ４４０は、統計的画像向上装置１００における処理中の画像を保持する。
【０１０６】
統計的画像向上装置１００は、画像の向上化処理を終了すると、第２フレームメモリ４４０に保持された画像を読み出し、外部に出力する。
【０１０７】
以上のように、本実施の形態の画像処理装置は、入力画像と処理中の画像とを異なるフレームメモリに格納する。これにより、統計的画像向上装置１００における繰り返し処理を行う際には、入力画像を一方のフレームメモリから読み出し、処理中の画像を他方のフレームメモリから読み出すことができるので、簡易な構成で各処理を実行することができる。
【０１０８】
以上、本発明の統計的画像向上装置、画像符号化装置及び画像復号化装置について、実施の形態に基づいて説明したが、本発明は、これら実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１０９】
例えば、主観的な画質を改良し、送信又は記憶されるデータ量を一定に維持する代わりに、本発明は、画質を一定に保つことによって圧縮ゲインを改良するのに用いられてもよい。例えば、より正確な量子化は、本発明の統計的画像向上方法を用いることにより、補償されてもよい。
【０１１０】
なお、本発明では、入力画像は、図３の画像／動画像符号化器２１０に供給される前に、ローパスフィルタ処理が行われる。図８は、実施の形態２の画像／動画像符号化装置の変形例の構成を示す図である。同図の符号化装置２０１は、図３の符号化装置２００に、さらに、フィルタ処理部２８０が加えられた点が異なる。以下では、異なる点を中心に説明し、同じ点の説明は省略する。
【０１１１】
フィルタ処理部２８０は、入力画像に対して、ローパスフィルタ処理を行う。そして、ローパスフィルタ処理された入力画像を、画像／動画像符号化器２１０に供給する。画像／動画像符号化器２１０は、ローパスフィルタ処理された入力画像を圧縮し、得られた圧縮画像を符号化する。
【０１１２】
これにより、高周波成分の減衰のために、ローパスフィルタ処理を施された画像は、より効率良く符号化されることができる。そして、復号化器側で、統計特性は、欠落した周波数成分を再構成するために用いられてもよい。ただし、この入力画像に対するローパスフィルタ処理は必ずしも必要ではない。
【０１１３】
なお、本発明は、統計的画像向上装置、画像符号化装置及び画像復号化装置として実現できるだけではなく、上述の装置を構成する処理手段をステップとする方法として実現することもできる。また、これらステップをコンピュータに実行させるプログラムとして実現してもよい。さらに、当該プログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）などの記録媒体、並びに、当該プログラムを示す情報、データ又は信号として実現してもよい。そして、それらプログラム、情報、データ及び信号は、インターネットなどの通信ネットワークを介して配信してもよい。
【０１１４】
また、上記の各装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されていてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ及びＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。
【０１１５】
以上のように、要約すると、本発明は、参照画像の統計特性を利用することによって、画像を向上化することに関連する。特に、原画像とローパスフィルタ処理された画像との差分に対応する参照画像の高次統計特性から決定される統計制約に対応する、欠落した周波数成分を再構成することによって、画像は鮮鋭化されてもよい。この形式の統計画像向上は、符号化画像と共に符号化エラーの統計特性を送信することによって、高圧縮ゲインで優れた画質を得るために、画像及び動画像符号化に適用されてもよい。
【産業上の利用可能性】
【０１１６】
本発明は、画像の画質を向上させる装置に適用でき、例えば、画像／動画像符号化装置及び画像／動画像復号化装置などに適用することができる。
【符号の説明】
【０１１７】
１００  統計的画像向上装置
１１０、２３０  減算器
１２０  第１画像処理部
１３０  第２画像処理部
１４０  加算器
１５０  第３画像処理部
２００、２０１  符号化装置
２１０  画像／動画像符号化器
２２０  画像／動画像復号化器
２４０  第１統計分析部
２５０  第２統計分析部
２６０  統計特性符号化器
２７０  マルチプレクサ
２８０  フィルタ処理部
３００  復号化装置
３６０  統計特性復号化器
３７０  デマルチプレクサ
４００  画像処理装置
４１０  バス
４２０  メモリ
４３０  第１フレームメモリ
４４０  第２フレームメモリ
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力画像を圧縮する圧縮ステップと、
前記圧縮ステップで得られる圧縮画像を符号化する画像符号化ステップと、
前記入力画像と前記圧縮画像との差分画像を算出する差分画像算出ステップと、
前記差分画像算出ステップで算出された前記差分画像の統計特性を抽出する第１特性抽出ステップと、
前記第１特性抽出ステップで抽出された前記差分画像の統計特性を符号化する第１特性符号化ステップとを含む
画像符号化方法。
【請求項２】
前記第１特性抽出ステップで抽出された前記差分画像の統計特性は、前記差分画像の自己相関関数の値と、前記差分画像の画素値の平均、分散、歪度及び尖度の少なくとも１つとを含む
請求項１記載の画像符号化方法。
【請求項３】
前記画像符号化方法は、さらに、
前記入力画像の統計特性を抽出する第２特性抽出ステップと、
前記第２特性抽出ステップで抽出された前記入力画像の統計特性を符号化する第２特性符号化ステップとを含む
請求項２記載の画像符号化方法。
【請求項４】
前記第２特性抽出ステップで抽出された前記入力画像の統計特性は、前記入力画像の画素値の平均、分散、歪度及び尖度の少なくとも１つを含む
請求項３記載の画像符号化方法。
【請求項５】
前記圧縮ステップでは、前記入力画像を、変換ベースの符号化方式によって、圧縮する
請求項１記載の画像符号化方法。
【請求項６】
前記画像符号化方法は、さらに、
前記入力画像をローパスフィルタ処理するローパスフィルタ処理ステップを含み、
前記圧縮ステップでは、前記入力画像ではなく、前記ローパスフィルタ処理された画像を圧縮する
請求項１記載の画像符号化方法。
【請求項７】
圧縮画像を復号化する画像復号化ステップと、
前記画像復号化ステップで得られる復号化画像を伸張する伸張ステップと、
差分画像の統計特性を復号化する第１特性復号化ステップと、
前記第１特性復号化ステップで復号化された前記差分画像の統計特性に基づいて第１フィルタを生成する第１フィルタ生成ステップと、
フィルタ処理された画像を生成するように、前記伸張ステップで得られた伸張画像に前記第１フィルタを適用する第１フィルタ処理ステップと、
出力画像を生成するように、前記フィルタ処理された画像を前記伸張画像に加算する加算ステップとを含む
画像復号化方法。
【請求項８】
前記第１フィルタは、前記フィルタ処理された画像の統計特性を前記第１特性復号化ステップで復号化された前記差分画像の統計特性に調整するように適応される
請求項７記載の画像復号化方法。
【請求項９】
前記第１特性復号化ステップで復号化された前記差分画像の統計特性は、前記差分画像の自己相関特性の値と、前記差分画像の画素値の平均、分散、歪度及び尖度の少なくとも１つとを含む
請求項８記載の画像復号化方法。
【請求項１０】
前記画像復号化方法は、さらに、
前記伸張画像の自己相関特性の値と、前記伸張画像の画素値の平均、分散、歪度及び尖度の少なくとも１つとを含む、前記伸張画像の統計特性を抽出する第１特性抽出ステップを含み、
前記第１フィルタは、前記第１特性復号化ステップで復号化された前記差分画像の統計特性と、前記第１特性抽出ステップで抽出された前記伸張画像の統計特性とに基づいて生成される
請求項９記載の画像復号化方法。
【請求項１１】
前記画像復号化方法は、さらに、
参照画像の統計特性を復号化する第２特性復号化ステップと、
前記第２特性復号化ステップで復号化された前記参照画像の統計特性に基づいて第２フィルタを生成する第２フィルタ生成ステップと、
前記出力画像に前記第２フィルタを適用する第２フィルタ処理ステップとを含む
請求項７記載の画像復号化方法。
【請求項１２】
前記第２フィルタは、前記出力画像の統計特性を前記第２特性復号化ステップで復号化された前記参照画像の前記統計特性に調整するように適応される
請求項１１記載の画像復号化方法。
【請求項１３】
前記第２特性復号化ステップで復号化された前記参照画像の前記統計特性は、前記参照画像の画素値の平均、分散、歪度及び尖度の少なくとも１つを含む
請求項１２記載の画像復号化方法。
【請求項１４】
前記画像復号化方法は、さらに、
前記出力画像の画素値の平均、分散、歪度及び尖度の少なくとも１つを含む、前記出力画像の統計特性を抽出する第２特性抽出ステップを含み、
前記第２フィルタは、前記第２特性復号化ステップで復号化された前記参照画像の統計特性と、前記第２特性抽出ステップで抽出された前記出力画像の統計特性とに基づいて生成される
請求項１３記載の画像復号化方法。
【請求項１５】
前記画像復号化方法は、さらに、
前記出力画像と前記復号化画像との差分を算出する差分算出ステップを含み、
前記第１フィルタ処理ステップでは、前記差分算出ステップで算出された差分に対して前記第１フィルタを適用し、
前記第１フィルタ処理ステップと前記加算ステップとを繰り返す
請求項７記載の画像復号化方法。
【請求項１６】
前記伸張ステップでは、前記復号化画像を、変換ベースの符号化方式によって伸張する
請求項７記載の画像復号化方法。
【請求項１７】
入力画像を受信する画像受信ステップと、
差分画像の統計特性を受信する第１特性受信ステップと、
前記第１特性受信ステップで受信された前記差分画像の統計特性に基づいて第１フィルタを生成する第１フィルタ生成ステップと、
フィルタ処理された画像を生成するように、前記第１フィルタを前記入力画像に適用する第１フィルタ処理ステップと、
出力画像を生成するように、前記フィルタ処理された画像を前記入力画像に加算する加算ステップとを含む
画像向上方法。
【請求項１８】
前記第１フィルタは、前記フィルタ処理された画像の統計特性を、前記第１特性受信ステップで受信された前記差分画像の統計特性に調整するように適応される
請求項１７記載の画像向上方法。
【請求項１９】
前記第１特性受信ステップで受信された前記差分画像の統計特性は、前記差分画像の自己相関特性の値と、前記差分画像の画素値の平均、分散、歪度及び尖度の少なくとも１つとを含む
請求項１８記載の画像向上方法。
【請求項２０】
前記画像向上方法は、さらに、
前記入力画像の自己相関関数の値と、前記入力画像の画素値の平均、分散、歪度及び尖度の少なくとも１つとを含む、前記入力画像の統計特性を抽出する第１特性抽出ステップを含み、
前記第１フィルタは、前記第１特性受信ステップで受信された前記差分画像の統計特性と、前記第１特性抽出ステップで抽出された前記入力画像の統計特性とに基づいて生成される
請求項１９記載の画像向上方法。
【請求項２１】
前記画像向上方法は、さらに、
参照画像の統計特性を受信する第２特性受信ステップと、
前記第２特性受信ステップで受信された前記参照画像の統計特性に基づいて第２フィルタを生成する第２フィルタ生成ステップと、
前記第２フィルタを前記出力画像に適用する第２フィルタ処理ステップとを含む
請求項１７記載の画像向上方法。
【請求項２２】
前記第２フィルタは、前記出力画像の統計特性を前記第２特性受信ステップで受信された前記参照画像の統計特性に調整するように用いられる
請求項２１記載の画像向上方法。
【請求項２３】
前記第２特性受信ステップで受信された前記参照画像の統計特性は、前記参照画像の画素値の平均、分散、歪度及び尖度の少なくとも１つを含む
請求項２２記載の画像向上方法。
【請求項２４】
前記画像向上方法は、さらに、
前記出力画像の画素値の平均、分散、歪度及び尖度の少なくとも１つを含む、前記出力画像の統計特性を抽出する第２特性抽出ステップを含み、
前記第２フィルタは、前記第２特性受信ステップで受信された前記参照画像の統計特性と、前記第２特性抽出ステップで抽出された前記出力画像の統計特性とに基づいて生成される
請求項２３記載の画像向上方法。
【請求項２５】
前記画像向上方法は、さらに、
前記出力画像と前記入力画像との差分を算出する差分算出ステップを含み、
前記第１フィルタ処理ステップでは、前記差分算出ステップで算出された差分に対して前記第１フィルタを適用し、
前記第１フィルタ処理ステップと前記加算ステップとを繰り返す
請求項１７記載の画像向上方法。
【請求項２６】
入力画像を圧縮し、得られた圧縮画像を符号化する画像符号化手段と、
前記入力画像と前記圧縮画像との差分画像を算出する差分画像算出手段と、
前記差分画像算出手段で算出された前記差分画像の統計特性を抽出する特性抽出手段と、
前記特性抽出手段で抽出された前記差分画像の統計特性を符号化する特性符号化手段とを備える
画像符号化装置。
【請求項２７】
圧縮画像を復号化し、得られた復号化画像を伸張する画像復号化手段と、
差分画像の統計特性を復号化する特性復号化手段と、
前記特性復号化手段で復号化された前記差分画像の統計特性に基づいてフィルタを生成するフィルタ生成手段と、
フィルタ処理された画像を生成するように、前記画像復号化手段で得られた伸張画像に前記フィルタを適用するフィルタ処理手段と、
出力画像を生成するように、前記フィルタ処理された画像を前記伸張画像に加算する加算手段とを備える
画像復号化装置。
【請求項２８】
入力画像を受信する画像受信手段と、
差分画像の統計特性を受信する特性受信手段と、
前記特性受信手段で受信された前記差分画像の統計特性に基づいてフィルタを生成するフィルタ生成手段と、
フィルタ処理された画像を生成するように、前記フィルタを前記入力画像に適用するフィルタ処理手段と、
出力画像を生成するように、前記フィルタ処理された画像を前記入力画像に加算する加算手段とを備える
画像向上装置。
【請求項２９】
入力画像を受信する画像受信手段と、
前記画像受信手段で受信された前記入力画像を保持する第１フレームメモリと、
差分画像の統計特性を受信する特性受信手段と、
前記特性受信手段で受信された前記差分画像の統計特性に基づいてフィルタを生成するフィルタ生成手段と、
フィルタ処理された画像を生成するように、前記第１フレームメモリから読み出された前記入力画像に、前記フィルタを適用するフィルタ処理手段と、
出力画像を生成するように、前記フィルタ処理された画像を前記入力画像に加算する加算手段と、
前記フィルタ処理手段及び前記加算手段による処理の実行中の画像を保持する第２フレームメモリとを備える
画像処理装置。
【請求項３０】
入力画像を圧縮し、得られた圧縮画像を符号化する画像符号化手段と、
前記入力画像と前記圧縮画像との差分画像を算出する差分画像算出手段と、
前記差分画像算出手段で算出された前記差分画像の統計特性を抽出する特性抽出手段と、
前記特性抽出手段で抽出された前記差分画像の統計特性を符号化する特性符号化手段と、
前記圧縮画像を復号化し、得られた復号化画像を伸張する画像復号化手段と、
前記差分画像の統計特性を復号化する特性復号化手段と、
前記特性復号化手段で復号化された前記差分画像の統計特性に基づいてフィルタを生成するフィルタ生成手段と、
フィルタ処理された画像を生成するように、前記画像復号化手段で得られた伸張画像に前記フィルタを適用するフィルタ処理手段と、
出力画像を生成するように、前記フィルタ処理された画像を前記伸張画像に加算する加算手段とを備える
画像処理システム。
【請求項３１】
入力画像を受信する画像受信ステップと、
差分画像の統計特性を受信する特性受信ステップと、
前記特性受信ステップで受信された前記差分画像の統計特性に基づいてフィルタを生成するフィルタ生成ステップと、
フィルタ処理された画像を生成するように、前記フィルタを前記入力画像に適用するフィルタ処理ステップと、
出力画像を生成するように、前記フィルタ処理された画像を前記入力画像に加算する加算ステップとを含む
画像向上方法をコンピュータに実行させるプログラム。
【請求項３２】
入力画像を受信する画像受信手段と、
差分画像の統計特性を受信する特性受信手段と、
前記特性受信手段で受信された前記差分画像の統計特性に基づいてフィルタを生成するフィルタ生成手段と、
フィルタ処理された画像を生成するように、前記フィルタを前記入力画像に適用するフィルタ処理手段と、
出力画像を生成するように、前記フィルタ処理された画像を前記入力画像に加算する加算手段とを備える
集積回路。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2008152797.tif 000011
【図２】
2008152797.tif 000012
【図３】
2008152797.tif 000013
【図４】
2008152797.tif 000014
【図５】
2008152797.tif 000015
【図６】
2008152797.tif 000016
【図７】
2008152797.tif 000017
【図８】
2008152797.tif 000018
【国際調査報告】
2008152797.tif 000019
2008152797.tif 000020
2008152797.tif 000021
2008152797.tif 000022