(57)【特許請求の範囲】
【請求項１】
分割単位毎にウェーブレット変換を用いて圧縮伸長された画像における分割単位境界の歪みを抑制するため、分割単位境界の近傍の画素に対しローパスフィルタを施す画像処理装置であって、前記ローパスフィルタの重み係数が分割単位境界の方向に対し非対称であることを特徴とする画像処理装置。
【請求項２】
分割単位毎にウェーブレット変換を用いて圧縮伸長された画像における分割単位境界の歪みを抑制するため、分割単位境界の近傍の画素に対しローパスフィルタを施す画像処理装置であって、前記ローパスフィルタの重み係数に、分割単位内の垂直方向又は水平方向の分割境界からの距離が等しい画素についてとった平均的な誤差の大小関係を反映させることを特徴とする画像処理装置。
【請求項３】
請求項１又は２に記載の画像処理装置において、前記ローパスフィルタの重み係数の非対称の程度又は前記ローパスフィルタの重み係数への前記平均的な誤差の大小関係の反映の程度が、分割単位の縦方向又は横方向の境界からの距離に依存することを特徴とする画像処理装置。
【請求項４】
請求項１又は２に記載の画像処理装置において、前記ローパスフィルタの重み係数を非対称とし又は前記ローパスフィルタの重み係数に前記平均的な誤差の大小関係を反映させるのは、前記ローパスフィルタのタップが分割単位境界をまたぐ場合であることを特徴とする画像処理装置。
【請求項５】
請求項１又は２に記載の画像処理装置において、前記ローパスフィルタの重み係数を非対称とし又は前記ローパスフィルタの重み係数に前記平均的な誤差の大小関係を反映させるのは、注目画素での前記平均的な誤差が大きい場合であることを特徴とする画像処理装置。
【請求項６】
請求項１又は２に記載の画像処理装置において、前記ローパスフィルタの重み係数の非対称の程度又は前記ローパスフィルタの重み係数への前記平均的な誤差の大小関係の反映の程度が、画像のコンポーネントによって異なることを特徴とする画像処理装置。
【請求項７】
請求項１又は２に記載の画像処理装置において、前記ローパスフィルタの重み係数の非対称の程度又は前記ローパスフィルタの重み係数への前記平均的な誤差の大小関係の反映の程度が、圧縮された画像の圧縮率によって異なることを特徴とする画像処理装置。
【請求項８】
請求項１又は２に記載の画像処理装置において、前記ローパスフィルタの重み係数の非対称の程度又は前記ローパスフィルタの重み係数への前記平均的な誤差の大小関係の反映の程度が、ウェーブレット変換に用いられるウェーブレットフィルタの種類に依存することを特徴とする画像処理装置。
【請求項９】
請求項１又は２に記載の画像処理装置において、前記ローパスフィルタの周波数特性が、分割単位の縦方向又は横方向の境界からの距離に依存することを特徴とする画像処理装置。
【請求項１０】
請求項１又は２に記載の画像処理装置において、前記ローパスフィルタの周波数特性が、画像のコンポーネントによって異なることを特徴とする画像処理装置。
【請求項１１】
請求項１又は２に記載の画像処理装置において、前記ローパスフィルタの周波数特性が、圧縮された画像の圧縮率に依存することを特徴とする画像処理装置。
【請求項１２】
請求項１又は２に記載の画像処理装置において、前記ローパスフィルタの周波数特性が、ウェーブレット変換に用いられるウェーブレットフィルタの種類によって異なることを特徴とする画像処理装置。
【請求項１３】
請求項１又は２に記載の画像処理装置において、前記ローパスフィルタの周波数特性が、分割単位境界付近のエッジ度に依存することを特徴とする画像処理装置。
【請求項１４】
請求項９に記載の画像処理装置において、前記ローパスフィルタの周波数特性が、分割単位境界付近のエッジ度にも依存することを特徴とする画像処理装置。
【請求項１５】
請求項１乃至１４のいずれか１項に記載の画像処理装置において、伸長された画像の逆色変換後に前記ローパスフィルタが施されることを特徴とする画像処理装置。
【請求項１６】
請求項１乃至１４のいずれか１項に記載の画像処理装置において、伸長された画像の逆色変換前に前記ローパスフィルタが施されることを特徴とする画像処理装置。
【請求項１７】
分割単位毎にウェーブレット変換を用いて圧縮伸長された画像における分割単位境界の歪みを抑制するため、分割単位境界の近傍の画素に対しローパスフィルタを施す画像処理方法であって、前記ローパスフィルタの重み係数が分割単位境界の方向に対し非対称であることを特徴とする画像処理方法。
【請求項１８】
分割単位毎にウェーブレット変換を用いて圧縮伸長された画像における分割単位境界の歪みを抑制するため、分割単位境界の近傍の画素に対しローパスフィルタを施す画像処理方法であって、前記ローパスフィルタの重み係数に、分割単位内の垂直方向又は水平方向の分割境界からの距離が等しい画素についてとった平均的な誤差の大小関係を反映させることを特徴とする画像処理方法。
【請求項１９】
請求項１乃至１６のいずれか１項に記載の画像処理装置としてコンピュータを機能させるためのプログラム。
【請求項２０】
請求項１９に記載のプログラムが記録されたコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、所定の分割単位毎に圧縮した画像を分割単位毎に伸長した場合に生じる分割単位境界の歪みを抑制する画像処理技術に係り、特に、JPEG2000により圧縮後に伸長した画像上のタイル境界歪みを抑制する目的に好適な画像処理装置及び方法に関する。
【０００２】
【従来の技術】
画像データは、一旦圧縮してから蓄積し又は伝送し、必要な時又は場所で圧縮された画像データを伸長して出力し又は処理する場合が多い。画像データの圧縮には、画像をブロックと呼ばれる所定の分割単位で離散コサイン変換を用いて符号化するＪＰＥＧなどの画像圧縮方式が広く用いられている。このような画像圧縮方式の１つの問題点は、圧縮された画像を伸長した場合、伸長画像にブロック境界歪みが生じることである。このブロック境界歪みを目立ちにくくするため、ブロック境界歪みを検出し、伸長画像のブロック境界の画素にローパスフィルタをかける技術が知られている（特許文献１，２，３など参照）。また、後述の圧縮伸長処理における画像分割手法については非特許文献１に論じられている。
【０００３】
なお、本願出願人により、本発明に関連のある発明が特許出願されている(特願平１３−４００６４７号，特願２００２−１０９８９０号)。
【０００４】
【特許文献１】
特開平5-316361号
【特許文献２】
特開平9-307855号
【特許文献３】
特許第2839987号
【非特許文献１】
J．X．Wei，M．R．Pickering，M．R．Frater  and  J．F．Arnold，”A  New  Method  for  Reducing  Boundary  Artifacts  in  Block-Based  Wavelet  Image  Compression,”in  VCIP  2000，K．N．Ngan，T．Sikora，M-T  Sun  Eds.，Proc．of  SPIE  Vol．4067，pp．1290-1295，20-23  June  2000，Perth，Australia
【０００５】
【発明が解決しようとする課題】
近年、画像入出力技術の進歩により、画像に対する高精細化の要求が高まっている。画像入力装置として、デジタルカメラを例にあげると、300万以上の画素数を持つ高性能な電荷結合素子の低価格化が進み、普及価格帯の製品においても広く用いられるようになっている。画像出力・表示装置に関しても、レーザ・プリンタ、インクジェット・プリンタ等のハード・コピー分野における高精細化・低価格化は目を見張るものがあり、これはＣＲＴ、ＬＣＤディスプレイ等のソフト・コピー分野においても例外ではない。したがって、高精細画像を容易に取扱うことのできる圧縮伸長技術に対する要求も、今後ますます高まっていくことは必至である。
【０００６】
こうした要求を満たす圧縮方式の一つとして、高圧縮率でも高画質な画像を復号可能なJPEG2000がある。このJPEG2000においては、画像を矩形領域(タイル)に分割することにより、少ないメモリ環境下で圧縮伸長処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができるのである。
【０００７】
このような分割処理はタイリングと呼ばれ、省メモリ化・高速化に有効な手法であるが、非特許文献１にも記載されているように、圧縮率の高い条件で圧縮伸長処理を行った場合には、伸長画像においてタイルの境界の不連続（タイル境界歪み）が目立ちやすいという問題がある。
【０００８】
このタイル境界歪みを解決するために、隣接するタイル同士で境界を互いにオーバーラップさせて処理を行う手法も有効である。しかし、JPEG2000の基本仕様（JPEG2000  Part１）では、隣接するタイル境界を重複させないものとして規定されているため、タイル境界を重複させる手法は規定に準拠するという観点からは好ましくない。
【０００９】
また、前記従来技術と同様に、タイル境界にローパスフィルタをかけることにより、タイル境界歪みの抑制を期待できる。この方法ならば、上述のような規定上の制約はない。
【００１０】
本願出願人においても、タイル境界からの距離に応じて、ローパスフィルタの平滑化度を制御する手法；タイル境界からの距離が大きくなるにつれてローパスフィルタの平滑化度を徐々に弱くする手法；タイル境界の近傍の画素に対してエッジ量を算出し、そのエッジ量に応じてローパスフィルタの平滑化度を制御する手法；そのエッジ量が大きくなるにつれてローパスフィルタの平滑化度を徐々に弱くする手法；さらに、タイル境界からの距離とその画素でのエッジ量に応じてローパスフィルタを制御する手法、つまり、タイル境界から離れるにつれて、また、エッジ量が大きくなるにつれて、ローパスフィルタの平滑化度を弱くする手法を提案している(特願平１３−４００６４７号)。この手法を適用することにより、タイル境界歪みを抑制しつつ、タイル境界付近でのエッジ量が大きい場合にも帯状のぼやけた画像を発生させないようにすることができる。このような手法の高速化・処理量削減等を目的として、本願出願人は、縦方向のタイル境界には横方向の周波数成分を落とすようなローパスフィルタをかけ、横方向のタイル境界には縦方向の周波数成分を落とすようなローパスフィルタをかけ、タイル境界の交点には縦方向横方向ともに周波数成分を落とすようなローパスフィルタをかける手法も提案している(特願２００２−１０９８９０号)。
【００１１】
しかしながら、前記従来技術や前記提案手法では、JPEG2000のタイル境界歪みの特殊性のゆえに、期待するような効果を必ずしも達成できないことが判明した。JPEG2000のタイル境界歪みの最適な抑制のためには、以下に詳細に説明するように、タイル境界画素に適用するローパスフィルタの対象性についての十分な検討が欠かせないのである。
【００１２】
よって、本発明の目的は、JPEG2000のタイル境界歪みの抑制のために極めて効果的な新しい画像処理装置及び方法を提供することにある。
【００１３】
【課題を解決するための手段】
以下、添付図面を参照し、JPEG2000のタイル境界歪みの特殊性と関連付けて本発明を説明する。
【００１４】
図１は、JPEG2000の基本的な圧縮・伸長処理の流れを示すブロック図である。圧縮処理の対象となる画像データは、各コンポーネント毎にタイル分割されて色変換・逆色変換部１０００に入力され、ここで色変換（後述）を施される。色変換後のタイル画像は２次元ウェーブレット変換・逆変換部１００１により２次元の離散ウェーブレット変換（順変換）を施され、得られたウェーブレット係数は量子化部１５６によって量子化された後にエントロピー符号化・復号化部１００３により符号化される。JPEG2000では可逆圧縮（ロスレス圧縮）と非可逆圧縮（ロシィ圧縮）のいずれも可能であり、可逆圧縮の場合には量子化ステップ幅は常に１であり、実質的に量子化されない。エントロピー符号化・復号化部１００３におけるエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded  Block  Coding  with  Optimized  Truncation）と呼ばれるブロックベースのビットプレーン符号化方式が用いられる。符号化対象となるウェーブレット係数は正負の符号を持つ整数（あるいは実数表現された整数）であり、それらを決められた順序で走査しながら、係数を絶対値表現したものに対し上位ビットから下位ビットへとビットプレーン単位で符号化処理が実行される。エントロピー符号化・復号化部１００３で生成された符号列はタグ処理部１００４により所定のフォーマットのビットストリームとされて出力される。
【００１５】
伸長処理は圧縮処理と逆の処理となる。圧縮された画像データ（符号データ）はタグ処理部１００４に入力され、各コンポーネントの各タイルの符号列に分解される。この符号列はエントロピー符号化・復号化部１００３によってエントロピー復号化される。復号化されたウェーブレット係数は量子化・逆量子化部１００２で逆量子化されたのち、２次元ウェーブレット変換・逆変換部１００１で２次元逆ウェーブレット変換を施されることにより、各コンポーネントの各タイルの画像が再生される。各コンポーネントの各タイル画像は色空間変換部１５２に入力され、逆色変換処理を施されてＲＧＢなどのコンポーネントから構成されるタイル画像として出力される。
【００１６】
本発明の画像処理装置又は方法は、色変換・逆色変換部１０００により逆色変換後の画像データ１２０１（ＲＧＢ値やＣＭＹ値）におけるタイル境界歪みの抑制、あるいは、逆色変換処理を施される前の画像データ１２０２（輝度値Ｙ、色差値Ｃｂ，Ｃｒ）におけるタイル境界歪みの抑制に適用される。
【００１７】
図２乃至図６は、16×16のモノクロ画像（あるいはカラー画像の１つのコンポーネント画像）に対して、JPEG2000で採用されている５x３変換と呼ばれるウェーブレット変換を２次元(垂直方向及び水平方向)で施す過程を説明するための図である。図２は変換前の原画像である。図示のようにＸＹ座標をとり、あるｘについて、Ｙ座標がｙである画素の画素値をP（y）（0≦ｙ≦15）と表す。JPEG2000では、まず垂直方向（Y座標方向）に、Ｙ座標が奇数（y=2i+1）の画素を中心にハイパスフィルタを施して係数C(2i+1)を得る。次に、Ｙ座標が偶数（y=2i）の画素を中心にローパスフィルタを施して係数C(2i)を得る(これを全てのｘについて行う)。ここで、ハイパスフィルタとローパスフィルタはそれぞれ式（１）と式（２）で表される。式中のfloor（ｘ）は、ｘのフロア関数（実数ｘを、ｘを越えず、かつｘに最も近い整数に置換する関数）である。
【００１８】
C(2i+1)=P(2i+1)−floor((P(2i)+P(2i+2))/2)      式(1)
C(2i)=P(2i)+floor((C(2i-1)+C(2i+1)+2)/4)      式(2)
【００１９】
なお、画像の端部においては、中心となる画素に対して隣接画素群が存在しないことがあり、この場合は「ミラリング」と呼ばれる手法によって不足する画素値を補うことになる。ミラリングは、文字通り境界を中心として画素値を線対称に折り返し、折り返した値を上記隣接画素群の値とみなす操作である。図７は画素値（又は係数値）のミラリングの模式図である。この図では、タイルの右側境界の画素Ｐの変換時に、斜線付きの丸印で示した画素値を、タイル内の白丸で示した画素値で補う様子を示している。
【００２０】
簡単のため、ハイパスフィルタで得られる係数をH、ローパスフィルタで得られる係数をL、とそれぞれ表記すれば、前記垂直方向の変換によって図２の画像は図３のようなL係数、H係数の配列へと変換される。
【００２１】
続いて、図３の係数配列に対して、水平方向に、Ｘ座標が奇数（ｘ=2i+1）の係数を中心にハイパスフィルタを施し、次にＸ座標が偶数（ｘ=2i）の係数を中心にローパスフィルタを施す(これを全てのｙについて行う。この場合、前記の式（１）、式（２）のP(2i)等は係数値を表すものと読み替える)。
【００２２】
簡単のため、前記L係数を中心にローパスフィルタを施して得られる係数をLL、前記L係数を中心にハイパスフィルタを施して得られる係数をHL、前記H係数を中心にローパスフィルタを施して得られる係数をLH、前記H係数を中心にハイパスフィルタを施して得られる係数をHH、とそれぞれ表記すれば、図３の係数配列は図４の様な係数配列へと変換される。ここで同一の記号を付した係数群はサブバンドと呼ばれ、図４は４つのサブバンドで構成される。
【００２３】
以上の処理で、１回のウェーブレット変換（１回のデコンポージション（分解））が終了し、上記LL係数だけを集めると（図５の様にサブバンド毎に集め、LLサブバンドだけ取り出すと）、ちょうど原画像の１/２の解像度の“画像”が得られる。このように、サブバンド毎に分類することをデインターリーブと呼び、図４のような状態に配置することをインターリーブと呼ぶ。
【００２４】
２回目のウェーブレット変換は、該LLサブバンドを原画像と見なして、上記と同様の処理により行われる。その処理結果をデインターリーブすると、図６に示すようなサブバンドの係数が得られる。なお、図５及び図６中の係数の接頭の１や２は、何回のウェーブレット変換で該係数が得られたかを示しており、デコンポージションレベルと呼ばれる。したがって、デコンポージションレベルが高いサブバンドほど、解像度が低いことになる。以上の議論において、１次元のみのウェーブレット変換をしたい場合には、いずれか一方向だけの処理を行えばよい。
【００２５】
一方、ウェーブレット逆変換は、図４の様なインターリーブされた係数の配列に対して、まず水平方向に、Ｘ座標が偶数（ｘ=2i）の係数を中心に逆ローパスフィルタを施し、次にＸ座標が奇数（ｘ=2i+1）の係数を中心に逆ハイパスフィルタを施す。これを全てのｙについて行う。ここで逆ローパスフィルタと逆ハイパスフィルタは、それぞれ次の式（３）と式（４）で表される。ウェーブレット変換（順変換）の場合と同様に、画像の端部においては、中心となる係数に対して隣接係数群が存在しないことがあり、この場合もミラリングによって係数値を補うことになる。
【００２６】
P(2i)=C(2i)−floor((C(2i-1)+C(2i+1)+2)/4)      式(３)
P(2i+1)=C(2i+1)＋floor((P(2i)+P(2i+2))/2)      式(４)
【００２７】
以上の処理により、図４の係数配列は図３のような係数配列に変換（逆変換）される。続いて同様に、垂直方向に、Ｙ座標が偶数（y=2i）の係数を中心に逆ローパスフィルタを施し、次にＹ座標が奇数（y=2i+1）の係数を中心に逆ハイパスフィルタを施す。これを全てのｘについて行うことにより、１回のウェーブレット逆変換が終了し、図２の画像が再構成されることになる。なお、ウェーブレット変換が複数回施されている場合は、図２をLLサブバンドとみなし、HL等の他の係数を利用して同様の逆変換を繰り返すことにより画像が再構成される。
【００２８】
以上のようなウェーブレット変換では、原画像の「２のべき乗分の１」の解像度成分を得やすいように、その処理単位となるタイルサイズは「２のべき乗」(すなわち偶数)の値をとるのが通常であり、また、前記ＸＹ座標の原点は図２のように画像の頂点にとるのが簡易である。このような条件で、図３のように垂直方向にフィルタを施す場合、(図２の画像全体を１つのタイルと見なして考えれば明らかなように)、タイルの上端に隣接する画素にはローパスのファイルタが、下端に隣接する画素にはハイパスのフィルタがそれぞれ施されることになる。同様に、図４のように水平方向にフィルタを施す場合、タイルの左端に隣接する画素にはローパスのフィルタが、右端に隣接する画素にはハイパスのフィルタが、それぞれ施されることになる。
【００２９】
ここで前記非特許文献１が指摘しているように、ミラリングを行う場合、タイル境界下端のＨ係数に量子化誤差が生じると、該誤差が最終的な伸長画像の画素値の誤差として大きく現れることが知られている。同様に、タイル境界右端のＨ係数に量子化誤差が生じると、該誤差が最終的な画素値の誤差として大きく現れることが知られている。一方、タイル境界の上端と左端のＬ係数に量子化誤差が生じても、該誤差は最終的な伸長画像の画素値の誤差としては大きく現れないことが知られている。
【００３０】
したがって、タイル内の画素に生じる画素値の誤差の平均値をとると、図８に示すような分布となる。ただし、左右上下に連続した８個のタイルについての分布であり、同図の（ａ）はタイルの左右方向の誤差の分布を、（ｂ）はタイルの上下方向の誤差の分布をそれぞれ表す。図８から理解されるように、タイルの上端部よりもタイルの下端部で、タイルの左端部よりもタイルの右端部で、誤差は著しく大きな値をとる。すなわち、タイル境界を中心とした場合、画素値の平均的な誤差は極めて非対称である。
【００３１】
こうした誤差分布の下で、タイル境界の方向に対して対称な重みを有するフィルタを用いると、例えば、図９（ａ）に示すように隣接した４つのタイルに関して、図９（ｂ）に示すようなローパスフィルタをタイル０の右端の垂直方向の境界に、図９（ｃ）に示すようなローパスフィルタをタイル１の下端の水平方向の境界にそれぞれ適用すると、上に述べた非対称な誤差とマッチせず、平滑化後の画素値に比較的大きな誤差が生じてしまう場合が起こる。図９（ｂ）から明らかなように、大きな誤差を有する画素に対して最大の重み付け(＝４)を行い。それよりも小さな誤差を有する画素に対して、その半分の重み(＝２)しか与えないからである。すなわち、予め予想される画素の誤差の非対称性や大小関係に基づき、フィルタの重み係数自体を決定すべき場合があるのである。
【００３２】
請求項１記載の発明による画像処理装置は、上に述べたようなタイル境界に生じる誤差の非対称性を考慮してタイル境界歪みを効果的に抑制しようとするもので、所定の分割単位（タイル）毎にウェーブレット変換を用いて圧縮伸長された画像における分割単位境界の歪みを抑制するため、分割単位境界の近傍の画素に対しローパスフィルタを施す画像処理装置であって、そのローパスフィルタの重み係数が分割単位境界の方向に対し非対称であることを特徴とするものである。
【００３３】
また、請求項２記載の発明による画像処理装置は、タイル境界に生じる誤差の大小関係を考慮してタイル境界歪みを効果的に抑制しようとするもので、所定の分割単位（タイル）毎にウェーブレット変換を用いて圧縮伸長された画像における分割単位境界の歪みを抑制するため、分割単位境界の近傍の画素に対しローパスフィルタを施す画像処理装置であって、そのローパスフィルタの重み係数に、分割単位（タイル）内の垂直方向又は水平方向の分割境界からの距離が等しい画素についてとった平均的な誤差の大小関係を反映させることを特徴とするものである。
【００３４】
また、以上のようなフィルタは、タイル境界歪みの及ぶ、境界から所定範囲の画素について施す必要がある。例えば、前記5ｘ3フィルタをデコンポージションレベル３で使用する場合、境界付近の８画素程度に施すことが考えられるが、図９（ｂ）から明らかなように、フィルタをかける注目画素がタイル境界から遠ざかると、最も大きな誤差を有するＨ係数(矢印の係数)に乗じられるフィルタの重みは自然と小さくなる。すなわち、誤差の非対称性等は注目画素と境界との距離に依存し、例えば注目画素が境界から遠ざかるにつれてフィルタの非対称性を弱くしてよい(より対称なフィルタに近づけてよい)ことになる。前記非対称な誤差に対しては対称なローパスフィルタでは好ましくないが、誤差の非対称性が小さい場合には対称なフィルタを使った方がかえって弊害が少なく安全なこともあるのである。
【００３５】
この点に鑑み、請求項３記載の発明は、請求項１又は２記載の画像処理装置において、ローパスフィルタの重み係数の非対称の程度又はローパスフィルタの重み係数への前記平均的な誤差の大小関係の反映の程度が、縦方向又は横方向の分割単位（タイル）境界からの距離に依存することを特徴とするものである。すなわち、タイル境界からの距離に応じてローパスフィルタの重み係数を制御し、タイル境界歪みをより効果的に抑制しようとするものである。
【００３６】
また、図９（ｂ）から明らかなように、注目画素がタイル境界から遠ざかると、フィルタの及ぶ範囲がタイル境界からはずれることになる。この場合、上に述べた“タイル境界を中心とした誤差の非対称性”という前提は成立しない。
【００３７】
請求項４記載の発明は、この点に着目してタイル境界歪みをより効果的に抑制しようとするもので、請求項１又は２に記載の画像処理装置において、ローパスフィルタのタップが分割単位（タイル）境界をまたぐ場合にのみ、ローパスフィルタの重み係数を非対称とし又はローパスフィルタの重み係数に前記平均的な誤差の大小関係を反映させることを特徴とするものである。
【００３８】
また、図１０に示すように、タイル境界に隣接する画素ではあっても、その位置がＬ係数に相当する場合には、最初からフィルタの重み係数が小さく設定されるのが通常であるため、誤差が非対称性であっても、弊害の少ない対称なフィルタでよい場合もある。
【００３９】
この点に鑑み、請求項５記載の発明は、請求項１又は２記載の画像処理装置において、注目画素での前記平均的な誤差が大きい場合にのみ、ローパスフィルタの重み係数を非対称とし、又は、ローパスフィルタの重み係数に前記平均的な誤差の大小関係を反映させることを特徴とする。すなわち、前記反映を、平均誤差の大きい位置の画素に対してのみ行うことにより、タイル境界歪みをより効果的に抑制しようとするものである。
【００４０】
さて、例えばＲＧＢの３コンポーネントからなるカラー画像に圧縮を施す場合、簡易にはＲＧＢ値のままでウェーブレット変換を行うことができる。しかし、圧縮率をあげるためには、色変換を施して１つの輝度と２つの色差の３つの新たなコンポーネントに変換し、変換後のコンポーネントに対して個々にウェーブレット変換を施すのが通常である。
【００４１】
JPEG2000で採用されている色変換の例としては、RCT(Reversible  Component  Transform)と呼ばれる下記変換がある。
【００４２】
輝度Ｙ＝floor(（Ｒ＋２Ｇ＋Ｂ）/４)
色差Cr＝Ｒ−Ｇ
色差Cb＝Ｂ−Ｇ                                    式（５）
その逆変換は、
Ｒ＝G＋Cr
Ｇ＝Ｙ−floor(（Cr＋Cb）/4)
Ｂ＝Cb＋Ｇ                                        式（６）
である。
【００４３】
ここで、上記誤差の非対称性の程度は、ＲＧＢの各コンポーネント間や輝度・色差の各コンポーネント間で異なる。その異なり方は量子化方法に依存はするが、例えば輝度・色差コンポーネントの場合では、色差の方を極端に量子化した場合には上記非対称性が輝度よりも色差において大きくなることがある。
【００４４】
この点に鑑み、請求項６記載の発明は、請求項１又は２記載の画像処理装置において、ローパスフィルタの重み係数の非対称の程度、又は、ローパスフィルタの重み係数への前記平均的な誤差の大小関係の反映の程度を、画像のコンポーネントによって異ならせることを特徴とする。すなわち、前記反映をコンポーネントによって制御することにより、カラー画像におけるタイル境界歪みをより効果的に抑制しようとするものである。
【００４５】
また、前記非対称性は、圧縮時のウェーブレット係数の量子化誤差に起因して生じるものであるため、圧縮率が高くなるほど大きくなる。
【００４６】
よって、請求項７記載の発明は、請求項１又は２記載の画像処理装置において、ローパスフィルタの重み係数の非対称の程度又はローパスフィルタの重み係数への前記平均的な誤差の大小関係の反映の程度が、圧縮された画像の圧縮率によって異なることを特徴とする。すなわち、前記反映の程度を圧縮率に応じて制御することにより、タイル境界歪みをより効果的に抑制しようとするものである。
【００４７】
また、前記非対称性の程度は、ウェーブレット変換（順・逆変換）の際のミラリングの範囲、すなわちウェーブレットフィルタのタップ長に依存し、周波数特性にもよるが、概ねタップ長が大きいほど非対称性の程度は大きくなる。
【００４８】
よって、請求項８記載の発明は、請求項１又は２記載の画像処理装置において、ローパスフィルタの重み係数の非対称の程度又はローパスフィルタの重み係数への前記平均的な誤差の大小関係の反映の程度が、ウェーブレット変換に用いられるウェーブレットフィルタの種類に依存することを特徴とする。すなわち、前記反映の程度をウェーブレットフィルタの違いに応じて行うことにより、タイル境界歪みをより効果的に抑制しようとするものである。
【００４９】
さて、非対称性、平均誤差の大小の反映という観点で論じたが、本発明において、前述の本願出願人が提案した手法を併用することは非常に効果的である。図８から明らかなように、画素に生じる誤差はタイル境界からの距離が大きくなる程小さくなる傾向にあるので、ローパスフィルタの平滑度もその距離が大きくなるほど弱くなるべきだからである。また、先の非対称性の議論と同様、タイル境界歪みという不連続性自体もコンポーネント、圧縮率、ウェーブレットフィルタのタップ長に依存するからである。特に、輝度・色差系がYCbCrである場合、人間の視覚特性上、Crに生じた誤差よりもCbに生じた誤差の方が知覚されにくいことが実験的に知られており、ローパスフィルタの強度自体もCbは弱くてよい場合がある。また、ローパスフィルタはタイル境界歪みを抑制するためのものであるが、タイル境界に、歪みではない実際の（＝原画を反映した）エッジがある場合、その実際のエッジをも平滑化してしまう弊害を生じることがある。
【００５０】
よって、請求項９記載の発明は、請求項１又は２記載の画像処理装置において、ローパスフィルタの周波数特性が、分割単位の縦方向又は横方向の境界からの距離に依存することを特徴とする。このように、境界からの距離に応じてローパスフィルタの周波数特性を変えることにより、タイル境界歪みのより効果的な抑制が可能である。
【００５１】
また、請求項１０記載の発明は、請求項１又は２記載の画像処理装置において、ローパスフィルタの周波数特性が、画像のコンポーネントによって異なることを特徴とするもので、カラー画像のタイル境界歪みをより効果的に抑制することができる。
【００５２】
また、請求項１１記載の発明は、請求項１又は２記載の画像処理装置において、ローパスフィルタの周波数特性が、圧縮された画像の圧縮率に依存することを特徴とするものである。このように、圧縮率に応じた周波数特性をローパスフィルタに持たせることにより、タイル境界歪みをより効果的に抑制することができる。
【００５３】
また、請求項１２記載の発明は、請求項１又は２記載の画像処理装置において、ローパスフィルタの周波数特性が、ウェーブレット変換に用いられたウェーブレットフィルタの種類によって異なることを特徴とし、タイル境界歪みをより効果的に抑制することができる。
【００５４】
また、請求項１３記載の発明は、請求項１又は２記載の画像処理装置において、ローパスフィルタの周波数特性が、分割単位境界付近のエッジ度に依存することを特徴とし、原画に存在するエッジへの弊害を生じることなくタイル境界歪みを効果的に抑制しようとするものである。
【００５５】
また、請求項１４記載の発明は、請求項９記載の画像処理装置において、ローパスフィルタの周波数特性が、分割単位境界付近のエッジ度にも依存することを特徴とするものである。このように、境界からの距離と原画に実際に存在するエッジの両方を考慮することにより、実際のエッジに対する弊害を生じることなくタイル境界歪みをより効果的に抑制することができる。
【００５６】
また、請求項１５記載の発明は、請求項１乃至１４のいずれか１項記載の画像処理装置において、伸長された画像の逆色変換後にローパスフィルタを施す（ＲＧＢなどの画素値に施す）ことを特徴とし、タイル境界歪みの抑制のための計算が簡易になる利点がある。
【００５７】
また、請求項１６記載の発明は、請求項１乃至１４のいずれか１項記載の画像処理装置において、伸長された画像の逆色変換前にローパスフィルタを施す（ＹＣｒＣｂなどの輝度値と色差値に施す）ことを特徴とし、特にエッジ度の算出を要する場合に有利である。
【００５８】
また、請求項１７記載の発明は、所定の分割単位（タイル）毎にウェーブレット変換を用いて圧縮伸長された画像における分割単位境界の歪みを抑制するため、分割単位境界の近傍の画素に対しローパスフィルタを施す画像処理方法であって、そのローパスフィルタの重み係数が分割単位境界の方向に対し非対称であることを特徴とし、境界に生じる誤差の非対称性を考慮することによりタイル境界歪みを効果的に抑制することができる。
【００５９】
また、請求項１８記載の発明は、所定の分割単位（タイル）毎にウェーブレット変換を用いて圧縮伸長された画像における分割単位境界の歪みを抑制するため、分割単位境界の近傍の画素に対しローパスフィルタを施す画像処理方法であって、そのローパスフィルタの重み係数に、分割単位内の垂直方向又は水平方向の分割境界からの距離が等しい画素についてとった平均的な誤差の大小関係を反映させることを特徴とし、境界に生じる誤差の大小関係を考慮することによりタイル境界歪みを効果的に抑制することができる。
【００６０】
また、請求項１９記載の発明は、請求項１乃至１６のいずれか１項に記載の画像処理装置としてコンピュータを機能させるプログラムである。また、請求項２０記載の発明は、請求項１９記載のプログラムが記録されたコンピュータが読み取り可能な記録媒体である。
【００６１】
【発明の実施の形態】
以上に説明した本発明の実施の形態について、図１１乃至図２２を参照して説明する。なお、ハードウェア、ソフトウェア、その組み合わせのいずれによっても本発明を実施可能であるが、ここではパソコンなどの汎用コンピュータシステム上でソフトウェアにより本発明を実施する形態について説明する。したがって、以下の説明における各ステップとその処理内容は、本発明の画像処理装置に含まれる対応手段及びその機能と理解すべきである。
【００６２】
図１１は、本発明の１つの実施の形態を説明するためのコンピュータシステムの簡略化したブロック図である。このコンピュータシステムは、ＣＰＵ１１００、メインメモリ１１０２、ハードディスク装置１１０４、モニタ装置１１０６をシステムバス１１０８で接続した概略構成である。メインメモリ１１０２には、本発明の画像処理装置の機能又は画像処理方法の処理手順を実行するための画像処理プログラム１１１０が置かれる。処理の全体的な流れは次の通りである。
【００６３】
(１）ＣＰＵ１１００からの命令によって、ハードディスク装置１１０４より原画像をJPEG2000によって圧縮した画像データがメインメモリ１１０２に読み込まれる。(２)ＣＰＵ１１００は、画像処理プログラム１１１０に従って、メインメモリ１１０２より圧縮画像データを読み込んで伸長処理を行い、その伸長画像データに対してタイル境界歪みを抑制する処理を実行し、タイル境界歪みが抑制された画像データをメインメモリ１１０２上に生成する。(３)ＣＰＵ１１００からの命令によって、タイル境界歪みが抑制された画像データがモニタ装置１１０６に表示され、又は、ハードディスク装置１１０４に保存される。なお、インターネットやＬＡＮなどのネットワーク経由で圧縮画像データを取り込んで処理する形態も本発明に含まれることは当然である。
【００６４】
上記(２)の処理段階のより詳しい手順を図１２に示す。なお、ここでは、原画像は縦横ともに偶数画素数の同じ大きさの４つのタイルに分割されているものとする。したがって、タイルの右端及び下端はＨ係数の位置となり、同左端及び上端はＬ係数の位置となる。また、ここでは、圧縮画像データの圧縮処理においては、５×３ウェーブレットフィルタを用いてデコンポージション３のウェーブレット変換がなされている場合を想定して説明する。（９×７ウェーブレットフィルタが用いられる場合についても後述する）。
【００６５】
図１２のステップ１４００において、全タイルの圧縮画像を伸長し、画素の特性値を得る。この特性値とは、例えばＲＧＢ値やYCbCr等の輝度・色差値のことである。図１に関連づけるならば、伸長画像データ１２０１に対してタイル境界歪み抑制を施す場合にはＲＧＢ値が特性値であり、伸長画像データ１２０２にタイル境界歪み抑制を施す場合には輝度Ｙ、色差Ｃｂ、Ｃｒが特性値である。伸長画像の画素の特性値はメインメモリ１１０２の特定領域に保存される。なお、このステップもしくは手段は、伸長処理のためのステップもしくは手段であって、次のステップ１４０１からステップ１４０４がタイル境界歪みを抑制するための処理ステップもしくは手段である。
【００６６】
ステップ１４０１において、タイル境界から所定距離以内の画素の特性値に、タイル境界歪みを抑制するためのローパスフィルタをかける。ここで、タイル境界からの距離とは、図１３に示すような当該画素から境界への最短距離である。ここに示す例では、境界からの距離が３以下の画素に対してローパスフィルタをかけるものとして説明する。なお、３以下の距離としたのは、計算量を削減するためである。また、ローパスフィルタのタップ長は５として説明する。
【００６７】
ステップ１４０２において、ローパスフィルタをかけた後の画素の特性値をメインメモリ１１０２の特定領域に保存する。
【００６８】
を終了すると（ステップ１４０３，Ｙｅｓ）、ステップ１４０２で保存された特性値により、ステップ１４００で保存された伸長画像の対応画素の特性値を置換する。これで、タイル境界歪みが抑制された画像データが得られる。
【００６９】
図１２中のステップ１４０１のより詳細な手順を図１４のフローチャートに沿って説明する。
【００７０】
まず、ローパスフィルタをかける特性値が輝度又はＧならばｋ＝５に設定し（ステップ２０００，２００１）、色差Ｃｂ、Ｃｒ又はＢ、Ｒならばｋ＝４に設定する（ステップ２０００，２００２）。このｋは、注目画素位置におけるローパスフィルタの重み（フィルタ中心の重み）を決定するための値であり、注目画素のタイル境界からの距離をｄとすると、
ローパスフィルタの重み＝ｋ＋６４ｄ
で与えられる。すなわち、この例では、境界からの距離によって、ローパスフィルタの中心の重みを変化させているわけである（請求項９）。また、
輝度Ｙ又はＧでは    ｋ＝５
色差Ｃｂ又はＢでは  ｋ＝４
色差Ｃｒ又はＲでは  ｋ＝４
であり、コンポーネントによってローパスフィルタの中心の重みを変えているわけである（請求項１０，１５，１６）。
【００７１】
次のステップ２００３で、タイル境界からの距離が３以内の画素の特性値を入力する。そして、ステップ２００４で、その注目画素がタイル境界交点に接する画素であるかチェックする。タイル境界交点に接する画素の場合には、図１７に示すような重み係数を持つローパスフィルタを適用する（ステップ２００５）。注目画素がタイル境界交点に接しない場合には、垂直方向のタイル境界からの距離が３以内であるかチェックし（ステップ２００６）、そうならば図１５に示すような重み係数を持つローパスフィルタを適用し（ステップ２００７）、そうならば図１６に示すような重み係数を持つローパスフィルタを適用する（ステップ２００８）。ただし、図１５、図１６及び図１７に示すローパスフィルタの中心の重みは、輝度又はＧのコンポーネントに適用する場合の値である。また、この例では、計算量を削減するため１次元又は十字状のローパスフィルタを適用するが、２次元のローパスフィルタを適用することも可能であることは勿論である。
【００７２】
図１５から分かるように、タイル右端近傍において、ローパスフィルタのタップがタイル境界をまたぐ場合にのみ、ローパスフィルタの重み係数を境界方向に非対称にしている（請求項１，３，４）。また、ローパスフィルタに平均誤差の大小を反映させるため、ローパスフィルタのＨ係数位置の重みを減らし（２１００の部分）、Ｌ位置の重みを増加させる（２１０１の部分）とされている（請求項２）。また、タイル左端近傍においては、タップがタイル境界をまたぐ場合でも対称なローパスフィルタを適用する（請求項５）。図１６及び図１７に示すローパスフィルタにおいても、同様な考え方で重みが設定されている。
【００７３】
なお、以上では、全てのコンポーネントについて、非対称なフィルタを使用する画素が存在したが、輝度に対してはこれをせず全て対称なフィルタを用いることが可能である（請求項６）。このような態様のためのローパスフィルタは以上の説明から明らかであるので図示しない。
【００７４】
また、ステップ１４０１（図１２）において圧縮率をチェックし、圧縮率が２０を超える場合にのみ非対称なフィルタを使用し、２０以下の圧縮率の場合には弊害の少ない対称なフィルタを用いることも可能である（請求項７）。
【００７５】
さらに、この態様において、圧縮率が２０以下の場合には、
輝度Ｙ又はＧに対し    k＝5
色差Ｃｂ又はＢに対し  k＝4
色差Ｃｒ又はＲに対し  k＝4
圧縮率が２０を超える場合には、
輝度Ｙ又はＧに対し    k＝４
色差Ｃｂ又はＢに対し  k＝３
色差Ｃｒ又はＲに対し  k＝３
とすることもできる（請求項１１）。一般に、圧縮率が大きいほど強いローパスフィルタを適用すべきだからである。このような態様のためのローパスフィルタの重み及び処理フローは以上の説明から明らかであるので図示しない。
【００７６】
なお、計算量よりも正確さを優先し、図１８に示すように、タイル左端近傍においてタップがタイル境界をまたぐ場合においても、フィルタを非対称にすることも可能であり、そのような態様も本発明に包含される。
【００７７】
以上、５×３ウェーブレット変換の場合のローパスフィルタの例を示した。
【００７８】
９×７ウェーブレット変換の場合には、図１９又は図２０のような構成のローパスフィルタを適用することができる（請求項８，１２）。図１９及び図２０に示したローパスフィルタは垂直方向のタイル境界に適用されるフィルタの例であるが、これを回転すれば水平方向のタイル境界に適用されるフィルタとなり、また、垂直と水平を合わせれば図１７と同様にタイル境界交点に適用されるフィルタを得られる。
【００７９】
また、図１２のステップ１４０１において、各注目画素に対し図２１に示すようなエッジ度算出フィルタを適用してエッジ度を検出し、図１５乃至図１７に示したローパスフィルタの中心の重みを、エッジ度及びタイル境界からの距離の関数として設定することもできる（請求項１３，１４）。図２２はそのようなフィルタの説明図である。ここに示す例では、
距離ｄ＝０の場合、
エッジ度算出フィルタで算出したエッジ量の絶対値abs(e)すなわちエッジ度が２５５以上ならば、ローパスフィルタの中心の重みｍを
ｍ＝５＋abs(E)
エッジ度が２５５未満ならば
ｍ＝５
としている。
また、距離ｄ＞０の場合、
ｍ＝ｍａｘ（５＋６４ｄ、５＋abs(E)）
としている。このようなフィルタの重み制御により、原画像に実際に存在するエッジを保存しつつ、タイル境界歪みを効果的に抑制することができる。なお、図２２に示したローパスフィルタは、５×３ウェーブレット変換の場合を想定している。
【００８０】
なお、ローパスフィルタ係数は重みの和が１になるように正規化される。すなわち、
ａ  ｂ  ｃ
ｄ  ｅ  ｆ
ｇ  ｈ  ｉ
という画素値を有する３×３画素の中心の画素（画素値がｅの画素）に
ｏ  ｐ  ｑ
ｒ  ｓ  ｔ
ｕ  ｖ  ｗ
という重みを用いてローパスフィルタをかける場合、重みはそれらの和が１になるように正規化された状態で画素値に乗算されるので
Σ（ｏ＋ｐ＋ｑ＋ｒ＋ｓ＋ｔ＋ｕ＋ｖ＋ｗ）＝Ｘ  とすると
ローパスフィルタをかけた後の中心画素の値は
（ａｏ＋ｂｐ＋ｃｑ＋ｄｒ＋ｅｓ＋ｆｔ＋ｇｕ＋ｈｖ＋ｉｗ）／Ｘ
となる。フィルタのマスク形状が１×ｎの場合も十字形状の場合も、ローパスフィルタの重みの和が１になるように正規化される点は同様である。
【００８１】
以上説明した実施の形態における処理手順もしくは対応手段の機能をコンピュータ上で実現させるためのプログラム（アプリケーションプログラムに限らず、プリンタドライバ等のデバイスドライバも含む）、及び、同プログラムが記録された各種記録（記憶）媒体も本発明に包含される。
【００８２】
【発明の効果】
以上に詳細に説明したように、本発明によれば、JPEG2000に準拠した画像圧縮アルゴリズムで圧縮された後に伸長された画像上のタイル境界歪みを極めて効果的に抑制することができるものであり、その効果は大きい。
【図面の簡単な説明】
【図１】  JPEG2000の圧縮・伸長処理の流れを説明するためのブロック図である。
【図２】  原画像と座標系を示す図である。
【図３】  図２の原画像に垂直方向に１次元ウェーブレット変換を行って得られる係数配列を示す図である。
【図４】  図３の係数に対し水平方向に１次元ウェーブレット変換を行って得られる係数配列を示す図である。
【図５】  図４の係数を並べ替えた係数配列を示す図である。
【図６】  デコンポージションレベル２の２次元ウェーブレット変換で得られる係数を並べ替えた係数配列を示す図である。
【図７】  タイル境界でのミラリングの説明図である。
【図８】  タイル内の画素に生じる画素値の２乗平均誤差の分布を示す図である。
【図９】  垂直方向及び水平方向のタイル境界に適用される対称性のローパスフィルタの例を示す図である。
【図１０】  注目画素がＬ係数位置にある場合のローパスフィルタの適用を示す図である。
【図１１】  本発明の実施の形態を説明するための簡略化されたブロック図である。
【図１２】  本発明の実施の形態を説明するためのフローチャートである。
【図１３】  タイル境界からの距離を説明するための図である。
【図１４】  図１２中のステップ１４０１の処理手順を説明するためのフローチャートである。
【図１５】  本発明において垂直方向タイル境界に適用されるローパスフィルタの例を示す図である。
【図１６】  本発明において水平方向タイル境界に適用されるローパスフィルタの例を示す図である。
【図１７】    本発明においてタイル境界交点に接する画素に適用されるローパスフィルタの例を示す図である。
【図１８】  本発明において垂直方向タイル境界に適用されるローパスフィルタの別の例を示す図である。
【図１９】  本発明において垂直方向タイル境界に適用されるローパスフィルタの別の例を示す図である。
【図２０】  本発明において垂直方向タイル境界に適用されるローパスフィルタの別の例を示す図である。
【図２１】  エッジ量算出フィルタの例を示す図である。
【図２２】  本発明においてタイル境界に適用されるローパスフィルタの別の例を示す図である。
【符号の説明】
１０００  色変換・逆色変換部
１００１  ２次元ウェーブレット変換・逆変換部
１００２  量子化・逆量子化部
１００３  エントロピー符号化・復号化部
１００４  タグ処理部
１１００  ＣＰＵ
１１０２  メインメモリ
１１０４  ハードディスク装置
１１０６  モニタ装置
１１１０  画像処理プログラム
【図１】
0003973089.tif 000002
【図２】
0003973089.tif 000003
【図３】
0003973089.tif 000004
【図４】
0003973089.tif 000005
【図５】
0003973089.tif 000006
【図６】
0003973089.tif 000007
【図７】
0003973089.tif 000008
【図８】
0003973089.tif 000009
【図９】
0003973089.tif 000010
【図１０】
0003973089.tif 000011
【図１１】
0003973089.tif 000012
【図１２】
0003973089.tif 000013
【図１３】
0003973089.tif 000014
【図１４】
0003973089.tif 000015
【図１５】
0003973089.tif 000016
【図１６】
0003973089.tif 000017
【図１７】
0003973089.tif 000018
【図１８】
0003973089.tif 000019
【図１９】
0003973089.tif 000020
【図２０】
0003973089.tif 000021
【図２１】
0003973089.tif 000022
【図２２】
0003973089.tif 000023