(57)【要約】【課題】白黒画像に施すローパスフィルタの強度（平滑化度）をカラー原稿に比べて弱くすることにより、白黒画像における帯状のぼやけを抑制する。【解決手段】カラー白黒画像判定部６では、色空間逆変換された画像がカラーか白黒かを判定する。カラー画像はタイル境界平滑化部７に入力され、白黒画像はタイル境界平滑化部８に入力される。カラー用のタイル境界平滑化部７では、白黒用のタイル境界平滑化部８に比べて平滑化度の強いローパスフィルタをかける。【選択図】　　　　図７
2004040252.tif 000002
【特許請求の範囲】
【請求項１】
画像をブロックに分割し、ブロック毎に圧縮伸長する手段と、ブロック境界の歪みを補正する補正手段を備え、前記補正手段は、伸長後の画像がカラー画像であるか白黒画像であるかに応じてブロック境界近傍に対するローパスフィルタの周波数特性を適応的に制御することを特徴とする画像処理装置。
【請求項２】
前記補正手段は、カラー画像に対するローパスフィルタの平滑化度合いを白黒画像より強くすることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記ブロック境界からの画素間距離とブロック境界近傍画素におけるエッジ量を算出する手段を備え、前記補正手段は、前記カラー画像と白黒画像、前記画素間距離、前記エッジ量に応じてローパスフィルタの強度を制御することを特徴とする請求項１記載の画像処理装置。
【請求項４】
画像をブロックに分割し、ブロック毎に圧縮伸長する手段と、ブロック境界の歪みを補正する補正手段と、伸長後のブロックが無彩色ブロックであるか有彩色ブロックであるかを判別する手段を備え、前記補正手段は、隣接するブロックの種類に応じてブロック境界近傍に対するローパスフィルタの周波数特性を適応的に制御することを特徴とする画像処理装置。
【請求項５】
前記補正手段は、有彩色ブロックと有彩色ブロックが隣接するとき、隣接するブロック境界近傍の画素に平滑化度の強いローパスフィルタを施し、無彩色ブロックと無彩色ブロックが隣接するとき、隣接するブロック境界近傍の画素に平滑化度の弱いローパスフィルタを施すことを特徴とする請求項４記載の画像処理装置。
【請求項６】
前記補正手段は、有彩色ブロックと無彩色ブロックが隣接するとき、隣接するブロック境界近傍の画素に施すローパスフィルタの平滑化度の度合いとして、有彩色ブロックと有彩色ブロックとの境界に施すローパスフィルタの平滑化度と無彩色ブロックと無彩色ブロックとの境界に施すローパスフィルタの平滑化度との中間的な強度とすることを特徴とする請求項４記載の画像処理装置。
【請求項７】
前記無彩色ブロックと有彩色ブロックを判別する手段は、ブロック内の有彩色画素の割合が所定の値以上のとき有彩色ブロックと判定することを特徴とする請求項４記載の画像処理装置。
【請求項８】
前記ブロック境界からの画素間距離とブロック境界近傍画素におけるエッジ量を算出する手段を備え、前記補正手段は、前記隣接するブロックの種類、前記画素間距離、前記エッジ量に応じてローパスフィルタの強度を制御することを特徴とする請求項４記載の画像処理装置。
【請求項９】
画像をブロックに分割し、ブロック毎に圧縮伸長する手段と、ブロック境界の歪みを補正する補正手段を備え、前記補正手段は、伸長後の原稿画像の種類に応じてブロック境界近傍に対するローパスフィルタの周波数特性を適応的に制御することを特徴とする画像処理装置。
【請求項１０】
前記補正手段は、絵柄画像に対して前記ローパスフィルタを施し、非絵柄画像に対して前記ローパスフィルタを施さないことを特徴とする請求項９記載の画像処理装置。
【請求項１１】
伸長後のブロックが絵柄ブロックであるか非絵柄ブロックであるかを判別する手段を備え、前記補正手段は、隣接するブロックの種類に応じてブロック境界近傍に対するローパスフィルタの周波数特性を適応的に制御することを特徴とする請求項９記載の画像処理装置。
【請求項１２】
前記補正手段は、非絵柄ブロックと非絵柄ブロックの境界近傍の画素に対して前記ローパスフィルタを施さないことを特徴とする請求項１１記載の画像処理装置。
【請求項１３】
前記補正手段は、絵柄ブロックと絵柄ブロックの境界近傍の画素に対して平滑化度の強いローパスフィルタを施すことを特徴とする請求項１１記載の画像処理装置。
【請求項１４】
前記絵柄ブロックと非絵柄ブロックを判別する手段は、網点画素または写真画素またはジェネレーション絵柄画素の総数が、ブロック内の総画素数に対して所定の割合以上のとき絵柄ブロックと判定することを特徴とする請求項１１記載の画像処理装置。
【請求項１５】
画像をブロックに分割し、ブロック毎に圧縮伸長する手段と、ブロック境界近傍に対するローパスフィルタの周波数特性を適応的に制御することによりブロック境界の歪みを補正する補正手段を備え、利用者が前記ローパスフィルタを調整できることを特徴とする画像処理装置。
【請求項１６】
利用者が前記ローパスフィルタのＯＮ／ＯＦＦを設定できることを特徴とする請求項１５記載の画像処理装置。
【請求項１７】
利用者が前記ローパスフィルタを施す範囲を設定できることを特徴とする請求項１５記載の画像処理装置。
【請求項１８】
利用者が前記ローパスフィルタの強度を設定できることを特徴とする請求項１５記載の画像処理装置。
【請求項１９】
前記補正手段は、前記ブロック境界近傍の特定領域にローパスフィルタを施すことを特徴とする請求項１〜６、８〜１３または１５のいずれか一つに記載の画像処理装置。
【請求項２０】
前記特定領域はＲＯＩ領域内部であることを特徴とする請求項１９記載の画像処理装置。
【請求項２１】
請求項１〜１５または１９のいずれか１つに記載の画像処理装置の各手段として、コンピュータを機能させるためのプログラム。
【請求項２２】
請求項１〜１５または１９のいずれか１つに記載の画像処理装置の各手段として、コンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、タイル境界歪みを抑制した画像処理装置に関し、例えば携帯電話、デジタルカメラ、インターネット、医療用画像、衛星通信用画像などの画像を扱う機器、アプリケーションプログラム、プリンタドライバ等のデバイスドライバに好適な技術である。
【０００２】
【従来の技術】
高精細画像の取扱いを容易にする画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なＪＰＥＧ２０００がある。ＪＰＥＧ２０００では、画像を矩形領域（タイル）　に分割することにより、少ないメモリ環境下で圧縮伸張処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作をタイル毎に独立に行うことができる。
【０００３】
このような分割処理は、タイリングと呼ばれ、省メモリ化・高速化に有効な手法であるが、「Ｊ．　Ｘ．　Ｗｅｉ，　Ｍ．　Ｒ．　Ｐｉｃｋｅｒｉｎｇ，　Ｍ．　Ｒ．　Ｆｒａｔｅｒ　ａｎｄ　Ｊ．　Ｆ．　Ａｒｎｏｌｄ，”Ａ　Ｎｅｗ　Ｍｅｔｈｏｄ　ｆｏｒ　Ｒｅｄｕｃｉｎｇ　Ｂｏｕｎｄａｒｙ　Ａｒｔｉｆａｃｔｓ　ｉｎ　Ｂｌｏｃｋ−Ｂａｓｅｄ　Ｗａｖｅｌｅｔ　Ｉｍａｇｅ　Ｃｏｍｐｒｅｓｓｉｏｎ，”　ｉｎ　ＶＣＩＰ　２０００，　Ｋ．　Ｎ．　Ｎｇａｎ，　Ｔ．　Ｓｉｋｏｒａ，　Ｍ−Ｔ　Ｓｕｎ　Ｅｄｓ．，　Ｐｒｏｃ．　ｏｆ　ＳＰＩＥ　Ｖｏｌ．　４０６７，　ｐｐ．　１２９０−１２９５，　２０−２３　Ｊｕｎｅ　２０００，　Ｐｅｒｔｈ，　Ａｕｓｔｒａｌｉａ」にも記載されているように、圧縮率の高い条件で圧縮伸長処理を行った場合、伸張後の画像においてタイルの境界が不連続となるという問題がある。
【０００４】
そこで、従来、このタイル境界歪みを解決するために、隣接するタイル同士で境界を互いにオーバーラップさせて処理する手法が提案されている。ただし、ＪＰＥＧ２０００の基本仕様では、隣接するタイル境界を重複させないよう規定されている。
【０００５】
また、他の方法として、タイル境界の画素にローパスフィルタをかけて平滑化する方法がある。さらに、本出願人によって、タイル境界からの距離に応じてローパスフィルタの平滑化度を制御する手法、タイル境界からの距離が大きくなるにつれてローパスフィルタの平滑化度を徐々に弱くする手法、タイル境界の近傍の画素に対してエッジ量を算出し、エッジ量に応じてローパスフィルタの平滑化度を制御する手法、エッジ量が大きくなるにつれてローパスフィルタの平滑化度を徐々に弱くする手法、さらに、タイル境界からの距離とその画素でのエッジ量に応じてローパスフィルタを制御する手法、つまり、タイル境界から離れるにつれて、また、エッジ量が大きくなるにつれてローパスフィルタの平滑化度を弱くする手法が提案されている。
【０００６】
これらの処理により、タイル境界歪みが抑制される。また、タイル境界にローパスフィルタをかけると画像のエッジ部がタイル境界をまたぐような場合に、帯状の劣化（つまり、タイル境界付近が帯状に平滑化されることによるエッジ画像の帯状のぼやけ）が発生してしまうが、上記したようにエッジ量に応じてローパスフィルタの平滑化度を制御することにより、エッジ量が大きい場合でも帯状のぼやけた画像の発生を抑制することができる。
【０００７】
【発明が解決しようとする課題】
しかし、上記した方法では、帯状のぼやけは抑制されるもののローパスフィルタをかける限り完全になくなる可能性は少ない。とりわけ白黒画像はカラー画像に比べて帯状のぼやけの度合いが大きい。
【０００８】
本発明は上記した問題点に鑑みてなされたもので、
本発明の目的は、白黒画像に施すローパスフィルタの強度（平滑化度）をカラー原稿に比べて弱くすることにより、白黒画像における帯状のぼやけを極力抑制した画像処理装置、プログラムおよび記録媒体を提供することにある。
【０００９】
また、タイル境界歪みは絵柄領域で問題になることから、タイル境界歪みの抑制によって発生する帯状のぼやけを考慮して、絵柄領域以外の領域（テキスト領域など）にはローパスフィルタを施さない方が良い。
【００１０】
そこで、本発明の他の目的は、領域または画像の属性に応じてタイル境界歪み抑制のための適応的ローパスフィルタのＯＮ／ＯＦＦを行い、絵柄領域または絵柄画像ではＯＮ、非絵柄領域ではＯＦＦとすることにより、必要な部分のみに適応的ローパスフィルタをかけることができる画像処理装置、プログラムおよび記録媒体を提供することにある。
【００１１】
さらに、本発明の他の目的は、利用者がタイル境界歪み抑制のための適応的ローパスフィルタの制御を可能にすることにより、利用者が好みの画像を得ることができるようにした画像処理装置、プログラムおよび記録媒体を提供することにある。
【００１２】
さらに、本発明の他の目的は、ＲＯＩ領域内のみに適応的ローパスフィルタを施すことにより、タイル境界歪み抑制に要する処理時間を短縮した画像処理装置、プログラムおよび記録媒体を提供することにある。
【００１３】
【課題を解決するための手段】
本発明では、画像をブロック（タイル）に分割し、ブロック毎に圧縮・伸長した画像データに対し、ブロック境界の近傍の画素にブロック境界からの距離に応じて適応的にローパスフィルタを施しブロック境界歪みを補正する手段を有し、白黒画像とカラー画像とでローパスフィルタの周波数特性を制御する。
【００１４】
本発明では、画像をブロックに分割し、ブロック毎に圧縮・伸長した画像データに対し、ブロック境界の近傍の画素にブロック境界からの距離に応じて適応的ローパスフィルタを施しブロック境界歪みを補正する手段を有し、ブロックを無彩色ブロックと有彩色ブロックに判別する手段を有し、隣接するブロックの種類に応じて適応的ローパスフィルタの周波数特性を制御する。
【００１５】
本発明では、画像をブロックに分割し、ブロック毎に圧縮・伸長した画像データに対し、ブロック境界の近傍の画素にブロック境界からの距離に応じて適応的ローパスフィルタを施しブロック境界歪みを補正する手段を有し、原稿の種類に応じて適応的ローパスフィルタの周波数特性を制御する。
【００１６】
本発明では、画像をブロックに分割し、ブロック毎に圧縮・伸長した画像データに対し、ブロック境界の近傍の画素にブロック境界からの距離に応じて適応的ローパスフィルタを施しブロック境界歪みを補正する手段を有し、絵柄ブロックと非絵柄ブロックに判別する手段を有し、隣接するブロックの種類に応じて適応的ローパスフィルタの周波数特性を制御する。
【００１７】
本発明では、画像をブロックに分割し、ブロック毎に圧縮・伸長した画像データに対し、ブロック境界の近傍の画素にブロック境界からの距離に応じて適応的ローパスフィルタを施しブロック境界歪みを補正する手段を有し、適応的ローパスフィルタを利用者が調整できる。
【００１８】
本発明では、タイル境界歪み抑制の副作用（帯状のぼやけ）を極力抑制するためにカラー画像と白黒画像とでフィルタを切り換える。
【００１９】
本発明では、ブロック境界情報は圧縮された符号に埋め込まれており、ブロック境界を判別する必要がない。また、本発明では、圧縮伸長後の画像に対し、タイル境界からの距離に応じた適応的ローパスフィルタをかけることにより、タイル境界歪みを抑制する。
【００２０】
【発明の実施の形態】
以下、本発明の実施例を図面を用いて具体的に説明する。
本発明を説明する前に、ＪＰＥＧ２０００についてその概要を説明する。
【００２１】
図１は、ＪＰＥＧ２０００アルゴリズムの基本を説明するための図である。ＪＰＥＧ２０００アルゴリズムは、色空間変換・逆変換部１１１、２次元ウエーブレット変換・逆変換部１１２、量子化・逆量子化部１１３、エントロピー符号化・復号化部１１４、タグ処理部１１５で構成されている。
【００２２】
図２は、タイル分割されたカラー画像の各コンポーネントの例を示す。カラー画像は、一般に、図２に示すように、原画像の各コンポーネント２０１、２０２、２０３（ここではＲＧＢ原色系）が、矩形領域（タイル）に分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
【００２３】
符号化時には、各コンポーネントの各タイルのデータが、図１の色空間変換部１１１に入力され、色空間変換を施されたのち、２次元ウェーブレット変換部１１２で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００２４】
図３は、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブ・バンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０（３００））に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１（３０１）に示すサブ・バンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２（３０２）に示すサブ・バンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３（３０３）に示すサブ・バンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。更に図３では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、グレーで表してある。例えば、デコンポジション・レベル数を３とした時、グレーで示したサブ・バンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブ・バンドは符号化されない。
【００２５】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１の量子化部１１３で対象ビット周辺のビットからコンテキストが生成される。
【００２６】
量子化処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図５に示すように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００２７】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。図６は、その手順を簡単に示す。この例では、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられる。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジションレベル１のウェーブレット係数値を求めている。また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤー」についての概念図をも併せて示している。レイヤーの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤーは任意の数のビットプレーンから構成される。この例では、レイヤー０、１、２、３は、各々、１、３、１、３つのビットプレーンから成っている。そして、ＬＳＢに近いビットプレーンを含むレイヤー程、先に量子化の対象となり、逆に、ＭＳＢに近いレイヤーは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤーから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００２８】
エントロピー符号化部１１４（図１参照）では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。最後にタグ処理部１１５は、エントロピー符号化部１１４からの全符号化データを１本のコード・ストリームに結合するとともに、それにタグを付加する処理を行う。
【００２９】
図４は、コードストリームの構造を簡単に示す。コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
【００３０】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。図１を用いて簡単に説明する。この場合、タグ処理部１１５は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部１１３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部１１４で、このコンテキストとコード・ストリームから確率推定によって復号化を行い対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは各周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部１１２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部１１１によって元の表色系のデータに変換される。
【００３１】
（実施例１）
図７は、本発明の実施例１に係る伸長部の構成を示す。タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。本実施例では、カラー白黒画像判定部６と、カラー画像用のタイル境界平滑化部７と、白黒画像用のタイル境界平滑化部８が設けられている。
【００３２】
カラー白黒画像判定部６では、色空間逆変換部５で逆変換されたＲＧＢ画像がカラーであるか白黒であるかを各画素毎に判定する。カラー画像と判定されると、タイル境界平滑化部７に入力され、白黒画像と判定されると、タイル境界平滑化部８に入力される。カラー用のタイル境界平滑化部７は白黒用のタイル境界平滑化部８に比べて平滑化度の強いローパスフィルタをかける。
【００３３】
図８は、タイル境界平滑化部７の具体例を示す。これはカラー画像に対する適応的ローパスフィルタの一例であり、タイル境界の近傍の画素（図８（ａ）の灰色の領域の画素（例えば境界を挟んだ計８画素））に対してローパスフィルタをかける。
【００３４】
図８（ｂ）は、縦方向タイル境界におけるローパスフィルタの一例を示す。
（ｂ）に示すように、タイル境界に垂直なローパスフィルタをかけることにより、縦方向のタイル境界歪みを抑制する。本実施例では、１次元の横長のフィルタ（５画素×１画素）の例で説明したが、横方向の周波数成分を除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。
【００３５】
図８（ｃ）は、横方向タイル境界におけるローパスフィルタの一例を示す。
（ｃ）に示すように、タイル境界に垂直なローパスフィルタをかけることにより、横方向のタイル境界歪みを抑制する。本実施例では、１次元の縦長のフィルタ（１画素×５画素）の例で説明したが、縦方向の周波数成分を除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。
【００３６】
図８（ｄ）は、タイル境界とタイル境界の交点の近傍におけるローパスフィルタの一例を示す。（ｄ）に示すように、十字型のローパスフィルタをかけることにより、タイル境界交点付近のタイル境界歪みを抑制する。本実施例では、十字型のフィルタの例で説明したが、縦方向と横方向の周波数成分をともに除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。
【００３７】
図９は、タイル境界平滑化部８の具体例を示す。これは白黒画像に対する適応的ローパスフィルタの一例であり、タイル境界の近傍の画素（図９（ａ）の灰色の領域の画素（例えば境界を挟んだ計８画素））に対してローパスフィルタをかける。
【００３８】
図９（ｂ）は、縦方向タイル境界におけるローパスフィルタの一例を示す。
（ｂ）に示すように、タイル境界に垂直なローパスフィルタをかけることにより、縦方向のタイル境界歪みを抑制する。本実施例では、１次元の横長のフィルタ（５画素×１画素）の例で説明したが、横方向の周波数成分を除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。図８（ｂ）に比べてフィルタの中央の係数（値８）が大きくなっている。これはカラー画像よりも白黒画像の方がローパスフィルタの平滑化度が小さいことを意味する。
【００３９】
図９（ｃ）は、横方向タイル境界におけるローパスフィルタの一例を示す。
（ｃ）に示すように、タイル境界に垂直なローパスフィルタをかけることにより、横方向のタイル境界歪みを抑制する。本実施例では、１次元の縦長のフィルタ（１画素×５画素）の例で説明したが、縦方向の周波数成分を除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。図８（ｃ）に比べてフィルタの中央の係数（値８）が大きくなっている。これはカラー画像よりも白黒画像の方がローパスフィルタの平滑化度が小さいことを意味する。
【００４０】
図９（ｄ）は、タイル境界とタイル境界の交点の近傍におけるローパスフィルタの一例を示す。（ｄ）に示すように、十字型のローパスフィルタをかけることにより、タイル境界交点付近のタイル境界歪みを抑制する。本実施例では、十字型のフィルタの例で説明したが、縦方向と横方向の周波数成分をともに除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。図８（ｄ）に比べてフィルタの中央の係数（値８）が大きくなっている。これはカラー画像よりも白黒画像の方がローパスフィルタの平滑化度が小さいことを意味する。
【００４１】
（実施例２）
図１０は、本発明の実施例２に係る伸長部の構成を示す。本実施例では、さらに、カラー画像用の距離／エッジ量算出部９と、白黒画像用の距離／エッジ量算出部１０が設けられている。タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。
【００４２】
まず、本実施例では、タイル境界からの画素間距離に応じてタイル境界平滑化部７、８のローパスフィルタ強度を切り換える。
【００４３】
図１１は、タイル境界からの距離の算出方法を説明する図である。各画素において、上下左右のタイル境界からの距離が算出される。それらの最小値を該画素におけるタイル境界からの距離とする。なお、タイル境界の位置、タイル境界の方向は符号化データに含まれる情報により取得する。
【００４４】
図１２に示すように、本実施例では縦方向のタイル境界の近傍の画素に対しては、１次元の横方向のローパスフィルタを用いる（図１２（ａ））。横方向のタイル境界の近傍の画素に対しては、１次元の縦方向のローパスフィルタを用いる（図１２（ｂ））。タイル境界の交点の近傍画素に対しては、十字型のローパスフィルタを用いる（図１２（ｃ））。実施例１と同様に、これは一例であり、縦方向のタイル境界近傍の画素には横方向の周波数成分を除去するようなフィルタであればいかなるフィルタであってもよいし、同様に、横方向のタイル境界近傍の画素には縦方向の周波数成分を除去するようなフィルタならばいかなるフィルタであってもよいし、タイル境界の交点近傍の画素には縦方向周波数成分と横方向の周波数成分をともに除去するようなフィルタであればいかなるフィルタであってもよい。
【００４５】
本実施例では、タイル境界からの画素間距離を用いて図１２のローパスフィルタを適応的に処理する。すなわち、この例では、ローパスフィルタは注目画素の位置の係数（フィルタの中央の係数ｍ）のみ変化させる。画素間距離が大きくなるにつれて、徐々に係数ｍの値を大きくする。
図１２の例では、中央の係数ｍは、
カラー画像の場合　ｍ＝４＋６４＊ｄ
白黒画像の場合　　ｍ＝８＋１２８＊ｄ
で算出される。ここでｄは画素間距離を表す。これは、タイル境界からの画素間距離が大きくなるにつれて施すローパスフィルタの平滑化度を弱くすることを意味する。
【００４６】
また、本実施例では、タイル境界からの画素間距離とタイル境界近傍の画素のエッジ量に応じて、タイル境界平滑化部７、８のローパスフィルタ強度を切り換える処理も行う。図１３は、タイル境界からの画素間距離とエッジ量によるローパスフィルタ制御を説明する図である。
【００４７】
距離／エッジ量算出部９、１０はタイル境界近傍の画素に対し、
（１）タイル境界からの画素間距離（図１３（ａ））
（２）エッジ量算出フィルタ（図１３（ｂ））でエッジ量（カラー画像ではＧ信号を利用）
を算出する。また、タイル境界の方向は符号化データに含まれる情報により取得する。
【００４８】
本実施例では、タイル境界が縦方向の近傍画素ならば、図１３（ｃ）に示すような横長のローパスフィルタをかける。タイル境界が横方向の近傍画素ならば図１３（ｄ）に示すような縦長のローパスフィルタをかける。タイル境界の交点近傍の画素ならば、図１３（ｅ）に示すような十字型のローパスフィルタをかける。これは一例であり、縦方向のタイル境界近傍の画素には横方向の周波数成分を除去するようなフィルタであればいかなるフィルタであってもよいし、横方向のタイル境界近傍の画素には縦方向の周波数成分を除去するようなフィルタならばいかなるフィルタであってもよいし、タイル境界の交点近傍の画素には縦方向周波数成分と横方向の周波数成分をともに除去するようなフィルタであればいかなるフィルタであってもよい。
【００４９】
そして、算出された画素間距離と斜め方向のエッジ量に応じて、タイル境界平滑部７、８のローパスフィルタ強度を制御する。なお、エッジ量として斜め方向のエッジ量を算出する理由は、縦、横方向のタイル境界をエッジとして検出しないためである。
【００５０】
本実施例では、画素間距離が大きいほど、またエッジ量の絶対値が大きいほど、ローパスフィルタの中央値ｍを大きくする。図１３（ｃ）〜（ｅ）に示す適応的ローパスフィルタの例では、中央の係数値をｍとし、画素間距離をｄとし、上記したエッジ量をＥとするとき、
ｄ＝０　ならば
ａｂｓ（Ｅ）＞＝２５５　ならば
ｍ＝４＋ａｂｓ（Ｅ）；カラー画像
ｍ＝８＋ａｂｓ（Ｅ）；白黒画像
ａｂｓ（Ｅ）＜２５５　ならば
ｍ＝４；カラー画像
ｍ＝８；白黒画像
ｄ＞０　ならば
ｍ＝ｍａｘ（４＋６４＊ｄ，４＋ａｂｓ（Ｅ））；カラー画像
ｍ＝ｍａｘ（８＋１２８＊ｄ，８＋ａｂｓ（Ｅ））；白黒画像
によって、中央の係数値ｍを算出する。
【００５１】
これは、タイル境界からの画素間距離ｄが大きいほど、タイル境界近傍の画素のエッジ量の絶対値ａｂｓ（Ｅ）が大きいほど、施すローパスフィルタの平滑化度を小さくする、ということを意味する。ｄ＝０の場合のみ独立に制御した理由は、タイル境界の最近傍の画素に対してはある程度平滑化度の強いローパスフィルタを施さないと、タイル境界が目立ってしまうからである。また、本実施例においても、カラー画像の方が白黒画像より平滑化度の強い適応的ローパスフィルタを施している。
【００５２】
（実施例３）
図１４は、本発明の実施例３に係る伸長部の構成を示す。実施例１と相違する点は、実施例１のカラー白黒画像判定部をカラー白黒タイル判定部１１に置き換え、平滑化方式を判定する判定部１２、１３と、カラー白黒タイル混在用のタイル境界平滑化部１４を設けている。タイル境界平滑化部７、８は実施例１と同様である。また、タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。
【００５３】
カラー白黒タイル判定部１１では、色空間逆変換部５で逆変換されたＲＧＢ画像についてカラータイルか白黒タイルかを判定する。平滑化方式を判定する判定部１２、１３では、それぞれタイルの判定結果を基に画像データをタイル境界平滑化部７、８、１４の何れかに切り替える。
【００５４】
図１５は、タイル境界での平滑化方式判定部の判定処理を説明する図である。すなわち、平滑化方式判定部１２で、カラータイルとカラータイルの境界と判定されると、画像データがタイル境界平滑化部７に入力され、白黒タイルと白黒タイルの境界と判定されると、画像データがタイル境界平滑化部８に入力され、カラータイルと白黒タイルの境界と判定されると、画像データがタイル境界平滑化部１４に入力される。
【００５５】
図１６は、タイル境界の交点での平滑化方式判定部の判定処理を説明する図である。すなわち、平滑化方式判定部１３で、タイル境界の交点の近傍のタイルがすべてカラータイルと判定されると、画像データがタイル境界平滑化部７に入力され、タイル境界の交点の近傍のタイルがすべて白黒タイルと判定されると、画像データがタイル境界平滑化部８に入力され、それ以外ならば、画像データがタイル境界平滑化部１４に入力される。
【００５６】
図１７は、カラータイル／白黒タイル判定部の構成を示す。各画素についてＲＧＢの最大値と最小値を求め、カラー／白黒画素判定部ではＲＧＢの最大値と最小値の差があるしきい値以上ならばカラー画素と判定し、しきい値未満ならば白黒画素と判定する。
【００５７】
計測部では、タイル内の総画素数に対するカラー画素の割合を算出し、判定部では、タイル内の総画素数に対するカラー画素の割合が所定の値以上ならばカラータイルと判定、それ以外ならば白黒タイルと判定する。
【００５８】
また、上記した判定の他に、タイル内のすべての画素を判定しないで、タイル境界近傍の総画素に対するカラー画素の割合によってカラータイルか白黒タイルかを判定することもできる。
【００５９】
図１８は、タイル境界平滑化部１４の具体例を示す。タイル境界平滑化部１４では、タイル境界やタイル境界の交点で、カラータイルと白黒タイルが混在している部分にローパスフィルタを施すため、図１８（ｂ）、（ｃ）、（ｄ）に示すように、図８と図９の中間的な周波数特性のローパスフィルタ（フィルタの中央の係数が４と８の間の６の値を採る）を施す。
【００６０】
図示しないが、本実施例の構成にさらに、前述した実施例２と同様に、各タイル境界平滑化部毎に、距離／エッジ量算出部を設け、タイル境界からの距離、タイル境界近傍のエッジ量に応じた適応的ローパスフィルタ制御を行うことができる。
【００６１】
すなわち、例えばタイル境界平滑化部１４では、タイル境界からの距離とタイル境界近傍でのエッジ量に応じた適応的ローパスフィルタを施すが、その周波数特性は、カラータイルとカラータイルが隣接する場合の周波数特性と白黒タイルと白黒タイルが隣接する場合の周波数特性との中間的な周波数特性を示す。
【００６２】
例えば、図１２において、
ｍ＝６＋９６＊ｄという値を用いる。
【００６３】
また、例えば、図１３で、
ｄ＝０　ならば
ａｂｓ（Ｅ）＞＝２５５　ならば　ｍ＝６＋ａｂｓ（Ｅ）
ａｂｓ（Ｅ）＜　２５５　ならば　ｍ＝６
ｄ＞０　ならば
ｍ＝ｍａｘ（６＋９６＊ｄ，６＋ａｂｓ（Ｅ））
のように制御する。
【００６４】
（実施例４）
図１９は、本発明の実施例４に係る伸長部の構成を示す。実施例１と相違する点は、実施例１のカラー白黒画像判定部を絵柄／非絵柄画像判定部１５に置き換えている。タイル境界平滑化部７は実施例１と同様である。また、タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。
【００６５】
絵柄／非絵柄画像判定部１５は、色空間逆変換部５で逆変換されたＲＧＢ画像について絵柄か非絵柄かを判定し、その判定結果を基に画像データをタイル境界平滑化部７に入力するか否か（ＯＮ／ＯＦＦ）を決定する。
【００６６】
絵柄／非絵柄画像の判定方法は、後述する絵柄タイル／非絵柄タイルの判定方法と同様である。本実施例では絵柄とは、網点絵柄、写真絵柄、ジェネレーション絵柄を意味する。従って、公知の方法により、画像の各画素毎にそれぞれ判定を行い、それらのいずれかがアクティブであれば、注目画素は絵柄画像と判定する。
【００６７】
絵柄画像に対してはタイル境界近傍の適応的ローパスフィルタをＯＮにし、非絵柄画像に対してはタイル境界近傍の適応的ローパスフィルタをＯＦＦにする。これは、文字画像を代表とする非絵柄画像において、適応的ローパスフィルタをかけた場合に、文字などのエッジがタイルをまたぐときに発生する帯状のぼやけを極力なくすためである。また、単なるＯＮ／ＯＦＦではなく、適応的ローパスフィルタの強度を制御してもよい。例えば、絵柄画像では非絵柄画像に比べて適応的ローパスフィルタの強度を強くする。
【００６８】
（実施例５）
図２０は、本発明の実施例５に係る伸長部の構成を示す。実施例４と相違する点は、実施例４の絵柄／非絵柄画像判定部１５を絵柄／非絵柄タイル判定部１６に置き換え、平滑化部方式判定部１７、１８を設けている。タイル境界平滑化部７は実施例１と同様である。また、タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。
【００６９】
絵柄／非絵柄タイル判定部１６は、色空間逆変換部５で逆変換されたＲＧＢ画像について絵柄タイルか非絵柄タイルかを判定し、平滑化部方式判定部１７、１８ではその判定結果を基に画像データをタイル境界平滑化部７に入力するか否か（ＯＮ／ＯＦＦ）を決定する。
【００７０】
図２１は、絵柄／非絵柄タイル判定部の構成を示す。網点画素判定と写真（印画紙）画素判定とジェネレーション絵柄画素判定を並列に行い、その論理和をとり、計測部でアクティブになった画素数を算出する。タイルの総画素数に対する絵柄画素の割合が所定の値以上ならば判定部で絵柄タイルと判定する。タイルの総画素数に対する絵柄画素の割合が所定の値未満の場合は非絵柄タイルと判定する。また、上記した判定の他に、タイル内のすべての画素を判定しないで、タイル境界近傍の総画素に対する絵柄画素の割合によって絵柄タイルか非絵柄タイルかを判定することもできる。
【００７１】
図２２は、タイル境界平滑化方式判定部の判定処理を説明する図である。すなわち、平滑化方式判定部１７で、絵柄タイルと絵柄タイルの境界と判定されると、タイル境界平滑化部７で適応的ローパスフィルタを施す。それ以外は適応的ローパスフィルタを施さない。
【００７２】
図２３は、タイル境界の交点での平滑化方式判定部の判定処理を説明する図である。すなわち、平滑化方式判定部１８で、タイル境界の交点に隣接する４つのタイルがすべて絵柄タイルであると判定されると、タイル境界平滑化部７でそのタイル境界の交点の近傍に適応的ローパスフィルタを施す。それ以外の組み合わせの場合には、そのタイル境界の交点の近傍に適応的ローパスフィルタを施さない。
【００７３】
また、単なる適応的ローパスフィルタのＯＮ／ＯＦＦではなく、適応的ローパスフィルタの強度を制御してもよい。例えば、絵柄タイルと絵柄タイルの境界では、非絵柄タイルと非絵柄タイルの境界の近傍の画素に比べて適応的ローパスフィルタの強度を強くする。
【００７４】
（実施例６）
図２４は、本発明の実施例６に係る伸長部の構成を示す。本実施例では、タイル境界歪み抑制のための適応的ローパスフィルタ１９のＯＮ／ＯＦＦ、フィルタの強度、フィルタをかける範囲などを利用者が指定できる構成を採っている。タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。
【００７５】
図２５は、利用者が圧縮伸長画像表示ツールを用いてタイル境界歪み抑制のための適応的ローパスフィルタを制御する例を示す。
【００７６】
メイン画面でタイル境界を指定すると（図２５（ａ））、タイル境界画面がポップアップされ、利用者がタイル境界歪み抑制用の適応的ローパスフィルタのＯＮ／ＯＦＦを指定できる（図２５（ｂ））。ｄｅｔｉｌｅ　ＯＦＦを指定して
「閉じる」をクリックすれば、タイル境界歪み抑制用の適応的ローパスフィルタを施さないで表示する。タイル境界画面でｄｅｔｉｌｅ　ＯＮを指定するとタイル境界歪み抑制用の適応的ローパスフィルタの強度を指定できる。好みの強度に利用者が調節し、「閉じる」をクリックすれば設定された強度の適応的ローパスフィルタが施される。
【００７７】
さらに、タイル境界画面で「範囲指定」をクリックすると範囲設定画面がポップアップされる（図２５（ｃ））。範囲設定画面には圧縮伸長画像のサムネイルが表示され、利用者が範囲指定を行うことができる。図２５（ｃ）の例では、矩形で指定する構成になっているが、これに限らず円形や楕円形で指定したり、閉ループを利用者が描きそれを選択範囲とすることもできる。利用者が範囲設定を終了し、「設定」をクリックすると、設定された範囲の内部のタイル境界のみに適応的ローパスフィルタが施される。
【００７８】
このように、本実施例では、タイル境界歪み抑制用の適応的ローパスフィルタのＯＮ／ＯＦＦ、強度、適応範囲を指定することができる。
【００７９】
（実施例７）
図２６は、本発明の実施例７に係る伸長部の構成を示す。タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。
【００８０】
本実施例では、補正タイル境界限定部２０を設け、すべてのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみにローパスフィルタをかける。図２７、図２８はその例を示し、ＲＯＩ領域内のタイル境界の近傍画素のみにローパスフィルタをかける。ＲＯＩ領域とは、画像全体から切り出して拡大したり、他の部分に比べて強調したりする場合の、画像全体から見たある一部分である。
【００８１】
タイル境界平滑化部２１では、ＲＯＩ領域内がカラー画像である場合、ＲＯＩ領域内が白黒画像である場合に比べて、平滑化度の強い適応的ローパスフィルタをかける（タイル境界平滑化部２１を実施例１と同様に構成する）。また、ＲＯＩ領域内が絵柄画像である場合、ＲＯＩ領域内が非絵柄画像である場合に比べて平滑化度の強い適応的ローパスフィルタをかける（タイル境界平滑化部２１を実施例４と同様に構成する）。
【００８２】
図２７は、ＲＯＩ領域がタイル境界に沿った領域である場合の例である。図のようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図の右側の点線部とする。
【００８３】
図２８は、ＲＯＩ領域がタイル境界に沿っていない領域である場合の例である。図のようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図の右側の点線部のようにする。タイル境界近傍の画素がＲＯＩ内部か否かを演算によって算出し、該タイル境界近傍の画素がＲＯＩ内部であればその画素にローパスフィルタをかける。該タイル境界近傍の画素がＲＯＩ外部であれば、その画素にはローパスフィルタをかけない構成にする。
【００８４】
上記した各実施例ではＪＰＥＧ２０００の圧縮伸長方式を例にして説明したが、圧縮伸長方式はこれに限定されず、圧縮符号にブロック境界位置情報が含まれるような圧縮伸長方式であれば、いかなる圧縮伸長方式を用いても良い。
【００８５】
また、上記したように本発明はハードウェアによって実施できるが、汎用のコンピュータシステムを利用し、ソフトウェアによっても実施できることは言うまでもない。ソフトウェアで実施する場合には、本発明の画像処理装置の各手段
（ブロック分割、圧縮伸長、ブロック境界歪み補正など）として、コンピュータを機能（動作）させるためのプログラムが記録媒体などに記録されていて、該記録媒体などからプログラムがコンピュータシステムに読み込まれてＣＰＵによって実行されることにより、本発明が実施される。
【００８６】
【発明の効果】
以上、説明したように、本発明によれば、以下のような効果が得られる。
（１）白黒画像に施すローパスフィルタの強度（平滑化度）をカラー画像に比べて弱くすることにより、白黒画像における帯状のぼやけを極力抑えることができる。
（２）領域（テキスト領域）または画像の属性に応じてタイル境界歪み抑制用の適応的ローパスフィルタのＯＮ／ＯＦＦを行い、つまり、絵柄領域または絵柄画像では適応的ローパスフィルタをＯＮとし、非絵柄領域では適応的ローパスフィルタをＯＦＦとすることにより、必要な部分のみに適応的ローパスフィルタをかけることができる。
（３）利用者がタイル境界歪み抑制のための適応的ローパスフィルタを制御できるので、利用者の好みに合った、タイル境界歪み除去画像を得ることができる。（４）ＲＯＩ領域内のみに適応的ローパスフィルタを施すことにより、タイル境界歪み抑制に要する処理時間を短縮することができる。
【図面の簡単な説明】
【図１】ＪＰＥＧ２０００アルゴリズムの基本を説明するための図である。
【図２】タイル分割されたカラー画像の各コンポーネントの例を示す。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブ・バンドを示す。
【図４】コードストリームの構造を示す。
【図５】プレシンクトとコード・ブロックの関係を説明する図である。
【図６】ウエーブレット係数値をビットプレーンに順位付けする手順を示す。
【図７】本発明の実施例１に係る伸長部の構成を示す。
【図８】タイル境界平滑化部７の具体例を示す。
【図９】タイル境界平滑化部８の具体例を示す。
【図１０】本発明の実施例２に係る伸長部の構成を示す。
【図１１】タイル境界からの距離の算出方法を説明する図である。
【図１２】画素間距離によるローパスフィルタ制御を説明する図である。
【図１３】タイル境界からの距離とエッジ量によるローパスフィルタ制御を説明する図である。
【図１４】本発明の実施例３に係る伸長部の構成を示す。
【図１５】タイル境界での平滑化方式判定部の判定処理を説明する図である。
【図１６】タイル境界の交点での平滑化方式判定部の判定処理を説明する図である。
【図１７】カラータイル／白黒タイル判定部の構成を示す。
【図１８】タイル境界平滑化部１４の具体例を示す。
【図１９】本発明の実施例４に係る伸長部の構成を示す。
【図２０】本発明の実施例５に係る伸長部の構成を示す。
【図２１】絵柄／非絵柄タイル判定部の構成を示す。
【図２２】タイル境界平滑化方式判定部の判定処理を説明する図である。
【図２３】タイル境界の交点での平滑化方式判定部の判定処理を説明する図である。
【図２４】本発明の実施例６に係る伸長部の構成を示す。
【図２５】圧縮伸長画像表示ツールを示す。
【図２６】本発明の実施例７に係る伸長部の構成を示す。
【図２７】補正タイル境界限定部でローパスフィルタをかけるタイル境界を限定する第１の例を示す。
【図２８】補正タイル境界限定部でローパスフィルタをかけるタイル境界を限定する第２の例を示す。
【符号の説明】
１　タグ処理部
２　エントロピー復号化部
３　逆量子化部
４　２次元ウェーブレット逆変換部
５　色空間逆変換部
６　カラー白黒画像判定部
７　カラー画像用のタイル境界平滑化部
８　白黒画像用のタイル境界平滑化部
【図１】
2004040252.tif 000003
【図２】
2004040252.tif 000004
【図３】
2004040252.tif 000005
【図４】
2004040252.tif 000006
【図５】
2004040252.tif 000007
【図６】
2004040252.tif 000008
【図７】
2004040252.tif 000009
【図８】
2004040252.tif 000010
【図９】
2004040252.tif 000011
【図１０】
2004040252.tif 000012
【図１１】
2004040252.tif 000013
【図１２】
2004040252.tif 000014
【図１３】
2004040252.tif 000015
【図１４】
2004040252.tif 000016
【図１５】
2004040252.tif 000017
【図１６】
2004040252.tif 000018
【図１７】
2004040252.tif 000019
【図１８】
2004040252.tif 000020
【図１９】
2004040252.tif 000021
【図２０】
2004040252.tif 000022
【図２１】
2004040252.tif 000023
【図２２】
2004040252.tif 000024
【図２３】
2004040252.tif 000025
【図２４】
2004040252.tif 000026
【図２５】
2004040252.tif 000027
【図２６】
2004040252.tif 000028
【図２７】
2004040252.tif 000029
【図２８】
2004040252.tif 000030