(57)【要約】  本発明は、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行する画像形成装置を提供することを目的としている。本発明の画像形成装置に用いられるエッジ維持フィルタは、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻すことにより平滑化処理を実行する。【特許請求の範囲】
【請求項１】
ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理方法であって、
画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行することで、前記ベース成分を抽出可能なエッジ維持フィルタを用いて前記ベース成分を抽出する際に、前記平滑化処理として、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻す、ことを特徴とする画像処理方法。
【請求項２】
ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理方法であって、
画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行することで、前記ベース成分を抽出可能なエッジ維持フィルタを用いて前記ベース成分を抽出する際に、前記平滑化処理として、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現する、ことを特徴とする画像処理方法。
【請求項３】
前記エッジ維持フィルタは、注目画素とその周辺画素との差に関する影響関数ｇと、平滑化処理を実行する平滑化フィルタｆとを少なくとも有する、ことを特徴とする請求の範囲第１項または第２項に記載の画像処理方法。
【請求項４】
ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理装置であって、
画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行することで、前記ベース成分を抽出するエッジ維持フィルタを備え、
前記エッジ維持フィルタは、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻すことにより前記平滑化処理を実行する、ことを特徴とする画像処理装置。
【請求項５】
ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理装置であって、
画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行することで、前記ベース成分を抽出するエッジ維持フィルタを備え、
前記エッジ維持フィルタは、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現することにより前記平滑化処理を実行する、ことを特徴とする画像処理装置。
【請求項６】
前記エッジ維持フィルタは、注目画素とその周辺画素との差に関する影響関数部ｇと、平滑化処理を実行する平滑化フィルタ部ｆとを少なくとも有する、ことを特徴とする請求の範囲第４項または第５項に記載の画像処理装置。
【請求項７】
ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理プログラムであって、
コンピュータに、画像の高周波成分をエッジと認識させ、このエッジを維持しつつ平滑化処理を実行させることで、前記ベース成分を抽出させるエッジ維持フィルタリングルーチンを備え、
前記平滑化処理は、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻す処理であることを特徴とする画像処理プログラム。
【請求項８】
ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理プログラムであって、
コンピュータに、画像の高周波成分をエッジと認識させ、このエッジを維持しつつ平滑化処理を実行させることで、前記ベース成分を抽出させるエッジ維持フィルタリングルーチンを備え、
前記平滑化処理は、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現する処理であることを特徴とする画像処理プログラム。
【請求項９】
前記エッジ維持フィルタリングルーチンは、注目画素とその周辺画素との差に関する影響関数ルーチンｇと、平滑化処理を実行する平滑化フィルタルーチンｆとを少なくとも有する、ことを特徴とする請求の範囲第７項または第８項に記載の画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は各種画像データを処理する画像処理方法および画像処理装置ならびに画像処理プログラムに関し、特に、画像データに含まれるディテール成分とベース成分とに関してエッジ維持フィルタを用いて少なくとも前記ベース成分を抽出することができる画像処理方法および画像処理装置ならびに画像処理プログラムに関する。
【背景技術】
【０００２】
画像データには、各画素の信号値が周辺画素と比較して小刻みに変化するディテール成分と、各画素の信号値が周辺画素と比較して小刻みに変化しないベース成分とが含まれている。ここで、ディテール成分とは画像の細かな変化を表しており、一方、ベース成分は画像の一定の範囲のほぼ一律な明るさの変化などを表している。【０００３】
ここで、図１０に示す画像データの信号値を示す波形図において、実線は画像データの信号値、波線は上述したベース成分である。すなわち、各画素の信号値が周辺画素と比較して小刻みに変化するディテール成分と、該ディテール成分の信号値を一定量シフトさせるベース成分とが含まれている。【０００４】
なお、各種の画像処理において、画像データのダイナミックレンジを圧縮するには、画像データのベース成分とディテール成分とを分離し、このベース成分だけを圧縮したあとに、再びベース成分とディテール成分とを合成するような手法が多く用いられている。【０００５】
このようにすることで、信号値の振幅が大きいベース成分を圧縮しつつもディテール成分は圧縮していないため、画像の明るさなどの部分は圧縮されるものの、画像の細かな描写やニュアンスは失われないという利点がある。【０００６】
なお、以上のようにベース成分とディテール成分とを分離するには、ベース成分を低周波成分であると見なすと共に、ディテール成分を高周波成分と見なして、周波数成分の違いにより分離を行うようにしている。【０００７】
なお、以上のような分離を行う際には、ベース成分を抽出するには注目画素に対し、ある大きさのフィルタ（平滑化フィルタ）をかけて、周辺画素の平均値を取る手法が多い。【０００８】
ここで、図１１（ａ）に示すように、ベース成分の信号値が急激に変化する部分（エッジ部分）が存在している画像データを想定する。このような場合、上述した平滑化フィルタを使用してベース成分を抽出すると、図１１（ｂ）実線に示すように、本来のベース成分（図１１（ｂ）波線）に含まれるエッジ部分、すなわちベース成分の信号値が急激に変化する部分がぼかされることになる。【０００９】
そして、このようにしてエッジ部分がぼけた状態で抽出されたベース成分を圧縮し（図１１（ｂ））、ディテール成分と合成すると、図１１（ｃ）に示すように“ハロ”と呼ばれる滲みあるいは淡い偽輪郭のような成分が生じることになる。【００１０】
なお、以上のハロは、本来はベース成分に含まれる高周波成分がベース成分として検出されないために圧縮されず、ディテール成分側に影響を与えてしまうことが原因であると考えられている。【００１１】
そして、このように、ハロを生じないようにする解決手法としては、高周波成分をエッジ部分と認識し、このエッジ部分の高周波成分を維持しつつベース成分を抽出することが可能なフィルタ（以下、「これをエッジ維持フィルタ」と呼ぶ）を使うことが提案されている。【００１２】
図１２にエッジ維持フィルタによる動作例を示す。ここで、図１２（ａ）に示すように、ベース成分の信号値が急激に変化する部分（エッジ部分）が存在している画像データを想定する。【００１３】
このような場合、図１１で説明した平滑化フィルタではなく、エッジ維持フィルタを使用してベース成分を抽出すると、図１２（ｂ）実線に示すように、本来のベース成分（図１２（ｂ）波線）と同様に、すなわちベース成分の信号値が急激に変化する部分（エッジ部分）がぼかされない状態になる。【００１４】
そして、このようにしてエッジ部分が維持された状態で抽出されたベース成分（図１２（ｂ））を圧縮し、ディテール成分と合成すると、図１２（ｃ）に示すように、ハロが生じていない画像データを生成することができる。【００１５】
この結果、信号値の振幅が大きいベース成分を圧縮しつつもディテール成分は圧縮していないため、画像の明るさなどの部分は圧縮されるものの、画像の細かな描写は失われない状態にすることが可能になる。【００１６】
なお、このようなエッジ維持フィルタについて、両側性フィルタ（bilateral filter）、εフィルタ、メディアンフィルタなど、様々な手法が提案されている。その中の一例としての両側性フィルタの詳しい内容は、以下の非特許文献１に記載されている。【００１７】
また、以上のようなエッジ維持フィルタと同様な結果を得るための画像処理として、小振幅成分のみを平滑化し、大きなエッジ成分に平滑化処理を実行しないことによるベースを抽出する手法については、以下の特許文献１に記載されている。
【非特許文献１】「Fast Bilateral Filtering for the Display of High-Dynamic-Range Images」Fredo Durand and Julie Dorsey著、SIGGRAPH 2002
【特許文献１】特許公開２００１−２７５０１５号公報（第１頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【００１８】
以上の非特許文献１にあるバイラテラルフィルタ（両側性フィルタ）の計算方法は、以下の式（１）により示すことができる。【００１９】
【数１】
2006117919.tif 000002
【００２０】
ここで、ｋ（ｓ）は正規化項、ｆ（ｐ−ｓ）はガウシャンフィルタなどの実空間上で平滑化処理を行う平滑化フィルタである。ここで、ガウシャンフィルタとは、重み関数が正規（ ガウス）分布の平滑化（ぼかし）フィルタである。【００２１】
なお、この平滑化処理を行う平滑化フィルタの処理は、模式的に示せば図１３のようになる。すなわち、各画素毎に、周辺画素を含めて正規分布の重みを付けて平滑化を実行している。【００２２】
また、ｇ（Ｉp−Ｉs）は影響関数と呼ばれる関数であり、周辺画素値Ｉpと注目画素値Ｉsとの差の関数であり、ここでは、差が大きいほどｇの値が小さくなるように定められている。【００２３】
なお、一般のコンボリューションは、フーリエ変換で画像データとフィルタデータを周波数空間上に変換してから乗算し、逆フーリエ変換で実空間上に戻すことにより、処理を高速化することができる。【００２４】
しかし、以上の式（１）では実際に計算する際にｇの値が可変にされるため、フーリエ変換を用いる手法を直接には適用できない。【００２５】
そこで、画素値を等分割にいくつかをピックアップし、セット[ｉj]を作り、各値を注目画素値Ｉsとし、以下に示す式（２）を計算する。【００２６】
たとえば、画素値０〜２５５を、０〜３１，３２〜６３，６４〜９５，９６〜１２７，１２８〜１５９，１６０〜１９１，１９２〜２２３，２２４〜２５５，のように、等分割する。ここでは、画素値０〜２５５の場合に、信号値幅３２で、８分割した例を示した。【００２７】
これにより、ｇの値を固定することができるようになり、フーリエ変換による周波数空間上の平滑化処理が実現できるようになる。そして、最後に、画素ｓの最終出力は画素Ｉsに最も近い２つのｉjの出力値Ｊの線形補間により計算される。【００２８】
【数２】
2006117919.tif 000003
【００２９】
しかし、フーリエ変換では回路規模が大きくなることと、処理の過程で必要になるメモリ容量が大きくなることが予測されるため、ハードウェア化が容易でない。このため、上述した非特許文献１に記載された高速両側性フィルタを、ハードウェア化して実際の装置に搭載することは、困難であるという問題がある。【００３０】
本発明は以上の課題に鑑みてなされたものであって、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能な画像処理方法および画像処理装置ならびに画像処理プログラムを実現することを目的とする。
【課題を解決するための手段】
【００３１】
すなわち、上記の課題を解決する手段としての本願発明は以下に述べるようなものである。【００３２】
（１）請求の範囲第１項に記載の発明は、ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理方法であって、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行することで、前記ベース成分を抽出可能なエッジ維持フィルタを用いて前記ベース成分を抽出する際に、前記平滑化処理として、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻す、ことを特徴とする画像処理方法である。【００３３】
（２）請求の範囲第２項に記載の発明は、ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理方法であって、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行することで、前記ベース成分を抽出可能なエッジ維持フィルタを用いて前記ベース成分を抽出する際に、前記平滑化処理として、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現する、ことを特徴とする画像処理方法である。【００３４】
（３）請求の範囲第３項に記載の発明は、前記エッジ維持フィルタは、注目画素とその周辺画素との差に関する影響関数ｇと、平滑化処理を実行する平滑化フィルタｆとを少なくとも有する、ことを特徴とする請求の範囲第１項または第２項に記載の画像処理方法である。【００３５】
（４）請求の範囲第４項に記載の発明は、ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理装置であって、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行することで、前記ベース成分を抽出するエッジ維持フィルタを備え、前記エッジ維持フィルタは、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻すことにより前記平滑化処理を実行する、ことを特徴とする画像処理装置である。【００３６】
（５）請求の範囲第５項に記載の発明は、ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理装置であって、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行することで、前記ベース成分を抽出するエッジ維持フィルタを備え、前記エッジ維持フィルタは、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現することにより前記平滑化処理を実行する、ことを特徴とする画像処理装置である。【００３７】
（６）請求の範囲第６項に記載の発明は、前記エッジ維持フィルタは、注目画素とその周辺画素との差に関する影響関数部ｇと、平滑化処理を実行する平滑化フィルタ部ｆとを少なくとも有する、ことを特徴とする請求の範囲第４項または第５項に記載の画像処理装置である。【００３８】
（７）請求の範囲第７項に記載の発明は、ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理プログラムであって、コンピュータに、画像の高周波成分をエッジと認識させ、このエッジを維持しつつ平滑化処理を実行させることで、前記ベース成分を抽出させるエッジ維持フィルタリングルーチンを備え、前記平滑化処理は、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻す処理であることを特徴とする画像処理プログラムである。【００３９】
（８）請求の範囲第８項に記載の発明は、ディテール成分とベース成分と含む画像データに対して、少なくとも前記ベース成分を抽出する画像処理プログラムであって、コンピュータに、画像の高周波成分をエッジと認識させ、このエッジを維持しつつ平滑化処理を実行させることで、前記ベース成分を抽出させるエッジ維持フィルタリングルーチンを備え、前記平滑化処理は、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現する処理であることを特徴とする画像処理プログラムである。【００４０】
（９）請求の範囲第９項に記載の発明は、前記エッジ維持フィルタリングルーチンは、注目画素とその周辺画素との差に関する影響関数ルーチンｇと、平滑化処理を実行する平滑化フィルタルーチンｆとを少なくとも有する、ことを特徴とする請求の範囲第７項または第８項に記載の画像処理プログラムである。
【発明の効果】
【００４１】
この発明では、以下のような効果を得ることができる。【００４２】
（１）請求の範囲第１項に記載の画像処理方法の発明では、エッジ維持フィルタを用いて、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行してベース成分を抽出する際に、この平滑化処理として、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻すようにしている。【００４３】
すなわち、平滑化処理を縮小・拡大によっているため実空間で高速に実行できるようになり、また、フーリエ変換に頼っていないため、回路の大規模化が避けられ、処理の過程で大容量のテンポラリファイルを扱うためのメモリなどが不要になり、ハードウェア化が容易になる。これにより、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能になる。【００４４】
（２）請求の範囲第２項に記載の画像処理方法の発明では、エッジ維持フィルタを用いて、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行してベース成分を抽出する際に、この平滑化処理として、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現する。【００４５】
すなわち、周波数分解により得られた低周波成分の逆変換によって平滑化処理を実行しているため高速に実行できるようになり、また、フーリエ変換に頼っていないため、回路の大規模化が避けられ、処理の過程で大容量のテンポラリファイルを扱うためのメモリなどが不要になり、ハードウェア化が容易になる。これにより、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能になる。【００４６】
（３）請求の範囲第３項に記載の画像処理方法の発明では、上記（１）または（２）において、このエッジ維持フィルタは、注目画素とその周辺画素との差に関する影響関数ｇと、平滑化処理を実行する平滑化フィルタｆとを少なくとも有するバイラテラルフィルタを用いることができるようになる。また、さらに注目画素とその周辺画素との勾配に基づく関数を有するトリラテラルフィルタを用いることもできる。【００４７】
（４）請求の範囲第４項に記載の画像処理装置の発明では、エッジ維持フィルタを用いて、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行してベース成分を抽出する際に、この平滑化処理として、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻すようにしている。【００４８】
すなわち、平滑化処理を縮小・拡大によっているため実空間で高速に実行できるようになり、また、フーリエ変換に頼っていないため、回路の大規模化が避けられ、処理の過程で大容量のテンポラリファイルを扱うためのメモリなどが不要になり、ハードウェア化が容易になる。これにより、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能になる。【００４９】
（５）請求の範囲第５項に記載の画像処理装置の発明では、エッジ維持フィルタを用いて、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行してベース成分を抽出する際に、この平滑化処理として、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現する。【００５０】
すなわち、周波数分解により得られた低周波成分の逆変換によって平滑化処理を実行しているため高速に実行できるようになり、また、フーリエ変換に頼っていないため、回路の大規模化が避けられ、処理の過程で大容量のテンポラリファイルを扱うためのメモリなどが不要になり、ハードウェア化が容易になる。これにより、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能になる。【００５１】
（６）請求の範囲第６項に記載の画像処理装置の発明では、上記（４）または（５）において、このエッジ維持フィルタは、注目画素とその周辺画素との差に関する影響関数ｇと、平滑化処理を実行する平滑化フィルタｆとを少なくとも有するバイラテラルフィルタを用いることができるようになる。また、さらに注目画素とその周辺画素との勾配に基づく関数を有するトリラテラルフィルタを用いることもできる。【００５２】
（７）請求の範囲第７項に記載の画像処理プログラムの発明では、エッジ維持フィルタを用いて、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行してベース成分を抽出する際に、この平滑化処理として、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻すようにしている。【００５３】
すなわち、平滑化処理を縮小・拡大によっているため実空間で高速に実行できるようになり、また、フーリエ変換に頼っていないため、回路の大規模化が避けられ、処理の過程で大容量のテンポラリファイルを扱うためのメモリなどが不要になり、ハードウェア化が容易になる。これにより、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能になる。【００５４】
（８）請求の範囲第８項に記載の画像処理プログラムの発明では、エッジ維持フィルタを用いて、画像の高周波成分をエッジと認識し、このエッジを維持しつつ平滑化処理を実行してベース成分を抽出する際に、この平滑化処理として、画像データを複数の周波数成分に分解し、分解された中で低い周波数成分を保留し逆変換して画像データを再現する。【００５５】
すなわち、周波数分解により得られた低周波成分の逆変換によって平滑化処理を実行しているため高速に実行できるようになり、また、フーリエ変換に頼っていないため、回路の大規模化が避けられ、処理の過程で大容量のテンポラリファイルを扱うためのメモリなどが不要になり、ハードウェア化が容易になる。これにより、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能になる。【００５６】
（９）請求の範囲第９項に記載の画像処理プログラムの発明では、上記（７）または（８）において、このエッジ維持フィルタは、注目画素とその周辺画素との差に関する影響関数ｇと、平滑化処理を実行する平滑化フィルタｆとを少なくとも有するバイラテラルフィルタを用いることができるようになる。また、さらに注目画素とその周辺画素との勾配に基づく関数を有するトリラテラルフィルタを用いることもできる。
【図面の簡単な説明】
【００５７】
【図１】本発明の第１実施形態の画像処理装置の構成を示す機能ブロック図である。
【図２】本発明の実施形態の画像処理装置が適用される具体的な装置の構成を示すブロック図である。
【図３】本発明の第１実施形態の画像処理装置の動作（画像処理方法の手順、画像処理プログラムの手順）を示すフローチャートである。
【図４】本発明の第１実施形態の画像処理装置の動作（画像処理方法の手順、画像処理プログラムの手順）における画像データの処理の際の計算の様子を示す説明図である。
【図５】本発明の第１実施形態の画像処理装置の動作（画像処理方法の手順、画像処理プログラムの手順）における画像データの処理の様子を示すタイミングチャート（特性図）である。
【図６】本発明の第１実施形態の画像処理装置の動作（画像処理方法の手順、画像処理プログラムの手順）における主要部の処理の様子を示すタイミングチャート（特性図）である。
【図７】本発明の第１実施形態の画像処理装置の動作（画像処理方法の手順、画像処理プログラムの手順）における主要部の処理の様子を示すタイミングチャート（特性図）である。
【図８】本発明の第２の実施形態の画像処理装置の構成を示す機能ブロック図である。
【図９】本発明の第２の実施形態の画像処理装置の動作（画像処理方法の手順、画像処理プログラムの手順）における画像データの処理の様子を示す説明図である。
【図１０】画像データに含まれるディテール成分とベース成分との様子を模式的に示す特性図である。
【図１１】従来の画像処理において平滑化フィルタを使用したベース成分の抽出の様子を示すタイミングチャート（特性図）である。
【図１２】従来の画像処理においてエッジ維持フィルタを使用したベース成分の抽出の様子を示すタイミングチャート（特性図）である。
【図１３】従来の画像処理においてエッジ維持フィルタで実行されるガウシャンフィルタの様子を模式的に示す説明図である。
【符号の説明】
【００５８】
１００  画像処理装置
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１１０  演算部
１２０  第１フィルタ部（エッジ維持フィルタ）
１２２  周波数検出部
１２４  影響関数算出部
１４０  ディテール成分抽出部
１５０  圧縮部
１６０  合成部
１７０  操作部
１８０  表示部
１９０  ＨＤＤ
【発明を実施するための最良の形態】
【００５９】
以下、図面を参照して本発明を実施するための最良の形態（以下、実施形態）を詳細に説明する。【００６０】
〈第１実施形態〉
まず、図１以降を参照して、本発明の画像処理方法および画像処理装置ならびに画像処理プログラムを画像処理装置に適用した場合の第１実施形態の電気的構成の具体例を説明する。【００６１】
すなわち、本実施形態において、画像処理装置の動作は画像処理方法の処理手順であり、画像処理プログラムの実行手順は画像処理装置の動作または画像処理方法の処理手順である。【００６２】
ここで、画像処理装置は以下の各手段から構成されている。なお、図１は本実施形態の画像処理装置の主要部分の機能的な構成を示す機能ブロック図、図２は画像処理装置を構成する具体的な回路や装置の一例を示すブロック図である。また、この画像処理装置の構成は、画像処理方法を実行するための実現手段であり、また、画像処理プログラムの各ルーチンでもある。【００６３】
ここで、１１０は、画像処理装置１００（図２参照）内で画像処理の演算を実行する演算部である。この演算部１１０は、画像処理装置１００内にあって、画像データに含まれるディテール成分と、該ディテール成分の信号値を一定量シフトさせるベース成分とを分離して、それぞれ適した処理をした後に再び合成して画像データとする演算を行う。【００６４】
なお、この演算部１１０は、画像データに含まれるベース成分におけるエッジ部分が急激な変化であっても滑らかな変化であっても、エッジ部分を正しく維持しつつ、エッジ部分を含まない状態でベース成分を抽出することが可能に構成されている。【００６５】
そして、この演算部１１０は、機能的には、エッジ維持フィルタ１２０、ディテール成分抽出部１４０、圧縮部１５０、合成部１６０を少なくとも有している。【００６６】
ここで、１２０は、画像のエッジ部分を維持しつつ、エッジ部分を含まない状態で平滑化処理を実行してベース成分を抽出可能なエッジ維持フィルタである。このエッジ維持フィルタ１２０は、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻すことで、実空間上で平滑化処理を実行する縮小拡大処理部としての平滑化処理部１２２と、注目画素と周辺画素との信号値の差（エッジか否か）に応じた値を出力する影響関数の計算を行う影響関数算出部１２４と、を備えて構成されている。【００６７】
なお、このエッジ維持フィルタ１２０としては、注目画素とその周辺画素との差に関する影響関数ｇと、平滑化処理を実行する平滑化フィルタｆとを少なくとも有するバイラテラルフィルタを用いることができる。また、影響関数ｇと、平滑化フィルタｆと、さらに注目画素とその周辺画素との勾配に基づく関数を有するトリラテラルフィルタを用いることもできる。【００６８】
１４０は、入力された画像データに含まれているベース成分を画像データから減算するか、あるいは、入力された画像データに含まれているベース成分で画像データを除算することにより、画像データに含まれるディテール成分を抽出するディテール成分抽出部である。ここで、ディテール成分とは、画像データの各画素の信号値が周辺画素と比較して小刻みに変化している成分であり、主に高周波成分によって構成されている。【００６９】
１５０は、上述したエッジ維持フィルタ１２０により抽出されたベース成分の信号値を所定の割合で圧縮することで振幅（ダイナミックレンジ）を小さくする圧縮処理を実行する圧縮部である。【００７０】
１６０は、圧縮されたベース成分とディテール成分とを合成する合成部である。なお、ディテール成分抽出部１４０で減算を実行した場合には、この合成部１６０ではベース成分とディテール成分との加算によって合成を行う。また、ディテール成分抽出部１４０で除算を実行した場合には、この合成部１６０ではベース成分とディテール成分とを掛け合わせることによって合成を行う。この合成部１６０からは、信号値の振幅が大きいベース成分が圧縮されつつ、ディテール成分は圧縮されていないため、画像の明るさなどの部分は圧縮されるものの、画像の細かな描写は失われない状態の画像データが出力される。【００７１】
図２において、画像処理装置１００は、ハードウェアとして、以下のものを有して構成されている。【００７２】
図１で機能的構成を示した演算部１１０は、各部を制御する制御手段としてのＣＰＵ１０１と、各種データや各種プログラムが格納されているＲＯＭ１０２と、画像データが展開されて処理される作業エリアとしてのＲＡＭ１０３と、を有している。【００７３】
１７０は画像処理装置１００に対してオペレータ（使用者）が各種指示を入力する操作部、１８０は画像処理装置１００の各種状態を表示する表示部、１９０は画像データや各種データが格納されるＨＤＤである。【００７４】
以上のような構成の画像処理装置の動作、画像処理方法の処理手順、画像処理プログラムの実行手順について、以下に説明する。【００７５】
この実施形態では、エッジ維持フィルタ１２０を用いて、上述した（２）式の演算を行うようにしており、影響関数算出部１２４で影響関数ｇによって画素値の差から画像の高周波成分をエッジと認識し、このエッジを維持しつつ、平滑化処理部１２２で平滑化処理を実行してベース成分を抽出する。【００７６】
すなわち、影響関数算出部１２４が影響関数ｇにより注目画素と周辺画素との画素値の差を監視しており、差が大きければエッジ部分であり、差が小さければ非エッジ部分であると判別できる。このような影響関数算出部１２４の影響関数ｇの算出結果に応じて、平滑化処理部１２２は、エッジ部分では平滑化処理を実行せず、非エッジ部分で平滑化処理を実行する。このようにして、画像のエッジを維持しつつ、非エッジ部分で平滑化処理が実行される。このような平滑化処理の際に、本実施形態では、この平滑化処理として、画像データを縮小処理して画素数を減じた後に拡大処理によって画素数を戻すようにしている。【００７７】
すなわち、平滑化処理部１２２による平滑化処理の部分を、従来提案されていたフーリエ変換による周波数空間上の計算の代わりに、図３に示すように、画像を一旦縮小して画素数を減じた後、また拡大して画素数を増やす（戻す）ことにより、画像をぼかし、実質上平滑化フィルタ処理と同等な処理効果が得られる。【００７８】
この平滑化処理部１２２での画像の縮小手法について、画像をブロックで分割し、各ブロックの平均値を縮小画像の一画素値とする方法が挙がられる。また、平滑化処理部１２２での拡大手法について、最も近い4つの画素から線形補間するバイリニア法が挙げられる。【００７９】
このように、エッジ維持フィルタ１２０での平滑化処理部１２２において、平滑処理を縮小処理・拡大処理にすることで、実空間で高速に実行できるようになる。また、平滑化処理をフーリエ変換に頼っていないため、回路の大規模化が避けられ、処理の過程で大容量のテンポラリファイルを扱うためのメモリなどが不要になり、ハードウェア化が容易になる。これにより、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能になる。【００８０】
なお、以上の第１実施形態の処理を、上述した式（２）に適用した場合の計算の流れを示すと図４のようになる。【００８１】
ここでは、画素値を等分割にいくつかをピックアップし、セット[ｉj]を作り、各値を注目画素値Ｉsとし、式（２）を計算する。【００８２】
たとえば、画素値０〜２５５を、０〜３１，３２〜６３，６４〜９５，９６〜１２７，１２８〜１５９，１６０〜１９１，１９２〜２２３，２２４〜２５５，のように、等分割する。ここでは、画素値０〜２５５の場合に、信号値幅３２で、８分割した例を示すが、他の分割でもよい。【００８３】
すなわち、分割された区間でＪが0〜NB_SEGMENTSの範囲で、影響関数ｇによってＧを算出し、また、正規化係数Ｋを算出し、Ｇと画素値ＩとからＨを算出し、このＨを縮小処理と拡大処理とによって平滑化処理する。さらに、この平滑化処理された値を正規化係数Ｋで正規化してＪを得る。そして、最後に、画素ｓの最終出力Ｊsは画素Ｉsに最も近い２つのｉjの出力値Ｊsjの線形補間により計算される。【００８４】
なお、以上の第１実施形態の説明において、縮小処理と拡大処理とによる平滑化処理の効果は、縮小・拡大倍率に影響される。【００８５】
縮小・拡大倍率を適正時よりも大きくして縮小後の画像サイズが小さくなりすぎると、図５（ｂ）に示すように、画像の平滑化値は距離の近い周辺画素の高周波成分に大きく影響され、結果として、エッジ部分がぼかされてしまうことがある。そして、この部分にハロと呼ばれる状態が発生してしまう。よって、良質な画像が得られない。【００８６】
一方、縮小・拡大倍率を適正時よりも小さくして縮小後の画像サイズが大きすぎると、図６（ｂ）に示すように、広すぎる範囲で平滑化処理が実行される結果、抽出されるベース値のダイナミックレンジが小さくなる。このため、ディテール中にベース成分の変化分が残ってしまって、ディテールのダイナミックレンジが大きくなってしまい、最終的に合成された画像のレンジも大きくなってしまう（図７参照）。よって、当初の目的を達成できない。【００８７】
そこで、経験値により、縮小後の画像サイズは、以下の式（３）のようにして計算することが望ましい。【００８８】
α1×画像横幅／画像縦幅＜縮小サイズ＜α2×画像横幅／縦幅  …（３）
なお、ここで、α1＝0.01、α2＝0.1である。また、計算結果は整数でない場合は、最も近い0でない整数に丸める。【００８９】
このようなサイズ、あるいは、倍率で縮小・拡大処理して平滑化処理を実行することで、どのような画像サイズでも、より最適なエッジ維持平滑化処理効果が得られる。【００９０】
なお、変形例として、縮小・拡大手法は以上の第１実施形態に述べたものに限らず、二アレストネイバー法、バイキュービック法など、どんな方法であってもよい。この結果、処理の多様性に対応できるようになる。【００９１】
〈第２実施形態〉
本発明の画像処理方法および画像処理装置ならびに画像処理プログラムを画像処理装置に適用した場合の第２実施形態を説明する。【００９２】
ここで、本実施形態において、画像処理装置の動作は画像処理方法の処理手順であり、画像処理プログラムの実行手順は画像処理装置の動作または画像処理方法の処理手順である。【００９３】
この第２実施形態では、以上の第１実施形態における平滑化処理部１２２での平滑化処理の部分を、従来のフーリエ変換による周波数空間上の計算の代わりに、また、第１実施形態の縮小・拡大処理の代わりに、図８に示すように、周波数分解・合成部としての平滑化処理部１２３を配置し、周波数分解手法を用いる。【００９４】
ここで、平滑化処理部１２３では、図９に示すように、画像データを複数の周波数帯に分解し（図９（ａ）、（ｂ）、（ｃ））、最も低い周波数成分のみを保留し（図９（ｄ））、逆変換する（図９（ｅ））。このようにすることにより、画像をぼかし、実質上平滑化フィルタ処理と同等な処理効果が得られる。周波数分解手法については、ウェーブレット変換を用いることができる。【００９５】
このように、エッジ維持フィルタ１２０での平滑化処理部１２３において、平滑処理を周波数分解・合成処理にすることで、高速に実行できるようになる。また、平滑化処理をフーリエ変換に頼っていないため、回路の大規模化が避けられ、処理の過程で大容量のテンポラリファイルを扱うためのメモリなどが不要になり、ハードウェア化が容易になる。これにより、ハードウェア化されたエッジ維持フィルタを用いて高速に処理を実行することが可能になる。【００９６】
なお、以上の第２実施形態の説明において、周波数分解処理・合成処理による平滑化処理の効果は、周波数分解処理の分解倍率に影響される。【００９７】
すなわち、周波数分解倍率を適正時よりも大きくして周波数分解後の画像サイズが小さくなりすぎると、図５（ｂ）に示すように、画像の平滑化値は距離の近い周辺画素の高周波成分に大きく影響され、結果として、エッジ部分がぼかされてしまうことがある。そして、この部分にハロと呼ばれる状態が発生してしまう。よって、良質な画像が得られない。【００９８】
一方、周波数分解倍率を適正時よりも小さくして周波数分解後の画像サイズが大きすぎると、図６（ｂ）に示すように、広すぎる範囲で平滑化処理が実行される結果、抽出されるベース値のダイナミックレンジが小さくなる。このため、ディテール中にベース成分の変化分が残ってしまって、ディテールのダイナミックレンジが大きくなってしまい、最終的に合成された画像のレンジも大きくなってしまう（図７参照）。よって、当初の目的を達成できない。【００９９】
そこで、経験値により、周波数分解後の画像サイズを決定づける周波数分解倍率は、以下の式（４）のようにして計算することが望ましい。ｌｏｇ2(α1×画像横幅／縦幅)＜分解レベル＜ｌｏｇ2(α2×画像横幅／縦幅)…（４），
なお、ここで、α1＝0.01、α2＝0.1である。また、ここで、計算結果が整数でない場合は、最も近い０でない整数に丸める。【０１００】
このようなサイズ、あるいは、倍率で周波数分解処理と周波数合成処理とにより平滑化処理を実行することで、どのような画像サイズでも、より最適なエッジ維持平滑化処理効果が得られる。【０１０１】
なお、周波数分解手法で画像データを一旦複数の周波数帯に分解し、最も低い周波数成分に限らず、その他の所望な低周波成分を保留し逆変換してもよい。このようにすることで、目的の多様性に対応できるようになる。【０１０２】
〈その他の実施形態〉
また、以上の各実施形態は、モノクロ画像データだけでなく、カラー画像データに適用することが可能である。カラー画像データに適用する場合には、ＲＧＢあるいはＹＭＣＫなどの色別の画像データ毎に適用することが可能である。また、輝度信号・色差信号などの場合には、輝度信号のみ、あるいは、輝度信号と色差信号の両方の、いずれに適用することも可能である。
【図９】
2006117919.tif 000004
【図１】
2006117919.tif 000005
【図２】
2006117919.tif 000006
【図３】
2006117919.tif 000007
【図４】
2006117919.tif 000008
【図５】
2006117919.tif 000009
【図６】
2006117919.tif 000010
【図７】
2006117919.tif 000011
【図８】
2006117919.tif 000012
【図１０】
2006117919.tif 000013
【図１１】
2006117919.tif 000014
【図１２】
2006117919.tif 000015
【図１３】
2006117919.tif 000016
【国際調査報告】
2006117919.tif 000017
2006117919.tif 000018
2006117919.tif 000019