(57)【特許請求の範囲】
【請求項１】
互いに異なるサイズ又はアスペクト比を有する複数のボックスフィルタによる平滑化を実行することで、前記複数のボックスフィルタに対応する複数の平滑化画像を生成する複合ボックスフィルタ処理を入力画像に行う複合ボックスフィルタ処理部と、
前記複数の平滑化画像の各々に含まれる複数の画素の各々と、前記入力画像の対応する画素との差分値からオフセットを減算した値が小さいほど大きな重みとなるような重みを前記複数の画素の各々で算出し、前記複数の平滑化画像に対応して前記算出された重みを画素毎に示す複数の合成重みマップを、合成ルールとして生成する合成ルール特定部と、
前記複数の合成重みマップに従って重み付き加算平均を行うことにより、前記複数の平滑化画像を合成する合成処理を実行して、合成フィルタ処理画像を生成する合成処理部と、を備え、
前記オフセットは、前記差分値を算出する際に用いられた画素値を含む前記平滑化画像を生成する際に用いられた前記ボックスフィルタの面積が大きくなるほど小さくなること
を特徴とする画像処理装置。
【請求項２】
互いに異なるサイズ又はアスペクト比を有する複数のボックスフィルタによる平滑化を実行することで、前記複数のボックスフィルタに対応する複数の平滑化画像を生成する複合ボックスフィルタ処理を入力画像に行う複合ボックスフィルタ処理部と、
前記複数の平滑化画像の各々に含まれる複数の画素の各々と、前記入力画像の対応する画素との差分値からオフセットを減算した値の内、最も小さい値に対応する画素を特定し、前記複数の平滑化画像に対応して、前記特定された画素を画素毎に示す複数の合成重みマップを、合成ルールとして生成する合成ルール特定部と、
前記複数の合成重みマップに従って、前記複数の平滑化画像から前記特定された画素の画素値を合成フィルタ処理画像の画素値として選択することで、前記複数の平滑化画像を合成する合成処理を実行して、前記合成フィルタ処理画像を生成する合成処理部と、を備え、
前記オフセットは、前記差分値を算出する際に用いられた画素値を含む前記平滑化画像を生成する際に用いられた前記ボックスフィルタの面積が大きくなるほど小さくなること
を特徴とする画像処理装置。
【請求項３】
前記複合ボックスフィルタ処理部は、前記複数のボックスフィルタとして、正方形の第１のボックスフィルタと、長方形の第２のボックスフィルタと、前記第２のボックスフィルタとはアスペクト比が異なる長方形の第３のボックスフィルタと、前記第１のボックスフィルタよりもサイズが小さい正方形の第４のボックスフィルタとを用いること
を特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第２のボックスフィルタは、縦幅が前記第１のボックスフィルタの縦幅と同じであり、横幅が前記第４のボックスフィルタの横幅と同じであり、
前記第３のボックスフィルタは、縦幅が前記第４のボックスフィルタの縦幅と同じであり、横幅が前記第１のボックスフィルタの横幅と同じであること
を特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記複合ボックスフィルタ処理部は、前記複数のボックスフィルタとして、正方形の第１のボックスフィルタと、長方形の第２のボックスフィルタと、前記第２のボックスフィルタとはアスペクト比が異なる長方形の第３のボックスフィルタとを用いること
を特徴とする請求項１又は２に記載の画像処理装置。
【請求項６】
前記第２のボックスフィルタは、縦幅が前記第１のボックスフィルタと同じであり、横幅が、前記第１のボックスフィルタの横幅よりも小さく、
前記第３のボックスフィルタは、縦幅が前記第２のボックスフィルタの横幅と同じであり、横幅が前記第１のボックスフィルタの横幅と同じであること
を特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記第２のボックスフィルタは、横幅が前記第１のボックスフィルタと同じであり、縦幅が、前記第１のボックスフィルタの縦幅よりも大きく、
前記第３のボックスフィルタは、横幅が前記第２のボックスフィルタの縦幅と同じであり、縦幅が前記第１のボックスフィルタの縦幅と同じであること
を特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記複合ボックスフィルタ処理部は、インテグラルイメージを用いて、前記平滑化を実行すること
を特徴とする請求項１から７の何れか一項に記載の画像処理装置。
【請求項９】
前記入力画像又は前記合成フィルタ処理画像に対して、前記複合ボックスフィルタ処理及び前記合成処理を少なくとも１回実行することで、合成画像を生成する中間画像合成フィルタ処理部をさらに備えること
を特徴とする請求項１から８の何れか一項に記載の画像処理装置。
【請求項１０】
ガイデッドフィルタ処理の自乗和として、前記合成画像及び前記合成フィルタ処理画像の加算を行い、前記ガイデッドフィルタ処理における前記入力画像と出力画像の線系関係を定義する近似係数の算出に前記合成フィルタ処理画像を用いる演算部をさらに備えること
を特徴とする請求項９に記載の画像処理装置。
【請求項１１】
互いに異なるサイズ又はアスペクト比を有する複数のボックスフィルタによる平滑化を実行することで、前記複数のボックスフィルタに対応する複数の平滑化画像を生成する複合ボックスフィルタ処理を入力画像に行い、
前記複数の平滑化画像の各々に含まれる複数の画素の各々と、前記入力画像の対応する画素との差分値からオフセットを減算した値が小さいほど大きな重みとなるような重みを前記複数の画素の各々で算出し、前記複数の平滑化画像に対応して前記算出された重みを画素毎に示す複数の合成重みマップを、合成ルールとして生成し、
前記複数の合成重みマップに従って重み付き加算平均を行うことにより、前記複数の平滑化画像を合成する合成処理を実行して、合成フィルタ処理画像を生成し、
前記オフセットは、前記差分値を算出する際に用いられた画素値を含む前記平滑化画像を生成する際に用いられた前記ボックスフィルタの面積が大きくなるほど小さくなること
を特徴とする画像処理方法。
【請求項１２】
互いに異なるサイズ又はアスペクト比を有する複数のボックスフィルタによる平滑化を実行することで、前記複数のボックスフィルタに対応する複数の平滑化画像を生成する複合ボックスフィルタ処理を入力画像に行い、
前記複数の平滑化画像の各々に含まれる複数の画素の各々と、前記入力画像の対応する画素との差分値からオフセットを減算した値の内、最も小さい値に対応する画素を特定し、前記複数の平滑化画像に対応して、前記特定された画素を画素毎に示す複数の合成重みマップを、合成ルールとして生成し、
前記複数の合成重みマップに従って、前記複数の平滑化画像から前記特定された画素の画素値を合成フィルタ処理画像の画素値として選択することで、前記複数の平滑化画像を合成する合成処理を実行して、前記合成フィルタ処理画像を生成し、
前記オフセットは、前記差分値を算出する際に用いられた画素値を含む前記平滑化画像を生成する際に用いられた前記ボックスフィルタの面積が大きくなるほど小さくなること
を特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関する。
【背景技術】
【０００２】
画像のエッジを保存しつつ、画像のノイズ又は圧縮歪等のアーティファクトを低減するエッジを保存して平滑化するフィルタ処理技術がある。この技術では、一般的に、ある画素に注目して、その注目画素の周辺の矩形領域に存在する画素を加算平均することで平滑化が行われる。画像フィルタ処理は、一般に、フィルタサイズに依存して計算コストが増大する。【０００３】
ここでインテグラルイメージ手法と呼ばれるアプローチを用いると、フィルタ処理でよく行われる、矩形領域の平均又は標準偏差（分散）の計算に必要な画素値の和又は自乗和を、カーネルサイズに依存せずに、高速に算出することが可能となる。平滑化フィルタ処理をインテグラルイメージ手法が適用可能な処理の組合せで構成すれば、計算コストの少ないフィルタを設計することができる。【０００４】
ここで、インテグラルイメージ手法では、フィルタサイズが画像全体で固定となる。フィルタサイズを大きく設定した場合には、エッジ領域を強く平滑化してしまう。一方、フィルタサイズを小さく設定した場合、エッジ領域及び平坦領域に対する平滑化効果が低くなる。このため、エッジ近傍及び平坦領域に対する平滑化効果を高めるための手法が求められている。【０００５】
例えば、特許文献１には、予め入力画像に対してエッジ画像を生成し、フィルタ処理では入力画像の注目画素及び注目矩形領域を走査し、注目矩形領域にエッジ画素が含まれる場合は、「フィルタサイズ」、「オフセット」及び「オーバラップ」のいずれかを変更して平滑化処理を行うことで、入り組んだエッジ近辺でも平滑化処理を行う画像処理装置が提案されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−１３５５９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の画像処理装置は、エッジ近傍ではフィルタサイズを縮小するため、エッジ近傍の平滑化効果が低くなる。また、従来の画像処理装置は、注目矩形領域内にエッジ画素が含まれるかを逐次判定し、その判定結果を基にフィルタサイズを変更するため、画像全体処理となるインテグラルイメージ手法を適用できず、計算コストが大きくなる。【０００８】
そこで、本発明の１又は複数の態様は、複数のボックスフィルタを用いることで、エッジ又は勾配を保存しつつ、エッジ近傍及び平坦領域に対する平滑化効果を高めることができるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の第一の態様に係る画像処理装置は、互いに異なるサイズ又はアスペクト比を有する複数のボックスフィルタによる平滑化を実行することで、前記複数のボックスフィルタに対応する複数の平滑化画像を生成する複合ボックスフィルタ処理を入力画像に行う複合ボックスフィルタ処理部と、前記複数の平滑化画像の各々に含まれる複数の画素の各々と、前記入力画像の対応する画素との差分値からオフセットを減算した値が小さいほど大きな重みとなるような重みを前記複数の画素の各々で算出し、前記複数の平滑化画像に対応して前記算出された重みを画素毎に示す複数の合成重みマップを、合成ルールとして生成する合成ルール特定部と、前記複数の合成重みマップに従って重み付き加算平均を行うことにより、前記複数の平滑化画像を合成する合成処理を実行して、合成フィルタ処理画像を生成する合成処理部と、を備え、前記オフセットは、前記差分値を算出する際に用いられた画素値を含む前記平滑化画像を生成する際に用いられた前記ボックスフィルタの面積が大きくなるほど小さくなることを特徴とする。
また、本発明の第二の態様に係る画像処理装置は、互いに異なるサイズ又はアスペクト比を有する複数のボックスフィルタによる平滑化を実行することで、前記複数のボックスフィルタに対応する複数の平滑化画像を生成する複合ボックスフィルタ処理を入力画像に行う複合ボックスフィルタ処理部と、前記複数の平滑化画像の各々に含まれる複数の画素の各々と、前記入力画像の対応する画素との差分値からオフセットを減算した値の内、最も小さい値に対応する画素を特定し、前記複数の平滑化画像に対応して、前記特定された画素を画素毎に示す複数の合成重みマップを、合成ルールとして生成する合成ルール特定部と、前記複数の合成重みマップに従って、前記複数の平滑化画像から前記特定された画素の画素値を合成フィルタ処理画像の画素値として選択することで、前記複数の平滑化画像を合成する合成処理を実行して、前記合成フィルタ処理画像を生成する合成処理部と、を備え、前記オフセットは、前記差分値を算出する際に用いられた画素値を含む前記平滑化画像を生成する際に用いられた前記ボックスフィルタの面積が大きくなるほど小さくなることを特徴とする。
【００１０】
本発明の第一の態様に係る画像処理方法は、互いに異なるサイズ又はアスペクト比を有する複数のボックスフィルタによる平滑化を実行することで、前記複数のボックスフィルタに対応する複数の平滑化画像を生成する複合ボックスフィルタ処理を入力画像に行い、前記複数の平滑化画像の各々に含まれる複数の画素の各々と、前記入力画像の対応する画素との差分値からオフセットを減算した値が小さいほど大きな重みとなるような重みを前記複数の画素の各々で算出し、前記複数の平滑化画像に対応して前記算出された重みを画素毎に示す複数の合成重みマップを、合成ルールとして生成し、前記複数の合成重みマップに従って重み付き加算平均を行うことにより、前記複数の平滑化画像を合成する合成処理を実行して、合成フィルタ処理画像を生成し、前記オフセットは、前記差分値を算出する際に用いられた画素値を含む前記平滑化画像を生成する際に用いられた前記ボックスフィルタの面積が大きくなるほど小さくなることを特徴とする画像処理方法。
本発明の第二の態様に係る画像処理方法は、互いに異なるサイズ又はアスペクト比を有する複数のボックスフィルタによる平滑化を実行することで、前記複数のボックスフィルタに対応する複数の平滑化画像を生成する複合ボックスフィルタ処理を入力画像に行い、前記複数の平滑化画像の各々に含まれる複数の画素の各々と、前記入力画像の対応する画素との差分値からオフセットを減算した値の内、最も小さい値に対応する画素を特定し、前記複数の平滑化画像に対応して、前記特定された画素を画素毎に示す複数の合成重みマップを、合成ルールとして生成し、前記複数の合成重みマップに従って、前記複数の平滑化画像から前記特定された画素の画素値を合成フィルタ処理画像の画素値として選択することで、前記複数の平滑化画像を合成する合成処理を実行して、前記合成フィルタ処理画像を生成し、前記オフセットは、前記差分値を算出する際に用いられた画素値を含む前記平滑化画像を生成する際に用いられた前記ボックスフィルタの面積が大きくなるほど小さくなることを特徴とする。
【発明の効果】
【００１１】
本発明の１又は複数の態様によれば、複数のボックスフィルタを用いることで、エッジ又は勾配を保存しつつ、エッジ近傍及び平坦領域に対する平滑化効果を高めることができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１に係る画像処理装置の構成を概略的に示すブロック図である。
【図２】（Ａ）〜（Ｅ）は、インテグラルイメージ手法を説明するための概略図である。
【図３】（Ａ）〜（Ｄ）は、ボックスフィルタを示す概略図である。
【図４】インテグラルイメージの生成方法を説明するための概略図である。
【図５】中間画像合成フィルタ処理部の一例を概略的に示すブロック図である。
【図６】（Ａ）及び（Ｂ）は、ハードウェア構成例を示すブロック図である。
【図７】画像処理方法を示すフローチャートである。
【図８】変形例に係る画像処理装置の構成を概略的に示すブロック図である。
【図９】実施の形態２に係る画像処理装置の構成を概略的に示すブロック図である。
【発明を実施するための形態】
【００１３】
実施の形態１．
図１は、実施の形態１に係る画像処理装置１００の構成を概略的に示すブロック図である。
画像処理装置１００は、入力画像合成フィルタ処理部１０１と、中間画像合成フィルタ処理部１１０とを備える。
入力画像合成フィルタ処理部１０１は、入力画像ＤＩＮをフィルタ処理することで、合成フィルタ処理画像Ｄ３を生成する。そして、入力画像合成フィルタ処理部１０１は、合成フィルタ処理画像Ｄ３及び後述する合成重みマップＤ２−１〜Ｄ２−４を中間画像合成フィルタ処理部１１０に与える。
【００１４】
入力画像合成フィルタ処理部１０１は、複合ボックスフィルタ処理部１０２と、合成ルール特定部１０７と、合成処理部１０８とを備える。
【００１５】
複合ボックスフィルタ処理部１０２は、複合ボックスフィルタ処理を入力画像ＤＩＮに行う。複合ボックス処理は、互いに異なるサイズ又はアスペクト比を有する複数のボックスフィルタによる平滑化を実行することで、複数のボックスフィルタに対応する複数の平滑化画像Ｄ１−１〜Ｄ１−４を生成する処理である。例えば、複合ボックスフィルタ処理部１０２は、入力画像ＤＩＮに対して、複数のボックスフィルタを用いて、インテグラルイメージ手法により、エッジ保存平滑化を行う。そして、複合ボックスフィルタ処理部１０２は、複合ボックスフィルタ処理の結果である平滑化画像Ｄ１−１〜Ｄ１−４を合成ルール特定部１０７及び合成処理部１０８に与える。
【００１６】
まず、インテグラルイメージ手法について説明する。
インテグラルイメージは、画像の原点からある注目画素までの画素値を総和した画素値からなる画像をＩＭＧ、インテグラルイメージをＩＮＴＥＧＲＡＬとした場合の、ある座標（ｘ，ｙ）での対応関係を式（１）に示す。
【数１】
0006896177.tif 000002
【００１７】
インテグラルイメージを用いることで、例えば、図２（Ａ）に示されている画像中の任意の矩形領域ＡＲの加算値Ｖは、式（２）に示されているように、図２（Ｂ）〜図２（Ｅ）に示されているインテグラルイメージＩＩ１〜ＩＩ４の加減算で算出可能となる。
【数２】
0006896177.tif 000003
【００１８】
図１に戻り、複合ボックスフィルタ処理部１０２は、大ボックスフィルタ処理部１０３と、垂直ボックスフィルタ処理部１０４と、水平ボックスフィルタ処理部１０５と、小ボックスフィルタ処理部１０６とを備える。
大ボックスフィルタ処理部１０３、垂直ボックスフィルタ処理部１０４、水平ボックスフィルタ処理部１０５及び小ボックスフィルタ処理部１０６の各々は、異なるサイズ及び異なるアスペクト比の少なくとも何れか一方を有するボックスフィルタを用いて、インテグラルイメージ手法により、エッジ保存平滑化フィルタ処理を行う。
【００１９】
図３（Ａ）〜（Ｄ）は、複合ボックスフィルタ処理部１０２で使用されるボックスフィルタを示す概略図である。
大ボックスフィルタ処理部１０３は、例えば、図３（Ａ）に示されているような、横幅×縦幅がＭ×Ｍ画素（Ｍは、２以上の整数）のサイズからなるボックスフィルタＢＦ１を用いて、入力画像ＤＩＮにエッジ保存平滑化フィルタ処理を行い、平滑化画像Ｄ１−１を生成する。
垂直ボックスフィルタ処理部１０４は、例えば、図３（Ｂ）に示されているような、Ｎ×Ｍ画素（Ｎは、Ｎ＜Ｍを満たす１以上の整数）のサイズからなるボックスフィルタＢＦ２を用いて、入力画像ＤＩＮにエッジ保存平滑化フィルタ処理を行い、平滑化画像Ｄ１−２を生成する。
【００２０】
水平ボックスフィルタ処理部１０５は、例えば、図３（Ｃ）に示されているような、Ｍ×Ｎ画素のサイズからなるボックスフィルタＢＦ３を用いて、入力画像ＤＩＮにエッジ保存平滑化フィルタ処理を行い、平滑化画像Ｄ１−３を生成する。
小ボックスフィルタ処理部１０６は、例えば、図３（Ｄ）に示されているような、Ｎ×Ｎ画素のサイズからなるボックスフィルタＢＦ４を用いて、入力画像ＤＩＮにエッジ保存平滑化フィルタ処理を行い、平滑化画像Ｄ１−４を生成する。
【００２１】
通常、インテグラルイメージは、水平方向と垂直方向との２回、画素の累積演算を行うことで生成される。このため、４種類の矩形サイズのインテグラルイメージを生成するには、通常、２×４＝８回の累積演算が必要である。
【００２２】
しかしながら、図３に示されているような、ボックスフィルタＢＦ１〜ＢＦ４を使用することで、図４に示されているように、水平方向のＭ画素の累積演算と、水平方向のＭ画素の累積演算結果を用いた、垂直方向のＭ画素の累積演算と、水平方向のＭ画素の累積演算結果を用いた、垂直方向のＮ画素の累積演算と、水平方向のＮ画素の累積演算と、水平方向のＮ画素の累積演算を用いた、垂直方向のＭ画素の累積演算と、水平方向のＮ画素の累積演算を用いた、垂直方向のＮ画素の累積演算との６回の累積演算で、４種類の矩形サイズのインテグラルイメージＩＩ１〜ＩＩ４を生成することができる。
【００２３】
なお、複合ボックスフィルタ処理部１０２で用いられる複数のボックスフィルタの構成は、図３に示されているボックスフィルタＢＦ１〜ＢＦ４に限定されない。複合ボックスフィルタ処理部１０２で用いられる複数のボックスフィルタは、サイズ及びアスペクト比の少なくとも何れか一方の異なるボックスフィルタにより自由に構成することが可能である。複合ボックスフィルタ処理部１０２は、例えば、ボックスフィルタＢＦ１〜ＢＦ３又はボックスフィルタＢＦ２〜ＢＦ４の３種類のボックスフィルタを用いることで、４種類のボックスフィルタＢＦ１〜ＢＦ４を用いる場合と比較して演算時間を削減することができる。
【００２４】
なお、ボックスフィルタＢＦ１〜ＢＦ４の４種類のボックスフィルタを用いる場合、ボックスフィルタＢＦ１を第１のボックスフィルタ、ボックスフィルタＢＦ２を第２のボックスフィルタ、ボックスフィルタＢＦ３を第３のボックスフィルタ、ボックスフィルタＢＦ４を第４のボックスフィルタともいう。
ボックスフィルタＢＦ１〜ＢＦ３の３種類のボックスフィルタを用いる場合、ボックスフィルタＢＦ１を第１のボックスフィルタ、ボックスフィルタＢＦ２を第２のボックスフィルタ、ボックスフィルタＢＦ３を第３のボックスフィルタともいう。
ボックスフィルタＢＦ２〜ＢＦ４の３種類のボックスフィルタを用いる場合、ボックスフィルタＢＦ４を第１のボックスフィルタ、ボックスフィルタＢＦ２を第２のボックスフィルタ、ボックスフィルタＢＦ３を第３のボックスフィルタともいう。
【００２５】
図１に戻り、合成ルール特定部１０７は、複数の平滑化画像Ｄ１−１〜Ｄ１−４の各々に含まれる複数の画素の各々と、入力画像ＤＩＮの対応する画素との差分値に応じて、複数の平滑化画像Ｄ１−１〜Ｄ１−４を合成する合成ルールを特定する。
【００２６】
例えば、合成ルール特定部１０７は、その差分値が小さいほど大きな重みとなるように、複数の平滑化画像Ｄ１−１〜Ｄ１−４の各々に含まれる複数の画素の各々の重みを算出し、複数の平滑化画像Ｄ１−１〜Ｄ１−４に対応して、算出された重みを画素毎に示す複数の合成重みマップＤ２−１〜Ｄ２−４を、合成ルールとして生成する。合成重みマップＤ２−１〜Ｄ２−４の算出方法の例を下記に示す。
【００２７】
平滑化画像Ｄ１−ｉ（ｉは、１〜４の何れか）における注目画素の座標値をＸと表し、座標値Ｘにおける画素値と、入力画像ＤＩＮの座標値Ｘにおける画素値との差分値をｄｉｆｆｉ（Ｘ）と表し、平滑化画像Ｄ１−ｉに対応する合成重みマップＤ２−ｉの注目画素Ｘの合成重みをＷ（Ｘ，ｉ）と表した場合の、合成重みの算出方法の一例を式（３）、式（４）および式（５）に示す。
【数３】
0006896177.tif 000004
【数４】
0006896177.tif 000005
【数５】
0006896177.tif 000006
【００２８】
以上のようにして、合成ルール特定部１０７は、平滑化画像Ｄ１−１の各々の画素の合成重みを示す合成重みマップＤ２−１、平滑化画像Ｄ１−２の各々の画素の合成重みを示す合成重みマップＤ２−２、平滑化画像Ｄ１−３の各々の画素の合成重みを示す合成重みマップＤ２−３、及び、平滑化画像Ｄ１−４の各々の画素の合成重みを示す合成重みマップＤ２−４を生成する。そして、合成ルール特定部１０７は、合成重みマップＤ２−１〜Ｄ２−４を合成処理部１０８及び中間画像合成フィルタ処理部１１０に与える。
【００２９】
合成処理部１０８は、対応する合成重みマップＤ２−１〜Ｄ２−４を用いて、複数の平滑化画像Ｄ１−１〜Ｄ１−４を合成する合成処理を実行することで、合成フィルタ処理画像Ｄ３を生成する。例えば、合成処理部１０８は、複数の合成重みマップＤ２−１〜Ｄ２−４に従って重み付き加算平均を行うことにより、複数の平滑化画像Ｄ１−１〜Ｄ１−４を合成する。具体的には、平滑化画像Ｄ１−１〜Ｄ１−４の各々の画素の画素値に対して、対応する複数のＤ２−１〜Ｄ２−４における対応する画素の合成重みを乗算して、その乗算値を画素毎に加算することで、合成フィルタ処理画像Ｄ３を生成する。そして、合成処理部１０８は、合成フィルタ処理画像Ｄ３を、中間画像合成フィルタ処理部１１０に与える。
【００３０】
以上のようにして、合成ルール特定部１０７が合成重みマップＤ２−１〜Ｄ２−４を算出し、合成処理部１０８が重み付き加算平均を行うことで、ボックスフィルタの切り替え領域での疑似輪郭等のアーティファクトの発生を回避することができ、画質向上を図ることができる。
【００３１】
中間画像合成フィルタ処理部１１０は、合成重みマップＤ２−１〜Ｄ２−４を用いて、入力画像ＤＩＮ又は合成フィルタ処理画像Ｄ３に対して、複合ボックスフィルタ処理及び合成処理を１回又は複数回行うことで、合成画像ＤＯＵＴを生成する。
【００３２】
図５は、中間画像合成フィルタ処理部１１０の一例を概略的に示すブロック図である。
中間画像合成フィルタ処理部１１０は、複数の複合ボックスフィルタ処理部１１１−１〜１１１−ｋ（ｋは、２以上の整数）と、複数の合成処理部１１６−１〜１１６−ｋとを備える。
【００３３】
複合ボックスフィルタ処理部１１１−１〜１１１−ｋは、大ボックスフィルタ処理部１１２−１〜１１２−ｋと、垂直ボックスフィルタ処理部１１３−１〜１１３−ｋと、水平ボックスフィルタ処理部１１４−１〜１１４−ｋと、小ボックスフィルタ処理部１１５−１〜１１５−ｋとを備える。
【００３４】
複数の複合ボックスフィルタ処理部１１１−１〜１１１−ｋの各々は、入力された画像に対して、図１に示されている複合ボックスフィルタ処理部１０２と同様の処理を行う。
また、合成処理部１１６−１〜１１６−ｋの各々も、図１に示されている合成処理部１０８と同様の処理を行う。
【００３５】
なお、図５に示されている例では、中間画像合成フィルタ処理部１１０は、複数の複合ボックスフィルタ処理部１１１−１〜１１１−ｋと、複数の合成処理部１１６−１〜１１６−ｋとを備えているが、１つの複合ボックスフィルタ処理部及び１つの合成処理部を備えていてもよい。
【００３６】
エッジ保存平滑化フィルタ等の高度なフィルタ処理では、処理の内部で、複数回のボックスフィルタ処理を行う。ここで、通常のボックスフィルタ処理を複合ボックスフィルタ処理に置き換えることでエッジ近傍の平滑化性能を向上させることができる。
【００３７】
以上に記載された入力画像合成フィルタ処理部１０１及び中間画像合成フィルタ処理部１１０の一部又は全部は、例えば、図６（Ａ）に示されているように、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔｓ）又はＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の処理回路１０で構成することもできる。
【００３８】
また、入力画像合成フィルタ処理部１０１及び中間画像合成フィルタ処理部１１０の一部又は全部は、例えば、図６（Ｂ）に示されているように、メモリ１１と、メモリ１１に格納されているプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等のプロセッサ１２とにより構成することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。即ち、このようなプログラムは、例えば、プログラムプロダクトとして提供されてもよい。
【００３９】
次に、実施の形態１に係る画像処理装置１００が行う画像処理方法について説明する。
図７は、実施の形態１に係る画像処理方法を示すフローチャートである。
まず、複合ボックスフィルタ処理部１０２は、入力画像ＤＩＮの入力を受ける（Ｓ１０）。
【００４０】
次に、複合ボックスフィルタ処理部１０２は、入力画像ＤＩＮに対して複合ボックスフィルタ処理を行い、複数の平滑化画像Ｄ１−１〜Ｄ１−４を合成ルール特定部１０７及び合成処理部１０８に与える（Ｓ１１）。
【００４１】
次に、合成ルール特定部１０７は、複数の平滑化画像Ｄ１−１〜Ｄ１−４の各々の画素の画素値と、入力画像ＤＩＮの対応する画素の画素値との差分値を算出し、その差分値が小さい程、重みが大きくなるような複数の合成重みマップＤ２−１〜Ｄ２−４を、複数の平滑化画像Ｄ１−１〜Ｄ１−４の各々に対応して、算出する（Ｓ１２）。
【００４２】
次に、合成処理部１０８は、複数の平滑化画像Ｄ１−１〜Ｄ１−４を、複数の合成重みマップＤ２−１〜Ｄ２−４を用いて合成する合成処理を行うことで、合成フィルタ処理画像Ｄ３を生成する（Ｓ１３）。
【００４３】
そして、中間画像合成フィルタ処理部１１０は、複数の合成重みマップＤ２−１〜Ｄ２−４を用いて、入力画像ＤＩＮ又は合成フィルタ処理画像Ｄ３に対して、複合ボックスフィルタ処理及び合成処理を１回又は複数回を行い、合成画像ＤＯＵＴを生成する（Ｓ１４）。
【００４４】
以上のように、実施の形態１に係る画像処理装置１００によれば、画像のエッジを保存しつつ、画像のノイズ又は圧縮歪等のアーティファクトを低減する平滑化フィルタ処理で、エッジ等の画像情報に応じてフィルタサイズを適応的に変化させることでエッジ又は勾配を保存しつつ、エッジ近傍及び平坦領域に対する平滑化効果を高めることができる。
【００４５】
また、複合ボックスフィルタ処理部１０２は、大ボックスフィルタ処理部１０３、垂直ボックスフィルタ処理部１０４、水平ボックスフィルタ処理部１０５及び小ボックスフィルタ処理部１０６から構成することで、一般的な正方形状の大ボックスフィルタ処理部１０３及び小ボックスフィルタ処理部１０６で構成する場合と比較して、エッジ近傍領域でのフィルタサイズを大きく設定できるため、エッジ近傍領域での平滑化効果を高めることができる。
【００４６】
更に、垂直ボックスフィルタ処理部１０４及び水平ボックスフィルタ処理部１０５のフィルタサイズを、Ｎ×Ｍ画素及びＭ×Ｎ画素とすることで、任意のサイズを設定した場合と比較してインテグラルイメージ生成時の計算量を減らすことができる。
【００４７】
また、実施の形態１に係る画像処理装置１００は、ボックスフィルタ処理と画素の四則演算からなる構成のため、インテグラルイメージ手法を適用することができ、高速な処理演算が可能である。
【００４８】
実施の形態１は、図１に示されている画像処理装置１００のように構成されているが、例えば、図８に示されている画像処理装置１００＃のように構成されていてもよい。
図８に示されている画像処理装置１００＃は、図１に示されている画像処理装置１００と比較して、入力画像合成フィルタ処理部１０１＃が異なっている。
図８に示されている画像処理装置１００＃では、入力画像ＤＩＮを複合ボックスフィルタ処理部１０２に入力する前に、縮小処理部１２０で入力画像ＤＩＮを縮小することで、全体の計算コストを低減させている。その他の構成については、図１に示されている画像処理装置１００と同様である。
【００４９】
実施の形態２.
実施の形態２は複合ボックスフィルタ処理を、エッジ保存平滑化フィルタの一種であるガイデッドフィルタに適用した例を示す。
【００５０】
図９は、実施の形態２に係る画像処理装置２００の構成を概略的に示すブロック図である。
画像処理装置２００は、入力画像合成フィルタ処理部１０１と、中間画像合成フィルタ処理部１１０と、演算部２３０とを備える。
【００５１】
実施の形態２に係る画像処理装置２００における入力画像合成フィルタ処理部１０１及び中間画像合成フィルタ処理部１１０は、実施の形態１に係る画像処理装置１００における入力画像合成フィルタ処理部１０１及び中間画像合成フィルタ処理部１１０と同様である。
但し、合成ルール特定部１０７は、複数の合成重みマップＤ２−１〜Ｄ２−４を演算部２３０にも与え、合成処理部１０８は、合成フィルタ処理画像Ｄ３を演算部２３０にも与え、中間画像合成フィルタ処理部１１０は、合成画像ＤＯＵＴを演算部２３０に与える。
【００５２】
演算部２３０は、ガイデッドフィルタを用いたフィルタ処理における演算を行う。
まず、ガイデッドフィルタを用いたフィルタ処理に関して説明する。
【００５３】
ガイデッドフィルタの出力であるベース成分をｑ、入力画像ＤＩＮをＩとした場合、ｑとＩは式（６）のような線形関係で表される。
【数６】
0006896177.tif 000007
ここで、入力画像Ｉのある画素ｘを中心とした局所領域をΩとした場合、式（７）が成立する。
【数７】
0006896177.tif 000008
ここで、ｙは、Ω（ｘ）を範囲とする局所領域の画素位置を示す。
【００５４】
次に、線形回帰係数ａ及びｂの導出方法を説明する。
入力画像Ｉの分散ｖａｒＩの画素位置ｘに対応する画素値は、式（８）で表される。
【数８】
0006896177.tif 000009
【００５５】
次に、分散値が極端に少ない領域のみ平滑化処理を行い、その他の領域のテクスチャを保存するため、分散ｖａｒＤＩＮを式（９）に基づき階調変換を行い、係数ａを得る。ｅｐｓは、エッジ保存の度合いを決定する定数パラメータである。
【数９】
0006896177.tif 000010
【００５６】
また係数ｂは、式（１０）に基づき導出する。
【数１０】
0006896177.tif 000011
【００５７】
演算部２３０は、式（９）及び式（１０）で得られた線形回帰係数ａ及びｂを基にガイデッドフィルタ出力値ｑを導出する。
【００５８】
ここで、入力画像Ｉに対する入力画像合成フィルタ処理部１０１での処理結果である合成フィルタ処理画像Ｄ３をＭＢＦ０（Ｉ）、中間画像合成フィルタ処理部１１０での処理結果である合成画像ＤＯＵＴをＭＢＦ１（Ｉ）と表現する場合、式（８）の一部を、下記の式（１１）に置き換え、式（１０）を、下記の式（１２）に置き換えることで、複合ボックスフィルタを適用したガイデッドフィルタを実現できる。
【数１１】
0006896177.tif 000012
【数１２】
0006896177.tif 000013
【００５９】
具体的には、実施の形態１に記載の中間画像合成フィルタ処理部１１０に対応する処理は、式（８）の入力画像の自乗処理、及び、式（１０）の直線近似係数ａ及びｂに対する平滑化処理として、複合ボックスフィルタ処理又は合成処理を行うことを示す。言い換えると、演算部２３０は、ガイデッドフィルタ処理の自乗和として、合成画像ＤＯＵＴ及び合成フィルタ処理画像Ｄ３の加算を行い、ガイデッドフィルタ処理における入力画像ＤＩＮと出力画像ＤＯＵＴ＃との線系関係を定義する近似係数の算出に合成フィルタ処理画像Ｄ３を用いる。
【００６０】
実施の形態２に係る画像処理装置２００によれば、エッジ保存平滑化フィルタとして強力かつ高速なガイデッドフィルタに、複合ボックスフィルタ処理を適用することで、演算速度の高さを確保しつつ、エッジ保存平滑化の効果を更に高めることができる。
【００６１】
以上で説明したように、画像のエッジを保存しつつ、画像のノイズ又は圧縮歪等のアーティファクトを低減する平滑化フィルタ処理で、エッジ等の画像情報に応じてフィルタサイズを適応的に変化させることでエッジ近傍及び平坦領域に対する平滑化効果を高めることが可能となる。
【００６２】
また、以上のように実施の形態１及び２について説明したが、本発明は、これらの実施の形態１及び２に限るものではない。
例えば、合成ルール特定部１０７は、上記の式（３）〜式（５）を用いて合成重みマップＤ２−１〜Ｄ２−４を生成しているが、実施の形態１及び２は、このような例に限定されない。
【００６３】
上記の式（３）〜式（５）を用いて合成重みマップＤ２−１〜Ｄ２−４を生成すると、通常、ボックスフィルタのサイズが小さいほど、平滑化画像と入力画像との差分値が小さくなる。そのため、合成重みマップＤ２−１〜Ｄ２−４の大半の画素では、小さいサイズのボックスフィルタによる平滑化画像の画素の合成重みが重くなる。
ここで、ボックスフィルタの面積が大きいほど小さくなるオフセット、又は、平滑化画像の全体の差分値の平均値が大きくなるほど大きくなるオフセットを設定して、算出された差分値から減算することで、エッジ近傍領域以外の領域では、できるだけ大きいサイズのボックスフィルタによる平滑化画像の画素の合成重みが重くなるように調整することができる。
【００６４】
なお、ボックスフィルタの面積が大きいほど小さくなるオフセットは、例えば、ボックスフィルタの面積の逆数が大きくなるほど大きくなるオフセットを用いればよい。
【００６５】
具体的には、ｉ番目の平滑化画像の座標Ｘの画素値をＬＰＦｉ（ｘ）、入力画像ＤＩＮの座標Ｘの画素値をＩＮ（Ｘ）とした場合における、差分値ｄｉｆｆｉの座標Ｘの画素値算出方法を式（１３）に示す。
【数１３】
0006896177.tif 000014
【００６６】
以上のように、算出された差分値からオフセットを減算することで、エッジ近傍領域以外の領域ではできるだけ大きいサイズのボックスフィルタによる影響が大きくなるように制御することができ、平坦領域に対する平滑化効果を更に高めることができる。
【００６７】
また、合成重みｗ（Ｘ，ｉ）は、式（５）によらず、例えば、下記の式（１４）により算出することで、非線形な関係を持たせてもよい。ここで、ｇはｗ１とｗとの関係を調整する定数パラメータである。
【数１４】
0006896177.tif 000015
【００６８】
さらに、合成ルール特定部１０７は、合成重みマップＤ２−１〜Ｄ２−４において、平滑化画像Ｄ１−１〜Ｄ１−４の各々の画素の画素値と、入力画像ＤＩＮの対応する画素の画素値との差分値が最も小さくなる画素値が選択されるように、式（１５）及び式（１６）を用いて、合成重みマップＤ２−１〜Ｄ２−４が生成されてもよい。このような場合、ｗ（Ｘ，ｉ）は、０か１に設定される。
【数１５】
0006896177.tif 000016
【数１６】
0006896177.tif 000017
【００６９】
以上のように合成ルール特定部１０７は、入力画像ＤＩＮの１つの画素と、複数の平滑化画像Ｄ１−１〜Ｄ１−４における１つの画素に対応する複数の画素とにより算出された複数の差分値の内、最も値の小さい差分値に対応する画素を特定し、複数の平滑化画像Ｄ１−１〜Ｄ１−４に対応して、特定された画素を示す複数の合成重みマップＤ２−１〜Ｄ２−４を、合成ルールとして生成することができる。
【００７０】
この場合、合成処理部１０８は、複数の合成重みマップＤ２−１〜Ｄ２−４に従って、複数の平滑化画像Ｄ１−１〜Ｄ１−４から特定された画素の画素値を選択することで、複数の平滑化画像Ｄ１−１〜Ｄ１−４を合成する。
これにより、複数のボックスフィルタ処理結果を切り替えて重み付き加算平均を行う場合と比較して、演算量を削減することができる。
【００７１】
なお、式（１５）及び式（１６）を用いて、合成重みマップＤ２−１〜Ｄ２−４を生成する場合でも、式（１３）に示されるようにして、差分値からオフセットが減算されてもよい。
【符号の説明】
【００７２】
１００，２００  画像処理装置、  １０１  入力画像合成フィルタ処理部、  １０２  複合ボックスフィルタ処理部、  １０３  大ボックスフィルタ処理部、  １０４  垂直ボックスフィルタ処理部、  １０５  水平ボックスフィルタ処理部、  １０６  小ボックスフィルタ処理部、  １０７  合成ルール特定部、  １０８  合成処理部、  １１０  中間画像合成フィルタ処理部、  １１１−１〜１１１−ｋ  複合ボックスフィルタ処理部、  １１６−１〜１１６−ｋ  複数の合成処理部、  １２０  縮小処理部、  ２３０  演算部。
【図１】
0006896177.tif 000018
【図２】
0006896177.tif 000019
【図３】
0006896177.tif 000020
【図４】
0006896177.tif 000021
【図５】
0006896177.tif 000022
【図６】
0006896177.tif 000023
【図７】
0006896177.tif 000024
【図８】
0006896177.tif 000025
【図９】
0006896177.tif 000026