(57)【要約】【課題】より低コストで高品質な画像を得ることができるようにする。【解決手段】正方補間フィルタは、入力画像に対して補間処理を施して正方補間画像を得る。また、正方補間フィルタよりも平滑化能力の高い正方平滑化フィルタは、入力画像に対して平滑化処理を施して正方平滑化画像を得る。重み係数算出部は正方補間画像と正方平滑化画像とに基づいて重み係数を算出する。ブレンド処理部は、算出された重み係数に基づいて、正方補間画像と、互いに平滑化領域の異なる正方平滑化フィルタで得られた複数の正方平滑化画像とを混合し、正方出力画像を生成する。本技術は画像処理装置に適用することができる。【選択図】図４
2016051188.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対してフィルタ処理を施して第１の出力画像を生成する第１のフィルタ処理部と、
前記第１のフィルタ処理部よりも平滑化能力が高く、前記入力画像に対してフィルタ処理を施して第２の出力画像を生成する第２のフィルタ処理部と、
フィルタ処理に用いる前記入力画像の領域が互いに異なる複数の前記第２のフィルタ処理部で得られた複数の前記第２の出力画像と、前記第１の出力画像とを所定の重み係数により重み付き加算して、最終的な出力画像を生成するブレンド処理部と
を備える画像処理装置。
【請求項２】
前記第２のフィルタ処理部は、前記入力画像の注目画素を含む所定形状の平滑化領域内の画素を用いて前記入力画像の前記注目画素に対するフィルタ処理を行う
請求項１に記載の画像処理装置。
【請求項３】
前記第１の出力画像と前記第２の出力画像とに基づいて、前記第２の出力画像の前記重み係数を算出する重み係数算出部をさらに備える
請求項２に記載の画像処理装置。
【請求項４】
所定の前記第２のフィルタ処理部によるフィルタ処理の前記平滑化領域には、他の前記第２のフィルタ処理部によるフィルタ処理の前記平滑化領域全体が含まれている
請求項２に記載の画像処理装置。
【請求項５】
前記平滑化領域は矩形状の領域であり、前記第１のフィルタ処理部は、前記入力画像における矩形領域内の画素を用いて前記入力画像に対するフィルタ処理を行う
請求項２に記載の画像処理装置。
【請求項６】
前記重み係数算出部は、前記入力画像における水平方向または垂直方向のエッジに関する情報と、前記第１の出力画像および前記第２の出力画像とに基づいて前記重み係数を算出する
請求項３に記載の画像処理装置。
【請求項７】
水平方向または垂直方向のエッジに関する前記情報は、前記入力画像に対して水平方向または垂直方向の方向フィルタ処理を施して得られた画像と、前記方向フィルタ処理よりも平滑化能力が高い、水平方向または垂直方向の他の方向フィルタ処理を前記入力画像に対して施して得られた画像とに基づいて得られた情報である
請求項６に記載の画像処理装置。
【請求項８】
入力画像に対してフィルタ処理を施して第１の出力画像を生成する第１のフィルタ処理ステップと、
前記第１のフィルタ処理ステップにおけるフィルタ処理よりも平滑化能力が高いフィルタ処理を前記入力画像に対して施して第２の出力画像を生成する第２のフィルタ処理ステップと、
前記第２のフィルタ処理ステップにおいて前記入力画像の互いに異なる領域を用いる複数のフィルタ処理で得られた複数の前記第２の出力画像と、前記第１の出力画像とを所定の重み係数により重み付き加算して、最終的な出力画像を生成するブレンド処理ステップと
を含む画像処理方法。
【請求項９】
入力画像に対してフィルタ処理を施して第１の出力画像を生成する第１のフィルタ処理ステップと、
前記第１のフィルタ処理ステップにおけるフィルタ処理よりも平滑化能力が高いフィルタ処理を前記入力画像に対して施して第２の出力画像を生成する第２のフィルタ処理ステップと、
前記第２のフィルタ処理ステップにおいて前記入力画像の互いに異なる領域を用いる複数のフィルタ処理で得られた複数の前記第２の出力画像と、前記第１の出力画像とを所定の重み係数により重み付き加算して、最終的な出力画像を生成するブレンド処理ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法、並びにプログラムに関し、特に、より低コストで高品質な画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、画像を平滑化してノイズ除去を行うフィルタとして、バイラテラルフィルタが知られている（例えば、特許文献１参照）。
【０００３】
バイラテラルフィルタでは、所定の注目画素に対してフィルタ処理を行なうときに、注目画素近傍の複数の画素ごとに重みが計算され、重みが付けられたフィルタ係数により各画素が重み付き加算されて、フィルタ処理後の注目画素が求められる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−２７６３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、バイラテラルフィルタでは画素ごとに重みを計算する必要があるため、回路コストが高くなってしまう。
【０００６】
また、バイラテラルフィルタは画素ごとに重みを制御するため、バイラテラルフィルタが苦手とするような領域では適切な重みを得ることができず、高品質な画像を得ることができない場合があった。例えばグラデーション部分などの平坦部にノイズがあると不均一になりやすく不連続、つまりざらつきが生じてしまう。さらに、例えばエッジ部分ではジャギーが発生したり、ノイズのとれ残りなどの破たんが発生してしまうことがある。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、より低コストで高品質な画像を得ることができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の画像処理装置は、入力画像に対してフィルタ処理を施して第１の出力画像を生成する第１のフィルタ処理部と、前記第１のフィルタ処理部よりも平滑化能力が高く、前記入力画像に対してフィルタ処理を施して第２の出力画像を生成する第２のフィルタ処理部と、フィルタ処理に用いる前記入力画像の領域が互いに異なる複数の前記第２のフィルタ処理部で得られた複数の前記第２の出力画像と、前記第１の出力画像とを所定の重み係数により重み付き加算して、最終的な出力画像を生成するブレンド処理部とを備える。
【０００９】
前記第２のフィルタ処理部には、前記入力画像の注目画素を含む所定形状の平滑化領域内の画素を用いて前記入力画像の前記注目画素に対するフィルタ処理を行わせることができる。
【００１０】
画像処理装置には、前記第１の出力画像と前記第２の出力画像とに基づいて、前記第２の出力画像の前記重み係数を算出する重み係数算出部をさらに設けることができる。
【００１１】
所定の前記第２のフィルタ処理部によるフィルタ処理の前記平滑化領域には、他の前記第２のフィルタ処理部によるフィルタ処理の前記平滑化領域全体が含まれているようにすることができる。
【００１２】
前記平滑化領域を矩形状の領域とし、前記第１のフィルタ処理部には、前記入力画像における矩形領域内の画素を用いて前記入力画像に対するフィルタ処理を行わせることができる。
【００１３】
前記重み係数算出部には、前記入力画像における水平方向または垂直方向のエッジに関する情報と、前記第１の出力画像および前記第２の出力画像とに基づいて前記重み係数を算出させることができる。
【００１４】
水平方向または垂直方向のエッジに関する前記情報を、前記入力画像に対して水平方向または垂直方向の方向フィルタ処理を施して得られた画像と、前記方向フィルタ処理よりも平滑化能力が高い、水平方向または垂直方向の他の方向フィルタ処理を前記入力画像に対して施して得られた画像とに基づいて得られた情報とすることができる。
【００１５】
本技術の一側面の画像処理方法またはプログラムは、入力画像に対してフィルタ処理を施して第１の出力画像を生成する第１のフィルタ処理ステップと、前記第１のフィルタ処理ステップにおけるフィルタ処理よりも平滑化能力が高いフィルタ処理を前記入力画像に対して施して第２の出力画像を生成する第２のフィルタ処理ステップと、前記第２のフィルタ処理ステップにおいて前記入力画像の互いに異なる領域を用いる複数のフィルタ処理で得られた複数の前記第２の出力画像と、前記第１の出力画像とを所定の重み係数により重み付き加算して、最終的な出力画像を生成するブレンド処理ステップとを含む。
【００１６】
本技術の一側面においては、第１のフィルタ処理部により、入力画像に対してフィルタ処理が施されて第１の出力画像が生成され、前記第１のフィルタ処理部よりも平滑化能力が高い第２のフィルタ処理部により、前記入力画像に対してフィルタ処理が施されて第２の出力画像が生成され、フィルタ処理に用いる前記入力画像の領域が互いに異なる複数の前記第２のフィルタ処理部で得られた複数の前記第２の出力画像と、前記第１の出力画像とが所定の重み係数により重み付き加算されて、最終的な出力画像が生成される。
【発明の効果】
【００１７】
本技術の一側面によれば、より低コストで高品質な画像を得ることができる。
【００１８】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【００１９】
【図１】画像処理装置の構成例を示す図である。
【図２】入力画像のカラー配列例を示す図である。
【図３】入力画像のカラー配列例を示す図である。
【図４】画像処理装置のより具体的な構成例を示す図である。
【図５】フィルタ係数の一例を示す図である。
【図６】フィルタ係数の一例を示す図である。
【図７】平滑化領域について説明する図である。
【図８】補間処理を説明するフローチャートである。
【図９】重み係数について説明する図である。
【図１０】画像処理装置の他の構成例を示す図である。
【図１１】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２１】
〈第１の実施の形態〉
〈画像処理装置の構成例〉
本技術は、例えばベイヤー配列などの所定のカラーフィルタ配列を有するイメージセンサ等において様々な空間的重みと方向フィルタを用いることにより、より低コストで、信号成分を保存し、ノイズを効果的に除去することができるようにするものである。
【００２２】
図１は、本技術を適用した画像処理装置の一実施の形態の構成例を示す図である。
【００２３】
図１に示す画像処理装置１１は、水平補間フィルタ２１、水平平滑化フィルタ２２、重み計算部２３、ブレンド処理部２４、垂直補間フィルタ２５、垂直平滑化フィルタ２６、重み計算部２７、ブレンド処理部２８、正方補間フィルタ２９、正方平滑化フィルタ３０、正方平滑化フィルタ３１、正方平滑化フィルタ３２、重み計算部３３、重み計算部３４、重み計算部３５、ブレンド処理部３６、および方向ブレンド処理部３７を有している。
【００２４】
水平補間フィルタ２１は、供給された入力画像に対して水平方向への補間処理を行い、その結果得られた水平補間画像を重み計算部２３およびブレンド処理部２４に供給する。例えば水平補間フィルタ２１は、水平方向に並ぶ画素を予め定められたフィルタ係数により重み付き加算して水平補間画像の各画素の画素値を算出するフィルタである。
【００２５】
水平平滑化フィルタ２２は、供給された入力画像に対して水平方向への平滑化処理を行い、その結果得られた水平平滑化画像を重み計算部２３およびブレンド処理部２４に供給する。例えば水平平滑化フィルタ２２は、水平方向に並ぶ画素を予め定められたフィルタ係数により重み付き加算して水平平滑化画像の各画素の画素値を算出するフィルタである。
【００２６】
ここでは、水平平滑化フィルタ２２は、水平補間フィルタ２１よりも平滑化能力の高いフィルタ、つまり水平補間フィルタ２１よりもエッジ保存能力の低いフィルタとされる。
【００２７】
重み計算部２３は、水平補間フィルタ２１から供給された水平補間画像と、水平平滑化フィルタ２２から供給された水平平滑化画像とに基づいて、これらの画像を混合するときに用いる重み係数を計算し、ブレンド処理部２４およびブレンド処理部３６に供給する。例えば、水平補間画像と水平平滑化画像に基づいてエッジが検出され、その検出結果に応じて重み係数が求められる。
【００２８】
ブレンド処理部２４は、重み計算部２３から供給された重み係数に基づいて、水平補間フィルタ２１から供給された水平補間画像と、水平平滑化フィルタ２２から供給された水平平滑化画像とを混合（ブレンド）し、その結果得られた水平出力画像を方向ブレンド処理部３７に供給する。
【００２９】
垂直補間フィルタ２５は、供給された入力画像に対して垂直方向への補間処理を行い、その結果得られた垂直補間画像を重み計算部２７およびブレンド処理部２８に供給する。例えば垂直補間フィルタ２５は、垂直方向に並ぶ画素を予め定められたフィルタ係数により重み付き加算して垂直補間画像の各画素の画素値を算出するフィルタである。
【００３０】
垂直平滑化フィルタ２６は、供給された入力画像に対して垂直方向への平滑化処理を行い、その結果得られた垂直平滑化画像を重み計算部２７およびブレンド処理部２８に供給する。例えば垂直平滑化フィルタ２６は、垂直方向に並ぶ画素を予め定められたフィルタ係数により重み付き加算して垂直平滑化画像の各画素の画素値を算出するフィルタである。
【００３１】
ここでは、垂直平滑化フィルタ２６は、垂直補間フィルタ２５よりも平滑化能力の高いフィルタ、つまり垂直補間フィルタ２５よりもエッジ保存能力の低いフィルタとされる。
【００３２】
重み計算部２７は、垂直補間フィルタ２５から供給された垂直補間画像と、垂直平滑化フィルタ２６から供給された垂直平滑化画像とに基づいて、これらの画像を混合するときに用いる重み係数を計算し、ブレンド処理部２８およびブレンド処理部３６に供給する。例えば、垂直補間画像と垂直平滑化画像に基づいてエッジが検出され、その検出結果に応じて重み係数が求められる。
【００３３】
ブレンド処理部２８は、重み計算部２７から供給された重み係数に基づいて、垂直補間フィルタ２５から供給された垂直補間画像と、垂直平滑化フィルタ２６から供給された垂直平滑化画像とを混合（ブレンド）し、その結果得られた垂直出力画像を方向ブレンド処理部３７に供給する。
【００３４】
正方補間フィルタ２９は、供給された入力画像に対して斜め方向への補間処理を行い、その結果得られた正方補間画像を重み計算部３３乃至重み計算部３５、およびブレンド処理部３６に供給する。例えば正方補間フィルタ２９は、注目画素を含む矩形領域内の画素を、予め定められたフィルタ係数により重み付き加算して注目画素の出力値を算出するフィルタである。
【００３５】
正方平滑化フィルタ３０は、供給された入力画像に対して斜め方向への平滑化処理を行い、その結果得られた正方平滑化画像を重み計算部３３およびブレンド処理部３６に供給する。例えば正方平滑化フィルタ３０は、注目画素を含む矩形領域（以下、平滑化領域とも称することとする）内の画素を、予め定められたフィルタ係数により重み付き加算して注目画素の出力値を算出するフィルタである。
【００３６】
ここでは、正方平滑化フィルタ３０は、正方補間フィルタ２９よりも平滑化能力の高いフィルタ、つまり正方補間フィルタ２９よりもエッジ保存能力の低いフィルタとされる。
【００３７】
正方平滑化フィルタ３１は、供給された入力画像に対して斜め方向への平滑化処理を行い、その結果得られた正方平滑化画像を重み計算部３４およびブレンド処理部３６に供給する。
【００３８】
例えば正方平滑化フィルタ３１は、正方補間フィルタ２９よりも平滑化能力が高く、かつ平滑化領域が、正方平滑化フィルタ３０の平滑化領域よりも広いフィルタである。
【００３９】
正方平滑化フィルタ３２は、供給された入力画像に対して斜め方向への平滑化処理を行い、その結果得られた正方平滑化画像を重み計算部３５およびブレンド処理部３６に供給する。
【００４０】
例えば正方平滑化フィルタ３２は、正方補間フィルタ２９よりも平滑化能力が高く、かつ平滑化領域が、正方平滑化フィルタ３１の平滑化領域よりも広いフィルタである。
【００４１】
重み計算部３３は、正方補間フィルタ２９から供給された正方補間画像と、正方平滑化フィルタ３０から供給された正方平滑化画像とに基づいて、正方補間画像と正方平滑化画像を混合するときに用いる、正方平滑化フィルタ３０で得られた正方平滑化画像の重み係数を計算し、ブレンド処理部３６に供給する。
【００４２】
重み計算部３４は、正方補間フィルタ２９から供給された正方補間画像と、正方平滑化フィルタ３１から供給された正方平滑化画像とに基づいて、正方補間画像と正方平滑化画像を混合するときに用いる、正方平滑化フィルタ３１で得られた正方平滑化画像の重み係数を計算し、ブレンド処理部３６に供給する。
【００４３】
重み計算部３５は、正方補間フィルタ２９から供給された正方補間画像と、正方平滑化フィルタ３２から供給された正方平滑化画像とに基づいて、正方補間画像と正方平滑化画像を混合するときに用いる、正方平滑化フィルタ３２で得られた正方平滑化画像の重み係数を計算し、ブレンド処理部３６に供給する。例えば、重み計算部３３乃至重み計算部３５においても重み計算部２３における場合と同様に、エッジが検出されて重み係数が求められる。
【００４４】
ブレンド処理部３６は重み計算部２３、重み計算部２７、および重み計算部３３乃至重み計算部３５から供給された重み係数に基づいて、正方補間フィルタ２９から供給された正方補間画像、および正方平滑化フィルタ３０乃至正方平滑化フィルタ３２から供給された正方平滑化画像を混合し、得られた正方出力画像を方向ブレンド処理部３７に供給する。
【００４５】
方向ブレンド処理部３７は、ブレンド処理部２４から供給された水平出力画像、ブレンド処理部２８から供給された垂直出力画像、およびブレンド処理部３６から供給された正方出力画像を混合し、得られた出力画像をノイズが除去された画像として出力する。
【００４６】
画像処理装置１１では水平平滑化フィルタ２２、垂直平滑化フィルタ２６、正方平滑化フィルタ３０乃至正方平滑化フィルタ３２といった平滑化能力の高いフィルタで得られた画像と、水平補間フィルタ２１や垂直補間フィルタ２５、正方補間フィルタ２９といったエッジ保存能力の高いフィルタで得られた画像とが混合されて出力画像が生成される。これにより適切にエッジを保存して、より効率よく、かつ効果的にノイズを除去することができ、より高品質な出力画像を得ることができる。
【００４７】
特に、画像処理装置１１では、重み計算部２３や重み計算部２７で得られる重み係数、つまりエッジに関する情報も用いられて正方補間画像と正方平滑化画像が混合されるので適切にエッジを保存し、解像度劣化を抑制することができる。
【００４８】
また、画像処理装置１１では、平滑化領域の大きさが異なる正方平滑化フィルタ３０乃至正方平滑化フィルタ３２で得られた正方平滑化画像を混合して出力画像を生成することで、適切に平滑化領域の大きさを制御することができる。したがって、入力画像の各領域の特性に応じて、さらに効果的にノイズを除去することができる。
【００４９】
さらに、画像処理装置１１では、画素単位ではなく領域単位でフィルタ係数の重みが算出されている。例えば重み計算部３３乃至重み計算部３５では、１つの重み係数が算出されているので、平滑化領域内の各画素のフィルタ係数に対して共通する１つの重み係数が算出されていることになる。したがって、画像処理装置１１によれば、画素単位で重みを算出するバイラテラルフィルタと比べて、より低コストで高品質な出力画像を得ることができる。
【００５０】
なお、ここでは、重み計算部２３や重み計算部２７で得られた重み係数がブレンド処理部３６で用いられて、正方補間画像と正方平滑化画像の混合率が決定される例について説明した。しかし、これらの重み係数が重み計算部３３乃至重み計算部３５や方向ブレンド処理部３７で用いられて混合率が決定されるようにしてもよい。
【００５１】
ところで、画像処理装置１１に供給される入力画像として、輝度画像やカラー画像など様々な画像が考えられる。
【００５２】
例えば図２に示すようにWhite配列（RGBW配列）の画像が入力画像とされてもよい。なお、図２では各正方形が１つの画素を表しており、各画素内に記された文字「R」、「G」、「B」、および「W」は、それらの画素が有するR（赤）、G（緑）、B（青）、およびW（白）の各色成分を示している。
【００５３】
したがって図２の例では、入力画像は各画素がR成分、G成分、B成分、およびW成分のうちの何れか１つの成分を有する画像となる。なお、以下、入力画像におけるR成分、G成分、B成分、およびW成分のそれぞれを有する画素を、単にR画素、G画素、B画素、およびW画素とも称することとする。
【００５４】
このような入力画像が供給された場合、画像処理装置１１は、例えば入力画像のうちのW成分を有する画素からなるW画像に対して各フィルタを用いた補間処理を行い、全画素位置でW成分を有する出力画像を生成し、出力する。
【００５５】
また、例えば図３に示すようにベイヤー配列の画像が画像処理装置１１に供給されるようにしてもよい。なお、図３では、各正方形が１つの画素を表しており、各画素内に記された文字「R」、「G」、および「B」は、それらの画素が有するR（赤）、G（緑）、およびB（青）の各色成分を示している。
【００５６】
したがって図３の例では、画像処理装置１１に供給される画像は、各画素がR成分、G成分、およびB成分のうちの何れか１つの成分を有する画像となる。
【００５７】
このような画像が供給された場合、画像処理装置１１は、例えば供給された画像から輝度画像（W画像）を生成し、入力画像とする。
【００５８】
〈画像処理装置のより具体的な構成例〉
続いて、画像処理装置１１のより具体的な実施の形態について説明する。また、以下では、入力画像として図２に示したWhite配列の画像が供給される場合を例として説明する。
【００５９】
そのような場合、画像処理装置１１は、より具体的には例えば図４に示すように構成される。なお、図４において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００６０】
図４に示す画像処理装置１１は水平補間フィルタ２１、水平平滑化フィルタ２２、差分絶対値算出部６１、重み係数算出部６２、ブレンド処理部２４、垂直補間フィルタ２５、垂直平滑化フィルタ２６、差分絶対値算出部６３、重み係数算出部６４、ブレンド処理部２８、正方補間フィルタ２９、正方平滑化フィルタ３０、正方平滑化フィルタ３１、正方平滑化フィルタ３２、差分絶対値算出部６５、最大値選択部６６、重み係数算出部６７、差分絶対値算出部６８、最大値選択部６９、重み係数算出部７０、差分絶対値算出部７１、最大値選択部７２、重み係数算出部７３、ブレンド処理部３６、および異方性補間処理部７４を有している。
【００６１】
差分絶対値算出部６１は、水平補間フィルタ２１から供給された水平補間画像と、水平平滑化フィルタ２２から供給された水平平滑化画像との差分絶対値を算出し、重み係数算出部６２および最大値選択部６６に供給する。
【００６２】
重み係数算出部６２は、差分絶対値算出部６１から供給された差分絶対値に基づいて重み係数を算出し、ブレンド処理部２４に供給する。
【００６３】
差分絶対値算出部６３は、垂直補間フィルタ２５から供給された垂直補間画像と、垂直平滑化フィルタ２６から供給された垂直平滑化画像との差分絶対値を算出し、重み係数算出部６４および最大値選択部６６に供給する。
【００６４】
重み係数算出部６４は、差分絶対値算出部６３から供給された差分絶対値に基づいて重み係数を算出し、ブレンド処理部２８に供給する。
【００６５】
差分絶対値算出部６５は、正方補間フィルタ２９から供給された正方補間画像と、正方平滑化フィルタ３０から供給された正方平滑化画像との差分絶対値を算出し、最大値選択部６６に供給する。
【００６６】
最大値選択部６６は、差分絶対値算出部６１から供給された差分絶対値、差分絶対値算出部６３から供給された差分絶対値、および差分絶対値算出部６５から供給された差分絶対値のうちの最大値を選択し、重み係数算出部６７、最大値選択部６９、および最大値選択部７２に供給する。
【００６７】
重み係数算出部６７は、最大値選択部６６から供給された最大値に基づいて、正方平滑化フィルタ３０で得られた正方平滑化画像の重み係数を算出し、ブレンド処理部３６に供給する。
【００６８】
差分絶対値算出部６８は、正方補間フィルタ２９から供給された正方補間画像と、正方平滑化フィルタ３１から供給された正方平滑化画像との差分絶対値を算出し、最大値選択部６９に供給する。
【００６９】
最大値選択部６９は、最大値選択部６６から供給された最大値と、差分絶対値算出部６８から供給された差分絶対値とのうちのより大きい方を最大値として選択し、重み係数算出部７０に供給する。重み係数算出部７０は、最大値選択部６９から供給された最大値に基づいて、正方平滑化フィルタ３１で得られた正方平滑化画像の重み係数を算出し、ブレンド処理部３６に供給する。
【００７０】
差分絶対値算出部７１は、正方補間フィルタ２９から供給された正方補間画像と、正方平滑化フィルタ３２から供給された正方平滑化画像との差分絶対値を算出し、最大値選択部７２に供給する。
【００７１】
最大値選択部７２は、最大値選択部６６から供給された最大値と、差分絶対値算出部７１から供給された差分絶対値とのうちのより大きい方を最大値として選択し、重み係数算出部７３に供給する。重み係数算出部７３は、最大値選択部７２から供給された最大値に基づいて、正方平滑化フィルタ３２で得られた正方平滑化画像の重み係数を算出し、ブレンド処理部３６に供給する。
【００７２】
異方性補間処理部７４は、ブレンド処理部２４から供給された水平出力画像、ブレンド処理部２８から供給された垂直出力画像、およびブレンド処理部３６から供給された正方出力画像を混合し、得られた出力画像を出力する。異方性補間処理部７４は、図１における方向ブレンド処理部３７に対応する。
【００７３】
異方性補間処理部７４は乗算部８１、乗算部８２、乗算部８３、および加算部８４を有している。
【００７４】
乗算部８１は、ブレンド処理部２４から供給された水平出力画像に重みを乗算し、加算部８４に供給する。乗算部８２は、ブレンド処理部２８から供給された垂直出力画像に重みを乗算し、加算部８４に供給する。乗算部８３は、ブレンド処理部３６から供給された正方出力画像に重みを乗算し、加算部８４に供給する。
【００７５】
これらの乗算部８１乃至乗算部８３で各画像に乗算される重みは、例えば入力画像における物体のエッジの方向に応じて定められる。例えば物体のエッジの方向が水平方向である場合には、水平出力画像の重みが大きくなるように、各画像の重みが定められる。
【００７６】
加算部８４は、乗算部８１から供給された水平出力画像、乗算部８２から供給された垂直出力画像、および乗算部８３から供給された正方出力画像を加算して出力画像とし、得られた出力画像を出力する。
【００７７】
〈補間フィルタと平滑化フィルタの具体例〉
上述したように図４に示した画像処理装置１１には、入力画像として図２に示したWhite配列の画像が供給される。
【００７８】
このような場合、入力画像のW成分に対して補間処理が行われ、W成分のみからなる出力画像が生成される。このとき、例えば出力画像は入力画像と同じ大きさの画像とされ、出力画像は全画素位置においてW成分を有する画像となる。
【００７９】
このようにW成分に対する補間処理が行われる場合、水平補間フィルタ２１、垂直補間フィルタ２５、および正方補間フィルタ２９は、例えば図５に示すフィルタ係数により、各画素位置におけるW成分を算出する。また、水平平滑化フィルタ２２、垂直平滑化フィルタ２６、および正方平滑化フィルタ３０乃至正方平滑化フィルタ３２は、図６に示すフィルタ係数により、各画素位置におけるW成分を算出する。
【００８０】
なお、図５および図６において、各四角形は入力画像の画素を表しており、図示されている入力画像の7画素×7画素の領域の中心に位置する画素が注目画素であるとする。特に、数値が記された白い画素はW画素を表しており、数値が記されていない、ハッチが施された画素はR画素、G画素、またはB画素を表している。また、各画素内に記された数値はフィルタ係数の値を示している。さらに、図５および図６において、図中、横方向は水平方向を示しており、縦方向は垂直方向を示している。
【００８１】
図５の例では、図中、左上に示されるフィルタ係数は、これから得ようとする水平補間画像の画素に対応する入力画像の注目画素がW画素である場合における、水平補間フィルタ２１のフィルタ係数を示している。
【００８２】
この例では、注目画素を中心とする7画素×7画素の領域内にあるW画素がフィルタ係数により重み付き加算されて、水平補間画像の画素のW成分の値とされる。
【００８３】
実質的には注目画素のW成分と、注目画素の図中、右側および左側に隣接するW画素のW成分とにフィルタ係数が乗算され、フィルタ係数が乗算されたW成分が加算されて水平補間画像における画素のW成分の値とされる。つまり、水平方向に並ぶW画素を用いたフィルタ処理により、水平補間画像のW成分が算出される。
【００８４】
また、図５中、左下に示されるフィルタ係数は注目画素がR画素、G画素、またはB画素である場合における、水平補間フィルタ２１のフィルタ係数を示している。
【００８５】
この例では、注目画素を中心とする7画素×7画素の領域内にあるW画素のフィルタ係数が示されている。しかし、実質的には注目画素の図中、右側および左側に隣接するW画素のW成分にフィルタ係数が乗算されて水平補間画像における注目画素に対応する画素位置のW成分が算出される。
【００８６】
図５において、図中、中央上側に示されるフィルタ係数は、これから得ようとする垂直補間画像の画素に対応する入力画像の注目画素がW画素である場合における、垂直補間フィルタ２５のフィルタ係数を示している。
【００８７】
この例では、注目画素を中心とする7画素×7画素の領域内にあるW画素がフィルタ係数により重み付き加算されて、垂直補間画像の画素のW成分の値とされる。
【００８８】
実質的には注目画素のW成分と、注目画素の図中、上側および下側に隣接するW画素のW成分とにフィルタ係数が乗算されて垂直補間画像における注目画素に対応する画素位置のW成分が算出される。つまり、垂直方向に並ぶW画素を用いたフィルタ処理により、垂直補間画像のW成分が算出される。
【００８９】
また、図５中、中央下側に示されるフィルタ係数は注目画素がR画素、G画素、またはB画素である場合における、垂直補間フィルタ２５のフィルタ係数を示している。この例では、実質的には、注目画素の図中、上側および下側に隣接するW画素のW成分にフィルタ係数が乗算されて、垂直補間画像における注目画素に対応する画素位置のW成分が算出される。
【００９０】
さらに図中、右上に示されるフィルタ係数は、これから得ようとする正方補間画像の画素に対応する入力画像の注目画素がW画素である場合における、正方補間フィルタ２９のフィルタ係数を示している。この例では、注目画素を中心とする7画素×7画素の領域内にあるW画素がフィルタ係数により重み付き加算されて、注目画素に対応する正方補間画像上の画素のW成分の値とされる。
【００９１】
また、図中、右下に示されるフィルタ係数は注目画素がR画素、G画素、またはB画素である場合における、正方補間フィルタ２９のフィルタ係数を示している。この例でも注目画素を中心とする7画素×7画素の領域内にあるW画素がフィルタ係数により重み付き加算されて、正方補間画像における注目画素に対応する画素のW成分の値とされる。
【００９２】
さらに図６の例では、図中、左上に示されるフィルタ係数は、これから得ようとする水平平滑化画像の画素に対応する入力画像の注目画素がW画素である場合における、水平平滑化フィルタ２２のフィルタ係数を示している。
【００９３】
この例では、注目画素を中心とする7画素×7画素の領域内にあるW画素がフィルタ係数により重み付き加算されて、水平平滑化画像の画素のW成分の値とされる。
【００９４】
実質的には注目画素のW成分と、注目画素の図中、右側および左側に隣接するW画素のW成分とにフィルタ係数が乗算されて、水平平滑化画像における注目画素に対応する画素位置のW成分の値が算出される。つまり、水平方向に並ぶW画素を用いたフィルタ処理により、水平平滑化画像のW成分が算出される。
【００９５】
また、図６中、左下に示されるフィルタ係数は注目画素がR画素、G画素、またはB画素である場合における、水平平滑化フィルタ２２のフィルタ係数を示している。この例では、実質的には注目画素の図中、右側および左側にある合計４つのW画素が用いられて水平平滑化画像における注目画素に対応する画素位置のW成分が算出される。
【００９６】
図６において、図中、中央上側に示されるフィルタ係数は、これから得ようとする垂直平滑化画像の画素に対応する入力画像の注目画素がW画素である場合における、垂直平滑化フィルタ２６のフィルタ係数を示している。
【００９７】
この例では、注目画素を中心とする7画素×7画素の領域内にあるW画素がフィルタ係数により重み付き加算されて、垂直平滑化画像における注目画素に対応する画素のW成分の値とされる。
【００９８】
実質的には注目画素のW成分と、注目画素の図中、上側および下側に隣接するW画素のW成分とにフィルタ係数が乗算されて垂直平滑化画像における注目画素に対応する画素位置のW成分が算出される。つまり、垂直方向に並ぶW画素を用いたフィルタ処理により、垂直平滑化画像のW成分が算出される。
【００９９】
また、図６中、中央下側に示されるフィルタ係数は注目画素がR画素、G画素、またはB画素である場合における、垂直平滑化フィルタ２６のフィルタ係数を示している。この例では、実質的には注目画素の図中、上側および下側にある合計４つのW画素が用いられて垂直平滑化画像における注目画素に対応する画素位置のW成分が算出される。
【０１００】
さらに図中、右上に示されるフィルタ係数は、これから得ようとする正方平滑化画像の画素に対応する入力画像の注目画素がW画素である場合における、正方平滑化フィルタ３０乃至正方平滑化フィルタ３２のフィルタ係数を示している。
【０１０１】
具体的には、図中、右上に示される7画素×7画素の領域の中心にある画素を注目画素として、その注目画素を中心とする3画素×3画素の領域が正方平滑化フィルタ３０の平滑化領域とされる。同様に、注目画素を中心とする5画素×5画素の領域が正方平滑化フィルタ３１の平滑化領域とされ、注目画素を中心とする7画素×7画素の領域が正方平滑化フィルタ３２の平滑化領域とされる。
【０１０２】
そして、正方平滑化フィルタ３０乃至正方平滑化フィルタ３２では、それらの平滑化領域内のW画素がフィルタ係数により重み付き加算されて、正方平滑化画像の注目画素に対応する画素のW成分の値とされる。
【０１０３】
また、図中、右下に示されるフィルタ係数は注目画素がR画素、G画素、またはB画素である場合における、正方平滑化フィルタ３０乃至正方平滑化フィルタ３２のフィルタ係数を示している。
【０１０４】
この例でも図中、右上に示した例と同様に注目画素を中心とする3画素×3画素の領域、5画素×5画素の領域、および7画素×7画素の領域が、それぞれ正方平滑化フィルタ３０、正方平滑化フィルタ３１、および正方平滑化フィルタ３２の平滑化領域とされる。
【０１０５】
そして、正方平滑化フィルタ３０乃至正方平滑化フィルタ３２では、それらの平滑化領域内のW画素がフィルタ係数により重み付き加算されて、正方平滑化画像における注目画素に対応する画素のW成分の値とされる。
【０１０６】
このように正方平滑化フィルタ３０乃至正方平滑化フィルタ３２では、互いに平滑化領域が異なるだけで、同じ位置関係の画素には予め定められた同じフィルタ係数が用いられてフィルタ処理が行われる。
【０１０７】
具体的には、例えば図７に示すように正方平滑化フィルタ３０の平滑化領域は、注目画素を中心とする3画素×3画素の矩形状の領域R1となる。
【０１０８】
また、正方平滑化フィルタ３１の平滑化領域は、注目画素を中心とする5画素×5画素の領域、つまり領域R1と、その領域R1を囲む領域R2とからなる矩形領域とされる。したがって、正方平滑化フィルタ３１の平滑化領域には、正方平滑化フィルタ３０の平滑化領域全体が含まれている。
【０１０９】
さらに、正方平滑化フィルタ３２の平滑化領域は、注目画素を中心とする7画素×7画素の領域、つまり領域R1および領域R2と、領域R2を囲む領域R3とからなる矩形領域とされる。したがって、正方平滑化フィルタ３２の平滑化領域には、正方平滑化フィルタ３１の平滑化領域全体、および正方平滑化フィルタ３０の平滑化領域全体が含まれている。
【０１１０】
このように正方平滑化フィルタ３０乃至正方平滑化フィルタ３２の各平滑化領域には、領域R1が共通する領域として含まれることになる。また、図６に示した例では正方平滑化フィルタ３０乃至正方平滑化フィルタ３２で用いられるフィルタ係数のうち、領域R1内のW画素のフィルタ係数が共通するものとなる。
【０１１１】
なお、ここでは正方平滑化フィルタ３０乃至正方平滑化フィルタ３２で、平滑化領域の大きさのみが異なる例について説明したが、形状等が異なるようにしてもよい。
【０１１２】
〈補間処理の説明〉
次に、図８のフローチャートを参照して、図４に示した画像処理装置１１による補間処理について説明する。この補間処理は画像処理装置１１に入力画像が供給されると開始される。
【０１１３】
ステップＳ１１において、水平補間フィルタ２１は、供給された入力画像に対して水平方向への補間処理を行い、その結果得られた水平補間画像をブレンド処理部２４および差分絶対値算出部６１に供給する。例えば入力画像の全画素が順番に注目画素とされ、図５に示したフィルタ係数が用いられて注目画素に対応する水平補間画像の画素のW成分が算出されて、全画素位置のW成分を有する水平補間画像が生成される。
【０１１４】
ステップＳ１２において、水平平滑化フィルタ２２は、供給された入力画像に対して水平方向への平滑化処理を行い、その結果得られた水平平滑化画像をブレンド処理部２４および差分絶対値算出部６１に供給する。例えば入力画像の全画素が順番に注目画素とされ、図６に示したフィルタ係数が用いられて注目画素に対応する水平平滑化画像の画素のW成分が算出されて、全画素位置のW成分を有する水平平滑化画像が生成される。
【０１１５】
ステップＳ１３において、重み係数算出部６２は重み係数を算出する。
【０１１６】
すなわち、差分絶対値算出部６１は、各画素について、水平補間フィルタ２１から供給された水平補間画像の画素のW成分と、その画素と同じ位置にある、水平平滑化フィルタ２２から供給された水平平滑化画像の画素のW成分との差分絶対値を算出し、重み係数算出部６２および最大値選択部６６に供給する。
【０１１７】
また、重み係数算出部６２は、差分絶対値算出部６１から供給された差分絶対値に基づいて画素ごとに重み係数を算出し、ブレンド処理部２４に供給する。
【０１１８】
例えば重み係数算出部６２では、図９に示すように差分絶対値に対して重み係数が定められる。なお、図９において、横軸は差分絶対値を示しており、縦軸は重み係数を示している。また、折れ線C11は各差分絶対値に対して定まる重み係数の値を示している。
【０１１９】
この例では、差分絶対値が0から2.0までの区間では、差分絶対値が大きくなるにしたがって重み係数の値が小さくなる。つまり、差分絶対値が大きくなるにしたがって重み係数の値は1.0から0まで線形に減少する。また、差分絶対値が2.0以上である場合には重み係数は0とされる。
【０１２０】
重み係数算出部６２で算出される重み係数は、水平補間画像と水平平滑化画像とを混合（ブレンド）する際の水平平滑化画像にかけられる重みである。つまり、重み係数は水平出力画像に対する水平平滑化画像の寄与率を示している。
【０１２１】
例えば、入力画像上の注目画素近傍に垂直方向のエッジがある場合、差分絶対値算出部６１で得られる差分絶対値は大きくなるので、重み係数の値は小さくなる。そのような場合には、より平滑化能力の高いフィルタにより得られた水平平滑化画像の寄与率は低くなり、よりエッジ保存能力の高いフィルタにより得られた水平補間画像の寄与率が高くなるので、水平出力画像はエッジが保存されたものとなる。
【０１２２】
ここで、折れ線C11において重み係数の値が0となる差分絶対値の値は、ショットノイズが考慮されて定められる。すなわち、入力画像にショットノイズが含まれているために差分絶対値がある程度大きくなった場合には、水平出力画像として水平平滑化画像が選択され、入力画像にエッジが含まれているために差分絶対値が大きくなった場合には、水平出力画像として水平補間画像が選択されるようにされる。
【０１２３】
このように差分絶対値算出部６１で差分絶対値を算出する処理は、入力画像の注目画素近傍でエッジを検出する処理であるともいうことができ、重み係数算出部６２ではエッジの検出結果に応じて重み係数が決定される。
【０１２４】
図８のフローチャートの説明に戻り、ステップＳ１４において、ブレンド処理部２４は、重み係数算出部６２から供給された重み係数に基づいて、水平補間フィルタ２１から供給された水平補間画像と、水平平滑化フィルタ２２から供給された水平平滑化画像とを画素ごとに混合する。
【０１２５】
すなわち、これから得ようとする水平出力画像の画素と同じ位置にある水平補間画像および水平平滑化画像の画素のW成分の値を、それぞれW_hcおよびW_hsとする。また、これから得ようとする水平出力画像の画素の位置について重み係数算出部６２で得られた重み係数をWgt_hとする。この場合、ブレンド処理部２４はWgt_h×W_hs＋（1-Wgt_h）×W_hcを演算し、得られた値を水平出力画像の画素のW成分の値とする。
【０１２６】
ブレンド処理部２４は、このようにして得られた水平出力画像を乗算部８１に供給する。
【０１２７】
ステップＳ１５において、垂直補間フィルタ２５は、供給された入力画像に対して垂直方向への補間処理を行い、その結果得られた垂直補間画像をブレンド処理部２８および差分絶対値算出部６３に供給する。例えば入力画像の全画素が順番に注目画素とされて、図５に示したフィルタ係数が用いられて垂直補間画像における注目画素に対応する画素のW成分が算出され、全画素位置のW成分を有する垂直補間画像が生成される。
【０１２８】
ステップＳ１６において、垂直平滑化フィルタ２６は、供給された入力画像に対して垂直方向への平滑化処理を行い、その結果得られた垂直平滑化画像をブレンド処理部２８および差分絶対値算出部６３に供給する。例えば入力画像の全画素が順番に注目画素とされて、図６に示したフィルタ係数が用いられて垂直平滑化画像における注目画素に対応する画素のW成分が算出され、全画素位置のW成分を有する垂直平滑化画像が生成される。
【０１２９】
ステップＳ１７において、重み係数算出部６４は重み係数を算出する。
【０１３０】
すなわち、差分絶対値算出部６３は、各画素について、垂直補間フィルタ２５から供給された垂直補間画像の画素のW成分と、その画素と同じ位置にある、垂直平滑化フィルタ２６から供給された垂直平滑化画像の画素のW成分との差分絶対値を算出し、重み係数算出部６４および最大値選択部６６に供給する。
【０１３１】
また、重み係数算出部６４は、差分絶対値算出部６３から供給された差分絶対値に基づいて画素ごとに重み係数を算出し、ブレンド処理部２８に供給する。
【０１３２】
例えば重み係数算出部６４は、重み係数算出部６２における場合と同様にして重み係数を算出する。すなわち、例えば図９に示した折れ線C11により重み係数が定められる。この場合、図９における横軸が差分絶対値算出部６３で得られた差分絶対値となり、図９における縦軸が重み係数算出部６４で得られる重み係数となる。
【０１３３】
ステップＳ１８において、ブレンド処理部２８は、重み係数算出部６４から供給された重み係数に基づいて、垂直補間フィルタ２５から供給された垂直補間画像と、垂直平滑化フィルタ２６から供給された垂直平滑化画像とを画素ごとに混合する。
【０１３４】
すなわち、これから得ようとする垂直出力画像の画素と同じ位置にある垂直補間画像および垂直平滑化画像の画素のW成分の値を、それぞれW_vcおよびW_vsとする。また、これから得ようとする垂直出力画像の画素の位置について重み係数算出部６４で得られた重み係数をWgt_vとする。この場合、ブレンド処理部２８はWgt_v×W_vs＋（1-Wgt_v）×W_vcを演算し、得られた値を垂直出力画像の画素のW成分の値とする。
【０１３５】
したがって、垂直出力画像の生成時においても水平出力画像における場合と同様に、入力画像に水平方向のエッジがあるときには垂直補間画像が垂直出力画像として選択されてエッジが保存される。一方、入力画像に水平方向のエッジがないときには垂直平滑化画像が垂直出力画像として選択され、平滑化によりノイズが除去される。
【０１３６】
ブレンド処理部２８は、このようにして得られた垂直出力画像を乗算部８２に供給する。
【０１３７】
ステップＳ１９において、正方補間フィルタ２９は、供給された入力画像に対して斜め方向への補間処理を行い、その結果得られた正方補間画像をブレンド処理部３６、差分絶対値算出部６５、差分絶対値算出部６８、および差分絶対値算出部７１に供給する。
【０１３８】
例えば入力画像の全画素が順番に注目画素とされ、図５に示したフィルタ係数を用いたフィルタ処理により正方補間画像における注目画素に対応する画素のW成分が算出されて、全画素位置のW成分を有する正方補間画像が生成される。
【０１３９】
ステップＳ２０において、正方平滑化フィルタ３０は、供給された入力画像に対して3×3正方平滑化処理を行い、その結果得られた正方平滑化画像を差分絶対値算出部６５およびブレンド処理部３６に供給する。
【０１４０】
例えば入力画像の全画素が順番に注目画素とされ、図６に示したフィルタ係数を用いたフィルタ処理により正方平滑化画像における注目画素に対応する画素のW成分が算出され、全画素位置のW成分を有する正方平滑化画像（以下、3×3正方平滑化画像とも称する）が生成される。このとき注目画素を中心とする3画素×3画素の領域が平滑化領域とされて平滑化領域内の画素にフィルタ係数が乗算され、フィルタ処理が行われる。
【０１４１】
ステップＳ２１において、重み係数算出部６７は、3×3正方平滑化画像の画素ごとに重み係数を算出する。
【０１４２】
すなわち、差分絶対値算出部６５は、各画素について、正方補間フィルタ２９から供給された正方補間画像の画素のW成分と、その画素と同じ位置にある、正方平滑化フィルタ３０から供給された3×3正方平滑化画像の画素のW成分との差分絶対値を算出し、最大値選択部６６に供給する。
【０１４３】
また、最大値選択部６６は、差分絶対値算出部６１から供給された差分絶対値、差分絶対値算出部６３から供給された差分絶対値、および差分絶対値算出部６５から供給された差分絶対値のうちの最大値を画素ごとに選択し、重み係数算出部６７、最大値選択部６９、および最大値選択部７２に供給する。
【０１４４】
さらに重み係数算出部６７は、画素ごとに、最大値選択部６６から供給された最大値に基づいて、3×3正方平滑化画像の重み係数を算出し、ブレンド処理部３６に供給する。例えば重み係数算出部６７は、重み係数算出部６２における場合と同様にして重み係数を算出する。すなわち、例えば図９に示した折れ線C11により重み係数が定められる。この場合、図９における横軸が最大値選択部６６で得られた差分絶対値の最大値となり、図９における縦軸が重み係数算出部６７で得られる重み係数となる。
【０１４５】
3×3正方平滑化画像の重み係数を算出するにあたっては、最大値選択部６６において差分絶対値の最大値が選択される。上述したように入力画像に水平方向や垂直方向のエッジがある場合には、差分絶対値算出部６１や差分絶対値算出部６３から出力される差分絶対値は大きくなる。
【０１４６】
そして、差分絶対値算出部６１や差分絶対値算出部６３から出力される差分絶対値が大きいときには、それらの差分絶対値が最大値選択部６６において最大値として選択され、3×3正方平滑化画像の重み係数として小さい値が得られることになる。
【０１４７】
したがって、例えば入力画像に水平方向や垂直方向のエッジがあるときには重み係数が小さくなって、3×3正方平滑化画像の正方出力画像への寄与率が小さくなり、エッジが保存された解像感の高い正方出力画像が得られる。
【０１４８】
入力画像にエッジがある場合、差分絶対値算出部６５で得られる差分絶対値も大きくなる。しかし、正方補間フィルタ２９や正方平滑化フィルタ３０では矩形領域内の画素が用いられてフィルタ処理が行われるため、差分絶対値算出部６５では、水平方向や垂直方向のエッジを高精度に検出することができない。
【０１４９】
そこで、重み係数算出部６７では、水平平滑化画像や垂直平滑化画像の重み係数、すなわち差分絶対値算出部６１や差分絶対値算出部６３で得られた差分絶対値も用いられて3×3正方平滑化画像の重み係数が算出される。これにより、より適切な重み係数を得ることができるようになる。
【０１５０】
ステップＳ２２において、正方平滑化フィルタ３１は、供給された入力画像に対して5×5正方平滑化処理を行い、その結果得られた正方平滑化画像を差分絶対値算出部６８およびブレンド処理部３６に供給する。
【０１５１】
例えば入力画像の全画素が順番に注目画素とされ、図６に示したフィルタ係数を用いたフィルタ処理により正方平滑化画像における注目画素に対応する画素のW成分が算出され、全画素位置のW成分を有する正方平滑化画像（以下、5×5正方平滑化画像とも称する）が生成される。
【０１５２】
ステップＳ２３において、重み係数算出部７０は、5×5正方平滑化画像の画素ごとに重み係数を算出する。
【０１５３】
すなわち、差分絶対値算出部６８は、各画素について、正方補間フィルタ２９から供給された正方補間画像の画素のW成分と、その画素と同じ位置にある、正方平滑化フィルタ３１から供給された5×5正方平滑化画像の画素のW成分との差分絶対値を算出し、最大値選択部６９に供給する。
【０１５４】
また、最大値選択部６９は、最大値選択部６６から供給された最大値と、差分絶対値算出部６８から供給された差分絶対値とのうち、より値が大きい方を最大値として選択し、重み係数算出部７０に供給する。
【０１５５】
さらに重み係数算出部７０は、画素ごとに、最大値選択部６９から供給された最大値に基づいて、5×5正方平滑化画像の重み係数を算出し、ブレンド処理部３６に供給する。例えば重み係数算出部７０は、重み係数算出部６２における場合と同様にして重み係数を算出する。すなわち、例えば図９に示した折れ線C11により重み係数が定められる。この場合、図９における横軸が最大値選択部６９で得られた差分絶対値の最大値となり、図９における縦軸が重み係数算出部７０で得られる重み係数となる。
【０１５６】
例えば、入力画像の注目画素近傍に水平方向や垂直方向のエッジがあるときや、図７に示した領域R1内にエッジがあるときには、最大値選択部６６から供給された最大値が大きいので、この最大値が最大値選択部６９において最大値として選択される。そうすると、5×5正方平滑化画像の重み係数として小さい値が得られることになり、エッジが保存された解像感の高い正方出力画像が得られる。
【０１５７】
また、図７に示した矩形領域R1内にエッジがなくても、矩形領域R2内にエッジがあるときには差分絶対値算出部６８から出力される差分絶対値が大きくなるので、この差分絶対値が最大値選択部６９において最大値として選択される。この場合にも、5×5正方平滑化画像の重み係数として小さい値が得られることになり、エッジが保存された解像感の高い正方出力画像が得られる。
【０１５８】
逆に、図７に示した領域R1内にも領域R2内にもエッジがないときには、最大値選択部６９において最大値として選択される値は比較的小さい値となる。そのような場合には、5×5正方平滑化画像の重み係数として大きい値が得られることになるので、平滑化されてノイズが除去された正方出力画像が得られる。
【０１５９】
ステップＳ２４において、正方平滑化フィルタ３２は、供給された入力画像に対して7×7正方平滑化処理を行い、その結果得られた正方平滑化画像を差分絶対値算出部７１およびブレンド処理部３６に供給する。
【０１６０】
例えば入力画像の全画素が順番に注目画素とされ、図６に示したフィルタ係数を用いたフィルタ処理により正方平滑化画像における注目画素に対応する画素のW成分が算出され、全画素位置のW成分を有する正方平滑化画像（以下、7×7正方平滑化画像とも称する）が生成される。
【０１６１】
ステップＳ２５において、重み係数算出部７３は、7×7正方平滑化画像の画素ごとに重み係数を算出する。
【０１６２】
すなわち、差分絶対値算出部７１は、各画素について、正方補間フィルタ２９から供給された正方補間画像の画素のW成分と、その画素と同じ位置にある、正方平滑化フィルタ３２から供給された7×7正方平滑化画像の画素のW成分との差分絶対値を算出し、最大値選択部７２に供給する。
【０１６３】
また、最大値選択部７２は、最大値選択部６６から供給された最大値と、差分絶対値算出部７１から供給された差分絶対値とのうち、より値が大きい方を最大値として選択し、重み係数算出部７３に供給する。
【０１６４】
さらに重み係数算出部７３は、画素ごとに、最大値選択部７２から供給された最大値に基づいて、7×7正方平滑化画像の重み係数を算出し、ブレンド処理部３６に供給する。例えば重み係数算出部７３は、重み係数算出部６２における場合と同様にして重み係数を算出する。すなわち、例えば図９に示した折れ線C11により重み係数が定められる。この場合、図９における横軸が最大値選択部７２で得られた差分絶対値の最大値となり、図９における縦軸が重み係数算出部７３で得られる重み係数となる。
【０１６５】
重み係数算出部７３では、重み係数算出部７０における場合と同様に、入力画像の注目画素近傍に水平方向や垂直方向のエッジがあるときや、図７に示した領域R1内にエッジがあるときには、7×7正方平滑化画像の重み係数は小さくなる。また、領域R1内にエッジがなくても、領域R2や領域R3内にエッジがあるときには7×7正方平滑化画像の重み係数は小さくなる。
【０１６６】
したがって画像処理装置１１では、正方平滑化フィルタ３０乃至正方平滑化フィルタ３２からなるフィルタを１つの平滑化フィルタとして考えた場合、入力画像にエッジがあるかどうかに応じて、なるべく大きい平滑化領域が定められることになる。すなわち、注目画素を中心とする矩形領域であって、エッジが含まれない最大の矩形領域が平滑化領域とされる。
【０１６７】
これにより、エッジのない平坦な領域に対しては大きい平滑化領域を設定して、より効果的にノイズを除去することができるとともに、エッジを含む領域に対しては適度に平滑化してノイズを除去しつつエッジが保存されるようにし、解像度の劣化を抑制することができる。つまり、平坦部でのざらつきの発生を抑制するとともに、エッジ部でのジャギーやノイズのとれ残りなどの破綻の発生を抑制し、より高品質な画像を得ることができる。
【０１６８】
ステップＳ２６において、ブレンド処理部３６は、重み係数算出部６７、重み係数算出部７０、および重み係数算出部７３から供給された重み係数に基づいて、画素ごとに、正方補間フィルタ２９から供給された正方補間画像、および正方平滑化フィルタ３０乃至正方平滑化フィルタ３２から供給された正方平滑化画像を混合する。
【０１６９】
具体的には、ブレンド処理部３６は次式（１）を計算することにより正方出力画像を生成する。
【０１７０】
【数１】
2016051188.tif 000003
【０１７１】
なお、式（１）においてw_adは正方出力画像の画素のW成分の値を示しており、itp、smt、smt1、およびsmt2は、それぞれ正方補間画像、3×3正方平滑化画像、5×5正方平滑化画像、および7×7正方平滑化画像の画素のW成分の値を示している。
【０１７２】
また、式（１）においてwgta、wgta1、およびwgta2は、それぞれ3×3正方平滑化画像、5×5正方平滑化画像、および7×7正方平滑化画像の重み係数を示している。
【０１７３】
したがって、式（１）では正方補間画像、3×3正方平滑化画像、5×5正方平滑化画像、および7×7正方平滑化画像が各画素について求められた重み係数により重み付き加算されて正方出力画像とされている。
【０１７４】
ステップＳ２７において、異方性補間処理部７４は異方性補間処理を行う。
【０１７５】
すなわち、乗算部８１はブレンド処理部２４から供給された水平出力画像に重みを乗算し、加算部８４に供給する。また、乗算部８２はブレンド処理部２８から供給された垂直出力画像に重みを乗算し、加算部８４に供給する。乗算部８３はブレンド処理部３６から供給された正方出力画像に重みを乗算し、加算部８４に供給する。
【０１７６】
さらに加算部８４は、乗算部８１から供給された水平出力画像、乗算部８２から供給された垂直出力画像、および乗算部８３から供給された正方出力画像を加算して出力画像とし、得られた出力画像を出力する。これにより、全画素位置にW成分を有する出力画像が得られたことになる。
【０１７７】
このようにして出力画像が出力されると、補間処理は終了する。なお、ここでは水平出力画像、垂直出力画像、および正方出力画像を重み付き加算して出力画像とする例について説明したが、その他、例えば正方出力画像が出力画像として出力されてもよい。
【０１７８】
以上のようにして画像処理装置１１は、各方向について、補間処理により得られた画像と平滑化処理により得られた画像とを混合し、さらに各方向について得られた画像を混合することで出力画像を生成する。
【０１７９】
このように複数のフィルタを組み合わせて出力画像を生成することで、平坦部でのざらつきの発生を抑制するとともに、エッジ部でのジャギーやノイズのとれ残りなどの破綻の発生を抑制し、より高品質な画像を得ることができる。
【０１８０】
また、画像処理装置１１では、互いに平滑化領域の大きさが異なる複数の正方平滑化フィルタで得られた正方平滑化画像が画素ごとに混合される。したがって、各正方平滑化画像の画素に対して乗算される重み係数は、バイラテラルフィルタにおける画素ごとの重みに相当する。しかし、重み係数算出部６７、重み係数算出部７０、および重み係数算出部７３において算出される重み係数は、各平滑化領域内のW画素に対して共通の重みとなる。
【０１８１】
このように平滑化領域ごとに重み係数を算出することで、画素単位で重みを算出するバイラテラルフィルタと比べて、より簡単な処理および構成で、つまりより低コストで高品質な出力画像を得ることができる。
【０１８２】
〈第２の実施の形態〉
〈画像処理装置の構成例〉
なお、図１に示した画像処理装置１１では、ブレンド処理部３６が重み計算部２３および重み計算部２７で得られた重み係数も用いて正方出力画像を生成すると説明したが、重み計算部２３および重み計算部２７で得られた重み係数が用いられないようにしてもよい。
【０１８３】
そのような場合、画像処理装置１１は、例えば図１０に示すように構成される。なお、図１０において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１８４】
図１０に示す画像処理装置１１は、図１における場合と同様に、水平補間フィルタ２１乃至方向ブレンド処理部３７を有している。
【０１８５】
但し、図１０に示す画像処理装置１１では、重み計算部２３で得られた重み係数は、ブレンド処理部３６には供給されず、ブレンド処理部２４にのみ供給される。同様に重み計算部２７で得られた重み係数は、ブレンド処理部３６には供給されず、ブレンド処理部２８にのみ供給される。
【０１８６】
したがって、ブレンド処理部３６は、重み計算部３３乃至重み計算部３５から供給された重み係数に基づいて、正方補間フィルタ２９から供給された正方補間画像、および正方平滑化フィルタ３０乃至正方平滑化フィルタ３２から供給された正方平滑化画像を混合し、得られた正方出力画像を方向ブレンド処理部３７に供給する。
【０１８７】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１８８】
図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０１８９】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Me mory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０１９０】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０１９１】
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０１９２】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０１９３】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１９４】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０１９５】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１９６】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９７】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０１９８】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０１９９】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２００】
さらに、本技術は、以下の構成とすることも可能である。
【０２０１】
［１］
入力画像に対してフィルタ処理を施して第１の出力画像を生成する第１のフィルタ処理部と、
前記第１のフィルタ処理部よりも平滑化能力が高く、前記入力画像に対してフィルタ処理を施して第２の出力画像を生成する第２のフィルタ処理部と、
フィルタ処理に用いる前記入力画像の領域が互いに異なる複数の前記第２のフィルタ処理部で得られた複数の前記第２の出力画像と、前記第１の出力画像とを所定の重み係数により重み付き加算して、最終的な出力画像を生成するブレンド処理部と
を備える画像処理装置。
［２］
前記第２のフィルタ処理部は、前記入力画像の注目画素を含む所定形状の平滑化領域内の画素を用いて前記入力画像の前記注目画素に対するフィルタ処理を行う
［１］に記載の画像処理装置。
［３］
前記第１の出力画像と前記第２の出力画像とに基づいて、前記第２の出力画像の前記重み係数を算出する重み係数算出部をさらに備える
［２］に記載の画像処理装置。
［４］
所定の前記第２のフィルタ処理部によるフィルタ処理の前記平滑化領域には、他の前記第２のフィルタ処理部によるフィルタ処理の前記平滑化領域全体が含まれている
［２］または［３］に記載の画像処理装置。
［５］
前記平滑化領域は矩形状の領域であり、前記第１のフィルタ処理部は、前記入力画像における矩形領域内の画素を用いて前記入力画像に対するフィルタ処理を行う
［２］乃至［４］の何れか一項に記載の画像処理装置。
［６］
前記重み係数算出部は、前記入力画像における水平方向または垂直方向のエッジに関する情報と、前記第１の出力画像および前記第２の出力画像とに基づいて前記重み係数を算出する
［３］に記載の画像処理装置。
［７］
水平方向または垂直方向のエッジに関する前記情報は、前記入力画像に対して水平方向または垂直方向の方向フィルタ処理を施して得られた画像と、前記方向フィルタ処理よりも平滑化能力が高い、水平方向または垂直方向の他の方向フィルタ処理を前記入力画像に対して施して得られた画像とに基づいて得られた情報である
［６］に記載の画像処理装置。
［８］
入力画像に対してフィルタ処理を施して第１の出力画像を生成する第１のフィルタ処理ステップと、
前記第１のフィルタ処理ステップにおけるフィルタ処理よりも平滑化能力が高いフィルタ処理を前記入力画像に対して施して第２の出力画像を生成する第２のフィルタ処理ステップと、
前記第２のフィルタ処理ステップにおいて前記入力画像の互いに異なる領域を用いる複数のフィルタ処理で得られた複数の前記第２の出力画像と、前記第１の出力画像とを所定の重み係数により重み付き加算して、最終的な出力画像を生成するブレンド処理ステップと
を含む画像処理方法。
［９］
入力画像に対してフィルタ処理を施して第１の出力画像を生成する第１のフィルタ処理ステップと、
前記第１のフィルタ処理ステップにおけるフィルタ処理よりも平滑化能力が高いフィルタ処理を前記入力画像に対して施して第２の出力画像を生成する第２のフィルタ処理ステップと、
前記第２のフィルタ処理ステップにおいて前記入力画像の互いに異なる領域を用いる複数のフィルタ処理で得られた複数の前記第２の出力画像と、前記第１の出力画像とを所定の重み係数により重み付き加算して、最終的な出力画像を生成するブレンド処理ステップと
を含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０２０２】
１１  画像処理装置，  ２１  水平補間フィルタ，  ２２  水平平滑化フィルタ，  ２５  垂直補間フィルタ，  ２６  垂直平滑化フィルタ，  ２９  正方補間フィルタ，  ３０  正方平滑化フィルタ，  ３１  正方平滑化フィルタ，  ３２  正方平滑化フィルタ，  ３６  ブレンド処理部，  ６１  差分絶対値算出部，  ６３  差分絶対値算出部，  ６５  差分絶対値算出部，  ６６  最大値選択部，  ６７  重み係数算出部，  ６８  差分絶対値算出部，  ６９  最大値選択部，  ７０  重み係数算出部，  ７１  差分絶対値算出部，  ７２  最大値選択部，  ７３  重み係数算出部
【図１】
2016051188.tif 000004
【図２】
2016051188.tif 000005
【図３】
2016051188.tif 000006
【図４】
2016051188.tif 000007
【図５】
2016051188.tif 000008
【図６】
2016051188.tif 000009
【図７】
2016051188.tif 000010
【図８】
2016051188.tif 000011
【図９】
2016051188.tif 000012
【図１０】
2016051188.tif 000013
【図１１】
2016051188.tif 000014