(57)【要約】  被写体が撮像された撮像画像を取得する画像取得手段１１２と、撮像画像を平滑化することにより平滑化画像を生成する平滑化手段１１４と、撮像画像と平滑化画像との差分から差分ノイズ成分を抽出するノイズ抽出手段１１６と、平滑化撮像画像に差分ノイズ成分を加算するノイズ付加手段１１８と、撮像画像に対するぼかし強度の分布を示すぼかし強度マップを取得するマップ取得手段１２０と、ぼかし強度マップに基づいて撮像画像と平滑化画像とを合成し、出力画像を生成する画像合成手段１２２と、を備えた。
2013179963.tif 000002
【特許請求の範囲】
【請求項１】
被写体が撮像された撮像画像を取得する画像取得手段と、
前記撮像画像を平滑化することにより平滑化画像を生成する平滑化手段と、
前記撮像画像と前記平滑化画像との差分から差分ノイズ成分を抽出するノイズ抽出手段と、
前記平滑化画像に前記差分ノイズ成分を加算するノイズ付加手段と、
前記撮像画像に対するぼかし強度の分布を示すぼかし強度マップを取得するマップ取得手段と、
前記ぼかし強度マップに基づいて前記撮像画像と前記平滑化画像とを合成し、出力画像を生成する画像合成手段と、
を備えた画像処理装置。
【請求項２】
前記平滑化手段は、複数の異なる平滑化強度のそれぞれで前記撮像画像を平滑化することにより平滑化強度の異なる複数の平滑化画像を生成し、
前記ノイズ抽出手段は、前記撮像画像と前記複数の平滑化画像のそれぞれとの差分から前記複数の平滑化画像にそれぞれ対応した複数の差分ノイズ成分を抽出し、
前記ノイズ付加手段は、前記複数の平滑化画像のそれぞれに前記複数の差分ノイズ成分のうちの対応する差分ノイズ成分を加算することにより、前記複数の平滑化画像間におけるノイズを等しくし、
前記画像合成手段は、前記ぼかし強度マップに基づいて前記撮像画像と前記複数の平滑化画像とを合成し、出力画像を生成する請求項１に記載の画像処理装置。
【請求項３】
前記ぼかし強度マップは、前記撮像画像の画素ごと又は画素領域ごとに前記ぼかし強度の分布を示し、
前記画像合成手段は、前記撮像画像の画素ごと又は領域ごとに、前記ぼかし強度マップのぼかし強度に基づいて、前記撮像画像と前記差分ノイズ成分の付加された前記複数の平滑化画像との中から複数の画像を選択し、該選択した複数の画像の加重平均を行なうことにより前記出力画像を生成する請求項２に記載の画像処理装置。
【請求項４】
前記平滑化手段は、画素間引きにより画像サイズの縮小を行う間引き手段と、画素補間により画像サイズの拡大を行う拡大手段と、を有し、同じ平滑化強度の平滑化と前記間引き手段による画素間引きとを複数回繰り返すことで、平滑化強度及び画像サイズの異なる前記複数の平滑化画像を生成し、該複数の平滑化画像を前記拡大手段によって平滑化強度が異なり画像サイズが同一の前記複数の平滑化画像に変換する請求項２または３に記載の画像処理装置。
【請求項５】
前記ぼかし強度マップは、前記撮像画像の画素ごと又は画素領域ごとに前記ぼかし強度の分布を示し、
前記平滑化手段は、前記ぼかし強度マップにおける最大のぼかし強度に基づいて、前記撮像画像に対する平滑化の平滑化強度を決定する請求項１から４のうちいずれか１項に記載の画像処理装置。
【請求項６】
被写体が撮像された撮像画像を取得する画像取得手段と、
前記撮像画像に含まれるノイズを示すノイズ画像を取得するノイズ画像取得手段と、
前記撮像画像を平滑化することにより平滑化画像を生成し、かつ、前記撮像画像の平滑化に用いた平滑化強度で前記ノイズ画像を平滑化することにより平滑化ノイズ画像を生成する平滑化手段と、
前記ノイズ画像と前記平滑化ノイズ画像との差分から差分ノイズ成分を抽出するノイズ抽出手段と、
前記平滑化画像に前記差分ノイズ成分を加算するノイズ付加手段と、
前記撮像画像に対するぼかし強度の分布を示すぼかし強度マップを取得するマップ取得手段と、
前記ぼかし強度マップに基づいて前記撮像画像と前記平滑化画像とを合成し、出力画像を生成する画像合成手段と、
を備えた画像処理装置。
【請求項７】
前記平滑化手段は、複数の異なる平滑化強度のそれぞれで前記撮像画像を平滑化することにより平滑化強度の異なる複数の平滑化画像を生成し、かつ、前記撮像画像の平滑化に用いた前記複数の異なる平滑化強度のそれぞれで前記ノイズ画像を平滑化することにより平滑化強度の異なる複数の平滑化ノイズ画像を生成し、
前記ノイズ抽出手段は、前記ノイズ画像と前記複数の平滑化ノイズ画像のそれぞれとの差分から前記複数の平滑化画像にそれぞれ対応した複数の差分ノイズ成分を抽出し、
前記ノイズ付加手段は、前記複数の平滑化画像のそれぞれに前記複数の差分ノイズ成分のうちの対応する差分ノイズ成分を加算することにより、前記複数の平滑化画像間におけるノイズを等しくし、
前記画像合成手段は、前記ぼかし強度マップに基づいて前記撮像画像と前記複数の平滑化画像とを合成し、出力画像を生成する請求項６に記載の画像処理装置。
【請求項８】
前記ぼかし強度マップは、前記撮像画像の画素ごと又は画素領域ごとに前記ぼかし強度の分布を示し、
前記画像合成手段は、前記撮像画像の画素ごと又は領域ごとに、前記ぼかし強度マップのぼかし強度に基づいて、前記撮像画像と前記差分ノイズ成分の付加された前記複数の平滑化画像との中から複数の画像を選択し、該選択した複数の画像の加重平均を行なうことにより前記出力画像を生成する請求項７に記載の画像処理装置。
【請求項９】
前記平滑化手段は、画素間引きにより画像サイズの縮小を行う間引き手段と、画素補間により画像サイズの拡大を行う拡大手段と、を有し、同じ平滑化強度の平滑化と前記間引き手段による画素間引きとを複数回繰り返すことで、平滑化強度及び画像サイズの異なる前記複数の平滑化画像を生成し、該複数の平滑化画像を前記拡大手段によって平滑化強度が異なり画像サイズが同一の前記複数の平滑化画像に変換し、かつ、同じ平滑化強度の平滑化と前記間引き手段による画素間引きとを複数回繰り返すことで、平滑化強度及び画像サイズの異なる前記複数の平滑化ノイズ画像を生成し、該複数の平滑化ノイズ画像を前記拡大手段によって平滑化強度が異なり画像サイズが同一の前記複数の平滑化ノイズ画像に変換する請求項７または８に記載の画像処理装置。
【請求項１０】
前記ぼかし強度マップは、前記撮像画像の画素ごと又は画素領域ごとに前記ぼかし強度の分布を示し、
前記平滑化手段は、前記ぼかし強度マップにおける最大のぼかし強度に基づいて、前記撮像画像及び前記ノイズ画像に対する平滑化の平滑化強度を決定する請求項６から９のうちいずれか１項に記載の画像処理装置。
【請求項１１】
前記平滑化手段は、前記ノイズ画像と前記撮像画像とで平滑化強度を一致させる請求項６から１０のうちいずれか１項に記載の画像処理装置。
【請求項１２】
前記ノイズ画像取得手段は、前記撮像画像に基づいて前記ノイズ画像を生成する請求項６から１１のうちいずれか１項に記載の画像処理装置。
【請求項１３】
前記ノイズ画像取得手段は、前記撮像画像の撮像条件、又は前記撮像画像を撮像した撮像装置の撮像特性に基づいて、前記ノイズ画像を生成する請求項６から１１のうちいずれか１項に記載の画像処理装置。
【請求項１４】
前記マップ取得手段は、前記ぼかし強度マップとして、前記撮像画像における画素ごと又は領域ごとの距離の分布を示す距離マップを取得し、
前記画像合成手段は、前記距離マップに基づいて、前記撮像画像における距離の分布に応じたぼかし強度の分布を有する前記出力画像を生成する請求項１から１３のいずれか１項に記載の画像処理装置。
【請求項１５】
請求項１から１４のうちいずれか１項に記載の画像処理装置を備えた撮像装置。
【請求項１６】
被写体が撮像された撮像画像を取得する画像取得手段と、前記撮像画像に対するぼかし強度の分布を示すぼかし強度マップを取得するマップ取得手段と、を用い、
前記撮像画像を平滑化することにより平滑化画像を生成する平滑化ステップと、
前記撮像画像と前記平滑化画像との差分から差分ノイズ成分を抽出するノイズ抽出ステップと、
前記平滑化画像に前記差分ノイズ成分を加算するノイズ付加ステップと、
前記ぼかし強度マップに基づいて前記撮像画像と前記平滑化画像とを合成し、出力画像を生成する画像合成ステップと、
を備えた画像処理方法。
【請求項１７】
被写体が撮像された撮像画像を取得する画像取得手段と、前記撮像画像に含まれるノイズを示すノイズ画像を取得するノイズ画像取得手段と、前記撮像画像に対するぼかし強度の分布を示すぼかし強度マップを取得するマップ取得手段と、を用い、
前記撮像画像を平滑化することにより平滑化画像を生成するステップと、
前記撮像画像の平滑化に用いた平滑化強度で前記ノイズ画像を平滑化することにより平滑化ノイズ画像を生成するステップと、
前記ノイズ画像と前記平滑化ノイズ画像との差分から差分ノイズ成分を抽出するノイズ抽出ステップと、
前記平滑化画像に前記差分ノイズ成分を加算するノイズ付加ステップと、
前記ぼかし強度マップに基づいて前記撮像画像と前記平滑化画像とを合成し、出力画像を生成する画像合成ステップと、
を備えた画像処理方法。
【請求項１８】
被写体が撮像された撮像画像を取得する画像取得手段と、前記撮像画像に対するぼかし強度の分布を示すぼかし強度マップを取得するマップ取得手段と、を用い、
前記撮像画像を平滑化することにより平滑化画像を生成する平滑化ステップと、
前記撮像画像と前記平滑化画像との差分から差分ノイズ成分を抽出するノイズ抽出ステップと、
前記平滑化画像に前記差分ノイズ成分を加算するノイズ付加ステップと、
前記ぼかし強度マップに基づいて前記撮像画像と前記平滑化画像とを合成し、出力画像を生成する画像合成ステップと、
をコンピュータに実行させるプログラム。
【請求項１９】
被写体が撮像された撮像画像を取得する画像取得手段と、前記撮像画像に含まれるノイズを示すノイズ画像を取得するノイズ画像取得手段と、前記撮像画像に対するぼかし強度の分布を示すぼかし強度マップを取得するマップ取得手段と、を用い、
前記撮像画像を平滑化することにより平滑化画像を生成するステップと、
前記撮像画像の平滑化に用いた平滑化強度で前記ノイズ画像を平滑化することにより平滑化ノイズ画像を生成するステップと、
前記ノイズ画像と前記平滑化ノイズ画像との差分から差分ノイズ成分を抽出するノイズ抽出ステップと、
前記平滑化画像に前記差分ノイズ成分を加算するノイズ付加ステップと、
前記ぼかし強度マップに基づいて前記撮像画像と前記平滑化画像とを合成し、出力画像を生成する画像合成ステップと、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置及び画像処理方法、並びにプログラムに関し、特にぼけ強調画像を作成する技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置や画像処理装置の分野では、いわゆるフォーカスブラケット撮影で得られた撮像画像に対して対応点検出及び画像変形を行い、これらの結果に基づいて撮像画像にぼかしを加えることで、被写界深度の浅い画像を生成することが行われている。【０００３】
例えば特許文献１では、フォーカスブラケット画像に基づいて基準画像に適用するガウシアンフィルタのフィルタ特性を算出し、当該特性に基づいて基準画像を局所平滑化することで、ぼけを強調した画像を生成している。【０００４】
また特許文献２では、画像にノイズ付加フィルタを適用する際、人物などノイズを付加したくない領域を検出し、当該領域にソフトフォーカス処理を行い、当該領域外にはノイズ付加処理を行うことが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−２７１２４０号公報
【特許文献２】特開２００７−２４１４２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献のような従来の技術で画像にぼかし処理を行う場合、平滑化フィルタなどを用いる一般的な手法では、画像中のぼかし処理した部分とそうでない部分とでノイズの量に差が生じてムラとなり、違和感のある画像となってしまう。上記特許文献１では、ぼかし処理に伴って発生する画像中のノイズ量の差については考慮されていない。また上記特許文献２では特定の領域にノイズを付加するが、人物等が含まれノイズを付加したくない領域ではソフトフォーカス処理のフィルタ特性に応じてノイズが減少する一方、それ以外の領域にノイズを加えるため、処理後の画像にノイズの差が生じてしまう、という問題がある。【０００７】
本発明はこのような事情に基づいてなされたもので、ぼかした部分とそうでない部分とのノイズ量の差を軽減し、自然なぼけ強調画像を作成することができる画像処理装置、撮像装置及び画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明は、被写体が撮像された撮像画像を取得する画像取得手段と、撮像画像を平滑化することにより平滑化画像を生成する平滑化手段と、撮像画像と平滑化画像との差分から差分ノイズ成分を抽出するノイズ抽出手段と、平滑化画像に差分ノイズ成分を加算するノイズ付加手段と、撮像画像に対するぼかし強度の分布を示すぼかし強度マップを取得するマップ取得手段と、ぼかし強度マップに基づいて撮像画像と平滑化画像とを合成し、出力画像を生成する画像合成手段と、を備えた画像処理装置を提供する。ここで、「差分ノイズ成分」は、撮像画像を平滑化することにより撮像画像から低減されたノイズを示す。また、「ノイズ」は、画像の乱れ（ノイズ成分）であり、被写体像に相関しない成分である。【０００９】
上述のように、撮像画像を平滑化することにより平滑化画像を生成し、撮像画像と平滑化画像との差分から差分ノイズ成分を抽出し、平滑化画像に差分ノイズ成分を加算し、ぼかし強度マップに基づいて撮像画像と平滑化画像とを合成し、出力画像を生成するので、ぼかした部分とそうでない部分とのノイズ量の差を軽減し、局所的なノイズ量の差が目立ちにくい、より自然なボケ強調画像を得ることができる。【００１０】
一実施形態において、平滑化手段は、複数の異なる平滑化強度のそれぞれで撮像画像を平滑化することにより平滑化強度の異なる複数の平滑化画像を生成し、ノイズ抽出手段は、撮像画像と複数の平滑化画像のそれぞれとの差分から複数の差分ノイズ成分を抽出し、ノイズ付加手段は、複数の平滑化画像のそれぞれに複数の差分ノイズ成分のうちの対応する差分ノイズ成分を加算することにより、複数の平滑化画像間におけるノイズを等しくし、画像合成手段は、ぼかし強度マップに基づいて撮像画像と複数の平滑化画像とを合成する。【００１１】
一実施形態において、ぼかし強度マップは、撮像画像の画素ごと又は画素領域ごとにぼかし強度の分布を示し、画像合成手段は、撮像画像の画素ごと又は領域ごとに、ぼかし強度マップのぼかし強度に基づいて、撮像画像と差分ノイズ成分の付加された複数の平滑化画像との中から複数の画像を選択し、撮像画像及び複数の平滑化画像の中から複数の画像を選択し、選択した複数の画像の加重平均を行なうことにより出力画像を生成する。【００１２】
一実施形態において、平滑化手段は、画素間引きにより画像サイズの縮小を行う間引き手段と、画素補間により画像サイズの拡大を行う拡大手段と、を有し、同じ平滑化強度の平滑化と間引き手段による画素間引きとを複数回繰り返すことで、平滑化強度及び画像サイズの異なる複数の平滑化画像を生成し、複数の平滑化画像を拡大手段によって平滑化強度が異なり画像サイズが同一の複数の平滑化画像に変換する。【００１３】
一実施形態において、ぼかし強度マップは、撮像画像の画素ごと又は画素領域ごとにぼかし強度の分布を示し、平滑化手段は、ぼかし強度マップにおける最大のぼかし強度に基づいて、撮像画像に対する平滑化の平滑化強度を決定する。【００１４】
また、本発明は、被写体が撮像された撮像画像を取得する画像取得手段と、撮像画像に含まれるノイズを示すノイズ画像を取得するノイズ画像取得手段と、撮像画像を平滑化することにより平滑化画像を生成し、かつ、撮像画像の平滑化に用いた平滑化強度でノイズ画像を平滑化することにより平滑化ノイズ画像を生成する平滑化手段と、ノイズ画像と平滑化ノイズ画像との差分から差分ノイズ成分を抽出するノイズ抽出手段と、平滑化画像に差分ノイズ成分を加算するノイズ付加手段と、撮像画像に対するぼかし強度の分布を示すぼかし強度マップを取得するマップ取得手段と、ぼかし強度マップに基づいて撮像画像と平滑化画像とを合成し、出力画像を生成する画像合成手段と、を備えた画像処理装置を提供する。ここで、「差分ノイズ成分」は、撮像画像を平滑化することにより撮像画像から低減されたノイズを示す。【００１５】
ノイズ画像は、撮像画像に含まれるノイズと同一のノイズからなる画像が好ましい。ここで、撮像画像に含まれるノイズと「同一」とは、略同一の場合を含み、正規分布の幅(分散あるいは標準偏差)の差が５％以内、あるいはノイズ強度の差が１０％以内などである。【００１６】
一実施形態において、平滑化手段は、複数の異なる平滑化強度のそれぞれで撮像画像を平滑化することにより平滑化強度の異なる複数の平滑化画像を生成し、かつ、撮像画像の平滑化に用いた複数の異なる平滑化強度のそれぞれでノイズ画像を平滑化することにより平滑化強度の異なる複数の平滑化ノイズ画像を生成し、ノイズ抽出手段は、ノイズ画像と複数の平滑化ノイズ画像のそれぞれとの差分から複数の平滑化画像にそれぞれ対応した複数の差分ノイズ成分を抽出し、ノイズ付加手段は、複数の平滑化画像のそれぞれに複数の差分ノイズ成分のうちの対応する差分ノイズ成分を加算することにより、複数の平滑化画像間におけるノイズを等しくし、画像合成手段は、ぼかし強度マップに基づいて撮像画像と複数の平滑化画像とを合成し、出力画像を生成する。【００１７】
一実施形態において、ぼかし強度マップは、撮像画像の画素ごと又は画素領域ごとにぼかし強度の分布を示し、画像合成手段は、撮像画像の画素ごと又は領域ごとに、ぼかし強度マップのぼかし強度に基づいて、撮像画像と差分ノイズ成分の付加された複数の平滑化画像との中から複数の画像を選択し、選択した複数の画像の加重平均を行なうことにより出力画像を生成する。【００１８】
一実施形態において、平滑化手段は、画素間引きにより画像サイズの縮小を行う間引き手段と、画素補間により画像サイズの拡大を行う拡大手段と、を有し、同じ平滑化強度の平滑化と間引き手段による画素間引きとを複数回繰り返すことで、平滑化強度及び画像サイズの異なる複数の平滑化画像を生成し、複数の平滑化画像を拡大手段によって平滑化強度が異なり画像サイズが同一の複数の平滑化画像に変換し、かつ、同じ平滑化強度の平滑化と間引き手段による画素間引きとを複数回繰り返すことで、平滑化強度及び画像サイズの異なる複数の平滑化ノイズ画像を生成し、複数の平滑化ノイズ画像を拡大手段によって平滑化強度が異なり画像サイズが同一の複数の平滑化ノイズ画像に変換する。【００１９】
一実施形態において、ぼかし強度マップは、撮像画像の画素ごと又は領域ごとにぼかし強度の分布を示し、平滑化手段は、ぼかし強度マップにおける最大のぼかし強度に基づいて、撮像画像及びノイズ画像に対する平滑化の平滑化強度を決定する。【００２０】
一実施形態において、平滑化手段は、ノイズ画像と撮像画像とで平滑化強度を一致させる。【００２１】
一実施形態において、ノイズ画像取得手段は、撮像画像に基づいてノイズ画像を生成する。【００２２】
一実施形態において、ノイズ画像取得手段は、撮像画像の撮像条件、又は撮像画像を撮像した撮像装置の撮像特性に基づいて、ノイズ画像を生成する。【００２３】
一実施形態において、マップ取得手段は、ぼかし強度マップとして、撮像画像における画素ごと又は領域ごとの距離の分布を示す距離マップを取得し、画像合成手段は、距離マップに基づいて、撮像画像における距離の分布に応じたぼかし強度の分布を有する出力画像を生成する。【００２４】
また、本発明は、上記の画像処理装置を備えた撮像装置を提供する。【００２５】
また、本発明は、被写体が撮像された撮像画像を取得する画像取得手段と、撮像画像に対するぼかし強度の分布を示すぼかし強度マップを取得するマップ取得手段と、を用い、撮像画像を平滑化することにより平滑化画像を生成する平滑化ステップと、撮像画像と平滑化画像との差分から差分ノイズ成分を抽出するノイズ抽出ステップと、平滑化画像に差分ノイズ成分を加算するノイズ付加ステップと、ぼかし強度マップに基づいて撮像画像と平滑化画像とを合成し、出力画像を生成する画像合成ステップと、を備えた画像処理方法を提供する。【００２６】
また、本発明は、被写体が撮像された撮像画像を取得する画像取得手段と、撮像画像に含まれるノイズを示すノイズ画像を取得するノイズ画像取得手段と、撮像画像に対するぼかし強度の分布を示すぼかし強度マップを取得するマップ取得手段と、を用い、撮像画像を平滑化することにより平滑化画像を生成するステップと、撮像画像の平滑化に用いた平滑化強度でノイズ画像を平滑化することにより平滑化ノイズ画像を生成するステップと、ノイズ画像と平滑化ノイズ画像との差分から差分ノイズ成分を抽出するノイズ抽出ステップと、平滑化画像に差分ノイズ成分を加算するノイズ付加ステップと、ぼかし強度マップに基づいて撮像画像と平滑化画像とを合成し、出力画像を生成する画像合成ステップと、を備えた画像処理方法を提供する。【００２７】
また、本発明は、被写体が撮像された撮像画像を取得する画像取得手段と、撮像画像に対するぼかし強度の分布を示すぼかし強度マップを取得するマップ取得手段と、を用い、撮像画像を平滑化することにより平滑化画像を生成する平滑化ステップと、撮像画像と平滑化画像との差分から差分ノイズ成分を抽出するノイズ抽出ステップと、平滑化画像に差分ノイズ成分を加算するノイズ付加ステップと、ぼかし強度マップに基づいて撮像画像と平滑化画像とを合成し、出力画像を生成する画像合成ステップと、をコンピュータに実行させるプログラムを提供する。【００２８】
また、本発明は、被写体が撮像された撮像画像を取得する画像取得手段と、撮像画像に含まれるノイズを示すノイズ画像を取得するノイズ画像取得手段と、撮像画像に対するぼかし強度の分布を示すぼかし強度マップを取得するマップ取得手段と、を用い、撮像画像を平滑化することにより平滑化画像を生成するステップと、撮像画像の平滑化に用いた平滑化強度でノイズ画像を平滑化することにより平滑化ノイズ画像を生成するステップと、ノイズ画像と平滑化ノイズ画像との差分から差分ノイズ成分を抽出するノイズ抽出ステップと、平滑化画像に差分ノイズ成分を加算するノイズ付加ステップと、ぼかし強度マップに基づいて撮像画像と平滑化画像とを合成し、出力画像を生成する画像合成ステップと、をコンピュータに実行させるプログラムを提供する。
【発明の効果】
【００２９】
本発明によれば、ぼかした部分とそうでない部分とのノイズ量の差を軽減し、自然なぼけ強調画像を作成することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明に係る画像処理装置を適用した撮像装置の構成例を示すブロック図
【図２】本発明に係る画像処理の一例の概要を模式的に示す模式図
【図３】図２の画像処理の一例の流れを示すフローチャート
【図４】第１実施例の画像処理装置の構成を示すブロック図
【図５】第１実施例で多段の平滑化を行う場合の画像処理装置の要部構成を示すブロック図
【図６】第１実施例におけるボケ強調処理の一例の流れを示すフローチャート
【図７】平滑化処理を多段で行なう作用効果の説明に用いる説明図
【図８】平滑化処理を多段で行なう作用効果の説明に用いる説明図
【図９】第１実施例において最大ぼかし強度を検出する場合のボケ強調処理の一例の流れを示すフローチャート
【図１０】第２実施例の画像処理装置の構成を示すブロック図
【図１１】第２実施例で多段の平滑化を行う場合の画像処理装置の要部構成を示すブロック図
【図１２】第２実施例におけるボケ強調処理の一例の流れを示すフローチャート
【図１３】ノイズ画像生成処理の一例の流れを示すフローチャート
【図１４】ノイズ成分抽出の説明に用いる説明図
【図１５】ノイズ成分抽出の説明に用いる説明図
【図１６】第２実施例において最大ぼかし強度を検出する場合のボケ強調処理の一例の流れを示すフローチャート
【図１７】第３実施例の画像処理装置の構成を示すブロック図
【図１８】第３実施例で多段の平滑化を行う場合の画像処理装置の要部構成を示すブロック図
【図１９】第３実施例におけるボケ強調処理の一例の流れを示すフローチャート
【図２０】第３実施例において最大ぼかし強度を検出する場合のボケ強調処理の一例の流れを示すフローチャート
【図２１】本発明に係る画像処理装置の他の実施形態であるスマートフォンの外観図
【図２２】上記スマートフォンの構成を示すブロック図
【発明を実施するための形態】
【００３１】
以下、添付図面に従って本発明に係る画像処理装置及び方法、並びにプログラムを実施するための形態について詳細に説明する。
【００３２】
［撮像装置の構成］
図１は本発明に係る画像処理装置を適用した撮像装置１０の構成例を示すブロック図である。撮像装置１０の装置全体の動作は中央処理装置（ＣＰＵ）４０によって統括制御され、ＣＰＵ４０の動作に必要なプログラム（後述の画像処理に用いるプログラムを含む）やパラメータは、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）４６などの非一時的記憶媒体に記憶されている。
【００３３】
撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて、後述するように撮像装置１０の各回路を制御する。
【００３４】
シャッタボタンは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。モードダイヤルは、静止画／動画撮影モード、マニュアル／オート撮影モード、及び撮影シーン等を選択する手段であり、また撮影感度（例えばＩＳＯ１００、４００、８００、１６００等）の設定が可能になっている。
【００３５】
再生ボタンは、撮影記録した画像の静止画又は動画を液晶モニタ３０（ＬＣＤ）に表示させる再生モードに切り替えるためのボタンである。ＭＥＮＵ／ＯＫキーは、液晶モニタ３０の画面上にメニューを表示させる指令を行うための機能と、選択内容の確定及び実行などを指令する機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、カーソル移動操作手段やズームスイッチ、再生モード時のコマ送りボタン等として機能する。ＢＡＣＫキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。これらのボタンやキーは、ユーザがぼかし処理の度合を指定する場合等、ぼかし処理やノイズ付加処理の際に必要な操作にも用いることができる。
【００３６】
撮影モード時において、被写体を示す画像光は、撮影レンズ１２、絞り１４を介して撮像素子（本例ではＣＣＤセンサを用いており以下「ＣＣＤ」という）１６の受光面に結像される。尚、撮像素子は、ＣＣＤセンサに限定されず、ＭＯＳセンサなどの他の撮像センサを用いてもよい。
【００３７】
撮影レンズ１２は、フォーカスレンズ、ズームレンズを含み、ＣＰＵ４０によって制御されるレンズ駆動部３６によって駆動され、フォーカス制御、ズーム制御等が行われる。
【００３８】
レンズ駆動部３６は、ＣＰＵ４０からの指令に従い、フォーカスレンズを光軸方向に移動させ、焦点位置を可変する。また、レンズ駆動部３６は、ＣＰＵ４０からの指令に従い、ズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。
【００３９】
またＣＰＵ４０は、絞り駆動部３４を介して絞り１４を制御するとともに、ＣＣＤ制御部３２を介してＣＣＤ１６での電荷蓄積時間（シャッタスピード）や、ＣＣＤ１６からの画像信号の読み出し制御等を行う。ＣＣＤ１６に蓄積された信号電荷は、ＣＣＤ制御部３２から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出され、アナログ信号処理部２０に加えられる。
【００４０】
アナログ信号処理部２０は、ＣＣＤ１６から出力された電圧信号に対して相関二重サンプリング処理により各画素ごとのＲ、Ｇ、Ｂ信号をサンプリングホールドし、増幅した後Ａ／Ｄ変換器２１に加える。Ａ／Ｄ変換器２１は、順次入力するアナログのＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。
【００４１】
デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。
【００４２】
デジタル信号処理部２４で処理された画像データは、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の画像を表す画像データを記憶するＡ領域とＢ領域とが含まれており、１コマ分の画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられ、画像データが書き換えられている領域以外の領域から、書き込まれた画像データが読み出される。ＶＲＡＭ５０から読み出された画像データはビデオ・エンコーダ２８においてエンコーディングされて液晶モニタ３０に出力され、これにより被写体像が液晶モニタ３０に表示される。
【００４３】
また、操作部３８のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影レンズ１２の合焦制御を行う。また、シャッタボタンの半押し時にＡ／Ｄ変換器２１から出力される画像データは、ＡＥ検出部４４に取り込まれる。
【００４４】
ＣＰＵ４０は、ＡＥ検出部４４から入力するＧ信号の積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１４の絞り値及びＣＣＤ１６の電子シャッタ（シャッタスピード）を決定し、その結果に基づいて絞り１４及びＣＣＤ１６での電荷蓄積時間を制御する。
【００４５】
ＡＦ処理部４２は、コントラストＡＦ処理又は位相ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、所定のフォーカス領域内の画像データの高周波成分を積分して算出した、合焦状態を示すＡＦ評価値が極大となるように撮影レンズ１２内のフォーカスレンズを制御する。また、位相差ＡＦ処理を行う場合には、画像データのうちの所定のフォーカス領域内の主画素、副画素の画像データの位相差から求めたデフォーカス量が０になるように、撮影レンズ１２内のフォーカスレンズを制御する。
【００４６】
ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２１から出力される画像データが画像入力コントローラ２２からメモリ(SDRAM) ４８に入力され、一時的に記憶される。
【００４７】
メモリ４８への一時記憶後、デジタル信号処理部２４におけるＹＣ処理等の信号処理や圧縮伸張処理部２６でのJPEG (joint photographic experts group)形式への圧縮処理等を経て画像ファイルが生成され、その画像ファイルは、メディアコントローラ５２により読み出されてメモリカード５４に記録される。メモリカード５４に記録された画像は、操作部３８の再生ボタンを操作することにより液晶モニタ３０で再生表示することができる。
【００４８】
［撮像装置における画像処理の全体の流れ］
次に、本発明に係る画像処理の一例の全体の流れを説明する。
【００４９】
図２は、本発明に係る画像処理の一例の全体の概要を模式的に示す模式図である。図３は、図２の画像処理の一例の全体の流れを示すフローチャートである。
【００５０】
本例の画像処理は、図２及び図３に示すように、大きく分けて、（１）フォーカスブラケット撮影（図２(ａ)；図３のステップＳ１０〜Ｓ１６）、（２）対応点検出及び位置合せ（図２の（ｂ）及び（ｃ）；図３のステップＳ１８〜Ｓ２４）、（３）ぼかし強度マップ取得（図２（ｄ）；図３のステップＳ２６）、（４）ボケ強調（図２（ｅ）；図３のステップＳ２８）の５段階に分かれる。以下、各段階の処理について説明する。
【００５１】
ここでは、図２の例のように、背景の前に人物が立っており背景をぼかし処理する場合について考える。
【００５２】
（１）フォーカスブラケット撮影
本処理を開始すると、ステップＳ１０で、フォーカスブラケット撮影に含まれる所定の複数回数の撮影のそれぞれにおける焦点位置と基準焦点位置を決定し、ステップＳ１２でＣＰＵ４０がレンズ１２を移動させて最初の焦点位置に合焦させ、ステップＳ１４で撮影を行う。撮影が所定回数に達していない場合は（ステップＳ１６でｎｏ）、ステップＳ１２に戻ってレンズ１２を移動させ次の焦点位置に合焦させて撮影を繰り返す。撮影が所定回数に達したら（ステップＳ１６でｙｅｓ）、ステップＳ１８に進む。
【００５３】
（２）対応点検出及び位置合せ
まず、ステップＳ１８において、フォーカスブラケット撮影（ステップＳ１０〜Ｓ１６）で得られた複数の画像のうち、基準焦点位置での撮影画像を基準画像Ｉ０に設定する。次に、ステップＳ２０において、基準画像Ｉ０以外の画像を非基準画像Ｉ１として選択する。次に、ステップＳ２２において、基準画像Ｉ０において特徴点を抽出し、非基準画像Ｉ１において基準画像Ｉ０の特徴点に対応する対応点を検出し、基準画像Ｉ０の特徴点の位置に非基準画像Ｉ１の対応点の位置が一致するように、位置合わせを行う（ステップＳ２２）。このように位置合わせを行うのは、フォーカスブラケットの各撮影で撮影タイミングが微妙に異なり画角ずれが起きている場合があるためである。位置合わせは、特徴点と対応点とが重なるように非基準画像Ｉ１を変形して変形画像Ｉ１’を作成することにより行う。ステップＳ２０〜Ｓ２２の処理を、非基準画像Ｉ１の全てについて行う（ステップＳ２４でｎｏの間）。
【００５４】
（３）ぼかし強度マップ取得
位置合わせが終了したら（ステップＳ２４でｙｅｓ）、ステップＳ２６へ進んで基準画像Ｉ０および変形画像Ｉ１’から、ぼかし強度マップＩ２を生成（取得）する。ぼかし強度マップ（本例では距離画像である）は、後述のボケ強調処理における基準画像に対するぼかし強度の分布を示す。尚、図２(ｄ)の模式図ではぼかし強度マップＩ２を黒（手前側）と白（奥側）の２色で示しているが、ぼかし強度マップＩ２は必ずしも２値の画像に限られるものではない。
【００５５】
（３）ボケ強調処理
ステップＳ２８では、ステップＳ２６までで作成したぼかし強度マップＩ２に含まれるぼかし強度の分布の情報に基づいて、基準画像Ｉ０に対してぼかし処理を行う。ぼかし処理には種々のフィルタを用いることができる。例えば、以下の式１で表されるガウシアンフィルタを用いるものとする。
【００５６】
［数１］    ｆ(ｘ)＝(２πσ２)−１／２×ｅｘｐ（−ｘ２／(２σ２))
上式中、σがボケ強調処理によるぼけ強調の度合を表し、σが小さいほどぼけ強調の度合が小さく、σが大きいほどぼけ強調の度合が大きくなる。なおガウシアンフィルタの適用においては、３×３、５×５等、種々のサイズのカーネルを用いることができる。このようなガウシアンフィルタを適用し、ぼかし強度マップに基づいて基準画像Ｉ０をぼかし処理してボケ画像Ｉ０’を生成する。例えば、距離が近い画素はガウシアンフィルタのσを小さくしてぼけ強調の度合を小さくし、距離が遠い画素はσを大きくしてぼけ強調の度合いを大きくする。
【００５７】
尚、ステップＳ２８のボケ強調処理において、単にぼかし処理を行うだけの場合、基準画像Ｉ０の背景領域はぼかし処理に用いるフィルタの特性（上記例ではガウシアンフィルタのσの強度）に応じてボケるが、このぼかし処理に伴い背景領域では元の基準画像Ｉ０に含まれていたノイズが低減される。一方で、ぼかし処理を行わない（あるいはぼかし処理の程度が弱い）人物領域のノイズは低減されない。つまり、単にぼかし処理を行なうだけの場合には、例えばぼかし処理を行う背景領域とぼかし処理を行わない人物領域とで、ノイズ量の差が生じてしまう。そこで、本発明に係る画像処理では、ボケ強調処理において、ぼかし処理（平滑化）を行う領域とぼかし処理を行わない領域との間のノイズの差を軽減するため、ノイズ抽出及びノイズ付加を行う。
【００５８】
［ボケ強調処理の実施例］
次に、ボケ強調処理（図３のステップＳ２８）の実施例を説明する。
【００５９】
＜第１実施例＞
図４は、第１実施例の画像処理装置の構成を示すブロック図である。以下では、図４の画像処理装置１００を図１の撮像装置１０に本発明を適用した場合を例に説明する。
【００６０】
図４において、画像処理装置１００は、被写体が撮像された撮像画像を取得する画像取得手段１１２と、画像取得手段１１２によって取得された撮像画像の全体を均一に平滑化することにより平滑化画像を生成する平滑化手段１１４と、撮像画像と平滑化画像との差分（以下では「差分画像」ともいう）から差分ノイズ成分を抽出するノイズ抽出手段１１６と、平滑化画像に差分ノイズ成分を加算することにより、平滑化画像と画像取得手段１１２によって取得された撮像画像とでノイズを等しくするノイズ付加手段１１８と、ぼかし強度マップを取得するマップ取得手段１２０と、ぼかし強度マップに基づいて撮像画像と平滑化画像とを合成することにより、ぼかし強度マップに応じたぼかし強度の分布の出力画像（ボケ強調画像）を生成する画像合成手段１２２を備える。
【００６１】
本例の平滑化手段１１４は、画像取得手段１１２によって取得された撮像画像（入力画像）を、複数の異なる平滑化強度のそれぞれで平滑化することにより、互いに平滑化強度の異なる複数の平滑化画像を生成する。
【００６２】
本例のノイズ抽出手段１１６は、撮像画像（入力画像）と複数の平滑化画像のそれぞれとの差分を示す複数の差分画像を生成し、その複数の差分画像から、複数の平滑化画像にそれぞれ対応した複数の差分ノイズ成分（差分ノイズ画像）を抽出する。本例の「差分ノイズ成分」は、撮像画像に含まれるノイズと平滑化画像に含まれるノイズとの差分を含んでおり、撮像画像を平滑化することにより撮像画像から低減されたノイズを示す。尚、「ノイズ」は、画像の乱れ（ノイズ成分）であり、被写体像に相関しない成分である。
【００６３】
本例のノイズ付加手段１１８は、複数の平滑化画像のそれぞれに、複数の差分ノイズ成分のうちの対応する差分ノイズ成分を加算することにより、複数の平滑化画像間におけるノイズを等しくする。
【００６４】
本例の画像合成手段１２２は、ぼかし強度マップに基づいて撮像画像と複数の平滑化画像とを合成することにより、ぼかし強度マップに応じたぼかし強度の分布の出力画像（ボケ強調画像）を生成する。
【００６５】
画像取得手段１１２は、例えば図１のＣＣＤ１６（撮像素子）及び画像入力コントローラ２２を含んで構成される。画像取得手段１１２を図１のメディアコントローラ５２によって構成し、メモリカード５４から撮像画像を入力してもよい。マップ取得手段１２０は、例えば、図１のＣＰＵ４０によって構成し、ＣＰＵ４０でぼかし強度マップを生成することによりぼかし強度マップを取得する。マップ取得手段１２０を図１のメディアコントローラ５２によって構成し、メモリカード５４から、ぼかし強度マップを取得してもよい。平滑化手段１１４、ノイズ抽出手段１１６、ノイズ付加手段１１８、及び画像合成手段１２２は、例えば図１のＣＰＵ４０によって構成される。
【００６６】
平滑化手段１１４による入力画像の平滑化は、原理的には、１段（平滑化画像を１つ生成する）でよい。即ち、元の撮像画像（入力画像）と１枚の平滑化画像とがあれば、画像合成により、ぼかし強度マップに示された目的のボケ強度の分布に対応する出力画像（ボケ強調画像）を生成することができる。しかし、出力画像の画質の観点からは、２段以上（平滑化強度の異なる平滑化画像を２以上生成する）が、望ましい。
【００６７】
図５は、多段の平滑化を行う場合の画像処理装置１００の一例の要部を示すブロック図である。図５では、多段の平滑化の理解を容易にするため、画像処理装置１００に、複数の平滑化手段１１４ａ，１１４ｂ，１１４ｃ、複数のノイズ抽出手段１１６ａ，１１６ｂ，１１６ｃ、及び複数のノイズ付加手段１１８ａ，１１８ｂ，１１８ｃを設けた場合を示した。複数の平滑化手段１１４ａ、１１４ｂ、１１４ｃの平滑化強度は互いに異なり、第１の平滑化手段１１４ａは入力画像の全体を第１の平滑化強度で平滑化して第１の平滑化画像を生成し、第２の平滑化手段１１４ｂは入力画像の全体を第２の平滑化強度で平滑化して第２の平滑化画像を生成し、第３の平滑化手段１１４ｃは入力画像の全体を第３の平滑化強度で平滑化して第３の平滑化画像を生成する。
【００６８】
つまり、第１のノイズ抽出手段１１６ａ及び第１のノイズ付加手段１１８ａに入力される第１の平滑化画像と、第２のノイズ抽出手段１１６ｂ及び第２のノイズ付加手段１１８ｂに入力される第２の平滑化画像と、第３のノイズ抽出手段１１６ｃ及び第３のノイズ付加手段１１８ｃに入力される第３の平滑化画像とは、互いのぼかし強度（平滑化強度）が異なる。よって、第１のノイズ付加手段１１８ａから出力される第１のボケ画像と、第２のノイズ付加手段１１８ｂから出力される第２のボケ画像と、第３のノイズ付加手段１１８ｃから出力される第３のボケ画像とは、互いのぼかし強度（平滑化強度）が異なる。
【００６９】
図６は、図４の画像処理装置１００におけるボケ強調処理の一例の流れを示すフローチャートである。本処理は、図１のＣＰＵ４０により、プログラムに従って実行される。
【００７０】
尚、既に、画像取得手段１１２によって、入力画像（元の撮像画像）が取得され、かつマップ取得手段１２０によって、ぼかし強度マップが取得されているものとする。尚、ぼかし強度マップとして、例えば、撮像画像における画素毎又は領域毎の距離の分布を示す距離マップを取得する。
【００７１】
まず、何段目の平滑化であるかを示す変数ｎを１に初期設定する（ステップＳ１０２）。
【００７２】
次に、平滑化手段１１４によって、ボケ強調の対象となる入力画像（元の撮像画像）に対して第ｎ番目の平滑化処理を行なう（ステップＳ１０４:平滑化ステップ）。即ち、平滑化手段１１４によって、撮像画像の全体を、第ｎの平滑化強度で均一に平滑化することにより、第ｎの平滑化画像を生成する。例えば、平滑化処理として、ガウシアンフィルタを用いる。平滑化手段１１４は、互いに異なる複数の平滑化強度σ１、σ２、σ３（σ１＜σ２＜σ３）のそれぞれで、撮像画像の全体を均一に平滑化可能である。
【００７３】
次に、ノイズ抽出手段１１６によって、入力画像（元の撮像画像）と第ｎの平滑化画像との差分（差分画像）を生成し、その差分画像から差分ノイズ成分を抽出することにより、第ｎの平滑化画像に対応した第ｎの差分ノイズ成分を抽出する（ステップＳ１０６：ノイズ抽出ステップ）。これにより、第ｎの平滑化強度の平滑化により撮像画像から低減されたノイズ成分（「差分ノイズ成分」という）が、差分ノイズ画像として抽出される。
【００７４】
尚、入力画像と平滑化画像との差分画像には、現実には、ノイズ成分以外の被写体像を表す真の信号が含まれてしまう。よって、差分画像そのものを差分ノイズ成分としないで、差分画像からノイズ成分以外の成分を排除することでノイズ成分のみを抽出することが、好適である。具体的には、第１に、エッジ検出を行なってエッジ成分を除去する、第２に、画像に含まれる信号成分の振幅（画素値）を閾値と比較し、その閾値よりも大きな振幅の信号成分を除去する、などである。このような好適なノイズ成分の抽出については、後に説明する。ただし、差分画像からノイズ以外の成分を全て除去できない場合がある。即ち、本発明における「差分ノイズ成分」には、被写体像に相関する真の信号が含有される場合がある。また、差分画像から入力画像のノイズと平滑化画像のノイズとの差分を全て抽出できない場合がある。即ち、本発明における「差分ノイズ成分」には、入力画像のノイズと平滑化画像のノイズとの差分のうち一部のみが含有される場合がある。
【００７５】
次に、ノイズ付加手段１１８によって、第ｎの平滑化画像に第ｎの差分ノイズ成分を加算することにより、第ｎのボケ画像を生成する（ステップＳ１０８：ノイズ付加ステップ）。これにより、第ｎの平滑化強度の平滑化により撮像画像から低減されたノイズ（差分ノイズ成分）を、撮像画像に加算して戻す。つまり、入力画像の信号成分のうちで、ノイズ成分以外の信号成分が平滑化されたボケ画像（ノイズ成分は平滑化されていないボケ画像）が生成される。
【００７６】
次に、変数ｎが繰り返し回数Ｎ（Ｎは段数である）に達したか否かを判定する（ステップＳ１１０）。
【００７７】
ｎ＜Ｎの場合、変数ｎをインクリメント（「１」を加算）し（ステップＳ１１２）、ステップＳ１０４に戻る。
【００７８】
ｎ≧Ｎの場合（ｎがＮに達した場合）、画像合成手段１２２によって、ぼかし強度マップに基づいて、入力画像（元の撮像画像）と第１〜Ｎのボケ画像（差分ノイズ画像が加算された平滑化画像である）とを合成することにより、ぼかし強度マップに応じたぼかし強度の分布の出力画像を生成する（ステップＳ１１４：画像合成ステップ）。
【００７９】
画像合成手段１２２は、ぼかし強度マップを参照することで、入力画像の画素単位のぼかし強度（平滑化強度）を取得する。入力画像の注目画素ｐ０（ｘ，ｙ）の平滑化強度σ（「目的の平滑化強度」という）は、入力画像及び第１〜Ｎのボケ画像のうちから、例えば二つの画像を選択し、それらの選択された二つの画像（例えばボケ画像ａ及びボケ画像ｂ）の平滑化強度σａ、σｂ（「多段の平滑化強度」という）により、次式で表される。
【００８０】
［数２］  σ＝ｗ×σａ＋（１−ｗ）×σｂ  （σａ≦σ≦σｂ）
ここで、ｗは加重係数である。本例では、入力画像が平滑化強度「σ０」で平滑化されているものとし、σ０、σ１、σ２、σ３のうちから二つの平滑化強度σａ、σｂを選択する。上記のようにσａ≦σ≦σｂの条件を満足するものとし、例外としてσ＞σ３となった場合、例えばσａ＝σｂ＝σ３とする対処を行う。
【００８１】
数２を満たす加重平均ｗを算出し、次の数３のように画素値の加重平均を行なうことで、目的の平滑化強度σで平滑化した場合とほぼ同等のボケ量（ぼかし強度）を実現する。
【００８２】
［数３］  ｃ(ｘ，ｙ)＝ｗ×ａ(ｘ，ｙ)＋（１−ｗ）×ｂ(ｘ，ｙ)
このように平滑化強度の異なる複数の画像（本例では入力画像と複数のボケ画像）とを合成することにより、目的のボケ強調画像を生成することができるうえ、平滑化によって失われたノイズ成分を加えた平滑化画像群を用いることで、局所的なノイズ特性差の目立たないボケ強調画像を生成することが可能になる。
【００８３】
なお、ぼかし強度マップとして距離画像などの距離マップを用いた場合、画像合成手段１２２は、距離マップに基づいて、撮像画像における距離の分布に応じたぼかし強度の分布を有する出力画像（ボケ強調画像）を生成する。
【００８４】
次に、図５及び図６のように平滑化処理を多段で行う場合の作用効果について、説明する。本発明は、原理的には、１フレームの入力画像と１フレームの平滑化画像とがあれば、これらの両画像の合成により、両画像の中間的な平滑化強度の画像を生成することができるが、画質の観点では平滑化強度の異なる２フレーム以上の平滑化画像を生成して画像合成を行うことが望ましい。その理由を以下説明する。
【００８５】
図７は、デルタ関数の信号に対して、強度の異なるガウシアンフィルタを掛けた結果を示す。図７（ａ）はデルタ関数の入力信号Ｓｇ０、図７（ｂ）は強度σ1で平滑化した場合の出力信号（平滑化信号Ｓｇ１）、図７（ｃ）は強度σ２で平滑化した場合の出力信号（平滑化信号Ｓｇ２）、図７（ｄ）は強度σ３で平滑化した場合の出力信号（平滑化信号Ｓｇ３）である。ここで、σ１＜σ２＜σ３である。図７（ａ）〜（ｄ）に示すように、平滑化強度が大きくなるにつれて出力信号（Ｓｇ１〜Ｓｇ３）の振幅が低下し、裾広がりとなる傾向にある。一方、図８は、入力信号Ｓｇ０と平滑化信号Ｓｇ３とを合成した合成信号Ｓｇ４のピークが、平滑化信号Ｓｇ１と同じになるように合成したものである。本図の通り、ピーク（ピーク位置の信号強度）は一致しているものの、信号の広がりに差があることが分かる。本手法は、所望の平滑化信号を、平滑化強度の異なる複数の平滑化信号の合成により生成するという近似手法であるが、図８に示す合成結果は、平滑化強度が大きく異なるものを合成したことで、近似精度が低下し、信号特性に差が生じていることを意味している。このことから、所望の平滑化強度を実現するには、平滑化処理を多段で行なうことにより、平滑化強度の異なる複数の撮像画像（平滑化画像）を生成し、その複数の平滑化画像を用いた画像合成により出力画像（ボケ強調画像）を生成することが、望ましい。
【００８６】
図９は、最大ぼかし強度を検出する場合のボケ強調処理の一例の流れを示すフローチャートである。本例にて、ぼかし強度マップは、入力画像（元の撮像画像）の画素毎又は画素領域毎にぼかし強度の分布を示す。図９において、まず、平滑化手段１１４によって、ぼかし強度マップから最大のぼかし強度σＭＡＸを検出し、撮像画像に対する平滑化の平滑化強度を決定する（ステップＳ１００）。ステップＳ１０２〜Ｓ１１４は、図６に示した処理と同様である。ただし、ステップＳ１０４において、ステップＳ１００で決定した平滑化強度を用いて撮像画像に対する平滑化を行う。
【００８７】
＜第２実施例＞
図１０は、第２実施例の画像処理装置の要部構成を示すブロック図である。以下では、図１０の画像処理装置１００を図１の撮像装置１０に本発明を適用した場合を例に説明する。尚、図４（第１実施例）に既に示した構成要素には同じ符号を付している。以下では第１実施例と異なる事項のみ説明する。
【００８８】
図１０において、ノイズ画像取得手段１１３は、入力画像（元の撮像画像）に含まれるノイズを示すノイズ画像を取得する。
【００８９】
本例のノイズ画像は、入力画像に含まれるノイズと同一のノイズからなる。ここで、入力画像に含まれるノイズと「同一」とは、ノイズが完全に同一でなく略同一である場合を含む。例えば、正規分布の幅(分散あるいは標準偏差)の差が５％以内、あるいはノイズ強度（空間周波数ｆに依存したノイズ強度Ｍ（ｆ））の差が１０％以内である。
【００９０】
本例のノイズ画像取得手段１１３は、図１のＣＰＵ４０によって構成され、ノイズ画像を生成する。
【００９１】
本例では、入力画像を取得すると、その入力画像に基づいてノイズ画像を生成することによりノイズ画像を取得するが、ノイズ画像を予め生成してメモリ４８あるいはメモリカード５４などの記憶手段に記憶させておき、入力画像を取得するとメモリ４８などの記憶手段から、その入力画像に対応するノイズ画像を取得してもよい。尚、ノイズ画像生成の各種態様は、後に詳説する。
【００９２】
第２実施例の平滑化手段１１４は、撮像画像の全体を均一に平滑化する撮像画像平滑化機能と、ノイズ画像の全体を均一に平滑化するノイズ画像平滑化機能とを有する。本例の平滑化手段１１４は、複数の異なる平滑化強度のそれぞれで撮像画像を平滑化することにより、平滑化強度の異なる複数の平滑化画像を生成し、かつ、撮像画像の平滑化に用いた複数の異なる平滑化強度のそれぞれでノイズ画像を平滑化することにより、平滑化強度の異なる複数の平滑化ノイズ画像を生成する。
【００９３】
図１１は、多段の平滑化を行う場合の画像処理装置１００の要部の一例を示すブロック図である。図１１では、多段の平滑化の理解を容易にするため、画像処理装置１００に、複数の平滑化手段１１４ａ、１１４ｂ、１１４ｃ、１１４ｄ、１１４ｅ、１１４ｆと、複数のノイズ抽出手段１１６ａ、１１６ｂ、１１６ｃと、複数のノイズ付加手段１１８ａ、１１８ｂ、１１８ｃを設けた場合を示した。
【００９４】
撮像画像平滑化用の複数の平滑化手段１１４ａ、１１４ｂ、１１４ｃの平滑化強度は互いに異なり、ノイズ画像平滑化用の平滑化手段１１４ｄ、１１４ｅ、１１４ｆの平滑化強度は互いに異なる。第１の平滑化手段１１４ａは入力画像の全体を第１の平滑化強度で平滑化して第１の平滑化画像を生成し、第２の平滑化手段１１４ｂは入力画像の全体を第２の平滑化強度で平滑化して第２の平滑化画像を生成し、第３の平滑化手段１１４ｃは入力画像の全体を第３の平滑化強度で平滑化して第３の平滑化画像を生成する。第４の平滑化手段１１４ｄはノイズ画像の全体を上記の第１の平滑化強度で平滑化して第１の平滑化ノイズ画像を生成し、第５の平滑化手段１１４ｅはノイズ画像の全体を上記の第２の平滑化強度で平滑化して第２の平滑化ノイズ画像を生成し、第６の平滑化手段１１４ｆはノイズ画像の全体を上記の第３の平滑化強度で平滑化して第３の平滑化ノイズ画像を生成する。
【００９５】
第１のノイズ抽出手段１１６ａは、ノイズ画像と第４の平滑化手段１１４ｄによって生成された第１の平滑化ノイズ画像との差分（差分画像）から第１の差分ノイズ成分を抽出し、第２のノイズ抽出手段１１６ｂは、ノイズ画像と第５の平滑化手段１１４ｅによって生成された第２の平滑化ノイズ画像との差分（差分画像）から第２の差分ノイズ成分を抽出し、第３のノイズ抽出手段１１６ｃは、ノイズ画像と第６の平滑化手段１１４ｆによって生成された第３の平滑化ノイズ画像との差分（差分画像）から第３の差分ノイズ成分を抽出する。本例の「差分ノイズ成分」は、ノイズ画像に含まれるノイズと平滑化ノイズ画像に含まれるノイズとの差分を含んでおり、撮像画像を平滑化することにより撮像画像から低減されたノイズを示す。
【００９６】
第１のノイズ付加手段１１８ａは、第１の平滑化手段１１４ａによって生成された第１の平滑化画像に対し、第１のノイズ抽出手段１１６ａで抽出された第１の差分ノイズ成分を付加して第１のボケ画像を生成し、第２のノイズ付加手段１１８ｂは、第２の平滑化手段１１４ｂによって生成された第２の平滑化画像に対し、第２のノイズ抽出手段１１６ｂで抽出された第２の差分ノイズ成分を付加して第２のボケ画像を生成し、第３のノイズ付加手段１１８ｃは、第３の平滑化手段１１４ｃによって生成された第３の平滑化画像に対し、第３のノイズ抽出手段１１６ｃで抽出された第３の差分ノイズ成分を付加して第３のボケ画像を生成する。
【００９７】
画像合成手段１２２は、入力画像（元の撮像画像）の画素ごとまたは撮像画像の領域ごとに、ぼかし強度マップに示されたぼかし強度に基づいて、撮像画像及び第１〜第３のボケ画像（第１〜第３の差分ノイズ成分がそれぞれ付加された第１〜第３の平滑化画像である）の中から複数（本例では二つ）の画像を選択し、選択した複数の画像で画素値の加重平均を行なうことにより、出力画像（ボケ強調画像）を出力する。
【００９８】
図１２は、図１０の画像処理装置１００におけるボケ強調処理の一例の流れを示すフローチャートである。本処理は、図１のＣＰＵ４０により、プログラムに従って実行される。
【００９９】
尚、既に、画像取得手段１１２によって、入力画像（元の撮像画像）が取得され、かつマップ取得手段１２０によって、ぼかし強度マップが取得されているものとする。
【０１００】
まず、ノイズ画像を取得する（ステップＳ２０２）。本例のノイズ画像は、入力画像に含まれるノイズと略同一のノイズからなる。
【０１０１】
次に、何段目の平滑化であるかを示す変数ｎを１に初期設定する（ステップＳ２０４）。
【０１０２】
次に、平滑化手段１１４によって、ボケ強調の対象となる入力画像（元の撮像画像）に対して第ｎ番目の平滑化処理を行なう（ステップＳ２０６：平滑化画像を生成するステップ）。即ち、平滑化手段１１４によって、撮像画像の全体を、第ｎの平滑化強度で均一に平滑化することにより、第ｎの平滑化画像を出力する。このステップＳ２０６は、第１実施形態のステップＳ１０４と同様である。
【０１０３】
次に、平滑化手段１１４によって、ノイズ画像に対して第ｎ番目の平滑化処理を行なう（ステップＳ２０８：平滑化ノイズ画像を生成するステップ）。即ち、平滑化手段１１４によって、ノイズ画像の全体を、入力画像（元の撮像画像）の第ｎ番目の平滑化に用いた第ｎの平滑化強度で均一に平滑化することにより、第ｎの平滑化ノイズ画像を出力する。ここで、第ｎの平滑化画像と第ｎの平滑化ノイズ画像とで、平滑化強度を一致させることにより、空間周波数特性を一致させる。
【０１０４】
次に、ノイズ抽出手段１１６によって、ノイズ画像と第ｎの平滑化ノイズ画像との差分（差分画像）からノイズ（差分ノイズ）成分を抽出することにより、第ｎの平滑化画像に対応した第ｎの差分ノイズ画像を生成する（ステップＳ２１０：ノイズ抽出ステップ）。これにより、第ｎの平滑化強度の平滑化により入力画像（元の撮像画像）から低減されたノイズ（差分ノイズ）成分が、差分ノイズ画像として抽出される。本例の差分ノイズ画像は、ノイズ画像と第ｎの平滑化ノイズ画像との差分ノイズ成分を、第ｎの平滑化画像と同様に画素単位で表したものである。
【０１０５】
次に、ノイズ付加手段１１８によって、第ｎの平滑化画像に第ｎの差分ノイズ画像（差分ノイズ成分）を加算することにより、第ｎのボケ画像を生成する（ステップＳ２１２：ノイズ付加ステップ）。このステップＳ２１２は、第１実施形態のステップＳ１０８と同様である。これにより、第ｎの平滑化強度の平滑化により入力画像から低減されたノイズ（差分ノイズ）成分を、入力画像に戻す。つまり、入力画像の信号成分のうちでノイズ以外の信号成分を平滑化した画像（ボケ画像）が生成される。
【０１０６】
次に、変数ｎが繰り返し回数Ｎに達したか否かを判定する（ステップＳ２１４）。
【０１０７】
ｎ＜Ｎの場合、変数ｎをインクリメント（「１」を加算）し（ステップＳ２１６）、ステップＳ２０６に戻る。
【０１０８】
ｎ≧Ｎの場合（ｎがＮに達した場合）、画像合成手段１２２によって、ぼかし強度マップに基づいて、入力画像（元の撮像画像）と第１〜Ｎのボケ画像（差分ノイズ成分が加算された平滑化画像）とを合成することにより、ぼかし強度マップに応じたぼかし強度の分布の出力画像を生成する（ステップＳ２１８：画像合成ステップ）。
【０１０９】
本例では、入力画像の画素ごと（または撮像画像の領域ごと）に、ぼかし強度マップに示されたぼかし強度に基づいて、入力画像及び第１〜第Ｎのボケ画像（第１〜第Ｎの差分ノイズ成分がそれぞれ付加された第１〜第Ｎの平滑化画像である）の中から複数（例えば二つ）の画像を選択し、選択した複数の画像で画素値の加重平均を行なうことにより、出力画像（ボケ強調画像）を出力する。
【０１１０】
＜ノイズ画像生成＞
次に、ノイズ画像生成の各種の態様を説明する。
【０１１１】
（ノイズ画像生成の一態様）
ノイズ画像生成の一態様として、入力画像（元の撮像画像）からノイズを抽出することにより、ノイズ画像を生成する態様がある。
【０１１２】
図１３は、ノイズ画像生成処理の一例の流れを示すフローチャートである。本処理は、ＣＰＵ４０により、プログラムに従って実行される。
【０１１３】
まず、入力画像（元の撮像画像）を平滑化する（ステップＳ４０）。具体的には、ガウシアンフィルタなどのＬＰＦ（ローパスフィルタ）を平滑化フィルタとして用いて、最大の平滑化強度で入力画像を平滑化することで、平滑化画像として最大ボケの撮像画像（最大の平滑化強度で平滑化された撮像画像）を生成する。本例では、最大の平滑化強度として、入力画像平滑化（図１２のステップＳ２０６）で用いる第１〜第Ｎの平滑化強度のいずれよりも大きな平滑化強度（最大平滑化強度）を用いて、入力画像を平滑化する。
【０１１４】
次に、入力画像（元の撮像画像）とステップＳ４０で平滑化された入力画像（平滑化画像）との差分を抽出する（ステップＳ４２）。本例では、入力画像の画素値と平滑化画像の画素値との差分を、画素単位で抽出することにより、入力画像の中・高周波数成分からなる差分画像を生成する。
【０１１５】
次に、差分画像に対してエッジ検出を行なう（ステップＳ４４）。
【０１１６】
具体的には、差分画像（入力画像と平滑化画像との差分）に対してＨＰＦ（ハイパスフィルタ）又はＢＰＦ（バンドパスフィルタ）かけて、エッジ検出を行なう。例えば、画素単位に、水平方向（０度）、垂直方向（９０度）、右上斜め方向（４５度）、左上斜め方向（１３５度）の四方向で、ＨＰＦ（ハイパスフィルタ）又はＢＰＦ（バンドパスフィルタ）をかける。特に、一次微分フィルタ（例えば［−１：０：１］）や、二次微分フィルタ（例えば［−１：２：−１］）が有効である。水平方向、垂直方向、右上斜め方向、左上斜め方向のフィルタ出力値の絶対値Ｈｈ、Ｈｖ、Ｈｎｅ、Ｈｎｗのうち最も値が大きいもの（最大値Ｈｍａｘ）を求め、その最大値Ｈｍａｘと閾値ｈｐｆ＿ｔｈ１とを比較して、
（ａ）Ｈｍａｘ＞ｈｐｆ_ｔｈ１ならば注目画素はエッジ成分である
（ｂ）Ｈｍａｘ≦ｈｐｆ_ｔｈ１ならば注目画素はノイズ成分である
と判定する。即ち、差分画像の信号成分がエッジ成分であるかノイズ成分であるかを判定する。
【０１１７】
次に、エッジ検出結果に基づいて、ノイズ画像を生成する（ステップＳ４６）。即ち、差分画像からエッジ成分を除去する。
【０１１８】
尚、差分画像には、ノイズ信号（ノイズ）だけではなく、被写体像を表す真の信号（被写体像成分）も含まれている。
【０１１９】
そこで、微小な振幅の信号はノイズ信号であるとして、閾値ａ以下の振幅（画素値）の信号をノイズ信号と判定し、閾値ａを超える振幅の信号を除去する。これは、差分画像を、例えば図１４に示す非線形関数に通し、その出力をノイズ画像とすることと等価である。このようにして、入力画像（元の撮像画像）に含まれるノイズと同一のノイズからなるノイズ画像を生成することができる。
【０１２０】
尚、図１４に示す非線形関数によりノイズ成分抽出を行うと、閾値ａ付近で信号の不連続を生じる。そこで、図１５に示す非線形関数によりノイズ成分抽出を行うことが、好適である。図１５の非線形関数では、閾値ａ以上閾値ｂ未満の信号を振幅に応じて除去（振幅が大きいほど出力成分が小さくなるように除去）し、かつ閾値ｂを超える振幅の信号を完全に除去している。図１５の非線形関数を用いた場合、閾値ａよりも大きな振幅の信号を除去するのではなく、振幅がａからｂ（＞ａ）に近づくにつれて、出力がゼロに近づく。
【０１２１】
尚、図１３に示したノイズ画像生成のステップＳ４２は、図６及び図９に示した第１実施形態のステップＳ１０６に適用できる。具体的には、第１実施形態のステップＳ１０６（差分ノイズ抽出）において、図１３、図１４及び図１５を用いて説明したように、エッジ検出（ステップＳ４４）、及びノイズ成分以外の成分の除去（ステップＳ４６）を行うことにより、差分画像（入力画像と平滑化画像との差分）から真の差分ノイズ成分を抽出できる。
【０１２２】
（ノイズ画像生成の他の態様）
ノイズ画像生成の他の態様として、入力画像（元の撮像画像）からノイズを抽出するのではなく、撮像画像の撮像条件（撮影レンズ１２のフォーカス条件、ズーム条件、絞り１４の絞り条件、撮像素子（例えばＣＣＤ１６）の駆動条件、アナログ信号処理部２０等の信号処理条件など）、又は撮像画像を撮像した撮像装置１０の撮像特性（撮影レンズ１２の特性、撮像素子（例えばＣＣＤ１６）の特性、アナログ信号処理部２０等の信号処理の特性など）に基づいて、ノイズ画像を生成する態様がある。
【０１２３】
撮像装置１０の撮像特性に基づくノイズ画像生成例として、撮像装置１０のモデルに従ってノイズ画像を生成してもよい。ノイズの量は、撮像装置１０におけるノイズの発生及び伝播のモデルから決定される。一般的に、撮像素子（例えば図１のＣＣＤ１６）にて発生するノイズ量は、フォトダイオードの受光量に対して、単調に増加する。フォトダイオードの受光量は、撮像画像の画素値であるから、ノイズ量ｚは画素値ｖをパラメータとした関数と考えることができる。撮像素子で発生したノイズは、各種信号処理を受けるたびにその特性が変わっていく。信号処理におけるノイズ伝播についてはここで触れないが、画素値ｖに対するノイズ量をｆｎ（ｖ）とする。そして、撮像画像の画素値に基づいて推測されるノイズ量ｆｎ（ｖ）からノイズ画像を生成する。
【０１２４】
図１６は、最大ぼかし強度を検出する場合のボケ強調処理の一例の流れを示すフローチャートである。本例にて、ぼかし強度マップは、入力画像（元の撮像画像）の画素毎又は画素領域毎に、出力画像（ボケ強調画像）におけるぼかし強度（目的のぼかし強度）の分布を示す。図１６において、まず、平滑化手段１１４によって、ぼかし強度マップから最大のぼかし強度σＭＡＸを検出する（ステップＳ２０１）。次に、最大のぼかし強度σＭＡＸに基づいて、処理回数Ｎ、及び、撮像画像およびノイズ画像に対する平滑化の平滑化強度を決定する（ステップＳ２０５）。本例では、強度σＭＡＸに基づいて、平滑化強度を決定すると共に、平滑化、ノイズ抽出及びノイズ付加の繰り返し回数（段数）も決定する。ステップＳ２０６〜Ｓ２１８は、図１２に示した処理と同様である。ただし、ステップＳ２０６では、ステップＳ２０５で決定した平滑化強度を用いて撮像画像に対する平滑化を行い、ステップＳ２０８では、ステップＳ２０５で決定した平滑化強度を用いてノイズ画像に対する平滑化を行う。
【０１２５】
＜第３実施例＞
図１７は、第３実施例の画像処理装置の要部構成を示すブロック図である。以下では、図１７の画像処理装置１００を図１の撮像装置１０に本発明を適用した場合を例に説明する。尚、図４（第１実施例）に既に示した構成要素には同じ符号を付している。以下では第１実施例と異なる事項のみ説明する。
【０１２６】
図１７において、平滑化手段１１４は、画素間引きにより画像サイズ（縦サイズ及び横サイズ）の縮小を行う平滑化間引き手段１４２（間引き手段）と、画素補間により画像サイズ（縦サイズ及び横サイズ）の拡大を行う拡大手段１４４とを有する。
【０１２７】
本例の平滑化手段１１４は、平滑化間引き手段１４２によって同じ平滑化強度の平滑化と同じ縮小倍率の画素間引きとを複数回繰り返すことで、平滑化強度及び画像サイズの異なる複数の平滑化画像を生成する。また、本例の平滑化手段１１４は、拡大手段１４４によって平滑化強度及び画像サイズが異なる複数の平滑化画像を平滑化強度が異なり画像サイズが同一の複数の平滑化画像に変換する。
【０１２８】
図１８は、多段の平滑化を行う場合の画像処理装置１００の要部の一例を示すブロック図である。尚、図５に示した第１実施例の画像処理装置１００の要素と同じ要素には同じ符号を付した。ここでは、第１実施例と異なる事項のみ説明する。
【０１２９】
図１８では、多段の平滑化の理解を容易にするため、画像処理装置１００に、複数の平滑化間引き手段１４２ａ、１４２ｂ、１４２ｃと、複数の拡大手段１４４ａ、１４４ｂ、１４４ｃと、複数のノイズ抽出手段１１６ａ、１１６ｂ、１１６ｃと、複数のノイズ付加手段１１８ａ、１１８ｂ、１１８ｃを設けた場合を示した。
【０１３０】
複数の平滑化間引き手段１４２ａ、１４２ｂ、１４２ｃにおいて、平滑化強度及び画像サイズの縮小倍率は同じである。また、複数の拡大手段１４４ａ、１４４ｂ、１４４ｃにおいて、画像サイズの拡大倍率は同じである。例えば、縮小倍率は１／４であり、拡大倍率は４倍であり、縮小倍率×拡大倍率＝１である。
【０１３１】
図１８では、３段になっているので、第１の平滑化間引き手段１４２ａにより１／４倍で縮小された第１の平滑化画像が生成され、第２の平滑化間引き手段１４２ｂにより１／１６倍で縮小された第２の平滑化画像が生成され、第３の平滑化間引き手段１４２ｃにより１／６４倍で縮小された第３の平滑化画像が生成される。また、第１の拡大手段１４４ａにより第１の平滑化画像が４倍に拡大され、第２の拡大手段１４４ｂにより第２の平滑化画像が１６倍に拡大され、第３の拡大手段１４４ｃにより第３の平滑化画像が６４倍に拡大されることにより、第１〜第３の平滑化画像の画像サイズは入力画像と同じ画像サイズに戻される。
【０１３２】
図１９は、図１７の画像処理装置１００におけるボケ強調処理の流れを示すフローチャートである。本処理は、ＣＰＵ４０により、プログラムに従って実行される。
【０１３３】
尚、既に、画像取得手段１１２によって、入力画像（元の撮像画像）が取得され、かつマップ取得手段１２０によって、ぼかし強度マップが取得されているものとする。
【０１３４】
まず、入力画像を第０の縮小画像として、入力画像の縦サイズ及び横サイズに対する縮小倍率を「１」に初期設定する（ステップＳ３０２）。
【０１３５】
次に、変数ｎを１に初期設定する（ステップＳ３０４）。
【０１３６】
次に、平滑化間引き手段１４２によって、第（ｎ−１）の縮小画像に対して第ｎ番目の平滑化処理及び画素間引きを行うことにより、第（ｎ−１）の縮小画像の画像サイズ（縦サイズ及び横サイズ）を一定の縮小倍率（本例では、縦サイズ１／２倍×横サイズ１／２倍＝１／４倍）で縮小し、第ｎの縮小画像を生成する（ステップＳ３０６）。
【０１３７】
次に、拡大手段１４４によって、第ｎ縮小画像に対して画素補間を行うことにより、第ｎの縮小画像の画像サイズを入力画像の画像サイズに拡大し、第ｎの平滑化画像を生成する（ステップＳ３０８）。
【０１３８】
次に、ノイズ抽出手段１１６によって、入力画像（元の撮像画像）と第ｎの平滑化画像との差分（差分画像）からノイズ成分（差分ノイズ成分）を抽出することにより、第ｎの平滑化画像に対応した第ｎの差分ノイズ画像を生成する（ステップＳ３１０）。この処理は、第１実施形態のステップＳ１０６と同じである。
【０１３９】
次に、ノイズ付加手段１１８によって、第ｎの平滑化画像に第ｎの差分ノイズ画像を加算することにより、第ｎのボケ画像（差分ノイズ画像が加算された平滑化画像）を生成する（ステップＳ３１２）。この処理は、第１実施形態のステップＳ１０８と同じである。
【０１４０】
次に、変数ｎが繰り返し回数Ｎ（処理回数）に達したか否かを判定する（ステップＳ３１４）。
【０１４１】
ｎ＜Ｎの場合、変数ｎをインクリメント（「１」を加算）し（ステップＳ３１６）、ステップＳ３０６に戻る。
【０１４２】
ｎ≧Ｎの場合（ｎがＮに達した場合）、画像合成手段１２２によって、ぼかし強度マップに基づいて、入力画像（元の撮像画像）と第１〜Ｎのボケ画像（差分ノイズ画像が加算された平滑化画像）とを合成することにより、ぼかし強度マップに応じたぼかし強度の分布の出力画像を生成する（ステップＳ３１８）。
【０１４３】
図２０は、最大ぼかし強度を検出する場合のボケ強調処理の一例の流れを示すフローチャートである。本例にて、ぼかし強度マップは、入力画像（元の撮像画像）の画素毎又は画素領域毎にぼかし強度の分布を示す。図２０において、平滑化手段１１４によって、ぼかし強度マップから最大のぼかし強度σＭＡＸを検出する（ステップＳ３０３）。また、最大のぼかし強度σＭＡＸに基づいて、処理回数Ｎ、及び、撮像画像に対する平滑化の平滑化強度を決定する（ステップＳ３０５）。ステップＳ３０６〜Ｓ３１８は、図１９に示した処理と同様である。ただし、ステップＳ３０６において、ステップＳ３０５で決定した平滑化強度を用いて撮像画像に対する平滑化を行う。
【０１４４】
一般に、平滑化強度を大きくする場合、大きなタップ数のフィルタ処理が必要となり、回路規模が増大するが、第３実施例では、タップ数の小さなフィルタ処理（平滑化処理）と画素間引きとを複数回繰り返すことで、回路規模を抑えつつ、平滑化強度の異なる複数の平滑化画像を生成することで、第１実施例と同様の効果を得ることができる。ただし、間引きによって画像が縮小されていくため、入力画像と同じサイズまで拡大する処理を行なう。
【０１４５】
尚、第３実施例では、第１実施例に間引き及び拡大の処理を追加した場合を例に説明したが、本発明は、これに限定されない。第３実施例で説明した間引き及び拡大の処理を第２実施例に追加してよいことは、言うまでもない。
【０１４６】
＜スマートフォンの構成＞
図２１は、本発明に係る画像処理装置を携帯型電子機器に適用した他の実施形態の一例であるスマートフォン５００の外観を示すものである。図２１に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。
【０１４７】
図２２は、図２１に示すスマートフォン５００の構成を示すブロック図である。図２２に示すように、スマートフォンの主たる構成要素として、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ(Global Positioning System)受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
【０１４８】
無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
【０１４９】
表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆる操作パネルであって、表示パネル５２１と、操作パネル５２２とを備える。
【０１５０】
表示パネル５２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。
【０１５１】
図２１に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しているが、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
【０１５２】
なお、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
【０１５３】
通話部５３０は、スピーカ５３１やマイクロホン５３２を備え、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図２１に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載することができる。また、マイクロホン５３２を筐体５０２の側面に搭載することができる。
【０１５４】
操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図２１に示すように、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
【０１５５】
記憶部５５０は、主制御部５０１の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
【０１５６】
外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
【０１５７】
スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。
【０１５８】
ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
【０１５９】
モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備え、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。
【０１６０】
電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
【０１６１】
主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
【０１６２】
アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
【０１６３】
また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。
【０１６４】
更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。
【０１６５】
表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。なお、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
【０１６６】
また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
【０１６７】
更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御する操作パネル制御機能を備える。
【０１６８】
また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
【０１６９】
カメラ部５４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図２１に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限らず、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。
【０１７０】
また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力のひとつとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。
【０１７１】
主制御部５０１は、前述した、図１のＣＰＵ４０、図４、図１０、図１６の平滑化手段１１４、ノイズ抽出手段１１６、ノイズ付加手段１１８、画像合成手段１２２などの機能を備える。
【０１７２】
その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することもできる。
【０１７３】
なお、本発明は、本明細書において説明した例や図面に図示された例には限定されず、本発明の要旨を逸脱しない範囲において、各種の設計変更や改良を行ってよいのはもちろんである。
【符号の説明】
【０１７４】
１０：撮像装置、１６：撮像素子（ＣＣＤ）、３８：操作部、４０：ＣＰＵ（中央処理装置）、４８：メモリ、１００：画像処理装置、１１２：撮像画像取得手段、１１４：平滑化手段、１１６：ノイズ抽出手段、１１８：ノイズ付加手段、１２０：マップ取得手段、１２２：画像合成手段、１４２：平滑化間引き手段、１４４：拡大手段
【図１】
2013179963.tif 000003
【図３】
2013179963.tif 000004
【図４】
2013179963.tif 000005
【図６】
2013179963.tif 000006
【図７】
2013179963.tif 000007
【図８】
2013179963.tif 000008
【図９】
2013179963.tif 000009
【図１０】
2013179963.tif 000010
【図１２】
2013179963.tif 000011
【図１３】
2013179963.tif 000012
【図１４】
2013179963.tif 000013
【図１５】
2013179963.tif 000014
【図１６】
2013179963.tif 000015
【図１７】
2013179963.tif 000016
【図１９】
2013179963.tif 000017
【図２０】
2013179963.tif 000018
【図２１】
2013179963.tif 000019
【図２２】
2013179963.tif 000020
【図２】
2013179963.tif 000021
【図５】
2013179963.tif 000022
【図１１】
2013179963.tif 000023
【図１８】
2013179963.tif 000024
【国際調査報告】
2013179963.tif 000025
2013179963.tif 000026