(57)【要約】【課題】距離マップに応じたぼかし処理を施した後でも違和感のない画像を取得可能な画像処理技術を提供する。【解決手段】画像処理装置は、画像および当該画像の距離マップを取得する取得手段と、前記画像に対して、前記距離マップに応じたフィルタ特性を有するローパスフィルタ処理を施す第１のフィルタ手段と、前記画像のノイズを推定する推定手段と、前記第１のフィルタ手段によるフィルタ処理後の画像と、前記推定手段が推定したノイズとを合成する合成手段と、を備え、前記推定手段は、前記画像の輝度値と、輝度値に対するノイズの分散を表す関係とに基づいてノイズを推定する。【選択図】図１
2015046678.tif 000002
【特許請求の範囲】
【請求項１】
画像および当該画像の距離マップを取得する取得手段と、
前記画像に対して、前記距離マップに応じたフィルタ特性を有するローパスフィルタ処理を施す第１のフィルタ手段と、
前記画像のノイズを推定する推定手段と、
前記第１のフィルタ手段によるフィルタ処理後の画像と、前記推定手段が推定したノイズとを合成する合成手段と、
を備え、
前記推定手段は、前記画像の輝度値と、輝度値に対するノイズの分散を表す関係とに基づいてノイズを推定する、
画像処理装置。
【請求項２】
前記推定手段は、
複数の撮影条件において撮影された画像から求められる、各撮影条件における輝度値とノイズの分散の関係を格納したノイズ特性テーブルを更に含み、
前記取得手段によって取得された画像の撮影条件を取得し、
前記ノイズ特性テーブルに格納された当該撮影条件における輝度値とノイズの分散の関係に基づいて、前記画像の領域毎に、当該領域の輝度値に対応する分散を有する乱数によりノイズを推定する、
請求項１に記載の画像処理装置。
【請求項３】
前記推定手段は、
前記取得手段が取得した画像から、当該画像における輝度値とノイズの分散の関係を算出し、
算出された輝度値とノイズの分散の関係に基づいて、前記画像中の領域毎に、当該領域の輝度値に対応する分散を有する乱数によりノイズを推定する、
請求項１に記載の画像処理装置。
【請求項４】
前記画像を前記距離マップに応じて複数の領域に分割し、分割された領域毎に、前記第１のフィルタ手段によるフィルタ処理および前記合成手段による合成処理を実施する、
請求項１から３のいずれか１項に記載の画像処理装置。
【請求項５】
前記推定手段が推定したノイズに対して、前記ローパスフィルタ処理に対応するフィルタ特性を有するハイパスフィルタ処理を施す第２のフィルタ手段を更に備え、
前記合成手段は、前記第１のフィルタ手段によるフィルタ処理後の画像と、前記第２のフィルタ手段によるフィルタ処理後のノイズとを合成する、
請求項１から４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像を前記距離マップに応じて複数の領域に分割し、分割された領域毎に、前記第１のフィルタ手段によるフィルタ処理、前記第２のフィルタ手段によるフィルタ処理、および前記合成手段による合成処理を実施する、
請求項５に記載の画像処理装置。
【請求項７】
被写体からの光を電気信号に変換し出力する撮像手段と、
請求項１から６のいずれか１項に記載の画像処理装置と、
を備え、
前記電気信号に基づき前記取得手段により画像および当該画像の距離マップを取得する、
撮像装置。
【請求項８】
画像処理装置が実施する画像処理方法であって、
画像および当該画像の距離マップを取得する取得ステップと、
前記画像に対して、前記距離マップに応じたフィルタ特性を有するローパスフィルタ処理を施す第１のフィルタステップと、
前記画像のノイズを推定する推定ステップと、
前記第１のフィルタステップにおけるフィルタ処理後の画像と、前記推定ステップにおいて推定されたノイズとを合成する合成ステップと、
を含み、
前記推定ステップでは、前記画像の輝度値と、輝度値に対するノイズの分散を表す関係とに基づいてノイズを推定する、
画像処理方法。
【請求項９】
前記画像処理装置は、複数の撮影条件において撮影された画像から求められる、各撮影条件における輝度値とノイズの分散の関係を格納したノイズ特性テーブルを備えており、
前記推定ステップは、
前記取得ステップにおいて取得された画像の撮影条件を取得するステップと、
前記ノイズ特性テーブルに格納された当該撮影条件における輝度値とノイズの分散の関係に基づいて、前記画像中の領域毎に、当該領域の輝度値に対応する分散を有する乱数によりノイズを推定するステップと、
を含む、請求項８に記載の画像処理方法。
【請求項１０】
前記推定ステップは、
前記取得ステップにおいて取得した画像から、当該画像における輝度値とノイズの分散の関係を算出するステップと、
算出された輝度値とノイズの分散の関係に基づいて、前記画像中の領域毎に、当該領域の輝度値に対応する分散を有する乱数によりノイズを推定するステップと、
を含む、請求項８に記載の画像処理方法。
【請求項１１】
前記画像を前記距離マップに応じて複数の領域に分割する分割ステップを更に含み、
分割された領域毎に、前記第１のフィルタステップおよび前記合成ステップを実施する、
請求項８から１０のいずれか１項に記載の画像処理方法。
【請求項１２】
前記推定ステップにおいて推定されたノイズに対して、前記ローパスフィルタ処理に対応するフィルタ特性を有するハイパスフィルタ処理を施す第２のフィルタステップを更に含み、
前記合成ステップでは、前記第１のフィルタステップにおけるフィルタ処理後の画像と、前記第２のフィルタステップにおけるフィルタ処理後のノイズとを合成する、
請求項８から１１のいずれか１項に記載の画像処理方法。
【請求項１３】
前記画像を前記距離マップに応じて複数の領域に分割する分割ステップを更に含み、
分割された領域毎に、前記第１のフィルタステップ、前記第２のフィルタステップ、および前記合成ステップを実施する、
請求項１２に記載の画像処理方法。
【請求項１４】
請求項８から１３のいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させるためのコンピュータプログラム。
【請求項１５】
請求項１４に記載のコンピュータプログラムを非一時的に保持するコンピュータ読み取
り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、距離マップに応じたローパスフィルタを適用する画像処理技術に関する。
【背景技術】
【０００２】
浅い被写界深度の表現には、本来、大口径レンズが必要である。近年、小口径レンズを有するデジタルカメラによって撮影された画像に対して画像処理を施して、浅い被写界深度を再現する技術がある（特許文献１）。特許文献１で開示されている画像処理装置は、撮影画像を撮影する撮像系と、撮影シーンの奥行きを表す距離マップを取得する三次元計測手段を有している。そして、撮像系と三次元計測手段から、撮影画像と距離マップを取得する。続いて、距離マップから、ぼけの点像分布に関するパラメータを生成する。そのパラメータを用いて撮影画像にローパス特性を有するフィルタ処理を施すことで被写界深度を浅くした立体感を有する画像を生成している。
【０００３】
一方、特許文献２では、前述のようにローパス特性を有するフィルタ処理でぼけを付与した際、画像の違和感を低減する画像処理方法が開示されている。特許文献２で開示されている画像処理方法を簡単に説明する。まず、主被写体に合焦させた画像と、背景に合焦させた画像、計２画像を取得する。それぞれの画像の同じ場所の鮮鋭度を比較し、鮮鋭度が高い方の画像に合焦されていると判断し、主被写体か背景かを示す２層の距離マップを取得する。その距離マップを用いて、主被写体に合焦した画像の背景領域にローパス特性を有するフィルタ処理によりぼけを付与する。この際、主被写体領域のノイズ感とフィルタ処理を施した背景領域のノイズ感の違いによる違和感を低減させるため、背景領域に適用するフィルタ特性と撮影感度情報に基づいて正規乱数によりノイズを生成し、背景領域にノイズを重畳させる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０７−２１３６５号公報
【特許文献２】特開２０１１−４１０８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、先行文献２のようにノイズとしてフィルタ特性と撮影感度情報に基づいた正規乱数を加えるのみでは、本来画像に含まれているノイズを再現しているとは言えない。具体的には、画像中に含まれるノイズを支配しているのは、光／電子のショットノイズである。そのため、正確にノイズを再現するには、フィルタ特性と撮影感度情報のみに決定される乱数ではなく、被写体も含む画像全体に依存したノイズを考慮する必要がある。
【０００６】
さらには先行文献２では、重畳するノイズの大きさ、即ち振幅成分は考慮されているが、ノイズの周波数成分を考慮していない。すなわち、ぼかし処理に用いるローパス特性を有するフィルタの周波数特性を考慮していないため、ノイズの空間的な発生の仕方も再現することができない。結果として、ぼかし処理を適用した領域にノイズを重畳しても、本来あるノイズ感とは異なるものが重畳されていることになり、結果として違和感は残ってしまうという課題がある。
【０００７】
本発明は、上記課題を考慮し、距離マップに応じたぼかし処理を施した後でも違和感のない画像を取得可能な画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明に係る画像処理装置は、画像および当該画像の距離マップを取得する取得手段と、前記画像に対して、前記距離マップに応じたフィルタ特性を有するローパスフィルタ処理を施す第１のフィルタ手段と、前記画像のノイズを推定する推定手段と、前記第１のフィルタ手段によるフィルタ処理後の画像と、前記推定手段が推定したノイズとを合成する合成手段と、を備え、前記推定手段は、前記画像の輝度値と、輝度値に対するノイズの分散を表す関係とに基づいてノイズを推定する。
【０００９】
また、本発明に係る画像処理方法は、画像処理装置が実施する画像処理方法であって、画像および当該画像の距離マップを取得する取得ステップと、前記画像に対して、前記距離マップに応じたフィルタ特性を有するローパスフィルタ処理を施す第１のフィルタステップと、前記画像のノイズを推定する推定ステップと、前記第１のフィルタステップにおけるフィルタ処理後の画像と、前記推定ステップにおいて推定されたノイズとを合成する合成ステップと、を含み、前記推定ステップでは、前記画像の輝度値と、輝度値に対するノイズの分散を表す関係とに基づいてノイズを推定する。
【発明の効果】
【００１０】
本発明によれば、距離マップに応じたぼかし処理を施した後でも違和感のない画像を取得できる。
【図面の簡単な説明】
【００１１】
【図１】実施例に係る撮像装置の構成を示すブロック図
【図２】実施例に係る撮像装置の動作を示すフローチャート
【図３】実施例に係る撮像装置のノイズ画像生成の動作を示すフローチャート
【図４】実施例に係る撮像装置のぼけ付与画像生成の動作を示すフローチャート
【図５】実施例に係る撮影シーンおよびぼけ付与画像生成の流れを模式的に表す図
【図６】光量とノイズ分散の関係を表すグラフ
【発明を実施するための形態】
【００１２】
以下、本発明の具体的な実施形態について図面を参照しながら説明する。ただし、発明の範囲は実施形態の説明で図示した例に限定されるものではない。
【００１３】
＜構成＞
図１（Ａ）は、本実施形態に係る撮像装置の構成を模式的に示している。
【００１４】
撮影レンズ１００は、撮像素子１０２に被写体光を導く。露光制御部材１０１は絞りやシャッタ等を含む。撮影レンズ１００を介して入射された被写体光は、露光制御部材１０１を介して撮像素子１０２へ入射される。撮像素子１０２は被写体光を電気信号に変換して出力する撮像素子であり、典型的にはＣＣＤやＣＭＯＳなどのイメージセンサで構成される。画像形成回路１０３は、撮像素子１０２から出力されたアナログ信号をデジタル化して画像化するための画像形成回路である。画像形成回路１０３は、不図示のアナログ／デジタル変換回路、オートゲイン制御回路、オートホワイトバランス回路、画素補間処理回路、色変換回路などによって構成される。露光制御部１０４は、露光制御部材１０１を制御する機能部である。また、フォーカス制御部１０５は撮影レンズ１００のフォーカシングを制御する機能部である。露光制御部１０４およびフォーカス制御部１０５は、例えば、ＴＴＬ方式（Ｔｈｒｏｕｇｈ  Ｔｈｅ  Ｌｅｎｓ：撮影用のレンズを実際に通った光を測定することで露出やフォーカスを制御する方式）を用いて制御される。
【００１５】
三次元計測部（距離マップ生成部）１０６は、被写体の撮像装置からの距離情報を取得
する。その方式は、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）方式やステレオやＤＦＤ（Ｄｅｐｔｈ  Ｆｒｏｍ  Ｄｅｆｏｃｕｓ）方式など特に制限は無い。距離マップ記憶部１０７は、三次元計測部１０６で計測された距離を２次元的に表現した距離マップを記憶する。
【００１６】
システム制御回路１０８は、撮像装置１全体の動作を司る制御回路であり、撮影のための光学系の制御と、撮影した画像にデジタル処理デジタル処理を施すための制御を行う。メモリ１０９は、システム制御回路１０８で用いる動作制御用のデータ、および処理プログラムなどを記録するフラッシュＲＯＭ等を用いたメモリである。また、不揮発性メモリ１１０は各種調整値などの情報を記憶する、電気的に消去および記録可能なＥＥＰＲＯＭ等の不揮発性のメモリである。フレームメモリ１１５は、画像形成回路１０３で生成された画像を数フレーム分記憶する。また、メモリ制御回路１１１は、フレームメモリ１１５に入出力される画像信号を制御する。
【００１７】
ぼかし処理回路１１２は、取得された距離マップを用いて、撮影画像にぼけを付与する回路である。画像出力部１１３は、ぼかし処理回路でぼかし処理を適用した画像を不図示の画像出力装置に表示するための画像出力部である。入力部１１４は、測距範囲マップが合成された表示画像を確認しながら、測距範囲の調整ユーザーからの操作を入力する入力部で、ボタンやタッチパネルなどである。
【００１８】
次に、ぼかし処理回路１１２の構成について、図１（Ｂ）を参照しつつ説明する。ぼかし処理回路１１２は、撮影画像取得部１１２１、距離マップ取得部１１２２、ノイズ推定部１１２３、ぼけ量決定部１１２４、ローパスフィルタ１１２５、ハイパスフィルタ１１２６、合成部１１２７を含む。撮影画像取得部１１２１は、フレームメモリ１１５から撮影画像を取得する。距離マップ取得部１１２２は、距離マップ記憶部１０７から距離マップを取得する。ノイズ推定部１１２３は、撮影画像に対して付与するノイズを推定する。撮影画像に付与するノイズは、ぼかし処理（ローパスフィルタ処理）によって失われるノイズ成分なので、元の撮影画像に含まれているノイズを精度良く推定する必要がある。ノイズ推定部１１２３は、撮影条件（撮影感度等）に加えて画像の輝度値にも基づいてノイズを推定する。ぼけ量決定部１１２４は、距離マップにおける距離に応じてぼかし処理におけるぼけ量を決定する。ぼけ量の決定においては、ローパスフィルタ処理において用いられるフィルタパラメータが決定される。ローパスフィルタ１１２５は、ぼけ量決定部１１２４によって決定されたフィルタ特性のローパスフィルタ処理を施す。ハイパスフィルタ１１２６は、ローパスフィルタ１１２５と逆の周波数特性を有するハイパスフィルタ処理を施す。合成部１１２７は、撮影画像のローパスフィルタ結果と、ノイズのハイパスフィルタ結果とを合成する。
【００１９】
（処理フロー）
次に、図２〜図４のフローチャートを用いて、本実施形態の撮影開始から画像処理（ぼかし処理）終了までの処理の流れを説明する。
【００２０】
まず、図２のステップＳ２０１では、撮影者が撮影したいシーンに対して、ズームを行い、構図を決め、同時に撮影感度（ＩＳＯ感度）、シャッタ速度、Ｆナンバーなど撮影条件を設定し、フォーカス調整を行う。さらに、三次元計測部１０６も同様な構図調整を行う。なお、撮影条件の一部を撮像装置１が自動的に決定しても良い。
【００２１】
次に、シャッターボタンが押されると、ステップＳ２０２で、画像形成回路１０３が画像を取得しフレームメモリ１０９に記録し、さらに、三次元計測部１０６が距離マップを取得し距離マップ記憶部１０７に記録する。
【００２２】
ステップＳ２０３以降が、ぼかし処理回路１１２によるぼかし処理である。ぼかし処理を開始する際には、撮影画像取得部１１２１および距離マップ取得部１１２２がステップＳ２０２において撮影された撮影画像および距離マップをそれぞれ取得する。
【００２３】
次に、ステップＳ２０３では、撮影画像からノイズ成分を推定した画像の生成を行う。この説明を行う前に、一般的な画像に含まれるノイズについて簡単に説明する。
【００２４】
画像に含まれるノイズとして、光／電子ショットノイズ、暗電流ノイズ、読み出しノイズ、量子化ノイズが主に考えられる。光／電子ショットノイズは、光あるいは電子の粒子性に伴い発生するノイズである。暗電流ノイズは、光が全くない状態でも熱によりフォトダイオード内の電子が励起されることにより発生するノイズである。読み出しノイズは、アンプや信号読み出し部で発生するノイズである。量子化ノイズは、アナログ信号をデジタル信号に変換する際に、ある区間の連続量を１つの値に集約してしまうことによって生じるノイズである。光／電子ショットノイズはポアソン分布に従うと仮定され、平均と分散に線形な関係がある。すなわち、図６のグラフに示すように、値（光の量や電子の量）が大きくなればノイズ量も大きくなるという特性を有する。暗電流ノイズは温度や露光時間に依存し、読み出しノイズは正規分布で仮定され、量子化誤差は一様分布で仮定される。
これらを考慮すると、撮像された画像Ｏは以下の式１で表される。
【数１】
2015046678.tif 000003
ここで、Ｉはノイズを含まない画像であり、露光時間ｔ、光子に対する電荷の変換効率Ｋ、単位時間当たりの光子数Ｐの積、即ち、Ｉ＝ｔＫＰで表される。ＮＳ、ＮＤＣ、ＮＲ、ＮＱはそれぞれ光／電子ショットノイズ、暗電流ノイズ、読み出しノイズ、量子化ノイズに起因する項である。ただし、光／電子ショットノイズは平均が０になるよう調整されてある。また、Ａはアンプのゲインを表す。
【００２５】
今、出力Ｏの平均をＥ（Ｏ）、分散をＶ（Ｏ）と表すと、それぞれ以下の式で表現できる。
【数２】
2015046678.tif 000004
ただし、ＥＤＣ／ｔは単位時間あたりの暗電流ノイズの平均、σＤＣ／t２、σＲ２、
σＱ２はそれぞれ単位時間あたりの暗電流ノイズの分散、読み出しノイズの分散、量子化ノイズの分散である。
【００２６】
これらの関係を考慮し、実際に撮像装置固有のノイズ特性を事前に計測したり、撮影された撮影画像からその画像の有するノイズ特性を推定したりすることで、撮影後に違和感のないノイズ特性を再現することが可能となる。
【００２７】
ここで、まず、事前にノイズ特性を計測する場合について説明する。事前にノイズ特性を計測するためには、光源、カメラ位置、撮影パラメータも含めて静的な環境を構築し、撮影を複数回行う。それぞれの撮影においてノイズがなければ画素値は同一の値をとるが、実際にはノイズの影響により画素値にばらつきが生じる。すなわち、観測される画素値のばらつきがノイズに相当する。ある撮影条件での複数の撮影に基づいて、図６に示すような光量（輝度値）とノイズの分散の関係が求められる。これにより、１つの環境における光量とノイズの関係が求められる。そして、撮影条件を変えて上記の処理を繰り返し、
各撮影条件における光量とノイズの分散の関係を求める。この際、撮影パラメータのうち撮影感度や露光時間を変化させると良い。このようにして、複数の撮影条件に対して、光量とノイズの関係が求められる。ノイズ推定部１１２３は、これらの関係をノイズ特性テーブルとしてあらかじめ記憶しておく。
【００２８】
次に、撮影した単一画像からノイズ特性を推定する場合について説明する。この場合は、画像中の画素値の一様な部分は同一信号の計測結果であるとみなし、色による領域分割手法と組み合わせて推定することが可能である。このとき、固定パターンノイズは無視できるものと仮定する。また、ノイズによるばらつきと、被写体の有するテクスチャによるばらつきの区別は難しい。そのため、ノイズ低減処理に適用されているＮｏｎ−Ｌｏｃａｌフィルタ処理などを利用して、ノイズらしい成分にのみ着目する処理を用いる。このような処理により、撮影された画像における輝度値とノイズの分散の関係を取得できる。
【００２９】
以上、述べたように、撮像装置固有のノイズの性質を事前に取得して輝度値とノイズの分散の関係表を保持したり、単一画像がもともと持っているノイズ成分を推定することでノイズ特性を取得したりすることが可能である。
【００３０】
ここで、図２のステップＳ２０３のノイズ画像生成処理（ノイズ推定処理）の説明に戻る。この処理の内容を図３のフローチャートを用いて説明する。
【００３１】
ステップＳ３０１では、ノイズ推定部１１２３は、ノイズ画像を生成するために必要な撮影条件を取得する。具体的には、撮影感度、露光時間、センサ温度などノイズに関連する条件を取得する。
【００３２】
次に、ステップＳ３０２で、ノイズ推定部１１２３は、撮影した画像を用いて、画像全体におけるノイズ画像ＮＩを推定する。具体的には、以下の式４に基づいて行う。
【数３】
2015046678.tif 000005
ここで、ＲＡＮＤ（・）は所定の分散を有する乱数を発生する関数、Ｏは撮影された画像、ＳＮ（・）は図６に示すような輝度に対してノイズの分散量を返す関数である。ここで、ＳＮ（・）は、あらかじめ求められた複数の撮影条件における輝度とノイズの分散の関係を表したノイズ特性テーブルのうち、ステップＳ３０１において取得された撮影条件に対応する関係を表す関数である。ノイズ推定部１１２３は、撮影画像Ｏを領域分割して、領域毎に上記手法によってノイズを推定する。領域分割の単位は任意であって良く、画素単位であっても良い。
【００３３】
上記の手法では、あらかじめ求められたノイズ特性テーブルを用いてノイズを決定したが、撮影画像からノイズを推定する場合には、ＳＮ（・）を、撮影画像Ｏを領域分割し、その領域内のノイズ成分を抽出し、その分散を求める関数とすればよい。
【００３４】
以上のステップにより、ステップＳ２０２で取得された撮影画像に対して含まれるノイズを全画素について推定するノイズ推定処理が可能となる。
【００３５】
次に、ステップＳ２０４では、ステップＳ２０２において取得された撮影画像および距離マップを用いて、被写界深度を浅くしたぼけ付与画像を生成する。この処理の流れを図４のフローチャート及び図５の模式図を用いて説明する。
【００３６】
まず、撮影対象としているシーンの概要を説明する。図５（ａ）は、撮影シーンを上から見た模式図である。この例では、カメラ５０１の光軸を基準に、被写体５０２、５０３
が被写体５０４上に配置されており、最遠方に被写体５０５が配置されている。また、図５（ｂ）は、実際に撮影された画像を示す図である。図５（ｃ）は、三次元計測部１０６によって取得された距離マップを表しており、明るい個所ほどカメラからの距離が近いことを表している。
【００３７】
ステップＳ２０４のぼけ付与画像生成処理では、被写界深度を浅くすると共に、画像がもともと持っていたノイズ感に関しても違和感のないぼけを付与する。以降、図４のフローチャートを用いて、ステップＳ２０４のぼけ付与画像生成処理の流れについて詳細に説明する。
【００３８】
まず、ステップＳ４０１おいて、対象とする距離階層を表すｄを、最遠景を表すＮに設定する。図５を用いて距離階層の分割について詳細に説明する。ぼかし処理回路１１２は、三次元計測部１０６において取得される距離マップ（図５（ｃ））を、奥行き方向に分割を行う。この例では、図５（ａ）に示すように、奥行き方向にＡ、Ｂ、Ｃ、Ｄの４階層に再分割する。また、各階層のカメラからの距離をｄａ、ｄｂ、ｄｃ、ｄｄとする。なお、奥行き方向の分割は任意の手法によって行えばよい。例えば、あらかじめ決められた分割数（階層数）で分割しても良い。また、あらかじめ決められた１階層あたりの奥行き距離を用いて分割しても良い。また、距離マップにおける距離の分布に基づいて、階層数や各階層の範囲を決定して分割しても良い。
【００３９】
次に、ステップＳ４０２において、ぼけ量決定部１１２４が、距離階層ｄのぼけ量を決定する。ここで、距離階層ｄのぼけ量を決定する。具体的には、距離階層ｄにある領域のぼかし処理を行うフィルタのフィルタ特性（フィルタサイズおよび係数）を決定する。これは、距離階層ｄの距離に対して、事前に決定した表を参照することで実現される。図５の例の場合、図５（ｄ）〜（ｇ）に示す黒く塗りつぶした領域に対して、ぼかし処理を適用する。図５（ｄ）が、奥行き方向の領域Ｄを示し、図５（ｅ）が領域Ｃ、図５（ｆ）が領域Ｂ、図５（ｇ）が領域Ａにそれぞれ対応している。また、フィルタの係数は、円形形状やガウス型形状など、ぼかし処理結果として所望の形状が事前に設定されている。しかし、フィルタサイズおよび係数は、距離に対する所定の関係式を用いて算出するようにしてもよいし、その実現方法に関して制限は無い。
【００４０】
次にステップＳ４０３において、ローパスフィルタ１１２５によって、距離階層ｄの階層画像に対してぼかし処理を行う。具体的には、ステップＳ４０２で決定したフィルタを用いて、式５に示すような積和演算によるローパスフィルタ処理を行う。
【数４】
2015046678.tif 000006
ただし、Ｇ（・）はぼかし処理後の画素値、Ｏ（・）は撮影画像（階層画像）、ｈ（・）はフィルタの係数を表し、Ｍ、Ｎはフィルタの大きさを表している。また、フィルタ係数はΣｈ＝１となるよう正規化されているものとする。以上により、距離階層ｄに対応したローパス特性を有するフィルタ処理を実行する。
【００４１】
ステップＳ４０４において、ステップＳ４０２で生成したノイズ画像に対して適用するハイパスフィルタｈｎを決定する。具体的には、ステップＳ４０２で決定したローパスフィルタのフィルタ特性と逆の周波数特性を持つハイパスフィルタを設定する。
【００４２】
【数５】
2015046678.tif 000007
ただし、Ｆ（・）はフーリエ変換、Ｆ−１（・）は逆フーリエ変換を表す。このように、距離に応じたローパス特性のフィルタの逆の周波数特性、即ち、ハイパス特性を有するフィルタを設定する。ここでは、フーリエ変換を用いてフィルタを作成するものとして記載したが、事前に作成した表を参照する形で実装されてもよく、その方法に制限は無い。
【００４３】
次に、ステップＳ４０５において、ハイパスフィルタ１１２６をノイズ画像に適用する。具体的には、ステップＳ４０４で決定したフィルタを用いて、式７に示すような積和演算によるハイパスフィルタ処理を行う。
【数６】
2015046678.tif 000008
ただし、ＮＩ（・）はステップＳ２０３で生成したノイズ画像、ｈｎ（・）はステップＳ４０４で生成したノイズレベル画像用フィルタ、Ｎｆはフィルタ処理を行ったノイズレベル画像を表す。
【００４４】
これらのステップＳ４０４、Ｓ４０５の処理によって、ステップＳ４０３で所定の距離に応じて設定されたローパス特性で遮断されたノイズの周波数特性を再現したノイズ画像を算出することが可能となる。
【００４５】
次に、ステップＳ４０６において、合成部１１２７は、ぼかし処理を行った結果にステップＳ４０５で生成したノイズ画像Ｎｆをぼかし処理結果Ｇに重畳し、さらに、先に処理を施した結果と合成を行う。具体的には、まず合成部１１２７は、式８のように、ぼかし処理を施した結果にフィルタ処理を施したノイズを重畳する。
【数７】
2015046678.tif 000009
ただし、Ｍｄはノイズレベルを合成した結果、αはノイズレベルを重畳する定数で、０≦α≦１．０の範囲を表す。この値で、付与するノイズレベルを調整する。
【００４６】
次に合成部１１２７は、式９に基づいて、ノイズレベルを付与したＭｄを、先に処理した距離階層のものと合成する。
【数８】
2015046678.tif 000010
【００４７】
次に、ステップＳ４０７に移り、現在処理をしている距離階層ｄが１より大きいか否かを判定し、大きい場合は、ステップＳ４０８に移り、ｄを１減算して、ステップＳ４０２から処理を再開する。ｄが１になったらぼけ付与画像の生成を終了し、ステップＳ２０５へ移る。この繰り返し処理によって、ぼかし処理回路１１２は、距離マップにおける距離に応じて画像を複数の領域に分割し、領域毎に、ぼかし処理をした撮影画像とノイズとを合成することができる。より具体的には、領域毎に、撮影画像に対して距離階層に応じたローパスフィルタ処理と、ノイズ画像に対して逆特性のハイパスフィルタ処理を施し、ローパスフィルタ処理後の画像とハイパスフィルタ処理後のノイズ画像との合成処理を行う。そして、各領域の画像を合成して、最終的な画像処理結果が得られる。
【００４８】
ステップＳ２０５では、生成したぼけ付与画像を画像出力部１１３に転送し、不図示の画像出力装置へ表示すると同時に、不図示の記録装置に所定の圧縮処理などを施して記録
する。
【００４９】
以上の処理により、距離階層毎にぼかし処理を行うと同時に、本来、撮影時に有したノイズレベルを適切に重畳することで、どの領域においても違和感のないぼかし処理結果を得ることが可能となる。
【００５０】
撮影画像におけるノイズは、撮影感度のみによって決まるものではなく、光量（輝度値）によっても変化する。本実施例では、撮影画像の輝度を考慮してノイズを決定しているので、ぼかし処理によって失われるノイズをより忠実に再現できる。これにより、ぼかし処理を行った領域とぼかし処理を行っていない領域との間で、ノイズの違いがなくなり、違和感のないぼかし処理が実現できる。
【００５１】
さらに、ノイズに対して、ぼかし処理に用いるローパスフィルタと逆特性のハイパスフィルタを適用してから、ぼけ付与画像と重畳している。ノイズの低周波成分はローパスフィルタを適用しても残るので、生成したノイズを単純に重畳するとぼかし処理前の撮影画像とは異なったノイズ感となる。ハイパスフィルタを用いて、ぼかし処理によって失われたノイズのみを重畳することで、撮影画像における本来のノイズ感の再現が可能となる。
【００５２】
（その他の実施例）
上記の実施例では、撮影画像から推定されたノイズ画像にハイパスフィルタ処理を施してから撮影画像に重畳しているが、これは必ずしも必須ではない。上述したようにハイパスフィルタ処理後のノイズ画像を重畳した方がノイズの違和感がより減少する。しかし、撮影画像に輝度に基づいてノイズ画像を推定しているので、ノイズ画像にハイパスフィルタ処理を適用せずに重畳しても従来技術より違和感を低減させることは可能である。
【００５３】
上記の実施例では、撮影画像と距離マップを撮影する撮像装置を例に説明したが、本発明では画像と距離マップが取得可能であればその方法は任意であり、必ずしも撮影により取得しなくても良い。例えば、本発明の一実施例は、撮影画像と距離マップとを、記憶媒体やネットワーク経由で取得し、取得された撮影画像と距離マップとに上記で説明した処理を施す画像処理装置である。この画像処理装置は、実施例１に係る撮像装置から撮像系や画像形成回路、距離マップ算出回路を除き、データ読み取り装置やネットワークインタフェースを加えたものとして構成することができる。また、視差のある２画像や撮影条件の異なる２画像を記憶媒体やネットワーク経由で取得し、これら２画像に基づいて画像処理装置において距離マップを算出しても良い。この画像処理装置は、実施例１に係る撮像装置から撮像系や画像形成回路を除き、データ読み取り装置やネットワークインタフェースを加えたものとして構成することができる。
【００５４】
さらに、ぼけ付与の対象となる画像は必ずしも実際に撮影された画像である必要もない。例えば、画像は３次元コンピュータグラフィックスにより生成されたものであっても良い。３ＤＣＧによって生成された画像がノイズ成分を含むものであれば、本発明が好適に適用できる。この場合、距離マップは仮想カメラから被写体までの距離を表すものである。
【００５５】
なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装と、ハードウェアにより実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＣＰＵ、ＭＰＵ、ＦＰＧＡ等）のメモリにコンピュータプログラムを格納し、当該コンピュータプログラムをコンピュータに実行させることで、本発明の目的を達成するための各処理を実現してもよい。また、本発明の全部または一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。また、本発明は、クラウド環境におけるサーバーにも適用可能である。
【００５６】
また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。
【符号の説明】
【００５７】
１        撮像装置
１１２    ぼかし処理回路
１１２１  撮影画像取得部
１１２２  距離マップ取得部
１１２３  ノイズ推定部
１１２５  ローパスフィルタ
１１２７  合成部
【図１】
2015046678.tif 000011
【図２】
2015046678.tif 000012
【図３】
2015046678.tif 000013
【図４】
2015046678.tif 000014
【図５】
2015046678.tif 000015
【図６】
2015046678.tif 000016