(57)【要約】【課題】距離マップを用いて画像処理を施す際の画質劣化を低減する。【解決手段】画像処理装置は、画像を取得する画像取得手段と、距離マップを取得する距離マップ取得手段と、前記画像から、人が注目しやすい領域である顕著性領域を検出し、当該顕著性領域に基づいて、距離マップを補正する補正手段と、前記補正手段によって補正された距離マップを用いて、前記画像に画像処理を施す画像処理手段と、を備える。【選択図】図１
2015035658.tif 000002
【特許請求の範囲】
【請求項１】
画像を取得する画像取得手段と、
前記画像に対応する距離マップを取得する距離マップ取得手段と、
前記画像から、人が注目しやすい領域である顕著性領域を検出し、当該顕著性領域に基づいて、距離マップを補正する補正手段と、
前記補正手段によって補正された距離マップを用いて、前記画像に画像処理を施す画像処理手段と、
を備える、画像処理装置。
【請求項２】
前記距離マップ取得手段は、距離マップにおける距離算出の信頼度も取得し、
前記補正手段は、距離マップのうち、顕著性領域であり、かつ、前記信頼度が所定の閾値以下の領域の距離を補正する、
請求項１に記載の画像処理装置。
【請求項３】
前記画像処理手段は、距離マップにおける距離を複数の距離階層に分割し、距離階層に応じた画像処理を前記画像に施し、
前記補正手段は、顕著性領域が複数の距離階層を含む場合に、距離マップにおける当該顕著性領域の距離を補正する、
請求項１に記載の画像処理装置。
【請求項４】
前記補正手段は、前記顕著性領域内の距離が滑らかになるように、距離マップにおける当該顕著性領域内の距離を補正する、
請求項２に記載の画像処理装置。
【請求項５】
前記補正手段は、前記顕著性領域内の距離を、当該顕著性領域の周囲の距離に基づいて補間によって算出する、
請求項４に記載の画像処理装置。
【請求項６】
前記補正手段は、前記顕著性領域内の全ての距離を、当該顕著性領域におけるいずれかの距離に統一する、
請求項２または３に記載の画像処理装置。
【請求項７】
前記補正手段は、前記顕著性領域内の全ての距離を、当該顕著性領域に含まれる距離階層のうち最も支配的な距離階層に対応する距離に統一する、
請求項６に記載の画像処理装置。
【請求項８】
前記顕著性領域は、文字が含まれる領域である、
請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記顕著性領域は、直線が含まれる領域である、
請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
前記顕著性領域は、エッジ成分の強さが所定の閾値以上の領域である、
請求項１から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記画像処理は、ぼかし処理である、
請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記画像処理は、画像復元処理あるいは超解像処理である、
請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１３】
請求項１から１２のいずれか１項に記載の画像処理装置と、
被写体からの光を電気信号に変換し出力する撮像手段と、を備え、
前記電気信号に基づき前記画像取得手段で画像を取得する、撮像装置。
【請求項１４】
画像処理装置が行う画像処理方法であって、
画像を取得する画像取得ステップと、
距離マップを取得する距離マップ取得ステップと、
前記画像から、人が注目しやすい領域である顕著性領域を検出する検出ステップと、
前記顕著性領域に基づいて、距離マップを補正する補正ステップと、
前記補正ステップにおいて補正された距離マップを用いて、前記画像に画像処理を施す画像処理ステップと、
を含む、画像処理方法。
【請求項１５】
前記距離マップ取得ステップでは、距離マップにおける距離算出の信頼度も取得し、
前記補正ステップでは、距離マップのうち、顕著性領域であり、かつ、前記信頼度が所定の閾値以下の領域の距離を補正する、
請求項１４に記載の画像処理方法。
【請求項１６】
前記画像処理ステップでは、距離マップにおける距離を複数の距離階層に分割し、距離階層に応じた画像処理を前記画像に施し、
前記補正ステップでは、顕著性領域が複数の距離階層を含む場合に、距離マップにおける当該顕著性領域の距離を補正する、
請求項１４に記載の画像処理方法。
【請求項１７】
前記補正ステップでは、前記顕著性領域内の距離が滑らかになるように、距離マップにおける当該顕著性領域内の距離を補正する、
請求項１５に記載の画像処理方法。
【請求項１８】
前記補正ステップでは、前記顕著性領域内の距離を、当該顕著性領域の周囲の距離に基づいて補間によって算出する、
請求項１７に記載の画像処理方法。
【請求項１９】
前記補正ステップでは、前記顕著性領域内の全ての距離を、当該顕著性領域におけるいずれかの距離に統一する、
請求項１５または１６に記載の画像処理方法。
【請求項２０】
前記補正ステップでは、前記顕著性領域内の全ての距離を、当該顕著性領域に含まれる距離階層のうち最も支配的な距離階層に対応する距離に統一する、
請求項１９に記載の画像処理方法。
【請求項２１】
前記顕著性領域は、文字が含まれる領域である、
請求項１４から２０のいずれか１項に記載の画像処理方法。
【請求項２２】
前記顕著性領域は、直線が含まれる領域である、
請求項１４から２１のいずれか１項に記載の画像処理方法。
【請求項２３】
前記顕著性領域は、エッジ成分の強さが所定の閾値以上の領域である、
請求項１４から２２のいずれか１項に記載の画像処理方法。
【請求項２４】
前記画像処理は、ぼかし処理である、
請求項１４から２３のいずれか１項に記載の画像処理方法。
【請求項２５】
前記画像処理は、画像復元処理あるいは超解像処理である、
請求項１４から２３のいずれか１項に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関し、距離情報を用いて観賞用画像に画像処理を施す画像処理装置に関する。
【背景技術】
【０００２】
近年、観賞用画像と撮影しているシーンの距離を表す距離マップを同時に取得可能な撮像装置が開発されている。その距離マップを取得する方式には複数の方式がある。複数の視点位置から画像を取得し、その各画像中の画素の対応関係から算出される視差を用いて、三角測量の原理に基づき距離を算出するステレオ方式がある。また、焦点位置や絞りなど、ぼけ方が異なるような撮影条件で取得された複数枚の画像のぼけ方を解析して距離を算出するＤＦＤ（Ｄｅｐｔｈ  Ｆｒｏｍ  Ｄｅｆｏｃｕｓ）方式やＤＦＦ（Ｄｅｐｔｈ  Ｆｒｏｍ  Ｆｏｃｕｓ）方式がある。また、光源から出た光が対象物で反射しセンサに届くまでの時間と光速度から距離を算出するＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）方式がある。
【０００３】
また、観賞用画像と距離マップを用いて、小口径レンズを有するデジタルカメラにおいても大口径レンズを有するデジタルカメラのような浅い被写界深度を表現可能な画像を生成する技術がある（例えば、特許文献１）。特許文献１で開示されている画像処理装置を簡単に説明する。該画像処理装置では、観賞用画像を撮影する撮像系と、撮影シーンの奥行きを表す距離マップを取得する三次元計測手段を有しており、まず、撮像系と三次元計測手段から、観賞用画像と距離マップを取得する。続いて、距離マップを用いて、ぼけの点像分布に関するパラメータを生成する。そのパラメータを用いて観賞用画像にローパス特性を有するフィルタ処理を施すことで被写界深度を浅くした立体感を有する画像を生成している。また、ぼかし処理を適用するのとは逆に、距離に応じた点像分布とは逆特性を有するフィルタを用いて、画像復元処理を施すことも可能である。このことで、距離に応じた画像復元を実現でき、より高精細な画像を得ることが可能となる。
【０００４】
一方、３次元コンピュータグラフィックス（３ＤＣＧ）を用いて、実際のカメラで撮影したような被写界深度を表現するための画像処理方法が開示されている（例えば、特許文献２）。具体的には、３ＤＣＧシーン内で、仮想カメラからの距離を求め、距離を複数の奥行きのゾーンに分割し、各ゾーンを代表する距離からぼかし量を決定する。次に、各ゾーンに対して、求めたぼかし量でぼかし処理を施すことで、実際のカメラで撮影したような浅い被写界深度を再現した３ＤＣＧ画像を生成している。なお、このような方法も、画像復元を行う際に適用可能で、高速化を実現することが可能である。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０７−２１３６５号公報
【特許文献２】特開２０１１−４１０８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
先に説明した様々な距離マップ取得方式は、それぞれの方式ごとに距離を取得できない場合がある。例えば、ステレオ方式の場合、画像間の対応する箇所を見つける必要があるが、テクスチャが無い領域や同様のテクスチャのある領域など、対応が見つけられない領域がある。ＤＦＤ方式やＤＦＦ方式の場合でも、テクスチャの無い領域などぼけの違いを検出できない画素では距離を求めることができない。また、ＴＯＦ方式の場合は、光が反
射してこない物質や、太陽など外光強度が強い場合などは、距離を求めることはできない。また、距離が求められたとしても、その精度が高くないことも考えられる。このように、それぞれの方式特有の原因ではあるが、距離マップを取得できなかったり、距離マップの精度が高くなかったりする場合がある。そのため、特許文献１のように距離情報を利用して被写界深度の浅い画像を生成しようとした場合や距離情報を利用して画像復元を行う場合、精度の良い距離マップを取得できない領域では、画像に著しい違和感が発生してしまうという課題がある。
【０００７】
また、理想的な距離マップを取得することができた場合においても、課題がある。具体的には、特許文献２のように、奥行き方向に幾つかのゾーンに分ける際に、人の着目しやすい領域（以下、顕著性領域）が複数の奥行きに分割される場合がある。このような場合、距離マップが理想的なものであったとしても、距離マップに基づいた画像処理を行うと、顕著性領域に本来無い境界線が見えてしまうという課題がある。
【０００８】
上記課題を考慮して、本発明は、距離マップを用いて画像処理を施す際の画質劣化を低減することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明に係る画像処理装置は、画像を取得する画像取得手段と、距離マップを取得する距離マップ取得手段と、前記画像から、人が注目しやすい領域である顕著性領域を検出し、当該顕著性領域に基づいて、距離マップを補正する補正手段と、前記補正手段によって補正された距離マップを用いて、前記画像に画像処理を施す画像処理手段と、を備える。
【００１０】
また、本発明に係る画像処理方法は、画像処理装置が行う画像処理方法であって、画像を取得する観賞用画像取得ステップと、距離マップを取得する距離マップ取得ステップと、前記画像から、人が注目しやすい領域である顕著性領域を検出する検出ステップと、前記顕著性領域に基づいて、距離マップを補正する補正ステップと、前記補正ステップにおいて補正された距離マップを用いて、前記画像に画像処理を施す画像処理ステップと、を含む。
【発明の効果】
【００１１】
本発明によれば、距離マップを用いて画像処理を施す際の画質劣化を低減することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】実施例１に係る撮像装置の構成を示すブロック図。
【図２】実施例１に係る撮像装置の動作を示すフローチャート。
【図３】実施例１に係る距離マップ補正の動作を示すフローチャート。
【図４】実施例１に係るぼかし処理の動作を示すフローチャート。
【図５】ステレオ方式の原理を説明する模式図。
【図６】実施例１に係る距離マップ補正とぼかし処理を説明する模式図。
【図７】実施例２に係る撮像装置の構成を示すブロック図。
【図８】実施例２に係る撮像装置の動作を示すフローチャート。
【図９】実施例２に係る距離マップ補正とぼかし処理を説明する模式図。
【図１０】ＤＦＤ方式の原理を説明する模式図。
【図１１】実施例２に係るぼかし処理の動作を示すフローチャート。
【発明を実施するための形態】
【００１３】
＜実施例１＞
以下、本発明の具体的な実施形態について図面を参照しながら説明する。本実施形態に係る撮像装置は、距離マップと観賞用画像を同時に取得可能な撮像装置である。本実施形態に係る撮像装置は、２つの撮像系を有し、ステレオ方式により距離マップを取得する。ただし、発明の範囲は実施形態の説明で図示した例に限定されるものではない。
【００１４】
＜構成＞
図１は、本実施形態に係る撮像装置１の構成を模式的に示しており、２つの撮像系を有する。光学系１００、１００’は、それぞれ撮像素子１０２、１０２’に被写体からの光（被写体光）を導く複数のレンズを有する。露光制御部材１０１、１０１’は絞りやシャッタ等を含む。光学系１００、１００’を介して入射された被写体光は、露光制御部材１０１、１０１’を介して撮像素子１０２、１０２’へ入射される。撮像素子１０２、１０２’は被写体光を電気信号に変換して出力する素子であり、典型的にはＣＣＤやＣＭＯＳなどのイメージセンサで構成される。
【００１５】
画像形成回路１０３は、撮像素子１０２、１０２’から出力されたアナログ信号をデジタル化して画像化するための画像形成回路である。画像形成回路１０３は、２つの撮像系から視点の異なる２枚の画像を取得する。これら２画像のうち一方を表示（観賞）用として記憶する。この画像を観賞用画像と称する。画像形成回路１０３は、不図示のアナログ／デジタル変換回路、オートゲイン制御回路、オートホワイトバランス回路、画素補間処理回路、色変換回路などによって構成される。画像形成回路１０３は、本発明における画像取得手段に相当する。
【００１６】
露光制御部１０４は、露光制御部材１０１、１０１’を制御する機能部である。また、フォーカス制御部１０５は光学系１００のフォーカシングを制御する機能部である。露光制御部１０４およびフォーカス制御部１０５は、例えば、ＴＴＬ方式（Ｔｈｒｏｕｇｈ  Ｔｈｅ  Ｌｅｎｓ：撮影用のレンズを実際に通った光を測定することで露出やフォーカスを制御する方式）を用いて制御される。システム制御回路１０６は、撮像装置１全体の動作を司る制御回路であり、撮影のための光学系の制御と、撮影した画像をデジタル処理するための制御を行う。
【００１７】
メモリ１０７は、システム制御回路１０６で用いる動作制御用のデータ、および処理プログラムなどを記録するフラッシュＲＯＭ等を用いたメモリである。また、不揮発性メモリ１０８は各種調整値などの情報を記憶する、電気的に消去および記録可能なＥＥＰＲＯＭ等の不揮発性メモリである。フレームメモリ１０９は、画像形成回路１０３で生成された画像を数フレーム分記憶するフレームメモリである。また、メモリ制御回路１１０は、フレームメモリ１０９に入出力される画像信号を制御するメモリ制御回路である。
【００１８】
距離マップ算出回路１１１は、光学系１００、１００’、露光制御部材１０１、１０１’、撮像素子１０２、１０２’で取得された異なる視点位置の２画像からステレオ方式で距離マップを算出する。距離マップ算出回路１１１は、本発明における距離マップ取得部に相当する。
【００１９】
距離マップ補正回路１１２では、２画像のうちの観賞用画像を解析して顕著性領域を検出し、検出された顕著性領域に基づいて、距離マップ算出回路１１１で算出された距離マップを補正する。
【００２０】
ぼかし処理回路１１３は、距離マップ補正回路１１２で補正された距離マップを用いて、観賞用画像に対してぼけを付与する回路である。
【００２１】
画像出力部１１４は、ぼかし処理回路でぼかし処理を適用した画像を不図示の画像出力
装置に表示するための画像出力部である。入力部１１５は、撮像装置１に対する操作をユーザーが入力する入力部で、ボタンやタッチパネルなどで構成される。
【００２２】
（処理フロー）
次に、図２〜図４のフローチャートを用いて、本実施形態の撮影開始から完了までの処理の流れを説明する。
【００２３】
まず、図２のステップＳ２０１では、撮影者が撮影したいシーンに対して、ズームを行い、構図を決め、同時にシャッタ速度、Ｆナンバーなど撮影条件を設定し、フォーカス調整を行う。
【００２４】
次に、ステップＳ２０２で、不図示の撮影開始ボタンが押下されると、観賞用画像および距離マップを取得する。具体的には、光学系１００、１００’を介して結像された被写体光を撮像素子１０２、１０２’が光電変換し、画像形成回路１０３が所定の信号処理を施して、２枚の画像を取得しフレームメモリ１０９に記録する。本実施例では、光学系１００、１００’を介して得られる視点の異なる２枚の画像のうち、光学系１００を介して得られる画像を観賞用画像とする。距離マップ算出回路１１１は、視点位置の異なるこれら２枚の画像を取得し、ステレオ方式により距離マップを生成する。ここで図５を用いてステレオ方式を簡単に説明する。図５（ａ）は、三次元空間中の点Ｐを、同一の焦点距離を有する２台のカメラで撮影している状況を上から見た模式図である。ここで、各撮像系の光軸は平行で、かつ、同一の高さに設置されるよう調整されているものとする。また、図５（ｂ）は、左右の撮像装置で取得した画像をそれぞれ表している。今、点Ｐが左カメラ、右カメラのそれぞれＰｌ（ｕ，ｖ）、Ｐｒ（ｕ’，ｖ’）に射影されているとする。焦点距離から点Ｐまでの距離をＤ、撮像装置の焦点距離をｆ、撮像装置の光軸間の距離（以下、基線長と呼ぶ）をｂ、各カメラで取得した画像の点Ｐの位置ＰｌとＰｒとの差（以下、視差）をｄで表現すると、距離Ｄは式（１）で算出することができる。
【数１】
2015035658.tif 000003
【００２５】
なお、撮像装置の光軸が平行で同一の高さになるよう校正されているため、式（１）に記載の通り、視差ｄについては横方向の変化のみを考えればよい。各撮像系の光軸や高さが校正されていない場合は、事前に校正する必要がある。式（１）に基づいて距離マップを算出するには、撮影した２画像の各画素について対応する座標ｕ、ｕ’を算出する必要がある。ここでは、左右いずれかを参照画像とし、参照画像中の注目する画素の周辺を含む局所領域（例えば、１６ｘ１６画素）をテンプレートとして、他方の画像から類似領域を探すテンプレートマッチングを行う。本実施例において、類似領域を探す指標は、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｕｑａｒｅ  Ｄｉｆｆｅｒｅｎｃｅ）を用いる。これ以外の指標として、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、正規相互相関など様々な指標があるが、その方法に特に制限は無い。
【００２６】
この指標がどのような分布を示すかを、図５（ｃ）のグラフを用いて簡単に説明する。図５（ｃ）のグラフは、横軸は類似度を算出した位置を示している。縦軸が類似度合を示す値で、ここではＳＳＤの値を示している。ＳＳＤやＳＡＤの場合は、類似していればその差分が小さいため、ＳＳＤ値が最小の位置が最も類似していることを示す。一般的に、類似している領域が１か所しかない理想的な条件の場合の分布は、曲線５０１のように下向きに凸で単峰性の形状を有する。しかし、似たようなテクスチャがある場合の分布は、曲線５０２のように下向きにいくつも山がある多峰性の形状を有する。このような状況は、ビルの窓やタイルなど同じテクスチャが繰り返し現れているような場合に多く発生し、
どの位置が真の対応画素かを信頼度高く求めることができない。これ以外の信頼度が低い場合として、類似度がある値以上（相関の場合は、ある値以下）の場合がある。このような状況は、オクルージョンにより対応する画素が無い場合や、テクスチャそのものが無い場合で、原理的に距離を算出できない領域である。以上のような信頼度が低い領域を低信頼度領域として記憶して、後段の距離マップ補正処理で利用する。なお、ここでは、信頼度は高信頼度と低信頼度のいずれかとしているが、信頼度は３分類以上や連続的な値としてもよい。その場合、後段の距離マップ補正処理では、信頼度が所定の閾値以下の領域を低信頼度領域と判断すればよい。
【００２７】
距離算出の信頼度が高い領域では、座標ｕ’を算出することができ、式（１）を用いて距離マップを算出する。なお、距離算出の信頼度が低い領域であっても、距離算出が可能であれば、その領域の距離を求めるようにしてもよい。
【００２８】
以上の様子を、図６を用いて簡単に説明する。図６（ａ）は撮影対象としているシーンを上から見た模式図である。カメラ６０１、６０１’でシーンを撮影しており、被写体６０２、６０３が被写体６０４上に配置されており、最遠方に被写体６０５が配置されていることを表している。図６（ｂ）がカメラ６０１で撮影した画像（観賞用画像）、図６（ｃ）がカメラ６０１’で撮影した画像を表している。この２画像から距離マップを算出した結果が、図６（ｄ）である。被写体６０２のテクスチャが規則性の高いため、図６（ｄ）の領域６０６が低信頼度領域として記憶されている。
【００２９】
ステップＳ２０３では、距離マップ補正回路１１２が、観賞用画像を解析して、解析結果に基づいてステップＳ２０２において生成された距離マップを補正する。このステップの内容を、図３のフローチャートを用いて説明する。
【００３０】
ステップＳ３０１では、距離マップ補正回路１１２は、観賞用画像（図６（ｂ））からエッジ画像を作成する。ここでは、エッジ画像生成方式のＣａｎｎｙエッジ検出アルゴリズムを利用する。エッジ画像生成方式に特に制限は無いが、ノイズ成分もエッジとして検出しないよう、事前にローパスフィルタ処理を施してからエッジ検出を行うことが望ましい。このようにして、エッジを抽出した２値画像を生成する。このエッジ画像を図６（ｅ）に示す。
【００３１】
次に、ステップＳ３０２では、距離マップ補正回路１１２は、エッジが画像中にどのように分布しているかを算出し、人が注目しやすい領域（顕著性領域）を表す顕著性マップを算出する。人が注目しやすい領域は、主に、エッジが多く含まれる領域や文字や直線などの領域である。ステップＳ３０２では、具体的には、ステップＳ３０１で生成したエッジ画像において、式（２）に基づいて顕著性領域を検出して顕著性マップを生成する。
【数２】
2015035658.tif 000004
ここで、Ｓ（・）は顕著性マップ、Ｅ（・）はエッジ画像、Ｍはｍ×ｍ画素の領域、ｉ，ｊは、−ｍ／２≦ｉ，ｊ≦ｍ／２を表している。この顕著性マップＳを所定の閾値により２値画像に変換し、最終的な顕著性マップＳを生成する。ここで、式（２）の値が所定の閾値以上の領域が、顕著性領域である。すなわち、本実施例では、エッジ成分の強さが所定の閾値以上の領域を顕著性領域として求めている。
【００３２】
なお、微小なエッジ成分は、人はあまり知覚せず重要ではないので、この顕著性マップから削除する。削除する方法は、Ｍｏｒｐｈｏｒｏｇｙ処理や細線化処理などを採用可能
であり、その方法は特に制限はない。以上のようにして作成した顕著性マップを図６（ｆ）に示す。この図の通り、人が視覚的に知覚しやすい領域を顕著性マップに取得できていることがわかる。
【００３３】
次に、ステップＳ３０４において、距離マップ補正回路１１２は、ステップＳ２０２において生成された距離マップを、ステップＳ３０３において作成された顕著性マップを利用して補正する。この様子を図６（ｂ）、（ｄ）、（ｆ）、（ｇ）を用いて説明する。図６（ｂ）、（ｄ）がステップＳ２０２で取得した観賞用画像と距離マップである。図６（ｄ）の領域６０６が、信頼度が低い領域として、記憶されている。これに対して、図６（ｆ）が、図６（ｅ）のエッジ画像から作成した顕著性マップで、白い領域が、人が注目しやすい領域を表している。この顕著性領域中に、距離が求められていない領域や誤った距離が求められている領域があると、後段の画像処理の結果得られる画像は人が違和感を知覚しやすい。距離が求められていない領域や誤った距離が求められている領域は、距離算出の信頼度が低い領域（低信頼度領域）なので、距離マップ補正回路１１２は、図６（ｄ）の低信頼度領域６０６における距離の補正を行う。具体的には、距離マップ補正回路１１２は、低信頼度領域と顕著性マップの論理積を取り、残った領域（低信頼度かつ顕著性のある領域）の距離を周囲の距離マップから補正する。補正方法としては、補正対象の領域内の距離が滑らかに変化するように補正できる手法であれば任意の方法を採用可能である。例えば、補正対象の周囲の距離マップにおける距離から補間によって求めることができる。補間方法は、既存の任意の方法を採用可能である。以上のステップにより、図６（ｄ）の距離マップから図６（ｆ）のように滑らかで理想的な距離マップを得ることができる。なお、補正対象領域内の距離を単一の値にしても構わない。
【００３４】
次に、図２のステップＳ２０４では、ぼかし処理回路１１３が、ステップＳ２０２で取得された観賞用画像とステップＳ２０３で補正された距離マップを用いて、被写界深度を浅くしたぼけ付与画像を生成する。この処理の流れを図４のフローチャート及び図６の模式図を用いて説明する。
【００３５】
まず、ステップＳ４０１において、ぼかし処理回路１１３は、対象とする距離階層を表すｄを、最遠景を表すＮに設定する。これを、図６を用いて詳細に説明する。ステップＳ２０３で補正された距離マップ（図６（ｇ））を奥行き方向に分割する。この例では、図６（ａ）に示すように、奥行き方向にＡ、Ｂ、Ｃ、Ｄの４階層に分割する。また、各階層のカメラからの距離をｄａ、ｄｂ、ｄｃ、ｄｄとする。なお、分割数は４に限らず任意の数であってもよい。
【００３６】
次に、ステップＳ４０２において、ぼかし処理回路１１３は、距離階層ｄのぼけ量を決定する。具体的には、距離階層ｄにある領域のぼかし処理を行うフィルタサイズおよび係数を決定する。これは、距離階層ｄの距離に対して、事前に決定した表を参照することで実現される。図６の例の場合、図６（ｈ）〜（ｋ）に示す黒く塗りつぶした領域に対して、ぼかし処理を適用する。図６（ｈ）が、奥行き方向の領域Ｄを示し、図６（ｉ）が領域Ｃ、図６（ｊ）が領域Ｂ、図６（ｋ）が領域Ａにそれぞれ対応している。また、フィルタの係数は、円形形状やガウス型形状など、ぼかし処理結果として所望の形状が事前に設定されている。しかし、フィルタサイズおよび係数は、距離に対する所定の関係式を用いて算出するようにしてもよいし、その実現方法に関して制限は無い。
【００３７】
次にステップＳ４０３にて、ぼかし処理回路１１３は、距離階層ｄのぼかし処理を行う。具体的には、ステップＳ４０２で決定したフィルタを用い、式（３）に示すように積和演算を行う。
【数３】
2015035658.tif 000005
ただし、Ｇ（・）はぼかし処理後の画素値、Ｏ（・）は観賞用画像、ｈ（・）はフィルタの係数を表し、Ｍ、Ｎはフィルタの大きさを表している。また、フィルタ係数はΣｈ＝１となるよう正規化されているものとする。以上により、距離階層ｄに対応したローパス特性を有するフィルタ処理を実行する。
【００３８】
次に、ステップＳ４０４において、ぼかし処理回路１１３は、ぼかし処理を行った結果と先に処理を施した結果のと合成を行う。具体的には、式（４）に基づいて、距離階層ｄに対してぼかし処理を施した画像Ｍｄを、それ以前に取得したボケ付与画像と合成する。
【数４】
2015035658.tif 000006
【００３９】
次に、ステップＳ４０５に移り、現在処理をしている距離階層ｄが１より大きいか否かを判定し、大きい場合は、ステップＳ４０６に移り、ｄを１減算して、ステップＳ４０２から処理を再開する。ｄが１になったらぼけ付与画像の生成を終了し、ステップＳ２０５へ移る。
【００４０】
ステップＳ２０５では、生成したぼけ付与画像を画像出力部１１４に転送し、不図示の画像出力装置へ表示すると同時に、不図示の記録装置に所定の圧縮処理などを施して記録する。
【００４１】
以上の処理により、観賞用画像を解析して人が注目しやすい領域を検出し、距離マップにおいて、その領域を重点的に補正することが可能になる。その結果、後段のぼかし処理において、特に人が注目しやすい領域で違和感の無い画像を生成することが可能になる。
【００４２】
また、本実施例において、距離マップを用いたぼかし処理について説明したが、距離に応じてパラメータを変更することで画像の解像度を復元するための画像復元処理や超解像処理などについても、本方式は適用することが可能である。具体的には、図２０４のぼかし処理を画像復元処理や超解像処理に置きかえればよい。すなわち、図４のステップＳ４０２でぼけ量を決定し、そのぼけ量を補正する逆フィルタをステップＳ４０３で行うことで、画像復元処理や超解像処理を実行することが可能となる。
【００４３】
また、本実施例において、距離マップにおける距離をいくつかの距離階層に分割して、距離階層ごとに画像処理を施しているが、元々の距離値に基づいて画像処理を施しても構わない。
【００４４】
＜実施例２＞
本実施例は、距離マップ取得方式としてＤＦＤ方式を用いた撮像装置である。ここでも、距離マップを用いて観賞用画像に被写界深度を浅くする画像処理を適用する場合について説明するが、実施例１と同様、画像復元処理や超解像処理などにも適用可能である。
【００４５】
本実施形態の構成を図７に示す。図７における符号のうち、図１の構成図と同様のものは同じであるため、異なるものについてのみ説明する。
【００４６】
図７の距離マップ算出回路７０１は、ＤＦＤ方式で距離マップを算出する。距離マップ補正回路７０２は、距離マップ算出回路７０１で算出された距離マップを補正する回路である。
【００４７】
次に、本実施例の処理の流れを図８のフローチャートを用いて説明する。
【００４８】
ステップＳ８０１では、撮影者が撮影したいシーンに対して、ズームを行い、構図を決め、露出制御や焦点制御などが行われ撮影条件が決定される。
【００４９】
ステップＳ８０２では、不図示の撮影開始ボタンが押下されると、システム制御回路１０６が、被写体にフォーカスのあったフォーカス画像（観賞用画像）の撮影を開始する。具体的には、撮像素子１０２が光学系１００を介して結像された被写体光を光電変換し、被写体輝度に応じたアナログ信号を生成する。その後、撮像素子１０２で生成されたアナログ画像信号が画像形成回路１０３を介してデジタル画像化され、フレームメモリ１０９に記録される。
【００５０】
ステップＳ８０３では、システム制御回路１０６が、ステップＳ８０２で撮影したフォーカス画像と被写体のぼけ方が変わるように、フォーカス位置、開口絞り、焦点距離などの撮影条件のいずれか、あるいは複数の条件を変更して同様に撮影を行う。撮影条件は、同一被写体に対して異なるぼけの程度を得ることが出来ればどのように変更されてもよい。撮影された画像は、ステップＳ８０２と同様にフレームメモリ１０９に記録される。ステップ８０２で得られる画像は被写体からフォーカスがずれたデフォーカス画像である。なお、ステップＳ８０１の撮影と、ステップＳ８０２の撮影は、被写体の位置にずれが生じないよう短時間のうちに連続して行われるのが望ましい。
【００５１】
ステップＳ８０４では、距離マップ算出回路７０１が、フレームメモリ１０９に記憶されているフォーカス画像とデフォーカス画像とを用いて距離マップを算出する。まず、フォーカス画像とデフォーカス画像の撮影時のカメラぶれによる位置ずれを補正する。具体的には、２画像間の動きベクトルを算出し、上下左右方向の位置ずれを補正する。この補正方法に特に制限はなく、２画像の対応する画素の関係から、アフィン変換係数や射影変換係数などを推定して位置ずれを補正してもよく、その方法に特に制限はない。ここでは、デフォーカス画像に対して位置ずれを補正した画像を生成するものとする。次に、フォーカス画像と位置ずれを補正したデフォーカス画像から、距離マップを算出する。ここでは、距離マップをＤＦＤ方式で算出する。図１０を用いてＤＦＤ方式の原理を簡単に説明する。図１０において、対象物体Ｐまでの距離ｕは、対象物体Ｐが合焦する位置ｖが既知であれば、レンズの焦点距離ｆを用いて式（５）を用いて算出することができる。
【数５】
2015035658.tif 000007
【００５２】
ＤＦＤ方式においては、撮像面位置と対象物体Ｐの合焦位置とが異なることを前提として、撮像面上に投影された像のぼけの程度から合焦位置ｖを求め、これを式（５）に代入することで、対象物体Ｐまでの距離を算出する。撮像面ｓ１にある場合、距離ｕの物体表面上の点は撮像面上において錯乱円と呼ばれる円形に拡散し、式（６）に表される像ｉ１を形成する。
【数６】
2015035658.tif 000008
ここで、＊は畳み込み演算を示し、ｉ０は合焦している位置での像を表す。また、ｈ１はＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ，点拡がり関数）である。
【００５３】
点拡がり関数ｈ１は、撮像面と合焦位置との距離ｖ−ｓ１に比例する錯乱円の直径ｄ１に依存する。そこで、錯乱円直径をパラメータとするＰＳＦモデルを仮定し、像ｉ１から錯乱円直径ｄ１を推定する。ただし、式（６）からもわかるように、観測画像ｉ１は対象物体の像ｉ０に依存しているため、このままでは錯乱円直径ｄ１は求めることができない。そこで、異なる撮像面位置ｓ２における観測画像ｉ２を撮像し、画像の周波数領域における観測画像ｉ１と観測画像ｉ２との比を取ることにより、式（７）のように観測画像とＰＳＦの関係を導出できる。
【数７】
2015035658.tif 000009
ここで、Ｉ１、Ｉ２、Ｉ０、Ｈ１、Ｈ２はそれぞれ観測画像ｉ１、ｉ２、合焦画像ｉ０、ＰＳＦであるｈ１、ｈ２のフーリエ変換結果を表す。
【００５４】
この、ＰＳＦをフーリエ変換したものの比を、光学系パラメータから事前に算出して表を作成しておき、実際に算出したものから距離値を算出することができる。以上のようにすることで、ぼけ方の違いを手がかかりとして距離マップを取得することができる。
【００５５】
次に、ステップＳ８０５において、ステップＳ８０２で撮影したフォーカス画像（観賞用画像）とステップＳ８０４で算出した距離マップを用いて、浅い被写界深度を表現した画像を生成するためのぼかし処理を行う。この処理の内容を、図９の模式図と図１１のフローチャートを用いて説明する。
【００５６】
図９（ａ）には、撮影シーンを上から見た図を表している。９０１が撮影カメラで、被写体９０２〜９０６を撮影していることを示している。このシーンを奥行き方向にＡ〜Ｄの領域に分割し、各領域に対する距離ｄａ〜ｄｃを代表距離として、その距離に応じてぼかし処理を施すこととする。
【００５７】
まず、ステップＳ１１０１で、距離マップ補正回路７０２は、ステップＳ８０２で取得したフォーカス画像を用いて、顕著性マップを作成し、人が注目しやすい領域（顕著性領域）を表す顕著性マップを算出する。人が注目しやすい領域は、主に、文字や直線などの領域である。検出方法は実施例１で説明したとおりであるが、ここでは特に文字領域に着目する。図９（ｂ）がフォーカス画像を表しており、そこから文字領域に着目した顕著性マップ（図９（ｆ））が生成される。図９（ｆ）において、領域９１１が、顕著性の高い領域として抽出した領域である。
【００５８】
次に、ステップＳ１１０２において、距離マップ補正回路７０２は、顕著性マップを用いて、距離マップを補正する。まず、図９（ｃ）の連続的な距離マップを、実施例１と同様に、図９（ａ）に示すように４階層に分割する。この結果を図９（ｄ）に示す。領域９１０が図９（ａ）における距離階層Ａに相当し、領域９０９が距離階層Ｂ、領域９０８が
距離階層Ｃ、領域９０７が距離階層Ｄにそれぞれ相当する。次のステップでこの各領域に対して異なるぼけ量をつけていくことになる。次に、距離マップ補正回路７０２は、図９（ｄ）と図９（ｆ）とを比較し、１つの顕著性領域内に異なる距離が含まれていないかを確認する。その様子を図９（ｅ）に示す。図９（ｅ）の太線で囲まれた領域が顕著性マップ（図９（ｉ））の文字領域に相当する領域である。この領域には、距離階層ＢおよびＣの２つの距離階層が含まれている。そのため、補正しない距離マップに基づいてぼかし処理を施すと、文字領域内でぼかし処理のパラメータが変わるため、本来ない境界を人が知覚してしまう可能性がある。そこで、ぼかし処理回路１１３は、複数の距離階層を含む顕著性領域（文字領域）の距離を、いずれかの距離階層に置き換える。これにより、人が境界を知覚しなくなり、画質劣化を低減することが可能となる。置き換え時には、この領域内において支配的な距離の値に置き換えて統一すればよい。このようにすることで、その領域内が同一の特性を有するぼかし処理が行われることになり、視覚的な境界線が発生しなくなり、画質劣化を削減することが可能となる。なお、置き変える必要がある領域が、所定の閾値より大きい場合（例えば、画像の数％以上の大きさなど）や多数の奥行きが分布している場合は、置き替えないようにしてもよい。
【００５９】
なお、上記では、観賞用画像に１つの顕著性領域しかない含まない場合を例に説明した。しかしながら、観賞用画像に複数の顕著性領域が含まれる場合には、それぞれの顕著性領域に対して、上記の処理を行えばよい。
【００６０】
次に、ステップＳ１１０３において、ぼかし処理回路１１３は、対象とする距離階層を表すｄを、最遠景に設定する。本実施例では、Ｎ＝４となる。
【００６１】
次に、ステップＳ１１０４において、ぼかし処理回路１１３は、距離階層ｄのぼけ量を決定する。具体的には、距離階層ｄにある領域のぼかし処理のフィルタサイズおよび係数を決定する。また、フィルタの係数は円形形状やガウス型形状など、ぼかし処理結果として所望の形状が事前に設定されている。フィルタサイズや係数は、距離に対する関係式で算出してもよいし、その実現方法に関して、制限は無い。
【００６２】
次に、ステップＳ１１０５からステップＳ１１０８の処理内容は、第１実施例における図４のフローチャートＳ４０３からステップＳ４０５と同じであるため説明は省略する。
【００６３】
以上、説明したように、距離マップをぼかし処理を行うために奥行き方向に分割する際に、人が視覚的に着目しやすい領域が分割された場合においても、観賞用画像の解析結果を用いて距離マップを補正することで、画質劣化を低減できるという効果がある。また、本実施例において、距離マップを用いた画像処理として、ぼかし処理について説明したが、実施例１と同様に画像復元処理や超解像処理に適用することも可能である。
【００６４】
＜その他の実施例＞
上記実施例１および実施例２で説明した各要素技術は可能な限り組み合わせることが可能である。例えば、距離マップ取得方式として、実施例１ではステレオ方式、実施例２ではＤＦＤ方式を採用しているが、これらは各実施例に必須の構成ではない。いずれの実施例においても、ステレオ方式、ＤＦＤ方式、ＤＦＦ方式、ＴＯＦ方式など任意の方法によって距離マップを取得すればよい。また、顕著性領域として、実施例１ではエッジ領域、実施例２では文字領域を検出しているが、これらも各実施例において必須なわけではない。顕著性領域は、人が注目しやすい領域であれば、エッジ領域でも文字領域でも直線領域でも、またこれらの組合せでも構わない。
【００６５】
上記の実施例では、観賞用画像と距離マップを撮影する撮像装置を例に説明したが、本発明では観賞用画像と距離マップが取得可能であればその方法は任意であり、必ずしも撮
影により取得しなくてもよい。例えば、本発明の一実施例は、観賞用画像と距離マップとを、記憶媒体やネットワーク経由で取得し、取得された観賞用画像と距離マップとに上記で説明した処理を施す画像処理装置である。この画像処理装置は、実施例１，２に係る撮像装置から撮像系や画像形成回路、距離マップ算出回路を除き、データ読み取り装置やネットワークインタフェースを加えたものとして構成することができる。また、視差のある２画像や撮影条件の異なる２画像を記憶媒体やネットワーク経由で取得し、これら２画像に基づいて画像処理装置において距離マップを算出してもよい。この画像処理装置は、実施例１，２に係る撮像装置から撮像系や画像形成回路を除き、データ読み取り装置やネットワークインタフェースを加えたものとして構成することができる。
【００６６】
さらに、観賞用画像は必ずしも撮影によって取得されたものである必要もない。例えば、観賞用画像は３次元コンピュータグラフィックスにより生成された画像であってもよい。この場合、距離マップは仮想カメラから被写体までの距離を表すものである。
【００６７】
なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装と、ハードウェアにより実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＦＰＧＡ等）のメモリにプログラムを格納し、当該プログラムをコンピュータに実行させることで、本発明の目的を達成するための各処理を実現してもよい。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。また、本発明の全部または一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。
【符号の説明】
【００６８】
１      撮像装置
１０３  画像形成回路
１１１  距離マップ算出回路
１１２  距離マップ補正回路
１１３  ぼかし処理回路
【図１】
2015035658.tif 000010
【図２】
2015035658.tif 000011
【図３】
2015035658.tif 000012
【図４】
2015035658.tif 000013
【図５】
2015035658.tif 000014
【図６】
2015035658.tif 000015
【図７】
2015035658.tif 000016
【図８】
2015035658.tif 000017
【図９】
2015035658.tif 000018
【図１０】
2015035658.tif 000019
【図１１】
2015035658.tif 000020