(57)【要約】【課題】複数の画像データおよび画像データに関連する深度情報を取得して画像処理を行う場合に、深度情報に対する整形処理の精度を高めること。【解決手段】撮像装置１００は、撮像光学系１０４の第１の瞳部分領域を通過する光線群から対となる第１の画像データを取得し、第１の瞳部分領域とは大きさが異なる第２の瞳部分領域を通過する光線群から第２の画像データを取得する。画像処理部１０７内の距離マップ生成部４０１は、対となる第１の画像データから、各被写体の奥行き方向の深度に関する分布情報を、距離マップデータとして生成する。画像処理部１０７内の距離マップ整形部４０２は、第２の画像データ、または第２の画像データを取得したときのＦ値との差分が所定の範囲内である画像データを参照して距離マップを整形する。【選択図】図４
2018018358.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系の第１の瞳部分領域を通過する光線群から得られた対となる第１の画像データを取得する第１の取得手段と、
前記第１の瞳部分領域とは大きさが異なる前記撮像光学系の第２の瞳部分領域を通過する光線群から得られた第２の画像データを取得する第２の取得手段と、
前記対となる第１の画像データから画像内の被写体の奥行き方向の深さに対応する深度情報を生成する生成手段と、
前記第２の画像データ、または前記第２の画像データが取得されたときのＦ値との差分が予め定められた範囲内で撮像された画像のデータを用いて、前記深度情報を平滑化する整形処理を施す整形手段と、を有する
ことを特徴とする画像処理装置。
【請求項２】
撮像手段は、複数のマイクロレンズと、各マイクロレンズに対応する複数の光電変換部を有する撮像素子を備え、
前記第１の取得手段は、分割された第１の領域内の前記光電変換部および第２の領域内の前記光電変換部から視差を有する複数の画像データを取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対となる第１の画像データは、前記第１の領域内の前記光電変換部の出力を加算して取得される画像データおよび前記第２の領域内の前記光電変換部の出力を加算して取得される画像データである
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２の取得手段は、各マイクロレンズに対応する前記複数の光電変換部のうち、予め定められた位置の光電変換部から前記第２の画像データを取得する
ことを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記第２の取得手段は、前記対となる第１の画像データを取得したときとは異なる時刻および異なるＦ値で撮像された前記第２の画像データを取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記第１の取得手段は、異なるフォーカス位置にて前記対となる第１の画像データをそれぞれ取得し、
前記第２の取得手段は、前記第１の画像データが取得されたときとは異なる時刻および異なるＦ値で撮像された前記第２の画像データを取得する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記第１の瞳部分領域は前記第２の瞳部分領域よりも大きい
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
複数の撮像手段によりそれぞれ撮像された複数の画像データと、撮像された画像内の被写体の奥行き方向の深さに対応する深度情報を取得して画像処理を行う画像処理装置であって、
第１および第２の撮像手段によりそれぞれ撮像された複数の第１の画像データを取得する第１の取得手段と、
第３の撮像手段により撮像された第２の画像データを取得する第２の取得手段と、
前記複数の第１の画像データから前記深度情報を生成する生成手段と、
前記第２の画像データ、または前記第２の画像データが取得されたときのＦ値との差分が予め定められた範囲内の画像データを用いて、前記深度情報を平滑化する整形処理を施す整形手段と、を有する
ことを特徴とする画像処理装置。
【請求項９】
前記第１乃至第３の撮像手段はそれぞれ撮像光学系および撮像部を備え、
前記第３の撮像手段が備える撮像光学系の瞳領域は、前記第１および第２の撮像手段が備える撮像光学系の瞳領域よりも大きい
ことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記整形手段により前記整形処理が施された深度情報と、前記第２の画像データとを関連付けて記録する記録手段を有することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記整形手段は、前記深度情報の着目画素に対して当該着目画素とその周辺画素の信号値を平滑化することで整形後の信号値を生成する際、参照する画像において着目画素の画素値とその周辺画素の画素値が近いほど、当該周辺画素の平滑化の重みを大きくする
ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項１２】
請求項１乃至１１のいずれか１項に記載の画像処理装置と、
撮像手段を備えることを特徴とする撮像装置。
【請求項１３】
撮像光学系の第１の瞳部分領域を通過する光線群から得られた対となる第１の画像データを取得する第１の取得工程と、
前記第１の瞳部分領域とは大きさが異なる前記撮像光学系の第２の瞳部分領域を通過する光線群から得られた第２の画像データを取得する第２の取得工程と、
前記対となる第１の画像データから画像内の被写体の奥行き方向の深さに対応する深度情報を生成する生成工程と、
前記第２の画像データ、または前記第２の画像データが取得されたときのＦ値との差分が予め定められた範囲内で撮像された画像のデータを用いて、前記深度情報を平滑化する整形処理を施す整形工程と、を有する
ことを特徴とする画像処理装置の制御方法。
【請求項１４】
第１および第２の撮像手段によりそれぞれ撮像された複数の第１の画像データを取得する第１の取得工程と、
第３の撮像手段により撮像された第２の画像データを取得する第２の取得工程と、
前記複数の第１の画像データから画像内の被写体の奥行き方向の深さに対応する深度情報を生成する生成工程と、
前記第２の画像データ、または前記第２の画像データが取得されたときのＦ値との差分が予め定められた範囲内の画像データを用いて、前記深度情報を平滑化する整形処理を施す整形工程と、を有する
ことを特徴とする画像処理装置の制御方法。
【請求項１５】
請求項１３または請求項１４に記載の各工程をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の深度情報を取得して整形する画像処理技術に関する。
【背景技術】
【０００２】
被写体の奥行き情報を表す距離マップの整形処理では、距離マップにおける被写体輪郭を、撮像画像を用いて正しい輪郭に合わせる処理が行われる。特許文献１では、高解像度奥行き画像を生成する目的で、低解像度奥行き画像に対し測地的ジョイントアップサンプリングを実行する方法が開示されている。高解像度の光学画像における測地線距離に基づいて補間画素位置を算出することで、被写体境界の輪郭が正しく合った高解像度奥行き画像を生成することができる。また特許文献２には、測距用の左目画像と右目画像を加算した基本画像データにおける被写体の特徴を参照することで、被写体と対応するようにデフォーカス属性を補正する方法が開示されている。さらに整形後の距離マップを参照して距離に応じたボカシ処理やエッジ強調等の効果（以下、画像処理効果と称す）が撮像画像に施されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１５０５２１号公報
【特許文献２】特開２００８−１５７５４号公報
【特許文献３】特開２０１４−４４４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献２に開示された従来技術では、被写体の距離分布に関連する情報を取得したときに参照した画像と異なる撮像画像に対応する距離分布を生成することが考慮されていない。
上記課題に鑑み、本発明は、複数の画像データおよび画像データに関連する深度情報を取得して画像処理を行う場合に、深度情報に対する整形処理の精度を高める画像処理装置の提供を目的とする。
【課題を解決するための手段】
【０００５】
本発明の一実施形態の画像処理装置は、撮像光学系の第１の瞳部分領域を通過する光線群から得られた対となる第１の画像データを取得する第１の取得手段と、前記第１の瞳部分領域とは大きさが異なる前記撮像光学系の第２の瞳部分領域を通過する光線群から得られた第２の画像データを取得する第２の取得手段と、前記対となる第１の画像データから画像内の被写体の奥行き方向の深さに対応する深度情報を生成する生成手段と、前記第２の画像データ、または前記第２の画像データが取得されたときのＦ値との差分が予め定められた範囲内で撮像された画像のデータを用いて、前記深度情報を平滑化する整形処理を施す整形手段と、を有する。
【発明の効果】
【０００６】
本発明の画像処理装置によれば、複数の画像データおよび画像データに関連する深度情報を取得して画像処理を行う場合に、深度情報に対する整形処理の精度を高めることができる。
【図面の簡単な説明】
【０００７】
【図１】実施例１から３に係るデジタルカメラの機能構成を示すブロック図である。
【図２】実施例１に係るデジタルカメラの撮像部を説明する図である。
【図３】実施例１に係る分割画素の加算数と焦点深度との関係を説明する図である。
【図４】実施例１に係る画像処理部の機能構成を示すブロック図である。
【図５】実施例１の処理を説明するフローチャートである。
【図６】実施例１に係る視点画像を説明する図である。
【図７】実施例１に係る画像処理効果を施す対象画像の説明図である。
【図８】実施例１に係る距離マップの整形処理の説明図である。
【図９】比較例に係る距離マップの整形処理の説明図である。
【図１０】実施例２に係るデジタルカメラの撮像部の説明図である。
【図１１】実施例２および３に係る画像処理部の機能構成を示すブロック図である。
【図１２】実施例２の処理を説明するフローチャートである。
【図１３】実施例３の処理を説明するフローチャートである。
【図１４】実施例４に係るデジタルカメラの機能構成を示すブロック図である。
【図１５】実施例４に係る画像処理部の機能構成を示すブロック図である。
【図１６】実施例４の処理を説明するフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。実施形態の画像処理装置として、デジタルカメラ等の撮像装置への適用例を説明する。例えば、光線の強度情報および方向情報を取得可能なライトフィールドカメラの構成において、撮像部による視点画像から距離マップが取得される。さらに距離マップの取得時とは画像を構成する光線群が異なる大きさの瞳領域を通過する状態で取得された撮像画像における被写体像の輪郭に沿うように、距離マップを整形する処理が行われる。
【０００９】
［実施例１］
図１は、本実施例に係るデジタルカメラ１００の機能構成を示すブロック図である。システム制御部１０１はＣＰＵ（中央演算処理装置）を備える。ＣＰＵは、デジタルカメラ１００が備える各構成部の動作プログラムをＲＯＭ（Read Only Memory）１０２より読み出し、ＲＡＭ（Random Access Memory）１０３に展開して実行する。これによりシステム制御部１０１は、デジタルカメラ１００全体を制御する。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各構成部の動作プログラムに加え、各部の動作に必要なパラメータ等を記憶する。例えば焦点検出等で必要なレンズ情報として、射出瞳距離のデータがＲＯＭ１０２に記憶されている。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各構成部の動作において出力されたデータの一時的な記憶領域として用いられる。
【００１０】
撮像光学系１０４は、被写体からの光を撮像部１０５に結像させる。撮像部１０５は、ＣＣＤ（電荷結合素子）センサやＣＭＯＳ（相補型金属酸化膜半導体）センサ等の撮像素子を備える。撮像素子は撮像光学系１０４により結像された光学像を光電変換し、アナログ画像信号をＡ（アナログ）／Ｄ（デジタル）変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をＡ／Ｄ変換してデジタル画像データをＲＡＭ１０３に出力して記憶させる。
【００１１】
画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、縮小／拡大等の処理や、さらに距離マップの生成、距離マップの整形処理等の、各種画像処理を行う。
【００１２】
記録媒体１０８は着脱可能なメモリカード等であり、画像データや各種データが記録される。例えば、ＲＡＭ１０３から読み出された後、画像処理部１０７が処理した画像データや、Ａ／Ｄ変換部１０６がＡ／Ｄ変換を行った画像データ等は、記録画像データとして記録媒体１０８に記録される。バス１０９は、各構成部の間で信号の送受を行うために用いられる。
【００１３】
図２を参照して、図１の撮像部１０５について説明する。図２（Ａ）は撮像部１０５の画素配列を例示する。これはプレノプティク方式でライトフィールド情報を取得する撮像素子の画素配列である。図２（Ｂ）は画素部２００を拡大して示す模式図である。図２の紙面に垂直な方向（Ｚ方向）を光軸方向とし、Ｚ方向と直交する左右方向をＸ方向とし、Ｚ方向と直交する上下方向をＹ方向と定義する。プレノプティク方式では、図２（Ａ）のように撮像素子の前面にて、複数の光電変換部（以下、各部を分割画素ともいう）に対して１つの割合で並ぶマイクロレンズが二次元的に規則的に配列されている。よって、光の２次元強度分布だけではなく撮像素子に入射する光線の入射方向の情報を取得し、被写界空間の３次元的な情報を取得することが可能である。
【００１４】
図２（Ｂ）は、１つのマイクロレンズ２１０に対して、６行６列の分割画素を有する構成例を示す。この例では、行方向（Ｙ方向）の位置座標をＡからＦの記号で表現し、列方向（Ｘ方向）の位置座標を１から６の数字で表現している。例えば、左上隅の位置は「１Ａ」と表現され、右下隅の位置は「６Ｆ」と表現される。
【００１５】
各マイクロレンズ２１０の同一画素位置（第１の位置）の分割画素のみで構成された二次元画像は、他の同一画素位置（第２の位置）の分割画素のみで構成された二次元画像に対して視差を有する。例えば、１Ａの位置に対応する分割画素のみで構成された第１の画像と、２Ａの位置に対応する分割画素のみで構成された第２の画像とは視差を有する。６行６列の分割画素から、合計３６（視点数）の異なる画像（視点画像）を得ることができる。
【００１６】
次に図３を参照して、分割画素の加算と焦点深度との関係について説明する。図３（Ａ）、図３（Ｂ）、図３（Ｃ）は図２の画素部２００を示している。図中に太線で囲んで示す分割画素に対する加算処理が行われて、加算画像（合成画像）が生成されるものとする。図３（Ａ）は各マイクロレンズの下に存在する全ての分割画素を加算することにより、加算画像が生成される例を示す。図３（Ｂ）は、４つに区分された領域ごとに分割画素を加算することにより、加算画像が生成される例を示す。各領域は以下のとおりである。
・第１の領域（１Ａ、２Ａ、３Ａ、１Ｂ、２Ｂ、３Ｂ、１Ｃ、２Ｃ、３Ｃ）
・第２の領域（４Ａ、５Ａ、６Ａ、４Ｂ、５Ｂ、６Ｂ、４Ｃ、５Ｃ、６Ｃ）
・第３の領域（１Ｄ、２Ｄ、３Ｄ、１Ｅ、２Ｅ、３Ｅ、１Ｆ、２Ｆ、３Ｆ）
・第４の領域（４Ｄ、５Ｄ、６Ｄ、４Ｅ、５Ｅ、６Ｅ、４Ｆ、５Ｆ、６Ｆ）
第１から第４の領域を単位として、それぞれの領域内の分割画素を加算して加算画像を生成する処理が行われる。
【００１７】
図３（Ｃ）は分割画像の加算を行わない場合を示す。つまり、３６個の各分割画像のみで構成された個別の画像が生成される。
次に、図３（Ｄ）、図３（Ｅ）、図３（Ｆ）を参照して、焦点深度について説明する。図３（Ｄ）、図３（Ｅ）、図３（Ｆ）は、それぞれ図３（Ａ）、図３（Ｂ）、図３（Ｃ）に対応する図である。
【００１８】
図３（Ｄ）では、ひとつのマイクロレンズに対応する全ての分割画素の加算処理が行われる。この場合、分割されていない撮像光学系の瞳領域３００を光線群が通過することになる。許容錯乱円径をδと表記し、撮像光学系の絞り値をＦと表記すると、焦点深度は、±Ｆδとなる。分割画素の信号が全て加算されるので互いに視差を有する対の視点画像を得ることはできないが、明るくＳ／Ｎ（信号対ノイズ）比の高い画像を得ることができる。以下では全ての分割画素の信号を加算して得られる画像を、全開口画像と呼ぶこととする。ここで、許容錯乱円径δは、δ＝２・ΔＸ（ΔＸ：画素周期）、つまりナイキスト周波数「１／（２・ΔＸ）」の逆数で規定される。
【００１９】
図３（Ｅ）では、２×２に分割されて狭くなった分割瞳領域３０１を光線群が通過する。このため、実効絞り値は２Ｆとなって、全開口時よりも暗くなる。各視点画像の実効的な焦点深度は±２Ｆδであり、全開口画像よりも被写界深度の２倍深くなった視点画像を得ることができる。２×２の分割によって、合計４種類の視点画像が得られる。なお、図３（Ｅ）は便宜上、垂直方向に分割された瞳部分領域のみを図示している。
【００２０】
図３（Ｆ）では、６×６に分割されてさらに狭くなった分割瞳領域３０２を光線群が通過する。このため、実効絞り値は６Ｆとなって、各視点画像の実効的な焦点深度は±６Ｆδとなる。６×６の分割によって、合計３６種類の視点画像が得られる。なお、図３（Ｆ）は便宜上、垂直方向に分割された瞳部分領域のみを図示している。
【００２１】
このように分割画素の加算処理を行うことで、異なる大きさの瞳部分領域を通過した光線群から成る画像を生成可能である。分割された瞳部分領域が大きいほど被写界深度の浅い画像を得ることができ、瞳部分領域が小さいほど被写界深度の深い画像を得ることができる。
【００２２】
図４は図１の画像処理部１０７の具体的な構成例を示すブロック図である。画素加算部４００は、図３（Ａ）および（Ｂ）で説明した画素加算処理を行う。距離マップ生成部４０１は対の視点画像を取得し、被写体の距離分布に関連する距離マップの情報を生成する。距離マップ整形部４０２は、距離マップ生成部４０１が生成した距離マップの整形処理を行う。整形処理が施された距離マップ情報は、取得された対象画像の画像データと関連付けられてシステム制御部１０１が行う記録制御により記録媒体１０８へ記録される。エッジ強調部４０３は、整形後の距離マップを参照し、対象画像のエッジ強調処理を行う。
【００２３】
図５を参照して、各部が実行する処理について詳説する。図５は画像処理部１０７の処理内容を説明するためのフローチャートである。以下の処理は、システム制御部１０１のＣＰＵがメモリからプログラムを読み出して実行することにより実現される。
【００２４】
Ｓ５００にてユーザはデジタルカメラ１００で被写体を撮影し、分割画素の情報が取得される。あるいは、分割画素の情報が予め記録媒体１０８に記録されている場合に、記録媒体１０８から分割画素の情報を読み出す処理が行われる。
【００２５】
Ｓ５０１にて、距離マップを生成するための対の視点画像が生成される。画素加算部４００は、Ｓ５００で取得された分割画素の情報の加算処理を行い、対の視点画像を生成する。分割画素の加算については図３で説明した通りである。本実施例では図３（Ｂ）において、第１の領域（１Ａ、２Ａ、３Ａ、１Ｂ、２Ｂ、３Ｂ、１Ｃ、２Ｃ、３Ｃ）内の分割画素を加算した第１の加算画像が取得される。また第２の領域（４Ａ、５Ａ、６Ａ、４Ｂ、５Ｂ、６Ｂ、４Ｃ、５Ｃ、６Ｃ）内の分割画素を加算した第２の加算画像が取得される。第１および第２の加算画像から得られた対の視点画像の例を図６に示す。
【００２６】
図６（Ａ）の画像は第１の加算画像に相当し、合焦している人物６００と、それよりも背景側に人物６０１が存在するシーンを示す。背景側の人物６０１の画像にはボケが発生していて輪郭が不鮮明である。図６（Ｂ）の画像は第２の加算画像に相当し、図６（Ａ）の画像に対して視差を有する画像である。つまり図６（Ｂ）の人物６０２の画像は図６（Ａ）における人物６０１の画像に対して視差を有している。
【００２７】
図５のＳ５０２で距離マップ生成部４０１は、Ｓ５０１で取得された対の視点画像を用いて距離マップ（深度情報）を生成する。深度情報に関して、撮像画像内の各被写体の奥行き方向の深さ（深度）に対応する情報としてさまざまな実施形態がある。つまり、被写体の深さに対応するデータが示す情報（深さ情報）は、画像内における撮像装置から被写体までの被写体距離を直接的に表すか、または画像内の被写体の距離（被写体距離）や深さの相対関係を表す情報であればよい。例えば、撮像部１０５から取得される対をなす画像データ間の相関演算によって各領域の像ずれ量が算出され、像ずれ量の分布を表す像ずれマップが算出される。あるいはさらに像ずれ量がデフォーカス量に換算され、デフォーカス量の分布（撮像画像の２次元平面上の分布）を表すデフォーカスマップが生成される。このデフォーカス量を撮像光学系や撮像素子の条件に基づいて被写体距離に換算すると、被写体距離の分布を表す距離マップデータが得られる。像ずれマップデータ、デフォーカスマップデータ、あるいはデフォーカス量から変換される被写体距離の距離マップデータを取得可能である。本実施形態では、被写体の距離分布に関連する情報として着目画素位置におけるデフォーカス量を算出する処理例を説明する。対の視点画像からデフォーカス量を計算する方法は、下記のとおりである。
【００２８】
対をなす視点画像のうちの、第１の視点画像における信号列をＥ（１）〜Ｅ（ｍ）と表記し、第２の視点画像における信号列をＦ（１）〜Ｆ（ｍ）と表記する。ｍは画素位置に対応する自然数の変数を表わす。信号列Ｅ（１）〜Ｅ（ｍ）に対して、信号列Ｆ（１）〜Ｆ（ｍ）を相対的にずらしながら、下記式（１）により２つの信号列の間のずらし量（ｋと記す）における相関量（Ｃ（ｋ）と記す）の演算が行われる。
Ｃ（ｋ）＝Σ｜Ｅ（ｎ）―Ｆ（ｎ＋ｋ）｜  ・・・（１）
【００２９】
式（１）におけるΣ演算は、変数ｎについての総和として計算される。Σ演算においてｎ、ｎ＋ｋの取る範囲は１〜ｍの範囲に限定される。また、ずらし量ｋは整数値であり、一対のデータの検出ピッチを単位とした相対的シフト量である。２つの信号列の間のシフト減算が行われ、差分絶対値の総和が、ずらし量ｋの相関量Ｃ（ｋ）として算出される。
【００３０】
式（１）の演算結果については、一対の信号列の相関が高いシフト量において相関量Ｃ（ｋ）が最小になる。Ｃ（ｋ）の値が最小となるｋを、ｋｊと表記する。下記式（２）から式（４）に示す３点内挿法を用いて、連続的な相関量に対する最小値Ｃ（ｘ）を与えるシフト量ｘが算出される。
ｘ＝ｋｊ＋Ｄ／ＳＬＯＰ  ・・・（２）
Ｄ＝｛Ｃ（ｋｊ−１）−Ｃ（ｋｊ＋１）｝／２  ・・・（３）
ＳＬＯＰ＝ＭＡＸ｛Ｃ（ｋｊ＋１）−Ｃ（ｋｊ），Ｃ（ｋｊ−１）−Ｃ（ｋｊ）｝・・・（４）
【００３１】
式（２）で求めたシフト量ｘは実数値であり、これを用いてデフォーカス量（ＤＥＦと記す）を下記式（５）から算出することができる。
ＤＥＦ＝ＫＸ・ＰＹ・ｘ  ・・・（５）
式（５）において、ＰＹは検出ピッチを表わす。ＫＸは一対の瞳部分領域を通過する光束の重心の開き角の大きさによって決まる変換係数である。距離マップ生成部４０１は算出したデフォーカス量の空間的な分布を表わす距離マップのデータを出力する。
【００３２】
Ｓ５０３にて画像処理部１０７は、Ｓ５００で取得した分割画素情報から画像処理効果を施す対象画像を生成する。本実施例では図３（Ｃ）において、２Ｂの位置に対応する分割画素の情報のみで構成された画像を対象画像とする。図７に対象画像の例を示す。対象画像は、Ｓ５０１にて対の視点画像を生成したときよりも、小さい瞳部分領域を通過した光線群から生成される画像であるため、実効Ｆ値が大きく、被写界深度の深い画像である。そのため、背景側の人物７００の位置は被写界深度内となり、人物７００の画像の輪郭が鮮明である。
【００３３】
Ｓ５０４にて距離マップ整形部４０２は、Ｓ５０２で生成された距離マップを整形する。整形処理では、整形用画像を参照しながら距離マップにバイラテラルフィルタ処理が施される。バイラテラルフィルタ処理について、具体的には、着目画素位置ｐのフィルタ結果をＪｐと表記すると、下記式（６）で表される。
Ｊｐ＝（１／Ｋｐ）ΣＩ１ｑ・ｆ（｜ｐ−ｑ｜）・ｇ（｜Ｉ２ｐ−Ｉ２ｑ｜）  ・・・（６）
【００３４】
式（６）中の各記号の意味は以下のとおりである。
ｑ  ：周辺画素位置
Ω  ：着目画素位置ｐを中心とする積算対象領域
Σ  ：ｑ∈Ω範囲の積算
Ｉ１ｑ：周辺画素位置ｑにおける距離マップ画素値
ｆ（｜ｐ−ｑ｜）：着目画素位置ｐを中心とするガウシアン関数
Ｉ２ｐ  ：着目画素位置ｐでの整形用画像信号値
Ｉ２ｑ  ：周辺画素位置ｑでの整形用画像信号値
ｇ（｜Ｉ２ｐ−Ｉ２ｑ｜）：整形用画像信号値Ｉ２ｐを中心とするガウシアン関数
Ｋｐ  ：正規化係数であり、ｆ・ｇ重みの積算値。
【００３５】
着目画素位置ｐでの信号値Ｉ２ｐと周辺画素位置ｑでの信号値Ｉ２ｑとの差が小さい場合、つまり整形用画像において着目画素の画素値と周辺画素の画素値が近いと、その周辺画素のｆ・ｇ重み（平滑化の重み）は大きくなる。
【００３６】
本実施例では整形用画像として、Ｓ５０３で生成された画像処理効果を施す対象画像を用いることとする。以下、整形用画像にＳ５０１で生成した対の視点画像のいずれかを用いた場合と比較して、図８を参照して本実施例の有効性について説明する。
【００３７】
図８は、本実施例の整形処理の結果を説明するための図である。図８（Ａ−１）は、Ｓ５０３で生成された画像処理効果を施す対象画像８００の例を示す。図８（Ａ−１）および図８（Ｂ−１）では、紙面内において左右方向をＸ方向とし、右方向を＋Ｘ方向と定義する。また紙面内においてＸ方向に直交する上下方向をＹ方向とし、上方向を＋Ｙ方向と定義する。図８（Ａ−２）は、図８（Ａ−１）にて一点鎖線８０１に示す位置での断面における画素値プロファイル８０２を表している。横軸はＸ座標を表わし、縦軸は画素値を表わす。画素値プロファイル８０２の形状は、Ｘ座標の増加方向においてＸｓの位置で大きく変化（低下）するステップ形状である。
【００３８】
図８（Ｂ−１）は距離マップ８０３の例を示す。図８（Ｂ−２）は、図８（Ｂ−１）にて一点鎖線８０４で示す位置（図８（Ａ−１）に一点鎖線８０１で示す位置に対応する）での断面における信号値プロファイル８０５を実線で表わしている。横軸はＸ座標を表し、縦軸は距離の信号値を表す。距離の信号値については、カメラの位置から遠くにある背景の信号値が小さく（距離マップ８０３において黒色）、近い位置の被写体人物の信号値が大きい（距離マップ８０３において白色）ものとする。図８の例では、距離マップの人物輪郭が、正解である整形用画像の人物輪郭（点線）より外側にはみ出している。
【００３９】
図８（Ｂ−２）に示す信号値プロファイル８０５の形状は、Ｘ座標の増加方向においてＸｓよりも小さいＸａの位置で大きく変化（増加）するステップ形状である。式（６）における着目画素位置ｐを、黒点８０７、８０８、８０９、８１０にそれぞれ示す。式（６）のｇ値が大きい領域、つまり平滑化の範囲を線分８１１、８１２、８１３、８１４にそれぞれ示している。図８（Ａ−２）に示す整形用画像の画素値プロファイル８０２では人物の輪郭に対応する位置Ｘｓで信号値が急峻に変化している。このため、人物の輪郭近傍の着目画素位置を示す黒点８０８および８０９の位置では、平滑化の範囲がそれぞれ線分８１２および８１３で示すようになり、正解である整形用画像の人物輪郭に沿うようになる。その結果、式（６）に示すフィルタ結果Ｊｐの値をプロットすると点線で示すグラフ線８０６となる。グラフ線８０６の形状は、Ｘ座標の増加方向においてＸｓの位置で大きく変化（増加）するステップ形状である。つまり、距離マップ整形処理によって距離マップの人物の輪郭が正しい輪郭（整形用画像の人物輪郭）に合うことになる。
【００４０】
次に図９を参照して、整形用画像に対の視点画像のいずれかを用いた場合を比較例として説明する。図９（Ａ−１）および（Ａ−２）、（Ｂ−１）および（Ｂ−２）はそれぞれ、図８（Ａ−１）および（Ａ−２）、（Ｂ−１）および（Ｂ−２）に対応する図であるため、以下では相違点のみ説明する。
【００４１】
図９（Ａ−１）は、図５のＳ５０１で生成された対の視点画像のうちの１つの画像９００を示す。図９（Ａ−２）は、図９（Ａ−１）の一点鎖線９０１で示す位置の断面における画素値プロファイル９０２を表す。画像９００の奥側の人物画像には、ボケが生じているため輪郭が不鮮明である。このため、画素値プロファイル９０２にて画素値がなだらかに変化している（位置ＸｂからＸｃの範囲を参照）。比較のため、画像処理効果を施す対象画像の画素値プロファイル８０２を点線で示している。
【００４２】
図９（Ｂ−１）は、距離マップ９０３の例を示す。図９（Ｂ−２）は、図９（Ｂ−１）に一点鎖線９０４で示す位置（図９（Ａ−１）に一点鎖線９０１で示す位置に対応する）の断面における信号値プロファイル９０５を表わしている。黒点９０７、９０８、９０９、９１０は着目画素位置ｐをそれぞれ示す。線分９１１、９１２、９１３、９１４は、式（６）における平滑化の範囲をそれぞれ示す。整形用画像の画素値プロファイル９０２の画素値がなだらかに変化しているため、人物輪郭近傍の着目画素位置（黒点９０８および９０９参照）では平滑化の範囲がそれぞれ、線分９１２および９１３のように狭くなる。よってフィルタ結果Ｊｐをプロットすると、点線で示すグラフ線９０６のようになる。このグラフ線９０６を、画像処理効果を施す対象画像の画素値プロファイル８０２（図９（Ａ−２）参照）を比較すると、距離マップの人物輪郭が正しく合っていないことが分かる。そのため、距離マップを参照して画像処理効果を施しても正しい処理を行うことができない。
【００４３】
本実施例では、整形用画像に画像処理効果を施す対象画像を用いる例を説明した。画像処理効果を施す対象画像を取得する際のＦ値と視点画像を取得する際のＦ値との差分が所定の範囲内である条件が満たされる場合には、整形用画像に視点画像を用いることができる。
【００４４】
整形処理後、図５のＳ５０５でエッジ強調部４０３は、Ｓ５０４で生成された整形後の距離マップを参照し、Ｓ５０３で生成された対象画像に対して、距離情報に応じたエッジ強調処理を行う。例えば、撮像装置からの距離が近い被写体ほど、エッジの強度が強くなるように補正が行われる。距離マップにおける人物輪郭が撮像画像の人物輪郭に沿うように精度良く整形されているので、距離に応じて正しいエッジ強調処理を施した画像を得ることができる。
【００４５】
本実施例では、距離マップを生成するための視点画像を取得したときとは、異なる大きさの瞳部分領域を通過した光線群から得られる撮像画像に対して、距離に応じた画像処理効果を精度良く施すことができるように正しく距離マップを整形できる。
【００４６】
［実施例２］
次に本発明の実施例２を説明する。実施例１では分割画素の加算数を変更することで、距離マップを生成するための視点画像を取得したときとは、異なる大きさの瞳部分領域を通過した光線群から撮像画像が生成された。本実施例では、視点画像とは異なる時刻であって、異なるＦ値で撮像画像を取得する場合について説明する。本実施形態にて実施例１と同様の構成部については既に使用した符号を用いることで、それらの詳細な説明を省略し、主に相違点を説明する。このような説明の省略の仕方については後述の実施形態でも同じである。
【００４７】
図１にて、本実施例のデジタルカメラが実施例１の場合と異なる部分は、撮像部１００１および画像処理部１００２である。図１０（Ａ）は、撮像部１００１の画素配列を示す。撮像部１００１は画素部１１００が二次元的に規則的に配列された構造をもつ。図１０（Ｂ）はひとつの画素部１１００を拡大した模式図である。画素部１１００は、マイクロレンズ１１０１と、一対の光電変換部１１０２Ａ、１１０２Ｂから構成されている。本実施例では、瞳分割型撮像素子にて一対の光電変換部１１０２Ａ、１１０２Ｂによりそれぞれ取得される信号から、一対の視点画像が取得される。
【００４８】
図１１は、画像処理部１００２の具体的な構成例を示すブロック図である。図４との相違点は位置合わせ部１２００である。また、図１２は、画像処理部１００２の処理内容を説明するためのフローチャートである。
【００４９】
図１２のＳ１３００において、ユーザはデジタルカメラで被写体を撮像し、視点画像データが取得される。あるいは、視点画像データが予め記録媒体１０８に記録されている場合に、視点画像データを記録媒体１０８から読み出す処理が行われる。Ｓ１３０１にて距離マップ生成部４０１は、距離マップのデータを生成する。
【００５０】
Ｓ１３０２では、Ｓ１３００の処理とは異なる時刻および異なるＦ値で撮影された画像が、画像処理効果を施す対象画像として取得される。本実施例では視点画像を撮影したときよりも小絞りのＦ値で撮影した場合を説明する。この場合、被写体のボケ感が、実施例１の図７で説明した画像と同じ画像が得られたとする。撮像光学系１０４のＦ値を変更することで、異なる大きさの瞳部分領域を通過した光線群により対象画像を取得できる。
【００５１】
Ｓ１３０３で位置合わせ部１２００は、Ｓ１３００で取得された視点画像と、Ｓ１３０２で取得された対象画像との、位置ずれ量を算出する。位置ずれ量の算出方法としてはテンプレートマッチング処理等を用いる。位置合わせ部１２００は、距離マップを位置ずれ量分だけシフトさせることにより、画像処理効果を施す対象画像と位置が合うように調整する。本実施例は、距離マップを位置ずれ量分だけシフトさせる例である。画像処理効果を施す対象画像と距離マップとの間の相対的な位置ずれがキャンセルできればよいので、対象画像の方を位置ずれ量分だけシフトさせることにより、距離マップとの間で位置を合せてもよい。
【００５２】
Ｓ１３０４にて距離マップ整形部４０２は、整形用画像として画像処理効果を施す対象画像を用いて距離マップを整形する。対象画像の被写体の輪郭に沿った距離マップが得られる。なお、画像処理効果を施す対象画像を取得する際のＦ値と視点画像を取得する際のＦ値との差分が所定の範囲内であれば、整形用画像に視点画像を用いてもよい。Ｓ１３０５にてエッジ強調部４０３は、画像処理効果を施す対象画像に対して、整形後の距離マップを参照してエッジ強調処理を実行する。
【００５３】
本実施例によれば、距離マップを生成するための視点画像を取得したときとは、異なる撮影時刻、異なるＦ値で取得した撮像画像に対して、距離に応じた画像処理効果を精度良く画像に施すことができるように正しく距離マップを整形できる。
【００５４】
［実施例３］
次に本発明の実施例３を説明する。本実施例では、異なるフォーカス位置で取得した一対の画像から距離マップを生成し、さらに異なる時刻、異なるＦ値で撮像画像を取得する場合について説明する。
【００５５】
図１にて、本実施例のデジタルカメラが実施例１の場合と異なる部分は、撮像部１４０１および画像処理部１４０２である。撮像部１４０１は、ひとつのマイクロレンズに対して、ひとつの光電変換部で構成された画素が二次元的に規則的に配列されている。つまり、図２（Ｂ）にて画素が１つの場合（分割されていない場合）である。また図１１にて実施例２との相違点は距離マップ生成部１５００である。
【００５６】
図１３は画像処理部１４０２の処理内容を説明するためのフローチャートである。Ｓ１６００でシステム制御部１０１は、フォーカスレンズの駆動制御により、フォーカス位置の異なる一対の画像を取得する。あるいは、フォーカス位置の異なる一対の画像データが予め記録媒体１０８に記録されている場合に、当該画像データを記録媒体１０８から読み出す処理が行われる。
【００５７】
Ｓ１６０１で距離マップ生成部１５００は距離マップを生成する。フォーカス位置の異なる一対の画像から距離マップを生成する方法については、特許文献３に開示されているＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）法を適用する。ＤＦＤ法では、被写体に合焦しているフォーカス画像と、フォーカス画像とは被写体像の暈け方が異なるデフォーカス画像とを用いて距離情報が算出される。
【００５８】
Ｓ１６０２では、Ｓ１６００とは異なる時刻、異なるＦ値で画像処理効果を施す対象画像が取得される。本実施例では、フォーカス位置の異なる一対の画像を撮影したときよりも、開放側のＦ値で撮像された画像が取得される。撮像光学系１０４のＦ値を変更することで、異なる大きさの瞳部分領域を通過した光線群により対象画像を取得できる。
【００５９】
Ｓ１６０３で位置合わせ部１２００は、フォーカス位置の異なる一対の画像のうち一方の画像と、画像処理効果を施す対象画像との位置ずれ量を算出し、距離マップを位置ずれ量分だけシフトさせる処理を行う。Ｓ１６０４では、整形用画像に対象画像を用いて距離マップの整形処理が行われ、対象画像の被写体の輪郭に沿った距離マップが得られる。なお、画像処理効果を施す対象画像を取得する際のＦ値とフォーカス位置の異なる一対の画像を取得する際のＦ値との差分が所定の範囲内であれば、整形用画像として、フォーカス位置の異なる一対の画像を用いることができる。この際、フォーカス位置の異なる一対の画像のうちで、合焦している被写体像が画像処理効果を施す対象画像にて合焦している被写体像と同一である画像を、整形用画像として選択する処理が行われる。
【００６０】
Ｓ１６０５でエッジ強調部４０３は、画像処理効果を施す対象画像に対して、整形後の距離マップを参照してエッジ強調を施す。
【００６１】
本実施形態では、異なるフォーカス位置で取得した一対の画像から距離マップを生成する。一対の画像とは異なる時刻、異なるＦ値で取得した撮像画像に対して、距離に応じた画像処理効果を精度良く施すことができるように正しく距離マップを整形できる。
【００６２】
［実施例４］
次に本発明の実施例４を説明する。本実施例では複数の撮像光学系を有する撮像装置で取得した視点画像から距離マップを生成する。さらに視点画像を取得した撮像光学系とは異なる撮像光学系を介して取得した撮像画像内の被写体画像の輪郭に沿うように、距離マップが整形される。
【００６３】
図１４は、本実施例のデジタルカメラ１７００の機能構成を示すブロック図である。デジタルカメラ１７００は、それぞれ独立した撮像光学系１０４および撮像部１４０１を３組有する構成である。水平方向に並設した３組の撮像光学系および撮像部のうち、中央に位置する第１の組ＣＭ１は、プライマリカメラとして機能する。第１の組の両側にそれぞれ配置される第２の組ＣＭ２および第３の組ＣＭ３は、セカンダリカメラとして機能する。また、画像処理部１７０１の実行する処理内容が、実施例１から３と相違する。
【００６４】
図１５は、画像処理部１７０１の具体的な構成例を示すブロック図である。図４との相違点はモーフィング処理部１８００である。また、図１６は画像処理部１７０１の処理内容を説明するためのフローチャートである。
【００６５】
図１６のＳ１９００でシステム制御部１０１は、第２の組ＣＭ２および第３の組ＣＭ３の駆動制御により、視点画像データを取得する。あるいは、視点画像データが予め記録媒体１０８に記録されている場合に、当該画像データを記録媒体１０８から読み出す処理が行われる。Ｓ１９０１で距離マップ生成部４０１は、図５のＳ５０２と同様の方法を用いて、右視点画像から左視点画像に対して画像を相対的にずらし、左視点画像から右視点画像に対して画像を相対的にずらすことでデフォーカス量をそれぞれ算出する。これにより、各セカンダリカメラ（ＣＭ２，ＣＭ３）における距離マップが生成される。
【００６６】
Ｓ１９０２でシステム制御部１０１は、第１の組ＣＭ１の駆動制御により、画像処理効果を施す対象画像を取得する。つまりプライマリカメラにより取得される画像が対象画像である。本実施例ではセカンダリカメラで撮影したときよりも開放側のＦ値で撮影動作が行われるものとする。
【００６７】
Ｓ１９０３でモーフィング処理部１８００は、Ｓ１９０１で生成された各セカンダリカメラにおける距離マップに対しモーフィング処理を施すことによって、プライマリカメラにおける距離マップを生成する。モーフィング処理としては、二次元画像上の特徴点を抽出しそれぞれの二次元画像と関連付けて行う手段や、二次元画像上の物体を三次元モデルの集合とみなして推定する技術が広く知られている。これらのモーフィング処理は公知技術であるので、ここでは詳細を割愛する。
【００６８】
Ｓ１９０４で距離マップ整形部４０２は、整形用画像に画像処理効果を施す対象画像を用いてプライマリカメラにおける距離マップを整形する。これにより、プライマリカメラで取得した画像処理効果を施す対象画像内の被写体画像の輪郭に沿った距離マップを得ることができる。なお、プライマリカメラとセカンダリカメラの各撮影時のＦ値の差分が所定の範囲内であれば、セカンダリカメラによる画像にモーフィング処理を施した画像を、整形用画像として用いてもよい。Ｓ１９０５でエッジ強調部４０３は、画像処理効果を施す対象画像に対して、整形後の距離マップを参照してエッジ強調を施す。
【００６９】
本実施例では、撮像光学系および撮像部を有する複数の撮像手段を備え、第１および第２の撮像手段で取得した視点画像から距離マップが生成される。視点画像を取得した撮像手段とは異なる第３の撮像手段で取得した撮像画像に対して、距離に応じた画像処理効果を精度良く施すことができるように正しく距離マップを整形できる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００７０】
［その他の実施例］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００７１】
１００：デジタルカメラ
１０１：システム制御部
１０４：撮像光学系
１０５，１００１，１４０１：撮像部
１０７，１００２，１４０２：画像処理部
１０８：記録媒体
【図１】
2018018358.tif 000003
【図２】
2018018358.tif 000004
【図３】
2018018358.tif 000005
【図４】
2018018358.tif 000006
【図５】
2018018358.tif 000007
【図６】
2018018358.tif 000008
【図７】
2018018358.tif 000009
【図８】
2018018358.tif 000010
【図９】
2018018358.tif 000011
【図１０】
2018018358.tif 000012
【図１１】
2018018358.tif 000013
【図１２】
2018018358.tif 000014
【図１３】
2018018358.tif 000015
【図１４】
2018018358.tif 000016
【図１５】
2018018358.tif 000017
【図１６】
2018018358.tif 000018