(57)【要約】【課題】複数の撮像系を用いて取得された複数の画像を合成する際に該複数の撮像系のそれぞれのＰＳＦの重心位置が互いにずれていても、合成された被写体像の対称性が高い良好な合成画像を生成する。【解決手段】画像処理装置２０は、同一の被写体を撮像する複数の撮像系１００を用いて取得された複数の第１の画像に対して、複数の第１の画像間での被写体像の位置ずれを低減する補正処理を行い、補正処理が行われることで被写体像の位置ずれが低減された複数の第２の画像を合成して合成画像を生成する。補正処理は、複数の第１の画像に含まれる視差に応じた被写体像の位置ずれを低減する第１の補正処理と、複数の撮像系のそれぞれの点像分布関数の重心位置に関する情報を用いて、複数の撮像系の重心位置の相違に応じた被写体像の位置ずれを低減する第２の補正処理とを含む。【選択図】図８
2018098738.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体を撮像する複数の撮像系を用いて取得された複数の第１の画像のうち少なくとも１つの第１の画像に対して、前記複数の第１の画像間での被写体像の位置ずれを低減する補正処理を行う画像補正手段と、
前記補正処理が行われることで前記被写体像の位置ずれが低減された複数の第２の画像を合成して合成画像を生成する画像合成手段とを有し、
前記補正処理は、
前記複数の第１の画像に含まれる視差に応じた前記被写体像の位置ずれを低減する第１の補正処理と、
前記複数の撮像系のそれぞれの点像分布関数の重心位置に関する情報を用いて、前記複数の撮像系の前記重心位置の相違に応じた前記被写体像の位置ずれを低減する第２の補正処理とを含むことを特徴とする画像処理装置。
【請求項２】
前記画像補正手段は、
前記複数の第１の画像間における互いに対応する画像領域ごとの前記重心位置に関する情報を取得し、
前記対応する画像領域ごとに前記重心位置の相違に応じた前記第２の補正処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像補正手段は、
前記被写体の距離に関する情報を取得するとともに、該距離に応じた前記重心位置の相違に応じた前記第２の補正処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記画像補正手段は、前記複数の第１の画像を用いて前記距離を算出することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記重心位置に関する情報は、前記複数の撮像系のそれぞれにおける絞り中心光線の位置に対する前記重心位置のずれ量を示す情報であることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項６】
前記重心位置に関する情報は、前記複数の撮像系のそれぞれの前記重心位置間の差を示す情報であることを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
【請求項７】
前記画像補正手段は、前記複数の第１の画像に対して、該複数の第１の画像のそれぞれにおける被写体倍率を互いに同一にするための被写体倍率補正処理を行うことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記画像補正手段は、前記複数の第１の画像に対して、前記複数の撮像系の被写界深度の相違に応じたフィルタを用いて、前記複数の第１の画像間における前記被写界深度の相違による差を低減させるフィルタリング処理を行うことを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
前記画像補正手段は、前記複数の第２の画像のそれぞれにおける非合焦領域を検出し、検出した前記非合焦領域において前記第２の補正処理を行うことを特徴する請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
前記画像補正手段は、
ｐを前記複数の撮像系のそれぞれにおける撮像素子の画素ピッチとし、ＰＳＦ（ｘ，ｙ）を座標（ｘ，ｙ）における前記点像分布関数とし、ＨＰＲを前記点像分布関数の全光量の半分の光量を含む円の半径とし、以下の式における左辺の分母を前記点像分布関数の全光量の総和とし、分子を前記点像分布関数のうち半径ＨＰＲの前記円より内側の光量の総和とするとき、
【数１】
2018098738.tif 000009
前記半径ＨＰＲが、
【数２】
2018098738.tif 000010
なる条件を満足する画角領域に相当する画像領域を前記非合焦領域として検出することを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
前記複数の撮像系が、互いに異なる焦点距離を有することを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
【請求項１２】
被写体像を形成する光学系を一体または取り外し可能に有し、前記被写体像を撮像する撮像素子を含む撮像系と、
請求項１から１１のいずれか一項に記載の画像処理装置を有することを特徴とする画像処理装置とを有することを特徴とする撮像装置。
【請求項１３】
同一の被写体を撮像する複数の撮像系を用いて取得された複数の第１の画像のうち少なくとも１つの第１の画像に対して、前記複数の第１の画像間での被写体像の位置ずれを低減する補正処理を行うステップと、
前記補正処理が行われることで前記被写体像の位置ずれが低減された複数の第２の画像を合成して合成画像を生成するステップとを有し、
前記補正処理は、
前記複数の第１の画像に含まれる視差に応じた前記被写体像の位置ずれを低減する第１の補正処理と、
前記複数の撮像系のそれぞれの点像分布関数の重心位置に関する情報を用いて、前記複数の撮像系の前記重心位置の相違に応じた前記被写体像の位置ずれを低減する第２の補正処理とを含むことを特徴とする画像処理方法。
【請求項１４】
コンピュータに、
同一の被写体を撮像する複数の撮像系を用いて取得された複数の第１の画像のうち少なくとも１つの第１の画像に対して、前記複数の第１の画像間での被写体像の位置ずれを低減する補正処理を行わせ、
前記補正処理が行われることで前記被写体像の位置ずれが低減された複数の第２の画像を合成して合成画像を生成させるコンピュータプログラムであって、
前記補正処理は、
前記複数の第１の画像に含まれる視差に応じた前記被写体像の位置ずれを低減する第１の補正処理と、
前記複数の撮像系のそれぞれの点像分布関数の重心位置に関する情報を用いて、前記複数の撮像系の前記重心位置の相違に応じた前記被写体像の位置ずれを低減する第２の補正処理とを含むことを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮像系により撮像を行うことで取得された複数の画像を合成する技術に関する。
【背景技術】
【０００２】
複数の撮像系により被写体を撮像することで複数の画像を生成することが可能な撮像装置がある。例えば、特許文献１には、焦点距離が互いに異なる単焦点撮像系を複数有する撮像装置が開示されている。この撮像装置では、互いに画角が異なる合焦画像を同時に生成し、広角画像の一部をトリミングして拡大した画像と縮小した望遠画像とを合成することにより複数の撮像系の画角を補間する中間画角画像を生成する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−０１０４０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ただし、このような複数の撮像系には、非合焦物点に対する点像分布関数（Point Spread Function：ＰＳＦ）の重心位置と該非合焦物点から発して絞りの中心を通る光線（以下、絞り中心光線という）の位置とが像面上で一致しない撮像系が含まれることが多い。複数の撮像系の入射瞳面が同一平面上に位置する場合には、撮像により取得された複数の画像のそれぞれに対して視差や被写体倍率の補正を行うことで、同じ非合焦物点からの絞り中心光線の像面上での位置が互いに同じである複数の画像を生成することができる。しかしながら、前述した理由により、補正を行った複数の画像における被写体像の重心位置が一致しないことが多い。
【０００５】
このため、特許文献１にて開示されている撮像装置において、拡大画像と縮小画像とを合成する際に、被写体像がそれらの重心位置の差の分だけずれて合成され、合成画像において対称性が低い又は互いに分離した被写体像が形成される。
【０００６】
本発明は、複数の撮像系を用いて取得された複数の画像を合成する際に該複数の撮像系のそれぞれのＰＳＦの重心位置が互いにずれていても、合成された被写体像の対称性が高い良好な合成画像を生成できるようにした画像処理装置等を提供する。
【課題を解決するための手段】
【０００７】
本発明の一側面としての画像処理装置は、同一の被写体を撮像する複数の撮像系を用いて取得された複数の第１の画像のうち少なくとも１つの第１の画像に対して、複数の第１の画像間での被写体像の位置ずれを低減する補正処理を行う画像補正手段と、補正処理が行われることで被写体像の位置ずれが低減された複数の第２の画像を合成して合成画像を生成する画像合成手段とを有する。そして、補正処理は、複数の第１の画像に含まれる視差に応じた被写体像の位置ずれを低減する第１の補正処理と、複数の撮像系のそれぞれの点像分布関数の重心位置に関する情報を用いて、複数の撮像系の重心位置の相違に応じた被写体像の位置ずれを低減する第２の補正処理とを含むことを特徴とする。
【０００８】
なお、上記画像処理装置を含む撮像装置も、本発明の他の一側面を構成する。
【０００９】
また、本発明の他の一側面としての画像処理方法は、同一の被写体を撮像する複数の撮像系を用いて取得された複数の第１の画像のうち少なくとも１つの第１の画像に対して、複数の第１の画像間での被写体像の位置ずれを低減する補正処理を行うステップと、補正処理が行われることで被写体像の位置ずれが低減された複数の第２の画像を合成して合成画像を生成するステップとを有する。そして、補正処理は、複数の第１の画像に含まれる視差に応じた被写体像の位置ずれを低減する第１の補正処理と、複数の撮像系のそれぞれの点像分布関数の重心位置に関する情報を用いて、複数の撮像系の重心位置の相違に応じた被写体像の位置ずれを低減する第２の補正処理とを含むことを特徴とする。
【００１０】
なお、コンピュータに上記画像処理方法に従う画像処理を実行させるコンピュータプログラムとしての画像処理プログラムも、本発明の他の一側面を構成する。
【発明の効果】
【００１１】
本発明によれば、複数の撮像系を用いて取得された複数の画像を合成する際に該複数の撮像系のそれぞれのＰＳＦの重心位置が互いにずれていても、合成された被写体像の対称性が高い良好な合成画像を生成することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施例１であるステレオ撮像装置が行う画像処理を示すフローチャート。
【図２】視差を説明する図。
【図３】被写体倍率の相違を説明する図。
【図４】口径食の影響によるスポット重心の変化を説明する図。
【図５】口径食によるスポット重心の相違とその補正処理を説明する図。
【図６】視差によるスポット重心の相違とその補正処理を説明する図。
【図７】被写界深度の相違およびその調整処理を説明する図。
【図８】実施例１のステレオ撮像装置の構成を示すブロック図。
【図９】本発明の実施例２である複眼撮像装置の構成を示すブロック図。
【図１０】実施例２における撮像ユニットの斜視図および正面図。
【図１１】実施例２の複眼撮像装置が行う画像処理を示すフローチャート。
【図１２】本発明の実施例３である画像処理システムの構成を示すブロック図。
【発明を実施するための形態】
【００１３】
以下、本発明の実施例について図面を参照しながら説明する。
【００１４】
後述する各実施例では、複数の撮像系により同一の被写体を撮像することにより取得された複数の画像に対して被写体像の位置ずれを補正し、該位置ずれが補正された複数の画像を合成する。ここでは、まず複数の撮像系を用いて取得した複数の画像における被写体像の位置ずれの原因である視差、被写体倍率の相違およびスポット重心の相違について順に説明する。
【００１５】
図２を用いて視差について説明する。ここでは被写体倍率の相違およびスポット重心の相違はないものとする。図２は撮像系ＣＬおよび撮像系ＣＲを用いて撮影シーンのうちの１点に存在する同一の被写体Ａを撮像する様子を示す。撮像系ＣＬおよび撮像系ＣＲの焦点距離等の光学特性は全て同一である。図２において、それぞれの撮像系における撮像光学系の主点、絞りおよび瞳が同一平面上にあり、入射瞳面が（−Ｄ／２，０）、（Ｄ／２，０）に位置し、被写体Ａは（ｚ，ｘ）に位置する。また、２つの撮像系（撮像光学系）ＣＬ，ＣＲの焦点距離をｆとする。撮像系ＣＬ，ＣＲ中のＩＳは撮像素子（以下、単にセンサともいう）を示す。また、物点から発して絞りの中心を通る光線を、絞り中心光線という。
【００１６】
２つの撮像系で被写体（物点）Ａを撮像したとき、撮像系ＣＬおよび撮像系ＣＲにおける被写体Ａからの絞り中心光線のセンサＩＳの中心からのずれｚｌ，ｚｒはそれぞれ、式（１）および式（２）により与えられる。
【００１７】
【数１】
2018098738.tif 000003
【００１８】
【数２】
2018098738.tif 000004
【００１９】
以下の説明において、ｚｒ−ｚｌを視差という。視差ｚｒ−ｚｌは、撮像系ＣＲ、ＣＬのそれぞれを用いて取得される２つの入力画像（第１の画像）ＩＭＧＲ，ＩＭＧＬにおける同一被写体からの絞り中心光線の位置（座標）の差に相当する。この視差が存在するため、入力画像ＩＭＧＲ、ＩＭＧＬを単純に重ね合わせて（加算して）合成画像を生成すると、該視差の分だけずれた被写体像が２重に存在する画像となる。
【００２０】
式（１），（２）から分かるように、視差の量は被写体距離ｘに反比例する。２つの入力画像ＩＭＧＲ，ＩＭＧＬのうち少なくとも一方に対して、その画像領域ごとに被写体距離ｘに応じた視差を補正するシフト補正を行うことで、同一被写体からの絞り中心光線が同一の座標に存在する２つの補正画像（第２の画像）を生成することができる。ここで、シフト補正とは、画像中の一部の画像領域内の画素値で他の画像領域内の画素値を置き換える処理であり、このとき画像領域内の画素値の構造（配置）は変化させない。つまり、シフト補正は、画像上で被写体像（画像領域）をそのまま移動させる処理に相当する。
【００２１】
また、公知のブロックマッチング法により入力画像ＩＭＧＲ，ＩＭＧＬ上の同一被写体像を探索することで視差を算出し、該視差を補正するシフト補正を行うことで、同一被写体からの絞り中心光線が同一の座標に存在する２つの補正画像を生成することができる。また、このとき被写体像（画像領域）ごとに算出された視差から、式（３）を用いて被写体の距離を算出することができる。
【００２２】
【数３】
2018098738.tif 000005
【００２３】
このように、視差を補正するシフト補正を行うことで、同一被写体からの絞り中心光線が同一の座標に存在する複数の補正画像を用意することができ、これら補正画像を加算することで、視差の影響が低減された合成画像を生成することができる。このシフト補正を行う処理を、以下の説明では視差補正処理（第１の補正処理）という。また、複数の補正画像は同一の視点からの撮像により取得された画像と見なせる。
【００２４】
次に、被写体倍率の相違について図３を用いて説明する。ここでは視差およびスポット重心の相違はないものとする。図３におけるＩＭＧｗとＩＭＧｔはそれぞれ、同一の被写体を撮像する第１の撮像系と第２の撮像系を用いて取得された入力画像である。第１の撮像系の焦点距離をｆ１とし、第２の撮像系の焦点距離をｆ２とすると、ｆ２はｆ１よりも大きい。つまり、第１および第２の撮像系のそれぞれから被写体までの距離が同じである場合には、入力画像ＩＭＧｗ，ＩＭＧｔは互いに被写体倍率が異なる画像である。これらの入力画像ＩＭＧｗ，ＩＭＧｔを単純に加算して合成画像を生成すると、これらの被写体倍率の相違の分だけ大きさが異なる被写体像が２重に存在する画像となる。ＩＭＧｔＲは入力画像ＩＭＧｔを縮小した画像である。縮小画像ＩＭＧｔＲ内の黒領域は、第２の撮像系の画角外であるため、情報が取得できていない領域であり、この黒領域の画素値を０とする。また、画像の縮小処理の際には公知の画素補間技術を用いる。これは例えばバイリニア補間である。
【００２５】
縮小画像ＩＭＧｔＲは、入力画像ＩＭＧｔを被写体像がｆ１／ｆ２倍の大きさになるように縮小した画像であり、該縮小画像ＩＭＧｔＲ内の被写体像の大きさは入力画像ＩＭＧｗ内の被写体像の大きさと同じである。また、入力画像ＩＭＧｗにおける領域ＲＥＧｔは、第２の撮像系の画角領域に相当する画像領域であり、該画像領域ＲＥＧｔ内においては、入力画像ＩＭＧｗと縮小画像ＩＭＧｔＲのそれぞれにおいて同一の被写体が同一の大きさで同一の座標に存在する。
【００２６】
このように被写体倍率の相違を補正することで、同一の被写体がそれぞれ同一の大きさで同一の座標に位置する複数の補正画像を用意することができる。そして、これら補正画像を加算することで、被写体倍率の相違の影響が低減された合成画像を生成することができる。被写体倍率の相違を補正する処理を、以下の説明では被写体倍率補正処理という。また、複数の補正画像はいずれも同一の焦点距離の撮像系で取得した画像と見なせる。
【００２７】
このように複数の撮像系を用いて取得された複数の入力画像に対して視差補正処理および被写体倍率補正処理を行うことで、同一被写体からの絞り中心光線が同一座標に位置する複数の補正画像を生成することができる。しかし、これら複数の撮像系には、次に説明するスポット重心の相違が存在する。このため、上記複数の補正画像においては、該スポット重心の相違に起因する被写体像の重心位置の相違が存在する。
【００２８】
スポット重心の相違について図４（ａ）〜（ｃ）を用いて説明する。ここでは、視差および被写体倍率の相違の影響はないものとする。
【００２９】
図４（ａ）は口径食を考えない場合に、合焦物体ＯＢＪ１および非合焦物体ＯＢＪ２から放射された光が像面ＩＰに入射する様子を示す。
【００３０】
なお、図４（ａ）における撮像光学系Ｌは、収差および回折が発生せず、合焦面上の１点が像面において１点に結像する理想的な結像光学系である。また、図４（ａ）では撮像光学系Ｌを簡略化し単一のレンズとして表しているが、実際には撮像光学系Ｌは複数のレンズ等の光学素子の組み合わせで構成されている。これらのことは後に説明する図４（ｃ）でも同じである。
【００３１】
合焦物体ＯＢＪ１は、撮像光学系Ｌの合焦面に位置する被写体であり、合焦物体ＯＢＪ１から放射される光は像面ＩＰにおいて１点に結像する。一方、非合焦物体ＯＢＪ２は撮像光学系Ｌの合焦面とは異なる平面上に位置する被写体である。非合焦物体ＯＢＪ２から放射される光は像面ＩＰにおいて１点に結像しない。
図４（ｂ）は、非合焦物体ＯＢＪ２から放射される光の像面ＩＰにおける広がり（以下、スポットという）ＳＰを示す。ここで非合焦物体ＯＢＪ２は大きさを持たない点物体であり、スポットＳＰは非合焦物体ＯＢＪ２に相当する像高および被写体距離における撮像光学系Ｌの点像分布関数（ＰＳＦ）に相当する。口径食を考えない場合には、非合焦物体ＯＢＪ２から放射される絞り中心光線ＰＲの像面ＩＰ上での座標（像高Ｈ）とスポットＳＰの重心ＧＣの座標（重心位置）とは互いに一致する。以下の説明においては、スポットＳＰの重心ＧＣを、スポット重心ＧＣという。
【００３２】
図４（ｃ）は撮像光学系Ｌにおいて口径食が発生する場合に合焦物体ＯＢＪ１および非合焦物体ＯＢＪ２から放射された光が像面ＩＰに入射する様子を示す。撮像光学系Ｌでは、いずれかの光学素子に含まれる遮蔽物Ｂにより光束の一部が遮蔽されて口径食が発生している。図４（ｄ）は非合焦物体ＯＢＪ２から放射される光の像面ＩＰにおけるスポットＳＰとスポット重心ＧＣとを示す。口径食があると、非合焦物体ＯＢＪ２から放射された絞り中心光線ＰＲの像面ＩＰ上での座標（像高Ｈ）とスポット重心ＧＣの座標とは互いに一致しない。
【００３３】
図５（ａ）および図５（ｂ）は、光学特性が互いに異なる２つの撮像系の撮像光学系が同一の非合焦物体からの光に形成させるスポットＳＰ１，ＳＰ２の例を示している。これら２つの撮像光学系では互いに異なる口径食が発生している。該２つの撮像光学系の焦点距離は同一であり、かつ該２つの撮像光学系が同一位置にある配置されているものとする。つまり、視差および被写体倍率の相違はないものとする。
【００３４】
これら２つの撮像光学系を用いて取得した画像をそのまま合成（加算）する際には、それぞれの画像における絞り中心光線ＰＲの座標が一致するように合成される。この場合、合成画像における被写体像は、図５（ｃ）に示すように非対称性の高い形状になる。図５（ｃ）における黒領域は、それぞれの撮像光学系が形成するスポットＳＰ１，ＳＰ２が重なる領域ＳＰ１＋ＳＰ２であり、白領域はスポットＳＰ１，ＳＰ２が重ならない領域である。このため、黒領域は、白領域よりも大きな画素値を有する。このように、複数の撮像系を用いて取得された画像を単純に合成すると、非対称性の高い被写体像が含まれる合成画像が生成される。
【００３５】
図５（ｄ）は、互いに光学特性が異なる２つの撮像系で取得された２つの画像のうち少なくとも一方に対して図５（ａ），（ｂ）のスポット重心ＧＣの座標を互いに一致させるシフト補正を行って得られた補正画像を合成したときの合成画像での被写体像を示す。図５（ｄ）でも、黒領域はスポットＳＰ１，ＳＰ２が重なる領域ＳＰ１＋ＳＰ２であり、白領域はスポットＳＰ１，ＳＰ２が重ならない領域である。このように、複数の撮像系を用いて取得された複数の画像間でのスポット重心ＧＣの（座標の）相違分のシフト補正を予め行うことで、合成画像において対称性の高い良好（自然）な被写体像を形成することができる。このシフト補正を行う処理を、以下の説明ではスポット重心補正処理（第２の補正処理）という。
【００３６】
図５（ａ）〜（ｄ）では光学特性が互いに異なる撮像系を用いて取得された複数の画像におけるスポット重心の相違について説明した。これに対して、互いに光学特性が同一である複数の撮像系を用いて取得された複数の画像においても、視差の影響によってスポット重心の相違が発生する。
【００３７】
図６（ａ）および図６（ｂ）はそれぞれ、光学特性が同一である２つの撮像光学系が同一の非合焦物体からの光に形成させるスポットＳＰ３，ＳＰ４を示している。２つの撮像光学系の光学特性は同一であるため、それぞれの画像の同一座標では同一の口径食の影響を受ける。しかし、これら２つの撮像光学系は互いに異なる位置に配置されている。つまり、視点が異なるため、視差の影響によって、同一被写体からの光がそれぞれの画像のうち互いに異なる座標に導かれる。このため、図６（ａ）および図６（ｂ）に示すようにそれぞれの絞り中心光線ＰＲの座標とスポット重心ＧＣの座標との相対位置関係が異なる。
【００３８】
これらの画像のうち少なくとも一方に対して上述した視差補正を行うことで絞り中心光線ＰＲの座標を両画像にて同一とすることができるが、スポット重心ＧＣは同一座標にはならない。視差補正を行った複数の画像をそのまま合成すると、合成画像における被写体像は図６（ｃ）に示すように非対称性の高い形状になる。
【００３９】
これに対して、図６（ｄ）は、視差補正後の複数の画像のうち少なくとも一方に対して、図６（ａ），（ｂ）に示したスポット重心ＧＣが互いに一致するようにスポット重心補正を行って得られた補正画像を合成したときの合成画像での被写体像を示す。図６（ｄ）の黒領域はスポットＳＰ３，ＳＰ４が重なる領域ＳＰ３＋ＳＰ４であり、白領域はスポットＳＰ３，ＳＰ４が重ならない領域である。このように、互いに光学特性が同一である複数の撮像系を用いて取得された複数の画像に対してもスポット重心補正を行うことで、合成画像において対称性の高い良好な被写体像を形成することができる。
【００４０】
次に、被写界深度が互いに異なる２つ撮像系を用いて取得された２つの画像を合成する場合について図７（ａ）〜（ｄ）を用いて説明する。図７（ａ）は、第１の撮像系を用いて取得された画像（以下、第１の撮像系画像という）におけるスポットＳＰ１と、第２の撮像系を用いて取得された画像（以下、第２の撮像系画像という）におけるスポットＳＰ２とを示している。スポットＳＰ１，ＳＰ２はいずれも同一の非合焦点物体を被写体とするときの被写体像であり、それぞれを生成した撮像系の被写界深度が異なるため、スポットの広がりも異なっている。
【００４１】
図７（ｂ）は、スポットＳＰ１，ＳＰ２の画素値分布と、第１の撮像系画像と第２の撮像系画像とを合成（加算）して得られた合成画像における合成スポット（ＳＰ１＋ＳＰ２）ＳＰ３の画素値分布とを示している。この図では、絞り中心光線ＰＲを含む断面での画素値分布を示している。縦軸は画素値を、横軸は画像内での一次元方向での座標を示す。点線はスポットＳＰ１の画素値分布を、破線はスポットＳＰ２の画素値分布を、一点鎖線は合成スポットＳＰ３の画素値分布をそれぞれ示している。
【００４２】
合成スポットＳＰ３を参照すると分かるように、被写界深度が互いに異なる２つの撮像系により生成した２つの画像を合成すると、１点の被写体に対する合成画像上の被写体像内で画素値が急激に変動する。しかし、一般的なカメラレンズを用いて非合焦物体を撮像した場合にはこのようなスポットが形成されることは稀であるため、合成画像として好ましくない。
【００４３】
実施例では、被写界深度が互いに異なる２つの撮像系を用いて取得された２つの画像を合成する際に、被写界深度がより深い（つまりはスポットの広がりがより小さい）画像に対してぼかし処理を行って、該２つの画像間の被写界深度の差を低減する。具体的には、被写界深度がより深い画像に対してぼかし処理を行うことで、両画像間でのスポットの広がり方の差を低減する。
【００４４】
図７（ｃ）は、第１の撮像系画像に対してぼかし処理を行うことで得られたぼかし画像におけるスポットＳＰ１ｂと、第２の撮像系画像におけるスポットＳＰ２とを示している。図７（ｄ）は、スポットＳＰ１ｂ，ＳＰ２の画素値分布と、ぼかし処理を行った第１の撮像系画像と第２の撮像系画像とを合成して得られた合成画像における合成スポット（ＳＰ１ｂ＋ＳＰ２）ＳＰ３ｂの画素値分布を示している。この図でも、絞り中心光線ＰＲを含む断面での画素値分布を示している。縦軸は画素値を、横軸は画像内での一次元方向での座標を示す。点線はスポットＳＰ１ｂの画素値分布を、破線はスポットＳＰ２の画素値分布を、一点鎖線は合成スポットＳＰ３ｂの画素値分布をそれぞれ示す。
【００４５】
合成スポットＳＰ３ｂを参照すると分かるように、予め被写界深度のより深い第１の撮像系画像に対してぼかし処理を行って第２の撮像系画像と合成することで、１点の被写体に対する合成画像上の被写体像内での画素値の急激な変動を低減することができる。
ぼかし処理は、ぼかしフィルタを被写界深度のより深い画像に対してコンボリューションすることで行う。ぼかしフィルタは、第１の撮像系画像におけるスポットＳＰ１の広がりと第２の撮像系画像におけるスポットＳＰ２の広がりとの相違が低減されるようなフィルタである。ぼかしフィルタは、例えば、式（４）により算出される。
【００４６】
【数４】
2018098738.tif 000006
【００４７】
ここで、ＹおよびＺはぼかしフィルタ上の座標であり、（ｃｙ，ｃｚ）はフィルタ中心の座標である。また、σは被写界深度を調整するための係数であり、スポットＳＰ１，ＳＰ２の広がりの相違に応じて決定される。
【００４８】
このように、被写界深度がより深い画像に対してぼかし処理（フィルタリング処理）を行うことで、被写界深度が互いに異なる複数の画像におけるスポットの広がりの相違を低減することができる。ただし、被写界深度がより浅い画像に対して鮮鋭化処理を行うことでスポットの広がりの相違を低減してもよい。これら、被写界深度の相違に起因するスポットの広がりの相違を低減する処理を、被写界深度調整処理という。
【００４９】
以上説明したように、視差、被写体倍率の相違、スポット重心の相違に加えて被写界深度の相違を補正（低減）することで、より好ましい合成画像を生成することができる。
【００５０】
以下、具体的な実施例について説明する。
【実施例１】
【００５１】
実施例１では、２つの撮像系による同一の被写体の撮像を同時に行って２つの画像を生成するステレオ撮像装置において該２つの画像のスポット重心（ＰＳＦの重心位置）の相違を補正する画像処理について説明する。
【００５２】
まず、本実施例のステレオ撮像装置（以下、単に撮像装置という）１の構成について、図８を用いて説明する。撮像装置１は、撮像ユニット１００、Ａ／Ｄ変換器１０、画像処理部２０、システムコントローラ３０、撮像制御部４０、情報入力部５０、画像記録媒体６０、表示部７０、記憶部８０および距離取得部９０を有する。
【００５３】
撮像ユニット１００は、被写体の光学像（被写体像）をそれぞれ形成する２つの撮像光学系１１００ａ，１１００ｂを有する。各撮像光学系は、フォーカスレンズを含む。２つの撮像光学系１１００ａ，１１００ｂの光学特性は互いに同一である。また、２つの撮像光学系１１００ａ，１１００ｂは、それらの光軸が互いに平行となるように配置されている。また、撮像ユニット１００は、２つの撮像光学系１１００ａ，１１００ｂによりそれぞれ形成された被写体像を光電変換（撮像）する２つの撮像素子１２００ａ，１２００ｂを有する。各撮像光学系とこれに対応する撮像素子とにより１つの撮像系が構成される。すなわち、撮像装置１は２つの撮像系を有する。２つの撮像素子１２００ａ，１２００ｂは光軸方向において互いに同一位置にて保持されている。
【００５４】
なお、撮像光学系１１００ａ，１１００ｂは、撮像素子１２００ａ，１２００ｂを含む撮像装置本体に対して一体に備えられていてもよいし、撮像装置本体に対して取り外し可能（交換可能）であってもよい。
【００５５】
撮像素子１２００ａ，１２００ｂは、上述したように被写体像を光電変換することで電気信号（アナログ信号）を生成する。Ａ／Ｄ変換器１０は、撮像素子１２００ａ，１２００ｂから出力されたアナログ信号をデジタル信号に変換して画像データとして画像処理部２０に出力する。
【００５６】
画像処理部２０は、Ａ／Ｄ変換器１０からの画像データに対して所定の画素補間処理や色変換処理等の画像処理を行う。画像処理部２０で処理が行われた画像データは、システムコントローラ３０に送信される。画像処理部２０は撮像装置１に搭載された画像処理装置に相当する。
【００５７】
情報入力部５０は、ユーザが所望の撮像条件を選択して入力した情報を取得してシステムコントローラ３０にそのデータを供給する。システムコントローラ３０は、供給されたデータに基づいて撮像制御部４０を制御する。撮像制御部４０は、各撮像光学系のフォーカスレンズの位置や絞り値および各撮像素子の露光時間等の撮像に関する制御を行う。また、距離取得部９０は、撮像制御部４０により制御され、撮像ユニット１００における画像生成と同期して被写体の奥行き（距離）の情報を取得する。そして、該被写体の奥行き情報をシステムコントローラ３０または画像処理部２０に出力する。距離取得部９０は、例えばＴＯＦ（TIME OF FLIGHT）センサである。
【００５８】
システムコントローラ３０は、画像処理部２０を制御し、記憶部８０から読み出される補正データに基づいて上述した補正画像および合成画像を生成する。
【００５９】
画像記録媒体６０は、静止画や動画を格納したり、画像ファイルを構成する場合のファイルヘッダを格納したりする。この画像記録媒体６０に、上述した被写体の奥行き情報を格納してもよい。
【００６０】
表示部７０は、液晶表示素子等により構成され、撮像前のライブビュー画像、撮像により取得された撮像画像、撮像装置１の状態および各種警告等を表示する。また、表示部７０は、画像処理部２０により生成された補正画像や合成画像も表示する。
【００６１】
次に、本実施例の撮像装置１（システムコントローラ３０および画像処理部２０）が行う処理について、図１のフローチャートを用いて説明する。撮像装置１が行う処理は、メインコンピュータであるシステムコントローラ３０が行う撮像処理と画像処理コンピュータである画像処理部２０が行う画像処理（画像処理方法）とを含む。システムコントローラ３０および画像処理部２０はそれぞれ、コンピュータプログラムとしての撮像処理プログラムおよび画像処理プログラムに従って撮像処理および画像処理を実行する。画像処理部２０は、画像補正手段および画像合成手段として機能する。
【００６２】
ステップＳ１０１では、システムコントローラ３０は、撮像ユニット１００（撮像光学系１１００ａ，１１００ｂおよび撮像素子１２００ａ，１２００ｂ）を制御して被写体の撮像を行う。画像処理部２０は、撮像素子１２００ａ，１２００ｂおよびＡ／Ｄ変換器１０から出力された画像データに対して所定の画素補間処理や色変換処理等を行い、２つの入力画像（第１の画像）を取得する。また、システムコントローラ３０は、画像処理部２０に、撮像時の撮像ユニット１００の状態を撮影条件データとして送信する。該撮像条件データはそれぞれの撮像光学系の焦点距離、合焦被写体距離、Ｆナンバーおよびそれぞれの撮像光学系間の距離のデータである。
【００６３】
ステップＳ１０２では、システムコントローラ３０は、距離取得部９０を制御して被写体の奥行き情報を取得し、画像処理部２０に出力する。ここで、ステップＳ１０１における撮像ユニット１００による被写体の撮像と、本ステップにおける被写体の奥行き情報の取得は同期して行われるのが好ましい。
【００６４】
ステップＳ１０３では、画像処理部２０は、スポット重心補正に必要な補正データ（補正情報）を記憶部８０から読み出す。この補正データは、２つの撮像系（撮像光学系１１００ａ，１１００ｂ）のそれぞれのＰＳＦの重心位置、すなわちスポット重心に関するデータである。具体的には、入力画像における画像領域ごと、被写体距離ごとおよび撮像条件ごとの撮像光学系１１００ａ，１１００ｂのそれぞれの絞り中心光線とスポット重心との像面上での座標のずれ量（以下、絞り中心−スポット重心ずれ量という）を示すデータである。また、補正データは、画像領域ごと、被写体距離ごとおよび撮像条件ごとの撮像光学系１１００ａ，１１００ｂのスポット重心間（重心位置間）の像面上での座標の差（以下、スポット重心間差という）を示すデータであってもよい。
【００６５】
ステップＳ１０４では、画像処理部２０は、２つの入力画像に対する補正処理を行う。以下の説明において撮像光学系１１００ａおよび撮像素子１２００ａによる撮像により生成された入力画像をＩＭＧａとし、撮像光学系１１００ｂおよび撮像素子１２００ｂによる撮像により生成された入力画像をＩＭＧｂという。
【００６６】
まず、画像処理部２０は、被写体の奥行き情報と撮像条件データとに基づいて、入力画像ＩＭＧａ，ＩＭＧｂのうち少なくとも１つの画像に対して前述した視差補正処理を行うことで、２つの中間補正画像ＩＭＧａ２，ＩＭＧｂ２を用意する。これら２つの中間補正画像ＩＭＧａ２，ＩＭＧｂ２と後述する２つの最終補正画像ＩＭＧａ３，ＩＭＧｂ３が第２の画像に相当する。
【００６７】
視差補正処理は、中間補正画像ＩＭＧｂ２が入力画像ＩＭＧａと同一視点の画像となるように入力画像ＩＭＧｂに対して行ってもよいし、中間補正画像ＩＭＧａ２が入力画像ＩＭＧｂに対して同一視点の画像になるように入力画像ＩＭＧａに対して行ってもよい。さらに、入力画像ＩＭＧａ，ＩＭＧｂ以外の仮想視点の画像と同一視点の画像となるように入力画像ＩＭＧａ，ＩＭＧｂに対して視差補正処理を行ってもよい。要するに、複数の入力画像間での視差に応じた被写体像の位置ずれを低減した複数の中間補正画像が得られればよい。
【００６８】
以下の説明では、入力画像に対して視差補正処理が行われることで生成された中間補正画像と視差補正処理が行われなかった入力画像のいずれも、中間補正画像ＩＭＧａ２，ＩＭＧｂ２という。
【００６９】
次に、画像処理部２０は、中間補正画像ＩＭＧａ２，ＩＭＧｂ２に対して、それぞれの中間補正画像上の画像領域ごとに前述したスポット重心補正処理を行って２つの最終補正画像ＩＭＧａ３，ＩＭＧｂ３を生成する。このとき、記憶部８０からステップＳ１０３でスポット重心間差のデータを読み出した場合には、画像処理部２０は、中間補正画像ＩＭＧａ２，ＩＭＧｂ２のうちいずれか一方に対して、それぞれのスポット重心の座標が一致するようにシフト補正を行う。また、ステップＳ１０３で記憶部８０から絞り中心−スポット重心間差のデータを読み出した場合には、画像処理部２０は、中間補正画像ＩＭＧａ２，ＩＭＧｂ２の双方に対してスポット重心と絞り中心光線の座標が一致するようにシフト補正を行う。いずれの場合も、中間補正画像ＩＭＧａ２，ＩＭＧｂ２間における被写体像（スポット）の位置ずれが低減される。
【００７０】
すなわち、本実施例では、複数の第２の画像のうち少なくとも１つに対して、複数の撮像系のＰＳＦの重心位置の相違に応じた複数の第２の画像間での被写体像の位置ずれを低減する第２の補正処理を行う。
【００７１】
以下の説明では、中間補正画像に対してスポット重心補正処理が行われることで生成された最終補正画像とスポット重心補正処理が行われなかった中間処理画像のいずれも、最終補正画像ＩＭＧａ３，ＩＭＧｂ３という。
【００７２】
次にステップＳ１０５では、画像処理部２０は、２つの最終補正画像ＩＭＧａ３，ＩＭＧｂ３を用いて合成画像を生成して出力する。具体的には、２つの最終補正画像ＩＭＧａ３，ＩＭＧｂ３における対応座標（同一座標）の画素値の平均値を合成画像における対応画素の画素値とすることにより合成画像を生成する。
【００７３】
以上説明したように、本実施例では、２つの撮像系により得られた２つの画像（視差補正処理が行われた画像）を合成する際に、予めこれらの画像に対してスポット重心補正処理を含む被写体像の位置を補正する処理を行う。これにより、非合焦被写体像の対称性が高い良好な合成画像を生成することができる。
【実施例２】
【００７４】
次に、実施例２について説明する。本実施例では、複数の撮像系による同一の被写体の撮像を同時に行って複数の画像を生成する複眼撮像装置において該複数の画像のスポット重心（ＰＳＦの重心位置）の相違を補正する画像処理について説明する。
【００７５】
図９は、本実施例の複眼撮像装置（以下、単に撮像装置という）２の構成を示す。また、図１０（ａ），（ｂ）は撮像装置２が備える撮像ユニット２００の構成を示している。
【００７６】
撮像装置２は、実施例１の撮像装置１に対して、撮像ユニット２００の構成が撮像ユニット１００とは異なり、また距離取得部９０を有さない。その他の構成については実施例１の撮像装置１と同様である。
【００７７】
撮像ユニット２００は、それぞれが被写体像を形成する６つの撮像光学系（個眼）２１１０ａ，２１１０ｂ，２１２０ａ，２１２０ｂ，２１３０ａ，２１３０ｂを有する。各撮像光学系は、フォーカスレンズを含む。また、６つの撮像光学系２１１０ａ〜２１３０ｂは互いの光軸が平行になるように配置されている。図９は、撮像ユニット２００における撮像光学系２１１０ａ，２１２０ｂの光軸を含む断面を示している。
【００７８】
同一の参照番号を付された２つの撮像光学系（例えば、２１１０ａ，２１１０ｂ）は、互いに同一の焦点距離を有する１組の撮像光学系である。本実施例では、焦点距離が互いに異なる３組の撮像光学系が設けられている。撮像光学系（ワイド個眼）２１１０ａ，２１１０ｂは３組のうち最も短い焦点距離を有する広角撮像光学系の組である。撮像光学系（ミドル個眼）２１２０ａ，２１２０ｂは撮像光学系２１１０ａ，２１１０ｂに比べて焦点距離が長い中間画角撮像光学系の組である。撮像光学系（テレ個眼）２１３０ａ，２１３０ｂは３組のうち最も長い焦点距離を有する望遠撮像光学系の組である。
【００７９】
また、撮像ユニット２００は、６つの撮像光学系２１１０ａ，２１１０ｂ，２１２０ａ，２１２０ｂ，２１３０ａ，２１３０ｂのそれぞれに対応する６つの撮像素子２２１０ａ，２２１０ｂ，２２２０ａ，２２２０ｂ，２２３０ａ，２２３０ｂを有する。６つの撮像素子２２１０ａ〜２２３０ｂは一体で保持されて撮像素子ユニット２２００を構成している。ただし、６つの撮像素子２２１０ａ〜２２３０ｂは同一平面上に位置しなくてもよい。
【００８０】
次に、本実施例の撮像装置２（システムコントローラ３０および画像処理部２０）が行う処理について、図１１のフローチャートを用いて説明する。撮像装置２が行う処理は、システムコントローラ３０が行う撮像処理と画像処理部２０が行う画像処理（画像処理方法）とを含む。システムコントローラ３０および画像処理部２０はそれぞれ、コンピュータプログラムとしての撮像処理プログラムおよび画像処理プログラムに従って撮像処理および画像処理を実行する。
【００８１】
ステップＳ２０１では、システムコントローラ３０は、撮像ユニット２００（撮像光学系２１１０ａ〜２１３０および撮像素子２２１０ａ〜２２３０ｂ）を制御して被写体の撮像を行う。この際、２つのワイド個眼については、Ｆナンバーを十分に大きくして（つまりは絞り径を小さくして）撮像を行うのが好ましい。また、画像処理部２０は、撮像素子２２１０ａ〜２２３０ｂおよびＡ／Ｄ変換器１０から出力された画像データに対して所定の画素補間処理や色変換処理等を行い、６つの入力画像（第１の画像）を取得する。また、システムコントローラ３０は、画像処理部２０に、撮像時の撮像ユニット２００の状態を撮影条件データとして送信する。該撮像条件データはそれぞれの撮像光学系の焦点距離、合焦被写体距離、Ｆナンバーおよびそれぞれの撮像光学系間の距離のデータである。
【００８２】
ステップＳ２０２では、画像処理部２０は、撮像により生成された６つの入力画像を用いて被写体距離を算出する。具体的には、画像処理部２０は、６つの入力画像において同一被写体を探索して同一被写体間の視差量を算出し、該視差量から被写体距離を算出する。ステップＳ２０１においてワイド個眼を十分に絞って撮像を行った場合には、被写体距離の算出には２つのワイド個眼を用いた撮像により生成された２つの入力画像を用いるのが好ましい。これは、十分に被写界深度が深いワイド個眼を用いた撮像により生成された入力画像を用いることで、非合焦領域においても高精度に広い画角領域の奥行き情報を得ることが可能であるためである。
【００８３】
ステップＳ２０３では、画像処理部２０は、スポット重心補正に必要な補正データおよび被写界深度調整処理に必要な調整データを記憶部８０から読み出す。補正データは、６つの撮像系（撮像光学系２１１０ａ〜２１３０ｂ）のそれぞれのＰＳＦの重心位置、すなわちスポット重心に関するデータである。具体的には、入力画像における画像領域ごと、被写体距離ごとおよび撮像条件ごとのワイド個眼、ミドル個眼およびテレ個眼のそれぞれの絞り中心光線とスポット重心との像面上での座標のずれ量（絞り中心−スポット重心ずれ量）を示すデータである。また、調整データは、入力画像における画像領域ごと、被写体距離ごとおよび撮像条件ごとのワイド個眼、ミドル個眼およびテレ個眼の被写界深度調整係数σのデータである。
【００８４】
ステップＳ２０４では、画像処理部２０は、６つの入力画像に対する補正処理を行う。具体的には、まず６つの個眼のうち基準となる個眼（基準個眼）を設定する。これは、ユーザの入力に従って設定してもよいし、予め設定された基準個眼を選択してもよい。ここでは、ワイド個眼２１１０ａを基準個眼とし、該ワイド個眼２１１０ａを用いて取得された入力画像を基準画像とする。
【００８５】
次に、画像処理部２０は、撮像条件のデータに基づいて、ミドル個眼およびテレ個眼を用いて取得した４つの入力画像に対して前述した被写体倍率補正処理を行い、４つの第１の中間補正画像を生成する。このとき、図３に示した画像ＩＭＧｔＲ中の黒領域で示したような撮像に用いた撮像系の画角外であるために情報が得られていない画像領域では画素値を０とする。
【００８６】
ミドル個眼２１２０ａまたは２１２０ｂを基準個眼とした場合には、ワイド個眼およびテレ個眼を用いて取得した４つの入力画像に対して被写体倍率補正を行い、４つの第１の中間補正画像を生成する。テレ個眼２１３０ａまたは２１３０ｂを基準個眼とした場合についても同様である。ワイド個眼を用いて取得した２つの入力画像のうち、基準画像でない画像に対しては被写体倍率補正を行わないが、この画像も以下では第１の中間補正画像という。
【００８７】
次に、画像処理部２０は、補正データを用いて、５つの第１の中間補正画像と基準画像に対して、それぞれの画像における画像領域ごとにスポット重心補正を行い、６つの第２の中間補正画像を生成する。具体的には、５つの第１の中間補正画像と基準画像のすべてに対して、それぞれのスポット重心が絞り中心光線の座標が一致するようにシフト補正を行う。第１および第２の中間補正画像が第２の画像に相当する。６つの第２の中間補正画像のうち１つはスポット重心補正処理により得られた基準画像であり、基準となる第２の中間補正画像である。
【００８８】
次に、画像処理部２０は、撮像条件データを用いて、６つの第２の中間補正画像のうち基準画像ではない５つの第２の中間補正画像に対して、基準画像と同一視点の画像になるように視差補正処理を行って６つの第３の中間補正画像を生成する。このとき、基準となる第２の中間補正画像に対しては視差補正を行わないが、以下では該基準画像も第３の中間補正画像という。
【００８９】
本実施例では、実施例１とは異なり、視差補正処理（第１の補正処理）を行う前にスポット重心補正処理（第２の補正処理）を行う。これにより、視差補正処理に前述したブロックマッチング法を用いる場合にスポット重心のずれの影響を低減することができ、高精度に視差を算出して視差補正処理を行うことができる。
【００９０】
ステップＳ２０５では、画像処理部２０は、調整データを用いて少なくとも１つの第３の中間補正画像に対して前述した被写界深度調整処理を行う。具体的には、まず画像処理部２０は、調整データを用いて、式（４）に従って、ワイド個眼、ミドル個眼およびテレ個眼のそれぞれで取得した画像の画像領域ごとのぼかしフィルタを生成する。
【００９１】
次に、画像処理部２０は、少なくとも１つの第３の中間補正画像に対してぼかしフィルタを畳み込むコンボリューション処理（フィルタリング処理）を行うことで、第４の中間補正画像を生成する。このとき、最も被写界深度が浅い個眼によって取得された２つの第３の中間補正画像に対してコンボリューション処理を行ってもよいし、最も被写界深度が深い個眼で取得された２つ以外の４つの第３の中間補正画像に対してコンボリューション処理を行ってもよい。以下の説明では、コンボリューション処理により生成された第４の中間補正画像とコンボリューション処理が行われていない第３の中間補正画像をまとめて第４の中間補正画像という。つまり、本ステップでは、６つの第４の中間補正画像を生成する。
【００９２】
ステップＳ２０６では、画像処理部２０は、６つの第４の中間補正画像を用いて合成画像を生成する。具体的には、６つの第４の中間補正画像のそれぞれにおける対応座標（同一座標）の画素値の平均値を合成画像における対応画素の画素値とすることにより合成画像を生成する。このとき、被写体倍率補正処理において画素値を０とした領域については、画素値が０である第３の中間補正画像を除いて処理を行う。
【００９３】
以上説明したように、本実施例では、複数（６つ）の撮像系を介して取得した複数の画像を合成する際に、予めこれらの画像に対してスポット重心補正を含む被写体像の位置ずれを低減する処理を行う。これにより、非合焦被写体像の対称性が高い良好な合成画像を生成することができる。
【実施例３】
【００９４】
図１２には、本発明の実施例３である画像処理システムの基本構成を示している。パーソナルコンピュータにより構成される画像処理装置３０３は、画像処理ソフトウェア３０４（画像処理プログラム）および記憶部３０５を備えている。画像処理装置３０３には、複眼撮像装置３０１および記憶媒体３０２のうち少なくとも一方が接続されている。
【００９５】
本実施例の複眼撮像装置３０１は、実施例２の複眼撮像装置２と同様に、ワイド個眼、ミドル個眼およびテレ個眼をそれぞれ２つずつ備えている。画像処理ソフトウェア３０４は、実施例２で行われる画像処理と後述する差異を除いて同じであるプログラムを含む。
【００９６】
画像処理装置３０３は撮像装置３０１または記憶媒体３０２から複数の画像を取得し、画像処理ソフトウェア３０４に従って実施例２の画像処理部２０と同様に第４の中間補正画像および合成画像を生成する。以下、実施例２で説明した画像処理プログラムと本実施例の画像処理プログラムとの差異について説明する。
【００９７】
本実施例の画像処理プログラムは、画像処理装置３０３に、ステップＳ２０３を行わせた後、ステップＳ２０４の前に非合焦領域判定処理を行わせる。この非合焦領域判定処理において、画像処理装置３０３は、異なる撮像光学系の画角領域ごとのＰＳＦを用いて非合焦領域の検出を行う。撮像光学系の画角領域は、該撮像光学系を用いて取得した画像における画像領域に対応する。
【００９８】
非合焦領域判定処理では、ＰＳＦの全光量のうち半分の光量を含む円の半径をＨＰＲとし、複数の撮像系それぞれの画角領域ごとのＰＳＦが式（５）を満足する画角領域（画像領域）を非合焦領域とする。
【００９９】
【数５】
2018098738.tif 000007
【０１００】
ここで、ｐは複眼撮像装置３０１が備える複数の撮像素子のそれぞれの画素ピッチのうち最も小さい値である。また、半径ＨＰＲは、以下の式（６）を満足する最大の値である。
【０１０１】
【数６】
2018098738.tif 000008
【０１０２】
ＰＳＦ（ｘ，ｙ）は座標（ｘ，ｙ）における点像分布関数である。式（６）の左辺の分母はＰＳＦの全光量の総和を表し、左辺の分子はＰＳＦの中心から半径ＨＰＲの円の内側の光量の総和を表す。
【０１０３】
ここで、複数の撮像光学系は重畳する画角領域を持つが、その重畳領域においてはいずれかの撮像光学系の画角領域が非合焦領域と判定されれば、その画角領域に重畳する他の撮像光学系の画角領域も非合焦領域とする。
【０１０４】
非合焦領域判定処理を行った画像処理装置３０３は、ステップＳ２０４において、６つの第２の中間補正画像に対して非合焦領域と判定された画角領域に対応する画像領域のみに対してスポット重心補正処理を行い、６つの第３の中間補正画像を生成する。視差補正処理、被写体倍率補正処理および被写界深度調整処理については全ての画像領域に対して行う。
【０１０５】
前述した口径食の影響による絞り中心光線の像面上での座標とスポット重心の座標との相違は、合焦面から離れた被写体であるほど顕著である。言い換えれば、ＰＳＦの広がりが大きいほど顕著である。本実施例では、絞り中心光線とスポット重心との座標の相違が顕著である非合焦領域のみにおいてスポット重心補正を行うことにより、計算負荷を低減しながら高い補正効果を実現する。
【０１０６】
画像処理装置３０３には、出力機器３０６および表示機器３０７のうち少なくとも一方が接続されていてもよい。画像処理装置３０３は、合成画像、複数の入力画像、複数の中間補正画像および被写体の奥行き情報のうち少なくとも１つを出力機器３０６、表示機器３０７および記憶媒体３０２のうち少なくとも１つに出力する。記憶媒体３０２は、半導体メモリ、ハードディスク、ネットワーク上のサーバー等である。表示機器３０７は、液晶ディスプレイやプロジェクタ等である。出力機器３０６は、プリンタ等である。
【０１０７】
本実施例によれば、複数の画像を合成する際に、予め該複数の画像の非合焦領域のみに対してスポット重心補正処理を含む被写体像の位置ずれを低減する処理を行う。これにより、負荷の低い処理で非合焦被写体像の対称性が高い良好な合成画像を生成することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【０１０８】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【０１０９】
１  ステレオ撮像装置
２０  画像処理部
１００  撮像ユニット
【図１】
2018098738.tif 000011
【図２】
2018098738.tif 000012
【図３】
2018098738.tif 000013
【図４】
2018098738.tif 000014
【図５】
2018098738.tif 000015
【図６】
2018098738.tif 000016
【図７】
2018098738.tif 000017
【図８】
2018098738.tif 000018
【図９】
2018098738.tif 000019
【図１０】
2018098738.tif 000020
【図１１】
2018098738.tif 000021
【図１２】
2018098738.tif 000022