(57)【特許請求の範囲】
【請求項１】
第１波長帯域の光を透過する第１瞳と、前記第１波長帯域とは異なる第２波長帯域の光を透過する第２瞳と、を有する光学系と、
第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含み、第１色〜第３色の画素値を取得する撮像素子と、
前記第１色及び前記第３色の画素値を、前記第１透過率特性と前記第３透過率特性の重複部分の成分値に基づいて補正する補正処理部と、
前記補正した前記第１色の画素値で構成する画像と、前記補正した前記第３色の画素値で構成する画像と、の間の位相差を検出する位相差検出部と、
を含むことを特徴とする撮像装置。
【請求項２】
請求項１において、
前記第２色は、前記第１色よりも長波長側であり且つ前記第３色よりも短波長側の色であり、
前記第１瞳が透過する前記第１波長帯域は、前記第３色に対応し、前記第２瞳が透過する前記第２波長帯域は、前記第１色に対応することを特徴とする撮像装置。
【請求項３】
請求項２において、
前記補正処理部は、
前記第２色の画素値に基づいて前記第１透過率特性と前記第３透過率特性の前記重複部分の成分値を推定し、前記第１色及び前記第３色の画素値から前記重複部分の成分値を低下させる補正を行うことを特徴とする撮像装置。
【請求項４】
請求項３において、
前記補正処理部は、
前記第１透過率特性と前記第３透過率特性に基づく第１係数を前記第２色の画素値に乗じることで、前記重複部分の成分値を求めることを特徴とする撮像装置。
【請求項５】
請求項４において、
前記第１係数を乗じた前記第２透過率特性と前記重複部分との類似性が最も高い場合の前記第１係数を取得する係数取得部を含むことを特徴とする撮像装置。
【請求項６】
請求項５において、
前記類似性が最も高い場合の前記第１係数は、
前記重複部分の複数波長での透過率を成分とするベクトルと、前記第１係数を乗じた前記第２透過率特性の前記複数波長での透過率を成分とするベクトルと、の間のユークリッド距離が最小となる場合の前記第１係数であることを特徴とする撮像装置。
【請求項７】
請求項３乃至６のいずれかにおいて、
前記補正処理部は、
前記重複部分の成分値を前記第１色の画素値から減算することで前記第１色の画素値を補正し、前記重複部分の成分値を前記第３色の画素値から減算することで前記第３色の画素値を補正することを特徴とする撮像装置。
【請求項８】
請求項７において、
前記補正処理部は、
前記第１透過率特性と前記第３透過率特性に基づく第２係数を乗じた前記第２色の画素値から、前記重複部分の成分値と前記補正した前記第１色の画素値と前記補正した前記第３色の画素値とを減算することで、前記第２色の画素値を補正することを特徴とする撮像装置。
【請求項９】
請求項８において、
前記第１透過率特性の短波長側の一部及び前記第３透過率特性の長波長側の一部と、前記第２係数を乗じた前記第２透過率特性と、の類似性が最も高い場合の前記第２係数を取得する係数取得部を含むことを特徴とする撮像装置。
【請求項１０】
請求項９において、
前記第１透過率特性の最大透過率よりも短波長側の所定波長を第１波長とし、前記第３透過率特性の最大透過率よりも長波長側の所定波長を第２波長とする場合に、
前記類似性が最も高い場合の前記第２係数は、
前記第１透過率特性における前記第１波長よりも短波長側の複数波長での透過率を成分とするベクトル、及び前記第３透過率特性における前記第２波長よりも長波長側の複数波長での透過率を成分とするベクトルと、前記第２係数を乗じた前記第２透過率特性の前記複数波長での透過率を成分とするベクトルと、の間のユークリッド距離が最小となる場合の前記第２係数であることを特徴とする撮像装置。
【請求項１１】
請求項３乃至６のいずれかにおいて、
前記補正処理部は、
前記重複部分の成分値の候補値、及び前記第１色の画素値を前記候補値で補正した値、及び前記第３色の画素値を前記候補値で補正した値と、前記第１色〜第３色の画素値と、の類似性を表す評価値を求め、
前記類似性が最も高い場合の前記候補値を前記評価値に基づいて決定することで、前記重複部分の成分値を求めることを特徴とする撮像装置。
【請求項１２】
第１波長帯域の光を透過する第１瞳と、前記第１波長帯域とは異なる第２波長帯域の光を透過する第２瞳と、を有する光学系により結像し、
第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子により前記結像を撮像する処理を行い、
前記撮像により取得した第１色〜第３色の画素値のうち前記第１色及び前記第３色の画素値を、前記第１透過率特性と前記第３透過率特性の重複部分の成分値に基づいて補正する処理を行い、
前記補正した前記第１色の画素値で構成する画像と、前記補正した前記第３色の画素値で構成する画像と、の間の位相差を検出する処理を行う、
ことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法等に関する。
【背景技術】
【０００２】
近年の撮像装置には、原色ＲＧＢのカラーフィルタを有する撮像素子が広く用いられている。カラーフィルタの帯域を広くするほど透過光量が増えて撮像感度が得られるため、一般的な撮像素子では、ＲＧＢのカラーフィルタの透過率特性を意図的にオーバーラップさせる手法が用いられている。
【０００３】
また、例えば位相差ＡＦ等において、２つの瞳の視差を用いた位相差検出が行われている。例えば、特許文献１には、右瞳がＲとＧを透過し、左瞳がＧとＢを透過し、撮像したＲＧＢ画像のうち視差を持つＲ画像（右瞳画像）とＢ画像（左瞳画像）の位相差を検出する手法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−１７４６９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、カラーフィルタの透過率特性をオーバーラップさせると２つの瞳画像の分離性が低下し、位相差検出の精度が低下するという課題がある。
【０００６】
例えば、上述した特許文献１の手法では、撮像素子のＢとＧのカラーフィルタの透過率特性にオーバーラップがあるため、ＲとＧを透過する右瞳の透過光がＢ画像（左瞳画像）に混入する。これにより、左右瞳の分離性が低下し、位相差検出の精度が低下するという課題がある。
【０００７】
本発明の幾つかの態様によれば、カラーフィルタの透過率特性がオーバーラップした撮像画像から高精度な位相差検出が可能な撮像装置及び撮像方法等を提供できる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、第１波長帯域の光を透過する第１瞳と、前記第１波長帯域とは異なる第２波長帯域の光を透過する第２瞳と、を有する光学系と、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含み、第１色〜第３色の画素値を取得する撮像素子と、前記第１色及び前記第３色の画素値を、前記第１透過率特性と前記第３透過率特性の重複部分の成分値に基づいて補正する補正処理部と、前記補正した前記第１色の画素値で構成する画像と、前記補正した前記第３色の画素値で構成する画像と、の間の位相差を検出する位相差検出部と、を含む撮像装置に関係する。
【０００９】
また本発明の他の態様は、第１波長帯域の光を透過する第１瞳と、前記第１波長帯域とは異なる第２波長帯域の光を透過する第２瞳と、を有する光学系により結像し、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子により前記結像を撮像する処理を行い、前記撮像により取得した第１色〜第３色の画素値のうち前記第１色及び前記第３色の画素値を、前記第１透過率特性と前記第３透過率特性の重複部分の成分値に基づいて補正する処理を行い、前記補正した前記第１色の画素値で構成する画像と、前記補正した前記第３色の画素値で構成する画像と、の間の位相差を検出する処理を行う撮像方法に関係する。
【００１０】
本発明の一態様と他の態様によれば、第１色及び第３色の画素値が、第１透過率特性と第３透過率特性の重複部分の成分値に基づいて補正され、その補正された第１色の画素値で構成する画像と、補正された第３色の画素値で構成する画像と、の間の位相差が検出される。これにより、カラーフィルタの透過率特性がオーバーラップした撮像画像から高精度な位相差検出を行うことが可能になる。
【図面の簡単な説明】
【００１１】
【図１】撮像装置の基本構成例。
【図２】高色再現画像を求める手法についての説明図。
【図３】高色再現画像を求める手法についての説明図。
【図４】係数αを求める手法についての説明図。
【図５】係数βを求める手法についての説明図。
【図６】第１実施形態における撮像装置の構成例。
【図７】第２実施形態における高色再現画像を求める手法についての説明図。
【図８】第３実施形態における撮像装置の基本構成例。
【図９】右瞳画像と左瞳画像を分離する手法についての説明図。
【図１０】右瞳画像と左瞳画像のプロファイルについての説明図。
【図１１】第３実施形態における撮像装置の構成例。
【図１２】シミュレーション結果の例。
【図１３】シミュレーション結果の例。
【図１４】測距手法についての説明図。
【発明を実施するための形態】
【００１２】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００１３】
１．本実施形態の概要
まず、本実施形態の概要について説明する。以下ではＲＧＢベイヤ配列の撮像素子を用いる場合を例に説明するが、本実施形態はこれに限定されず、波長帯域がオーバーラップするカラーフィルタを有する撮像素子であればよい。また、以下では第１瞳を右瞳とし、第２瞳を左瞳として説明するが、本実施形態ではこれに限定されない。
【００１４】
図８に、撮像装置の基本構成例を示す。撮像装置の光学系１０には、瞳分割用の光学フィルタ１２が設けられ、光学フィルタ１２には、右瞳に対応する光学フィルタＦＬ１と、左瞳に対応する光学フィルタＦＬ２が設けられる。図９に、光学フィルタ１２の透過率特性と撮像素子のカラーフィルタの透過率特性を模式的に示す。光学フィルタ１２の右瞳、左瞳は、透過率特性ｆＲ、ｆＬを有し、ＲＧＢのカラーフィルタは、透過率特性ＦＢ、ＦＧ、ＦＲを有する。この場合、例えば右瞳画像を赤色画素値ｒ＝Ｉ・ＦＲで構成し、左瞳画像を青色画素値ｂ＝Ｉ・ＦＢで構成することにより、位相差画像が得られる。ここで、Ｉは撮像素子の画素への入射光量である。
【００１５】
しかしながら、カラーフィルタの透過率特性ＦＢ、ＦＲはφＲＢ＝φＧＢ＋φＧＲでオーバーラップしているため、赤色と青色の色純度は低下している。この色純度の低下により、左右瞳画像は互いに混ざった成分をもってしまう。即ち、右瞳画像はｒ＝Ｉ・ＦＲ＝Ｉ・（φＲ＋φＧＲ＋φＧＢ）と表されるが、そのうちＩ・φＧＢは左瞳を通過した成分である。また、左瞳画像はｂ＝Ｉ・ＦＢ＝Ｉ・（φＢ＋φＧＢ＋φＧＲ）と表されるが、そのうちＩ・φＧＲは右瞳を通過した成分である。この成分により左右瞳画像の分離性が低下し、位相差検出の精度を低下させる要因となる。
【００１６】
そこで図１に示すように、本実施形態の撮像装置は、光学系１０と撮像素子２０と補正処理部１２０と位相差検出部１８５を含む。光学系１０は、第１波長帯域ｆＲの光を透過する第１瞳１１と、第１波長帯域とは異なる第２波長帯域ｆＬの光を透過する第２瞳１３と、を有する。撮像素子２０は、第１透過率特性ＦＢを有する第１色（青色）フィルタと、第２透過率特性ＦＧを有する第２色（緑色）フィルタと、第３透過率特性ＦＲを有する第３色（赤色）フィルタとを含み、第１色〜第３色の画素値ｂ、ｇ、ｒを取得する。補正処理部１２０は、第１色及び第３色の画素値ｂ、ｒを、第１透過率特性ＦＢと第３透過率特性ＦＲの重複部分φＲＢ＝φＧＢ＋φＧＲの成分値に基づいて補正する。そして位相差検出部１８５は、その補正した第１色の画素値ｂ’＝Ｉ・φＢで構成する画像（左瞳画像）と、補正した第３色の画素値ｒ’＝Ｉ・φＲで構成する画像（右瞳画像）と、の間の位相差を検出する。
【００１７】
このようにすれば、第１色と第３色の画素値ｂ、ｒにおいて互いに重複する成分（Ｉ・φＲＢを、補正により低下させる（又はキャンセルする）ことが可能となる。これにより、カラーフィルタの透過率特性ＦＢ、ＦＧ、ＦＲがオーバーラップした撮像画像から、互いの成分の混入が低下した（又はキャンセルされた）右瞳画像（ｒ’＝Ｉ・φＲ）、左瞳画像（ｂ’＝Ｉ・φＢ）を得ることができる。これにより、高精度な位相差検出を実現できる。
【００１８】
後述する実施形態を例に、より具体的に説明する。一般的な撮像素子では、透過率特性ＦＢ、ＦＲの重複部分φＲＢが緑色（第２色）の透過率特性ＦＧに相似であることから、緑色の画素値ｇに基づいて重複部分φＲＢの成分値Ｉ・φＲＢを推定する。この成分値Ｉ・φＲＢを画素値ｂ、ｒから減算することで、補正後の青色と赤色の画素値｛ｂ’，ｒ’｝＝｛Ｉ・φＢ，Ｉ・φＲ｝を得る。
【００１９】
このようにして、第１色と第３色の画素値ｂ、ｒを重複部分の成分値Ｉ・φＲＢに基づいて補正し、補正後の画素値｛ｂ’，ｒ’｝＝｛Ｉ・φＢ，Ｉ・φＲ｝を求めている。この補正後の画素値Ｉ・φＢ、Ｉ・φＲは、カラーフィルタの透過率特性ＦＢ、ＦＲのオーバーラップ部分が除かれることで、色純度の高い画素値となっている。この色純度の高い画素値を用いることで、位相差検出における相関演算の精度を向上できる。
【００２０】
２．第１実施形態
２．１．高純度分光分離手法
次に、本実施形態の詳細について説明する。なお以下では、撮像素子２０を適宜、撮像センサとも呼ぶ。また、透過率特性（分光特性）｛ＦＢ，ＦＧ，ＦＲ，ＦＧ１，ＦＧ２｝や、透過率特性の領域又は部分｛φＢ，φＧ，φＲ，φＲＢ｝は、波長λの関数であるが、簡単のためＦＢ（λ）等をＦＢ等と表記する。また、｛φＢ，φＧ，φＲ，φＲＢ｝に光量Ｉを乗じ（て波長λで積分し）た｛Ｉ・φＢ，Ｉ・φＧ，Ｉ・φＲ，Ｉ・φＲＢ｝は画素値又は成分値である。
【００２１】
まず、瞳分割を行わないＲＧＢ撮像画像から高色再現画像を取得する手法について説明する。図２、図３に示すように、撮像センサのカラーフィルタの透過率特性ＦＢ、ＦＧ、ＦＲを４つの領域φＲ、φＲＢ、φＢ、φＧに分けて考える。φＲＢは、ＦＢとＦＲが重なる部分である。φＲは、ＦＲから重複部分φＲＢを除いた部分である。φＢは、ＦＢから重複部分φＲＢを除いた部分である。φＧは、ＦＢ、ＦＲを包含するようにＦＧをゲインアップした特性ＦＧ２からφＲ、φＲＢ、φＢを除いた部分である。
【００２２】
φＲ、φＧ、φＢを、高純度な原色ＲＧＢの分光特性フィルタを通過した光量成分と捉えると、φＲ、φＧ、φＢの特性を予め求めることができれば、高色再現の画像を得ることができる。
【００２３】
図２を用いて、赤色と青色の高純度画素値｛ｒ’，ｂ’｝＝｛Ｉ・φＲ，Ｉ・φＢ｝を抽出する手法について説明する。なお以下では、一般に広く使われているカラー撮像センサでは、重複部分φＲＢの分光特性ＦＲＧと緑色のカラーフィルタの分光特性ＦＧの相似性が高いことが分かっている。相互の特性そのものの相似性が高いため、φＲＢを下式（１）により近似できる。なお、係数αの求め方は後述する。
φＲＢ≒ＦＧ１＝α・ＦＧ，
０＜α＜１．０    （１）
【００２４】
上式（１）で求めたφＲＢからφＲ、φＢを求める。図２から分かるように、下式（２）が成り立つ。
ＦＲ＝φＲ＋φＲＢ，
ＦＢ＝φＢ＋φＲＢ    （２）
【００２５】
上式（１）、（２）より、下式（３）が成り立つことから、φＲ、φＢを求めることができる。
φＲ＝ＦＲ−φＲＢ≒ＦＲ−α・ＦＧ，
φＢ＝ＦＢ−φＲＢ≒ＦＢ−α・ＦＧ    （３）
【００２６】
撮像センサの画素に入力する光量値をＩとすると、実際に各画素のＲＧＢ画素値として得られるのは、下式（４）となる。
ｒ＝Ｉ・ＦＲ，
ｇ＝Ｉ・ＦＧ，
ｂ＝Ｉ・ＦＢ    （４）
【００２７】
即ち、上式（３）、（４）より、高純度画素値ｒ’、ｂ’は下式（５）のように求められる。
ｒ’＝Ｉ・φＲ≒ｒ−α・ｇ，
ｂ’＝Ｉ・φｂ≒ｂ−α・ｇ    （５）
【００２８】
次に、図３を用いて、緑色の高純度画素値ｇ’＝Ｉ・φＧを抽出する手法について説明する。分光特性ＦＧ２は、緑色の分光特性ＦＧにゲインβ（係数β）を乗じたものである。ゲインβは、ＦＧ２が領域φＲ及び領域φＢを包含し、且つ最小のゲインとなるように求める。なお、ゲインβの求め方の詳細は後述する。
【００２９】
下式（６）に示すように、ゲインβにより緑色の分光特性ＦＧをゲインアップした分光特性ＦＧ２を得る。
ＦＧ２＝β・ＦＧ，
１．０＜β    （６）
【００３０】
上式（６）で得られたＦＧ２と、上式（１）、（３）で求めたφＲ、φＲＢ、φＢから、下式（７）によりφＧが得られる。
φＧ＝β・ＦＧ−（φＲ＋φＲＢ＋φＢ）    （７）
【００３１】
上式（１）、（４）、（７）より、高純度画素値ｇ’は下式（８）のように求められる。
ｇ’＝Ｉ・φＧ＝β・ｇ−（ｒ＋α・ｇ＋ｂ）    （８）
【００３２】
以上のようにして、高純度な原色画素値｛ｒ’，ｇ’，ｂ’｝＝｛Ｉ・φＢ，Ｉ・φＧ，Ｉ・φＲ｝が得られる。
【００３３】
なお、高感度画像としては、ＲＧＢ特性の重なりが大きい撮像センサで取得したままの画像を使えばよいので、画素値ｒ、ｇ、ｂを用いればよい。
【００３４】
２．２．係数α、βの算出手法
次に、上記の係数α、βを推定する手法について説明する。以下で説明する手法で予め求めておいた係数α、βを画像処理装置１００に記憶しておいてもよいし、或は、画像処理装置１００が分光特性ＦＢ、ＦＧ、ＦＲを取得し、その分光特性に基づいて係数α、βを求めてもよい。
【００３５】
図４に示すように、実用的観点から、分光特性ＦＢ、ＦＧ、ＦＲはＦＧに対してＦＢ、ＦＲが対称的な特性になっているとは限らないので、ＦＢ、ＦＲに偏りのある特性の場合について、係数α、βの決定手法を示す。
【００３６】
まず、係数αの求め方について説明する。ＦＢとＦＲの重なり部分φＲＢはＦＧに対して偏っており、ＦＧの最大値を示す波長をλＣとし、ＦＢとＦＲのクロスポイントを示す波長をλ’Ｃとする。下式（９）に示すように、重複部分φＲＢの分光特性及び分光特性ＦＧを、波長λ０、λ１、λ２、・・・、λＮにおける透過率を成分としたベクトルＶＲＢ、ＶＧとして捉える。
ＶＲＢ＝［φＲＢ（λ０），φＲＢ（λ１），φＲＢ（λ２），・・・，φＲＢ（λＮ）］，
ＶＧ＝［ＦＧ（λ０），ＦＧ（λ１），ＦＧ（λ２），・・・，ＦＧ（λＮ）］  （９）
【００３７】
下式（１０）に示すように、これらのベクトルＶＲＢ、ＶＧのユークリッド距離が最小になるときの係数αを採用する。これにより、φＲＢとαＦＧ（＝ＦＧ１）の類似性を高くできるため、漏れ光成分の低減効果を最適化できる。
【数１】
0006013284.tif 000002
【００３８】
なお、係数αの算出手法は上記に限定されない。例えば、係数αを変数として変化させ、上式（１）と上式（３）によりφＲ、φＢを求め、光量Ｉをフラットな分光特性である白色光と仮定して上式（５）によりｒ’、ｂ’を求め、そのホワイトバランスが最良になるように係数αを探索的に求めてもよい。
【００３９】
次に、係数βの求め方について説明する。図５に示すように、φＲ、φＢを包含するようにＦＧをゲインアップしたＦＧ２からφＲ、φＲＢ、φＢを差し引いた部分をφＧとする。分光特性ＦＲとＦＧ２がほぼ合致する波長域をλＲ、・・・、λＮとし、分光特性ＦＢとＦＧ２がほぼ合致する波長域をλ０、・・・、λＢとする。下式（１１）に示すように、波長λＲ、λＲ＋１、・・・、λＮにおける分光特性ＦＲ、ＦＧ２の透過率を成分としたベクトルをＶＲ、ＶＧＲ２とする。また、波長λ０、λ１、・・・、λＢにおける分光特性ＦＢ、ＦＧ２の透過率を成分としたベクトルをＶＢ、ＶＧＢ２とする。
ＶＲ＝［ＦＲ（λＲ），ＦＲ（λＲ＋１），・・・，ＦＲ（λＮ）］，
ＶＧＲ２＝［ＦＧ２（λＲ），ＦＧ２（λＲ＋１），・・・，ＦＧ２（λＮ）］，
ＶＢ＝［ＦＢ（λ０），ＦＢ（λ１），・・・，ＦＢ（λＢ）］，
ＶＧＢ２＝［ＦＧ２（λ０），ＦＧ２（λ１），・・・，ＦＧ２（λＢ）］    （１１）
【００４０】
下式（１２）に示すように、これらのベクトルＶＲ、ＶＧＲ２、ＶＢ、ＶＧＢ２のユークリッド距離が最小になるときの係数βを採用する。これにより、φＲ、φＢとβＦＧ（＝ＦＧ２）の類似性を高くできるため、漏れ光成分の低減効果を最適化できる。
【数２】
0006013284.tif 000003
【００４１】
なお、係数βの算出手法は上記に限定されない。例えば、係数βを変数として変化させ、上式（１）と上式（３）によりφＲ、φＲＢ、φＢを求め、光量Ｉをフラットな分光特性である白色光と仮定して上式（５）によりｒ’、ｇ’、ｂ’を求め、そのホワイトバランスが最良になるように係数βを探索的に求めてもよい。
【００４２】
以上の説明では分光特性ＦＢ、ＦＧ、ＦＲを撮像センサのカラーフィルタの分光特性であるものとして説明したが、分光特性ＦＢ、ＦＧ、ＦＲは、例えば撮像光学系の分光特性や撮像センサの画素の感度特性、光源の分光特性等を含んでもよい。この場合、照明や撮像センサによる撮像条件が決まっていれば、分光特性ＦＢ、ＦＧ、ＦＲはそれに従った特性となるので、予め係数α，βを求めておくことができる。一方、外光などによる撮影の場合は、撮影ごとに分光特性ＦＢ、ＦＧ、ＦＲを検出し、その分光特性から係数α，βを求めてもよい。
【００４３】
２．３．撮像装置
図６に、高感度画像｛ｒ，ｇ，ｂ｝と高色再現画像｛ｒ’，ｇ’，ｂ’｝を同時取得する撮像装置の構成例を示す。
【００４４】
撮像装置は、結像レンズ１４（光学系）、撮像部４０、モニタ表示部５０、分光特性検出部６０、画像処理装置１００を含む。画像処理装置１００は、デモザイキング部１３０、高画質化処理部１４０、モニタ画像生成部１５０、高純度分光分離処理部１６０、高画質化処理部１８０、撮像モード選択部１９０、分光特性記憶部１９５を含む。
【００４５】
撮像部４０は、撮像素子２０と撮像処理部を含む。撮像素子２０は、例えばベイヤ配列のカラー撮像センサである。撮像処理部は、撮像動作の制御や、アナログの画素信号をＡ／Ｄ変換する処理等を行い、ベイヤ配列の画像｛ｒ，ｇｒ，ｇｂ，ｂ｝を出力する。
【００４６】
デモザイキング部１３０は、ベイヤ配列の画像をデモザイキング処理し、画素毎にＲＧＢ画素値を有する画像（３板化画像）｛ｒ，ｇ，ｂ｝を生成する。
【００４７】
カラー撮像センサは、ＲＧＢの分光特性ＦＢ、ＦＧ、ＦＲの重なりを大きくしたものを採用しているので、画像｛ｒ，ｇ，ｂ｝は、そのまま高感度画像として扱える。なお、カラー撮像センサとして、通常のオーバーラップ特性をもつ撮像センサを用いてもよいし、或は、通常よりもオーバーラップを大きくした撮像センサを用いてもよい。後者の場合、各色の帯域を広くできるため、通常よりも高感度な撮影が可能であり、例えば暗所等でも明るい画像が得られる。
【００４８】
高画質化処理部１４０は、高感度画像｛ｒ，ｇ，ｂ｝に対して高画質化処理（例えば、ノイズ低減処理や、階調補正処理等）を行い、その画像をモニタ画像生成部１５０へ出力する。モニタ画像生成部１５０は、その画像をモニタ表示部５０に表示する処理を行う。
【００４９】
高純度分光分離処理部１６０は、係数α、βを取得する係数取得部１７０と、デモザイキング処理を経た３板化画像｛ｒ，ｇ，ｂ｝から純度の高い原色成分を抽出する補正処理部１２０を含む。
【００５０】
具体的には、分光特性記憶部１９５は、カラーフィルタの分光特性｛ＦＢ、ＦＧ、ＦＲ｝を記憶する。この分光特性は、例えば撮像部４０から取得してもよいし、予め分光特性記憶部１９５に記憶しておいてもよい。また、外光や照明光の分光特性を取得する分光特性検出部６０を更に設け、その外光や照明光の分光特性を加えて分光特性｛ＦＢ、ＦＧ、ＦＲ｝を取得してもよい。
【００５１】
係数取得部１７０は、分光特性記憶部１９５から分光特性｛ＦＢ、ＦＧ、ＦＲ｝を読み出し、その分光特性｛ＦＢ、ＦＧ、ＦＲ｝に基づいて、上述の手法により係数α、βを求める。
【００５２】
或は、分光特性記憶部１９５は、予め分光特性｛ＦＢ、ＦＧ、ＦＲ｝から求めておいた係数α、βを記憶しておいてもよい。この場合、係数取得部１７０は、分光特性記憶部１９５から係数α、βを読み出すことにより、係数α、βを取得する。
【００５３】
補正処理部１２０は、上述の手法に基づく処理を行うことにより、係数α、βに基づいて高色再現画像｛ｒ’，ｇ’，ｂ’｝を求め、その高色再現画像を出力する。
【００５４】
高画質化処理部１８０は、色の再現性を高めるために、高色再現画像｛ｒ’，ｇ’，ｂ’｝に対して色バランス等の調整処理を行う。即ち、高色再現画像｛ｒ’，ｇ’，ｂ’｝に対してホワイトバランス処理等の適正な高画質化処理を施す。高画質化処理部１８０は、その画像をモニタ画像生成部１５０へ出力し、モニタ画像生成部１５０は、その画像をモニタ表示部５０に表示する処理を行う。
【００５５】
撮像モード選択部１９０は、モニタ表示画像を選択する処理を行う。具体的には、モニタ画像生成部１５０に対して、高感度画像と高色再現画像のうち選択した一方をモニタに表示させる指示を行う。或は、高感度画像と高色再現画像の両方を表示させる指示を行ってもよい。画像の選択は、例えば不図示の操作部を介して入力されたユーザー指示に基づいて行ってもよい。或は、外光センサを設け、その外光センサで検出した明るさに基づいて画像を選択してもよい。例えば、外光が閾値より明るい場合には高色再現画像を選択し、外光が閾値より暗い場合には高感度画像を選択してもよい。
【００５６】
なお、上記では画像処理装置１００が撮像装置に設けられる場合を例に説明したが、本実施形態はこれに限定されず、画像処理装置１００を撮像装置と別体に構成してもよい。この場合、別体に構成された撮像装置が撮像画像データと分光特性｛ＦＢ、ＦＧ、ＦＲ｝のデータを不図示の記録装置に記録しておく。そして、画像処理装置１００が、記録されたデータを取得し、そのデータから高色再現画像｛ｒ’，ｇ’，ｂ’｝を求める。このように、別体の画像処理装置１００が事後処理により高色再現画像を求めてもよい。別体の画像処理装置１００としては、例えばＰＣ等の情報処理装置が想定される。
【００５７】
この撮像システムによれば、例えば、暗所環境において感度を優先したい場合は高感度画像を選択し、明所環境において色再現性を優先したい場合は高色再現画像を１度に撮影した画像から選択できる。条件を変えて複数回に分けて撮影する従来のやり方に比べ、リアルタイムに２種類の撮影を可能にし、データ量の節約と目的に柔軟に応じた撮影を可能とする。また、本実施形態では、基本的に撮像センサのカラーフィルタの特性に依存するだけなので、純度の高い３原色画素値を抽出するための光学フィルタやその機械的挿抜機構も不要なために、実施が容易で実現性に極めて優れている。
【００５８】
３．第２実施形態
次に、第２実施形態について説明する。第２実施形態の撮像装置は、図１や図６の撮像装置と同様に構成できる。
【００５９】
第２実施形態では、領域｛φＲ，φＲＢ，φＢ｝の分光特性を関係式に基づいて推定する。具体的には、上記領域の画素値｛Ｉ・φＲ，Ｉ・φＲＢ，Ｉ・φＢ｝＝｛ｒ’，ｇｘ，ｂ’｝と、デモザイキング処理後の原色画素値｛ｒ，ｇ，ｂ｝との間には、下式（１３）の関係が成り立つ。ここで、便宜的にＩ・φＲＢ＝ｇｘとする。
ｒ＝Ｉ・ＦＲ＝Ｉ・（φＲ＋φＲＢ）＝ｒ’＋ｇｘ，
ｂ＝Ｉ・ＦＢ＝Ｉ・（φＢ＋φＲＢ）＝ｂ’＋ｇｘ    （１３）
【００６０】
上式（１３）より、Ｉ・φＲＢ＝ｇｘを未知数（未知変数）として下式（１４）の関係式が求められる。
ｇｘ＝（未知数），
ｒ’＝ｒ−ｇｘ，
ｂ’＝ｂ−ｇｘ    （１４）
【００６１】
上式（１４）は、未知数ｇｘが決まると｛ｒ’，ｂ’｝が一意的に決まることを示している。ｇｘが正しければ｛ｒ’，ｂ’｝は必ず正しい値として求めることができる。
【００６２】
しかしながら、現段階では候補値｛ｒ’，ｇｘ，ｂ’｝の組み合わせ解は多数存在している。この多数解の中から尤もらしい解を特定するために、候補値｛ｒ’，ｇｘ，ｂ’｝の近傍に存在する参照値｛ＩＲ，ＩＲＢ，ＩＢ｝を求める。分光特性ＦＲに占めるφＲの占有率をγＲとし、分光特性ＦＢに占めるφＢの占有率をγＢとし、参照値を下式（１５）とする。ここで、αは第１の実施形態にて求めた係数である。
ＩＲ＝Ｉ・φＲ＝Ｉ・（γＲ・ＦＲ）＝γＲ・ｒ，
ＩＲＢ＝Ｉ・φＲＢ＝Ｉ・（α・ＦＧ）＝α・ｇ，
ＩＢ＝Ｉ・φＢ＝Ｉ・（γＢ・ＦＢ）＝γＢ・ｂ    （１５）
【００６３】
候補値｛ｒ’，ｇｘ，ｂ’｝の中から参照値｛ＩＲ，ＩＲＢ，ＩＢ｝に最尤度な組み合わせ解を求めるために、それらの誤差が最小になるような候補値｛ｒ’，ｇｘ，ｂ’｝を求めるものとする。
【００６４】
分光特性｛ＦＲ，ＦＧ，ＦＢ｝は撮像条件で決まり、それにより係数αと占有率γＲ、γＢは既知情報であるから、それらを上式（１５）に代入し、参照値｛ＩＲ，ＩＲＢ，ＩＢ｝を求める。その参照値と上式（１４）を下式（１６）の評価関数Ｅ（ｇｘ）に代入し、評価関数Ｅ（ｇｘ）が最小になる未知数ｇｘを求める。即ち、図７に示すように、未知数ｇｘにより求められる候補値｛ｒ’，ｇｘ，ｂ’｝と参照値｛ＩＲ，ＩＲＢ，ＩＢ｝の誤差が最小になるような未知数ｇｘを特定する。
Ｅ（ｇｘ）＝（ｒ’−ＩＲ）２＋（ｇｘ−ＩＲＢ）２＋（ｂ’−ＩＢ）２    （１６）
【００６５】
上式（１６）において、未知数ｇｘを変化させて評価関数Ｅ（ｇｘ）が最小になるｇｘを探索的に求めてもよいし、上式（１６）を未知数ｇｘの２次関数として展開し、解析的に解いてｇｘを特定してもよい。
【００６６】
なお、候補値｛ｒ’，ｇｘ，ｂ’｝の取りえる範囲は下式（１７）のように決まっているので、その条件を満足する組み合わせ値となるように、ｇｘを決定する。
０≦ｒ’＜（最大設定画素値），
０≦ｇｘ＜（最大設定画素値），
０≦ｂ’＜（最大設定画素値）    （１７）
【００６７】
４．第３実施形態
４．１．左右瞳画像の漏れ光を低減する手法
次に、第３実施形態について説明する。第３実施形態では、左右瞳による位相差検出を行い、その左右瞳画像の間での漏れ光を低減する。
【００６８】
なお、以下では１眼の光学系の瞳を分割する例を説明するが、本実施形態はこれに限定されず、２眼の光学系を２つの瞳としてもよい。また、以下では第１瞳を右瞳とし、第２瞳を左瞳として説明するが、本実施形態ではこれに限定されない。即ち、瞳の分離方向は左右に限定されず、撮像光学系の光軸に対して垂直な任意の方向に第１瞳と第２瞳が分離されていればよい。
【００６９】
図８に、第３実施形態における撮像装置の基本構成例を示す。撮像装置は、被写体を撮像センサに結像させる光学系１０を含む。光学系１０は、結像レンズ１４と光学フィルタ１２を有する。
【００７０】
光学フィルタ１２は、透過率特性ｆＲを有する右瞳フィルタＦＬ１（第１フィルタ）と、透過率特性ｆＬを有する左瞳フィルタＦＬ２（第２フィルタ）と、を有する。光学フィルタ１２は、撮像光学系１０の瞳位置（例えば絞りの設置位置）に設けられ、フィルタＦＬ１、ＦＬ２がそれぞれ右瞳、左瞳に相当する。撮像素子に入射する光量をＩとすると、ＩＲ（ｘ）＝Ｉ（ｘ）・ｆＲ、ＩＬ（ｘ）＝Ｉ（ｘ）・ｆＬ、Ｉ（ｘ）＝ＩＲ（ｘ）＋ＩＬ（ｘ）である。ここで、ｘは水平方向（瞳分割方向）における位置（座標）である。
【００７１】
透過率特性｛ｆＲ，ｆＬ｝は、撮像波長帯域を２つの分光（バンド）成分に分割したものである。即ち、図９に示すように、原色ＲＧＢの３つの分光特性｛ＦＲ，ＦＧ，ＦＢ｝を含む（覆う）バンドを２つに分割したものである。例えば、ＦＲとＦＢがクロスする波長λＣでバンドを分割する。或は、左右瞳画像の分離性が良くなるように設定した波長でバンドを分割してもよい。
【００７２】
撮像センサで撮像した画像は、図９のような原色ＲＧＢの３つの分光特性｛ＦＲ，ＦＧ，ＦＢ｝を入射光量Ｉに乗じた成分値として得られる。分光特性｛ＦＲ，ＦＧ，ＦＢ｝は、撮像センサの画素毎に設けられたカラーフィルタの分光特性だけでなく、被写体に照射される外光又は照明光の分光特性が合成されたものとして定義される。
【００７３】
さて、分光特性｛ＦＲ，ＦＧ，ＦＢ｝を４つの領域に分けて考える。ＦＲとｆＲが重なる部分をφＧＲとし、ＦＢとｆＬが重なる部分をφＧＢとする。ＦＲから重複成分φＲＢ（＝φＧＲ＋φＧＢ）を差し引いた部分をφＲとし、ＦＢから重複部分φＲＢ（＝φＧＲ＋φＧＢ）を差し引いた部分をφＢとする。
【００７４】
位相差情報を精度良く検出するには、左右の瞳分割画像が高精度に分離できる必要がある。左右瞳には分離した帯域｛ｆＲ，ｆＬ｝を割り当てているため、例えば右瞳画像を画素値ｒ＝Ｉ・ＦＲで構成し、左瞳画像を画素値ｂ＝Ｉ・ＦＢで構成することにより瞳分割画像を分離できる。
【００７５】
ところが、撮像センサのフィルタ特性は、そもそも左右の瞳分割画像に割り当てた波長帯域｛ｆＲ，ｆＬ｝に完全には分離されておらず、相互に瞳画像成分が漏れ光として入り込み合成されて取得してしまうという課題がある。即ち、右瞳画像の画素値ｒ＝Ｉ・ＦＲには、左瞳の分光特性ｆＬと重なるφＧＢの成分が含まれており、左瞳画像の画素値ｂ＝Ｉ・ＦＢには、右瞳の分光特性ｆＲと重なるφＧＲの成分が含まれている。このように、左右瞳画像が相互に混入して、分離性が低下している。
【００７６】
このような分離性の低下は、位相差検出の精度を低下させる要因となる。図１０に示すように、例えば被写体が白から黒へ変化する像パターンである場合、右瞳画像と左瞳画像のプロファイルの歪みが発生し、右瞳画像と左瞳画像の類似性を失う。この類似性の低下により、相関演算による位相差検出の精度が著しく劣化する。
【００７７】
即ち、右瞳、左瞳を通過した成分は、それぞれ左瞳、右瞳のポイントスプレッドファンクションＰＳＦＬ、ＰＳＦＲと被写体のプロファイルとのコンボリューションになっている。これにより、右瞳、左瞳を通過した成分の間には視差（位相差）が生じる。右瞳画像の画素値ｒは、右瞳を通過したＩＲ・（φＲ＋φＧＲ）に左瞳を通過したＩＬ・φＧＢが加算されているため、これらの視差をもつ成分を加算した画素値ｒのプロファイルは、右瞳のみのプロファイルとならず歪んでいる。画素値ｂについても同様であり、左瞳を通過したＩＬ・（φＢ＋φＧＢ）に右瞳を通過したＩＲ・φＧＲが加算されており、プロファイルは歪んでいる。これらのプロファイルの相関演算を行った場合、歪みの影響で類似性が低下しており、正確なマッチングができなくなってしまう。
【００７８】
そこで、本実施形態では、右瞳画像から不要な左瞳の通過成分ＩＬ・φＧＢを除き、左瞳画像から不要な右瞳の通過成分ＩＲ・φＧＲを除く。φＲＢ＝φＧＲ＋φＧＢなので、第１実施形態等で説明した手法によりφＲＢの成分値を低減又は除去することにより、分光特性｛φＲ，φＢ｝の画素値｛ｒ’，ｂ’｝＝｛ＩＲ・φＲ，ＩＬ・φＢ｝を求めることができる。この画素値｛ｒ’，ｂ’｝は、それぞれ純粋な右瞳、左瞳の通過光の成分と見なせるので、歪みのないプロファイルが得られる。この画素値｛ｒ’，ｂ’｝でそれぞれ右瞳画像、左瞳画像を構成することにより、左右瞳画像の類似性が保たれ、高精度な位相差検出が可能となる。
【００７９】
４．２．撮像装置
図１１に、第３実施形態における撮像装置の構成例を示す。光学系１０（光学フィルタ１２、結像レンズ１４）、撮像部４０、モニタ表示部５０、分光特性検出部６０、画像処理装置１００を含む。画像処理装置１００は、デモザイキング部１３０、モニタ画像生成部１５０、高純度分光分離処理部１６０、測距演算部１７５、高画質化処理部１８０、位相差検出部１８５、分光特性記憶部１９５を含む。なお、図１や図６で説明した構成要素と同一の構成要素には同一の符号を付し、適宜説明を省略する。
【００８０】
分光特性記憶部１９５は、光学フィルタ１２の分光特性と照明光（又は外光）の分光特性と撮像センサのカラーフィルタの分光特性で決まる分光特性｛ＦＢ，ＦＧ，ＦＲ｝を記憶する。或は、分光特性｛ＦＢ，ＦＧ，ＦＲ｝から予め求めた係数α、βを記憶してもよい。
【００８１】
位相差検出部１８５は、高純度分光分離処理部１６０が出力する高色純度の左右瞳画像｛ｒ’，ｂ’｝の位相差δ（ｘ，ｙ）を検出する。位相差δ（ｘ，ｙ）は、各画素について求める。（ｘ，ｙ）は画像上における位置（座標）であり、例えばｘは水平走査方向、ｙは垂直走査方向に対応する。
【００８２】
測距演算部１７５は、検出された位相差δ（ｘ，ｙ）に基づいて３次元計測を行う。即ち、各画素位置（ｘ，ｙ）での被写体までの距離を位相差δ（ｘ，ｙ）から算出し、物体の３次元形状情報を取得する。なお、測距手法の詳細については後述する。
【００８３】
本実施形態のアプリケーションとしては、例えば位相差δ（ｘ，ｙ）を用いた高速位相差ＡＦや、測距情報を用いた３次元計測、立体表示等が想定できる。
【００８４】
なお、上記では高純度分光分離処理部１６０が高色再現画素値｛ｒ’，ｇ’，ｂ’｝を求める場合を例に説明したが、本実施形態はこれに限定されず、例えば高純度分光分離処理部１６０が高色再現画素値｛ｒ’，ｂ’｝のみを求めてもよい。
【００８５】
４．３．シミュレーション例
図１２、１３に、第３実施形態に第１実施形態を適用した場合のシミュレーション結果の例を示す。
【００８６】
図１２は、シミュレーションにおいて設定したＲＧＢの分光特性ＦＢ、ＦＧ、ＦＲと、被写体の分光特性である。被写体の分光特性は任意に設定可能であり、図１２の特性に限定されるものではない。また図１２には、第１実施形態で説明した分光特性ＦＧ１＝α・ＦＧを示す。α・ＦＧは、分光特性ＦＢ、ＦＲの重複部分φＲＢを係数αと分光特性ＦＧにより近似したものである。
【００８７】
図１３は、図１２の分光特性をもとに被写体のエッジ部分（例えば図１０のようなエッジ）についてシミュレーションを行った結果である。ｒ、ｂのプロファイルは、補正前の右瞳画像と左瞳画像のプロファイルである。画素値ｒ’、ｂ’のプロファイルは、補正後の右瞳画像と左瞳画像のプロファイルである。左右瞳画像のプロファイルは、本来、瞳分割方向（横軸方向）に位相差δの分だけ離れた相似なプロファイルであることが望ましい。しかしながら、補正前のプロファイルでは左右瞳画像が混合し、左右瞳画像の相似性が失われていることが分かる。一方、補正後のプロファイルでは、瞳分割方向に位相差δの分だけ離れた相似なプロファイルとなっていることが分かる。このような相似なプロファイルで相関演算を行うことにより、位相差検出の精度が向上することは明かである。
【００８８】
以上の実施形態によれば、図９に示すように、第２色（緑色）は、第１色（青色）よりも長波長側及び第３色（赤色）よりも短波長側の色である。そして、第１瞳（第１フィルタＦＬ１、右瞳）が透過する第１波長帯域ｆＲは、第３色（赤色）に対応し、第２瞳（第２フィルタＦＬ２、左瞳）が透過する第２波長帯域ｆＬは、第１色（青色）に対応する。
【００８９】
このようにすれば、第３色（赤色）の画像を第１瞳画像（右瞳画像）とし、第１色（青色）の画像を第２瞳画像（左瞳画像）とすることで、位相差を検出することができる。そして、本実施形態では、第１色及び第３色の画素値が、第１透過率特性ＦＢと第３透過率特性ＦＲの重複部分φＲＢの成分値に基づいて補正されるので、左右瞳画像の混合（漏れ光）を低減でき、高精度な位相差検出を実現できる。
【００９０】
ここで、第３色に対応する第１波長帯域とは、白色帯域（ＦＲ、ＦＧ、ＦＢを覆う帯域）のうち少なくとも第３色の帯域を含むものであり、第３色の透過率特性ＦＲの帯域全てを含む必要はない。例えば、第３色の透過率特性ＦＲの主要な帯域（例えば最大透過率の前後の帯域）に対応していればよい。例えば本実施形態では、図９に示すように、白色帯域を波長λＣで分割した２つの帯域のうち、長波長側（即ち赤色側）の帯域である。また、第１色に対応する第２波長帯域も同様である。即ち、白色帯域のうち少なくとも第１色の帯域を含むものであり、第１色の透過率特性ＦＢの帯域全てを含む必要はない。
【００９１】
また本実施形態では、補正処理部１２０は、第２色の画素値ｇに基づいて第１透過率特性ＦＢと第３透過率特性ＦＲの重複部分の成分値Ｉ・φＲＢ≒α・ｇを推定し、第１色及び第３色の画素値ｂ、ｇから重複部分の成分値Ｉ・φＲＢ≒α・ｇを低下させる補正を行う。
【００９２】
このようにすれば、第１色及び第３色の画素値ｂ、ｒにおいて互いに重複する成分（Ｉ・φＲＢ）を、補正により低下させる又はキャンセルすることが可能となる。これにより、カラーフィルタの透過率特性ＦＢ、ＦＧ、ＦＲがオーバーラップした高感度な撮像画像から、あたかもオーバーラップが小さいカラーフィルタを用いたかのような色純度の高い画像を得ることができる。このような色純度の高い画像を用いて相関演算を行うことにより、位相差検出の精度を向上できる。
【００９３】
また本実施形態では、補正処理部１２０は、第１透過率特性ＦＢと第３透過率特性ＦＲに基づく第１係数αを第２色の画素値ｇに乗じることで、重複部分の成分値Ｉ・φＲＢ≒α・ｇを求める（図２、上式（１）〜（５））。
【００９４】
上述したように、一般的な撮像素子では第１色（青色）及び第３色（赤色）のカラーフィルタの分光特性ＦＢ、ＦＲの重複部分φＲＢは、第２色（緑色）のカラーフィルタの分光特性ＦＧに相似である。また、本実施形態では高色純度の画像を分離できることから、一般的な撮像素子とは異なる分光特性を設定することも可能であり、その際に重複部分φＲＢとＦＧの相似性を高く設定しておくことも可能である。このような相似性から、重複部分の成分値Ｉ・φＲＢをα・ｇと推定することが可能となり、その推定値に基づいて第１色〜第３色の画素値ｂ、ｇ、ｒの色純度を上げる補正が可能となる。
【００９５】
また本実施形態では、係数取得部１７０は、第１係数αを乗じた第２透過率特性ＦＧと重複部分φＲＢとの類似性が最も高い場合の第１係数αを取得する（図４、上式（９）、（１０））。
【００９６】
このようにすれば、第２透過率特性ＦＧと重複部分φＲＢとの類似性に基づいて、その類似性が最も高いときの係数αを決定することができる。これにより、色純度を上げる補正（即ち、画素値ｒ、ｂから重複部分の成分α・ｇを減算する補正）の精度を向上できる。
【００９７】
また本実施形態では、類似性が最も高い場合の第１係数αは、重複部分φＲＢの複数波長λ０、λ１、・・・、λＮでの透過率を成分とするベクトルＶＲＢと、第１係数αを乗じた第２透過率特性ＦＧの複数波長λ０、λ１、・・・、λＮでの透過率を成分とするベクトルＶＧと、の間のユークリッド距離が最小となる場合の第１係数αである（図４、上式（９）、（１０））。
【００９８】
このようにすれば、ベクトルＶＲＢとベクトルＶＧとの間のユークリッド距離を指標として類似度を求めることができる。そして、その指標が最小値をとる場合を類似度が最も高い場合として、第１係数αを決定することができる。
【００９９】
また本実施形態では、補正処理部１２０は、重複部分φＲＢの成分値α・ｇを第１色の画素値ｂから減算することで第１色の画素値ｂを補正し（画素値ｂ’）、重複部分φＲＢの成分値α・ｇを第３色の画素値ｒから減算することで第３色の画素値ｒを補正する（画素値ｒ’）（上式（１）〜（５））。
【０１００】
このようにすれば、第１係数により推定した重複部分φＲＢの成分値α・ｇにより、第１色と第３色の画素値ｂ、ｒから重複部分φＲＢの成分値Ｉ・φＲＢを低下させることができる。これにより、カラーフィルタの分光特性がオーバーラップした撮像画像から、色純度が高い画素値ｂ、ｒを求めることができる。
【０１０１】
また本実施形態では、補正処理部１２０は、第１透過率特性ＦＢと第３透過率特性ＦＲに基づく第２係数βを乗じた第２色の画素値ｇから、重複部分の成分値α・ｇと補正した第１色の画素値ｂ’と補正した第３色の画素値ｒ’とを減算することで、第２色の画素値ｇを補正する（画素値ｇ’）（図５、上式（６）、（７））。
【０１０２】
このようにすれば、第２透過率特性ＦＧを第２係数βでゲインアップした分光特性の成分値β・ｇを推定し、その推定した成分値β・ｇに基づいて色純度の高い第２色の画素値ｇ’を求めることができる。即ち、成分値β・ｇから、第１色、第２色の画素値ｂ、ｒとの重複部分を低下させる補正を行うことができる。
【０１０３】
また本実施形態では、図５に示すように、係数取得部１７０は、第１透過率特性ＦＢの短波長側の一部（波長λＢより短波長側）及び第３透過率特性ＦＲの長波長側の一部（波長λＲより短波長側）と、第２係数βを乗じた第２透過率特性ＦＧと、の類似性が最も高い場合の第２係数βを取得する（上式（１１）、（１２））。
【０１０４】
このようにすれば、第２透過率特性ＦＧと第１、第３透過率特性ＦＢ、ＦＲの一部との類似性に基づいて、その類似性が最も高いときの係数βを決定することができる。これにより、色純度を上げる補正（即ち、成分値β・ｇから重複部分の成分ｒ’、ｂ’、α・ｇを減算する補正）の精度を向上できる。
【０１０５】
また本実施形態では、図５に示すように、第１透過率特性ＦＢの最大透過率よりも短波長側の所定波長を第１波長λＢとし、第３透過率特性ＦＲの最大透過率よりも長波長側の所定波長を第２波長λＲとする。そして、第１透過率特性ＦＢにおける第１波長λＢよりも短波長側の複数波長λ０、λ１、・・・、λＢでの透過率を成分とするベクトルをＶＢとする。第３透過率特性ＦＲにおける第２波長λＲよりも長波長側の複数波長λＲ、λＲ＋１、・・・、λＮでの透過率を成分とするベクトルをＶＲとする。第２係数βを乗じた第２透過率特性ＦＧの複数波長での透過率を成分とするベクトルをＶＧＢ２、ＶＧＲ２とする（上式（１１））。この場合に、類似性が最も高い場合の第２係数βは、ベクトルＶＢ及びベクトルＶＲとベクトルＶＧＢ２、ＶＧＲ２との間のユークリッド距離が最小となる場合の第２係数βである（上式（１２））。
【０１０６】
このようにすれば、ベクトルＶＢ及びベクトルＶＲとベクトルＶＧＢ２、ＶＧＲ２との間のユークリッド距離を指標として類似度を求めることができる。そして、その指標が最小値をとる場合を類似度が最も高い場合として、第２係数βを決定することができる。
【０１０７】
また本実施形態では、補正処理部１２０は、重複部分φＲＢの成分値ｇｘ＝Ｉ・φＲＢの候補値、及び第１色（青色）の画素値ｂを候補値ｇｘで補正した値ｂ’＝ｂ−ｇｘ、及び第３色（赤色）の画素値ｒを候補値ｇｘで補正した値ｒ’＝ｒ−ｇｘと、第１色〜第３色の画素値ｂ、ｇ、ｒと、の類似性を表す評価値Ｅ（ｇｘ）を求める（上式（１３）〜（１６））。そして、補正処理部１２０は、類似性が最も高い場合の候補値ｇｘを評価値Ｅ（ｇｘ）に基づいて決定することで、重複部分φＲＢの成分値ｇｘ＝Ｉ・φＲＢを求める（図７）。
【０１０８】
このようにすれば、補正後の画素値の候補値｛ｒ’，ｇｘ，ｂ’｝と第１色〜第３色の画素値ｂ、ｇ、ｒと、の類似性に基づいて、補正後の画素値｛ｒ’，ｇ’，ｂ’｝を求めることが可能となる。即ち、類似性の指標として評価値Ｅ（ｇｘ）を求め、例えばその評価値Ｅ（ｇｘ）が最小値となる場合を類似性が最も高い場合として、重複部分φＲＢの成分値ｇｘを決定できる。重複部分φＲＢの成分値ｇｘが求まれば、第１実施形態と同様にして色純度の高い画素値｛ｒ’，ｇ’，ｂ’｝を求めることが可能である。
【０１０９】
５．位相差から距離を求める手法
次に、位相差から被写体までの距離を求める手法について説明する。この測距手法は、例えば測距演算部１７５の処理に用いる。或は、求めたデフォーカス量を用いて位相差ＡＦ制御を行ってもよい。
【０１１０】
図１４に示すように、絞りを開放した時の開口径をＡとし、開口径Ａに対する左右の瞳の重心間の距離をｑ×Ａとし、光軸上における結像レンズ１４の中心から撮像素子のセンサ面ＰＳまでの距離をｓとし、センサ面ＰＳにおける右瞳画像ＩＲ（ｘ）と左瞳画像ＩＬ（ｘ）の位相差をδとすると、三角測量法により下式（１８）が成り立つ。
ｑ×Ａ：δ＝ｂ：ｄ，
ｂ＝ｓ＋ｄ        （１８）
【０１１１】
ここで、ｑは、０＜ｑ≦１を満たす係数であり、ｑ×Ａは、絞り量によっても変化する値である。ｓは、レンズ位置検出センサにより検出される値である。ｂは、光軸上における結像レンズ１４の中心からフォーカス位置ＰＦまでの距離を表す。δは、相関演算により求められる。上式（１８）よりデフォーカス量ｄは下式（１９）で与えられる。
ｄ＝（δ×ｓ）／｛（ｑ×Ａ）−δ｝  （１９）
【０１１２】
距離ａは、フォーカス位置ＰＦに対応する距離であり、光軸上における結像レンズ１４から被写体までの距離である。一般的に結像光学系では、複数のレンズで構成される結像光学系の合成焦点距離をｆとすると、下式（２０）が成り立つ。
（１／ａ）＋（１／ｂ）＝１／ｆ  （２０）
【０１１３】
上式（１９）で求めたデフォーカス量ｄ及び検出可能な値ｓから、上式（１８）によりｂを求め、そのｂと、結像光学構成により決まる合成焦点距離ｆとを上式（２０）に代入し、距離ａを算出する。任意の画素位置に対応する距離ａを算出できるので、被写体までの距離計測や、被写体の３次元形状計測を行うことが可能である。
【０１１４】
ＡＦ制御を行う場合には、次のようにする。図１４が、例えば撮像装置の上部（瞳分割方向に垂直な方向）から見た図である場合、ｘは水平方向（瞳分割方向）の座標軸である。座標軸ｘでの位相差δを、右瞳画像ＩＲ（ｘ）及び左瞳画像ＩＬ（ｘ）のいずれかを基準として正負の符号で表すように定義し、その位相差δの正負により、センサ面ＰＳがフォーカス位置ＰＦの前方にあるのか後方にあるのかを識別する。センサ面ＰＳとフォーカス位置ＰＦの前後関係が分かれば、フォーカス位置ＰＦにセンサ面ＰＳを一致させる際に、どちらの方向にフォーカスレンズを移動させれば良いのかが簡単に分る。
【０１１５】
デフォーカス量ｄ及び位相差δの符号を求めた後、それらに基づいて、デフォーカス量ｄをゼロにするようにフォーカスレンズを駆動させ、フォーカシングを行う。本実施形態では、左右瞳により水平方向に色分割しているので、撮像画像の中のフォーカシングさせたい水平方向の領域を選択して相関演算を行えばよい。なお、瞳色分割の方向は水平方向とは限らないので、左右帯域分離光学フィルタの設定条件（分割方向）に合わせて適宜、相関演算を行う方向を設定すればよい。また、デフォーカス量ｄを求める対象領域は、撮像画像の一部領域に限らず、撮像画像の全領域を対象としてもよい。その場合は、複数のデフォーカス量ｄが求められるので、それらを所定の評価関数により最終的なデフォーカス量を決定するプロセスが必要である。
【０１１６】
以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、撮像装置、画像処理装置の構成・動作や、それらの作動方法（撮像方法、画像処理方法）も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
【符号の説明】
【０１１７】
１０  撮像光学系、１１  第１瞳、１２  光学フィルタ、１３  第２瞳、
１４  結像レンズ、２０  撮像素子、４０  撮像部、５０  モニタ表示部、
６０  分光特性検出部、１００  画像処理装置、１１０  画像取得部、
１２０  補正処理部、１３０  デモザイキング部、１４０  高画質化処理部、
１５０  モニタ画像生成部、１６０  高純度分光分離処理部、
１７０  係数取得部、１７５  測距演算部、１８０  高画質化処理部、
１８５  位相差検出部、１９０  撮像モード選択部、１９５  分光特性記憶部、
ＦＢ，ＦＧ，ＦＲ  第１〜第３透過率特性、
ＦＬ１  右瞳フィルタ、ＦＬ２  左瞳フィルタ、
ＰＳＦＬ  左瞳のポイントスプレッドファンクション、
ＰＳＦＲ  右瞳のポイントスプレッドファンクション、
ｂ，ｇ，ｒ  第１色〜第３色の画素値、
ｂ’，ｇ’，ｒ’  補正後の第１色〜第３色の画素値、
ｆＬ  左瞳フィルタの透過率特性、ｆＲ  右瞳フィルタの透過率特性、
δ  位相差、λＢ，λＲ  第１、第２波長、
φＢ，φＧ，φＲ，φＲＢ，φＧＢ，φＧＲ  領域
【図１】
0006013284.tif 000004
【図２】
0006013284.tif 000005
【図３】
0006013284.tif 000006
【図４】
0006013284.tif 000007
【図５】
0006013284.tif 000008
【図６】
0006013284.tif 000009
【図７】
0006013284.tif 000010
【図８】
0006013284.tif 000011
【図９】
0006013284.tif 000012
【図１０】
0006013284.tif 000013
【図１１】
0006013284.tif 000014
【図１２】
0006013284.tif 000015
【図１３】
0006013284.tif 000016
【図１４】
0006013284.tif 000017