(57)【要約】【課題】簡素な処理で高解像化処理を行うことが可能な画像処理装置、撮像装置及び画像処理方法等を提供すること。【解決手段】画像処理装置は画像取得部と位相差画像生成部２２０と高解像化処理部２２５とを含む。画像取得部は、第１被写体像と、第１被写体像に対して視差を有する第２被写体像と、を撮像して得られた撮像画像を取得する。位相差画像生成部２２０は、その撮像画像に基づいて、第１被写体像に対応する第１画像ＩＲと第２被写体像に対応する第２画像ＩＬとを生成する。高解像化処理部２２５は、その第１画像ＩＲと第２画像ＩＬとに基づいて、撮像画像の高解像化処理を行う。【選択図】      図２
2014045275.tif 000002
【特許請求の範囲】
【請求項１】
第１被写体像と前記第１被写体像に対して視差を有する第２被写体像とを撮像して得られた撮像画像を取得する画像取得部と、
前記撮像画像に基づいて、前記第１被写体像に対応する第１画像と前記第２被写体像に対応する第２画像とを生成する位相差画像生成部と、
前記第１画像と前記第２画像とに基づいて、前記撮像画像の高解像化処理を行う高解像化処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記第１被写体像と前記第２被写体像との間の前記視差は、
前記撮像画像を撮像する撮像素子の水平走査方向及び垂直走査方向に交差する方向の視差であり、
前記高解像化処理部は、
前記第１画像及び前記第２画像の画素のうち前記視差の方向に沿って並ぶ画素の画素値に基づいて、前記視差の方向で前記撮像画像を高解像化する前記高解像化処理を行うことを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記高解像化処理部は、
前記視差の方向に隣り合う第１画素と第２画素との間に補間対象画素を設定し、前記第１画像及び前記第２画像のうち一方の画像における前記第１画素の画素値と、前記第１画像及び前記第２画像のうち他方の画像における前記第２画素の画素値とに基づいて、前記補間対象画素の画素値を求めることを特徴とする画像処理装置。
【請求項４】
請求項３において、
前記第１被写体像が、前記第２被写体像に対して、前記第１画素から前記第２画素へ向かう方向へ前記視差によりシフトしている場合に、
前記高解像化処理部は、
前記第２画像における前記第１画素の画素値と前記第１画像における前記第２画素の画素値とを加算して第１加算値を求め、前記第１画像における前記第１画素の画素値と前記第２画像における前記第２画素の画素値とを加算して第２加算値を求め、前記第２加算値に所定係数を乗じた値と前記第１加算値とを加算して前記補間対象画素の画素値を求めることを特徴とする画像処理装置。
【請求項５】
請求項２において、
前記高解像化処理部は、
前記視差の方向に隣り合う第１〜第３画素のうち前記第１画素と前記第３画素との間の前記第２画素を推定対象画素に設定し、前記第１画像及び前記第２画像における前記第２画素の画素値と、前記第１画像及び前記第２画像のうち一方の画像における前記第１画素の画素値と、前記第１画像及び前記第２画像のうち他方の画像における前記第２画素の画素値とに基づいて、前記推定対象画素の画素値を求めることを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記第１被写体像が、前記第２被写体像に対して、前記第１画素から前記第３画素へ向かう方向へ前記視差によりシフトしている場合に、
前記高解像化処理部は、
前記第１画像及び前記第２画像における前記第２画素の画素値を加算して第３画素値を求め、前記第１画像における前記第１画素の画素値と前記第２画像における前記第３画素の画素値とを加算して第４加算値を求め、前記第４加算値に負の所定係数を乗じた値と前記第３加算値とを加算して前記推定対象画素の画素値を求めることを特徴とする画像処理装置。
【請求項７】
請求項１乃至６のいずれかに記載された画像処理装置と、
前記第１被写体像と前記第２被写体像とを撮像する撮像素子と、
を備えることを特徴とする撮像装置。
【請求項８】
請求項７において、
撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタと、
マルチバンド推定部と、
を備え、
前記撮像素子は、
第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを有し、
前記マルチバンド推定部は、
前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記撮像画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定し、
前記位相差画像生成部は、
前記第１〜第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を前記第１画像として取得し、前記第１〜第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を前記第２画像として取得することを特徴とする撮像装置。
【請求項９】
第１被写体像と前記第１被写体像に対して視差を有する第２被写体像とを撮像して得られた撮像画像を取得し、
前記撮像画像に基づいて、前記第１被写体像に対応する第１画像と前記第２被写体像に対応する第２画像とを生成し、
前記第１画像と前記第２画像とに基づいて、前記撮像画像の高解像化処理を行うことを特徴とする画像処理方法。
【請求項１０】
請求項９において、
前記第１被写体像と前記第２被写体像との間の前記視差が、前記撮像画像を撮像する撮像素子の水平走査方向及び垂直走査方向に交差する方向の視差である場合に、前記第１画像及び前記第２画像の画素のうち前記視差の方向に沿って並ぶ画素の画素値に基づいて、前記視差の方向で前記撮像画像を高解像化する前記高解像化処理を行うことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置及び画像処理方法等に関する。
【背景技術】
【０００２】
従来より、低解像画像から高精細画像を生成する種々の手法が知られている。例えば、そのような手法として、いわゆる超解像処理がある。超解像処理では、低解像画像を順次位置ずらししながら読み出し、それら複数の位置ずれ画像に基づいて高精細化画像を一旦仮定する。その推定した画像を劣化させて低解像画像を生成し、元の低解像画像と比較し、その差異が最小になるように、仮定する高精細画像を変形させる。そして、この一連の処理を繰り返すことにより高精細画像を推定する。超解像処理としては、これまでに多くの手法が提案されており、代表的にはＭＬ（Maximum-Likelihood）法、ＭＡＰ（Maximum A Posterior）法、ＰＯＣＳ（Projection Onto Convex Set）法、ＩＢＰ（Iterative Back Projection）法などがある。
【０００３】
また、低解像画像から高精細画像を生成する手法として、画素シフトを用いる手法が知られている。その画素シフトを用いる手法として、例えば特許文献１、２に記載される手法がある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１２４６２１号公報
【特許文献２】特開２００８−２４３０３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
従来の高解像化処理では、処理量が非常に大きくなるという課題がある。例えば、上述した一般的な超解像処理では、２次元フィルタを多用して繰り返し演算を行うことにより推定精度を上げる手法であるため、非常に処理の規模が大きくなり、処理時間が非常に長くなるという課題がある。
【０００６】
本発明の幾つかの態様によれば、簡素な処理で高解像化処理を行うことが可能な画像処理装置、撮像装置及び画像処理方法等を提供できる。
【課題を解決するための手段】
【０００７】
本発明の一態様は、第１被写体像と前記第１被写体像に対して視差を有する第２被写体像とを撮像して得られた撮像画像を取得する画像取得部と、前記撮像画像に基づいて、前記第１被写体像に対応する第１画像と前記第２被写体像に対応する第２画像とを生成する位相差画像生成部と、前記第１画像と前記第２画像とに基づいて、前記撮像画像の高解像化処理を行う高解像化処理部と、を備える画像処理装置に関係する。
【０００８】
本発明の一態様によれば、第１被写体像と第２被写体像を撮像した画像が取得され、その第２被写体像は第１被写体像に対して視差を有する。そして、その撮像画像に基づいて、第１被写体像に対応する第１画像と第２被写体像に対応する第２画像とが生成され、その第１画像と第２画像とに基づいて、撮像画像の高解像化処理が行われる。これにより、簡素な処理で高解像化処理を行うことが可能になる。
【０００９】
また本発明の一態様では、前記第１被写体像と前記第２被写体像との間の前記視差は、前記撮像画像を撮像する撮像素子の水平走査方向及び垂直走査方向に交差する方向の視差であり、前記高解像化処理部は、前記第１画像及び前記第２画像の画素のうち前記視差の方向に沿って並ぶ画素の画素値に基づいて、前記視差の方向で前記撮像画像を高解像化する前記高解像化処理を行ってもよい。
【００１０】
また本発明の一態様では、前記高解像化処理部は、前記視差の方向に隣り合う第１画素と第２画素との間に補間対象画素を設定し、前記第１画像及び前記第２画像のうち一方の画像における前記第１画素の画素値と、前記第１画像及び前記第２画像のうち他方の画像における前記第２画素の画素値とに基づいて、前記補間対象画素の画素値を求めてもよい。
【００１１】
また本発明の一態様では、前記第１被写体像が、前記第２被写体像に対して、前記第１画素から前記第２画素へ向かう方向へ前記視差によりシフトしている場合に、前記高解像化処理部は、前記第２画像における前記第１画素の画素値と前記第１画像における前記第２画素の画素値とを加算して第１加算値を求め、前記第１画像における前記第１画素の画素値と前記第２画像における前記第２画素の画素値とを加算して第２加算値を求め、前記第２加算値に所定係数を乗じた値と前記第１加算値とを加算して前記補間対象画素の画素値を求めてもよい。
【００１２】
また本発明の一態様では、前記高解像化処理部は、前記視差の方向に隣り合う第１〜第３画素のうち前記第１画素と前記第３画素との間の前記第２画素を推定対象画素に設定し、前記第１画像及び前記第２画像における前記第２画素の画素値と、前記第１画像及び前記第２画像のうち一方の画像における前記第１画素の画素値と、前記第１画像及び前記第２画像のうち他方の画像における前記第２画素の画素値とに基づいて、前記推定対象画素の画素値を求めてもよい。
【００１３】
また本発明の一態様では、前記第１被写体像が、前記第２被写体像に対して、前記第１画素から前記第３画素へ向かう方向へ前記視差によりシフトしている場合に、前記高解像化処理部は、前記第１画像及び前記第２画像における前記第２画素の画素値を加算して第３画素値を求め、前記第１画像における前記第１画素の画素値と前記第２画像における前記第３画素の画素値とを加算して第４加算値を求め、前記第４加算値に負の所定係数を乗じた値と前記第３加算値とを加算して前記推定対象画素の画素値を求めてもよい。
【００１４】
また本発明の他の態様は、上記のいずれかに記載された画像処理装置と、前記第１被写体像と前記第２被写体像とを撮像する撮像素子と、を備える撮像装置に関係する。
【００１５】
また本発明の他の態様では、撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタと、マルチバンド推定部と、を備え、前記撮像素子は、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを有し、前記マルチバンド推定部は、前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記撮像画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定し、前記位相差画像生成部は、前記第１〜第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を前記第１画像として取得し、前記第１〜第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を前記第２画像として取得してもよい。
【００１６】
また本発明の他の態様は、第１被写体像と前記第１被写体像に対して視差を有する第２被写体像とを撮像して得られた撮像画像を取得し、前記撮像画像に基づいて、前記第１被写体像に対応する第１画像と前記第２被写体像に対応する第２画像とを生成し、前記第１画像と前記第２画像とに基づいて、前記撮像画像の高解像化処理を行う画像処理方法に関係する。
【００１７】
また本発明の他の態様では、前記第１被写体像と前記第２被写体像との間の前記視差が、前記撮像画像を撮像する撮像素子の水平走査方向及び垂直走査方向に交差する方向の視差である場合に、前記第１画像及び前記第２画像の画素のうち前記視差の方向に沿って並ぶ画素の画素値に基づいて、前記視差の方向で前記撮像画像を高解像化する前記高解像化処理を行ってもよい。
【図面の簡単な説明】
【００１８】
【図１】撮像光学系の基本構成例。
【図２】第１実施形態における画像処理装置の構成例。
【図３】青色成分のサンプリング波形とサンプリング値とを表す模式図。
【図４】左右瞳のポイントスプレッドファンクションとサンプリング値の関係を表す模式図。
【図５】左右瞳のポイントスプレッドファンクションとサンプリング値の関係を画像平面上で表した模式図。
【図６】図６（Ａ）、図６（Ｂ）は、第１実施形態の高解像化処理についての説明図。
【図７】Ｒ画像の高解像化処理についての説明図。
【図８】Ｂ画像の高解像化処理についての説明図。
【図９】Ｇ画像の高解像化処理についての説明図。
【図１０】Ｇ画像の方向尤度補間処理についての説明図。
【図１１】第１実施形態の高解像化処理についての説明図。
【図１２】係数φの決定処理のフローチャート。
【図１３】図１３（Ａ）、図１３（Ｂ）は、第２実施形態の高解像化処理についての説明図。
【図１４】第３実施形態における撮像装置の構成例。
【図１５】第３実施形態における画像処理装置の構成例。
【図１６】バンド分割手法についての説明図。
【図１７】図１７（Ａ）、図１７（Ｂ）は、光学フィルタの分光特性を設定する手法についての説明図。
【図１８】図１８（Ａ）〜図１８（Ｆ）は、マルチバンド推定処理についての説明図。
【図１９】マルチバンド推定処理における未知数推定処理についての説明図。
【図２０】図２０（Ａ）〜図２０（Ｆ）は、マルチバンド推定処理についての説明図。
【図２１】マルチバンド推定処理における未知数推定処理についての説明図。
【発明を実施するための形態】
【００１９】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２０】
１．本実施形態の概要
低解像画像を高解像化する手法として、超解像処理や、画素シフトを用いた手法が知られている。超解像処理では、上述のように高解像画像の推定処理、その推定画像の劣化処理、その劣化画像と元の低解像画像との比較処理を繰り返す。画素シフトを用いた手法としては、例えば特許文献１、２の手法が知られている。
【００２１】
特許文献１には、画素シフトさせた低解像画像を動画撮影時に時系列的に順次撮影し、それらの複数の低解像画像を合成することにより高解像画像を仮定し、その仮定した高解像画像に対して上記のような超解像処理を施し、尤度の高い高解像画像を推定する手法が開示されている。しかしながら、一般的な超解像処理では、２次元フィルタを多用して繰り返し演算を行うことにより推定精度を上げていく手法なので、非常に処理の規模が大きくなり、膨大な処理時間がかかると言う課題がある。そのため、処理能力やコストの制限がある機器への適用は困難であり実用的ではない。また、この手法では時系列な複数の画像を用いるため、動きのある被写体の場合には画像の位置ずれが生じ、著しい画質劣化が発生するという課題がある。
【００２２】
また特許文献２には、画素シフトさせた複数枚の低解像画像を取得し、求めたい高解像画像を構成する仮の画素を副画素に設定し、その副画素の平均値と、観測される低解像画像の画素値とが一致すると仮定し、副画素の画素値を推定する手法が開示されている。しかしながら、この手法では、複数の副画素の初期値を設定し、算出したい副画素を除く副画素の画素値を低解像画像の画素値から差し引いて画素値を求め、その画素値を隣接する画素に対して順次適用する。そのため、初期値の特定が上手くいかないと推定誤差が非常に大きくなるという課題がある。初期値を設定するために副画素の画素値変化が小さく、ほぼそれらの平均値とそれらをカバーする低解像画素値が等しくなる部分を画像から見つけ出している。そのような部分を探索する処理においては、観測画像に適当な部分がないと推定は困難になる。この手法においても動きのある被写体の場合では画質劣化が発生する。
【００２３】
このように従来の高解像化手法では、複雑且つ膨大な演算を伴うものが多いという課題や、動きのある被写体で画質が劣化する、という課題があり、広く機器への適用を容易にするために、より簡素且つ効果的な高解像化処理が望まれている。
【００２４】
そこで本実施形態では、瞳分割により位相差画像（視差画像）を取得し、その位相差画像が持つ視差を利用して高解像化を行う。具体的には、第１実施形態で後述するように、撮像素子（以下では適宜「撮像センサ」とも呼ぶ）の画素の中間位置における画素値を、その中間位置に隣接する位相差画像の画素の画素値（サンプリング値）に基づいて推定する。或は、第２実施形態で後述するように、ボケ画像をもたらすポイントスプレッドファンクション（劣化関数、点広がり関数）の波形整形を行うことにより、解像度を回復させ、元の画像の解像度よりも高い解像度の画像を生成する。このように位相差画像の視差を利用して高解像化を行うことにより、簡素な演算により高解像画像を生成することが可能となる。
【００２５】
２．第１実施形態
２．１．撮像光学系の基本構成
次に、本実施形態の高解像化手法について詳細に説明する。まず、第１実施形態について説明する。
【００２６】
図１に、本実施形態における撮像光学系の基本構成例を示す。この撮像光学系は、撮像素子のセンサ面に被写体を結像させる結像レンズＬＮＳと、第１瞳と第２瞳で帯域を分離する光学フィルタＦＬＴと、を含む。なお以下では、第１瞳を右瞳とし、第２瞳を左瞳とする場合を例にとり説明する。また、左瞳から右瞳へ向かう瞳分割の方向を、適宜「視差方向」とも呼び、この視差方向（即ち水平走査方向）に沿った画素位置を位置ｘで表すものとする。
【００２７】
光学フィルタＦＬＴは、帯域｛ｒＬ，ｇ，ｂＬ｝を透過する右瞳フィルタＦＬ１（第１フィルタ）と、帯域｛ｒＲ，ｇ，ｂＲ｝を透過する左瞳フィルタＦＬ２（第２フィルタ）と、を有する。光学フィルタＦＬＴは、撮像光学系の瞳位置（例えば絞りの設置位置）に設けられ、フィルタＦＬ１、ＦＬ２がそれぞれ右瞳（第１瞳）、左瞳（第２瞳）に相当している。帯域｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝は、図１６に示すように撮像素子がもつ帯域を５バンドに分割したものであり、ｂＲ，ｂＬは青色の帯域を２バンドに分割したものであり、ｒＲ，ｒＬは赤色の帯域を２バンドに分割したものである。この帯域の詳細については、第３実施形態で後述する。なお、本実施形態では、この帯域分割に限定されず、同色の帯域を分割して右瞳と左瞳に割り当てた帯域分割であればよい。
【００２８】
瞳分割の方向である視差方向は、撮像素子の水平走査方向及び垂直走査方向に対して交差する方向である。撮像素子の画素ピッチが水平走査方向と垂直走査方向で同一の場合には、視差方向は、水平走査方向及び垂直走査方向に対して４５度を成す方向となる。なお、図１には、視差方向（ｘ方向）に対して直交する矢視方向から見た撮像光学系を図示している。
【００２９】
結像レンズＬＮＳ及び光学フィルタＦＬＴを透過した結像光には、右瞳を通過した被写体像と左瞳を通過した被写体像が含まれる。撮像素子は例えばＲＧＢベイヤ配列の撮像素子であり、その撮像素子は、これらの被写体像を含む結像光束を画像として撮像する。そして、左右瞳の透過率特性が明確に帯域分離されていることを用いて、撮像画像から右瞳画像（第１画像）の画素値ＩＲ（ｘ）と左瞳画像（第２画像）の画素値ＩＬ（ｘ）を求める。なお、ＩＲ（ｘ）、ＩＬ（ｘ）は位置ｘにおける画素値を表すが、画像全体を表す符号としても適宜ＩＲ（ｘ）、ＩＬ（ｘ）を用いる。
【００３０】
右瞳画像ＩＲ（ｘ）は、例えば、分光推定した成分値｛ｒＲＲ，ｒＲＧ，ｂＲＢ｝をそれぞれＲ、Ｇ、Ｂの画素値として構成する。左瞳画像ＩＬ（ｘ）は、例えば、分光推定した成分値｛ｒＬＲ，ｂＬＧ，ｂＬＢ｝をそれぞれＲ、Ｇ、Ｂの画素値として構成する。この右瞳画像ＩＲ（ｘ）と左瞳画像ＩＬ（ｘ）の生成手法としては、例えば第３実施形態で後述する手法を用いることができる。ここで、例えばｒＲＲは、光学フィルタＦＬＴの右瞳フィルタ及び撮像素子の赤色フィルタを通過した帯域ｒＲの成分値である。即ち、成分値を表す符号の上付きサフィックスは、右瞳「Ｒ」及び左瞳「Ｌ」のいずれを通過したかを表し、下付サフィックスは、赤色フィルタ「Ｒ」、緑色フィルタ「Ｇ」、青色フィルタ「Ｂ」のいずれを通過したかを表す。成分値｛ｒＲＧ，ｂＬＧ｝は、それぞれ赤色の帯域ｒＲ、青色の帯域ｂＬの成分値であるが、撮像素子の緑色フィルタを通過した成分であるため、緑色成分として考えることができる。
【００３１】
図１に示すように、フォーカス位置ＦＰに撮像素子のセンサ面がある場合には、右瞳画像ＩＲ（ｘ）と左瞳画像ＩＬ（ｘ）は視差方向にずれておらず、位置が一致している。一方、デフォーカス位置Ｄｒに撮像素子のセンサ面がある場合には、右瞳画像ＩＲ（ｘ）と左瞳画像ＩＬ（ｘ）は視差方向にずれる。
【００３２】
例えば、図１に示すデフォーカス位置Ｄｒは、フォーカスが撮像素子のセンサ面よりも前側にある前ピント状態であり、右瞳を通過した光束が左側に存在し、左瞳を通過した光束が右側に存在する。この前ピント状態の場合、光束の分離方向に対応して、右瞳画像ＩＲ（ｘ）が左側（−ｘ方向）にずれ、左瞳画像ＩＬ（ｘ）が右側（＋ｘ方向）にずれる。図１には、このデフォーカス位置ＤｒでのＩＲ（ｘ）、ＩＬ（ｘ）を例として図示しており、ＩＲ（ｘ）、ＩＬ（ｘ）のずれ量をδで表す。一方、フォーカスが撮像素子のセンサ面よりも後ろ側にある後ピント状態では、右瞳画像ＩＲ（ｘ）が右側にずれ、左瞳画像ＩＬ（ｘ）が左側にずれる。
【００３３】
なお、以下では後ピント状態の場合を例に本実施形態の高解像化処理について説明するが、前ピント状態の場合にも同様の処理により高解像化を行うことができる。後ピント状態・前ピント状態の判断手法としては、例えば相関演算により右瞳画像ＩＲ（ｘ）と左瞳画像ＩＬ（ｘ）のずれ方向を判断する手法が考えられる。
【００３４】
２．２．画像処理装置
図２に、本実施形態の高解像化処理を行う画像処理装置の構成例を示す。この画像処理装置は、データ記録部２００、マルチバンド推定部２７０、位相差画像生成部２２０、高解像化処理部２２５を含む。なお、本実施形態は図２の構成に限定されず、その構成要素の一部を省略したり、他の構成要素を追加したりする等の種々の変形実施が可能である。本実施形態の画像処理装置としては、例えばパーソナルコンピュータ等の情報処理装置が想定される。或は、本実施形態の画像処理装置は、撮像装置に含まれてもよい。
【００３５】
データ記録部２００は、図１の撮像光学系で撮像されたＲＧＢ画像のデータを記録する。例えば、データ記録部２００は、パーソナルコンピュータの記憶装置で構成される。マルチバンド推定部２７０は、データ記録部２００からＲＧＢ画像を読み出し、そのＲＧＢ画像から各バンドの画素値｛ｂＲＢ，ｂＬＢ，ｂＬＧ，ｇ，ｒＲＧ，ｒＲＲ，ｒＬＲ｝を推定する。位相差画像生成部２２０は、その画素値｛ｂＲＢ，ｂＬＢ，ｂＬＧ，ｇ，ｒＲＧ，ｒＲＲ，ｒＬＲ｝から右瞳画像ＩＲ（ｘ）＝｛ｒＲＲ，ｒＲＧ，ｂＲＢ｝と左瞳画像ＩＬ（ｘ）＝｛ｒＬＲ，ｂＬＧ，ｂＬＢ｝を生成する。この分離した右瞳画像ＩＲ（ｘ）と左瞳画像ＩＬ（ｘ）を、以下では「位相差画像」と呼ぶ。高解像化処理部２２５は、位相差画像ＩＲ（ｘ）、ＩＬ（ｘ）に対して高解像化処理を行い、その処理で得られた高解像画像を出力する。
【００３６】
２．３．高解像化処理
次に、本実施形態の高解像化処理について詳細に説明する。図３に、青色成分｛ｂＲＢ，ｂＬＢ｝のサンプリング波形と、それを撮像センサの青色画素で撮像したサンプリング値とを模式的に示す。画像の水平走査方向における画素位置をｉ（ｉは自然数）で表し、画像の垂直走査方向における画素位置をｊ（ｊは自然数）で表すと、画像のｘ方向における画素位置は、（ｉ，ｊ）、（ｉ＋１，ｊ＋１）、（ｉ＋２、ｊ＋２）、・・・で表される。なお以下では、図示を簡単にするため、水平走査方向の画素位置ｉ、ｉ＋１、ｉ＋２、・・・のみでｘ方向における画素位置を図示する。
【００３７】
青色の画素値を構成する２つの分光成分ｂＲＢとｂＬＢは、例えば第３実施形態で説明する分光推定処理等により分離され、デフォーカス領域では位相差δをもった類似波形として求められる。即ち、分光推定処理により、青色画像として２種類の位相差画像Ｉ（ｂＲＢ）、Ｉ（ｂＬＢ）が生成される。この位相差δを有する２つの波形は、同一の画素位置（ｉ，ｊ）、（ｉ＋１，ｊ＋１）、（ｉ＋２、ｊ＋２）、・・・でサンプリングされる。即ち、同一の波形を位相差δだけ異なった位置でサンプリングした値が、分光成分ｂＲＢとｂＬＢとして得られることとなる。
【００３８】
位相差δは、分光成分ｂＲＢとｂＬＢの相互相関演算を行うことにより算出できる。相互相関演算については、特に限定するものではなく一般的な公知手法を用いればよい。なお、本実施形態では、必ずしも位相差δを求める必要はない。
【００３９】
以上では、青色成分｛ｂＲＢ，ｂＬＢ｝について説明したが、赤色成分｛ｒＲＲ，ｒＬＲ｝や緑色成分｛ｒＲＧ，ｂＬＧ｝についても同様である。また、当然ながら本実施形態においては原理上、フォーカス位置では位相差が発生せず、位相差画像Ｉ（ｂＲＢ）、Ｉ（ｂＬＢ）が同一位置となることは言うまでもない。
【００４０】
図４に、左右瞳のポイントスプレッドファンクション（PSF: Point Spread Function）とサンプリング値の関係を模式的に示す。図４では、撮像センサにより得られる画素位置（ｉ，ｊ）のサンプリング値をＩ（ｉ）と表し、分光推定で求めた位相差画像での画素位置（ｉ，ｊ）のサンプリング値をＩＲ（ｉ）、ＩＬ（ｉ）と表わす。なお、サンプリング値Ｉ（ｉ）、ＩＲ（ｉ）、ＩＬ（ｉ）は、赤色、緑色、青色のそれぞれについて存在する。
【００４１】
図４に示すように、瞳分割されていない光学系による結像画像をｆ（ｘ）とすると、瞳分割された光学系による実際の撮像画像は、ｆ（ｘ）に対して右瞳のポイントスプレッドファンクションＰＳＦＲと左瞳のポイントスプレッドファンクションＰＳＦＬをコンボリューションしたものとなる。ここで図４の“＊”はコンボリューション演算を表す。ｘ方向において画素は（ｉ，ｊ）、（ｉ＋２，ｊ＋２）、（ｉ＋４，ｊ＋４）、・・・に存在しており、コンボリューションされた結像画像が各画素位置でサンプリングされるので、撮像画像のサンプリング値としてＩ（ｉ）、Ｉ（ｉ＋２）、Ｉ（ｉ＋４）、・・・が得られる。
【００４２】
画素位置（ｉ，ｊ）を例にとると、サンプリング値Ｉ（ｉ）は、ｆ（ｘ）に対してＰＳＦＲ、ＰＳＦＬの両方をコンボリューションしたものであるが、分光推定することにより、ｆ（ｘ）に対して、それぞれＰＳＦＲ、ＰＳＦＬをコンボリューションしたサンプリング値ＩＲ（ｉ）、ＩＬ（ｉ）を得ることができる。これらのサンプリング値ＩＲ（ｉ）は、それぞれＰＳＦＲ、ＰＳＦＬの重心位置で結像画像ｆ（ｘ）をサンプリングした値と見なすことができる。即ち、サンプリング位置は画素位置（ｉ，ｊ）であるにも関わらず、位相差δだけシフトした位置でサンプリングした画素値ＩＲ（ｉ）、ＩＬ（ｉ）を得ることができる。
【００４３】
図５は、上記の左右瞳のポイントスプレッドファンクションとサンプリング値の関係を画像平面で表した図である。図５において、白四角は、撮像により得られたサンプリング値Ｉ（ｉ）を表し、その白四角を中心とする円は、ＰＳＦＲ、ＰＳＦＬの分布を模式的に表したものである。また、黒丸は、ＰＳＦＲの重心位置に存在するとみなした右瞳画像のサンプリング値ＩＲ（ｉ）を表し、白丸は、ＰＳＦＬの重心位置に存在するとみなした左瞳画像のサンプリング値ＩＬ（ｉ）を表す。なお画像データとしては、ＩＲ（ｉ）、ＩＬ（ｉ）は位置（ｉ，ｊ）での画素値である。
【００４４】
さて、レンズを介して得られる光学的結像画像の解像度が撮像センサのサンプリング密度に比べて高い場合には、そのサンプリング密度では光学的結像画像の解像度を十分に表すことができない。そこで本実施形態では、図４や図５に示すように、隣接する検出サンプリング点（ｉ，ｊ）、（ｉ＋２，ｊ＋２）の間の仮想サンプリング点（ｉ＋１，ｊ＋１）でのサンプリング値Ｉ’（ｉ＋１）を推定する。これにより、高い解像度を表わせるサンプリングが実現できるため、高い光学的結像画像の取得が可能である。
【００４５】
具体的には、図６（Ａ）に示すように画素位置（ｉ＋１，ｊ＋１）を例にとると、検出サンプリング点は（ｉ，ｊ）、（ｉ＋２，ｊ＋２）であり、そのサンプリング値はＩＲ（ｉ）、ＩＬ（ｉ）、ＩＲ（ｉ＋２）、ＩＬ（ｉ＋２）である。推定サンプリング値Ｉ’（ｉ＋１）は、これら検出サンプリング点でのサンプリング値を用いて、下式（１）により求める。ここで、φは係数であり、０≦φ≦１．０の範囲をとると効果的である。
Ｉ’（ｉ＋１）＝［ＩＬ（ｉ）＋ＩＲ（ｉ＋２）］＋φ・［ＩＲ（ｉ）＋ＩＬ（ｉ＋２）］  （１）
【００４６】
上式（１）を一般的な画素位置について表した場合には、下式（２）となる。ここで、ｋ＝０、１、２、・・・である。
Ｉ’（ｉ＋２ｋ＋１）＝［ＩＬ（ｉ＋２ｋ）＋ＩＲ（Ｉ＋２ｋ＋２）］＋
【００４７】
φ・［ＩＲ（ｉ＋２ｋ）＋ＩＬ（ｉ＋２ｋ＋２）］    （２）
【００４８】
上式（１）では、第１加算値［ＩＬ（ｉ）＋ＩＲ（ｉ＋２）］と、第２加算値［ＩＲ（ｉ）＋ＩＬ（ｉ＋２）］に係数φを乗じた値と、を加算して推定サンプリング値Ｉ’（ｉ＋１）を求める。図６（Ａ）には、この上式（１）の演算を考慮したポイントスプレッドファンクションと結像画像ｆ（ｘ）とのコンボリューションを模式的に示している。上式（１）の演算は、これらのポイントスプレッドファンクションを加算することに相当する。即ち、図６（Ｂ）に示すように、その加算したポイントスプレッドファンクションをＰＳＦＡとすると、推定サンプリング値Ｉ’（ｉ＋１）は、その仮想的なポイントスプレッドファンクションＰＳＦＡと結像画像ｆ（ｘ）のコンボリューションで得られた値とみなすことができる。
【００４９】
以上のようにして、検出サンプリング位置（ｉ，ｊ）、（ｉ＋２，ｊ＋２）の中間位置（ｉ＋１，ｊ＋１）での推定サンプリング値Ｉ’（ｉ＋１）を得ることができる。即ち、ｘ方向において、実際のサンプリング密度よりも２倍の密度をもつサンプリング値を求めることができる。
【００５０】
次に、上記の推定サンプリング値から高解像画像を生成する手法について説明する。なお以下ではＲＧＢベイヤ配列の撮像素子を例にとり説明する。
【００５１】
図７に示すように、Ｒ画像では、撮像により画素位置（ｉ，ｊ）、（ｉ＋４，ｊ＋４）、（ｉ＋８，ｊ＋８）、・・・でのサンプリング値が得られる。推定サンプリング値の画素位置は、（ｉ＋２，ｊ＋２）、（ｉ＋６，ｊ＋６）、・・・である。これらのサンプリング値に対してベイヤ補間処理を行い、画素位置（ｉ＋２，ｊ）、（ｉ，ｊ＋２）等のサンプリング値を求める。
【００５２】
図８に示すように、Ｂ画像では、撮像により画素位置（ｉ＋２，ｊ＋２）、（ｉ＋６，ｊ＋６）、・・・でのサンプリング値が得られる。推定サンプリング値の画素位置は、（ｉ，ｊ）、（ｉ＋４，ｊ＋４）、（ｉ＋８，ｊ＋８）、・・・である。これらのサンプリング値に対してベイヤ補間処理を行い、画素位置（ｉ＋２，ｊ）、（ｉ，ｊ＋２）等のサンプリング値を求める。
【００５３】
図９に示すように、Ｇ画像では、撮像により画素位置（ｉ，ｊ）、（ｉ＋２，ｊ＋２）、（ｉ＋４，ｊ＋４）、・・・でのサンプリング値が得られる。推定サンプリング値の画素位置は、（ｉ＋１，ｊ＋１）、（ｉ＋３，ｊ＋３）、（ｉ＋５，ｊ＋５）、・・・である。これらのサンプリング値に対してベイヤ補間処理を行い、画素位置（ｉ＋２，ｊ）、（ｉ，ｊ＋２）、（ｉ＋３，ｊ＋１）、（ｉ＋１，ｊ＋３）等のサンプリング値を求める。このＧ画像のベイヤ補間処理では、以下に説明する方向尤度補間を行ってもよい。
【００５４】
図１０を用いて方向尤度補間について説明する。以下では、画素位置（ｉ＋５，ｊ＋３）の画素値を求める場合を例に説明し、画素位置（ｉ，ｊ）でのＧ画像の画素値をｇ（ｉ）（ｊ）と表すものとする。
【００５５】
着目画素ｇ（ｉ＋５）（ｊ＋３）の補間値を求める場合、その近傍画素からの補間において、一般的に変化が小さい方向の隣接画素から補間を行う方が尤度の高い値が求められる。そこで、まず、着目画素ｇ（ｉ＋５）（ｊ＋３）の近傍において、水平方向ｖと垂直方向ｈのいずれの方向で、画素値の変化がより小さいかを判定する。
【００５６】
具体的には、水平方向ｈにおける画素値変化の評価値Ｅｈを下式（３）、（４）により求める。
ｅｈ１＝｜ｇ（ｉ＋２）（ｊ＋２）−ｇ（ｉ＋６）（ｊ＋２）｜＋
｜ｇ（ｉ＋６）（ｊ＋２）−ｇ（ｉ＋１０）（ｊ＋２）｜，
ｅｈ２＝｜ｇ（ｉ＋３）（ｊ＋３）−ｇ（ｉ＋７）（ｊ＋３）｜＋
｜ｇ（ｉ＋７）（ｊ＋３）−ｇ（ｉ＋１１）（ｊ＋３）｜，
ｅｈ３＝｜ｇ（ｉ＋４）（ｊ＋４）−ｇ（ｉ＋８）（ｊ＋４）｜＋
｜ｇ（ｉ＋８）（ｊ＋４）−ｇ（ｉ＋１２）（ｊ＋４）｜    （３）
Ｅｈ＝ｅｈ１＋ｅｈ２＋ｅｈ３    （４）
【００５７】
また、垂直方向ｖにおける画素値変化の評価値Ｅｖを下式（５）、（６）により求める。
ｅｖ１＝｜ｇ（ｉ＋４）（ｊ）−ｇ（ｉ＋４）（ｊ＋４）｜＋
｜ｇ（ｉ＋４）（ｊ＋４）−ｇ（ｉ＋４）（ｊ＋８）｜，
ｅｖ２＝｜ｇ（ｉ＋５）（ｊ＋１）−ｇ（ｉ＋５）（ｊ＋５）｜＋
｜ｇ（ｉ＋５）（ｊ＋５）−ｇ（ｉ＋５）（ｊ＋９）｜，
ｅｖ３＝｜ｇ（ｉ＋６）（ｊ＋２）−ｇ（ｉ＋６）（ｊ＋６）｜＋
｜ｇ（ｉ＋６）（ｊ＋６）−ｇ（ｉ＋６）（ｊ＋１０）｜    （５）
Ｅｖ＝ｅｖ１＋ｅｖ２＋ｅｖ３    （６）
【００５８】
そして、評価値Ｅｈ、Ｅｖの大小関係に基づいて補間方向を選択する。即ち、Ｅｈ≦Ｅｖである場合には、下式（７）により画素値ｇ（ｉ＋５）（ｊ＋３）を求め、Ｅｈ＞Ｅｖである場合には、下式（８）により画素値ｇ（ｉ＋５）（ｊ＋３）を求める。
Ｅｈ≦Ｅｖ：
ｇ（ｉ＋５）（ｊ＋３）＝｛ｇ（ｉ＋３）（ｊ＋３）＋ｇ（ｉ＋７）（ｊ＋３）｝／２  （７）
Ｅｈ＞Ｅｖ：
ｇ（ｉ＋５）（ｊ＋３）＝｛ｇ（ｉ＋５）（ｊ＋１）＋ｇ（ｉ＋５）（ｊ＋５）｝／２  （８）
【００５９】
さて、ｘ方向に瞳分割を行うことによってｘ方向（右斜め方向）のサンプリング密度を上げることができるが、ｘ方向に直交するｙ方向（左斜め方向）のサンプリング密度は上がらない。そのため、方向を考慮せずに近傍画素から補間しただけでは、補間の推定精度が得られない。この点、本実施形態では、画素値の変化率が小さい方向を判定し、その判定した方向で補間を行うので、補間の推定精度を改善することができる。
【００６０】
次に、上記のベイヤ補間で得られたＲ’画像、Ｇ’画像、Ｂ’画像から高解像画像を生成する手法について説明する。
【００６１】
上記のベイヤ補間で得られたＲ’画像、Ｇ’画像、Ｂ’画像は、撮像時のサンプリング密度に対して水平垂直共に２倍のサンプリング密度となっている。図１０に示すように、それらの画像に対してデモザイキング処理を行い、高解像画像の画素値を求める。即ち、Ｒ’画像とＢ’画像については、例えば画素位置（ｉ＋１，ｊ）、（ｉ，ｊ＋１）、（ｉ＋１，ｊ＋１）等の画素値をデモザイキング処理で求める。Ｇ’画像については、例えば画素位置（ｉ＋１，ｊ）、（ｉ，ｊ＋１）等の画素値をデモザイキング処理で求める。そして、これらのデモザイキング処理後の画像を合わせて、ＲＧＢの高解像画像を出力する。
【００６２】
以上の高解像化処理を行うことで、撮像センサの画素密度により取得できる解像度を上回る解像度のサンプリング画像を得ることができる。撮像時点での画素数は変わらないので、撮像時のデータ量を増やすことなく、より高い解像度の画像を生成することが可能となる。本実施形態では、光学解像度が撮像解像度よりも高い場合を想定しているので、高解像化処理によって与えられた撮像センサのサンプリング密度では得られなかった光学解像度を撮像画像として復元できることになる。このような復元効果が得られることで、焦点深度の拡大や、被写界深度の拡大が可能となり、フォーカスが合う範囲を広げることができる。これにより、例えばデジタルカメラなどでは、光学的フォーカスが多少甘い場合であっても合焦度の高い画像を生成することが可能となる。或は、焦点深度が狭い顕微鏡や、広い被写界深度が求められる内視鏡などでは、被写界深度が広がることによりフォーカス調整が容易になる。
【００６３】
２．４．係数φの決定手法
図１２に、上式（１）、（２）の係数φを決定する処理のフローチャートを示す。例えば、設計段階においてこのフローを実行し、予め係数φを設定すればよい。
【００６４】
この処理が開始されると、まず係数φの初期値を設定する（ステップＳ１）。初期値は例えばφ＝０である。次に、係数φが所定範囲内であるか否かを判定する（ステップＳ２）。所定範囲は例えば０≦φ≦１である。係数φが所定範囲内である場合には、その係数φを用いて高解像化処理を行い、高解像画像を生成する（ステップＳ３）。次に、その高解像画像の画質評価を行う（ステップＳ４）。画質評価としては、主観評価や定量評価等の種々の評価手法を用いることができる。次に、画質評価の結果を判断する（ステップＳ５）。上記のような評価手法を用いた結果、所定の値を満たした場合、つまり、画質が良好であると判断した場合には、処理を終了する。画質が良好でない場合には、φをΔφだけ変化させ（ステップＳ６）、再びステップＳ２を実行する。ステップＳ２において、係数φが所定範囲内でない場合には、ステップＳ１を再び実行する。
【００６５】
以上のフローを複数の画像に対して適用して各画像についての係数φを決定し、その各画像についての係数φに基づいて最終的な係数φを決定する。例えば、各画像についての係数φにおいて、最も出現頻度が高い値を最終的な係数φに決定する。
【００６６】
以上の実施形態によれば、図２に示すように画像処理装置は画像取得部（データ記録部２００）と位相差画像生成部２２０と高解像化処理部２２５とを含む。画像取得部は、第１被写体像（右瞳を通過した被写体像）と、第１被写体像に対して視差を有する第２被写体像（左瞳を通過した被写体像）と、を撮像して得られた撮像画像を取得する。位相差画像生成部２２０は、その撮像画像に基づいて、第１被写体像に対応する第１画像ＩＲ（右瞳画像）と第２被写体像に対応する第２画像ＩＬ（左瞳画像）とを生成する。高解像化処理部２２５は、その第１画像ＩＲと第２画像ＩＬとに基づいて、撮像画像の高解像化処理を行う。
【００６７】
ここで「視差」とは、被写体と観測点（本実施形態では光学系の瞳）の相対的な位置の違いによって、結像の位置が変化する（ずれる）ことである。
【００６８】
このようにすれば、視差を有する第１画像ＩＲと第２画像ＩＬを撮像画像から分離することができ、その分離した第１画像ＩＲと第２画像ＩＬを用いて高解像化処理を行うことができる。図４や図５で説明したように、第１画像ＩＲと第２画像ＩＬの画素値は、実際のサンプリング位置から視差の分だけずれた仮想的なサンプリング位置での画素値とみなすことができる。このようなサンプリング位置のシフトによって、第１画像ＩＲと第２画像ＩＬは、撮像素子のサンプリング密度よりも２倍の密度でサンプリングした画像と考えることができる。このようなサンプリング密度が高い第１画像ＩＲと第２画像ＩＬを利用することで、２次元フィルタの繰り返し演算のような高負荷の処理が不要となり、例えば上式（１）のように画素値を加算するだけの簡素な処理で高解像化を実現できる。
【００６９】
また本実施形態では、図１等で説明したように、第１被写体像と第２被写体像との間の視差は、撮像画像を撮像する撮像素子の水平走査方向ｈ及び垂直走査方向ｖに交差する方向の視差である。図５等に示すように、高解像化処理部２２５は、第１画像ＩＲ及び第２画像ＩＬの画素のうち視差の方向（ｘ方向）に沿って並ぶ画素の画素値Ｉ（ｉ）、Ｉ（ｉ＋２）、Ｉ（ｉ＋４）、・・・に基づいて、視差の方向（ｘ方向）で撮像画像を高解像化する処理を行う。
【００７０】
このようにすれば、撮像素子の水平走査方向ｈ及び垂直走査方向ｖに交差するｘ方向に高解像化されるので、その結果として、水平走査方向ｈ及び垂直走査方向ｖのいずれの方向においても解像度を向上させることができる。
【００７１】
また本実施形態では、図５等に示すように、高解像化処理部２２５は、視差の方向（ｘ方向）に隣り合う第１画素（Ｉ（ｉ））と第２画素（Ｉ（ｉ＋２））との間に補間対象画素（Ｉ’（ｉ＋１））を設定する。そして、第１画像ＩＲ及び第２画像ＩＬのうち一方の画像ＩＬにおける第１画素の画素値ＩＬ（ｉ）と、第１画像ＩＲ及び第２画像ＩＬのうち他方の画像ＩＲにおける第２画素の画素値ＩＲ（ｉ＋２）とに基づいて、補間対象画素の画素値Ｉ’（ｉ＋１）を求める。
【００７２】
このようにすれば、視差によってサンプリング位置が仮想的にシフトした画素のうち、その仮想的なサンプリング位置が補間対象画素に近い画素を選択することが可能となる。そして、その仮想的なサンプリング位置が補間対象画素に近い画素に基づいて補間対象画素の画素値を求めることにより、元のサンプリング位置での画素値で補間した場合よりも補間精度を向上できる。
【００７３】
３．第２実施形態
次に、第２実施形態について説明する。なお、第１実施形態で説明した内容と同一の内容（例えば撮像光学系の基本構成や、撮像装置の構成など）については、適宜説明を省略する。また、以下では後ピント状態の場合を例にとって説明するが、前ピント状態の場合にも同様の処理により高解像化を行うことができる。
【００７４】
第２実施形態では、撮像センサのサンプリング密度が、光学的結像の解像度に対して十分である場合を想定する。即ち、光学的結像がある程度ボケており、撮像センサの解像度よりも光学的結像の解像度が低い場合を考える。本実施形態では、そのようなボケ画像の解像度を復元する処理を行う。第１実施形態とは異なり、撮像センサのサンプリング密度で決まる解像度以上の復元を行うわけでなく、あくまでも撮像センサのサンプリング密度の範囲内で解像度を復元する。
【００７５】
具体的には、図１３（Ａ）に示すように、撮像により画素位置（ｉ，ｊ）、（ｉ＋２，ｊ＋２）、（ｉ＋４，ｊ＋４）でのサンプリング値が得られる。そして、これらの検出サンプリング値に基づいて画素位置（ｉ＋２，ｊ＋２）でのサンプリング値Ｉ’（ｉ＋２）を推定する。推定サンプリング値Ｉ’（ｉ＋２）は、下式（９）により求められる。
Ｉ（ｉ＋２）＝［ＩＬ（ｉ＋２）＋ＩＲ（ｉ＋２）］＋
ξ・［ＩＬ（ｉ＋４）＋ＩＲ（ｉ）］  （９）
【００７６】
ここで、ξは係数であり、−１．０≦ξ≦０の範囲をとると効果的である。この係数ξは、図１２で説明したフローと同様の処理で決定できる。即ち、ステップＳ１において例えば初期値ξ＝−１．０を設定し、係数ξについてステップＳ２以降を実行すればよい。
【００７７】
上式（９）を一般的な画素位置について表した場合には、下式（１０）となる。ここで、ｋ＝０、１、２、・・・である。即ち、推定サンプリング値は、全ての画素位置（ｉ，ｊ）、（ｉ＋２，ｊ＋２）、（ｉ＋４，ｊ＋４）、・・・について求められ、その推定サンプリング値で元の検出サンプリング値を置き換えることにより、高解像画像を生成する。
Ｉ（ｉ＋２ｋ）＝［ＩＬ（ｉ＋２ｋ）＋ＩＲ（ｉ＋２ｋ）］＋
ξ・［ＩＬ（ｉ＋２ｋ＋２）＋ＩＲ（ｉ）］    （１０）
【００７８】
上式（９）では、第３加算値［ＩＬ（ｉ＋２）＋ＩＲ（ｉ＋２）］と、第４加算値［ＩＬ（ｉ＋４）＋ＩＲ（ｉ）］に係数ξを乗じた値と、を加算して推定サンプリング値Ｉ’（ｉ＋２）を求める。図１３（Ａ）には、上式（９）の演算に関わる４つのポイントスプレッドファンクションと結像画像ｆ（ｘ）とのコンボリューションを模式的に示している。上式（９）の演算は、ＩＬ（ｉ＋２）、ＩＲ（ｉ＋２）に対応するポイントスプレッドファンクションから、ＩＬ（ｉ＋４）、ＩＲ（ｉ）に対応するポイントスプレッドファンクションを減算することに相当する。即ち、図１３（Ｂ）に示すように、その減算したポイントスプレッドファンクションをＰＳＦＢとすると、推定サンプリング値Ｉ’（ｉ＋２）は、その仮想的なポイントスプレッドファンクションＰＳＦＢと結像画像ｆ（ｘ）のコンボリューションで得られた値とみなすことができる。
【００７９】
この仮想的なポイントスプレッドファンクションＰＳＦＢは、通常の何もしないポイントスプレッドファンクションＰＳＦＲ、ＰＳＦＬに比べて高周波成分をもっている。即ち、光学特性によって決まるポイントスプレッドファンクションを、画像処理によって、より高周波成分をもつ波形に成形したことになる。このようなポイントスプレッドファンクションの波形成形により、光学的にボケた解像度を復元することが可能となる。
【００８０】
以上の実施形態によれば、高解像化処理部２２５は、視差の方向（ｘ方向）に隣り合う第１〜第３画素（画素位置（ｉ，ｊ）、（ｉ＋２，ｊ＋２）、（ｉ＋４，ｊ＋４）の画素）のうち第１画素と第３画素との間の第２画素を推定対象画素（Ｉ’（ｉ＋２））に設定する。そして、第１画像ＩＲ及び第２画像ＩＬにおける第２画素の画素値ＩＲ（ｉ＋２）、ＩＬ（ｉ＋２）と、第１画像ＩＲ及び第２画像ＩＬのうち一方ＩＲの画像における第１画素の画素値ＩＲ（ｉ）と、第１画像ＩＲ及び第２画像ＩＬのうち他方の画像ＩＬにおける第２画素の画素値ＩＬ（ｉ＋４）とに基づいて、推定対象画素の画素値Ｉ’（ｉ＋２）を求める。
【００８１】
このようにすれば、上述したように、光学特性によって決まるポイントスプレッドファンクションを画像処理によって高周波成分をもつ波形に成形することが可能となる。これにより、光学的にボケた画像の解像度を改善できるため、例えば被写界深度の拡大等を実現することが可能となる。例えば顕微鏡のような被写界深度が狭い光学系で撮像した画像に対して本実施形態を適用することで、見かけ上、被写界深度が広がったかのような効果が得られる。
【００８２】
４．第３実施形態
４．１．撮像装置
次に、第３実施形態について説明する。第３実施形態では、ＲＧＢ画像から５バンドの画像を推定し、その５バンドの画像のうち、右瞳に対応するバンドの画像から右瞳画像ＩＲを生成し、左瞳に対応するバンドの画像から左瞳画像ＩＬを生成する。なお、第１実施形態で説明した内容と同一の内容（例えば撮像光学系の基本構成や、高解像化処理など）については、適宜説明を省略する。
【００８３】
図１４に、第３実施形態における撮像装置の構成例を示す。この撮像装置は、結像レンズＬＮＳ、光学フィルタＦＬＴ、撮像部１０、位相差画像生成部２０、高解像化処理部２５（高解像画像生成部）、表示画像生成部３０、モニタ表示部４０、マルチバンド推定部７０、マルチバンド画像生成部７５、データ圧縮部９０、データ記録部１００を含む。なお、本実施形態の撮像装置は図１４の構成に限定されず、その構成要素の一部を省略（例えばマルチバンド画像生成部７５、データ圧縮部９０など）したり、他の構成要素を追加したりする等の種々の変形実施が可能である。
【００８４】
撮像部１０は、撮像素子と撮像処理部を含むことができる。撮像素子は、例えばＲＧＢ３原色の撮像素子であり、結像レンズＬＮＳ及び光学フィルタＦＬＴによって結像された被写体を撮像する。撮像処理部は、撮像動作の制御や、アナログの画素信号をＡ／Ｄ変換する処理、ベイヤ画像に対するデモザイキング処理などを行う。また撮像部１０は、分光特性記憶部を含むことができる。その分光特性記憶部は、撮像素子がもつカラーフィルタの分光特性のデータを記憶しており、そのデータをマルチバンド推定部７０に出力する。ここで、撮像されるＲＧＢ成分は、厳密にはカラーフィルタのみならず撮像素子の分光感度特性や、結像レンズＬＮＳの分光特性によって決まるものである。即ち、分光特性記憶部は、撮像素子や結像レンズＬＮＳの分光特性を含んだ分光特性のデータを記憶する。
【００８５】
マルチバンド推定部７０は、撮像画像と分光特性のデータとに基づいてマルチバンド推定処理を行う。具体的には、図１６に示すように、撮像センサのカラーフィルタがもつ波長域を５バンド｛ｒＬ，ｒＲ，ｇ，ｂＬ，ｂＲ｝に分割する。光学フィルタＦＬＴの右瞳は帯域｛ｒＲ，ｇ，ｂＲ｝を透過し、左瞳は帯域｛ｒＬ，ｇ，ｂＬ｝を透過する。マルチバンド推定部７０は、撮像画像Ｉ（ｘ）のＲＧＢ画素値から５バンド｛ｒＬ，ｒＲ，ｇ，ｂＬ，ｂＲ｝の画素値を推定する。
【００８６】
位相差画像生成部２０は、５バンド｛ｒＬ，ｒＲ，ｇ，ｂＬ，ｂＲ｝の画素値から、右瞳画像ＩＲ＝｛ｒＲＲ，ｒＲＧ，ｂＲＢ｝と左瞳画像ＩＬ＝｛ｒＬＲ，ｂＬＧ，ｂＬＢ｝を生成する。この２画像を位相差画像とする。
【００８７】
高解像化処理部２２５は、位相差画像ＩＲ（ｘ）、ＩＬ（ｘ）に対して高解像化処理を行い、その処理で得られた高解像画像を出力する。
【００８８】
マルチバンド画像生成部７５は、推定した５バンド｛ｒＬ，ｒＲ，ｇ，ｂＬ，ｂＲ｝の画素値から各バンドの画像を生成し、その画像をマルチバンド画像として出力する。
【００８９】
表示画像生成部３０は、５バンド｛ｒＬ，ｒＲ，ｇ，ｂＬ，ｂＲ｝の画素値から表示用のＲＧＢ画像を生成する。例えば｛ｒＲ，ｇ，ｂＲ｝の画素値をＲＧＢ画像とする。モニタ表示部４０は、表示画像生成部３０が生成した画像を表示する。
【００９０】
データ圧縮部９０は、撮像部１０からのＲＧＢ画像を圧縮する処理を行う。データ記録部１００は、圧縮されたＲＧＢ画像データと、カラーフィルタの分光特性データとを記録する。これらの記録データは、撮影後の事後処理においてマルチバンド推定処理や位相差検出処理に用いることが可能である。なお、この事後処理は、撮像装置と別体に構成された情報処理装置で行ってもよい。
【００９１】
４．２．画像処理装置
図１５に、撮像装置と別体に構成した画像処理装置の構成例を示す。この画像処理装置は、データ記録部２００、データ伸張部２１０、位相差画像生成部２２０、高解像化処理部２２５、表示画像生成部２３０、モニタ表示部２４０、マルチバンド推定部２７０、マルチバンド画像生成部２７５を含む。なお、本実施形態の画像処理装置は図１５の構成に限定されず、その構成要素の一部を省略（例えばマルチバンド画像生成部２７５、データ伸張部２１０など）したり、他の構成要素を追加したりする等の種々の変形実施が可能である。
【００９２】
データ記録部２００は、例えば外部記憶装置（例えばメモリカード等）により構成され、撮像装置により記録されたＲＧＢ３板画像データ及び分光特性データを記憶している。データ伸張部２１０は、撮像装置により圧縮されたＲＧＢ３板画像データを伸張する処理を行う。
【００９３】
位相差画像生成部２２０、高解像化処理部２２５、表示画像生成部２３０、モニタ表示部２４０、マルチバンド推定部２７０、マルチバンド画像生成部２７５については、撮像装置で説明した各構成要素と同様の動作や処理を行うため、説明を省略する。
【００９４】
４．３．バンド分割手法
次に、撮像画像から位相差画像を取得するためのマルチバンド推定処理について詳細に説明する。なお以下では、ＲＧＢベイヤ配列の撮像素子を例に説明するが、本実施形態はこれに限定されず、カラーフィルタの透過率特性に重なり部分がある撮像素子でさえあればよい。
【００９５】
図１６にバンド分割についての説明図を示す。図１６に示すように、５バンドの成分ｂＲ、ｂＬ、ｇ、ｒＲ、ｒＬは、撮像系の分光特性に応じて定まる成分である。図１６には、撮像系の分光特性として、撮像センサのカラーフィルタの透過率特性ＦＲ、ＦＧ、ＦＢを示すが、厳密には、撮像系の分光特性は、例えばカラーフィルタを除いた撮像センサがもつ分光特性や、光学系のもつ分光特性等も含んでいる。以下では説明を簡単にするため、撮像センサ等の分光特性が、図１６に示すカラーフィルタの透過率特性ＦＲ、ＦＧ、ＦＢに含まれるものとする。
【００９６】
図１６に示すように、青色フィルタの透過率特性ＦＢと緑色フィルタの透過率特性ＦＧとの重なり部分に対応するバンドの成分がｂＬであり、青色フィルタの透過率特性ＦＢの非重なり部分に対応するバンドの成分がｂＲである。また、赤色フィルタの透過率特性ＦＲと緑色フィルタの透過率特性ＦＧとの重なり部分に対応するバンドの成分がｒＲであり、赤色フィルタの透過率特性ＦＲの非重なり部分に対応するバンドの成分がｒＬである。また、緑色フィルタの透過率特性ＦＧの非重なり部分に対応するバンドの成分がｇである。ここで、非重なり部分とは、他の色フィルタの透過率特性と重なっていない部分のことである。
【００９７】
５バンドの帯域ＢＤ１〜ＢＤ５は、透過率特性ＦＲ、ＦＧ、ＦＢの形状や重なり具合などに応じて決定すればよく、透過率特性の帯域や重なり部分の帯域そのものである必要はない。例えば、透過率特性ＦＧ、ＦＢの重なり部分の帯域は、およそ４５０ｎｍ〜５５０ｎｍであるが、帯域ＢＤ２は重なり部分に対応するものであればよく、４５０ｎｍ〜５５０ｎｍである必要はない。
【００９８】
第３の実施形態では、光学フィルタＦＬＴの右瞳フィルタＦＬ１には、透過波長域としてバンド｛ｂＲ，ｇ，ｒＲ｝を割り当て、光学フィルタＦＬＴの左瞳フィルタＦＬ２には、透過波長域としてバンド｛ｂＬ，ｇ，ｒＬ｝を割り当てる。
【００９９】
４．４．色ずれ抑制の手法
次に、光学フィルタＦＬＴの分光特性を調整し、色ずれを抑制する手法について説明する。
【０１００】
瞳分割した光学系で撮像した画像の非合焦領域では、一方の瞳通過画像と他方の瞳通過画像の通過経路が異なるため、必ず相互に画像ずれ（位相差）が生じている。通常の撮像画像は、これら左右瞳画像が合成された画像である。この左右瞳画像は、対称関係にある左瞳と右瞳のポイントスプレッドファンクションによって生じるので、両瞳の透過波長帯域が同一である場合には、同一色成分の左右瞳画像が対称にずれ、それを合成した撮像画像には色ずれが生じない。
【０１０１】
しかしながら、左右の瞳通過画像が同一波長域ではなく、それらの成分比がアンバランスである場合には、撮像画像に色ずれが発生する。例えば、画像のエッジ部分などでは、Ｒ、Ｇ、Ｂの画像プロファイルが相互に異なるように崩れ、色ずれが発生した画像となって表れる。このような非合焦領域での色ずれ現象は、画像品質として好ましくない。なお、合焦領域では色ずれは生じない。
【０１０２】
図１７（Ａ）を用いて、白黒のエッジ部を前ピント状態で撮像した場合を例にとり、色ずれの発生についてより詳細に説明する。
【０１０３】
左右瞳画像は、開口重心の異なる右瞳と左瞳のポイントスプレッドファンクションと被写体の反射率分布とのコンボリューションで表わされる。そのため、エッジ部を撮像した画像から仮にマルチバンド推定により位相差画像を生成したとすると、例えば左右瞳画像の赤成分ｒＲＲ、ｒＬＲは、位相差の分だけ左右にずれた状態となっている。この赤成分ｒＲＲ、ｒＬＲは波長帯域が異なっているので、一般的には成分バランス（即ち成分値、画素値）が異なったものとなる。そのため、撮像画像のＲ成分は、この成分バランスが異なる左右にずれた２つの赤成分ｒＲＲ、ｒＬＲを合成したものとなってしまう。
【０１０４】
同様に、撮像画像のＢ成分は、成分バランスが異なる左右にずれた２つの青成分ｂＲＢ、ｂＬＢを合成したものとなる。撮像画像のＧ成分は、成分バランスが異なる左右にずれた２つの緑成分ｂＬＧ、ｒＲＧと、成分バランスがとれたｇ成分を合成したものとなる。ｇ成分の成分バランスがとれているのは、左右瞳で波長帯域を分けていないためである。
【０１０５】
このように、左右瞳で各色の成分バランスがとれていない場合、撮像画像のＲＧＢ各色において左右瞳画像のずれが生じ、その画像ずれが結果として色ずれを生じる。例えば図１７（Ａ）の白黒エッジを非合焦状態で撮像した例では、左右瞳画像の成分バランスの違いによってエッジ部に色が付いてしまう。
【０１０６】
そこで本実施形態では、図１７（Ｂ）と下式（１１）に示すように、右瞳画像と左瞳画像の成分バランスがとれるように光学フィルタＦＬＴの分光特性を設定する。
ｂＲＢ≒ｂＬＢ，
ｒＲＲ≒ｒＬＲ  （１１）
【０１０７】
一般に自然被写体ではｒＲＲとｒＬＲの画像およびｂＲＢとｂＬＢの画像の成分バランスは、近接する分光成分であるため、ほぼ等しい場合が多いと考えられる。そのため、少なくとも白色被写体の場合において成分バランスがとれるように分光特性を設定しておく。分光特性の調整は、例えばバンドＢＤ１〜ＢＤ５の帯域幅や相対ゲインを調整することによって行う。
【０１０８】
このようにすれば、分光の成分バランスを調整することができ、特別なカラーマネージメントをしなくてもＲＧＢ各色の画像ずれを低減し、色ずれ現象の発生を抑圧できる。
【０１０９】
４．５．マルチバンド推定処理
４．５．１．ＲＧＢ画素値とバンド成分値の関係
図１６で説明したように、右瞳を通過した波長分割光｛ｂＲ，ｇ，ｒＲ｝と、左瞳を通過した波長分割光｛ｂＬ，ｇ，ｒＬ｝は、波長帯域が明確に分離されている。一方、撮像素子のカラーフィルタの分光特性｛ＦＲ，ＦＧ，ＦＢ｝は、隣接する分光特性の波長帯域が重複した特性となっている。この重複状態を考慮すると、デモザイキング処理後の各画素における赤色、緑色、青色の画素値Ｒ、Ｇ、Ｂを、下式（１２）のようにモデル化することができる。
Ｒ＝ｇＲ＋ｒＲＲ＋ｒＬＲ，
Ｇ＝ｂＬＧ＋ｇＧ＋ｒＲＧ，
Ｂ＝ｂＲＢ＋ｂＬＢ＋ｇＢ  （１２）
【０１１０】
図１８（Ｃ）に示すように、成分｛ｂＲＢ，ｂＬＢ，ｇＢ｝は、分光特性ＦＢの青色フィルタを通過した波長分割光｛ｂＲ，ｂＬ，ｇ｝に対応する。図１８（Ｄ）に示すように、成分｛ｂＬＧ，ｇＧ，ｒＲＧ｝は、分光特性ＦＧの緑色フィルタを通過した波長分割光｛ｂＬ，ｇ，ｒＲ｝に対応する。また、図２０（Ｄ）に示すように、成分｛ｇＲ，ｒＲＲ，ｒＬＲ｝は、分光特性ＦＲの赤色フィルタを通過した波長分割光｛ｇ，ｒＲ，ｒＬ｝に対応する。各成分を表す符号の上付きサフィックスは、右瞳「Ｒ」及び左瞳「Ｌ」のいずれを通過したかを表し、下付サフィックスは、赤色フィルタ「Ｒ」、緑色フィルタ「Ｇ」、青色フィルタ「Ｂ」のいずれを通過したかを表している。
【０１１１】
４．５．２．｛ｂＲ，ｂＬ，（ｇ＋ｒＲ）｝の推定処理
次に、図１８（Ａ）〜図１９を用いて、画素値｛Ｒ，Ｇ，Ｂ｝から成分｛ｂＲＢ，ｂＬＢ，ｇＢ｝、｛ｂＬＧ，ｇＧ，ｒＲＧ｝、｛ｇＲ，ｒＲＲ，ｒＬＲ｝を推定する処理について説明する。
【０１１２】
まず上式（１２）を用いて、画素値｛Ｂ，Ｇ｝で重複している波長帯域｛ｂＬ，ｇ｝を、画素値｛Ｂ，Ｇ｝の差分に基づいて取り除き、成分ｂＲと成分［ｇ＋ｒＲ］の関係を求めることにより成分｛ｂＲ，ｂＬ，（ｇ＋ｒＲ）｝の関係式を導き出す処理を行う。
【０１１３】
ここで注意しなければならないのは、図１８（Ａ）〜図１８（Ｄ）に示すように、波長帯域ｂＬに対応するのは画素値Ｂの成分ｂＬＢ及び画素値Ｇの成分ｂＬＧであるが、成分ｂＬＢ、ｂＬＧには、分光特性ＦＢ、ＦＧの相対ゲインが乗じられていることである。そのため、成分ｂＬＢ、ｂＬＧは、相対ゲインの分だけ異なる値であり、成分ｂＬＢ、ｂＬＧが等しくなるように補正する必要がある。
【０１１４】
図１８（Ｃ）、図１８（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｂＬＢ＋ｇＢ）の成分比をｋＢ１とし、ｂＬＧの成分比をｋＢ２とすると、下式（１３）が成り立つ。ここで、ｋＢ１／ｋＢ２は、例えば帯域ｂＬにおける分光特性ＦＢ、ＦＧのゲイン比である。
ｂＬＢ＋ｇＢ＝（ｋＢ１／ｋＢ２）×ｂＬＧ  （１３）
【０１１５】
帯域ｂＬ、ｇにおける分光特性ＦＢのゲインを考慮すると、成分ｇＢは成分ｂＬＢよりも十分小さいと考えられるため、成分ｂＬＢ、ｂＬＧを等しくするためには、成分（ｂＬＢ＋ｇＢ）と成分ｂＬＧがほぼ等しくなればよい。成分（ｂＬＢ＋ｇＢ）を補正した値を（ｂＬＢ’＋ｇＢ’）とすると、上式（１３）を用いて下式（１４）に示す補正を行えばよい。
ｂＬＢ’＋ｇＢ’≒ｂＬＧ＝（ｋＢ２／ｋＢ１）×（ｂＬＢ＋ｇＢ）  （１４）
【０１１６】
成分（ｂＬＢ＋ｇＢ）は画素値Ｂに含まれるため、成分（ｂＬＢ＋ｇＢ）を補正するためには、結局、画素値Ｂを補正することになる。この補正後のＢをＢ’とすると、下式（１５）の関係が得られる。
Ｂ’＝（ｋＢ２／ｋＢ１）Ｂ  （１５）
【０１１７】
上式（１５）より、Ｂ’の成分｛ｂＲＢ’，ｂＬＢ’，ｇＢ’｝は下式（１６）となる。
ｂＲＢ’＝（ｋＢ２／ｋＢ１）×ｂＲＢ，
ｂＬＢ’＋ｇＢ’≒ｂＬＧ          （１６）
【０１１８】
上式（１２）、（１６）より、画素値Ｂ’と画素値Ｇを成分｛ｂＲＢ’，ｂＬＧ，ｇＧ，ｒＲＧ｝を用いて表すと、下式（１７）のようになる。
Ｂ’＝ｂＲＢ’＋（ｂＬＢ’＋ｇＢ’）＝ｂＲＢ’＋ｂＬＧ，
Ｇ  ＝ｂＬＧ＋（ｇＧ＋ｒＲＧ）                      （１７）
【０１１９】
次に、下式（１８）に示すように、補正後の画素値Ｂ’と画素値Ｇの差分を取ることにより、重複した成分ｂＬを取り除く。また上式（１７）より下式（１９）が成り立つ。
Ｂ’−Ｇ＝［ｂＲＢ’＋ｂＬＧ］−［ｂＬＧ＋ｇＧ＋ｒＲＧ］
＝ｂＲＢ’−（ｇＧ＋ｒＲＧ）              （１８）
ｂＬＧ＝Ｂ’−ｂＲＢ’                          （１９）
【０１２０】
ｂＲＢ’を未知数（支配変数）とすると、上式（１８）、（１９）より｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の関係式を下式（２０）のように求められる。
ｂＲＢ’＝未知数（支配変数）
ｂＬＧ＝Ｂ’−ｂＲＢ’
ｇＧ＋ｒＲＧ＝ｂＲＢ’−（Ｂ’−Ｇ）  （２０）
【０１２１】
｛Ｂ’，Ｇ｝は検出された既知の値であるので、上式（２０）に基づき未知数ｂＲＢ’が決まれば、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝が全て決まることになる。即ち、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の尤度パターンを特定することができる。
【０１２２】
図１９に、この関係を原理的に表した図を示す。図１９に示すように、未知数ｂＲＢ’として、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小になる値を求める。即ち、下式（２１）に示す誤差の評価値ＥＢＧが最小になる場合のｂＲＢ’を求め、求めたｂＲＢ’を上式（２０）に代入することにより、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の値を決定する。
ｅＢ＝（Ｂ’／２−ｂＲＢ’）２＋（Ｂ’／２−ｂＬＧ）２，
ｅＧ＝（Ｇ／２−ｂＬＧ）２＋（Ｇ／２−（ｇＧ＋ｒＲＧ））２，
ＥＢＧ＝ｅＢ＋ｅＧ                                  （２１）
【０１２３】
以上のようにして、各画素の２バンド画素値｛Ｂ’，Ｇ｝から成分｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を推定することができる。
【０１２４】
なお、上記では｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小となる場合のｂＲＢ’を求めたが、本実施形態では、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝と｛αＢＢ’，αＧｂＧ｝の誤差が最小となる場合のｂＲＢ’を求めてもよい。ここで、αＢ、αＧｂは、下式（２２）を満たす値である。αＢは、Ｂ’に対する｛ｂＲＢ’，ｂＬＧ｝の平均的な値を算出するためのものであり、αＧｂは、Ｇに対する｛ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の平均的な値を算出するためのものである。これらは、図１６に示すような撮像素子のカラーフィルタ特性から｛ｂＲＢ’，ｂＬＧ｝及び｛ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の成分比を考慮して決定すればよい。
０＜αＢ≦１，０＜αＧｂ≦１  （２２）
【０１２５】
４．５．３．｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝の推定処理
次に、画素値｛Ｇ，Ｒ｝から成分｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝を推定する処理について説明する。
【０１２６】
上式（１２）を用いて、画素値｛Ｇ，Ｒ｝で重複している波長帯域｛ｇ，ｒＲ｝を、画素値｛Ｇ，Ｒ｝の差分に基づいて取り除き、成分［ｂＬ＋ｇ］と成分ｒＬの関係を求めることにより成分｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝の関係式を導き出す処理を行う。
【０１２７】
図２０（Ａ）〜図２０（Ｄ）に示すように、波長帯域ｒＲに対応するのは画素値Ｇの成分ｒＲＧ及び画素値Ｒの成分ｒＲＲであるが、成分ｒＲＧ、ｒＲＲには、分光特性ＦＧ、ＦＲの相対ゲインが乗じられている。そのため、成分ｒＲＧ、ｒＲＲは、相対ゲインの分だけ異なる値であり、成分ｒＲＧ、ｒＲＲが等しくなるように補正する必要がある。
【０１２８】
図２０（Ｃ）、図２０（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｇＲ＋ｒＲＲ）の成分比をｋＲ１とし、ｒＲＧの成分比をｋＲ２とすると、下式（２３）が成り立つ。ｋＲ１／ｋＲ２は、例えば帯域ｒＲにおける分光特性ＦＧ、ＦＲのゲイン比である。
ｇＲ＋ｒＲＲ＝（ｋＲ２／ｋＲ１）×ｒＲＧ  （２３）
【０１２９】
帯域ｇ、ｒＲにおける分光特性ＦＲのゲインを考慮すると、成分ｇＲは成分ｒＲＲよりも十分小さいと考えられるため、成分ｒＲＧ、ｒＲＲを等しくするためには、成分（ｇＲ＋ｒＲＲ）と成分ｒＲＧがほぼ等しくなればよい。成分（ｇＲ＋ｒＲＲ）を補正した値を（ｇＲ’＋ｒＲＲ’）とすると、上式（２３）を用いて下式（２４）に示す補正を行えばよい。
ｇＲ’＋ｒＲＲ’≒ｒＲＧ＝（ｋＲ２／ｋＲ１）×（ｇＲ＋ｒＲＲ）  （２４）
【０１３０】
成分（ｇＲ＋ｒＲＲ）は画素値Ｒに含まれるため、成分（ｇＲ＋ｒＲＲ）を補正するためには、結局、画素値Ｒを補正することになる。この補正後のＲをＲ’とすると、下式（２５）の関係が得られる。
Ｒ’＝（ｋＲ２／ｋＲ１）Ｒ  （２５）
【０１３１】
上式（２５）より、Ｒ’の成分｛ｇＲ’，ｒＲＲ’，ｒＬＲ’｝は下式（２６）となる。
ｇＲ’＋ｒＲＲ’≒ｒＲＧ，
ｒＬＲ’＝（ｋＲ２／ｋＲ１）×ｒＬＲ  （２６）
【０１３２】
上式（１２）、（２６）より、画素値Ｇと画素値Ｒ’を成分｛ｂＬＧ，ｇＧ，ｒＲＧ，ｒＬＲ’｝を用いて表すと、下式（２７）のようになる。
Ｇ  ＝ｂＬＧ＋（ｇＧ＋ｒＲＧ），
Ｒ’＝（ｇＲ’＋ｒＲＲ’）＋ｒＬＲ’＝ｒＲＧ＋ｒＬＲ’  （２７）
【０１３３】
次に、下式（２８）に示すように、画素値Ｇと補正後の画素値Ｒ’の差分を取ることにより、重複した成分ｒＲを取り除く。また上式（２７）より下式（２９）が成り立つ。
Ｇ−Ｒ’＝［ｂＬＧ＋ｇＧ＋ｒＲＧ）］−［ｒＲＧ＋ｒＬＲ’］
＝（ｂＬＧ＋ｇＧ）−ｒＬＲ’                  （２８）
ｒＲＧ＝Ｒ’−ｒＬＲ’                              （２９）
【０１３４】
ｒＬＲ’を未知数（支配変数）とすると、上式（２８）、（２９）より｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の関係式を下式（３０）のように求められる。
ｒＬＲ’＝未知数（支配変数），
ｒＲＧ＝Ｒ’−ｒＬＲ’，
ｂＬＧ＋ｇＧ＝ｒＬＲ’＋（Ｇ−Ｒ’）  （３０）
【０１３５】
｛Ｇ，Ｒ’｝は検出された既知の値であるので、上式（３０）に基づき未知数ｒＬＲ’が決まれば、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝が全て決まることになる。即ち、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の尤度パターンを特定することができる。
【０１３６】
図２１に、この関係を原理的に表した図を示す。図２１に示すように、未知数ｒＬＲ’として、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小になる値を未知数ｒＬＲ’として求める。即ち、下式（３１）に示す誤差の評価値ＥＧＲが最小になる場合のｒＬＲ’を求め、求めたｒＬＲ’を上式（３０）に代入することにより、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の値を決定する。
ｅＧ＝（Ｇ／２−（ｂＬＧ＋ｇＧ））２＋（Ｇ／２−ｒＲＧ）２，
ｅＧ＝（Ｒ’／２−ｒＲＧ）２＋（Ｒ’／２−（ｒＬＲ’））２，
ＥＧＲ＝ｅＧ＋ｅＲ                                    （３１）
【０１３７】
以上のようにして、各画素の２バンド画素値｛Ｇ，Ｒ’｝から成分｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝を推定することができる。
【０１３８】
なお、上記では｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小となる場合のｒＬＲ’を求めたが、本実施形態では、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝と｛αＧｒＧ，αＲＲ’｝の誤差が最小となる場合のｒＬＲ’を求めてもよい。ここで、αＲ、αＧｒは、下式（３２）を満たす値である。αＲは、Ｒ’に対する｛ｒＬＲ’，ｒＲＧ｝の平均的な値を算出するためのものであり、αＧｒは、Ｇに対する｛ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の平均的な値を算出するためのものである。これらは、図１６に示すような撮像素子のカラーフィルタ特性から｛ｒＬＲ’，ｒＲＧ｝及び｛ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の成分比を考慮して決定すればよい。
０＜αＲ≦１，０＜αＧｒ≦１  （３２）
【０１３９】
４．５．４．成分値の算出処理、右瞳画像と左瞳画像の取得処理
次に、上記で求めた値｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝を用いて、画素値Ｂを構成する成分｛ｂＲＢ，ｂＬＢ｝の値と、画素値Ｇを構成する成分｛ｂＬＧ，ｇＧ，ｒＲＧ｝の値と、画素値Ｒを構成する成分｛ｒＲＲ，ｒＬＲ｝の値とを算出する。
【０１４０】
ｂＲＢ，ｒＬＲは、上式（１６）、（２６）より、下式（３３）のように求められる。
ｂＲＢ＝（ｋＢ１／ｋＢ２）×ｂＲＢ’，
ｒＬＲ＝（ｋＲ１／ｋＲ２）×ｒＬＲ’    （３３）
【０１４１】
ｂＬＢ，ｒＲＲは、ｇＢ≪ｂＲＢ，ｇＲ≪ｒＬＲであること及び上式（１２）より、下式（３４）のように求められる。
ｂＬＢ＝Ｂ−（ｂＲＢ＋ｇＢ）≒Ｂ−ｂＲＢ，
ｒＲＲ＝Ｒ−（ｒＬＲ＋ｇＲ）≒Ｒ−ｒＬＲ  （３４）
【０１４２】
ｂＬＧ，ｒＲＧは、上式（１２）より、下式（３５）のように求められる。
ｂＬＧ＝Ｇ−（ｇＧ＋ｒＲＧ），
ｒＲＧ＝Ｇ−（ｇＧ＋ｂＬＧ）  （３５）
【０１４３】
ｇＧは、上式（１２）、（３５）より、下式（３６）のように求められる。
ｇＧ＝Ｇ−（ｂＬＧ＋ｒＲＧ）  （３６）
【０１４４】
右瞳画像ＩＲと左瞳画像ＩＬのＲ、Ｇ、Ｂ成分は、上記で求めた成分から下式（３７）のように分離する。
ＩＲ＝（ｒＲＲ，ｒＲＧ，ｂＲＢ），ＩＬ＝（ｒＬＲ，ｂＬＧ，ｂＬＢ）  （３７）
【０１４５】
以上の実施形態によれば、光学フィルタＦＬＴは、撮像光学系の瞳を、第１瞳（例えば右瞳）と、第１瞳とは透過波長帯域が異なる第２瞳（左瞳）とに分割する。図１６で説明したように、撮像素子は、第１透過率特性ＦＢを有する第１色（例えば青色）フィルタと、第２透過率特性ＦＧを有する第２色（緑色）フィルタと、第３透過率特性ＦＲを有する第３色（赤色）フィルタとを含む。マルチバンド推定部７０は、第１〜第３透過率特性｛ＦＢ，ＦＧ，ＦＲ｝の重なり部分及び非重なり部分に対応する第１〜第５バンドＢＤ１〜ＢＤ５を設定し、撮像画像を構成する第１〜第３色の画素値｛Ｒ，Ｇ，Ｂ｝に基づいて第１〜第５バンドの成分値｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝を推定する。位相差画像生成部２０は、第１〜第５バンドＢＤ１〜ＢＤ５のうち第１瞳の透過波長帯域に対応するバンドの成分値を第１画像（右瞳画像）ＩＲ＝（ｒＲＲ，ｒＲＧ，ｂＲＢ）として取得し、第１〜第５バンドのうち第２瞳の透過波長帯域に対応するバンドの成分値を第２画像（左瞳画像）ＩＬ＝（ｒＬＲ，ｂＬＧ，ｂＬＢ）として取得する。
【０１４６】
このようにすれば、第１〜第３色の画素値で構成される画像から５バンドの成分値を推定し、その成分値を第１画像と第２画像に分離することができる。そして、第１画像と第２画像の画素値を比較することにより、合焦方向（第１画像と第２画像のずれ方向）を判定できる。また、通常のＲＧＢ撮像素子を用いることが可能となるため、位相差検出用画素による画素欠陥や、１色当たりの割り当て画素数の減少等が起きず、位相差の検出精度や画像の解像度が低下しない。また、第１瞳と第２瞳でそれぞれ複数色を透過するように設定すれば、デフォーカス画像領域における色ずれの抑制や、色が偏った被写体における位相差検出精度の向上を、実現できる。
【０１４７】
また本実施形態では、図１６で説明したように、マルチバンド推定部７０は、第１透過率特性ＦＢの非重なり部分に対応する第１バンドＢＤ１と、第１透過率特性ＦＢと第２透過率特性ＦＧとの重なり部分に対応する第２バンドＢＤ２と、第２透過率特性ＦＧの非重なり部分に対応する第３バンドＢＤ３と、第２透過率特性ＦＧと第３透過率特性ＦＲとの重なり部分に対応する第４バンドＢＤ４と、第３透過率特性ＦＲの非重なり部分に対応する第５バンドＢＤ５とを設定する。
【０１４８】
ここで、透過率特性の重なり部分とは、図１６に示すように波長軸に対して透過率特性を表した場合に、波長軸上で隣り合う透過率特性が重なっている領域のことである。重なり部分は、透過率特性が重なっている領域そのもの、あるいは透過率特性の帯域が重なっている帯域で表される。また、透過率特性の非重なり部分とは、他の透過率特性と重なっていない部分のことである。即ち、透過率特性から重なり部分を除いた部分のことである。なお、重なり部分又は非重なり部分に対応するバンドは、重なり部分又は非重なり部分の帯域そのものに限定されず、重なり部分又は非重なり部分に対応して設定されたバンドであればよい。例えば、所定の透過率と透過率特性が交わる波長でバンドを分割し、第１〜第５バンドを設定してもよい。
【０１４９】
このようにすれば、撮像画像の第１〜第３色の画素値｛Ｒ，Ｇ，Ｂ｝から第１〜第５のバンド成分値｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝を推定することが可能となる。即ち、上式（１２）で説明したように、透過率特性が隣り合う画素値（例えばＢ、Ｇ）には重なり部分の成分値（ｂＬ）が含まれる。この重なり部分の成分値（ｂＬ）を、上式（１８）のように画素値の差分（Ｂ’−Ｇ）により消去することで、上式（２０）のように成分値の関係式を求め、その関係式に基づいて成分値を推定することが可能となる。
【０１５０】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像光学系、画像処理装置、撮像装置等の構成・動作や、位相差画像生成手法、高解像化処理手法、マルチバンド推定手法等も本実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０１５１】
１０  撮像部、２０  位相差画像生成部、２５  高解像化処理部、
３０  表示画像生成部、４０  モニタ表示部、７０  マルチバンド推定部、
７５  マルチバンド画像生成部、９０  データ圧縮部、１００  データ記録部、
２００  データ記録部、２１０  データ伸張部、２２０  位相差画像生成部、
２２５  高解像化処理部、２３０  表示画像生成部、２４０  モニタ表示部、
２７０  マルチバンド推定部、２７５  マルチバンド画像生成部、
ＢＤ１〜ＢＤ５  第１〜第５バンド、Ｄｒ  デフォーカス位置、
ＦＢ，ＦＧ，ＦＲ  透過率特性、ＦＬ１  右瞳フィルタ、ＦＬ２  左瞳フィルタ、
ＦＬＴ  光学フィルタ、ＦＰ  フォーカス位置、ＩＬ  左瞳画像、ＩＲ  右瞳画像、
Ｉ（ｉ），ＩＬ（ｉ），ＩＲ（ｉ）  検出サンプリング値、
Ｉ’（ｉ）  推定サンプリング値、ＬＮＳ  結像レンズ、
ＰＳＦＡ，ＰＳＦＢ  仮想的なポイントスプレッドファンクション、
ＰＳＦＬ  左瞳のポイントスプレッドファンクション、
ＰＳＦＲ  右瞳のポイントスプレッドファンクション、
ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ  第１〜第５バンドの成分値、
ｘ  視差方向での位置、δ  位相差、ξ，φ  係数
【図１】
2014045275.tif 000003
【図２】
2014045275.tif 000004
【図３】
2014045275.tif 000005
【図４】
2014045275.tif 000006
【図６】
2014045275.tif 000007
【図１２】
2014045275.tif 000008
【図１３】
2014045275.tif 000009
【図１４】
2014045275.tif 000010
【図１５】
2014045275.tif 000011
【図１６】
2014045275.tif 000012
【図１７】
2014045275.tif 000013
【図１８】
2014045275.tif 000014
【図１９】
2014045275.tif 000015
【図２０】
2014045275.tif 000016
【図２１】
2014045275.tif 000017
【図５】
2014045275.tif 000018
【図７】
2014045275.tif 000019
【図８】
2014045275.tif 000020
【図９】
2014045275.tif 000021
【図１０】
2014045275.tif 000022
【図１１】
2014045275.tif 000023