(57)【要約】【課題】合焦度合いに応じて相関幅を適応的に変化させることが可能な撮像装置及び位相差検出方法を提供すること。【解決手段】撮像装置は撮像素子と位相差画像生成部２０と位相差検出部８２とを含む。撮像素子は、第１被写体像と、第１被写体像に対して視差を有する第２被写体像とを撮像する。位相差画像生成部２０は、その撮像画像に基づいて、第１被写体像に対応する第１画像ＩＲと第２被写体像に対応する第２画像ＩＬとを生成する。位相差検出部８２は、第１画像ＩＲと第２画像ＩＬを相対的にシフトさせながら相関演算を行い、第１画像ＩＲと第２画像ＩＬの位相差を検出する。位相差検出部８２は、そのシフトのシフト量に応じて、相関演算の積和を行う領域幅である相関幅を設定する。【選択図】      図９
2014038151.tif 000002
【特許請求の範囲】
【請求項１】
第１被写体像と前記第１被写体像に対して視差を有する第２被写体像とを撮像し、撮像画像を取得する撮像素子と、
前記撮像画像に基づいて、前記第１被写体像に対応する第１画像と前記第２被写体像に対応する第２画像とを生成する位相差画像生成部と、
前記第１画像と前記第２画像を相対的にシフトさせながら相関演算を行い、前記第１画像と前記第２画像の位相差を検出する位相差検出部と、
を備え、
前記位相差検出部は、
前記相関演算の積和を行う領域幅である相関幅を、前記シフトのシフト量に応じて設定することを特徴とする撮像装置。
【請求項２】
請求項１において、
前記位相差検出部は、
前記シフト量を順次大きくするとともに前記相関幅を順次広くしながら前記相関演算を繰り返し行って相関値を求め、前記相関値が最大値となるときの前記シフト量を前記位相差として検出することを特徴とする撮像装置。
【請求項３】
請求項２において、
前記位相差検出部は、
前記シフト量を順次大きくしながら前記相関値を求めたときに、前記相関値の最初のピーク値に対応する前記シフト量を前記位相差として検出することを特徴とする撮像装置。
【請求項４】
請求項３において、
前記位相差検出部は、
前記最初のピーク値を検出したと判断した場合に、前記最初のピーク値を検出したと判断したときの前記シフト量よりも大きい前記シフト量について前記相関値を求めずに前記相関演算を終了することを特徴とする撮像装置。
【請求項５】
請求項２乃至４のいずれかにおいて、
前記位相差検出部は、
前記位相差を検出したときの前記相関幅に対応した角周波数を設定し、前記角周波数における画素値のフーリエ係数を前記第１画像と前記第２画像について算出し、前記第１画像についての前記フーリエ係数の偏角と前記第２画像についての前記フーリエ係数の偏角との差分が最小となるときの前記シフト量を、サブピクセルの位相差として検出することを特徴とする撮像装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記位相差検出部は、
前記撮像画像の画素値と、前記第１画像及び前記第２画像のうち少なくとも一方である比較画像の画素値とを比較することにより、撮像光学系の合焦方向を判定し、
前記相関演算において前記第１画像と前記第２画像をシフトさせるシフト方向を、前記判定した前記合焦方向に基づいて設定することを特徴とする撮像装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
マルチバンド推定部と、
撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタと、
を備え、
前記撮像素子は、
第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを有し、
前記マルチバンド推定部は、
前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記撮像画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定し、
前記位相差画像生成部は、
前記第１〜第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を前記第１画像として取得し、前記第１〜第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を前記第２画像として取得することを特徴とする撮像装置。
【請求項８】
第１被写体像と前記第１被写体像に対して視差を有する第２被写体像とを撮像して、撮像画像を取得し、
前記撮像画像に基づいて、前記第１被写体像に対応する第１画像と前記第２被写体像に対応する第２画像とを生成し、
相関演算の積和を行う領域幅である相関幅を、前記相関演算における前記第１画像と前記第２画像のシフト量に応じて設定し、
前記第１画像と前記第２画像との位相差を前記相関演算により検出することを特徴とする位相差検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び位相差検出方法等に関する。
【背景技術】
【０００２】
従来より、視差を有する２つの画像の位相差を相関演算によって検出する手法が知られている。このような手法としては、例えば特許文献１、２に記載される手法が知られている。
【０００３】
特許文献１には、ステレオマッチングを行う所定サイズを設定し、その設定したサイズで相関値を求め、その求めた相関値に基づいて、ステレオマッチングを行うサイズを再設定し、これを繰り返して最終的に設定したサイズで相関演算を行うことにより、相関幅を適応的に設定して相関演算を行う手法が開示されている。
【０００４】
特許文献２には、基準視差を設定し、その基準視差を与える画像点を基準にステレオマッチングの探索範囲を特定し、その探索範囲においてステレオマッチングを行うことにより、相関演算を行う探索範囲を絞り込む手法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１７２５００号公報
【特許文献２】特開２０１０−１２８６２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のような相関演算により位相差を検出する手法は、例えば、検出した位相差を用いてフォーカス制御を行う位相差ＡＦ（Auto-Focus）や、被写体までの距離を求める立体計測等に用いられている。
【０００７】
しかしながら、一般的な画像では、フォーカスが合った部分とフォーカスが合っていない部分が共存するため、その合焦度合いに応じて相関幅（相関演算において積和をとる幅）を適応的に変化させる必要があるという課題がある。例えば、相関幅を適応的に変化させなかったとすると、所定の相関幅で相関ピークを求める演算を、相関幅を順次変えながら繰り返すこととなるため、演算量が増加してしまう。上述の特許文献１では、適応的に相関幅を設定しているが、相関演算の前に相関幅の設定処理を行う必要があり、その分だけ演算量が増加するという課題がある。
【０００８】
本発明の幾つかの態様によれば、合焦度合いに応じて相関幅を適応的に変化させることが可能な撮像装置及び位相差検出方法等を提供できる。
【課題を解決するための手段】
【０００９】
本発明の一態様は、第１被写体像と前記第１被写体像に対して視差を有する第２被写体像とを撮像し、撮像画像を取得する撮像素子と、前記撮像画像に基づいて、前記第１被写体像に対応する第１画像と前記第２被写体像に対応する第２画像とを生成する位相差画像生成部と、前記第１画像と前記第２画像を相対的にシフトさせながら相関演算を行い、前記第１画像と前記第２画像の位相差を検出する位相差検出部と、を備え、前記位相差検出部は、前記相関演算の積和を行う領域幅である相関幅を、前記相関演算における前記第１画像と前記第２画像のシフト量に応じて設定する撮像装置に関係する。
【００１０】
本発明の一態様によれば、視差を有する第１被写体像と第２被写体像が撮像され、第１被写体像に対応する第１画像と第２被写体像に対応する第２画像とが撮像画像から生成され、相関演算におけるシフト量に応じて相関幅が設定され、そのシフト量に応じた相関幅で相関演算が行われ、第１画像と第２画像の位相差が検出される。これにより、合焦度合いに応じて相関幅を適応的に変化させることが可能になる。
【００１１】
また本発明の一態様では、前記位相差検出部は、前記シフト量を順次大きくするとともに前記相関幅を順次広くしながら前記相関演算を繰り返し行って相関値を求め、前記相関値が最大値となるときの前記シフト量を前記位相差として検出してもよい。
【００１２】
また本発明の一態様では、前記位相差検出部は、前記シフト量を順次大きくしながら前記相関値を求めたときに、前記相関値の最初のピーク値に対応する前記シフト量を前記位相差として検出してもよい。
【００１３】
また本発明の一態様では、前記位相差検出部は、前記最初のピーク値を検出したと判断した場合に、前記最初のピーク値を検出したと判断したときの前記シフト量よりも大きい前記シフト量について前記相関値を求めずに前記相関演算を終了してもよい。
【００１４】
また本発明の一態様では、前記位相差検出部は、前記位相差を検出したときの前記相関幅に対応した角周波数を設定し、前記角周波数における画素値のフーリエ係数を前記第１画像と前記第２画像について算出し、前記第１画像についての前記フーリエ係数の偏角と前記第２画像についての前記フーリエ係数の偏角との差分が最小となるときの前記シフト量を、サブピクセルの位相差として検出してもよい。
【００１５】
また本発明の一態様では、前記位相差検出部は、前記撮像画像の画素値と、前記第１画像及び前記第２画像のうち少なくとも一方である比較画像の画素値とを比較することにより、撮像光学系の合焦方向を判定し、前記相関演算において前記第１画像と前記第２画像をシフトさせるシフト方向を、前記判定した前記合焦方向に基づいて設定してもよい。
【００１６】
また本発明の一態様では、マルチバンド推定部と、撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタと、を備え、前記撮像素子は、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを有し、前記マルチバンド推定部は、前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記撮像画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定し、前記位相差画像生成部は、前記第１〜第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を前記第１画像として取得し、前記第１〜第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を前記第２画像として取得してもよい。
【００１７】
また本発明の他の態様は、第１被写体像と前記第１被写体像に対して視差を有する第２被写体像とを撮像して、撮像画像を取得し、前記撮像画像に基づいて、前記第１被写体像に対応する第１画像と前記第２被写体像に対応する第２画像とを生成し、相関演算の積和を行う領域幅である相関幅を、前記相関演算における前記第１画像と前記第２画像のシフト量に応じて設定し、前記第１画像と前記第２画像との位相差を前記相関演算により検出する位相差検出方法に関係する。
【図面の簡単な説明】
【００１８】
【図１】撮像光学系の基本構成例。
【図２】本実施形態の位相差検出手法についての説明図。
【図３】シフト量に対する相関幅の特性例と、シフト量に対する相関値の特性例。
【図４】図４（Ａ）、図４（Ｂ）は、本実施形態の位相差検出手法についての原理的な説明図。
【図５】本実施形態の位相差検出手法についての原理的な説明図。
【図６】本実施形態のサブピクセルの位相差検出手法についての説明図。
【図７】偏角差分についての説明図。
【図８】偏角差分からサブピクセルの位相差を検出する手法についての説明図。
【図９】第１実施形態における撮像装置の構成例。
【図１０】位相差検出処理のフローチャート。
【図１１】サブピクセルの位相差検出を行う場合の位相差検出処理のフローチャート。
【図１２】図１２（Ａ）、図１２（Ｂ）は、第２実施形態における合焦方向判定手法についての説明図。
【図１３】第３実施形態における撮像装置の構成例。
【図１４】バンド分割手法についての説明図。
【図１５】図１５（Ａ）〜図１５（Ｆ）は、マルチバンド推定処理についての説明図。
【図１６】マルチバンド推定処理における未知数推定処理についての説明図。
【図１７】図１７（Ａ）〜図１７（Ｆ）は、マルチバンド推定処理についての説明図。
【図１８】マルチバンド推定処理における未知数推定処理についての説明図。
【発明を実施するための形態】
【００１９】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２０】
１．本実施形態の概要
位相差画像（視差画像）を撮像する装置として、例えば２眼式カメラによるステレオ画像撮像装置や瞳分割方式による１眼式カメラなどが知られている。このような装置により撮像した位相差画像により、例えば３次元画像の生成や立体形状計測、位相差式高速ＡＦ等が実現されている。特に立体形状計測や位相差式高速ＡＦの場合には、位相差画像の特定位置における位相差（２つの位相差画像のずれ量）を検出し、３角測量の原理を用いて光軸方向の距離情報を求めるのが一般的である。このような位相差を検出するためには、位相差を検出したい位置の近傍の画像（画素値パターン）から対応点を相関演算により見つけ、その対応点の間のずれ量（即ち位相差）を求めるのが通常である。
【００２１】
しかしながら、撮像装置で得られた位相差画像では、フォーカスが合っている領域とボケている領域とが共存しており、様々な合焦度合いの領域が混在している。例えば立体形状計測等のように、位相差画像の全ての領域において位相差を求める場合には、様々な合焦度合いの領域で位相差を検出する必要がある。そのため、その合焦度合いに応じて、相関演算において積和をとる幅（以下では適宜、「相関幅」と呼ぶ）を適応的に変化させる必要がある。例えば、フォーカスが合っている領域の画像では、相関幅が大きいと相関ピークが複数発生することに起因して真の位相差を求めることができないので、相関幅を小さく設定する必要がある。一方、ボケている領域の画像では、相関幅を小さく設定すると相関ピークが発生せず、やはり真の位相差を求めることができないので、相関幅を大きく設定する必要がある。
【００２２】
このように適切な相関幅が分からない場合の相関演算手法として、例えば、相関幅を変化させながら、１つ１つの相関幅について位相差画像のシフト量を異ならせて複数回の積和演算を行い、各相関幅について相関ピークを求め、その複数の相関ピークの中から最大値を求める手法がある。しかしながら、この手法では、積和の演算回数が膨大になるという課題がある。特に位相差画像の全て領域に対して相関演算を適用する場合には、演算を高速化する点において非現実的である。
【００２３】
例えば上述した特許文献１では、適応的に相関幅を設定できるものの、相関演算の前に相関幅の設定処理を行う必要があるため、演算量が増加するという課題がある。また上述した特許文献２では、相関演算を行う探索範囲を絞り込むことにより演算の高速化を図っているが、適応的に相関幅を設定できるわけではない。
【００２４】
そこで本実施形態では、図３等に示すように、相関演算において２つの位相差画像を近づけるシフト量δを順次大きくしていくと共に、そのシフト量δに応じて相関幅Ｗを大きくしていく。そして、相関値が最大となるシフト量δｋを位相差として検出する。
【００２５】
シフト量δｋのとき相関幅はＷｋであり、シフト量δｋは検出対象位置での合焦度合いに対応する。そのため本実施形態では、合焦度合いに対して適応的に相関幅Ｗｋが変化することとなり、適切な相関幅Ｗｋで位相差を検出することが可能となる。また本実施形態では、相関ピークを１回求めるだけで位相差を検出することができるので、１つ１つの相関幅について相関ピークを求める手法に比べて、格段に積和演算の回数を減らすことができる。また、相関演算の中でシフト量δとともに相関幅Ｗが変化していくので、相関演算の前に相関幅Ｗを決める処理を行う必要がなく、相関演算を高速化できる。
【００２６】
２．第１実施形態
２．１．撮像光学系の基本構成
次に、本実施形態における位相差検出手法について詳細に説明する。まず、第１の実施形態について説明する。
【００２７】
図１に、本実施形態における撮像光学系の基本構成例を示す。図１に示すように、撮像光学系は、撮像素子のセンサ面に被写体を結像させる結像レンズＬＮＳと、第１瞳と第２瞳で帯域を分離する光学フィルタＦＬＴと、を含む。なお以下では、撮像センサの水平走査方向に瞳を分割し、第１瞳を右瞳とし、第２瞳を左瞳とする場合を例にとり説明する。また、左瞳から右瞳へ向かう瞳分割の方向を、適宜「視差方向」とも呼び、この視差方向（即ち水平走査方向）に沿った画素位置を位置ｘで表すものとする。なお本実施形態では、瞳の分離方向は水平走査方向に限定されず、撮像光学系の光軸に対して垂直な任意の方向に分離されていればよい。
【００２８】
光学フィルタＦＬＴは、透過率特性ｆＲを有する右瞳フィルタＦＬ１（第１フィルタ）と、ｆＲとは異なる透過率特性ｆＬを有する左瞳フィルタＦＬ２（第２フィルタ）と、を有する。光学フィルタＦＬＴは、撮像光学系の瞳位置（例えば絞りの設置位置）に設けられ、フィルタＦＬ１、ＦＬ２がそれぞれ右瞳、左瞳に相当している。
【００２９】
結像レンズＬＮＳ及び光学フィルタＦＬＴを透過した結像光には、右瞳を通過した被写体像と左瞳を通過した被写体像が含まれる。撮像素子は、これらの被写体像を含む結像光束を画像として撮像する。そして、左右瞳の透過率特性ｆＲ、ｆＬが明確に帯域分離されていることを用いて、撮像画像から右瞳画像（第１画像）の画素値ＩＲ（ｘ）と左瞳画像（第２画像）の画素値ＩＬ（ｘ）を求める。なお、撮像素子上の任意の画素は、２次元のアドレスで表記すべきだが、ここでは便宜上撮像素子上の１方向の位置における画素値により説明するものとする。また、ＩＲ（ｘ）、ＩＬ（ｘ）は位置ｘにおける画素値を表すが、画像全体を表す符号としても適宜ＩＲ（ｘ）、ＩＬ（ｘ）を用いる。
【００３０】
なお、ＩＲ（ｘ）、ＩＬ（ｘ）を生成する手法の詳細については第３実施形態で後述するが、本実施形態における左右瞳画像の分離手法はこれに限定されない。即ち、位相差を有する２つの画像さえ取得できれば、その画像に対して本実施形態の相関演算の手法を適用できる。
【００３１】
図１に示すように、フォーカス位置ＦＰに撮像素子のセンサ面がある場合には、右瞳画像ＩＲ（ｘ）と左瞳画像ＩＬ（ｘ）は視差方向にずれておらず、位置が一致している。一方、デフォーカス位置Ｄｒ、Ｄｆに撮像素子のセンサ面がある場合には、右瞳画像ＩＲ（ｘ）と左瞳画像ＩＬ（ｘ）は視差方向にずれる。具体的には、デフォーカス位置Ｄｆでは、フォーカスが撮像素子のセンサ面よりも後ろ側にある後ピント状態であり、右瞳画像ＩＲ（ｘ）が右側（＋ｘ方向）にずれ、左瞳画像ＩＬ（ｘ）が左側（−ｘ方向）にずれる。一方、デフォーカス位置Ｄｒは、フォーカスが撮像素子のセンサ面よりも前側にある前ピント状態であり、右瞳画像ＩＲ（ｘ）が左側にずれ、左瞳画像ＩＬ（ｘ）が右側にずれる。
【００３２】
図１には、デフォーカス位置ＤｒでのＩＲ（ｘ）、ＩＬ（ｘ）を例として図示しており、ＩＲ（ｘ）、ＩＬ（ｘ）のずれ量をδで表す。本実施形態では、このずれ量δを相関演算により位相差として算出する。
【００３３】
２．２．位相差検出手法
次に、右瞳画像ＩＲ（ｘ）と左瞳画像ＩＬ（ｘ）の位相差を検出する手法について説明する。なお、以下では後ピント状態でのＩＲ（ｘ）、ＩＬ（ｘ）を例にとり説明するが、前ピント状態でも同様にして相関演算を行うことができる。
【００３４】
図２に示すように、右瞳画像ＩＲ（ｘ）と左瞳画像ＩＬ（ｘ）の波形を近づけるシフト量をδ０、δ１、δ２、・・・と変化させ、各シフト量について右瞳画像ＩＲ（ｘ）と左瞳画像ＩＬ（ｘ）の画素値の積和をとる。ここでδｊはｊ回目（ｊは０以上の整数）の演算ステップにおけるシフト量を表し、δ０＝０、δｊ＜δ（ｊ＋１）である。後ピント状態では、右瞳画像ＩＲ（ｘ）を左側（−ｘ方向）にδｊだけシフトさせ、左瞳画像ＩＬ（ｘ）を右側（＋ｘ方向）にδｊだけシフトさせる。
【００３５】
シフト量δｊでの積和は、シフト量δｊに対応して設定された相関幅Ｗｊで行い、その相関幅Ｗｊは、画像上において相関値を求めたい位置ｘｉ（以下では適宜、「注目位置」と呼ぶ）を中心として設定される。具体的には、下式（１）、（２）により位置ｘｉでの相関値Ｃ（δｊ）を求める。
【数１】
2014038151.tif 000003
【数２】
2014038151.tif 000004
【００３６】
図３に、シフト量δｊに対する相関幅Ｗｊの特性ＷＤと、シフト量δｊに対する相関値Ｃ（δｊ）の特性ＣＶを示す。
【００３７】
特性ＷＤに示すように、相関幅Ｗｊは、シフト量δｊを大きくするのと連動して大きくなる。基本的にはＷｊ＜Ｗ（ｊ＋１）となるように設定するが、必ずしも全てのδｊに対してＷｊ＜Ｗ（ｊ＋１）である必要はなく、例えばδ０の近傍（図３の例ではδ０〜δ２）においてＷｊ＝Ｗ（ｊ＋１）であってもよい。この相関幅Ｗｊとシフト量δｊの関係は、例えば画像の位相差とボケ具合の関係から予め設定しておけばよい。即ち、画像の位相差が大きくなるほど画像がボケることから、シフト量δｊに連動して相関幅Ｗｊを大きくする。この点については、図４等で詳細に後述する。
【００３８】
特性ＣＶに示すように、シフト量をδ０、δ１、δ２、・・・と変化させながら相関値Ｃ（δｊ）を求めると、シフト量δｊが注目位置ｘｉでの位相差に一致したときにピークとなる。このときのシフト量をδｋ（ｋは自然数）で表し、相関幅をＷｋで表し、相関値のピーク値をＣ（δｋ）＝Ｃｍａｘで表す。本実施形態では、この相関ピークを検出することにより位相差を検出する。検出される位相差は２δｋである。相関ピークの検出手法としては、例えば相関値Ｃ（δｊ）に対してピークホールド処理を行えばよい。
【００３９】
Ｅ１に示すように、ピーク検出において１つ目の相関ピークを検出したと判断したら、それ以降の相関値を求めずに相関演算を終了する。例えば、ピークホールド処理でホールドしている相関値と新たに算出した相関値とを比較し、新たに算出した相関値の方が小さいという判定が所定回数だけ続いた場合に、相関演算を終了する。このようにすれば、誤った相関ピークを位相差として検出することを防止でき、また、相関演算を途中で終了するので処理を高速化できる。
【００４０】
次に図４（Ａ）〜図５を用いて、シフト量δｊに連動して相関幅Ｗｊを大きくする点について原理的に説明する。なお、以下では後ピント状態を例にとり説明する。
【００４１】
図４（Ａ）には、図１のフォーカス位置ＦＰ近傍における位相差画像を模式的に示す。ｆ（ｘ）は、瞳が分割されておらずフォーカスが合った理想的な撮像系で撮像された画像を表し、図４（Ａ）では、その撮像画像がもつ代表的な周波数で変化する１つのピークをｆ（ｘ）としている。
【００４２】
実際に撮像される画像は、このｆ（ｘ）に対して、撮像光学系のポイントスプレッドファンクション（PSF: Point Spread Function）をコンボリューションしたものである。右瞳と左瞳のポイントスプレッドファンクションをそれぞれＰＳＦＲ（ｘ）、ＰＳＦＬ（ｘ）とすると、右瞳画像はＩＲ（ｘ）＝ｆ（ｘ）＊ＰＳＦＲ（ｘ）で得られ、右瞳画像はＩＬ（ｘ）＝ｆ（ｘ）＊ＰＳＦＬ（ｘ）で得られる。ここで、“＊”はコンボリューション演算を表す。
【００４３】
ＰＳＦＲ（ｘ）とＰＳＦＬ（ｘ）の重心位置は異なっているため、それに応じてＩＲ（ｘ）とＩＬ（ｘ）は、左右にシフトする。後ピント状態では、図４（Ａ）に示すようにＩＲ（ｘ）が右側にシフトし、ＩＬ（ｘ）が左側にシフトする。フォーカス位置の近傍では、ＰＳＦＲ（ｘ）とＰＳＦＬ（ｘ）の重心位置の間隔が狭いので、ＩＲ（ｘ）とＩＬ（ｘ）の位相差δは小さい。また、ＰＳＦＲ（ｘ）とＰＳＦＬ（ｘ）の分布が狭いので、ＩＲ（ｘ）とＩＬ（ｘ）も比較的狭い幅Ｗの範囲に分布する。ＩＲ（ｘ）とＩＬ（ｘ）は、注目位置ｘｉでのポイントスプレッドファンクションによってｆ（ｘ）がぼかされたものなので、ＩＲ（ｘ）とＩＬ（ｘ）の分布の広がりは、注目位置ｘｉでの画像がもつ周波数に対応している。
【００４４】
このＩＲ（ｘ）とＩＬ（ｘ）から相関値を求めるとき、仮に相関幅を幅Ｗよりも広くしすぎると、相関幅の中にＩＲ（ｘ）やＩＬ（ｘ）の画素値のピークが複数含まれてしまい、実際には対応しないピークが重なったときに相関ピークが発生する可能性がある。一方、相関幅を幅Ｗより狭くしすぎると、相関幅の中にＩＲ（ｘ）やＩＬ（ｘ）の画素値のピークが含まれず、相関ピークを検出できなくなる。以上のことから、相関幅は幅Ｗの程度に設定することで、相関ピークを適切に検出できることが分かる。
【００４５】
図４（Ｂ）には、図１のデフォーカス位置Ｄｆ近傍における位相差画像を模式的に示す。デフォーカス位置では、ＰＳＦＲ（ｘ）とＰＳＦＬ（ｘ）の重心位置の間隔が広いので、ＩＲ（ｘ）とＩＬ（ｘ）の位相差δ’は、フォーカス位置での位相差δよりも大きい。また、ＰＳＦＲ（ｘ）とＰＳＦＬ（ｘ）の分布が広いので、ＩＲ（ｘ）とＩＬ（ｘ）が分布する幅Ｗ’はフォーカス位置での幅Ｗよりも広い。この幅Ｗ’に対応して、デフォーカス位置ではフォーカス位置よりも相関幅を大きく設定する。また、位相差δ’が大きくなるほど幅Ｗ’も大きくなるため、位相差δ’が大きいほど（即ち注目位置ｘｉでの画像がボケているほど）相関幅を大きくすればよいことが分かる。
【００４６】
上記のようなＩＲ（ｘ）とＩＬ（ｘ）に対して本実施形態の相関演算を適用した場合、図５に示すように、シフト量δｊが大きくなるとともにＩＲ（ｘ）とＩＬ（ｘ）の間隔は２（δｋ−δ０）、２（δｋ−δ１）、・・・と小さくなっていき、相関幅はＷ０、Ｗ１、・・・と大きくなっていく。ＩＲ（ｘ）とＩＬ（ｘ）の間隔が２（δｋ−δｋ）＝０となり、ＩＲ（ｘ）とＩＬ（ｘ）が一致したとき、相関値がピーク値となる。このときの相関幅Ｗｋは、上述のようにＩＲ（ｘ）とＩＬ（ｘ）の分布幅程度に設定されており、相関ピークを適切に検出できる相関幅となっている。
【００４７】
このように、シフト量δｊに連動して相関幅Ｗｊを設定することにより、ＩＲ（ｘ）とＩＬ（ｘ）の合焦度合い（即ち位相差２δｋ）に対して適切な相関幅Ｗｋで相関ピークを検出することが可能となる。
【００４８】
２．３．サブピクセルの位相差検出手法
上述したような画素値の積和をとる手法では、画素の間隔よりも小さい精度（サブピクセル）で位相差を検出することは難しい。そこで本実施形態では、積和により位相差を検出した後、更に、サブピクセルの位相差検出を行ってもよい。以下では、このサブピクセルの位相差検出について説明する。
【００４９】
図６に示すように、シフト量δｋだけシフトさせた右瞳画像ＩＲ（ｘ＋δｋ）と左瞳画像ＩＬ（ｘ−δｋ）の間に、φのずれが残っているとする。シフト量δｋは、図３等で説明したように、積和による相関演算で求めたＩＲ（ｘ）とＩＬ（ｘ）の位相差である。また、ずれ量φは、画素の間隔よりも小さいずれ量である。本実施形態では、このずれ量φを検出する。
【００５０】
ずれ量φの検出処理では、まず下式（３）、（４）により係数ＡＬ、ＢＬ、ＡＲ（ｄ）、ＢＲ（ｄ）を求める。係数ＡＬ、ＢＬは、角周波数ωでのＩＬ（ｘ−δｋ）のフーリエ係数に相当する。また、係数ＡＲ（ｄ）、ＢＲ（ｄ）は、角周波数ωでのＩＲ（ｘ＋δｋ）のフーリエ係数に相当し、積和の範囲をｄだけシフトさせたものである。
【数３】
2014038151.tif 000005
【数４】
2014038151.tif 000006
【００５１】
ここで、角周波数ωは、位相差２δｋを検出したときの相関幅Ｗｋで決まり、ω＝π／Ｗｋである。ｃｏｓ（ωｘ）とｓｉｎ（ωｘ）は、図６に示すようにｘｉを中心とする幅Ｗｋの範囲で定義された関数である。この関数ｃｏｓ（ωｘ）、ｓｉｎ（ωｘ）のデータは、画素の間隔よりも狭い間隔で値をもっており、その間隔を狭くするほどφの検出精度を向上できる。
【００５２】
次に、下式（５）により、偏角差分Δθを求める。図７に示すように、ｔａｎ−１｛ＢＬ／ＡＬ｝は、係数ＡＬ、ＢＬの偏角であり、ｔａｎ−１｛ＢＲ（ｄ）／ＡＲ（ｄ）は、係数ＡＲ（ｄ）、ＢＲ（ｄ）の偏角である。偏角差分Δθは、それらの差分である。
Δθ＝ｔａｎ−１｛ＢＬ／ＡＬ｝−ｔａｎ−１｛ＢＲ（ｄ）／ＡＲ（ｄ）｝］    （５）
【００５３】
次に、図８に示すように、シフト量ｄを変化させ、偏角差分Δθの最小値Δθｍｉｎを検出し、その最小値Δθｍｉｎに対応するシフト量ｄをサブピクセルの位相差として検出する。図６のようにＩＲ（ｘ＋δｋ）とＩＬ（ｘ−δｋ）のずれ量がφの場合には、検出される位相差はｄ＝φとなる。最終的な位相差は、ＩＲ（ｘ）とＩＬ（ｘ）の積和で求めた位相差２δｋとサブピクセルの位相差φから、２δｋ＋φと求められる。
【００５４】
以上の実施形態によれば、積和による相関演算で位相差２δｋを求めた後に微小な位相差φが残っている場合であっても、その位相差φをサブピクセルの精度で検出できる。また、偏角差分Δθを求める角周波数ωを、積和による相関演算で位相差２δｋを検出したときの相関幅Ｗｋに応じて決定（ω＝π／Ｗｋ）することで、画像がもつ周波数に対応した偏角差分Δθを求めることができる。即ち、図４（Ａ）等で説明したように、画像のもつ代表的な周波数は位相差２δｋ（即ちボケ具合）に応じて決まっており、その周波数の波を例えば１つ程度含むように相関幅Ｗｋが決まっている。これは、角周波数ω＝π／Ｗｋの周波数成分が画像に豊富に含まれることを意味しており、その角周波数ωでフーリエ係数を求めることにより、絶対値の大きなフーリエ係数を求め、精度良く偏角差分Δθを決定することができる。
【００５５】
なお、上記の実施形態では偏角差分Δθが最小になるときのシフト量ｄを求めたが、本実施形態ではこれに限定されず、差分［｛ＢＬ／ＡＬ｝−｛ＢＲ（ｄ）／ＡＲ（ｄ）｝］（ＡＬ＝０又はＡＲ（ｄ）＝０の場合は除く）が最小になるときのシフト量ｄを求めてもよい。
【００５６】
２．４．撮像装置
図９に、第１実施形態における撮像装置の構成例を示す。この撮像装置は、結像レンズＬＮＳ、光学フィルタＦＬＴ、撮像部１０、位相差画像生成部２０、フォーカス制御部８０、位相差検出部８２を含む。なお、本実施形態は図９の構成に限定されず、その構成要素の一部を省略（例えばフォーカス制御部８０）したり、他の構成要素を追加したりする等の種々の変形実施が可能である。例えば図９では位相差ＡＦを行う構成を示すが、例えば、検出した位相差により被写体の３次元情報を取得する構成としてもよい。
【００５７】
撮像部１０は、撮像素子と撮像処理部を含むことができる。撮像素子は、結像レンズＬＮＳ及び光学フィルタＦＬＴによって結像された被写体を撮像する。撮像処理部は、撮像動作の制御や、アナログの画素信号をＡ／Ｄ変換する処理などを行う。
【００５８】
位相差画像生成部２０は、撮像部１０により撮像された画像に基づいて、右瞳画像ＩＲと左瞳画像ＩＬを生成する。この２画像を位相差画像とする。位相差画像の生成手法としては、例えば既知の手法（例えば特開２００１−１７４６９６号公報や、特開平１０−２７６９６４号公報に記載の手法）など、種々の手法を採用することが可能である。或は、第３実施形態で説明するマルチバンド推定処理により位相差画像を生成してもよい。
【００５９】
位相差検出部８２は、位相差画像ＩＲ、ＩＬに対して、上述の位相差検出手法を適用し、位相差を検出する。
【００６０】
フォーカス制御部８０は、検出された位相差の情報に基づいてオートフォーカス制御を行う。即ちフォーカス制御部８０は、位相差の情報と位相差画像ＩＲ、ＩＬのずれ方向の情報に基づいてフォーカス制御量（結像レンズＬＮＳの移動量と移動方向）を算出し、そのフォーカス制御量に基づいてフォーカスレンズを移動させる制御を行う。位相差画像ＩＲ、ＩＬのずれ方向は、例えば相関演算において探索的に決定すればよい。
【００６１】
２．５．位相差検出処理
図１０に、本実施形態の位相差検出処理のフローチャートを示す。この処理が開始されると、位相差を取得したいポイントｘｉ（注目画素）を設定する（ステップＳ１）。例えば位相差ＡＦを行う場合には、フォーカス制御部８０が、撮像画像上でフォーカスを合わせたいポイントｘｉを設定する。
【００６２】
次に、位相差画像生成部２０が位相差画像ＩＲ、ＩＬを取得する（ステップＳ２）。次に、位相差検出部８２が、相関幅Ｗｊ＝Ｗ０とシフト量δｊ＝δ０＝０を設定する（ステップＳ３）。次に、位相差検出部８２が、ステップＳ３で設定したシフト量δｊで位相差画像ＩＲ、ＩＬを近づける（ステップＳ４）。次に、位相差検出部８２が、ステップＳ３で設定した相関幅Ｗｊで、ポイントｘｉでの相関値Ｃ（δｊ）を算出する（ステップＳ５）。次に、位相差検出部８２は、相関値Ｃ（δｊ）がピーク値であるか否かを判定する（ステップＳ６）。
【００６３】
相関値Ｃ（δｊ）がピーク値でないと判定した場合には、位相差検出部８２は、相関幅Ｗｊ＝Ｗｊ＋１とシフト量δｊ＝δｊ＋１を設定し（ステップＳ７）、ステップＳ４を再び実行する。一方、相関値Ｃ（δｊ）がピーク値であると判定した場合には、位相差検出部８２は、シフト量δｊに基づいて位相差２δｊ＝２δｋを出力し（ステップＳ８）、位相差検出処理を終了する。なお、位相差の情報としては、位相差２δｋそのものに限らず、シフト量δｋを出力してもよい。
【００６４】
図１１に、サブピクセルの位相差検出処理を行う場合の位相差検出処理のフローチャートを示す。ステップＳ２１〜Ｓ２７は図１０のステップＳ１〜Ｓ７と同一であるため、説明を省略する。
【００６５】
ステップＳ２６において、相関値Ｃ（δｊ）がピーク値であると判定した場合には、位相差検出部８２は、サブピクセル精度の位相差を検出するか否かを決定する（ステップＳ２８）。例えば、ユーザーからの設定情報に基づいて決定してもよいし、或は、相関値Ｃ（δｊ）の大きさに基づいて決定してもよい。
【００６６】
サブピクセル精度の位相差を検出しないと決定した場合には、位相差検出部８２は、シフト量δｊに基づいて位相差２δｊ＝２δｋを出力し、位相差検出処理を終了する。サブピクセル精度の位相差を検出すると決定した場合には、位相差検出部８２は、シフト量ｄにおける位相差画像ＩＲ、ＩＬの偏角差分Δθを求める（ステップＳ２９）。ｄの初期値は例えばｄ＝０である。次に、位相差検出部８２は、偏角差分Δθが最小値であるか否かを判定する（ステップＳ３０）。
【００６７】
偏角差分Δθが最小値でない場合には、位相差検出部８２は、シフト量ｄ＝ｄ＋αを設定し（ステップＳ３１）、ステップＳ２９を再び実行する。ここでαは、シフト量ｄを変化させるときの変化量（刻み）であり、サブピクセルの位相差を検出する精度に応じて設定される。一方、偏角差分Δθが最小値である場合には、位相差検出部８２は、シフト量δｊ、ｄに基づいて位相差２δｊ＋ｄ＝２δｋ＋φを出力し（ステップＳ３２）、位相差検出処理を終了する。
【００６８】
以上の実施形態によれば、図９で説明したように、撮像装置は撮像素子（撮像部１０）と位相差画像生成部２０と位相差検出部８２とを備える。撮像素子は、第１被写体像と、第１被写体像に対して視差を有する第２被写体像とを撮像し、撮像画像を取得する。位相差画像生成部２０は、その撮像画像に基づいて、第１被写体像に対応する第１画像ＩＲ（ｘ）（右瞳画像）と第２被写体像に対応する第２画像ＩＬ（ｘ）（左瞳画像）とを生成する。位相差検出部８２は、第１画像ＩＲ（ｘ）と第２画像ＩＬ（ｘ）を相対的にシフトさせながら相関演算を行い、第１画像ＩＲ（ｘ）と第２画像ＩＬ（ｘ）の位相差を検出する。このとき、位相差検出部８２は、相関演算の積和を行う領域幅である相関幅Ｗｊを、シフトのシフト量δｊに応じて設定する。
【００６９】
例えば本実施形態では、撮像光学系（結像レンズＬＮＳ、光学フィルタＦＬＴ）は、第１被写体像（右瞳を通過した被写体像）と、第１被写体像に対して視差を有する第２被写体像（左瞳を通過した被写体像）とを結像する。そして、その第１被写体像と第２被写体像とを撮像素子が撮像する。ここで「視差」とは、被写体と観測点（本実施形態では光学系の瞳）の相対的な位置の違いによって、結像の位置が変化する（ずれる）ことである。
【００７０】
このようにすれば、図４（Ａ）等で説明したように、注目位置ｘｉでの合焦度合いに応じて適切な相関幅で位相差を検出できる。即ち、位相差２δｋ（図３のδｋ）は画像の合焦度合いを表すことから、シフト量δｊと相関幅Ｗｊを連動させることで、その合焦度合いに応じた適切な相関幅Ｗｋで位相差２δｋを検出できる。
【００７１】
また本実施形態では、図３で説明したように、位相差検出部８２は、シフト量δｊを順次大きくするとともに相関幅Ｗｊを順次広くしながら相関演算を繰り返し行って相関値Ｃ（δｊ）を求め、その相関値Ｃ（δｊ）が最大値Ｃｍａｘとなるときのシフト量δｋを位相差として検出する。
【００７２】
図４（Ａ）等で説明したように、位相差２δｋが大きいほど画像がボケており、相関幅Ｗｋを大きくする必要がある。この点、本実施形態によれば、シフト量δｊとともに相関幅Ｗｊを大きくするので、画像のボケ具合（画像の代表的な周波数成分）に応じた相関幅Ｗｋで位相差２δｋを検出できる。また、注目位置ｘｉがフォーカスの合っている部分である場合には、狭い相関幅、即ち少ない演算回数で相関ピークを求めることができる。これにより、位相差検出処理を高速化でき、例えば画像全体の位相差を演算するような場合（例えば形状計測）に特に処理負荷を低減できる。
【００７３】
また本実施形態では、図３で説明したように、位相差検出部８２は、シフト量δｊを順次大きくしながら相関値Ｃ（δｊ）を求めたときに、相関値Ｃ（δｊ）の最初のピーク値Ｃｍａｘに対応するシフト量δｋを位相差として検出する。
【００７４】
図３等で説明したように、相関幅Ｗｊの中に位相差画像ＩＬ（ｘ）、ＩＲ（ｘ）のピークが複数含まれるような場合、実際には対応しないピークが重なったときに相関ピークを検出する可能性がある。この点、本実施形態によれば、最初の相関ピークを位相差として検出するので、位相差画像ＩＬ（ｘ）、ＩＲ（ｘ）の対応するピークが重なったときに正しく相関ピークを検出することができる。
【００７５】
３．第２実施形態
３．１．撮像装置
次に、第２実施形態について説明する。第２実施形態では、右瞳画像ＩＲ（ｘ）と左瞳画像ＩＬ（ｘ）を用いて合焦方向を判定し、その合焦方向の判定結果に基づいて、相関演算におけるシフト方向を決定する。なお、第１実施形態で説明した内容と同一の内容（例えば撮像光学系の基本構成や、位相差検出手法など）については、適宜説明を省略する。
【００７６】
第２実施形態の撮像装置は、例えば、図９で説明した第１実施形態と同様の構成である。第１実施形態と同様の構成とした場合、第２実施形態では、位相差検出部８２は、位相差画像ＩＲ、ＩＬに対して、後述する合焦方向判定手法を適用し、合焦方向を判定する。そして、その判定した合焦方向に基づいて、相関演算における位相差画像ＩＲ、ＩＬのシフト方向を決定する。
【００７７】
３．２．合焦方向判定手法
次に、本実施形態の合焦方向判定手法について詳細に説明する。図１２（Ａ）、図１２（Ｂ）に示すように、撮像画像Ｉ（ｘ）、右瞳画像ＩＲ（ｘ）、左瞳画像ＩＬ（ｘ）の画素値のＤＣ成分（幅Ｗでの平均値）をゼロレベルにして基準を合わせ、比較用画素値Ｉ（ｘ）’、ＩＲ（ｘ）’、ＩＬ（ｘ）’を求める。図１２（Ａ）には、後ピント状態での比較用画素値を示し、図１２（Ｂ）には、前ピント状態での比較用画素値を示す。これらの比較用画素値は下式（６）により求められる。なお以下では適宜、「比較用画素値」を単に「画素値」とも呼ぶ。
【数５】
2014038151.tif 000007
【００７８】
ここで、幅Ｗは、例えば実験等により予め求めた所定の平均演算区間であり、位置ｘを中心とする幅である。図１２（Ａ）、図１２（Ｂ）では、ｘ＝ｘｉの場合を例に幅Ｗを図示している。また、Ｉ（ｘ）’、ＩＲ（ｘ）’、ＩＬ（ｘ）’の間には、下式（７）の関係が成り立つ。
Ｉ’（ｘ）＝［ＩＬ’（ｘ）＋ＩＲ’（ｘ）］／２    （７）
【００７９】
次に、合焦方向を判定したい画素（以下では「注目画素」と呼ぶ）が、画素値Ｉ（ｘ）’の増加区間Ｒａに属するか減少区間Ｆａに属するかを判定する。具体的には、注目画素の位置をｘ＝ｘｉとすると、Ｉ（ｘ）’、ＩＲ（ｘ）’、ＩＬ（ｘ）’の交点（比較用画素値が一致（略一致を含む）する位置）のうち、ｘｉに最も近い交点の位置ｘ０、ｘ１を求める。位置ｘ０は、注目画素よりも左側の交点であり、位置ｘ１は、注目画素よりも右側の交点である。そして、下式（８）を満たす場合には、注目画素が増加区間Ｒａに属すると判定し、下式（９）を満たす場合には、注目画素が増加区間Ｒａに属すると判定する。例えば図１２（Ａ）では、注目画素の位置ｘｉは減少区間Ｆａに属すると判定される。
［Ｉ’（ｘ０）−Ｉ’（ｘ１）］＜０    （８）
［Ｉ’（ｘ０）−Ｉ’（ｘ１）］＞０    （９）
【００８０】
なお、［ＩＬ’（ｘ０）−ＩＬ’（ｘ１）］＜０又は［ＩＲ’（ｘ０）−ＩＲ’（ｘ１）］＜０を満たす場合に、注目画素が増加区間Ｒａに属すると判定してもよい。また、［ＩＬ’（ｘ０）−ＩＬ’（ｘ１）］＞０又は［ＩＲ’（ｘ０）−ＩＲ’（ｘ１）］＞０を満たす場合に、注目画素が減少区間Ｆａに属すると判定してもよい。
【００８１】
次に、Ｉ’（ｘ）とＩＬ’（ｘ）の上下関係に基づいて、注目画素が前ピント状態であるか後ピント状態であるかを判定する。具体的には、下式（１０）により、注目画素が属する区間でのＩ’（ｘ）とＩＬ’（ｘ）の差分値ＥＬを求め、その差分値ＥＬの符号に基づいて合焦方向を判定する。図１２（Ａ）、図１２（Ｂ）に示すように、増加区間Ｒａと減少区間Ｆａでは、Ｉ’（ｘ）とＩＬ’（ｘ）の上下関係が異なるので、その上下関係と合焦方向との対応が異なっている。即ち、増加区間Ｒａにおいては、下式（１１）により合焦方向を判定し、減少区間Ｆａにおいては、下式（１２）により合焦方向を判定する。
【数６】
2014038151.tif 000008
【数７】
2014038151.tif 000009
【数８】
2014038151.tif 000010
【００８２】
なお、Ｉ’（ｘ）とＩＲ’（ｘ）の上下関係に基づいて合焦方向を判定してもよいことは言うまでもない。
【００８３】
判定した合焦方向が後ピント状態であった場合には、ＩＲ（ｘ）が右側（＋ｘ方向）にシフトし、ＩＬ（ｘ）が左側（−ｘ方向）にシフトしていると判断される。この場合、ＩＲ（ｘ）を左側へ、ＩＬ（ｘ）を右側へシフトさせて相関演算を行う。一方、判定した合焦方向が前ピント状態であった場合には、ＩＲ（ｘ）が左側（−ｘ方向）にシフトし、ＩＬ（ｘ）が右側（＋ｘ方向）にシフトしていると判断される。この場合、ＩＲ（ｘ）を右側へ、ＩＬ（ｘ）を左側へシフトさせて相関演算を行う。
【００８４】
以上の実施形態によれば、位相差検出部８２は、撮像画像Ｉ（ｘ）の画素値と、第１画像ＩＲ（ｘ）及び第２画像ＩＬ（ｘ）のうち少なくとも一方である比較画像（例えばＩＬ（ｘ））の画素値とを比較することにより、撮像光学系の合焦方向を判定する。位相差検出部８２は、その判定した合焦方向に基づいて、相関演算において第２画像ＩＬ（ｘ）を第１画像ＩＲ（ｘ）に対してシフトさせるシフト方向を設定する。
【００８５】
このようにすれば、前ピント状態であるか後ピント状態であるかを判定することができ、その判定結果に対応して、第１画像ＩＲ（ｘ）と第２画像ＩＬ（ｘ）のずれ方向を知ることができる。これにより、どの方向に第１画像ＩＲ（ｘ）と第２画像ＩＬ（ｘ）を動かせば相関値のピークを検出できるかが分かるため、効率的に相関演算できる。
【００８６】
また本実施形態では、図１２（Ａ）等で説明したように、位相差検出部８２は、第１画像ＩＲ（ｘ）と第２画像ＩＬ（ｘ）が視差によりずれる方向を視差方向（＋ｘ方向）とする場合に、撮像画像Ｉ（ｘ）の画素値が視差方向に増加又は減少する領域（Ｒａ又はＦａ）を特定する。上式（１０）〜（１２）で説明したように、位相差検出部８２は、その特定した領域における撮像画像Ｉ（ｘ）の画素値と比較画像ＩＬ（ｘ）の画素値との大小関係に基づいて、撮像光学系から見て被写体よりも近い位置にフォーカスが合った状態である前ピント状態であるか、撮像光学系から見て被写体よりも遠い位置にフォーカスが合った状態である前ピント状態であるかを判定する。
【００８７】
このようにすれば、撮像画像Ｉ（ｘ）の画素値と比較画像ＩＬ（ｘ）の画素値とを比較することにより、撮像光学系の合焦方向を判定できる。また、図１２（Ａ）等で説明したように、撮像画像Ｉ（ｘ）の画素値が増加する領域Ｒａと減少する領域Ｆａでは、撮像画像Ｉ（ｘ）の画素値と比較画像ＩＬ（ｘ）の大小関係が異なっている。この点、本実施形態によれば、合焦方向を判定したい位置が、増加領域Ｒａ及び減少領域Ｆａのいずれに属するのかを特定でき、その特定した領域での大小関係に基づいて合焦方向を判定できる。
【００８８】
４．第３実施形態
４．１．撮像装置
次に、第３実施形態について説明する。第３実施形態では、ＲＧＢ画像から５バンドの画像を推定し、その５バンドの画像のうち、右瞳に対応するバンドの画像から右瞳画像ＩＲを生成し、左瞳に対応するバンドの画像から左瞳画像ＩＬを生成する。なお、第１実施形態や第２実施形態で説明した内容と同一の内容（例えば撮像光学系の基本構成や、位相差検出手法など）については、適宜説明を省略する。
【００８９】
図１３に、第３実施形態における撮像装置の構成例を示す。この撮像装置は、結像レンズＬＮＳ、光学フィルタＦＬＴ、撮像部１０、位相差画像生成部２０、出力部２５、表示画像生成部３０、モニタ表示部４０、分光特性記憶部５０、マルチバンド推定部７０、フォーカス制御部８０、位相差検出部８２、データ圧縮部９０、データ記録部１００を含む。なお、本実施形態は図１３の構成に限定されず、その構成要素の一部を省略（例えば出力部２５、データ圧縮部９０）したり、他の構成要素を追加したりする等の種々の変形実施が可能である。
【００９０】
撮像部１０は、撮像素子と撮像処理部を含むことができる。撮像素子は、例えばＲＧＢ３原色の撮像素子であり、結像レンズＬＮＳ及び光学フィルタＦＬＴによって結像された被写体を撮像する。撮像処理部は、撮像動作の制御や、アナログの画素信号をＡ／Ｄ変換する処理、ベイヤ画像に対するデモザイキング処理などを行う。
【００９１】
分光特性記憶部５０は、撮像素子がもつカラーフィルタの分光特性のデータを記憶しており、そのデータをマルチバンド推定部７０に出力する。ここで、撮像されるＲＧＢ成分は、厳密にはカラーフィルタのみならず撮像素子の分光感度特性や、結像レンズＬＮＳの分光特性によって決まるものである。即ち、分光特性記憶部５０は、撮像素子や結像レンズＬＮＳの分光特性を含んだ分光特性のデータを記憶する。
【００９２】
マルチバンド推定部７０は、撮像画像と分光特性のデータとに基づいてマルチバンド推定処理を行う。具体的には、図１３に示すように、撮像センサのカラーフィルタがもつ波長域を５バンド｛ｒＬ，ｒＲ，ｇ，ｂＬ，ｂＲ｝に分割する。光学フィルタＦＬＴの右瞳は帯域｛ｒＲ，ｇ，ｂＲ｝を透過し、左瞳は帯域｛ｒＬ，ｇ，ｂＬ｝を透過する。マルチバンド推定部７０は、撮像画像Ｉ（ｘ）のＲＧＢ画素値から５バンド｛ｒＬ，ｒＲ，ｇ，ｂＬ，ｂＲ｝の画素値を推定する。
【００９３】
位相差画像生成部２０は、５バンド｛ｒＬ，ｒＲ，ｇ，ｂＬ，ｂＲ｝の画素値から、右瞳画像ＩＲ＝｛ｒＲ，ｇ，ｂＲ｝と左瞳画像ＩＬ＝｛ｒＬ，ｇ，ｂＬ｝を生成する。この２画像を位相差画像とする。
【００９４】
位相差検出部８２は、位相差画像ＩＲ、ＩＬの同色成分｛ｒＲ，ｒＬ｝（即ち、ＩＲ、ＩＬのＲ画素値）に対して、上述の位相差検出手法を適用し、位相差を検出する。なお、位相差画像ＩＲ、ＩＬの同色成分として｛ｂＲ，ｂＬ｝（即ち、ＩＲ、ＩＬのＢ画素値）を用いてもよい。また位相差検出部８２は、第２実施形態で説明した合焦方向判定を行い、相関演算における位相差画像ＩＲ、ＩＬのシフト方向を決定してもよい。なお本実施形態ではこれに限定されず、相関演算において位相差画像ＩＲ、ＩＬをシフトさせる方向を、探索的に決定してもよい。
【００９５】
このようにして、シフト量δｋと相関幅Ｗｋを連動させて相関演算を行うことにより、演算量を削減でき、演算効率を向上させることができる。また、合焦方向の判定を行う場合には、探索的にシフト方向を決める必要がなくなるため、更に演算効率を向上させることができる。
【００９６】
フォーカス制御部８０は、検出された位相差の情報に基づいてオートフォーカス制御を行う。具体的にはフォーカス制御部８０は、フォーカス制御量算出部８４、フォーカスレンズ駆動制御部８６を含む。フォーカス制御量算出部８４は、位相差の情報に基づいて結像レンズＬＮＳのデフォーカス量を算出し、そのデフォーカス量と位相差画像ＩＲ、ＩＬのずれ方向の情報に基づいてフォーカス制御量（結像レンズＬＮＳの移動量と移動方向）を算出する。フォーカスレンズ駆動制御部８６は、結像レンズＬＮＳの移動量及び移動方向に基づいてフォーカスレンズを移動させる制御を行う。
【００９７】
表示画像生成部３０は、５バンド｛ｒＬ，ｒＲ，ｇ，ｂＬ，ｂＲ｝の画素値から表示用のＲＧＢ画像を生成する。例えば｛ｒＲ，ｇ，ｂＲ｝の画素値をＲＧＢ画像とする。モニタ表示部４０は、表示画像生成部３０が生成した画像を表示する。
【００９８】
出力部２５は、位相差画像生成部２０が生成した位相差画像ＩＲ、ＩＬや、位相差検出部８２が検出した位相差の情報や合焦方向の情報を、出力する処理を行う。出力処理としては、例えば外部記憶装置への保存や、外部モニタへの表示、外部情報処理装置への出力などが想定される。外部情報処理装置では、例えば、位相差の情報や合焦方向の情報に基づいて被写体の３次元情報を求める。また、出力部２５がその３次元情報を求めてモニタ表示部４０に表示させてもよい。
【００９９】
データ圧縮部９０は、撮像部１０からのＲＧＢ画像を圧縮する処理を行う。データ記録部１００は、圧縮されたＲＧＢ画像データと、カラーフィルタの分光特性データとを記録する。これらの記録データは、撮影後の事後処理においてマルチバンド推定処理や位相差検出処理に用いることが可能である。なお、この事後処理は、撮像装置と別体に構成された情報処理装置で行ってもよい。
【０１００】
４．２．マルチバンド推定処理
４．２．１．バンド分割手法
次に、撮像画像から位相差画像を取得するためのマルチバンド推定処理について詳細に説明する。なお以下では、ＲＧＢベイヤ配列の撮像素子を例に説明するが、本実施形態はこれに限定されず、カラーフィルタの透過率特性に重なり部分がある撮像素子でさえあればよい。
【０１０１】
図１４にバンド分割についての説明図を示す。図１４に示すように、５バンドの成分ｂＲ、ｂＬ、ｇ、ｒＲ、ｒＬは、撮像系の分光特性に応じて定まる成分である。図１４には、撮像系の分光特性として、撮像センサのカラーフィルタの透過率特性ＦＲ、ＦＧ、ＦＢを示すが、厳密には、撮像系の分光特性は、例えばカラーフィルタを除いた撮像センサがもつ分光特性や、光学系のもつ分光特性等も含んでいる。以下では説明を簡単にするため、撮像センサ等の分光特性が、図１４に示すカラーフィルタの透過率特性ＦＲ、ＦＧ、ＦＢに含まれるものとする。
【０１０２】
図１４に示すように、青色フィルタの透過率特性ＦＢと緑色フィルタの透過率特性ＦＧとの重なり部分に対応するバンドの成分がｂＬであり、青色フィルタの透過率特性ＦＢの非重なり部分に対応するバンドの成分がｂＲである。また、赤色フィルタの透過率特性ＦＲと緑色フィルタの透過率特性ＦＧとの重なり部分に対応するバンドの成分がｒＲであり、赤色フィルタの透過率特性ＦＲの非重なり部分に対応するバンドの成分がｒＬである。また、緑色フィルタの透過率特性ＦＧの非重なり部分に対応するバンドの成分がｇである。ここで、非重なり部分とは、他の色フィルタの透過率特性と重なっていない部分のことである。
【０１０３】
５バンドの帯域ＢＤ１〜ＢＤ５は、透過率特性ＦＲ、ＦＧ、ＦＢの形状や重なり具合などに応じて決定すればよく、透過率特性の帯域や重なり部分の帯域そのものである必要はない。例えば、透過率特性ＦＧ、ＦＢの重なり部分の帯域は、およそ４５０ｎｍ〜５５０ｎｍであるが、帯域ＢＤ２は重なり部分に対応するものであればよく、４５０ｎｍ〜５５０ｎｍである必要はない。
【０１０４】
第３実施形態では、図１の右瞳フィルタＦＬ１には、透過波長域ｆＲとしてバンド｛ｂＲ，ｇ，ｒＲ｝を割り当て、左瞳フィルタＦＬ２には、透過波長域ｆＬとしてバンド｛ｂＬ，ｇ，ｒＬ｝を割り当てる。図１４に示すように、右瞳を通過した波長分割光｛ｂＲ，ｇ，ｒＲ｝と、左瞳を通過した波長分割光｛ｂＬ，ｇ，ｒＬ｝は、波長帯域が明確に分離されている。一方、撮像素子のカラーフィルタの分光特性｛ＦＲ，ＦＧ，ＦＢ｝は、隣接する分光特性の波長帯域が重複した特性となっている。この重複状態を考慮すると、デモザイキング処理後の各画素における赤色、緑色、青色の画素値Ｒ、Ｇ、Ｂを、下式（１３）のようにモデル化することができる。
Ｒ＝ｇＲ＋ｒＲＲ＋ｒＬＲ，
Ｇ＝ｂＬＧ＋ｇＧ＋ｒＲＧ，
Ｂ＝ｂＲＢ＋ｂＬＢ＋ｇＢ  （１３）
【０１０５】
図１５（Ｃ）に示すように、成分｛ｂＲＢ，ｂＬＢ，ｇＢ｝は、分光特性ＦＢの青色フィルタを通過した波長分割光｛ｂＲ，ｂＬ，ｇ｝に対応する。図１５（Ｄ）に示すように、成分｛ｂＬＧ，ｇＧ，ｒＲＧ｝は、分光特性ＦＧの緑色フィルタを通過した波長分割光｛ｂＬ，ｇ，ｒＲ｝に対応する。また、図１７（Ｄ）に示すように、成分｛ｇＲ，ｒＲＲ，ｒＬＲ｝は、分光特性ＦＲの赤色フィルタを通過した波長分割光｛ｇ，ｒＲ，ｒＬ｝に対応する。各成分を表す符号の上付きサフィックスは、右瞳「Ｒ」及び左瞳「Ｌ」のいずれを通過したかを表し、下付サフィックスは、赤色フィルタ「Ｒ」、緑色フィルタ「Ｇ」、青色フィルタ「Ｂ」のいずれを通過したかを表している。
【０１０６】
４．２．２．｛ｂＲ，ｂＬ，（ｇ＋ｒＲ）｝の推定処理
次に、図１５（Ａ）〜図１６を用いて、画素値｛Ｒ，Ｇ，Ｂ｝から成分｛ｂＲＢ，ｂＬＢ，ｇＢ｝、｛ｂＬＧ，ｇＧ，ｒＲＧ｝、｛ｇＲ，ｒＲＲ，ｒＬＲ｝を推定する処理について説明する。
【０１０７】
まず上式（１３）を用いて、画素値｛Ｂ，Ｇ｝で重複している波長帯域｛ｂＬ，ｇ｝を、画素値｛Ｂ，Ｇ｝の差分に基づいて取り除き、成分ｂＲと成分［ｇ＋ｒＲ］の関係を求めることにより成分｛ｂＲ，ｂＬ，（ｇ＋ｒＲ）｝の関係式を導き出す処理を行う。
【０１０８】
ここで注意しなければならないのは、図１５（Ａ）〜図１５（Ｄ）に示すように、波長帯域ｂＬに対応するのは画素値Ｂの成分ｂＬＢ及び画素値Ｇの成分ｂＬＧであるが、成分ｂＬＢ、ｂＬＧには、分光特性ＦＢ、ＦＧの相対ゲインが乗じられていることである。そのため、成分ｂＬＢ、ｂＬＧは、相対ゲインの分だけ異なる値であり、成分ｂＬＢ、ｂＬＧが等しくなるように補正する必要がある。
【０１０９】
図１５（Ｃ）、図１５（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｂＬＢ＋ｇＢ）の成分比をｋＢ１とし、ｂＬＧの成分比をｋＢ２とすると、下式（１４）が成り立つ。ここで、ｋＢ１／ｋＢ２は、例えば帯域ｂＬにおける分光特性ＦＢ、ＦＧのゲイン比である。
ｂＬＢ＋ｇＢ＝（ｋＢ１／ｋＢ２）×ｂＬＧ  （１４）
【０１１０】
帯域ｂＬ、ｇにおける分光特性ＦＢのゲインを考慮すると、成分ｇＢは成分ｂＬＢよりも十分小さいと考えられるため、成分ｂＬＢ、ｂＬＧを等しくするためには、成分（ｂＬＢ＋ｇＢ）と成分ｂＬＧがほぼ等しくなればよい。成分（ｂＬＢ＋ｇＢ）を補正した値を（ｂＬＢ’＋ｇＢ’）とすると、上式（１４）を用いて下式（１５）に示す補正を行えばよい。
ｂＬＢ’＋ｇＢ’≒ｂＬＧ＝（ｋＢ２／ｋＢ１）×（ｂＬＢ＋ｇＢ）  （１５）
【０１１１】
成分（ｂＬＢ＋ｇＢ）は画素値Ｂに含まれるため、成分（ｂＬＢ＋ｇＢ）を補正するためには、結局、画素値Ｂを補正することになる。この補正後のＢをＢ’とすると、下式（１６）の関係が得られる。
Ｂ’＝（ｋＢ２／ｋＢ１）Ｂ  （１６）
【０１１２】
上式（１６）より、Ｂ’の成分｛ｂＲＢ’，ｂＬＢ’，ｇＢ’｝は下式（１７）となる。
ｂＲＢ’＝（ｋＢ２／ｋＢ１）×ｂＲＢ，
ｂＬＢ’＋ｇＢ’≒ｂＬＧ          （１７）
【０１１３】
上式（１３）、（１７）より、画素値Ｂ’と画素値Ｇを成分｛ｂＲＢ’，ｂＬＧ，ｇＧ，ｒＲＧ｝を用いて表すと、下式（１８）のようになる。
Ｂ’＝ｂＲＢ’＋（ｂＬＢ’＋ｇＢ’）＝ｂＲＢ’＋ｂＬＧ，
Ｇ  ＝ｂＬＧ＋（ｇＧ＋ｒＲＧ）                      （１８）
【０１１４】
次に、下式（１９）に示すように、補正後の画素値Ｂ’と画素値Ｇの差分を取ることにより、重複した成分ｂＬを取り除く。また上式（１８）より下式（２０）が成り立つ。
Ｂ’−Ｇ＝［ｂＲＢ’＋ｂＬＧ］−［ｂＬＧ＋ｇＧ＋ｒＲＧ］
＝ｂＲＢ’−（ｇＧ＋ｒＲＧ）              （１９）
ｂＬＧ＝Ｂ’−ｂＲＢ’                          （２０）
【０１１５】
ｂＲＢ’を未知数（支配変数）とすると、上式（１９）、（２０）より｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の関係式を下式（２１）のように求められる。
ｂＲＢ’＝未知数（支配変数）
ｂＬＧ＝Ｂ’−ｂＲＢ’
ｇＧ＋ｒＲＧ＝ｂＲＢ’−（Ｂ’−Ｇ）  （２１）
【０１１６】
｛Ｂ’，Ｇ｝は検出された既知の値であるので、上式（２１）に基づき未知数ｂＲＢ’が決まれば、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝が全て決まることになる。即ち、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の尤度パターンを特定することができる。
【０１１７】
図１６に、この関係を原理的に表した図を示す。図１６に示すように、未知数ｂＲＢ’として、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小になる値を求める。即ち、下式（２２）に示す誤差の評価値ＥＢＧが最小になる場合のｂＲＢ’を求め、求めたｂＲＢ’を上式（２１）に代入することにより、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の値を決定する。
ｅＢ＝（Ｂ’／２−ｂＲＢ’）２＋（Ｂ’／２−ｂＬＧ）２，
ｅＧ＝（Ｇ／２−ｂＬＧ）２＋（Ｇ／２−（ｇＧ＋ｒＲＧ））２，
ＥＢＧ＝ｅＢ＋ｅＧ                                  （２２）
【０１１８】
以上のようにして、各画素の２バンド画素値｛Ｂ’，Ｇ｝から成分｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を推定することができる。
【０１１９】
なお、上記では｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小となる場合のｂＲＢ’を求めたが、本実施形態では、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝と｛αＢＢ’，αＧｂＧ｝の誤差が最小となる場合のｂＲＢ’を求めてもよい。ここで、αＢ、αＧｂは、下式（２３）を満たす値である。αＢは、Ｂ’に対する｛ｂＲＢ’，ｂＬＧ｝の平均的な値を算出するためのものであり、αＧｂは、Ｇに対する｛ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の平均的な値を算出するためのものである。これらは、図１３に示すような撮像素子のカラーフィルタ特性から｛ｂＲＢ’，ｂＬＧ｝及び｛ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の成分比を考慮して決定すればよい。
０＜αＢ≦１，０＜αＧｂ≦１  （２３）
【０１２０】
４．２．３．｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝の推定処理
次に、画素値｛Ｇ，Ｒ｝から成分｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝を推定する処理について説明する。
【０１２１】
上式（１３）を用いて、画素値｛Ｇ，Ｒ｝で重複している波長帯域｛ｇ，ｒＲ｝を、画素値｛Ｇ，Ｒ｝の差分に基づいて取り除き、成分［ｂＬ＋ｇ］と成分ｒＬの関係を求めることにより成分｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝の関係式を導き出す処理を行う。
【０１２２】
図１７（Ａ）〜図１７（Ｄ）に示すように、波長帯域ｒＲに対応するのは画素値Ｇの成分ｒＲＧ及び画素値Ｒの成分ｒＲＲであるが、成分ｒＲＧ、ｒＲＲには、分光特性ＦＧ、ＦＲの相対ゲインが乗じられている。そのため、成分ｒＲＧ、ｒＲＲは、相対ゲインの分だけ異なる値であり、成分ｒＲＧ、ｒＲＲが等しくなるように補正する必要がある。
【０１２３】
図１７（Ｃ）、図１７（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｇＲ＋ｒＲＲ）の成分比をｋＲ１とし、ｒＲＧの成分比をｋＲ２とすると、下式（２４）が成り立つ。ｋＲ１／ｋＲ２は、例えば帯域ｒＲにおける分光特性ＦＧ、ＦＲのゲイン比である。
ｇＲ＋ｒＲＲ＝（ｋＲ２／ｋＲ１）×ｒＲＧ  （２４）
【０１２４】
帯域ｇ、ｒＲにおける分光特性ＦＲのゲインを考慮すると、成分ｇＲは成分ｒＲＲよりも十分小さいと考えられるため、成分ｒＲＧ、ｒＲＲを等しくするためには、成分（ｇＲ＋ｒＲＲ）と成分ｒＲＧがほぼ等しくなればよい。成分（ｇＲ＋ｒＲＲ）を補正した値を（ｇＲ’＋ｒＲＲ’）とすると、上式（２４）を用いて下式（２５）に示す補正を行えばよい。
ｇＲ’＋ｒＲＲ’≒ｒＲＧ＝（ｋＲ２／ｋＲ１）×（ｇＲ＋ｒＲＲ）  （２５）
【０１２５】
成分（ｇＲ＋ｒＲＲ）は画素値Ｒに含まれるため、成分（ｇＲ＋ｒＲＲ）を補正するためには、結局、画素値Ｒを補正することになる。この補正後のＲをＲ’とすると、下式（２６）の関係が得られる。
Ｒ’＝（ｋＲ２／ｋＲ１）Ｒ  （２６）
【０１２６】
上式（２６）より、Ｒ’の成分｛ｇＲ’，ｒＲＲ’，ｒＬＲ’｝は下式（２７）となる。
ｇＲ’＋ｒＲＲ’≒ｒＲＧ，
ｒＬＲ’＝（ｋＲ２／ｋＲ１）×ｒＬＲ  （２７）
【０１２７】
上式（１３）、（２７）より、画素値Ｇと画素値Ｒ’を成分｛ｂＬＧ，ｇＧ，ｒＲＧ，ｒＬＲ’｝を用いて表すと、下式（２８）のようになる。
Ｇ  ＝ｂＬＧ＋（ｇＧ＋ｒＲＧ），
Ｒ’＝（ｇＲ’＋ｒＲＲ’）＋ｒＬＲ’＝ｒＲＧ＋ｒＬＲ’  （２８）
【０１２８】
次に、下式（２９）に示すように、画素値Ｇと補正後の画素値Ｒ’の差分を取ることにより、重複した成分ｒＲを取り除く。また上式（２８）より下式（３０）が成り立つ。
Ｇ−Ｒ’＝［ｂＬＧ＋ｇＧ＋ｒＲＧ）］−［ｒＲＧ＋ｒＬＲ’］
＝（ｂＬＧ＋ｇＧ）−ｒＬＲ’                  （２９）
ｒＲＧ＝Ｒ’−ｒＬＲ’                              （３０）
【０１２９】
ｒＬＲ’を未知数（支配変数）とすると、上式（２９）、（３０）より｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の関係式を下式（３１）のように求められる。
ｒＬＲ’＝未知数（支配変数），
ｒＲＧ＝Ｒ’−ｒＬＲ’，
ｂＬＧ＋ｇＧ＝ｒＬＲ’＋（Ｇ−Ｒ’）  （３１）
【０１３０】
｛Ｇ，Ｒ’｝は検出された既知の値であるので、上式（３１）に基づき未知数ｒＬＲ’が決まれば、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝が全て決まることになる。即ち、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の尤度パターンを特定することができる。
【０１３１】
図１８に、この関係を原理的に表した図を示す。図１８に示すように、未知数ｒＬＲ’として、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小になる値を未知数ｒＬＲ’として求める。即ち、下式（３２）に示す誤差の評価値ＥＧＲが最小になる場合のｒＬＲ’を求め、求めたｒＬＲ’を上式（３１）に代入することにより、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の値を決定する。
ｅＧ＝（Ｇ／２−（ｂＬＧ＋ｇＧ））２＋（Ｇ／２−ｒＲＧ）２，
ｅＧ＝（Ｒ’／２−ｒＲＧ）２＋（Ｒ’／２−（ｒＬＲ’））２，
ＥＧＲ＝ｅＧ＋ｅＲ                                    （３２）
【０１３２】
以上のようにして、各画素の２バンド画素値｛Ｇ，Ｒ’｝から成分｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝を推定することができる。
【０１３３】
なお、上記では｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小となる場合のｒＬＲ’を求めたが、本実施形態では、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝と｛αＧｒＧ，αＲＲ’｝の誤差が最小となる場合のｒＬＲ’を求めてもよい。ここで、αＲ、αＧｒは、下式（３３）を満たす値である。αＲは、Ｒ’に対する｛ｒＬＲ’，ｒＲＧ｝の平均的な値を算出するためのものであり、αＧｒは、Ｇに対する｛ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の平均的な値を算出するためのものである。これらは、図１４に示すような撮像素子のカラーフィルタ特性から｛ｒＬＲ’，ｒＲＧ｝及び｛ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の成分比を考慮して決定すればよい。
０＜αＲ≦１，０＜αＧｒ≦１  （３３）
【０１３４】
４．２．４．成分値の算出処理、右瞳画像と左瞳画像の取得処理
次に、上記で求めた値｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝を用いて、画素値Ｂを構成する成分｛ｂＲＢ，ｂＬＢ｝の値と、画素値Ｇを構成する成分｛ｂＬＧ，ｇＧ，ｒＲＧ｝の値と、画素値Ｒを構成する成分｛ｒＲＲ，ｒＬＲ｝の値とを算出する。
【０１３５】
ｂＲＢ，ｒＬＲは、上式（１７）、（２７）より、下式（３４）のように求められる。
ｂＲＢ＝（ｋＢ１／ｋＢ２）×ｂＲＢ’，
ｒＬＲ＝（ｋＲ１／ｋＲ２）×ｒＬＲ’    （３４）
【０１３６】
ｂＬＢ，ｒＲＲは、ｇＢ≪ｂＲＢ，ｇＲ≪ｒＬＲであること及び上式（１３）より、下式（３５）のように求められる。
ｂＬＢ＝Ｂ−（ｂＲＢ＋ｇＢ）≒Ｂ−ｂＲＢ，
ｒＲＲ＝Ｒ−（ｒＬＲ＋ｇＲ）≒Ｒ−ｒＬＲ  （３５）
【０１３７】
ｂＬＧ，ｒＲＧは、上式（１３）より、下式（３６）のように求められる。
ｂＬＧ＝Ｇ−（ｇＧ＋ｒＲＧ），
ｒＲＧ＝Ｇ−（ｇＧ＋ｂＬＧ）  （３６）
【０１３８】
ｇＧは、上式（１３）、（３６）より、下式（３７）のように求められる。
ｇＧ＝Ｇ−（ｂＬＧ＋ｒＲＧ）  （３７）
【０１３９】
右瞳画像ＩＲと左瞳画像ＩＬのＲ、Ｇ、Ｂ成分は、上記で求めた成分から下式（３８）のように分離する。
ＩＲ＝（ｒＲＲ，ｒＲＧ，ｂＲＢ），ＩＬ＝（ｒＬＲ，ｂＬＧ，ｂＬＢ）  （３８）
【０１４０】
以上の実施形態によれば、光学フィルタＦＬＴは、撮像光学系の瞳を、第１瞳（例えば右瞳）と、第１瞳とは透過波長帯域が異なる第２瞳（左瞳）とに分割する。図１４で説明したように、撮像素子は、第１透過率特性ＦＢを有する第１色（例えば青色）フィルタと、第２透過率特性ＦＧを有する第２色（緑色）フィルタと、第３透過率特性ＦＲを有する第３色（赤色）フィルタとを含む。マルチバンド推定部７０は、第１〜第３透過率特性｛ＦＢ，ＦＧ，ＦＲ｝の重なり部分及び非重なり部分に対応する第１〜第５バンドＢＤ１〜ＢＤ５を設定し、撮像画像を構成する第１〜第３色の画素値｛Ｒ，Ｇ，Ｂ｝に基づいて第１〜第５バンドの成分値｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝を推定する。位相差画像生成部２０は、第１〜第５バンドＢＤ１〜ＢＤ５のうち第１瞳の透過波長帯域に対応するバンドの成分値を第１画像（右瞳画像）ＩＲ＝（ｒＲＲ，ｒＲＧ，ｂＲＢ）として取得し、第１〜第５バンドのうち第２瞳の透過波長帯域に対応するバンドの成分値を第２画像（左瞳画像）ＩＬ＝（ｒＬＲ，ｂＬＧ，ｂＬＢ）として取得する。
【０１４１】
このようにすれば、第１〜第３色の画素値で構成される画像から５バンドの成分値を推定し、その成分値を第１画像と第２画像に分離することができる。そして、その第１画像と第２画像に対して相関演算を行うことにより、位相差を検出できる。また、第１瞳と第２瞳でそれぞれ複数色を透過するように設定できるため、デフォーカス画像領域における色ずれの抑制や、色が偏った被写体における位相差検出精度の向上を、実現できる。
【０１４２】
また本実施形態では、図１４で説明したように、マルチバンド推定部７０は、第１透過率特性ＦＢの非重なり部分に対応する第１バンドＢＤ１と、第１透過率特性ＦＢと第２透過率特性ＦＧとの重なり部分に対応する第２バンドＢＤ２と、第２透過率特性ＦＧの非重なり部分に対応する第３バンドＢＤ３と、第２透過率特性ＦＧと第３透過率特性ＦＲとの重なり部分に対応する第４バンドＢＤ４と、第３透過率特性ＦＲの非重なり部分に対応する第５バンドＢＤ５とを設定する。
【０１４３】
ここで、透過率特性の重なり部分とは、図１４に示すように波長軸に対して透過率特性を表した場合に、波長軸上で隣り合う透過率特性が重なっている領域のことである。重なり部分は、透過率特性が重なっている領域そのもの、あるいは透過率特性の帯域が重なっている帯域で表される。また、透過率特性の非重なり部分とは、他の透過率特性と重なっていない部分のことである。即ち、透過率特性から重なり部分を除いた部分のことである。なお、重なり部分又は非重なり部分に対応するバンドは、重なり部分又は非重なり部分の帯域そのものに限定されず、重なり部分又は非重なり部分に対応して設定されたバンドであればよい。例えば、所定の透過率と透過率特性が交わる波長でバンドを分割し、第１〜第５バンドを設定してもよい。
【０１４４】
このようにすれば、撮像画像の第１〜第３色の画素値｛Ｒ，Ｇ，Ｂ｝から第１〜第５のバンド成分値｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝を推定することが可能となる。即ち、上式（１３）で説明したように、透過率特性が隣り合う画素値（例えばＢ、Ｇ）には重なり部分の成分値（ｂＬ）が含まれる。この重なり部分の成分値（ｂＬ）を、上式（１９）のように画素値の差分（Ｂ’−Ｇ）により消去することで、上式（２１）のように成分値の関係式を求め、その関係式に基づいて成分値を推定することが可能となる。
【０１４５】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像光学系、撮像装置等の構成・動作や、位相差検出手法、合焦方向判定手法、フォーカス制御手法、マルチバンド推定手法等も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１４６】
１０  撮像部、２０  位相差画像生成部、２５  出力部、
３０  表示画像生成部、４０  モニタ表示部、５０  分光特性記憶部、
７０  マルチバンド推定部、８０  フォーカス制御部、８２  位相差検出部、
８４  フォーカス制御量算出部、８６  フォーカスレンズ駆動制御部、
９０  データ圧縮部、１００  データ記録部、
ＡＬ，ＢＬ，ＡＲ（ｄ），ＢＲ（ｄ）  係数、
ＢＤ１〜ＢＤ５  第１〜第５バンド、Ｃ（δｊ）  相関値、
Ｃｍａｘ  相関値の最大値、Ｄｆ，Ｄｒ  デフォーカス位置、
ＦＢ，ＦＧ，ＦＲ  透過率特性、ＦＬ１  右瞳フィルタ、
ＦＬ２  左瞳フィルタ、ＦＬＴ  光学フィルタ、ＦＰ  フォーカス位置、
Ｆａ  減少区間、Ｇ  画素値、Ｉ（ｘ）  撮像画像、
ＩＬ（ｘ）  左瞳画像、ＩＲ（ｘ）  右瞳画像、ＬＮＳ  結像レンズ、
Ｒａ  増加区間、Ｗｊ  相関幅、
ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ  第１〜第５バンドの成分値、
ｄ  シフト量、ｆＬ，ｆＲ  透過率特性、ｘ  位置、Δθ  偏角差分、
Δθｍｉｎ  偏角差分の最小値、δｊ  シフト量
【図１】
2014038151.tif 000011
【図２】
2014038151.tif 000012
【図３】
2014038151.tif 000013
【図４】
2014038151.tif 000014
【図５】
2014038151.tif 000015
【図６】
2014038151.tif 000016
【図７】
2014038151.tif 000017
【図８】
2014038151.tif 000018
【図９】
2014038151.tif 000019
【図１０】
2014038151.tif 000020
【図１１】
2014038151.tif 000021
【図１２】
2014038151.tif 000022
【図１３】
2014038151.tif 000023
【図１４】
2014038151.tif 000024
【図１５】
2014038151.tif 000025
【図１６】
2014038151.tif 000026
【図１７】
2014038151.tif 000027
【図１８】
2014038151.tif 000028