(57)【要約】【課題】例えば色ずれの発生や特殊な撮像素子の必要性等なく、位相差ＡＦを行うことが可能な撮像装置及びフォーカス制御方法等を提供すること。【解決手段】撮像装置は、撮像光学系の瞳を第１瞳と第２瞳に分割する光学フィルタＦＬＴと、第１〜第３透過率特性の第１〜第３色フィルタを有する撮像素子と、第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドの成分値｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝を、第１〜第３色の画素値に基づいて推定するマルチバンド推定部と、第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像ＩＲとして取得し、第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像ＩＬとして取得し、第１、第２被写体像ＩＲ、ＩＬの位相差を検出し、位相差に基づいて撮像光学系のフォーカス制御を行うフォーカス制御部と、を含む。【選択図】      図２
2013171129.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタと、
第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子と、
前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記撮像素子によって撮像された画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定するマルチバンド推定部と、
前記第１〜第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像として取得し、前記第１〜第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像として取得し、前記第１被写体像と前記第２被写体像の位相差を検出し、前記位相差に基づいて前記撮像光学系のフォーカス制御を行うフォーカス制御部と、
を含むことを特徴とする撮像装置。
【請求項２】
請求項１において、
前記マルチバンド推定部は、
前記第１透過率特性の非重なり部分に対応する前記第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する前記第２バンドと、前記第２透過率特性の非重なり部分に対応する前記第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する前記第４バンドと、前記第３透過率特性の非重なり部分に対応する前記第５バンドとを設定することを特徴とする撮像装置。
【請求項３】
請求項２において、
前記第１瞳は、前記第１、第２バンドの一方と、前記第４、第５バンドの一方とを少なくとも透過し、
前記第２瞳は、前記第１、第２バンドの他方と、前記第４、第５バンドの他方とを少なくとも透過し、
前記フォーカス制御部は、
前記第１、第２バンドの前記一方の成分値と、前記第４、第５バンドの前記一方の成分値を前記第１被写体像として取得し、前記第１、第２バンドの前記他方の成分値と、前記第４、第５バンドの前記他方の成分値を前記第２被写体像として取得することを特徴とする撮像装置。
【請求項４】
請求項２又は３において、
前記第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、
前記第１瞳は、前記第１、第２バンドの一方と、前記第３バンドと、前記第４、第５バンドの一方とを透過し、
前記第２瞳は、前記第１、第２バンドの他方と、前記第３バンドと、前記第４、第５バンドの他方とを透過することを特徴とする撮像装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、
前記赤色フィルタの透過率特性である前記第３透過率特性は、近赤外光の帯域を透過する特性であることを特徴とする撮像装置。
【請求項６】
請求項５において、
前記マルチバンド推定部は、
前記近赤外光の帯域を前記第５バンドに設定することを特徴とする撮像装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記マルチバンド推定部は、
前記第１、第２バンドの成分値を加算した値である前記第１色の画素値と、前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値とに基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第３、第４バンドの成分値を加算した値である第１加算値との間の関係式を求め、
前記関係式に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを推定することを特徴とする撮像装置。
【請求項８】
請求項７において、
前記マルチバンド推定部は、
前記第１バンドの成分値を未知数として前記関係式を求め、
前記関係式で表した前記第１、第２バンドの成分値及び前記第１加算値と、前記第１、第２色の画素値との間の誤差を表す誤差評価値を求め、
前記誤差評価値を最小にする前記未知数を決定し、
決定した前記未知数及び前記関係式に基づいて、前記第１、第２バンドの成分値及び前記第１加算値を決定することを特徴とする撮像装置。
【請求項９】
請求項７又は８において、
前記マルチバンド推定部は、
前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値と、前記第４、第５バンドの成分値を加算した値である前記第３色の画素値とに基づいて、前記第２、第３バンドの成分値を加算した値である前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値との間の関係式を求め、
前記関係式に基づいて、前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値とを推定し、
前記第２色の画素値と前記第２バンドの成分値と前記第４バンドの成分値とから、前記第３バンドの成分値を求めることを特徴とする撮像装置。
【請求項１０】
請求項７において、
前記マルチバンド推定部は、
前記第１バンドの成分値を未知数として前記関係式を求め、
前記未知数の候補として、複数の候補値を生成し、
前記複数の候補値の中から、前記第１、第２色の画素値の定義域に基づく選択条件を満たす候補値を、前記関係式に基づいて選択し、
選択した前記候補値に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを求めることを特徴とする撮像装置。
【請求項１１】
請求項１０において、
前記選択条件は、
前記関係式に前記候補値を代入して求めた前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とが、前記第１、第２色の画素値の定義域に矛盾しないという条件であることを特徴とする撮像装置。
【請求項１２】
請求項７乃至１１のいずれかにおいて、
前記マルチバンド推定部は、
前記第１、第２色フィルタの透過率特性に基づいて、前記第１色の画素値と前第２色の画素値との間の相対的なゲイン比を補正し、補正後の前記第１、第２色の画素値を用いて前記第１〜第５バンドの成分値を推定することを特徴とする撮像装置。
【請求項１３】
請求項７乃至１２のいずれかにおいて、
前記第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、
前記マルチバンド推定部は、
前記青色の画素値を構成する前記第１、第２バンドの成分値を、それぞれ第１、第２青色成分値として求め、前記緑色の画素値を構成する前記第２〜第４バンドの成分値を、それぞれ第１〜第３緑色成分値として求め、前記赤色の画素値を構成する前記第４、第５バンドの成分値を、それぞれ第１、第２赤色成分値として求めることを特徴とする撮像装置。
【請求項１４】
撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタを透過した被写体像を、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子により撮像し、
前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記撮像素子によって撮像された画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定し、
前記第１〜第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像として取得し、前記第１〜第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像として取得し、前記第１被写体像と前記第２被写体像の位相差を検出し、前記位相差に基づいて前記撮像光学系のフォーカス制御を行うことを特徴とするフォーカス制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びフォーカス制御方法等に関する。
【背景技術】
【０００２】
特許文献１には、赤色フィルタの部分瞳と青色フィルタの部分瞳で瞳分割フィルタを構成し、その瞳分割フィルタにより撮像光学系の瞳を色で分割し、撮像画像の中の赤色画像と青色画像との間の位相差を検出し、その位相差に基づいてフォーカス制御を行う手法が開示されている。
【０００３】
特許文献２には、複数の開口を設けた遮光板を撮像光学系に配置し、その複数の開口の中の１つに青色フィルタを取り付け、他の１つにオレンジ色フィルタを取り付け、青色フィルタとオレンジ色フィルタを取り付けた眼鏡を通して撮像画像を観察することで、立体視を行う手法が開示されている。
【０００４】
特許文献３には、瞳分割フィルタの第１瞳には３色のフィルタを設け、第２瞳には、透過特性が第１瞳のフィルタと重ならない３色のフィルタを設け、第１撮像素子には第１瞳の透過波長帯域に対応する色フィルタを設け、第２撮像素子には第２瞳の透過波長帯域に対応する色フィルタを設け、瞳分割フィルタの透過光をビームスプリッタで分割して第１撮像素子と第２撮像素子に入射させ、立体視用の画像を撮影する手法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１７４６９６号公報
【特許文献２】特開平４−２５１２３９号公報
【特許文献３】特開平１０−２７６９６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
さて、瞳分割により得られた２画像の位相差を検出してフォーカス制御を行う、いわゆる位相差ＡＦ（Auto-Focus）が知られている。しかしながら、従来の位相差ＡＦでは、例えば色ずれの発生や特殊な撮像素子が必要となる等の課題がある。例えば特許文献１の手法では、被写体の中でピントの合っていない部分では赤色画像と青色画像の位置にずれ（即ち位相差）があるため、色ずれを生じてしまう。また、特許文献２の手法を仮に位相差ＡＦに適用した場合、同様に青色画像とオレンジ色画像に色ずれを生じてしまう。また、特許文献３の手法を仮に位相差ＡＦに適用した場合、特殊な色フィルタを設けた２つの撮像素子や、ビームスプリッタが必要となる。
【０００７】
本発明の幾つかの態様によれば、例えば色ずれの発生や特殊な撮像素子の必要性等なく、位相差ＡＦを行うことが可能な撮像装置及びフォーカス制御方法等を提供できる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタと、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子と、前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記撮像素子によって撮像された画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定するマルチバンド推定部と、前記第１〜第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像として取得し、前記第１〜第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像として取得し、前記第１被写体像と前記第２被写体像の位相差を検出し、前記位相差に基づいて前記撮像光学系のフォーカス制御を行うフォーカス制御部と、を含む撮像装置に関係する。
【０００９】
本発明の一態様によれば、第１〜第３色の画素値に基づいて第１〜第５バンドの成分値が推定され、第１瞳の透過波長帯域に対応するバンドの成分値が第１被写体像として取得され、第２瞳の透過波長帯域に対応するバンドの成分値が第２被写体像として取得され、第１被写体像と第２被写体像から検出された位相差に基づいて撮像光学系のフォーカス制御が行われる。これにより、例えば色ずれの発生や特殊な撮像素子の必要性等なく、位相差ＡＦを行うことが可能になる。
【００１０】
また本発明の一態様では、前記マルチバンド推定部は、前記第１透過率特性の非重なり部分に対応する前記第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する前記第２バンドと、前記第２透過率特性の非重なり部分に対応する前記第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する前記第４バンドと、前記第３透過率特性の非重なり部分に対応する前記第５バンドとを設定してもよい。
【００１１】
また本発明の一態様では、前記第１瞳は、前記第１、第２バンドの一方と、前記第４、第５バンドの一方とを少なくとも透過し、前記第２瞳は、前記第１、第２バンドの他方と、前記第４、第５バンドの他方とを少なくとも透過し、前記フォーカス制御部は、前記第１、第２バンドの前記一方の成分値と、前記第４、第５バンドの前記一方の成分値を前記第１被写体像として取得し、前記第１、第２バンドの前記他方の成分値と、前記第４、第５バンドの前記他方の成分値を前記第２被写体像として取得してもよい。
【００１２】
また本発明の一態様では、前記第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、前記第１瞳は、前記第１、第２バンドの一方と、前記第３バンドと、前記第４、第５バンドの一方とを透過し、前記第２瞳は、前記第１、第２バンドの他方と、前記第３バンドと、前記第４、第５バンドの他方とを透過してもよい。
【００１３】
また本発明の一態様では、前記第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、前記赤色フィルタの透過率特性である前記第３透過率特性は、近赤外光の帯域を透過する特性であってもよい。
【００１４】
また本発明の一態様では、前記マルチバンド推定部は、前記近赤外光の帯域を前記第５バンドに設定してもよい。
【００１５】
また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２バンドの成分値を加算した値である前記第１色の画素値と、前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値とに基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第３、第４バンドの成分値を加算した値である第１加算値との間の関係式を求め、前記関係式に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを推定してもよい。
【００１６】
また本発明の一態様では、前記マルチバンド推定部は、前記第１バンドの成分値を未知数として前記関係式を求め、前記関係式で表した前記第１、第２バンドの成分値及び前記第１加算値と、前記第１、第２色の画素値との間の誤差を表す誤差評価値を求め、前記誤差評価値を最小にする前記未知数を決定し、決定した前記未知数及び前記関係式に基づいて、前記第１、第２バンドの成分値及び前記第１加算値を決定してもよい。
【００１７】
また本発明の一態様では、前記マルチバンド推定部は、前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値と、前記第４、第５バンドの成分値を加算した値である前記第３色の画素値とに基づいて、前記第２、第３バンドの成分値を加算した値である前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値との間の関係式を求め、前記関係式に基づいて、前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値とを推定し、前記第２色の画素値と前記第２バンドの成分値と前記第４バンドの成分値とから、前記第３バンドの成分値を求めてもよい。
【００１８】
また本発明の一態様では、前記マルチバンド推定部は、前記第１バンドの成分値を未知数として前記関係式を求め、前記未知数の候補として、複数の候補値を生成し、前記複数の候補値の中から、前記第１、第２色の画素値の定義域に基づく選択条件を満たす候補値を、前記関係式に基づいて選択し、選択した前記候補値に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを求めてもよい。
【００１９】
また本発明の一態様では、前記選択条件は、前記関係式に前記候補値を代入して求めた前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とが、前記第１、第２色の画素値の定義域に矛盾しないという条件であってもよい。
【００２０】
また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２色フィルタの透過率特性に基づいて、前記第１色の画素値と前第２色の画素値との間の相対的なゲイン比を補正し、補正後の前記第１、第２色の画素値を用いて前記第１〜第５バンドの成分値を推定してもよい。
【００２１】
また本発明の一態様では、前記第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、前記マルチバンド推定部は、前記青色の画素値を構成する前記第１、第２バンドの成分値を、それぞれ第１、第２青色成分値として求め、前記緑色の画素値を構成する前記第２〜第４バンドの成分値を、それぞれ第１〜第３緑色成分値として求め、前記赤色の画素値を構成する前記第４、第５バンドの成分値を、それぞれ第１、第２赤色成分値として求めてもよい。
【００２２】
また本発明の他の態様は、撮像光学系の瞳を、第１瞳と、前記第１瞳とは透過波長帯域が異なる第２瞳とに分割する光学フィルタを透過した被写体像を、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子により撮像し、前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記撮像素子によって撮像された画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定し、前記第１〜第５バンドのうち前記第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像として取得し、前記第１〜第５バンドのうち前記第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像として取得し、前記第１被写体像と前記第２被写体像の位相差を検出し、前記位相差に基づいて前記撮像光学系のフォーカス制御を行うフォーカス制御方法に関係する。
【図面の簡単な説明】
【００２３】
【図１】バンド分割手法についての説明図。
【図２】撮像光学系の基本構成例。
【図３】図３（Ａ）〜図３（Ｆ）は、第１のマルチバンド推定処理におけるゲイン補正処理についての説明図。
【図４】第１のマルチバンド推定処理における未知数推定処理についての説明図。
【図５】図５（Ａ）〜図５（Ｆ）は、第１のマルチバンド推定処理におけるゲイン補正処理についての説明図。
【図６】第１のマルチバンド推定処理における未知数推定処理についての説明図。
【図７】フォーカス制御処理と測距処理についての説明図。
【図８】撮像装置の第１の構成例。
【図９】情報処理装置の構成例。
【図１０】第２のマルチバンド推定処理におけるバンド成分値についての説明図。
【図１１】ルックアップテーブルの第１設定例。
【図１２】ルックアップテーブルの第２設定例。
【図１３】図１３（Ａ）、図１３（Ｂ）は、第３のマルチバンド推定処理についての説明図。
【図１４】撮像装置の第２の構成例。
【発明を実施するための形態】
【００２４】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２５】
１．本実施形態の概要
カメラ、顕微鏡、内視鏡などデジタル画像撮影において、撮像に係る各種機能の向上には目覚しいものがある。代表的機能としてＡＦの高速化が上げられる。ＡＦ方式は大きく分類すると、コントラスト方式と位相差方式の２つの方式に分類できる。
【００２６】
コントラスト方式では、複数フレームの撮像情報から合焦位置を求めるので、撮像フレームの高レート化により高速化が図れるが、基本的にはコントラスト評価値のピークを頻繁に探索する必要があるので高速化には自ずと限界がある。
【００２７】
一方、位相差ＡＦ方式では、位相差からダイレクトに合焦位置を求められるので、コントラスト方式に比べ高速化が図れる。位相差ＡＦ方式では、以前は撮像光学経路を分岐し、位相差検出用の専用撮像素子により位相差情報を検出していたが、昨今は専用撮像素子を設けずに撮像素子のみで位相差を検出する手法が種々提案されている。例えば、撮像素子自体に位相差検出機能を搭載した方式（イメージャ内位相差方式）や、結像光学系の左右の瞳位置に異なる波長域のフィルタを配置し、色の違いで左右の位相差画像（多重画像）を取得し位相差を演算により求める方式（カラー位相差方式）などがある。
【００２８】
しかしながら、イメージャ内位相差方式では、左右の瞳位置からの光束をそれぞれ受光する独立した画素（位相差検出用画素）が必要となるため、結像画像として使用可能な画素は半数になり、解像度の犠牲が伴う。また、位相差検出用画素が画素欠陥のような状態になり画質劣化の要因となるため、高度な補正処理が必要になる。
【００２９】
また、特許文献１のようなカラー位相差方式や、直接にＡＦに関するものでないが特許文献２のようなカラー位相差方式では、イメージャ内位相差方式の課題はクリアできる。しかしながら、通常の３原色カラー撮像素子を使用する場合、例えば右瞳通過光束用にはＲ（赤色）フィルタを割り当て、左瞳通過光束用にはＢ（青色）フィルタを割り当てるなど、位相差画像が３原色のいずれかによって明確に分離できるようにしなくてはならない。そのため、赤成分Ｒのみの画像や青成分Ｂだけの画像など単一色画像の場合には、左右瞳のうち一方の瞳を通過した画像しか取得できず、位相差を検出できない。また、ＲとＢの画像に相関性が低い場合には、色分離により位相差画像を取得しても、位相差を検出する精度が劣ってしまう。このように、カラー位相差方式では、位相差を検出できない状況、又は検出精度が著しく劣る状況が発生する可能性がある。さらには、ＲＧＢのうち一部の色の光束のみを通過させるフィルタを用いるので、光量低下が発生する。また、デフォーカス位置の撮像画像が位相差により必ず色ずれを起こすので、その色ずれを精度良く補正する処理が必要になってくる。そのため、補正画像の品質、処理のリアルタイム性、低コスト化の観点で課題がある。
【００３０】
これらカラー位相差方式の課題を解決するために、多バンドフィルタを用いる手法（例えば特開２００５−２８６６４９号公報）が考えられる。この手法では、例えば、右瞳光束用には波長分離された２色のフィルタＲ１，Ｂ１を割り当て、左瞳光束用にも波長分離された２色のフィルタＲ２，Ｂ２を割り当てるなどして左右の位相差画像を得る。この場合、撮像素子には、各色を分離するための多バンド（多分割波長域）の色フィルタと、それぞれのバンドの色フィルタに対して割り当て画素が必要になる。そのため、一つ一つのバンド画像（分離波長域画像）のサンプリングが粗くなるのは必然であり、位相差検出のための相関精度を低下させる。また、サンプリングの粗さから単一バンド画像の解像度も低下し、撮像画像としての解像度も劣化するという課題が残る。
【００３１】
このように、従来の位相差ＡＦでは、例えば色ずれの発生や、解像度の低下、画素欠陥の高度な補正が必要となること、位相差の検出精度の低下、位相差を検出できない状況があり得ること、多バンドの色フィルタを有する撮像素子が必要となること等の種々の課題がある。
【００３２】
そこで本実施形態では、右瞳（広義には第１瞳）には、波長分離された２色のフィルタＲ１、Ｂ１（図１のｒＲ、ｂＲ）を割り当て、左瞳（広義には第２瞳）には、波長分離された２色のフィルタＲ２，Ｂ２（図１のｒＬ、ｂＬ）を割り当てる。そして、従来のＲＧＢの３原色フィルタ、即ち隣接する色の波長域が重なりをもつ３原色フィルタを有する撮像素子で撮像し、得られた３つのＲ，Ｇ，Ｂの画素値から５つの色Ｒ１、Ｂ１、Ｇ、Ｂ１、Ｂ２を後処理により推定する。Ｒ１、Ｂ１、Ｇ、Ｂ１、Ｂ２が得られれば、Ｒ１、Ｇ、Ｂ１を右瞳画像、Ｒ２、Ｇ、Ｂ２を左瞳画像として分離でき、これらの画像の位相差を求めることができる。
【００３３】
このようにすれば、上述のような従来の位相差ＡＦにおける種々の課題を解決できる。即ち、右瞳画像及び左瞳画像のいずれにもＲＧＢ成分が含まれるため、デフォーカス位置の画像の色ずれが発生しない。また、特殊な撮像素子（例えば位相差検出用画素が配置された撮像素子や、５色を分離するための割当て画素が配置された撮像素子）を用いる必要がないため、従来どおりの解像度のＲＧＢ画像が得られる。また、ＲＧＢベイヤ画像のデモザイキングにより、位相差画像の解像度も落とすことなく得られるため位相差の検出精度も高くできる。また、右瞳画像及び左瞳画像のいずれにもＲＧＢ成分が含まれるため、位相差を検出できない状況が発生しにくくなる。
【００３４】
２．第１のマルチバンド推定処理
２．１．バンド分割手法
次に、本実施形態の詳細について説明する。まず、位相差検出に用いる５バンドのマルチバンド画像をＲＧＢ画像から推定する処理について説明する。以下では、ＲＧＢベイヤ配列の撮像素子を例に説明するが、本実施形態はこれに限定されず、カラーフィルタの透過率特性に重なり部分がある撮像素子でさえあればよい。なお以下では、撮像素子を適宜、撮像センサとも呼ぶ。また、以下で用いる｛ＦＲ，ＦＧ，ＦＢ｝、｛ｒＲ，ｒＬ，ｇ，ｂＲ，ｂＬ｝は、いずれも波長λの関数であるが、表記を簡単にするために波長λを省略する。
【００３５】
図１にバンド分割についての説明図を示す。図１に示すように、５バンドの成分ｂＲ、ｂＬ、ｇ、ｒＲ、ｒＬは、撮像系の分光特性に応じて定まる成分である。図１には、撮像系の分光特性として、撮像センサのカラーフィルタの透過率特性ＦＲ、ＦＧ、ＦＢを示すが、厳密には、撮像系の分光特性は、例えばカラーフィルタを除いた撮像センサがもつ分光特性や、光学系のもつ分光特性等も含んでいる。以下では説明を簡単にするため、撮像センサ等の分光特性が、図１に示すカラーフィルタの透過率特性ＦＲ、ＦＧ、ＦＢに含まれるものとする。
【００３６】
図１に示すように、青色フィルタの透過率特性ＦＢと緑色フィルタの透過率特性ＦＧとの重なり部分に対応するバンドの成分がｂＬであり、青色フィルタの透過率特性ＦＢの非重なり部分に対応するバンドの成分がｂＲである。また、赤色フィルタの透過率特性ＦＲと緑色フィルタの透過率特性ＦＧとの重なり部分に対応するバンドの成分がｒＲであり、赤色フィルタの透過率特性ＦＲの非重なり部分に対応するバンドの成分がｒＬである。また、緑色フィルタの透過率特性ＦＧの非重なり部分に対応するバンドの成分がｇである。ここで、非重なり部分とは、他の色フィルタの透過率特性と重なっていない部分のことである。
【００３７】
５バンドの帯域ＢＤ１〜ＢＤ５は、透過率特性ＦＲ、ＦＧ、ＦＢの形状や重なり具合などに応じて決定すればよく、透過率特性の帯域や重なり部分の帯域そのものである必要はない。例えば、透過率特性ＦＧ、ＦＢの重なり部分の帯域は、およそ４５０ｎｍ〜５５０ｎｍであるが、帯域ＢＤ２は重なり部分に対応するものであればよく、４５０ｎｍ〜５５０ｎｍである必要はない。
【００３８】
２．２．基本構成例
図２に、本実施形態における撮像光学系の基本構成例を示す。図２に示すように、撮像光学系は、撮像素子のセンサ面に被写体を結像させる結像レンズＬＮＳと、第１瞳と第２瞳で帯域を分離する光学フィルタＦＬＴと、を含む。以下では、第１瞳を右瞳とし、第２瞳を左瞳として説明するが、本実施形態ではこれに限定されない。即ち、瞳の分離方向は左右に限定されず、撮像光学系の光軸に対して垂直な任意の方向に第１瞳と第２瞳が分離されていればよい。なお以下では、５バンドの成分｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝に対応する波長分割光や帯域を、適宜、同一の符号｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝で表す。
【００３９】
光学フィルタＦＬＴは、波長分割光｛ｂＲ，ｇ，ｒＲ｝を透過する特性の右瞳フィルタＦＬ１（広義には第１フィルタ）と、波長分割光｛ｂＬ，ｇ，ｒＬ｝を透過する特性の左瞳フィルタＦＬ２（広義には第２フィルタ）とを有する。光学フィルタＦＬＴは、撮像光学系の瞳位置（例えば絞りの設置位置）に設けられ、フィルタＦＬ１、ＦＬ２がそれぞれ右瞳、左瞳に相当する。
【００４０】
図２に示すように、結像レンズＬＮＳ及び光学フィルタＦＬＴを透過した結像光は、ＲＧＢベイヤ配列の撮像素子に入力され、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光強度として信号に変換されデータとして取得される。取得されたベイヤ画像に対してデモザイキング処理を行い、ＲＧＢ毎の３画像（全画素にＲ画素値、Ｇ画素値、Ｂ画素値が存在する画像）を生成する。図１に示すように、右瞳を通過した波長分割光｛ｂＲ，ｇ，ｒＲ｝と、左瞳を通過した波長分割光｛ｂＬ，ｇ，ｒＬ｝は、波長帯域が明確に分離されている。一方、撮像素子のカラーフィルタの分光特性｛ＦＲ，ＦＧ，ＦＢ｝は、隣接する分光特性の波長帯域が重複した特性となっている。この重複状態を考慮すると、デモザイキング処理後の各画素における赤色、緑色、青色の画素値Ｒ、Ｇ、Ｂを、下式（１）のようにモデル化することができる。
Ｒ＝ｇＲ＋ｒＲＲ＋ｒＬＲ，
Ｇ＝ｂＬＧ＋ｇＧ＋ｒＲＧ，
Ｂ＝ｂＲＢ＋ｂＬＢ＋ｇＢ  （１）
【００４１】
図３（Ｃ）に示すように、成分｛ｂＲＢ，ｂＬＢ，ｇＢ｝は、分光特性ＦＢの青色フィルタを通過した波長分割光｛ｂＲ，ｂＬ，ｇ｝に対応する。図３（Ｄ）に示すように、成分｛ｂＬＧ，ｇＧ，ｒＲＧ｝は、分光特性ＦＧの緑色フィルタを通過した波長分割光｛ｂＬ，ｇ，ｒＲ｝に対応する。また、図３（Ｄ）に示すように、成分｛ｇＲ，ｒＲＲ，ｒＬＲ｝は、分光特性ＦＲの赤色フィルタを通過した波長分割光｛ｇ，ｒＲ，ｒＬ｝に対応する。各成分を表す符号の上付きサフィックスは、右瞳「Ｒ」及び左瞳「Ｌ」のいずれを通過したかを表し、下付サフィックスは、赤色フィルタ「Ｒ」、緑色フィルタ「Ｇ」、青色フィルタ「Ｂ」のいずれを通過したかを表している。
【００４２】
２．３．｛ｂＲ，ｂＬ，（ｇ＋ｒＲ）｝の推定処理
次に、図３（Ａ）〜図６を用いて、画素値｛Ｒ，Ｇ，Ｂ｝から成分｛ｂＲＢ，ｂＬＢ，ｇＢ｝、｛ｂＬＧ，ｇＧ，ｒＲＧ｝、｛ｇＲ，ｒＲＲ，ｒＬＲ｝を推定する処理について説明する。
【００４３】
まず上式（１）を用いて、画素値｛Ｂ，Ｇ｝で重複している波長帯域｛ｂＬ，ｇ｝を、画素値｛Ｂ，Ｇ｝の差分に基づいて取り除き、成分ｂＲと成分［ｇ＋ｒＲ］の関係を求めることにより成分｛ｂＲ，ｂＬ，（ｇ＋ｒＲ）｝の関係式を導き出す処理を行う。
【００４４】
ここで注意しなければならないのは、図３（Ａ）〜図３（Ｄ）に示すように、波長帯域ｂＬに対応するのは画素値Ｂの成分ｂＬＢ及び画素値Ｇの成分ｂＬＧであるが、成分ｂＬＢ、ｂＬＧには、分光特性ＦＢ、ＦＧの相対ゲインが乗じられていることである。そのため、成分ｂＬＢ、ｂＬＧは、相対ゲインの分だけ異なる値であり、成分ｂＬＢ、ｂＬＧが等しくなるように補正する必要がある。
【００４５】
図３（Ｃ）、図３（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｂＬＢ＋ｇＢ）の成分比をｋＢ１とし、ｂＬＧの成分比をｋＢ２とすると、下式（２）が成り立つ。
ここで、ｋＢ１／ｋＢ２は、例えば帯域ｂＬにおける分光特性ＦＢ、ＦＧのゲイン比である。
ｂＬＢ＋ｇＢ＝（ｋＢ１／ｋＢ２）×ｂＬＧ  （２）
【００４６】
帯域ｂＬ、ｇにおける分光特性ＦＢのゲインを考慮すると、成分ｇＢは成分ｂＬＢよりも十分小さいと考えられるため、成分ｂＬＢ、ｂＬＧを等しくするためには、成分（ｂＬＢ＋ｇＢ）と成分ｂＬＧがほぼ等しくなればよい。成分（ｂＬＢ＋ｇＢ）を補正した値を（ｂＬＢ’＋ｇＢ’）とすると、上式（２）を用いて下式（３）に示す補正を行えばよい。
ｂＬＢ’＋ｇＢ’≒ｂＬＧ＝（ｋＢ２／ｋＢ１）×（ｂＬＢ＋ｇＢ）  （３）
【００４７】
成分（ｂＬＢ＋ｇＢ）は画素値Ｂに含まれるため、成分（ｂＬＢ＋ｇＢ）を補正するためには、結局、画素値Ｂを補正することになる。この補正後のＢをＢ’とすると、下式（４）の関係が得られる。
Ｂ’＝（ｋＢ２／ｋＢ１）Ｂ  （４）
【００４８】
上式（４）より、Ｂ’の成分｛ｂＲＢ’，ｂＬＢ’，ｇＢ’｝は下式（５）となる。
ｂＲＢ’＝（ｋＢ２／ｋＢ１）×ｂＲＢ，
ｂＬＢ’＋ｇＢ’≒ｂＬＧ          （５）
【００４９】
上式（１）、（５）より、画素値Ｂ’と画素値Ｇを成分｛ｂＲＢ’，ｂＬＧ，ｇＧ，ｒＲＧ｝を用いて表すと、下式（６）のようになる。
Ｂ’＝ｂＲＢ’＋（ｂＬＢ’＋ｇＢ’）＝ｂＲＢ’＋ｂＬＧ，
Ｇ  ＝ｂＬＧ＋（ｇＧ＋ｒＲＧ）                      （６）
【００５０】
次に、下式（７）に示すように、補正後の画素値Ｂ’と画素値Ｇの差分を取ることにより、重複した成分ｂＬを取り除く。また上式（６）より下式（８）が成り立つ。
Ｂ’−Ｇ＝［ｂＲＢ’＋ｂＬＧ］−［ｂＬＧ＋ｇＧ＋ｒＲＧ］
＝ｂＲＢ’−（ｇＧ＋ｒＲＧ）              （７）
ｂＬＧ＝Ｂ’−ｂＲＢ’                          （８）
【００５１】
ｂＲＢ’を未知数（支配変数）とすると、上式（７）、（８）より｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の関係式を下式（９）のように求められる。
ｂＲＢ’＝未知数（支配変数）
ｂＬＧ＝Ｂ’−ｂＲＢ’
ｇＧ＋ｒＲＧ＝ｂＲＢ’−（Ｂ’−Ｇ）  （９）
【００５２】
｛Ｂ’，Ｇ｝は検出された既知の値であるので、上式（９）に基づき未知数ｂＲＢ’が決まれば、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝が全て決まることになる。即ち、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の尤度パターンを特定することができる。
【００５３】
図４に、この関係を原理的に表した図を示す。図４に示すように、未知数ｂＲＢ’として、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小になる値を求める。即ち、下式（１０）に示す誤差の評価値ＥＢＧが最小になる場合のｂＲＢ’を求め、求めたｂＲＢ’を上式（９）に代入することにより、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の値を決定する。
ｅＢ＝（Ｂ’／２−ｂＲＢ’）２＋（Ｂ’／２−ｂＬＧ）２，
ｅＧ＝（Ｇ／２−ｂＬＧ）２＋（Ｇ／２−（ｇＧ＋ｒＲＧ））２，
ＥＢＧ＝ｅＢ＋ｅＧ                                  （１０）
【００５４】
以上のようにして、各画素の２バンド画素値｛Ｂ’，Ｇ｝から成分｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を推定することができる。
【００５５】
なお、上記では｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小となる場合のｂＲＢ’を求めたが、本実施形態では、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝と｛αＢＢ’，αＧｂＧ｝の誤差が最小となる場合のｂＲＢ’を求めてもよい。ここで、αＢ、αＧｂは、下式（１１）を満たす値である。αＢは、Ｂ’に対する｛ｂＲＢ’，ｂＬＧ｝の平均的な値を算出するためのものであり、αＧｂは、Ｇに対する｛ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の平均的な値を算出するためのものである。これらは、図１に示すような撮像素子のカラーフィルタ特性から｛ｂＲＢ’，ｂＬＧ｝及び｛ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の成分比を考慮して決定すればよい。
０＜αＢ≦１，０＜αＧｂ≦１  （１１）
【００５６】
２．４．｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝の推定処理
次に、画素値｛Ｇ，Ｒ｝から成分｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝を推定する。具体的には、上式（１）を用いて、画素値｛Ｇ，Ｒ｝で重複している波長帯域｛ｇ，ｒＲ｝を、画素値｛Ｇ，Ｒ｝の差分に基づいて取り除き、成分［ｂＬ＋ｇ］と成分ｒＬの関係を求めることにより成分｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝の関係式を導き出す処理を行う。
【００５７】
図５（Ａ）〜図５（Ｄ）に示すように、波長帯域ｒＲに対応するのは画素値Ｇの成分ｒＲＧ及び画素値Ｒの成分ｒＲＲであるが、成分ｒＲＧ、ｒＲＲには、分光特性ＦＧ、ＦＲの相対ゲインが乗じられている。そのため、成分ｒＲＧ、ｒＲＲは、相対ゲインの分だけ異なる値であり、成分ｒＲＧ、ｒＲＲが等しくなるように補正する必要がある。
【００５８】
図５（Ｃ）、図５（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｇＲ＋ｒＲＲ）の成分比をｋＲ１とし、ｒＲＧの成分比をｋＲ２とすると、下式（１２）が成り立つ。ｋＲ１／ｋＲ２は、例えば帯域ｒＲにおける分光特性ＦＧ、ＦＲのゲイン比である。
ｇＲ＋ｒＲＲ＝（ｋＲ２／ｋＲ１）×ｒＲＧ  （１２）
【００５９】
帯域ｇ、ｒＲにおける分光特性ＦＲのゲインを考慮すると、成分ｇＲは成分ｒＲＲよりも十分小さいと考えられるため、成分ｒＲＧ、ｒＲＲを等しくするためには、成分（ｇＲ＋ｒＲＲ）と成分ｒＲＧがほぼ等しくなればよい。成分（ｇＲ＋ｒＲＲ）を補正した値を（ｇＲ’＋ｒＲＲ’）とすると、上式（１２）を用いて下式（１３）に示す補正を行えばよい。
ｇＲ’＋ｒＲＲ’≒ｒＲＧ＝（ｋＲ２／ｋＲ１）×（ｇＲ＋ｒＲＲ）  （１３）
【００６０】
成分（ｇＲ＋ｒＲＲ）は画素値Ｒに含まれるため、成分（ｇＲ＋ｒＲＲ）を補正するためには、結局、画素値Ｒを補正することになる。この補正後のＲをＲ’とすると、下式（１４）の関係が得られる。
Ｒ’＝（ｋＲ２／ｋＲ１）Ｒ  （１４）
【００６１】
上式（１４）より、Ｒ’の成分｛ｇＲ’，ｒＲＲ’，ｒＬＲ’｝は下式（１５）となる。
ｇＲ’＋ｒＲＲ’≒ｒＲＧ，
ｒＬＲ’＝（ｋＲ２／ｋＲ１）×ｒＬＲ  （１５）
【００６２】
上式（１）、（１５）より、画素値Ｇと画素値Ｒ’を成分｛ｂＬＧ，ｇＧ，ｒＲＧ，ｒＬＲ’｝を用いて表すと、下式（１６）のようになる。
Ｇ  ＝ｂＬＧ＋（ｇＧ＋ｒＲＧ），
Ｒ’＝（ｇＲ’＋ｒＲＲ’）＋ｒＬＲ’＝ｒＲＧ＋ｒＬＲ’  （１６）
【００６３】
次に、下式（１７）に示すように、画素値Ｇと補正後の画素値Ｒ’の差分を取ることにより、重複した成分ｒＲを取り除く。また上式（１６）より下式（１８）が成り立つ。
Ｇ−Ｒ’＝［ｂＬＧ＋ｇＧ＋ｒＲＧ）］−［ｒＲＧ＋ｒＬＲ’］
＝（ｂＬＧ＋ｇＧ）−ｒＬＲ’                  （１７）
ｒＲＧ＝Ｒ’−ｒＬＲ’                              （１８）
【００６４】
ｒＬＲ’を未知数（支配変数）とすると、上式（１７）、（１８）より｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の関係式を下式（１９）のように求められる。
ｒＬＲ’＝未知数（支配変数），
ｒＲＧ＝Ｒ’−ｒＬＲ’，
ｂＬＧ＋ｇＧ＝ｒＬＲ’＋（Ｇ−Ｒ’）  （１９）
【００６５】
｛Ｇ，Ｒ’｝は検出された既知の値であるので、上式（１９）に基づき未知数ｒＬＲ’が決まれば、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝が全て決まることになる。即ち、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の尤度パターンを特定することができる。
【００６６】
図６に、この関係を原理的に表した図を示す。図６に示すように、未知数ｒＬＲ’として、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小になる値を未知数ｒＬＲ’として求める。即ち、下式（２０）に示す誤差の評価値ＥＧＲが最小になる場合のｒＬＲ’を求め、求めたｒＬＲ’を上式（１９）に代入することにより、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の値を決定する。
ｅＧ＝（Ｇ／２−（ｂＬＧ＋ｇＧ））２＋（Ｇ／２−ｒＲＧ）２，
ｅＧ＝（Ｒ’／２−ｒＲＧ）２＋（Ｒ’／２−（ｒＬＲ’））２，
ＥＧＲ＝ｅＧ＋ｅＲ                                    （２０）
【００６７】
以上のようにして、各画素の２バンド画素値｛Ｇ，Ｒ’｝から成分｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝を推定することができる。
【００６８】
なお、上記では｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小となる場合のｒＬＲ’を求めたが、本実施形態では、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝と｛αＧｒＧ，αＲＲ’｝の誤差が最小となる場合のｒＬＲ’を求めてもよい。ここで、αＲ、αＧｒは、下式（２１）を満たす値である。αＲは、Ｒ’に対する｛ｒＬＲ’，ｒＲＧ｝の平均的な値を算出するためのものであり、αＧｒは、Ｇに対する｛ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の平均的な値を算出するためのものである。これらは、図１に示すような撮像素子のカラーフィルタ特性から｛ｒＬＲ’，ｒＲＧ｝及び｛ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の成分比を考慮して決定すればよい。
０＜αＲ≦１，０＜αＧｒ≦１  （２１）
【００６９】
また、評価値ＥＢＧ、ＥＧＲの算出手法は上記手法に限定されず、種々の方法が考えられることは言うまでもない。例えば、評価値ＥＢＧを例にとれば、予め対象とする被写体（例えば、自然被写体あるいは医療用の生体内被写体など）を多数撮像し、取得された｛Ｒ，Ｇ，Ｂ｝により得られる｛Ｂ’，Ｇ｝から、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の値の生起パターンを上記のようにして求める。そして、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の生起パターンの確率分布において、局所的に生起確率が高いピークを示すパターンか、又は部分的な確率分布領域を設定し、その中のパターン群の平均パターンを示すパターン｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を代表パターンとして定める。このようにして、予め定めた複数の代表パターンを設定しておく。そして、改めて（実際の撮影で）取得された｛Ｂ，Ｇ｝から推定を行う際には、取得された｛Ｂ，Ｇ｝から上記のように｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を計算し、その計算により求めた｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝と、予め設定した代表パターンとのユークリッド距離を評価値として求める。予め設定された代表パターンのうち最もユークリッド距離が小さい、即ち最も類似する代表パターンを推定パターンとし、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の値として特定してもよい。なお、予め代表パターンを設定する際に、対象被写体の｛Ｂ’，Ｇ｝の生起パターンから｛Ｂ’，Ｇ｝の代表パターンを求めてもよい。そして、実際に撮影した｛Ｂ’，Ｇ｝から推定する際に、撮影で取得した｛Ｂ’，Ｇ｝と、代表パターンとのユークリッド距離を評価値として求め、評価値の最も小さい｛Ｂ’，Ｇ｝の代表パターンに対して上記の推定処理を行い、最終的な推定パターン｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を特定してもよい。
【００７０】
２．５．成分値の算出処理
次に、上記で求めた値｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝を用いて、画素値Ｂを構成する成分｛ｂＲＢ，ｂＬＢ｝の値、画素値Ｇを構成する成分｛ｂＬＧ，ｇＧ，ｒＲＧ｝の値、画素値Ｒを構成する成分｛ｒＲＲ，ｒＬＲ｝の値を算出する。
【００７１】
ｂＲＢ，ｒＬＲは、上式（５）、（１５）より、下式（２２）のように求められる。
ｂＲＢ＝（ｋＢ１／ｋＢ２）×ｂＲＢ’，
ｒＬＲ＝（ｋＲ１／ｋＲ２）×ｒＬＲ’    （２２）
【００７２】
ｂＬＢ，ｒＲＲは、ｇＢ≪ｂＲＢ，ｇＲ≪ｒＬＲであること及び上式（１）より、下式（２３）のように求められる。
ｂＬＢ＝Ｂ−（ｂＲＢ＋ｇＢ）≒Ｂ−ｂＲＢ，
ｒＲＲ＝Ｒ−（ｒＬＲ＋ｇＲ）≒Ｒ−ｒＬＲ  （２３）
【００７３】
ｂＬＧ，ｒＲＧは、上式（１）より、下式（２４）のように求められる。
ｂＬＧ＝Ｇ−（ｇＧ＋ｒＲＧ），
ｒＲＧ＝Ｇ−（ｇＧ＋ｂＬＧ）  （２４）
【００７４】
ｇＧは、上式（１）、（２４）より、下式（２５）のように求められる。
ｇＧ＝Ｇ−（ｂＬＧ＋ｒＲＧ）  （２５）
【００７５】
２．６．右瞳画像と左瞳画像の取得処理
図２に示すように、光学フィルタＦＬＴの透過光を撮像することで、右瞳を通過した被写体像ＩＲと、左瞳を通過した被写体像ＩＬを取得する。図２では、撮像素子のセンサ面がデフォーカス位置ＰＤにある場合を例にＩＲ、ＩＬを図示しており、ｈは水平方向（広義には瞳の分離方向）に沿った軸である。像ＩＲ、ＩＬのＲ、Ｇ、Ｂ成分は、上記で求めた成分から下式（２６）のように分離する。
ＩＲ＝（ｒＲＲ，ｒＲＧ，ｂＲＢ），ＩＬ＝（ｒＬＲ，ｂＬＧ，ｂＬＢ）  （２６）
【００７６】
そして、像ＩＲ、ＩＬのデフォーカス位置での位相差（像のずれ量）を求め、３角測量の原理を用いて被写体の測距を行い、求めた距離情報に基づいてＡＦ制御を行う。像ＩＲ、ＩＬの位相差ＡＦへの適用については、図７等で詳細に後述する。上式（２６）に示すように、像ＩＲ、ＩＬはともに、その成分値の下付サフィックスに示すようにＲＧＢ各帯域の成分で構成されている。そのため、被写体の色がＲＧＢのいずれかに極端に偏っているような場合であっても、像ＩＲ、ＩＬが極端に暗くなることはなく、位相差を検出することが可能である。なお、本実施形態では画像内の各画素について距離情報を取得することが可能であり、この各画素についての距離情報を用いて、位相差ＡＦだけでなく種々の応用処理を行うことも可能である。
【００７７】
２．７．マルチバンド画像、ＲＧＢ画像の取得処理
撮像素子のセンサ面がフォーカス位置ＰＦにあるフォーカス時では、像ＩＲ、ＩＬのずれは無くなる。即ち、同一画素におけるｒＲＲとｒＬＲ、ｒＲＧとｂＬＧ、ｂＲＢとｂＬＢ、ｇＧは、全て被写体の同一微小領域からの反射光の色光を表している。即ち、結像時の撮像素子の任意の画素のＲ、Ｇ、Ｂ値から、下式（２７）に示す５バンド｛Ｒ１，Ｒ２，Ｇ，Ｂ１，Ｂ２｝の色画像（マルチバンド画像）を得ることができる。
Ｒ１＝ｒＲＲ，Ｒ２＝ｒＬＲ，Ｇ＝ｒＲＧ＋ｇＧ＋ｂＬＧ，Ｂ１＝ｂＲＢ，Ｂ２＝ｂＬＢ  （２７）
【００７８】
通常のＲＧＢ画像（例えばモニタ表示用の画像）は、撮像されたベイヤ画像からデモザイキング処理により取得すればよい。図２に示すように、右瞳フィルタＦＬ１はＲＧＢの帯域｛ｂＲ，ｇ，ｒＲ｝を透過し、左瞳フィルタＦＬ２はＲＧＢの帯域｛ｂＬ，ｇ，ｒＬ｝を透過するため、上式（１）を見ても分かるように画像のＲＧＢ各成分には右瞳と左瞳の透過帯域が含まれている。そのため、デフォーカス位置（画像のボケ領域）において右瞳画像｛ｂＲ，ｇ，ｒＲ｝と左瞳画像｛ｂＬ，ｇ，ｒＬ｝がずれても、ＲＧＢ画像では色ずれが起きない（又は非常に小さく抑えられる）ので、色ずれ補正を行う必要がなくそのまま鑑賞することが可能である。
【００７９】
３．フォーカス制御処理、測距処理
上述した像ＩＲ、ＩＬの位相差に基づいてデフォーカス量を算出する処理について詳細に説明する。
【００８０】
図７に示すように、絞りを開放した時の開口径をＡとし、開口径Ａに対する左右の瞳の重心間の距離をｑ×Ａとし、光軸上における結像レンズＬＮＳの中心から撮像素子のセンサ面ＰＳまでの距離をｘとし、センサ面ＰＳにおける右瞳画像ＩＲ（ｈ）と左瞳画像ＩＬ（ｈ）のずれ量をδとすると、三角測量法により下式（２８）が成り立つ。ｑは、０＜ｑ≦１を満たす係数であり、ｑ×Ａは、絞り量によっても変化する値である。ｘは、距離検出センサ（例えば図８の距離検出センサ８８）により検出される値である。ｂは、光軸上における結像レンズＬＮＳの中心からフォーカス位置ＰＦまでの距離を表す。δは、相関演算（例えば既知の相関演算）により求められる。
ｑ×Ａ：δ＝ｂ：ｄ，
ｂ＝ｘ＋ｄ        （２８）
上式（２８）よりデフォーカス量ｄは下式（２９）で与えられる。
ｄ＝（δ×ｘ）／｛（ｑ×Ａ）−δ｝  （２９）
【００８１】
図７が、例えば撮像装置の上部（瞳分割方向に垂直な方向）から見た図である場合、ｈは水平方向（瞳分割方向）の座標軸である。座標軸ｈでのずれ量δを、右瞳画像ＩＲ（ｈ）及び左瞳画像ＩＬ（ｈ）のいずれかを基準として正負の符号で表すように定義し、そのずれ量δの正負により、センサ面ＰＳがフォーカス位置ＰＦの前方にあるのか後方にあるのかを識別する。センサ面ＰＳとフォーカス位置ＰＦの前後関係が分かれば、フォーカス位置ＰＦにセンサ面ＰＳを一致させる際に、どちらの方向にフォーカスレンズを移動させれば良いのかが簡単に分る。
【００８２】
デフォーカス量ｄ及びずれ量δの符号を求めた後、それらに基づいて、デフォーカス量ｄをゼロにするようにフォーカスレンズを駆動させ、フォーカシングを行う。本実施形態では、左右瞳により水平方向に色分割しているので、撮像画像の中のフォーカシングさせたい水平方向の領域を選択して相関演算を行えばよい。なお、瞳色分割の方向は水平方向とは限らないので、左右帯域分離光学フィルタの設定条件（分割方向）に合わせて適宜、相関演算を行う方向を設定すればよい。また、デフォーカス量ｄを求める対象領域は、撮像画像の一部領域に限らず、撮像画像の全領域を対象としてもよい。その場合は、複数のデフォーカス量ｄが求められるので、それらを所定の評価関数により最終的なデフォーカス量を決定するプロセスが必要である。
【００８３】
次に、被写体までの距離ａを測距する処理について説明する。ａは、フォーカス位置ＰＦに対応する距離であり、光軸上における結像レンズＬＮＳから被写体までの距離である。一般的に結像光学系では、複数のレンズで構成される結像光学系の合成焦点距離をｆとすると、下式（３０）が成り立つ。
（１／ａ）＋（１／ｂ）＝１／ｆ  （３０）
【００８４】
上式（２９）で求めたデフォーカス量ｄ及び検出可能な値ｘから、上式（２８）によりｂを求め、求めたｂと、結像光学構成により決まる合成焦点距離ｆとを上式（３０）に代入し、結像レンズＬＮＳと被写体位置との距離ａを算出する。任意の画像位置に対応する被写体までの距離ａを算出できるので、被写体までの距離計測や、被写体の３次元形状計測を行うことが可能である。
【００８５】
４．撮像装置、情報処理装置
図８に、本実施形態のフォーカス制御処理を行う撮像装置の第１の構成例を示す。図８の撮像装置は、結像レンズＬＮＳ、光学フィルタＦＬＴ、撮像素子１０（撮像センサ）、撮像処理部２０、ＲＧＢ画像生成部３０、色補正処理部３５、モニタ表示部４０、ＲＧＢフィルタ特性データ記録部５０、フォーカス領域選択部６５、マルチバンド推定部７０、フォーカス制御部８０、距離検出センサ８８（距離計測センサ）、データ圧縮部９０、データ記録部１００を含む。なお、本実施形態は図８の構成に限定されず、その構成要素の一部を省略（例えば色補正処理部３５、データ圧縮部９０）したり、他の構成要素を追加したりする等の種々の変形実施が可能である。
【００８６】
撮像素子１０は、結像レンズＬＮＳ及び光学フィルタＦＬＴによって結像された被写体を撮像する。光学フィルタＦＬＴは、図２で説明したように右瞳と左瞳の透過帯域が異なる。撮像処理部２０は、撮像素子１０による撮像動作の制御や、アナログの画素信号をＡ／Ｄ変換する処理などを行う。
【００８７】
ＲＧＢ画像生成部３０は、撮像により得られたＲＧＢベイヤ画像のデモザイキング処理や、高画質化処理などを行い、ＲＧＢ３板画像（画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ））を出力する。ｉ，ｊは、自然数であり、それぞれ画像の水平走査方向、垂直走査方向における位置（座標）を表す。色補正処理部３５は、ＲＧＢ３板画像に対して色補正処理を行う。右瞳と左瞳の透過波長帯域が異なり、且つデフォーカス画像領域では右瞳と左瞳の透過光が近接して撮像されるため、デフォーカス画像領域では色のバランスが崩れる可能性がある。そのため、色補正処理を行う。モニタ表示部４０は、色補正処理されたＲＧＢ３板画像をモニタ（表示装置）に表示する。
【００８８】
ＲＧＢフィルタ特性データ記録部５０は、撮像素子１０がもつカラーフィルタの透過率特性（分光特性）ＦＲ（λ）、ＦＧ（λ）、ＦＢ（λ）のデータを記憶しており、そのデータをマルチバンド推定部７０に出力する。但し、撮像されるＲＧＢ成分は、厳密にはカラーフィルタのみならず撮像素子１０の分光感度特性や、結像レンズＬＮＳの分光特性によって決まるものである。上記ではカラーフィルタの透過率特性がＲＧＢフィルタ特性であるものとして説明したが、本実施形態では、当然、撮像素子１０や結像レンズＬＮＳの分光特性を含んだ特性データをＲＧＢフィルタ特性データとして定義している。
【００８９】
フォーカス領域選択部６５は、図示しないユーザインターフェースを介してユーザが選択した領域の画像を、ＲＧＢ３板画像から抽出し、その抽出した画像をマルチバンド推定部７０に出力する。マルチバンド推定部７０は、ユーザが選択した領域の画像に対して本実施形態のマルチバンド推定処理を行い、右瞳画像ＩＲ（ｉ，ｊ）、左瞳画像ＩＬ（ｉ，ｊ）を出力する。また、マルチバンド推定部７０は、５バンドのマルチバンド画像（成分値Ｒ１（ｉ，ｊ）、Ｒ２（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ１（ｉ，ｊ）、Ｂ２（ｉ，ｊ）を出力する。なお、領域選択を行わず、ＲＧＢ３板画像の全体に対してマルチバンド推定処理を行ってもよい。
【００９０】
フォーカス制御部８０は、右瞳画像ＩＲ（ｉ，ｊ）及び左瞳画像ＩＬ（ｉ，ｊ）に基づいてオートフォーカス制御を行う。具体的にはフォーカス制御部８０は、位相差検出部８２、フォーカス制御量算出部８４、フォーカスレンズ駆動制御部８６を含む。位相差検出部８２は、右瞳画像ＩＲ（ｉ，ｊ）と左瞳画像ＩＬ（ｉ，ｊ）のずれ量δの情報（広義には位相差情報）を検出する。距離検出センサ８８は、結像レンズＬＮＳの中心から撮像素子１０のセンサ面までの距離ｘの情報を検出する。フォーカス制御量算出部８４は、ずれ量δの情報と距離ｘの情報からデフォーカス量ｄの情報を算出し、そのデフォーカス量ｄの情報に基づいて結像レンズＬＮＳの移動量及び移動方向を求める。フォーカスレンズ駆動制御部８６は、結像レンズＬＮＳの移動量及び移動方向に基づいてフォーカスレンズを移動させる制御を行う。
【００９１】
データ圧縮部９０は、色補正処理されたＲＧＢ３板画像のデータに対して圧縮処理を行う。データ記録部１００は、圧縮されたＲＧＢ３板画像データと、カラーフィルタの透過率特性データとを記録する。これらの記録データは、撮影後の事後処理においてマルチバンド推定処理や位相差検出処理に用いることが可能である。事後処理は、撮像装置で行ってもよいし、撮像装置と別体に構成された情報処理装置で行ってもよい。
【００９２】
図９に、撮像装置と別体に構成された情報処理装置の構成例を示す。図９の情報処理装置は、データ記録部２００、データ伸張部２１０、伸張データ記憶部２２０、モニタ画像生成部２３０、モニタ画像表示部２４０、画像データ選択部２５０、選択フレーム記憶部２６０、マルチバンド推定部２７０、位相差検出部２９０、位相差処理部２９５を含む。この情報処理装置としては、例えばＰＣ等の情報処理装置が想定される。
【００９３】
データ記録部２００は、例えば外部記憶装置（例えばメモリカード）により構成され、撮像装置により記録されたＲＧＢ３板画像データ及び透過率特性データを記憶している。データ伸張部２１０は、撮像装置により圧縮されたＲＧＢ３板画像データを伸張する処理を行う。伸張データ記憶部２２０は、伸張されたＲＧＢ３板画像データを記憶する。
【００９４】
モニタ画像生成部２３０は、ＲＧＢ３板画像データからモニタ表示用の画像を生成する。モニタ画像表示部２４０は、そのモニタ表示用の画像をモニタに表示する。画像データ選択部２５０は、図示しないユーザインターフェースを介してユーザ（操作者）が選択したフレームのＩＤを、伸張データ記憶部２２０に出力する。伸張データ記憶部２２０は、複数のＲＧＢ３板画像（複数の静止画像、又は動画像）の中から、選択フレームの画像を出力する。選択フレーム記憶部２６０は、選択フレームの画像を記憶する。
【００９５】
マルチバンド推定部２７０は、選択フレームの画像（画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ））と、カラーフィルタの透過率特性ＦＲ（λ）、ＦＧ（λ）、ＦＢ（λ）とに基づいて、マルチバンド画像ＩＲ（ｉ，ｊ）、ＩＬ（ｉ，ｊ）を推定する処理を行う。位相差検出部２９０は、画像ＩＲ（ｉ，ｊ）、ＩＬ（ｉ，ｊ）の位相差を、例えば各画素（又は各微小分割領域）について検出する。位相差処理部２９５は、検出された位相差に基づいて、例えば被写体の立体形状測定等の種々の応用処理を行う。
【００９６】
以上の実施形態によれば、図８に示すように、撮像装置は光学フィルタＦＬＴと撮像素子１０とマルチバンド推定部７０とフォーカス制御部８０とを含む。光学フィルタＦＬＴは、撮像光学系の瞳を、図２で説明したように、第１瞳（例えば右瞳）と、第１瞳とは透過波長帯域が異なる第２瞳（左瞳）とに分割する。図１で説明したように、撮像素子１０は、第１透過率特性ＦＢを有する第１色（例えば青色）フィルタと、第２透過率特性ＦＧを有する第２色（緑色）フィルタと、第３透過率特性ＦＲを有する第３色（赤色）フィルタとを含む。マルチバンド推定部７０は、第１〜第３透過率特性｛ＦＢ，ＦＧ，ＦＲ｝の重なり部分及び非重なり部分に対応する第１〜第５バンドＢＤ１〜ＢＤ５を設定する。図２等で説明したように、マルチバンド推定部７０は、撮像素子１０によって撮像された画像を構成する第１〜第３色の画素値｛Ｒ，Ｇ，Ｂ｝に基づいて第１〜第５バンドの成分値｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝を推定する。フォーカス制御部８０は、第１〜第５バンドＢＤ１〜ＢＤ５のうち第１瞳の透過波長帯域に対応するバンドの成分値を第１被写体像（右瞳画像）ＩＲ＝（ｒＲＲ，ｒＲＧ，ｂＲＢ）として取得し、第１〜第５バンドのうち第２瞳の透過波長帯域に対応するバンドの成分値を第２被写体像（左瞳画像）ＩＬ＝（ｒＬＲ，ｂＬＧ，ｂＬＢ）として取得する。フォーカス制御部８０は、第１被写体像ＩＲと第２被写体像ＩＬの位相差（ずれ量δ）を検出し、位相差に基づいて撮像光学系のフォーカス制御を行う。
【００９７】
このようにすれば、第１〜第３色の画素値で構成される画像から５バンドの成分値を推定し、その成分値を第１被写体像と第２被写体像に分離することができる。そして、第１被写体像と第２被写体像の位相差を検出することで、高速な位相差ＡＦを実現することができる。また、通常のＲＧＢ撮像素子を用いることが可能となるため、位相差検出用画素による画素欠陥や、マルチバンドのカラーフィルタによる１色当たりの割り当て画素数の減少等が起きず、位相差の検出精度や画像の解像度が低下しない。また、第１瞳と第２瞳でそれぞれ複数色を透過するように設定すれば、デフォーカス画像領域における色ずれの抑制や、色が偏った被写体における位相差検出精度の向上を、実現できる。
【００９８】
また本実施形態では、図１で説明したように、マルチバンド推定部７０は、第１透過率特性ＦＢの非重なり部分に対応する第１バンドＢＤ１と、第１透過率特性ＦＢと第２透過率特性ＦＧとの重なり部分に対応する第２バンドＢＤ２と、第２透過率特性ＦＧの非重なり部分に対応する第３バンドＢＤ３と、第２透過率特性ＦＧと第３透過率特性ＦＲとの重なり部分に対応する第４バンドＢＤ４と、第３透過率特性ＦＲの非重なり部分に対応する第５バンドＢＤ５とを設定する。
【００９９】
ここで、透過率特性の重なり部分とは、図１に示すように波長軸に対して透過率特性を表した場合に、波長軸上で隣り合う透過率特性が重なっている領域のことである。重なり部分は、透過率特性が重なっている領域そのもの、あるいは透過率特性の帯域が重なっている帯域で表される。また、透過率特性の非重なり部分とは、他の透過率特性と重なっていない部分のことである。即ち、透過率特性から重なり部分を除いた部分のことである。なお、重なり部分又は非重なり部分に対応するバンドは、重なり部分又は非重なり部分の帯域そのものに限定されず、重なり部分又は非重なり部分に対応して設定されたバンドであればよい。例えば、所定の透過率と透過率特性が交わる波長でバンドを分割し、第１〜第５バンドを設定してもよい。
【０１００】
このようにすれば、撮像画像の第１〜第３色の画素値｛Ｒ，Ｇ，Ｂ｝から第１〜第５のバンド成分値｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝を推定することが可能となる。即ち、上式（１）で説明したように、透過率特性が隣り合う画素値（例えばＢ、Ｇ）には重なり部分の成分値（ｂＬ）が含まれる。この重なり部分の成分値（ｂＬ）を、上式（７）のように画素値の差分（Ｂ’−Ｇ）により消去することで、上式（９）のように成分値の関係式を求め、その関係式に基づいて成分値を推定することが可能となる。
【０１０１】
また本実施形態では、第１瞳（右瞳フィルタＦＬ１）は、第１、第２バンドの一方ＢＤ１と、第４、第５バンドの一方ＢＤ４とを少なくとも透過し、第２瞳（左瞳フィルタＦＬ２）は、第１、第２バンドの他方ＢＤ２と、第４、第５バンドの他方ＢＤ５とを少なくとも透過する。フォーカス制御部８０は、第１、第２バンドの一方ＢＤ１の成分値ｂＲと、第４、第５バンドの一方ＢＤ４の成分値ｒＲを第１被写体像ＩＲ＝（ｒＲＲ，ｒＲＧ，ｂＲＢ）として取得し、第１、第２バンドの他方ＢＤ２の成分値ｂＬと、第４、第５バンドの他方ＢＤ５の成分値ｒＬを第２被写体像ＩＬ＝（ｒＬＲ，ｂＬＧ，ｂＬＢ）として取得する。
【０１０２】
このようにすれば、第１、第２バンドに対応する第１色、及び第４、第５バンドに対応する第３色を、第１被写体像と第２被写体像の両方に含ませることができる。例えば第１色、第３色が青色、赤色である場合、青色又は赤色に極端に偏った被写体であっても、第１被写体像と第２被写体像の両方に、その偏った色が含まれるため、精度良く位相差を検出することが可能である。
【０１０３】
また本実施形態では、第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタである。第１瞳は、第１、第２バンドの一方ＢＤ１と、第３バンドＢＤ３と、第４、第５バンドの一方ＢＤ４とを透過し、第２瞳は、第１、第２バンドの他方ＢＤ２と、第３バンドＢＤ３と、第４、第５バンドの他方ＢＤ５とを透過する。
【０１０４】
このようにすれば、例えばベイヤ配列等の既存のカメラシステムに搭載されたＲＧＢ撮像素子をそのまま利用して、位相差ＡＦを行うことが可能となる。また、第１瞳と第２瞳がともにＲＧＢ成分を透過するため、デフォーカス画像領域において色ずれが無い（又は抑制された）ＲＧＢ画像を撮影できる。これにより、高度な色ずれ補正等を行うことなく鑑賞に耐える画像を取得できる。
【０１０５】
なお、本実施形態では、第１〜第３色はＲＧＢに限定されず、波長軸上において隣り合う透過率特性が重なり部分を有する３つのカラーフィルタに対応した色であればよい。また本実施形態では、第１瞳が帯域ＢＤ１、ＢＤ４を透過し、第２瞳が帯域ＢＤ２、ＢＤ５を透過する場合に限定されず、第１瞳と第２瞳が帯域ＢＤ１、ＢＤ２のいずれを透過してもよいし、第１瞳と第２瞳が帯域ＢＤ４、ＢＤ５のいずれを透過してもよい。
【０１０６】
また本実施形態では、上式（１）で説明したように、第１色の画素値Ｂは、第１、第２バンドの成分値ｂＲＢ、ｂＬＢを加算した値であり、第２色の画素値Ｇは、第２〜第４バンドの成分値ｂＬＧ、ｇＧ、ｒＲＧを加算した値である。上式（９）で説明したように、マルチバンド推定部は、この第１、第２色の画素値Ｂ、Ｇに基づいて、第１バンドの成分値ｂＲＢと、第２バンドの成分値ｂＬＧと、第３、第４バンドの成分値ｇＧ、ｒＲＧを加算した値である第１加算値ｇＧ＋ｒＲＧとの間の関係式を求める。そして、マルチバンド推定部７０は、その関係式に基づいて、第１バンドの成分値ｂＲＢと、第２バンドの成分値ｂＬＧと、第１加算値ｇＧ＋ｒＲＧとを推定する。
【０１０７】
なお、上式（１）では第１色の画素値Ｂは、第１〜第３バンドの成分値ｂＲＢ、ｂＬＢ、ｇＢを加算した値であるが、上式（５）に示すようにｇＢがｂＬＢよりも十分小さいものとしてｇＢを無視している。即ち、第１色の画素値Ｂは、第１、第２バンドの成分値ｂＲＢ、ｂＬＢを加算した値に、ｂＬＢ（又はｂＲＢ）よりも十分小さいバンド成分値ｇＢを更に加算した値であってもよい。
【０１０８】
このようにすれば、隣り合った透過率特性が重なっている状態を、バンド成分値の加算式（上式（１））として表すことができる。そして、その加算式からバンド成分値間の関係式を求め、その関係式からバンド成分値を推定することが可能となる。
【０１０９】
また本実施形態では、上式（９）で説明したように、マルチバンド推定部７０は、第１バンドの成分値ｂＲＢを未知数として関係式を求める。図４及び上式（１０）で説明したように、マルチバンド推定部は、関係式で表した第１、第２バンドの成分値及び第１加算値｛ｂＲＢ，ｂＬＧ，ｇＧ＋ｒＲＧ｝と、第１、第２色の画素値｛Ｂ，Ｇ｝との間の誤差を表す誤差評価値ＥＢＧを求め、その誤差評価値ＥＢＧを最小にする未知数ｂ（１）を決定し、その決定した未知数ｂＲＢ及び関係式（上式（９））に基づいて、第１、第２バンドの成分値及び第１加算値｛ｂＲＢ，ｂＬＧ，ｇＧ＋ｒＲＧ｝を決定する。
【０１１０】
このようにすれば、２つの画素値｛Ｂ，Ｇ｝から３つの変数｛ｂＲＢ，ｂＬＧ，ｇＧ＋ｒＲＧ｝を決定する際に必要な１つの未知数ｂＲＢを、誤差評価値ＥＢＧに基づいて決定でき、決定した未知数によりバンド成分値｛ｂＲＢ，ｂＬＧ，ｇＧ＋ｒＲＧ｝を決定できる。
【０１１１】
また本実施形態では、上記と同様にして、マルチバンド推定部７０は、関係式（上式（１９））を求め、その関係式に基づいて、第２、第３バンドの成分値ｂＬＧ、ｇＧを加算した値である第２加算値ｂＬＧ＋ｇＧと、第４バンドの成分値ｒＲＧと、第５バンドの成分値ｒＬＲとを推定する（上式（１２）〜（２０））。そして、上式（２５）で説明したように、第２色の画素値Ｇと第２バンドの成分値ｂＬＧと第４バンドの成分値ｒＲＧとから、第３バンドの成分値ｇＧを求める。
【０１１２】
このようにすれば、バンド成分値｛ｒＲＧ，ｒＬＲ，ｂＬＧ＋ｇＧ｝を関係式で表し、その関係式を用いてバンド成分値｛ｒＲＧ，ｒＬＲ，ｂＬＧ＋ｇＧ｝を推定できる。そして、上式（２２）〜（２５）で説明したように、バンド成分値｛ｂＲＢ，ｂＬＧ，ｇＧ＋ｒＲＧ｝及び｛ｒＲＧ，ｒＬＲ，ｂＬＧ＋ｇＧ｝を用いて、第１〜第５バンドの成分値｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝を求めることができる。
【０１１３】
また本実施形態では、図３（Ａ）〜図３（Ｆ）で説明したように、マルチバンド推定部７０は、第１、第２色フィルタの透過率特性ＦＢ、ＦＧに基づいて、第１色の画素値Ｂと第２色の画素値Ｇとの間の相対的なゲイン比ｋＢ１／ｋＢ２を補正し、補正後の第１、第２色の画素値Ｂ’、Ｇを用いて第１〜第５バンドの成分値を推定する。
【０１１４】
より具体的には、上式（２）〜（６）で説明したように、マルチバンド推定部７０は、第２バンド（ｂＬ）での第２色フィルタ（ＦＧ）の透過率ｋＢ２と、第２バンド（ｂＬ）での第１色フィルタ（ＦＢ）の透過率ｋＢ１との比ｋＢ２／ｋＢ１を、第１色の画素値Ｂに乗じて、ゲイン比を補正する。
【０１１５】
撮像素子のカラーフィルタでは、一般的に色に依って透過率特性が異なるため、色に依ってゲインが異なっている。本実施形態によれば、透過率特性の重なり部分に対応するバンドが存在するため、そのバンドにおける相対的なゲイン比ｋＢ２／ｋＢ１を求めることができ、そのゲイン比を用いて、色に依って異なるゲインを補正できる。
【０１１６】
５．第２のマルチバンド推定処理
５．１．候補発生による推定処理
次に、バンド成分の候補値を発生させ、その候補値を選択条件に基づいて選択する第２のマルチバンド推定処理について説明する。求めた推定値を用いたフォーカス制御処理については、上述のフォーカス制御処理と同様である。
【０１１７】
図１０に示すように、ゲイン補正を行った５バンドの成分の関係式を第１のマルチバンド推定処理と同様にして求める。下記に、第１のマルチバンド推定処理で説明した式（９）、（１９）を再掲する。
ｂＲＢ’＝未知数（支配変数），
ｂＬＧ＝Ｂ’−ｂＲＢ’，
ｇＧ＋ｒＲＧ＝ｂＲＢ’−（Ｂ’−Ｇ）  （９）
ｒＬＲ’＝未知数（支配変数），
ｒＲＧ＝Ｒ’−ｒＬＲ’，
ｂＬＧ＋ｇＧ＝ｒＬＲ’＋（Ｇ−Ｒ’）  （１９）
【０１１８】
ｂＲＢ’、ｒＬＲ’は、検出されるはずの分割帯域成分ｂＲＢ、ｒＬＲの補正値であり、第１のマルチバンド推定処理で説明した式（５）、（１５）より、下式（３１）で表される。
ｂＲＢ’＝（ｋＢ２／ｋＢ１）×ｂＲＢ，
ｒＬＲ’＝（ｋＲ２／ｋＲ１）×ｒＬＲ  （３１）
【０１１９】
さて、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝及び｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝のそれぞれのパターンの成分値は、正の値であってかつ取り得る値の範囲に制限があることに注目する。
【０１２０】
具体的には、撮像画像として取得する補正前の３原色画素値を、Ｂ（青）、Ｇ（緑）、Ｒ（赤）とし、センサ飽和値以下に設定される最大値の量子化ステップ数をＮ（Ｎは自然数）とする。例えば、８ビット画像として扱うときは、Ｎ＝２５６である。このとき、画素値Ｒ、Ｇ、Ｂは下式（３２）の範囲を取り得る。
０≦Ｂ＜Ｎ，０≦Ｇ＜Ｎ，０≦Ｒ＜Ｎ  （３２）
【０１２１】
なお、Ｒ、Ｇ、Ｂの量子化ステップ数は一般的に同一とすると扱いやすいので共通のＮ値としているが、意図的に各色ごとに量子化ステップ数を異ならせても構わない。
【０１２２】
Ｂ及びＲの補正前の検出成分は｛ｂＲＢ，ｂＬＢ｝、｛ｒＲＲ，ｒＬＲ｝であり、それぞれ２成分を加算した値が、Ｂ及びＲになると定義しているので、下式（３３）が成り立つ。
０≦Ｂ（＝ｂＲＢ＋ｂＬＢ）＜Ｎ，０≦Ｒ（＝ｒＲＲ＋ｒＬＲ）＜Ｎ  （３３）
【０１２３】
ｂＲＢとｂＬＢが独立した変数であり、ｒＬＲとｒＲＲが独立した変数であると仮定すれば、ｂＲＢ、ｒＬＲは下式（３４）の範囲を取り得る。
０≦ｂＲＢ＜Ｎ，０≦ｒＬＲ＜Ｎ  （３４）
【０１２４】
上式（３１）、（３４）より、ｂＲＢ’、ｒＬＲ’は下式（３５）の範囲を取り得る。
０≦ｂＲＢ’＜Ｎ×（ｋＢ２／ｋＢ１），
０≦ｒＬＲ’＜Ｎ×（ｋＲ２／ｋＲ１）  （３５）
【０１２５】
また、Ｇの検出成分は｛ｂＬＧ，ｇＧ，ｒＲＧ｝であり、これら３成分を加算した値が、Ｇになると定義しているので、下式（３６）が成り立つ。
０≦Ｇ（＝ｂＬＧ＋ｇＧ＋ｒＲＧ）＜Ｎ  （３６）
【０１２６】
ｂＬＧ、ｇＧ、ｒＲＧが独立した変数であると仮定すれば、ｂＬＧ、ｇＧ、ｒＲＧは下式（３７）の範囲を取り得る。
０≦ｂＬＧ＜Ｎ，０≦ｇＧ＜Ｎ，０≦ｒＲＧ＜Ｎ  （３７）
【０１２７】
上式（３７）より、（ｇＧ＋ｒＲＧ）及び（ｂＬＧ＋ｇＧ）は、下式（３８）の範囲を取り得る。
０≦（ｇＧ＋ｒＲＧ）＜２Ｎ，０≦（ｂＬＧ＋ｇＧ）＜２Ｎ  （３８）
【０１２８】
上式（３５）、（３７）、（３８）の制限条件を、上式（９）、（１９）の関係式に適用すると、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝及び｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝のパターンの推定候補は限定されることになる。
【０１２９】
即ち、上式（３５）に示す０≦ｂＲＢ’＜Ｎ×（ｋＢ２／ｋＢ１）の範囲内の各値を、未知数ｂＲＢ’の候補として発生する。各候補を上式（９）に代入し、既知の画素値｛Ｂ，Ｇ｝を用いて｛ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を求める。各候補から求めた｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝のうち、上式（３７）、（３８）の条件を満たすもののみを残す。同様に、上式（１９）についても候補の発生を行い、条件を満たす｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝のみを残す。条件を満たす候補は、複数存在する可能性がある。候補が複数残った場合には、例えばそれらの平均値を最終的な値として決定すればよい。
【０１３０】
５．２．ルックアップテーブルを用いた推定処理
次に、第２のマルチバンド推定処理の変形例について説明する。
【０１３１】
図１１に示すように、上式（３２）の定義域を満たす｛Ｒ，Ｇ，Ｂ｝の全ての組み合わせを発生させる。｛Ｒ，Ｇ，Ｂ｝の各組み合わせについて、上式（３５）の定義域を満たす未知数ｂＲＢ’、ｒＬＲ’の候補を発生させる。そして、上式（３７）、（３８）の制限条件を満たす推定値｛ｂＬＧ，（ｇＧ＋ｒＲＧ）｝及び｛ｒＲＧ，（ｂＬＧ＋ｇＧ）｝を残す。このようにして得られる推定パターン｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝及び｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝をテーブル化し、図１１に示すような尤度パターン決定テーブルを予め作成しておく。
【０１３２】
マルチバンド推定を行う際には、撮像画像の画素値｛Ｒ，Ｇ，Ｂ｝をテーブルから検索して推定パターン｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝を決定する。そして、その推定パターンから、画素値Ｂを構成する成分｛ｂＲＢ，ｂＬＢ｝の値、画素値Ｇを構成する成分｛ｂＬＧ，ｇＧ，ｒＲＧ｝の値、画素値Ｒを構成する成分｛ｒＲＲ，ｒＬＲ｝の値を、最終的に算出する。
【０１３３】
なお、図１２に示すように、制限条件を満たす推定パターンのうち、｛Ｒ，Ｇ，Ｂ｝の同一組み合わせパターンから得られる推定パターンは単一とは限らず、複数得られる場合がある。この場合、それら推定パターンの平均をとって尤度パターンとし、予めテーブルを作成しておけばよい。
【０１３４】
ここで、上記では定義域に基づく制限条件を用いてテーブルを作成したが、本実施形態のテーブル作成手法はこれに限定されない。例えば、撮像対象となる画像（例えばデジタルカメラの場合は自然画像、内視鏡の場合は生体内画像など）を母集団とする。そして、母集団の統計的な関係に基づいて、画素値｛Ｒ，Ｇ，Ｂ｝に対して最も発生確率が高い尤度パターン｛ｂＲＢ’，ｂＬＧ，ｒＲＧ，ｒＬＲ’，（ｇＧ＋ｒＲＧ），（ｂＬＧ＋ｇＧ）｝の対応テーブルを、予め作成しておいて参照テーブルとしてもよい。
【０１３５】
以上の実施形態によれば、図１１又は図１２で説明したように、マルチバンド推定部７０は、第１バンドの成分値ｂＲＢ’を未知数として関係式（上式（９））を求め、未知数ｂＲＢ’の候補として、複数の候補値を生成する。マルチバンド推定部は、その複数の候補値の中から、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３２））に基づく選択条件を満たす候補値を、関係式（上式（９））に基づいて選択する。そして、マルチバンド推定部は、選択した候補値に基づいて、第１バンドの成分値と、第２バンドの成分値と、第１加算値と｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を求める。
【０１３６】
具体的には、選択条件は、関係式（上式（９））に候補値を代入して求めた第１バンドの成分値と、第２バンドの成分値と、第１加算値と｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝が、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３２））に矛盾しないという条件（上式（３５）、（３７）、（３８））である。
【０１３７】
より具体的には、マルチバンド推定部は、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３２））に基づいて第１バンドの成分値ｂＲＢ’が取り得る範囲内の値（上式（３５））を、複数の候補値として生成する。
【０１３８】
このようにすれば、候補値を関係式に代入して求めたバンドの成分値が、画素値の定義域に基づいて存在し得ないと判断された場合に、その候補値を除外し、画素値の定義域に矛盾しない候補値に基づいて最終的な推定値を決定できる。
【０１３９】
６．第３のマルチバンド推定処理
次に、近赤外光を撮影することで暗い環境でも高感度ＡＦが可能な第３のマルチバンド推定処理について説明する。フォーカス制御処理については、図７等で上述したフォーカス制御処理と同様である。
【０１４０】
図１３（Ａ）に示すように、撮像センサの赤色フィルタの分光特性ＦＲ（λ）を、近赤外光の帯域までカバーするように（透過するように）設定する。また、緑色フィルタの分光特性ＦＧ（λ）を、通常の可視赤色フィルタの分光特性までカバーするように、従来よりも透過波長帯域を広く設定する。このように分光特性を設定すれば、波長が長い領域での撮像において、暗い環境でも被写体の反射光の撮像感度が比較的高く取れる効果を期待できる。
【０１４１】
右瞳フィルタＦＬ１の透過波長帯域は｛ｂＲ，ｇ，ｒ｝であり、左瞳フィルタＦＬ２の透過波長帯域は｛ｂＬ，ｇ，ｒ，ｒＬ｝である。ｂＲ、ｂＬ、ｇは、例えば図１のｂＲ、ｂＬ、ｇと同じ帯域であり、ｒは、例えば図１のｒＲよりも長波長側に広い帯域であり、ｒＬは、例えば図１のｒＬよりも長波長側且つ近赤外を含む広い帯域である。位相差検出に用いる右瞳画像と左瞳画像は、ＩＲ＝（ｒＲ，ｒＧ，ｂＲＢ）とＩＬ＝（ｒＬＲ，ｂＬＧ，ｂＬＢ）である。
【０１４２】
なお、撮像センサの赤（Ｒ）フィルタを通った画素値は、左右瞳による通過光の波長域割り当てがされない共通の帯域ｒの成分値ｒＧ，ｒＲと、左瞳のみの通過光の波長域として割当てた帯域ｒＬの成分値ｒＬＲとに設定されることに注意が必要である。可視光画像として用いるｒＧ又はｒＲの値は、片側の瞳による通過光から生成されると、通常鑑賞画像のデフォーカス領域において他のＧ、Ｂの色画像に対してＲ画像のずれが生ずると考えられるので、左右瞳の区別がないようにしておく。この条件であっても、ｒＧ又はｒＲからなる画像とｒＬＲからなる画像の位相差は得られるので、フォーカス制御に活用できる。上述の図２では、左右瞳が分離されない共通の成分ｇは、あくまでも位相差検出には用いないように構成したが、この場合はｒＧ又はｒＲを左右瞳に分割しないことにより、ボケ領域での可視赤色と他色との色ずれを発生させないようにしている。また、左右瞳共通の画像ｒＧ又はｒＲと、片側の瞳からの近赤外ｒＬの成分値による画像とは、成分値は半減するものの位相差は発生するので、フォーカス位置を求めて合焦制御を行うことができる。
【０１４３】
上記のように設定した分割帯域の成分値を、第１又は第２のマルチバンド推定処理により推定すれば、左右瞳の透過波長であるｒＲは可視光領域の（近赤外に近い成分も含まれる）赤色光として得られ、左瞳のみの透過波長であるｒＬＲは近赤外光として得られるため、暗い環境での位相差検出に有利となる。即ち、暗い環境での測距又はその測距情報を用いたオートフォーカスを効果的に行うことができる。なお、鑑賞用画像としては、ｒＬＲの近赤外光の成分を除いた可視光のＲ＝ｒＲのみを赤色光画像として、Ｇ＝ｂＬＧ＋ｇＧ＋ｒＧを緑色光画像として採用すればよい。
【０１４４】
図１４に、第３のマルチバンド推定処理を行う場合の構成例として、撮像装置の第２の構成例を示す。図１４の撮像装置は、結像レンズＬＮＳ、光学フィルタＦＬＴ、撮像素子１０（撮像センサ）、撮像処理部２０、ＲＧＢ画像生成部３０、モニタ表示部４０、ＲＧＢフィルタ特性データ記録部５０、フォーカス領域選択部６５、マルチバンド推定部７０、ＲＧ成分再構成部７５、フォーカス制御部８０、距離検出センサ８８（距離計測センサ）、データ圧縮部９０、データ記録部１００を含む。なお、図８で説明した構成要素と同一の構成要素については同一の符号を付し、適宜説明を省略する。
【０１４５】
マルチバンド推定部７０は、バンド成分を推定し、右瞳画像ＩＲ＝（ｒＲ，ｒＧ，ｂＲＢ）と左瞳画像ＩＬ＝（ｒＬＲ，ｂＬＧ，ｂＬＢ）を出力する。またマルチバンド推定部７０は、推定したバンド成分のうち、ｒＲ、ｒＧ、ｇＧ、ｂＬＧをＲＧ成分再構成部７５に出力する。ＲＧ成分再構成部７５は、Ｒ’＝ｒＲ、Ｇ’＝ｂＬＧ＋ｇＧ＋ｒＧを新たな画素値Ｒ（ｉ，ｊ）’、Ｇ（ｉ，ｊ）’としてモニタ表示部４０とデータ圧縮部９０に出力する。
【０１４６】
以上の実施形態によれば、第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタである。図１３（Ｂ）に示すように、赤色フィルタの透過率特性である第３透過率特性ＦＲは、近赤外光の帯域ｒＬＲ（例えば７００ｎｍ〜９５０ｎｍ）を透過する特性である。
【０１４７】
より具体的には、マルチバンド推定部７０は、近赤外光の帯域を第５バンドＢＤ５に設定する。
【０１４８】
なお、赤色フィルタは、近赤外光の帯域全て（例えば７００ｎｍ〜２５００ｎｍ）を透過する必要はなく、近赤外光の帯域のうちの一部（例えば７００ｎｍ〜９５０ｎｍ）を透過すればよい。
【０１４９】
通常のＲＧＢ撮像素子では一般的に近赤外光を撮影しないので、暗い環境では位相差の検出精度が悪く、位相差ＡＦを行うことは困難である。この点、本実施形態によれば、被写体が発する近赤外光を撮影できるため、暗い環境であっても、近赤外光を含むバンド成分値を用いて位相差ＡＦを行うことが可能になる。
【０１５０】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またマルチバンド推定部、フォーカス制御部、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１５１】
１０  撮像素子、２０  撮像処理部、３０  ＲＧＢ画像生成部、
３５  色補正処理部、４０  モニタ表示部、５０  ＲＧＢフィルタ特性データ記録部、
６５  フォーカス領域選択部、７０  マルチバンド推定部、７５  ＲＧ成分再構成部、
８０  フォーカス制御部、８２  位相差検出部、８４  フォーカス制御量算出部、
８６  フォーカスレンズ駆動制御部、８８  距離検出センサ、９０  データ圧縮部、
１００  データ記録部、２００  データ記録部、２１０  データ伸張部、
２２０  伸張データ記憶部、２３０  モニタ画像生成部、２４０  モニタ画像表示部、
２５０  画像データ選択部、２６０  選択フレーム記憶部、
２７０  マルチバンド推定部、２９０  位相差検出部、２９５  位相差処理部、
Ａ  開口径、ＢＤ１〜ＢＤ５  第１〜第５バンド、ＥＢＧ，ＥＧＲ  評価値、
ＦＢ，ＦＧ，ＦＲ  第１〜第３透過率特性、ＦＬ１  右瞳フィルタ、
ＦＬ２  左瞳フィルタ、ＦＬＴ  光学フィルタ、ＩＬ  左瞳画像、ＩＲ  右瞳画像、
ＬＮＳ  結像レンズ、ＰＤ  デフォーカス位置、ＰＦ  フォーカス位置、
ＰＳ  センサ面位置、ａ，ｂ，ｘ  距離、
ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ  第１〜第５バンドの成分値、ｄ  デフォーカス量、
ｆ  合成焦点距離、ｋＢ１，ｋＢ２  ゲイン、δ  ずれ量
【図１】
2013171129.tif 000003
【図２】
2013171129.tif 000004
【図３】
2013171129.tif 000005
【図４】
2013171129.tif 000006
【図５】
2013171129.tif 000007
【図６】
2013171129.tif 000008
【図７】
2013171129.tif 000009
【図８】
2013171129.tif 000010
【図９】
2013171129.tif 000011
【図１０】
2013171129.tif 000012
【図１１】
2013171129.tif 000013
【図１２】
2013171129.tif 000014
【図１３】
2013171129.tif 000015
【図１４】
2013171129.tif 000016