(57)【要約】【課題】既存の撮像システムを大きく変更することなくマルチバンドの撮像システムを実現可能な画像処理装置、撮像装置及び画像処理方法等を提供すること。【解決手段】画像処理装置は、第１〜第３色フィルタを含む撮像素子に依って撮像された画像を取得する画像取得部と、第１透過率特性ＦＢの非重なり部分に対応する第１バンドＢＤ１と、第１、第２透過率特性ＦＢ、ＦＧの重なり部分に対応する第２バンドＢＤ２と、第２透過率特性ＦＧの非重なり部分に対応する第３バンドＢＤ３と、第２、第３透過率特性ＦＧ、ＦＲの重なり部分に対応する第４バンドＢＤ４と、第３透過率特性ＦＲの非重なり部分に対応する第５バンドＢＤ５とを設定し、第１〜第３色の画素値に基づいて第１〜第５バンドＢＤ１〜ＢＤ５の成分値ｂ（１）、ｂ（２）、ｇ、ｒ（１）、ｒ（２）を推定するマルチバンド推定部と、を含む。【選択図】      図２
2013157729.tif 000002
【特許請求の範囲】
【請求項１】
第１透過率特性を有する第１色フィルタと第２透過率特性を有する第２色フィルタと第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得する画像取得部と、
前記第１透過率特性の非重なり部分に対応する第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する第２バンドと、前記第２透過率特性の非重なり部分に対応する第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する第４バンドと、前記第３透過率特性の非重なり部分に対応する第５バンドとを設定し、前記画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定するマルチバンド推定部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記マルチバンド推定部は、
前記第１、第２バンドの成分値を加算した値である前記第１色の画素値と、前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値とに基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第３、第４バンドの成分値を加算した値である第１加算値との間の関係式を求め、
前記関係式に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを推定することを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記マルチバンド推定部は、
前記第１バンドの成分値を未知数として前記関係式を求め、
前記関係式で表した前記第１、第２バンドの成分値及び前記第１加算値と、前記第１、第２色の画素値との間の誤差を表す誤差評価値を求め、
前記誤差評価値を最小にする前記未知数を決定し、
決定した前記未知数及び前記関係式に基づいて、前記第１、第２バンドの成分値及び前記第１加算値を決定することを特徴とする画像処理装置。
【請求項４】
請求項２又は３において、
前記マルチバンド推定部は、
前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値と、前記第４、第５バンドの成分値を加算した値である前記第３色の画素値とに基づいて、前記第２、第３バンドの成分値を加算した値である前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値との間の関係式を求め、
前記関係式に基づいて、前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値とを推定し、
前記第１加算値と前記第４バンドの成分値から、又は前記第２加算値と前記第２バンドの成分値から前記第３バンドの成分値を求めることを特徴とする画像処理装置。
【請求項５】
請求項２において、
前記マルチバンド推定部は、
前記第１バンドの成分値を未知数として前記関係式を求め、
前記未知数の候補として、複数の候補値を生成し、
前記複数の候補値の中から、前記第１、第２色の画素値の定義域に基づく選択条件を満たす候補値を、前記関係式に基づいて選択し、
選択した前記候補値に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを求めることを特徴とする画像処理装置。
【請求項６】
請求項５において、
前記選択条件は、
前記関係式に前記候補値を代入して求めた前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とが、前記第１、第２色の画素値の定義域に矛盾しないという条件であることを特徴とする画像処理装置。
【請求項７】
請求項５又は６において、
前記マルチバンド推定部は、
前記第１、第２色の画素値の前記定義域に基づいて前記第１バンドの成分値が取り得る範囲内の値を、前記複数の候補値として生成することを特徴とする画像処理装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記マルチバンド推定部は、
前記第１、第２色フィルタの透過率特性に基づいて、前記第１色の画素値と前第２色の画素値との間の相対的なゲイン比を補正し、補正後の前記第１、第２色の画素値を用いて前記第１〜第５バンドの成分値を推定することを特徴とする画像処理装置。
【請求項９】
請求項８において、
前記マルチバンド推定部は、
前記第２バンドでの前記第２色フィルタの透過率と、前記第２バンドでの前記第１色フィルタの透過率との比を、前記第１色の画素値に乗じて、前記ゲイン比を補正することを特徴とする画像処理装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記第１〜第３色は、それぞれ青色、緑色、赤色であり、
前記マルチバンド推定部は、
前記第１〜第５バンドの成分値を、それぞれ第１青色成分値、第２青色成分値、緑色成分値、第１赤色成分値、第２赤色成分値として求めることを特徴とする画像処理装置。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記撮像素子には、撮像光学系の瞳を第１瞳と第２瞳に分割する光学フィルタを透過した光が結像され、
前記第１瞳は、前記第１、第２バンドの一方と、前記第３バンドと、前記第４、第５バンドの一方とを透過し、
前記第２瞳は、前記第１、第２バンドの他方と、前記第３バンドと、前記第４、第５バンドの他方とを透過し、
前記マルチバンド推定部は、
前記第１瞳及び前記第２瞳の透過光が撮像された前記画像に基づいて、前記第１〜第５バンドの成分値を推定することを特徴とする画像処理装置。
【請求項１２】
請求項１１において、
前記第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、
前記マルチバンド推定部は、
前記青色の画素値を構成する前記第１、第２バンドの成分値を、それぞれ第１、第２青色成分値として求め、前記緑色の画素値を構成する前記第２〜第４バンドの成分値を、それぞれ第１〜第３緑色成分値として求め、前記赤色の画素値を構成する前記第４、第５バンドの成分値を、それぞれ第１、第２赤色成分値として求めることを特徴とする画像処理装置。
【請求項１３】
請求項１２において、
前記マルチバンド推定部は、
前記第１青色成分値と、前記第２青色成分値と、前記第１〜第３緑色成分値の加算値である緑色成分値と、前記第１赤色成分値と、前記第２赤色成分値とで、５バンドの成分値を構成することを特徴とする画像処理装置。
【請求項１４】
請求項１乃至１３のいずれかに記載された画像処理装置と、
前記撮像素子と、
を含むことを特徴とする撮像装置。
【請求項１５】
請求項１１乃至１３のいずれかに記載された画像処理装置と、
前記撮像素子と、
前記光学フィルタが設けられた前記撮像光学系と、
を含むことを特徴とする撮像装置。
【請求項１６】
第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得し、
前記第１透過率特性の非重なり部分に対応する第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する第２バンドと、前記第２透過率特性の非重なり部分に対応する第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する第４バンドと、前記第３透過率特性の非重なり部分に対応する第５バンドとを設定し、
前記画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置及び画像処理方法等に関する。
【背景技術】
【０００２】
カメラや顕微鏡、内視鏡などの撮影装置のデジタル化により、各種撮像機能の向上・拡張には目覚しいものがある。色空間の拡張もその一つであり、一般的な３原色のＲＧＢカラー撮影に加え、多くの分割波長帯域による撮影を可能にする。例えば、色空間の拡張により、きめ細かい色の違いを取得し表現する技術の開発が取り組まれている。
【０００３】
特許文献１には、分光透過率特性の平均波長が異なる５種類以上の色フィルタを配置した撮像装置が開示されている。特許文献１では、６種類のフィルタ、即ち第１の青色フィルタ、第２の青色フィルタ、第１の緑色フィルタ、第２の緑色フィルタ、第１の赤色フィルタ、及び第２の赤色フィルタが、撮像センサの画素に対応して設けられており、マルチバンドの画像を同時に撮像することが可能である。
【０００４】
特許文献２には、結像光学系と撮像センサの間に分岐光学系を設け、その分岐光学系を用いて４バンド以上の波長帯域に分離する手法が開示されている。この手法では、分岐された各色の画像は、撮像センサ上の分離された領域に結像される。各色の画像は、まとまった領域に像が生成されるため、マルチバンドの画像を同時に撮像することが可能である。
【０００５】
非特許文献１には、回転式のマルチバンドフィルタを用いて、撮像する画像の通過波長域を順次入れ替えて撮像することにより、マルチバンドの画像を取得する手法が開示されている。この手法では、取得できない波長帯域の情報を、自然界の被写体の分光反射率が滑らかであるとの先見情報を用いて推定する処理が行われている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−２８６６４９号公報
【特許文献２】特開２００５−２６０４８０号公報
【非特許文献】
【０００７】
【非特許文献１】電子情報通信学会誌Ｖｏｌ．８８，Ｎｏ．６，２００５，東京工業大学
【発明の概要】
【発明が解決しようとする課題】
【０００８】
さて、既存の撮像システムを大きく変更することなくマルチバンドの撮像システムを実現することが望ましいという課題がある。
【０００９】
例えば、上述の特許文献１では、撮像素子のカラーフィルタに６種類のカラーフィルタを用いる。そのため、通常のＲＧＢ３原色のカラーフィルタを用いた場合に比べて、１種類のカラーフィルタに対して半分の画素しか割当てることができない。割り当てられず情報として欠落している画素値は、補間処理により求めることになるため、解像度の低下は免れない。
【００１０】
また、特許文献２では、分岐光学系により、各色の画像が撮像センサ上の分離された領域に結像される。そのため、各色の画像に割当てられる画素数は、通常のＲＧＢ３原色撮影に比べて少なくなり、解像度が低下してしまう。
【００１１】
また、非特許文献１では、回転式のマルチバンドフィルタを用いている。動きのある被写体の場合、フィルタの高速回転とそれに同期した高速撮影が必要となるので、特殊な追加機構が必要である。また、先見情報に基づく推定処理は、自然界の被写体ではない人工的なものを撮影する場合、成立しない可能性がある。
【００１２】
本発明の幾つかの態様によれば、既存の撮像システムを大きく変更することなくマルチバンドの撮像システムを実現可能な画像処理装置、撮像装置及び画像処理方法等を提供できる。
【課題を解決するための手段】
【００１３】
本発明の一態様は、第１透過率特性を有する第１色フィルタと第２透過率特性を有する第２色フィルタと第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得する画像取得部と、前記第１透過率特性の非重なり部分に対応する第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する第２バンドと、前記第２透過率特性の非重なり部分に対応する第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する第４バンドと、前記第３透過率特性の非重なり部分に対応する第５バンドとを設定し、前記画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定するマルチバンド推定部と、を含む画像処理装置に関係する。
【００１４】
本発明の一態様によれば、撮像素子の第１〜第３色フィルタが有する第１〜第３透過率特性の重なり部分、非重なり部分に対応して、第１〜第５バンドが設定され、その第１〜第５バンドの成分値が第１〜第３色の画素値に基づいて推定される。これにより、既存の撮像システムを大きく変更することなくマルチバンドの撮像システムを実現することが可能になる。
【００１５】
また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２バンドの成分値を加算した値である前記第１色の画素値と、前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値とに基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第３、第４バンドの成分値を加算した値である第１加算値との間の関係式を求め、前記関係式に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを推定してもよい。
【００１６】
また本発明の一態様では、前記マルチバンド推定部は、前記第１バンドの成分値を未知数として前記関係式を求め、前記関係式で表した前記第１、第２バンドの成分値及び前記第１加算値と、前記第１、第２色の画素値との間の誤差を表す誤差評価値を求め、前記誤差評価値を最小にする前記未知数を決定し、決定した前記未知数及び前記関係式に基づいて、前記第１、第２バンドの成分値及び前記第１加算値を決定してもよい。
【００１７】
また本発明の一態様では、前記マルチバンド推定部は、前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値と、前記第４、第５バンドの成分値を加算した値である前記第３色の画素値とに基づいて、前記第２、第３バンドの成分値を加算した値である前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値との間の関係式を求め、前記関係式に基づいて、前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値とを推定し、前記第１加算値と前記第４バンドの成分値から、又は前記第２加算値と前記第２バンドの成分値から前記第３バンドの成分値を求めてもよい。
【００１８】
また本発明の一態様では、前記マルチバンド推定部は、前記第１バンドの成分値を未知数として前記関係式を求め、前記未知数の候補として、複数の候補値を生成し、前記複数の候補値の中から、前記第１、第２色の画素値の定義域に基づく選択条件を満たす候補値を、前記関係式に基づいて選択し、選択した前記候補値に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを求めてもよい。
【００１９】
また本発明の一態様では、前記選択条件は、前記関係式に前記候補値を代入して求めた前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とが、前記第１、第２色の画素値の定義域に矛盾しないという条件であってもよい。
【００２０】
また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２色の画素値の前記定義域に基づいて前記第１バンドの成分値が取り得る範囲内の値を、前記複数の候補値として生成してもよい。
【００２１】
また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２色フィルタの透過率特性に基づいて、前記第１色の画素値と前第２色の画素値との間の相対的なゲイン比を補正し、補正後の前記第１、第２色の画素値を用いて前記第１〜第５バンドの成分値を推定してもよい。
【００２２】
また本発明の一態様では、前記マルチバンド推定部は、前記第２バンドでの前記第２色フィルタの透過率と、前記第２バンドでの前記第１色フィルタの透過率との比を、前記第１色の画素値に乗じて、前記ゲイン比を補正してもよい。
【００２３】
また本発明の一態様では、前記第１〜第３色は、それぞれ青色、緑色、赤色であり、前記マルチバンド推定部は、前記第１〜第５バンドの成分値を、それぞれ第１青色成分値、第２青色成分値、緑色成分値、第１赤色成分値、第２赤色成分値として求めてもよい。
【００２４】
また本発明の一態様では、前記撮像素子には、撮像光学系の瞳を第１瞳と第２瞳に分割する光学フィルタを透過した光が結像され、前記第１瞳は、前記第１、第２バンドの一方と、前記第３バンドと、前記第４、第５バンドの一方とを透過し、前記第２瞳は、前記第１、第２バンドの他方と、前記第３バンドと、前記第４、第５バンドの他方とを透過し、前記マルチバンド推定部は、前記第１瞳及び前記第２瞳の透過光が撮像された前記画像に基づいて、前記第１〜第５バンドの成分値を推定してもよい。
【００２５】
また本発明の一態様では、前記第１〜第３色フィルタは、それぞれ青色、緑色、赤色の波長帯域を透過する青色フィルタ、緑色フィルタ、赤色フィルタであり、前記マルチバンド推定部は、前記青色の画素値を構成する前記第１、第２バンドの成分値を、それぞれ第１、第２青色成分値として求め、前記緑色の画素値を構成する前記第２〜第４バンドの成分値を、それぞれ第１〜第３緑色成分値として求め、前記赤色の画素値を構成する前記第４、第５バンドの成分値を、それぞれ第１、第２赤色成分値として求めてもよい。
【００２６】
また本発明の一態様では、前記マルチバンド推定部は、前記第１青色成分値と、前記第２青色成分値と、前記第１〜第３緑色成分値の加算値である緑色成分値と、前記第１赤色成分値と、前記第２赤色成分値とで、５バンドの成分値を構成してもよい。
【００２７】
また本発明の他の態様は、上記のいずれかに記載された画像処理装置と、前記撮像素子と、を含む撮像装置に関係する。
【００２８】
また本発明の更に他の態様は、上記のいずれかに記載された画像処理装置と、前記撮像素子と、前記光学フィルタが設けられた前記撮像光学系と、を含む撮像装置に関係する。
【００２９】
また本発明の更に他の態様は、第１透過率特性を有する第１色フィルタと、第２透過率特性を有する第２色フィルタと、第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得し、前記第１透過率特性の非重なり部分に対応する第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する第２バンドと、前記第２透過率特性の非重なり部分に対応する第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する第４バンドと、前記第３透過率特性の非重なり部分に対応する第５バンドとを設定し、前記画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定する画像処理方法に関係する。
【図面の簡単な説明】
【００３０】
【図１】デモザイキング処理についての説明図。
【図２】バンド分割手法についての説明図。
【図３】第１のマルチバンド推定処理における未知数推定処理についての説明図。
【図４】第１のマルチバンド推定処理における未知数推定処理についての説明図。
【図５】第２のマルチバンド推定処理における撮像装置の基本構成例。
【図６】第２のマルチバンド推定処理におけるバンド分割手法についての説明図。
【図７】図７（Ａ）〜図７（Ｆ）は、ゲイン補正処理についての説明図。
【図８】第２のマルチバンド推定処理における未知数推定処理についての説明図。
【図９】図９（Ａ）〜図９（Ｆ）は、ゲイン補正処理についての説明図。
【図１０】第２のマルチバンド推定処理における未知数推定処理についての説明図。
【図１１】第３のマルチバンド推定処理におけるバンド成分値についての説明図。
【図１２】ルックアップテーブルの第１設定例。
【図１３】ルックアップテーブルの第２設定例。
【図１４】本実施形態の撮像装置の構成例。
【図１５】本実施形態の画像処理装置の構成例。
【発明を実施するための形態】
【００３１】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００３２】
１．第１のマルチバンド推定処理
１．１．概要
高付加価値のマルチバンド撮影を実用性の高い撮像システムとして提供するためには、既存性能を踏襲でき且つ撮像システムを大きく変更することなく機能実現できることが望ましい。
【００３３】
従来から、マルチバンド撮影の手法として種々の手法（例えば特許文献１、２、非特許文献１）が提案されているが、これら従来の手法では、特殊な撮像センサ（撮像素子）や分光フィルタの交換機構などを必要とし、既存の撮像システムの撮像解像度や動画特性を損なわずに実用性の高い手法の提案には至っていない。
【００３４】
そこで、本実施形態では、ＲＧＢ３原色の撮像素子を用いてＲＧＢ画像を撮影し、ＲＧＢカラーフィルタの透過率特性の重なりを利用してＲＧＢ画像から５バンドのマルチバンド画像を推定する。これにより、従来のＲＧＢ３原色の撮像素子による撮像方式を変更せずにマルチバンド撮影を行うことができる。また、特殊な撮像センサや分光フィルタの交換機構などが不要となるため、解像度を犠牲にすることなく、動く被写体にも十分対応できるマルチバンド同時撮影が可能となる。
【００３５】
１．２．バンド分割手法
以下に、ＲＧＢ画像から５バンドのマルチバンド画像を推定する処理について詳細に説明する。なお、以下ではＲＧＢベイヤ配列の撮像素子を例に説明するが、本実施形態はこれに限定されず、カラーフィルタの透過率特性に重なり部分がある撮像素子でさえあればよい。
【００３６】
図１に示すように、ＲＧＢのベイヤ画像を撮像し、ベイヤ画像に対してデモザイキング処理を行ってＲＧＢ毎の３画像を生成する。デモザイキング処理により得られた各画素の赤色、緑色、青色の画素値をそれぞれＲｄ、Ｇｄ、Ｂｄとし、画素値Ｒｄ、Ｇｄ、Ｂｄと５バンドの波長成分ｂ（１）、ｂ（２）、ｇ、ｒ（１）、ｒ（２）との関係を下式（１）に示すようにモデル化して考える。
Ｂｄ＝ｂ（１）＋ｂ（２），
Ｇｄ＝ｒ（１）＋ｇ＋ｂ（２），
Ｒｄ＝ｒ（１）＋ｒ（２）      （１）
【００３７】
図２に示すように、５バンドの波長成分ｂ（１）、ｂ（２）、ｇ、ｒ（１）、ｒ（２）は、カラーフィルタの透過率特性ＦＲ（λ）、ＦＧ（λ）、ＦＢ（λ）および撮像センサの分光特性に応じて定まる成分である。なお本実施形態では説明を簡単にするため、撮像センサの分光特性が、図２に示すカラーフィルタの透過率特性ＦＲ（λ）、ＦＧ（λ）、ＦＢ（λ）に含まれるものとして説明することにする。即ち、青色フィルタの透過率特性ＦＢ（λ）と緑色フィルタの透過率特性ＦＧ（λ）との重なり部分に対応するバンドの成分がｂ（２）であり、青色フィルタの透過率特性ＦＢ（λ）の非重なり部分に対応するバンドの成分がｂ（１）である。また、赤色フィルタの透過率特性ＦＲ（λ）と緑色フィルタの透過率特性ＦＧ（λ）との重なり部分に対応するバンドの成分がｒ（１）であり、赤色フィルタの透過率特性ＦＲ（λ）の非重なり部分に対応するバンドの成分がｒ（２）である。また、緑色フィルタの透過率特性ＦＧ（λ）の非重なり部分に対応するバンドの成分がｇである。ここで、非重なり部分とは、他の色フィルタの透過率特性と重なっていない部分のことである。
【００３８】
５バンドの帯域ＢＤ１〜ＢＤ５は、透過率特性ＦＲ（λ）、ＦＧ（λ）、ＦＢ（λ）の形状や重なり具合などに応じて決定すればよく、透過率特性の帯域や重なり部分の帯域そのものである必要はない。例えば、透過率特性ＦＧ（λ）、ＦＢ（λ）の重なり部分の帯域は、およそ４５０ｎｍ〜５５０ｎｍであるが、帯域ＢＤ２は重なり部分に対応するものであればよく、４５０ｎｍ〜５５０ｎｍである必要はない。
【００３９】
１．３．｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の推定処理
次に、上式（１）を用いて、｛Ｒｄ，Ｇｄ｝から｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の関係式を下式（２）のように求める。また、上式（１）より下式（３）が成り立つ。なお以下では、Ｒｄ、Ｇｄ、ＢｄをＲ、Ｇ、Ｂと省略して表記する。
Ｒ−Ｇ＝［ｒ（１）＋ｒ（２）］−［ｒ（１）＋ｇ＋ｂ（２）］
＝ｒ（２）−［ｇ＋ｂ（２）］                  （２）
ｒ（１）＝Ｒ−ｒ（２）                            （３）
【００４０】
ｒ（２）を未知数（支配変数）とすると、上式（１）〜（３）より｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の関係式を下式（４）のように求められる。
ｒ（２）＝未知数（支配変数），
ｒ（１）＝Ｒ−ｒ（２），
ｇ＋ｂ（２）＝ｒ（２）−［Ｒ−Ｇ］    （４）
【００４１】
｛Ｒ，Ｇ｝は検出された既知の値であるので、上式（４）に基づき未知数ｒ（２）が決まれば、｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝が全て決まることになる。即ち、｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の尤度パターンを特定することができる。
【００４２】
図３に、この関係を原理的に表した図を示す。図３に示すように、未知数ｒ（２）として、｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝と｛αＲＲ，αＧｒＧ｝の誤差が最小になる値を求める。
【００４３】
ここで、αＲ，αＧｒは、下式（５）を満たす値である。αＲは、Ｒに対する｛ｒ（１），ｒ（２）｝の平均的な値を算出したものであり、αＧｒは、Ｇに対する｛ｒ（１），ｇ＋ｂ（２）｝の平均的な値を算出したものである。これらは、図２に示すように撮像素子のカラーフィルタ特性から｛ｒ（１），ｒ（２）｝及び｛ｒ（１），ｇ＋ｂ（２）｝の成分比を考慮して決定すればよい。
０＜αＲ≦１，０＜αＧｒ≦１  （５）
【００４４】
｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝と｛αＲＲ，αＧｒＧ｝の誤差を評価する値Ｅｒｇは、下式（６）により求める。そして、評価値Ｅｒｇが最小になる場合のｒ（２）を求め、求めたｒ（２）を上式（４）に代入することにより、｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の３つの値を決定する。
ｅｒ＝［αＲＲ−ｒ（１）］２＋［αＲＲ−ｒ（２）］２，
ｅｇ＝［αＧｒＧ−ｒ（１）］２＋［αＧｒＧ−（ｇ＋ｂ（２））］２，
Ｅｒｇ＝ｅｒ＋ｅｇ                                            （６）
【００４５】
１．４．｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝の推定処理
同様にして、上式（１）を用いて、｛Ｂ，Ｇ｝から｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝の関係式を下式（７）のように求める。また、上式（１）より下式（８）が成り立つ。
Ｂ−Ｇ＝［ｂ（１）＋ｂ（２）］−［ｒ（１）＋ｇ＋ｂ（２）］
＝ｂ（１）−［ｇ＋ｒ（１）］                  （７）
ｂ（２）＝Ｂ−ｂ（１）                            （８）
【００４６】
ｂ（１）を未知数（支配変数）とすると、上式（１）、（７）、（８）より｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝の関係式を下式（９）のように求められる。
ｂ（１）＝未知数（支配変数）
ｂ（２）＝Ｂ−ｂ（１），
ｇ＋ｒ（１）＝ｂ（１）−［Ｂ−Ｇ］    （９）
【００４７】
｛Ｂ，Ｇ｝は検出された既知の値であるので、上式（９）に基づき未知数ｂ（１）が決まれば、｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝が全て決まることになる。即ち、｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝の尤度パターンを特定することができる。
【００４８】
図４に、この関係を原理的に表した図を示す。図４に示すように、未知数ｂ（１）として、｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝と｛αＢＢ，αＧｂＧ｝の誤差が最小になる値を求める。
【００４９】
ここで、αＢ，αＧｂは、下式（１０）を満たす値である。αＢは、Ｂに対する｛ｂ（１），ｂ（２）｝の平均的な値を算出したものであり、αＧｂは、Ｇに対する｛ｂ（２），ｇ＋ｒ（１）｝の平均的な値を算出したものである。これらは、図２に示すように撮像素子のカラーフィルタ特性から｛ｒ（１），ｒ（２）｝及び｛ｒ（１），ｇ＋ｂ（２）｝の成分比を考慮して決定すればよい。
０＜αＢ≦１，０＜αＧｂ≦１  （１０）
【００５０】
｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝と｛αＢＢ，αＧｂＧ｝の誤差を評価する値Ｅｂｇは、下式（１１）により求める。そして、評価値Ｅｂｇが最小になる場合のｂ（１）を求め、求めたｂ（１）を上式（９）に代入することにより、｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の３つの値を決定する。
ｅｂ＝［αＢＢ−ｂ（１）］２＋［αＢＢ−ｂ（２）］２，
ｅｇ＝［αＧｂＧ−ｂ（２）］２＋［αＧｂＧ−（ｇ＋ｒ（１））］２，
Ｅｂｇ＝ｅｂ＋ｅｇ                                          （１１）
【００５１】
次に、上式（１）より下式（１２）が成り立つから、上式（４）、（９）で求めたｒ（１）、ｂ（２）を下式（１２）に代入し、ｇを算出する。
ｇ＝Ｇ−（ｒ（１）＋ｂ（２））    （１２）
【００５２】
以上のようにして、デモザイキング処理により得られた各画素の３バンド画素値｛Ｒ，Ｇ，Ｂ｝から、図２に示すような５バンド画素値｛ｂ（１），ｂ（２），ｇ，ｒ（１），ｒ（２）｝を推定することができる。
【００５３】
以上の実施形態によれば、画像処理装置は画像取得部とマルチバンド推定部を含む。図２で説明したように、画像取得部は、撮像素子によって撮像された画像を取得する。撮像素子は、第１透過率特性ＦＢ（λ）を有する第１色フィルタと、第２透過率特性ＦＧ（λ）を有する第２色フィルタと、第３透過率特性ＦＲ（λ）を有する第３色フィルタとを有する。図２〜図４で説明したように、マルチバンド推定部は、画像を構成する第１〜第３色の画素値｛Ｂ，Ｇ，Ｒ｝に基づいて、第１〜第５バンドＢＤ１〜ＢＤ５の成分値｛ｂ（１），ｂ（２），ｇ，ｒ（１），ｒ（２）｝を推定する。図２で説明したように、第１バンドＢＤ１は第１透過率特性ＦＢ（λ）の非重なり部分に対応する。第２バンドＢＤ２は、第１透過率特性ＦＢ（λ）と第２透過率特性ＦＧ（λ）との重なり部分に対応する。第３バンドＢＤ３は、第２透過率特性ＦＧ（λ）の非重なり部分に対応する。第４バンドＢＤ４は、第２透過率特性ＦＧ（λ）と第３透過率特性ＦＲ（λ）との重なり部分に対応する。第５バンドは、第３透過率特性ＦＲ（λ）の非重なり部分に対応する。
【００５４】
本実施形態では、画像処理装置は、図１４に示す撮像装置の中の画像処理装置２５、あるいは、図１５に示す、撮像装置とは別体に構成された画像処理装置に対応する。また、画像取得部は、図１４のＲＧＢ画像生成部３０、あるいは図１５の選択フレーム記憶部２６０に対応する。マルチバンド推定部は、図１４のマルチバンド推定部７０、あるいは図１５のマルチバンド推定部２７０に対応する。
【００５５】
ここで、透過率特性の重なり部分とは、図２に示すように波長軸に対して透過率特性を表した場合に、波長軸上で隣り合う透過率特性が重なっている領域のことである。重なり部分は、透過率特性が重なっている領域そのもの、あるいは透過率特性の帯域が重なっている帯域で表される。また、透過率特性の非重なり部分とは、他の透過率特性と重なっていない部分のことである。即ち、透過率特性から重なり部分を除いた部分のことである。なお、重なり部分又は非重なり部分に対応するバンドは、重なり部分又は非重なり部分の帯域そのものに限定されず、重なり部分又は非重なり部分に対応して設定されたバンドであればよい。例えば、所定の透過率と透過率特性が交わる波長でバンドを分割し、第１〜第５バンドを設定してもよい。
【００５６】
このようにすれば、既存の撮像システムを大きく変更することなくマルチバンドの撮像システムを実現することが可能となる。即ち、従来の撮像装置に用いられてきたＲＧＢ撮像素子を他の特殊な撮像素子（例えばマルチバンドカラーフィルタを備えた撮像素子）に変更することなく、マルチバンド撮影を行うことができる。また、特殊な追加機構（例えば回転式のマルチバンドカラーフィルタ、分岐光学系）を用いることなく、マルチバンド撮影を行うことができる。特殊な撮像素子や追加機構が不要なため、解像度の低下や、コスト増大を避けることが可能である。
【００５７】
また本実施形態では、上式（１）で説明したように、第１色の画素値Ｂは、第１、第２バンドの成分値ｂ（１）、ｂ（２）を加算した値であり、第２色の画素値Ｇは、第２〜第４バンドの成分値ｂ（２）、ｇ、ｒ（１）を加算した値である。上式（９）で説明したように、マルチバンド推定部は、この第１、第２色の画素値Ｂ、Ｇに基づいて、第１バンドの成分値ｂ（１）と、第２バンドの成分値ｂ（２）と、第３、第４バンドの成分値ｇ、ｒ（１）を加算した値である第１加算値ｒ（１）＋ｇとの間の関係式を求める。そして、マルチバンド推定部は、その関係式に基づいて、第１バンドの成分値ｂ（１）と、第２バンドの成分値ｂ（２）と、第１加算値ｒ（１）＋ｇとを推定する。
【００５８】
このようにすれば、隣り合った透過率特性が重なっている状態を、バンド成分値の加算式（上式（１））として表すことができる。そして、その加算式からバンド成分値間の関係式を求め、その関係式からバンド成分値を推定することが可能となる。
【００５９】
また本実施形態では、上式（９）で説明したように、マルチバンド推定部は、第１バンドの成分値ｂ（１）を未知数として関係式を求める。図４及び上式（１１）で説明したように、マルチバンド推定部は、関係式で表した第１、第２バンドの成分値及び第１加算値｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝と、第１、第２色の画素値｛Ｂ，Ｇ｝との間の誤差を表す誤差評価値Ｅｂｇを求め、その誤差評価値Ｅｂｇを最小にする未知数ｂ（１）を決定し、その決定した未知数ｂ（１）及び関係式（上式（９））に基づいて、第１、第２バンドの成分値及び第１加算値｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝を決定する。
【００６０】
このようにすれば、２つの画素値｛Ｂ，Ｇ｝から３つの変数｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝を決定する際に必要な１つの未知数ｂ（１）を、誤差評価値Ｅｂｇに基づいて決定でき、決定した未知数によりバンド成分値｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝を決定できる。
【００６１】
また本実施形態では、上記と同様にして、マルチバンド推定部は、関係式（上式（４））を求め、その関係式に基づいて、第２、第３バンドの成分値ｂ（２）、ｇを加算した値である第２加算値ｇ＋ｂ（２）と、第４バンドの成分値ｒ（１）と、第５バンドの成分値ｒ（２）とを推定する（上式（１）〜（６））。そして、第１加算値ｇ＋ｒ（１）と第４バンドの成分値ｒ（１）から、又は第２加算値ｇ＋ｂ（２）と第２バンドの成分値ｂ（２）から第３バンドの成分値ｇを求める。
【００６２】
このようにすれば、バンド成分値｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝を関係式で表し、その関係式を用いてバンド成分値｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝を推定できる。そして、求めたバンド成分値｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝及び｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝を用いて、第１〜第５バンドの成分値｛ｂ（１），ｂ（２），ｇ，ｒ（１），ｒ（２）｝を求めることができる。
【００６３】
また本実施形態では、第１〜第３色は、それぞれ青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）である。マルチバンド推定部は、第１〜第５バンドの成分値｛ｂ（１），ｂ（２），ｇ，ｒ（１），ｒ（２）｝を、それぞれ第１青色成分値ｂ（１）、第２青色成分値ｂ（２）、緑色成分値ｇ、第１赤色成分値ｒ（１）、第２赤色成分値ｒ（２）として求める。
【００６４】
このようにすれば、例えばベイヤ配列等の既存のカメラシステムに搭載されたＲＧＢ撮像素子をそのまま利用して、５バンドのマルチバンド撮影を行うことが可能となる。なお、本実施形態では、第１〜第３色はＲＧＢに限定されず、波長軸上において隣り合う透過率特性が重なり部分を有する３つのカラーフィルタに対応した色であればよい。
【００６５】
２．第２のマルチバンド推定処理
２．１．基本構成例
次に、第２のマルチバンド推定処理について説明する。図５に、本処理における基本構成例を示す。図５に示すように、撮像光学系は、撮像素子のセンサ面に被写体を結像させる結像レンズＬＮＳと、第１瞳と第２瞳で帯域を分離する光学フィルタＦＬＴと、を含む。
【００６６】
なお以下では、第１瞳を右瞳とし、第２瞳を左瞳として説明するが、本実施形態ではこれに限定されない。即ち、瞳の分離方向は左右に限定されず、撮像光学系の光軸に対して垂直な任意の方向に第１瞳と第２瞳が分離されていればよい。
【００６７】
光学フィルタＦＬＴは、波長分割光｛ｂＲ，ｇ，ｒＲ｝を透過する特性の右瞳フィルタＦＬ１（広義には第１フィルタ）と、波長分割光｛ｂＬ，ｇ，ｒＬ｝を透過する特性の左瞳フィルタＦＬ２（広義には第２フィルタ）とを有する。光学フィルタＦＬＴは、撮像光学系の瞳位置（例えば絞りの設置位置）に設けられ、フィルタＦＬ１、ＦＬ２がそれぞれ右瞳、左瞳に相当する。
【００６８】
図６に示すように、右瞳フィルタＦＬ１は、図２で説明した成分｛ｂ（１），ｇ，ｒ（１）｝に対応する帯域ＢＤ１、ＢＤ３、ＢＤ４を透過するフィルタである。即ち、波長分割光｛ｂＲ，ｇ，ｒＲ｝は、成分｛ｂ（１），ｇ，ｒ（１）｝に対応する透過光である。また、左瞳フィルタＦＬ２は、図２で説明した成分｛ｂ（２），ｇ，ｒ（２）｝に対応する帯域ＢＤ２、ＢＤ３、ＢＤ５を透過するフィルタである。即ち、波長分割光｛ｂＬ，ｇ，ｒＬ｝は、成分｛ｂ（２），ｇ，ｒ（２）｝に対応する透過光である。
【００６９】
図５に示すように、結像レンズＬＮＳ及び光学フィルタＦＬＴを透過した結像光は、ＲＧＢベイヤ配列の撮像素子に入力され、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光強度として信号に変換されデータとして取得される。図６に示すように、右瞳を通過した波長分割光｛ｂＲ，ｇ，ｒＲ｝と、左瞳を通過した波長分割光｛ｂＬ，ｇ，ｒＬ｝は、波長帯域が明確に分離されている。一方、撮像素子のカラーフィルタの分光特性｛ＦＲ，ＦＧ，ＦＢ｝は、隣接する分光特性の波長帯域が重複した特性となっている。この重複状態を考慮すると、デモザイキング処理後の各画素における赤色、緑色、青色の画素値Ｒ、Ｇ、Ｂを、下式（１３）のようにモデル化することができる。
Ｒ＝ｇＲ＋ｒＲＲ＋ｒＬＲ，
Ｇ＝ｂＬＧ＋ｇＧ＋ｒＲＧ，
Ｂ＝ｂＲＢ＋ｂＬＢ＋ｇＢ  （１３）
【００７０】
ここで、図７（Ｃ）に示すように、成分｛ｂＲＢ，ｂＬＢ，ｇＢ｝は、分光特性ＦＢの青色フィルタを通過した波長分割光｛ｂＲ，ｂＬ，ｇ｝に対応する。図７（Ｄ）に示すように、成分｛ｂＬＧ，ｇＧ，ｒＲＧ｝は、分光特性ＦＧの緑色フィルタを通過した波長分割光｛ｂＬ，ｇ，ｒＲ｝に対応する。また、図９（Ｄ）に示すように、成分｛ｇＲ，ｒＲＲ，ｒＬＲ｝は、分光特性ＦＲの赤色フィルタを通過した波長分割光｛ｇ，ｒＲ，ｒＬ｝に対応する。各成分を表す符号の上付きサフィックスは、右瞳「Ｒ」及び左瞳「Ｌ」のいずれを通過したかを表し、下付サフィックスは、赤色フィルタ「Ｒ」、緑色フィルタ「Ｇ」、青色フィルタ「Ｂ」のいずれを通過したかを表している。
【００７１】
なお、｛ＦＲ，ＦＧ，ＦＢ｝、｛ｒＲ，ｇ，ｂＲ｝、｛ｒＬ，ｇ，ｂＬ｝は、いずれも波長λの関数であるが、表記を簡単にするために波長λを省略した。
【００７２】
２．２．｛ｂＲ，ｂＬ，（ｇ＋ｒＲ）｝の推定処理
次に、図７（Ａ）〜図１０を用いて、画素値｛Ｒ，Ｇ，Ｂ｝から成分｛ｂＲＢ，ｂＬＢ，ｇＢ｝、｛ｂＬＧ，ｇＧ，ｒＲＧ｝、｛ｇＲ，ｒＲＲ，ｒＬＲ｝を推定する処理について説明する。なお以下では、波長分割光｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝に対応する帯域や成分を、適宜、同一の符号｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝で表す。
【００７３】
まず上式（１３）を用いて、画素値｛Ｂ，Ｇ｝で重複している波長帯域｛ｂＬ，ｇ｝を、画素値｛Ｂ，Ｇ｝の差分に基づいて取り除き、成分ｂＲと成分［ｇ＋ｒＲ］の関係を求めることにより成分｛ｂＲ，ｂＬ，（ｇ＋ｒＲ）｝の関係式を導き出す処理を行う。
【００７４】
ここで注意しなければならないのは、図７（Ａ）〜図７（Ｄ）に示すように、波長帯域ｂＬに対応するのは画素値Ｂの成分ｂＬＢ及び画素値Ｇの成分ｂＬＧであるが、成分ｂＬＢ、ｂＬＧには、分光特性ＦＢ、ＦＧの相対ゲインが乗じられていることである。そのため、成分ｂＬＢ、ｂＬＧは、相対ゲインの分だけ異なる値であり、成分ｂＬＢ、ｂＬＧが等しくなるように補正する必要がある。
【００７５】
図７（Ｃ）、図７（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｂＬＢ＋ｇＢ）の成分比をｋＢ１とし、ｂＬＧの成分比をｋＢ２とすると、下式（１４）が成り立つ。ｋＢ１／ｋＢ２は、例えば帯域ｂＬにおける分光特性ＦＢ、ＦＧのゲイン比である。
ｂＬＢ＋ｇＢ＝（ｋＢ１／ｋＢ２）×ｂＬＧ  （１４）
【００７６】
帯域ｂＬ、ｇにおける分光特性ＦＢのゲインを考慮すると、成分ｇＢは成分ｂＬＢよりも十分小さいと考えられるため、成分ｂＬＢ、ｂＬＧを等しくするためには、成分（ｂＬＢ＋ｇＢ）と成分ｂＬＧがほぼ等しくなればよい。成分（ｂＬＢ＋ｇＢ）を補正した値を（ｂＬＢ’＋ｇＢ’）とすると、上式（１４）を用いて下式（１５）に示す補正を行えばよい。
ｂＬＢ’＋ｇＢ’≒ｂＬＧ＝（ｋＢ２／ｋＢ１）×（ｂＬＢ＋ｇＢ）  （１５）
【００７７】
成分（ｂＬＢ＋ｇＢ）は画素値Ｂに含まれるため、成分（ｂＬＢ＋ｇＢ）を補正するためには、結局、画素値Ｂを補正することになる。この補正後のＢをＢ’とすると、下式（１６）の関係が得られる。
Ｂ’＝（ｋＢ２／ｋＢ１）Ｂ  （１６）
【００７８】
上式（１６）より、Ｂ’の成分｛ｂＲＢ’，ｂＬＢ’，ｇＢ’｝は下式（１７）となる。
ｂＲＢ’＝（ｋＢ２／ｋＢ１）×ｂＲＢ，
ｂＬＢ’＋ｇＢ’≒ｂＬＧ          （１７）
【００７９】
上式（１３）、（１７）より、画素値Ｂ’と画素値Ｇを成分｛ｂＲＢ’，ｂＬＧ，ｇＧ，ｒＲＧ｝を用いて表すと、下式（１８）のようになる。
Ｂ’＝ｂＲＢ’＋（ｂＬＢ’＋ｇＢ’）＝ｂＲＢ’＋ｂＬＧ，
Ｇ  ＝ｂＬＧ＋（ｇＧ＋ｒＲＧ）                      （１８）
【００８０】
次に、下式（１９）に示すように、補正後の画素値Ｂ’と画素値Ｇの差分を取ることにより、重複した成分ｂＬを取り除く。また上式（１８）より下式（２０）が成り立つ。
Ｂ’−Ｇ＝［ｂＲＢ’＋ｂＬＧ］−［ｂＬＧ＋ｇＧ＋ｒＲＧ］
＝ｂＲＢ’−（ｇＧ＋ｒＲＧ）              （１９）
ｂＬＧ＝Ｂ’−ｂＲＢ’                          （２０）
【００８１】
ｂＲＢ’を未知数（支配変数）とすると、上式（１９）、（２０）より｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の関係式を下式（２１）のように求められる。
ｂＲＢ’＝未知数（支配変数）
ｂＬＧ＝Ｂ’−ｂＲＢ’
ｇＧ＋ｒＲＧ＝ｂＲＢ’−（Ｂ’−Ｇ）  （２１）
【００８２】
｛Ｂ’，Ｇ｝は検出された既知の値であるので、上式（２１）に基づき未知数ｂＲＢ’が決まれば、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝が全て決まることになる。即ち、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の尤度パターンを特定することができる。
【００８３】
図８に、この関係を原理的に表した図を示す。図８に示すように、未知数ｂＲＢ’として、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小になる値を求める。即ち、下式（２２）に示す誤差の評価値ＥＢＧが最小になる場合のｂＲＢ’を求め、求めたｂＲＢ’を上式（２１）に代入することにより、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の値を決定する。
ｅＢ＝（Ｂ’／２−ｂＲＢ’）２＋（Ｂ’／２−ｂＬＧ）２，
ｅＧ＝（Ｇ／２−ｂＬＧ）２＋（Ｇ／２−（ｇＧ＋ｒＲＧ））２，
ＥＢＧ＝ｅＢ＋ｅＧ                                  （２２）
【００８４】
以上のようにして、各画素の２バンド画素値｛Ｂ’，Ｇ｝から成分｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を推定することができる。
【００８５】
２．３．｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝の推定処理
次に、画素値｛Ｇ，Ｒ｝から成分｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝を推定する。具体的には、上式（１３）を用いて、画素値｛Ｇ，Ｒ｝で重複している波長帯域｛ｇ，ｒＲ｝を、画素値｛Ｇ，Ｒ｝の差分に基づいて取り除き、成分［ｂＬ＋ｇ］と成分ｒＬの関係を求めることにより成分｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝の関係式を導き出す処理を行う。
【００８６】
図９（Ａ）〜図９（Ｄ）に示すように、波長帯域ｒＲに対応するのは画素値Ｇの成分ｒＲＧ及び画素値Ｒの成分ｒＲＲであるが、成分ｒＲＧ、ｒＲＲには、分光特性ＦＧ、ＦＲの相対ゲインが乗じられている。そのため、成分ｒＲＧ、ｒＲＲは、相対ゲインの分だけ異なる値であり、成分ｒＲＧ、ｒＲＲが等しくなるように補正する必要がある。
【００８７】
図９（Ｃ）、図９（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｇＲ＋ｒＲＲ）の成分比をｋＲ１とし、ｒＲＧの成分比をｋＲ２とすると、下式（２３）が成り立つ。ｋＲ１／ｋＲ２は、例えば帯域ｒＲにおける分光特性ＦＧ、ＦＲのゲイン比である。
ｇＲ＋ｒＲＲ＝（ｋＲ２／ｋＲ１）×ｒＲＧ  （２３）
【００８８】
帯域ｇ、ｒＲにおける分光特性ＦＲのゲインを考慮すると、成分ｇＲは成分ｒＲＲよりも十分小さいと考えられるため、成分ｒＲＧ、ｒＲＲを等しくするためには、成分（ｇＲ＋ｒＲＲ）と成分ｒＲＧがほぼ等しくなればよい。成分（ｇＲ＋ｒＲＲ）を補正した値を（ｇＲ’＋ｒＲＲ’）とすると、上式（２３）を用いて下式（２４）に示す補正を行えばよい。
ｇＲ’＋ｒＲＲ’≒ｒＲＧ＝（ｋＲ２／ｋＲ１）×（ｇＲ＋ｒＲＲ）  （２４）
【００８９】
成分（ｇＲ＋ｒＲＲ）は画素値Ｒに含まれるため、成分（ｇＲ＋ｒＲＲ）を補正するためには、結局、画素値Ｒを補正することになる。この補正後のＲをＲ’とすると、下式（２５）の関係が得られる。
Ｒ’＝（ｋＲ２／ｋＲ１）Ｒ  （２５）
【００９０】
上式（２５）より、Ｒ’の成分｛ｇＲ’，ｒＲＲ’，ｒＬＲ’｝は下式（２６）となる。
ｇＲ’＋ｒＲＲ’≒ｒＲＧ，
ｒＬＲ’＝（ｋＲ２／ｋＲ１）×ｒＬＲ  （２６）
【００９１】
上式（１３）、（２６）より、画素値Ｇと画素値Ｒ’を成分｛ｂＬＧ，ｇＧ，ｒＲＧ，ｒＬＲ’｝を用いて表すと、下式（２７）のようになる。
Ｇ  ＝ｂＬＧ＋（ｇＧ＋ｒＲＧ），
Ｒ’＝（ｇＲ’＋ｒＲＲ’）＋ｒＬＲ’＝ｒＲＧ＋ｒＬＲ’  （２７）
【００９２】
次に、下式（２８）に示すように、画素値Ｇと補正後の画素値Ｒ’の差分を取ることにより、重複した成分ｒＲを取り除く。また上式（２７）より下式（２９）が成り立つ。
Ｇ−Ｒ’＝［ｂＬＧ＋ｇＧ＋ｒＲＧ）］−［ｒＲＧ＋ｒＬＲ’］
＝（ｂＬＧ＋ｇＧ）−ｒＬＲ’                  （２８）
ｒＲＧ＝Ｒ’−ｒＬＲ’                              （２９）
【００９３】
ｒＬＲ’を未知数（支配変数）とすると、上式（２８）、（２９）より｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の関係式を下式（３０）のように求められる。
ｒＬＲ’＝未知数（支配変数），
ｒＲＧ＝Ｒ’−ｒＬＲ’ ，
ｂＬＧ＋ｇＧ＝ｒＬＲ’＋（Ｇ−Ｒ’）  （３０）
【００９４】
｛Ｇ，Ｒ’｝は検出された既知の値であるので、上式（３０）に基づき未知数ｒＬＲ’が決まれば、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝が全て決まることになる。即ち、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の尤度パターンを特定することができる。
【００９５】
図１０に、この関係を原理的に表した図を示す。図１０に示すように、未知数ｒＬＲ’として、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小になる値を未知数ｒＬＲ’として求める。即ち、下式（３１）に示す誤差の評価値ＥＧＲが最小になる場合のｒＬＲ’を求め、求めたｒＬＲ’を上式（３０）に代入することにより、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の値を決定する。
ｅＧ＝（Ｇ／２−（ｂＬＧ＋ｇＧ））２＋（Ｇ／２−ｒＲＧ）２，
ｅＧ＝（Ｒ’／２−ｒＲＧ）２＋（Ｒ’／２−（ｒＬＲ’））２，
ＥＧＲ＝ｅＧ＋ｅＲ                                    （３１）
【００９６】
以上のようにして、各画素の２バンド画素値｛Ｇ，Ｒ’｝から成分｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝を推定することができる。
【００９７】
なお、上式（２２）、（３１）では画素値｛Ｂ’，Ｇ｝、｛Ｇ，Ｒ’｝に対して係数１／２を掛けて評価値を算出したが、係数は１／２に限定されない。第１のマルチバンド推定処理で説明（例えば上式（１０））したように、係数は０より大きく１以下であればよい。
【００９８】
また、評価値ＥＢＧ、ＥＧＲの算出手法は上記手法に限定されず、種々の方法が考えられることは言うまでもない。例えば、評価値ＥＢＧを例にとれば、予め対象とする被写体（例えば、自然被写体あるいは医療用の生体内被写体など）を多数撮像し、取得された｛Ｒ，Ｇ，Ｂ｝により得られる｛Ｂ’，Ｇ｝から、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の値の生起パターンを上記のようにして求める。そして、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の生起パターンの確率分布において、局所的に生起確率が高いピークを示すパターンか、または部分的な確率分布領域を設定し、その中のパターン群の平均パターンを示すパターン｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を代表パターンとして定める。このようにして、予め定めた複数の代表パターンを設定しておく。そして、改めて（実際の撮影で）取得された｛Ｂ，Ｇ｝から推定を行う際には、取得された｛Ｂ，Ｇ｝から上記のように｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を計算し、その計算により求めた｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝と、予め設定した代表パターンとのユークリッド距離を評価値として求める。予め設定された代表パターンのうち最もユークリッド距離が小さい、即ち最も類似する代表パターンを推定パターンとし、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の値として特定してもよい。なお、予め代表パターンを設定する際に、対象被写体の｛Ｂ’，Ｇ｝の生起パターンから｛Ｂ’，Ｇ｝の代表パターンを求めてもよい。そして、実際に撮影した｛Ｂ’，Ｇ｝から推定する際に、撮影で取得した｛Ｂ’，Ｇ｝と、代表パターンとのユークリッド距離を評価値として求め、評価値の最も小さい｛Ｂ’，Ｇ｝の代表パターンに対して上記の推定処理を行い、最終的な推定パターン｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を特定してもよい。
【００９９】
２．４．成分値の算出処理
次に、上記で求めた値｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝を用いて、画素値Ｂを構成する成分｛ｂＲＢ，ｂＬＢ｝の値、画素値Ｇを構成する成分｛ｂＬＧ，ｇＧ，ｒＲＧ｝の値、画素値Ｒを構成する成分｛ｒＲＲ，ｒＬＲ｝の値を算出する。
【０１００】
上式（１７）、（２６）より、ｂＲＢ，ｒＬＲは、下式（３２）により求められる。
ｂＲＢ＝（ｋＢ１／ｋＢ２）×ｂＲＢ’ ，
ｒＬＲ＝（ｋＲ１／ｋＲ２）×ｒＬＲ’    （３２）
【０１０１】
ｇＢ≪ｂＲＢ，ｇＲ≪ｒＬＲであることを用いて、上式（１３）より、ｂＬＢ，ｒＲＲは、下式（３３）により求められる。
ｂＬＢ＝Ｂ−（ｂＲＢ＋ｇＢ）≒Ｂ−ｂＲＢ，
ｒＲＲ＝Ｒ−（ｒＬＲ＋ｇＲ）≒Ｒ−ｒＬＲ  （３３）
【０１０２】
上式（１３）より、ｂＬＧ，ｒＲＧは、下式（３４）により求められる。
ｂＬＧ＝Ｇ−（ｇＧ＋ｒＲＧ），
ｒＲＧ＝Ｇ−（ｇＧ＋ｂＬＧ）  （３４）
【０１０３】
上式（１３）、（３４）より、ｇＧは、下式（３５）により求められる。
ｇＧ＝Ｇ−（ｂＬＧ＋ｒＲＧ）  （３５）
【０１０４】
２．５．マルチバンド画像の取得処理
図５に示すように、光学フィルタＦＬＴの透過光を撮像することで、右瞳を通過した被写体像ＩＲと、左瞳を通過した被写体像ＩＬが得られる。図５では、撮像素子のセンサ面がデフォーカス位置ＰＤにある場合を例に、ＩＲ、ＩＬを図示しており、ｈは水平方向（広義には瞳の分離方向）に沿った軸である。像ＩＲのＲ、Ｇ、Ｂ成分は、それぞれ（ｒＲＲ，ｇＲ）、（ｇＧ，ｒＲＧ）、（ｂＲＢ，ｇＢ）であり、像ＩＬのＲ、Ｇ、Ｂ成分は、それぞれ（ｒＬＲ，ｇＲ）、（ｇＧ，ｒＬＧ）、（ｂＬＢ，ｇＢ）である。
【０１０５】
撮像素子のセンサ面がフォーカス位置ＰＦにあるフォーカス時では、像ＩＲ、ＩＬのずれは無くなる。即ち、同一画素におけるｒＲＲとｒＬＲ、ｒＲＧとｂＬＧ、ｂＲＢとｂＬＢ、ｇＧは、全て被写体の同一微小領域からの反射光の色光を表している。即ち、結像時の撮像素子の任意の画素のＲ、Ｇ、Ｂ値から、下式（３６）に示す５バンド｛Ｒ１，Ｒ２，Ｇ，Ｂ１，Ｂ２｝の色画像（マルチバンド画像）を得ることができる。
Ｒ１＝ｒＲＲ，Ｒ２＝ｒＬＲ，Ｇ＝ｒＲＧ＋ｇＧ＋ｂＬＧ，Ｂ１＝ｂＲＢ，Ｂ２＝ｂＬＢ  （３６）
【０１０６】
以上の実施形態によれば、図７（Ａ）〜図７（Ｆ）で説明したように、マルチバンド推定部は、第１、第２色フィルタの透過率特性ＦＢ、ＦＧに基づいて、第１色の画素値Ｂと第２色の画素値Ｇとの間の相対的なゲイン比ｋＢ１／ｋＢ２を補正し、補正後の第１、第２色の画素値Ｂ’、Ｇを用いて第１〜第５バンドの成分値を推定する。
【０１０７】
より具体的には、上式（１４）〜（１７）で説明したように、マルチバンド推定部は、第２バンド（ｂＬ）での第２色フィルタ（ＦＧ）の透過率ｋＢ２と、第２バンド（ｂＬ）での第１色フィルタ（ＦＢ）の透過率ｋＢ１との比ｋＢ１／ｋＢ２を、第１色の画素値Ｂに乗じて、ゲイン比を補正する。
【０１０８】
撮像素子のカラーフィルタでは、一般的に色に依って透過率特性が異なるため、色に依ってゲインが異なっている。本実施形態によれば、透過率特性の重なり部分に対応するバンドが存在するため、そのバンドにおける相対的なゲイン比ｋＢ１／ｋＢ２を求めることができ、そのゲイン比を用いて、色に依って異なるゲインを補正できる。
【０１０９】
また本実施形態では、図５で説明したように、撮像素子（撮像素子のセンサ面）には、撮像光学系の瞳を第１瞳（例えば右瞳）と第２瞳（左瞳）に分割する光学フィルタＦＬＴを透過した光が結像される。図６で説明したように、第１瞳（第１瞳フィルタＦＬ１）は、第１、第２バンドの一方ｂＲ＝ｂ（１）と、第３バンドｇと、第４、第５バンドの一方ｒＲ＝ｒ（１）とを透過する。第２瞳（第２瞳フィルタＦＬ２）は、第１、第２バンドの他方ｂＬ＝ｂ（２）と、第３バンドｇと、第４、第５バンドの他方ｒＬ＝ｒ（２）とを透過する。マルチバンド推定部は、第１瞳及び第２瞳の透過光が撮像された画像に基づいて、第１〜第５バンドの成分値を推定する。
【０１１０】
このようにすれば、第１瞳、第２瞳に対応するバンド成分値を、それぞれ求めることができる。これにより、瞳分割を利用した種々の応用処理が可能となる。また、第１瞳、第２瞳にそれぞれＲＧＢ成分が含まれるため、撮像画像のピンぼけ領域においても色ずれが生じにくい。なお、上記の実施形態では、ｂ（１）、ｒ（１）が第１瞳に割り当てられる場合を例に説明したが、本実施形態ではこれに限定されず、ｂ（１）、ｂ（２）のいずれが第１瞳に割り当てられてもよいし、ｒ（１）、ｒ（２）のいずれが第１瞳に割り当てられてもよい。
【０１１１】
また本実施形態では、上式（３２）〜（３５）に示すように、マルチバンド推定部は、青色の画素値Ｂを構成する第１、第２バンドの成分値｛ｂＲＢ，ｂＬＢ｝を、それぞれ第１、第２青色成分値として求め、緑色の画素値Ｇを構成する第２〜第４バンドの成分値｛ｂＬＧ，ｇＧ，ｒＲＧ｝を、それぞれ第１〜第３緑色成分値として求め、赤色の画素値Ｒを構成する第４、第５バンドの成分値｛ｒＲＲ，ｒＬＲ｝を、それぞれ第１、第２赤色成分値として求める。
【０１１２】
より具体的には、上式（３６）で説明したように、マルチバンド推定部は、第１、第２青色成分値Ｂ１＝ｂＲＢ、Ｂ２＝ｂＬＢと、第１〜第３緑色成分値｛ｂＬＧ，ｇＧ，ｒＲＧ｝の加算値である緑色成分値Ｇと、第１、第２赤色成分値Ｒ１＝ｒＲＲ、Ｒ２＝ｒＬＲとで、５バンドの成分値を構成する。
【０１１３】
このようにすれば、第１〜第５バンドの成分値を、第１瞳の通過光に対応する成分値Ｂ１＝ｂＲＢ、Ｇ、Ｒ１＝ｒＲＲと、第２瞳の通過光に対応する成分値Ｂ２＝ｂＬＢ、Ｇ、Ｒ２＝ｒＬＲとに分離して求めることができる。なお、緑色成分値Ｇの構成手法は、上記に限定されず、例えば各瞳の緑色成分値を分離して構成してもよい。
【０１１４】
３．第３のマルチバンド推定処理
３．１．候補発生による推定処理
次に、第３のマルチバンド推定処理について説明する。
【０１１５】
図１１に示すように、ゲイン補正を行った５バンドの成分の関係式を第２のマルチバンド推定処理と同様にして求める。下記に、第２のマルチバンド推定処理で説明した式（２１）、（３０）を再掲する。
ｂＲＢ’＝未知数（支配変数），
ｂＬＧ＝Ｂ’−ｂＲＢ’ ，
ｇＧ＋ｒＲＧ＝ｂＲＢ’−（Ｂ’−Ｇ）  （２１）
ｒＬＲ’＝未知数（支配変数），
ｒＲＧ＝Ｒ’−ｒＬＲ’ ，
ｂＬＧ＋ｇＧ＝ｒＬＲ’＋（Ｇ−Ｒ’）  （３０）
【０１１６】
ｂＲＢ’、ｒＬＲ’は、検出されるはずの分割帯域成分ｂＲＢ、ｒＬＲの補正値であり、第２のマルチバンド推定処理で説明した式（１７）、（２６）より、下式（３７）で表される。
ｂＲＢ’＝（ｋＢ２／ｋＢ１）×ｂＲＢ，
ｒＬＲ’＝（ｋＲ２／ｋＲ１）×ｒＬＲ  （３７）
【０１１７】
さて、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝及び｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝のそれぞれのパターンの成分値は、正の値であってかつ取り得る値の範囲に制限があることに注目する。
【０１１８】
具体的には、撮像画像として取得する補正前の３原色画素値を、Ｂ（青）、Ｇ（緑）、Ｒ（赤）とし、センサ飽和値以下に設定される最大値の量子化ステップ数をＮ（Ｎは自然数）とする。例えば、８ビット画像として扱うときは、Ｎ＝２５６である。このとき、画素値Ｒ、Ｇ、Ｂは下式（３８）の範囲を取り得る。
０≦Ｂ＜Ｎ，０≦Ｇ＜Ｎ，０≦Ｒ＜Ｎ  （３８）
【０１１９】
なお、Ｒ、Ｇ、Ｂの量子化ステップ数は一般的に同一とすると扱いやすいので共通のＮ値としているが、意図的に各色ごとに量子化ステップ数を異ならせても構わない。
【０１２０】
Ｂ及びＲの補正前の検出成分は｛ｂＲＢ，ｂＬＢ｝、｛ｒＲＲ，ｒＬＲ｝であり、それぞれ２成分を加算した値が、Ｂ及びＲになると定義しているので、下式（３９）が成り立つ。
０≦Ｂ（＝ｂＲＢ＋ｂＬＢ）＜Ｎ，０≦Ｒ（＝ｒＲＲ＋ｒＬＲ）＜Ｎ  （３９）
【０１２１】
ｂＲＢとｂＬＢが独立した変数であり、ｒＬＲとｒＲＲが独立した変数であると仮定すれば、ｂＲＢ、ｒＬＲは下式（４０）の範囲を取り得る。
０≦ｂＲＢ＜Ｎ，０≦ｒＬＲ＜Ｎ  （４０）
【０１２２】
上式（３７）、（４０）より、ｂＲＢ’、ｒＬＲ’は下式（４１）の範囲を取り得る。
０≦ｂＲＢ’＜Ｎ×（ｋＢ２／ｋＢ１），
０≦ｒＬＲ’＜Ｎ×（ｋＲ２／ｋＲ１）  （４１）
【０１２３】
また、Ｇの検出成分は｛ｂＬＧ，ｇＧ，ｒＲＧ｝であり、これら３成分を加算した値が、Ｇになると定義しているので、下式（４２）が成り立つ。
０≦Ｇ（＝ｂＬＧ＋ｇＧ＋ｒＲＧ）＜Ｎ  （４２）
【０１２４】
ｂＬＧ、ｇＧ、ｒＲＧが独立した変数であると仮定すれば、ｂＬＧ、ｇＧ、ｒＲＧは下式（４３）の範囲を取り得る。
０≦ｂＬＧ＜Ｎ，０≦ｇＧ＜Ｎ，０≦ｒＲＧ＜Ｎ  （４３）
【０１２５】
上式（４３）より、（ｇＧ＋ｒＲＧ）及び（ｂＬＧ＋ｇＧ）は、下式（４４）の範囲を取り得る。
０≦（ｇＧ＋ｒＲＧ）＜２Ｎ，０≦（ｂＬＧ＋ｇＧ）＜２Ｎ  （４４）
【０１２６】
上式（４１）、（４３）、（４４）の制限条件を、上式（２１）、（３０）の関係式に適用すると、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝及び｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝のパターンの推定候補は限定されることになる。
【０１２７】
即ち、上式（４１）に示す０≦ｂＲＢ’＜Ｎ×（ｋＢ２／ｋＢ１）の範囲内の各値を、未知数ｂＲＢ’の候補として発生する。各候補を上式（２１）に代入し、既知の画素値｛Ｂ，Ｇ｝を用いて｛ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を求める。各候補から求めた｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝のうち、上式（４３）、（４４）の条件を満たすもののみを残す。同様に、上式（３０）についても候補の発生を行い、条件を満たす｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝のみを残す。条件を満たす候補は、複数存在する可能性がある。候補が複数残った場合には、例えばそれらの平均値を最終的な値として決定すればよい。
【０１２８】
３．２．ルックアップテーブルを用いた推定処理
次に、第３のマルチバンド推定処理の変形例について説明する。
【０１２９】
図１２に示すように、上式（３８）の定義域を満たす｛Ｒ，Ｇ，Ｂ｝の全ての組み合わせを発生させる。｛Ｒ，Ｇ，Ｂ｝の各組み合わせについて、上式（４１）の定義域を満たす未知数ｂＲＢ’、ｒＬＲ’の候補を発生させる。そして、上式（４３）、（４４）の制限条件を満たす推定値｛ｂＬＧ，（ｇＧ＋ｒＲＧ）｝及び｛ｒＲＧ，（ｂＬＧ＋ｇＧ）｝を残す。このようにして得られる推定パターン｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝及び｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝をテーブル化し、図１２に示すような尤度パターン決定テーブルを予め作成しておく。
【０１３０】
マルチバンド推定を行う際には、撮像画像の画素値｛Ｒ，Ｇ，Ｂ｝をテーブルから検索して推定パターン｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝を決定する。そして、その推定パターンから、画素値Ｂを構成する成分｛ｂＲＢ，ｂＬＢ｝の値、画素値Ｇを構成する成分｛ｂＬＧ，ｇＧ，ｒＲＧ｝の値、画素値Ｒを構成する成分｛ｒＲＲ，ｒＬＲ｝の値を、最終的に算出する。
【０１３１】
なお、図１３に示すように、制限条件を満たす推定パターンのうち、｛Ｒ，Ｇ，Ｂ｝の同一組み合わせパターンから得られる推定パターンは単一とは限らず、複数得られる場合がある。この場合、それら推定パターンの平均をとって尤度パターンとし、予めテーブルを作成しておけばよい。
【０１３２】
ここで、上記では定義域に基づく制限条件を用いてテーブルを作成したが、本実施形態のテーブル作成手法はこれに限定されない。例えば、撮像対象となる画像（例えばデジタルカメラの場合は自然画像、内視鏡の場合は生体内画像など）を母集団とする。そして、母集団の統計的な関係に基づいて、画素値｛Ｒ，Ｇ，Ｂ｝に対して最も発生確率が高い尤度パターン｛ｂＲＢ’，ｂＬＧ，ｒＲＧ，ｒＬＲ’，（ｇＧ＋ｒＲＧ），（ｂＬＧ＋ｇＧ）｝の対応テーブルを、予め作成しておいて参照テーブルとしてもよい。
【０１３３】
以上の実施形態によれば、図１２又は図１３で説明したように、マルチバンド推定部は、第１バンドの成分値ｂＲＢ’を未知数として関係式（上式（２１））を求め、未知数ｂＲＢ’の候補として、複数の候補値を生成する。マルチバンド推定部は、その複数の候補値の中から、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３８））に基づく選択条件を満たす候補値を、関係式（上式（２１））に基づいて選択する。そして、マルチバンド推定部は、選択した候補値に基づいて、第１バンドの成分値と、第２バンドの成分値と、第１加算値と｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を求める。
【０１３４】
具体的には、選択条件は、関係式（上式（２１））に候補値を代入して求めた第１バンドの成分値と、第２バンドの成分値と、第１加算値と｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝が、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３８））に矛盾しないという条件（上式（４１）、（４３）、（４４））である。
【０１３５】
より具体的には、マルチバンド推定部は、第１、第２色の画素値Ｂ、Ｇの定義域（上式（３８））に基づいて第１バンドの成分値ｂＲＢ’が取り得る範囲内の値（上式（４１））を、複数の候補値として生成する。
【０１３６】
このようにすれば、候補値を関係式に代入して求めたバンドの成分値が、画素値の定義域に基づいて存在し得ないと判断された場合に、その候補値を除外し、画素値の定義域に矛盾しない候補値に基づいて最終的な推定値を決定できる。
【０１３７】
４．撮像装置、画像処理装置
図１４に、本実施形態のマルチバンド推定処理を行う撮像装置の構成例を示す。図１４の撮像装置は、結像レンズＬＮＳ、光学フィルタＦＬＴ、撮像素子１０、撮像処理部２０、画像処理装置２５（画像処理部）、モニタ表示部４０を含む。画像処理装置２５は、ＲＧＢ画像生成部３０、ＲＧＢフィルタ特性データ記録部５０、領域選択部６０、マルチバンド推定部７０、マルチバンドデータ記録部８０、データ圧縮部９０、ＲＧＢデータ記録部１００を含む。
【０１３８】
撮像素子１０は、結像レンズＬＮＳ及び光学フィルタＦＬＴによって結像された被写体を撮像する。光学フィルタＦＬＴは、図５で説明したように右瞳と左瞳の透過帯域が異なる。撮像処理部２０は、撮像素子１０による撮像動作の制御や、アナログの画素信号をＡ／Ｄ変換する処理などを行う。
【０１３９】
ＲＧＢ画像生成部３０は、撮像により得られたＲＧＢベイヤ画像のデモザイキング処理や、高画質化処理などを行い、ＲＧＢ３板画像（画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ））を出力する。ｉ，ｊは、自然数であり、それぞれ画像の水平走査方向、垂直走査方向における位置（座標）を表す。モニタ表示部４０は、ＲＧＢ３板画像をモニタ（表示装置）に表示する。
【０１４０】
ＲＧＢフィルタ特性データ記録部５０は、撮像素子１０がもつカラーフィルタの透過率特性（分光特性）ＦＲ（λ）、ＦＧ（λ）、ＦＢ（λ）のデータを記憶しており、そのデータをマルチバンド推定部７０に出力する。但し、撮像されるＲＧＢ成分は、厳密にはカラーフィルタのみならず撮像素子１０の分光感度特性や、結像レンズＬＮＳの分光特性によって決まるものである。上記ではカラーフィルタの透過率特性がＲＧＢフィルタ特性であるものとして説明したが、本実施形態では、当然、撮像素子１０や結像レンズＬＮＳの分光特性を含んだ特性データをＲＧＢフィルタ特性データとして定義している。領域選択部６０は、図示しないユーザインターフェースを介してユーザが選択した領域の画像を、ＲＧＢ３板画像から抽出し、その抽出した画像をマルチバンド推定部７０に出力する。
【０１４１】
マルチバンド推定部７０は、ユーザが選択した領域の画像に対して本実施形態のマルチバンド推定処理を行い、５バンドのマルチバンド画像（成分値Ｒ１（ｉ，ｊ）、Ｒ２（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ１（ｉ，ｊ）、Ｂ２（ｉ，ｊ）、図１４では簡単のため（ｉ，ｊ）を省略する）を出力する。なお、領域選択を行わず、ＲＧＢ３板画像の全体に対してマルチバンド推定処理を行ってもよい。マルチバンドデータ記録部８０は、マルチバンド画像のデータを記録する。
【０１４２】
データ圧縮部９０は、ＲＧＢ３板画像のデータに対して圧縮処理を行う。ＲＧＢデータ記録部１００は、圧縮されたＲＧＢ３板画像データと、カラーフィルタの透過率特性データとを記録する。これらの記録データは、撮影後の事後処理においてマルチバンド推定処理に用いることが可能である。事後処理は、撮像装置の中の画像処理装置２５で行ってもよいし、撮像装置と別体に構成された画像処理装置で行ってもよい。
【０１４３】
図１５に、撮像装置と別体に構成された画像処理装置の構成例を示す。図１５の画像処理装置は、データ記録部２００、データ伸張部２１０、伸張データ記憶部２２０、モニタ画像生成部２３０、モニタ画像表示部２４０、画像データ選択部２５０、選択フレーム記憶部２６０、マルチバンド推定部２７０、マルチバンド処理部２８０を含む。この画像処理装置としては、例えばＰＣ等の情報処理装置が想定される。
【０１４４】
データ記録部２００は、例えば外部記憶装置（例えばメモリカード）により構成され、撮像装置により記録されたＲＧＢ３板画像データ及び透過率特性データを記憶している。データ伸張部２１０は、撮像装置により圧縮されたＲＧＢ３板画像データを伸張する処理を行う。伸張データ記憶部２２０は、伸張されたＲＧＢ３板画像データを記憶する。
【０１４５】
モニタ画像生成部２３０は、ＲＧＢ３板画像データからモニタ表示用の画像を生成する。モニタ表示部２４０は、そのモニタ表示用の画像をモニタに表示する。画像データ選択部２５０は、図示しないユーザインターフェースを介してユーザ（操作者）が選択したフレームのＩＤを、伸張データ記憶部２２０に出力する。伸張データ記憶部２２０は、複数のＲＧＢ３板画像（複数の静止画像、又は動画像）の中から、選択フレームの画像を出力する。選択フレーム記憶部２６０は、選択フレームの画像を記憶する。
【０１４６】
マルチバンド推定部２７０は、選択フレームの画像（画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ））と、カラーフィルタの透過率特性ＦＲ（λ）、ＦＧ（λ）、ＦＢ（λ）とに基づいて、マルチバンド画像ＩＲ（ｉ，ｊ）、ＩＬ（ｉ，ｊ）を推定する処理を行う。ＩＲ（ｉ，ｊ）、ＩＬ（ｉ，ｊ）は、それぞれ右瞳、左瞳を通過した被写体像に対応する。マルチバンド処理部２８０は、マルチバンド画像ＩＲ（ｉ，ｊ）、ＩＬ（ｉ，ｊ）を用いて種々の応用処理を行う。マルチバンド処理部２８０では、瞳の分離やマルチバンドの色成分などの多次元の情報を利用して、多様な処理を実現可能である。
【０１４７】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項及び効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またマルチバンド推定部、画像処理装置、撮像光学系、撮像装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１４８】
１０  撮像素子、２０  撮像処理部、２５  画像処理装置、３０  ＲＧＢ画像生成部、
４０  モニタ表示部、５０  ＲＧＢフィルタ特性データ記録部、６０  領域選択部、
７０  マルチバンド推定部、８０  マルチバンドデータ記録部、９０  データ圧縮部、
１００  ＲＧＢデータ記録部、２００  データ記録部、２１０  データ伸張部、
２２０  伸張データ記憶部、２３０  モニタ画像生成部、２４０  モニタ画像表示部、
２５０  画像データ選択部、２６０  選択フレーム記憶部、
２７０  マルチバンド推定部、２８０  マルチバンド処理部、
Ｂ，Ｇ，Ｒ  画素値、ＢＤ１〜ＢＤ５  第１〜第５バンド、
ＦＢ，ＦＧ，ＦＲ  第１〜第３透過率特性、ＦＬ１  右瞳フィルタ、
ＦＬ２  左瞳フィルタ、ＦＬＴ  光学フィルタ、ＩＬ，ＩＲ  被写体像、
ＬＮＳ  結像レンズ、ＰＤ  デフォーカス位置、ＰＦ  フォーカス位置、
ｂ（１），ｂ（２）  第１、第２青色成分値、ｇ  緑色成分値、
ｒ（１），ｒ（２）  第１、第２赤色成分値、ｋＢ１／ｋＢ２  ゲイン比、λ  波長
【図１】
2013157729.tif 000003
【図２】
2013157729.tif 000004
【図３】
2013157729.tif 000005
【図４】
2013157729.tif 000006
【図５】
2013157729.tif 000007
【図６】
2013157729.tif 000008
【図７】
2013157729.tif 000009
【図８】
2013157729.tif 000010
【図９】
2013157729.tif 000011
【図１０】
2013157729.tif 000012
【図１１】
2013157729.tif 000013
【図１２】
2013157729.tif 000014
【図１３】
2013157729.tif 000015
【図１４】
2013157729.tif 000016
【図１５】
2013157729.tif 000017