(57)【要約】      （修正有）【課題】空間的又は時間的な画素値の特性に依存しないノイズ低減処理が可能な画像処理装置、撮像装置及び画像処理方法等を提供する。【解決手段】画像処理装置は、第１〜第３透過率特性を有する第１〜第３色フィルタを含む撮像素子によって撮像された画像を取得する画像取得部と、第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、画像を構成する第１〜第３色の画素値に基づいて第１〜第５バンドの成分値｛ｂＲＢ，ｂＬＢ，ｂＬＧ，ｇＧ，ｒＲＧ，ｒＲＲ，ｒＬＲ｝を推定するマルチバンド推定部と、該第１〜第５バンドの成分値から第１〜第３色の画素値｛Ｂ’，Ｇ’，Ｒ’｝を再構成する処理を、ノイズ低減処理として行うノイズ低減処理部と、を含む。【選択図】図１
2013187711.tif 000002
【特許請求の範囲】
【請求項１】
第１透過率特性を有する第１色フィルタと第２透過率特性を有する第２色フィルタと第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得する画像取得部と、
前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定するマルチバンド推定部と、
前記第１〜第５バンドの成分値から前記第１〜第３色の画素値を再構成する処理を、前記画像のノイズを低減する処理として行うノイズ低減処理部と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１において、
前記マルチバンド推定部は、
前記第１透過率特性の非重なり部分に対応する前記第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する前記第２バンドと、前記第２透過率特性の非重なり部分に対応する前記第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する前記第４バンドと、前記第３透過率特性の非重なり部分に対応する前記第５バンドとを設定することを特徴とする画像処理装置。
【請求項３】
請求項２において、
前記ノイズ低減処理部は、
前記第１、第２バンドの成分値を加算する処理を前記第１色の画素値を再構成する処理として行い、前記第２〜第４バンドの成分値を加算する処理を前記第２色の画素値を再構成する処理として行い、前記第４、第５バンドの成分値を加算する処理を前記第３色の画素値を再構成する処理として行うことを特徴とする画像処理装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記ノイズ低減処理部は、
前記第１〜第５バンドの成分値に対してベクトル量子化処理を行い、前記ベクトル量子化処理された前記第１〜第５バンドの成分値から前記第１〜第３色の画素値を再構成する処理を行うことを特徴とする画像処理装置。
【請求項５】
請求項４において、
前記ノイズ低減処理部は、
前記第１〜第５バンドの成分値で構成されるベクトルが取り得る組み合わせ数を、前記第１〜第３色の画素値で構成されるベクトルが取り得る組み合わせ数に量子化する処理を、前記ベクトル量子化処理として行うことを特徴とする画像処理装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記マルチバンド推定部は、
前記第１、第２バンドの成分値を加算した値である前記第１色の画素値と、前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値とに基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第３、第４バンドの成分値を加算した値である第１加算値との間の関係式を求め、
前記関係式に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを推定することを特徴とする画像処理装置。
【請求項７】
請求項６において、
前記マルチバンド推定部は、
前記第１バンドの成分値を未知数として前記関係式を求め、
前記関係式で表した前記第１、第２バンドの成分値及び前記第１加算値と、前記第１、第２色の画素値との間の誤差を表す誤差評価値を求め、
前記誤差評価値を最小にする前記未知数を決定し、
決定した前記未知数及び前記関係式に基づいて、前記第１、第２バンドの成分値及び前記第１加算値を決定することを特徴とする画像処理装置。
【請求項８】
請求項６又は７において、
前記マルチバンド推定部は、
前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値と、前記第４、第５バンドの成分値を加算した値である前記第３色の画素値とに基づいて、前記第２、第３バンドの成分値を加算した値である前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値との間の関係式を求め、
前記関係式に基づいて、前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値とを推定し、
前記第１加算値と前記第４バンドの成分値から、又は前記第２加算値と前記第２バンドの成分値から前記第３バンドの成分値を求めることを特徴とする画像処理装置。
【請求項９】
請求項１乃至８のいずれかにおいて、
前記マルチバンド推定部は、
前記第１、第２色フィルタの透過率特性に基づいて、前記第１色の画素値と前第２色の画素値との間の相対的なゲイン比を補正し、補正後の前記第１、第２色の画素値を用いて前記第１〜第５バンドの成分値を推定することを特徴とする画像処理装置。
【請求項１０】
請求項９において、
前記マルチバンド推定部は、
前記第２バンドでの前記第２色フィルタの透過率と、前記第２バンドでの前記第１色フィルタの透過率との比を、前記第１色の画素値に乗じて、前記ゲイン比を補正することを特徴とする画像処理装置。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記撮像素子には、撮像光学系の瞳を第１瞳と第２瞳に分割する光学フィルタを透過した光が結像され、
前記第１瞳は、前記第１、第２バンドの一方と、前記第３バンドと、前記第４、第５バンドの一方とを透過し、
前記第２瞳は、前記第１、第２バンドの他方と、前記第３バンドと、前記第４、第５バンドの他方とを透過し、
前記マルチバンド推定部は、
前記第１瞳及び前記第２瞳の透過光が撮像された前記画像に基づいて、前記第１〜第５バンドの成分値を推定することを特徴とする画像処理装置。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
前記第１〜第３色は、それぞれ青色、緑色、赤色であり、
前記マルチバンド推定部は、
前記第１〜第５バンドの成分値を、それぞれ第１青色成分値、第２青色成分値、緑色成分値、第１赤色成分値、第２赤色成分値として求めることを特徴とする画像処理装置。
【請求項１３】
請求項１乃至１２のいずれかに記載された画像処理装置と、
前記撮像素子と、
を含むことを特徴とする撮像装置。
【請求項１４】
請求項１１に記載された画像処理装置と、
前記撮像素子と、
前記光学フィルタが設けられた前記撮像光学系と、
を含むことを特徴とする撮像装置。
【請求項１５】
第１透過率特性を有する第１色フィルタと第２透過率特性を有する第２色フィルタと第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得し、
前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定し、
前記第１〜第５バンドの成分値から前記第１〜第３色の画素値を再構成する処理を、前記画像のノイズを低減する処理として行うことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置及び画像処理方法等に関する。
【背景技術】
【０００２】
カメラ、顕微鏡、内視鏡などの撮影装置のデジタル化により、各種撮像機能の向上・拡張には目覚しいものがある。ノイズ低減処理もその一つであり、従来から種々のノイズ低減処理が提案されている（例えば特許文献１、２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２３１４４４号公報
【特許文献２】特開２００２−１５８８５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来から提案されているノイズ低減処理の多くが画素値の空間的又は時間的な特性を利用した手法であるため、ノイズ低減処理により画質が低下するという課題がある。
【０００５】
例えば空間的な特性を利用した手法では、適応的フィルタリング処理や、類似する部分画像を加算する処理などが代表的である。しかしながら、このような手法によりノイズ低減効果を得ようとすると、細かいテクスチャ情報をつぶしてしまったり、高周波成分を低減させてしまったりするなど、解像劣化とノイズ低減効果がトレードオフとなり、ノイズ低減効果には自ずと限界がある。
【０００６】
また、時間的な特性を利用した手法では、連続撮影した複数枚の画像を合成し、加算効果によりノイズ低減を向上させる手法が代表的である。しかしながら、この手法では、複数枚の画像を撮影するため、被写体が動く場合や手振れにより画像がぶれる場合には、画像間で同一被写体像を位置合わせすることが必須であり、その位置合わせの精度が、合成画像の品質低下に大きく影響する。
【０００７】
本発明の幾つかの態様によれば、空間的又は時間的な画素値の特性に依存しないノイズ低減処理が可能な画像処理装置、撮像装置及び画像処理方法等を提供できる。
【課題を解決するための手段】
【０００８】
本発明の一態様は、第１透過率特性を有する第１色フィルタと第２透過率特性を有する第２色フィルタと第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得する画像取得部と、前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定するマルチバンド推定部と、前記第１〜第５バンドの成分値から前記第１〜第３色の画素値を再構成する処理を、前記画像のノイズを低減する処理として行うノイズ低減処理部と、を含む画像処理装置に関係する。
【０００９】
本発明の一態様によれば、第１〜第３色の画素値に基づいて第１〜第５バンドの成分値が推定され、その第１〜第５バンドの成分値から第１〜第３色の画素値を再構成する処理が、画像のノイズを低減する処理として行われる。これにより、空間的又は時間的な画素値の特性に依存しないノイズ低減処理を行うことが可能になる。
【００１０】
また本発明の一態様では、前記マルチバンド推定部は、前記第１透過率特性の非重なり部分に対応する前記第１バンドと、前記第１透過率特性と前記第２透過率特性との重なり部分に対応する前記第２バンドと、前記第２透過率特性の非重なり部分に対応する前記第３バンドと、前記第２透過率特性と前記第３透過率特性との重なり部分に対応する前記第４バンドと、前記第３透過率特性の非重なり部分に対応する前記第５バンドとを設定してもよい。
【００１１】
また本発明の一態様では、前記ノイズ低減処理部は、前記第１、第２バンドの成分値を加算する処理を前記第１色の画素値を再構成する処理として行い、前記第２〜第４バンドの成分値を加算する処理を前記第２色の画素値を再構成する処理として行い、前記第４、第５バンドの成分値を加算する処理を前記第３色の画素値を再構成する処理として行ってもよい。
【００１２】
また本発明の一態様では、前記ノイズ低減処理部は、前記第１〜第５バンドの成分値に対してベクトル量子化処理を行い、前記ベクトル量子化処理された前記第１〜第５バンドの成分値から前記第１〜第３色の画素値を再構成する処理を行ってもよい。
【００１３】
また本発明の一態様では、前記ノイズ低減処理部は、前記第１〜第５バンドの成分値で構成されるベクトルが取り得る組み合わせ数を、前記第１〜第３色の画素値で構成されるベクトルが取り得る組み合わせ数に量子化する処理を、前記ベクトル量子化処理として行ってもよい。
【００１４】
また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２バンドの成分値を加算した値である前記第１色の画素値と、前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値とに基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第３、第４バンドの成分値を加算した値である第１加算値との間の関係式を求め、前記関係式に基づいて、前記第１バンドの成分値と、前記第２バンドの成分値と、前記第１加算値とを推定してもよい。
【００１５】
また本発明の一態様では、前記マルチバンド推定部は、前記第１バンドの成分値を未知数として前記関係式を求め、前記関係式で表した前記第１、第２バンドの成分値及び前記第１加算値と、前記第１、第２色の画素値との間の誤差を表す誤差評価値を求め、前記誤差評価値を最小にする前記未知数を決定し、決定した前記未知数及び前記関係式に基づいて、前記第１、第２バンドの成分値及び前記第１加算値を決定してもよい。
【００１６】
また本発明の一態様では、前記マルチバンド推定部は、前記第２〜第４バンドの成分値を加算した値である前記第２色の画素値と、前記第４、第５バンドの成分値を加算した値である前記第３色の画素値とに基づいて、前記第２、第３バンドの成分値を加算した値である前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値との間の関係式を求め、前記関係式に基づいて、前記第２加算値と、前記第４バンドの成分値と、前記第５バンドの成分値とを推定し、前記第１加算値と前記第４バンドの成分値から、又は前記第２加算値と前記第２バンドの成分値から前記第３バンドの成分値を求めてもよい。
【００１７】
また本発明の一態様では、前記マルチバンド推定部は、前記第１、第２色フィルタの透過率特性に基づいて、前記第１色の画素値と前第２色の画素値との間の相対的なゲイン比を補正し、補正後の前記第１、第２色の画素値を用いて前記第１〜第５バンドの成分値を推定してもよい。
【００１８】
また本発明の一態様では、前記マルチバンド推定部は、前記第２バンドでの前記第２色フィルタの透過率と、前記第２バンドでの前記第１色フィルタの透過率との比を、前記第１色の画素値に乗じて、前記ゲイン比を補正してもよい。
【００１９】
また本発明の一態様では、前記撮像素子には、撮像光学系の瞳を第１瞳と第２瞳に分割する光学フィルタを透過した光が結像され、前記第１瞳は、前記第１、第２バンドの一方と、前記第３バンドと、前記第４、第５バンドの一方とを透過し、前記第２瞳は、前記第１、第２バンドの他方と、前記第３バンドと、前記第４、第５バンドの他方とを透過し、前記マルチバンド推定部は、前記第１瞳及び前記第２瞳の透過光が撮像された前記画像に基づいて、前記第１〜第５バンドの成分値を推定してもよい。
【００２０】
また本発明の一態様では、前記第１〜第３色は、それぞれ青色、緑色、赤色であり、前記マルチバンド推定部は、前記第１〜第５バンドの成分値を、それぞれ第１青色成分値、第２青色成分値、緑色成分値、第１赤色成分値、第２赤色成分値として求めてもよい。
【００２１】
また本発明の他の態様は、上記のいずれかに記載された画像処理装置と、前記撮像素子と、を含む撮像装置に関係する。
【００２２】
また本発明の更に他の態様は、上記のいずれかに記載された画像処理装置と、前記撮像素子と、前記光学フィルタが設けられた前記撮像光学系と、を含む撮像装置に関係する。
【００２３】
また本発明の更に他の態様は、第１透過率特性を有する第１色フィルタと第２透過率特性を有する第２色フィルタと第３透過率特性を有する第３色フィルタとを含む撮像素子によって撮像された画像を取得し、前記第１〜第３透過率特性の重なり部分及び非重なり部分に対応する第１〜第５バンドを設定し、前記画像を構成する第１〜第３色の画素値に基づいて前記第１〜第５バンドの成分値を推定し、前記第１〜第５バンドの成分値から前記第１〜第３色の画素値を再構成する処理を、前記画像のノイズを低減する処理として行う画像処理方法に関係する。
【図面の簡単な説明】
【００２４】
【図１】図１（Ａ）〜図１（Ｄ）は、加算処理によるノイズ低減処理についての説明図。
【図２】ダイナミックレンジの拡大についての説明図。
【図３】ベクトル量子化処理によるノイズ低減処理についての説明図。
【図４】ベクトル量子化処理によるノイズ低減処理についての説明図。
【図５】量子化エラーの抑制についての説明図。
【図６】ベクトル量子化処理の詳細例についての説明図。
【図７】本実施形態の撮像装置の構成例。
【図８】本実施形態の画像処理装置の構成例。
【図９】バンド分割手法についての説明図。
【図１０】第１のマルチバンド推定処理における未知数推定処理についての説明図。
【図１１】第１のマルチバンド推定処理における未知数推定処理についての説明図。
【図１２】第２のマルチバンド推定処理における撮像装置の基本構成例。
【図１３】第２のマルチバンド推定処理におけるバンド分割手法についての説明図。
【図１４】図１４（Ａ）〜図１４（Ｆ）は、ゲイン補正処理についての説明図。
【図１５】第２のマルチバンド推定処理における未知数推定処理についての説明図。
【図１６】図１６（Ａ）〜図１６（Ｆ）は、ゲイン補正処理についての説明図。
【図１７】第２のマルチバンド推定処理における未知数推定処理についての説明図。
【発明を実施するための形態】
【００２５】
以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。
【００２６】
１．本実施形態の概要
上述のように、従来から提案されているノイズ低減処理の多くが画素値の空間的（位置的）又は時間的な特性を利用した手法であり、ノイズ低減処理により画質が低下してしまう。このような画質への影響をなるべく受けないノイズ低減手法が求められるが、未だ効果的な手法の提案は見当たらない。
【００２７】
例えば特許文献１には、原画像を空間的に平均化して平均画像を生成し、原画像と平均画像との差分を抽出して差分データを生成し、その差分データをベクトル量子化してベクトル量子化コードを生成し、そのベクトル量子化コードと平均画像から原画像の複合化を行う手法が開示されている。
【００２８】
特許文献１では、従来の手法とは異なるベクトル量子化により、ノイズ低減を効果的に図る提案がなされている。このベクトル量子化では、同一画像内の空間的な画素値パターンを量子化するので、解像劣化や、時間軸のぶれ補正による画質劣化には、基本的に影響されない。しかしながら、量子化するための代表ベクトル数が少なくなると、通常のランダムノイズは減少するものの量子化ノイズが拡大し、画質を維持できなくなるという課題がある。
【００２９】
そこで本実施形態では、ＲＧＢの３原色カラーフィルタを有する撮像素子で撮像を行い、撮像で得られたＲＧＢの画素値に基づいて５バンドの成分値｛ｒ（１），ｒ（２），ｇ，ｂ（１），ｂ（２）｝を推定する。そして、Ｒ画素値を構成する成分値｛ｒ（１），ｒ（２）｝、Ｇ画素値を構成する成分値｛ｒ（２），ｇ，ｂ（１）｝、Ｂ画素値を構成する成分値｛ｂ（１），ｂ（２）｝をそれぞれ加算処理してＲＧＢの画素値を再構成することにより、撮像画像のランダムノイズを低減する。
【００３０】
このようにすれば、位置の異なる画素値の加算や、撮像タイミングの異なる画素値の加算を行わないため、画素値の空間的又は時間的な特性に依存しないノイズ低減処理が可能になる。これにより、空間的な加算による高周波成分の低減や、被写体が動く場合或いは手振れによる画質劣化の影響を受けずに、撮像画像のランダムノイズを低減できる。
【００３１】
なお、特許文献２には、マルチバンド画像からスペクトル情報を取得し、そのスペクトル情報の主成分を分析し、その分析によって得られる主成分ベクトルの和としてマルチバンド画像を再構成し、その再構成されたマルチバンド画像と元のマルチバンド画像とを所定の重み付けをして合成し、高精度且つＳ／Ｎの良いマルチバンド画像を取得する手法が開示されている。
【００３２】
しかしながら、特許文献２では、ＲＧＢ３原色の画像からマルチバンド画像を推定し、そのマルチバンド画像からＲＧＢ３原色の画像を再構成することによりＳ／Ｎを改善する手法については無言である。
【００３３】
２．ノイズ低減処理
２．１．加算処理によるノイズ低減処理
次に、本実施形態のノイズ低減処理について詳細に説明する。以下では、後述する第２のマルチバンド推定処理で得られたバンド成分値を用いてノイズ低減処理を行う場合を例に説明するが、本実施形態は、後述する第１のマルチバンド推定処理で得られたバンド成分に対して適用してもよい。第１のマルチバンド推定処理については図９〜図１１で詳細に後述し、第２のマルチバンド推定処理については図１２〜図１７で詳細に後述する。なお以下では、撮像素子を適宜、撮像センサとも呼ぶ。また、以下で用いる｛ＦＲ，ＦＧ，ＦＢ｝は波長λの関数であるが、表記を簡単にするために波長λを省略する。
【００３４】
図１（Ａ）の青色成分｛ｂＲＢ，ｂＬＢ｝、図１（Ｂ）の緑色成分｛ｂＬＧ，ｇＧ，ｒＲＧ｝、図１（Ｃ）の赤色成分｛ｒＲＲ，ｒＬＲ｝は、撮像で得られたＲＧＢの画素値｛Ｒ，Ｇ，Ｂ｝から、第２のマルチバンド推定処理により求めたバンド成分値である。図１３等で後述するように、第２のマルチバンド推定処理では、第１〜第５バンドＢＤ１〜ＢＤ５の成分値が推定される。｛ｂＲＢ，ｂＬＢ｝は、撮像素子の青色フィルタ（分光特性ＦＢ）を通過した第１、第２バンドの成分値であり、青色の画素値Ｂを構成する成分値である。｛ｂＬＧ，ｇＧ，ｒＲＧ｝は、撮像素子の緑色フィルタ（分光特性ＦＧ）を通過した第２〜第４バンドの成分値であり、緑色の画素値Ｇを構成する成分値である。｛ｒＲＲ，ｒＬＲ｝は、撮像素子の赤色フィルタ（分光特性ＦＲ）を通過した第４、第５バンドの成分値であり、赤色の画素値Ｒを構成する成分値である。
【００３５】
図１（Ａ）〜図１（Ｃ）に示すように、青色成分｛ｂＲＢ，ｂＬＢ｝、緑色成分｛ｂＬＧ，ｇＧ，ｒＲＧ｝、赤色成分｛ｒＲＲ，ｒＬＲ｝には、ランダムノイズ成分｛ｎＲ，ｎＧ，ｎＲ｝が重畳されている。このランダムノイズ成分｛ｎＲ，ｎＧ，ｎＲ｝は、撮像素子から信号を出力する時点で重畳されるものであり、例えば画素の蓄積電荷をアナログ信号として読み出す回路が発生するノイズや、画素における光電変換のバラツキによる量子変換ノイズなどである。
【００３６】
下式（１）に示すように、各色ごとに個々の成分を加算し、改めて青色成分Ｂ’と緑色成分Ｇ’と赤色成分Ｒ’とを求める。ランダムノイズ成分は、加算効果により各色成分に対して相対的に減少するため、ノイズ低減効果が見込まれる。
Ｂ’＝ｂＲＢ＋ｂＬＢ，
Ｇ’＝ｂＬＧ＋ｇＧ＋ｒＲＧ，
Ｒ’＝ｒＲＲ＋ｒＬＲ      （１）
【００３７】
例えば、撮像した画素値Ｒとしては、光学的にバンド成分を加算した信号｛ｒＲＲ＋ｒＬＲ｝が得られている。そのため、光電変換後に付加されるランダムノイズ成分ｎＲは、各バンド成分について同位相で画素値Ｒに重畳されてしまう。この画素値Ｒでそのまま画像を構成すれば、当然ながらランダムノイズ成分ｎＲをもった画像が構成される。一方、本実施形態では、バンド成分値｛ｒＲＲ，ｒＬＲ｝を、独立した画素値である｛Ｒ’，Ｇ’｝を用いて推定し、分離する。そのため、バンド成分値｛ｒＲＲ，ｒＬＲ｝のノイズ成分は独立した確率変数となり、バンド成分の加算値｛ｒＲＲ＋ｒＬＲ｝のノイズ成分ｎＲ’は、独立した確率変数の加算値となるので、元のノイズ成分ｎＲよりも分散が小さくなる。
【００３８】
また、以上のノイズ低減処理を、後述する第２のマルチバンド推定処理に適用した場合、ダイナミックレンジを拡大する効果が得られる。即ち、図１２に示すように、左右の瞳で異なる波長帯域に分割する光学フィルタＲＬＴを用いると、撮像センサの各画素が受光する光量は、結像レンズＬＮＳを透過する光量よりも減ることになる。逆に言えば、光学フィルタＦＬＴは減光フィルタの作用をすることになる。そのため、図２のＡ１に示すように、光学フィルタＦＬＴが無い場合には、結像レンズＬＮＳが透過する光量がＬ０となったときに画素の受光量がＭａｘ（画素の飽和光量、画素が受光可能な光量）に達するが、Ａ２に示すように、光学フィルタＦＬＴが有る場合には、結像レンズＬＮＳが透過する光量がＬ１（Ｌ１＞Ｌ０）となるまで画素の受光量がＭａｘに達しない。つまり、画素が受光可能な光量Ｍａｘ（飽和光量）に達するときの、結像レンズＬＮＳが透過する光量を、Ｌ０からＬ１に拡大できる。言い換えれば、光学フィルタＦＬＴがない場合に比べて、より明るい被写体を撮像できる。本実施形態のノイズ低減処理と組み合わせると、撮影できる被写体の明るさのレンジが広くなるとともに画像のノイズ（Ｓ／Ｎ）が低減されるので、結果的にダイナミックレンジを拡大する効果が得られる。
【００３９】
２．２．ベクトル量子化によるノイズ低減処理
本実施形態では、上記の加算処理だけでなく、さらにベクトル量子化によるノイズ低減処理を行ってもよい。
【００４０】
具体的には、マルチバンド推定前の撮像画像の画素値をＢ（青色）、Ｇ（緑色）、Ｒ（赤色）とし、これら画素値の量子化ステップ数をＮ（Ｎは２以上の自然数）とすると、各画素値は下式（２）の範囲を取り得る。量子化ステップ数Ｎは、撮像センサの飽和値以下に設定される範囲（画素値の最小値から最大値までの範囲）を量子化するステップ数であり、例えば８ビット画像の場合にはＮ＝２５６である。
０≦Ｂ＜Ｎ，０≦Ｇ＜Ｎ，０≦Ｒ＜Ｎ  （２）
【００４１】
なお、ここではＲ、Ｇ、Ｂの量子化ステップ数Ｎは一般的に同一とする方が扱いやすいので共通の値としているが、意図的に各色ごとに量子化ステップ数Ｎを異ならせても構わない。
【００４２】
画素値Ｂ、Ｒは、それぞれ２成分｛ｂＲＢ，ｂＬＢ｝、｛ｒＲＲ，ｒＬＲ｝を加算した値であると定義しているので、成分ｂＲＢ、ｂＬＢ、ｒＲＲ、ｒＬＲを独立した値であるとすると、ベクトル量子化前の各成分は下式（３）の範囲を取り得る。
０≦ｂＲＢ＜Ｎ，０≦ｂＬＢ＜Ｎ，０≦ｒＲＲ＜Ｎ，０≦ｒＬＲ＜Ｎ  （３）
【００４３】
画素値Ｇは、３成分｛ｂＬＧ，ｇＧ，ｒＲＧ｝を加算した値であると定義しているので、成分ｂＬＧ，ｇＧ，ｒＲＧを独立した値であるとすると、ベクトル量子化前の各成分は下式（４）の範囲を取り得る。
０≦ｂＬＧ＜Ｎ，０≦ｒＲＧ＜Ｎ，０≦ｇＧ＜Ｎ  （４）
【００４４】
マルチバンド推定処理により求められた成分値｛ｂＲＢ，ｂＬＢ，ｂＬＧ，ｇＧ，ｒＲＧ，ｒＲＲ，ｒＬＲ｝（各画素における成分値）の組み合わせパターンを、７つの成分から構成される７次元ベクトル（マルチバンドベクトル）Φ（７）＝（ｂＲＢ，ｂＬＢ，ｂＬＧ，ｇＧ，ｒＲＧ，ｒＲＲ，ｒＬＲ）と考える。各成分値の量子化ステップ数をＮとすれば、上式（３）、（４）の範囲を取り得るので、７次元ベクトルΦ（７）が取り得るベクトルの数（組み合わせの数）は、Ｎ７となる。
【００４５】
また、ノイズ低減処理後の最終的に取得したい３原色の画素値｛Ｒ’，Ｇ’，Ｂ’｝の組み合わせパターンを、３つの成分から構成される３次元ベクトルΦ（３）と考える。各成分値の量子化ステップ数をＮ（例えば、２５６階調）とすれば、各成分値は下式（５）の範囲を取り得るので、３次元ベクトルΦ（３）＝（Ｒ’，Ｇ’，Ｂ’）が取り得るベクトルの数（組み合わせの数）は、Ｎ３となる。
０≦Ｂ’＜Ｎ，０≦Ｇ’＜Ｎ，０≦Ｒ’＜Ｎ  （５）
【００４６】
即ち、本実施形態のベクトル量子化処理は、パターン数がＮ７である７次元ベクトルΦ（７）を、パターン数がＮ３である３次元ベクトルΦ（３）に変換する処理である。
【００４７】
本実施形態のベクトル量子化処理では、まず、パターン数Ｎ７の７次元ベクトルΦ（７）の生起確率分布を求め、その生起確率分布に基づいてパターン数Ｎ３の代表ベクトルΦ（７）ｍを７次元空間において設定する。ここで、ｍ＝０，１，２，・・・，（Ｎ３−１）である。Ｎ３パターンの代表ベクトルΦ（７）ｍはＮ３パターンの３次元ベクトルΦ（３）に対応しており、代表ベクトルΦ（７）ｍの成分値を加算して画素値｛Ｒ’，Ｇ’，Ｂ’｝を求めた場合、１つの代表ベクトルΦ（７）ｍに１組の画素値｛Ｒ’，Ｇ’，Ｂ’｝が対応する。１つの代表ベクトルΦ（７）ｍは、３次元空間での１組の画素値｛Ｒ’，Ｇ’，Ｂ’｝となればよいので、７次元空間では複数のベクトルに対応していてもよい。
【００４８】
図３に示すように、ベクトル（ｒＲ，ｒＬ）を例にとると、ベクトル（ｒＲ，ｒＬ）のノイズ発生範囲ＮＺに対して代表ベクトルΦｍを設定する。より具体的には、図４に示すように、ノイズ発生範囲ＮＺＫ−１、ＮＺＫａ、ＮＺＫｂ、ＮＺＫ＋１に対して、それぞれ代表ベクトルΦＫ−１、ΦＫａ、ΦＫｂ、ΦＫ＋１を設定する（Ｋは、Ｋ＜Ｎの自然数）。ΦＫ−１は、ベクトルの成分値を加算すると画素値ＲＫ−１となるベクトルであり、ΦＫａ、ΦＫｂは、ベクトルの成分値を加算すると画素値ＲＫとなるベクトルであり、ΦＫ＋１は、ベクトルの成分値を加算すると画素値ＲＫ＋１となるベクトルである。２次元空間での２つの代表ベクトルΦＫａ、ΦＫｂは、１次元空間での１つの画素値ＲＫに対応するので、上述のように代表ベクトルΦＫａ、ΦＫｂを１次元空間での１つの代表ベクトルとして扱う。
【００４９】
次に、各画素の７次元ベクトルΦ（７）を、それに対応する代表ベクトルΦ（７）ｍに置き換え、ベクトル量子化を行う。次に、置き換えた代表ベクトルΦ（７）ｍの成分｛ｂＲＢ，ｂＬＢ，ｂＬＧ，ｇＧ，ｒＲＧ，ｒＲＲ，ｒＬＲ｝から、各画素における３原色の画素値｛Ｒ’，Ｇ’，Ｂ’｝を求める。具体的には、青色成分Ｂ’をＢ’＝ｂＲＢ＋ｂＬＢにより求め、緑色成分Ｇ’をＧ’＝ｂＬＧ＋ｇＧ＋ｒＲＧにより求め、赤色成分Ｒ’をＲ’＝ｒＲＲ＋ｒＬＲにより求める。例えば、図４において４×４個のベクトル（ｒＲ，ｒＬ）が存在しているとする。代表ベクトルΦＫａ、ΦＫｂは１つの画素値ＲＫに対応するので、４×４個のベクトル（ｒＲ，ｒＬ）は、３つの画素値ＲＫ−１、ＲＫ、ＲＫ＋１に量子化されることになる。このような量子化を、Ｎ７個のベクトルΦ（７）が結果的にＮ３個のベクトルΦ（３）となるように行う。
【００５０】
以上のようにしてベクトル量子化を行うことにより、画素値を帯域分割した成分値｛ｂＲＢ，ｂＬＢ，ｂＬＧ，ｇＧ，ｒＲＧ，ｒＲＲ，ｒＬＲ｝に重畳されたノイズ成分を低減できる。これにより、その成分値から求める３原色の画素値｛Ｒ’，Ｇ’，Ｂ’｝のノイズを低減することができる。
【００５１】
また、成分値をベクトル量子化した後に画素値を求めることで、成分値から画素値を求めた後に画素値を量子化する場合に比べて、量子化エラーを低減できる。具体的には、図５に示すように、マルチバンド撮影で得られた成分値｛ｒＲ，ｒＬ｝を、ベクトル量子化せずに加算し、画素値Ｒ’を求めたとする。この場合、例えばノイズ発生範囲ＮＺＫａには、画素値Ｒ’の量子化幅よりも外側の範囲ＮＺ１、ＮＺ２（ハッチングで示す範囲）が存在する。この範囲ＮＺ１、ＮＺ２に属する成分値｛ｒＲ，ｒＬ｝は、ベクトルΦＫａにノイズが重畳されて発生した成分値であるから、本来、その加算値はＲｋとなるべきである。しかしながら、範囲ＮＺ１、ＮＺ２に属する成分値｛ｒＲ，ｒＬ｝は、画素値ＲＫ＋１の量子化範囲に含まれるため、成分値｛ｒＲ，ｒＬ｝の加算値を量子化すると画素値ＲＫ＋１となり、真値とは異なるエラーとなってしまう。
【００５２】
この点、本実施形態によれば、画素値からマルチバンド成分値を一旦推定し、その成分値に対してベクトル量子化できるので、図４で説明したように範囲ＮＺ１、ＮＺ２の成分値を真値に量子化できる。例えば図４におけるベクトル（ｒＲ，ｒＬ）は、その周りのノイズ成分が量子化されて得られたものである。そして、更にベクトル（ｒＲ，ｒＬ）を代表ベクトルに量子化することにより、ノイズ発生範囲のベクトルが代表ベクトルに集約される。これにより、ノイズ発生範囲のベクトルが真値に置き換えられるため、図５で説明したような量子化エラーを抑制できる。
【００５３】
２．３．ベクトル量子化処理の詳細例
上記のベクトル量子化処理には、種々のベクトル量子化手法を適用することが可能である。以下では、一例として、比較的処理負荷が軽いベクトル量子化処理について説明する。
【００５４】
まず下式（６）に示すように、各画素（ｉ，ｊ）の７次元ベクトルΦｉｊ（７）を画像内で平均し、平均ベクトルを求める。ここで、ｉ，ｊは自然数であり、ｉは水平走査方向における画素の位置（座標）であり、ｊは垂直走査方向における画素の位置（座標）である。また、Ｈは水平走査方向における画像の総画素数であり、Ｖは垂直走査方向における画像の総画素数である。平均ベクトルは、画像内の全ての画素から求めてもよいし、適当に選択した画素から求めてもよい。
【数１】
2013187711.tif 000003
【００５５】
次に、下式（７）に示すように、各画素（ｉ，ｊ）の７次元ベクトルΦｉｊ（７）と平均ベクトルとの差分ベクトルδｉｊを求める。バンド成分値｛ｂＲＢ，ｂＬＢ，ｂＬＧ，ｇＧ，ｒＲＧ，ｒＲＲ，ｒＬＲ｝に対応する差分ベクトルδｉｊの成分を、それぞれ｛δｉｊ（ｂＲＢ），δｉｊ（ｂＬＢ），δｉｊ（ｂＬＧ），δｉｊ（ｇＧ），δｉｊ（ｒＲＧ），δｉｊ（ｒＲＲ），δｉｊ（ｒＬＲ）｝と表す。これらの成分の量子化ステップ数をＮとし、Ｎ７パターンの差分ベクトルδｉｊが定義できるとする。このＮ７パターンの中からＮ３パターンの代表ベクトルを特定することを考える。
【数２】
2013187711.tif 000004
【００５６】
Ｎ７パターンをＮ３パターンにするためには、７成分｛ｂＲＢ，ｂＬＢ，ｂＬＧ，ｇＧ，ｒＲＧ，ｒＲＲ，ｒＬＲ｝のそれぞれの量子化数をＮからｎ（ｎ＜Ｎ）に減らす必要がある。これら７成分からなるＮ７のパターンをＮ３パターンにするには、下式（８）のようにｎを求める。下式（８）で求めたｎが整数でない場合には、少数点以下を切り捨てればよい。
ｎ７＝Ｎ３  →  ｌｏｇ１０ｎ７＝ｌｏｇ１０Ｎ３  →  ｎ＝１０（３ｌｏｇＮ／７）  （８）
【００５７】
次に、図６に示すように、成分δｉｊ（ｂＲＢ）を確率変数とし、発生確率分布を求める。発生確率分布の最大値（Ｍａｘ値）と最小値（Ｍｉｎ値）の間をｎ個の量子化ステップ数で領域分割する。このとき、各領域の発生確率を同一（又はほぼ同一）のｐとなるように分割する。そして、分割した領域それぞれについて成分δｉｊ（ｂＲＢ）の平均値を求め、その領域の代表値とする。同様に、成分｛δｉｊ（ｂＬＢ），δｉｊ（ｂＬＧ），δｉｊ（ｇＧ），δｉｊ（ｒＲＧ），δｉｊ（ｒＲＲ），δｉｊ（ｒＬＲ）｝についても、領域分割を行い、各領域についての代表値を求める。そして、求めた代表値を成分とするベクトルを、差分ベクトルδｉｊの代表ベクトルとして設定する。
【００５８】
次に、代表ベクトルを用いて、各画素のバンド成分値を量子化する。即ち、各画素の差分ベクトルδｉｊから最もユークリッド距離が近い代表ベクトルを求め、その代表ベクトルを、その差分ベクトルδｉｊの量子化ベクトルに設定する。
【００５９】
２．４．撮像装置
図７に、本実施形態のマルチバンド推定処理及びノイズ低減処理を行う撮像装置の構成例を示す。図７の撮像装置は、結像レンズＬＮＳ、光学フィルタＦＬＴ、撮像素子１０、撮像処理部２０、画像処理装置２５（画像処理部）、モニタ表示部４０を含む。画像処理装置２５は、ＲＧＢ画像生成部３０、ＲＧＢフィルタ特性データ記録部５０、マルチバンド推定部７０、データ圧縮部９０、データ記録部１００を含む。
【００６０】
撮像素子１０は、結像レンズＬＮＳ及び光学フィルタＦＬＴによって結像された被写体を撮像する。光学フィルタＦＬＴは、図１２で後述するように右瞳と左瞳の透過帯域が異なる。撮像処理部２０は、撮像素子１０による撮像動作の制御や、アナログの画素信号をＡ／Ｄ変換する処理などを行う。
【００６１】
ＲＧＢ画像生成部３０は、撮像により得られたＲＧＢベイヤ画像のデモザイキング処理や、高画質化処理などを行い、ＲＧＢ３板画像（画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ））をマルチバンド推定部７０に出力する。ｉ，ｊは、自然数であり、それぞれ画像の水平走査方向、垂直走査方向における位置（座標）を表す。
【００６２】
ＲＧＢフィルタ特性データ記録部５０は、撮像素子１０がもつカラーフィルタの透過率特性（分光特性）ＦＲ、ＦＧ、ＦＢのデータを記憶しており、そのデータをマルチバンド推定部７０に出力する。但し、撮像されるＲＧＢ成分は、厳密にはカラーフィルタのみならず撮像素子１０の分光感度特性や、結像レンズＬＮＳの分光特性によって決まるものである。上記ではカラーフィルタの透過率特性がＲＧＢフィルタ特性であるものとして説明したが、本実施形態では、当然、撮像素子１０や結像レンズＬＮＳの分光特性を含んだ特性データをＲＧＢフィルタ特性データとして定義している。
【００６３】
マルチバンド推定部７０は、ＲＧＢ３板画像に対して本実施形態のマルチバンド推定処理を行い、５バンドのマルチバンド画像（成分値｛ｂＲＢ，ｂＬＢ｝、｛ｂＬＧ，ｇＧ，ｒＲＧ｝、｛ｒＲＲ，ｒＬＲ｝、図７では簡単のため（ｉ，ｊ）を省略する）を出力する。ノイズ低減処理部８０は、成分値｛ｂＲＢ，ｂＬＢ｝、｛ｂＬＧ，ｇＧ，ｒＲＧ｝、｛ｒＲＲ，ｒＬＲ｝に対して本実施形態のノイズ低減処理を行い、ＲＧＢ３板画像（画素値Ｒ’（ｉ，ｊ）、Ｇ’（ｉ，ｊ）、Ｂ’（ｉ，ｊ））を再構成する。モニタ表示部４０は、ノイズ低減処理により得られたＲＧＢ３板画像をモニタ（表示装置）に表示する。
【００６４】
データ圧縮部９０は、ＲＧＢ画像生成部３０からのＲＧＢ３板画像のデータに対して圧縮処理を行う。データ記録部１００は、圧縮されたＲＧＢ３板画像データと、カラーフィルタの透過率特性データとを記録する。これらの記録データは、撮影後の事後処理においてマルチバンド推定処理に用いることが可能である。事後処理は、撮像装置の中の画像処理装置２５で行ってもよいし、撮像装置と別体に構成された画像処理装置で行ってもよい。なお、データ圧縮部９０が、ノイズ低減処理部８０からのＲＧＢ３板画像のデータに対して圧縮処理を行い、データ記録部１００が、そのノイズ低減及び圧縮されたＲＧＢ３板画像データを記録してもよい。
【００６５】
２．５．画像処理装置
図８に、撮像装置と別体に構成された画像処理装置の構成例を示す。図８の画像処理装置は、データ記録部２００、データ伸張部２１０、伸張データ記憶部２２０、モニタ画像生成部２３０、モニタ画像表示部２４０、画像データ選択部２５０、選択フレーム記憶部２６０、マルチバンド推定部２７０、ノイズ低減処理部２７５、画像出力部２８５を含む。この画像処理装置としては、例えばＰＣ等の情報処理装置が想定される。
【００６６】
データ記録部２００は、例えば外部記憶装置（例えばメモリカード）により構成され、撮像装置により記録されたＲＧＢ３板画像データ及び透過率特性データを記憶している。データ伸張部２１０は、撮像装置により圧縮されたＲＧＢ３板画像データを伸張する処理を行う。伸張データ記憶部２２０は、伸張されたＲＧＢ３板画像データを記憶する。
【００６７】
モニタ画像生成部２３０は、ＲＧＢ３板画像データからモニタ表示用の画像を生成する。モニタ画像表示部２４０は、そのモニタ表示用の画像をモニタに表示する。画像データ選択部２５０は、図示しないユーザインターフェースを介してユーザ（操作者）が選択したフレームのＩＤを、伸張データ記憶部２２０に出力する。伸張データ記憶部２２０は、複数のＲＧＢ３板画像（複数の静止画像、又は動画像）の中から、選択フレームの画像を出力する。選択フレーム記憶部２６０は、選択フレームの画像を記憶する。
【００６８】
マルチバンド推定部２７０は、選択フレームの画像（画素値Ｒ（ｉ，ｊ）、Ｇ（ｉ，ｊ）、Ｂ（ｉ，ｊ））と、カラーフィルタの透過率特性ＦＲ、ＦＧ、ＦＢとに基づいて、本実施形態のマルチバンド推定処理を行い、成分値｛ｂＲＢ，ｂＬＢ｝、｛ｂＬＧ，ｇＧ，ｒＲＧ｝、｛ｒＲＲ，ｒＬＲ｝）を出力する。ノイズ低減処理部２７５は、成分値｛ｂＲＢ，ｂＬＢ｝、｛ｂＬＧ，ｇＧ，ｒＲＧ｝、｛ｒＲＲ，ｒＬＲ｝に対して本実施形態のノイズ低減処理を行い、ＲＧＢ３板画像を再構成する。画像出力部２８５は、再構成されたＲＧＢ３板画像を、例えば表示装置やプリンタ等の画像出力装置に出力する。
【００６９】
以上の実施形態によれば、図７に示すように画像処理装置は、画像取得部とマルチバンド推定部とノイズ低減処理部とを含む。画像取得部は、第１透過率特性ＦＢを有する第１色フィルタと第２透過率特性ＦＧを有する第２色フィルタと第３透過率特性ＦＲを有する第３色フィルタとを含む撮像素子１０によって撮像された画像を取得する。図１３等で後述するように、マルチバンド推定部は、第１〜第３透過率特性｛ＦＲ，ＦＧ，ＦＢ｝の重なり部分及び非重なり部分に対応する第１〜第５バンドＢＤ１〜ＢＤ５を設定する。図１４（Ａ）〜図１７等で後述するように、マルチバンド推定部は、画像を構成する第１〜第３色の画素値｛Ｂ，Ｇ，Ｒ｝に基づいて第１〜第５バンドの成分値｛ｂＲＢ，ｂＬＢ，ｂＬＧ，ｇＧ，ｒＲＧ，ｒＲＲ，ｒＬＲ｝を推定する。図１（Ａ）〜図１（Ｄ）等で説明したように、第１〜第５バンドの成分値から第１〜第３色の画素値｛Ｂ’，Ｇ’，Ｒ’｝を再構成する処理を、画像のノイズを低減する処理として行う。
【００７０】
本実施形態では、画像処理装置は、図７に示す撮像装置の中の画像処理装置２５、あるいは図８に示す、撮像装置とは別体に構成された画像処理装置に対応する。また、マルチバンド推定部は、図７のマルチバンド推定部７０、あるいは図８のマルチバンド推定部２７０に対応する。ノイズ低減処理部は、図７のノイズ低減処理部８０、あるいは図８のノイズ低減処理部２７５に対応する。
【００７１】
このようにすれば、第１〜第３色の画素値から第１〜第５バンドの成分値を推定し、その推定値から第１〜第３色の画素値を再構成することにより、画像のノイズを低減することが可能になる。即ち、図１（Ａ）〜図１（Ｄ）等で説明したように、推定によりノイズ成分を各バンドに分離でき、バンド成分値を加算するときにはノイズを加算効果により低下させることができる。これにより、空間的なノイズ低減処理（例えば位置の異なる画素値を平均化する処理）や時間的なノイズ低減処理（例えば撮影フレームが異なる画素値を平均化する処理）を行わずにノイズ低減できるので、例えば空間的なノイズ低減処理による解像度の低下や、時間的なノイズ低減処理による動体追従性の低下等を生じないノイズ低減が可能になる。
【００７２】
また、図２等で説明したように、第２のマルチバンド推定処理と組み合わせた場合には、被写体からの反射光を光学フィルタＦＬＴが減光するため、画素値が飽和する最大の反射光量が増える。これにより、ダイナミックレンジを拡大することが可能になる。
【００７３】
また本実施形態では、図１（Ｄ）等で説明したように、ノイズ低減処理部は、第１、第２バンドの成分値｛ｂＲＢ，ｂＬＢ｝を加算する処理を第１色の画素値Ｂ’を再構成する処理として行い、第２〜第４バンドの成分値｛ｂＬＧ，ｇＧ，ｒＲＧ｝を加算する処理を第２色の画素値Ｇ’を再構成する処理として行い、第４、第５バンドの成分値｛ｒＲＲ，ｒＬＲ｝を加算する処理を第３色の画素値Ｒ’を再構成する処理として行う。
【００７４】
このようにすれば、第１〜第５バンドの成分値｛ｂＲＢ，ｂＬＢ，ｂＬＧ，ｇＧ，ｒＲＧ，ｒＲＲ，ｒＬＲ｝から第１〜第３色の画素値｛Ｂ’，Ｇ’，Ｒ’｝を再構成できる。即ち、図１３等で後述するように、第１〜第５のバンドと第１〜第３色フィルタの透過率特性との対応関係に応じて成分値を加算することにより、第１〜第３色の画素値を再構成することができる。なお、上記では成分値に重み付けをせず単純に加算する場合を例に説明したが、本実施形態の加算処理はこれに限定されず、例えば成分値に対して重み付けをして加算する等の種々の加算処理を適用することが可能である。即ち、成分値の加算処理によりノイズ成分の低減効果が見込まれるような加算処理であればよい。
【００７５】
また本実施形態では、図３〜図６で説明したように、ノイズ低減処理部は、第１〜第５バンドの成分値｛ｂＲＢ，ｂＬＢ，ｂＬＧ，ｇＧ，ｒＲＧ，ｒＲＲ，ｒＬＲ｝に対してベクトル量子化処理を行い、そのベクトル量子化処理された第１〜第５バンドの成分値｛ｂＲＢ，ｂＬＢ，ｂＬＧ，ｇＧ，ｒＲＧ，ｒＲＲ，ｒＬＲ｝から第１〜第３色の画素値｛Ｂ’，Ｇ’，Ｒ’｝を再構成する処理を行う。
【００７６】
より具体的には、ノイズ低減処理部は、第１〜第５バンドの成分値で構成されるベクトルΦ（７）＝（ｂＲＢ，ｂＬＢ，ｂＬＧ，ｇＧ，ｒＲＧ，ｒＲＲ，ｒＬＲ）が取り得る組み合わせ数Ｎ７（パターン数）を、第１〜第３色の画素値で構成されるベクトルΦ（３）＝（Ｒ’，Ｇ’，Ｂ’）が取り得る組み合わせ数Ｎ３に量子化する処理を、ベクトル量子化処理として行う。
【００７７】
このようにすれば、本実施形態では一旦マルチバンド推定を行うため、そのマルチバンド推定で求めた第１〜第５バンドの成分値に対してベクトル量子化を行うことができる。これにより、図５で説明したような量子化エラーを抑制し、より真値に近い第１〜第３色の画素値を再構成することが可能となるので、量子化エラーによるノイズを抑制することができる。
【００７８】
３．第１のマルチバンド推定処理
３．１．バンド分割手法
次に、ＲＧＢ画像から５バンドのマルチバンド画像を推定する処理について詳細に説明する。まず、基本的な処理例である第１のマルチバンド推定処理について説明する。以下ではＲＧＢベイヤ配列の撮像素子を例に説明するが、本実施形態はこれに限定されず、カラーフィルタの透過率特性に重なり部分がある撮像素子でさえあればよい。
【００７９】
本実施形態では、ＲＧＢのベイヤ画像を撮像し、得られたベイヤ画像に対してデモザイキング処理を行ってＲＧＢ毎の３画像を生成する。デモザイキング処理により得られた各画素の赤色、緑色、青色の画素値をそれぞれＲ、Ｇ、Ｂとし、画素値Ｒ、Ｇ、Ｂと５バンドの波長成分ｂ（１）、ｂ（２）、ｇ、ｒ（１）、ｒ（２）との関係を下式（９）に示すようにモデル化して考える。
Ｂ＝ｂ（１）＋ｂ（２），
Ｇ＝ｒ（１）＋ｇ＋ｂ（２），
Ｒ＝ｒ（１）＋ｒ（２）      （９）
【００８０】
図９に示すように、５バンドの成分ｂ（１）、ｂ（２）、ｇ、ｒ（１）、ｒ（２）は、撮像系の分光特性に応じて定まる成分である。図９には、撮像系の分光特性として、撮像センサのカラーフィルタの透過率特性ＦＲ、ＦＧ、ＦＢを示すが、厳密には、撮像系の分光特性は、例えばカラーフィルタを除いた撮像センサがもつ分光特性や、光学系のもつ分光特性等も含んでいる。以下では説明を簡単にするため、撮像センサ等の分光特性が、図９に示すカラーフィルタの透過率特性ＦＲ、ＦＧ、ＦＢに含まれるものとする。
【００８１】
図９に示すように、青色フィルタの透過率特性ＦＢと緑色フィルタの透過率特性ＦＧとの重なり部分に対応するバンドの成分がｂ（２）であり、青色フィルタの透過率特性ＦＢの非重なり部分に対応するバンドの成分がｂ（１）である。また、赤色フィルタの透過率特性ＦＲと緑色フィルタの透過率特性ＦＧとの重なり部分に対応するバンドの成分がｒ（１）であり、赤色フィルタの透過率特性ＦＲの非重なり部分に対応するバンドの成分がｒ（２）である。また、緑色フィルタの透過率特性ＦＧの非重なり部分に対応するバンドの成分がｇである。ここで、非重なり部分とは、他の色フィルタの透過率特性と重なっていない部分のことである。
【００８２】
５バンドの帯域ＢＤ１〜ＢＤ５は、透過率特性ＦＲ、ＦＧ、ＦＢの形状や重なり具合などに応じて決定すればよく、透過率特性の帯域や重なり部分の帯域そのものである必要はない。例えば、図９に示す透過率特性ＦＧ、ＦＢの重なり部分の帯域は、およそ４５０ｎｍ〜５５０ｎｍであるが、帯域ＢＤ２は重なり部分に対応するものであればよく、４５０ｎｍ〜５５０ｎｍである必要はない。
【００８３】
３．２．｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の推定処理
次に、上式（９）を用いて、画素値｛Ｒ，Ｇ｝から成分値｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の関係式を下式（１０）のように求める。また、上式（９）より下式（１１）が成り立つ。
Ｒ−Ｇ＝［ｒ（１）＋ｒ（２）］−［ｒ（１）＋ｇ＋ｂ（２）］
＝ｒ（２）−［ｇ＋ｂ（２）］                  （１０）
ｒ（１）＝Ｒ−ｒ（２）                            （１１）
【００８４】
ｒ（２）を未知数（支配変数）とすると、上式（９）〜（１１）より｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の関係式を下式（１２）のように求められる。
ｒ（２）＝未知数（支配変数），
ｒ（１）＝Ｒ−ｒ（２），
ｇ＋ｂ（２）＝ｒ（２）−［Ｒ−Ｇ］    （１２）
【００８５】
｛Ｒ，Ｇ｝は検出された既知の値であるので、上式（１２）に基づき未知数ｒ（２）が決まれば、｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝が全て決まることになる。即ち、｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の尤度パターンを特定することができる。
【００８６】
図１０に、この関係を原理的に表した図を示す。図１０に示すように、未知数ｒ（２）として、｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝と｛αＲＲ，αＧｒＧ｝の誤差が最小になる値を求める。
【００８７】
ここで、αＲ，αＧｒは、下式（１３）を満たす値である。αＲは、Ｒに対する｛ｒ（１），ｒ（２）｝の平均的な値を算出したものであり、αＧｒは、Ｇに対する｛ｒ（１），ｇ＋ｂ（２）｝の平均的な値を算出したものである。これらは、図９に示すように撮像素子のカラーフィルタ特性から｛ｒ（１），ｒ（２）｝及び｛ｒ（１），ｇ＋ｂ（２）｝の成分比を考慮して決定すればよい。
０＜αＲ≦１，０＜αＧｒ≦１  （１３）
【００８８】
｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝と｛αＲＲ，αＧｒＧ｝の誤差を評価する値Ｅｒｇは、下式（１４）により求める。そして、評価値Ｅｒｇが最小になる場合のｒ（２）を求め、求めたｒ（２）を上式（１２）に代入することにより、｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の３つの値を決定する。
ｅｒ＝［αＲＲ−ｒ（１）］２＋［αＲＲ−ｒ（２）］２，
ｅｇ＝［αＧｒＧ−ｒ（１）］２＋［αＧｒＧ−（ｇ＋ｂ（２））］２，
Ｅｒｇ＝ｅｒ＋ｅｇ                                            （１４）
【００８９】
３．３．｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝の推定処理
同様にして、上式（９）を用いて、画素値｛Ｂ，Ｇ｝から成分値｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝の関係式を下式（１５）のように求める。また、上式（９）より下式（１６）が成り立つ。
Ｂ−Ｇ＝［ｂ（１）＋ｂ（２）］−［ｒ（１）＋ｇ＋ｂ（２）］
＝ｂ（１）−［ｇ＋ｒ（１）］                  （１５）
ｂ（２）＝Ｂ−ｂ（１）                            （１６）
【００９０】
ｂ（１）を未知数（支配変数）とすると、上式（９）、（１５）、（１６）より｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝の関係式を下式（１７）のように求められる。
ｂ（１）＝未知数（支配変数）
ｂ（２）＝Ｂ−ｂ（１），
ｇ＋ｒ（１）＝ｂ（１）−［Ｂ−Ｇ］    （１７）
【００９１】
｛Ｂ，Ｇ｝は検出された既知の値であるので、上式（１７）に基づき未知数ｂ（１）が決まれば、｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝が全て決まることになる。即ち、｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝の尤度パターンを特定することができる。
【００９２】
図１１に、この関係を原理的に表した図を示す。図１１に示すように、未知数ｂ（１）として、｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝と｛αＢＢ，αＧｂＧ｝の誤差が最小になる値を求める。
【００９３】
ここで、αＢ，αＧｂは、下式（１８）を満たす値である。αＢは、Ｂに対する｛ｂ（１），ｂ（２）｝の平均的な値を算出したものであり、αＧｂは、Ｇに対する｛ｂ（２），ｇ＋ｒ（１）｝の平均的な値を算出したものである。これらは、図９に示すように撮像素子のカラーフィルタ特性から｛ｒ（１），ｒ（２）｝及び｛ｒ（１），ｇ＋ｂ（２）｝の成分比を考慮して決定すればよい。
０＜αＢ≦１，０＜αＧｂ≦１  （１８）
【００９４】
｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝と｛αＢＢ，αＧｂＧ｝の誤差を評価する値Ｅｂｇは、下式（１９）により求める。そして、評価値Ｅｂｇが最小になる場合のｂ（１）を求め、求めたｂ（１）を上式（１７）に代入することにより、｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝の３つの値を決定する。
ｅｂ＝［αＢＢ−ｂ（１）］２＋［αＢＢ−ｂ（２）］２，
ｅｇ＝［αＧｂＧ−ｂ（２）］２＋［αＧｂＧ−（ｇ＋ｒ（１））］２，
Ｅｂｇ＝ｅｂ＋ｅｇ                                          （１９）
【００９５】
次に、上式（９）より下式（２０）が成り立つから、上式（１２）、（１７）で求めたｒ（１）、ｂ（２）を下式（２０）に代入し、ｇを算出する。
ｇ＝Ｇ−（ｒ（１）＋ｂ（２））    （２０）
【００９６】
以上のようにして、デモザイキング処理により得られた各画素の３バンド画素値｛Ｒ，Ｇ，Ｂ｝から、図９に示すような５バンド画素値｛ｂ（１），ｂ（２），ｇ，ｒ（１），ｒ（２）｝を推定することができる。
【００９７】
以上の実施形態によれば、画像処理装置は、画像を構成する第１〜第３色の画素値｛Ｒ，Ｇ，Ｂ｝に基づいて第１〜第５バンドの成分値｛ｂ（１），ｂ（２），ｇ，ｒ（１），ｒ（２）｝を推定するマルチバンド推定部を含む。マルチバンド推定部は、第１透過率特性ＦＢの非重なり部分に対応する第１バンドＢＤ１と、第１透過率特性ＦＢと第２透過率特性ＦＧとの重なり部分に対応する第２バンドＢＤ２と、第２透過率特性ＦＧの非重なり部分に対応する第３バンドＢＤ３と、第２透過率特性ＦＧと第３透過率特性ＦＲとの重なり部分に対応する第４バンドＢＤ４と、第３透過率特性ＦＲの非重なり部分に対応する第５バンドＢＤ５とを設定する。
【００９８】
本実施形態では、画像処理装置は、図７に示す撮像装置の中の画像処理装置２５、あるいは図８に示す、撮像装置とは別体に構成された画像処理装置に対応する。また、マルチバンド推定部は、図７のマルチバンド推定部７０、あるいは図８のマルチバンド推定部２７０に対応する。
【００９９】
ここで、透過率特性の重なり部分とは、図９に示すように波長軸に対して透過率特性を表した場合に、波長軸上で隣り合う透過率特性が重なっている領域のことである。重なり部分は、透過率特性が重なっている領域そのもの、あるいは透過率特性の帯域が重なっている帯域で表される。また、透過率特性の非重なり部分とは、他の透過率特性と重なっていない部分のことである。即ち、透過率特性から重なり部分を除いた部分のことである。なお、重なり部分又は非重なり部分に対応するバンドは、重なり部分又は非重なり部分の帯域そのものに限定されず、重なり部分又は非重なり部分に対応して設定されたバンドであればよい。例えば、所定の透過率と透過率特性が交わる波長でバンドを分割し、第１〜第５バンドを設定してもよい。
【０１００】
このようにすれば、撮像画像の第１〜第３色の画素値｛Ｒ，Ｇ，Ｂ｝から第１〜第５のバンド成分値｛ｂ（１），ｂ（２），ｇ，ｒ（１），ｒ（２）｝を推定することが可能となる。即ち、上式（９）で説明したように、透過率特性が隣り合う画素値（例えばＢ、Ｇ）には重なり部分の成分値（ｂ（２））が含まれる。この重なり部分の成分値（ｂ（２））を、上式（１５）のように画素値の差分（Ｂ−Ｇ）により消去することで、上式（１７）のように成分値の関係式を求め、その関係式に基づいて成分値を推定することが可能となる。
【０１０１】
また、既存の撮像システムを大きく変更することなくマルチバンドの撮像システムを実現することが可能となる。即ち、従来の撮像装置に用いられてきたＲＧＢ撮像素子を他の特殊な撮像素子（例えばマルチバンドカラーフィルタを備えた撮像素子）に変更することなく、マルチバンド撮影を行うことができる。また、特殊な追加機構（例えば回転式のマルチバンドカラーフィルタ、分岐光学系）を用いることなく、マルチバンド撮影を行うことができる。特殊な撮像素子や追加機構が不要なため、解像度の低下や、コスト増大を避けることが可能である。
【０１０２】
また本実施形態では、上式（９）で説明したように、第１色の画素値Ｂは、第１、第２バンドの成分値ｂ（１）、ｂ（２）を加算した値であり、第２色の画素値Ｇは、第２〜第４バンドの成分値ｂ（２）、ｇ、ｒ（１）を加算した値である。上式（１７）で説明したように、マルチバンド推定部は、この第１、第２色の画素値Ｂ、Ｇに基づいて、第１バンドの成分値ｂ（１）と、第２バンドの成分値ｂ（２）と、第３、第４バンドの成分値ｇ、ｒ（１）を加算した値である第１加算値ｒ（１）＋ｇとの間の関係式を求める。そして、マルチバンド推定部は、その関係式に基づいて、第１バンドの成分値ｂ（１）と、第２バンドの成分値ｂ（２）と、第１加算値ｒ（１）＋ｇとを推定する。
【０１０３】
このようにすれば、隣り合った透過率特性が重なっている状態を、バンド成分値の加算式（上式（９））として表すことができる。そして、その加算式からバンド成分値間の関係式を求め、その関係式からバンド成分値を推定することが可能となる。
【０１０４】
また本実施形態では、上式（１７）で説明したように、マルチバンド推定部は、第１バンドの成分値ｂ（１）を未知数として関係式を求める。図１１及び上式（１９）で説明したように、マルチバンド推定部は、関係式で表した第１、第２バンドの成分値及び第１加算値｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝と、第１、第２色の画素値｛Ｂ，Ｇ｝との間の誤差を表す誤差評価値Ｅｂｇを求め、その誤差評価値Ｅｂｇを最小にする未知数ｂ（１）を決定し、その決定した未知数ｂ（１）及び関係式（上式（１７））に基づいて、第１、第２バンドの成分値及び第１加算値｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝を決定する。
【０１０５】
このようにすれば、２つの画素値｛Ｂ，Ｇ｝から３つの変数｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝を決定する際に必要な１つの未知数ｂ（１）を、誤差評価値Ｅｂｇに基づいて決定でき、決定した未知数によりバンド成分値｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝を決定できる。
【０１０６】
また本実施形態では、上記と同様にして、マルチバンド推定部は、関係式（上式（１２））を求め、その関係式に基づいて、第２、第３バンドの成分値ｂ（２）、ｇを加算した値である第２加算値ｇ＋ｂ（２）と、第４バンドの成分値ｒ（１）と、第５バンドの成分値ｒ（２）とを推定する（上式（９）〜（１４））。そして、第１加算値ｇ＋ｒ（１）と第４バンドの成分値ｒ（１）から、又は第２加算値ｇ＋ｂ（２）と第２バンドの成分値ｂ（２）から第３バンドの成分値ｇを求める。
【０１０７】
このようにすれば、バンド成分値｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝を関係式で表し、その関係式を用いてバンド成分値｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝を推定できる。そして、求めたバンド成分値｛ｂ（１），ｂ（２），ｇ＋ｒ（１）｝及び｛ｒ（１），ｒ（２），ｇ＋ｂ（２）｝を用いて、第１〜第５バンドの成分値｛ｂ（１），ｂ（２），ｇ，ｒ（１），ｒ（２）｝を求めることができる。
【０１０８】
また本実施形態では、第１〜第３色は、それぞれ青色（Ｂ）、緑色（Ｇ）、赤色（Ｒ）である。マルチバンド推定部は、第１〜第５バンドの成分値｛ｂ（１），ｂ（２），ｇ，ｒ（１），ｒ（２）｝を、それぞれ第１青色成分値ｂ（１）、第２青色成分値ｂ（２）、緑色成分値ｇ、第１赤色成分値ｒ（１）、第２赤色成分値ｒ（２）として求める。
【０１０９】
このようにすれば、例えばベイヤ配列等の既存のカメラシステムに搭載されたＲＧＢ撮像素子をそのまま利用して、５バンドのマルチバンド撮影を行うことが可能となる。なお、本実施形態では、第１〜第３色はＲＧＢに限定されず、波長軸上において隣り合う透過率特性が重なり部分を有する３つのカラーフィルタに対応した色であればよい。
【０１１０】
４．第２のマルチバンド推定処理
４．１．基本構成例
次に、光学フィルタにより瞳分割を行う第２のマルチバンド推定処理について説明する。図１２に、本実施形態における撮像光学系の基本構成例を示す。図１２に示すように、撮像光学系は、撮像素子のセンサ面に被写体を結像させる結像レンズＬＮＳと、第１瞳と第２瞳で帯域を分離する光学フィルタＦＬＴと、を含む。
【０１１１】
以下では、第１瞳を右瞳とし、第２瞳を左瞳として説明するが、本実施形態ではこれに限定されない。即ち、瞳の分離方向は左右に限定されず、撮像光学系の光軸に対して垂直な任意の方向に第１瞳と第２瞳が分離されていればよい。なお以下では、５バンドの成分｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝に対応する波長分割光や帯域を、適宜、同一の符号｛ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ｝で表す。
【０１１２】
光学フィルタＦＬＴは、波長分割光｛ｂＲ，ｇ，ｒＲ｝を透過する特性の右瞳フィルタＦＬ１（広義には第１フィルタ）と、波長分割光｛ｂＬ，ｇ，ｒＬ｝を透過する特性の左瞳フィルタＦＬ２（広義には第２フィルタ）とを有する。光学フィルタＦＬＴは、撮像光学系の瞳位置（例えば絞りの設置位置）に設けられ、フィルタＦＬ１、ＦＬ２がそれぞれ右瞳、左瞳に相当する。
【０１１３】
図１３に示すように、右瞳フィルタＦＬ１は、図９で説明した成分｛ｂ（１），ｇ，ｒ（１）｝に対応する帯域ＢＤ１、ＢＤ３、ＢＤ４を透過するフィルタである。即ち、波長分割光｛ｂＲ，ｇ，ｒＲ｝は、成分｛ｂ（１），ｇ，ｒ（１）｝に対応する透過光である。また、左瞳フィルタＦＬ２は、図９で説明した成分｛ｂ（２），ｇ，ｒ（２）｝に対応する帯域ＢＤ２、ＢＤ３、ＢＤ５を透過するフィルタである。即ち、波長分割光｛ｂＬ，ｇ，ｒＬ｝は、成分｛ｂ（２），ｇ，ｒ（２）｝に対応する透過光である。
【０１１４】
図１２に示すように、結像レンズＬＮＳ及び光学フィルタＦＬＴを透過した結像光は、ＲＧＢベイヤ配列の撮像素子に入力され、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光強度として信号に変換されデータとして取得される。図１３に示すように、右瞳を通過した波長分割光｛ｂＲ，ｇ，ｒＲ｝と、左瞳を通過した波長分割光｛ｂＬ，ｇ，ｒＬ｝は、波長帯域が明確に分離されている。一方、撮像素子のカラーフィルタの分光特性｛ＦＲ，ＦＧ，ＦＢ｝は、隣接する分光特性の波長帯域が重複した特性となっている。この重複状態を考慮すると、デモザイキング処理後の各画素における赤色、緑色、青色の画素値Ｒ、Ｇ、Ｂを、下式（２１）のようにモデル化することができる。
Ｒ＝ｇＲ＋ｒＲＲ＋ｒＬＲ，
Ｇ＝ｂＬＧ＋ｇＧ＋ｒＲＧ，
Ｂ＝ｂＲＢ＋ｂＬＢ＋ｇＢ  （２１）
【０１１５】
ここで、図１４（Ｃ）に示すように、成分｛ｂＲＢ，ｂＬＢ，ｇＢ｝は、分光特性ＦＢの青色フィルタを通過した波長分割光｛ｂＲ，ｂＬ，ｇ｝に対応する。図１４（Ｄ）に示すように、成分｛ｂＬＧ，ｇＧ，ｒＲＧ｝は、分光特性ＦＧの緑色フィルタを通過した波長分割光｛ｂＬ，ｇ，ｒＲ｝に対応する。また、図１６（Ｄ）に示すように、成分｛ｇＲ，ｒＲＲ，ｒＬＲ｝は、分光特性ＦＲの赤色フィルタを通過した波長分割光｛ｇ，ｒＲ，ｒＬ｝に対応する。各成分を表す符号の上付きサフィックスは、右瞳「Ｒ」及び左瞳「Ｌ」のいずれを通過したかを表し、下付サフィックスは、赤色フィルタ「Ｒ」、緑色フィルタ「Ｇ」、青色フィルタ「Ｂ」のいずれを通過したかを表している。
【０１１６】
４．２．｛ｂＲ，ｂＬ，（ｇ＋ｒＲ）｝の推定処理
次に、図１４（Ａ）〜図１７を用いて、画素値｛Ｒ，Ｇ，Ｂ｝から成分｛ｂＲＢ，ｂＬＢ，ｇＢ｝、｛ｂＬＧ，ｇＧ，ｒＲＧ｝、｛ｇＲ，ｒＲＲ，ｒＬＲ｝を推定する処理について説明する。
【０１１７】
まず上式（２１）を用いて、画素値｛Ｂ，Ｇ｝で重複している波長帯域｛ｂＬ，ｇ｝を、画素値｛Ｂ，Ｇ｝の差分に基づいて取り除き、成分ｂＲと成分［ｇ＋ｒＲ］の関係を求めることにより成分｛ｂＲ，ｂＬ，（ｇ＋ｒＲ）｝の関係式を導き出す処理を行う。
【０１１８】
ここで注意しなければならないのは、図１４（Ａ）〜図１４（Ｄ）に示すように、波長帯域ｂＬに対応するのは画素値Ｂの成分ｂＬＢ及び画素値Ｇの成分ｂＬＧであるが、成分ｂＬＢ、ｂＬＧには、分光特性ＦＢ、ＦＧの相対ゲインが乗じられていることである。そのため、成分ｂＬＢ、ｂＬＧは、相対ゲインの分だけ異なる値であり、成分ｂＬＢ、ｂＬＧが等しくなるように補正する必要がある。
【０１１９】
図１４（Ｃ）、図１４（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｂＬＢ＋ｇＢ）の成分比をｋＢ１とし、ｂＬＧの成分比をｋＢ２とすると、下式（２２）が成り立つ。ｋＢ１／ｋＢ２は、例えば帯域ｂＬにおける分光特性ＦＢ、ＦＧのゲイン比である。
ｂＬＢ＋ｇＢ＝（ｋＢ１／ｋＢ２）×ｂＬＧ  （２２）
【０１２０】
帯域ｂＬ、ｇにおける分光特性ＦＢのゲインを考慮すると、成分ｇＢは成分ｂＬＢよりも十分小さいと考えられるため、成分ｂＬＢ、ｂＬＧを等しくするためには、成分（ｂＬＢ＋ｇＢ）と成分ｂＬＧがほぼ等しくなればよい。成分（ｂＬＢ＋ｇＢ）を補正した値を（ｂＬＢ’＋ｇＢ’）とすると、上式（２２）を用いて下式（２３）に示す補正を行えばよい。
ｂＬＢ’＋ｇＢ’≒ｂＬＧ＝（ｋＢ２／ｋＢ１）×（ｂＬＢ＋ｇＢ）  （２３）
【０１２１】
成分（ｂＬＢ＋ｇＢ）は画素値Ｂに含まれるため、成分（ｂＬＢ＋ｇＢ）を補正するためには、結局、画素値Ｂを補正することになる。この補正後のＢをＢ’とすると、下式（２４）の関係が得られる。
Ｂ’＝（ｋＢ２／ｋＢ１）Ｂ  （２４）
【０１２２】
上式（２４）より、Ｂ’の成分｛ｂＲＢ’，ｂＬＢ’，ｇＢ’｝は下式（２５）となる。
ｂＲＢ’＝（ｋＢ２／ｋＢ１）×ｂＲＢ，
ｂＬＢ’＋ｇＢ’≒ｂＬＧ          （２５）
【０１２３】
上式（２１）、（２５）より、画素値Ｂ’と画素値Ｇを成分｛ｂＲＢ’，ｂＬＧ，ｇＧ，ｒＲＧ｝を用いて表すと、下式（２６）のようになる。
Ｂ’＝ｂＲＢ’＋（ｂＬＢ’＋ｇＢ’）＝ｂＲＢ’＋ｂＬＧ，
Ｇ  ＝ｂＬＧ＋（ｇＧ＋ｒＲＧ）                      （２６）
【０１２４】
次に、下式（２７）に示すように、補正後の画素値Ｂ’と画素値Ｇの差分を取ることにより、重複した成分ｂＬを取り除く。また上式（２６）より下式（２８）が成り立つ。
Ｂ’−Ｇ＝［ｂＲＢ’＋ｂＬＧ］−［ｂＬＧ＋ｇＧ＋ｒＲＧ］
＝ｂＲＢ’−（ｇＧ＋ｒＲＧ）              （２７）
ｂＬＧ＝Ｂ’−ｂＲＢ’                          （２８）
【０１２５】
ｂＲＢ’を未知数（支配変数）とすると、上式（２７）、（２８）より｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の関係式を下式（２９）のように求められる。
ｂＲＢ’＝未知数（支配変数）
ｂＬＧ＝Ｂ’−ｂＲＢ’
ｇＧ＋ｒＲＧ＝ｂＲＢ’−（Ｂ’−Ｇ）  （２９）
【０１２６】
｛Ｂ’，Ｇ｝は検出された既知の値であるので、上式（２９）に基づき未知数ｂＲＢ’が決まれば、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝が全て決まることになる。即ち、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の尤度パターンを特定することができる。
【０１２７】
図１５に、この関係を原理的に表した図を示す。図１５に示すように、未知数ｂＲＢ’として、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝と｛Ｂ’／２，Ｇ／２｝の誤差が最小になる値を求める。即ち、下式（３０）に示す誤差の評価値ＥＢＧが最小になる場合のｂＲＢ’を求め、求めたｂＲＢ’を上式（２９）に代入することにより、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の値を決定する。
ｅＢ＝（Ｂ’／２−ｂＲＢ’）２＋（Ｂ’／２−ｂＬＧ）２，
ｅＧ＝（Ｇ／２−ｂＬＧ）２＋（Ｇ／２−（ｇＧ＋ｒＲＧ））２，
ＥＢＧ＝ｅＢ＋ｅＧ                                  （３０）
【０１２８】
以上のようにして、各画素の２バンド画素値｛Ｂ’，Ｇ｝から成分｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を推定することができる。
【０１２９】
４．３．｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝の推定処理
次に、画素値｛Ｇ，Ｒ｝から成分｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝を推定する。具体的には、上式（２１）を用いて、画素値｛Ｇ，Ｒ｝で重複している波長帯域｛ｇ，ｒＲ｝を、画素値｛Ｇ，Ｒ｝の差分に基づいて取り除き、成分［ｂＬ＋ｇ］と成分ｒＬの関係を求めることにより成分｛（ｂＬ＋ｇ），ｒＲ，ｒＬ｝の関係式を導き出す処理を行う。
【０１３０】
図１６（Ａ）〜図１６（Ｄ）に示すように、波長帯域ｒＲに対応するのは画素値Ｇの成分ｒＲＧ及び画素値Ｒの成分ｒＲＲであるが、成分ｒＲＧ、ｒＲＲには、分光特性ＦＧ、ＦＲの相対ゲインが乗じられている。そのため、成分ｒＲＧ、ｒＲＲは、相対ゲインの分だけ異なる値であり、成分ｒＲＧ、ｒＲＲが等しくなるように補正する必要がある。
【０１３１】
図１６（Ｃ）、図１６（Ｄ）に示すように、画素値Ｇを基準（例えば「１」）として、（ｇＲ＋ｒＲＲ）の成分比をｋＲ１とし、ｒＲＧの成分比をｋＲ２とすると、下式（３１）が成り立つ。ｋＲ１／ｋＲ２は、例えば帯域ｒＲにおける分光特性ＦＧ、ＦＲのゲイン比である。
ｇＲ＋ｒＲＲ＝（ｋＲ２／ｋＲ１）×ｒＲＧ  （３１）
【０１３２】
帯域ｇ、ｒＲにおける分光特性ＦＲのゲインを考慮すると、成分ｇＲは成分ｒＲＲよりも十分小さいと考えられるため、成分ｒＲＧ、ｒＲＲを等しくするためには、成分（ｇＲ＋ｒＲＲ）と成分ｒＲＧがほぼ等しくなればよい。成分（ｇＲ＋ｒＲＲ）を補正した値を（ｇＲ’＋ｒＲＲ’）とすると、上式（３１）を用いて下式（３２）に示す補正を行えばよい。
ｇＲ’＋ｒＲＲ’≒ｒＲＧ＝（ｋＲ２／ｋＲ１）×（ｇＲ＋ｒＲＲ）  （３２）
【０１３３】
成分（ｇＲ＋ｒＲＲ）は画素値Ｒに含まれるため、成分（ｇＲ＋ｒＲＲ）を補正するためには、結局、画素値Ｒを補正することになる。この補正後のＲをＲ’とすると、下式（３３）の関係が得られる。
Ｒ’＝（ｋＲ２／ｋＲ１）Ｒ  （３３）
【０１３４】
上式（３３）より、Ｒ’の成分｛ｇＲ’，ｒＲＲ’，ｒＬＲ’｝は下式（３４）となる。
ｇＲ’＋ｒＲＲ’≒ｒＲＧ，
ｒＬＲ’＝（ｋＲ２／ｋＲ１）×ｒＬＲ  （３４）
【０１３５】
上式（２１）、（３４）より、画素値Ｇと画素値Ｒ’を成分｛ｂＬＧ，ｇＧ，ｒＲＧ，ｒＬＲ’｝を用いて表すと、下式（３５）のようになる。
Ｇ  ＝ｂＬＧ＋（ｇＧ＋ｒＲＧ），
Ｒ’＝（ｇＲ’＋ｒＲＲ’）＋ｒＬＲ’＝ｒＲＧ＋ｒＬＲ’  （３５）
【０１３６】
次に、下式（３６）に示すように、画素値Ｇと補正後の画素値Ｒ’の差分を取ることにより、重複した成分ｒＲを取り除く。また上式（３５）より下式（３７）が成り立つ。
Ｇ−Ｒ’＝［ｂＬＧ＋ｇＧ＋ｒＲＧ）］−［ｒＲＧ＋ｒＬＲ’］
＝（ｂＬＧ＋ｇＧ）−ｒＬＲ’                  （３６）
ｒＲＧ＝Ｒ’−ｒＬＲ’                              （３７）
【０１３７】
ｒＬＲ’を未知数（支配変数）とすると、上式（３６）、（３７）より｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の関係式を下式（３８）のように求められる。
ｒＬＲ’＝未知数（支配変数），
ｒＲＧ＝Ｒ’−ｒＬＲ’，
ｂＬＧ＋ｇＧ＝ｒＬＲ’＋（Ｇ−Ｒ’）  （３８）
【０１３８】
｛Ｇ，Ｒ’｝は検出された既知の値であるので、上式（３８）に基づき未知数ｒＬＲ’が決まれば、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝が全て決まることになる。即ち、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の尤度パターンを特定することができる。
【０１３９】
図１７に、この関係を原理的に表した図を示す。図１７に示すように、未知数ｒＬＲ’として、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝と｛Ｇ／２，Ｒ’／２｝の誤差が最小になる値を未知数ｒＬＲ’として求める。即ち、下式（３９）に示す誤差の評価値ＥＧＲが最小になる場合のｒＬＲ’を求め、求めたｒＬＲ’を上式（３８）に代入することにより、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝の値を決定する。
ｅＧ＝（Ｇ／２−（ｂＬＧ＋ｇＧ））２＋（Ｇ／２−ｒＲＧ）２，
ｅＧ＝（Ｒ’／２−ｒＲＧ）２＋（Ｒ’／２−（ｒＬＲ’））２，
ＥＧＲ＝ｅＧ＋ｅＲ                                    （３９）
【０１４０】
以上のようにして、各画素の２バンド画素値｛Ｇ，Ｒ’｝から成分｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝を推定することができる。
【０１４１】
なお、上式（３０）、（３９）では画素値｛Ｂ’，Ｇ｝、｛Ｇ，Ｒ’｝に対して係数１／２を掛けて評価値を算出したが、係数は１／２に限定されない。第１のマルチバンド推定処理で説明（例えば上式（１８））したように、係数は０より大きく１以下であればよい。
【０１４２】
また、評価値ＥＢＧ、ＥＧＲの算出手法は上記手法に限定されず、種々の方法が考えられることは言うまでもない。例えば、評価値ＥＢＧを例にとれば、予め対象とする被写体（例えば、自然被写体あるいは医療用の生体内被写体など）を多数撮像し、取得された｛Ｒ，Ｇ，Ｂ｝により得られる｛Ｂ’，Ｇ｝から、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の値の生起パターンを上記のようにして求める。そして、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の生起パターンの確率分布において、局所的に生起確率が高いピークを示すパターンか、または部分的な確率分布領域を設定し、その中のパターン群の平均パターンを示すパターン｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を代表パターンとして定める。このようにして、予め定めた複数の代表パターンを設定しておく。そして、改めて（実際の撮影で）取得された｛Ｂ，Ｇ｝から推定を行う際には、取得された｛Ｂ，Ｇ｝から上記のように｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を計算し、その計算により求めた｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝と、予め設定した代表パターンとのユークリッド距離を評価値として求める。予め設定された代表パターンのうち最もユークリッド距離が小さい、即ち最も類似する代表パターンを推定パターンとし、｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝の値として特定してもよい。なお、予め代表パターンを設定する際に、対象被写体の｛Ｂ’，Ｇ｝の生起パターンから｛Ｂ’，Ｇ｝の代表パターンを求めてもよい。そして、実際に撮影した｛Ｂ’，Ｇ｝から推定する際に、撮影で取得した｛Ｂ’，Ｇ｝と、代表パターンとのユークリッド距離を評価値として求め、評価値の最も小さい｛Ｂ’，Ｇ｝の代表パターンに対して上記の推定処理を行い、最終的な推定パターン｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝を特定してもよい。
【０１４３】
４．４．成分値の算出処理
次に、上記で求めた値｛ｂＲＢ’，ｂＬＧ，（ｇＧ＋ｒＲＧ）｝、｛ｒＬＲ’，ｒＲＧ，（ｂＬＧ＋ｇＧ）｝を用いて、画素値Ｂを構成する成分｛ｂＲＢ，ｂＬＢ｝の値、画素値Ｇを構成する成分｛ｂＬＧ，ｇＧ，ｒＲＧ｝の値、画素値Ｒを構成する成分｛ｒＲＲ，ｒＬＲ｝の値を算出する。
【０１４４】
上式（２５）、（３４）より、ｂＲＢ，ｒＬＲは、下式（４０）により求められる。
ｂＲＢ＝（ｋＢ１／ｋＢ２）×ｂＲＢ’，
ｒＬＲ＝（ｋＲ１／ｋＲ２）×ｒＬＲ’    （４０）
【０１４５】
ｇＢ≪ｂＲＢ，ｇＲ≪ｒＬＲであることを用いて、上式（２１）より、ｂＬＢ，ｒＲＲは、下式（４１）により求められる。
ｂＬＢ＝Ｂ−（ｂＲＢ＋ｇＢ）≒Ｂ−ｂＲＢ，
ｒＲＲ＝Ｒ−（ｒＬＲ＋ｇＲ）≒Ｒ−ｒＬＲ  （４１）
【０１４６】
上式（２１）より、ｂＬＧ，ｒＲＧは、下式（４２）により求められる。
ｂＬＧ＝Ｇ−（ｇＧ＋ｒＲＧ），
ｒＲＧ＝Ｇ−（ｇＧ＋ｂＬＧ）  （４２）
【０１４７】
上式（２１）、（４２）より、ｇＧは、下式（４３）により求められる。
ｇＧ＝Ｇ−（ｂＬＧ＋ｒＲＧ）  （４３）
【０１４８】
４．５．右瞳画像と左瞳画像の取得処理、位相差検出処理
図１２に示すように、光学フィルタＦＬＴの透過光を撮像することで、右瞳を通過した被写体像ＩＲと、左瞳を通過した被写体像ＩＬが得られる。図１２では、撮像素子のセンサ面がデフォーカス位置ＰＤにある場合を例にＩＲ、ＩＬを図示しており、ｈは水平方向（広義には瞳の分離方向）に沿った軸である。像ＩＲ、ＩＬのＲ、Ｇ、Ｂ成分は、上記で求めた成分から下式（４４）のように分離する。
ＩＲ＝（ｒＲＲ，ｒＲＧ，ｂＲＢ），ＩＬ＝（ｒＬＲ，ｂＬＧ，ｂＬＢ）  （４４）
【０１４９】
本実施形態では、像ＩＲ、ＩＬを取得し、その像ＩＲ、ＩＬのデフォーカス位置での位相差（像のずれ量）を求め、３角測量の原理を用いて被写体の測距を行い、被写体までの距離情報を取得してもよい。例えば、取得した位相差を用いて位相差ＡＦを行ってもよい。上式（４４）に示すように、像ＩＲ、ＩＬはともに、その成分値の下付サフィックスに示すようにＲＧＢ各帯域の成分で構成されている。そのため、被写体の色がＲＧＢのいずれかに極端に偏っているような場合であっても、像ＩＲ、ＩＬが極端に暗くなることはなく、位相差を検出することが可能である。なお、距離情報は、画像内の各画素について取得することが可能であり、この各画素についての距離情報を用いて、位相差ＡＦだけでなく種々の応用処理を行うことが可能である。このような応用処理は、例えば図８の画像処理装置で行えばよい。
【０１５０】
４．６．マルチバンド画像の取得処理
撮像素子のセンサ面がフォーカス位置ＰＦにあるフォーカス時では、像ＩＲ、ＩＬのずれは無くなる。即ち、同一画素におけるｒＲＲとｒＬＲ、ｒＲＧとｂＬＧ、ｂＲＢとｂＬＢ、ｇＧは、全て被写体の同一微小領域からの反射光の色光を表している。即ち、結像時の撮像素子の任意の画素のＲ、Ｇ、Ｂ値から、下式（４５）に示す５バンド｛Ｒ１，Ｒ２，Ｇ，Ｂ１，Ｂ２｝の色画像（マルチバンド画像）を得ることができる。
Ｒ１＝ｒＲＲ，Ｒ２＝ｒＬＲ，Ｇ＝ｒＲＧ＋ｇＧ＋ｂＬＧ，Ｂ１＝ｂＲＢ，Ｂ２＝ｂＬＢ  （４５）
【０１５１】
以上の実施形態によれば、図１４（Ａ）〜図１４（Ｆ）で説明したように、マルチバンド推定部は、第１、第２色フィルタの透過率特性ＦＢ、ＦＧに基づいて、第１色の画素値Ｂと第２色の画素値Ｇとの間の相対的なゲイン比ｋＢ１／ｋＢ２を補正し、補正後の第１、第２色の画素値Ｂ’、Ｇを用いて第１〜第５バンドの成分値を推定する。
【０１５２】
より具体的には、上式（２２）〜（２５）で説明したように、マルチバンド推定部は、第２バンド（ｂＬ）での第２色フィルタ（ＦＧ）の透過率ｋＢ２と、第２バンド（ｂＬ）での第１色フィルタ（ＦＢ）の透過率ｋＢ１との比ｋＢ１／ｋＢ２を、第１色の画素値Ｂに乗じて、ゲイン比を補正する。
【０１５３】
撮像素子のカラーフィルタでは、一般的に色に依って透過率特性が異なるため、色に依ってゲインが異なっている。本実施形態によれば、透過率特性の重なり部分に対応するバンドが存在するため、そのバンドにおける相対的なゲイン比ｋＢ１／ｋＢ２を求めることができ、そのゲイン比を用いて、色に依って異なるゲインを補正できる。
【０１５４】
また本実施形態では、図１２で説明したように、撮像素子（撮像素子のセンサ面）には、撮像光学系の瞳を第１瞳（例えば右瞳）と第２瞳（左瞳）に分割する光学フィルタＦＬＴを透過した光が結像される。図１３で説明したように、第１瞳（第１瞳フィルタＦＬ１）は、第１、第２バンドの一方ｂＲ＝ｂ（１）と、第３バンドｇと、第４、第５バンドの一方ｒＲ＝ｒ（１）とを透過する。第２瞳（第２瞳フィルタＦＬ２）は、第１、第２バンドの他方ｂＬ＝ｂ（２）と、第３バンドｇと、第４、第５バンドの他方ｒＬ＝ｒ（２）とを透過する。マルチバンド推定部は、第１瞳及び第２瞳の透過光が撮像された画像に基づいて、第１〜第５バンドの成分値を推定する。
【０１５５】
このようにすれば、第１瞳、第２瞳に対応するバンド成分値を、それぞれ求めることができる。これにより、瞳分割を利用した種々の応用処理（例えば位相差ＡＦ）が可能となる。
【０１５６】
また、第１瞳、第２瞳にそれぞれＲＧＢ成分が含まれるため、撮像画像のピンぼけ領域においても色ずれが生じにくい。即ち図１２に示すように、右瞳フィルタＦＬ１はＲＧＢの帯域｛ｂＲ，ｇ，ｒＲ｝を透過し、左瞳フィルタＦＬ２はＲＧＢの帯域｛ｂＬ，ｇ，ｒＬ｝を透過するため、上式（２１）を見ても分かるように画像のＲＧＢ各成分には右瞳と左瞳の透過帯域が含まれている。そのため、デフォーカス位置（画像のボケ領域）において右瞳を通過した成分｛ｂＲ，ｇ，ｒＲ｝と左瞳を通過した成分｛ｂＬ，ｇ，ｒＬ｝がずれても、ＲＧＢ画像では色ずれが起きない（又は非常に小さく抑えられる）ので、色ずれ補正を行う必要がなくそのまま鑑賞することが可能である。
【０１５７】
また、図２等で後述するように、被写体からの反射光を光学フィルタＦＬＴが減光するため、画素値が飽和する最大の反射光量が増える。これにより、本実施形態のノイズ低減処理と組み合わせことで、ダイナミックレンジを拡大することが可能になる。
【０１５８】
なお、上記の実施形態では、ｂ（１）、ｒ（１）が第１瞳に割り当てられる場合を例に説明したが、本実施形態ではこれに限定されず、ｂ（１）、ｂ（２）のいずれが第１瞳に割り当てられてもよいし、ｒ（１）、ｒ（２）のいずれが第１瞳に割り当てられてもよい。
【０１５９】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義又は同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またマルチバンド推定部、ノイズ低減処理部、撮像装置、画像処理装置等の構成、動作も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
【符号の説明】
【０１６０】
１０  撮像素子、２０  撮像処理部、２５  画像処理装置、
３０  ＲＧＢ画像生成部、４０  モニタ表示部、
５０  ＲＧＢフィルタ特性データ記録部、７０  マルチバンド推定部、
８０  ノイズ低減処理部、９０  データ圧縮部、１００  データ記録部、
２００  データ記録部、２１０  データ伸張部、２２０  伸張データ記憶部、
２３０  モニタ画像生成部、２４０  モニタ画像表示部、
２５０  画像データ選択部、２６０  選択フレーム記憶部、
２７０  マルチバンド推定部、２７５  ノイズ低減処理部、２８５  画像出力部、
ＢＤ１〜ＢＤ５  第１〜第５バンド、ＥＢＧ，ＥＧＲ，Ｅｂｇ，Ｅｒｇ  評価値、
ＦＢ，ＦＧ，ＦＲ  第１〜第３透過率特性、ＦＬ１  右瞳フィルタ、
ＦＬ２  左瞳フィルタ、ＦＬＴ  光学フィルタ、ＩＬ  左瞳画像、ＩＲ  右瞳画像、
ＬＮＳ  結像レンズ、ＰＤ  デフォーカス位置、ＰＦ  フォーカス位置、
ＮＺ  ノイズ発生範囲、ｂＲ，ｂＬ，ｇ，ｒＲ，ｒＬ  第１〜第５バンドの成分値、
Φ  ベクトル、ΦＫ  代表ベクトル、δｉｊ  差分ベクトル
【図１】
2013187711.tif 000005
【図２】
2013187711.tif 000006
【図３】
2013187711.tif 000007
【図４】
2013187711.tif 000008
【図５】
2013187711.tif 000009
【図６】
2013187711.tif 000010
【図７】
2013187711.tif 000011
【図８】
2013187711.tif 000012
【図９】
2013187711.tif 000013
【図１０】
2013187711.tif 000014
【図１１】
2013187711.tif 000015
【図１２】
2013187711.tif 000016
【図１３】
2013187711.tif 000017
【図１４】
2013187711.tif 000018
【図１５】
2013187711.tif 000019
【図１６】
2013187711.tif 000020
【図１７】
2013187711.tif 000021