(57)【要約】【課題】  画質の劣化を抑えながら、推定したスペクトル情報を用いて通常画像の補正をすることができる撮像装置及び画像生成方法等の提供。【解決手段】  撮像装置１０１は、３バンド以上の通常画像生成用カラーフィルタ１０７１と、通常画像生成用カラーフィルタ１０７１と分光感度特性が異なる補正情報生成用カラーフィルタ１０７２がアレイ状に配置されたカラーフィルタアレイを有する撮像素子１０７と、欠落画素の画素値が補間された通常画像の生成処理を行う通常画像生成部１１８と、少なくとも補正情報生成用カラーフィルタ１０７２を用いて得られた画素値に基づきスペクトル推定処理を行うスペクトル推定部１１９と、スペクトル推定値に基づき通常画像を補正する補正情報を生成する補正情報生成部１２０と、補正情報に基づき通常画像の補正処理を行い、補正画像を生成する補正画像生成部１２１を含む。【選択図】      図１
2014086862.tif 000002
【特許請求の範囲】
【請求項１】
３バンド以上の通常画像生成用カラーフィルタと、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタとがアレイ状に配置されたカラーフィルタアレイを有する撮像素子と、
前記通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行う通常画像生成部と、
少なくとも前記補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行うスペクトル推定部と、
前記スペクトル推定部により得られるスペクトル推定値に基づいて、前記通常画像の画素値を補正する補正情報を生成する補正情報生成部と、
前記補正情報に基づいて前記通常画像の補正処理を行って、補正画像を生成する補正画像生成部と、
を含むことを特徴とする撮像装置。
【請求項２】
請求項１において、
前記補正情報生成部は、
前記スペクトル推定処理において、一つの画素値から得られる一つのスペクトル推定値のデータに基づいて、前記通常画像の複数の画素値に対する前記補正情報を生成することを特徴とする撮像装置。
【請求項３】
請求項１又は２において、
特定の波長帯域における情報を有する被写体像を含む前記通常画像において、注目すべき領域である注目領域を、前記スペクトル推定値のデータに基づいて検出する注目領域検出部と、
検出した前記注目領域に対して表示態様設定処理を行う表示態様設定部と、
を含むことを特徴とする撮像装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記通常画像生成用カラーフィルタは、
Ｒ用のカラーフィルタと、Ｇ用のカラーフィルタと、Ｂ用のカラーフィルタを有し、
前記補正情報生成用カラーフィルタは、
前記Ｒ用カラーフィルタと前記Ｇ用のカラーフィルタと前記Ｂ用のカラーフィルタのいずれのカラーフィルタよりも低いサンプル密度で、前記カラーフィルタアレイに配置されることを特徴とする撮像装置。
【請求項５】
請求項４において、
前記カラーフィルタは、
前記通常画像生成用カラーフィルタのうちの前記Ｇ用のカラーフィルタが、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置されることを特徴とする撮像装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記補正情報生成用カラーフィルタを用いて得られる画素値に基づいて、前記補正情報を生成するために用いる特殊波長補間画像の生成処理を行う特殊波長補間画像生成部を含み、
前記特殊波長補間画像生成部は、
前記補正情報生成用カラーフィルタを用いて得られた画素値の補間処理を前記生成処理として行って、欠落画素の画素値が補間された前記特殊波長補間画像を生成し、
前記スペクトル推定部は、
前記特殊波長補間画像に基づいて前記スペクトル推定処理を行うことを特徴とする撮像装置。
【請求項７】
請求項６において、
前記特殊波長補間画像生成部は、
前記通常画像生成部により生成される前記通常画像よりも解像度が低い前記特殊波長補間画像を生成し、
前記スペクトル推定部は、
少なくとも前記特殊波長補間画像の画素値に基づいて、前記特殊波長補間画像の解像度で前記スペクトル推定処理を行い、
前記補正情報生成部は、
前記スペクトル推定処理の結果得られた一つのスペクトル推定値のデータに基づいて、前記通常画像の複数の画素値に対する前記補正情報を生成し、
前記補正画像生成部は、
生成された前記補正情報を用いて、前記通常画像の解像度で前記補正処理を行うことを特徴とする撮像装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記スペクトル推定部は、
前記通常画像から光源の色を表す光源色画素を抽出し、抽出した前記光源色画素の光源スペクトルを推定して、光源スペクトル推定値を求め、
前記補正情報生成部は、
前記光源スペクトル推定値のデータと、予め記憶されている光源スペクトルデータとを比較して、光源を推定することを特徴とする撮像装置。
【請求項９】
請求項８において、
前記補正画像生成部は、
前記通常画像に対して、推定された光源に基づいてホワイトバランスを補正する前記補正処理を行うことを特徴とする撮像装置。
【請求項１０】
請求項１乃至９のいずれかにおいて、
前記補正情報生成部は、
前記通常画像内に設定された複数の領域の領域毎に前記補正情報を生成し、
前記補正画像生成部は、
前記補正情報生成部により生成された前記通常画像内の領域毎の前記補正情報を用いて前記通常画像に対する前記補正処理を行うことを特徴とする撮像装置。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記補正情報生成部は、
前記スペクトル推定部により推定された前記スペクトル推定値のデータと、予め記憶されている検出対象のスペクトルデータとの比較処理を行い、前記比較処理の結果に基づいて、特定のスペクトルを有する特定スペクトル領域を検出し、検出した前記特定スペクトル領域の検出結果に基づいて、前記補正情報を生成することを特徴とする撮像装置。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
前記スペクトル推定部は、
前記特殊波長補間画像から光源の色を表す光源スペクトルデータ測定画素を抽出し、抽出された前記光源スペクトルデータ測定画素の光源スペクトルを推定して、光源スペクトル推定値を求め、
前記補正画像生成部は、
前記通常画像に対して、前記光源スペクトル推定値に基づきホワイトバランスを補正する処理を行うことを特徴とする撮像装置。
【請求項１３】
請求項６において、
前記スペクトル推定部は、
白色光の光源スペクトルデータに基づいて、前記特殊波長補間画像に対してスペクトル推定を行い、
前記補正情報生成部は、
特定波長領域において、前記スペクトル推定値のデータと、予め記憶されている光源スペクトルデータとを比較して、光源を推定することを特徴とする撮像装置。
【請求項１４】
請求項１乃至１３のいずれかにおいて、
前記スペクトル推定部は、
前記撮像素子から画素値を読み出す際に、前記通常画像生成用カラーフィルタを用いて得られる画素値を読み出さず、前記補正情報生成用カラーフィルタを用いて得られる画素値を読み出す間引き読み出しを行い、間引き読み出しした画素値を用いて前記スペクトル推定処理を行うことを特徴とする撮像装置。
【請求項１５】
請求項１乃至１４のいずれかにおいて、
前記撮像素子は、
前記通常画像生成用カラーフィルタ及び前記補正情報生成用カラーフィルタは、
赤外光の波長領域にピーク波長を有する赤外フィルタであることを特徴とする撮像装置。
【請求項１６】
請求項１５において、
前記赤外光の波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であることを特徴とする撮像装置。
【請求項１７】
３バンド以上の通常画像生成用カラーフィルタと、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタとがアレイ状に配置されたカラーフィルタアレイを有する撮像素子と、
前記通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行う通常画像生成部と、
少なくとも前記補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行うスペクトル推定部と、
特定の波長帯域における情報を有する被写体像を含む前記通常画像において、注目すべき領域である注目領域を、前記スペクトル推定値のデータに基づいて検出する注目領域検出部と、
検出した前記注目領域に対して表示態様設定処理を行う表示態様設定部と、
を含むことを特徴とする撮像装置。
【請求項１８】
３バンド以上の通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行い、
少なくとも、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行い、
前記スペクトル推定処理の結果として得られるスペクトル推定値に基づいて、前記通常画像の画素値を補正する補正情報を生成し、
前記補正情報に基づいて前記通常画像の補正処理を行って、補正画像を生成することを特徴とする画像生成方法。
【請求項１９】
３バンド以上の通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行い、
少なくとも、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行い、
特定の波長帯域における情報を有する被写体像を含む前記通常画像において、注目すべき領域である注目領域を、前記スペクトル推定値のデータに基づいて検出し、
検出した前記注目領域に対して表示態様設定処理を行うことを特徴とする画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び画像生成方法等に関係する。
【背景技術】
【０００２】
フルカラー画像を撮像するために、Ｒ（赤：Ｒｅｄ）、Ｇ（緑：Ｇｒｅｅｎ）、Ｂ（青：Ｂｌｕｅ）の３種類のカラーフィルタを撮像素子に設けた撮像装置が知られている。従来の撮像装置では、カラーフィルタのバンド数が少ないため、各バンドに対応した画素のサンプル密度は比較的高く、高精度な通常画像の生成が可能であった。
【０００３】
近年、被写体の忠実な色再現を目的として、マルチバンド撮像が注目されている。マルチバンド撮像装置としては、例えば特許文献１や特許文献２に示されるように、４種類以上のカラーフィルタを撮像素子に設けた単板のマルチバンド撮像素子を用いて被写体のスペクトル情報（分光情報）を取得する装置が提案されている。
【０００４】
また、特許文献３では、撮像素子とは別にスペクトル計測用のセンサを設置した撮像装置を用いて、スペクトル計測用のセンサから得られる情報により色再現性を向上させる補正情報を生成し、撮像素子から得られた通常画像（ＲＧＢ画像）を補正する方法も提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−８７８０６号公報
【特許文献２】特開平８−２９８６６９号公報
【特許文献３】特開２０１１−２１１３１７号公報
【特許文献４】特開２００３−３８１４１９号公報
【特許文献５】特開２００９−２３７８１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、３種類のカラーフィルタから取得した撮像情報だけでは、被写体の詳細なスペクトル情報を推定する際に、十分な推定精度が得られないという問題がある。
【０００７】
また、特許文献１や特許文献２に示されているような、４種類以上の情報を取得するマルチバンド撮像素子を用いて全画素位置で高精度なスペクトル情報を得る手法では、処理が複雑になってしまうことに加えて、各バンドのサンプル密度が下がってしまうため、原理的に解像度の低下は避けられない。そして、各バンドのサンプル密度の低下は通常画像の精度の低下に繋がり、結果として、偽色の発生等により画質が劣化してしまうという問題点がある。
【０００８】
一方で、特許文献３に示されているようなスペクトル計測用のセンサを撮像素子と別に用意する手法では、装置の大型化やコストについての問題がある。
【０００９】
本発明の幾つかの態様によれば、画質の劣化を抑えながら、推定したスペクトル情報を用いて通常画像の補正をすることができる撮像装置及び画像生成方法等を提供することができる。
【課題を解決するための手段】
【００１０】
本発明の一態様は、３バンド以上の通常画像生成用カラーフィルタと、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタとがアレイ状に配置されたカラーフィルタアレイを有する撮像素子と、前記通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行う通常画像生成部と、少なくとも前記補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行うスペクトル推定部と、前記スペクトル推定部により得られるスペクトル推定値に基づいて、前記通常画像の画素値を補正する補正情報を生成する補正情報生成部と、前記補正情報に基づいて前記通常画像の補正処理を行って、補正画像を生成する補正画像生成部と、を含む撮像装置に関係する。
【００１１】
本発明の一態様では、通常画像生成部が、通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行い、欠落画素の画素値が補間された通常画像を生成する。
【００１２】
次に、スペクトル推定部が、通常画像生成用カラーフィルタと補正情報生成用カラーフィルタのうち、少なくとも補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行う。
【００１３】
そして、補正情報生成部が、スペクトル推定値に基づいて、通常画像の画素値を補正する補正情報を生成する。さらに、補正画像生成部が、補正情報に基づいて通常画像の補正処理を行って、補正画像を生成する。
【００１４】
これにより、画質の劣化を抑えながら、推定したスペクトル情報を用いて通常画像の補正をすることが可能となる。
【００１５】
また、本発明の一態様では、前記補正情報生成部は、前記スペクトル推定処理において、一つの画素値から得られる一つのスペクトル推定値のデータに基づいて、前記通常画像の複数の画素値に対する前記補正情報を生成してもよい。
【００１６】
これにより、通常画像の一つの画素に対して補正情報を生成する処理を行わなくて済み、処理量を軽減すること等が可能になる。
【００１７】
また、本発明の一態様では、特定の波長帯域における情報を有する被写体像を含む前記通常画像において、注目すべき領域である注目領域を、前記スペクトル推定値のデータに基づいて検出する注目領域検出部と、検出した前記注目領域に対して表示態様設定処理を行う表示態様設定部と、を含んでもよい。
【００１８】
これにより、医療用画像などにおいて、病変検出、血管検出などの視認性を高めること等が可能となる。
【００１９】
また、本発明の一態様では、前記通常画像生成用カラーフィルタは、Ｒ用のカラーフィルタと、Ｇ用のカラーフィルタと、Ｂ用のカラーフィルタを有し、前記補正情報生成用カラーフィルタは、前記Ｒ用カラーフィルタと前記Ｇ用のカラーフィルタと前記Ｂ用のカラーフィルタのいずれのカラーフィルタよりも低いサンプル密度で、前記カラーフィルタアレイに配置されてもよい。
【００２０】
これにより、ＲＧＢの通常画像の精度の低下を最小限に抑えること等が可能となる。
【００２１】
また、本発明の一態様では、前記カラーフィルタは、前記通常画像生成用カラーフィルタのうちの前記Ｇ用のカラーフィルタが、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置されてもよい。
【００２２】
これにより、高精度なＧの通常画像が生成可能であり、Ｇの通常画像の高周波成分を用いてＲ、Ｂの補間を行えば、Ｒ、Ｂの通常画像の精度低下も抑えること等が可能となる。
【００２３】
また、本発明の一態様では、前記補正情報生成用カラーフィルタを用いて得られる画素値に基づいて、前記補正情報を生成するために用いる特殊波長補間画像の生成処理を行う特殊波長補間画像生成部を含み、前記特殊波長補間画像生成部は、前記補正情報生成用カラーフィルタを用いて得られた画素値の補間処理を前記生成処理として行って、欠落画素の画素値が補間された前記特殊波長補間画像を生成し、前記スペクトル推定部は、前記特殊波長補間画像に基づいて前記スペクトル推定処理を行ってもよい。
【００２４】
これにより、特殊波長補間画像を利用する様々なスペクトル推定手法を適用すること等が可能となる。
【００２５】
また、本発明の一態様では、前記特殊波長補間画像生成部は、前記通常画像生成部により生成される前記通常画像よりも解像度が低い前記特殊波長補間画像を生成し、前記スペクトル推定部は、少なくとも前記特殊波長補間画像の画素値に基づいて、前記特殊波長補間画像の解像度で前記スペクトル推定処理を行い、前記補正情報生成部は、前記スペクトル推定処理の結果得られた一つのスペクトル推定値のデータに基づいて、前記通常画像の複数の画素値に対する前記補正情報を生成し、前記補正画像生成部は、生成された前記補正情報を用いて、前記通常画像の解像度で前記補正処理を行ってもよい。
【００２６】
これにより、解像度が特殊波長補間画像を用いて補正情報の生成処理を行うこと等が可能となるため、処理量を軽減すること等が可能になる。
【００２７】
また、本発明の一態様では、前記スペクトル推定部は、前記通常画像から光源の色を表す光源色画素を抽出し、抽出した前記光源色画素の光源スペクトルを推定して、光源スペクトル推定値を求め、前記補正情報生成部は、前記光源スペクトル推定値のデータと、予め記憶されている光源スペクトルデータとを比較して、光源を推定してもよい。
【００２８】
これにより、ＲＧＢの画素値の情報だけでは光源の判別が難しいシーンであっても、高精度な光源推定を行うこと等が可能となる。
【００２９】
また、本発明の一態様では、前記補正画像生成部は、前記通常画像に対して、推定された光源に基づいてホワイトバランスを補正する前記補正処理を行ってもよい。
【００３０】
これにより、ＲＧＢの画素値の情報だけでは光源の判別が難しいシーンであっても、高精度なホワイトバランス補正を行うこと等が可能となる。
【００３１】
また、本発明の一態様では、前記補正情報生成部は、前記通常画像内に設定された複数の領域の領域毎に前記補正情報を生成し、前記補正画像生成部は、前記補正情報生成部により生成された前記通常画像内の領域毎の前記補正情報を用いて前記通常画像に対する前記補正処理を行ってもよい。
【００３２】
これにより、画像に設定した複数の領域の領域毎に、より高精度な補正処理を行うこと等が可能になる。
【００３３】
また、本発明の一態様では、前記補正情報生成部は、前記スペクトル推定部により推定された前記スペクトル推定値のデータと、予め記憶されている検出対象のスペクトルデータとの比較処理を行い、前記比較処理の結果に基づいて、特定のスペクトルを有する特定スペクトル領域を検出し、検出した前記特定スペクトル領域の検出結果に基づいて、前記補正情報を生成してもよい。
【００３４】
これにより、ＲＧＢの情報だけではその領域の検出が難しいシーンであっても、高精度な領域検出を行うこと等が可能になる。
【００３５】
また、本発明の一態様では、前記スペクトル推定部は、前記特殊波長補間画像から光源の色を表す光源スペクトルデータ測定画素を抽出し、抽出された前記光源スペクトルデータ測定画素の光源スペクトルを推定して、光源スペクトル推定値を求め、前記補正画像生成部は、前記通常画像に対して、前記光源スペクトル推定値に基づきホワイトバランスを補正する処理を行ってもよい。
【００３６】
これにより、特殊波長補間画像から得られた情報から光源色の画素を推定し、直接光源スペクトルを推定することにより、より少ない処理量で光源推定を行うこと等が可能になる。
【００３７】
また、本発明の一態様では、前記スペクトル推定部は、白色光の光源スペクトルデータに基づいて、前記特殊波長補間画像に対してスペクトル推定を行い、前記補正情報生成部は、特定波長領域において、前記スペクトル推定値のデータと、予め記憶されている光源スペクトルデータとを比較して、光源を推定してもよい。
【００３８】
これにより、輝線を持った特徴的なスペクトルの光源推定を簡易的に行うこと等が可能となる。
【００３９】
また、本発明の一態様では、前記スペクトル推定部は、前記撮像素子から画素値を読み出す際に、前記通常画像生成用カラーフィルタを用いて得られる画素値を読み出さず、前記補正情報生成用カラーフィルタを用いて得られる画素値を読み出す間引き読み出しを行い、間引き読み出しした画素値を用いて前記スペクトル推定処理を行ってもよい。
【００４０】
これにより、処理の高速化を図ること等が可能になる。
【００４１】
また、本発明の一態様では、前記撮像素子は、前記通常画像生成用カラーフィルタ及び前記補正情報生成用カラーフィルタは、赤外光の波長領域にピーク波長を有する赤外フィルタであってもよい。
【００４２】
これにより、例えば医療用画像など、赤外領域のスペクトルに特徴がある場合に、より精度の高い補正画像を生成すること等が可能になる。
【００４３】
また、本発明の一態様では、前記赤外光の波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であってもよい。
【００４４】
これにより、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域にピーク波長を有する赤外フィルタを用いること等が可能になる。
【００４５】
また、本発明の他の態様では、３バンド以上の通常画像生成用カラーフィルタと、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタとがアレイ状に配置されたカラーフィルタアレイを有する撮像素子と、前記通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行う通常画像生成部と、少なくとも前記補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行うスペクトル推定部と、前記スペクトル推定部から得られるスペクトル推定値に基づいて、前記通常画像の画素値を補正する補正情報を生成する補正情報生成部と、前記補正情報に基づいて前記通常画像の補正処理を行って、補正画像を生成する補正画像生成部と、特定の波長帯域における情報を有する被写体像を含む前記通常画像において、注目すべき領域である注目領域を、前記スペクトル推定値のデータに基づいて検出する注目領域検出部と、検出した前記注目領域に対して表示態様設定処理を行う表示態様設定部と、を含む撮像装置に関係する。
【００４６】
また、本発明の他の態様では、３バンド以上の通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行い、少なくとも、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行い、前記スペクトル推定処理の結果として得られるスペクトル推定値に基づいて、前記通常画像の画素値を補正する補正情報を生成し、前記補正情報に基づいて前記通常画像の補正処理を行って、補正画像を生成する画像生成方法に関係する。
【００４７】
また、本発明の他の態様では、３バンド以上の通常画像生成用カラーフィルタを用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行い、少なくとも、前記通常画像生成用カラーフィルタとは分光感度特性が異なる補正情報生成用カラーフィルタを用いて得られた画素値に基づいて、スペクトル推定処理を行い、特定の波長帯域における情報を有する被写体像を含む前記通常画像において、注目すべき領域である注目領域を、前記スペクトル推定値のデータに基づいて検出し、検出した前記注目領域に対して表示態様設定処理を行う画像生成方法に関係する。
【図面の簡単な説明】
【００４８】
【図１】第１の実施形態の撮像装置に含まれるデジタルプロセス回路の構成例。
【図２】第１の実施形態の撮像装置全体の構成例。
【図３】２バンドの補正情報生成用カラーフィルタを用いた場合のＣＦＡの例。
【図４】カラーフィルタの分光感度特性の一例。
【図５】第１の実施形態において用いるカラーフィルタの分光感度特性の一例。
【図６】第１の実施形態の処理の流れを説明するフローチャート。
【図７】８バンドの補正情報生成用カラーフィルタを用いた場合のＣＦＡの例。
【図８】一つの補正情報に対応する通常画像内の領域の説明図。
【図９】第１の実施形態の変形例において用いられるデジタルプロセス回路の構成例。
【図１０】第１の実施形態の変形例における処理の流れを説明するフローチャート。
【図１１】スペクトル推定値のデータと検出対象のスペクトルデータの比較例。
【図１２】２次元評価値マップの例。
【図１３】１６バンドの補正情報生成用カラーフィルタを用いた場合のＣＦＡの例。
【図１４】１６バンドの補正情報生成用カラーフィルタの分光感度特性の一例。
【図１５】第２の実施形態の処理の流れを説明するフローチャート。
【図１６】間引き読み出しの説明図。
【図１７】光源色判定処理の説明図。
【図１８】１６バンドの補正情報生成用カラーフィルタを用い、光源推定精度を重視した場合のＣＦＡの例。
【図１９】第２の実施形態の変形例の処理の流れを説明するフローチャート。
【図２０】光源スペクトルデータの一例。
【発明を実施するための形態】
【００４９】
以下、第１の実施形態及び第２の実施形態について説明する。まず、各実施形態の背景と手法の概要をまとめて説明する。次に、実施形態毎にシステム構成例と処理の詳細を説明する。そして、第１の実施形態及び第２の実施形態の手法についてまとめて説明する。なお、以下に説明する各実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また各実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００５０】
１．概要
フルカラー画像を撮像するために、Ｒ（赤：Ｒｅｄ）、Ｇ（緑：Ｇｒｅｅｎ）、Ｂ（青：Ｂｌｕｅ）の３種類のカラーフィルタを撮像素子に設けた撮像装置が知られている。このような撮像装置では、カラーフィルタのバンド数が少ないため、各バンドに対応した画素のサンプル密度は比較的高く、高精度な通常画像の生成が可能であった。
【００５１】
しかし、３種類のカラーフィルタから取得した撮像情報だけでは、被写体の詳細なスペクトル情報を推定する際に、十分な推定精度が得られないという問題がある。
【００５２】
これに対して、近年、被写体の忠実な色再現を目的として、マルチバンド撮像が注目されている。マルチバンド撮像装置としては、例えば前述した特許文献１や特許文献２に示されるように、４種類以上のカラーフィルタを撮像素子に設けた単板のマルチバンド撮像素子を用いて被写体のスペクトル情報（分光情報）を取得する装置が提案されている。
【００５３】
しかし、特許文献１や特許文献２の手法では、処理が複雑になってしまうことに加えて、各バンドのサンプル密度が下がってしまうため、原理的に解像度の低下は避けられない。そして、各バンドのサンプル密度の低下は通常画像の精度の低下に繋がり、結果として、偽色の発生等により画質が劣化してしまうという問題点がある。
【００５４】
一方、前述した特許文献３では、撮像素子とは別にスペクトル計測用のセンサを設置した撮像装置を用いて、スペクトル計測用のセンサから得られる情報により色再現性を向上させる補正情報を生成し、撮像素子から得られた通常画像（ＲＧＢ画像）を補正する方法も提案されている。
【００５５】
しかし、特許文献３に示されているような手法では、装置の大型化やコストについての問題がある。
【００５６】
そこで、以下で説明する第１の実施形態及び第２の実施形態の撮像装置等によれば、４種類以上の異なる分光感度特性を有する単板マルチバンド撮像素子を用いて、画質の劣化を最小限に抑えながら、推定されたスペクトル情報を用いた通常画像の補正をすることが可能となる。
【００５７】
以下の第１の実施形態及び第２の実施形態の撮像装置は、通常画像の色補正、被写体の光源検出、被写体検出等に対して効果的に使用することができる。この際には、被写体のスペクトル情報を推定し、それらスペクトル情報に基づいた処理の結果を通常画像の補正に使用する。
【００５８】
２．第１の実施形態
第１の実施形態では、既知の光源下で画素毎にスペクトル推定を行い、色再現性を向上した補正画像を生成する例について説明する。
【００５９】
２．１  システム構成例
図１は第１の実施形態のシステム構成図である。
【００６０】
撮像装置１０１は、被写体像を光電変換するための４種類以上の異なる分光感度特性を有するカラーフィルタを内蔵したマルチバンド撮像素子１０７と、各種のデジタル処理を行うためのデジタルプロセス回路１１０を備えている。そして、デジタルプロセス回路１１０には、図１のように本実施形態の特徴であるスペクトル推定結果に基づき補正画像を生成するための機能部として、通常画像生成部１１８と、特殊波長補間画像生成部１３０と、スペクトル推定部１１９と、補正情報生成部１２０と、補正画像生成部１２１とが設けられている。また、マルチバンド撮像素子１０７は、通常画像生成用カラーフィルタ１０７１と、補正情報生成用カラーフィルタ１０７２とを有している。なお、撮像装置１０１は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。
【００６１】
次に各部の接続について説明する。マルチバンド撮像素子１０７は、通常画像生成部１１８と、特殊波長補間画像生成部１３０に接続されている。そして、通常画像生成部１１８は、補正画像生成部１２１に接続されており、特殊波長補間画像生成部１３０は、スペクトル推定部１１９に接続されている。また、スペクトル推定部１１９は、補正情報生成部１２０に接続されており、補正情報生成部１２０は、補正画像生成部１２１に接続されている。
【００６２】
また、図１の構成を備えた撮像装置の全体像の例を図２に示す。
【００６３】
撮像装置１０１は、各種レンズ（撮像レンズ）から構成される撮像レンズ系１０２と、レンズ系１０２の伸縮駆動やレンズ系内のズームレンズ及びフォーカスレンズの駆動を行うためのレンズ駆動機構１０３と、レンズ駆動機構１０３を制御するためのレンズドライバ１０４と、レンズ系１０２の絞り及びシャッタ内を制御するための露出制御機構１０５と、露出制御機構１０５を制御するための露出制御ドライバ１０６と、被写体像を光電変換するための４種類以上の異なる分光感度特性を有するカラーフィルタを内蔵したマルチバンド撮像素子１０７と、撮像素子を駆動するための撮像素子ドライバ１０８と、アナログアンプ及びＡ／Ｄ変換器等を含むプリプロセス回路１０９と、記録画像生成のための色信号処理や圧縮伸張処理、その他各種のデジタル処理を行うためのデジタルプロセス回路１１０と、外部の記録媒体であるメモリカードとのインタフェースであるカードインタフェース１１１と、ＬＣＤ（Liquid Crystal Display）画像表示系１１２と、レリーズスイッチや設定ボタンなど各種スイッチからなる操作スイッチ系１１３と、操作状態及びモード状態等を表示するための操作表示系１１４と、各種設定情報等を設定するための不揮発性メモリ１１５と、各部を統括的に制御するためのシステムコントローラ１１６と、を備えている。
【００６４】
次にデジタルプロセス回路１１０で行われる処理について説明する。
【００６５】
通常画像生成部１１８では、マルチバンド撮像素子１０７の通常画像生成用カラーフィルタ１０７１を用いて得られたＲＡＷデータの各画素に対してデモザイキング処理を行うことで通常画像を生成する。
【００６６】
特殊波長補間画像生成部１３０では、マルチバンド撮像素子１０７の補正情報生成用カラーフィルタ１０７２を用いて得られた画素値に基づいて、特殊波長補間画像を生成する。
【００６７】
スペクトル推定部１１９では、特殊波長補間画像生成部１３０で生成された特殊波長補間画像と、予めスペクトル推定部１１９内に保持している光源情報と、を用いてスペクトル推定を行う。
【００６８】
補正情報生成部１２０では、スペクトル推定部１１９から得られたスペクトル情報を用いて、ＲＧＢ画像（通常画像）に対する補正情報を生成する。
【００６９】
補正画像生成部１２１では、通常画像生成部１１８で生成されたＲＧＢの通常画像と、補正情報生成部１２０で得られた補正情報を用いて、補正画像を生成する。
【００７０】
そして、信号処理部１２３において、色信号生成処理等の各種デジタル処理を行った後、最終的な処理結果画像を生成する。
【００７１】
なお、通常画像生成部１１８と、特殊波長補間画像生成部１３０と、スペクトル推定部１１９と、補正情報生成部１２０と、補正画像生成部１２１の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【００７２】
また、撮像装置１０１においては、システムコントローラ１１６が全ての制御を統括的に行っており、レンズドライバ１０４、露出制御ドライバ１０６及び撮像素子ドライバ１０８によるマルチバンド撮像素子１０７の駆動を制御して露光（電化蓄積）及び信号の読み出しを行い、それをプリプロセス回路１０９を介してＡ／Ｄ変換した後にデジタルプロセス回路１１０に取り込み、デジタルプロセス回路１１０内で各種信号処理を施した後にカードインタフェース１１１を介してメモリカード１１７に記録するようになっている。
【００７３】
そして、マルチバンド撮像素子を構成する各画素上に配置される４種類以上の異なる分光感度特性を有するカラーフィルタの配置例として、５種類の分光感度特性を有するカラーフィルタアレイ（以下ＣＦＡ：Color Filter Array）を図３に示している。ここでは通常画像生成用のＲＧＢのサンプル密度を重視し、ＲＧＢの画素が特殊波長Ｃ１及びＣ２の画素に比べて多く配置されている。
【００７４】
さらに、通常３種類のカラーフィルタのベイヤー配列のＣＦＡにおいて、最も密度の高いＧの画素の情報を用いてデモザイキング処理をする手法が一般的である。そこで図３に示すＣＦＡにおいても、Ｇの画素はベイヤー配列と同じサンプル密度を有するように、ベイヤー配列におけるＲ画素、Ｂ画素の位置に特殊波長Ｃ１及びＣ２の画素を配置している。また、実際の撮像素子は、図３のＣＦＡが繰り返し配置されることにより構成される。
【００７５】
さらに、前述した特許文献２等において用いられるカラーフィルタは、例えば図４のグラフのような分光感度特性を有するカラーフィルタである。特許文献２等では、Ｃ１及びＣ２を用いて得られる画素値も通常画像を生成するために用いる。そのため、Ｂ及びＧの相対感度が低くなる範囲をＣ１及びＣ２で補うために、特殊波長用のＣ１及びＣ２のバンドがＢ及びＧのバンドと重複している。
【００７６】
一方、本実施形態において用いられるカラーフィルタは、例えば図５のグラフのような分光感度特性を有するカラーフィルタである。本実施形態では、特許文献２等と異なり、補正情報を生成するためにＣ１及びＣ２から得られる画素値を使用する。そのため、特殊波長用のＣ１及びＣ２のバンドは、Ｒ、Ｇ、Ｂのいずれとも区別しやすいバンドであることが望ましく、図５の例でもＣ１及びＣ２は、Ｒ、Ｇ、Ｂのいずれのバンドとも重複していない。
【００７７】
２．２  処理の詳細
次に、補正画像生成処理の流れについて図６を用いて説明する。ここでは、先に処理全体の流れを簡単に説明し、その後に、各ステップの詳細について説明する。
【００７８】
まず、マルチバンド撮像素子１０７から得られたＲＡＷデータ（入力データ）の読み込みを行い（Ｓ４０１）、ＲＧＢ画素のデータに対してデモザイキング処理を行い、通常画像（ＲＧＢ画像）を生成する（Ｓ４０２）。
【００７９】
さらに、特殊波長画素のデータに対してもデモザイキング処理を行い、特殊波長補間画像を生成する（Ｓ４０３）。
【００８０】
そして、予めスペクトル推定部１１９に記憶されている光源情報の読み込みを行い（Ｓ４０４）、ステップＳ４０３で生成された特殊波長補間画像と、ステップＳ４０４で読み出された光源情報を用いてスペクトル推定処理を行う（Ｓ４０５）。
【００８１】
次に、ステップＳ４０５で推定されたスペクトル情報を用いて通常画像に対する補正情報を生成する（Ｓ４０６）。最後に、ステップＳ４０２で生成された通常画像をステップＳ４０６で生成された補正情報に対応させるために領域分割処理を行った後（Ｓ４０７）、通常画像に補正処理を行うことで補正画像を生成する（Ｓ４０８）。
【００８２】
ここで、ステップＳ４０２及びステップＳ４０３の通常画像生成処理について説明する。
【００８３】
通常、３種類のカラーフィルタのベイヤー配列のＣＦＡにおいて、最も密度の高いＧの画素の情報を用いてデモザイキング処理をする手法が一般的である。図３に示すようなマルチバンド撮像素子でもＧの画素をデモザイキング処理し、Ｇの通常画像の高周波成分を利用してＲおよびＢのデモザイキング処理を行うことが可能である。特許文献４には、補間を行う注目画素に対して、周辺の画素情報やエッジの方向を考慮して補間を行う技術が公開されている。
【００８４】
特殊波長画素のデモザイキングについても種々のデモザイキング手法で通常画像を生成することが可能である。ただし、図３のマルチバンド撮像素子では、ＲＧＢの画素と比べて特殊波長Ｃ１及びＣ２の画素のサンプル密度は低い。このため、高周波成分の情報を復元出来ずに全体的にボケた画像となってしまう。
【００８５】
このステップＳ４０２およびステップＳ４０３での通常画像生成処理において、ＲＧＢの通常画像を生成する際にはＲＧＢ画素だけの情報を使用し、特殊波長の補間画像を生成する際には特殊波長画素の情報だけを使用して補間処理を行う。ＲＧＢと特殊波長の分光感度特性に相関が無い場合には、ＲＧＢと特殊波長を独立してデモザイキング処理することで、特殊波長画素のみで撮像された構造（エッジ情報）を保持することが可能である。
【００８６】
ただし、ＲＧＢと特殊波長の分光感度特性に相関がある場合には、全てのバンドの情報を使用してデモザイキング処理することで、高周波成分を保持した通常画像の生成が可能である。通常画像を生成する際にどのバンドの情報を使用するかは、ＲＧＢと特殊波長の分光感度特性に相関があるかどうかにより判断する。また、通常画像と特殊波長補間画像は同じ解像度である必要はない。
【００８７】
次に、ステップＳ４０５のスペクトル推定処理について説明する。
【００８８】
マルチバンド撮像された画像から被写体の分光反射率を推定する手法として、画素毎に分光反射率を推定する手法が知られている。
【００８９】
撮像された画像の位置（ｘ、ｙ）、バンドｂにおける画素値ｇ（ｘ、ｙ、ｂ）と、対応する被写体の分光反射率ｔ（ｘ、ｙ、λ）の間には、次式（１）の関係が成り立つ。
【００９０】
【数１】
2014086862.tif 000003
【００９１】
ここで、λは波長、ｆ（ｂ、λ）はバンドｂのカラーフィルタの分光感度特性、ｓ(λ)はカメラの分光感度特性、ｅ(λ)は光源の分光放射特性、ｎ(ｂ)はバンドｂにおける撮像ノイズを表す。なお、ｂはバンドを識別する通し番号であり、図２のＣＦＡにおいては１≦ｂ≦５を満たす整数値である。実際の計算では、式（１）を波長方向に離散化した次式（２）を用いる。
【００９２】
【数２】
2014086862.tif 000004
【００９３】
ここで、波長方向のサンプル点数をＤ、バンド数をＢとすれば、Ｇ（ｘ、ｙ）は位置（ｘ、ｙ）における画素値ｇ（ｘ、ｙ、ｂ）に対応するＢ行１列の行列である。同様にＴ（ｘ、ｙ）はｔ（ｘ、ｙ、λ）に対応するＤ行１列の行列、Ｆはｆ（ｂ、λ）に対応するＢ行Ｄ列の行列である。ＳはＤ行Ｄ列の対角行列であり、対角要素がｓ（λ）に対応している。Ｅも同様にＤ行Ｄ列の対角行列であり、対角要素がｅ（λ）に対応している。
【００９４】
また、Ｎはｎ(ｂ)に対応するＢ行１列の行列である。式（２）では、行列を用いて複数のバンドに関する式を集約しているため、バンド数を表す変数ｂが陽に記述されていない。また、波長λに関する積分は行列の積に置き換えられている。
【００９５】
次に被写体の分光反射率を推定する手法として、Ｗｉｅｎｅｒ推定を用いる。Ｗｉｅｎｅｒ推定は、ノイズが重畳された信号から原信号を推定する手法であり、分光反射率の推定値（式（３）の左辺）は次式（３）で求めることができる。
【００９６】
【数３】
2014086862.tif 000005
【００９７】
ここで、ＲｓｓはＤ行Ｄ列の行列であり、対象とする被写体の分光反射率の共分散行列を表す。ＲｎｎはＢ行Ｂ列の行列であり、撮像に使用するカメラのノイズの共分散行列を表す。また（）ｔは転置行列を、（）-１は逆行列をそれぞれ表す。
【００９８】
なお、上記では、通常画像に対して画素毎にスペクトル推定を行う手法について説明を行ったが、スペクトル推定手法はこれに限られるものではない。例えば、マルチバンド撮像素子１０７から得られたＲＡＷデータの状態で画素領域毎にスペクトル推定を行うものでもよい。ＲＡＷデータから直接スペクトル推定を行う手法として、学習用データに対する主成分分析により予め求められた領域毎の基底データを使用して、基底データの線形結合によりスペクトル推定を行う手法を適用することが可能である。ＲＡＷデータから直接スペクトル推定を行うことで、デモザイキング処理の精度がスペクトル推定に影響するのを避けることが可能である。ただし、スペクトル推定手法はデモザイキング済みのデータに対して処理する手法が多く、特殊波長の補間画像を生成しておくことで、様々なスペクトル推定手法を適用することが可能となる。
【００９９】
また、スペクトル推定に使用するバンドは全バンドである必要はない。例えば図７に示すＣＦＡのように特殊波長の画素の種類が多い場合には、特殊バンドの情報のみからスペクトルを推定してもかまわない。４種類以上の情報を用いてスペクトル推定を行うことで、３種類の情報を用いるよりも高精度なスペクトル推定が可能である。ただし、図３に示すＣＦＡのように特殊波長の画素の種類が３種類以下の場合には、ＲＧＢの通常画像も使用してスペクトル推定を行う。
【０１００】
また、スペクトル推定に使用する光源情報は、予めスペクトル推定部１１９に保持されている光源情報を使用したが、図２に示す光源検出センサ１２４から得られた情報を使用することも可能である。光源検出センサからの情報を用いることで、予め情報を保持していない光源にも対応することが可能となる。
【０１０１】
次に、ステップＳ４０６の補正情報生成処理について説明する。
【０１０２】
ここでは、色再現性の向上を目的として、スペクトルデータの画素毎に補正情報を生成する例について説明する。スペクトルデータの画素毎に補正情報を生成する手法は特許文献５に公開されている。
【０１０３】
すなわち、ステップＳ４０５で推定されたスペクトルデータを用いて、推定されたスペクトルデータの画素（ｐ、ｑ）毎に対応付けられるマトリクスを生成し、この画素（ｐ、ｑ）毎のマトリクスのデータと、画素（ｐ、ｑ）に関する画素位置データとの組を出力する。
【０１０４】
具体的には、図８に示すような縦方向にＭ１個、横方向にＭ２個、波長方向にＤ個の要素を有するスペクトルデータを受け取り、受け取ったスペクトルデータから式（４）によって、スペクトルデータの画素（ｐ、ｑ）毎のマトリクスを全画素位置に関して生成し、生成した画素毎のマトリクスのデータと、画素（ｐ、ｑ）に関する画素位置データとの組を出力する。ここで、スペクトルデータの画素の数は、スペクトルデータの要素の数と同一である。つまり、ｐは０＜ｐ≦Ｍ１を満たす自然数であり、ｑは０＜ｑ≦Ｍ２を満たす自然数である。
【０１０５】
【数４】
2014086862.tif 000006
【０１０６】
ここで、Ａ（ｐ、ｑ）はスペクトルデータの画素（ｐ、ｑ）毎に定められたマトリクスを意味する。また、ＫはＭ個のスペクトルデータを列ベクトルとして配列したＤ行Ｍ列の行列を意味する。さらにＨはオリジナルのスペクトル情報Ｔ（ｘ、ｙ）とそれに対応する画像データＧ（ｘ、ｙ）と、画像データに含まれるノイズを示す３次元列ベクトルＮとの間の式（５）で示す入出力関係を規定する３行Ｄ列の行列を意味し、具体的には式（６）で表される。また、Ｃはノイズの共分散行列を意味する。
【０１０７】
【数５】
2014086862.tif 000007
【０１０８】
【数６】
2014086862.tif 000008
【０１０９】
なお、本実施形態では、領域毎に補正情報を生成したが、当然画像全体に対して１つの補正情報を生成しても構わない。画像全体に対して１つの補正情報を生成することにより、簡便な処理が可能となる。画像全体に対して１つの補正情報を生成する場合には、例えば次式（７）で表すことが可能である。ここで、Ａｗは画像全体に対する補正マトリクスを、Ｍはスペクトルデータの数、つまりＭ１×Ｍ２を意味する。
【０１１０】
【数７】
2014086862.tif 000009
【０１１１】
次に、ステップＳ４０７の領域分割処理について説明する。
【０１１２】
ここでは、ステップＳ４０２で生成された通常画像に対して、ステップＳ４０６で生成された補正マトリクスとの対応をとるための領域分割処理を行い、通常画像の１つの領域が１つの補正マトリクスに対応するようにする。
【０１１３】
図８に示す通り、通常画像が縦方向にＮ１個、横方向にＮ２個の要素を有し、スペクトルデータが縦方向にＭ１個、横方向にＭ２個の要素を有する際に、通常画像の領域は縦方向にＮ１／Ｍ１、横方向にＮ２／Ｍ２のサイズの領域に分割される。
【０１１４】
ただし、ステップＳ４０３での特殊波長補間画像を縦方向にＮ１個、横方向にＮ２個のサイズで生成、もしくはステップＳ４０６の補正情報生成処理時にスペクトルデータをＮ１、Ｎ２のサイズにアップサンプリングする処理を行う場合には、このステップＳ４０７の領域分割処理は不要である。また、当然、ステップ４０６で画像全体に対して１つの補正情報を生成した場合もステップＳ４０７の領域分割処理は不要である。
【０１１５】
次に、ステップＳ４０８の補正画像生成処理について説明する。
【０１１６】
ステップＳ４０８では、ステップＳ４０７で領域分割された通常画像に対して、ステップＳ４０６で生成された補正マトリクスを使用して補正画像を生成する。補正画像を生成するために、まずは通常画像と補正マトリクスを使用して、画素毎のスペクトルを推定し、推定されたスペクトルデータをＲＧＢデータに変換することで、補正画像が生成される。
【０１１７】
画素毎のスペクトルは式（８）で求められる。
【０１１８】
【数８】
2014086862.tif 000010
【０１１９】
そして、スペクトル推定手段によりＲＧＢへと変換するマトリクスを作成し、通常画像を生成することが出来る。ここで、スペクトルデータをＲＧＢへと変換するには、式（９）〜式（１１）の３刺激値ＸＹＺを経由するのが一般的である。（１）式において、ｆ（ｂ、λ）には等色関数で規定されているｘｔ、ｙｔ、ｖｔをそれぞれ使用する。ここで、式（１２）は式（８）の左辺を波長方向に連続的な形式に変換したものである。
【０１２０】
【数９】
2014086862.tif 000011
【０１２１】
【数１０】
2014086862.tif 000012
【０１２２】
【数１１】
2014086862.tif 000013
【０１２３】
【数１２】
2014086862.tif 000014
【０１２４】
３刺激値ＸＹＺからＲＧＢへの変換は３×３のマトリクスを用いて式（１３）により求める。
【０１２５】
【数１３】
2014086862.tif 000015
【０１２６】
これらの処理により、高精度に推定されたスペクトル情報を用いた通常画像の補正が可能となる。本実施形態では、４種類以上のデータから推定されたスペクトルデータを用いて、通常画像の各画素位置における色を補正することで、色再現性の向上が可能となる例について説明した。ＲＧＢのサンプル密度は極力減らさないようにしながら、ＲＧＢ以外の波長情報を取得可能な画素を配置したＣＦＡを使用し、エッジ等の画質に関わる情報は通常画像を、色再現性に関わるスペクトル情報は４種類以上から推定されたスペクトルをそれぞれ使用することで、３種類のカラーフィルタの撮像装置で撮像した画像に比べて、画質劣化を最小限に抑えながらも色再現性を向上した画像が生成可能である。
【０１２７】
２．３  変形例
本変形例では、推定されたスペクトルデータを用いて特定領域（被写体）を検出し、検出された領域を強調処理した画像を通常画像に重畳させた補正画像を生成する例について説明する。
【０１２８】
本変形例のシステム構成例を図９に示す。本変形例のシステム構成は、第１の実施形態の構成を基本とするが、デジタルプロセス回路１１０内で行う処理の内容が異なる。具体的には、図９に示すように、デジタルプロセス回路１１０は、注目領域検出部１４０と、表示態様設定部１５０とをさらに含む。
【０１２９】
ここで、注目領域検出部１４０は、補正画像内で強調して表示したい注目領域を検出する。
【０１３０】
これに対して、表示態様設定部１５０は、注目領域検出部１４０が検出した注目領域に対して表示態様の変更処理を行う。
【０１３１】
なお、注目領域検出部１４０と、表示態様設定部１５０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
【０１３２】
次に、本変形例での補正画像生成の処理の流れについて図１０を用いて説明する。なお、ステップＳ７０１からＳ７０５までは第１の実施形態と同様なので説明を省略する。
【０１３３】
まず、検出したい対象物のスペクトル情報（検出対象スペクトル情報）を読み込み（Ｓ７０６）、ステップＳ７０５で推定されたスペクトルデータと、読み込んだ検出対象スペクトル情報との比較を行い、特定のスペクトルを有する領域を検出する（Ｓ７０７）。
【０１３４】
推定されたスペクトル値のデータと、検出対象スペクトルデータとの比較方法としては、例えば波長毎の差を用いて評価する。図１１に示すような２つのスペクトルデータＲ１（実線）とＲ２（破線）の比較を行う場合には、次式（１４）により求められるＥの値を画素毎の評価値とすることが可能である。もしくは簡便な処理のために、予め設定された閾値以下であれば、２つのスペクトルデータＲ１とＲ２は一致していると判定することも可能である。式（１４）では波長の範囲を３８０-７８０ｎｍとして記載しているが、任意の範囲で計算可能である。
【０１３５】
【数１４】
2014086862.tif 000016
【０１３６】
ここで、λは波長を、ｎは波長方向のサンプル点数を表す。
【０１３７】
そして、求められたＥの値に基づき、図１２のような２次元の評価値マップを作成する。Ｅの値は低い程検出したいスペクトルに近いことを意味するが、図１２ではわかりやすさのために輝度値が明るい程、検出したいスペクトルに近い領域であることを示している。
【０１３８】
そして、ステップＳ７０２で生成された通常画像と、ステップＳ７０７で生成された評価値マップを用いて、検出したいスペクトルデータを持つ領域だけを強調して表示する（Ｓ７０８）。特定領域を強調して表示する方法としては、例えば、評価値マップで検出したいスペクトルに近いと判定されている領域のみコントラストを上げた画像を生成する方法などがある。
【０１３９】
本変形例では、４種類以上のデータから領域毎に推定されたスペクトルデータを、検出したい特定被写体のスペクトルデータと比較することで特定領域の検出を行い、検出された領域のみを強調表示した通常画像を生成する例について説明した。本発明のように撮像素子が１つである撮像装置では、動画像として特定領域を検出して視認性を高めた画像を表示することが可能であり、医療用画像において、血管や病変部の検出を目的とした撮影に効果的である。医療用画像においては、７８０ｎｍよりも長波長側の近赤外と呼ばれる波長帯域の情報が有効な場合があるが、本発明は近赤外領域においても同様の効果を得ることが可能である。
【０１４０】
また、本変形例ではスペクトルデータに基づき検出された領域情報は、通常画像の強調表示のみに使用したが、その他の処理に使用することも可能である。例えば、動画像においてスペクトルデータに基づき検出された領域情報を使用して、特定の被写体を追跡するトラッキング処理を行うことが可能である。
【０１４１】
３．第２の実施形態
本実施形態では、未知の光源下での撮像時に、特殊波長画素の情報により光源推定を行い、推定された光源情報を用いて画像の色味を補正するホワイトバランス補正を行う例について説明する。
【０１４２】
３．１  システム構成例
本実施形態では、図１に示す第１の実施形態の構成を基本とするが、デジタルプロセス回路１１０内で行う処理の内容が異なる。具体的には、スペクトル推定部１１９と、補正情報生成部１２０と、補正画像生成部１２１の処理が異なる。詳しくは後述する。
【０１４３】
図１３は本実施形態におけるマルチバンド撮像素子の例として、ＲＧＢの画素に加えて１６種類の特殊波長画素Ｃ１〜Ｃ１６が配置されたＣＦＡを示している。１６種類程度の情報が得られれば十分な精度で光源推定を行えるという知見が経験的に得られている。そこで、本実施形態ではこの１６種類の画素の情報を用いて光源を推定する。本実施形態において用いられるカラーフィルタは、例えば図１４のグラフのような分光感度特性を有するカラーフィルタである。
【０１４４】
３．２  処理の詳細
次に、ホワイトバランス補正画像生成処理の流れについて図１５のフローチャートを用いて説明する。
【０１４５】
まず、マルチバンド撮像素子から得られたＲＡＷデータ（入力データ）の読み込みを行い（Ｓ１１０１）、ＲＧＢ画素のデータに対してデモザイキング処理を行い、通常画像を生成する（Ｓ１１０２）。
【０１４６】
さらに、特殊波長画素のデータに対してもデモザイキング処理を行い特殊波長補間画像を生成する（Ｓ１１０３）。ただし、本実施形態においては、その後のステップの処理を簡便化するためにデータ数が少ないことが望ましい。そのため、特殊波長の補間処理を行わずに、ステップＳ１１０１の入力データの読み込みの際に、特殊波長画素だけを読み込む間引き読み出しを行うように撮像素子ドライバ１０８を設定しておいてもよい。全画素数が４０００×３０００画素の撮像素子において、図１３のＣＦＡを使用した場合、特殊波長画素だけ間引き読み出しを行い、図１６に示す赤枠内を同一の画素として扱うと２５０×３７５画素のデータとなる。各赤枠内にはＣ１〜Ｃ１６の全ての画素の情報が含まれているためにデモザイキング処理を行う必要が無く、このデータをそのまま使用することが可能である。
【０１４７】
次に、通常画像内で光源色画素を抽出する（Ｓ１１０４）。光源色画素の抽出方法としては、例えば色温度（Ｒ／Ｇ、Ｂ／Ｇ）を算出し、図１７に示すように黒体放射軌跡の周辺領域内に含まれていれば光源色と判定することが可能である。ここで、処理の簡易化のためにデータ数は少ない方が望ましいため、例えばステップＳ１１０３で算出される２５０×３７５画素のサイズに通常画像を縮小したデータを使用しても構わない。
【０１４８】
そして、光源色として推定された画素の光源スペクトルデータを算出する（Ｓ１１０５）。光源色と推定された画素は被写体の分光反射率が波長によらず一定（白色被写体）であることが想定されるので、光源のスペクトルを推定することが可能である。つまり、第１の実施形態では、（１）式において被写体の分光反射率ｔ（ｘ、ｙ、λ）を推定する処理を行ったが、本実施形態では、ｅ(λ)の推定を行うこととなる。
【０１４９】
しかし、ステップＳ１１０４で抽出された画素は色温度の評価では光源色と判定されていても、有彩色の被写体を光源色と誤認識している可能性がある。
【０１５０】
そこで、予め補正情報生成部１２０に記憶されている光源スペクトルデータを読み込み（Ｓ１０６）、推定された光源スペクトルデータとの比較を行い、光源色であるか改めて判定を行う（Ｓ１１０７）。色温度では光源色なのか被写体色なのか区別不可能な色であっても、スペクトルで比較することで区別可能である。
【０１５１】
そして、通常画像を領域分割し（Ｓ１１０８）、ステップＳ１１０７での判定結果に基づき、通常画像に対するホワイトバランス補正係数に基づいて、補正画像を生成する（Ｓ１１０９）。光源の推定、補正係数の作成は画像全体に対して１つでも構わないし、任意の画素領域毎に行っても構わない。画像全体に対して１つの補正係数を使用する場合は、ステップＳ１１０８の領域分割処理は必要無い。
【０１５２】
これらの処理により、光源色の抽出精度が向上し、正しいホワイトバランス処理を行うことが可能となる。なお、本実施形態では、ステップＳ１１０４の光源色画素の抽出処理は通常画像を用いて行ったが、当然特殊波長画素の情報を用いて判定しても構わない。すなわち、特殊波長画素から色温度を算出してもよい。色温度の算出方法としては、特殊波長画素の情報を色温度空間に射影する方法、もしくは特出波長画素がＲＧＢのいずれかに属すると仮定し、ＲＧＢの情報として（Ｒ／Ｇ、Ｂ／Ｇ）を算出することが可能である。ただし、ＲＧＢ画素に比べて特殊波長画素は離れて配置されているために、異なる被写体の情報を１つの情報として扱ってしまう可能性がある。光源推定精度を重視する場合には、通常画像生成が難しくなるが、図１８に示すような特殊波長画素がまとまって配置されているＣＦＡを用いることが可能である。この場合にはステップＳ１１０４での光源色画素抽出処理を高精度に行うことが可能であり、ステップＳ１１０６で読み込む光源スペクトルとの比較を行わずに、ステップＳ１１０５で推定される光源スペクトルをそのまま、光源推定の結果としてステップＳ１１０９での補正画像生成処理に用いてもよい。
【０１５３】
３．３  変形例
本変形例では、光源色画素を推定することなく、直接スペクトルデータの比較により光源推定を行い、ホワイトバランスを補正した画像を生成する例について説明する。
【０１５４】
本変形例では、第２の実施形態の構成を基本としてデジタルプロセス回路１１０内での処理が異なる。具体的には、スペクトル推定部１１９が行う処理の内容が異なる。
【０１５５】
次に、本変形例の処理の流れについて図１９のフローチャートを用いて説明する。
【０１５６】
第２の実施形態では、画像内の光源色画素を抽出してから光源スペクトル推定を行ったが、本変形例では特殊波長画素の全画素に対してスペクトルを算出する（Ｓ１５０４）。しかし、光源の情報、被写体の分光反射率が未知の状態であるため、このままではスペクトル推定処理は行えない。そこで、本例では、光源は波長によらず一定な光源（白色光源）であると仮定し、スペクトル推定を行う。
【０１５７】
次に、光源スペクトル情報を読み込む（Ｓ１５０５）。例えば、図２０に示す三波長型昼白蛍光灯のように特定の波長領域に輝線が立ったスペクトルを持った光源情報を読み込む。そして、ステップＳ１５０４で推定されたスペクトルデータと、ステップＳ１５０４で読み込まれた光源スペクトルデータを比較し、特定の波長領域の輝線のような特徴が一致するか判定を行い、光源推定を行う（Ｓ１５０６）。被写体を照射する光源が輝線のような特徴を持ったスペクトルである場合、推定されたスペクトルデータにもその特徴が反映されていることが予想される。
【０１５８】
本変形例では、太陽灯のような広い波長領域に対してブロードなスペクトルを持つ光源の検出には不向きであるが、一般的にホワイトバランス補正が難しいとされている蛍光灯のような輝線を持った光源に対して効果的である。
【０１５９】
４．手法のまとめ
次に、第１の実施形態及び第２の実施形態の手法についてまとめて説明する。
【０１６０】
以上の実施形態の撮像装置１０１では、３バンド以上の通常画像生成用カラーフィルタ１０７１と、通常画像生成用カラーフィルタ１０７１とは分光感度特性が異なる補正情報生成用カラーフィルタ１０７２とがアレイ状に配置されたカラーフィルタアレイを有する撮像素子１０７と、通常画像生成用カラーフィルタ１０７１を用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行う通常画像生成部１１８と、少なくとも補正情報生成用カラーフィルタ１０７２を用いて得られた画素値に基づいて、スペクトル推定処理を行うスペクトル推定部１１９と、スペクトル推定部１１９により得られるスペクトル推定値に基づいて、通常画像の画素値を補正する補正情報を生成する補正情報生成部１２０と、補正情報に基づいて通常画像の補正処理を行って、補正画像を生成する補正画像生成部１２１と、を含む。
【０１６１】
本実施形態では、例えば前述した図３のように、各画素に対して、１つのバンドに対応するカラーフィルタが割り当てられている。さらに、通常画像生成用カラーフィルタ１０７１としては、Ｒ用、Ｇ用、Ｂ用のカラーフィルタを用い、補正情報生成用カラーフィルタ１０７２としては、Ｃ１用、Ｃ２用のカラーフィルタを用いる。
【０１６２】
そして、通常画像生成部１１８が、通常画像生成用カラーフィルタ１０７１を用いて得られた画素値の補間処理を行い、欠落画素の画素値が補間された通常画像を生成する。
【０１６３】
ここで、前述したように、本例では、各画素に対して１つのバンドに対応するカラーフィルタが割り当てられているため、Ｇ用のカラーフィルタが割り当てられている画素については、Ｇの画素値のみが得られ、その他のＲ、Ｂ、Ｃ１、Ｃ２の画素値が得られない。このように、この画素については、Ｒ、Ｂ、Ｃ１、Ｃ２に対しての画素値が欠落しているため、Ｒ、Ｂ、Ｃ１、Ｃ２についての欠落画素と呼ぶ。
【０１６４】
したがって、例えばＲの欠落画素に対しては、その欠落画素の周囲の画素において得られたＲの画素値を用いて補間処理を行い、その画素におけるＲの画素値を推定する。
【０１６５】
ここでは、通常画像生成用カラーフィルタ１０７１を用いて得られた画素値、すなわち、Ｒ用、Ｇ用、Ｂ用のカラーフィルタを用いて得られた画素値を用いて、補間処理を行う。その結果として、全ての画素についてＲ、Ｇ、Ｂの画素値が求められた通常画像が得られる。
【０１６６】
次に、スペクトル推定部１１９が、通常画像生成用カラーフィルタ１０７１と補正情報生成用カラーフィルタ１０７２のうち、少なくとも補正情報生成用カラーフィルタ１０７２を用いて得られた画素値に基づいて、スペクトル推定処理を行う。スペクトル推定処理の具体例については、前述した通りである。
【０１６７】
そして、補正情報生成部１２０が、スペクトル推定値に基づいて、通常画像の画素値を補正する補正情報を生成する。
【０１６８】
さらに、補正画像生成部１２１が、補正情報に基づいて通常画像の補正処理を行って、補正画像を生成する。
【０１６９】
これにより、画質の劣化を抑えながら、推定したスペクトル情報を用いて通常画像の補正をすることができる。
【０１７０】
また、単板マルチバンド撮像素子１０７を使用することでコスト、装置の肥大化を抑えることも可能となる。
【０１７１】
ここで、通常画像の精度を低下させないためには、ベイヤー配列に比べて、通常画像生成用カラーフィルタのサンプル密度をできる限り減らさずに補正情報生成用カラーフィルタを配置することが望ましい。
【０１７２】
すなわち、通常画像生成用カラーフィルタ１０７１は、Ｒ用のカラーフィルタと、Ｇ用のカラーフィルタと、Ｂ用のカラーフィルタを有していてもよい。そして、補正情報生成用カラーフィルタ１０７２は、Ｒ用カラーフィルタとＧ用のカラーフィルタとＢ用のカラーフィルタのいずれのカラーフィルタよりも低いサンプル密度で、カラーフィルタアレイに配置されてもよい。
【０１７３】
これにより、ＲＧＢの通常画像の精度の低下を最小限に抑えること等が可能となる。なお、補正情報生成用カラーフィルタから得られる画素値は通常画像の補正に使用するのみであるため、補正情報生成用カラーフィルタを高い密度で配置する必要がない。
【０１７４】
また、カラーフィルタは、通常画像生成用カラーフィルタ１０７１のうちのＧ用のカラーフィルタが、奇数行の奇数列及び偶数行の偶数列、又は奇数行の偶数列及び偶数行の奇数列に配置されてもよい。
【０１７５】
すなわち、ベイヤー配列と同様にＧ用のカラーフィルタが市松模様上に配置されていてもよい。
【０１７６】
これにより、高精度なＧの通常画像が生成可能であり、Ｇの通常画像の高周波成分を用いてＲ、Ｂの補間を行えば、Ｒ、Ｂの通常画像の精度低下も抑えること等が可能となる。
【０１７７】
ここで、前述したように、補正情報生成用カラーフィルタ１０７２は、通常画像生成用カラーフィルタ１０７１よりも低い密度で配置されている。そのため、図８を用いて説明したように、補正情報生成用カラーフィルタ１０７２を用いて得られる画素値の数は、通常画像全体の画素数よりも小さい。
【０１７８】
そこで、補正情報生成部１２０は、スペクトル推定処理において、一つの画素値から得られる一つのスペクトル推定値のデータに基づいて、通常画像の複数の画素値に対する補正情報を生成してもよい。
【０１７９】
これにより、通常画像の一つの画素に対して補正情報を生成する処理を行わなくて済み、処理量を軽減すること等が可能になる。
【０１８０】
また、第１の実施形態及び第２の実施形態の撮像装置１０１は、特定の波長帯域における情報を有する被写体像を含む通常画像において、注目すべき領域である注目領域を、スペクトル推定値のデータに基づいて検出する注目領域検出部１４０と、検出した注目領域に対して表示態様設定処理を行う表示態様設定部１５０と、を含んでもよい。
【０１８１】
表示態様設定処理では、例えば、注目領域を明るく表示し、一方で注目領域の外を暗く表示したり、注目領域を赤線で囲む等の視認性を高めるような画像処理を行う。
【０１８２】
これにより、医療用画像などにおいて、病変検出、血管検出などの視認性を高めること等が可能となる。特に前述した第１の実施形態及び第２の実施形態では、単板の撮像素子１０７を用いているために、リアルタイムでの動画像表示を行うこと等が可能である。
【０１８３】
また、第１の実施形態及び第２の実施形態の撮像装置１０１は、補正情報生成用カラーフィルタ１０７２を用いて得られる画素値に基づいて、補正情報を生成するために用いる特殊波長補間画像の生成処理を行う特殊波長補間画像生成部１３０を含んでもよい。そして、特殊波長補間画像生成部１３０は、補正情報生成用カラーフィルタを用いて得られた画素値の補間処理を生成処理として行って、欠落画素の画素値が補間された特殊波長補間画像を生成してもよい。さらに、スペクトル推定部１１９は、特殊波長補間画像に基づいてスペクトル推定処理を行ってもよい。
【０１８４】
これにより、特殊波長補間画像を利用する様々なスペクトル推定手法を適用すること等が可能となる。
【０１８５】
また、特殊波長補間画像生成部１３０は、通常画像生成部１１８により生成される通常画像よりも解像度が低い特殊波長補間画像を生成してもよい。そして、スペクトル推定部１１９は、少なくとも特殊波長補間画像の画素値に基づいて、特殊波長補間画像の解像度でスペクトル推定処理を行ってもよい。さらに、補正情報生成部１２０は、スペクトル推定処理の結果得られた一つのスペクトル推定値のデータに基づいて、通常画像の複数の画素値に対する補正情報を生成してもよい。そして、補正画像生成部１２１は、生成された補正情報を用いて、通常画像の解像度で補正処理を行ってもよい。
【０１８６】
なお、通常画像の解像度で補正処理を行うとは、図８を用いて前述したように、一つの補正情報を通常画像の複数の画素値に対する補正処理に用いるという意味である。
【０１８７】
これにより、解像度が特殊波長補間画像を用いて補正情報の生成処理を行うこと等が可能となるため、処理量を軽減すること等が可能になる。
【０１８８】
また、スペクトル推定部１１９は、通常画像から光源の色を表す光源色画素を抽出し、抽出した光源色画素の光源スペクトルを推定して、光源スペクトル推定値を求めてもよい。そして、補正情報生成部１２０は、光源スペクトル推定値のデータと、予め記憶されている光源スペクトルデータとを比較して、光源を推定してもよい。
【０１８９】
これにより、ＲＧＢの画素値の情報だけでは光源の判別が難しいシーンであっても、高精度な光源推定を行うこと等が可能となる。
【０１９０】
また、補正画像生成部１２１は、通常画像に対して、推定された光源に基づいてホワイトバランスを補正する補正処理を行ってもよい。
【０１９１】
これにより、ＲＧＢの画素値の情報だけでは光源の判別が難しいシーンであっても、高精度なホワイトバランス補正を行うこと等が可能となる。
【０１９２】
また、補正情報生成部１２０は、通常画像内に設定された複数の領域の領域毎に補正情報を生成してもよい。そして、補正画像生成部１２１は、補正情報生成部１２０により生成された通常画像内の領域毎の補正情報を用いて通常画像に対する補正処理を行ってもよい。
【０１９３】
これにより、画像に設定した複数の領域の領域毎に、より高精度な補正処理を行うこと等が可能になる。具体的には、前述した注目領域や後述する特定スペクトル領域の判定精度向上や、画像内で異なる光源が存在する場合のホワイトバランスの補正に効果的である。
【０１９４】
また、補正情報生成部１２０は、スペクトル推定部１１９により推定されたスペクトル推定値のデータと、予め記憶されている検出対象のスペクトルデータとの比較処理を行い、比較処理の結果に基づいて、特定のスペクトルを有する特定スペクトル領域を検出し、検出した特定スペクトル領域の検出結果に基づいて、補正情報を生成してもよい。
【０１９５】
これにより、特定のスペクトルデータを有する特定スペクトル領域の検出を行うこと等が可能となり、ＲＧＢの情報だけではその領域の検出が難しいシーンであっても、高精度な領域検出を行うこと等が可能になる。
【０１９６】
また、スペクトル推定部１１９は、特殊波長補間画像から光源の色を表す光源スペクトルデータ測定画素を抽出し、抽出された光源スペクトルデータ測定画素の光源スペクトルを推定して、光源スペクトル推定値を求めてもよい。そして、補正画像生成部１２１は、通常画像に対して、光源スペクトル推定値に基づきホワイトバランスを補正する処理を行ってもよい。
【０１９７】
これにより、特殊波長補間画像から得られた情報から光源色の画素を推定し、直接光源スペクトルを推定することにより、より少ない処理量で光源推定を行うこと等が可能になる。
【０１９８】
また、スペクトル推定部１１９は、白色光の光源スペクトルデータに基づいて、特殊波長補間画像に対してスペクトル推定を行ってもよい。そして、補正情報生成部１２０は、特定波長領域において、スペクトル推定値のデータと、予め記憶されている光源スペクトルデータとを比較して、光源を推定してもよい。
【０１９９】
これにより、輝線を持った特徴的なスペクトルの光源推定を簡易的に行うこと等が可能となる。
【０２００】
また、スペクトル推定部１１９は、撮像素子１０７から画素値を読み出す際に、通常画像生成用カラーフィルタ１０７１を用いて得られる画素値を読み出さず、補正情報生成用カラーフィルタ１０７２を用いて得られる画素値を読み出す間引き読み出しを行い、間引き読み出しした画素値を用いてスペクトル推定処理を行ってもよい。
【０２０１】
これにより、処理の高速化を図ること等が可能になる。
【０２０２】
また、撮像素子１０７は、通常画像生成用カラーフィルタ１０７１及び補正情報生成用カラーフィルタ１０７２は、赤外光の波長領域にピーク波長を有する赤外フィルタであってもよい。
【０２０３】
これにより、例えば医療用画像など、赤外領域のスペクトルに特徴がある場合に、より精度の高い補正画像を生成すること等が可能になる。
【０２０４】
また、赤外光の波長帯域は、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域であってもよい。
【０２０５】
これにより、７９０ナノメータ〜８２０ナノメータ、または９０５ナノメータ〜９７０ナノメータの波長帯域にピーク波長を有する赤外フィルタを用いること等が可能になる。
【０２０６】
また、変形例として、撮像装置１０１は、３バンド以上の通常画像生成用カラーフィルタ１０７１と、通常画像生成用カラーフィルタ１０７１とは分光感度特性が異なる補正情報生成用カラーフィルタ１０７２がアレイ状に配置されたカラーフィルタアレイを有する撮像素子１０７と、通常画像生成用カラーフィルタ１０７１を用いて得られた画素値の補間処理を行うことで、欠落画素の画素値が補間された通常画像の生成処理を行う通常画像生成部１１８と、少なくとも補正情報生成用カラーフィルタ１０７２を用いて得られた画素値に基づいて、スペクトル推定処理を行うスペクトル推定部１１９と、特定の波長帯域における情報を有する被写体像を含む通常画像において、注目すべき領域である注目領域を、スペクトル推定値のデータに基づいて検出する注目領域検出部１４０と、検出した注目領域に対して表示態様設定処理を行う表示態様設定部１５０と、を含んでもよい。
【０２０７】
以上のように第１の実施形態及び第２の実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、撮像装置及び画像生成方法の構成、動作も第１の実施形態及び第２の実施形態で説明したものに限定されず、種々の変形実施が可能である。
【符号の説明】
【０２０８】
１０１  撮像装置、１０２  撮像レンズ系、１０３  レンズ駆動機構、
１０４  レンズドライバ、１０５  露出制御機構、１０６  露出制御ドライバ、
１０７  撮像素子（マルチバンド撮像素子、単板マルチバンド撮像素子）、
１０８  撮像素子ドライバ、１０９  プリプロセス回路、
１１０  デジタルプロセス回路、１１１  カードインタフェース（カードＩ／Ｆ）、
１１２  画像表示系（ＬＣＤ）、１１３  操作スイッチ系（操作ＳＷ）、
１１４  操作表示系、１１５  不揮発性メモリ（ＥＥＰＲＯＭ）、
１１６  システムコントローラ（ＣＰＵ）、１１７  メモリカード、
１１８  通常画像生成部、１１９  スペクトル推定部、１２０  補正情報生成部、
１２３  信号処理部、１２４  光源検出センサ、１３０  特殊波長補間画像生成部、
１４０  注目領域検出部、１５０  表示態様設定部
【図１】
2014086862.tif 000017
【図２】
2014086862.tif 000018
【図４】
2014086862.tif 000019
【図５】
2014086862.tif 000020
【図６】
2014086862.tif 000021
【図８】
2014086862.tif 000022
【図９】
2014086862.tif 000023
【図１０】
2014086862.tif 000024
【図１１】
2014086862.tif 000025
【図１４】
2014086862.tif 000026
【図１５】
2014086862.tif 000027
【図１６】
2014086862.tif 000028
【図１７】
2014086862.tif 000029
【図１９】
2014086862.tif 000030
【図２０】
2014086862.tif 000031
【図３】
2014086862.tif 000032
【図７】
2014086862.tif 000033
【図１２】
2014086862.tif 000034
【図１３】
2014086862.tif 000035
【図１８】
2014086862.tif 000036