(57)【要約】【課題】リアルタイムの照明特性に応じて、色再現性を向上させたマルチバンド画像を簡単に撮像する。【解決手段】照明検出センサ１０は、照明光スペクトルを検出し、ノイズパラメータ算出部１１は、検出された照明光スペクトルに応じてバンドごとのノイズパラメータを算出し、色変換プロファイル算出部１２は、算出されたノイズパラメータを用いて色変換を行うための色変換プロファイルを生成する。撮像素子３により取得してフレームメモリ６に格納されたマルチバンド画像データは、生成された色変換プロファイルとともにマルチバンド画像記録部７に格納された後、画像再生部８で色変換プロファイルを用いて色変換され、表示素子９に表示される。【選択図】図１
2010278711.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像してマルチバンド画像を取得する撮像手段を備えるマルチバンド画像撮像装置において、
照明光スペクトルを検出する照明検出手段と、
前記検出された照明光スペクトルに応じて、前記マルチバンド画像に対応するバンドごとのノイズパラメータを算出するノイズパラメータ算出手段と、
前記算出されたノイズパラメータを用いて、前記撮像手段により取得された前記マルチバンド画像の色変換を行うためのプロファイルを生成する色変換プロファイル算出手段と、
を備えることを特徴とするマルチバンド画像撮像装置。
【請求項２】
被写体を撮像してマルチバンド画像を取得する撮像手段を備えるマルチバンド画像撮像装置において、
照明光スペクトルを検出する照明検出手段と、
前記検出された照明光スペクトルに応じて、前記マルチバンド画像に対応するバンドごとのノイズパラメータを算出するノイズパラメータ算出手段と、
前記算出結果を用いて、前記撮像手段により前記マルチバンド画像を取得する際の各バンドの露光時間を調整する露光時間調整手段と、
を備えることを特徴とするマルチバンド画像撮像装置。
【請求項３】
被写体を撮像してマルチバンド画像を取得する撮像手段を備えるマルチバンド画像撮像装置において、
照明光スペクトルを検出する照明検出手段と、
前記検出された照明光スペクトルに応じて、前記マルチバンド画像に対応するバンドごとのノイズパラメータを算出するノイズパラメータ算出手段と、
前記算出されたノイズパラメータに基づいて、前記撮像手段から得られた前記バンドごとの画像に対してノイズ低減処理を行うノイズ低減手段と、
を備えることを特徴とするマルチバンド画像撮像装置。
【請求項４】
被写体を撮像してマルチバンド画像を取得する撮像手段を備えるマルチバンド画像撮像装置において、
照明光スペクトルを検出する照明検出手段と、
異なる特性のスペクトルを有する光を選択して発光することができるストロボと、
前記照明検出手段により検出される照明光スペクトルに応じて、該照明光スペクトルの弱い波長帯域に発光スペクトルを有するように、前記ストロボの発光を制御するストロボ制御手段と、
を備えることを特徴とするマルチバンド画像撮像装置。
【請求項５】
前記照明検出手段は、照明光スペクトルを測定するセンサであることを特徴とする、請求項１−４のいずれか一項に記載のマルチバンド画像撮像装置。
【請求項６】
前記照明検出手段は、前記撮像手段から得られたマルチバンド画像に基づいて、照明光スペクトルを推定する照明推定手段を備えることを特徴とする請求項１、３、４のいずれか一項に記載のマルチバンド画像撮像装置。
【請求項７】
被写体を撮像してマルチバンド画像を取得するマルチバンド画像撮像方法であって、
照明光スペクトルを検出する照明検出ステップと、
前記検出された照明光スペクトルに応じてバンドごとのノイズパラメータを算出するノイズパラメータ算出ステップと、
前記算出されたノイズパラメータを用いて前記マルチバンド画像の色変換を行うためのプロファイルを生成する色変換プロファイル生成ステップと、
を備えることを特徴とするマルチバンド画像撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体のマルチバンド画像を撮像するマルチバンド画像撮像装置およびマルチバンド画像撮像方法に関する。
【背景技術】
【０００２】
画像撮像装置において、色再現性を向上させるために、４種類以上の多数種類の色フィルタを用いたり、異なる分光特性を有する複数の光路を用いたりする等の方法により、波長帯域を分割する数を増やしてマルチバンド化する撮像方法や、当該撮像方法を用いた装置が知られている（例えば、特許文献１、特許文献２および特許文献３参照）。
【０００３】
波長帯域を多数のバンドに分割することによって、分割された各バンドは狭帯域となり、色再現性の向上が期待できる。しかし、狭帯域化によって、入射光のスペクトル特性によっては、入射する光量が不足してＳ／Ｎ比の極めて悪いバンドを含む場合がある。このようにＳ／Ｎ比の悪いバンドを含むと、それにより色再現性が低下する。
【０００４】
例えば、蛍光灯や水銀灯など輝線を含む光源の下で撮像をするとき、狭帯域のバンドには輝線を受光して撮像素子が飽和に近いレベルになるものと、輝線からはずれてほとんど受光しないものとが含まれる。また、白熱灯のように長波長ほどエネルギーが高い光源では、波長の短い帯域のバンドと長い帯域のバンドにおいて信号レベルの差が大きくなる。
このようなときに信号が低いバンドではノイズレベルが高くなり、色変換したときの色再現精度が低下する。
【０００５】
このため、従来技術では、事前に予備撮像を行うことによって露光時間をバンドごとに設定し、Ｓ／Ｎ比をバンド間で同レベルにするというものが知られている（例えば、特許文献４参照）。あるいは、あらかじめ分光放射輝度計等で測定し、その測定データを用いて撮影画像をＰＣで処理するなどしてＳ／Ｎ比を向上させることができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２９６１１４号公報
【特許文献２】特開２００５−２６０４８０号公報
【特許文献３】特開２００７−２７８９５０号公報
【特許文献４】特開２００４−１４７２８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、事前に予備撮像を行う上述の方法では、照明条件が変わるたびに予備撮像や測定が必要になるので手間がかかり、予備撮像や測定に係る処理のために装置が複雑になるという問題点や、撮像時のリアルタイムでの照明特性に応じた撮像ができないという問題点がある。
【０００８】
したがって、これらの点に着目してなされた本発明の目的は、リアルタイムの照明特性に応じて、色再現性を向上させたマルチバンド画像を簡単に撮像することができるマルチバンド画像撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成する請求項１に係るマルチバンド画像撮像装置の発明は、
被写体を撮像してマルチバンド画像を取得する撮像手段を備えるマルチバンド画像撮像装置において、
照明光スペクトルを検出する照明検出手段と、
前記検出された照明光スペクトルに応じて、前記マルチバンド画像に対応するバンドごとのノイズパラメータを算出するノイズパラメータ算出手段と、
前記算出されたノイズパラメータを用いて、前記撮像手段により取得された前記マルチバンド画像の色変換を行うためのプロファイルを生成する色変換プロファイル算出手段と、
を備えることを特徴とするものである。
【００１０】
上記目的を達成する請求項２に係るマルチバンド画像撮像装置の発明は、
被写体を撮像してマルチバンド画像を取得する撮像手段を備えるマルチバンド画像撮像装置において、
照明光スペクトルを検出する照明検出手段と、
前記検出された照明光スペクトルに応じて、前記マルチバンド画像に対応するバンドごとのノイズパラメータを算出するノイズパラメータ算出手段と、
前記算出結果を用いて、前記撮像手段により前記マルチバンド画像を取得する際の各バンドの露光時間を調整する露光時間調整手段と、
を備えることを特徴とするものである。
【００１１】
上記目的を達成する請求項３に係るマルチバンド画像撮像装置の発明は、
被写体を撮像してマルチバンド画像を取得する撮像手段を備えるマルチバンド画像撮像装置において、
照明光スペクトルを検出する照明検出手段と、
前記検出された照明光スペクトルに応じて、前記マルチバンド画像に対応するバンドごとのノイズパラメータを算出するノイズパラメータ算出手段と、
前記算出されたノイズパラメータに基づいて、前記撮像手段から得られた前記バンドごとの画像に対してノイズ低減処理を行うノイズ低減手段と、
を備えることを特徴とするものである。
【００１２】
上記目的を達成する請求項４に係るマルチバンド画像撮像装置の発明は、
被写体を撮像してマルチバンド画像を取得する撮像手段を備えるマルチバンド画像撮像装置において、
照明光スペクトルを検出する照明検出手段と、
異なる特性のスペクトルを有する光を選択して発光することができるストロボと、
前記照明検出手段により検出される照明光スペクトルに応じて、該照明光スペクトルの弱い波長帯域に発光スペクトルを有するように、前記ストロボの発光を制御するストロボ制御手段と、
を備えることを特徴とするものである。
【００１３】
請求項５に係る発明は、請求項１−４のいずれか一項に記載のマルチバンド画像撮像装置において、
前記照明検出手段は、照明光スペクトルを測定するセンサであることを特徴とするものである。
【００１４】
請求項６に係る発明は、請求項１、３、４のいずれか一項に記載のマルチバンド画像撮像装置において、
前記照明検出手段は、前記撮像手段から得られたマルチバンド画像に基づいて、照明光スペクトルを推定する照明推定手段を備えることを特徴とするものである。
【００１５】
上記目的を達成する請求項７に係るマルチバンド画像撮像方法の発明は、
被写体を撮像してマルチバンド画像を取得するマルチバンド画像撮像方法であって、
照明光スペクトルを検出する照明検出ステップと、
前記検出された照明光スペクトルに応じてバンドごとのノイズパラメータを算出するノイズパラメータ算出ステップと、
前記算出されたノイズパラメータを用いて前記マルチバンド画像の色変換を行うためのプロファイルを生成する色変換プロファイル生成ステップと、
を備えることを特徴とするものである。
【発明の効果】
【００１６】
本発明によれば、照明検出手段により照明光スペクトルを検出し、検出された照明光スペクトルに応じてノイズパラメータ算出手段がバンドごとのノイズパラメータを算出し、算出されたノイズパラメータを用いて色変換プロファイル算出手段が色変換を行うための色変換プロファイルを生成するようにしたので、リアルタイムの照明特性に応じて、色再現性を向上させたマルチバンド画像を簡単に撮像することができる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。
【図２】ノイズパラメータ算出部の処理を示すフローチャートである。
【図３】色変換プロファイル算出部の処理を示すフローチャートである。
【図４】室内における照明光スペクトルの一例（白熱灯）を示す図である。
【図５】マルチバンド画像撮像装置のスペクトル感度を示す図である。
【図６】本発明の第２実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。
【図７】バンド選択ノイズ除去部の処理を示すフローチャートである。
【図８】本発明の第３実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。
【図９】第３実施の形態のノイズパラメータ算出部および露出時間算出部の処理を示すフローチャートである。
【図１０】室内における照明光スペクトルの他の一例（水銀灯等）を示す図である。
【図１１】本発明の第４実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。
【図１２】照明推定部の処理を示すフローチャートである。
【図１３】本発明の第５実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。
【図１４】本発明の第６実施の形態に係るマルチバンド画像撮像装置の背面図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について、図を参照して説明する。
【００１９】
（第１実施の形態）
図１は、本発明の第１実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。このマルチバンド画像撮像装置１は、撮影レンズ２、撮像素子３、レリーズボタン４、撮像制御部５、フレームメモリ６、マルチバンド画像記録部７、画像再生部８、表示素子９、照明検出センサ１０、ノイズパラメータ算出部１１、色変換プロファイル算出部１２を含んで構成されている。
【００２０】
撮影レンズ２は、入射光を撮像素子３に結像させるレンズである。撮像素子３は、被写体からの光を電気信号に変換する素子であり、例えばＣＣＤやＣＭＯＳから構成され、露光面の前面には、Ｎバンド（Ｎは例えば１６）の狭帯域フィルタを有する図示しないマルチバンドのモザイクフィルタが装着されている。ここで、撮像手段は、撮影レンズ２および撮像素子３を含んで構成される。
【００２１】
撮像制御部５は、使用者によるレリーズボタン４の操作により、撮像素子３および照明検出センサ１０を制御する。すなわち、使用者によりレリーズボタン４が半押しされると、撮像制御部５は、ＡＥ（自動露光）動作を駆動するとともに、照明検出センサ１０を制御して照明光スペクトルを測定させる。また、レリーズボタン４が押下されると、撮像制御部５は、撮像素子３を制御してマルチバンド画像データをフレームメモリ６に書き込ませる。フレームメモリ６は、撮像素子３の１フレーム分の画像データを格納することができる。
【００２２】
照明検出センサ１０は、撮像素子３の撮像バンドに対応するバンドごとの照明光のスペクトルデータを測定するセンサであり、照明検出手段を構成する。この照明検出センサ１０は、マルチバンド画像撮像装置１の本体の前面に配置されており、被写体側からの照明光スペクトル強度を検出して、ノイズパラメータ算出部１１に出力する。
【００２３】
ノイズパラメータ算出部１１は、ノイズパラメータ算出手段を構成し、検出センサ１０から出力された照明光スペクトルデータから、バンドごとのＳ／Ｎ比を予測するためのノイズパラメータを算出して、色変換プロファイル算出部１２に出力する。色変換プロファイル算出部１２は、色変換プロファイル算出手段を構成し、検出センサ１０で検出された照明光スペクトルデータ、および、ノイズパラメータ算出手段１１で算出されたノイズパラメータから、色変換プロファイルを算出する。
【００２４】
本実施の形態では、ウィナー（Wiener）推定による色推定行列を算出し、これを用いて色変換プロファイルを生成する。ウィナー推定は公知の技術であり、ウィナー推定行列は、式（１）で表される。
【００２５】
【数１】
2010278711.tif 000003
【００２６】
ここで、Ｒは被写体統計データから求められる被写体相関関数、Ｈはカメラ分光感度特性と撮像照明特性（照明光スペクトルデータ）から求められるシステムマトリクス、Ｒｎはノイズマトリクスである。各バンドのノイズ間に相関がないと見なせるので、Ｒｎは式（２）で示す対角行列として表せる。
【００２７】
【数２】
2010278711.tif 000004
【００２８】
ここで、Ｎはバンド数、σｉ（１≦ｉ≦Ｎ）はバンドｉにおけるノイズパラメータである。
【００２９】
このため、先ず、ノイズパラメータ算出部１１は、図２に示すフローチャートに従い、ノイズパラメータσｉを算出するように構成される。すなわち、照明光検出センサ１０から照明光データが入力され（ステップＳ１０１）、また、図示しない記憶部からカメラ分光データが読み出される（ステップＳ１０２）。ノイズパラメータ算出部１１は、これら照明光スペクトルデータとカメラ分光特性のデータとを乗算し、予測信号レベルＷｉを算出する（ステップＳ１０３）。次に、全バンドの中で最大となるＷｉをＷＭＡＸとし、ノイズパラメータσｉを次式により算出して（ステップＳ１０４）、色変換プロファイル算出部１２へ出力する（ステップＳ１０５）。
【００３０】
【数３】
2010278711.tif 000005
【００３１】
次に、色変換プロファイル算出部１２は、色変換プロファイルを生成するように構成される。図３は、色変換プロファイル算出部１２の処理を示すフローチャートである。色変換プロファイル算出部１２には、照明光検出センサ１０から照明光スペクトルデータが入力され（ステップＳ２０１）、また、図示しない記憶部からカメラ分光特性のデータを読み出し（ステップＳ２０２）、これら、照明光スペクトルデータとカメラ分光特性のデータとに基づいて、システムマトリクスＨを算出する（ステップＳ２０３）。さらに、色変換プロファイル算出部１２には、ノイズパラメータ算出部１１からノイズパラメータσｉが入力される（ステップＳ２０４）。色変換プロファイル算出部１２は、算出したシステムマトリクスＨ、ノイズパラメータσｉを対角要素とするノイズマトリクスＲｎ、および、図示しない記憶部から入力される被写体統計データ（ステップＳ２０５）により決定される被写体相関関数Ｒを用いて、式（１）に基づいてウィナー推定行列を算出する（ステップＳ２０６）。このウィナー推定行列に色空間を表す行列と再現照明光を乗算して、色変換プロファイルを色変換マトリクスとして生成して、マルチバンド画像記録部７に出力する（ステップ２０７）。なお、色空間を表す行列とは、例えば、出力にｓＲＧＢ表色系を使用すると想定した場合、ＸＹＺ等色関数にｓＲＧＢ規格で規定されているＸＹＺからＲＧＢへの変換マトリクスを乗算したものである。
【００３２】
マルチバンド画像記録部７は、フレームメモリ６で一時的に格納されたマルチバンド画像データと色変換プロファイル算出部１２で算出された色変換プロファイルとを記録するように構成される。また、画像再生部８は、マルチバンド画像記録部７からマルチバンド画像データと色変換プロファイル（色変換マトリクス）とを受け取り、画像データを色変換プロファイルで所望の色空間（例えばＲＧＢ）に色変換してカラー画像を再生するように構成される。
【００３３】
表示素子９は、マルチバンド画像撮像装置１の背面側に設けられた液晶ディスプレイであり、画像再生部８で再生された画像データを受け取り、ディスプレイ上に表示する。なお、表示素子９は、有機ＥＬディスプレイやその他の表示素子としても良い。
【００３４】
以上のような構成によって、マルチバンド画像撮像装置１は、撮像時に、まず、使用者によりレリーズボタン４が半押しされると、撮像制御部５の制御により、照明検出レンズ１０が照明光スペクトルを検出し、これを用いてノイズパラメータ算出部１１がノイズパラメータを算出し、さらに、このノイズパラメータおよび照明検出センサ１０から得られた照明光スペクトルを用いて色変換プロファイル算出部１２が色変換プロファイルを算出して、マルチバンド画像記録部７がこの色変換プロファイルを格納する。
【００３５】
さらに、使用者によりレリーズボタン４が押下されると、制御手段５の制御により、撮像素子３が、露光面に結像するマルチバンドの画像データをフレームメモリ６に取り込んだ後、マルチバンド画像記録部７がこの画像データを記録する。さらに、マルチバンド画像記録部７に格納された色変換プロファイルと画像データは上述のように画像再生部８で処理されカラー画像として表示素子９に表示される。
【００３６】
例えば、図４に示すような照明光スペクトルを有する蛍光灯の下で撮像を行い、且つ、マルチバンド画像撮像装置１のスペクトル感度が図５で示される場合、照明検出センサ１０は、照明光のスペクトルデータを検出して、ノイズパラメータ算出部１１に伝達する。ノイズパラメータ算出部１１は、前述のようにノイズパラメータσｉを算出する。ここで、図４の照明光スペクトルとカメラ分光特性のデータとを乗算して得られる予測信号レベルＷｉは、短波長側のバンド１や２では、他のバンドの予測信号レベルよりも小さくなり、すなわち、Ｓ／Ｎ比が悪くなる。このためバンド１および２では、ノイズパラメータσｉが大きくなる。このノイズパラメータを用いてウィナー推定行列を算出することによって、バンド１やバンド２等の短波長側のバンドの情報の寄与度が相対的に低くなり、ノイズを抑制することができる。
【００３７】
本実施の形態では、上述のように得られたノイズパラメータを用い、色変換プロファイル算出部１２においてウィナー推定により色変換プロファイルを算出する。したがって、撮像するマルチバンド画像のバンドごとに露光条件を変える必要はない。
【００３８】
以上説明したように、本実施の形態によれば、照明光を検出し、検出された照明光に応じてバンドごとのノイズパラメータを算出し、算出されたノイズパラメータを用いて色変換を行うプロファイルを生成して、画像データとともに記録するようにしたので、リアルタイムの照明特性に応じて、色再現性を向上させたマルチバンド画像を簡単に撮像することができる。また、被写体のスペクトル特性を含む被写体統計データを用い、ウィナー推定により色推定を行うようにしたので、被写体に応じた精度の高いマルチバンド画像の撮像が可能になる。さらに、バンドごとに露光条件を変える必要が無いので、装置構成を簡単にすることができる。
【００３９】
なお、本実施の形態の色変換プロファイル算出部１２では、色変換プロファイルをウィナー推定行列に色空間を表す行列と再現照明光とを乗算した色変換マトリクスとして生成したが、色変換プロファイルの作成方法はこれに限られず、ノイズパラメータに応じて予め用意されたルックアップテーブル（ＬＵＴ）からプロファイルを選択したり、あるいは、上述のように生成される色変換マトリックスにＬＵＴを組み合わせて生成したりすることもできる。
【００４０】
また、マルチバンド画像を記録するのに加え、作成した色変換プロファイルに基づいて、Ｎバンドのマルチバンド画像を所望の色空間に色変換を行う色変換部を含む構成とすることもできる。この場合、色変換部は、フレームメモリ６とマルチバンド画像記録部７との間に設け、色変換プロファイル算出部１２は、この色変換部にも色変換プロファイルを出力するようにする。これによって、色変換された画像データからカラー画像を出力するカメラとしての利用も可能となる。
【００４１】
（第２実施の形態）
図６は、本発明の第２実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。本実施の形態は、第１実施の形態に係るマルチバンド画像撮像装置において、フレームメモリ６と画像再生部８との間に、マルチバンド画像記録部７に代えて、バンド選択ノイズ除去部２１と色変換部２２と画像記録部２３とを設け、さらに、色変換プロファイル算出部１２を設けずに、ノイズパラメータ算出部１１がノイズパラメータをバンド選択ノイズ除去部２１に出力するようにしたものである。
【００４２】
バンド選択ノイズ除去部２１は、ノイズ低減手段を構成し、Ｓ／Ｎ比の悪いバンドについてデータの平滑化を行う。図７は、バンド選択ノイズ除去部２１の処理を示すフローチャートである。バンド選択ノイズ除去部２１は、まず１番目のバンドを選択し（ステップＳ３０１）、ノイズパラメータ算出部１１から出力されたノイズパラメータとフレームメモリ６から出力されたマルチバンド画像データとから、１番目のバンドのノイズパラメータと画像データとを抽出する（ステップＳ３０２）。１番目のバンドのノイズパラメータが予め定められた閾値以上の場合は（ステップＳ３０３）、1番目のバンドの画像データに対して平滑化処理を行い、ノイズを抑制する（ステップＳ３０４）。また、ノイズパラメータが閾値未満の場合は、平滑化処理は行わない。次に、処理対象のバンドを２番目のバンドとして（ステップＳ３０６）、上記ステップＳ３０２〜Ｓ３０４の処理を行う。以下、第Ｎ番目までのバンドについて順次同様の処理を行い、全てのバンドの処理が終了すると（ステップＳ３０５）、上記処理を行ったマルチバンドの画像データを色変換部２２へ出力する。
【００４３】
さらに、色変換部２２では、バンド選択ノイズ除去部２１から出力されたＮバンドのマルチバンド画像を、所望の色空間の色データに変換し、画像記録部２３は、色変換部２２で色変換された画像データを記憶する。画像再生部８は画像記録部２３に記憶された画像データを再生して表示素子９に表示させる。その他の構成、作用は、第１実施の形態と同様であるので、同一構成要素には同一参照符号を付して説明を省略する。
【００４４】
本実施の形態では、例えば、図４に示すような照明光スペクトルを有する蛍光灯の下で撮像を行い、且つ、マルチバンド画像撮像装置１のスペクトル感度が図５である場合、バンド１およびバンド２はＳ／Ｎ比が悪いのでノイズパラメータが大きくなるため、バンド選択ノイズ除去部２１で平滑化処理を受ける。このため、撮像したマルチバンド画像の色再現性を向上させることができる。
【００４５】
第１実施の形態では、ノイズパラメータを大きくすることで、スペクトル推定・色変換時にＳ／Ｎ比の悪いバンドの画像情報の寄与度を低くしてノイズの影響を抑制していたのに対し、本実施の形態では、ノイズを抑制しつつバンドの画像情報の寄与度を下げない処理となっている。したがって、Ｓ／Ｎ比の悪いバンドに特徴のある被写体に適用した場合、第１実施の形態に比べ、特徴のあるバンドの情報を有効に使うことができる。
【００４６】
以上説明したように、本実施の形態によれば、照明検出センサ１０により検出される照明光スペクトルデータから算出されるノイズパラメータを用いて、バンドごとにノイズ低減処理を行うようにしたので、リアルタイムの照明特性に応じて、色再現性を向上させたマルチバンド画像を簡単に撮像することができる。また、Ｓ／Ｎ比の悪いバンドに特徴のある被写体について、特徴のあるバンドの寄与度を下げることなく撮像することができる。
【００４７】
（第３実施の形態）
図８は、本発明の第３実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。本実施の形態は、撮像素子３の前段に回転フィルタ３１を設けてバンドごとの露光時間を調整するようにしたものである。
【００４８】
このため、本実施の形態のマルチバンド画像撮像装置１は、第２実施の形態に係るマルチバンド画像装置において、撮像素子３の前面にマルチバンドモザイクフィルタを装着しない代わりに、撮像素子３と撮影レンズ２との間に設けられたマルチバンドのカラーフィルタが取り付けられた回転フィルタ３１と、この回転フィルタを回転駆動するフィルタ駆動部３２と、ノイズパラメータ算出部１１から得られるノイズパラメータに基づいてバンドごとの適切な露出時間を算出する露光時間算出部３３とを有する。また、第２実施の形態のバンド選択ノイズ除去部２１は設けず、フレームメモリ６は画像データを色変換部２２へ出力する。ここで、撮像手段は、撮像レンズ２、撮像素子３、回転フィルタ３１およびフィルタ駆動部３２を含んで構成される。また、露光時間調整手段は、撮像制御部５、回転フィルタ３１、フィルタ駆動部３２、露光時間算出部３３を含んで構成されている。
【００４９】
図９は本実施の形態のノイズパラメータ算出部１１および露出時間算出部３３の処理を示すフローチャートである。まず、レリーズボタン４が半押しされると、照明検出センサから照明光スペクトルデータが入力され（ステップＳ４０１）、図示しない記憶部からカメラ分光特性が読み出される（ステップＳ４０２）。ノイズパラメータ算出部１１は、照明光スペクトルデータとカメラ分光特性のデータとを乗算し、予測信号レベルＷｉを算出する（ステップＳ４０３）。さらに、ノイズパラメータ算出部１１は、全てのバンドの中で最大の予測信号レベルＷｉを最大信号レベルとして算出し（ステップＳ４０４）、この最大信号レベルに対する各バンドの予測信号レベルの相対値であるノイズパラメータを算出する。露光時間算出部３３は、算出されたノイズパラメータから、最大信号レベルのバンドに対する相対露光時間を算出する（ステップＳ４０５）。さらに、算出した相対露光時間に基づいて各バンドの露光時間を決定する（ステップＳ４０６）。その後、露光時間算出手段３３は、決定した露光時間を撮像制御部５へ出力する（ステップＳ４０７）。
【００５０】
撮像制御部５は、レリーズボタン４が押下されると、算出された露光時間に基づいて、フィルタ駆動部３２を制御して回転フィルタ３１を回転させて各バンドに対応するカラーフィルタを順次撮影レンズと撮像素子３との間の光路上に配置する。さらに、撮像素子３はこれに同期して、撮像するバンドごとに所望の露光時間露光面に結像する画像データをフレームメモリ６に取り込む。この画像データはマルチバンド画像データとして色変換部に出力される。その他の構成、作用は、第２実施の形態と同様であるので、同一構成要素には同一参照符号を付して説明を省略する。
【００５１】
本実施の形態によれば、例えば、図４に示すような照明光スペクトルを有する蛍光灯の下で撮像を行い、且つ、マルチバンド画像撮像装置１のスペクトル感度が図５で示されるような場合、Ｓ／Ｎ比が悪いバンド１およびバンド２は、信号レベルを大きく取れるように露出時間を長くし、Ｓ／Ｎ比を向上させる。この例では、バンド１の露光時間を最長とし、バンド２の露光時間はそれよりがやや短く、というように、波長が長いバンドほど露光時間を短くするように設定することで、全帯域においてＳ／Ｎ比の悪いバンドを無くすことができる。
【００５２】
以上説明したように、本実施の形態によれば、照明検出センサ１０により検出される照明光から算出されるノイズパラメータを用いて、各バンドの露光時間を調整するようにしたので、リアルタイムの照明特性に応じて、色再現性を向上させたマルチバンド画像を簡単に撮像することができる。さらに、露光時間を調整することによって、特定のバンドの寄与度や解像度を低下させることなくマルチバンド画像を撮像することができる。
【００５３】
なお、体育館などでは、スペクトルに図１０に示すような強い輝線がある水銀灯や高圧ナトリウムランプなどが、照明として使用される場合が多い。この場合は、輝線のある波長帯域を含む数バンドは高い信号レベルを有するが、他のバンドの信号強度は極めて低く、露光時間を長くしてもほとんど信号が得られない。そこで、本実施の形態に、第２実施の形態で示したバンド選択ノイズ除去部を組み込み、露光時間の調整に加え、信号レベルが低いバンドに対しては平滑化処理も行うようにしても良い。
【００５４】
（第４実施の形態）
図１１は、本発明の第４実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。本実施の形態は、センサにより照明光を検出するのではなく、撮像した画像から照明光スペクトルを推定するようにしたものである。
【００５５】
このため、本実施の形態のマルチバンド画像撮像装置１は、第１実施の形態に係るマルチバンド画像装置１において、照明検出センサ１０を設けず、照明推定部４１を設けている。照明光推定部４１は、フレームメモリ６からのマルチバンドが像データを受信して、照明光スペクトルを推定するものである。ここで、照明検出手段は、照明推定部４１を含んで構成される。また、マルチバンド画像記録部７に代えて、色変換部２２および画像記録部２３を設けている。
【００５６】
以上のような構成によって、レリーズボタン４が押下されると、制御手段５の制御により、撮像素子３が、露光面に結像するマルチバンドの画像データをフレームメモリ６に取り込む。フレームメモリ６は、この画像データを色変換部２２および照明光推定部４１に出力する。照明光推定部４１は、フレームメモリ６から出力されるマルチバンド画像データに基づいて照明光スペクトルデータを推定し、ノイズパラメータ算出部１１に出力する。
【００５７】
ここで、照明推定部４１の処理について説明する。図１２は、照明光推定部４１の処理を示すフローチャートである。まず、照明光推定部４１は、フレームメモリ６からマルチバンドの画像データの入力を受け（ステップＳ５０１）、この画像データから白色部分の抽出を行う（ステップＳ５０２）。次に、別途求められた照明推定マトリクスが、図示しない記憶部から読み出される（ステップＳ５０３）。照明推定マトリクスは、例えば、ウィナー推定により求めることができる。この場合、式（１）のシステムマトリクスＨをカメラ感度から作成し、相関行列Ｒを照明光スペクトルの統計データより作成する。この照明推定マトリクスを、抽出された白色部分の白色信号値に対して乗算することにより（ステップＳ５０４）、色変換プロファイルを生成し出力する（ステップＳ５０５）。
【００５８】
第１実施の形態と同様に、ノイズパラメータ算出部１１は、照明光スペクトルデータからノイズパラメータを算出し、このノイズパラメータを用いて色変換プロファイル算出部１２は色変換プロファイルを算出して、色変換部２２に出力する。色変換部２２は、フレームメモリ６から出力されるマルチバンドの画像データを、色変換プロファイルに基づいて所望の色空間に色変換する。その後、画像記録部２３は、色変換された画像データを記憶する。さらに、画像再生部８は画像記録部２３に記憶された画像データを再生して表示素子９にカラー画像として表示させる。その他の構成、作用は、第１実施の形態と同様であるので、同一構成要素には同一参照符号を付して説明を省略する。
【００５９】
以上説明したように、本実施の形態によれば、照明光推定部４１により照明光を推定し、推定された照明光に応じてバンドごとのノイズパラメータを算出し、算出されたノイズパラメータを用いて色変換を行う色変換プロファイルを生成して、マルチバンド画像の色変換を行うようにしたので、リアルタイムの照明特性に応じて、色再現性を向上させたマルチバンド画像を簡単に撮像することができる。さらに、第１実施の形態と比べ、照明検出センサを必要としないので、より簡単且つ安価な装置構成とすることができる。
【００６０】
（第５実施の形態）
図１３は、本発明の第５実施の形態に係るマルチバンド画像撮像装置の概略構成を示すブロック図である。本実施の形態は、照明検出センサ１０で検出された照明光スペクトルデータに応じて、複数の発光部を有するストロボ５１の照明光に不足する波長帯域により強い発光強度を有する発光部を選択して発光させるようにしたものである。
【００６１】
このため、本実施の形態のマルチバンド画像撮像装置１は、第２実施の形態に係るマルチバンド画像装置１において、ノイズパラメータ算出部１１およびバンド選択ノイズ除去部２１を設けず、フレームメモリ６は画像データを色変換部２２に出力するように構成し、さらに、ストロボ５１およびストロボ設定部５２を設けている。
【００６２】
ストロボ５１は、異なる特性のスペクトルを有する光を選択して発光することができる、異なる発光スペクトルを有する複数の発光部を備えるストロボとして構成される。ストロボ設定部５２は、照明検出センサ１０により測定される照明光スペクトルデータに基づいて、照明光スペクトルに偏りがある場合、ストロボ５１が測定された照明光スペクトルの弱い波長帯域に発光スペクトルを有するように、撮像制御部５にストロボの設定情報を出力する。さらに、撮像制御部５は、撮像時にこの設定情報に基づいてストロボを発光させるように構成される。ここで、ストロボ設定部５２と撮像制御部５とはストロボ制御手段を構成している。
【００６３】
以上のような構成によって、マルチバンド画像撮像装置１は、使用者によりレリーズボタン４が半押しされると、撮像制御部５の制御により、照明検出レンズ１０が照明光スペクトルを検出し、これを用いてストロボ設定部５２が、発光させるストロボ５１の発光部を設定する。続いて、レリーズボタン４が押下されると、制御手段５の制御により、ストロボ５１がストロボ設定部５２により設定された発光部を発光させる。これと同期して、制御手段５の制御により、撮像素子３が、露光面に結像するマルチバンドの画像データをフレームメモリ６に取り込む。フレームメモリ６は、この画像データを色変換部２２に出力する。また、ストロボ設定部５２は、発光したストロボのスペクトル特性のデータを色変換部２２に出力する。色変換部２２は、撮像したマルチバンド画像とストロボのスペクトル特性のデータに基づき色変換を行う。その他の構成、作用は、第１実施の形態と同様であるので、同一構成要素には同一参照符号を付して説明を省略する。
【００６４】
以上説明したように本実施の形態によれば、照明検出センサ１０で検出した照明光スペクトルの強度の低い波長帯域に強い発光強度を有するようにストロボを発光させて撮像するようにしたので、照明光のスペクトル強度が波長帯域により偏りがある場合、撮像バンドごとの照明強度レベルを同程度に調整し、バンドごとのＳ／Ｎ比の差を小さくすることができる。
【００６５】
なお、本実施の形態では、照明検出センサ１０で検出された照明光スペクトルデータに基づいて、撮像時にストロボを使用するか否かが自動的に判断されるものとしたが、複数のモードを用意し設定モードを選択できるようにしても良い。例えば、上記のモード以外に、照明光スペクトルデータに基づいて、使用者に対しストロボの使用を推奨する画面を表示素子９に表示するモードを用意しても良い。
【００６６】
（第６実施の形態）
図１４は、本発明の第６実施の形態に係るマルチバンド画像撮像装置の背面図であり、表示素子９には、照明検出センサ１０による照明光スペクトルの測定モードを選択するための選択画面が表示されている。本実施の形態は、第１実施の形態において、照明検出センサ１０による照明光を測定するタイミングを、レリーズボタンの半押し時（ＡＥ同期）以外にも選択できるようにしたものである。図に示すように、マルチバンド画像撮像装置１には、既に説明をした表示素子９、レリーズボタン４の他、ファインダ６１、点灯ランプ６２および照明測定ボタン６３が設けられている。
【００６７】
また、本実施の形態では、図１に示した第１実施の形態のマルチバンド画像撮像装置１において、ノイズパラメータ算出部１１により算出したあるいは予め設定されたノイズパラメータを記憶する図示しない記憶部が設けられる。
【００６８】
測定モードは、使用者によりマルチバンド画像撮像装置１のメニュー選択画面から選択されるように構成される。表示素子９に表示される選択画面上には、例えば、「１．ＡＥ同期」、「２．レリーズ同期」、「３．測定ボタン」、「４．プリセット」の４つの選択肢が示される。
【００６９】
「１．ＡＥ同期」は、ＡＥ時（レリーズ半押し時など）に、照明スペクトルを測定するモードである。このモード選択時の動作については、上記各第１実施の形態で説明したとおりである。
【００７０】
「２．レリーズ同期」は、撮像時のレリーズの押下に連動して照明光スペクトルを測定するモードである。この場合、撮像制御部５の制御により照明検出センサ１０が照明光スペクトルを検出するタイミングをレリーズと同期させる。その他の動作は、「１．ＡＥ同期」と同様である。
【００７１】
「３．測定ボタン」は、事前に測定を行い照明光スペクトルを保存しておき、撮像時には、照明検出センサ１０から得られる照明光スペクトルデータに代えて、保存された照明光スペクトルデータを使用するモードである。この場合は、撮像ごとまたはＡＥ操作ごとの測定は行わない。このためマルチバンド画像撮像装置１には、このモードを選択したときのみ有効となる照明測定ボタン６３が設けられている。使用者によってこのボタンが操作されると、照明検出センサ１０が照明光スペクトルを検出し、図示しない記憶手段に記憶する。このとき、使用者に照明光スペクトルを検出中であることを知らせるために、点灯ランプ６２を点灯、または、点滅させても良い。撮像時にレリーズボタン４が押下されると、撮像制御部５の制御により、この記憶手段に格納された照明光スペクトルを用いて、ノイズパラメータ算出部１１でノイズパラメータが算出され、色変換プロファイル算出部１２で色変換プロファイルが算出され、マルチバンド画像記録部７に引き渡される。その他の動作は、「１．ＡＥ同期」と同様である。このモードは、例えば、日向にある被写体を日陰から撮像しなければならない場合などに、一旦日向で照明光スペクトルを測定した後、所望の日陰の撮像場所から被写体を撮像する場合などに特に有効なモードである。
【００７２】
「４．プリセット」は、予め日照条件等に応じて定められた照明光スペクトルデータを使用するモードである。照明光スペクトルデータは、予め図示しない記憶手段に格納される。撮像時の動作は、「３．測定ボタン」を選択した場合と同様である。
【００７３】
なお、本実施の形態では、図１４で示したモード選択手段を第１実施の形態に適用するものとしたが、第２、第３および第５実施の形態にも同様に適用することができる。また、照明検出部１０を使用しない第４実施の形態においても、照明光推定部４１による照明光スペクトルの推定のタイミングおよび方法を、上記各モードにより選択するものとすることにより、第４実施の形態にも適用することができる。
【００７４】
なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、各実施の形態において、マルチバンド画像撮像装置は画像再生部と表示素子とを含んで構成されるが、これらをマルチバンド画像撮像装置には含めず、これらを別体の装置で実現しても良い。
【符号の説明】
【００７５】
１    マルチバンド画像撮像装置
２    撮影レンズ
３    撮像素子
４    レリーズボタン
５    撮像制御部
６    フレームメモリ
７    マルチバンド画像記録部
８    画像再生部
９    表示素子
１０    照明検出センサ
１１    ノイズパラメータ算出部
１２    色変換プロファイル算出部
２１    バンド選択ノイズ除去部
２２    色変換部
２３    画像記録部
３１    回転フィルタ
３２    フィルタ駆動部
３３    露光時間算出部
４１    照明光推定部
５１    ストロボ
５２    ストロボ設定部
６１    ファインダ
６２    点灯ランプ
６３    照明測定ボタン
【図１】
2010278711.tif 000006
【図２】
2010278711.tif 000007
【図３】
2010278711.tif 000008
【図４】
2010278711.tif 000009
【図５】
2010278711.tif 000010
【図６】
2010278711.tif 000011
【図７】
2010278711.tif 000012
【図８】
2010278711.tif 000013
【図９】
2010278711.tif 000014
【図１０】
2010278711.tif 000015
【図１１】
2010278711.tif 000016
【図１２】
2010278711.tif 000017
【図１３】
2010278711.tif 000018
【図１４】
2010278711.tif 000019