(57)【要約】【課題】簡易な手法により、マルチバンド画像から得た分光スペクトル画像を主光源下の画像と副光源下の画像に分離できるようにする。【解決手段】複数のバンドパスフィルタ（ｆ１）〜（ｆ９）を用いて撮影されたマルチバンド画像を処理する画像処理装置であって、主光源とは別の副光源（狭スペクトル光源）を指定し、分光推定によりマルチバンド画像から分光スペクトル画像Ｊ１を得て、指定された副光源のスペクトルに基づいて、分光スペクトル画像Ｊ１を主光源下の画像Ｊ２と副光源下の画像Ｊ３に分離する。これにより、主光源下の画像Ｊ２と副光源下の画像Ｊ３に対してそれぞれホワイトバランス処理を行うことができる。【選択図】図６
2010025750.tif 000002
【特許請求の範囲】
【請求項１】
複数のバンドパスフィルタを用いて撮影されたマルチバンド画像を処理する画像処理装置であって、
主光源とは別の副光源を指定する副光源指定手段と、
マルチバンド画像から分光スペクトル画像を得るための分光推定手段と、
前記副光源指定手段により指定された副光源のスペクトルに基づいて、前記分光推定手段により得た分光スペクトル画像を主光源下の画像と副光源下の画像に分離する画像分離手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記副光源指定手段は、予め設定されている狭スペクトル光源を指定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記副光源指定手段は、狭スペクトル光源又は狭スペクトル光源下の被写体を撮影することにより狭スペクトル光源を指定することを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記副光源指定手段は、撮影画像内の合焦座標から離れた領域にある狭スペクトル光源を検索することで指定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像分離手段により分離した主光源下の画像と副光源下の画像に対してそれぞれ画像処理を行う画像処理手段を備えたことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像処理はホワイトバランス処理であることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画像処理手段は、前記画像分離手段により分離した主光源下の画像のうち、該画像分離により欠落した波長帯域を隣接帯域から補間して画像処理を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項８】
前記画像分離手段による画像分離の強度を設定する画像分離強度設定手段を備えたことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
前記画像処理手段により画像処理を行った主光源下の画像と副光源下の画像とを合成する画像合成手段を備えたことを特徴とする請求項５に記載の画像処理装置。
【請求項１０】
前記画像合成手段による画像合成の強度を設定する画像合成強度設定手段を備えたことを特徴とする請求項９に記載の画像処理装置。
【請求項１１】
複数のバンドパスフィルタを用いて撮影を行うことによりマルチバンド画像を得る撮像装置であって、
請求項１乃至１０のいずれか１項に記載の画像処理装置と、
前記副光源指定手段により指定された副光源下にある被写体を避けて焦点位置を決定する焦点位置決定手段とを備えたことを特徴とする撮像装置。
【請求項１２】
前記副光源指定手段により指定された副光源の影響を避けるように露出量を決定する露出量決定手段を備えたことを特徴とする請求項１１に記載の撮像装置。
【請求項１３】
複数のバンドパスフィルタを用いて撮影されたマルチバンド画像を処理する画像処理方法であって、
主光源とは別の副光源を指定する副光源指定処理と、
マルチバンド画像から分光スペクトル画像を得るための分光推定処理と、
前記副光源指定処理により指定された副光源のスペクトルに基づいて、前記分光推定処理により得た分光スペクトル画像を主光源下の画像と副光源下の画像に分離する画像分離処理とを有することを特徴とする画像処理方法。
【請求項１４】
複数のバンドパスフィルタを用いて撮影されたマルチバンド画像の処理をコンピュータに実行させるためのプログラムであって、
主光源とは別の副光源を指定する副光源指定処理と、
マルチバンド画像から分光スペクトル画像を得るための分光推定処理と、
前記副光源指定処理により指定された副光源のスペクトルに基づいて、前記分光推定処理により得た分光スペクトル画像を主光源下の画像と副光源下の画像に分離する画像分離処理とをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のバンドパスフィルタを用いて撮影されたマルチバンド画像を処理するの利用して好適な画像処理装置、撮像装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
マルチバンドカメラ等のマルチバンド画像処理装置では、透過波長域の異なる複数のバンドパスフィルタを用いて被写体を撮影することにより、被写体のマルチバンド画像を取得することができる。近年では、４バンド以上のマルチバンドカメラが実用化されている。
【０００３】
また、マルチバンド画像処理装置における各バンドパスフィルタの分光特性を考慮し、マルチバンド画像から分光スペクトル画像を得るための分光推定がある。分光推定としては、低次元線形近似法、Wiener推定法、重回帰分析法等の手法が知られている（例えば非特許文献１を参照）。
【０００４】
また、デジタルカメラでの一般的な処理として、ホワイトバランス処理がある。ホワイトバランス処理は、Ｒ、Ｇ、Ｂの信号レベルを調整し、被写体の白色部分を無彩色の白の画像として出力するために必要とされる画像処理である。４バンド以上のマルチバンド画像処理装置においても、人の知覚に合わせた一般的な画像を得る場合はホワイトバランス処理に相当する処理が行われる。
【０００５】
【特許文献１】特開２００６−８４４０１号公報
【非特許文献１】津村徳道，羽石秀昭，三宅洋一，"重回帰分析によるマルチバンド画像からの分光反射率の推定，"光学 第２７巻  7号 PP.384-391 (1998).
【発明の開示】
【発明が解決しようとする課題】
【０００６】
輝線等の狭帯域に強い放射スペクトルを含む複数の光源下にそれぞれ被写体が存在する場合、被写体によって照射される光源のバランスが異なる。そのため、通常のホワイトバランス処理（一つのホワイトバランスゲインを用いた補正）を行うと、一方の被写体は適切なホワイトバランスで撮影されるが、他方の被写体は色かぶりしてしまう問題が発生する。
【０００７】
この問題への対応として、画面内の領域又は画素毎に光源比率を求める等して特定の光源下での画像をシミュレートする手法（例えば特許文献１を参照）を応用する方法が考えられるが、光源比率を求めなければならず、簡易な手法とはいえない。
【０００８】
本発明は上記のような点に鑑みてなされたものであり、簡易な手法により、マルチバンド画像から得た分光スペクトル画像を主光源下の画像と副光源下の画像に分離できるようにすることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、複数のバンドパスフィルタを用いて撮影されたマルチバンド画像を処理する画像処理装置であって、主光源とは別の副光源を指定する副光源指定手段と、マルチバンド画像から分光スペクトル画像を得るための分光推定手段と、前記副光源指定手段により指定された副光源のスペクトルに基づいて、前記分光推定手段により得た分光スペクトル画像を主光源下の画像と副光源下の画像に分離する画像分離手段とを備えたことを特徴とする。
本発明の撮像装置は、複数のバンドパスフィルタを用いて撮影を行うことによりマルチバンド画像を得る撮像装置であって、本発明の画像処理装置と、前記副光源指定手段により指定された副光源下にある被写体を避けて焦点位置を決定する焦点位置決定手段とを備えたことを特徴とする。
本発明の画像処理方法は、複数のバンドパスフィルタを用いて撮影されたマルチバンド画像を処理する画像処理方法であって、主光源とは別の副光源を指定する副光源指定処理と、マルチバンド画像から分光スペクトル画像を得るための分光推定処理と、前記副光源指定処理により指定された副光源のスペクトルに基づいて、前記分光推定処理により得た分光スペクトル画像を主光源下の画像と副光源下の画像に分離する画像分離処理とを有することを特徴とする。
本発明のプログラムは、複数のバンドパスフィルタを用いて撮影されたマルチバンド画像の処理をコンピュータに実行させるためのプログラムであって、主光源とは別の副光源を指定する副光源指定処理と、マルチバンド画像から分光スペクトル画像を得るための分光推定処理と、前記副光源指定処理により指定された副光源のスペクトルに基づいて、前記分光推定処理により得た分光スペクトル画像を主光源下の画像と副光源下の画像に分離する画像分離処理とをコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、副光源を指定するという簡易な手法により、マルチバンド画像から得た分光スペクトル画像を主光源下の画像と副光源下の画像に分離することができる。したがって、例えば主光源下の画像と副光源下の画像に対してそれぞれホワイトバランス処理を行うことができ、色かぶりが生じるのを防ぐことができる。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。本実施形態の画像処理装置では、マルチバンド画像データをＲＧＢ画像データに変換する。
【００１２】
図１は、本発明を適用した画像処理装置を備えた撮像装置（マルチバンドカメラ）１０１により、複数の光源下にそれぞれ被写体が存在するシーンを撮影している状態を示す。光源１０３下に被写体１０４が存在し、光源１０５の下に被写体１０６が存在する。被写体１０４には光源１０５の光は届いておらず、被写体１０６には光源１０３の光は届いていない。
【００１３】
撮像装置１０１は、カラーフィルタを持たない撮像素子を有するモノクロカメラである。フィルタ１０２は、ターレット上に９バンドのバンドパスフィルタ（ｆ１）〜（ｆ９）が配置されたものである。図２に、各バンドパスフィルタ（ｆ１）〜（ｆ９）の分光透過率を示す。撮像装置１０１での撮影のたびにターレットが回転し、９回撮影を繰り返すことにより、各バンドパスフィルタ（ｆ１）〜（ｆ９）の分光データを持つマルチバンド画像データが出力される。
【００１４】
また、図３に示すように、単板の撮像素子（例えばＣＣＤやＣＭＯＳセンサ）上に、９バンドのバンドパスフィルタ（ｆ１）〜（ｆ９）を配置することで、マルチバンド画像データを出力するようにしてもよい。単板の撮像素子を用いた場合、一回の撮影でマルチバンド画像データを得ることができるので、各バンド画像における等時性を保つことができる。また、画像処理装置の省スペース化を図ることができるので、装置の可搬性を高めることができる。
【００１５】
なお、本実施形態では、９バンドのバンドパスフィルタを用いた例を説明するが、使用するバンド数や各バンドパスフィルタの分光透過率の特性に関してはこれに限定されるものではない。
【００１６】
図４に、本実施形態において最終画像が得られるまでの操作の流れを表す。ユーザは画像条件設定（Ｓ１０１）において副光源に関する設定を行い、撮影（Ｓ１０２）を行う。撮影（Ｓ１０２）後、画像処理装置内では画像処理（Ｓ１０３）が行われ、画像ファイルがファイル保存（Ｓ１０４）される。
【００１７】
以下、画像条件設定（Ｓ１０１）、撮影（Ｓ１０２）、画像処理（Ｓ１０３）の詳細について説明する。
【００１８】
＜画像条件設定（Ｓ１０１）＞
まず、画像条件設定（Ｓ１０１）について説明する。図５に示すように、画像処理設定（Ｓ１）として、ホワイトバランス処理設定（Ｓ１１）及び副光源処理設定（Ｓ１２）がある。そして、副光源処理設定（Ｓ１２）として、副光源設定（Ｓ１２１）、画像分離強度設定（Ｓ１２２）、画像合成強度設定（Ｓ１２３）がある。
【００１９】
「副光源設定（Ｓ１２１）」
副光源設定（Ｓ１２１）においては、輝線スペクトル光源のような狭帯域のピークを持つ光源（狭スペクトル光源）を設定する。副光源設定（Ｓ１２１）において、既定副光源選択（Ｓ１２１１）、カスタム副光源設定（Ｓ１２１２）、自動副光源設定（Ｓ１２１３）の設定手法を用いて副光源を設定する。
【００２０】
・既定副光源選択（Ｓ１２１１）
予め設定されている以下の光源から複数の光源を同時に選択可能とする。
水銀灯（Ｓ１２１１１）：水銀灯の輝線スペクトル波長情報を設定する
ナトリウム灯（Ｓ１２１１２）：ナトリウム灯の輝線スペクトル波長情報を設定する
白色ＬＥＤ１（Ｓ１２１１３）：赤色ＬＥＤ、青色ＬＥＤ、緑色ＬＥＤの輝線スペクトル波長情報を設定する
白色ＬＥＤ２（Ｓ１２１１４）：青緑色ＬＥＤ、黄色ＬＥＤの輝線スペクトル波長情報を設定する
ここでは４種の光源についてのみ例示しているが、狭帯域スペクトルを持つ任意の光源を選択可能としてよい。
【００２１】
・カスタム副光源設定（Ｓ１２１２）
ユーザが副光源として設定したい狭スペクトル光源を、狭スペクトル光源又は狭スペクトル光源下の被写体を撮影することにより指定する。ここでは、光源の分光推定を行い、特に輝線スペクトルの波長情報を設定する。
【００２２】
・自動副光源設定（Ｓ１２１３）
撮像装置１０１のレンズ情報（撮影画像内の合焦座標）から主光源と推定し、合焦座標から離れた領域にある輝線スペクトル光源を検索し、副光源としてその輝線スペクトルの波長情報を設定する。これにより、輝線スペクトル光源下の被写体が主要被写体の場合は画像分離を実施しない。
【００２３】
なお、この副光源設定（Ｓ１２１）が、本発明でいう副光源指定手段による副光源指定処理例である。
【００２４】
「画像分離強度設定（Ｓ１２２）」
本設定により画像分離の実行をＯＮ/ＯＦＦすることができ、分離強度として、主光源下の画像（以下、主光源画像と称する）と副光源下の画像（以下、副光源画像と称する）を分離する際の強度（比率）を設定することができる。分離強度「０」の場合は画像分離を実施せず（ＯＦＦ）、分離強度「１００」の場合は完全に分離する（ＯＮ）。なお、この画像分離強度設定（Ｓ１２２）が、本発明でいう画像分離強度設定手段による処理例である。
【００２５】
「画像合成強度設定（Ｓ１２３）」
分離した画像をどのように処理するかを指定する。ここでは、分離した主光源画像と副光源画像を合成する際の強度（比率）を設定する。合成強度が「０」の場合は、副光源下の画像を使用せず主光源画像のみを利用する。合成強度が「５０」の場合は、副光源画像及び主光源画像を同等に合成する。合成強度が「１００」の場合は、主光源画像を使用せず副光源画像のみを利用する。なお、この画像合成強度設定（Ｓ１２３）が、本発明でいう画像合成強度設定手段による処理例である。
【００２６】
本実施形態では、撮影前に副光源処理設定（Ｓ１２）を行い、副光源を設定しているが、ＲＡＷ画像記録等、無加工画像データを保存する場合は、撮影後に副光源処理設定（Ｓ１２）を行うこともできる。
【００２７】
上記設定の使用方法は例えば次のように行う。都会において天体撮影を行う場合、過剰な照明使用等による光害のため空が明るく写って、画像全体が明るくコントラストの低い画像となり、比較的淡い天体の撮影が困難な場合がある。この場合、光害の原因となる不要な光源を副光源処理設定（Ｓ１２）において副光源として設定し、画像分離強度設定（Ｓ１２２）において分離強度を「１００」（完全分離）、画像合成強度設定（Ｓ１２３）において「０」（副光源画像不使用）を設定することによって、光害に相当する波長の光が削除され、光学バンドパスフィルタを使用した場合のように用いることもできる。
【００２８】
＜撮影（Ｓ１０２）＞
次に、撮影（Ｓ１０２）について説明する。撮影（Ｓ１０２）においては、先に述べた図１のマルチバンドフィルタ１０２を用いて撮影を行い、９バンドのマルチバンド画像信号を得る。
【００２９】
ここで、オートフォーカスを行う場合は、副光源処理設定（Ｓ１２）で設定した副光源下にある被写体を避けることで、より期待した位置に焦点を合わせることができる。これが、本発明でいう焦点位置決定手段による処理例である。
【００３０】
また、露出量算出時に自動露出補正を行う場合は、副光源の影響を避けるように露出量を決定する。具体的には、副光源処理設定（Ｓ１２）で設定した副光源処理方式（画像分離強度、画像合成強度）に依存して露出量を調整する。例えば副光源処理設定（Ｓ１２）の画像分離強度設定（Ｓ１２２）で「１００」（完全分離）を設定し、画像合成強度設定（Ｓ１２３）で「０」（副光源画像不使用）を設定した場合、通常通り自動露出補正を実施すると副光源の影響を取り除く分だけ暗い画像となる場合がある。そこで、副光源画像を使用しない条件では、自動露出補正で通常よりも明るい画像が得られるよう補正することで、適切な露出の画像を得ることができる。これが、本発明でいう露出量決定手段による処理例である。
【００３１】
＜画像処理（Ｓ１０３）＞
次に、画像処理（Ｓ１０３）について説明する。図６のフローチャートを参照して、画像処理（Ｓ１０３）における画像処理について説明する。ステップＳ２０１の「分光推定」において、撮影によって得られたマルチバンド画像Ｊ０を分光スペクトル画像Ｊ１に変換する。これが、本発明でいう分光推定手段による分光推定処理例である。
【００３２】
次に、ステップＳ２０２において、画像分離強度設定（Ｓ１２２）の分離強度が「０」の場合はステップＳ２０５に進み、それ以外はステップＳ２０３に進む。
【００３３】
ステップＳ２０３の「画像分離」において、副光源設定（Ｓ１２１）で指定された副光源のスペクトルに基づいて、分光スペクトル画像Ｊ１を主光源画像（スペクトル画像）Ｊ２と副光源画像（スペクトル画像）Ｊ３に分離する。これが、本発明でいう画像分離手段による画像分離処理例である。
【００３４】
次に、ステップＳ２０４において、画像合成強度設定（Ｓ１２３）の合成強度が「１００」であり、かつ、主光源画像Ｊ２を処理する場合、及び、合成強度が「０」であり、かつ、副光源画像Ｊ３を処理する場合はステップＳ２０７に進み、それ以外はステップＳ２０５に進む。
【００３５】
ステップＳ２０５の「ホワイトバランス処理」において、主光源画像Ｊ２及び副光源画像Ｊ３に対してホワイトバランス処理を行うとともに、各スペクトル画像Ｊ２、Ｊ３をＲＧＢ画像に変換する（主光源画像（ＲＧＢ画像）Ｊ４、副光源画像（ＲＧＢ画像）Ｊ５）。その後、ステップＳ２０６のＲＧＢ処理１において、合成に向けた画像調整を行う。
【００３６】
ステップＳ２０７において、主光源画像Ｊ２及び副光源画像Ｊ３共にステップＳ２０６までの処理が完了していることを確認し、完了している場合はステップＳ２０８に進む。
【００３７】
ステップＳ２０８の「画像合成」において、主光源画像Ｊ４と副光源画像Ｊ５を合成し、ＲＧＢ画像Ｊ６を作成する。これが、本発明でいう画像合成手段による画像合成処理例である。その後、ステップＳ２０９のＲＧＢ処理２において、最終的な画質調整を行う。
【００３８】
以下、図６の画像処理のフローチャートの各処理の詳細について説明する。ステップＳ２０１の「分光推定」では、重回帰分析法等の分光推定手法を用いることにより、マルチバンド画像データから推定した分光スペクトルを得る（図７を参照）。分光推定を行うことにより、バンドパスフィルタ数以上の分光反射率要素を得ることができ、得られる分光反射率の精度は分光推定手法に依存する。ｆを９個のバンドパスフィルタに対応する９個の要素を持つベクトル、ｒを被写体の分光反射率を表す２０個の要素で構成されるベクトルを表すとした場合、分光推定手法は下記の（式１）のように２０×９の変換行列Ｃを求める手段を与える。
【００３９】
【数１】
2010025750.tif 000003
【００４０】
各画素に対して上式（１）の演算を行うことにより、分光スペクトル画像Ｊ１を得ることができる。また、自動副光源設定（Ｓ１２１３）が設定されていた場合、分光推定後に副光源スペクトルを推定する。推定に際しては、合焦座標から離れた領域を検索し、輝線のような狭スペクトル光源に特有の分光スペクトルが存在することを画像から判別する。
【００４１】
ステップＳ２０３の「画像分離」では、副光源処理設定（Ｓ１２）で設定した副光源のスペクトル（図９を参照）、及び画像分離強度設定（Ｓ１２２）で設定した分離強度を用いて、分光スペクトル画像Ｊ１の中から、副光源のスペクトルを除去する。
【００４２】
副光源スペクトル強度をＳ(λ)とし、図９に示すように、０〜１で規格化されているものとする。ここで、ステップＳ２０２の「分光推定」後の分光スペクトル画像Ｊ１をＩ1(ｘ，ｙ，λ)、主光源画像Ｊ２の分光スペクトルをＩ2(ｘ，ｙ，λ)、副光源画像Ｊ３の分光スペクトルをＩ3(ｘ，ｙ，λ)としたとき、Ｉ2、Ｉ3は下記の（式２）、（式３）のように求める。
【００４３】
【数２】
2010025750.tif 000004
【００４４】
分光スペクトル画像Ｊ１のある画素に着目した場合、図８に示す分光スペクトルに対し、図９に示す副光源スペクトル強度Ｓ(λ)を用いて、画像分離を行った場合の結果を図１０、１１に示す。図１０には、（式２）の結果である、主光源画像Ｊ２の分光スペクトルＩ2(ｘ，ｙ，λ)を示す。図１１には、式（式３）の結果である、副光源画像Ｊ３の分光スペクトルＩ3(ｘ，ｙ，λ)を示す。
【００４５】
ステップＳ２０５の「ホワイトバランス処理」では、まず分光スペクトル画像からＲＧＢ画像を作成し、その後ホワイトバランス補正を行う。主光源画像Ｊ２の分光スペクトルにおいては、分離する際、串刺し状に波長がかけている。そこで、分離した主光源画像Ｊ２のうち、画像分離により欠落した波長帯域を隣接帯域から補間する。具体的には、欠落した波長帯域の情報として、前後の帯域情報を平均したものを用いて、下記の（式４）のとおり各画素のＲ、Ｇ、Ｂ値を求める。なお、Ｐ(λ)は画素の分光スペクトルを表す。また、ｒ(λ)、ｇ(λ)、ｂ(λ)は、ｓＲＧＢ等用いるＲＧＢ表色系の等色関数を表す。
【００４６】
【数３】
2010025750.tif 000005
【００４７】
ホワイトバランス処理は、既に光源に応じて分離した画像に対して実行するため、それぞれの光源に合わせたホワイトバランスを設定することができる。
【００４８】
ステップＳ２０６の「ＲＧＢ処理１」では、ＲＧＢ画像に対して画像処理を行う。主な画像処理として、γ補正処理、マルチバンドフィルタの分光スペクトルと副光源スペクトルを考慮したマトリックス処理、画像合成後に自然な画像とするための階調調整処理を行う。
【００４９】
ステップＳ２０８の「画像合成」では、画像合成強度設定（Ｓ１２３）で設定した合成強度を用いて、画像Ｊ４、Ｊ５を合成する。図１において、被写体１０４、被写体１０６はそれぞれ異なる光源下に存在するため、光源１０５が副光源設定において設定した副光源の場合、被写体１０６は主光源画像Ｊ２には写っておらず、被写体１０６の画像領域は黒色となっている。この場合、主光源画像と副光源画像を合成したときに、どちらの被写体に対してもホワイトバランスが適切な画像が得られる。
【００５０】
また、主光源に副光源の波長域が含まれる場合、単純に合成するとＲＧＢ画像Ｊ６の色調を悪化させる場合がある。そこで、主光源画像の輝度が高い領域が存在する場合は、合成比率を変化させ、副光源画像の合成比率を下げる等の調整を行い、合成処理を行う。
【００５１】
ステップＳ２０９の「ＲＧＢ処理２」では、合成後のＲＧＢ画像Ｊ６に対して最終的な調整を行うための画像処理を行う。主な画像処理として、シャープネス強調処理、彩度強調処理、コントラスト強調処理を行う。
【００５２】
本発明によれば、既存の既定ホワイトバランス設定同様に既定の狭スペクトル光源を選択する手段のほか、カスタムホワイトバランスのように輝線のような狭帯域スペクトルを含む画像を撮影することで狭スペクトル光源を指定する手段、撮影時に焦点位置の座標を利用して焦点位置以外にある狭スペクトル光源を自動的に設定する手段を設けたので、簡便に狭スペクトル光源を指定することができる。
【００５３】
また、画像の一部に輝線光源による色かぶりが生じた画像であっても、色かぶりした画像領域を分離し、別途ホワイトバランス処理を行った後、合成することで全領域においてホワイトバランスを整えた画像を得ることができる。
【００５４】
また、光害下での天体撮影のように画像の全域に輝線を含む光源によるかぶりが生じた画像であっても、分光スペクトル上から輝線光源の分光スペクトル領域を取り除くことで、かぶりの影響を除いた画像を得ることができる。
【００５５】
また、分光スペクトル上から輝線光源の分光スペクトル領域を分離することで、狭スペクトル光源下にある被写体のみの画像を得ることができる。
【００５６】
また、輝線光源の影響を除く場合に輝度低下が生じるが、撮影時にＡＥ調整を行うことで、輝度低下を防ぐことができる。
【００５７】
なお、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても達成される。この場合、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。
【００５８】
この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５９】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００６０】
また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施形態の機能が実現されるだけに限らない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（基本システム或いはオペレーティングシステム）等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現されてもよい。
【００６１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる形態でもよい。この場合メモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって上述した実施形態の機能が実現される。
【図面の簡単な説明】
【００６２】
【図１】本発明を適用した画像処理装置として機能するカメラにより、複数の光源下にそれぞれ被写体が存在するシーンを撮影している状態を示す図である。
【図２】実施形態における各バンドパスフィルタの分光透過率を示す特性図である。
【図３】単板の撮像素子上に配置されるバンドパスフィルタを示す図である。
【図４】実施形態において最終画像が得られるまでの操作の流れを表すフローチャートである。
【図５】画像処理設定の内容を示す図である。
【図６】実施形態における画像処理を説明するためのフローチャートである。
【図７】マルチバンド画像データから推定した分光スペクトル及び実測スペクトルを示す特性図である。
【図８】分光スペクトル画像のある画素に着目した場合の分光スペクトルを示す特性図である。
【図９】副光源のスペクトルを示す特性図である。
【図１０】主光源下の画像のある画素での分光スペクトルを示す特性図である。
【図１１】副光源下の画像のある画素での分光スペクトルを示す特性図である。
【符号の説明】
【００６３】
１０１            撮像装置
１０２            フィルタ
１０３、１０５    光源
１０４、１０６    被写体
【図１】
2010025750.tif 000006
【図２】
2010025750.tif 000007
【図３】
2010025750.tif 000008
【図４】
2010025750.tif 000009
【図５】
2010025750.tif 000010
【図６】
2010025750.tif 000011
【図７】
2010025750.tif 000012
【図８】
2010025750.tif 000013
【図９】
2010025750.tif 000014
【図１０】
2010025750.tif 000015
【図１１】
2010025750.tif 000016