(57)【要約】【課題】画像入力手段の状態が変化した場合に、最適な色再現を行うことができない。【解決手段】互いに異なるバンドを有する複数の画像入力手段１，２により入力された複数の入力画像を合成して得られる４以上のバンドを有するマルチバンド画像の色変換を行う色変換手段を備えるマルチスペクトル画像処理装置であって、色変換手段は、複数の入力画像のデータにそれぞれ含まれる露光量情報の比に基づいて、画像入力手段１，２の分光感度特性である分光感度特性情報の補正を行う分光感度特性情報補正手段５と、補正が行われた分光感度特性情報、および、入力画像を撮影した時の照明光の分光特性である撮影照明光情報を用いて、マルチバンド画像をデバイスインディペンデントカラー画像に変換するデバイスインディペンデントカラー画像変換手段７とを備える。【選択図】図１
2010130157.tif 000002
【特許請求の範囲】
【請求項１】
互いに異なるバンドを有する複数の画像入力手段により入力された複数の入力画像を合成して得られる４以上のバンドを有するマルチバンド画像の色変換を行う色変換手段を備えるマルチスペクトル画像処理装置であって、
前記色変換手段は、
前記複数の入力画像のデータにそれぞれ含まれる露光量情報の比に基づいて、前記画像入力手段の分光感度特性である分光感度特性情報の補正を行う分光感度特性情報補正手段と、
前記補正が行われた分光感度特性情報、および、前記入力画像を撮影した時の照明光の分光特性である撮影照明光情報を用いて、前記マルチバンド画像をデバイスインディペンデントカラー画像に変換するデバイスインディペンデントカラー画像変換手段と、
を備えることを特徴とするマルチスペクトル画像処理装置。
【請求項２】
前記分光感度特性情報補正手段は、前記露光量情報の比、および、前記複数の入力画像にそれぞれ含まれる少なくとも１つのバンドにおける画素値の比に基づいて、前記マルチバンド画像に含まれるバンド毎に前記分光感度特性情報の補正を行うことを特徴とする請求項１に記載のマルチスペクトル画像処理装置。
【請求項３】
前記色変換手段は、前記露光量情報の比に基づいて前記分光感度特性情報の補正を行うか、または、前記露光量情報の比および前記少なくとも１つのバンドにおける画素値の比に基づいて、前記分光感度特性情報の補正を行うかを選択する選択手段をさらに備えることを特徴とする請求項２に記載のマルチスペクトル画像処理装置。
【請求項４】
前記色変換手段は、前記マルチバンド画像における白色または灰色の領域を抽出する抽出手段をさらに備え、
前記分光感度特性情報補正手段は、前記複数の入力画像の各々から前記抽出手段によって抽出された領域における画素値の平均値の比に基づいて、前記分光感度特性情報の補正を行うことを特徴とする請求項２または請求項３に記載のマルチスペクトル画像処理装置。
【請求項５】
前記分光感度特性情報補正手段は、前記少なくとも１つのバンドにおける画素値の比を取得できる場合には、前記露光量情報の比、および、取得した少なくとも１つのバンドにおける画素値の比に基づいて、前記分光感度特性情報の補正を行い、前記少なくとも１つのバンドにおける画素値の比を取得できない場合には、前記露光量情報の比に基づいて、前記分光感度特性情報の補正を行うことを特徴とする請求項２に記載のマルチスペクトル画像処理装置。
【請求項６】
前記色変換手段は、前記露光量情報の比に基づいて、または、前記露光量情報の比および前記少なくとも１つのバンドにおける画素値の比に基づいて算出された、前記分光感度特性情報の補正を行う際に用いる補正係数を記憶する補正係数記憶手段をさらに備え、
前記分光感度特性情報補正手段は、前記少なくとも１つのバンドにおける画素値の比を取得できない場合に、前記分光感度特性情報の補正を過去に行った際に用いた補正係数を前記補正係数記憶手段から読み出して、前記分光感度特性情報の補正を行うことを特徴とする請求項２に記載のマルチスペクトル画像処理装置。
【請求項７】
前記複数の入力画像の画素値からフレア量を推定するフレア量推定手段と、
前記フレア量推定手段によって推定されたフレア量に基づいて、前記マルチバンド画像のフレア補正を行うフレア補正手段と、
をさらに備え、
前記分光感度特性情報補正手段は、前記分光感度特性情報を補正する際に用いる補正係数を算出する補正係数算出手段を備え、
前記フレア補正手段は、前記フレア量推定手段によって推定されたフレア量に前記補正係数を作用させて前記フレア補正を行うことを特徴とする請求項１から請求項６のいずれか一項に記載のマルチスペクトル画像処理装置。
【請求項８】
前記マルチバンド画像の被写体の特性に関する情報である被写体特性情報を記憶する被写体特性情報記憶手段をさらに備え、
前記分光感度特性情報補正手段は、前記露光量情報の比、および、前記被写体特性情報に基づいて、前記分光感度特性情報の補正を行うことを特徴とする請求項１から請求項７のいずれか一項に記載のマルチスペクトル画像処理装置。
【請求項９】
互いに異なるバンドを有する複数の画像入力手段により入力された複数の入力画像を合成して得られる４以上のバンドを有するマルチバンド画像の色変換を行う色変換手段を備えるマルチスペクトル画像処理装置であって、
前記色変換手段は、
前記複数の入力画像のデータにそれぞれ含まれる露光量情報の比に基づいて、前記マルチバンド画像の画像信号強度の補正を行う画像補正手段と、
前記画像入力手段の分光感度特性である分光感度特性情報、および、前記入力画像を撮影した時の照明光の分光特性である撮影照明光情報を用いて、前記補正が行われたマルチバンド画像をデバイスインディペンデントカラー画像に変換するデバイスインディペンデントカラー画像変換手段と、
を備えることを特徴とするマルチスペクトル画像処理装置。
【請求項１０】
前記画像補正手段は、前記露光量情報の比、および、前記複数の入力画像にそれぞれ含まれる少なくとも１つのバンドにおける画素値の比に基づいて、前記マルチバンド画像に含まれるバンド毎に前記画像信号強度の補正を行うことを特徴とする請求項９に記載のマルチスペクトル画像処理装置。
【請求項１１】
前記色変換手段は、前記露光量情報の比に基づいて前記画像信号強度の補正を行うか、または、前記露光量情報の比および前記少なくとも１つのバンドにおける画素値の比に基づいて、前記画像信号強度の補正を行うかを選択する選択手段をさらに備えることを特徴とする請求項１０に記載のマルチスペクトル画像処理装置。
【請求項１２】
前記色変換手段は、前記マルチバンド画像における白色または灰色の領域を抽出する抽出手段をさらに備え、
前記画像補正手段は、前記複数の入力画像の各々から前記抽出手段によって抽出された領域における画素値の平均値の比に基づいて、前記画像信号強度の補正を行うことを特徴とする請求項１０または請求項１１に記載のマルチスペクトル画像処理装置。
【請求項１３】
前記画像補正手段は、前記少なくとも１つのバンドにおける画素値の比を取得できる場合には、前記露光量情報の比、および、取得した少なくとも１つのバンドにおける画素値の比に基づいて、前記画像信号強度の補正を行い、前記少なくとも１つのバンドにおける画素値の比を取得できない場合には、前記露光量情報の比に基づいて、前記画像信号強度の補正を行うことを特徴とする請求項１０に記載のマルチスペクトル画像処理装置。
【請求項１４】
前記色変換手段は、前記露光量情報の比に基づいて、または、前記露光量情報の比および前記少なくとも１つのバンドにおける画素値の比に基づいて算出された、前記画像信号強度の補正を行う際に用いる補正係数を記憶する補正係数記憶手段をさらに備え、
前記画像補正手段は、前記少なくとも１つのバンドにおける画素値の比を取得できない場合に、前記画像信号強度の補正を過去に行った際に用いた補正係数を前記補正係数記憶手段から読み出して、前記画像信号強度の補正を行うことを特徴とする請求項１０に記載のマルチスペクトル画像処理装置。
【請求項１５】
前記複数の入力画像の画素値からフレア量を推定するフレア量推定手段と、
前記フレア量推定手段によって推定されたフレア量に基づいて、前記マルチバンド画像のフレア補正を行うフレア補正手段と、
をさらに備え、
前記画像補正手段は、前記画像信号強度を補正する際に用いる補正係数を算出する補正係数算出手段を備え、
前記フレア補正手段は、前記フレア量推定手段によって推定されたフレア量に前記補正係数を作用させて前記フレア補正を行うことを特徴とする請求項９から請求項１４のいずれか一項に記載のマルチスペクトル画像処理装置。
【請求項１６】
前記マルチバンド画像の被写体の特性に関する情報である被写体特性情報を記憶する被写体特性情報記憶手段をさらに備え、
前記画像補正手段は、前記露光量情報の比、および、前記被写体特性情報を用いて、前記画像信号強度の補正を行うことを特徴とする請求項９から請求項１５のいずれか一項に記載のマルチスペクトル画像処理装置。
【請求項１７】
前記複数の画像入力手段をさらに備えることを特徴とする請求項１から請求項１６のいずれか一項に記載のマルチスペクトル画像処理装置。
【請求項１８】
画像を出力する画像出力手段をさらに備え、
前記色変換手段は、前記画像出力手段の特性に基づいて、前記デバイスインディペンデントカラー画像を前記画像出力手段で出力するための出力画像に変換する変換手段をさらに備えることを特徴とする請求項１から請求項１７のいずれか一項に記載のマルチスペクトル画像処理装置。
【請求項１９】
互いに異なるバンドを有する複数の画像入力手段により入力された複数の入力画像を合成して得られる４以上のバンドを有するマルチバンド画像の色変換を行うマルチスペクトル画像処理方法であって、
前記複数の入力画像のデータにそれぞれ含まれる露光量情報の比に基づいて、前記画像入力手段の分光感度特性である分光感度特性情報の補正を行うステップと、
前記補正が行われた分光感度特性情報、および、前記入力画像を撮影した時の照明光の分光特性である撮影照明光情報を用いて、前記マルチバンド画像をデバイスインディペンデントカラー画像に変換するステップと、
を備えることを特徴とするマルチスペクトル画像処理方法。
【請求項２０】
互いに異なるバンドを有する複数の画像入力手段により入力された複数の入力画像を合成して得られる４以上のバンドを有するマルチバンド画像の色変換を行うマルチスペクトル画像処理方法であって、
前記複数の入力画像のデータにそれぞれ含まれる露光量情報の比に基づいて、前記マルチバンド画像の画像信号強度の補正を行うステップと、
前記画像入力手段の分光感度特性である分光感度特性情報、および、前記入力画像を撮影した時の照明光の分光特性である撮影照明光情報を用いて、前記補正が行われたマルチバンド画像をデバイスインディペンデントカラー画像に変換するステップと、
を備えることを特徴とするマルチスペクトル画像処理方法。
【請求項２１】
互いに異なるバンドを有する複数の画像入力手段により入力された複数の入力画像を合成して得られる４以上のバンドを有するマルチバンド画像の色変換を行うためのプログラムであって、
前記複数の入力画像のデータにそれぞれ含まれる露光量情報の比に基づいて、前記画像入力手段の分光感度特性である分光感度特性情報の補正を行うステップと、
前記補正が行われた分光感度特性情報、および、前記入力画像を撮影した時の照明光の分光特性である撮影照明光情報を用いて、前記マルチバンド画像をデバイスインディペンデントカラー画像に変換するステップと、
をコンピュータに実行させるためのマルチスペクトル画像処理プログラム。
【請求項２２】
互いに異なるバンドを有する複数の画像入力手段により入力された複数の入力画像を合成して得られる４以上のバンドを有するマルチバンド画像の色変換を行うためのプログラムであって、
前記複数の入力画像のデータにそれぞれ含まれる露光量情報の比に基づいて、前記マルチバンド画像の画像信号強度の補正を行うステップと、
前記画像入力手段の分光感度特性である分光感度特性情報、および、前記入力画像を撮影した時の照明光の分光特性である撮影照明光情報を用いて、前記補正が行われたマルチバンド画像をデバイスインディペンデントカラー画像に変換するステップと、
をコンピュータに実行させるためのマルチスペクトル画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、４バンド以上の異なる分光感度特性を有するマルチバンド画像を処理する技術に関する。
【背景技術】
【０００２】
従来、同一の分光感度特性を有する撮像ユニットに対して、異なる分光透過特性のフィルタを作用させて２回の撮影を行い、得られた２つの画像を合成して６バンドの画像を生成する技術が知られている（特許文献１参照）。
【特許文献１】国際公開第２００５／０４６２４８号
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、実際の撮影では、２回の撮影においてシャッター速度や絞り値が完全に同一にならないため、マルチバンド信号として正しい信号を得ることができないという問題があった。
【課題を解決するための手段】
【０００４】
本発明のある態様に係るマルチスペクトル画像処理装置は、互いに異なるバンドを有する複数の画像入力手段により入力された複数の入力画像を合成して得られる４以上のバンドを有するマルチバンド画像の色変換を行う色変換手段を備えるマルチスペクトル画像処理装置であって、前記色変換手段は、前記複数の入力画像のデータにそれぞれ含まれる露光量情報の比に基づいて、前記画像入力手段の分光感度特性である分光感度特性情報の補正を行う分光感度特性情報補正手段と、前記補正が行われた分光感度特性情報、および、前記入力画像を撮影した時の照明光の分光特性である撮影照明光情報を用いて、前記マルチバンド画像をデバイスインディペンデントカラー画像に変換するデバイスインディペンデントカラー画像変換手段と、を備えることを特徴とする。
【０００５】
本発明の別の態様に係るマルチスペクトル画像処理装置は、互いに異なるバンドを有する複数の画像入力手段により入力された複数の入力画像を合成して得られる４以上のバンドを有するマルチバンド画像の色変換を行う色変換手段を備えるマルチスペクトル画像処理装置であって、前記色変換手段は、前記複数の入力画像のデータにそれぞれ含まれる露光量情報の比に基づいて、前記マルチバンド画像の画像信号強度の補正を行う画像補正手段と、前記画像入力手段の分光感度特性である分光感度特性情報、および、前記入力画像を撮影した時の照明光の分光特性である撮影照明光情報を用いて、前記補正が行われたマルチバンド画像をデバイスインディペンデントカラー画像に変換するデバイスインディペンデントカラー画像変換手段と、を備えることを特徴とする。
【０００６】
本発明のさらに別の態様に係るマルチスペクトル画像処理方法は、互いに異なるバンドを有する複数の画像入力手段により入力された複数の入力画像を合成して得られる４以上のバンドを有するマルチバンド画像の色変換を行うマルチスペクトル画像処理方法であって、前記複数の入力画像のデータにそれぞれ含まれる露光量情報の比に基づいて、前記画像入力手段の分光感度特性である分光感度特性情報の補正を行うステップと、前記補正が行われた分光感度特性情報、および、前記入力画像を撮影した時の照明光の分光特性である撮影照明光情報を用いて、前記マルチバンド画像をデバイスインディペンデントカラー画像に変換するステップと、を備えることを特徴とする。
【０００７】
本発明のさらに別の態様に係るマルチスペクトル画像処理方法は、互いに異なるバンドを有する複数の画像入力手段により入力された複数の入力画像を合成して得られる４以上のバンドを有するマルチバンド画像の色変換を行うマルチスペクトル画像処理方法であって、前記複数の入力画像のデータにそれぞれ含まれる露光量情報の比に基づいて、前記マルチバンド画像の画像信号強度の補正を行うステップと、前記画像入力手段の分光感度特性である分光感度特性情報、および、前記入力画像を撮影した時の照明光の分光特性である撮影照明光情報を用いて、前記補正が行われたマルチバンド画像をデバイスインディペンデントカラー画像に変換するステップと、を備えることを特徴とする。
【０００８】
本発明のさらに別の態様に係るマルチスペクトル画像処理プログラムは、互いに異なるバンドを有する複数の画像入力手段により入力された複数の入力画像を合成して得られる４以上のバンドを有するマルチバンド画像の色変換を行うためのプログラムであって、前記複数の入力画像のデータにそれぞれ含まれる露光量情報の比に基づいて、前記画像入力手段の分光感度特性である分光感度特性情報の補正を行うステップと、前記補正が行われた分光感度特性情報、および、前記入力画像を撮影した時の照明光の分光特性である撮影照明光情報を用いて、前記マルチバンド画像をデバイスインディペンデントカラー画像に変換するステップと、をコンピュータに実行させるものである。
【０００９】
本発明のさらに別の態様に係るマルチスペクトル画像処理プログラムは、互いに異なるバンドを有する複数の画像入力手段により入力された複数の入力画像を合成して得られる４以上のバンドを有するマルチバンド画像の色変換を行うためのプログラムであって、前記複数の入力画像のデータにそれぞれ含まれる露光量情報の比に基づいて、前記マルチバンド画像の画像信号強度の補正を行うステップと、前記画像入力手段の分光感度特性である分光感度特性情報、および、前記入力画像を撮影した時の照明光の分光特性である撮影照明光情報を用いて、前記補正が行われたマルチバンド画像をデバイスインディペンデントカラー画像に変換するステップと、をコンピュータに実行させるものである。
【発明の効果】
【００１０】
本発明によれば、複数の入力画像を合成して得られるマルチバンド画像に対して、各入力画像を取得した画像入力手段それぞれの状態に応じて色変換を行うことができるので、各画像入力手段の状態が変化した場合であっても最適な色再現が可能となる。
【発明を実施するための最良の形態】
【００１１】
以下、添付図面を参照しながら、本発明の各実施の形態について説明する。
【００１２】
−第１の実施の形態−
第１の実施の形態におけるマルチスペクトル画像処理装置では、バンド特性の異なる２台のカメラを用いてそれぞれ撮影された２つの画像から、４以上のバンドを有するマルチバンド画像（マルチスペクトル画像とも言う）を生成する際に、２つの画像を撮影した時の撮影条件を等しくするための補正を行う。
【００１３】
図１は、第１の実施の形態におけるマルチスペクトル画像処理装置１００の構成を示す図である。マルチスペクトル画像処理装置１００は、ガンマ補正部３，４と、分光感度補正部５と、メモリ６と、反射率推定部７と、表示色変換部８とを備える。例えば、マルチスペクトル画像処理装置１００は、ＣＰＵおよびメモリを備えたコンピュータであって、ＣＰＵが各種演算処理を実行することにより、ガンマ補正部３，４、分光感度補正部５、反射率推定部７、および、表示色変換部８として機能する。このマルチスペクトル画像処理装置１００では、２台のカメラ１，２によって撮影された画像からマルチバンド画像を生成して、モニタ９に表示する。
【００１４】
カメラ１とカメラ２の分光感度特性は異なっている。例えば、カメラ１は、ＲＧＢの３バンドの分光感度特性を有し、カメラ２は、ＲＧＢよりも狭帯域な３バンドの分光感度特性を有する。なお、カメラ１は、ＲＧＢの３バンドの分光感度特性を有し、カメラ２は、ＲＧＢとは異なる３バンドの分光感度特性を有するものであってもよい。
【００１５】
カメラ１、２の出力信号はそれぞれ、ガンマ補正部３、４において、カメラ１、２の入出力特性をリニア（線形）にするための係数γ-1がそれぞれ乗算されて、反射率推定部７に入力される。
【００１６】
分光感度補正部５は、後述するバンドゲイン補正係数ｗkを算出するとともに、算出したバンドゲイン補正係数ｗkを用いて、カメラ１、２の分光感度特性を補正する。また、分光感度補正部５は、補正したカメラ１、２の分光感度特性と、カメラ１、２による撮影時の照明光の分光特性とに基づいて、被写体の分光反射率を推定するための行列Ｍ（以下、分光反射率推定行列Ｍと呼ぶ）を求める。メモリ６は、分光感度補正部５で算出されたバンドゲイン補正係数ｗkを記憶する。
【００１７】
図２は、カメラ１、２の分光感度特性（計６バンド）を、バンドゲイン補正係数ｗkを用いて補正する方法を説明するための図である。例えば、ｈ1、ｈ2、ｈ3をカメラ１の３バンドの分光感度特性、ｈ4、ｈ5、ｈ6をカメラ２の３バンドの分光感度特性とすると、各バンドの分光感度特性ｈ1〜ｈ6にバンドゲイン補正係数ｗ1〜ｗ6をそれぞれ乗じることにより得られるｈ'1〜ｈ'6が補正後の各バンドの分光感度特性となる。
【００１８】
反射率推定部７は、ガンマ補正部３、４を介して入力された画像信号に基づいて、既知の方法により、マルチバンド画像を生成するとともに、生成したマルチバンド画像と、分光感度補正部５で算出された分光反射率推定行列Ｍとに基づいて、被写体の分光反射率を推定し、推定した分光反射率から既知の方法を用いて、三刺激値ＸＹＺの信号を生成する。生成されたＸＹＺ信号は、表示色変換部８にて、モニタ９の表示特性に応じた色変換が行われた後、モニタ９に表示される。
【００１９】
なお、バンドの異なる２台のカメラを用いる代わりに、１台のカメラを用いて、バンドを変更するフィルタを挿入する場合と、挿入しない場合の２回撮影して、２つの画像を得るようにしてもよい。
【００２０】
図３は、第１の実施の形態におけるマルチスペクトル画像処理装置１００によって行われる処理の流れを示すフローチャートである。ステップＳ１０からステップＳ１５０までの処理は、分光感度補正部５により行われる。以下、ステップＳ１０から始まる処理を、図４を参照しながら説明する。図４は、マルチスペクトル画像処理装置１００による処理が行われている際に、モニタ９に表示される画面の一例を示す図である。
【００２１】
図４に示す画面では、「カメラ１によるファイル指定」の欄４１および「カメラ２によるファイル指定」の欄４２が設けられている。ユーザーは、例えば、プルダウンメニューから画像データを選択する等の方法により、欄４１、４２に、マルチスペクトル画像を生成するために用いる画像データを指定する。ステップＳ１０では、カメラ１およびカメラ２によって撮影されて、ユーザーによって指定された画像データを読み込む。この画像データには、撮影に用いたカメラ１，２のモデル、カメラ１，２のボディシリアルナンバー、カメラ１，２に取り付けたレンズの情報、撮影日時、露光量に関する情報等の情報が付随している。
【００２２】
ステップＳ２０では、ステップＳ１０で読み込んだ画像データに付随しているカメラ１，２のモデル、カメラ１，２のボディシリアルナンバー、および、レンズの情報から、カメラ１，２の分光感度特性の情報である分光感度特性情報を取得できたか否かを判定する。ここでは、カメラのモデル、カメラのボディシリアルナンバー、および、レンズと、分光感度特性情報とを関連づけたデータベースを予め用意しておき、このデータベースを参照することにより、分光感度特性情報を取得する。
【００２３】
なお、分光感度特性情報を求めるためのデータベースは、例えば、カメラの購入時に添付されているＣＤ−ＲＯＭ等に予め書き込んでおいてもよいし、カメラメーカーが公開しているカスタマーサポート用のウェブサイト上に用意しておいてもよい。これらの場合には、ＣＤ−ＲＯＭやウェブサイトからデータベースを読み込んで、利用することができる。
【００２４】
カメラの分光感度特性の情報を取得できた場合にはステップＳ４０に進み、取得できなかった場合には、ステップＳ３０に進む。ステップＳ３０では、ユーザーにより、カメラの分光感度特性の情報が手動で設定されたか否かを判定する。図４に示す画面では、「カメラ１の分光感度指定」の欄４３および「カメラ２の分光感度指定」の欄４４が設けられている。ユーザーは、例えば、プルダウンメニューからカメラの分光感度特性を選択する等の方法により、欄４３、４４に、カメラ１、２の分光感度特性をそれぞれ設定する。ユーザーにより、カメラの分光感度特性の情報が手動で設定されていないと判定すると、ステップＳ３０で待機し、手動で設定されたと判定すると、ステップＳ４０に進む。
【００２５】
ステップＳ４０では、ステップＳ１０で読み込んだ画像データから、撮影時の露光量情報を取得できたか否かを判定する。露光量情報には、撮影時のシャッター速度、絞り、撮影照明光等の情報が含まれる。画像データに露光量情報が付随しており、その露光量情報を取得できた場合には、ステップＳ６０に進み、画像データに露光量情報が付随しておらず、取得できなかった場合には、ステップＳ５０に進む。なお、露光量情報が取得できなかった場合とは、露光量情報に撮影時のシャッター速度、絞り、撮影照明光等の情報が含まれていなかった場合である。
【００２６】
ステップＳ５０では、ユーザーにより、露光量情報が手動で設定されたか否かを判定する。図４に示す画面では、「撮影時の照明スペクトル指定」の欄４５が設けられている。ユーザーは、例えば、プルダウンメニューから撮影時の照明スペクトルを選択する等の方法により、欄４５に、撮影時の照明スペクトルを設定する。ユーザーにより、露光量情報が手動で設定されていないと判定するとステップＳ５０で待機し、手動で設定されたと判定すると、ステップＳ６０に進む。
【００２７】
なお、図４では示していないが、露光量情報に含まれる撮影時のシャッター速度や絞りをユーザーが手動で設定できる欄を設けて、ユーザーが手動で設定できるようにしてもよい。
【００２８】
ステップＳ６０では、システム関数Ｈを算出する。システム関数Ｈは、次式（１）で表される。
【００２９】
【数１】
2010130157.tif 000003
【００３０】
式（１）において、ｈk（λ）（ｋ＝１、２、３）はカメラ１の３バンドの分光感度特性を示す関数、ｈk（λ）（ｋ＝４、５、６）は、カメラ２の３バンドの分光感度特性を示す関数であり、ステップＳ２０で取得、または、ステップＳ３０でユーザーにより設定されたものである。また、Ｉ（λ）は、撮影時に用いられた照明光のスペクトルを表しており、ステップＳ４０で取得、または、ステップＳ５０でユーザーにより設定された露光量情報に含まれているものである。
【００３１】
また、式（１）において、ｗkはバンドゲイン補正係数を表しており、次式（２）で表される。
【００３２】
【数２】
2010130157.tif 000004
【００３３】
式（２）において、ωkは分光感度補正係数を、α’kは露光時間補正係数を、β’kは絞り値補正係数をそれぞれ表している。
【００３４】
露光時間補正係数α’kは、次式（３）にて表される。
【００３５】
【数３】
2010130157.tif 000005
【００３６】
式（３）において、Ｅｘkは、撮影時に設定された目標露光時間である。また、αkは、カメラの分光感度特性を示す関数ｈk（λ）を求めた時の露光時間Ｅｘbasekから算出した補正係数であり、次式（４）にて表される。
【００３７】
【数４】
2010130157.tif 000006
【００３８】
なお、ｋ＝１、２、３は、カメラ１の３バンドに対応しており、Ｅｘ1＝Ｅｘ2＝Ｅｘ3、および、Ｅｘbase1＝Ｅｘbase2＝Ｅｘbase3の関係が成り立つので、α’1＝α’2＝α’3の関係が成り立つ。また、ｋ＝４、５、６は、カメラ２の３バンドに対応しており、Ｅｘ4＝Ｅｘ5＝Ｅｘ6、および、Ｅｘbase4＝Ｅｘbase5＝Ｅｘbase6の関係が成り立つので、α’4＝α’5＝α’6の関係が成り立つ。
【００３９】
続いて、絞り補正係数β’kは、次式（５）にて表される。
【００４０】
【数５】
2010130157.tif 000007
【００４１】
式（５）において、Ｆkは、撮影時に設定された目標絞り値（目標Ｆ値）である。また、βkは、カメラの分光感度特性を示す関数ｈk（λ）を求めた時の絞り値Ｆbasekから算出した補正係数であり、次式（６）にて表される。なお、補正係数βkは、絞り値Ｆbasekが１の時に１となるようにしている。
【００４２】
【数６】
2010130157.tif 000008
【００４３】
上述したように、ｋ＝１、２、３は、カメラ１の３バンドに対応しており、Ｆ1＝Ｆ2＝Ｆ3、および、Ｆbase1＝Ｆbase2＝Ｆbase3の関係が成り立つので、β’1＝β’2＝β’3の関係が成り立つ。また、ｋ＝４、５、６は、カメラ２の３バンドに対応しており、Ｆ4＝Ｆ5＝Ｆ6、および、Ｆbase4＝Ｆbase5＝Ｆbase6の関係が成り立つので、β’4＝β’5＝β’6の関係が成り立つ。
【００４４】
分光感度補正係数ωkの求め方については、後述するステップＳ１１０またはステップＳ１３０の処理において説明する。ただし、図３のフローチャートにおいて、ステップＳ６０の処理を初めて行う場合には、分光感度補正係数ωk＝１とする。
【００４５】
ステップＳ７０では、分光反射率推定行列Ｍを、次式（７）より算出する。
【００４６】
【数７】
2010130157.tif 000009
【００４７】
式（７）において、ＨTは、式（１）により求められたシステム関数Ｈの転置行列である。また、Ｒnnは、ノイズの相関行列であり、例えば、次式（８）で表される。式（８）において、σj2（ｊ＝１、２、…、６）は、カメラ１，２の各バンドのノイズの分散を示す。
【００４８】
【数８】
2010130157.tif 000010
【００４９】
また、式（７）において、Ｒrrは、被写体の分光反射率情報であり、例えば、ｒの自己相関行列である。ｒi（ｉ＝１、２、…、Ｎ）を複数の被写体サンプルの分光反射率特性とすると、Ｒrrは、次式（９）で表される。
【００５０】
【数９】
2010130157.tif 000011
【００５１】
第１の実施の形態におけるマルチスペクトル画像処理装置では、次の（ａ）、（ｂ）、（ｃ）の３通りの方法により、バンドゲイン補正係数ｗkを求める。
（ａ）撮像画像に分光反射率が既知の被写体が写り込んでいる場合、この被写体の分光反射率のデータを用いて、分光感度補正係数ωkを求めて、バンドゲイン補正係数ｗkを求める。
（ｂ）撮像画像に分光反射率が既知の被写体が写り込んでいない場合、画像中のニュートラルグレーの領域のデータを用いて、バンドゲイン補正係数ｗkを求める。
（ｃ）撮像画像に分光反射率が既知の被写体が写り込んでおらず、かつ、ニュートラルグレーの領域も無い場合、バンドゲイン補正係数ｗkを前回求めた時に対して、撮影条件の変更が無ければ、前回の演算時に用いたバンドゲイン補正係数ｗkを用いる。
【００５２】
上記（ａ）の場合の処理手順を以下で簡単に説明する。図４に示す画面において、プレビュー画面４８には、カメラ１により撮影された画像およびカメラ２により撮影された画像に基づいて生成されたマルチバンド画像（６バンド画像）が表示される。ユーザーは、プレビュー画面４８に表示されている画像の中から、分光反射率が既知の被写体が写り込んでいる領域を選択（指定）する。図４では、ユーザーにより選択された領域の一例を、矩形領域４９として示している。選択された領域は、拡大画面５５に表示される。
【００５３】
続いて、ユーザーは、図４に示す画面内のBackGroundボタン５０を押す。このBackGroundボタン５０は、分光感度補正係数ωkを求めるための信号を取得するモードに切り替えるためのボタンである。最後に、ユーザーは、「分光感度補正を指定」ボタン５１を押す。ここで、「分光感度補正」とは、露光量情報の比および被写体の分光反射率に基づいて、カメラ１，２の分光感度特性ｈk（λ）を補正することを意味する。
【００５４】
上記（ｂ）の場合、ユーザーは、図４に示すプレビュー画面４８に表示されている画像の中から、ニュートラルグレーの領域を選択（指定）して、BackGroundボタン５０を押す。そして、「露光量補正を指定」ボタン５２を押す。ここで、「露光量補正」とは、露光量情報の比に基づいて、カメラ１，２の分光感度特性ｈk（λ）を補正することを意味する。
【００５５】
「露光量補正を指定」ボタン５２の下に設けられている「指定領域不使用」ボタン５３は、上記（ｃ）の方法を選択する際に、ユーザーによって操作されるボタンである。
【００５６】
図３のフローチャートにおけるステップＳ８０では、ユーザーによって、領域の選択が行われたか否かを判定する。図４の矩形領域４９のように、ユーザーによって、領域の選択が行われたと判定すると、ステップＳ９０に進む。
【００５７】
ステップＳ９０では、ユーザーにより選択された領域は、背景に写り込んだ分光反射率が既知の被写体の領域であるか否かを判定する。ここでは、「分光感度補正を指定」ボタン５１が押された場合に、ユーザーにより選択された領域が分光反射率既知の被写体の領域であると判定して、ステップＳ１００に進む。
【００５８】
ステップＳ１００では、ユーザーにより選択された領域の分光反射率データが分光感度補正部５に存在するか否かを判定する。ユーザーは、分光反射率が既知の被写体の分光反射率データを予め登録しておく必要がある。分光反射率が既知の被写体とは、例えば、色票であり、カメラ１，２による撮影時に、実際の被写体と共に撮影する。図４に示す画面では、「背景の反射率指定」の欄４７が設けられており、ユーザーは、例えば、プルダウンメニューから分光反射率を選択する等の方法により、欄４７に、分光反射率を設定する。ユーザーが分光反射率データを登録しており、分光反射率データが分光感度補正部５に存在する場合には、ステップＳ１１０に進む。
【００５９】
ステップＳ１１０では、上記（ａ）の方法により、すなわち、ユーザーにより選択された領域の分光反射率データを用いて、分光感度補正係数ωkを求めて、バンドゲイン補正係数ｗkを求める。この方法を以下で詳しく説明する。
【００６０】
撮影画像の信号値をｃk（ｘ、ｙ）（ｋ＝１〜６）、ユーザーにより選択された領域の中心画素位置を（ｘc、ｙc）、選択領域のサイズをδ、カメラの分光感度をｈk（λ）（λ＝３８０〜７８０）、ユーザーにより選択された領域の分光反射率データをｒ（λ）、撮影時の照明スペクトルデータをＩ（λ）とすると、分光感度補正係数ωkは次式（１０）にて表される。
【００６１】
【数１０】
2010130157.tif 000012
【００６２】
ただし、式（１０）において、ＴＲＣ［ｃk（ξ、η）］は、画像信号値ｃkをリニアに変換する関数である。また、選択領域のサイズδは、例えば、選択領域が３２×３２画素の場合に、δ＝３２とする。
【００６３】
式（１０）により求めた分光感度補正係数ωkと、式（３）により求めた露光時間補正係数α’k、および、式（５）により求めた絞り値補正係数β’kとを用いて、式（２）より、バンドゲイン補正係数ｗkを求める。ステップＳ１１０において、バンドゲイン補正係数ｗkを求めると、ステップＳ１５０に進み、求めたバンドゲイン補正係数ｗkをメモリ６に記憶する。
【００６４】
一方、ステップＳ９０において、「分光感度補正を指定」ボタン５１が押されていない場合、および、ステップＳ１００において、分光反射率データが分光感度補正部５に存在しない場合には、ステップＳ１２０に進む。ステップＳ１２０からステップＳ１３０に進む処理は、上記（ｂ）の方法により、分光感度補正係数ωkを求める場合である。この場合、ユーザーは、撮像画像中のニュートラルグレーの領域を選択した後、「露光量補正を指定」ボタン５２を押す必要がある。なお、ユーザーが選択する領域は、信号値のＢ、Ｇ、Ｒの比率がほぼ１：１：１になるところであればグレーの領域に限定されることはなく、例えば、白色の領域であってもよい。
【００６５】
ステップＳ１２０では、ユーザーにより選択された領域がニュートラルグレーの領域であるか否かを判定する。ここでは、「露光量補正を指定」ボタン５２が押された場合に、ユーザーにより選択された領域がニュートラルグレーの領域であると判定して、ステップＳ１３０に進む。
【００６６】
ステップＳ１３０では、上記（ｂ）の方法により、バンドゲイン補正係数ｗkを求める。この方法を以下で詳しく説明する。
【００６７】
ユーザーによりニュートラルグレーの領域が選択された場合には、バンドゲイン補正係数ｗkは、次式（１１）により算出される。
【００６８】
【数１１】
2010130157.tif 000013
【００６９】
式（１１）において、ｗ'kは、前回の演算時に算出して、メモリ６に記憶されているバンドゲイン補正係数であり、ｑはシャッタースピード比である。
【００７０】
シャッタースピード比ｑの求めた方について説明する。ユーザーにより選択された矩形領域の平均信号値（信号値の平均値）Ｇkは、次式（１２）で表される。式（１２）中のＴＲＣ［ｃk（ξ、η）］は、上述したように、画像信号値をリニアに変換する関数である。
【００７１】
【数１２】
2010130157.tif 000014
【００７２】
ユーザーにより選択された矩形領域の平均信号値Ｇk（ｋ＝１〜６）から算出されるＲ、Ｇ、Ｂの信号比は、それぞれ次式（１３）〜（１５）で表される。
【００７３】
【数１３】
2010130157.tif 000015
【００７４】
【数１４】
2010130157.tif 000016
【００７５】
【数１５】
2010130157.tif 000017
【００７６】
式（１３）は、カメラ１で撮像された画像のＲ（赤）とカメラ２で撮像された画像のＲ（赤）の信号レベルの比を表している。また、式（１４）は、カメラ１で撮像された画像のＧ（緑）とカメラ２で撮像された画像のＧ（緑）の信号レベルの比を表しており、式（１５）は、カメラ１で撮像された画像のＢ（青）とカメラ２で撮像された画像のＢ（青）の信号レベルの比を表している。
【００７７】
ここで、分光反射率が１である完全白色板を撮影した場合の仮想出力は、ｈk'（λ）Ｉ（λ）ｐkと表される。ただし、ｈk'（λ）は、バンドゲイン補正係数ｗkを用いて補正されたカメラの分光感度であり、ｈk（λ）×ｗkと表される。また、Ｉ（λ）は、撮影時の照明スペクトルデータであり、ｐk（ｋ＝１〜６）は、露光量比である。露光量比ｐkは、今回の撮影時の露光時間をＥｘk、バンドゲイン補正係数ｗkを前回算出した時の露光時間をＥｘbgk、今回の撮影時の絞り値をＦk、バンドゲイン補正係数ｗkを前回算出した時の絞り値Ｆbgkとすると、次式（１６）で表される。
【００７８】
【数１６】
2010130157.tif 000018
【００７９】
上述した仮想出力を最大値で正規化した値Ｖk（Ｖkは０〜１の範囲内の値）は、次式（１７）で表される。
【００８０】
【数１７】
2010130157.tif 000019
【００８１】
式（１７）で表される仮想出力のＲ、Ｇ、Ｂの信号比は、それぞれ次式（１８）〜（２０）で表される。
【００８２】
【数１８】
2010130157.tif 000020
【００８３】
【数１９】
2010130157.tif 000021
【００８４】
【数２０】
2010130157.tif 000022
【００８５】
シャッタースピード比ｑは、次式（２１）で表される。
【００８６】
【数２１】
2010130157.tif 000023
【００８７】
式（２１）では、Ｒ、Ｇ、Ｂの各バンドの画素値の比の平均値から、シャッタースピード比ｑを求めているが、少なくとも１つのバンドの画素値の比をシャッタースピード比ｑとしてもよい。例えば、Ｒｒ2／Ｒｒ1をシャッタースピード比ｑとしてもよいし、Ｒｇ2／Ｒｇ1やＲｂ2／Ｒｂ1をシャッタースピード比ｑとしてもよい。
【００８８】
ステップＳ１３０において、バンドゲイン補正係数ｗkを求めると、ステップＳ１５０に進み、求めたバンドゲイン補正係数ｗkをメモリ６に記憶する。
【００８９】
一方、ステップＳ１２０において、ユーザーにより選択された領域がニュートラルグレーの領域ではない場合、すなわち、ユーザーにより、「指定領域不使用」ボタン５３が押された場合には、ステップＳ１４０に進む。
【００９０】
ステップＳ１４０では、バンドゲイン補正係数ｗkを前回算出した時に対して、撮影条件が変化していないか否かを判定する。撮影条件には、撮影時の照明光、撮影に使用したカメラ、レンズ等が含まれる。撮影条件が変化していると判定するとステップＳ１６０に進み、撮影条件が変化していないと判定すると、前回の演算時に求めてメモリ６に記憶されているバンドゲイン補正係数ｗkを用いて、システム関数Ｈ、および、分光反射率推定行列Ｍを算出するために、ステップＳ６０に戻る。
【００９１】
上述したように、ステップＳ６０の処理を初めて行う場合には、分光感度補正係数ωk＝１として、バンドゲイン補正係数ｗkを求めて、システム関数Ｈを算出したが、２回目以降の演算では、メモリ６に記憶されているバンドゲイン補正係数ｗkを用いて、システム関数Ｈを算出する。
【００９２】
従来の技術では、カメラ１，２の分光感度特性ｈk（λ）、および、撮影時の照明スペクトルデータＩ（λ）に基づいて、システム関数Ｈを算出していた。しかし、第１の実施の形態におけるマルチスペクトル画像処理装置では、式（１）に示すように、カメラ１，２の分光感度特性ｈk（λ）、バンドゲイン補正係数ｗk、および、撮影時の照明スペクトルデータＩ（λ）を乗じることにより、システム関数Ｈを求めている。すなわち、各バンドごとに、カメラ１，２の分光感度特性ｈk（λ）に、バンドゲイン補正係数ｗkを乗じて、分光感度特性ｈk（λ）を補正し、補正後の分光感度特性（ｈk（λ）×ｗk）と、撮影時の照明スペクトルデータＩ（λ）とに基づいて、システム関数Ｈを求めている。
【００９３】
カメラ１，２の分光感度特性ｈk（λ）を補正するためのバンドゲイン補正係数ｗkは、式（２）に示すように、露光時間補正係数α’k、絞り値補正係数β’k、および、分光感度補正係数ωkを乗算することにより求めている。露光時間補正係数α’kおよび絞り値補正係数β’kは、カメラ１、２によりそれぞれ撮像された画像データに含まれる露光量情報の比のデータであるため、カメラ１，２の分光感度特性ｈk（λ）は、少なくとも、カメラ１、２によりそれぞれ撮像された画像データに含まれる露光量情報の比に基づいて補正されている。
【００９４】
続いて、ステップＳ７０において、分光反射率推定行列Ｍを算出し、ステップＳ８０において、ユーザーによって、領域の選択が行われていないと判定すると、ステップＳ１６０に進む。
【００９５】
ステップＳ１６０において、反射率推定部７は、ガンマ補正部３、４を介して入力された画像信号に基づいて、既知の方法により、マルチスペクトル画像を生成するとともに、生成したマルチバンド画像と、分光感度補正部５で算出された分光反射率推定行列Ｍとに基づいて、被写体の分光反射率を推定し、推定した分光反射率から既知の方法を用いて、三刺激値ＸＹＺの信号を生成する。この三刺激値ＸＹＺの信号は、デバイスに依存しないデバイスインディペンデントカラー信号である。
【００９６】
表示色変換部８は、反射率推定部７で生成されたＸＹＺ信号を、モニタ９の表示特性おおよび観察照明スペクトルに応じた色変換を行った後、モニタ９に表示する。図４に示す画面では、「映像再現時の観察照明スペクトル指定」の欄４６が設けられており、ユーザーは、例えば、プルダウンメニューから、画像をモニタ９上で観察する際の照明スペクトルを指定する。
【００９７】
第１の実施の形態におけるマルチスペクトル画像処理装置によれば、複数のカメラ１、２により撮像された画像データに含まれる露光量情報の比に基づいて、カメラ１，２の分光感度特性ｈk（λ）を補正し、補正後の分光感度特性と、撮影時の照明スペクトルＩ（λ）とを用いて、マルチバンド画像をデバイスインディペンデントカラー画像に変換する。これにより、カメラ１，２の撮影条件、例えば、撮影時のシャッター速度（露光時間）、絞り、撮影照明光等が異なる場合でも、撮影条件が等しくなるような補正を施して、適切な色変換を行うことができる。
【００９８】
また、第１の実施の形態におけるマルチスペクトル画像処理装置によれば、複数のカメラ１、２により撮像された複数の画像データに含まれる露光量情報の比、および、複数の画像データにそれぞれ含まれる少なくとも１つのバンドにおける画素値の比に基づいて、マルチバンド画像に含まれるバンド毎に、カメラ１，２の分光感度特性を補正する。露光量情報の比だけではなく、露光量の変動を受けた結果である画素値の比も用いて、カメラ１，２の分光感度特性を補正するので、より正確な補正を施して、適切な色変換を行うことができる。
【００９９】
さらに、露光量情報の比に基づいて分光感度特性情報の補正を行うか、または、露光量情報の比および少なくとも１つのバンドにおける画素値の比に基づいて、分光感度特性情報の補正を行うかを選択できるようにしたので、ユーザーは、適切な補正方式を選ぶことができる。例えば、補正処理を迅速に行いたい場合には、画素値を読み出さない方式である露光量情報の比に基づいた補正を選べばよい。また、高い精度で補正を行いたい場合には、露光量情報の比および少なくとも１つのバンドにおける画素値の比に基づいた補正を選べばよい。
【０１００】
また、マルチバンド画像における白色または灰色の領域を抽出し、抽出した白色または灰色の領域における画素値の平均値の比に基づいて、分光感度特性情報の補正を行うので、補正に適した領域の画素値を用いて、効果的な分光感度特性情報の補正を行うことができる。
【０１０１】
また、露光量情報の比に基づいて、または、露光量情報の比および少なくとも１つのバンドにおける画素値の比に基づいて算出された、分光感度特性情報の補正を行う際に用いる補正係数を記憶するメモリ６を備え、少なくとも１つの１つのバンドにおける画素値の比を取得できない場合に、過去に用いた補正係数をメモリ６から読み出して、分光感度特性情報の補正を行う。これにより、画像全体に被写体が写っている場合、分光反射率が既知の被写体や、白色または灰色の領域が写り込んでいない場合等のように、いずれのバンドにおいても画素値の比を取得できない場合でも、分光感度特性情報の補正を行うことができる。
【０１０２】
また、マルチバンド画像の被写体の特性に関する情報である被写体特性情報、例えば、既知の分光反射率の情報と、露光量情報の比とに基づいて、分光感度特性情報の補正を行うので、精度の高い補正を行うことができる。
【０１０３】
−第２の実施の形態−
第１の実施の形態におけるマルチスペクトル画像処理装置では、バンドゲイン補正係数ｗkを求めるために必要な領域をユーザーが選択した。第２の実施の形態におけるマルチスペクトル画像処理装置では、分光感度補正部において、バンドゲイン補正係数ｗkを求めるために必要な領域を選択する。なお、内部で行う処理が異なるため、分光感度補正部の符号を５Ａとするとともに、マルチスペクトル画像処理装置の符号を１００Ａとする。
【０１０４】
図５は、第２の実施の形態におけるマルチスペクトル画像処理装置１００Ａによって行われる処理の流れを示すフローチャートである。図３に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明を省略する。
【０１０５】
ステップＳ４０またはステップＳ５０の処理を終えると、ステップＳ２００に進む。ステップＳ２００では、分光反射率が既知の被写体が写り込んでいる領域、または、ニュートラルグレーの領域を検出・選択する。ここでは、まず、公知の方法により、撮像画像から、分光反射率が既知の被写体を検出する処理を行い、検出できなかった場合に、公知の方法により、ニュートラルグレーの領域を検出する処理を行う。検出された領域が選択領域となる。
【０１０６】
ステップＳ２１０では、ステップＳ２００の処理において、分光反射率が既知の被写体が写り込んでいる領域を検出・選択したか否かを判定する。分光反射率が既知の被写体が写り込んでいる領域を選択したと判定すると、ステップＳ１１０に進み、分光反射率が既知の被写体が存在しないと判定すると、ステップＳ１２０に進む。ステップＳ１２０では、ステップＳ２００の処理において、ニュートラルグレーの領域を検出し、選択したか否かを判定する。ニュートラルグレーの領域を選択したと判定するとステップＳ１３０に進み、ニュートラルグレーの領域を選択していないと判定すると、ステップＳ１４０に進む。
【０１０７】
ステップＳ１４０において、バンドゲイン補正係数ｗkを前回算出した時に対して、撮影条件が変化していないと判定すると、前回算出したバンドゲイン補正係数ｗkを用いてシステム関数Ｈを算出するため、ステップＳ６０に進む。一方、撮影条件が変化していると判定すると、ステップＳ２２０に進む。
【０１０８】
ステップＳ２２０では、分光感度補正係数ωkを初期値の１に設定するとともに、上述した式（２）より、バンドゲイン補正係数ｗkを算出して、ステップＳ２３０に進む。ステップＳ２３０では、ステップＳ２２０で算出したバンドゲイン補正係数ｗkをメモリ６に記憶して、ステップＳ６０に進む。
【０１０９】
ステップＳ６０では、システム関数Ｈを算出し、ステップＳ７０では、分光反射率推定行列Ｍを算出する。そして、ステップＳ１６０において、色再現を実行する。
【０１１０】
第１の実施の形態におけるマルチスペクトル画像処理装置では、バンドゲイン補正係数ｗkを求めるために必要な領域をユーザーが選択するため、バンドゲイン補正係数ｗkを求める前に、システム関数Ｈおよび分光反射率推定行列Ｍを算出して、マルチバンド画像をモニタ９に表示する必要があった。しかし、第２の実施の形態におけるマルチスペクトル画像処理装置では、分光感度補正部５Ａによって、バンドゲイン補正係数ｗkを求めるために必要な領域を検出・選択するため、バンドゲイン補正係数ｗkを求める前に、システム関数Ｈおよび分光反射率推定行列Ｍを算出する必要がない。
【０１１１】
第２の実施の形態におけるマルチスペクトル画像処理装置によれば、分光反射率が既知の被写体が写り込んでいる領域、または、ニュートラルグレーの領域を自動的に検出して選択するので、分光感度特性情報を補正するために必要な領域をユーザーが選択する必要がなくなり、ユーザーにとって利便性が高い。
【０１１２】
−第３の実施の形態−
第３の実施の形態におけるマルチスペクトル画像処理装置は、第１の実施の形態におけるマルチスペクトル画像処理装置が行う処理に加えて、フレア補正を行う。以下では、第３の実施の形態におけるマルチスペクトル画像処理装置の符号を１００Ｂとして説明する。
【０１１３】
図６は、第３の実施の形態におけるマルチスペクトル画像処理装置１００Ｂの構成を示す図である。第３の実施の形態におけるマルチスペクトル画像処理装置１００Ｂは、第１の実施の形態におけるマルチスペクトル画像処理装置１００の構成に対して、フレア補正部６０をさらに備える。
【０１１４】
フレア補正部６０は、カメラ１、２により撮像された画像に基づいて、フレア量を算出するとともに、フレアの影響を軽減するフレア補正を行う。
【０１１５】
ここで、カメラの信号値Ｇkを次式（２２）のモデル式で表すと、カメラのリニア信号値linearＧkは、次式（２３）で表される。
【０１１６】
【数２２】
2010130157.tif 000024
【０１１７】
【数２３】
2010130157.tif 000025
【０１１８】
ただし、式（２２）において、Ｇ0kは、カメラの信号値Ｇkのバイアスであり、ηkはノイズ係数である。また、式（２３）において、Ｉrは撮影照明スペクトル、ｏrは被写体の分光反射率、ｈkrはカメラの分光感度、ｆrはフレア光、Ｒ＝４０１である。式（２３）の２段目の右辺第２項のうち、ωkα’kβ’kを除いた値がフレア量となる。
【０１１９】
図７は、第３の実施の形態におけるマルチスペクトル画像処理装置１００Ｂによって行われる処理の流れを示すフローチャートである。図３に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明を省略する。ただし、図７に示すフローチャートでは、紙面のスペース上の理由により、ステップＳ６０より前の処理、すなわち、ステップＳ１０〜ステップＳ５０を省略している。
【０１２０】
ステップＳ９０の処理から説明を始める。ステップＳ９０において、ユーザーにより選択された領域は、背景に写り込んだ分光反射率が既知の被写体の領域ではない場合、すなわち、「分光感度補正を指定」ボタン５１が押されていない場合には、ステップＳ３００に進む。
【０１２１】
ステップＳ３００では、バンドゲイン補正係数ｗkを既に算出済みであるか否かを判定する。バンドゲイン補正係数ｗkをまだ算出していないと判定すると、ステップＳ１２０に進み、既に算出済みでメモリ６に記憶されていると判定すると、ステップＳ３１０に進む。
【０１２２】
ステップＳ３１０では、ユーザーにより選択された領域は黒色の領域であるか否かを判定する。黒色の領域は、フレア補正に使用するデータを取得するための領域であり、例えば、光が届かない筒の内部を被写体とする領域である。ここでは、図４に示す画面の「フレア補正実行」ボタン５６がユーザーによって押された場合に、ユーザーにより選択された領域が黒色の領域であると判定して、ステップＳ３２０に進む。一方、「フレア補正実行」ボタン５６が押されていない場合には、ユーザーにより選択された領域は黒色の領域ではないと判定して、ステップＳ１２０に進む。
【０１２３】
ステップＳ３２０では、フレア量Ｃｆkを算出する。フレア量Ｃｆkは、次式（２４）で表される。
【０１２４】
【数２４】
2010130157.tif 000026
【０１２５】
ただし、Ｆk（ｋ＝１，…，６）は、ユーザーにより選択された黒色の領域の撮像信号値であり、Ｃｂ１kは、既に算出済みのバンドゲイン補正係数ｗkである。ステップＳ３００において、バンドゲイン補正係数ｗkを既に算出済みであるか否かの判定を行ったのは、フレア量Ｃｆkを算出する際に、バンドゲイン補正係数ｗkが必要となるからである。ここでは、メモリ６に記憶されているバンドゲイン補正係数ｗkをフレア量Ｃｆkの算出に用いる。また、式（２４）におけるＡは、所定の係数であり、例えば、固定小数点にてデータ保存する際のレンジオーバーを防ぐために、適切な値を設定する。
【０１２６】
フレア量Ｃｆkを算出すると、メモリ６に記憶して、ステップＳ９０に戻る。
【０１２７】
ステップＳ１４０の判定を肯定した場合、または、ステップＳ１５０の処理を終了した場合に進むステップＳ３３０では、ガンマ補正部３、４から出力される信号に対して、フレア補正を行う。フレア補正後の信号LinearＧkは、次式（２５）で表される。
【０１２８】
【数２５】
2010130157.tif 000027
【０１２９】
ただし、式（２５）中のＧkは、カメラ１，２から出力される信号値であり、Ｇ0kは、カメラ１，２から出力される信号のバイアスである。また、Ｃｂ２kは、フレア補正実行時のバンドゲイン補正係数ｗkである。フレア量を算出するために必要となる黒色の領域を選択するための画像を別途撮像して用いる場合には、Ｃｂ１kとＣｂ２kは異なる値となるが、フレア補正を行う画像とフレア量を算出する画像とが同じ画像の場合には、Ｃｂ１kとＣｂ２kは同じ値となる。
【０１３０】
また、Ｃｆ'kは、フレア補正実行時のバンドゲイン補正係数ｗk（＝Ｃｂ２k）を用いて補正したフレア量であり、次式（２６）により表される。
【０１３１】
【数２６】
2010130157.tif 000028
【０１３２】
フレア補正処理を行うと、ステップＳ６０に戻る。
【０１３３】
第３の実施の形態におけるマルチスペクトル画像処理装置によれば、分光感度特性情報を補正するためのバンドゲイン補正係数ｗkを算出するとともに、複数のカメラ１、２により撮像された複数の画像の画素値からフレア量を推定し、推定したフレア量にバンドゲイン補正係数ｗkを作用させて、フレア補正を行う。これにより、分光感度特性情報の補正に加えて、フレア補正も正確に行うことができる。
【０１３４】
−第４の実施の形態−
第４の実施の形態におけるマルチスペクトル画像処理装置では、カメラ１，２間の各バンドの画素値の比を得ることができるか否かに基づいて、バンドゲイン補正係数ｗkの算出方法を変更する。以下では、第４の実施の形態におけるマルチスペクトル画像処理装置の符号を１００Ｃとして説明する。
【０１３５】
図８は、第４の実施の形態におけるマルチスペクトル画像処理装置１００Ｃによって行われる処理の流れを示すフローチャートである。図３に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明を省略する。
【０１３６】
ステップＳ８００では、カメラ１，２間の各バンドの画素値の比のデータが取得可能であるか否かを判定する。例えば、分光反射率が既知の被写体が撮像画像に写り込んでいて、その分光反射率が既知の被写体が写り込んでいる領域の画像信号、および、撮影時の照明スペクトルデータが得られる場合には、カメラ１，２間の各バンドの画素値の比のデータが取得可能であると判定する。
【０１３７】
カメラ１，２間の各バンドの画素値の比のデータが取得可能であると判定すると、ステップＳ１３０に進んでバンドゲイン補正係数ｗkを算出し、ステップＳ１５０でバンドゲイン補正係数ｗkをメモリ６に記憶させた後、ステップＳ６０に戻って、システム関数Ｈを算出する。この場合、複数の入力画像のデータにそれぞれ含まれる露光量情報の比、および、各バンドにおける画素値の比に基づいて、分光感度特性情報の補正を行うことになる。
【０１３８】
一方、カメラ１，２間の各バンドの画素値の比のデータが取得できないと判定すると、ステップＳ６０に戻って、システム関数Ｈを算出する。この場合、バンドゲイン補正係数ｗkを算出するために必要な分光感度補正係数ωkは、初期値の１とするので、カメラ１，２の分光感度特性は、露光時間補正係数α’kおよび絞り値補正係数β’kを用いて補正される。すなわち、露光量情報の比に基づいて、分光感度特性情報の補正が行われることになる。
【０１３９】
すなわち、第４の実施の形態におけるマルチスペクトル画像処理装置では、カメラ間の各バンドの画素値の比のデータが取得可能な場合には、複数の入力画像のデータにそれぞれ含まれる露光量情報の比、および、各バンドにおける画素値の比に基づいて、分光感度特性情報の補正を行い、各バンドにおける画素値の比を取得できない場合には、露光量情報の比に基づいて、分光感度特性情報の補正を行う。これにより、カメラ間の各バンドの画素値の比のデータが取得可能な場合には、分光感度特性情報の補正を精度良く行い、取得できない場合には、簡易な方法による補正を行うことができる。
【０１４０】
−第５の実施の形態−
第１〜第４の実施の形態におけるマルチスペクトル画像処理装置では、カメラ１，２の撮影条件を同等にするために、カメラ１，２の分光感度特性を補正した。第５の実施の形態におけるマルチスペクトル画像処理装置では、カメラ１，２の撮影条件を同等にするために、画像信号に対して直接補正を行う。以下では、第５の実施の形態におけるマルチスペクトル画像処理装置の符号を１００Ｄとして説明する。
【０１４１】
図９は、第５の実施の形態におけるマルチスペクトル画像処理装置１００Ｄの構成を示す図である。第５の実施の形態におけるマルチスペクトル画像処理装置１００Ｄは、第１の実施の形態におけるマルチスペクトル画像処理装置１００の構成に対して、露光量補正部９１，９２と、分光感度補正部９３〜９８と、スイッチ装置９９とをさらに備え、分光感度補正部５の代わりに、分光反射率推定行列算出部９０を備える。
【０１４２】
分光反射率推定行列算出部９０は、上述した露光時間補正係数α’k、絞り値補正係数β’k、分光感度補正係数ωkを算出するとともに、上式（７）より、分光反射率推定行列Ｍを算出する。ただし、分光反射率推定行列Ｍを算出する際に用いるシステム関数Ｈは、次式（２７）より算出する。
【０１４３】
【数２７】
2010130157.tif 000029
【０１４４】
露光量補正部９１は、ガンマ補正部３から出力された３バンドの画像信号に対して、（１／α’1β’1）を乗じる。分光感度補正部９３、９４、９５はそれぞれ、露光量補正部９１から出力される信号に対して、１／（ω1・ｑ）、１／（ω2・ｑ）、１／（ω3・ｑ）を乗じる。
【０１４５】
同様に、露光量補正部９２は、ガンマ補正部４から出力された３バンドの画像信号に対して、（１／α’4β’4）を乗じる。分光感度補正部９６、９７、９８はそれぞれ、露光量補正部９２から出力される信号に対して、１／（ω4・ｑ）、１／（ω5・ｑ）、１／（ω6・ｑ）を乗じる。
【０１４６】
スイッチ装置９９は、分光反射率推定行列算出部９０からの指令に基づいて、反射率推定部７に入力する信号として、露光量補正部９１、９２からの信号、および、分光感度補正部９３〜９８からの信号のうちの一方の信号を選択する。露光量補正部９１、９２からの信号が選択された場合には、露光量情報の比に基づいて画像信号強度の補正が行われ、分光感度補正部９３〜９８からの信号が選択された場合には、露光量情報の比および少なくとも１つのバンドにおける画素値の比に基づいて画像信号強度の補正が行われる。
【０１４７】
図１０は、第５の実施の形態におけるマルチスペクトル画像処理装置１００Ｄによって行われる処理の流れを示すフローチャートである。図３に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明を省略する。
【０１４８】
ステップＳ１０において、カメラ１およびカメラ２によって撮影されて、ユーザーによって指定された画像データを読み込むと、ステップＳ６０Ａに進む。ステップＳ６０Ａでは、式（２７）よりシステム関数Ｈを算出し、続くステップＳ７０では、分光反射率推定行列Ｍを算出する。
【０１４９】
ステップＳ１０００では、カメラ１，２が同一モデルの機種であるか否かを判定する。この判定は、ステップＳ１０で読み込んだ画像データに付随しているカメラのモデル情報に基づいて行う。カメラ１，２が同一モデルの機種ではないと判定するとステップＳ１０３０に進み、同一モデルの機種であると判定するとステップＳ１０１０に進む。
【０１５０】
ステップＳ１０１０では、２つのカメラ１，２の撮影間隔が所定時間内であるか否かを判定する。２つのカメラ１，２の撮影間隔が所定時間内では無いと判定するとステップＳ１０３０に進み、所定時間内であると判定するとステップＳ１０２０に進む。
【０１５１】
ステップＳ１０２０において、露光量補正部９１，９２は、ガンマ補正部３、４からそれぞれ出力された画像信号に対して、（１／α’1β’1）、（１／α’4β’4）を乗じる露光量補正を行う。スイッチ装置９９は、分光反射率推定行列算出部９０からの指令に基づいて、露光量補正部９１，９２からの信号を選択する。すなわち、反射率推定部７には、露光量補正後の信号が入力される。
【０１５２】
一方、ステップＳ１０３０において、露光量補正部９１は、ガンマ補正部３から出力された画像信号に対して、（１／α’1β’1）を乗じ、露光量補正部９２は、ガンマ補正部４から出力された画像信号に対して、（１／α’4β’4）を乗じる。分光感度補正部９３〜９５は、露光量補正部９１によって（１／α’1β’1）が乗じられた信号に対して、１／（ω1・ｑ）〜１／（ω3・ｑ）をそれぞれ乗じ、分光感度補正部９６〜９８は、露光量補正部９２によって（１／α’4β’4）が乗じられた信号に対して、１／（ω4・ｑ）〜１／（ω6・ｑ）をそれぞれ乗じる。分光感度補正係数ωk（ｋ＝１、…、６）およびシャッタースピード比ｑの算出方法は、既に説明済みのため、ここでは詳しい説明は省略する。
【０１５３】
スイッチ装置９９は、分光反射率推定行列算出部９０からの指令に基づいて、分光感度補正部９３〜９８からの信号を選択する。すなわち、反射率推定部７には、露光量情報の比および少なくとも１つのバンドにおける画素値の比に基づいて補正が行われた画像信号が入力される。
【０１５４】
すなわち、２つのカメラ１，２が同一モデルの機種であり、かつ、カメラ１，２により撮影が行われた際の撮影間隔が所定時間内であれば、カメラ１，２により撮影された画像の撮影条件はほぼ等しいため、露光量情報の比に基づいて、簡易に画像信号強度の補正を行う。一方、２つのカメラ１，２が同一モデルの機種ではない場合や、２つのカメラ１，２により撮影が行われた際の撮影間隔が所定時間内ではない場合には、高い精度で補正を行うべく、複数の入力画像のデータにそれぞれ含まれる露光量情報の比、および、少なくとも１つのバンドにおける画素値の比に基づいて、画像信号強度の補正を行う。
【０１５５】
第５の実施の形態におけるマルチスペクトル画像処理装置によれば、画像信号に対して直接補正を行うことにより、第１の実施の形態と同様に、カメラ１，２の撮影条件、例えば、撮影時のシャッター速度（露光時間）、絞り、撮影照明光等が異なる場合でも、撮影条件が等しくなるような補正を施して、適切な色変換を行うことができる。
【０１５６】
−第６の実施の形態−
第６の実施の形態におけるマルチスペクトル画像処理装置では、第５の実施の形態におけるマルチスペクトル画像処理装置の構成において、画像信号に対して別の方法により、補正を行う。以下では、第６の実施の形態におけるマルチスペクトル画像処理装置の符号を１００Ｅとして説明する。また、分光感度補正部９３〜９８で行う処理内容が異なるため、ここでは、分光感度補正部の符号を９３Ａ〜９８Ａとする。
【０１５７】
図１１は、第６の実施の形態におけるマルチスペクトル画像処理装置１００Ｅによって行われる処理の流れを示すフローチャートである。図３に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明を省略する。
【０１５８】
ステップＳ７０に続くステップＳ１１００では、ステップＳ１０で読み込んだ画像データから、分光反射率が既知の被写体が写り込んでいる領域、または、ニュートラルグレーの領域を抽出する。ここでは、まず、公知の方法により、撮像画像中から、分光反射率が既知の被写体を抽出する処理を行い、抽出できなかった場合に、公知の方法により、ニュートラルグレーの領域を抽出する処理を行う。
【０１５９】
ステップＳ１００を肯定した後に進むステップＳ１１１０では、露光時間補正係数α’k、絞り値補正係数β’k、および、分光感度補正係数ωkを算出する。算出方法は、既に説明済みのため、ここでは詳しい説明は省略する。算出した各補正係数α’k、β’k、ωkは、それぞれメモリ６に記憶しておく。
【０１６０】
ステップＳ１１１０に続くステップＳ１１２０において、露光量補正部９１，９２は、ガンマ補正部３、４からそれぞれ出力された画像信号に対して、（１／α’1β’1）、（１／α’4β’4）を乗じ、分光感度補正部９３Ａ〜９８Ａは、露光量補正部９１，９２によって（１／α’1β’1）、（１／α’4β’4）が乗じられた信号に対して、１／ω1〜１／ω6をそれぞれ乗じる。
【０１６１】
一方、ステップＳ１２０の判定を肯定した後に進むステップＳ１１３０では、露光時間補正係数α’k、絞り値補正係数β’k、分光感度補正係数ωk、および、シャッタースピード比ｑを算出する。算出した各補正係数α’k、β’k、ωk、および、シャッタースピード比ｑは、それぞれメモリ６に記憶しておく。
【０１６２】
ステップＳ１１３０に続くステップＳ１１４０において、露光量補正部９１，９２は、ガンマ補正部３、４からそれぞれ出力された画像信号に対して、（１／α’1β’1）、（１／α’4β’4）を乗じ、分光感度補正部９３Ａ〜９８Ａは、露光量補正部９１，９２によって（１／α’1β’1）、（１／α’4β’4）が乗じられた信号に対して、１／（ω1・ｑ）〜１／（ω6・ｑ）をそれぞれ乗じる。
【０１６３】
ステップＳ１４０の判定を肯定した後に進むステップＳ１１５０において、露光量補正部９１，９２は、前回の演算時に求めて、メモリ６に記憶されている補正係数α’k、β’kに基づいて、ガンマ補正部３、４からそれぞれ出力された画像信号に対して、（１／α’1β’1）、（１／α’4β’4）を乗じる。分光感度補正部９３Ａ〜９８Ａは、メモリ６に記憶されている補正係数ωkに基づいて、露光量補正部９１，９２によって（１／α’1β’1）、（１／α’4β’4）が乗じられた信号に対して、１／ω1〜１／ω6をそれぞれ乗じる。
【０１６４】
すなわち、撮像画像に分光反射率が既知の被写体が写り込んでいる場合、画像信号の各バンドごとに（１／α’kβ’kωk）（ｋ＝１、２、…、６）を乗じる補正を行う（ステップＳ１１２０）。撮像画像に分光反射率が既知の被写体が写り込んでいない場合には、画像中のニュートラルグレーの領域のデータを用いて、画像信号の各バンドごとに（１／α’kβ’kωkｑ）（ｋ＝１、２、…、６）を乗じる補正を行う（ステップＳ１１４０）。また、撮像画像に分光反射率が既知の被写体が写り込んでおらず、かつ、ニュートラルグレーの領域も無い場合、補正係数α’k、β’k、ωkを前回求めた時に対して、撮影条件の変更が無ければ、前回の演算時に用いた補正係数α’k、β’k、ωkに基づいて、画像信号の各バンドごとに（１／α’kβ’kωk）（ｋ＝１、２、…、６）を乗じる補正を行う（ステップＳ１１５０）。
【０１６５】
以上、第６の実施の形態におけるマルチスペクトル画像処理装置においても、第５の実施の形態と同様に、カメラ１，２の撮影条件、例えば、撮影時のシャッター速度（露光時間）、絞り、撮影照明光等が異なる場合でも、撮影条件が等しくなるような補正を施して、適切な色変換を行うことができる。また、第１の実施の形態におけるマルチスペクトル画像処理装置によって得られる効果と同じ効果を得ることができる。
【０１６６】
−第７の実施の形態−
第７の実施の形態におけるマルチスペクトル画像処理装置では、第５の実施の形態におけるマルチスペクトル画像処理装置の構成において、画像信号を補正するために必要な領域の選択を自動的に行う。以下では、第７の実施の形態におけるマルチスペクトル画像処理装置の符号を１００Ｆとして説明する。また、分光感度補正部の符号を９３Ａ〜９８Ａとする。
【０１６７】
図１２は、第７の実施の形態におけるマルチスペクトル画像処理装置１００Ｆによって行われる処理の流れを示すフローチャートである。図５および図１１に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明を省略する。
【０１６８】
ステップＳ１２００では、画像信号に対して直接補正を行う。画像信号の補正は、メモリ６に記憶した補正係数α’k、β’k、ωkがステップＳ１１１０で算出したものであるか、ステップＳ１１３０で算出したものであるかに応じて行う。すなわち、ステップＳ１１１０で補正係数α’k、β’k、ωkを算出した場合には、図１１のステップＳ１１２０で行った補正方法を用い、ステップＳ１１３０で補正係数α’k、β’k、ωkを算出した場合には、図１１のステップＳ１１４０で行った補正方法を用いる。また、ステップＳ１４０の判定を肯定した場合には、図１１のステップＳ１１５０で行った方法を用いる。
【０１６９】
以上、第７の実施の形態におけるマルチスペクトル画像処理装置によれば、分光反射率が既知の被写体が写り込んでいる領域、または、ニュートラルグレーの領域を自動的に検出して選択するので、画像信号を補正するために必要な領域をユーザーが選択する必要がなくなり、ユーザーにとって利便性が高い。
【０１７０】
−第８の実施の形態−
第８の実施の形態におけるマルチスペクトル画像処理装置では、第５の実施の形態におけるマルチスペクトル画像処理装置の構成において、カメラ１，２間の各バンドの画素値の比を得ることができるか否かに基づいて、画像信号の補正方法を変更する。以下では、第８の実施の形態におけるマルチスペクトル画像処理装置の符号を１００Ｇとして説明する。
【０１７１】
図１３は、第８の実施の形態におけるマルチスペクトル画像処理装置１００Ｇによって行われる処理の流れを示すフローチャートである。図８および図１０に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明を省略する。
【０１７２】
ステップＳ７０に続くステップＳ８００では、カメラ１，２間の各バンドの画素値の比のデータが取得可能であるか否かを判定する。この判定は、図８に示すフローチャートのステップＳ８００の判定と同じである。カメラ間の各バンドの画素値の比のデータが取得可能であると判定するとステップＳ１０３０に進み、取得できないと判定すると、ステップＳ１０２０に進む。
【０１７３】
ステップＳ１０２０において、露光量補正部９１，９２は、ガンマ補正部３、４からそれぞれ出力された画像信号に対して、（１／α’1β’1）、（１／α’4β’4）を乗じる露光量補正を行う。スイッチ装置９９は、分光反射率推定行列算出部９０からの指令に基づいて、露光量補正部９１，９２からの信号を選択する。すなわち、反射率推定部７には、露光量補正後の信号が入力される。
【０１７４】
一方、ステップＳ１０３０において、露光量補正部９１は、ガンマ補正部３から出力された画像信号に対して、（１／α’1β’1）を乗じ、露光量補正部９２は、ガンマ補正部４から出力された画像信号に対して、（１／α’4β’4）を乗じる。分光感度補正部９３〜９５は、露光量補正部９１によって（１／α’1β’1）が乗じられた信号に対して、１／（ω1・ｑ）〜１／（ω3・ｑ）をそれぞれ乗じ、分光感度補正部９６〜９８は、露光量補正部９２によって（１／α’4β’4）が乗じられた信号に対して、１／（ω4・ｑ）〜１／（ω6・ｑ）をそれぞれ乗じる。
【０１７５】
スイッチ装置９９は、分光反射率推定行列算出部９０からの指令に基づいて、分光感度補正部９３〜９８からの信号を選択する。すなわち、反射率推定部７には、露光量情報の比および少なくとも１つのバンドにおける画素値の比に基づいて補正が行われた画像信号が入力される。
【０１７６】
第８の実施の形態におけるマルチスペクトル画像処理装置によれば、画像信号に対して直接補正を行う構成において、第４の実施の形態におけるマルチスペクトル画像処理装置と同様の効果を得ることができる。すなわち、カメラ間の各バンドの画素値の比のデータが取得可能な場合には、分光感度特性情報の補正を精度良く行い、取得できない場合には、簡易な方法による補正を行うことができる。
【０１７７】
−第９の実施の形態−
第９の実施の形態におけるマルチスペクトル画像処理装置では、第５の実施の形態におけるマルチスペクトル画像処理装置の構成において、フレア補正も行う。以下では、第９の実施の形態におけるマルチスペクトル画像処理装置の符号を１００Ｈとして説明する。
【０１７８】
図１４は、第９の実施の形態におけるマルチスペクトル画像処理装置１００Ｈの構成を示す図である。第９の実施の形態におけるマルチスペクトル画像処理装置は、図９に示す第５の実施の形態におけるマルチスペクトル画像処理装置の構成に加えて、フレア補正部６０を備えている。
【０１７９】
図１５は、第９の実施の形態におけるマルチスペクトル画像処理装置１００Ｈによって行われる処理の流れを示すフローチャートである。ただし、図１５に示すフローチャートでは、紙面のスペース上の理由により、ステップＳ６０より前の処理、すなわち、ステップＳ１０〜ステップＳ５０を省略している。図７に示すフローチャートの処理と同一の処理を行うステップについては、同一の符号を付して詳しい説明を省略する。
【０１８０】
ステップＳ１３００では、ステップＳ１０で読み込んだ画像データから、黒色の領域を抽出できたか否かを判定する。ここでは、フレア補正に使用するために、画像データから、黒色の領域を抽出する処理を行う。上述したように、黒色の領域は、例えば、光が届かない筒の内部を被写体とする領域である。画像データに黒色の領域が存在して、抽出できたと判定すると、ステップＳ３２０に進み、黒色の領域が存在せず、抽出できなかったと判定すると、フレア補正を行わずに、ステップＳ１３１０に進む。
【０１８１】
ステップＳ３２０において、フレア補正部６０は、フレア量Ｃｆkを算出する。ステップＳ３３０において、フレア補正部６０は、ガンマ補正部３、４から出力される信号に対して、フレア補正を行う。このフレア補正処理は、図７に示すフローチャートのステップＳ３３０で行うフレア補正処理と同じである。フレア補正実行時のバンドゲイン補正係数ｗkは、ステップＳ１１０またはＳ１３０の処理を行った場合には、ステップＳ１５０でメモリ６に記憶したものを用いる。また、ステップＳ１４０の判定を肯定した場合には、前回の処理時にメモリ６に記憶したものを用いる。
【０１８２】
ステップＳ１３１０では、画像信号に対して直接補正を行う。ここでは、ステップＳ３３０でフレア補正が行われた場合には、フレア補正後の信号に対して補正処理を行い、フレア補正を行っていない場合には、ガンマ補正部３、４からそれぞれ出力された画像信号に対して補正処理を行う。画像信号の補正は、ステップＳ１５０でメモリ６に記憶したバンドゲイン補正係数がステップＳ１１０で算出したものであるか、ステップＳ１３０で算出したものであるかに応じて行う。すなわち、ステップＳ１１０でバンドゲイン補正係数を算出した場合には、図１１のステップＳ１１２０で行った方法を用い、ステップＳ１３０でバンドゲイン補正係数を算出した場合には、図１１のステップＳ１１４０で行った方法を用いる。
【０１８３】
第９の実施の形態におけるマルチスペクトル画像処理装置によれば、画像信号に対して直接補正を行う構成においても、画像信号強度の補正に加えて、第３の実施の形態と同様に、フレア補正も正確に行うことができる。
【０１８４】
本発明は、上述した第１〜第９の実施の形態に限定されることはなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、上述した各実施の形態では、マルチスペクトル画像処理装置に画像を入力する手段として、カメラ１，２を例に挙げたが、ビデオカメラやスキャナを用いることもできる。
【０１８５】
第１の実施の形態におけるマルチスペクトル画像処理装置１００によって行われる処理の流れを図３のフローチャートにて示したが、カメラ１，２の分光感度特性ｈk（λ）を、カメラ１、２によりそれぞれ撮像された画像データに含まれる露光量情報の比に基づいて補正する処理を行うだけであれば、ステップＳ１０〜ステップＳ７０の処理だけでもよい。
【０１８６】
図３に示すフローチャートのステップＳ１３０では、式（２１）に基づいて、カメラ１，２間の信号値の比を得ているが、別の方法によって求めるようにしてもよい。例えば、カメラ１，２ごとに画面全体の輝度信号、または、所定の大きさで所定の位置の輝度信号の平均値を求め、求めた平均値の比から、カメラ１，２間の信号値の比を求めてもよい。所定の大きさの輝度信号の平均値の比を求める場合には、カメラのレンズの収差・周辺減光を考慮して、画面の周辺領域（例えば、画面全体に対して周辺３０％の領域）を省いた領域を用いると、カメラ間の信号値の比を精度良く求めることができる。
【０１８７】
なお、上述した各実施の形態の説明では、マルチスペクトル画像処理装置は、ＣＰＵおよびメモリを備えたコンピュータであって、ＣＰＵが各種演算処理を実行することにより、各部の機能を実行するものとして説明したが、各部をハードウェアにより構成するようにしてもよい。また、各実施の形態で説明した処理の全て或いは一部を実現させるためのプログラムをコンピュータ読み取り可能な記憶媒体に記憶させておいて利用することもできる。すなわち、コンピュータは、記憶媒体に記憶されているプログラムを読み出して、情報の加工・演算処理を実行することにより、上述したマルチスペクトル画像処理装置と同様の処理を実現することができる。
【０１８８】
ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、上述したプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータがプログラムを実行するようにしても良い。
【図面の簡単な説明】
【０１８９】
【図１】第１の実施の形態におけるマルチスペクトル画像処理装置の構成を示す図である。
【図２】カメラの分光感度特性を、バンドゲイン補正係数ｗkを用いて補正する方法を説明するための図である。
【図３】第１の実施の形態におけるマルチスペクトル画像処理装置によって行われる処理の流れを示すフローチャートである。
【図４】マルチスペクトル画像処理装置による処理が行われている際に、モニタに表示される画面の一例を示す図である。
【図５】第２の実施の形態におけるマルチスペクトル画像処理装置によって行われる処理の流れを示すフローチャートである。
【図６】第３の実施の形態におけるマルチスペクトル画像処理装置の構成を示す図である。
【図７】第３の実施の形態におけるマルチスペクトル画像処理装置によって行われる処理の流れを示すフローチャートである。
【図８】第４の実施の形態におけるマルチスペクトル画像処理装置によって行われる処理の流れを示すフローチャートである。
【図９】第５の実施の形態におけるマルチスペクトル画像処理装置の構成を示す図である。
【図１０】第５の実施の形態におけるマルチスペクトル画像処理装置によって行われる処理の流れを示すフローチャートである。
【図１１】第６の実施の形態におけるマルチスペクトル画像処理装置によって行われる処理の流れを示すフローチャートである。
【図１２】第７の実施の形態におけるマルチスペクトル画像処理装置によって行われる処理の流れを示すフローチャートである。
【図１３】第８の実施の形態におけるマルチスペクトル画像処理装置によって行われる処理の流れを示すフローチャートである。
【図１４】第９の実施の形態におけるマルチスペクトル画像処理装置の構成を示す図である。
【図１５】第９の実施の形態におけるマルチスペクトル画像処理装置によって行われる処理の流れを示すフローチャートである。
【符号の説明】
【０１９０】
１，２…カメラ
３，４…ガンマ補正部
５…分光感度補正部
６…メモリ
７…反射率推定部
８…表示色変換部
９…モニタ
６０…フレア補正部
９０…分光反射率推定行列算出部
９１，９２…露光量補正部
９３〜９８…分光感度補正部
９９…スイッチ装置
【図１】
2010130157.tif 000030
【図３】
2010130157.tif 000031
【図５】
2010130157.tif 000032
【図６】
2010130157.tif 000033
【図７】
2010130157.tif 000034
【図８】
2010130157.tif 000035
【図９】
2010130157.tif 000036
【図１０】
2010130157.tif 000037
【図１１】
2010130157.tif 000038
【図１２】
2010130157.tif 000039
【図１３】
2010130157.tif 000040
【図１４】
2010130157.tif 000041
【図１５】
2010130157.tif 000042
【図２】
2010130157.tif 000043
【図４】
2010130157.tif 000044