(57)【特許請求の範囲】
【請求項１】
波長可変フィルタを用いて、撮影波長領域を複数チャンネルに分割し、各チャンネルに対応して同一の被写体を撮影手段により撮影した複数の原画像から成るマルチバンド画像を得、このマルチバンド画像から前記被写体の分光反射率のスペクトルを推定する方法であって、
前記波長可変フィルタは、チャンネル数が１０チャンネル以上であって、全チャンネルの分光透過率分布の平均波長半値幅が４０ｎｍ以下である波長可変フィルタであり、
前記チャンネル毎に、分光反射率が既知のチャートを撮影して得られる画像データ値を前記分光反射率と対応させた変換テーブルを予め作成し、
マルチバンド画像の各チャンネルの原画像の画像データ値から前記変換テーブルを用いて、分光反射率に変換することによって、被写体の分光反射率のスペクトルを推定し、
さらに、推定された前記被写体の分光反射率のスペクトル分布に対して、前記チャンネルの波長領域での前記波長可変フィルタの分光透過率分布と、前記撮影手段の分光感度分布と、撮影時の撮影照明光の分光強度分布との積によって定まる１つの装置関数を用いて、フーリエ変換によるデコンボリューション処理を行って被写体の分光反射率のスペクトルを較正し、
前記波長可変フィルタにおける１チャンネルの分光透過率分布を基準分布とし、この基準分布における半値幅を基準半値幅としたとき、前記基準半値幅に対して前記波長可変フィルタが広い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に前記被写体の分光反射率のスペクトルの波長を圧縮し、前記基準分布の形状を用いた装置関数と前記圧縮したスペクトルとを用いて前記デコンボリューション処理を行い、一方、前記基準半値幅に対して前記波長可変フィルタが狭い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に、前記被写体の分光反射率のスペクトルの波長を伸張し、前記基準分布の形状を用いた装置関数と前記伸張したスペクトルとを用いて前記デコンボリューション処理を行い、さらに、前記デコンボリューション処理を行った後に、前記波長の圧縮または伸張に対応して、デコンボリューション処理によって得られた被写体の分光反射率のスペクトルの波長を伸張または圧縮する逆変換を施すことを特徴とするマルチバンド画像の分光反射率のスペクトル推定方法。
【請求項２】
前記波長可変フィルタは、液晶チューナブルフィルタである請求項１に記載のマルチバンド画像の分光反射率のスペクトル推定方法。
【請求項３】
前記デコンボリューション処理は、推定した前記分光反射率のスペクトルにフーリエ変換を行って算出された関数を、前記装置関数にフーリエ変換を行って算出された関数で割り、その結果に対して逆フーリエ変換を行う処理である請求項１または２に記載のマルチバンド画像の分光反射率のスペクトル推定方法。
【請求項４】
前記装置関数は、前記チャンネルによって撮影される波長領域の中心波長から上下５０ｎｍの範囲内で値を有する装置関数が用いられる請求項１〜３のいずれかに記載のマルチバンド画像の分光反射率のスペクトル推定方法。
【請求項５】
前記デコンボリューション処理を行う際に、波長可変フィルタの温度依存性を補償するフィルタ温度補正を分光反射率に対して行う請求項１〜４のいずれかに記載のマルチバンド画像の分光反射率のスペクトル推定方法。
【請求項６】
前記フィルタ温度補正は、分光反射率分布が既知で、カラーチャートを撮影し、これを用いてカラーチャートの分光反射率分布を求め、
この求めた分光反射率分布の波形と既知の前記分光反射率の波形とが一致する波長のシフト量を求め、
この求めたシフト量に応じて、前記装置関数のピーク波長および半値幅の補正を行う請求項５に記載のマルチバンド画像の分光反射率のスペクトル推定方法。
【請求項７】
前記波長可変フィルタは、液晶部を備える液晶チューナブルフィルタであり、
前記フィルタ温度補正は、前記液晶チューナブルフィルタの前記液晶部に接する温度計から得られる前記液晶部の温度とこの液晶チューナブルフィルタの分光透過率分布との関係を予め特性データとして記憶し、
マルチバンド画像の撮影の際の前記液晶部の温度から、液晶チューナブルフィルタの分光透過率分布の波長のシフト量を求め、
このシフト量に応じて、前記装置関数を補正する請求項５に記載のマルチバンド画像の分光反射率のスペクトル推定方法。
【請求項８】
波長可変フィルタを用いて、撮影波長領域を複数チャンネルに分割し、各チャンネルに対応して同一の被写体を撮影手段により撮影した複数の原画像から成るマルチバンド画像を得、このマルチバンド画像から前記被写体の分光反射率のスペクトルを推定する方法であって、
前記波長可変フィルタは、チャンネル数が１０チャンネル以上であって、全チャンネルの分光透過率分布の平均波長半値幅が４０ｎｍ以下である波長可変フィルタであり、
前記チャンネル毎に、分光反射率が既知のチャートを撮影して得られる画像データ値を前記分光反射率と対応させた変換テーブルを予め作成し、
マルチバンド画像の各チャンネルの原画像の画像データ値から前記変換テーブルを用いて、分光反射率に変換することによって、被写体の分光反射率のスペクトルを推定し、
さらに、推定された前記被写体の分光反射率のスペクトル分布に対して、前記チャンネルの波長領域での前記波長可変フィルタの分光透過率分布と、前記撮影手段の分光感度分布と、撮影時の撮影照明光の分光強度分布との積によって定まる１つの装置関数を用いて、デコンボリューション処理を行って被写体の分光反射率のスペクトルを較正し、
前記波長可変フィルタにおける１チャンネルの分光透過率分布を基準分布とし、この基準分布における半値幅を基準半値幅としたとき、前記基準半値幅に対して前記波長可変フィルタが広い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に前記被写体の分光反射率のスペクトルの波長を圧縮し、前記基準分布の形状を用いた装置関数と前記圧縮したスペクトルとを用いて前記デコンボリューション処理を行い、一方、前記基準半値幅に対して前記波長可変フィルタが狭い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に、前記被写体の分光反射率のスペクトルの波長を伸張し、前記基準分布の形状を用いた装置関数と前記伸張したスペクトルとを用いて前記デコンボリューション処理を行い、さらに、前記デコンボリューション処理を行った後に、前記波長の圧縮または伸張に対応して、デコンボリューション処理によって得られた被写体の分光反射率のスペクトルの波長を伸張または圧縮する逆変換を施すことを特徴とするマルチバンド画像の分光反射率のスペクトル推定方法。
【請求項９】
前記デコンボリューション処理を行う前に、
前記被写体の分光反射率のスペクトルに対して、各チャンネルの中心波長間を非線形な内挿補間によって分光反射率のスペクトルのデータ数を増やし、
この増加した分光反射率のスペクトルを用いて、前記デコンボリューション処理を行う請求項１〜８のいずれかに記載のマルチバンド画像の分光反射率のスペクトル推定方法。
【請求項１０】
データ数の増加した前記分光反射率のスペクトルは、波長間隔が１０ｎｍ以下である請求項９に記載のマルチバンド画像の分光反射率のスペクトル推定方法。
【請求項１１】
被写体を撮影する撮影手段と、
前記撮影手段で被写体を撮影する際に、撮影波長領域を複数チャンネルに分割し、このチャンネルに対応した波長領域で被写体の反射光を透過する波長可変フィルタと、
前記チャンネル毎に、分光反射率が既知のチャートを撮影して得られる画像データ値を前記分光反射率と対応させた変換テーブルを予め作成し、前記撮影手段および前記波長可変フィルタを用いて撮影されたマルチバンド画像の各チャンネルの原画像の画像データ値から前記変換テーブルを用いて、分光反射率に変換することによって、被写体の分光反射率のスペクトルを推定する分光反射率スペクトル推定装置と、を備え、
前記分光反射率スペクトル推定装置は、さらに、推定された前記被写体の分光反射率のスペクトル分布に対して、前記チャンネルの波長領域での前記波長可変フィルタの分光透過率分布と、前記撮影手段の分光感度分布と、撮影時の撮影照明光の分光強度分布との積によって定まる１つの装置関数を用いて、デコンボリューション処理を行って被写体の分光反射率のスペクトルを較正し、前記被写体の分光反射率のスペクトルを較正する際、前記波長可変フィルタにおける１チャンネルの分光透過率分布を基準分布とし、この基準分布における半値幅を基準半値幅としたとき、前記基準半値幅に対して広い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に前記被写体の分光反射率のスペクトルの波長を圧縮し、前記基準分布の形状を用いた装置関数と前記圧縮したスペクトルとを用いて前記デコンボリューション処理を行い、一方、前記基準半値幅に対して狭い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に、前記被写体の分光反射率のスペクトルの波長を伸張し、前記基準分布の形状を用いた装置関数と前記伸張したスペクトルとを用いて前記デコンボリューション処理を行い、さらに、前記デコンボリューション処理を行った後に、前記波長の圧縮または伸張に対応して、デコンボリューション処理によって得られた被写体の分光反射率のスペクトルの波長を伸張または圧縮する逆変換を施すことを特徴とするマルチバンド画像のスペクトル推定システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、波長可変フィルタを用いて、波長領域が異なる複数のチャンネルで撮影されたマルチバンド画像より、撮影被写体の分光反射率のスペクトルを推定するマルチバンド画像の分光反射率のスペクトル推定方法およびこれを用いたスペクトル推定システムに関する。
【０００２】
【従来の技術】
今日、デジタル画像処理の進歩によって、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色を用いた３画像によって形成されるカラー画像の他に、波長領域が異なる少なくとも４チャンネル以上で同一の被写体を撮影したマルチバンド画像が利用されている。
たとえば、絵画等の美術工芸品の分野では、色の忠実な再現を行なうために、上記マルチバンド画像を用いて整理保存等を行なっている。また、色再現の良好な画像を得ることのできるフィルムやデジタルカメラの撮像素子の開発の際、被写体の分光反射率と分光感度とを掛け合わせて画像データを精度良く得るために、マルチバンド画像を利用して分光反射率のスペクトルを推定している。特に、被写体の分光反射率を用いてフィルムの分光感度やデジタルカメラの撮像素子の分光感度の設計を行なうため、被写体の分光反射率を精度良く推定することが重要である。
【０００３】
このようなマルチバンド画像から撮影被写体の分光反射率を推定するには、一般にマルチバンド画像のスペクトルを推定するマルチバンド画像のスペクトル推定システムが用いられる。
このマルチバンド画像のスペクトル推定システムは、一般に被写体を撮影する際に、波長領域が異なる少なくとも４チャンネル以上の各チャンネルに対応して被写体の反射光を透過する波長可変フィルタと、この透過した透過光を受光して、各チャンネル毎に原画像をデジタル画像として取得するＣＣＤカメラと、このＣＣＤカメラで取得した原画像から被写体の分光反射率のスペクトルを推定する処理アルゴリズムを備えたソフトウェアとこのソフトウェアを実行するコンピュータとから成る分光反射率のスペクトル推定装置とから構成される。
【０００４】
ここで、上記分光反射率のスペクトル推定装置は、一般に以下の方法で分光反射率のスペクトル推定を行っている。
すなわち、原画像のＣＣＤカメラで受光して得られる測定値である出力信号値Ｖi （ｉ＝１〜ｎ、ｎはチャンネル数）、すなわち、マルチバンド画像の各チャンネルの画像データ値であるＱＬ値が、撮影時の既知の照明光の分光強度分布Ｅ（λ）と、既知のＣＣＤカメラの分光感度分布Ｓ（λ）と、波長可変フィルタの既知の分光透過率分布ｆi （λ）と、光学系の既知の分光透過率分布Ｌ（λ）によって、式（１）のように表されるので、式（１）の積分を分解して式（２）で示される行列から、被写体固有の分光反射率のスペクトル分布Ｏ（λj ）（ｊ＝１〜ｍ、ｍは被写体分光反射率の測定点数）を求めている。
チャンネル数ｎが被写体分光反射率の測定点数ｍに等しい場合、式（２）の行列Ｆが正方行列となって行列Ｆの逆行列を解析的に求めることができるが、一般にチャンネル数ｎは被写体分光反射率の測定点数ｍに比べて小さいため、公知のWiener推定方法によって（最小自乗法によって）、行列Ｆの疑似逆行列に相当する推定行列Ｇを用いて式（３）のように推定する。
ここで、Ｅk Ｌk Ｓk ・ｆl は、Ｅ（λk ）・Ｌ（λk ）・Ｓ（λk ）・ｆl （λk ）・Δλであり、Ｏk は、Ｏ（λk ）である。
【数１】
0003819187.tif 000002
【数２】
0003819187.tif 000003
【数３】
0003819187.tif 000004
【０００５】
また、分光反射率のスペクトル推定装置では、上記推定方法の他に、撮影被写体固有のスペクトル波形からなる固有ベクトルを予め求めておき、この固有ベクトルを用いて、分光反射率のスペクトル分布を推定するといった主成分分析法も用いられている。
【０００６】
【発明が解決しようとする課題】
しかし、前者の推定方法では、チャンネル数ｎが被写体分光反射率の測定点数ｍに等しい場合、上述したように分光反射率のスペクトル分布を解析的に求めることができるが、より精度の高い分光反射率のスペクトル推定を行うには、被写体分光反射率の測定点数ｍおよびチャンネル数ｎを増やして、行列のサイズを大きくしなければならず、そのため、式（２）の行列Ｆの逆行列を求めるのに時間がかかり、Ｏ（λk ）を比較的短時間に得ることができない。また、Wiener推定方法でも、行列Ｆの疑似逆行列に相当する推定行列Ｇがｍ×ｎ行列となって行列のサイズが大きくなり、推定行列Ｇを計算するのに時間がかかる。その結果、被写体の分光反射率のスペクトルを推定するのに多大な時間を要する不都合が生じる。
また、後者の主成分分析による推定方法では、撮影被写体がわかっていれば、固有ベクトルを用いて精度良く分光反射率のスペクトル分布を推定することができるものの、撮影被写体が固定されず、固有ベクトルがわからない場合、推定される分光反射率のスペクトル分布の精度は悪くなるといった問題もあった。
【０００７】
また、本来、分光反射率のスペクトルは、滑らかな曲線によって表されるものであり、上記方法で得られたスペクトルは、チャンネル毎の波長領域の分光反射率によって表されるため、波長の数を増やす補間を行い滑らかな曲線に近づけるのが望ましいが、線型な補間を行うため滑らかなスペクトルを得ることができなかった。
さらに、波長可変フィルタとして用いられる液晶チューナブルフィルタの分光透過率は、ピーク波長及び半値幅が液晶の温度によって変化する温度依存性を有するため、撮影時の温度変化を考慮せず分光反射率のスペクトルを推定する従来の分光反射率のスペクトル推定方法では、不正確な分光反射率のスペクトルしか得られなかった。
【０００８】
このように、分光反射率のスペクトルを推定する際、行列サイズの大きな逆行列を求めるためこの処理に計算時間がかかり、さらにその処理方法も煩雑であった。また、被写体分光反射率の測定点数ｍがチャンネル数ｎに比べて多い場合に用いられる最小自乗法によるWiener推定方法は、撮影されたマルチバンド画像を構成する原画像内に含まれるノイズ成分を最小自乗法によって抑制するために用いるのではなく、推定する分光反射率のスペクトルの推定点数を増やすためにのみ用いられ、しかも、疑似逆行列を求める際の行列サイズが大きくなり、多大な処理時間を必要とした。
また、主成分分析による方法では、上述したように予め揃えた固有スペクトルによって表されない撮影被写体の場合、スペクトルの推定精度が悪かった。
さらに、滑らかな曲線である分光反射率のスペクトルに合わせて推定されたスペクトルの波長の数を直線補間によって増やすと、本来の曲線と異なり凹凸のあるスペクトル分布しか得られなかった。
さらに、波長可変フィルタとして液晶チューナブルフィルタを用いた場合、液晶チューナブルフィルタの分光透過率のピーク波長および半値幅に温度依存性があるため、推定された分光反射率のスペクトルは不正確であった。
【０００９】
そこで、本発明は、上記問題点を解決すべく、波長可変フィルタを用いてマルチバンド画像を撮影し、これを用いて撮影被写体の分光反射率のスペクトルを推定する際に、実効的にスペクトルの推定精度を落すことなく、推定スペクトルを求める処理時間を短縮するマルチバンド画像の分光反射率のスペクトル推定方法およびスペクトル推定システムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明は、波長可変フィルタを用いて、撮影波長領域を複数チャンネルに分割し、各チャンネルに対応して同一の被写体を撮影手段により撮影した複数の原画像から成るマルチバンド画像を得、このマルチバンド画像から前記被写体の分光反射率のスペクトルを推定する方法であって、前記波長可変フィルタは、チャンネル数が１０チャンネル以上であって、全チャンネルの分光透過率分布の平均波長半値幅が４０ｎｍ以下である波長可変フィルタであり、前記チャンネル毎に、分光反射率が既知のチャートを撮影して得られる画像データ値を前記分光反射率と対応させた変換テーブルを予め作成し、マルチバンド画像の各チャンネルの原画像の画像データ値から前記変換テーブルを用いて、分光反射率に変換することによって、被写体の分光反射率のスペクトルを推定し、さらに、推定された前記被写体の分光反射率のスペクトル分布に対して、前記チャンネルの波長領域での前記波長可変フィルタの分光透過率分布と、前記撮影手段の分光感度分布と、撮影時の撮影照明光の分光強度分布との積によって定まる１つの装置関数を用いて、フーリエ変換によるデコンボリューション処理を行って被写体の分光反射率のスペクトルを較正し、前記波長可変フィルタにおける１チャンネルの分光透過率分布を基準分布とし、この基準分布における半値幅を基準半値幅としたとき、前記基準半値幅に対して前記波長可変フィルタが広い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に前記被写体の分光反射率のスペクトルの波長を圧縮し、前記基準分布の形状を用いた装置関数と前記圧縮したスペクトルとを用いて前記デコンボリューション処理を行い、一方、前記基準半値幅に対して前記波長可変フィルタが狭い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に、前記被写体の分光反射率のスペクトルの波長を伸張し、前記基準分布の形状を用いた装置関数と前記伸張したスペクトルとを用いて前記デコンボリューション処理を行い、さらに、前記デコンボリューション処理を行った後に、前記波長の圧縮または伸張に対応して、デコンボリューション処理によって得られた被写体の分光反射率のスペクトルの波長を伸張または圧縮する逆変換を施すことを特徴とするマルチバンド画像の分光反射率のスペクトル推定方法を提供する。ここで、波長可変フィルタとは、１素子で電気的に分光透過率を瞬時に変化させるフィルタを指す。
【００１１】
その際、前記波長可変フィルタは、液晶チューナブルフィルタであるのが好ましく、また、前記デコンボリューション処理は、推定した前記分光反射率のスペクトルにフーリエ変換を行って算出された関数を、前記装置関数にフーリエ変換を行って算出された関数で割り、その結果に対して逆フーリエ変換を行う処理であるのが好ましい。ここで、液晶チューナブルフィルタとは、複屈折結晶素子と液晶素子を偏向板によって挟んだ構造を複数段持ち、液晶の複屈折率効果を利用して、機械的な稼働部を用いず、電気的に透過率の中心波長が任意に選択できる液晶フィルタ（Lyot型）である。フーリエ変換を用いる場合、ＦＦＴを利用するのが好ましい。また、前記装置関数は、前記チャンネルによって撮影される波長領域の中心波長から上下５０ｎｍの範囲内で値を有する装置関数が選択されるのが好ましい。
【００１２】
また、前記デコンボリューション処理を行う際に、波長可変フィルタの温度依存性を補償するフィルタ温度補正を分光反射率に対して行うのが好ましい。また、前記フィルタ温度補正は、分光反射率分布が既知で、カラーチャートを撮影し、これを用いてカラーチャートの分光反射率分布を求め、この求めた分光反射率分布の波形と既知の前記分光反射率の波形とが一致する波長のシフト量を求め、この求めたシフト量に応じて、前記装置関数のピーク波長および半値幅の補正を行うのが好ましい。
また、前記波長可変フィルタは、液晶部を備える液晶チューナブルフィルタであり、前記フィルタ温度補正は、前記液晶チューナブルフィルタの前記液晶部に接する温度計から得られる前記液晶部の温度とこの液晶チューナブルフィルタの分光透過率分布との関係を予め特性データとして記憶し、マルチバンド画像の撮影の際の前記液晶部の温度から、液晶チューナブルフィルタの分光透過率分布の波長のシフト量を求め、このシフト量に応じて、前記装置関数を補正するものであってもよい。
【００１３】
さらに、本発明は、波長可変フィルタを用いて、撮影波長領域を複数チャンネルに分割し、各チャンネルに対応して同一の被写体を撮影手段により撮影した複数の原画像から成るマルチバンド画像を得、このマルチバンド画像から前記被写体の分光反射率のスペクトルを推定する方法であって、前記波長可変フィルタは、チャンネル数が１０チャンネル以上であって、全チャンネルの分光透過率分布の平均波長半値幅が４０ｎｍ以下である波長可変フィルタであり、前記チャンネル毎に、分光反射率が既知のチャートを撮影して得られる画像データ値を前記分光反射率と対応させた変換テーブルを予め作成し、
マルチバンド画像の各チャンネルの原画像の画像データ値から前記変換テーブルを用いて、分光反射率に変換することによって、被写体の分光反射率のスペクトルを推定し、さらに、推定された前記被写体の分光反射率のスペクトル分布に対して、前記チャンネルの波長領域での前記波長可変フィルタの分光透過率分布と、前記撮影手段の分光感度分布と、撮影時の撮影照明光の分光強度分布との積によって定まる１つの装置関数を用いて、デコンボリューション処理を行って被写体の分光反射率のスペクトルを較正し、前記波長可変フィルタにおける１チャンネルの分光透過率分布を基準分布とし、この基準分布における半値幅を基準半値幅としたとき、前記基準半値幅に対して前記波長可変フィルタが広い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に前記被写体の分光反射率のスペクトルの波長を圧縮し、前記基準分布の形状を用いた装置関数と前記圧縮したスペクトルとを用いて前記デコンボリューション処理を行い、一方、前記基準半値幅に対して前記波長可変フィルタが狭い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に、前記被写体の分光反射率のスペクトルの波長を伸張し、前記基準分布の形状を用いた装置関数と前記伸張したスペクトルとを用いて前記デコンボリューション処理を行い、さらに、前記デコンボリューション処理を行った後に、前記波長の圧縮または伸張に対応して、デコンボリューション処理によって得られた被写体の分光反射率のスペクトルの波長を伸張または圧縮する逆変換を施すことを特徴とするマルチバンド画像の分光反射率のスペクトル推定方法を提供する。
前記デコンボリューション処理を行う前に、前記被写体の分光反射率のスペクトルに対して、各チャンネルの中心波長間を非線形な内挿補間によって分光反射率のスペクトルのデータ数を増やし、  この増加した分光反射率のスペクトルを用いて、前記デコンボリューション処理を行うのが好ましい。なお、データ数の増加した前記分光反射率のスペクトルは、波長間隔が１０ｎｍ以下であるのが好ましい。
【００１５】
また、本発明は、被写体を撮影する撮影手段と、前記撮影手段で被写体を撮影する際に、撮影波長領域を複数チャンネルに分割し、このチャンネルに対応した波長領域で被写体の反射光を透過する波長可変フィルタと、前記チャンネル毎に、分光反射率が既知のチャートを撮影して得られる画像データ値を前記分光反射率と対応させた変換テーブルを予め作成し、前記撮影手段および前記波長可変フィルタを用いて撮影されたマルチバンド画像の各チャンネルの原画像の画像データ値から前記変換テーブルを用いて、分光反射率に変換することによって、被写体の分光反射率のスペクトルを推定する分光反射率スペクトル推定装置と、を備え、前記分光反射率スペクトル推定装置は、さらに、推定された前記被写体の分光反射率のスペクトル分布に対して、前記チャンネルの波長領域での前記波長可変フィルタの分光透過率分布と、前記撮影手段の分光感度分布と、撮影時の撮影照明光の分光強度分布との積によって定まる１つの装置関数を用いて、デコンボリューション処理を行って被写体の分光反射率のスペクトルを較正し、前記被写体の分光反射率のスペクトルを較正する際、前記波長可変フィルタにおける１チャンネルの分光透過率分布を基準分布とし、この基準分布における半値幅を基準半値幅としたとき、前記基準半値幅に対して広い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に前記被写体の分光反射率のスペクトルの波長を圧縮し、前記基準分布の形状を用いた装置関数と前記圧縮したスペクトルとを用いて前記デコンボリューション処理を行い、一方、前記基準半値幅に対して狭い半値幅の分光透過率分布を持つチャンネルには、前記デコンボリューション処理を行う前に、前記被写体の分光反射率のスペクトルの波長を伸張し、前記基準分布の形状を用いた装置関数と前記伸張したスペクトルとを用いて前記デコンボリューション処理を行い、さらに、前記デコンボリューション処理を行った後に、前記波長の圧縮または伸張に対応して、デコンボリューション処理によって得られた被写体の分光反射率のスペクトルの波長を伸張または圧縮する逆変換を施すことを特徴とするマルチバンド画像のスペクトル推定システムを提供するものである。
【００１６】
【発明の実施の形態】
以下、本発明のマルチバンド画像の分光反射率のスペクトル推定方法およびスペクトル推定システムについて、添付の図面に示される好適実施例を基に詳細に説明する。
【００１７】
図１は、本発明のマルチバンド画像の分光反射率のスペクトル推定方法を実施し、また本発明のマルチバンド画像の分光反射率のスペクトル推定システムの一例でもあるマルチバンド画像分光反射率のスペクトル推定システム（以降、本システムという）１０を示す。
本システム１０は、同一被写体を、波長領域が異なる少なくとも１０チャンネル以上で撮影する撮影手段としてのＣＣＤカメラ１２と、ＣＣＤカメラ１２で被写体を撮影する際に、チャンネルに対応する波長領域で被写体反射光を透過する波長可変フィルタとしての液晶チューナブルフィルタ１４と、撮影被写体の分光反射率のスペクトルを推定する分光反射率スペクトル推定装置１６とを有して構成される。
【００１８】
ＣＣＤカメラ１２は、複数のチャンネル、例えば１６チャンネルの各チャンネル毎に特定波長領域で光を透過するように、分光透過率分布が制御された後述する液晶チューナブルフィルタ１４を介して得られる透過光を、エリア状に配列したＣＣＤ素子の受光面で結像させ、波長領域の異なる各チャンネルごとに撮影被写体を撮影した原画像を得る撮影手段である。すなわち、チャンネル数が１６チャンネルであれば、１６枚の原画像が得られる。
ＣＣＤカメラ１２の画素数や画素サイズは制限されず、公知のサイズ、例えば１０２４×１０２４ピクセルであり、公知の画素サイズ、例えば１２×１２μｍであってもよい。
【００１９】
液晶チューナブルフィルタ１４は、複数のチャンネル毎に特定波長領域で撮影被写体からの反射光を透過することができるように、制御電圧を制御することによって所望のバンドパスフィルタとしての特性を得る波長可変フィルタであり、チャンネル数が１０以上であって、全チャンネルの分光透過率分布の平均波長半値幅が４０ｎｍ以下のものである。チャンネル数としては、上限８０程度、半値幅の下限は５ｎｍ程度が好ましい。半値幅としては、更に１５〜３５ｎｍであることが好ましい。
液晶チューナブルフィルタ１４は、オペレータの設定したチャンネル数および各チャンネルに対応した波長領域に対応して、例えば、図２に示すようなピーク値を持つバンドパスフィルタを得ることができる。図２では、４１０〜７１０ｎｍの撮影波長領域を１６のチャンネルで分割した例を示している。このように、液晶チューナブルフィルタ１４によって各チャンネル毎に設けられたバンドパスフィルタを透過した被写体の反射光は特定波長の透過光として、ＣＣＤカメラ１２で受光され出力信号が得られる。なお、従来のマルチバンド画像を得るためのフィルタのチャンネル数は、６〜８チャンネルであるが、液晶チューナブルフィルタ１４においては、チャンネル数を１２チャンネル以上とすることができる。本実施例では、液晶チューナブルフィルタ１４を波長可変フィルタとして用いているが、１素子で電気的に分光透過率を瞬時に変化させるフィルタであればいずれであってもよく、液晶チューナブルフィルタ１４の替わりに音響光学フィルタを用いてもよい。
【００２０】
分光反射率スペクトル推定装置１６は、ＣＣＤカメラ１２で受光して得られた出力信号をＡ／Ｄ変換してデジタル画像データを得、ＤＣオフセットの補正等を行って、マルチバンド画像を構成する原画像の画像データとするデータ処理部１８と、マルチバンド画像の撮影時に同時に撮影された分光反射率が既知のマクベスチャートの画像からグレーパッチの画像データ値、すなわちＱＬ値とこの既知の分光反射率の値との関係を対応付けて作成した１次元ルックアップテーブル（以降、ルックアップテーブルをＬＵＴという）２０と、データ処理部１８で得られた原画像の画像データ値であるＱＬ値から、１次元ＬＵＴ２０を用いて分光反射率の値に変換し、分光反射率を推定する分光反射率スペクトル算出部２２と、得られた分光反射率の値のノイズ成分を除去するノイズ除去処理部２４と、後述するフィルタ温度の補正を波長のシフト量で調整する波長シフト処理部２５と、分光反射率スペクトル算出部２２で得られた分光反射率の各波長間を直線補間して、チャンネル数を増加する内挿補間処理部２６と、液晶チューナブルフィルタ１４のバンドバスフィルタとしての特性である半値幅に応じて、分光反射率スペクトル算出部２２で得られた分光反射率の波長を圧縮または伸張する圧縮・伸張処理部２８と、マルチバンド画像の撮影時に同時に撮影されたマクベスチャートの中から、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の色ように彩度が高く分光反射率が波長に対して急激に変化するパッチの分光反射率をデータとして備え、後述するフィルタ温度補正部３２で温度補正を行うために用いる温度補正用分光反射率データ部３０と、液晶チューナブルフィルタ１４の温度補正を行うフィルタ温度補正部３２と、液晶チューナブルフィルタ１４のバンドバスフィルタとしての特性である半値幅の各チャンネル間での重なりによって鈍った分光反射率のスペクトル分布のシャープネス劣化復元処理（デコンボリューション処理）を行い、較正した分光反射率のスペクトルを得るデコンボリューション処理部３４と、圧縮・伸張処理部２８で行った波長の圧縮または伸張に対応して、較正された分光反射率のスペクトルの波長を伸張または圧縮して復元する伸張・圧縮逆変換部３６とを主に備える。
【００２１】
本実施例における分光反射率スペクトル推定装置１６を構成する上記各構成部はソフトウェアの機能として、コンピュータで実行されるものであるが、ソフトウェアに限られず、構成部の一部または全部の機能が、ハードウェアで実施されるものであってもよい。
【００２２】
データ処理部１８は、ＣＣＤカメラ１２で受光して得られた出力信号をＡ／Ｄ変換してディジタル画像データを得、ＤＣオフセットの補正を行って、次いで暗時補正をかけ、この後、画像データをＬＯＧ変換し、シェーディング補正を行い、マルチバンド画像を構成する原画像の画像データのＱＬ値を得る部分である。得られた原画像のＱＬ値は、分光反射率スペクトル算出部２２に送られる。
【００２３】
１次元ＬＵＴ２０は、被写体撮影時に、ＣＣＤカメラ１２および液晶チューナブルフィルタ１４を用いて、被写体撮影時のチャンネル数および波長領域と同じマルチバンド画像としてマクベスチャートを撮影し、得られたマクベスチャートの画像のうち６段目の分光反射率が既知のグレーパッチのＱＬ値と、この既知の分光反射率とを対応させたマクベス１次元ＬＵＴを備える部分であり、分光反射率スペクトル算出部２２で分光反射率を算出する際に、１次元ＬＵＴ２０で作成されたＬＵＴが参照される。なお、本発明において用いられるチャートはマクベスチャートに限られず、分光反射率が既知であるチャートであればいずれであってもよい。
【００２４】
分光反射率スペクトル算出部２２は、データ処理部１８で得られた被写体を撮影した原画像の画像データのＱＬ値から、１次元ＬＵＴ２０を参照して分光反射率の値に変換し、分光反射率を得る部分である。
１次元ＬＵＴ２０に参照データが存在しない場合は、内挿補間あるいは外挿補外等によって分光反射率の値を求めるが、内挿補間や外挿補外の方法は特に限定されず、公知の方法、たとえば直線補間やラグランジェ補間等の公知の方法が可能である。得られた分光反射率のデータは、ノイズ除去処理部２４に送られる。
【００２５】
ノイズ除去処理部２４は、原画像に含まれるノイズ成分を除去する処理部であり、短波長側のチャンネルの原画像では、ノイズ除去の強度を強くし、長波長側のチャンネルの原画像では、ノイズ除去の強度を弱くするように構成される。このように構成するのは、液晶チューナブルフィルタ１４の分光透過率が、図２に示すように、短波長側のチャンネルでは透過率が低く、十分な光量を確保できず、ノイズを拾い易く、一方、長波長側のチャンネルでは透過率が高く、十分な光量を確保できノイズ成分を拾い難いためである。
ノイズ除去の方法として、特に制限されず、例えば、分光透過率のピーク値が０．１以下になれば、自動的にメディアンフィルタをｏｎ−ｏｆｆ的に使用する方法が挙げられる。
ノイズ除去された分光反射率のデータは、波長シフト処理部２５に送られる。
【００２６】
波長シフト処理部２５は、ノイズ除去された分光反射率のデータについて、液晶チューナブルフィルタ１４の温度に起因する温度補正を波長のシフト量によって調整する部分であり、後述するフィルタ温度補正部３２で得られたシフト量Δλを用いて波長シフト処理を行う。その後、内挿補間処理部２６に送られる。
【００２７】
内挿補間処理部２６は、最終的に推定された分光反射率のスペクトル分布が凹凸のない滑らかな曲線として得られるために、分光反射率スペクトル算出部２２で得られた分光反射率のスペクトル分布の波長間をスプライン補間やラグランジェ補間等により非線形に補間し、分光反射率のスペクトル分布のデータを、例えば１０ｎｍ以下の波長間隔に細かくする。
また、直線補間して、分光反射率のスペクトル分布のデータを細かくしてチャンネル数を増加しもよい。この場合、直線補間による凸凹の曲線であっても、後述するフーリエ変換および逆フーリエ変換によって較正された分光反射率のスペクトル分布は、滑らかな曲線となるからである。
内挿補間してデータを細かくした分光反射率のスペクトル分布は、圧縮・伸張変換部２８に送られる。
【００２８】
圧縮・伸張処理変換部２８は、分光反射率スペクトル算出部２２で得られた分光反射率のスペクトル分布の波長を、図２に示すような液晶チューナブルフィルタ１４の波長の変化と共に変化する分光透過率のスペクトル分布の半値幅に応じて、被写体の分光反射率のスペクトルの波長を圧縮または伸張する部分である。すなわち、液晶チューナブルフィルタ１４の波長と共に変化する分光透過率のスペクトル分布の半値幅の、基準となる半値幅に対する比率によって、分光反射率スペクトル算出部２２で得られた分光反射率のスペクトル分布の波長を圧縮または伸張する。基準となる半値幅とは、例えば、撮影の際の全チャンネルによって被われる波長領域の中心波長、例えば、図２の例では、１６チャンネルによって被われる４１０〜７１０の波長領域の中心波長５５０ｎｍであり、この中心波長から５０ｎｍの範囲に含まれる分光透過率のスペクトル分布、例えば図２の例では、分光透過率のスペクトル分布Ａ、の半値幅である。
このように、分光透過率の半値幅に応じて分光反射率のスペクトル分布の波長を変化させるのは、後述するデコンボリューション処理において用いる、波長によって変化する装置関数を、波長に応じて各チャンネルごとに持つ必要がなく、１つの装置関数を用いて容易にデコンボリューション処理を行うことができるからである。圧縮または伸張の倍率は、波長によって変化し、例えば図２のような、分光透過率分布を持つ場合、高波長側で半値幅が広いため圧縮率が高く、低周波側では半値幅が狭いため逆に伸張率を高く、この間の領域は、波長に応じて圧縮倍率や伸張倍率が滑らかに変化する。
【００２９】
一方、温度補正用分光反射率データ部３０は、分光反射率が既知のパッチを、液晶チューナブルフィルタ１４を用いて撮影した際の分光反射率のスペクトル分布を求める部分であり、後述するように、液晶チューナブルフィルタ１４の液晶温度の変化によって変化する分光透過率分布の波長シフト量を求めるために用いられる。
温度補正用分光反射率データ部３０は、１次元ＬＵＴ２０でマクベスグレー１次元ＬＵＴを作成する際に用いたマクベスチャートの画像を用い、マクベスチャートの画像うち分光反射率が既知のＲ、ＧおよびＢの色相のパッチの画像の分光反射率のスペクトル分布をマクベスグレー１次元ＬＵＴを用いて得る。Ｒ、ＧおよびＢの色相のパッチの分光反射率のスペクトル分布を求めるのは、彩度が高く、分光反射率のスペクトル分布が波長に対して急激に変化するため、波長のシフト量を容易に求めることができるからである。
なお、マクベスグレー１次元ＬＵＴを作成する際や温度補正用分光反射率データ部２６で使用する際に用いられるマクベスチャートの画像は、被写体撮影時に被写体と共に撮影してもよい。また、本発明において用いられるチャートの画像はマクベスチャートの画像に限られず、分光反射率が既知であり、彩度が高く、分光反射率のスペクトル分布が波長に対して急激に変化するパッチを備えるチャートの画像であればよい。
【００３０】
フィルタ温度補正部３２は、温度補正用分光反射率データ部３０で求めたＲ、ＧおよびＢの色相のパッチの分光反射率のスペクトル分布とこのパッチに対応した既知の分光反射率のスペクトル分布とを比較して、温度による波形のシフト量を得る部分である。フィルタ温度補正部３２で得られたシフト量は、後述するように、波長シフト処理部２５で行われる波長シフト処理の際に用いる波長シフト量Δλを選択する際に用いられる。
得られた温度による波形のシフト量は、波長シフト処理部２５に送られる。
【００３１】
なお、内挿補間処理部２６で処理された分光反射率のスペクトル分布は、オペレータの指示により、圧縮・伸張変換部２８で液晶チューナブルフィルタ１４の分光透過率の波長特性に応じて行う圧縮・伸張処理が施されることなく、デコンボリューション処理部３４に送られてもよい。また、図示されないが、分光反射率スペクトル算出部２２から直接デコンボリューション処理部３４へ、また、ノイズ除去処理部２４からデコンボリューション処理部３４へ、分光反射率のスペクトル分布を送ってもよい。
【００３２】
デコンボリューション処理部３４は、分光反射率スペクトル算出部２２で推定された、波形の鈍った被写体の分光反射率のスペクトル分布を、装置関数を用いて較正し、測定装置の特性によらない被写体固有の分光反射率のスペクトル分布Ｏ（λ）を得る部分である。
すなわち、液晶チューナブルフィルタ１４の分光透過率分布は、図２に示されるように、分光透過率分布の裾野の広がりによって、その近傍に位置する分光透過率分布の裾野の部分と重なり合うため、分光反射率スペクトル算出部２２で推定された被写体の分光反射率のスペクトル分布は波形が鈍ってしまう。そのため、より鮮明なスペクトル分布を得るために、液晶チューナブルフィルタ１４の分光透過率分布と、撮影するカメラの分光感度分布（光学系の分光透過率を含む分光感度分布）と、撮影時の撮影照明の分光強度分布との積によって定まる装置関数ｈ（λ）を用いて、以下の処理を行うように構成される。
【００３３】
装置関数ｈ（λ）は、液晶チューナブルフィルタ１４の分光透過率分布と、撮影するカメラの分光感度分布（光学系の分光透過率を含む分光感度分布）と、撮影時の撮影照明の分光強度分布との積によって表される。液晶チューナブルフィルタ１４の分光透過率分布は、波長によって、すなわちチャンネルによって図２のような異なる分布を持つが、図の例では、全チャンネルによって被われる波長領域４１０ｎｍ〜７１０ｎｍの中心波長５５０ｎｍから上下５０ｎｍ範囲内で値を有する分光透過率分布Ａを代表関数とし、これに撮影するカメラの分光感度分布（光学系の分光透過率を含む分光感度分布）と、撮影時の撮影照明の分光強度分布との積により規定される装置関数ｈ（λ）を設定する。
そして、この装置関数ｈ（λ）関数および分光反射率スペクトル算出部２２で推定された、波形の鈍った被写体の分光反射率のスペクトル分布Ｉ（λ）とをそれぞれフーリエ変換して、Ｆ［ｈ（λ）］およびＦ［Ｉ（λ）］（Ｆ［  ］はフーリエ変換を表す）の関数を得、これより、下記式（４）のような除算を行い、その後逆フーリエ変換を行って、液晶チューナブルフィルタ１４やＣＣＤカメラ１２の装置の特性によらない被写体固有の分光反射率のスペクトル分布Ｏ（λ）を得る。
Ｏ（λ）＝  Ｆ-1［（Ｆ［Ｉ（λ）］／Ｆ［ｈ（λ）］］］      （４）
フーリエ変換の方法は、ＦＦＴ（Fast Fourier Transformation ）の方法やフーリエ展開による方法等公知の手法による方法によって行うことができる。
【００３４】
このように、式（４）でデコンボリューション処理を行うのは、後述するように、被写体の分光反射率のスペクトル分布Ｉ（λ）が、液晶チューナブルフィルタ１４やＣＣＤカメラ１２等によるマルチバンド画像を撮影する装置の特性、例えば、液晶チューナブルフィルタ１４の分光透過率分布等によって、被写体固有の分光反射率のスペクトル分布Ｏ（λ）が鈍るからであり、この鈍った被写体の分光反射率のスペクトル分布Ｉ（λ）を、後述するように、装置の特性である装置関数ｈ（λ）を用いて装置の特性を除去して較正し、シャープネス劣化を復元した被写体固有の分光反射率のスペクトル分布Ｏ（λ）得るためである。
このフーリエ変換によるデコンボリューション処理方法は、装置関数をチャンネル毎に設けず、１つの装置関数ｈ（λ）を用いて処理を行うため、従来の式（２）による行列による方法のように波長可変フィルタの既知の分光透過率分布ｆi （λ）（ｉ＝１〜ｎ）をチャンネル毎に記憶して、チャンネル毎の装置関数を揃える必要がなく、装置関数ｈ（λ）を１つ用意するだけなので、処理が単純となり計算時間が短縮される。
【００３５】
また、本発明のマルチバンド画像の分光反射率のスペクトル推定方法で行われるデコンボリューション処理の方法は、式（４）により被写体固有の分光反射率のスペクトル分布Ｏ（λ）を得る方法のほかに、装置関数ｈ（λ）をフーリエ変換して得られる関数Ｆ［ｈ（λ）］をフーリエ面で逆数とし、これを逆フーリエ変換して得られる波形と被写体の分光反射率のスペクトル分布Ｉ（λ）との畳み込み積分を計算し（コンボリューション処理）、被写体固有の分光反射率のスペクトル分布Ｏ（λ）を求めるものであってもよい。
【００３６】
また、上記実施例は、フーリエ変換によるデコンボリューション処理方法であるが、本発明は、これに制限されず、従来のような、式（２）および式（３）による行列による計算を用いてもよく、その際、波長可変フィルタのチャンネル毎の既知の分光透過率分布ｆi （λ）（ｉ＝１〜ｎ）の中から、全チャンネルによって被われる波長領域の中心波長から上下５０ｎｍ範囲内で値を有する分光透過率分布を代表の分光透過率分布の関数とし、この関数と撮影するカメラの分光感度分布（ＣＣＤカメラの分光感度分布Ｓ（λ）と光学系の既知の分光透過率Ｌ（λ）の積）と、撮影時の撮影照明の分光強度分布Ｅ（λ）との積を求め、式（２）および式（３）によってデコンボリューション処理を行ってもよい。これによって、式（２）および式（３）の行列計算も容易に実施でき計算時間の短縮が可能となる。
【００３７】
特に、被写体の分光反射率のスペクトル分布Ｉ（λ）の測定点数ｍにチャンネル数ｎが等しくなるように、内挿補間処理部２６においてチャンネル数を増やして、被写体の分光反射率のスペクトル分布Ｉ（λ）の測定点数ｍに等しくし、式（２）の行列Ｆの逆行列を求めてもよい。これによって、式（２）の行列Ｆの逆行列を解析的にかつ短時間に求めることが可能となる。
得られた被写体固有の分光反射率のスペクトル分布は、伸張・圧縮逆変換部３６に送られる。
【００３８】
伸張・圧縮逆変換部３６は、圧縮・伸張変換部２８で施された波長の圧縮または伸張の処理を打ち消すように、逆の倍率を掛けて波長の伸張または圧縮の逆変換を行う部分である。
すなわち、圧縮・伸張変換部２８において分光透過率の半値幅に応じて分光反射率のスペクトル分布の波長を変化させ、その後デコンボリューション処理を行ったため、デコンボリューション処理後の較正された分光反射率のスペクトル分布の波長は依然として圧縮または伸張されたままである。そのため、被写体固有の分光反射率のスペクトル分布を、もとの波長に戻すために、圧縮・伸張変換部２８で施された圧縮または伸張の倍率を打ち消すように、逆の倍率を掛けて伸張または圧縮を行う。
このようにして、伸張または圧縮の逆変換を行い、被写体の較正済み分光反射率のスペクトル分布を得ることができる。
得られた被写体の較正済み分光反射率のスペクトル分布は、図示されないメモリ記憶部に保存される。
【００３９】
分光反射率スペクトル推定装置１６は、以上のように構成される。
次に、本発明のマルチバンド画像の分光反射率のスペクトル推定方法について説明する。
【００４０】
図３に、マルチバンド画像の分光反射率のスペクトル推定方法の一例の概要を説明する。
図３に示すように、マルチバンド画像の分光反射率のスペクトル推定方法は、例えば液晶チューナブルフィルタ１４およびＣＣＤカメラ１２からなるマルチバンドカメラによって被写体を撮影し、特定の波長領域ごとに設定されたチャンネルごとの原画像からなるマルチバンド画像の画像データ、すなわち、データ処理部１８においてＡＤ変換した画素単位のデジタルデータ値、すなわちＱＬ値、たとえば８ビットＡＤ変換では０〜２５５の整数値を得る。
【００４１】
一方、上記被写体の撮影時、または被写体の撮影の前後において、４段６列の公知のマクベスチャートを上記マルチバンドカメラで撮影し、マクベスチャートの分光反射率データをＱＬ値として得た後、マクベスチャート４段目の色相のないグレー階調のＱＬ値を、予めわかっている既知のグレー階調の分光反射率と対応させてマクベスグレー１次元ＬＵＴを作成する。この作成したマクベスグレー１次元ＬＵＴを用いて、被写体を撮影したマルチバンド画像のＱＬ値から被写体の分光反射率のスペクトル分布を推定する。
【００４２】
この推定された被写体の分光反射率のスペクトル分布に、必要に応じて、ノイズ除去処理や内挿補間処理や圧縮・伸張変換を行い、さらに、マクベスチャートの分光反射率データから、彩度が高く分光反射率が波長に対して急激に変化するＲ、ＧおよびＢのパッチの分光反射率をデータを用いて、必要に応じて、フィルタ温度補正（波長シフト）を行い、その後、スペクトルのシャープネス劣化復元処理（デコンボリューション処理）および伸張・圧縮逆変換を必要に応じて行い、較正済み分光反射率のスペクトル分布を得る。
【００４３】
すなわち、本発明のマルチバンド画像の分光反射率のスペクトル推定方法は、マクベスグレー１次元ＬＵＴを用いて、被写体を撮影したマルチバンド画像のＱＬ値から被写体の分光反射率のスペクトル分布を推定することを基本とし、より精度の高いスペクトル分布を得るために、デコンボリューション処理や内挿補間や圧縮伸張処理や温度補正を必要に応じて行う方法である。
【００４４】
図４は、図３で示すスペクトル推定方法を実施するマルチバンド画像分光反射率のスペクトル推定システム１０を基にして工程ごとに説明するフローの一例を示すフローチャートである。
【００４５】
まず、撮影波長領域を特定の波長領域ごとに図２に示されるように１６チャンネルに分割した液晶チューナブルフィルタ１４およびＣＣＤカメラ１２からなるマルチバンドカメラによって被写体を撮影し、液晶チューナブルフィルタ１４で設置された特定の波長領域ごとの原画像からなるマルチバンド画像の画像信号を得、分光反射率スペクトル推定装置１６のデータ処理部１８において８ビットのＡＤ変換を行い、ＤＣオフセットの補正、暗時補正、ＬＯＧ変換およびシェーディング補正を行って、１６チャンネルに対応する原画像の画素単位毎に０〜２５５の整数からなるＱＬ値を得、マルチバンド画像の画像データを取得する（ステップ１００）。
【００４６】
一方、ステップ１００でマルチバンド画像を撮影する際に同時に、あるいは前後して、分光反射率が既知のマクベスチャートを撮影し、マクベスチャートの分光輝度測定（ステップ１０２）を行う。ここで分光輝度測定とは、ステップ１００のマルチバンド画像データの取得と同様に、マクベスチャートのマルチバンド画像の信号を分光反射率スペクトル推定装置１６のデータ処理部１８において８ビットのＡＤ変換を行い、ＤＣオフセットの補正、暗時補正、ＬＯＧ変換およびシェーディング補正を行い、マクベスチャートの各パッチに対応したＱＬ値を得ることである。
このようにして得られたマクベスチャートの各パッチに対応したＱＬ値のうち、最下段の４段目の６つのグレーパッチのＱＬ値とこのグレーパッチの予めわかっている分光反射率の値とを各原画像ごとに１対１に対応させる１次元ＬＵＴを作成する（ステップ１０４）。なお、ここで作成された１次元ＬＵＴには、液晶チューナブルフィルタ１４の各波長毎の透過率レベルの補正が含まれる。
【００４７】
次に、ステップ１００で得られた撮影被写体の各チャンネルに対応する原画像のＱＬ値をステップ１０４で作成した１次元ＬＵＴを用いて、分光反射率の値に変換する（ステップ１０６）。参照するＱＬ値が１次元ＬＵＴに存在しない場合は、内挿補間あるいは外挿補外等によって分光反射率の値を求める。この内挿補間や外挿補外の方法は特に限定されず、公知の方法、たとえば直線補間やラグランジェ補間等の公知の方法で行う。
【００４８】
このように１次元ＬＵＴを用いて分光反射率の値に変換することができるのは、図２に示すように、波長可変フィルタとして用いる液晶チューナブルフィルタの各チャンネルの分光透過率の分布が、従来のフィルターと異なり波長分解能が向上しピーク値を中心とする急峻な分布を形成し、各チャンネル間の波長の重なりが少なくなり、１次元ＬＵＴを用いて得られた分光反射率のスペクトル分布の鈍りが少なくなるからである。式（２）で説明すると、式（２）で示される行列Ｆの非対角項成分がほとんどゼロとなるため、１次元ＬＵＴを用いて分光反射率の値に変換することができるのである。そのため、式（３）のような推定行列Ｇを計算する必要がなくなり、大幅に処理時間が短縮する。
【００４９】
一方、後述するフィルタ温度補正を行うために、ステップ１０２のマクベスチャートの分光輝度測定で得られたＲ、ＧおよびＢの色相のパッチをステップ１０４で得られた１次元ＬＵＴを用いて分光反射率のスペクトル分布を算出する（ステップ１０８）。
【００５０】
次に、フィルタ温度補正を行う（ステップ１０９）。フィルタ温度補正を行うのは、後述するデコンボリューション処理（ステップ１１８）を行う際に代表関数として選ばれる装置関数ｈ（λ）は、液晶チューナブルフィルタ１４の分光透過率分布と、撮影するカメラの分光感度分布（光学系の分光透過率を含む分光感度分布）と、撮影時の撮影照明の分光強度分布との積によって規定されるが、液晶チューナブルフィルタ１４の分光透過率分布は、液晶部の温度によって分光透過率分布が波長領域でシフトするからである。フィルタ温度補正においては、ステップ１０８において、分光反射率分布が既知のＲ、ＧおよびＢの色相のパッチを測定して得られた分光反射率のスペクトル分布と、この既知の分光反射率分布とを比較して、波長のシフト量を求める。Ｒ、ＧおよびＢの色相のパッチを測定するのは、彩度が高く、分光反射率分布が波長に対して急激に変化するため、波長のシフト量を容易に求めることができるからである。
【００５１】
なお、上記実施例では、分光反射率分布が既知のパッチの分光反射率分布とこのパッチをマルチバンドカメラで撮影して得られた分光反射率分布との差異から波長シフト量を求め、これを用いて分光反射率を補正するが、本発明ではこの方法に限られず、液晶チューナブルフィルタ１４の液晶部に接するように温度計を設置し、マルチバンド画像撮影時に液晶部の温度を、図示されない分光反射率スペクトル推定装置１６のフィルタ温度取得手段を通じて記録し、この記録された温度を用いて温度に対応した波長シフト量を求め、分光反射率を補正するものであってもよい。
【００５２】
一方、ステップ１０６で得られた各チャンネルに対応した原画像の分光反射率のデータに対して、ノイズ除去処理を行う（ステップ１１０）。ノイズ除去処理は、液晶チューナブルフィルタ１４の分光透過率が、図２に示すように、短波長側のチャンネルでは透過率が低く、十分な光量を確保できず、ノイズを拾い易く、一方、長波長側のチャンネルでは透過率が高く、十分な光量を確保できノイズ成分を拾い難いため、各チャンネルの波長領域に応じて、ノイズ除去の強さを調整できるノイズ除去処理が望ましい。例えば、分光透過率のピーク値が０．１以下になれば、自動的にメディアンフィルタをｏｎ−ｏｆｆ的に使用する方法が挙げられる。
【００５３】
次に、ステップ１１０で分光反射率のデータに対してノイズ除去処理が施された後、ステップ１０９で求めた波長シフト量Δλを用いて、この波長のシフトによって変化する分光反射率の波長をΔλ分補正することで、波長シフト処理が施される（ステップ１１１）。
【００５４】
さらに、ステップ１１０で得られたノイズ除去処理の施された分光反射率野データは、内挿補間処理（ステップ１１２）が施される。
内挿補間を行うのは、最終的に、分光反射率のスペクトル分布のチャンネル数を増やし滑らかな分布を得るためである。内挿補間としては、スプライン補間やラグランジェ補間等の非線形な補間により、例えば１０ｎｍ以下のスペクトル分布となるように補間処理を行う。また、直線補間により、凸凹のある分光反射率のスペクトル分布を得てもよく、この場合後述するデコンボリューション処理はフーリエ変換およびその逆変換を用いた処理を行う。フーリエ変換およびその逆変換により、凸凹のスペクトル分布でも滑らかなスペクトル分布を得ることができるためである。
【００５５】
内挿補間処理（ステップ１１２）が施されてデータの細かくなった分光反射率のスペクトル分布の波長を圧縮または伸張する圧縮・伸張処理を行う（ステップ１１４）。圧縮・伸張処理は、分光反射率のスペクトル分布の波長を、図２に示す波長の変化と共に変化する液晶チューナブルフィルタ１４の分光透過率のスペクトル分布の半値幅に応じて、被写体の分光反射率のスペクトルの波長を圧縮または伸張する。圧縮や伸張の比率は、後述する１つの装置関数ｈ（λ）の半値幅に対して被写体の分光反射率のスペクトルの波長域が、チャンネルに係わらず一定となるように、波長域毎に変化する。これによって、後述するデコンボリューション処理において、波長によって変化する分光透過率分布で規定される装置関数ｈ（λ）を、波長に応じて複数持つ必要がなく１つの装置関数だけでデコンボリューション処理を行うことができる。
【００５６】
このようにして圧縮・伸張変換（ステップ１１４）された分光反射率のスペクトル分布は、分光反射率のスペクトル分布のシャープネス劣化復元処理であるデコンボリューション処理を行う（ステップ１１８）。
本来、液晶チューナブルフィルタ１４およびＣＣＤカメラ１２を備えたマルチバンドカメラから得られた被写体の分光反射率のスペクトル分布は、撮影したマルチバンドカメラの装置の特性によっていわばフィルタの掛かった状態になっている。そのため、スペクトル分布がシャープでなく、鈍った形で得られる。一方、この撮影したマルチバンドカメラの装置の特性である装置関数ｈ（λ）は既知であるので、この装置関数ｈ（λ）を用いて、鈍った分光反射率のスペクトル分布のシャープネス劣化を復元処理する。
すなわち、図５に示すように、被写体固有の分光反射率のスペクトル分布Ｏ（λ）を、装置関数ｈ（λ）がチャンネルごとに分解され各チャンネル毎に定まる装置関数ｈi （λ）と掛け合わせ、その後チャンネル全体を合計して算出される分布が、装置関数ｈ（λ）を備えるマルチバンドカメラで撮影された分光反射率のスペクトル分布Ｉ（λ）となる。このように、測定された分光反射率のスペクトル分布Ｉ（λ）は、被写体固有の分光反射率のスペクトル分布Ｏ（λ）と装置関数ｈ（λ）から下記式（５）の畳み込み処理（コンボリューション処理）によって定まる。
【数４】
0003819187.tif 000005
【００５７】
ステップ１１８で行うデコンボリューション処理は、上記コンボリューションにより得られる分光反射率のスペクトル分布Ｉ（λ）と装置関数ｈ（λ）とを用いて、コンボリューション処理とは逆に被写体固有の分光反射率のスペクトル分布Ｏ（λ）を求める処理である。
式（５）に示されるコンボリューション積分は、下記式（６）のように、フーリエ変換したＦ［Ｉ（λ）］、Ｆ［Ｏ（λ）］およびＦ［ｈ（λ）］を用いて表される。そのため、式（４）のように、Ｆ［Ｉ（λ）］をＦ［ｈ（λ）］で割ってそれを逆フーリエ変換することで、Ｏ（λ）を得ることができる。
【数５】
0003819187.tif 000006
【００５８】
マルチバンド画像の画素数が少ない場合、例えば１０万画素未満の場合、上記フーリエ変換によるデコンボリューション処理では、各チャンネル、例えば１６チャンネルに対応した装置関数すべてを記憶し、これを用いて各チャンネルに対応した演算をする必要がなく、１つのチャンネルの装置関数ｈ（λ）だけで計算できるため、被写体固有の分光反射率のスペクトル分布の処理を短時間に行うことができる。
【００５９】
また、マルチバンド画像の画素数が多い場合、例えば１０万画素以上の場合、デコンボリューション処理は、従来のような、式（２）および式（３）による行列による計算を用いてもよく、その際、波長可変フィルタのチャンネル毎の既知の分光透過率分布ｆi （λ）（ｉ＝１〜ｎ）の中から、全チャンネルによって被われる波長領域の中心波長から上下５０ｎｍ範囲内で値を有する特定のチャンネルの分光透過率分布を代表の分光透過率分布の関数とし、この関数と撮影するカメラの分光感度分布（ＣＣＤカメラの分光感度分布Ｓ（λ）と光学系の既知の分光透過率分布Ｌ（λ）の積）と、撮影時の撮影照明の分光強度分布Ｅ（λ）との積を求め、式（２）および式（３）によるデコンボリューション処理を行ってもよい。これによって、式（２）および式（３）の行列計算も容易に実施でき計算時間の短縮が可能となる。
【００６０】
特に、被写体の分光反射率のスペクトル分布Ｉ（λ）の測定点数ｍにチャンネル数ｎが等しくなるように、内挿補間処理（ステップ１１２）においてチャンネル数を増やして、被写体の分光反射率のスペクトル分布Ｉ（λ）の測定点数ｍに等しくし、式（２）の行列Ｆの逆行列を求めてもよい。これによって、式（２）の行列Ｆの逆行列を解析的かつ短時間に求めることが可能となる。
【００６１】
デコンボリューション処理（ステップ１１８）が施された後、ステップ１１４で行われた圧縮・伸張処理の逆変換である伸張・圧縮逆変換をおこなう（ステップ１２０）。
これによって、ステップ１１４で波長方向に圧縮または伸張された、較正済みの分光反射率のスペクトル分布を取得し（ステップ１２２）、記憶部に記憶する。
このようにして、マルチバンドカメラの特性を除去した較正済みの分光反射率のスペクトル分布を取得することができる。
【００６２】
次に、このようなマルチバンド画像の分光反射率のスペクトル推定方法およびスペクトル推定システムに基づいて、マルチバンド画像から被写体の分光反射率のスペクトルを求めた。
ＣＣＤカメラとして、ＤＡＬＳＡ社製 CA-D4-1024A（ピクセル数１０２４×１０２４、ピクセルサイズ１２×１２ミクロン、ＰＣＩインターフェース付き、モノクロ）を用い、波長可変フィルターとしてＣＲＩ社製Varispec Tunable Filter （液晶チューナブルフィルタ）を用いた。この液晶チューナブルフィルタは、４００〜７２０ｎｍのフィルタ波長範囲内で、分光透過率分布の中心波長を任意に選択でき、その分布の波長の半値幅の全チャンネルの平均値が３０ｎｍであり、分光透過率は波長によって変化し６〜６０％であった。
分光反射率スペクトル推定装置として、ＰＲＯＳＩＤＥ社製ブック型ＰＣ（パーソナルコンピュータ）を用い、Windows ９５上で分光反射率のスペクトル分布を推定するためのソフトウェアをＣ++言語で作成した。なお、ＰＲＯＳＩＤＥ社製ブック型ＰＣは、ＣＰＵが１６６MHz であり、ＲＡＭは１２８Mbyte であった。
【００６３】
撮影の光源としてメタルハライドランプを用い、撮影被写体の照度を１２０００lux とした。撮影に使用した撮影レンズはNikomart（ｆ＝５０mm  ，Ｆ１．４）を用い、さらに４００ｎｍ以下の紫外線カットフィルタと７３０ｎｍ以上の赤外カットフィルタを用いた。
また、撮影波長範囲４１０ｎｍ〜７１０ｎｍを１６分割して１６チャンネルとし、各波長間隔を２０ｎｍとした。撮影は、人物顔とマクベスチャートとを同時に撮影した。また液晶チューナブルフィルタの分光透過率分布を各分割したチャンネルに応じて変化させて撮影し、マルチバンド画像を構成する原画像を１６枚得た。撮影時の絞り値はＦ２．８であった。撮影時間は１ショット２５ｍ秒であり、マルチバンド画像の撮影全体に３秒を要した。
【００６４】
まず、処理ａとして、各チャンネルに対応する原画像中のマクベスチャート画像のうち最下段にある分光反射率が既知の６つのグレーパッチから、このグレーパッチの画像データ値（ＱＬ値）を各チャンネル毎に得、このグレーパッチ画像のＱＬ値とこのグレーパッチの既知の分光反射率の値との対応付けを行い、各チャンネル毎に１次元ルックアップテーブルを作成し、その後人物顔のＱＬ値から、先に作成した１次元ルックアップテーブルを用いて撮影被写体の人物顔の分光反射率のスペクトル分布を得た。
【００６５】
また、処理ｂとして、マルチバンド画像の撮影の前に、ＣＣＤカメラの分光感度分布（光学系の分光透過率を含む分光感度分布）と、各チャンネルに対応する波長域の液晶チューナブルフィルタの分光透過率分布とを測定し、その後、処理ａの処理を行った。さらに、液晶チューナブルフィルタのチャンネルに対応する波長域の分光透過率分布と、ＣＣＤカメラの分光感度分布と、撮影時の照明光の既知の分光強度分布とを乗算して得られる特定のチャンネルの装置関数を選択し、この装置関数ｈ（λ）と撮影被写体の人物顔の分光反射率のスペクトル分布Ｉ（λ）とを用いて、式（４）に従ってＦＦＴを利用したフーリエ変換法によるデコンボリューション処理を行い、較正済の被写体固有の分光反射率のスペクトル分布を得た。
【００６６】
また、処理ｃとして、処理ｂと同様に、マルチバンド画像の撮影の前に、ＣＣＤカメラの分光感度分布（光学系の分光透過率を含む分光感度分布）と、各チャンネルに対応する波長域の液晶チューナブルフィルタの分光透過率分布とを測定し、その後、処理ａの処理を行った。その後、ＣＣＤカメラの分光感度分布（光学系の分光透過率を含む分光感度分布）と、各チャンネルに対応する波長域の液晶チューナブルフィルタの分光透過率分布と、撮影時の照明光の既知の分光強度分とから、式（２）の行列Ｆを計算した。その際、マルチバンド画像の測定点の数は１６（ｎ＝１６）であり、波長間隔は２０ｎｍであった。一方、ＣＣＤカメラの分光感度分布と、液晶チューナブルフィルタの波長域の分光透過率分布の波長間隔が５ｎｍであり、最終的に求める較正済みの被写体固有の分光反射率のスペクトル分布も５ｎｍであり、撮影波長範囲４１０ｎｍ〜７１０ｎｍでチャンネル数が８１（ｍ＝８１）となった。そのため、式（２）の両辺に行列Ｆの転置行列Ｆt を掛けたのち、行列（Ｆt ・Ｆ）の逆行列を求め、式（２）の右辺の被写体固有の分光反射率の値Ｏk （ｋ＝１〜８１）を計算し、較正済み分光反射率のスペクトル分布Ｏ（λ）を計算して求めた。なお、逆行列を求める計算はガウス−ザイデル法を用いた。
【００６７】
得られた分光反射率のスペクトル分布より、色空間座標に変換しマクベスチャート２４パッチの分光反射率の差の絶対値の平均値（ΔＲav）と色差の平均値（ΔＥav）を求めた。ここで、分光反射率の差を求めているのは、色差だけでなく、分光反射率の精度が問題となるからである。色差が０でも、分光反射率に大きい差が生じる場合、すなわちメタメリズムといった現象が生じる場合もある。
処理ａでは、処理ａに要する処理時間は１分１５秒であり、ΔＲavは０．００９３、ΔＥavは２．７０であった。
処理ｂでは、処理ｂに要する処理時間は１３分０１秒であり、ΔＲavは０．００８３、ΔＥavは１．６８であった。
さらに、処理ｃに要する処理時間は５分３６秒であり、ΔＲavは０．００８０、ΔＥavは１．６７であった。
【００６８】
このように、処理ａ、ｂおよびｃは、分光反射率の差の絶対値の平均値ΔＲavと平均値ΔＥavを実効的に落さず、短時間で処理することができることは明らかである。
【００６９】
以上、本発明のマルチバンド画像の分光反射率のスペクトル推定方法およびスペクトル推定システムについて詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００７０】
【発明の効果】
以上、詳細に説明したように、本発明によれば、波長可変フィルタを用いてマルチバンド画像を撮影し、これを用いて撮影被写体の分光反射率のスペクトルを推定する際に、実効的にスペクトルの推定精度を落すことなく、推定スペクトルを求める処理時間を短縮することができる。
【図面の簡単な説明】
【図１】  本発明のマルチバンド画像の分光反射率のスペクトル推定システムの一例の概略を示すブロック図である。
【図２】  図１に示す液晶チューナブルフィルタの分光透過率の一例を示す図である。
【図３】  本発明のマルチバンド画像の分光反射率のスペクトル推定方法の一例の概要を説明する説明図である。
【図４】  本発明のマルチバンド画像の分光反射率のスペクトル推定方法の一例のフローを説明するフローチャートである。
【図５】  図４に示すデコンボリューション処理を説明する説明図である。
【符号の説明】
１０  マルチバンド画像分光反射率のスペクトル推定システム
１２  ＣＣＤカメラ
１４  液晶チューナブルフィルタ
１６  分光反射率スペクトル推定装置
１８  データ処理部
２０  １次元ＬＵＴ
２２  分光反射率スペクトル算出部
２４  ノイズ除去処理部
２６  内挿補間処理部
２８  圧縮・伸張変換部
３０  温度補正用分光反射率データ部
３２  フィルタ温度補正部
３４  デコンボリューション処理部
３６  伸張・圧縮逆変換部
【図１】
0003819187.tif 000007
【図２】
0003819187.tif 000008
【図３】
0003819187.tif 000009
【図４】
0003819187.tif 000010
【図５】
0003819187.tif 000011