(57)【特許請求の範囲】
【請求項１】
マルチバンドカメラにより被写体を撮影することにより得られた、該被写体の色情報を波長毎に表す複数のスペクトル画像データであって、光量エネルギーに対して線形なスペクトル画像データに対して処理を施す画像処理方法において、
前記複数のスペクトル画像データにより表されるスペクトル画像の各画素から、比較的大きなデータ値を有する画素群を選択し、
該選択された画素群の各画素における分光エネルギー分布を求め、
該各画素毎の分光エネルギー分布と、予め設定された既知の光源の分光エネルギー分布とを比較し、
該比較結果に基づいて、前記画素群からさらに所定画素群を選択し、
該所定画素群のデータ値に基づいて、前記撮影時における光源の分光エネルギーデータを取得し、
該分光エネルギーデータにより前記スペクトル画像データを規格化して前記被写体の分光反射率データを取得することを特徴とする画像処理方法。
【請求項２】
前記複数のスペクトル画像における各画素毎に分光エネルギー分布を求め、
該分光エネルギー分布を波長方向に積分して各画素毎に積分値を得、
該積分値の最大値から所定範囲の積分値を有する画素を、前記比較的大きなデータ値を有する画素群として選択することを特徴とする請求項１記載の画像処理方法。
【請求項３】
マルチバンドカメラにより被写体を撮影することにより得られた、該被写体の色情報を波長毎に表す複数のスペクトル画像データであって、光量エネルギーに対して線形なスペクトル画像データに対して処理を施す画像処理装置において、
前記複数のスペクトル画像データにより表されるスペクトル画像の各画素から、比較的大きなデータ値を有する画素群を選択する選択手段と、
該選択された画素群の各画素における分光エネルギー分布を求める手段、該各画素毎の分光エネルギー分布と、予め設定された既知の光源の分光エネルギー分布とを比較する手段、および該比較結果に基づいて、前記画素群からさらに所定画素群を選択する手段を備え、該所定画素群のデータ値に基づいて、前記撮影時における光源の分光エネルギーデータを取得する演算手段と、
前記光源の分光エネルギーデータにより前記スペクトル画像データを規格化して前記被写体の分光反射率データを取得する規格化手段とを備えたことを特徴とする画像処理装置。
【請求項４】
前記選択手段は、前記複数のスペクトル画像における各画素毎に分光エネルギー分布を求める手段と、
該分光エネルギー分布を波長方向に積分して各画素毎に積分値を得る手段と、
該積分値の最大値から所定範囲の積分値を有する画素を、前記比較的大きなデータ値を有する画素群として選択する手段とを備えたことを特徴とする請求項３記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、マルチバンドカメラにより被写体を撮影することにより得られたスペクトル画像に対して処理を施す画像処理方法および装置に関するものである。
【０００２】
【従来の技術】
異なる透過波長域を有する例えば８種類のフィルタを通して撮影を行うマルチバンドカメラを用いて被写体を撮影することにより、被写体の色情報を波長毎に表す複数のスペクトル画像を取得し、この画像から被写体の分光反射率を測定する手法が提案されている。このようなマルチバンドカメラを用いることにより、被写体の分光反射率を高精度に測定することができるため、とくに絵画のように多数の色を用いた被写体を撮影する場合であっても、被写体の色再現性を損なうことなく高精度の画像を取得することができる。
【０００３】
ここで、マルチバンドカメラにより得られるスペクトル画像においては、各画素における分光分布は（被写体の分光反射率）×（光源の分光エネルギー）となっている。したがって、被写体の分光反射率を求めるためには、マクベスチャート等の分光反射率が既知の物体を被写体とともにシーンに含めて撮影を行い、この物体に対応するデータ値を、上記既知の分光反射率により除することにより光源の分光分布を求め、各波長に対応する分光エネルギーにより各画素のデータ値を規格化することにより、画像中の被写体の分光反射率を求めることができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述したような方法では、マクベスチャートのように分光反射率が既知の物体を被写体と同時に撮影しないと、被写体の分光反射率を求めることができない。
【０００５】
本発明は上記事情に鑑みなされたものであり、分光反射率が既知の物体を用いることなく、上記光源の分光エネルギーを求め、さらには被写体の分光反射率を求めることができる画像処理方法および装置を提供することを目的とするものである。
【０００６】
【課題を解決するための手段】
本発明による画像処理方法は、マルチバンドカメラにより被写体を撮影することにより得られた、該被写体の色情報を波長毎に表す複数のスペクトル画像データであって、光量エネルギーに対して線形なスペクトル画像データに対して処理を施す画像処理方法において、
前記複数のスペクトル画像データにより表されるスペクトル画像の各画素から、比較的大きなデータ値を有する画素群を選択し、
該選択された画素群のデータ値に基づいて、前記撮影時における光源の分光エネルギーデータを取得し、
前記光源の分光エネルギーデータにより前記画像データを規格化して前記被写体の分光反射率データを取得することを特徴とするものである。
【０００７】
ここで、「光量エネルギーに対して線形なスペクトル画像データ」は、マルチバンドカメラにより得られるスペクトル画像データが光量エネルギーに対して非線形である場合には、この関係が線形となるように補正を行うことにより得ればよく、マルチバンドカメラにより得られるスペクトル画像データが元々光量エネルギーに対して線形である場合には、マルチバンドカメラにより得られたスペクトル画像データをそのまま用いればよい。
【０００８】
また、「複数のスペクトル画像」としては６以上の波長域において撮影を行うことにより得られるスペクトル画像をいうものである。
【０００９】
さらに、「比較的大きなデータ値を有する画素群」とは、スペクトル画像上において、鏡面反射等により光源から発せられた光を略全反射する部分に対応しており、他の部分と比較して大きなデータ値を有する画素群のことをいう。なお、ここでいう「画素群」には単一の画素のみをも含むものである。
【００１０】
なお、本発明による画像処理方法においては、、前記選択された画素群の各画素における分光エネルギー分布を求め、
該各画素毎の分光エネルギー分布と、予め設定された既知の光源の分光エネルギー分布とを比較し、
該比較結果に基づいて、前記画素群からさらに所定画素群を選択し、
該所定画素群のデータ値に基づいて、前記光源の分光エネルギーデータを取得することが好ましい。
【００１１】
また、前記複数のスペクトル画像における各画素毎に分光エネルギー分布を求め、
該分光エネルギー分布を波長方向に積分して各画素毎に積分値を得、
該積分値の最大値から所定範囲の積分値を有する画素を、前記比較的大きなデータ値を有する画素群として選択することが好ましい。
【００１２】
ここで、「所定範囲」としては、例えば全画素における積分値を値が大きい順に並べた場合に、例えば上位２％の積分値が選択される程度の範囲とすればよい。
【００１３】
本発明による画像処理装置は、マルチバンドカメラにより被写体を撮影することにより得られた、該被写体の色情報を波長毎に表す複数のスペクトル画像データであって、光量エネルギーに対して線形なスペクトル画像データに対して処理を施す画像処理装置において、
前記複数のスペクトル画像における各画素から、比較的大きなデータ値を有する画素群を選択する選択手段と、
該選択された画素群のデータ値に基づいて、前記撮影時における光源の分光エネルギーデータを取得する演算手段と、
前記光源の分光エネルギーデータにより前記画像データを規格化して前記被写体の分光反射率データを取得する規格化手段とを備えたことを特徴とするものである。
【００１４】
なお、本発明による画像処理装置において、前記演算手段は、前記選択された画素群の各画素における分光エネルギー分布を求める手段と、
該各画素毎の分光エネルギー分布と、予め設定された既知の光源の分光エネルギー分布とを比較する手段と、
該比較結果に基づいて、前記画素群からさらに所定画素群を選択する手段とを備え、
該所定画素群のデータ値に基づいて、前記光源の分光エネルギーデータを取得する手段であることが好ましい。
【００１５】
また、前記選択手段は、前記複数のスペクトル画像における各画素毎に分光エネルギー分布を求める手段と、
該分光エネルギー分布を波長方向に積分して各画素毎に積分値を得る手段と、
該積分値の最大値から所定範囲の積分値を有する画素を、前記比較的大きなデータ値を有する画素群として選択する手段とを備えることが好ましい。
【００１６】
【発明の効果】
本発明によれば、まず複数のスペクトル画像における各画素から比較的大きなデータ値を有する画素群が選択され、この選択された画素群のデータ値に基づいて、撮影時の光源の分光エネルギーデータが取得される。ここで、上記画素群は鏡面反射等により光源から発せられた略全反射される部分にあると見なすことができるため、この画素群のデータ値は光源と略同等の分光エネルギーを表すものと見なすことができる。したがって、このような画素群のデータ値に基づくことにより、分光反射率が既知の物体を被写体と同時に撮影しなくとも、撮影時における光源の分光エネルギーデータを求めることができる。さらに、このようにして求められた光源の分光エネルギーデータにより画像データを規格化して被写体の分光反射率データを取得すれば、分光反射率が既知の物体を被写体と同時に撮影しなくとも、被写体の分光反射率データを求めることができる。
【００１７】
さらに、選択された画素群の各画素における分光エネルギー分布を求め、この分光エネルギー分布と、既知の光源の分光エネルギー分布とを比較し、この比較結果に基づいて画素群からさらに所定画素群を選択すれば、光源の分光エネルギーデータを表す蓋然性の高いデータ値を有する画素のみを先に選択された画素群から選択することができる。したがって、この所定画素群のデータ値に基づくことにより、より正確な光源の分光エネルギーデータを取得することができる。
【００１８】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００１９】
図１は本発明の実施形態による画像処理装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による画像処理装置は、マルチバンドカメラ１を用いて被写体を撮影することにより得られた複数のスペクトル画像を表す画像データＳ０に対して処理を施すものであり、入力デバイスに関する情報Ｈに基づいて画像データＳ０を補正して画像データＳ１を得る補正手段２と、補正後の画像データＳ１に基づいて撮影時の光源の分光エネルギーデータＢ０を得る演算手段３と、演算手段３において得られた光源の分光エネルギーデータＢ０により画像データＳ１を規格化して被写体の分光反射率データＢ１を得る規格化手段４とを備える。
【００２０】
マルチバンドカメラ１は、被写体にフォーカスを合わせるオートフォーカス機構、透過波長域を変更可能な分光フィルタ、被写体像を担持する光を光電変換して被写体像を表す電気信号を得る撮像デバイス、撮像デバイスにおいて得られた電気信号をデジタルの画像データＳ０に変換する変換部、オートフォーカス機構、分光フィルタ、撮像デバイスおよび変換部の駆動を制御する制御部等を備えるものである。なお、分光フィルタとしては、例えば４００〜７２０ｎｍの波長範囲において透過波長域を任意に変更可能な液晶チューナブルフィルタが用いられる。そしてこのようなマルチバンドカメラ１により、例えば４１０〜７１０ｎｍの波長域において２０ｎｍ間隔にて透過波長域を変更して１６の波長域において撮影を行い、１６のスペクトル画像を表す画像データＳ０が得られる。なお、本実施形態においては、マルチバンドカメラにより撮影を行うことにより得られた各スペクトル画像をスキャナなどの読取手段により読み取り、これにより得られた読取り画像データを画像データＳ０としてもよい。
【００２１】
補正手段２は、入力デバイス（本実施形態においてはマルチバンドカメラ１）に関する情報Ｈに基づいて、画像データＳ０を撮影時の光量に対して線形のデータ値を有するように補正して画像データＳ１を得るものである。すなわち、マルチバンドカメラ１は、入力する光と出力する画像データＳ０との関係が非線形となるため、予めマルチバンドカメラ１によりグレーチャートを撮影して、カメラ１に対する入力と出力との関係を求めておき、カメラ１に対する入力と画像データＳ１との関係が線形となるように画像データＳ０を補正して画像データＳ１を得るものである。具体的には、図２に示すような画像データＳ０と画像データＳ１との関係をテーブルとして求めておき、このテーブルを参照して画像データＳ０を変換して画像データＳ１を得ればよい。なお、画像データＳ１により表される画像の各画素のデータ値は（被写体の分光反射率）×（撮影時の光源の分光エネルギー）となっている。なお、画像データＳ０が撮影時の光量に対して線形のデータ値を有するものである場合には、補正手段２における処理を行うことなく、画像データＳ０を画像データＳ１として用いればよい。
【００２２】
演算手段３は下記のようにして光源の分光エネルギーデータＢ０を算出する。まず、図３に示すように、複数のスペクトル画像における各画素毎に分光エネルギー分布を求める。これは、各画素毎に、各スペクトル画像を得た波長と各スペクトル画像におけるデータ値すなわち分光エネルギーとの関係を、全波長域に亘ってプロットすることにより得られる。例えば、本実施形態においては、１６のスペクトル画像が得られているため、波長とデータ値との関係を１６箇所プロットすることにより分光エネルギー分布が求められる。なお、撮影に使用していない波長域のデータ値については、画像データＳ１のデータ値を用いて補間演算等により算出すればよい。
【００２３】
次いで、このようにして得られた分光エネルギー分布を波長方向に積分して積分値を求める。この積分値はその画素における分光エネルギーを表すものとなる。そして、各画素毎に求められた分光エネルギーをエネルギーが高い順にソートし、上位２％の画素群を選択する。そして、この選択された画素群における分光エネルギーのメディアン値、平均値あるいはモード値の加重平均等の値を代表値として求め、これを光源の分光エネルギーデータＢ０とするものである。
【００２４】
すなわち、被写体上の鏡面反射する部分においては、光源から発せられた光が略全反射するため、スペクトル画像上のその部分におけるデータ値は光源の分光エネルギーと略同等のものとなる。また、鏡面反射する部分においては全ての波長域に亘ってデータ値が大きくなり、その結果上記積分値の値すなわち分光エネルギーも他の部分における分光エネルギーと比較して非常に大きくなるものである。したがって、各画素における上記積分値の上位２％程度の画素群は、光源からの光が略全反射された鏡面反射する部分と見なすことができ、このような画素群の平均値等の代表値を、撮影時の光源の分光エネルギーデータＢ０として求めるものである。
【００２５】
なお、上記積分値のヒストグラムを求め、積分値が上位の数％程度の画素を、鏡面反射する画素群として選択してもよい。
【００２６】
規格化手段４は、演算手段３において求められた光源の分光エネルギーデータＢ０により画像データＳ１を規格化、すなわち各画素のデータ値を分光エネルギーデータＢ０により除算して被写体の分光反射率データＢ１を求めるものである。
【００２７】
次いで、本実施形態の動作について説明する。図４は、本実施形態の動作を示すフローチャートである。まず、マルチバンドカメラ１により被写体の撮影を行って、複数のスペクトル画像を表す画像データＳ０を得る（ステップＳ１）。画像データＳ０は補正手段２において補正されて、マルチバンドカメラ１に入力する光量との関係が線形となる画像データＳ１が得られる（ステップＳ２）。補正により得られた画像データＳ１は演算手段３に入力され、まず各画素毎の分光エネルギー分布の積分値が算出され（ステップＳ３）、さらにこの積分値の上位２％の値を採る画素群が選択される（ステップＳ４）。次いで、この画素群における積分値の代表値が光源の分光エネルギーデータＢ０として算出される（ステップＳ５）。そして、規格化手段４において、この分光エネルギーデータＢ０により画像データＳ１を規格化して被写体の分光反射率データＢ１を算出し（ステップＳ６）、処理を終了する。
【００２８】
このように、本実施形態においては、複数のスペクトル画像における各画素から比較的大きな分光エネルギーを有する画素群を選択し、この選択した画素群のデータ値に基づいて、撮影時の光源の分光エネルギーデータＢ０を求めるようにしたため、分光反射率が既知の物体を同時に撮影しなくとも、撮影時における光源の分光エネルギーデータＢ０を求めることができる。
【００２９】
ここで、被写体としてマクベスチャートを使用し、本発明による画像処理方法によりこのマクベスチェッカの分光分布を求め、この分光分布に基づいて、ＣＩＥＤ６５光源下でのＣＩＥ１９７６Ｌ*ａ*ｂ*色空間における測色値を求めた。一方、同様のマクベスチャートを東京電色製ＴＣ１８００にて測色して同様にＣＩＥ１９７６Ｌ*ａ*ｂ*色空間における測色値を求めた。そして、これらの平均色差を求めたところ４．２となり、通常の画像再現を行う場合の推定分光分布としては満足な値を得ることができた。
【００３０】
なお、上記実施形態においては、各画素毎の分光エネルギー分布の積分値を算出し、この積分値の上位２％の値を採る画素群における積分値の代表値を光源の分光エネルギーデータＢ０として求めているが、選択された画素群からさらに光源の蓋然性が高い画素を選択し、選択された画素における積分値の代表値を光源の分光エネルギーデータＢ０として求めてもよい。具体的には、積分値の上位２％の値を採る画素群における各画素の分光エネルギー分布と、予め定められた種々の光源（例えば種々の蛍光灯、昼光、タングステン光等）の分光エネルギー分布との相関を求め、この相関の値が予め定められたしきい値より大きい画素を、上記選択された画素群からさらに選択すればよい。このように、さらに選択された画素は、撮影時の光源の分光エネルギーデータを表す蓋然性の高いものとなるため、このさらに選択された画素の積分値に基づくことにより、より正確な光源の分光エネルギーデータを取得することができる。
【図面の簡単な説明】
【図１】本発明の実施形態による画像処理装置の構成を示す概略ブロック図
【図２】補正手段において用いられるテーブルを示す図
【図３】分光エネルギー分布を示す図
【図４】本実施形態の動作を示すフローチャート
【符号の説明】
１    マルチバンドカメラ
２    補正手段
３    演算手段
４    規格化手段
【図１】
0003950266.tif 000002
【図２】
0003950266.tif 000003
【図３】
0003950266.tif 000004
【図４】
0003950266.tif 000005