(57)【特許請求の範囲】
【請求項１】
入力画像データを、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの少なくとも２つの色補正マトリクスを有する色処理系により、出力画像データに変換する画像撮影方法であって、
撮影光源の範囲を判別し、
この判別された光源の範囲に基づいて、前記第１マトリクスを
前記判別された光源の範囲の各光源毎の平均色差の最大値が最小となるように、または、
前記判別された光源の範囲の各光源毎の平均色差の平均値が最小となるように、決定することを特徴とする画像撮影方法。
【請求項２】
前記撮影光源の範囲の判別は、同一被写体から赤外光領域のカットの程度の異なる少なくとも２画像の画像データを取り込み、前記取り込まれた画像データに基づいて前記画像間で比較を行い、該比較の結果前記画像間の差異が所定値より小さい場合には蛍光灯であるとし、前記画像間の差異が前記所定値より大きい場合には黒体輻射に準ずる光源であると判別することにより撮影光源の範囲を判別する方法、
または、色温度が既知の物体の分光エネルギー分布、測光系の分光感度分布、および予め定めた３つの関数の１次結合で表した分光反射率分布の積の積和または積分値で定められた基準値を求め、撮影光源からの光を測定し、前記基準値と測定値との差が最小となる分光反射率分布を色温度毎に求め、前記求めた分光反射率の最大値が１．０を越えた異常成分の和を評価値として求め、前記評価値の最小値に対応する色温度を前記撮影光源の色温度と推定することにより撮影光源の範囲を判別する方法、
の２つの方法のうち、少なくとも１つの方法を用いて行うようにした請求項１に記載の画像撮影方法。
【請求項３】
前記第１マトリクスを前記判別された光源の範囲の各光源毎の平均色差の最大値が最小となるように決定する方法において、
前記第１マトリクスを｛Ｌij（ｉ，ｊ＝１〜３）｝とし、前記判別された光源の範囲のうち基準光源をＰ0、その他の光源をＰm（ｍは光源の種類を表す）とし、ｒ（λ）、ｇ（λ）、ｂ（λ）をそれぞれ、前記入力画像データの入力分光感度Ｒ（λ）、Ｇ（λ）、Ｂ（λ）および前記第１マトリクス｛Ｌij｝とから、次式
ｒ（λ）＝Ｌ11・Ｒ（λ）＋Ｌ12・Ｇ（λ）＋Ｌ13・Ｂ（λ）
ｇ（λ）＝Ｌ21・Ｒ（λ）＋Ｌ22・Ｇ（λ）＋Ｌ23・Ｂ（λ）
ｂ（λ）＝Ｌ31・Ｒ（λ）＋Ｌ32・Ｇ（λ）＋Ｌ33・Ｂ（λ）
で規定される実効的な入力分光感度とするとき、
次式
ｍａｘm｛｜log（Ｐm,r）/(Ｐ0,r)−log（Ｐm,g）/(Ｐ0,g)｜
＋｜log（Ｐm,g）/(Ｐ0,g)−log（Ｐm,b）/(Ｐ0,b)｜｝
を最小化するようにして、前記第１マトリクスを決定するようにした請求項１または２に記載の画像撮影方法。
【請求項４】
前記第１マトリクスを前記判別された光源の範囲の各光源毎の平均色差の平均値が最小となるように決定する方法において、
前記第１マトリクスを｛Ｌij（ｉ，ｊ＝１〜３）｝とし、前記判別された光源の範囲のうち基準光源をＰ0、その他の光源をＰm（ｍは光源の種類を表す）とし、ｒ（λ）、ｇ（λ）、ｂ（λ）をそれぞれ、前記入力画像データの入力分光感度Ｒ（λ）、Ｇ（λ）、Ｂ（λ）および前記第１マトリクス｛Ｌij｝とから、次式
ｒ（λ）＝Ｌ11・Ｒ（λ）＋Ｌ12・Ｇ（λ）＋Ｌ13・Ｂ（λ）
ｇ（λ）＝Ｌ21・Ｒ（λ）＋Ｌ22・Ｇ（λ）＋Ｌ23・Ｂ（λ）
ｂ（λ）＝Ｌ31・Ｒ（λ）＋Ｌ32・Ｇ（λ）＋Ｌ33・Ｂ（λ）
で規定される実効的な入力分光感度とするとき、
次式
Σm｛｜log（Ｐm,r）/(Ｐ0,r)−log（Ｐm,g）/(Ｐ0,g)｜
＋｜log（Ｐm,g）/(Ｐ0,g)−log（Ｐm,b）/(Ｐ0,b)｜｝
を最小化するようにして、前記第１マトリクスを決定するようにした請求項１または２に記載の画像撮影方法。
【請求項５】
入力画像データを出力画像データに変換する、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの、少なくとも２つの色補正マトリクスを有する色処理系を備えた画像撮影装置であって、
撮影光源の範囲を判別する手段と、
該判別された光源の範囲に基づいて、
前記判別された光源の範囲の各光源毎の平均色差の最大値を最小にするように、または、
前記判別された光源の範囲の各光源毎の平均色差の平均値を最小にするように、
前記第１マトリクスを決定する手段と、
を備えたことを特徴とする画像撮影装置。
【請求項６】
前記撮影光源の範囲を判別する手段として、同一被写体から、赤外光領域のカットの程度の異なる少なくとも２画像の画像データを取り込む手段と、前記取り込まれた画像データに基づいて前記画像を比較する手段と、該比較の結果により前記撮影光源の種類を判別する手段と、を含んで構成される撮影光源範囲判別手段、
または、色温度が既知の物体の分光エネルギー分布、測光系の分光感度分布、および予め定めた３つの関数の１次結合で表した分光反射率分布の積の積和または積分値で定められた基準値を予め記憶した記憶手段と、撮影光源からの光を測定する測定手段と、前記基準値と測定値との差が最小となる分光反射率分布を色温度毎に演算する分光反射率分布演算手段と、前記求めた分光反射率の最大値が１．０を越えた異常成分の和を評価値として演算する評価値演算手段と、前記評価値の最小値に対応する色温度を前記撮影光源の色温度と推定する手段と、を含んで構成される撮影光源範囲判別手段、
の２つの撮影光源範囲判別手段のうち、少なくとも１つを有する請求項５に記載の画像撮影装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像撮影方法および装置に係り、特に、画像撮影装置の、ＣＣＤにより撮影して得られた画像データ等の入力画像データをモニタ表示用画像データ等の出力画像データに変換する色処理系における光源依存性を改善する技術に関する。
【０００２】
【従来の技術】
デジタルカメラ等のカラー画像撮像系では、通常、ＣＣＤセンサ等のイメージセンサによって撮影シーンを光電的に読み取り、撮像したカラー画像を液晶ディスプレイ等のモニタに表示している。
このようにデジタルカメラは、出力画像を最終的にモニタ出力用のＲＧＢ信号として出力したり、あるいはＪＰＥＧ圧縮を行って輝度色差信号（ＹＣＣ）として出力する。モニタ出力用のＲＧＢ信号として出力する場合、出力すべきＲＧＢ信号は規格で決められている。しかし、デジタルカメラで用いているＣＣＤは、様々な種類があるため、そのＣＣＤのＲＧＢ信号をモニタのＲＧＢ信号に画像変換しなければならない。
【０００３】
例えば、図６に従来のデジタルカメラの色処理系の一構成例を示す。
図６に示すデジタルカメラの色処理系は、ＣＣＤ８０から読み取られた画像データに対して、ホワイトバランス補正を行うホワイトバランス回路８４およびγ補正を行うγ回路８６を挟んで、２つの色補正マトリクス、第１マトリクス（リニア・マトリクスＬ−ＭＴＸ）８２、および第２マトリクス（クロマ・マトリクスＣ−ＭＴＸ）８８が設置されている。
【０００４】
このように、図６に示す従来のデジタルカメラにおける色処理系では、２つの色補正マトリクスを持ち、ＣＣＤ８０からの画像データに対して、第１マトリクス（Ｌ−ＭＴＸ）８２を掛け、ホワイトバランス補正およびγ補正を行った後、再度マトリクス（Ｃ−ＭＴＸ８８）を掛け、ＣＣＤ８０のＲＧＢ信号を、ＩＴＵ−Ｒ（International Telecommunication Union-Radio communication sector) によって規定されたＨＤＴＶの推奨規格であるＢＴ７０９のＲＧＢ信号に変換している。ここで、撮影光源の色味を取り除くホワイトバランス補正は、一般に、特定の色空間上のゲイン調整で実現される。
【０００５】
【発明が解決しようとする課題】
しかしながら、ゲイン調整によるホワイトバランス補正は、多くの場合、適切な結果を与えるが、光源によっては光源の色味を完全に取り除くことが出来ず、例えば、蛍光灯の下で撮影された肌色は、ホワイトバランス補正後もシアングリーン味が残って、太陽光下で観察される肌色のような色再現にはならないと言う問題がある。これを光源依存性と言い、従来はこの光源依存性を改善する特段の技術は知られていなかった。
【０００６】
本発明は、前記従来の問題に鑑みてなされたものであり、例えばデジタルカメラ等のカラー画像撮影装置において、ＣＣＤで撮影して得られた画像データをモニタ出力用画像データに変換する、ホワイトバランス補正回路を挟んで少なくとも２つの色補正マトリクスを有する色処理系において、光源依存性を改善し、光源の種類にかかわらず、ホワイトバランスや色補正が適正に行われた画像を得ることのできる画像撮影方法および装置を提供することを課題とする。
【０００７】
【課題を解決するための手段】
前記課題を解決するために、本発明の第１の態様は、入力画像データを、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの、少なくとも２つの色補正マトリクスを有する色処理系により、出力画像データに変換する画像撮影方法であって、撮影光源の範囲を判別し、該判別された光源の範囲に基づいて、前記第１マトリクスを前記判別された光源の範囲の各光源毎の平均色差の最大値が最小となるように、または、前記判別された光源の範囲の各光源毎の平均色差の平均値が最小となるように、決定することを特徴とする画像撮影方法を提供する。
【０００８】
また、前記撮影光源の範囲の判別は、同一被写体から赤外光領域のカットの程度の異なる少なくとも２画像の画像データを取り込み、前記取り込まれた画像データに基づいて前記画像間で比較を行い、該比較の結果前記画像間の差異が所定値より小さい場合には蛍光灯であるとし、前記画像間の差異が前記所定値より大きい場合には黒体輻射に準ずる光源であると判別することにより撮影光源の範囲を判別する方法、
または、色温度が既知の物体の分光エネルギー分布、測光系の分光感度分布、および予め定めた３つの関数の１次結合で表した分光反射率分布の積の積和または積分値で定められた基準値を求め、撮影光源からの光を測定し、前記基準値と測定値との差が最小となる分光反射率分布を色温度毎に求め、前記求めた分光反射率の最大値が１．０を越えた異常成分の和を評価値として求め、前記評価値の最小値に対応する色温度を前記撮影光源の色温度と推定することにより撮影光源の範囲を判別する方法、
の２つの方法のうち、少なくとも１つの方法を用いて行うようにしたことが好ましい。
【００１１】
また、前記第１マトリクスを前記判別された光源の範囲の各光源毎の平均色差の最大値が最小となるように決定する方法において、前記第１マトリクスを｛Ｌij（ｉ，ｊ＝１〜３）｝とし、前記判別された光源の範囲のうち基準光源をＰ0、その他の光源をＰm（ｍは光源の種類を表す）とし、ｒ（λ）、ｇ（λ）、ｂ（λ）をそれぞれ、前記入力画像データの入力分光感度Ｒ（λ）、Ｇ（λ）、Ｂ（λ）および前記第１マトリクス｛Ｌij｝とから、
次式
ｒ（λ）＝Ｌ11・Ｒ（λ）＋Ｌ12・Ｇ（λ）＋Ｌ13・Ｂ（λ）
ｇ（λ）＝Ｌ21・Ｒ（λ）＋Ｌ22・Ｇ（λ）＋Ｌ23・Ｂ（λ）
ｂ（λ）＝Ｌ31・Ｒ（λ）＋Ｌ32・Ｇ（λ）＋Ｌ33・Ｂ（λ）
で規定される実効的な入力分光感度とするとき、
次式
ｍａｘm｛｜log（Ｐm,r）/(Ｐ0,r)−log（Ｐm,g）/(Ｐ0,g)｜
＋｜log（Ｐm,g）/(Ｐ0,g)−log（Ｐm,b）/(Ｐ0,b)｜｝
を最小化するようにして、前記第１マトリクスを決定するようにしたことが好ましい。
【００１２】
また、前記第１マトリクスを前記判別された光源の範囲の各光源毎の平均色差の平均値が最小となるように決定する方法において、前記第１マトリクスを｛Ｌij（ｉ，ｊ＝１〜３）｝とし、前記判別された光源の範囲のうち基準光源をＰ0、その他の光源をＰm（ｍは光源の種類を表す）とし、ｒ（λ）、ｇ（λ）、ｂ（λ）をそれぞれ、前記入力画像データの入力分光感度Ｒ（λ）、Ｇ（λ）、Ｂ（λ）および前記第１マトリクス｛Ｌij｝とから、次式
ｒ（λ）＝Ｌ11・Ｒ（λ）＋Ｌ12・Ｇ（λ）＋Ｌ13・Ｂ（λ）
ｇ（λ）＝Ｌ21・Ｒ（λ）＋Ｌ22・Ｇ（λ）＋Ｌ23・Ｂ（λ）
ｂ（λ）＝Ｌ31・Ｒ（λ）＋Ｌ32・Ｇ（λ）＋Ｌ33・Ｂ（λ）
で規定される実効的な入力分光感度とするとき、
次式
Σm｛｜log（Ｐm,r）/(Ｐ0,r)−log（Ｐm,g）/(Ｐ0,g)｜
＋｜log（Ｐm,g）/(Ｐ0,g)−log（Ｐm,b）/(Ｐ0,b)｜｝
を最小化するようにして、前記第１マトリクスを決定するようにしたことが好ましい。
【００１３】
また、同様に前記課題を解決するために、本発明の第２の態様は、入力画像データを出力画像データに変換する、ホワイトバランス補正回路を挟んで第１マトリクスおよび第２マトリクスの、少なくとも２つの色補正マトリクスを有する色処理系を備えた画像撮影装置であって、撮影光源の範囲を判別する手段と、該判別された光源の範囲に基づいて、前記判別された光源の範囲の各光源毎の平均色差の最大値を最小にするように、または、前記判別された光源の範囲の各光源毎の平均色差の平均値を最小にするように、前記第１マトリクスを決定する手段と、を備えたことを特徴とする画像撮影装置を提供する。
【００１４】
また、前記撮影光源の範囲を判別する手段として、同一被写体から、赤外光領域のカットの程度の異なる少なくとも２画像の画像データを取り込む手段と、前記取り込まれた画像データに基づいて前記画像を比較する手段と、該比較の結果により前記撮影光源の種類を判別する手段と、を含んで構成される撮影光源範囲判別手段、
または、色温度が既知の物体の分光エネルギー分布、測光系の分光感度分布、および予め定めた３つの関数の１次結合で表した分光反射率分布の積の積和または積分値で定められた基準値を予め記憶した記憶手段と、撮影光源からの光を測定する測定手段と、前記基準値と測定値との差が最小となる分光反射率分布を色温度毎に演算する分光反射率分布演算手段と、前記求めた分光反射率の最大値が１．０を越えた異常成分の和を評価値として演算する評価値演算手段と、前記評価値の最小値に対応する色温度を前記撮影光源の色温度と推定する手段と、を含んで構成される撮影光源範囲判別手段、
の２つの撮影光源範囲判別手段のうち、少なくとも１つを有することが好ましい。
【００１７】
本発明において、「光源の範囲」とは、光源の発光波形に関するクラスを意味し、具体的には、黒体放射に従う光源なのか、蛍光灯であるのか、また、蛍光灯であっても、通常（普通）形か、高演色形か、三波長形かなどの発光波形に関するクラスを指し、「光源の範囲を入力する」とは、どのような発光波形のクラスの光源に属するのかを入力することを意味する。
【００１８】
また、本発明において、「入力分光感度」とは、入力画像が、デジタルスチルカメラ（ＤＳＣ）やスキャナ等の画像入力装置により入力された画像であれば、画像入力装置の分光感度を指す。なお、スキャナの場合には、読取素子（ＣＣＤ等）の分光感度（含フィルタ）によるデータが使われることが多いので、
0003863773.tif 000002
となるが、しかし、ＤＳＣの場合には、色補正マトリクスを組み合わせることが多いので、
0003863773.tif 000003
と表すことができる。従って、ＤＳＣの場合には、素子分光感度そのものではなく、素子分光感度と色補正マトリクスの組み合わせである点を考慮し、「組み合わせ」を強調する目的で「実効的な入力分光感度」と記載するが、上述したように、装置分光感度という意味では、「入力分光感度」と「実効的な入力分光感度」とは、同じ意味である。
【００１９】
なお、本発明において、素子分光感度および色補正マトリクスが、共に不明であるＤＳＣ、もしくは、入手できないＤＳＣの場合には、入力分光感度は定義できないが、民生用ＤＳＣは、建前上、ＢＴ７０９規格に準拠することになっているので、ＢＴ７０９規格で代用しても良い。
この場合には、以下のように表すことができる。
入力分光感度＝ＢＴ７０９規格分光感度
【００２０】
また、本発明において、「撮像素子によらない入力画像データ」とは、入力画像が、ＣＧ（コンピュータグラフィクス）画像のように、テレビモニタ上で制作された画像である場合には、下記の定義を使うことができない。
入力分光感度＝装置分光感度
この場合には、下記のように、モニタの原色（蛍光体）に対応する等色関数を入力分光感度とすることができる。
入力分光感度＝モニタの原色に対応する等色関数
なお、原色が不明の場合には、例えば、
家庭用テレビならば、下記のように、ＮＴＳＣ規格で、
入力分光感度＝ＮＴＳＣ規格分光感度
ハイビジョンならば、下記のように、ＢＴ７０９規格で、代用することができる。
入力分光感度＝ＢＴ７０９規格分光感度
【００２１】
また、本発明において、「出力画像データ」とは、画像入力装置（ＤＳＣやスキャナ）が出力する画像データを指す。
【００２２】
【発明の実施の形態】
以下、本発明の画像撮影方法および装置について、添付の図面に示される好適実施形態を基に詳細に説明する。
【００２３】
図１は、本発明に係る画像撮影装置の一実施形態の概略構成を示すブロック図である。
図１に示すように、本実施形態の画像撮影装置１０は、ＣＣＤ１２、第１マトリクス（Ｌ−ＭＴＸ）１４、ホワイトバランス補正回路１６、γ回路１８、第２マトリクス（Ｃ−ＭＴＸ）２０、モニタ２２、光源範囲判別手段２４および第１マトリクス（Ｌ−ＭＴＸ）決定手段２６を有して構成されている。
なお、画像撮影装置１０は、これ以外にも、通常の撮影を行うのに必要な、画像メモリ、画像処理部、画像出力部および各回路等を制御するＣＰＵやシャッタボタン等の各種操作スイッチ等を有しているが説明は省略する。
【００２４】
このように、本実施形態においては、ＣＣＤ１２によって撮影して得られた画像データに対して、これを最終的に例えば液晶ディスプレイ等のモニタ２２に表示する場合に、画像データの変換をしなければならない。そのため、ホワイトバランス補正を行うホワイトバランス補正回路１６およびγ補正を行うγ回路１８を挟んで、第１マトリクス（以下、Ｌ−ＭＴＸとする。）１４と第２マトリクス（以下、Ｃ−ＭＴＸとする。）２０という２つの色補正マトリクスが設けられている。
なお、γ回路１８とＣ−ＭＴＸ２０との順番はこの順番に限定されず、Ｌ−ＭＴＸ１４とＣ−ＭＴＸ２０がホワイトバランス補正回路１６を挟んで配置されていればよい。
【００２５】
光源範囲判別手段２４は、画像の撮影を行っている撮影光源の範囲を判別するものである。また、第１マトリクス（Ｌ−ＭＴＸ）決定手段２６（以下、Ｌ−ＭＴＸ決定手段２６とする）は、Ｃ−ＭＴＸ２０の光源依存性を解消するように、上で判別された光源の範囲においてＬ−ＭＴＸ１４を最適化するものである。
なお、光源範囲判別手段２４において、撮影光源を一意に確定することができれば、Ｌ−ＭＴＸ１４およびＣ−ＭＴＸ２０は、その光源に対応するものを設定すればよく、特に最適化を行って決定する必要はない。このとき、例えばＬ−ＭＴＸ１４は単位行列にして、Ｃ−ＭＴＸ２０は、予め各光源毎に対応させてメモリに記憶しておいたものから引っ張ってきて設定するようにしてもよい。
【００２６】
図２に、光源範囲判別手段２４の概略構成を示す。
図２に示すように、ＣＣＤ１２には、撮影レンズ３０、赤外光領域をカットするＩＲカットフィルタ３２が設置されている。ＩＲカットフィルタ３２は、フィルタ駆動手段３４によって、撮影光軸上に出し入れされる。
また、ＣＣＤ１２には、撮像素子としてのＣＣＤ１２によって取り込まれたアナログ画像データをデジタル画像データに変換するデータ変換部３６が接続されている。データ変換部３６によってデジタル画像データに変換された画像データは、光源範囲判別手段２４に入力される。
【００２７】
光源範囲判別手段２４は、ＩＲカットフィルタ３２を介さずに取り込まれた画像データ（ＩＲ無画像データ）を格納するＩＲ無画像メモリ３８ａ、ＩＲカットフィルタ３２を介して取り込まれた画像データ（ＩＲ有画像データ）を格納するＩＲ有画像メモリ３８ｂ、ＩＲ有画像データとＩＲ無画像データを比較する画像比較部４０および該画像比較の結果から光源の種類を判別する光源種判別部４２を有している。
【００２８】
撮影レンズ３０とＣＣＤ１２との間に設置されるＩＲカットフィルタ３２は、例えば歯車機構等により構成されるフィルタ駆動手段３４により、撮影光軸に対し出し入れ自在に配置されており、ＩＲカットフィルタ３２を介した画像（ＩＲ有画像）およびＩＲカットフィルタ３２を介さない画像（ＩＲ無画像）を自由に取り込むことが可能である。
例えば、実際の撮影に先立って、シャッタボタンを半押しした状態で、ＩＲカットフィルタ３２を撮影光軸に出し入れして、ＩＲカットフィルタ３２を介して取得した画像（ＩＲ有画像）と、ＩＲカットフィルタ３２を介さずに取得した画像（ＩＲ無画像）の２種類の画像を取得（プレ撮影）し、それぞれＩＲ有画像メモリ３８ｂおよびＩＲ無画像メモリ３８ａに格納する。
画像比較部４０は、ＩＲ有画像とＩＲ無画像を比較して、その画像間の差を算出する。光源種判別部４２は、前記画像間の差に基づいて、光源種を判別する。
【００２９】
以下、光源範囲判別手段２４による光源範囲の判別方法について説明する。
まず、所定のボタン等を操作して、ＩＲカットフィルタ３２を撮影光軸に出し入れして、これから撮影しようとしている同一シーンに対するＩＲ有画像およびＩＲ無画像を取得する。
ＣＣＤ１２によって取得された各画像データはデータ変換部３６でデジタル画像データに変換されて、ＩＲ有画像はＩＲ有画像メモリ３８ｂに、ＩＲ無画像はＩＲ無画像メモリ３８ａにそれぞれ格納される。
【００３０】
次に、画像比較部４０において、上で取得した各画像間の差異を算出する。
ＩＲ有画像をＲ(x,y) 、Ｇ(x,y) 、Ｂ(x,y) とし、また、ＩＲ無画像をＲ'(x,y)、Ｇ'(x,y)、Ｂ'(x,y)とする。そして、両画像間の差異Δを、次の式（１）により算出する。
Δ＝Σ(x,y) ｛｜Ｒ(x,y) −Ｒ'(x,y)｜＋｜Ｇ(x,y) −Ｇ'(x,y)｜＋｜Ｂ(x,y) −Ｂ'(x,y)｜｝／３Σ(x,y)   ・・・・・・（１）
ここで、和Σ(x,y) は、全ての画素（ｘ，ｙ）についてとるものとする。
すなわち、差異Δは、その画像を構成する全ての画素についての、Ｒ、ＧおよびＢの差の平均である。
【００３１】
ところで、タングステン等の黒体輻射に準ずる光源は、赤外光領域に成分を持っているが、蛍光灯は、赤外光領域に殆ど成分を持っていない。従って、この違いを利用することにより、黒体輻射に準ずる光源と蛍光灯とを識別することが可能となる。すなわち、黒体輻射に準ずる光源の場合には、ＩＲカットフィルタ３２を介して取り込んだＩＲ有画像では、赤外光成分が殆どカットされるため、ＩＲカットフィルタ３２を介さずに取り込まれたＩＲ無画像とは、赤外光成分の有無に大きな差が生じる。これに対し、蛍光灯の場合には、もともと赤外光領域に殆ど成分を持たないため、ＩＲ有画像とＩＲ無画像とでそれほど大きな差異は生じない。
そこで、ＩＲ有画像とＩＲ無画像を比較し、画像間で差異Δが所定値ｋａより大きい場合には、黒体輻射に準ずる光源であるとし、また、差異Δが所定値ｋａ以下の場合には、蛍光灯であるとして、光源種を識別することができる。
【００３２】
そこで、次に画像比較部４０において、同一シーンから得られたＩＲ有画像とＩＲ無画像との画像間の差異Δを所定値ｋａと比較する。
比較の結果、差異Δが、所定値ｋａ以下の場合には、光源種判別部４２において、光源の種類は蛍光灯であると判定する。また、差異Δが所定値ｋａより大きい場合には、光源種判別部４２において、光源の種類は黒体輻射に準ずるものであると判定する。
このようにして、光源が黒体輻射に準ずるものであるか、あるいは蛍光灯であるかという大きな光源の範囲の識別が可能となる。
【００３３】
また、図３に光源範囲判別手段の他の例を示す。
図３に示す光源範囲判別手段１２４は、光源の色温度を推定することによって光源の範囲を判別するものである。実際に光源の範囲を判別する際には、前述した図２に示す光源範囲判別手段２４と、この図３に示す光源範囲判別手段１２４のいずれか一方を用いて光源の範囲を判別してもよいし、両方の手段を組み合わせて光源の範囲を判別するようにしてもよい。当然のことながら、両方の手段を用いた方が、光源の範囲を絞ることができる。
【００３４】
図３に示す光源範囲判別手段１２４は、色温度が既知の物体の分光エネルギー分布、測光系の分光感度分布および予め定めた３つの関数の１次結合で表した分光反射率分布の積の積和または積分値で定められた基準値を予め記憶した記憶手段４６と、色温度を推定する撮影光源からの光を測定する測定手段（ＣＣＤ１２）と、前記基準値と測定値との差が最小となる分光反射率分布を色温度毎に演算する分光反射率分布演算手段４４と、前記求めた分光反射率の最大値が１．０を越えた異常成分の和を評価値として演算する評価値演算手段４８と、前記評価値の最小値に対応する色温度を前記色温度を推定する撮影光源の色温度と推定する色温度推定手段５０とを有している。
【００３５】
まず、本光源範囲判別手段１２４による撮影光源の色温度を推定する方法の原理を説明する。
一般的に、色温度Ｔの自然昼光が照明された被写体を撮影した場合のセンサ出力値は、次の式（２）で表すことができる。
ＥijT ＝∫  ＰT ( λ) ρi ( λ) Ｓj ( λ) ｄλ      ・・・（２）
ここで、ＥijT はセンサ出力値、ＰT ( λ) は色温度Ｔの黒体輻射の分光エネルギー分布、ρi ( λ) はｉ番目の被写体の分光反射率分布、Ｓj ( λ) はｊ番目のセンサの分光感度分布である。
なお、上記式（２）の被写体の分光感度分布ρi ( λ) は、データを得るための情報形態によってｉが定まる。すなわち、被写体を撮影したときの撮影画像を想定すると、その撮影画像を縦横に多数に分割した各々の画素から情報を得ることができるので、ｉ番目の画素に対応する被写体の分光反射率分布ρi ( λ) と考えられる。
【００３６】
また、上記式（２）のセンサの分光感度分布Ｓj ( λ) は、一般的には３原色（Ｒ、Ｇ、Ｂ）に対応させてｊ＝３にすることが好ましい。また、このセンサの分光感度分布Ｓj ( λ) は、写真フィルムに適用した場合には写真フィルムの分光感度分布に、ビデオ等の撮像装置に適用した場合には、撮像装置のセンサの分光感度分布に置換することができる。
【００３７】
未知の色温度Ｔ0 で記録されたセンサ出力値データ（Ｅij0)がある場合、その被写体が撮影されたときの撮影光源の色温度を求めることを考えると、次の式（３）に示すように、データＥij0 とセンサ出力値ＥijT の差ΔＥを最小にする色温度が解である。
【数１】
0003863773.tif 000004
【００３８】
上記式（３）の差ΔＥの最小化演算を実行するためには、未知の分光反射率ρi ( λ）を定式化することが必要である。この分光反射率ρi ( λ）は、ａi k を加重係数（未知数）、ｅk ( λ）を固有ベクトルとすると、次の式（４）で示すように、固有ベクトルの加重和で表現できることが知られている。
【数２】
0003863773.tif 000005
【００３９】
従って、上記式（２）は、式（４）を用いて、次の式（５）のように表現することができる。
【数３】
0003863773.tif 000006
【００４０】
各々の色温度でΔＥに最小値を与える加重係数ａi k を用いて、上記式（４）から被写体の分光反射率を復元した場合に得られる分光反射率が負の値になったり、１．０を大幅に越えたりするような特異な現象が生じる。これはつまり、差ΔＥを最小化しようとする時に、演算上で辻褄が合うように、分光反射率ρi ( λ）が異常な値になることが想定される。また、分光反射率は、０≦ρi ( λ）≦１であり、負の値や１．０を越えることはない。これから、異常な分光反射率を用いて撮影光源の色温度を推定することができる。
【００４１】
すなわち、分光反射率ρi ( λ）が１．０を越える程「真の色温度」から、ずれていると想定し、次の式（６）で示す、色温度推定のための評価値Ｖを導入する。なお、式（６）で（  ）内が負のときは、０とするものとする。
【数４】
0003863773.tif 000007
【００４２】
この評価値Ｖを色温度に対してプロットするとＶ字型の窪みを有する特性が得られ、具体的な値を与えてモデル演算した結果と一致する。そこで、上記Ｖ字型の窪みである評価値Ｖの最小値に対応する色温度を撮影光源の色温度と推定することができる。
従って、この原理を用いて図３の光源範囲判別手段１２４により、次のようにして撮影光源の色温度を推定することで光源の範囲を判別することができる。
【００４３】
色温度が既知の物体の分光エネルギー分布、撮像系等の測光系の分光感度分布、および予め定めた３つの関数の１次結合で表した分光反射率分布の積の積和または積分値で定められた基準値を、予め求めて記憶手段４６に記憶しておく。ここで、色温度が既知の物体の分光エネルギー分布としては、黒体輻射の分光エネルギー分布、蛍光ランプの分光エネルギー分布および白熱ランプ等がある。
一方、撮影光源からの光をＣＣＤ１２により測定し、分光反射率分布演算手段４４において、前記基準値と測定値との差が最小になる分光反射率分布を色温度毎に求める。
【００４４】
次に、評価値演算手段４８において、上で求めた分光反射率の最大値が１．０を越えた他異常成分の和を評価値Ｖとして式（６）によって求める。そして、最後に、色温度推定手段５０において、前記評価値Ｖの最小値に対応する色温度を撮影光源の色温度として推定する。
【００４５】
以上説明したように、図２の光源範囲判別手段２４では、撮影光源が黒体輻射に準ずる光源か、蛍光灯かという大まかな光源の範囲を判別することができ、また、図３の光源範囲判別手段１２４では、撮影光源の色温度を推定することにより、撮影光源の範囲を判別することができる。
これら２つの光源範囲判別手段２４および１２４は、いずれか一方のみを用いて光源範囲の判別を行ってもよいし、両方を組み合わせて用いるようにしてもよい。両方を組み合わせることにより、光源の範囲をよりせまく絞り込むことができる。
【００４６】
次にＬ−ＭＴＸの決定方法について説明する。
図４に、Ｌ−ＭＴＸ決定手段２６の概略構成を示す。Ｌ−ＭＴＸ決定手段２６は、光源範囲判別手段２４（１２４）によって判別された光源の範囲において、Ｃ−ＭＴＸ２０の光源依存性を解消するように、Ｌ−ＭＴＸ１４を最適化するものである。
図４に示すように、Ｌ−ＭＴＸ決定手段２６は、光源毎の平均色差算出手段５２、平均色差の最大値算出手段５４、最大値比較手段５６およびＬ−ＭＴＸ設定手段５８を有して構成される。
【００４７】
光源毎の平均色差算出手段５２は、光源範囲判別手段２４で判別された光源の範囲、および予め記憶されている例えばＮＣＳチャート等のデータ、およびＬ−ＭＴＸ設定手段５８によって設定されたＬ−ＭＴＸ１４の係数｛Ｌij（ｉ，ｊ＝１〜３）｝を用いて、上記光源範囲における各光源でＮＣＳチャートを撮影した場合に得られるであろう平均色差を各光源毎に算出する。
【００４８】
平均色差の最大値算出手段５４は、上で算出した、例えばＮＣＳチャートによる各光源毎の平均色差の中から最大のものを算出する。
最大値比較手段５６は、上で算出された各光源毎の平均色差の最大値を最小化するものであり、今算出された最大値を、それ以前の最大値のうち最小のものと比較する。比較の結果、もし今回の最大値の方が小さければ、これを新たに最大値中の最小値として、再度、Ｌ−ＭＴＸ設定手段５８によりＬ−ＭＴＸを設定し直して、光源毎の平均色差の算出および平均色差の最大値の算出を行い、上と同様の操作を繰り返す。このようにして、平均色差の最大値を最小とするようにＬ−ＭＴＸを最適化する。
このようにしてＬ−ＭＴＸ１４が決定される。
【００４９】
また、図５に、Ｌ−ＭＴＸ決定手段の他の例を示す。図５に示すＬ−ＭＴＸ決定手段６０は、光源毎の平均色差の平均値を最小化するようにしてＬ−ＭＴＸを最適化するものである。
Ｌ−ＭＴＸ決定手段６０は、光源毎の平均色差算出手段６２、平均色差の平均値算出手段６４、平均値比較手段６６およびＬ−ＭＴＸ設定手段６８を含んで構成される。
【００５０】
図５のＬ−ＭＴＸ決定手段６０は、光源毎の平均色差の最大値の代わりに光源毎の平均色差の平均値を使うことを除けば、前述した図４のＬ−ＭＴＸ決定手段２６と同様である。
すなわち、光源範囲判別手段２４によって判別された光源の範囲および予め記憶されているＮＣＳチャートのデータおよびＬ−ＭＴＸ決定手段６８で設定されたＬ−ＭＴＸを用いて、光源毎の平均色差算出手段６２で、各光源毎の平均色差を算出する。そして、平均色差の平均値算出手段６４で、光源毎の平均色差の平均値を算出し、平均値比較手段６６で、この平均値を以前に算出された平均値と比較し、Ｌ−ＭＴＸ設定手段６８でＬ−ＭＴＸを再度設定し、上記操作を繰り返し、平均値を最小にするようにしてＬ−ＭＴＸを最適化する。
【００５１】
このように、Ｌ−ＭＴＸ１４を最小化して決定するに当たり、光源毎の平均色差の最大値を最小にするようにしてもよいし、光源毎の平均色差の平均値を最小にするようにしてもよい。
以下、この点について説明する。まず、Ｃ−ＭＴＸ２０を固定化することに起因する色再現誤差について説明する。
【００５２】
基準光源Ｐ0(λ) 下で得られる三刺激値ＸＹＺを、撮影光源Ｐ（λ）下で得られる撮像系露光量の線型結合により、次の式（７）のように近似する。
【数５】
0003863773.tif 000008
【００５３】
ここで、式（７）において、記号（ｕ，ｖ）は、内積（ｕ，ｖ）＝∫ｕ（λ）ｖ（λ）ｄλを表し、記号ｕｖ（λ）は、分光積ｕｖ（λ）＝ｕ（λ）ｖ（λ）を表すものとする。また、ｘ、ｙ、ｚのバー（￣）は等色関数を表し、係数ＣijはＣ−ＭＴＸ２０の係数であり、ｈ（λ）は、被写体分光反射率である。また、ｒ（λ）、ｇ（λ）、ｂ（λ）は、ＣＣＤ分光感度Ｒ（λ）、Ｇ（λ）、Ｂ（λ）およびＬ−ＭＴＸ１４の係数Ｌijを用いて、次の式（８）〜（１０）により規定される撮像系分光感度である。
ｒ（λ）＝Ｌ11・Ｒ（λ）＋Ｌ12・Ｇ（λ）＋Ｌ13・Ｂ（λ）  ・・・（８）
ｇ（λ）＝Ｌ21・Ｒ（λ）＋Ｌ22・Ｇ（λ）＋Ｌ23・Ｂ（λ）  ・・・（９）
ｂ（λ）＝Ｌ31・Ｒ（λ）＋Ｌ32・Ｇ（λ）＋Ｌ33・Ｂ（λ）  ・・・（１０）
【００５４】
上記式（７）の近似式がよく成り立つように、係数Ｃijを決定することで、Ｃ−ＭＴＸ２０が決定される。実際の機器では、基準光源（Ｄ５５）に対して上記式（７）により最適化されたＣ−ＭＴＸ２０がすべての光源に対して固定的に用いられており、Ｃ−ＭＴＸ２０の固定化が光源依存性の一因となっている。そこで、Ｌ−ＭＴＸをうまく選ぶことによって、この光源依存性を解消しようとするものである。
【００５５】
被写体分光反射率ｈ（λ）に対して、基準光源Ｐ0(λ) 下の露光量から計算される三刺激値をＸ、Ｙ、Ｚとし、撮影光源Ｐ（λ）下の露光量から計算される三刺激値をＸ’、Ｙ’、Ｚ’とすると、色変換係数の固定化に起因するΔａ* は、次の式（１１）で評価できる。
【数６】
0003863773.tif 000009
【００５６】
また、同様に、色変換係数の固定化に起因するΔｂ* は、次の式（１２）で評価できる。
【数７】
0003863773.tif 000010
【００５７】
従って、適当な定数を用いれば、色再現誤差は、次の式（１３）で評価することができる。
【数８】
0003863773.tif 000011
【００５８】
ところで、通常デジタルカメラの場合には、ＡＥ（オートエクスポージャ）機構があり、明るさを調整しているため、Ｌ* は実質的にキャンセルされているため、ΔＥについては、Δａ* とΔｂ* のみを考えればよく、ΔＥは次の式（１４）で与えられる。
ΔＥ＝｛（Δａ* ）2   ＋  （Δｂ* ）2 ｝1/2     ・・・（１４）
これにより、式（１３）の右辺を最小化すれば、色差ΔＥを最小化することができる。
【００５９】
なお、式（１３）からわかるように、この式には被写体ｈ（λ）が入っておらず、ＮＣＳチャートのような特定のチャート等のデータを用いる必要はなく、光源の範囲のデータがあれば、式（１３）の右辺を最小とするように最適化することで、Ｌ−ＭＴＸを決定することができる。
【００６０】
実際には、式（１３）の右辺について、複数の光源Ｐm 中の最大値ｍａｘm をとって、次式（１５）を最小化するようにして、前記Ｌ−ＭＴＸを決定するようにすればよい。
【数９】
0003863773.tif 000012
【００６１】
あるいは、式（１３）の右辺の平均値を最小化するようにしてもよい。右辺の平均値を最小化することと、各光源Ｐm についての和を最小化することとは同値であるので、次の式（１６）で表される和Σm を最小化するようにして、前記Ｌ−ＭＴＸを決定するようにしてもよい。
【数１０】
0003863773.tif 000013
【００６２】
このように、光源範囲判別手段２４およびＬ−ＭＴＸ決定手段２６を画像撮影装置１０に搭載したことで、撮影時に撮影光源の範囲を判別し、即座にこれに対応した最適なＬ−ＭＴＸを決定することができるため、Ｃ−ＭＴＸ２０を基準光源に対応したものとして固定していても、撮影光源に依存することなく、品質のよい画像をモニタ２２に表示することができる。
【００６３】
実際に画像撮影装置１０で撮影を行う場合には、撮影前（撮影時）に、撮影シーンに対して画像撮影装置１０を向けて、撮影光源の範囲を判別し、判別した撮影光源の範囲においてＬ−ＭＴＸ１４を最適化して決定する。そして画像を撮影すると最適化して設定されたＬ−ＭＴＸ１４およびＣ−ＭＴＸ２０等により色変換（色補正）が行われ、高品質の画像がモニタ２２に表示される。
【００６４】
ところで、Ｌ−ＭＴＸ１４は、上述したように、その都度最適化により算出して決定せずに、各所定範囲の光源に対して、予め最適化されたＬ−ＭＴＸ１４を算出して、それを持たせておき、判別された光源の範囲に応じて切り換えるようにしてもよい。
【００６５】
以上説明したように、本実施形態によれば、色補正マトリクスを２つ備えていることの特徴を活かしてマトリクス（Ｌ−ＭＴＸ）を決定し、画像撮影装置の光源依存性を解消し、固定されたＣ−ＭＴＸにおいても、撮影光源を気にすることなく撮影を行い、ホワイトバランスや色補正が適正に行われた高品質な表示画像を得ることが可能となった。
【００６６】
なお、上記実施形態では、撮像素子としてＣＣＤを用い、ＣＣＤで被写体を撮像して画像を入力したが、撮像素子は、ＣＣＤに限定されるものではなく、ＣＣＤ以外にも、ＣＭＯＳやフォトマルチプライヤ（光電子増倍管）等も好適に利用することができる。
さらに、本発明は、このように撮像素子によって被写体を撮像して得られた画像データの他、印刷原稿をスキャナによって収録して得られた画像データに対しても適用可能である。また、この場合には、前記式（１５）あるいは前記式（１６）におけるｒ、ｇ、ｂは、実効的な入力分光感度を表すものとする。
【００６７】
以上、本発明の画像撮影方法および装置について、詳細に説明したが、本発明は、以上の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよいのはもちろんである。
【００６８】
【発明の効果】
以上説明した通り本発明によれば、画像撮影装置の光源依存性を解消し、ホワイトバランスや色補正が適正に行われた、高品質な画像を得ることが可能となった。
【図面の簡単な説明】
【図１】  本発明に係る画像撮影装置の一実施形態の概略構成を示すブロック図である。
【図２】  本実施形態における光源範囲判別手段の概略構成を示すブロック図である。
【図３】  本実施形態における光源範囲判別手段の他の例の概略構成を示すブロック図である。
【図４】  本実施形態におけるＬ−ＭＴＸ決定手段の概略構成を示すブロック図である。
【図５】  本実施形態におけるＬ−ＭＴＸ決定手段の他の例の概略構成を示すブロック図である。
【図６】  従来の画像撮影装置における色処理系の概略を示すブロック図である。
【符号の説明】
１０  画像撮影装置
１２  ＣＣＤ
１４  第１マトリクス（Ｌ−ＭＴＸ）
１６  ホワイトバランス回路
１８  γ回路
２０  第２マトリクス（Ｃ−ＭＴＸ）
２２  モニタ
２４  光源範囲判別手段
２６、６０  Ｌ−ＭＴＸ決定手段
３０  撮像レンズ
３２  ＩＲカットフィルタ
３４  フィルタ駆動手段
３６  データ変換部
３８ａ  ＩＲ無画像メモリ
３８ｂ  ＩＲ有画像メモリ
４０  画像比較部
４２  光源種判別部
４４  分光反射率分布演算手段
４６  記憶手段
４８  評価値演算手段
５０  色温度推定手段
５２、６２  光源毎の平均色差算出手段
５４  平均色差の最大値算出手段
５６  最大値比較手段
５８、６８  Ｌ−ＭＴＸ設定手段
６４  平均色差の平均値算出手段
６６  平均値比較手段
【図１】
0003863773.tif 000014
【図２】
0003863773.tif 000015
【図３】
0003863773.tif 000016
【図４】
0003863773.tif 000017
【図５】
0003863773.tif 000018
【図６】
0003863773.tif 000019