(57)【要約】【課題】撮像素子の特性評価を適切に行うことができる撮像素子の特性評価方法を提供すること。【解決手段】撮像素子の分光感度特性に基づいて撮像素子から出力される信号を所定の色空間で色再現するための色変換特性を求め、撮像素子の分光感度特性と所定の撮影条件に基づいて撮像素子から出力される信号のゆらぎを推定し、推定されたゆらぎを有する信号を求められた色変換特性を使用して所定の色空間へ色変換し、信号のゆらぎを所定の色空間で評価して撮像素子のノイズ特性評価値を算出する。ことを特徴とするものである。【選択図】図１
2008085975.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子の特性評価方法であって、
撮像素子の分光感度特性に基づいて、前記撮像素子から出力される信号を所定の色空間で色再現するための色変換特性を求め、
前記撮像素子の分光感度特性と所定の撮影条件に基づいて、前記撮像素子から出力される信号のゆらぎを推定し、
前記推定されたゆらぎを有する信号を前記求められた色変換特性を使用して前記所定の色空間へ色変換し、
前記信号のゆらぎを前記所定の色空間で評価して前記撮像素子のノイズ特性評価値を算出することを特徴とする撮像素子の特性評価方法。
【請求項２】
請求項１に記載の撮像素子の特性評価方法において、
前記撮像素子の分光感度特性に基づいて、前記撮像素子から出力するとされる信号を求め、
前記撮像素子から出力するとされる信号を前記求めた色変換特性を使用して前記所定の色空間で色再現し、前記色再現した信号と前記所定の色空間での色再現の目標値との誤差を評価して前記撮像素子の色再現性評価値を算出することを特徴とする撮像素子の特性評価方法。
【請求項３】
請求項２に記載の撮像素子の特性評価方法において、
前記算出したノイズ特性評価値と前記算出した色再現性評価値と前記分光感度特性とを変数としたグラフを出力することを特徴とする撮像素子の特性評価方法。
【請求項４】
請求項２または３に記載の撮像素子の特性評価方法において、
前記算出したノイズ特性評価値と前記算出した色再現性評価値と前記分光感度特性を参照して前記撮像素子の特性を評価することを特徴とする撮像素子の特性評価方法。
【請求項５】
請求項４に記載の撮像素子の特性評価方法において、
前記ノイズ特性評価値によりノイズ量が多いと判断される場合は、前記色再現性評価値より前記ノイズ特性評価値を重視して前記撮像素子の特性を評価することを特徴とする撮像素子の特性評価方法。
【請求項６】
請求項１に記載の撮像素子の特性評価方法において、
前記撮像素子から出力される信号を、前記所定の色空間中で指定された座標から前記求めた色変換特性の逆変換を行うことにより求めることを特徴とする撮像素子の特性評価方法。
【請求項７】
撮像素子の特性を評価する撮像素子特性評価装置であって、
撮像素子の分光感度特性に基づいて、前記撮像素子から出力される信号を所定の色空間で色再現するための色変換特性を求める色変換特性算出手段と、
前記撮像素子の分光感度特性と所定の撮影条件に基づいて、前記撮像素子から出力される信号のゆらぎを推定する信号のゆらぎ推定手段と、
前記推定されたゆらぎを有する信号を前記求められた色変換特性を使用して前記所定の色空間へ色変換し、前記信号のゆらぎを前記所定の色空間で評価して前記撮像素子のノイズ特性評価値を算出するノイズ特性評価値算出手段とを備えることを特徴とする撮像素子特性評価装置。
【請求項８】
請求項７に記載の撮像素子特性評価装置において、
前記撮像素子の分光感度特性に基づいて前記撮像素子から出力するとされる信号を求め、前記撮像素子から出力するとされる信号を前記求めた色変換特性を使用して前記所定の色空間で色再現し、前記色再現した信号と前記所定の色空間での色再現の目標値との誤差を評価して前記撮像素子の色再現性評価値を算出する色再現性評価値算出手段をさらに備えることを特徴とする撮像素子特性評価装置。
【請求項９】
請求項８に記載の撮像素子特性評価装置において、
前記算出したノイズ特性評価値と前記算出した色再現性評価値と前記分光感度特性とを変数としたグラフを出力するグラフ出力手段をさらに備えることを特徴とする撮像素子特性評価装置。
【請求項１０】
請求項７に記載の撮像素子特性評価装置において、
前記所定の色空間中の任意の座標を指定する色座標指定手段と、
前記色座標指定手段により指定された座標を前記求めた色変換特性の逆変換を行うことにより前記撮像素子から出力される信号を求める色座標逆変換手段とをさらに備えることを特徴とする撮像素子特性評価装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の特性評価方法に関する。
【背景技術】
【０００２】
デジタルカメラは、高画素化がすすみ、1画素あたりのピッチが小さくなって来ている。ピクセルピッチ2μｍというセンサーも開発されている。その一方、デジタルカメラになって撮影毎に感度設定が出来て、より高感度設定で撮影される事が増えている。屋内スポーツではISO1600やISO3200で十分な画質を得られる事が要求されているし、一画素あたりの面積の小さいコンパクトデジタルカメラでも、近年はISO1600やISO3200で撮影できる事が求められている。
【０００３】
画素ピッチが小さいセンサーで高感度設定撮影を行うと1画素あたりの光エネルギーは少なくなる。すると、ショットノイズによるS/N限界が顕著になるので、ショットノイズを考慮したカラーイメージセンサーの分光感度特性の評価が必要である。このようなカラーイメージセンサーの分光感度特性の評価を、色再現特性とノイズ特性の両面から評価する手法が提案されている（非特許文献１）。  
【０００４】
【非特許文献１】水倉貴美、加藤直哉、西尾研一、「ノイズを考慮したCCD カラーフィルタ分光感度の評価方法」、カラーフォーラム2003、2003年、p.29-32
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１の手法では、ノイズ特性による評価値を求めるとき、評価対象の撮像素子の分光感度特性が考慮されていない。従って、ノイズ特性の評価が必ずしも十分なものではなく、また、色再現特性とノイズ特性の両面から評価する場合に、色再現特性とノイズ特性の相関が必ずしも十分に取れた評価とはなっていないという問題がある。
【課題を解決するための手段】
【０００６】
請求項１の発明は、撮像素子の特性評価方法に適用され、撮像素子の分光感度特性に基づいて、撮像素子から出力される信号を所定の色空間で色再現するための色変換特性を求め、撮像素子の分光感度特性と所定の撮影条件に基づいて、撮像素子から出力される信号のゆらぎを推定し、推定されたゆらぎを有する信号を求められた色変換特性を使用して所定の色空間へ色変換し、信号のゆらぎを所定の色空間で評価して撮像素子のノイズ特性評価値を算出することを特徴とするものである。
請求項２の発明は、請求項１に記載の撮像素子の特性評価方法において、撮像素子の分光感度特性に基づいて、撮像素子から出力するとされる信号を求め、撮像素子から出力するとされる信号を求めた色変換特性を使用して所定の色空間で色再現し、色再現した信号と所定の色空間での色再現の目標値との誤差を評価して撮像素子の色再現性評価値を算出することを特徴とするものである。
請求項３の発明は、請求項２に記載の撮像素子の特性評価方法において、算出したノイズ特性評価値と算出した色再現性評価値と分光感度特性とを変数としたグラフを出力することを特徴とするものである。
請求項４の発明は、請求項２または３に記載の撮像素子の特性評価方法において、算出したノイズ特性評価値と算出した色再現性評価値と分光感度特性を参照して撮像素子の特性を評価することを特徴とするものである。
請求項５の発明は、請求項４に記載の撮像素子の特性評価方法において、ノイズ特性評価値によりノイズ量が多いと判断される場合は、色再現性評価値よりノイズ特性評価値を重視して撮像素子の特性を評価することを特徴とするものである。
請求項６の発明は、請求項１に記載の撮像素子の特性評価方法において、撮像素子から出力される信号を、所定の色空間中で指定された座標から求めた色変換特性の逆変換を行うことにより求めることを特徴とするものである。
請求項７の発明は、撮像素子の特性を評価する撮像素子特性評価装置に適用され、撮像素子の分光感度特性に基づいて、撮像素子から出力される信号を所定の色空間で色再現するための色変換特性を求める色変換特性算出手段と、撮像素子の分光感度特性と所定の撮影条件に基づいて、撮像素子から出力される信号のゆらぎを推定する信号のゆらぎ推定手段と、推定されたゆらぎを有する信号を求められた色変換特性を使用して所定の色空間へ色変換し、信号のゆらぎを所定の色空間で評価して撮像素子のノイズ特性評価値を算出するノイズ特性評価値算出手段とを備えることを特徴とするものである。
請求項８の発明は、請求項７に記載の撮像素子特性評価装置において、撮像素子の分光感度特性に基づいて撮像素子から出力するとされる信号を求め、撮像素子から出力するとされる信号を求めた色変換特性を使用して所定の色空間で色再現し、色再現した信号と所定の色空間での色再現の目標値との誤差を評価して撮像素子の色再現性評価値を算出する色再現性評価値算出手段をさらに備えることを特徴とするものである。
請求項９の発明は、請求項８に記載の撮像素子特性評価装置において、算出したノイズ特性評価値と算出した色再現性評価値と分光感度特性とを変数としたグラフを出力するグラフ出力手段をさらに備えることを特徴とするものである。
請求項１０の発明は、請求項７に記載の撮像素子特性評価装置において、所定の色空間中の任意の座標を指定する色座標指定手段と、色座標指定手段により指定された座標を求めた色変換特性の逆変換を行うことにより撮像素子から出力される信号を求める色座標逆変換手段とをさらに備えることを特徴とするものである。
【発明の効果】
【０００７】
本発明は以上のように構成するので、撮像素子の分光感度特性に応じて撮像素子の特性評価を適切に行うことができる。
【発明を実施するための最良の形態】
【０００８】
−第１の実施の形態−
本発明の一実施の形態であるカラー撮像素子特性評価方法について説明する。本実施の形態で評価の対象として想定するカラー撮像素子は、例えばＣＣＤなどから構成され、所定の配列（例えばRGBベイア配列）の色フィルタが搭載されたカラー撮像素子である。このように想定したカラー撮像素子の色再現特性とノイズ特性を色チャンネル毎の分光感度または量子効率から求め、色再現特性の評価値とノイズ特性の評価値の二つの評価値で、想定したカラー撮像素子の特性を評価する。
【０００９】
図１は、本実施の形態におけるカラー撮像素子特性評価方法の概要を示す図である。想定するカラー撮像素子の分光感度特性よりノイズ成分を考慮しないで所定色空間において色再現するための色変換特性を求め（処理１）、この色変換による変換誤差を所定色空間で評価したものを第一の評価値とする。上記想定した分光感度特性に所定の撮影条件でのノイズを考慮して信号の揺らぎ（ノイズ）を推定し（処理２）、揺らぎを考慮した信号を上記求めた色変換特性で色変換し（処理３）、該色空間でのノイズによる揺らぎの大きさを第二の評価値とする。そして第一の評価値と第二の評価値とを用いて、想定したカラー撮像素子の分光感度特性の評価を行う（処理４）。
【００１０】
−色再現性評価値−
まず、二つの評価値のうちの色再現性評価値について説明する。カラー撮像素子の色チャンネル毎の分光感度と所定の光源の分光強度と所定の複数の分光反射率、そしてそれら複数の分光反射率に対応する所定の色空間での目標値とを用いて撮像素子で得られる複数の色チャンネル信号(カメラRGB)を所定の色空間の目標値へ変換する色変換マトリックスを決定する。これはカラーマッチングの通常の手法を用いて行えば良いが以下に例を示す。
【００１１】
まず、与えられた光源の相対分光強度Ir(λ)でのXwYwZwを、等色関数xバー,yバー,zバーを使い、求める。積分は可視光の波長範囲で行う。この相対分光強度は、例えば黒体放射の分光分布やCIE標準光源D65の分光分布であってもよい。
【数１】
2008085975.tif 000003
【００１２】
そして、所定の分光反射率RjのXYZを求める。
【数２】
2008085975.tif 000004
【００１３】
そして、次の式よりL*a*b*に変換する。これにより、所定の色空間L*a*b*での色再現の目標値が求まる。
【数３】
2008085975.tif 000005
【００１４】
一方、撮像素子のチャンネルiの分光感度Si(λ), i = 1; 2; 3 のそれぞれのチャンネルの出力を次式より求める。分光感度Si(λ)は、後述するようにガンマ関数を使用して設定する。積分はセンサーが感度を有する波長範囲で行う。
【数４】
2008085975.tif 000006
【００１５】
また、ホワイトバランス係数は反射率R = 1としたときの信号強度比で得られるので式(8)よりWiを求める。
【数５】
2008085975.tif 000007
【００１６】
そして、得られた信号にホワイトバランス処理を行う(式9)。
【数６】
2008085975.tif 000008
【００１７】
この信号Siを3×3のマトリクスMを使ってXYZに変換する。まずマトリクスMに適当な初期値を設定する。マトリクスMには9個のパラメータがあるが、式(11),(12),(13)の制限をつけているので6自由度になる。
【数７】
2008085975.tif 000009
【００１８】
そして所定の分光反射率の物体を撮影した時のセンサー出力Si(j)をマトリクスMで変換しXYZの近似値X'Y'Z'を求める。
【数８】
2008085975.tif 000010
【００１９】
そして、L'*a'*b'*に変換する。
【数９】
2008085975.tif 000011
【００２０】
次に、色変換マトリクスMによる誤差（色差）ΔEを求める。
【数１０】
2008085975.tif 000012
【００２１】
そして、マトリクスMをこのΔEを最小化するように求めて色変換マトリクスMが求まる。また、このようにして求めた色変換マトリクスMでのΔEを色再現性評価値とする。ここでは色変換が3×3マトリクスMによる線形な変換であるが、非線形な変換でもよいし、変換テーブルを使った変換でもよい。また、色変換を求める分光反射率サンプルと色再現性評価値を求める分光反射率サンプルとが同じであるが、異なるサンプルを用いてもよい。
【００２２】
−ノイズ特性評価値−
（光エネルギーの推定）
次に、二つの評価値のうちのノイズ特性評価値について説明する。まず、評価する際の撮影条件、具体的にはISO感度設定を決め、このISO感度の時の像面輝度を計算し、像面へ到達する光エネルギーを求める。
【００２３】
ISO/TC42/N5220 ISO/ISO12232:2005, 2005-10-03によると、Exposure Index(EI)は
【数１１】
2008085975.tif 000013
Aは有効F値、Laはシーン輝度(cd/m2)、tは露出時間
とあり、今、ISO100の設定で80cd/m2のものを絞りF8で撮影する時には適正露出を与える露光時間は
【数１２】
2008085975.tif 000014
となる。
【００２４】
これは像面より1m前に半径1/(2F)=(1/16)mの円盤が80cd/m2で光っている事に相当する。図２は、この様子を説明するレンズ模式図を示す図である。像面からその円盤を見込む立体角sはs = 2π{1-L/√(L2 + R2)}なので、ISO100の時の像面での光エネルギーE100 (J/m2)はcdの定義が立体角あたり1/683(W)である事から次式となる。すなわち、心理量から物理量に変換される。
【数１３】
2008085975.tif 000015
【００２５】
また、光源の相対分光強度Ir(λ)を考えて、等色関数yバー(λ)よりこの光源の輝度IY(cd/m2)は
【数１４】
2008085975.tif 000016
となるが、Ir(λ)は相対的な値で表されているので、E100を使い、ISO100での係数kは
【数１５】
2008085975.tif 000017
とする事で所定の輝度の光源の分光分布が求まる。
【００２６】
ただし、E100は適正露出の場合のエネルギーなので、光源の場合は5倍して
【数１６】
2008085975.tif 000018
とする。そして、ある感度設定の場合は
【数１７】
2008085975.tif 000019
とする。
【００２７】
つまり、ある光源の相対分光強度Ir(λ)を与えた時にある所定のISO感度での光のエネルギーの分光強度は
【数１８】
2008085975.tif 000020
とすればよい。すなわち、ISO感度を考慮に入れた光源の分光強度I(λ)が求まる。
【００２８】
（フォトン数の推定方法）
光源の分光強度I(λ)、物体の分光反射率R(λ)、とすると、その物体で反射した波長λの光の単位面積、単位波長あたりのエネルギーはI(λ)R(λ)dλとなる。センサーのピクセルピッチa、量子効率Qi(λ)より、検出されるフォトン数Ciは
【数１９】
2008085975.tif 000021
となる。ｈはブランク定数、ｃは光速である。量子効率Qi(λ)(%)は分光感度Si(λ)と
【数２０】
2008085975.tif 000022
の関係があるとされている。
【００２９】
しかし、分光感度が相対的で示される事が多い。そこで、相対的分光感度S'i(λ)よりQ'i(λ) = S'i(λ)／λを求め、適当な最大量子効率Qmaxを仮定してスケーリングしてもよい。例えばGreen画素(S2の分光感度特性をもつ画素)の最大量子効率を0.5になるように一律にスケーリングする。
【００３０】
（ノイズ特性評価値）
ある光源I(λ)のもとで、ある被写体R(λ)を撮影した時のカラー撮像素子の各チャンネルでのフォトン数Ciは、それぞれのチャンネルの量子効率Qi(λ)に対して式28を用いれば求められる。すなわち、フォトン数Ciは、光源の分光強度I(λ)、物体の分光反射率R(λ)、撮像素子の分光感度Si(λ)などに基づいて求められる。そして実際に観測されるフォトン数はPoisson分布をする。これがフォトンショットノイズである。またフォトン数が多い時にはPoisson分布は平均値Ci、標準偏差√CiのGauss分布でよく近似できるので、このGauss分布で扱ってもよい。
【００３１】
ノイズ評価に用いる分光反射率をR(λ)とし、式28より各チャンネルのフォトン数Ciが計算できて、その標準偏差σi = √Ciを求める事が出来る。また、分光反射率100%の場合のフォトン数Cw,iを求める。そして、色再現性評価値の算出で求めてある色変換Mを使ってXYZに変換し、さらにL*a*b*に変換する。
【数２１】
2008085975.tif 000023
【００３２】
Ciにはノイズ成分σiがあるので、これがL*a*b*のゆらぎへ変換される。この揺らぎがノイズ特性評価値となる。例えば、Ciが求まると、Ciをそれぞれ平均値Ci,標準偏差√CiのGauss分布をするように多くのサンプルを発生させ、発生させたそれぞれの値をL*a*b*に変換し、得られたL*a*b*の標準偏差ΔEnoiseを求め、これをノイズ特性評価値とする。
【数２２】
2008085975.tif 000024
【００３３】
なお、ショットノイズだけでなく、暗電流ノイズ等を考慮するには、各チャンネル毎のノイズ成分σiに暗電流のノイズ成分σdを考慮し、ノイズ成分を
【数２３】
2008085975.tif 000025
とすればよい。
【００３４】
−分光感度の評価−
（ショットノイズパラメータ）
ショットノイズに関するパラメータは、センサーの一画素の大きさを示すピクセルピッチと、撮影基準光量を決めるISO感度である。一画素に入射するフォトンのエネルギーはピクセルピッチの二乗(画素面積)に比例し、ISO感度に反比例するので、ショットノイズの関するパラメータはPを式(36)と定義する。ただし、lはピクセルピッチでsはISO感度である。図３は、パラメータPとピクセルピッチ2,4,8μmの時の対応ISO感度を表した表である。
【数２４】
2008085975.tif 000026
【００３５】
（分光感度パラメータ）
センサーのRGB分光感度は、まず基本感度分布をそれぞれ中心波長650（赤）,550（緑）,450nm（青）の以下で示すガウス関数とし、その幅σλを変更する。
【数２５】
2008085975.tif 000027
そして、基本感度分布とIRCut（赤外線カット）フィルタ特性とを乗じたものをセンサーのRGB分光感度とする。図４は、本実施の形態で使用するIR Cutフィルタ特性を示す図である。図５は、このようにして設定するRGB分光感度を示す図であり、図５（ａ）はσλ=20の場合、図５（ｂ）はσλ=50の場合、図５（ｃ）はσλ=80の場合の分光感度を示す図である。
【００３６】
（分光感度の評価処理）
図６は、上記説明した色再現性評価値およびノイズ特性評価値を求め、求めた結果をモニタにグラフで提示する撮像素子特性評価装置を示す図である。撮像素子特性評価装置は、パーソナルコンピュータなどのコンピュータ１で実現される。コンピュータ１は、ＣＤ−ＲＯＭなどの記録媒体２や他のコンピュータ３などと接続され、各種のデータの提供を受ける。コンピュータ１は、提供されたデータを使用して上記説明した処理を行う。コンピュータ３は、インターネットやその他の電気通信回線４を経由して接続される。
【００３７】
コンピュータ１が処理のために実行するプログラムは、図６の構成と同様に、ＣＤ−ＲＯＭなどの記録媒体や、インターネットやその他の電気通信回線を経由した他のコンピュータから提供され、コンピュータ１内にインストールされる。コンピュータ１は、ＣＰＵ（不図示）およびその周辺回路（不図示）とモニタ１１などから構成され、ＣＰＵがインストールされたプログラムを実行する。
【００３８】
図７は、図６のコンピュータ１が実行する処理プログラムのフローチャートを示す図である。ステップＳ１では、光源情報、分光反射率、評価する際の撮影条件などの各種データを取得する。ステップＳ２では、パラメータPを設定する。パラメータPは、前述した図３のパラメータを順次設定する。順次設定するとは、ステップＳ２であるパラメータPを設定した後、ステップＳ３以降の処理がなされ、次にループが回ってきたとき他のパラメータを設定することを言う。
【００３９】
ステップＳ３では、分光感度を前述したガウス関数とし、幅σλを順次設定し異なる分光感度の特性を順次設定する。順次設定するとは、ステップＳ２と同様に、ステップＳ３である幅σλを設定した後、ステップＳ４以降の処理がなされ、次にループが回ってきたとき次の幅σλを設定することを言う。本実施の形態では、σλ = 20-80nmの範囲で5nmステップで順次設定する。
【００４０】
ステップＳ４では、上記色再現性評価値のところで説明したようにして測色性の評価値（色再現性評価値）を求める。すなわち、ステップＳ３で設定した分光感度特性での最適な色変換マトリクスMを求め、この色変換マトリクスMでの平均色差ΔEを求め、この平均色差ΔEを測色性の評価値（色再現性評価値）とする。
【００４１】
ステップＳ５では、上記ノイズ特性評価値のところで説明したようにして、ノイズ量の評価値（ノイズ特性評価値）を求める。すなわち、ステップＳ１で取得した撮影条件、光源情報、分光反射率や、ステップＳ３で設定した分光感度特性、ステップＳ４で求めた色変換マトリクスMなどに基づき、ノイズによるL*a*b*の標準偏差(ΔEnoise)を求め、これをノイズ量の評価値（ノイズ特性評価値）とする。
【００４２】
ステップＳ６では、ステップＳ３で設定する分光感度の幅σλが予定していたものすべて終了したかどうかを判断する。すべて終了した場合は、ステップＳ７に進み、まだ終了していない場合はステップＳ３に戻り処理を繰り返す。
【００４３】
ステップＳ７では、ステップＳ２で設定するパラメータPが予定していたものすべて終了したかどうかを判断する。すべて終了した場合は、ステップＳ８に進み、まだ終了していない場合はステップＳ２に戻り処理を繰り返す。
【００４４】
ステップＳ８では、ステップＳ４で求めた測色性の評価値（色再現性評価値）とステップＳ５で求めたノイズ量の評価値（ノイズ特性評価値）を分光感度の幅σλごとにプロットした１本の線グラフをコンピュータ１のモニタ１１に表示する。さらに、パラメータPをパラメータにして複数の線グラフをコンピュータ１のモニタ１１に表示する（後述する図８を参照）。ユーザは、このようにしてグラフ表示された測色性の評価値（色再現性評価値）とノイズ量の評価値（ノイズ特性評価値）を参照し、想定したカラー撮像素子の特性を評価する。
【００４５】
−シミュレーション結果−
（パラメータP依存性）
光源を6500Kの黒体放射とし、ISO/TC42/N5202 ISO/DIS17321-1, 2005-07-20 Table B.1 の8種類の分光反射率データに対して、上記説明したように、RGB分光感度の幅σλを設定してカメラRGBをXYZに変換する3×3マトリクスを求める。そして、このマトリクスでの平均色差ΔEを測色性の評価値とする。また、その光源での20%の一様反射率の物体を撮影した時のカメラRGB値とショットノイズパラメータPに対応したノイズの標準偏差をカメラRGB分光感度から求め、色変換マトリクスを使い、ノイズによるL*a*b*の標準偏差(ΔEnoise)を求め、これをノイズ量の評価値とする。
【００４６】
図８は、前述した方法により、パラメータP = 16, 4, 1の場合にσλ = 20-80nmの5nmステップについて測色性(ΔE)とノイズの標準偏差(ノイズ量ΔEnoise)を調べた結果を示すグラフである。パラメータPはフォトンエネルギーの大きさを表すパラメータであり、Pが1/4になると、フォトンエネルギーが1/4になり、S/Nが1/2になり、ノイズ評価値が2倍になる。図８で、P = 16のグラフに対し、P = 4ではノイズが2倍になり、P = 1では4倍になっている。つまりフォトンエネルギーパラメータPに対しては、その1/√Pに比例してノイズが増える。
【００４７】
さて、分光感度の最適化を考えた場合、ノイズ量が少ない時は色再現性を重視し、ノイズ量が多い時は色再現性よりもノイズ量を重視するのが適当だと思われる。すると、図８において、P = 16の時は最もΔEが小さい所に対応するσλが最適な分光感度パラメータである。そして、P = 1の時はnoiseが最も小さくなる所に対応するσλが最適な分光感度パラメータになる。
【００４８】
図８の各々の線はσλ= 20が一番右の場所になり、そこからΔEが小さくなりながらnoiseも小さくなり、σλ = 40でnoise が最も小さくなり、さらにΔEが小さくなりつつnoiseが増え、σλ= 70で最もΔEが小さくなる。そしてさらにσλを大きくするとnoiseもΔEも大きくなる。従って、P = 16(ピクセルピッチ4μmではISO100, ピクセルピッチ8μmではISO400)の時はσλ=70が最適な分光感度を与え、P = 1(ピクセルピッチ4μmではISO1600,ピクセルピッチ8μmではISO6400)の時はσλ= 40が最適な分光感度を与える。
【００４９】
図９は、２つのパラメータにおいて最適なRGB分光感度を示す図である。図９（ａ）はP=16の場合の最適な分光感度（σλ=70）を示し、図９（ｂ）はP=1の場合の最適な分光感度（σλ=40）を示す図である。
【００５０】
（光源色温度依存性）
図１０、図１１は、光源を変えた時の色再現性とノイズの関係を調べた結果を示す図である。図１２は、図１０、図１１の結果に対する色再現性最適化をした場合のσλとノイズ最適化した場合のσλを示す表である。
【００５１】
色温度を3500Kから11000Kまで変えると、色温度が高くなるにつれ色再現性のσλ依存性が大きくなる(図１０、図１１)が、ノイズ最適なσλはあまり変わらないと言える。色再現性最適なσλは5000Kでもっとも広く、それより色温度が低くなっても高くなっても狭くなる傾向がある(図１２)。これは分光感度の赤外や紫外付近の影響だと思われる。
【００５２】
特に、色温度が高くなるほどΔEの最小値が小さくなっているので、赤外の影響が大きいと思われる。また、ノイズ量ΔEnoiseの最小値は5000Kで最小になり、それより色温度が高くても低くても大きくなっている。これは色温度の高い領域ではR成分の画素値が小さくなり、ホワイトバランスゲインが大きくなる結果R成分のノイズが大きくなり、逆に色温度の低い領域ではB成分のノイズが大きくなるためだと思われる。
【００５３】
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）撮像素子の分光感度特性に基づいて、撮像素子のノイズ特性評価値を求めるようにしたので、撮像素子の分光感度特性が反映された適切なノイズ特性評価値を撮像素子の特性の評価に使用することができる。さらに、ノイズ特性評価値と色再現性評価値の両方の評価値を使用して撮像素子の特性を評価するとき、双方とも同じ分光感度特性を考慮するので、より適切に相関が取れ、撮像素子の特性をより適切に評価することができる。
【００５４】
（２）撮像素子の分光感度特性と所定の撮影条件に基づいて、撮像素子から出力される信号のゆらぎを推定し、推定されたゆらぎを有する信号を色再現に使用する色変換マトリックスと同じ色変換マトリックスを使用して色変換し、信号のゆらぎを評価するようにした。これにより、色再現の目的とする色空間で、その色空間に伝播してくるノイズを適切に評価することができる。また、ノイズ特性評価値と色再現性評価値の両方の評価値を使用して撮像素子の特性を評価するとき、より適切に相関が取れ、撮像素子の特性をより適切に評価することができる。
【００５５】
（３）ノイズ特性評価値（ΔEnoise）と色再現性評価値（ΔE）と分光感度特性（幅σλ）とを変数（パラメータ）にしたグラフを出力するので、ビジュアルに直感的に撮像素子の特性の評価を行うことができる。図８の例では、縦軸にノイズ特性評価値、横軸に色再現性評価値をとり、撮像素子の分光感度ごとに求められるノイズ特性評価値と色再現性評価値をプロットし1本のグラフを示している。撮像素子の分光感度σλは、20-80nmの範囲で5nmステップで刻まれている。縦軸のノイズ特性評価値は下方向の方がノイズが少ないことを示し、横軸の色再現性評価値は左方向の方が誤差が少ないことを示している。これにより、パラメータP=1の場合、幅σλ=40の分光感度特性のときノイズ特性評価値（ΔEnoise）が最も小さく、幅σλ=70の分光感度特性のとき色再現性評価値（ΔE）が最も小さいことが、直感的に分かる。従って、撮像素子の特性を出力されたグラフを見ることにより直感的に行うことができる。
【００５６】
（４）図８の例では、さらに複数のパラメータP（P=1,4,16）に対応した複数のグラフが表示されている。これにより、異なるパラメータP間の相関も直感的に把握することができる。また、異なるパラメータPごとの適切な分光感度特性を1枚のグラフ上で評価することができる。すなわち、全般にノイズ量が多いと判断されるパラメータPの場合は（図８の例ではP=1）色再現性評価値よりノイズ特性評価値を重視し、全般にノイズ量が少ないと判断されるパラメータPの場合は（図８の例ではP=16）ノイズ特性評価値より色再現性評価値を重視する評価が、1枚のグラフ画面上で容易に行うことができる。
【００５７】
−第２の実施の形態−
第２の実施の形態のカラー撮像素子特性評価方法について説明する。本実施の形態で評価の対象として想定するカラー撮像素子は、第１の実施の形態と同様に、例えばＣＣＤなどから構成され、所定の配列（例えばRGBベイア配列）の色フィルタが搭載されたカラー撮像素子である。
【００５８】
カラー撮像素子の均等色色空間への色変換モデルが求められている場合、この逆変換を行う事で均等色色空間のある座標（ある特定の色）を与えるカラー撮像素子出力を求めることが出来る。そして、ノイズモデルを用いてその均等色色空間のある座標でのカラー撮像素子のセンサー出力としてのノイズ量が評価出来る。
【００５９】
次に、求めたノイズ量を色変換モデルを用いて均等色色空間へ変換する事でカラー撮像素子の均等色色空間での所定の座標でのノイズの評価を行える。これにより所定の色座標（色）に着目したカラー撮像素子特性評価が可能になる。特に記憶色と呼ばれる、人の肌色、空の青色、樹々の緑色に重点をおいた評価は人間の知覚特性を反映出来るので効果的である。
【００６０】
第２の実施の形態では、このように特定の色に着目したカラー撮像素子の評価を行う。以下、第２の実施の形態のカラー撮像素子特性評価方法の詳細について説明する。
【００６１】
図１３は、第２の実施の形態におけるカラー撮像素子特性評価方法の概要を示す図である。処理１１では、想定するカラー撮像素子の分光感度特性よりノイズ成分を考慮しないで所定色空間である均等色色空間において色再現するための色変換特性を求める。処理１５では、評価において着目したい色をこの均等色色空間における色座標で指定する。処理１６では、処理１５で指定された色座標を、処理１１で求めた色変換モデルで逆変換を行いカラー撮像素子出力（センサー値）を求める。
【００６２】
処理１２では、まず、上記想定した分光感度特性と所定の撮影条件とに基づいてノイズパラメータを求め、予めノイズモデルを求めておく。次に、このノイズモデルを用いて、処理１５で求められたカラー撮像素子のセンサー出力としてのノイズ量を評価する。処理１３では、処理１２で求めたノイズ量を処理１１で求めた色変換モデルを用いて均等色色空間へ色変換する。処理１４では、所定の色空間である均等色色空間において、均等色色空間の所定の座標、すなわち所定の色に着目したカラー撮像素子のノイズの評価を行う。なお、色座標の指定に換えて所定の分光反射率を与えてノイズ量の推定を行っても良い。
【００６３】
−色変換モデル−
図１３の処理１１における色変換モデルを求める処理について説明する。三原色のカラー撮像素子によるセンサー出力R,G,BをX,Y,Zに変換する色変換モデルとして、第２の実施の形態では、線形な次式(38) を考える。mは色変換マトリクス、WR,WG,WBはホワイトバランスゲイン、Yw = 100である。 
【数２６】
2008085975.tif 000028
【００６４】
そして、次の式よりL*a*b*に変換する。
【数２７】
2008085975.tif 000029
以上の式(38)〜(42)により、所定の色空間である均等色色空間L*a*b*への色変換モデルが求まる。
【００６５】
式(38) のパラメータm は、第１の実施の形態と同様にして、パラメータmによる色変換後の値と目標値との誤差（色差）ΔE（第１の実施の形態の式(18)を参照）が最小になるように最適化をして求める。WR,WG,WBは、光源が決まると求まる値である。なお、式(38)は第１の実施の形態の式(14)に相当し、式(19)〜(42)は第１の実施の形態の式(3)〜(6)と同様である。
【００６６】
例えば、図１４のような分光感度特性の場合に、D65 光源のもとISO17321-1 Table B.1の8種のパッチを撮影して得た実験結果では、次のような値を得ることができた。
【数２８】
2008085975.tif 000030
【００６７】
−ノイズモデル−
図１３の処理１２におけるノイズモデルを求める処理について説明する。カラー撮像素子の出力R, G, B のノイズモデルとして、次式(47) を考える。
【数２９】
2008085975.tif 000031
ここでR0,G0,B0はノイズの無い出力で、eR,eG,eBは信号出力に依存するノイズで、ここでは特にフォトンショットノイズを表している。e0は信号出力に依存しないノイズで、暗電流ノイズや回路ノイズを表している。
【００６８】
カラー撮像素子の各々R,G,B チャンネルの分光感度特性と所定の撮影条件に基づいてノイズパラメータを求める。ピクセルピッチ4μｍで、図１４の分光感度特性を有するセンサーを使い、ISO400 の設定のもと、D65 光源で反射率100%の白色の物体を撮影したとする時、R,G,Bの各々で観測される平均のフォトンの数nR,nG,nBは、次のようになった。これは、第１の実施の形態と同様にして、式(28)より求めることができる。
【数３０】
2008085975.tif 000032
【００６９】
このときのGの出力を1と規格化するようにセンサーから信号が出力されるとした場合、無ノイズ信号R0,G0,B0、平均フォトン数nw = 3398.5とすると、各R,G,Bのフォトン数は次のように表せる。
【数３１】
2008085975.tif 000033
【００７０】
各々のショットノイズの平均は0、標準偏差はフォトン数の平方根となるので、フォトンショットノイズ成分は次式(54) のようになる。
【数３２】
2008085975.tif 000034
【００７１】
信号に依存しないノイズ成分e0は、センサーや回路の設計、製造方法、動作温度等によって決まるもので、フォトンショットノイズとは無相関なノイズである。従って、信号に依存するノイズ成分eR,eG,eBと信号に依存しないノイズ成分e0とを合成したトータルノイズER,EG,EBは式(55) となり、ノイズモデルは式(56) となる。そして、例えば、e0としてフォトン50 個分のノイズがあるとすると、e0 = 50/nwとなる。
【数３３】
2008085975.tif 000035
【数３４】
2008085975.tif 000036
【００７２】
−所定色空間座標でのノイズ量推定−
図１５は、第２の実施の形態の撮像素子特性評価装置が実行する所定色空間座標でのノイズ量推定の処理プログラムのフローチャートを示す図である。図１５の処理は、図１３の処理１５、処理１６、処理１２の一部、処理１３、処理１４に対応する。第２の実施の形態の撮像素子特性評価装置は、第１の実施の形態と同様に、パーソナルコンピュータなどのコンピュータ１で実現されるので、その構成は図６を参照することとする。
【００７３】
上述した色変換モデルおよびノイズモデルは、すでにパーソナルコンピュータ１上で求められているものとし、図１５の処理は、色座標の指定から開始するものとする。
【００７４】
ステップＳ１１では、均等色色空間L*a*b*の座標を指定する。例えば、次の値の組み合わせにより種々のL*a*b*の座標を指定し、以下に説明する処理を順次行う。
【数３５】
2008085975.tif 000037
色座標の指定は、予めプログラムに組み込んで指定するようにしてもよいし、パーソナルコンピュータ１のキーボードなどの入力装置を使用して指定するようにしてもよい。また、上記以外の任意の座標を指定するようにしてもよい。
【００７５】
ステップＳ１２では、ステップＳ１１で指定されたL*a*b*の値を次式により変換してXYZ の値を求める。
【数３６】
2008085975.tif 000038
【００７６】
ステップＳ１３では、ステップＳ１２で求めたXYZよりカラー撮像素子出力R0,G0,B0を求める。カラー撮像素子出力からXYZへの変換が前述した式(38)の場合は、その逆変換である次式(64) で求められる。
【数３７】
2008085975.tif 000039
【００７７】
ステップＳ１４では、ステップＳ１３で求めたカラー撮像素子出力R0,G0,B0に基づき、RGB各チャンネルで観測される平均フォトン数を求める。各チャンネルの平均フォトン数は、前述の式(51)〜(53)により求め、本実施の形態の場合、出力1 がフォトン数3398.5に相当する。そして一回の観測で検出されるフォトン数は平均がnR,nG,nBで、標準偏差がそれぞれ√nR,√nG,√nBのガウス分布でよく近似できる。この際に信号に依存しないノイズ成分を考慮しても良い。
【００７８】
ステップＳ１５では、各チャンネルで観測されるフォトン数の確率分布に応じてパーソナルコンピュータ１上でフォトン数を発生させる。ステップＳ１６では、各RGBチャンネルのフォトン数を、前述の式(54)により出力ノイズ信号値に変換し、ホワイトバランス係数を乗じ、前述した色変換モデル、すなわち式(38)〜(42)よりノイズ信号のL*a*b*値を求める。ステップＳ１５、Ｓ１６を多数回行い、ステップＳ１７に進む。
【００７９】
ステップＳ１７では、ステップＳ１５、Ｓ１６を多数回行うことによって求められたL*a*b*の標準偏差σL,σa,σbを計算し、これをステップＳ１１で指定されたL*a*b*の色座標におけるカラー撮像素子のノイズ量とする。ただし、指定のL*a*b*に対応するRGB が負の値になる場合は実現不可能なので、そのL*a*b*に対応するノイズ量は計算しない。
【００８０】
ステップＳ１８では、このようにして求めた結果をパーソナルコンピュータ１のモニタ１１にグラフ表示する。図１６〜図１８は、グラフ表示の例を示す図である。図１６は、L* = 20 の時のa*,b*のノイズ量で、図１７はL* = 20 の時、図１８はL* = 80 の時のものである。グラフでは、水平方向にa*のゆらぎ幅、垂直方向にb*のゆらぎ幅が示されている。なお、L*のノイズ量はa*,b*に比べて小さく、L*= 20 の時にσL 〜＝ 1、L* = 50 の時にσL 〜＝ 0.7、L* = 80 の時にσL 〜＝ 0.6程度であったので、a*,b*のノイズ量のみを示している。
【００８１】
a*,b*に比べL*のノイズ量が小さいので、ノイズは色のむらとして現れやすいことが判る。また、図１６〜図１８よりL*が小さい程ノイズ量は大きい事が判る。また、a*が小さくてb*が大きい(緑色) とノイズ量が大きい事も読み取れる。
【００８２】
このようにしてノイズ量のL*a*b*の色空間での分布が得られれば、カラー撮像素子あるいは色変換パラメータのノイズ特性評価において特定の色に重点を置いた評価が出来る。例えば人の肌色、空の青色、樹々の緑色に重点をおいた人間の知覚特性を考慮した評価が出来る。また、予め所定色空間でのノイズ特性が把握できるので、ノイズフィルタ処理を行う際にも各色座標で適切なノイズフィルタ処理パラメータを設定する事が出来る。
【００８３】
―変形例―
なお、上述した実施の形態は、以下のように変形することもできる。
（１）上記実施の形態では、色再現性評価値とノイズ特性評価値をコンピュータ１のモニタ１１に出力する例を説明した。しかし、プリンタなどを使用して紙で出力するようにしてもよい。また、プロジェクタなどに出力するものでもよい。すなわち、ビジュアルに観察できる出力手段であればどのようなものでもよい。
【００８４】
（２）上記実施の形態では、撮像素子としてベイア配列のカラーフィルタを有するＣＣＤの例を説明した。しかし、撮像素子としてはＭＯＳタイプの撮像素子でもよい。また、カラーフィルターもベイア配列以外の種々のカラーフィルターであってもよい。すなわち、カラー撮像素子を実現できるものであればどのようなタイプのものでもよい。また、このようにして評価される撮像素子の応用としては、デジタルスチルカメラ、ビデオカメラ、カメラつき携帯電話、防犯用モニタカメラなどあらゆるカメラに応用される。
【００８５】
（３）上記実施の形態において、ベイア補間処理後の画素値からノイズ特性を評価したり、ノイズ低減フィルタ処理をしてからノイズ評価を行ってもよい。また、上記実施の形態では、ガウス関数を基にセンサーの分光感度分布を設定したが、本発明はこれに限らず、実現している分光特性を基にセンサーの分光感度分布を設定することが好ましい。
【００８６】
（４）上記実施の形態では、ＲＧＢ３色について議論しているが、カラーフィルターが４色以上の場合にも本発明は適用可能である。
【００８７】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【図面の簡単な説明】
【００８８】
【図１】本実施の形態におけるカラー撮像素子特性評価方法の概要を示す図である。
【図２】レンズ模式図を示す図である。
【図３】パラメータPとピクセルピッチ2,4,8μmの時の対応ISO感度を表した表である。
【図４】本実施の形態で使用するIR Cutフィルタ特性を示す図である。
【図５】RGB分光感度を示す図であり、図５（ａ）はσλ=20の場合、図５（ｂ）はσλ=50の場合、図５（ｃ）はσλ=80の場合の分光感度を示す図である。
【図６】コンピュータ１を示す図である。
【図７】コンピュータ１が実行する処理のフローチャートを示す図である。
【図８】パラメータP = 16, 4, 1の場合にσλ = 20-80nmの5nmステップについて測色性(ΔE)とノイズ量(ΔEnoise)を調べた結果を示すグラフである。
【図９】２つのパラメータにおいて最適なRGB分光感度を示す図である。
【図１０】光源を変えた時の色再現性とノイズの関係を調べた結果を示す図である。
【図１１】光源を変えた時の色再現性とノイズの関係を調べた結果を示す図である。
【図１２】色再現性最適化をした場合のσλとノイズ最適化した場合のσλを示す表である。
【図１３】第２の実施の形態におけるカラー撮像素子特性評価方法の概要を示す図である。
【図１４】RGB分光感度を示す図である。
【図１５】第２の実施の形態の撮像素子特性評価装置が実行する所定色空間座標でのノイズ量推定の処理プログラムのフローチャートを示す図である。
【図１６】L* = 20 の時のa*,b*のノイズ量のグラフ表示を示す図である。
【図１７】L* = 20 の時のa*,b*のノイズ量のグラフ表示を示す図である。
【図１８】L* = 80 の時のa*,b*のノイズ量のグラフ表示を示す図である。
【符号の説明】
【００８９】
１、３  コンピュータ
２  記録媒体
４  電気通信回線
【図１】
2008085975.tif 000040
【図２】
2008085975.tif 000041
【図３】
2008085975.tif 000042
【図４】
2008085975.tif 000043
【図５】
2008085975.tif 000044
【図６】
2008085975.tif 000045
【図７】
2008085975.tif 000046
【図８】
2008085975.tif 000047
【図９】
2008085975.tif 000048
【図１０】
2008085975.tif 000049
【図１１】
2008085975.tif 000050
【図１２】
2008085975.tif 000051
【図１３】
2008085975.tif 000052
【図１４】
2008085975.tif 000053
【図１５】
2008085975.tif 000054
【図１６】
2008085975.tif 000055
【図１７】
2008085975.tif 000056
【図１８】
2008085975.tif 000057