(57)【要約】【課題】撮像装置の撮像した画像に含まれるバイアス成分を求める手段を得る。【解決手段】撮像装置のキャリブレーションで用いるカラーチャートに含まれるグレーステップチャートの分光反射率群の主成分分析により、グレーステップチャートの分光反射率の基底ベクトル群と基底ベクトルに対する係数を算出するステップと、前記グレーステップチャートの各グレーパッチを前記撮像装置で撮影して撮影画像データを得るステップと、前記撮影画像データから各グレーパッチ毎のセンサ応答値を取得するステップと、前記センサ応答値群と前記基底ベクトルの重み係数群とから、重回帰分析によりバイアス成分を算出するステップでバイアス成分を推定する。【選択図】図３
2010199691.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置で分光反射率が０の被写体を撮影したときのセンサ応答値に相当するバイアス成分を推定するバイアス成分推定方法であって、撮像装置のキャリブレーションで用いるカラーチャートに含まれるグレーステップチャートの分光反射率群の主成分分析により、グレーステップチャートの分光反射率の基底ベクトル群と基底ベクトルに対する係数を算出するステップと、前記グレーステップチャートの各グレーパッチを前記撮像装置で撮影して撮影画像データを得るステップと、前記撮影画像データから各グレーパッチ毎のセンサ応答値を取得するステップと、前記センサ応答値群と前記基底べクトルの重み係数群とから、重回帰分析によりバイアス成分を算出するステップを有する事を特徴とするバイアス成分推定方法。
【請求項２】
撮像装置で分光反射率が０の被写体を撮影したときのセンサ応答値に相当するバイアス成分を推定するバイアス成分推定装置であって、撮像装置のキャリブレーションで用いるカラーチャートに含まれるグレーステップチャートの分光反射率群の主成分分析により、グレーステップチャートの分光反射率の基底ベクトル群と基底ベクトルに対する係数を算出する手段と、前記グレーステップチャートの各グレーパッチを前記撮像装置で撮影して撮影画像データを得る手段と、前記撮影画像データから各グレーパッチ毎のセンサ応答値を取得する手段と、前記センサ応答値群と前記基底べクトルの重み係数群とから、重回帰分析によりバイアス成分を算出する手段を有する事を特徴とするバイアス成分推定装置。
【請求項３】
撮像装置で分光反射率が０の被写体を撮影したときのセンサ応答値に相当するバイアス成分を推定するバイアス成分推定プログラムであって、撮像装置のキャリブレーションで用いるカラーチャートに含まれるグレーステップチャートの分光反射率群の主成分分析により、グレーステップチャートの分光反射率の基底ベクトル群と基底ベクトルに対する係数を算出する処理と、前記グレーステップチャートの各グレーパッチを前記撮像装置で撮影して撮影画像データを得る処理と、前記撮影画像データから各グレーパッチ毎のセンサ応答値を取得する処理と、前記センサ応答値群と前記基底べクトルの重み係数群とから、重回帰分析によりバイアス成分を算出する処理を有する事を特徴とするバイアス成分推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラなどの撮像装置を用いて撮影した画像において、画像データとして記録されるセンサ応答値に含まれる暗電流やフレアなどのバイアス成分を正確に把握するバイアス成分推定方法、およびこれを用いたバイアス成分推定装置、バイアス成分推定プログラムに関する。
【背景技術】
【０００２】
デジタルカメラなどの撮像装置で物体の色情報を正しく取得するためには、カラーチャートやグレーステップチャートを撮影した画像から入射する光の量とセンサ応答値の関係などを正しく把握する必要がある。
【０００３】
一般に、デジタルカメラによる撮影では、暗電流やフレアの影響により、センサ応答値にバイアス成分が含まれる。このバイアス成分の大きさはデジタルカメラの性能や撮影時の温度などに依存し、撮影条件によっては白色の被写体に対するセンサ応答値に対して数パーセント含まれることがある。
【０００４】
したがって、入射する光の量とセンサ応答値の関係を正しく把握するためには、バイアス成分を正しく把握する必要がある。バイアス成分は、分光反射率が０の被写体を撮影したときに得られるセンサ応答値に相当する。しかし、実際の撮影において、最も暗い被写体であっても分光反射率が０となるものは存在しない。このため、撮影画像からバイアス成分を直接取得することはできない。
【０００５】
ここで、バイアス成分の１つである暗電流は特許文献１に示されるように、撮影ごとに露光したときと同じ条件で遮光画像を撮影することで把握する方法がある。また、もう１つのバイアス成分であるフレアは特許文献２に示されるように、撮影画像の指定した領域の画素数とその領域内でセンサ応答値が一定以上の値になる画素数とから算出する方法がある。このようにバイアス成分を要因ごとに把握する方法はある。しかし、要因ごとにバイアス成分を把握するためには、それぞれの処理が必要であるため、多くの作業が必要となる。
【０００６】
そこで、簡単にバイアス成分を得るために、グレーステップチャートの分光反射率が相互に相似であると仮定して、グレーステップチャートを撮影したときに得られるセンサ応答値と分光反射率とから、重回帰分析によりバイアス成分を推定する方法が広く用いられている。この方法ではグレーステップチャートの分光反射率が相互に相似であることを仮定しているが、一般に用いられるカラーチャートの無彩色（グレー）パッチや、グレーステップチャートは必ずしもこの条件が成立するとは限らない。
【０００７】
図１に市販のカラーチャート（Ｘ−Ｒｉｔｅ社製  Ｍａｃｂｅｔｈ  ＣｏｌｏｒＣｈｅｃｋｅｒ）の無彩色（グレー）パッチ、すなわち、グレーステップチャートの分光反射率を示す。また、図２に、図１のグラフを波長５５０ｎｍ（基準波長）でそれぞれ正規化したグラフを示す。図より、分光反射率を係数倍してもグラフ同士が重ならない（相似で無い）事がわかる。このように、無彩色（グレー）パッチ毎に分光反射率が相似ではない場合、重回帰分析を用いた手法では、十分な精度でバイアス成分を推定することができない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平１０−９８６５１号公報
【特許文献２】特開平１１−３５５６３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明では、無彩色（グレー）パッチ毎に分光反射率が相似ではない一般的なグレーステップチャートを撮影した画像を用い、撮影画像のセンサ応答値に含まれる暗電流やフレアなどのバイアス成分を簡単かつ正確に把握することを目的とする。
【課題を解決するための手段】
【００１０】
前記課題を解決するために、第１の発明は、撮像装置で分光反射率が０の被写体を撮影したときのセンサ応答値に相当するバイアス成分を推定するバイアス成分推定方法であって、撮像装置のキャリブレーションで用いるカラーチャートに含まれるグレーステップチャートの分光反射率群の主成分分析により、グレーステップチャートの分光反射率の基底ベクトル群と基底ベクトルに対する係数を算出するステップと、前記グレーステップチャートの各グレーパッチを前記撮像装置で撮影して撮影画像データを得るステップと、前記撮影画像データから各グレーパッチ毎のセンサ応答値を取得するステップと、前記センサ応答値群と前記基底ベクトルの重み係数群とから、重回帰分析によりバイアス成分を算出するステップを有する事を特徴とするバイアス成分推定方法である。
【００１１】
また、前記課題を解決するために、第２の発明は、撮像装置で分光反射率が０の被写体を撮影したときのセンサ応答値に相当するバイアス成分を推定するバイアス成分推定装置であって、撮像装置のキャリブレーションで用いるカラーチャートに含まれるグレーステップチャートの分光反射率群の主成分分析により、グレーステップチャートの分光反射率の基底ベクトル群と基底ベクトルに対する係数を算出する手段と、前記グレーステップチャートの各グレーパッチを前記撮像装置で撮影して撮影画像データを得る手段と、前記撮影画像データから各グレーパッチ毎のセンサ応答値を取得する手段と、前記センサ応答値群と前記基底ベクトルの重み係数群とから、重回帰分析によりバイアス成分を算出する手段を有する事を特徴とするバイアス成分推定装置である。
【００１２】
また、前記課題を解決するために、第３の発明は、撮像装置で分光反射率が０の被写体を撮影したときのセンサ応答値に相当するバイアス成分を推定するバイアス成分推定プログラムであって、撮像装置のキャリブレーションで用いるカラーチャートに含まれるグレーステップチャートの分光反射率群の主成分分析により、グレーステップチャートの分光反射率の基底ベクトル群と基底ベクトルに対する係数を算出する処理と、前記グレーステップチャートの各グレーパッチを前記撮像装置で撮影して撮影画像データを得る処理と、前記撮影画像データから各グレーパッチ毎のセンサ応答値を取得する処理と、前記センサ応答値群と前記基底ベクトルの重み係数群とから、重回帰分析によりバイアス成分を算出する処理を有する事を特徴とするバイアス成分推定プログラムである。
【発明の効果】
【００１３】
以上、説明したように、本発明によれば、分光反射率が相互に相似ではない一般的なグレーステップチャートを撮影した画像を用い、撮影画像のセンサ応答値に含まれる暗電流やフレア等の、撮像装置で分光反射率が０の被写体を撮影したときのセンサ応答値に相当するバイアス成分を、簡単かつ正確に把握することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】市販のチャートの無彩色色票の分光反射率のグラフである。
【図２】５５０ｎｍで正規化した市販のチャートの無彩色色票の分光反射率のグラフである。
【図３】本発明の一実施形態によるバイアス成分推定方法の流れを表すフローチャートである。
【発明を実施するための形態】
【００１５】
＜バイアス成分推定原理＞
まず、本発明によるバイアス成分推定方法について説明する。撮像装置で分光反射率が０の被写体を撮影したときのセンサ応答値に相当する、暗電流やフレアなどのバイアス成分のない理想的な条件下において、デジタルカメラなどの３チャンネルのｒｅｄ，ｇｒｅｅｎ，ｂｌｕｅのＲＧＢ画像データを出力する３バンド式撮像装置で撮像する場合を考察する。この場合は、各チャンネルのセンサ応答値ＳＲ、ＳＧ、ＳＢと被写体の分光反射率ｒ（ｒは可視領域において等間隔の波長毎にサンプリングした分光反射率の離散値からなる列ベクトル）の間に式１に示す線形変換が成り立つ。ただし、Ｆは撮像装置の分光感度特性からなるサンプリング数×撮像装置のチャンネル数の行列、Ｅは撮影照明光の分光エネルギーを対角成分に持つ対角行列、Ｔは転置を表す。 
【数１】
2010199691.tif 000003
式１
【００１６】
実際の撮影装置では式１で定式化した各チャンネルのセンサ応答値ＳＲ、ＳＧ、ＳＢに、暗電流やフレアなどの影響によるバイアス成分βＲ、βＧ、βＢが含まれる。実際に得られる各チャンネルのセンサ応答値をｄＲ、ｄＧ、ｄＢとすると、ｄＲ、ｄＧ、ｄＢがＳＲ、ＳＧ、ＳＢ正規化し、βＲ、βＧ、βＢを加えた式２として定式化できる。ｋＲ、ｋＧ、ｋＢは正規化係数とする。
【数２】
2010199691.tif 000004
式２
【００１７】
一方、分光反射率は少数の基底ベクトル群の低次元線形和によって近似することが可能であることが広く知られている。ここで、ｎ次元の基底ベクトルをｂ１、ｂ２・・・ｂｎ（ｂｉはグレーステップチャートの分光反射率から主成分分析によって求められる第ｉ正規直交ベクトル）とすると、物体の分光反射率は式３で近似することができる。ただし、ｒは分光反射率の近似値、ｗ１、ｗ２・・・ｗｎはグレーステップチャートの無彩色の各パッチ毎の、基底ベクトルｂ１、ｂ２・・ｂｉ・・ｂｎを加算して分光反射率を得る基底ベクトルの重み係数を表す。基底ベクトルｂｉの個数（次元）ｎは、反射体の種類毎に決まる。そして、主成分分析により基底ベクトルｂｉの波長毎の成分を計算する。
【数３】
2010199691.tif 000005
式３
【００１８】
ここで、市販されている多くのグレーステップチャートの無彩色色票では、式３の分光反射率の近似値のベクトルｒが２つの基底ベクトルｂ１、ｂ２の線形和でほぼ近似することができることが知られているため、ｎ＝２とし、分光反射率を式４で表せる。
【数４】
2010199691.tif 000006
式４
【００１９】
この分光反射率の近似値のベクトルｒを、式１に代入して、式５が得られる。ただし、Ｍ３×２は３×２の定数行列である。さらに、式５を式２に代入することにより、式６が得られる。
【数５】
2010199691.tif 000007
式５
【数６】
2010199691.tif 000008
式６
【００２０】
ここで、ａ１１、ａ２１、ａ３１、ａ１２、ａ２２、ａ３２は定数である。
このことから、ｉ番目パッチ毎の実際のセンサ応答値ｄＲｉ、ｄＧｉ、ｄＢｉと、そのｉ番目のパッチの分光反射率を与える基底ベクトルの重み係数ｗ１、ｗ２の組をグレーステップチャートの全部のパッチに対して得ることにより、重回帰分析によりバイアス成分βＲ、βＧ、βＢを推定する。
【００２１】
＜第１の実施形態＞
以下、添付の図面を参照して、本発明のバイアス成分推定手法の第１の実施形態について、詳細に説明する。
【００２２】
図３は、第１の実施形態によるバイアス成分推定方法の流れを示すフローチャートである。以下、図３のフローチャートに沿って各ステップでの処理を詳細に説明する。本実施形態では、撮像装置としては、３チャンネルのＲＧＢ画像データを出力する撮像装置を用いる。
【００２３】
ステップ２１においては、基底ベクトル計算手段が、カラーチャートのうちのグレーステップチャートのＰ個の無彩色（グレー）パッチの分光反射率のデータを記憶手段から読み出す。次に、基底ベクトルｂｉの数ｎを２とし、主成分分析により基底ベクトルｂｉの波長毎の成分を計算する。それにより、式４の２つの基底ベクトルｂ１、ｂ２のベクトル成分を計算し、また、ｉ番目の無彩色（グレー）パッチ毎に、式４で分光反射率を与える基底ベクトルの重み係数ｗ１ｉ、ｗ２ｉを計算する。ステップ２１は、主成分分析により得た各パラメータを記憶手段に記憶する。
【００２４】
ステップ２２では、カラーチャート撮影手段が、グレーステップチャートのＰ個の無彩色（グレー）パッチを撮影して撮像装置の画素毎にセンサ応答値（ｄＲ、ｄＧ、ｄＢ）を読み取った撮影画像データを記憶手段に記憶する。
【００２５】
ステップ２３では、センサ応答値計算手段が、記憶手段から撮影画像データを読み出し、グレーステップチャートのＰ個のパッチ全部に対して、ｉ番目の無彩色（グレー）パッチ毎に、撮影画像データの、ｉ番目のパッチの中心付近の領域の画素のセンサ応答値を平均化した値ｄＲｉ、ｄＧｉ、ｄＢｉを計算して、パッチの番号ｉに対応させて記憶手段に記憶する。
【００２６】
続くステップ２４では、重回帰分析手段が、Ｐ個の無彩色（グレー）パッチのｉ番目のパッチ毎に、記憶手段から、ステップ２１で得た基底ベクトルの重み係数ｗ１ｉ、ｗ２ｉを読み出し、ステップ２３で得たセンサ応答値ｄＲｉ、ｄＧｉ、ｄＢｉを読み出し、Ｐ個のパッチ全部における両者のデータから重回帰分析によりバイアス成分βＲ、βＧ、βＢを算出する。この計算処理では、グレーステップチャートのＰ個の無彩色（グレー）パッチの、基底ベクトルの重み係数ｗ１ｉ、ｗ２ｉと値１との群により式７の配列Ｘを構成し、センサ応答値ｄＲｉ、ｄＧｉ、ｄＢｉの群により式８の配列Ｙを構成し、配列Ｘと配列Ｙを用いて式９でバイアス成分βＲ、βＧ、βＢを計算して記憶手段に記憶する。
【数７】
2010199691.tif 000009
式７
【数８】
2010199691.tif 000010
式８
【数９】
2010199691.tif 000011
式９
【００２７】
以上の処理によりバイアス成分βＲ、βＧ、βＢを計算することで、パッチ毎の分光反
射率のグラフが相似では無いグレーパッチスケールを基準に用いるにもかかわらず、バイアス成分βＲ、βＧ、βＢを精度良く計算できる効果がある。
【００２８】
＜変形例＞
以上、本発明に係る分光反射率導出方法について例を挙げてその実施形態を説明したが、それ以外にも例えば次のような変形例も考えられる。
【００２９】
（ａ）３バンド式の撮像装置としたが、この限りではなく、単バンド、あるいは多バンドの撮像装置を用いてもよい。
（ｂ）グレーステップチャートの分光反射率の基底ベクトルｂｉと基底ベクトルの重み係数を算出する基底ベクトル計算手段は、第１の実施形態では、主成分分析により基底ベクトルｂｉの波長毎の成分を計算する例を示したが、この限りではなく、その他の方法を使用して基底ベクトルｂｉを計算しても良い。
（ｃ）第１の実施形態では基底ベクトル数ｎを２としたが、この限りではなく、基底ベクトル数を２以上にしてもよい。
（ｄ）第１の実施形態ではバイアス成分推定に用いるチャートをグレーステップチャートとしたが、この限りではなく、他のカラーチャートを用いてもよい。
（ｅ）第１の実施形態ではバイアス成分の推定に重回帰分析を用いたがこの限りではなく、その他、非線形最適化手法を用いてもよい。
【図１】
2010199691.tif 000012
【図２】
2010199691.tif 000013
【図３】
2010199691.tif 000014