(57)【要約】【課題】様々な光源に対応して画像周辺部分に発生する色ずれを適切に補正することができる画像処理装置を提供する。【解決手段】画素毎の感度補正用補正値のデータが記憶された補正データ記憶部６と、撮影時の光源の分光特性に依存した値を測定する光源測定部７と、補正データ記憶部６に記憶された感度補正用補正値と光源測定部７によって測定された値とに基づいて、画素毎の補正値を求める補正値算出部５と、補正値算出部５によって算出された補正値を用いて画素信号の補正を行う補正部４とを備える画像処理装置。【選択図】図１
2008118491.tif 000002
【特許請求の範囲】
【請求項１】
画素毎の感度補正用補正値のデータが記憶された補正データ記憶手段と、
撮影時の光源の分光特性に依存した値を測定する光源測定手段と、
前記補正データ記憶手段に記憶された感度補正用補正値と前記光源測定手段によって測定された値とに基づいて、画素毎の補正値を求める補正値算出手段と、
前記補正値算出手段によって算出された補正値を用いて画素信号の補正を行う補正手段とを備えることを特徴とする画像処理装置。
【請求項２】
前記光源測定手段が、前記画素信号に基づいて又は前記画素信号に基づく信号にホワイトバランス補正を施す際の補正ゲイン値に基づいて、撮影時の光源の分光特性に依存した値を測定する請求項１に記載の画像処理装置。
【請求項３】
画素毎の感度補正用補正値のデータが記憶された補正データ記憶手段と、
光源情報入力操作に応じた値を出力する光源情報入力手段と、
前記補正データ記憶手段に記憶された感度補正用補正値と前記光源情報入力手段から出力される値とに基づいて、画素毎の補正値を求める補正値算出手段と、
前記補正値算出手段によって算出された補正値を用いて画素信号の補正を行う補正手段とを備えることを特徴とする画像処理装置。
【請求項４】
前記補正データ記憶手段が、少なくとも二種類の光源での画素毎の感度補正用補正値のデータを光源の種類毎に記憶している請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
前記光源測定手段又は前記光源情報入力手段から出力される値に対応する光源が前記補正データ記憶手段で記憶している以外の光源の場合に、前記補正値算出手段が、前記補正データ記憶手段に記憶された感度補正用補正値と前記光源測定手段又は前記光源情報入力手段から出力される値とに基づいて、前記光源測定手段又は前記光源情報入力手段から出力される値に対応する光源での補正値を算出する請求項４に記載の画像処理装置。
【請求項６】
固体撮像素子と、前記固体撮像素子から出力されるデジタルの画素信号を入力する画像処理装置とを備える固体撮像装置であって、
前記画像処理装置が請求項１〜５のいずれかに記載の画像処理装置であることを特徴する固体撮像装置。
【請求項７】
請求項６に記載の固体撮像装置を備えることを特徴とする電子機器。
【請求項８】
画像信号を入力するステップと、
撮影時の光源の分光特性に依存した値に関する情報を入力するステップと、
前記撮影時の光源の分光特性に依存した値と画素毎の感度補正用補正値とに基づいて、画素毎の補正値を算出するステップと、
算出された補正値を用いて画素信号の補正を行うステップとを含む画像処理方法。
【請求項９】
撮影時の光源の分光特性に依存した値に関する情報が付属している画像信号を入力するステップと、
前記撮影時の光源の分光特性に依存した値と画素毎の感度補正用補正値とに基づいて、画素毎の補正値を算出するステップと、
算出された補正値を用いて画素信号の補正を行うステップとを含む画像処理方法。
【請求項１０】
コンピュータを、
画像信号を入力する手段、
撮影時の光源の分光特性に依存した値に関する情報を入力する手段、
前記撮影時の光源の分光特性に依存した値と画素毎の感度補正用補正値とに基づいて、画素毎の補正値を算出する手段、及び
算出された補正値を用いて画素信号の補正を行う手段として機能させるための画像処理プログラム。
【請求項１１】
コンピュータを、
撮影時の光源の分光特性に依存した値に関する情報が付属している画像信号を入力する手段、
前記撮影時の光源の分光特性に依存した値と画素毎の感度補正用補正値とに基づいて、画素毎の補正値を算出する手段、及び
算出された補正値を用いて画素信号の補正を行う手段として機能させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像周辺部分に発生する色ずれを補正する画像処理装置、固体撮像装置、電子機器、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
近年、固体撮像素子を備えた電子カメラが、ビデオカメラ、電子スチルカメラ、携帯電話用カメラ等として幅広く使用されている。そして、固体撮像素子を備えた電子カメラにおいては、光源の赤外領域による影響を軽減するために、赤外線カットフィルターが光学レンズと固体撮像素子との間に設けられている。
【０００３】
しかし、上述した固体撮像素子を備えた電子カメラにおいて、光学レンズ１として広角レンズを使用する場合等には、図６に示すように被写体の周辺部分からの入遮光Ｌ２は、被写体中心部からの入遮光Ｌ１に比べて、赤外線カットフィルター２の入射面及び固体撮像素子３の受光面に対する入射角度が大きくなる。また、入遮光Ｌ１に対する分光透過率特性Ｔ１及び入遮光Ｌ２に対する分光透過率特性Ｔ２を示す図７から明らかなように、赤外線カットフィルター２の長波長領域の分光透過率は入射光の入射角度によって異なり、入射光の入射角度が大きければ赤外線カットフィルター２の長波長領域の分光透過率は小さくなる。さらに、固体撮像素子３は、図８に示すようなＲ信号の分光感度特性Ｔ３、Ｇ信号の分光感度特性Ｔ４、及びＢ信号の分光感度特性Ｔ５を有しているため、赤外線カットフィルター２と固体撮像素子３を一つの系として考えたとき、固体撮像素子３の受光面の周辺部分では、固体撮像素子３の受光面の中心部分に比べて赤外線カットフィルター２の遮断特性が短波長側にシフトしているため、赤色画素の感度特性が固体撮像素子３の受光面の中心部分に比べて劣化する。
【０００４】
これにより、画像周辺部分では画像中心部分に比べて赤色の成分が少なくなる。したがって、画像中心部分でホワイトバランスを合わせたとき、周辺部分で色ずれが発生し画質が著しく劣化してしまうという問題が起こる。また、この周辺部分での色ずれによる画質の劣化は撮影時の光源の分光特性にも依存し、撮影時の光源の分光特性によって色ずれの度合いが変化する。
【特許文献１】特開２００４−２３７９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
特許文献１で開示されている色に依存して生じる周辺光量低下を補正する方法では、或る光源で色に依存して生じる色ずれを補正することはできるが、光源が変化した場合に再び周辺部分での色のずれが生じてしまうという問題を有している。
【０００６】
本発明の目的は、上記の状況に鑑み、様々な光源に対応して画像周辺部分に発生する色ずれを適切に補正することができる画像処理装置、固体撮像装置、電子機器、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために本発明に係る画像処理装置は、画素毎の感度補正用補正値のデータが記憶された補正データ記憶手段と、撮影時の光源の分光特性に依存した値を測定する光源測定手段と、前記補正データ記憶手段に記憶された感度補正用補正値と前記光源測定手段によって測定された値とに基づいて、画素毎の補正値を求める補正値算出手段と、前記補正値算出手段によって算出された補正値を用いて画素信号の補正を行う補正手段とを備える構成とする。
【０００８】
このような構成によると、光源測定手段から出力される値に基づいて補正値を算出し、その算出した補正値を用いて、画像中心部分と画像周辺部分の画素信号の感度の差が補正されるので、様々な光源に対応して画像周辺部分に発生する色ずれを適切に補正することができる。
【０００９】
また、前記光源測定手段が、前記画素信号に基づいて又は前記画素信号に基づく信号にホワイトバランス補正を施す際の補正ゲイン値に基づいて、撮影時の光源の分光特性に依存した値を測定するようにしてもよい。これにより、光源測定手段に色温度計のような専用ハードウェアを用いることなく、光源測定手段をソフトウェア的に実現することができるので、光源測定手段の低コスト化を図ることができる。
【００１０】
また、上記目的を達成するために本発明に係る画像処理装置は、画素毎の感度補正用補正値のデータが記憶された補正データ記憶手段と、光源情報入力操作に応じた値を出力する光源情報入力手段と、前記補正データ記憶手段に記憶された感度補正用補正値と前記光源情報入力手段から出力される値とに基づいて、画素毎の補正値を求める補正値算出手段と、前記補正値算出手段によって算出された補正値を用いて画素信号の補正を行う補正手段とを備える構成とする。
【００１１】
このような構成によると、光源情報入力手段から出力される値に基づいて補正値を算出し、その算出した補正値を用いて、画像中心部分と画像周辺部分の画素信号の感度の差が補正されるので、様々な光源に対応して画像周辺部分に発生する色ずれを適切に補正することができる。そして、光源測定手段を設けない構成であるので、光源測定手段に色温度計のような専用ハードウェアを用いる場合に比べて小型化及び低コスト化を図ることができる。また、撮影者自身が光源測定手段よりも高精度で光源の状態判定を行えば、光源測定手段を設ける構成に比べて、画像周辺部分の色ずれ補正精度を高くすることができる。
【００１２】
また、上記各構成の画像処理装置において、前記補正データ記憶手段が、少なくとも二種類の光源での画素毎の感度補正用補正値のデータを光源の種類毎に記憶するようにしてもよい。このような構成によると、補正データ記憶手段が二種類以上の光源での感度補正値のデータを光源の種類毎に記憶しているので、光源が変化したときの画像周辺部分の色ずれ補正精度を高くすることができる。さらに、前記光源測定手段又は前記光源情報入力手段から出力される値に対応する光源が前記補正データ記憶手段で記憶している以外の光源の場合に、前記補正値算出手段が、前記補正データ記憶手段に記憶された感度補正用補正値と前記光源測定手段又は前記光源情報入力手段から出力される値とに基づいて、前記光源測定手段又は前記光源情報入力手段から出力される値に対応する光源での補正値を算出するようにしてもよい。これにより、多様な光源においても各光源に応じた正確な補正が実施できる。
【００１３】
また、上記目的を達成するために本発明に係る固体撮像装置は、固体撮像素子と、上記いずれかの構成の画像処理装置を備え、前記画像処理装置が前記固体撮像素子から出力されるデジタルの画素信号を入力するようにする。
【００１４】
また、上記目的を達成するために本発明に係る電子機器は、上記構成の固体撮像装置を備えるようにする。
【００１５】
また、上記目的を達成するために本発明に係る画像処理方法は、画像信号を入力するステップと、撮影時の光源の分光特性に依存した値に関する情報を入力するステップと、前記撮影時の光源の分光特性に依存した値と画素毎の感度補正用補正値とに基づいて、画素毎の補正値を算出するステップと、算出された補正値を用いて画素信号の補正を行うステップとを含むようにする。
【００１６】
また、上記目的を達成するために本発明に係る画像処理方法は、撮影時の光源の分光特性に依存した値に関する情報が付属している画像信号を入力するステップと、前記撮影時の光源の分光特性に依存した値と画素毎の感度補正用補正値とに基づいて、画素毎の補正値を算出するステップと、算出された補正値を用いて画素信号の補正を行うステップとを含むようにする。
【００１７】
また、上記目的を達成するために本発明に係る画像処理プログラムは、コンピュータを、画像信号を入力する手段、撮影時の光源の分光特性に依存した値に関する情報を入力する手段、
前記撮影時の光源の分光特性に依存した値と画素毎の感度補正用補正値とに基づいて、画素毎の補正値を算出する手段、及び算出された補正値を用いて画素信号の補正を行う手段として機能させるようにする。
【００１８】
また、上記目的を達成するために本発明に係る画像処理プログラムは、コンピュータを、撮影時の光源の分光特性に依存した値に関する情報が付属している画像信号を入力する手段、前記撮影時の光源の分光特性に依存した値と画素毎の感度補正用補正値とに基づいて、画素毎の補正値を算出する手段、及び算出された補正値を用いて画素信号の補正を行う手段として機能させるようにする。
【発明の効果】
【００１９】
本発明によると、光源測定手段又は光源情報入力手段から出力される値に基づいて補正値を算出し、その算出した補正値を用いて、画像中心部分と画像周辺部分の画素信号の感度の差が補正されるので、様々な光源に対応して画像周辺部分に発生する色ずれを適切に補正することができる。
【発明を実施するための最良の形態】
【００２０】
本発明の実施形態について図面を参照して以下に説明する。
【００２１】
＜第１実施形態＞
本発明の第１実施形態について説明する。本実施形態では、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルターを有する原色ＣＣＤエリアセンサーを備える単板式デジタルカメラに本発明を適用する。図１は、本発明の第１実施形態に係るデジタルカメラシステムの要部構成を示すものである。図１に示すデジタルカメラシステムは、光学レンズ１と、赤外線カットフィルター２と、上記原色ＣＣＤエリアセンサーであってデジタル信号のＲ信号、Ｇ信号、及びＢ信号を出力する固体撮像素子３と、Ｒ信号感度補正部４ａ、Ｇ信号感度補正部４ｂ、及びＢ信号感度補正部４ｃから成る補正部４と、補正値算出部５と、補正データ記憶部６と、光源測定部７と、ＲＧＢをＹＣｒＣｂに変換する色変換部８と、自動ホワイトバランス制御部９と、ホワイトバランスＲ信号補正部１０ａ及びホワイトバランスＢ信号補正部１０ｂから成るホワイトバランス補正部１０とを備えている。
【００２２】
被写体からの像は光学レンズ１によって固体撮像素子３上に結像される。光源の赤外線領域の影響を軽減するために、光学レンズ１と固体撮像素子３の間には赤外線カットフィルター２が設けられている。赤外線カットフィルター２を通過した光は、固体撮像素子３で光電変換されて電気信号となり、さらにその電気信号がＡ／Ｄ変換されてデジタル信号になった後、固体撮像素子３から出力される。
【００２３】
図８は固体撮像素子３の分光感度特性の例である。図７は赤外線カットフィルター２の分光透過率特性の例であり、被写体中心部からの入遮光に対する分光透過率特性Ｔ１及び被写体の周辺部分からの入遮光に対する分光透過率特性Ｔ２を示している。図６は光学レンズ１として広角レンズを使用する場合等に被写体からの光が赤外線カットフィルター２及び固体撮像素子３に入射するときの状態を示す図であり、同図により、被写体の周辺部分からの入遮光Ｌ２は、被写体中心部からの入遮光Ｌ１に比べて、赤外線カットフィルター２の入射面及び固体撮像素子３の受光面に対する入射角度が大きくなることがわかる。図６乃至図８から分かるように、入射光の入射角度が小さい画像中心部分に比べて、入射光の入射角度が大きくなる画像周辺部分は赤色光の透過率が小さくなる。
【００２４】
このため、固体撮像素子３から出力される画像信号の感度レベルは図２に示すようになる。図２中のＳＬRはＲ画素信号の感度レベルを、ＳＬGはＧ画素信号の感度レベルを、ＳＬBはＢ画素信号の感度レベルをそれぞれ示している。
【００２５】
上記のとおり、固体撮像素子３から出力される画像信号の感度レベルは中心部分から周辺部分に行くに従って低くなるので、補正データ記憶部６には中心部分から周辺部分に行くに従って補正量が大きくなるような感度補正値のデータが記憶されている。
【００２６】
図３は補正データ記憶部６に記憶される感度補正値のデータの一例を示す図である。ＳＣＶRは或る光源ａでのＲ画素信号に対する感度補正値群を示し、ＳＣＶGは或る光源ａでのＧ画素信号に対する感度補正値群を示し、ＳＣＶBは或る光源ａでのＢ画素信号に対する感度補正値群を示している。
【００２７】
補正値算出部５は、感度補正の対象である画素に適合した感度補正値を補正データ記憶部６から読み出す。また、補正値算出部５は、光源測定部７によって測定された測定値（撮影時の光源の分光特性に依存した値）を入力する。光源測定部７の一例としては、光源の色温度を測定する色温度計が挙げられる。
【００２８】
補正値算出部５は、補正データ記憶部６から読み出した感度補正値と光源測定部７によって測定された測定値とに基づいて、感度補正の対象である画素及び撮像時の光源に適応した感度補正値を以下のように算出する。
【００２９】
或る光源ａに対する光源測定部７の測定値をSrａとする。また、補正データ記憶部６に記憶されている感度補正値のデータに含まれる感度補正の対象である画素に適合した感度補正値をGrａとする。また、撮影時の光源に光源ｂを用いるものとする。このような場合、光源ｂに対する光源測定部７での測定値がSrｂ、補正の強度値をｋとすると、補正値算出部５によって算出される感度補正値（感度補正の対象である画素及び撮像時の光源に適応した感度補正値）Grｂは、以下の（１）式によって計算される。なお、補正値算出部５は、測定値Srａと補正の強度値ｋを予め記憶している。
Grｂ=ｋ×Grａ×（Srｂ／Srａ）  ・・・（１）
【００３０】
補正値算出部５によって対象画素毎に計算された感度補正値に従って、補正部４内のＲ信号感度補正部４ａ、Ｇ信号感度補正部４ｂ、及びＢ信号感度補正部４ｃが固体撮像素子３からの電気信号を補正する。これにより、画像中心部分と画像周辺部分の画素信号（Ｒ信号、Ｇ信号、Ｂ信号）の感度の差が補正される。図４は、補正部４での補正後の画素信号（Ｒ信号、Ｇ信号、Ｂ信号）の感度レベル特性を示している。
【００３１】
補正部４から出力される画素信号（Ｒ信号、Ｇ信号、Ｂ信号）は、ホワイトバランス補正部１０によってホワイトバランス補正が施されたのち、色変換部８によって色変換されＹ信号、Ｃｒ信号、及びＣｂ信号になる。自動ホワイトバランス制御部９は、ホワイトバランス補正部１０から出力される画素信号（Ｒ信号、Ｇ信号、Ｂ信号）に基づいて、ホワイトバランス補正部１０を制御する。
【００３２】
＜第２実施形態＞
次に、本発明の第２実施形態について説明する。本発明の第２実施形態に係るデジタルカメラシステムは、本発明の第１実施形態に係るデジタルカメラシステムにおいて光源測定部７を光源情報入力部に置換したものである。前記光源情報入力部は、撮影者自身による光源情報入力操作が実行されると、その光源情報入力操作に応じた値を補正値算出部５に出力する。前記光源情報入力操作の例としては、数値の直接入力操作、予め選択肢として設定されている複数の光源から撮影時の光源に最も近いものを選択する選択操作等が挙げられる。補正値算出部５は、光源測定部７によって測定された測定値の代わりに、前記光源情報入力部から出力された値を用いる。
【００３３】
本発明の第２実施形態に係るデジタルカメラシステムは、光源測定部を設けない構成であるので、小型化及び低コスト化を図ることができる。また、撮影者自身が光源測定部よりも高精度で光源の状態判定を行えば、本発明の第２実施形態に係るデジタルカメラシステムは、本発明の第１実施形態に係るデジタルカメラシステムに比べて、画像周辺部分の色ずれ補正精度を高くすることができる。
【００３４】
また、本実施形態の変形例として、デジタルカメラシステムが、光学レンズ１と、赤外線カットフィルター２と、固体撮像素子３とを備え、固体撮像素子３からの出力信号をいわゆるＲＡＷ形式の画像ファイルとして出力するようにし、補正部４、補正値算出部５、補正データ記憶部６、及び上記光源情報入力部をコンピュータで実現し、そのコンピュータがＲＡＷ形式の画像ファイルと撮影時の光源の分光特性に依存した値に関する情報とを入力する実施形態が挙げられる。
【００３５】
また、本実施形態の他の変形例として、デジタルカメラシステムが、光学レンズ１と、赤外線カットフィルター２と、固体撮像素子３と、色温度計とを備え、固体撮像素子３からの出力信号をいわゆるＲＡＷ形式の画像ファイルとし、その画像ファイルに色温度計の測定値に関する情報を付属して出力するようにし、補正部４、補正値算出部５、補正データ記憶部６、及び上記光源情報入力部をコンピュータで実現し、そのコンピュータが、色温度計の測定値に関する情報が付属されたＲＡＷ形式の画像ファイルを入力するようにし、上記光源情報入力部が、ＲＡＷ形式の画像ファイルに付属する色温度計の測定値に関する情報を入力する実施形態が挙げられる。
【００３６】
＜第３実施形態＞
次に、本発明の第３実施形態について説明する。本発明の第３実施形態に係るデジタルカメラシステムの要部構成は、本発明の第１実施形態に係るデジタルカメラシステムと同一であるが、補正データ記憶部６に記憶されているデータの内容と補正値算出部５での感度補正値算出手法が異なる。
【００３７】
本発明の第３実施形態に係るデジタルカメラシステムにおいて、補正データ記憶部６は二種類以上の光源での感度補正値のデータを記憶しており、補正値算出部５は光源測定部７によって測定された測定値に応じて補正データ記憶部６から読み出す感度補正値を選択する。
【００３８】
例えば、補正データ記憶部６が５種類の光源（光源ａ〜光源ｅ）での感度補正値のデータを光源の種類毎に記憶している場合において、補正値算出部５は、光源測定部７での測定値Srの値に応じて以下のように補正データ記憶部６から読み出す感度補正値を選択する。Sr＞Srａの場合は光源ａでの感度補正値を選択し、Srａ＞Sr≧Srｂの場合は光源ｂでの感度補正値を選択し、Srｂ＞Sr≧Srｃの場合は光源ｃでの感度補正値を選択し、Srｃ＞Sr≧Srｄの場合は光源ｄでの感度補正値を選択し、Srｄ＞Sr≧Sreの場合は光源ｅでの感度補正値を選択する。
【００３９】
このように補正データ記憶部６が二種類以上の光源での感度補正値のデータを光源の種類毎に記憶することにより、光源が変化したときの画像周辺部分の色ずれ補正精度を高くすることができる。
【００４０】
なお、本発明の第３実施形態に係るデジタルカメラシステムについても、第２実施形態のように、光源測定部７を光源情報入力部に置換することができる。
【００４１】
＜第４実施形態＞
次に、本発明の第４実施形態について説明する。本発明の第４実施形態に係るデジタルカメラシステムの要部構成は、本発明の第３実施形態に係るデジタルカメラシステムと同一であり、補正データ記憶部６に記憶されているデータの内容も基本的に同一（第３実施形態の５種類の光源での感度補正値のデータを例に挙げていたのに対して本実施形態ではｎ種類の光源での感度補正値のデータである）であるが、補正値算出部５での感度補正値算出手法が異なる。
【００４２】
本発明の第３実施形態に係るデジタルカメラシステムでは、補正データ記憶部６が記憶している光源の種類分の対応しかできず、多様な光源には対応できない。そのため、本発明の第４実施形態に係るデジタルカメラシステムでは、多様な光源においても各光源に応じた正確な補正が実施できるように、光源測定部７によって測定された測定値に対応する光源が補正データ記憶部６で記憶している以外の光源の場合に、補正値算出部５は以下のような演算を行うことにより、感度補正の対象である画素及び撮像時の光源に適応した感度補正値を算出する。
【００４３】
補正データ記憶部６が記憶している光源の種類に対応する光源測定部７の測定値をSrk（ｋは１〜ｎまでの自然数）、補正データ記憶部６によって記憶されている各光源での感度補正値をGrk（ｋは１〜ｎまでの自然数）とする。そのとき、撮影時の光源ｔに対する光源測定部７での測定値Srtが、SriとSri-1の間である場合、補正値算出部５が算出する感度補正値Grtは多項式で表すことができる。図５は、補正値算出部５が算出する感度補正値Grtを以下の（２）式のような一次式で表した例を図示したものである。
Grt＝（Gri−Gri-1）×（Srt−Sri）／（Sri−Sri-1）＋Gri  ・・・（２）
【００４４】
なお、本発明の第４実施形態に係るデジタルカメラシステムについても、第２実施形態のように、光源測定部７を光源情報入力部に置換することができる。
【００４５】
＜第５実施形態＞
次に、本発明の第５実施形態について説明する。本発明の第５実施形態に係るデジタルカメラシステムの要部構成は、本発明の第１実施形態に係るデジタルカメラシステムと同一であり、光源測定部７が固体撮像素子３の出力信号或いは自動ホワイトバランス制御部９の出力信号に基づいて、撮影時の光源の分光特性に依存した値を測定している。このように、光源測定部７に色温度計のような専用ハードウェアを用いることなく、光源測定部７をソフトウェア的に実現することによって、光源測定部７の低コスト化を図ることができる。
【００４６】
全画面エリアに渡って固体撮像素子３から出力されるＲ画素信号を積算した値をΣＲとすると、高色温度の場合のΣＲ高色温度と低色温度の場合のΣＲ低色温度では、一般的にはΣＲ低色温度＞ΣＲ高色温度が成り立つ。
【００４７】
ここで、或る光源ａでの固体撮像素子３から出力されるＲ画素信号の全画面エリアに渡る積算値をΣＲａとする。また、補正データ記憶部６は、或る光源ａでの感度補正値のデータを記憶している。
【００４８】
補正データ記憶部６に記憶されている感度補正値のデータに含まれる感度補正の対象である画素に適合した感度補正値をGrａとする。また、撮影時の光源に光源ｂを用いるものとする。このような場合、或る光源ｂでの固体撮像素子３から出力されるＲ画素信号の全画面エリアに渡る積算値をΣＲｂ、補正の強度値をｋとすると、補正値算出部５によって算出される感度補正値（感度補正の対象である画素及び撮像時の光源に適応した感度補正値）Grｂは、以下の（３）式によって計算される。なお、補正値算出部５は、積算値ΣＲａと補正の強度値ｋを予め記憶している。
Grｂ=ｋ×Grａ×(ΣＲｂ／ΣＲａ)  ・・・（３）
【００４９】
前記の例では固体撮像素子３から出力されるＲ画素信号の全画面エリアに渡る積算値ΣＲをもとに撮影時の光源の分光特性に依存した値を測定したが、ホワイトバランスのＲ信号補正ゲイン値またはホワイトバランスのＢ信号補正ゲイン値も光源の色温度によって変化するので、この値を利用することもできる。一般的に、色温度が高い場合はホワイトバランスのＲ信号補正ゲイン値が大きく、色温度が低い場合はホワイトバランスのＲ信号補正ゲイン値が小さくなる。
【００５０】
ここで、或る光源ａでのホワイトバランスのＲ信号補正ゲイン値をWBRａとする。また、補正データ記憶部６は、或る光源ａでの感度補正値のデータを記憶している。
【００５１】
補正データ記憶部６に記憶されている感度補正値のデータに含まれる感度補正の対象である画素に適合した感度補正値をGrａとする。また、撮影時の光源に光源ｂを用いるものとする。このような場合、或る光源ｂでのホワイトバランスのＲ信号補正ゲイン値をWBRｂ、補正の強度値をｋとすると、補正値算出部５によって算出される感度補正値（感度補正の対象である画素及び撮像時の光源に適応した感度補正値）Grｂは、以下の（４）式によって計算される。なお、補正値算出部５は、補正ゲイン値WBRａと補正の強度値ｋを予め記憶している。
Grｂ=ｋ×Grａ×(WBRａ／WBRｂ)  ・・・（４）
【００５２】
なお、本発明の第５実施形態に係るデジタルカメラシステムについても、第３，４実施形態のように、補正データ記憶部６が二種類以上の光源での感度補正値のデータを記憶するようにしてもよい。
【図面の簡単な説明】
【００５３】
【図１】は、本発明の第１実施形態に係るデジタルカメラシステムの要部構成を示す図である。
【図２】は、固体撮像素子から出力される画像信号の感度レベル特性を示す図である。
【図３】は、補正データ記憶部に記憶される感度補正値のデータの一例を示す図である。
【図４】は、補正部での補正後の画素信号の感度レベル特性を示す図である。
【図５】は、補正値算出部が算出する感度補正値を一次式で表した例を示す図である。
【図６】は、被写体からの光が赤外線カットフィルター及び固体撮像素子に入射するときの状態を示す図である。
【図７】は、赤外線カットフィルターの分光透過率特性を示す図である。
【図８】は、固体撮像素子の分光感度特性を示す図である。
【符号の説明】
【００５４】
１    光学レンズ
２    赤外線カットフィルター
３    固体撮像素子
４    補正部
４ａ    Ｒ信号感度補正部
４ｂ    Ｇ信号感度補正部
４ｃ    Ｂ信号感度補正部
５    補正値算出部
６    補正データ記憶部
７    光源測定部
８    色変換部
９    自動ホワイトバランス制御部
１０    ホワイトバランス補正部
１０ａ    ホワイトバランスＲ信号補正部
１０ｂ    ホワイトバランスＢ信号補正部
【図１】
2008118491.tif 000003
【図２】
2008118491.tif 000004
【図３】
2008118491.tif 000005
【図４】
2008118491.tif 000006
【図５】
2008118491.tif 000007
【図６】
2008118491.tif 000008
【図７】
2008118491.tif 000009
【図８】
2008118491.tif 000010
【手続補正書】
【提出日】平成20年3月18日(2008.3.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画素毎の感度補正用補正値のデータが記憶された補正データ記憶手段と、
撮影時の光源の分光特性に依存した値を測定する光源測定手段と、
前記補正データ記憶手段に記憶された感度補正用補正値と前記光源測定手段によって測定された値とに基づいて、画素毎の補正値を求める補正値算出手段と、
前記補正値算出手段によって算出された補正値を用いて画素信号の補正を行う補正手段とを備え、
前記補正データ記憶手段が、少なくとも二種類の光源での画素毎の感度補正用補正値のデータを光源の種類毎に記憶していることを特徴とする画像処理装置。
【請求項２】
前記光源測定手段が、前記画素信号に基づいて又は前記画素信号に基づく信号にホワイトバランス補正を施す際の補正ゲイン値に基づいて、撮影時の光源の分光特性に依存した値を測定する請求項１に記載の画像処理装置。
【請求項３】
画素毎の感度補正用補正値のデータが記憶された補正データ記憶手段と、
光源情報入力操作に応じた値を出力する光源情報入力手段と、
前記補正データ記憶手段に記憶された感度補正用補正値と前記光源情報入力手段から出力される値とに基づいて、画素毎の補正値を求める補正値算出手段と、
前記補正値算出手段によって算出された補正値を用いて画素信号の補正を行う補正手段とを備え、
前記補正データ記憶手段が、少なくとも二種類の光源での画素毎の感度補正用補正値のデータを光源の種類毎に記憶していることを特徴とする画像処理装置。
【請求項４】
前記光源測定手段又は前記光源情報入力手段から出力される値に対応する光源が前記補正データ記憶手段で記憶している以外の光源の場合に、前記補正値算出手段が、前記補正データ記憶手段に記憶された感度補正用補正値と前記光源測定手段又は前記光源情報入力手段から出力される値とに基づいて、前記光源測定手段又は前記光源情報入力手段から出力される値に対応する光源での補正値を算出する請求項１〜３のいずれかに記載の画像処理装置。
【請求項５】
固体撮像素子と、前記固体撮像素子から出力されるデジタルの画素信号を入力する画像処理装置とを備える固体撮像装置であって、
前記画像処理装置が請求項１〜４のいずれかに記載の画像処理装置であることを特徴する固体撮像装置。
【請求項６】
請求項５に記載の固体撮像装置を備えることを特徴とする電子機器。
【請求項７】
少なくとも二種類の光源での画素毎の感度補正用補正値のデータを光源の種類毎に記憶するステップと、
画像信号を入力するステップと、
撮影時の光源の分光特性に依存した値に関する情報を入力するステップと、
前記撮影時の光源の分光特性に依存した値と記憶されている画素毎の感度補正用補正値とに基づいて、画素毎の補正値を算出するステップと、
算出された補正値を用いて画素信号の補正を行うステップとを含む画像処理方法。
【請求項８】
少なくとも二種類の光源での画素毎の感度補正用補正値のデータを光源の種類毎に記憶するステップと、
撮影時の光源の分光特性に依存した値に関する情報が付属している画像信号を入力するステップと、
前記撮影時の光源の分光特性に依存した値と記憶されている画素毎の感度補正用補正値とに基づいて、画素毎の補正値を算出するステップと、
算出された補正値を用いて画素信号の補正を行うステップとを含む画像処理方法。
【請求項９】
コンピュータを、
少なくとも二種類の光源での画素毎の感度補正用補正値のデータを光源の種類毎に記憶する手段、
画像信号を入力する手段、
撮影時の光源の分光特性に依存した値に関する情報を入力する手段、
前記撮影時の光源の分光特性に依存した値と記憶されている画素毎の感度補正用補正値とに基づいて、画素毎の補正値を算出する手段、及び
算出された補正値を用いて画素信号の補正を行う手段として機能させるための画像処理プログラム。
【請求項１０】
コンピュータを、
少なくとも二種類の光源での画素毎の感度補正用補正値のデータを光源の種類毎に記憶する手段、
撮影時の光源の分光特性に依存した値に関する情報が付属している画像信号を入力する手段、
前記撮影時の光源の分光特性に依存した値と記憶されている画素毎の感度補正用補正値とに基づいて、画素毎の補正値を算出する手段、及び
算出された補正値を用いて画素信号の補正を行う手段として機能させるための画像処理プログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
また、上記各構成の画像処理装置において、前記補正データ記憶手段が、少なくとも二種類の光源での画素毎の感度補正用補正値のデータを光源の種類毎に記憶している。このような構成によると、補正データ記憶手段が二種類以上の光源での感度補正値のデータを光源の種類毎に記憶しているので、光源が変化したときの画像周辺部分の色ずれ補正精度を高くすることができる。さらに、前記光源測定手段又は前記光源情報入力手段から出力される値に対応する光源が前記補正データ記憶手段で記憶している以外の光源の場合に、前記補正値算出手段が、前記補正データ記憶手段に記憶された感度補正用補正値と前記光源測定手段又は前記光源情報入力手段から出力される値とに基づいて、前記光源測定手段又は前記光源情報入力手段から出力される値に対応する光源での補正値を算出するようにしてもよい。これにより、多様な光源においても各光源に応じた正確な補正が実施できる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、上記目的を達成するために本発明に係る画像処理方法は、少なくとも二種類の光源での画素毎の感度補正用補正値のデータを光源の種類毎に記憶するステップと、画像信号を入力するステップと、撮影時の光源の分光特性に依存した値に関する情報を入力するステップと、前記撮影時の光源の分光特性に依存した値と記憶されている画素毎の感度補正用補正値とに基づいて、画素毎の補正値を算出するステップと、算出された補正値を用いて画素信号の補正を行うステップとを含むようにする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
また、上記目的を達成するために本発明に係る画像処理方法は、少なくとも二種類の光源での画素毎の感度補正用補正値のデータを光源の種類毎に記憶するステップと、撮影時の光源の分光特性に依存した値に関する情報が付属している画像信号を入力するステップと、前記撮影時の光源の分光特性に依存した値と記憶されている画素毎の感度補正用補正値とに基づいて、画素毎の補正値を算出するステップと、算出された補正値を用いて画素信号の補正を行うステップとを含むようにする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】変更
【補正の内容】
【００１７】
また、上記目的を達成するために本発明に係る画像処理プログラムは、コンピュータを、少なくとも二種類の光源での画素毎の感度補正用補正値のデータを光源の種類毎に記憶する手段、画像信号を入力する手段、撮影時の光源の分光特性に依存した値に関する情報を入力する手段、前記撮影時の光源の分光特性に依存した値と記憶されている画素毎の感度補正用補正値とに基づいて、画素毎の補正値を算出する手段、及び算出された補正値を用いて画素信号の補正を行う手段として機能させるようにする。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】変更
【補正の内容】
【００１８】
また、上記目的を達成するために本発明に係る画像処理プログラムは、コンピュータを、少なくとも二種類の光源での画素毎の感度補正用補正値のデータを光源の種類毎に記憶する手段、撮影時の光源の分光特性に依存した値に関する情報が付属している画像信号を入力する手段、前記撮影時の光源の分光特性に依存した値と記憶されている画素毎の感度補正用補正値とに基づいて、画素毎の補正値を算出する手段、及び算出された補正値を用いて画素信号の補正を行う手段として機能させるようにする。