(57)【要約】【課題】赤外線カットフィルタを光路上から抜き差しする切り替え機構を必要とせずに、夜間等の暗時での高感度撮影を可能とし、昼間等の明時での色再現性を向上することが可能な撮像装置および撮像装置の色補正方法を提供する。【解決手段】レンズ系（光学系）11、カラーフィルタを介して得られる被写体像を撮像する撮像素子１２と、撮像素子１２で撮像した画像情報から色温度を推定する色温度推定部１６と、撮像素子１２で撮像した画像にマトリクス演算処理を施して色補正を行う色補正部１７と、を有し、色補正部１７はマトリクス演算処理を推定した色温度によって決定されるリニアマトリクスＬおよび補正マトリクスＣを用いた式［Ｓ’＝Ｌ・Ｓ＋Ｃ］に従って行う。Ｓは色補正前のカラーフィルタの信号を、Ｓ’は色補正後のカラーフィルタの信号を示す。【選択図】図１
2010171950.tif 000002
【特許請求の範囲】
【請求項１】
光学系と、
分光特性の異なる複数のカラーフィルタと、
前記光学系および前記カラーフィルタを介して得られる被写体像を撮像する撮像素子と、
前記撮像素子で撮像した画像にマトリクス演算処理を施して色補正を行う色補正部と、を有し、
前記色補正部は、
前記マトリクス演算処理を、色温度によって決定するリニアマトリクスおよび補正マトリクスを用いた以下の式に従って行う
撮像装置。
Ｓ’＝Ｌ・Ｓ＋Ｃ
ただし、
Ｓ  ：色補正前のカラーフィルタの信号
Ｓ’：色補正後のカラーフィルタの信号
Ｌ  ：リニアマトリクス
Ｃ  ：補正マトリクス
【請求項２】
前記色温度の入力手段を有する請求項１に記載の撮像装置。
【請求項３】
前記撮像素子で撮像した画像情報から前記色温度を推定する色温度推定部を有する請求項１に記載の撮像装置。
【請求項４】
前記撮像素子で撮像した画像のホワイトバランス情報を取得するホワイトバランス情報取得部を有し、
前記色温度推定部は、
前記ホワイトバランス情報から色温度を推定する
請求項３記載の撮像装置。
【請求項５】
前記ホワイトバランス情報取得部は、
前記各カラーフィルタを介して得られる画素からの出力値を当該出力値のうちの最大値で除した商、または当該商の逆数をホワイトバランス比とし、当該ホワイトバランス比を用いてホワイトバランスを調整する機能を有する
請求項４記載の撮像装置。
【請求項６】
前記ホワイトバランス情報取得部は、
全画面において前記各カラーフィルタを介して得られるカラー毎の積分値を当該積分値のうちの最大値で除した商、または当該商の逆数をホワイトバランス比とし、
当該ホワイトバランス比を用いてホワイトバランスを調整する機能を有する
請求項４記載の撮像装置。
【請求項７】
前記ホワイトバランス情報取得部は、
画面の白い部分を選択した画像において、前記各カラーフィルタを介して得られるカラー毎の積分値を当該積分値のうちの最大値で除した商、または当該商の逆数をホワイトバランス比とし、
当該ホワイトバランス比を用いてホワイトバランスを調整する機能を有する
請求項４記載の撮像装置。
【請求項８】
色温度推定部は、
前記ホワイトバランス情報として前記ホワイトバランス比を用いる
請求項４から７のいずれか一に記載の撮像装置。
【請求項９】
前記色温度推定部は、
前記ホワイトバランス情報から推定した色温度に対応するリニアマトリクスと補正マトリクスを決定するためのルックアップテーブルを有する
請求項８記載の撮像装置。
【請求項１０】
前記複数のカラーフィルタが
赤（Ｒ）、緑（Ｇ）、および青（Ｂ）のカラーフィルタを含む
請求項１から９のいずれか一に記載の撮像装置。
【請求項１１】
前記複数のカラーフィルタが、
マゼンタ（Ｍｇ）、シアン（Ｃｙ）、イエロー（Ｙｅ）、および緑（Ｇ）のカラーフィルタを含む
請求項１から９のいずれか一に記載の撮像装置。
【請求項１２】
前記色補正部は、下記式に従った色補正処理を行う
請求項１から１１のいずれか一に記載の撮像装置。
【数３】
2010171950.tif 000005
【請求項１３】
光学系および分光特性の異なる複数のカラーフィルタを介して撮像素子により被写体像
を撮像する第１ステップと、
前記撮像素子で撮像した画像情報から色温度を推定する第２ステップと、
前記撮像素子で撮像した画像にマトリクス演算処理を施して色補正を行う第３ステップと、を有し、
前記第３ステップにおいて、
前記マトリクス演算処理を、前記推定した色温度によって決定するリニアマトリクスおよび補正マトリクスを用いて以下の式に従って行う
撮像装置の色補正方法。
Ｓ’＝Ｌ・Ｓ＋Ｃ
ただし、
Ｓ  ：色補正前のカラーフィルタの信号
Ｓ’：色補正後のカラーフィルタの信号
Ｌ  ：リニアマトリクス
Ｃ  ：補正マトリクス
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤ，ＣＭＯＳセンサなどの固体撮像素子を有する撮像装置および撮像装置の色補正方法に関するものである。
【背景技術】
【０００２】
一般的に撮像装置は、入射光を結像するレンズと、レンズにより結像した光学像を電気信号に変換する固体撮像素子と、固体撮像素子から得られた電気信号に信号処理を施すことにより所定の電気信号を得る信号処理部を有している。
【０００３】
通常、固体撮像素子は、たとえば、相補性金属酸化膜半導体（CMOS：Complementary Metal-oxide Semiconductor）センサや電荷結合素子（CCD：Charge Coupled Device）等が使用される。
【０００４】
色の三原色である赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号を得る場合には、Ｒ、Ｇ、Ｂに対応する光の帯域を透過させる原色フィルタの場合と、マゼンダ（Ｍｇ）、シアン（Ｃｙ）、イエロー（Ｙｅ）、緑（Ｇ）の補色フィルタを色分離フィルタとして用いる場合がある。
【０００５】
これらの色分離フィルタはいずれの場合も染料、もしくは顔料を用いて目的の色を透過するように形成される。ただし、色分離フィルタは、目的の色の透過機能を有すると同時に赤外領域も一定の割合で透過率を有してしまう。
【０００６】
一方、人間の色に対する視感度特性は可視領域と呼ばれる３８０ｎｍから７８０ｎｍまでの感度特性を持っていると言われている。また、近赤外領域は７８０ｎｍから２５００ｎｍまでの波長を、赤外領域葉２５００ｎｍ以上の波長を有している。これらの光は、直接肉眼で見ることはできないが、デジタルカメラやビデオカメラのモニタなどでは見ることができる。
【０００７】
そのため、撮像装置には、人間の目にあわせるために、一般的に赤外および近赤外領域の光線をカットする赤外線カットフィルタ（ＩＲＣＦ：Infrared Ray Cut Filter）を備える必要がある。
【０００８】
このように、一般的な撮像装置は、固体撮像素子の光入射側に近赤外領域および赤外領域の光線を通さない赤外線カットフィルタを備えている。
【０００９】
一方、たとえば監視カメラや車載カメラ等のように、特に夜間での感度も重視する場合は、近赤外領域の光を利用するために、赤外線カットフィルタＩＲＣＦを取り外すことが一般に知られている。
【００１０】
また、赤外線カットフィルタＩＲＣＦを設置せず、マトリクス演算を行うことにより色再現性を向上する技術も提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開２００５−３０３７０２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、赤外線カットフィルタＩＲＣＦを移動させる機構は、撮像素子を含むユニットの小型化に不利であり、また落下や振動による故障が起こる可能性が高く、信頼性が必要とされる製品には問題がある。
【００１３】
また、特許文献１に開示された撮像装置は、彩度の足りない画像に対しては所望の色が再現されない場合がある。
【００１４】
本発明は、赤外線カットフィルタを光路上から抜き差しする切り替え機構を必要とせずに、夜間等の暗時での高感度撮影を可能とし、昼間等の明時での色再現性を向上することが可能な撮像装置および撮像装置の色補正方法を提供することにある。
【課題を解決するための手段】
【００１５】
本発明の第１の観点の撮像装置は、光学系と、分光特性の異なる複数のカラーフィルタと、前記光学系および前記カラーフィルタを介して得られる被写体像を撮像する撮像素子と、前記撮像素子で撮像した画像にマトリクス演算処理を施して色補正を行う色補正部と、を有し、前記色補正部は、前記マトリクス演算処理を、色温度によって決定するリニアマトリクスおよび補正マトリクスを用いた以下の式に従って行う。
【００１６】
Ｓ’＝Ｌ・Ｓ＋Ｃ
ただし、
Ｓ  ：色補正前のカラーフィルタの信号
Ｓ’：色補正後のカラーフィルタの信号
Ｌ  ：リニアマトリクス
Ｃ  ：補正マトリクス
好適には、前記色温度の入力手段を有する。
【００１７】
好適には、前記撮像素子で撮像した画像情報から前記色温度を推定する色温度推定部を有する。
【００１８】
好適には、前記撮像素子で撮像した画像のホワイトバランス情報を取得するホワイトバランス情報取得部を有し、前記色温度推定部は、前記ホワイトバランス情報から色温度を推定する。
【００１９】
好適には、前記ホワイトバランス情報取得部は、前記各カラーフィルタを介して得られる画素からの出力値を当該出力値のうちの最大値で除した商、または当該商の逆数をホワイトバランス比とし、当該ホワイトバランス比を用いてホワイトバランスを調整する機能を有する。
【００２０】
好適には、前記ホワイトバランス情報取得部は、全画面において前記各カラーフィルタを介して得られるカラー毎の積分値を当該積分値のうちの最大値で除した商、または当該商の逆数をホワイトバランス比とし、当該ホワイトバランス比を用いてホワイトバランスを調整する機能を有する。
【００２１】
好適には、前記ホワイトバランス情報取得部は、画面の白い部分を選択した画像において、前記各カラーフィルタを介して得られるカラー毎の積分値を当該積分値のうちの最大値で除した商、または当該商の逆数をホワイトバランス比とし、当該ホワイトバランス比を用いてホワイトバランスを調整する機能を有する。
【００２２】
好適には、色温度推定部は、前記ホワイトバランス情報として前記ホワイトバランス比を用いる。
【００２３】
好適には、前記色温度推定部は、前記ホワイトバランス情報から推定した色温度に対応するリニアマトリクスと補正マトリクスを決定するためのルックアップテーブルを有する。
【００２４】
好適には、前記複数のカラーフィルタが、赤（Ｒ）、緑（Ｇ）、および青（Ｂ）のカラーフィルタを含む。
【００２５】
好適には、前記複数のカラーフィルタが、マゼンタ（Ｍｇ）、シアン（Ｃｙ）、イエロー（Ｙｅ）、および緑（Ｇ）のカラーフィルタを含む。
【００２６】
好適には、前記色補正部は、下記式に従った色補正処理を行う。
【００２７】
【数１】
2010171950.tif 000003
【００２８】
本発明の第２の観点の撮像装置の色補正方法は、光学系および分光特性の異なる複数のカラーフィルタを介して撮像素子により被写体像を撮像する第１ステップと、前記撮像素子で撮像した画像情報から色温度を推定する第２ステップと、前記撮像素子で撮像した画像にマトリクス演算処理を施して色補正を行う第３ステップと、を有し、前記第３ステップにおいて、前記マトリクス演算処理を、前記推定した色温度によって決定するリニアマトリクスおよび補正マトリクスを用いて以下の式に従って行う。
【００２９】
Ｓ’＝Ｌ・Ｓ＋Ｃ
ただし、
Ｓ  ：色補正前のカラーフィルタの信号
Ｓ’：色補正後のカラーフィルタの信号
Ｌ  ：リニアマトリクス
Ｃ  ：補正マトリクス
【発明の効果】
【００３０】
本発明によれば、赤外線カットフィルタを光路上から抜き差しする切り替え機構を必要とせずに、夜間等の暗時での高感度撮影を可能とし、昼間等の明時での色再現性を向上することができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】本実施形態に係る単位画素の説明図である。
【図３】本実施形態の３色のカラーフィルタにより形成される単位フィルタの一例を示す図である。
【図４】本実施形態の４色のカラーフィルタにより形成される単位フィルタの配置例を示す図である。
【図５】色温度とホワイトバランス比ΣＲ/ΣＧ、ΣＢ/ΣＧの関係を説明するための説明図である。
【図６】本実施形態に係るルックアップテーブルの一例を示す図である。
【図７】リニアマトリクスのみを用いた場合の色再現性について説明するための図である。
【図８】本実施形態のように、リニアマトリクスと補正マトリクスを用いた場合の色再現性を説明するための図である。
【図９】本発明の実施形態に係る入力手段を持った撮像装置の構成例を示すブロック図である。
【発明を実施するための形態】
【００３２】
以下、本発明の実施形態を図面に関連付けて説明する。
【００３３】
図１および図９は、本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【００３４】
本撮像装置１０は、図１に示すように、レンズ系（光学系）１１、撮像素子１２、カラーフィルタ群１３、フロントエンド部１４、ホワイトバランス情報取得部１５、色温度推定部１６、および色補正部１７を有する。
【００３５】
レンズ系１１は、被写体ＯＢＪの像を、カラーフィルタ群１３を通して撮像素子１２の撮像面に結像する。
【００３６】
撮像素子１２は、ＣＣＤやＣＭＯＳセンサにより形成され、複数の画素がマトリクス状に配列されている。
【００３７】
撮像素子１２は、カラーフィルタを透過した光に対応する色の画像信号を生成し、生成した各色の画像信号をフロントエンド部１４に出力する。
【００３８】
カラーフィルタ群１３は、複数の色のカラー（色）フィルタを含み、撮像素子１２の撮像面の光入射側に配置されている。
【００３９】
カラーフィルタ群１３は、可視領域において、少なくとも３色以上のカラーフィルタを有する。
【００４０】
本実施形態では、カラーフィルタ群１３が、３色または４色のカラーフィルタを有する場合を例に説明する。
【００４１】
そして、本実施形態では、撮像素子１２の画素配列として、図２に示すような、２×２のマトリクス配列された４つの画素ＰＸＬを、一組の単位画素ＵＰＸＬとした場合を例に説明する。
【００４２】
以下に、３色または４色のカラーフィルタにより形成される単位フィルタＵＦＬＴの構成例を示す。
【００４３】
図３は、本実施形態の３色のカラーフィルタにより形成される単位フィルタの一例を示す図である。
【００４４】
図３の単位フィルタＵＦＬＴ１は、図２の単位画素ＵＰＸＬに対応して２×２のマトリクス配列された３色のカラーフィルタにより形成される。
【００４５】
具体的には、単位フィルタＵＦＬＴ１は、色の三原色である赤（Ｒ）フィルタＲＦＬＴ、２つの緑（Ｇ）フィルタＧＦＬＴ、青（Ｂ）フィルタＢＦＬＴを有する。
【００４６】
この単位フィルタＵＦＬＴ１は、いわゆるベイヤ配列に対応している。
【００４７】
図４は、本実施形態の４色のカラーフィルタにより形成される単位フィルタの配置例を示す図である。
【００４８】
図４の単位フィルタＵＦＬＴ２は、図２の単位画素ＵＰＸＬに対応して２×２のマトリクス配列された４色のカラーフィルタにより形成される。
【００４９】
具体的には、単位フィルタＵＦＬＴ２は、補色となるシアン（Ｃｙａｎ：Ｃｙ）フィルタＣＦＬＴ、マゼンダ（Ｍａｇｅｎｄａ：Ｍｇ）フィルタＭＦＬＴ、イエロー（Ｙｅｌｌｏｗ：Ｙｅ）ＹＦＬＴを有する。
【００５０】
そして、単位フィルタＵＦＬＴ２は、色の三原色となる赤（Ｒ）、緑（Ｇ）、青（Ｂ）
うちの１色で形成される原色フィルタＰＣＦＬＴにより形成される。
【００５１】
本実施形態においては、原色フィルタＰＣＦＬＴとしてＧフィルタＧＦＬＴが適用される。
【００５２】
説明の簡略化のため、以下、ＲＧＢの原色のカラーフィルタを備えた撮像素子を使用する場合を例に説明することとする。
【００５３】
フロントエンド部１４は、撮像素子１２による、たとえばＲ、Ｇ、Ｂの画像信号のノイズ成分を除去するための相関２重サンプリング（ＣＤＳ）処理、ゲインコントロール処理、およびデジタル変換処理を施し、デジタル信号に変換されたＲ、Ｇ、Ｂの画像信号をホワイトバランス情報取得部１５に出力する。
【００５４】
ホワイトバランス情報取得部１５は、フロントエンド部１４により供給される撮像素子１２で撮像した画像のホワイトバランス情報を取得し、取得したホワイトバランス情報を色温度推定部１６に出力し、Ｒ、Ｇ、Ｂの画像信号を色補正部１７に出力する。
【００５５】
ホワイトバランス情報取得部１５は、ホワイトバランス比を用いてホワイトバランスを調整する機能を有し、各カラーフィルタを介して得られる画素からの出力値をこの出力値のうちの最大値で除した商、またはこの商の逆数をホワイトバランス比とする。
【００５６】
あるいは、ホワイトバランス情報取得部１５は、全画面からホワイトバランス比を用いてホワイトバランスを調整する機能を有し、前記各カラーフィルタを介して得られるカラー毎の積分値をこの積分値のうちの最大値で除した商、またはこの商の逆数をホワイトバランス比とする。
【００５７】
あるいは、ホワイトバランス情報取得部１５は、画面の白い部分を選択した画像からホワイトバランス比を用いてホワイトバランスを調整する機能を有し、選択した白い部分の画像において、各カラーフィルタを介して得られるカラー毎の積分値をこの積分値のうちの最大値で除した商、またはこの商の逆数をホワイトバランス比とする。
【００５８】
図１に示すホワイトバランス情報取得部１５は、Ｒ画像信号、Ｇ画像信号、Ｂ画像信号を積算したΣＲ、ΣＧ、ΣＢを用い、ΣＲ、ΣＢをΣＧで除算した、ΣＲ/ΣＧ、ΣＢ/ΣＧの値をホワイトバランス比として表す。
【００５９】
色温度推定部１６は、ホワイトバランス情報取得部１５で取得されたホワイトバランス情報から色温度を推定する。
【００６０】
色温度推定部１６は、ホワイトバランス比から色温度を推定し、推定した色温度に関連付けて色補正部１７で色補正に用いるリニアマトリクスＬと補正マトリクスＣを決定する。
【００６１】
図５は、色温度とホワイトバランス比ΣＲ/ΣＧ、ΣＢ/ΣＧの関係を説明するための説明図である。
【００６２】
図５において、横軸はΣＲ/ΣＧ、縦軸はΣＢ/ΣＧを示し、各色温度に対応する点を○で示している。
【００６３】
ホワイトバランス比ΣＲ/ΣＧが大きく、ホワイトバランス比ΣＢ/ΣＧが小さいほど色温度が高く、ホワイトバランス比ΣＲ/ΣＧが小さく、ホワイトバランス比ΣＢ/ΣＧが大きいほど色温度が低い。
【００６４】
図５の例においては、色温度６５００度Ｋ、５０００度Ｋ、３０００度Ｋの場合が例示されている。
【００６５】
色温度推定部１６は、ホワイトバランス情報から推定した色温度に対応するリニアマトリクスＬと補正マトリクスＣを決定するためのルックアップテーブルＬＵＴを有する。
【００６６】
図６は、本実施形態に係るルックアップテーブルの一例を示す図である。
【００６７】
色温度推定部１６は、上述したように、カラーフィルタの値から色温度を推定し、推定した色温度に関連付けてリニアマトリクスＬおよび補正マトリクスＣを決定する。
【００６８】
図６の例において、たとえば色温度６５００度Ｋと推定した場合には色温度推定部１６は、リニアマトリクスＬおよび補正マトリクスＣの各パラメータを以下のように選択する。
【００６９】
色温度推定部１６は、色温度を６５００度Ｋと推定した場合、リニアマトリクスＬのＫｒｒは０．６、Ｋｒｇは０．４、Ｋｒｂは−０．１、Ｋｇｒは−０．２、Ｋｇｇは１．２、Ｋｇｂは０．０、Ｋｂｒは−０．２、Ｋｂｇは０．１、Ｋｂｂは１．０とする。
【００７０】
色温度推定部１６は、色温度を６５００度Ｋと推定した場合、補正マトリクスＣのＣｒは−３．０、Ｃｇは−１．９、Ｃｂは−０．９とする。
【００７１】
色温度推定部１６は、色温度を５０００度Ｋと推定した場合、リニアマトリクスＬのＫｒｒは０．４、Ｋｒｇは１．０、Ｋｒｂは−０．１、Ｋｇｒは−１．１、Ｋｇｇは２．６、Ｋｇｂは−０．１、Ｋｂｒは−１．０、Ｋｂｇは０．２、Ｋｂｂは２．２とする。
【００７２】
色温度推定部１６は、色温度を５０００度Ｋと推定した場合、補正マトリクスＣのＣｒは３４．０、Ｃｇは４０．０、Ｃｂは５０．０とする。
【００７３】
色温度推定部１６は、色温度を３０００度Ｋと推定した場合、リニアマトリクスＬのＫｒｒは１．４、Ｋｒｇは０．１、Ｋｒｂは−０．７、Ｋｇｒは−１．７、Ｋｇｇは３．０、Ｋｇｂは−０．３、Ｋｂｒは−２．４、Ｋｂｇは２．２、Ｋｂｂは１．３とする。
【００７４】
色温度推定部１６は、色温度を３０００度Ｋと推定した場合、補正マトリクスＣのＣｒは−１０．０、Ｃｇは４０．０、Ｃｂは４０．０とする。
【００７５】
色補正部１７は、撮像素子１２で撮像した画像にマトリクス演算処理を施して色補正を行う。
【００７６】
色補正部１７は、マトリクス演算処理を、色温度推定部１６で推定した色温度によって決定されるリニアマトリクスＬおよび補正マトリクスＣを用いて以下の式に従って行う
Ｓ’＝Ｌ・Ｓ＋Ｃ
ただし、
Ｓ  ：色補正前のカラーフィルタの信号
Ｓ’：色補正後のカラーフィルタの信号
Ｌ  ：リニアマトリクス
Ｃ  ：補正マトリクス
色補正部１７は、具体的には、次式に従った色補正処理を行う。
【００７７】
【数２】
2010171950.tif 000004
【００７８】
次に、図１の構成による動作を説明する。
【００７９】
レンズ系（光学系）１１を介して入射された光がカラーフィルタ群１３を介して撮像素子１２に集光される。撮像素子１２は、入射した光に対応する色の画像信号がフロントエンド部１４に出力される。
【００８０】
ここで、カラーフィルタ群１３において、レンズ系（光学系）11を通過した光は、ＲフィルタＲＦＬＴ、ＧフィルタＧＦＬＴ、ＢフィルタＢＦＬＴを透過し、それぞれのフィルタに対応する光電変換素子（フォトダイオード）において受光される。
【００８１】
フォトダイオードでは、受光した光の光電変換が行われ、各々の出力信号がＲ画像信号、Ｇ画像信号、Ｂ画像信号として生成され、フロントエンド部１４に出力される。
【００８２】
フロントエンド部１４においては、撮像素子１２から供給された出力信号に対して、たとえば、ノイズ成分を除去するための相関２重サンプリング処理、ゲインコントロール処理、およびデジタル変換処理が施され、処理された画像信号がホワイトバランス情報取得部１５に出力される。
【００８３】
ホワイトバランス情報取得部１５においては、フロントエンド部１４から供給された出力画像信号のホワイトバランス比が算出され、色温度推定部１６にホワイトバランス比情報が出力される。
【００８４】
ホワイトバランス比は、Ｒ画像信号、Ｇ画像信号、Ｂ画像信号を積算したΣＲ、ΣＧ、ΣＢを用い、ΣＲ、ΣＢをΣＧで除算した、ΣＲ/ΣＧ、ΣＢ/ΣＧの値を表す。
【００８５】
また、ホワイトバランス情報取得部１５では、ホワイトバランス比の逆数が各Ｒ画像信号、Ｇ画像信号、Ｂ画像信号に積算され、ホワイトバランスが調整される。
【００８６】
色温度推定部１６においては、ホワイトバランス比から色温度が推定され、ルックアップテーブルＬＵＴを参照して色温度に応じてリニアマトリクスＬと補正マトリクスＣが選択され、色補正部１７にリニアマトリクスＬと補正マトリクスＣが出力される。
【００８７】
色補正部１７においては、色温度推定部１６により選択されたリニアマトリクスＬと補正マトリクスＣを用いて色信号の補正が行われる。
【００８８】
ここで、リニアマトリクスのみを用いた場合と、本実施形態のようにリニアマトリクスと補正マトリクスを用いた場合の色再現性について、図７および図８に関連付けて考察する。
【００８９】
図７は、リニアマトリクスのみを用いた場合の色再現性について説明するための図である。
【００９０】
図８は、本実施形態のように、リニアマトリクスと補正マトリクスを用いた場合の色再現性を説明するための図である。
【００９１】
図７および図８において、横軸はａ、縦軸はｂを表す。
【００９２】
ここで、ａおよびｂは、Ｒ画像信号、Ｇ画像信号、Ｂ画像信号をＬ＊ａ＊ｂ表色系で表した際のａおよびｂを表す。
【００９３】
図７のリニアマトリクスのみを用いた場合よりも、図８のリニアマトリクスに補正マトリクスを追加した方が、ＩＲＣＦがある場合の色に近づいており、色再現が良好であることが分かる。
【００９４】
以上説明したように、本実施形態によれば、撮像装置１０は、レンズ系（光学系）11と、分光特性の異なる複数のカラーフィルタを含むカラーフィルタ群１３と、レンズ系（光学系）11とカラーフィルタを介して得られる被写体像を撮像する撮像素子１２とを有する。
【００９５】
撮像素子１０は、さらに撮像素子で撮像した画像のホワイトバランス情報を取得するホワイトバランス情報取得部１５と、ホワイトバランス情報から色温度を推定する色温度推定部１６と、撮像素子で撮像した画像にマトリクス演算処理を施して色補正を行う色補正部１７と、を有する。
【００９６】
そして、色補正部１７は、マトリクス演算処理を推定した色温度によって決定するリニアマトリクスＬおよび補正マトリクスＣを用いた式［Ｓ’＝Ｌ・Ｓ＋Ｃ］に従って行う。Ｓは色補正前のカラーフィルタの信号を、Ｓ’は色補正後のカラーフィルタの信号を示す。
【００９７】
また、図９に示すように色温度の入力手段を有して、そこから得られた色温度によって同様に色補正部１７でリニアマトリクスＬおよび補正マトリクスＣを決定して、色補正を行うことも可能である。
【００９８】
撮像装置１０ａの例では入力手段として入力スイッチ１８を備える。操作者がこの入力スイッチ１８を操作して色温度情報を設定すると、ルックアップテーブルＬＵＴを参照して色温度に応じてリニアマトリクスＬと補正マトリクスＣが選択され、色補正部１７にリニアマトリクスＬと補正マトリクスＣが出力される。
【００９９】
撮像装置１０ｂの例では入力手段として色温度検知センサ１９を備える。この色温度検知センサは近赤外領域やあるいは赤外領域まで感度を有する必要がある。色温度検知センサ１９によって被写体の色温度を検知し、ルックアップテーブルＬＵＴを参照して色温度に応じてリニアマトリクスＬと補正マトリクスＣが選択され、色補正部１７にリニアマトリクスＬと補正マトリクスＣが出力される。
【０１００】
したがって、本実施形態によれば、以下の効果を得ることができる。
【０１０１】
赤外線カットフィルタを光路上から移動させる駆動部を必要とせずに、人間の視感度特性に合致する撮像装置を実現することが可能である。
【０１０２】
すなわち、赤外カットフィルタを用いずに、色温度の入力手段や撮影画像から得られるホワイトバランス情報によって色情報を推定することで感度と色再現性を両立させることから、赤外カットフィルタも必要なければ、それを出し入れする機構不要であり、コストダウンや小型化に貢献できる。
【０１０３】
また、赤外カットフィルタ有りと無しの両方の画像を必要とすることがなくなるため、それらの撮影間のタイムラグが、被写体が静止していない限り問題となることもなくなる。
【０１０４】
以上のように、本実施形態によれば、赤外線カットフィルタを光路上から抜き差しする
切り替え機構を必要とせずに、夜間等の暗時での高感度撮影を可能とし、昼間等の明時での色再現性を向上することが可能となる。
【０１０５】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
【０１０６】
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【符号の説明】
【０１０７】
１０・・・撮像装置
１１・・・レンズ系（光学系）
１２・・・撮像素子
１３・・・カラーフィルタ群
１４・・・フロントエンド部
１５・・・ホワイトバランス情報取得部
１６・・・色温度推定部
１７・・・色補正部
ＬＵＴ・・・ルックアップテーブル
【図９】
2010171950.tif 000006
【図１】
2010171950.tif 000007
【図２】
2010171950.tif 000008
【図３】
2010171950.tif 000009
【図４】
2010171950.tif 000010
【図５】
2010171950.tif 000011
【図６】
2010171950.tif 000012
【図７】
2010171950.tif 000013
【図８】
2010171950.tif 000014