(57)【要約】【課題】  撮像装置においてＩＲＣＦを用いなくとも良好な色再現性を実現し、Ｓ/Ｎを改善し、さらに蛍光灯などの人工光を含め様々な光源下で良好な色再現性を得る。【解決手段】  入射光に対応した第１の色信号Ｒ５、Ｇ５、Ｂ５と、第１の色信号に第１の定数ｉを指数としてべき乗することによって得られる値に近似する値の色信号と、第１の色信号に第２の定数ｊを指数としてべき乗することによって得られる値に近似する値の色信号と、これらに対するマトリクス係数との乗算を含むマトリクス演算を行って、第２の色信号Ｒ６、Ｇ６、Ｂ６を得る。マトリクス係数が色信号の積算値の比に基いて定められる。【選択図】        図１      
2005303704.tif 000002
【特許請求の範囲】
【請求項１】
入射光を受けて、入射光に対応した第１の赤、緑、青の色信号を出力する色信号生成手段と、
前記第１の赤、緑、青の色信号と係数との乗算を含むマトリクス演算を行って第２の赤、緑、青の色信号を生成する分光感度特性補正手段とを備え、
前記分光感度特性補正手段は、
前記第１の赤、緑、青の色信号と、前記第１の赤、緑、青の色信号に予め定めた第１の定数を指数としてべき乗することによって得られる値に近似した値を有する赤、緑、青の第３の色信号と、前記第１の赤、緑、青の色信号に予め定めた第２の定数を指数としてべき乗することによって得られる値に近似した値を有する赤、緑、青の第４の色信号と、これらに対する係数との乗算と、この乗算の結果の相互加算とを含むマトリクス演算を行い、
前記第１の定数、前記第２の定数、及び前記係数は、前記色信号生成手段と前記分光感度特性補正手段の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、前記色信号生成手段の近赤外域での応答特性を補正するように定められており、
さらに前記色信号生成手段内の前記撮像手段から得られた赤、緑、青の色信号又はこれに対応する色信号を画面内の複数の画素にわたって積算し、赤の色信号の積算値ΣＲと青の色信号の積算値ΣＢと、緑の色信号の積算値ΣＧとを求める積算手段と、
前記積算手段により求められた赤の色信号の積算値ΣＲと、青の色信号の積算値ΣＢと、緑の色信号の積算値ΣＧとを求め、これらの比ΣＲ/ΣＧ及びΣＢ/ΣＧを計算する除算手段と、
前記比ΣＲ/ΣＧ及びΣＢ/ΣＧの値に応じて前記分光感度特性補正手段で用いられる前記係数を生成する係数生成手段とを
さらに備える
ことを特徴とする撮像装置。
【請求項２】
前記係数生成手段は、入力値としてΣＲ／ΣＧとΣＢ／ΣＧの２値を受け、出力値として前記係数を出力するＬＵＴ（Ｌｏｏｋ  ｕｐ  ｔａｂｌｅ）を具備していることを特徴とする請求項１に記載の撮像装置。
【請求項３】
第１の赤、緑、青の色信号をＲ５、Ｇ５、Ｂ５とし、前記第２の赤、緑、青の色信号をＲ６、Ｇ６、Ｂ６とするとき、前記分光感度特性補正手段は下記の式（１）、即ち、
【数１】
2005303704.tif 000006
（ここで、
ｆｉ（Ｒ５），ｆｉ（Ｇ５），ｆｉ（Ｂ５）は、それぞれ、前記第３の色信号の値、
ｆｊ（Ｒ５），ｆｊ（Ｇ５），ｆｊ（Ｂ５）は、それぞれ、前記第４の色信号の値、
ｒ１乃至ｒ９、ｇ１乃至ｇ９、およびｂ１乃至ｂ９は係数）
の演算を行うことを特徴とする請求項１に記載の撮像装置。
【請求項４】
上記第１の定数が１よりも小さい値であり、前記第３の色信号が、概して上記第１の定数を指数としてべき乗することによって得られる値を有し、上記第１の色信号が零に近い範囲においては、上記のべき乗により得られる値よりも小さな値を有し、前記第１の色信号に対する第３の色信号の比が所定値以下に制限されたものであることを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記第２の定数が１よりも大きい値であり、前記第４の色信号が、概して上記第２の定数を指数としてべき乗することによって得られる値を有し、上記第１の色信号が最大値に近い範囲においては、上記のべき乗により得られる値よりも小さな値を有し、前記第１の色信号に対する第４の色信号の比が所定値以下に制限されたものであることを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記色信号生成手段が、前記撮像手段から出力された色信号の直流成分を再生する直流成分再生手段を有し、前記積算手段が前記直流成分再生手段から出力される色信号の積算値を求めることを特徴とする請求項１に記載の撮像装置。
【請求項７】
請求項１乃至６のいずれかに記載の撮像装置と、
前記撮像装置から出力される画像データを記録媒体に書き込む手段とを備えた
カメラ。
【請求項８】
入射光を受けて、入射光に対応した第１の赤、緑、青の色信号を出力する色信号生成手段を備えた撮像装置における信号処理方法において、
前記第１の赤、緑、青の色信号と係数との乗算を含むマトリクス演算を行って第２の赤、緑、青の色信号を生成する分光感度特性補正工程を備え、
前記分光感度特性補正工程は、
前記第１の赤、緑、青の色信号と、前記第１の赤、緑、青の色信号に予め定めた第１の定数を指数としてべき乗することによって得られる値に近似した値を有する赤、緑、青の第３の色信号と、前記第１の赤、緑、青の色信号に予め定めた第２の定数を指数としてべき乗することによって得られる値に近似した値を有する赤、緑、青の第４の色信号と、これらに対する係数との乗算と、この乗算の結果の相互加算とを含むマトリクス演算を行い、
前記第１の定数、前記第２の定数、及び前記係数は、前記色信号生成手段における生成処理と前記分光感度特性補正工程の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、前記色信号生成手段の近赤外域での応答特性を補正するように定められており、
さらに前記色信号生成手段内の前記撮像手段から得られた赤、緑、青の色信号又はこれに対応する色信号を画面内の複数の画素にわたって積算し、赤の色信号の積算値ΣＲと青の色信号の積算値ΣＢと、緑の色信号の積算値ΣＧとを求める積算工程と、
前記積算工程により求められた赤の色信号の積算値ΣＲと、青の色信号の積算値ΣＢと、緑の色信号の積算値ΣＧとを求め、これらの比ΣＲ/ΣＧ及びΣＢ/ΣＧを計算する除算工程と、
前記比ΣＲ/ΣＧ及びΣＢ/ΣＧの値に応じて前記分光感度特性補正工程で用いられる前記係数を生成する係数生成工程とを
さらに備える
ことを特徴とする信号処理方法。
【請求項９】
第１の赤、緑、青の色信号をＲ５、Ｇ５、Ｂ５とし、前記第２の赤、緑、青の色信号をＲ６、Ｇ６、Ｂ６とするとき、前記分光感度特性補正工程は下記の式（１）、即ち、
【数２】
2005303704.tif 000007
（ここで、
ｆｉ（Ｒ５），ｆｉ（Ｇ５），ｆｉ（Ｂ５）は、それぞれ、前記第３の色信号の値、
ｆｊ（Ｒ５），ｆｊ（Ｇ５），ｆｊ（Ｂ５）は、それぞれ、前記第４の色信号の値、
ｒ１乃至ｒ９、ｇ１乃至ｇ９、およびｂ１乃至ｂ９は係数）
の演算を行うことを特徴とする請求項８に記載の信号処理方法。
【請求項１０】
上記第１の定数が１よりも小さい値であり、前記第３の色信号が、概して上記第１の定数を指数としてべき乗することによって得られる値を有し、上記第１の色信号が零に近い範囲においては、上記のべき乗により得られる値よりも小さな値を有し、前記第１の色信号に対する第３の色信号の比が所定値以下に制限されることを特徴とする請求項８に記載の信号処理方法。
【請求項１１】
上記第２の定数が１よりも大きい値であり、前記第４の色信号が、概して上記第２の定数を指数としてべき乗することによって得られる値を有し、上記第１の色信号が最大値に近い範囲においては、上記のべき乗により得られる値よりも小さな値を有し、前記第１の色信号に対する第４の色信号の比が所定値以下に制限されることを特徴とする請求項８に記載の信号処理方法。
【請求項１２】
前記色信号生成手段が、前記撮像手段から出力された色信号の直流成分を再生する直流成分再生手段を有し、前記積算工程が前記直流成分再生手段から出力される色信号の積算値を求めることを特徴とする請求項８に記載の信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、撮像装置に関し、特に赤外除去フィルタ（ＩＲＣＦ）を用いずに比視感度補正を行う信号処理手段を具備した撮像装置に関する。本発明はまた、そのような撮像装置を備えたカメラに関するものである。本発明はさらに、そのような撮像装置における信号処理方法に関する。
【背景技術】
【０００２】
従来の撮像装置は、入射光を結像するレンズと、レンズにより結像した光学像を電気信号に変換する撮像素子と、撮像素子から得られた電気信号に対し信号処理を施すことにより所定の画像信号を得る信号処理手段とを有している。
通常撮像素子として用いるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）センサー又はＣＭＯＳ（Ｃｏｍｐｌｉｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ）センサを一枚だけで撮像装置を構成する場合、即ち、単板式のセンサーにおいては、色分解を行う色フィルタとして、画素ごとに異なる色のものがセンサー上に設けられている。
赤（Ｒ）、緑（Ｇ）、青（Ｂ）の色信号を得るには、Ｒ、Ｇ、Ｂに対応する光の帯域を透過させる、Ｒ、Ｇ、Ｂの原色フィルタを用いる場合と、マジェンタ（Ｍｇ）、シアン（Ｃｙ）、イエロー（Ｙｅ）、Ｇの補色フィルタを用いる場合がある。上記のいずれの色フィルタも染料もしくは顔料を用いて目的の色を透過させるようにその分光透過特性が設計されているが、近赤外領域でも一定の透過率を有する。また、撮像素子の光電変換部は主にシリコン（Ｓｉ）などの半導体で構成されているため、光電変換部の分光感度特性は波長の長い近赤外光まで感度を有している。よって、色フィルタを具備した撮像素子から得られた信号は近赤外領域の光線にも反応している。
【０００３】
一方、人間の色に対する感度特性である色覚特性および明るさに対する感度特性である比視感度特性はその感度が可視域といわれる３８０ｎｍから７８０ｎｍまでの感度特性であり、７００ｎｍより長波長域ではほとんど感度を有さない。そこで、撮像装置の色再現性を人間の色覚特性に合わせるためには、撮像素子の前に近赤外領域の光線を通過させない視感度補正用の赤外線除去フィルタ（以後、ＩＲＣＦ：Ｉｎｆｒａｒｅｄ  Ｃｕｔ  Ｆｉｌｔｅｒ）を設ける必要があった。
【０００４】
一方、例えば監視カメラ等のように色再現性よりも感度を重視する場合には、近赤外領域の光を利用するため、ＩＲＣＦを設けず撮像素子に近赤外光を受光させるほうが良い。
【０００５】
そこで、色再現性を必要とするときはＩＲＣＦを撮像素子の前に設置し、感度を優先するときは近赤外の光線を受光するために、ＩＲＣＦを移動させる機構手段を設けたり、入射光量を調整する絞りの一部にＩＲＣＦを設け、光量に応じてＩＲＣＦを撮像素子の前に設置したり除去したりする技術が種々提案されている（例えば、特許文献１参照）。
また、ＩＲＣＦを設置せずにホワイトバランスを取り、ＩＲＣＦを設置したときに輝度信号を生成するＲ、Ｇ、Ｂ信号の混色比とは異なる混色比で輝度信号を生成することで感度向上を図る技術も提案されている（特許文献２、３参照）。
【０００６】
【特許文献１】特開２００１−３６８０７公報
【特許文献２】特開２００３−１３４５２２公報
【特許文献３】特開２００３−２６４８４３公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に挙げた従来の撮像装置はＩＲＣＦを移動させる機構手段が必要であり、撮像素子を含むユニットの小型化に不利であり、撮像素子の電子シャッタを用いて光量調整を行う簡易的な撮像装置（例えば、ピーシーカメラ（ＰＣカメラ）、携帯電話用カメラ、トイカメラ（ＴＯＹカメラ）、民生用監視カメラ）は絞り機構を有していないことが多いため、新たにＩＲＣＦを着脱する機構手段を設けなければならない。
【０００８】
また、特許文献２及び３に挙げた撮像装置は白黒の映像信号を得るときは問題ないが、カラーの映像信号を得るときは、色信号はホワイトバランスを合わせるのみであり、さらに輝度信号も人間の比視感度特性が考慮されていない色信号比であるため、そのカラーの映像信号は人間の色覚特性又はそれを線形変換することにより得られる分光感度特性で得られるＲ、Ｇ、Ｂ値と異なった映像信号、すなわちカラーの映像信号は人間の色覚特性又はそれを線形変換することにより得られる分光感度特性で得られるＲ、Ｇ、Ｂ値に対する色差ΔＥ＊ａｂ（ＪＩＳ  Ｚ８７３０）の大きな映像信号となり、正確な色再現性が得られない。
また、Ｓ/Ｎ（ｓｉｇｎａｌ  ｔｏ  ｎｏｉｚｅ  ｒａｔｉｏ）の良い画像を得ることができず、さらに蛍光灯などの人工光を含め様々な光源下で良好な色再現性を得ることができないという問題があった。
【０００９】
本発明は、上述のような課題を解消するためになされたもので、ＩＲＣＦを用いることなく、近赤外光が入射されたときでも、色再現性の良好なカラーの映像信号を得るとともに、Ｓ/Ｎの良い画像を得ることができ、さらに蛍光灯などの人工光を含め様々な光源下で良好な色再現性を得ることができる撮像装置及び信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、
入射光を受けて、入射光に対応した第１の赤、緑、青の色信号を出力する色信号生成手段と、
前記第１の赤、緑、青の色信号と係数との乗算を含むマトリクス演算を行って第２の赤、緑、青の色信号を生成する分光感度特性補正手段とを備え、
前記分光感度特性補正手段は、
前記第１の赤、緑、青の色信号と、前記第１の赤、緑、青の色信号に予め定めた第１の定数を指数としてべき乗することによって得られる値に近似した値を有する赤、緑、青の第３の色信号と、前記第１の赤、緑、青の色信号に予め定めた第２の定数を指数としてべき乗することによって得られる値に近似した値を有する赤、緑、青の第４の色信号と、これらに対する係数との乗算と、この乗算の結果の相互加算とを含むマトリクス演算を行い、
前記第１の定数、前記第２の定数、及び前記係数は、前記色信号生成手段と前記分光感度特性補正手段の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、前記色信号生成手段の近赤外域での応答特性を補正するように定められており、
さらに前記色信号生成手段内の前記撮像手段から得られた赤、緑、青の色信号又はこれに対応する色信号を画面内の複数の画素にわたって積算し、赤の色信号の積算値ΣＲと青の色信号の積算値ΣＢと、緑の色信号の積算値ΣＧとを求める積算手段と、
前記積算手段により求められた赤の色信号の積算値ΣＲと、青の色信号の積算値ΣＢと、緑の色信号の積算値ΣＧとを求め、これらの比ΣＲ/ΣＧ及びΣＢ/ΣＧを計算する除算手段と、
前記比ΣＲ/ΣＧ及びΣＢ/ΣＧの値に応じて前記分光感度特性補正手段で用いられる前記係数を生成する係数生成手段とを
さらに備える
ことを特徴とする撮像装置を提供するものである。
【発明の効果】
【００１１】
本発明によれば、ＩＲＣＦを用いなくても、良好な色再現性を得ることができ、また、Ｓ/Ｎの良い画像を得ることができる。さらに、蛍光灯などの人工光を含め様々な光源下で良好な色再現性を得ることができ、ＩＲＣＦを必要とない撮像装置を得ることができる。
【発明を実施するための最良の形態】
【００１２】
実施の形態１．
図１はこの発明の実施の形態１による撮像装置を示す概略構成図である。図示のように、この撮像装置は、撮像手段１と、増幅手段２と、Ａ／Ｄ変換器（ＡＤＣ）３と、直流成分再生手段（ＤＣ再生手段）４と、ホワイトバランス手段５と、分光感度特性補正手段６と、ガンマ（γ）補正手段７と、輝度色差信号生成手段８とを含む。さらに、除算手段１２と、係数生成手段１３とを有する。
【００１３】
撮像手段１は、例えば図２（ａ）、（ｂ）に示すように、レンズ１０ａと、２次元的に配列された複数の光電変換素子を有する撮像素子１１と、色分離手段としての色フィルタ１０ｂとを有する。
撮像素子１１の複数の光電変換素子は、例えば図２（ａ）に示すようにベイヤ（Ｂａｙｅｒ）型に配置された、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色に対応する分光透過率を有する色フィルタ１０ｂで覆われている。
【００１４】
レンズ１０ａから入射した光は、撮像素子１１の受光面上に結像する。撮像素子１１は、上記のように、色フィルタ１０ｂで覆われており、各光電変換素子からは、色フィルタ１０ｂ分光透過率に対応した色成分、即ちＲ、Ｇ、Ｂのアナログ映像信号Ｒ１、Ｇ１、Ｂ１が出力される。
【００１５】
このようにして、撮像手段１から出力されるＲ、Ｇ、Ｂのアナログ信号（以下、それぞれ「Ｒ信号」、「Ｇ信号」、「Ｂ信号」と言うことがある）は、増幅手段２によって増幅される。増幅手段２から出力された映像信号はＡＤＣ３によってディジタル信号に変換される。ディジタル信号に変換された映像信号はＤＣ再生手段４により、ＤＣレベルが再生される。ＤＣ再生は通常映像信号の黒レベルが「０」になるように、ＡＤＣ３によるＡ／Ｄ変換前に有していたオフセットレベルをＤＣシフトするか、クランプ処理を行う。
【００１６】
積算手段９は、ＤＣ再生手段４から出力されるＲ信号、Ｇ信号、及びＢ信号をそれぞれ複数の画素に亘って、例えば画面全体に亘って積算し、Ｒ信号の積算値ΣＲ、Ｇ信号の積算値ΣＧ、及びＢ信号の積算値ΣＢ及びを求める。
【００１７】
次に、ホワイトバランス（ＷＢ）手段５は、それぞれＲ、Ｇ、Ｂ信号を増幅する３つの増幅手段（図示しない）を有し、ＤＣ再生手段４からのＲ、Ｇ、Ｂ信号を受けて、さらに、積算手段９から積算値ΣＲ、ΣＧ、ΣＢを受けて、映像信号の撮像条件に応じて被写体の白の箇所のＲ、Ｇ、Ｂ信号の値が等しくなる（すなわち白の箇所が無彩色になる）ような処理を施す。通常、ホワイトバランス手段５は一般被写体の、画面内のすべての画素についての積算した色は無彩色であるというエバンスの原理に基づき、積算値ΣＲ、ΣＢ、ΣＧの値が等しくなるように３つの増幅手段の利得を変化させてホワイトバランスを行う。
【００１８】
上記の撮像手段１、増幅手段２、ＡＤＣ３、ＤＣ再生手段４、ホワイトバランス手段５、及び積算手段９により、入射光を受けて、入射光に対応したＲ、Ｇ、Ｂの色信号を出力する色信号生成手段２０が構成されている。
【００１９】
除算手段１２は、積算手段９からＲ信号の積算値ΣＲと、Ｂ信号の積算値ΣＢと、Ｇ信号の積算値ΣＧとを受けて、これらの積算値の相互間の比ΣＲ／ΣＧ及びΣＢ／ΣＧを算出して出力する。
【００２０】
係数生成手段１３は、除算手段１２の出力に基いて後述のようにして係数を決定する。
係数生成手段１３は、除算手段１２で求めた積算値の比に応じて係数を算出して出力するものであっても良く、また、予め数種の定数の組を記憶しておき、比に応じてそれらから最適のものを選択して出力するものであっても良い。
後述のように、分光感度特性補正手段６のマトリクス演算手段６７は、係数生成手段１３から出力された係数を用いて、マトリクス演算を行う。
【００２１】
分光感度特性補正手段６は、ホワイトバランス手段５から出力されたホワイトバランス後のＲ、Ｇ、Ｂ信号Ｒ５、Ｇ５、Ｂ５を入力とし、それぞれの信号を後述するマトリクス演算することにより撮像手段１の近赤外領域の感度特性による色再現性への影響を補正したカラー信号Ｒ６、Ｇ６、Ｂ６を出力する。
【００２２】
ガンマ補正手段７は分光感度特性補正手段６から出力された映像信号Ｒ６、Ｇ６、Ｂ６に非線形の階調変換を行う。
【００２３】
輝度色差信号生成手段８はガンマ補正手段７から出力されたＲ、Ｇ、Ｂ信号Ｒ７、Ｇ７、Ｂ７を輝度信号（Ｙ信号）、及び２つの色差信号（Ｃｒ信号、Ｃｂ信号）に変換する。輝度色差信号生成手段８は、この変換（ＹＣｒＣｂ変換）においては、通常３行３列の係数マトリクスを掛ける、下記の式（２）の線形マトリクス演算を行ってＹ、Ｃｒ、Ｃｂ信号を生成する。
【００２４】
【数３】
2005303704.tif 000003
【００２５】
式（２）において３行３列のマトリクス係数は例えば、ＩＥＣ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｅｌｅｃｔｒｏｔｅｃｈｎｉｃａｌ  Ｃｏｍｍｉｓｓｉｏｎ）６１９６６−２−１）に規定されているように、ｙ１＝０．２９９０、ｙ２＝０．５８７０、ｙ３＝０．１１４０、ｃｒ１＝−０．１６８７、ｃｒ２＝−０．３３１３、ｃｒ３＝０．５０００、ｃｂ１＝０．５０００、ｃｂ２＝−０．４１８７、ｃｂ３＝−０．０８１３と定める。
【００２６】
分光感度特性補正手段６についてその構成と原理を以下に説明する。
分光感度特性補正手段６は、色信号生成手段２０と分光感度特性補正手段６の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、前記色信号生成手段の近赤外域での応答特性を補正するためのものである。
【００２７】
図３は分光感度特性補正手段６の構成を示す概略構成図である。ホワイトバランス手段５から出力されたＲ、Ｇ、Ｂの色信号Ｒ５、Ｇ５、Ｂ５は分光感度特性補正手段６に入力される。分光感度特性補正手段６は、ｆｉ変換手段６１、６３、６５と、ｆｊ変換手段６２、６４、６６と、入力される各信号とそれぞれに対する係数との乗算を行ない、乗算結果を加算する３行９列マトリクス演算手段６７とを有する。
【００２８】
ｆｉ変換手段６１、６３、６５は、入力信号Ｒ５、Ｇ５、Ｂ５に対し、１より小さい所定の実数ｉを指数とするべき乗により得られる値に近似した値を出力するものであり、より詳しく言うと、ｆｉ変換手段６１、６３、６５は、概して、（即ち、入力が取り得る範囲のうちの大部分の領域において）、より具体的には、入力が取り得る範囲のうちの最小値に近い領域以外の領域において、入力信号Ｒ５、Ｇ５、Ｂ５に対して上記の実数ｉを指数としてべき乗することによって得られる値を有し、入力信号が零に近い範囲においては、上記のべき乗により得られる値よりも小さな値に制限された値を有する信号を出力する。例えば、入力信号が零に近い範囲においては、入力信号に対する出力信号の比が所定値以下に制限される。
ｆｊ変換手段６２、６４、６６は、入力信号Ｒ５、Ｇ５、Ｂ５に対し、１より大きい所定の実数ｊを指数とするべき乗により得られる値に近似した値を出力するものであり、より詳しく言うと、ｆｊ変換手段６２、６４、６６は、概して、（即ち、入力が取り得る範囲のうちの大部分の領域において）、より具体的には、入力が取り得る範囲のうちの最大値に近い領域以外の領域において、入力信号Ｒ５、Ｇ５、Ｂ５に対して上記の実数ｊを指数としてべき乗することによって得られる値を有し、入力信号が零に近い範囲においては、上記のべき乗により得られる値よりも小さな値に制限された値を有する信号を出力する。例えば、入力信号が最大値に近い範囲においては、入力信号に対する出力信号の比が所定値以下に制限される。
【００２９】
３つのｆｉ変換手段６１、６３、６５の入出力特性は互いに同じであり、その一例を図４及び図５に示す。図４で横軸は入力ｘ（ｘ＝Ｒ５、Ｇ５又はＢ５）を示し、縦軸は出力ｙ（ｙ＝ｆｉ（Ｒ５）、ｆｉ（Ｇ５）又はｆｉ（Ｂ５））を示す。図５は、図４のうちの入出力の小さい部分を拡大して示す。
例えば、上記の第１の実数ｉが０．３である場合、ｆｉ変換手段６１、６３、６５は、概して（即ち、入力が取り得る範囲のうちの大部分の領域において）、より具体的には、入力が取り得る範囲のうちの最小値に近い領域以外の領域において、入力信号ｘの０．３乗に比例した値を出力するものであるが、入力信号ｘが０に近い所定の値ｘｔ１よりも小さい範囲では、０．３乗よりも小さい値、例えばｋ１・ｘに制限する。ここで、ｋ１は定数であり、例えば「６」に定められる。またｘｔ１は例えば「２０」である。
図４及び図５で、ｘの０．３乗を曲線（ａ）で示す。これらの図では、入力信号ｘが取り得る値の最小値が「０（ゼロ）」、最大値が「２５５」、出力信号ｙが取り得る値の最小値が「０（ゼロ）」であり、最大値が８ビットを想定して「２５５」であり、入力に対する出力の関係は、最大値により正規化した値相互間の関係である。即ち、図のｘとｙとの間には、
（ｙ／２５５）＝（ｘ／２５５）０．３
という関係がある。
また、ｋ１・ｘを直線（ｂ）で示す。
ｘ＝ｘｔ１において、直線（ｂ）と曲線（ａ）とが交わっている。
この結果、ｘ＝ｘｔ１よりも小さい範囲においては、出力ｙは、ｋ１・ｘであり、ｘがｘｔ１以上の範囲では、出力ｙを正規化した値はｘを正規化した値の０．３乗となる。
【００３０】
３つのｆｊ変換手段６２、６４、６６の入出力特性は互いに同じであり、その一例を図６に示す。図６で横軸は入力ｘ（ｘ＝Ｒ５、Ｇ５又はＢ５）を示し、縦軸は出力ｚ（ｚ＝ｆｊ（Ｒ５）、ｆｊ（Ｇ５）又はｆｊ（Ｂ５））を示す。
例えば、上記の第２の実数ｊが２である場合、ｆｊ変換手段６２、６４、６６は、概して（即ち、入力が取り得る範囲のうちの大部分の領域において）、より具体的には、入力が取り得る範囲のうちの最大値に近い領域以外の領域において、入力信号ｘの２乗に比例した値を出力するものであるが、入力信号ｘが最大値に近い所定の値ｘｔ２よりも大きい範囲では、ｘの２乗よりも小さい値、例えばｋ２・ｘに制限する。ここで、ｋ２は定数であり、例えば１．５に定められる。またｘｔ２は例えば「２００」である。
図６で、ｘの２乗を曲線（ａ）で示す。この図では、入力信号ｘが取り得る値の最小値が「０（ゼロ）」、最大値が「２５５」、出力信号ｚが取り得る値の最小値が「０（ゼロ）」、最大値が「２５５」であり、入力に対する出力の関係は、最大値により正規化した値相互間の関係である。即ち、図のｘとｚとの間には、
（ｚ／２５５）＝（ｘ／２５５）２
という関係がある。
また、ｋ２・ｘを直線（ｂ）で示す。
ｘ＝ｘｔ２において、直線（ｂ）と曲線（ａ）とが交わっている。
この結果、ｘがｘｔ２よりも大きい範囲では、出力ｚは、ｋ２・ｘでありｘがｘｔ２以下の範囲では、出力ｚを正規化した値はｘを正規化した値の２乗となる。
【００３１】
以下の説明で、ｆｉ変換手段６１、６３、６５による変換を単に「ｆｉ変換」と言い、ｆｊ変換手段６２、６４、６６による変換を単に「ｆｊ変換」と言うことがある。
【００３２】
Ｒ信号Ｒ５はそのままマトリクス演算手段６７の入力端子６０１に入力されるとともに、ｆｉ変換手段６１及びｆｊ変換手段６２に入力され、これらの出力（ｆｉ（Ｒ５）、ｆｊ（Ｒ５））がマトリクス演算手段６７の入力端子６０２、６０３に入力される。
同様に、Ｇ信号Ｇ５はそのままマトリクス演算手段６７の入力端子６０４に入力されるとともに、ｆｉ変換手段６３及びｆｊ変換手段６４に入力され、これらの出力（ｆｉ（Ｇ５）、ｆｊ（Ｇ５））がマトリクス演算手段６７の入力端子６０５、６０６に入力される。
同様に、Ｂ信号Ｂ５はそのままマトリクス演算手段６７の入力端子６０７に入力されるとともに、ｆｉ変換手段６５及びｆｊ変換手段６６に入力され、これらの出力（ｆｉ（Ｂ５），ｆｊ（Ｂ５））がマトリクス演算手段６７の入力端子６０８、６０９に入力される。
【００３３】
マトリクス演算手段６７は、３行９列のマトリクス係数を掛けるマトリクス演算を行うものであり、３行９列の係数マトリクスを用いてマトリクス演算を行い、Ｒ、Ｇ、Ｂの色信号Ｒ６、Ｇ６、Ｂ６を生成する。演算により求められたＲ、Ｇ、Ｂ信号Ｒ６、Ｇ６、Ｂ６はそれぞれ、端子６５１、６５２、６５３から出力される。
【００３４】
マトリスク手段６７は、例えば以下の式（１）のマトリクス演算を行うものである。
【００３５】
【数４】
2005303704.tif 000004
【００３６】
式（１）において、ｒ１乃至ｒ９、ｇ１乃至ｇ９、及びｂ１乃至ｂ９は後述のようにして定められる係数である。
【００３７】
定数ｉ、ｊ及び係数ｒ１乃至ｒ９、ｇ１乃至ｇ９、及びｂ１乃至ｂ９は、色信号生成手段２０と分光感度特性補正手段６の総合的な特性が、人間の色覚特性又はそれを線形変換することによって得られる分光感度特性に近似したものとなり、前記色信号生成手段の近赤外域での応答特性を補正するように定められものであり、光源の色温度に応じて、即ち、ΣＲ／ΣＧ及びΣＢ／ΣＧに応じて変更される。
【００３８】
マトリクス演算手段６７は、例えば図７に示すように構成される。図示のようにこのマトリクス演算手段６７は、２７個の乗算手段（６１１乃至６３９）と３個の加算手段（６４１、６４２、６４３）とを有する。
【００３９】
乗算手段６１１乃至６１９は、それぞれ端子６０１、６０４、６０７、６０２、６０５、６０８、６０３、６０６、６０９に入力される信号Ｒ５、Ｇ５、Ｂ５、ｆｉ（Ｒ５）、ｆｉ（Ｇ５）、ｆｉ（Ｂ５）、ｆｊ（Ｒ５）、ｆｊ（Ｇ５）、ｆｊ（Ｂ５）に所定の係数ｒ１、ｒ２、ｒ３、ｒ４、ｒ５、ｒ６、ｒ７、ｒ８、ｒ９を掛けて、乗算結果を加算手段６４１に出力する。加算手段６４１は入力の総和を求め、信号Ｒ６として出力する。
乗算手段６２１乃至６２９は、それぞれ端子６０１、６０４、６０７、６０２、６０５、６０８、６０３、６０６、６０９に入力される信号Ｒ５、Ｇ５、Ｂ５、ｆｉ（Ｒ５）、ｆｉ（Ｇ５）、ｆｉ（Ｂ５）、ｆｊ（Ｒ５）、ｆｊ（Ｇ５）、ｆｊ（Ｂ５）に所定の係数ｇ１、ｇ２、ｇ３、ｇ４、ｇ５、ｇ６、ｇ７、ｇ８、ｇ９を掛けて、乗算結果を加算手段６４２に出力する。加算手段６４２は入力の総和を求め、信号Ｇ６として出力する。
乗算手段６３１乃至６３９は、それぞれ端子６０１、６０４、６０７、６０２、６０５、６０８、６０３、６０６、６０９に入力される信号Ｒ５、Ｇ５、Ｂ５、ｆｉ（Ｒ５）、ｆｉ（Ｇ５）、ｆｉ（Ｂ５）、ｆｊ（Ｒ５）、ｆｊ（Ｇ５）、ｆｊ（Ｂ５）に所定の係数ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６、ｂ７、ｂ８、ｂ９を掛けて、乗算結果を加算手段６４３に出力する。加算手段６４３は入力の総和を求め、信号Ｂ６として出力する。
【００４０】
なお、図７に示したマトリクス演算手段は式（１）で示した演算を実現するための一例であり、他の構成の演算手段で式（１）の演算を実現しても同様の効果が得られる。
【００４１】
マトリクス演算手段６７の乗算手段６１１乃至６３９で用いられる係数は、以下のように定められる。
【００４２】
まず、本発明の分光感度特性補正手段６による補正の原理を説明する。
図８に人間の色覚特性を表した分光感度特性を示す。図８に示した特性は正常色覚者の等色関数の平均値であり、ＣＩＥ（Ｃｏｍｍｉｓｓｉｏｎ  Ｉｎｔｅｒｎａｔｉｏｎａｌｅ  ｄｅ  ｌ‘Ｅ’ｃｌａｉｒａｇｅ）１９３１にて規定されている。人間が感じる色は色順応などの機能を無視し、簡単に表せば図８に示したＲ、Ｇ、Ｂの分光感度特性（等色関数）と被写体の反射分光特性と照明の分光特性とを乗算し、乗算結果を可視域にて積算することにより得られる値として表すことができる。図８に示したように人間の感度特性はいわゆる可視域と呼ばれるように略３８０ｎｍから７８０ｎｍまでしか感度が無く、７００ｎｍより長波長側ではほとんど感度特性がない。
【００４３】
それに対して、撮像手段１は光電変換を行うフォトダイオードがＳｉ（シリコン）などの半導体で形成されているため、感度特性は可視域から近赤外領域（１０００ｎｍ近辺）まで感度特性を有する。よって、撮像手段１に色分解を行うＲＧＢの色フィルタ１０ｂを設けた場合、色フィルタの分光特性とフォトダイオードの感度特性の積に応じたＲ、Ｇ、Ｂの信号が撮像手段１から出力される。
【００４４】
図９に撮像手段１のＲ，Ｇ，Ｂ信号の分光感度特性ｒ（λ）、ｇ（λ）、ｂ（λ）を実線で示す。図９に示すようにＲの色フィルタは近赤外領域の透過率も比較的高いため、近赤外線を撮像素子１１に入射させる。また、Ｂの光を入射するためのＢの色フィルタや、Ｇの光を入射するためのＧの色フィルタも同様に近赤外領域に一定の透過率を有する。これは、ＲＧＢの色フィルタは通常それぞれの色を含んだ染料や顔料を用いてフィルタを構成するが、その分光透過率は構成する材質に依存し、長波長側の可視域から近赤外領域に掛けて再び透過率が上がる特性を有しているためである。
【００４５】
図９に実線で示した撮像手段１のＲＧＢの分光感度特性ｒ（λ）、ｇ（λ）、ｂ（λ）は図８に示した等色関数とは異なり、特に近赤外領域では著しく異なるため、通常の撮像装置では近赤外領域の光を通過させず除去する赤外カットフィルタ（ＩＲＣＦ）を撮像素子の前に設けている。ＩＲＣＦの分光透過特性ＩＲＣＦ（λ）も図９に実線で示されている。ＩＲＣＦ（λ）とＲＧＢの分光感度特性（ｒ（λ）、ｇ（λ）、ｂ（λ））とを掛け合わせた特性が従来のＩＲＣＦを具備した場合の撮像手段１のＲＧＢ信号に対応するそれぞれの色の分光感度特性ｒ’（λ）、ｇ’（λ）、ｂ’（λ）となり、図９の破線でその特性を示す。
【００４６】
また、従来の撮像装置では図９の破線で表した分光感度特性とした場合でも、図８で示した負の特性は実現できないため、撮像手段から得られたＲＧＢ信号を式（３）で示すように３行３列の係数マトリクスを掛けるマトリクス演算を行いその色補正を行っていた。
【００４７】
【数５】
2005303704.tif 000005
【００４８】
しかしながら、ＩＲＣＦを用いない場合には、近赤外線による感度特性によって出力される信号が色再現性に与える影響が大きく、上記のような３行３列の係数マトリクスを掛ける線形マトリクス演算を行っても良好な色再現性が得られない。これに対して、本発明では図９に実線で示した、ＩＲＣＦを用いない場合の撮像素子１の分光感度特性ｒ（λ）、ｇ（λ）、ｂ（λ）の、近赤外領域のＲＧＢそれぞれの感度特性相互間の差を利用して良好な色再現性を実現している。
【００４９】
図１０に図９に示した分光感度特性の近赤外領域の拡大図を示す。Ｒ、Ｇ、Ｂのフィルタとフォトダイオードを組合せたものの分光感度特性は略８５０ｎｍから８６０ｎｍ近辺でその感度が一致して、それより波長が長くなるにつれて、同様に減衰していく。また、Ｇの分光感度特性は略６５０ｎｍ近辺まで一旦減衰しその後透過率を上げて略８５０ｎｍ近辺をピークに減衰していく。Ｂの分光感度特性は略７６０ｎｍ近辺から透過率を上げ同様に略８５０ｎｍ近辺でピークとなり、それより長い波長領域では次第に減衰していく。
【００５０】
このように、略６５０ｎｍから８００ｎｍまでの領域においてＲの分光感度特性ｒ（λ）とＧの分光感度特性ｇ（λ）とＢの分光感度特性ｂ（λ）との間にそれぞれ差異が生じるため、この差異を利用して近赤外領域におけるＲＧＢの色分離を行うことができ、近赤外線の影響による色再現性に補正を加えることができることとなる。
【００５１】
具体的には、マトリクスの演算に非線形の演算を含ませる。
例えば図１１にＧの分光感度特性をｇ（λ）として示す。
また、図１１に前記のＧの分光感度特性をｆｉ変換することにより得られる特性、即ちｉを指数とするべき乗、例えば０．３乗し、その最大値で正規化した特性をｆｉ（ｇ（λ））として示す。
さらに図１１に前記Ｇの分光感度特性をｆｊ変換することにより得られる特性、即ちｊを指数とするべき乗、例えば２乗し、その最大値で正規化した特性をｆｊ（ｇ（λ））として示す。
図１１に示すようにｆｉ変換により得られた分光感度特性は、不必要とする近赤外側の分光感度特性と必要とする可視域の分光感度特性との感度差が小さくなり、
ｆｊ変換により得られた分光感度特性は、不必要とする近赤外側の分光感度特性と必要とする可視域の分光感度特性との感度差が大きくなる。よって、ｆｉ変換により得られた値係数との積と、ｆｊ変換により得られた値と係数との積を含むマトリクス演算、即ち、非線形マトリクス演算により、
赤外領域を含む赤外光を入射した際にも、適切な色補正を行い、良好な色再現性を得ることができる。
ここでの色再現性とは人間の目で見える色に略一致させることであり、かつ目で違うものに見える色は違う色に、同じものに見える色は同じ色に再現することを意味する。
【００５２】
例えば、色信号生成手段２０と分光感度特性補正手段６における補正の総合的な特性が、ＣＩＥ１９３１等色関数又はＣＩＥ１９３１等色関数を線形変換することにより得られた等色関数に近似したものとなるように上記のマトリクス演算で用いられる係数ｒ１乃至ｒ９、ｇ１乃至ｇ９、およびｂ１乃至ｂ９及び定数ｉ、ｊを定めることとする。
【００５３】
ここで、ｆｉ変換手段（６１、６３、６５）及びｆｊ変換手段（６２、６４、６６）を用いて入力のべき乗そのものではなく、それに近似した値を用いる理由を説明する。
先にも述べたように、第１の定数が０．３であるとき、最大値で正規化した入力信号と最大値で正規化した出力信号の関係は図４に曲線（ａ）で示す通りである。
ここで、入力信号の最大値、出力信号の最大値は「２５５」としている。
この場合、入力信号の値が小さい範囲では、利得（入力信号に対する出力信号の比）が極めて大きい。例えば、入力信号の値が「１」のとき、出力信号の値は、「４８」である。即ち、４８倍（３４ｄＢ）もの利得が与えられたこととなる。このため、映像信号が小さい範囲では、一定のノイズ、例えば暗電流による固定パターンノイズ（ＦＰＮ）が増幅され、映像信号のＳ／Ｎが極めて劣化することとなる。
本実施の形態では、上記のように、入力信号が小さい範囲では、利得を０．３乗により得られる値より小さくする。これにより、Ｓ／Ｎの劣化を低減することができる。
具体的には図４（ｂ）及び図５（ｂ）に示すように入力信号が零に近いｘｔ１（例えばｘｔ１＝２０）よりも小さい範囲では、出力信号の値ｙをｙ＝ｋ１・ｘ以下（ｋ１は傾きを表す定数であり、例えば「６」）に制限することとしている。この結果、上記の問題が解決する。
【００５４】
同様に、ｆｊ変換手段は１より大きい値ｊ、例えば２を指数としてべき乗することにより得られる値に近似する値の色信号を出力するものであり、ｆｉ変換手段同様にｊを指数とするべき乗により利得が大きくなる範囲、即ち最大値（「２５５」）に近い値ｘｔ２よりも大きい範囲において、利得を、制限することで、Ｓ／Ｎの劣化を抑制している。
具体的には、ｆｊ変換手段は、図６に直線（ｅ）で示すように、入力信号が最大値に近いｘｔ２（例えばｘｔ２＝２００）よりも大きい範囲では、出力信号の値ｙをｙ＝ｋ２・ｘ以下（ｋ２は傾きを表す定数であり、例えば「１．５」）に制限することとしている。
【００５５】
なお、上記の実施の形態における分光感度特性補正手段のｆｉ変換手段６１、６３、６５及びｆｊ変換手段６２、６４、６６は、入力（アドレス）の値をべき乗した値に近似した値を（そのアドレスのデータとして）出力するＬＵＴ（ルックアップテーブル）で構成しても良い。
【００５６】
以下、マトリクス演算手段６７で用いられる係数を比ΣＲ／ΣＧ及び比ΣＢ／ΣＧに基づいて変更することの意義について説明する。
撮像手段１から出力されるＲ、Ｇ、Ｂ信号Ｒ１、Ｇ１、Ｂ１は被写体の分光反射特性と、照明の分光特性と、撮像手段１の分光感度特性の積で求まるため、撮像時の照明が変わるとその分光特性も変わる。従って、（これに対する補正を加えなければ）撮像装置から得られる色再現性も照明ごとに異なることになる。
通常撮像装置と人間の色彩に関する分光感度特性（等色関数）が完全に一致していなくても人間の分光感度特性の線形変換で成り立つルータ条件を満たしていればよい。
【００５７】
通常撮像手段１の分光感度特性は、たとえＩＲＣＦを具備したとしても、人間の分光感度特性とは異なる。そこで、従来の撮像装置では、特定の代表的な照明のときのみ良好な色再現性が得られるように前述した式（３）にて示した３行３列のマトリクス演算手段によって人間の見た色に近づくように色調整を行っているが、撮像手段１と人間の目の分光感度特性が一致していないため当然、被写体の照明が異なれば撮像装置の色再現性は異なることになる。なお、特定の照明条件下のみで色再現性が合うことを条件等色という。
【００５８】
ただし、例えば、撮像素子１の分光特性ｒ（λ）、ｇ（λ）、ｂ（λ）（図９に実線で示す）とＩＲＣＦの分光特性とを掛けあわせた分光感度特性ｒ’（λ）、ｇ’（λ）、ｂ’（λ）（図９に破線で示す）と、人間の目の分光感度特性は著しく異なっているわけではないため、照明が変わっても大きく色再現性に破綻をきたすことは無く、撮像装置には測色機なみの性能が要求されるわけではなく、従来の民生品などはそれで良しとされている。
【００５９】
一方、本実施の形態にして示す撮像素子１の分光感度特性はＩＲＣＦを具備しないため、図９に実線で示した特性であり、人間の目の分光感度特性と近赤外領域において著しくその特性が異なる。そのため照明が異なると大きく色再現性が異なってしまう。例えば、図１２は黒体輻射による３０００Ｋの色温度を有する光源の分光特性である。図１３は黒体輻射による６５００Ｋの色温度を有する光源の分光特性である。
これら２種の光源下においては、ホワイトバランスを合わせてもその色再現性が互いに大きく異なる。太陽光は時間や気象条件によってその色温度が変化するが、基本的に黒体輻射の色温度とほぼ相関が取れる。図１４にはＣＩＥ１９３１ｘｙ色度図における黒体輻射軌跡及び等色温度線を示す。図１４に図示するように色温度が変化しても太線で記載しているようにｘｙは一義的な関係であるため、太陽光源やフィラメントランプなどの場合には、一方の積算値の比ΣＲ／ΣＧに対して、ΣＢ／ΣＧは一義的に得られる関係となる。
【００６０】
一方、蛍光灯の場合には、黒体輻射軌跡から少し外れる。しかし、黒体輻射軌跡から外れる色であっても、等色温度線（図１４中細線）と黒体輻射軌跡との交点を求め、その点における色温度（相関色温度）を有するものとして扱える。しかし、黒体輻射軌跡から外れるにつれてその照明の演色性は劣化していく。そのため、例えば昼白色より、３波長昼白色の蛍光灯の方が演色性がよい。よって、同じ色温度の値であっても、黒体輻射軌跡から外れるにつれて、色再現性を補正するためのマトリクス係数を同値として用いることはできない。
図１５は白色蛍光灯、図１６は昼光色蛍光灯、図１７は３波長型昼光色蛍光灯の分光感度特性である。
【００６１】
そこで、積算手段１６より得たＲ、Ｇ、Ｂの積算値に応じて演算手段１７により補正マトリクス６の３行９列のマトリクス係数を変化させる。図１８に黒体輻射の様々な色温度の照明下（太陽光やハロゲン等）で積算手段９から得られるＲ、Ｇ、Ｂの積算値の比を示す。図１８中（ａ）の曲線（四角点）が本発明の構成における積算手段９から得られる値であり、色温度は３０００Ｋから７０００Ｋに対応している。なお、（ｂ）（丸点）は従来の撮像装置から得られる積算値の比であり、図９に示したＩＲＣＦの特性を加味した値である。
図１８に示すように、その特性はΣＲ／ΣＧとΣＢ／ΣＧの関係が一義的であり、曲線で結ぶことができる。そのため、ΣＲ／ΣＧか、ΣＢ／ΣＧが得られれば黒体輻射上の色温度を推定することができる。
一方、図１５から図１７に示した蛍光灯は図１８の点（三角点）で表す値を示す。蛍光灯は先に示した曲線（ａ）上には載らず異なった値を持つ。図１８中、曲線（ａ）から破線にて記載している直線は等温度線を示す。
一方、蛍光灯などの場合、ΣＲ／ΣＧとΣＢ／ΣＧとの関係は一義的には求まらず、ΣＲ／ΣＧとΣＢ／ΣＧの両方の値と、等色温度線との関係（ΣＲ／ΣＧとΣＢ／ΣＧの両方の値から、どの等色温度線上にあるか）が分かるので、それに基づいてその相関色温度、及び赤外光を含んだ場合の黒体輻射軌跡（図１８中の（ｂ））からどれだけ外れているのかを知ることができる。そこで、求められたΣＲ／ΣＧ及びΣＢ／ΣＧに応じて適切なマトリクス係数を補正マトリクス手段６に与えることにより、光源に応じて良好な色再現性を得ることができる。
例えば、ΣＲ／ΣＧ＝０．４、ΣＢ／ΣＧ＝０．６が得られたら、光源は白色蛍光灯と推定し、等色温度線Ｅ１上にあり、相関色温度がＱ１であることが分る。そこで、色温度Ｑ１に対して適切な係数を選択する。
なお、等温度線や相関色温度との関係を無視し、ΣＲ／ΣＧとΣＢ／ΣＧの値に応じて係数を定めるようにしても良い。
【００６２】
そこで、本実施の形態では、積算手段９から得たＲ、Ｂ、及びＧの積算値の比ΣＲ／ΣＧ、ΣＢ／ΣＧに応じて演算手段１０が出力すればよい。実現する手段の一例を図１９、図２０に示す。図１９はΣＲ／ΣＧ、ΣＢ／ΣＧを入力とし、マトリクス係数ｒ１からｒ９、ｇ１からｇ９、ｂ１からｂ９の２７の値を出力するＬＵＴ（Ｌｏｏｋ  Ｕｐ  Ｔａｂｌｅ）である。入力値ΣＲ／ΣＧが例えば、８ｂｉｔであれば、２５６種の入力アドレスと、入力値ΣＢ／ΣＧが８ｂｉｔであれば、２５６種の入力アドレスとの組み合わせだけのテーブルが用意されており、それぞれのテーブル内に前記ｒ１からｒ９、ｇ１からｇ９、ｂ１からｂ９の出力値が記憶されている。それぞれのテーブルに対応するだけの光源種は必ずしも存在するわけでないため、先に説明した方法にて求めたターゲットカラーに対応する代表的なマトリクス係数以外のテーブルの場所はそれぞれの値を内挿する形にて記憶しておけばよい。本ＬＵＴを具備することにより、演算手段６は撮像時の照明に応じて最適な色再現性が得られるマトリクス係数を補正マトリクス手段６へ出力する。
【００６３】
適切なマトリクス係数の求め方の一例を示す。例えば、被写体として現存する色を代表するカラーパッチを多く含み、かつ人間の記憶色（肌色、植物の緑、空の青等）を重視した２４種のカラーパッチを有するマクベスカラーチェッカー（Ｍａｃｂｅｔｈ  Ｃｏｌｏｒ  Ｃｈｅｃｋｅｒ（登録商標））が挙げられる。また、カラーターゲットとすべきＲＧＢの分光感度特性として、図２１に示すＩＥＣ（ＩＮＴＥＲＮＡＴＩＯＮＡＬ  ＥＬＥＣＴＲＯＴＥＣＨＮＩＣＡＬ  ＣＯＭＭＩＳＳＩＯＮ）６１９６６−２で定められている機器相互間で標準となる等色関数としてｓＲＧＢが挙げられる。
【００６４】
そこで、図１２、図１３に例示した照明及び種々の蛍光灯を含めた色温度の互いに異なる照明の分光特性（既知の値）と上記ｓＲＧＢの等色関数（既知の値）とカラーパッチのそれぞれのパッチの分光反射特性（既知の値）を掛けあわせ、全波長領域に渡り積算した各パッチのＲＧＢ値に対して、ホワイトバランスを行った後の各パッチの色（Ｒ，Ｇ，Ｂ値）がカラーターゲットとなる色再現性とする。
【００６５】
そして、図９に実線で示した撮像素子１の分光感度特性と、図１２、図１３に例示した照明及び種々の蛍光灯を含めた色温度の互いに異なる照明の分光特性（既知の値）と、カラーパッチのそれぞれのパッチの分光反射特性（既知の値）を掛け合わせ、全波長領域に対して積算したカラーパッチのＲＧＢ値に対して、分光感度特性補正手段６によってマトリクス演算を行うことにより得られるＲＧＢ値が、上記のカラーターゲットとしてのＲＧＢ値に最も近くなるように分光感度特性補正手段６の３行９列のマトリクス係数を求める。
【００６６】
カラーターゲットとしてのＲＧＢ値と、分光感度特性補正手段６によって求めたＲＧＢ値とが最も近いかどうかの判定は、最小二乗法により、即ち両者のそれぞれ対応する値の差の二乗の総和を求めて、この総和が最小かどうかを判定することにより行われる。
【００６７】
なお、上記の例では、積算手段９がＤＣ再生手段４の出力を積算しているが、ＡＤＣ３の出力を積算するようにしても良く、ホワイトバランス手段５の出力を積算するようにしても良い。
【００６８】
また、上記の実施の形態では、もともとホワイトバランス手段５における演算のために必要な積算値ΣＲ、ΣＧ、ΣＢを求める積算手段９の出力を用いて除算手段１２における演算を行っている。この場合、積算手段９は、色信号生成手段２０の一部であるとともに、それとは異なる役割をも有している。
積算手段９とは別の積算手段を除算手段１２のために設けることもできる。
【００６９】
また、上記の実施の形態では、ＡＤＣ３を設け、それ以降の演算をディジタル信号処理にて行ったが、アナログ信号処理を用いても同様の効果が得られる。
アナログ信号で処理する場合には、ｆｉ変換やｆｊ変換を、べき乗値に近似する値の信号を出力するように、入力信号レベルに応じて利得を変化させる増幅手段で構成してもよい。これは、例えばトランジスタと演算増幅器とを組み合わせた回路で実現することができる。
【００７０】
さらにまた、上記の実施の形態では、図４の直線（ｂ）により信号利得を制限したが、図４の直線（ｃ１）と（ｃ２）の組合せにより信号利得を制限することもできる。即ちｘｔ３（例えばｘｔ３＝５）よりも小さい領域では、ｙ＝ｋ３・ｘ（ｋ３はｋ１よりも小さい定数であり、例えば「２．５」）で表される直線（ｃ１）により制限し、ｘｔ３以上でｘｔ４（例えばｘｔ４＝２４）よりも小さい領域では、ｘ座標値がｘｔ３、ｙ座標値が２．５×ｘｔ３の点を通り傾きｋ４が所定値、例えば「６」であるような直線（ｃ２）により制限することもできる。この場合、入力信号が小さい領域における利得がより小さな値に制限されており、Ｓ／Ｎの劣化を一層抑制することができ、良好なＳ／Ｎを得ることができる。
【００７１】
上記の実施の形態によれば、ＩＲＣＦを用いなくても、良好な色再現性を得ることができ、また非線形マトリクス演算を行うことで、等色条件を高精度に近似し、良好な色再現性を得ることができることができる。また、Ｓ/Ｎ（ｓｉｇｎａｌ  ｔｏ  ｎｏｉｚｅ  ｒａｔｉｏ）の良い画像を得ることができる。
【００７２】
上記の実施の形態によれば、照明の色温度に応じてマトリクス係数を変えて、照明の色温度によらず常に良好な色再現性を得ることができる。
【００７３】
実施の形態２．
以上の実施の形態１乃至３において、さらに、分光感度特性補正手段６以降の処理は、特に静止画の場合には、ソフトウェアによって、即ち、プログラムされたコンピュータによって実現することができる。
【００７４】
実施の形態３．
以上の実施の形態の撮像装置は、動画や静止画を撮像するビデオカメラ、カメラ一体型ＶＴＲ、デジタルスチルカメラ、ＰＣカメラ、並びに携帯電話や携帯端末機に内蔵されるデジタルスチルカメラに適用可能であり、これらからＩＲＣＦを不要とし、かつ暗視に利用することが多い、監視カメラや車載カメラなどにも適用できる。
【００７５】
図２２は、その一例として、図１の撮像装置を用いたデジタルスチルカメラを構成した場合の概略図を示す。
図２２に示すディジタルカメラは、図１に示した撮像装置を構成する各要素のうち、撮像手段１の代わりに撮像手段２１を備え、さらにシャッタボタン１９、シャッタ駆動手段３２、表示駆動手段３３、ビューファインダ３４、画像圧縮手段３５、及び書き込み手段３６を付加したものである。
【００７６】
撮像手段２１が、撮像手段１と異なるのは、図示しないシャッタを備えている点である。
シャッタ駆動手段３２は、シャッタボタン１９の操作に応じてシャッタを駆動する。
表示駆動手段３３は、輝度色差信号生成手段８の出力を受けてビューファインダ３４に画像を表示させる。
ビューファインダ３４は、例えば液晶表示装置で構成され、表示駆動手段３３に駆動されて、撮像手段１で撮像されている画像を表示する。
画像圧縮手段３５は、輝度色差信号生成手段８の出力を受けて例えばＪＰＥＧに準拠した画像圧縮を行なう。
書き込み手段３６は、画像圧縮手段３５で圧縮されたデータを記録媒体３７に書き込む。
【００７７】
撮像装置を動画撮影に用いて、画像データを図示しない機器に伝送する場合、輝度色差信号生成手段の出力をエンコードしてＮＴＳＣ信号を生成して出力する。
【図面の簡単な説明】
【００７８】
【図１】この発明の実施の形態１を示す撮像装置を示す図である。
【図２】（ａ）及び（ｂ）は、色フィルタを備えた単板撮像素子の一部を示す図である。
【図３】図１の分光感度特性補正手段の構成を示す図である。
【図４】図２のｆｉ変換手段による入出力特性を示す図である。
【図５】図４の信号レベルの小さい箇所の入出力特性を示す図である。
【図６】ｆｊ変換手段の入出力特性を示す図である。
【図７】図３の３行９列のマトリクス演算手段の構成を示す図である。
【図８】ＣＩＥ１９３１に示す等色関数を示す図である。
【図９】撮像手段、ＩＲＣＦ、およびそれらを乗算した分光感度特性を示す図である。
【図１０】図９に示した分光感度特性の近赤外領域を拡大した図である。
【図１１】撮像手段のｇ（λ）の分光感度特性を非線形変換したときの分光感度特性を示す図である。
【図１２】黒体輻射における３０００Ｋ時の分光特性を示す図である。
【図１３】黒体輻射における６５００Ｋ時の分光特性を示す図である。
【図１４】ＣＩＥ１９３１色度図における黒体輻射軌跡および等色温度線を示す図である。
【図１５】白色蛍光灯の分光特性を示す図である。
【図１６】昼光色蛍光灯の分光特性を示す図である。
【図１７】３波長型昼光色蛍光灯の分光特性を示す図である。
【図１８】黒体輻射と蛍光灯のそれぞれについての、積算値の比を示す図である。
【図１９】係数生成手段として用いられるＬＵＴの概念図である。
【図２０】係数生成手段として用いられるＬＵＴの動作を説明する図である。
【図２１】ｓＲＧＢ（ＩＥＣ６１９６６−９）の分光特性を示す図である。
【図２２】図１の撮像装置を備えたディジタルカメラの構成例を示すブロック図である。
【符号の説明】
【００７９】
１  撮像手段、  ２  増幅手段、  ３  Ａ／Ｄ変換器（ＡＤＣ）、  ４  直流成分（ＤＣ）再生手段、  ５  ホワイトバランス（ＷＢ）手段、  ６  分光感度特性補正手段、  ６１、６３、６５  ｆｉ変換手段、  ６２、６４、６６  ｆｊ変換手段、  ６７  マトリクス演算手段、  ６１１乃至６３９  乗算手段、  ６４１、６４２、６４３  加算手段、  ７  ガンマ（γ）補正手段、  ８  輝度色差信号生成手段、  ９  積算手段、  １０ａ  レンズ、  １０ｂ  フィルタ、  １１  撮像素子、  ２１  撮像手段、  ３１  シャッタボタン、  ３２  シャッタ駆動手段、  ３３  表示駆動手段、  ３４  ビューファインダ、  ３５  画像表示手段、  ３６  書き込み手段、  ３７  記録媒体。
【図１】
2005303704.tif 000008
【図２】
2005303704.tif 000009
【図３】
2005303704.tif 000010
【図４】
2005303704.tif 000011
【図５】
2005303704.tif 000012
【図６】
2005303704.tif 000013
【図７】
2005303704.tif 000014
【図８】
2005303704.tif 000015
【図９】
2005303704.tif 000016
【図１０】
2005303704.tif 000017
【図１１】
2005303704.tif 000018
【図１２】
2005303704.tif 000019
【図１３】
2005303704.tif 000020
【図１４】
2005303704.tif 000021
【図１５】
2005303704.tif 000022
【図１６】
2005303704.tif 000023
【図１７】
2005303704.tif 000024
【図１８】
2005303704.tif 000025
【図１９】
2005303704.tif 000026
【図２０】
2005303704.tif 000027
【図２１】
2005303704.tif 000028
【図２２】
2005303704.tif 000029