(57)【要約】【課題】より正確な色を再現する画像を撮像する。【解決手段】センサ部１１は、相互に隣接する光電変換素子のうち、予め決められた位置の光電変換素子の出力の差分として得られる分光感度が、人間の目の色に対する感度を示す等色関数のいずれかを近似する、その光電変換素子がその決められた位置に配置されてなる。信号処理部１３は、光電変換素子の出力をカラーの画像の信号に変換する信号処理をセンサ部１１の出力に適用する。本発明は、デジタルビデオカメラに適用できる。【選択図】図３
2007306477.tif 000002
【特許請求の範囲】
【請求項１】
相互に隣接する光電変換素子のうち、予め決められた位置の光電変換素子の出力の差分として得られる分光感度が、人間の目の色に対する感度を示す等色関数のいずれかを近似する、その光電変換素子がその決められた位置に配置されてなる撮像手段と、
光電変換素子の出力をカラーの画像の信号に変換する信号処理を前記撮像手段の出力に適用する信号処理手段と
を備える撮像装置。
【請求項２】
前記撮像手段に縦横に相互に隣接して配置されている４つの光電変換素子のうちの第１の光電変換素子の出力と第２の光電変換素子の出力との差分として得られる分光感度が、光の３原色の等色関数のうちの、第１の等色関数を近似し、前記４つの光電変換素子のうちの第３の光電変換素子の出力と前記第１の光電変換素子の出力との差分として得られる分光感度が、光の３原色の等色関数のうちの、第２の等色関数を近似し、前記４つの光電変換素子のうちの第４の光電変換素子の出力と前記第１の光電変換素子の出力との差分として得られる分光感度が、光の３原色の等色関数のうちの、第３の等色関数を近似する
請求項１に記載の撮像装置。
【請求項３】
前記撮像手段は、縦横に相互に隣接して配置されている前記第１の光電変換素子と前記第２の光電変換素子と前記第３の光電変換素子と前記第４の光電変換素子とからなる単位が縦または横に並ぶように配置されてなる
請求項２に記載の撮像装置。
【請求項４】
前記信号処理手段は、
前記第１の光電変換素子毎に、前記第１の光電変換素子に隣接する前記第２の光電変換素子と前記第３の光電変換素子と前記第４の光電変換素子に対して、前記第１の光電変換素子の出力と前記第２の光電変換素子の出力との差分、前記第１の光電変換素子の出力と前記第３の光電変換素子の出力との差分、および前記第１の光電変換素子の出力と前記第４の光電変換素子の出力との差分を算出する第１の算出手段と、
画素値を算出しようとするカラーの画像の画素の位置が、前記第１の光電変換素子の位置に対して、前記撮像手段における２つの光電変換素子の距離の半分だけ、左上、左下、右上、または右下にずれた位置のうちのいずれであるかを判定する判定手段と、
判定の結果に応じて、カラーの画像の画素の位置に対して前記距離の半分だけずれている前記第１の光電変換素子の出力から算出された差分と、その前記第１の光電変換素子が属する単位に隣接する他の単位に属する他の前記第１の光電変換素子の出力から算出された差分とを加重平均することで、カラーの画像の画素の画素値を算出する第２の算出手段と
を備える請求項３に記載の撮像装置。
【請求項５】
前記撮像手段は、RGBの等色関数のいずれかを近似する分光感度を、差分により出力する光電変換素子が配置されてなる
請求項１に記載の撮像装置。
【請求項６】
前記撮像手段は、XYZ表色系の等色関数のいずれかを近似する分光感度を、差分により出力する光電変換素子が配置されてなる
請求項１に記載の撮像装置。
【請求項７】
前記信号処理手段は、前記撮像手段における相互に隣接する光電変換素子のうち、予め決められた位置に配置されている光電変換素子の出力の差分をカラーの画像の信号として算出する信号処理を前記撮像手段の出力に適用する
請求項１に記載の撮像装置。
【請求項８】
前記信号処理手段は、予め求められたクラス毎の係数を用いた、クラス分類適応処理である信号処理を前記撮像手段の出力に適用する
請求項１に記載の撮像装置。
【請求項９】
前記撮像手段の光電変換素子の出力のホワイトバランスを調整する調整手段をさらに備える
請求項１に記載の撮像装置。
【請求項１０】
信号処理により得られたカラーの画像の信号のホワイトバランスを調整する調整手段をさらに備える
請求項１に記載の撮像装置。
【請求項１１】
人間の目の色に対する感度を示す等色関数のいずれかを、その出力の差分の分光感度で近似する光電変換素子を、撮像手段の予め決められた位置であって、相互に隣接する位置に配置し、
光電変換素子の出力をカラーの画像の信号に変換する信号処理を前記撮像手段の出力に適用する
ステップを含む撮像方法。
【請求項１２】
人間の目の色に対する感度を示す等色関数のいずれかを、その出力の差分の分光感度で近似する光電変換素子が、予め決められた位置であって、相互に隣接する位置に配置されている
撮像素子。
【請求項１３】
縦横に相互に隣接して配置されている４つの光電変換素子のうちの第１の光電変換素子の出力と第２の光電変換素子の出力との差分として得られる分光感度が、光の３原色の等色関数のうちの、第１の等色関数を近似し、前記４つの光電変換素子のうちの第３の光電変換素子の出力と前記第１の光電変換素子の出力との差分として得られる分光感度が、光の３原色の等色関数のうちの、第２の等色関数を近似し、前記４つの光電変換素子のうちの第４の光電変換素子の出力と前記第１の光電変換素子の出力との差分として得られる分光感度が、光の３原色の等色関数のうちの、第３の等色関数を近似する
請求項１２に記載の撮像素子。
【請求項１４】
縦横に相互に隣接して配置されている前記第１の光電変換素子と前記第２の光電変換素子と前記第３の光電変換素子と前記第４の光電変換素子とからなる単位が縦または横に並ぶように配置されている
請求項１３に記載の撮像素子。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置および方法、並びに撮像素子に関し、特に、より正確な色の画像を撮影できるようにした撮像装置および方法、並びに撮像素子に関する。
【背景技術】
【０００２】
従来、カラーの画像を撮影するデジタルスチルカメラやデジタルビデオカメラが広く利用されている。
【０００３】
単板の撮像素子を用いてカラーの画像を撮影する場合、撮像素子のそれぞれの光電変換素子に、それぞれ異なる色の光を透過させる複数の種類のカラーフィルタが、図１で示されるベイヤー配列となるように分散配置される。
【０００４】
この場合のカラーフィルタは、光の３原色のうちの、図１においてRで示す赤、図１においてGで示す緑、図１においてBで示す青のいずれかに応じた分光特性とされる。
【０００５】
カラーフィルタは、いわゆる原色系であり、そのほかにも補色系のカラーフィルタが用いられている。補色系のカラーフィルタにおいては、輝度とRとの差、輝度とGとの差、および輝度とBとの差が検出される。
【０００６】
また、従来、Ｇ，Ｅ補間処理部が、Ｇが存在するラインでは、ライン内のＧが存在しない画素位置に、左右に隣接するＧを用いてＧを補間し、Ｅが存在するラインでは、ライン内のＥが存在しない画素位置に、左右に隣接するＥを補間し、全色補間処理部が、輝度信号Ｌおよびモザイク信号Ｍを用いて、注目画素位置にＲ，Ｇ，Ｂ，Ｅの補間値Ｃを算出し、Ｇ＋Ｅ生成処理部が、モザイク信号Ｍに基づいて新たな色成分Ｇ＋Ｅを生成し、全色補間処理部が、Ｇ＋Ｅおよびモザイク信号Ｍに基づいて、注目画素位置にＲ，Ｇ，Ｂ，Ｅの補間値Ｃ’を算出するようにしているものもある（例えば、特許文献１参照）。
【０００７】
【特許文献１】特開２００５−１３６７６５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の撮像装置において、赤外カットフィルタ、カラーフィルタ、光電変換素子の分光特性と、その後の信号処理とは、個々に検討されていた。そのため、撮像の部分と、信号処理とは、個別に最適化され、トータルでの最適化はなされていない。
【０００９】
その中でも、カラーフィルタの分光特性は、画像の色に関する多くの特性を決める要因となっている。カラーフィルタの分光特性は、例えば、RGBのそれぞれの原色毎に最適化されている。
【００１０】
ところが、カラーフィルタの分光特性は、本来理想とれさる等色関数から大きくずれている。
【００１１】
その原因として次の２つが挙げられる。
【００１２】
第１に、等色関数は、その座標系によって負の感度を含み、負の感度を物理的に実現することはできない。
【００１３】
第２に、カラーフィルタを単板の光電変換素子上に実装しなければならず、単板の光電変換素子上に実装することからくる制約、具体的には、濃度、膜厚限界、耐光性、耐熱性などの特性を満たす色素が限られ、これにより、等色関数により近い分光特性を実現することは非常に困難である。
【００１４】
図２は、RGBのカラーフィルタの分光特性の一例と、RGBの等色関数とを示す図である。図２において、白丸は、Bのカラーフィルタの分光特性を示し、白い三角は、Gのカラーフィルタの分光特性を示し、白い四角は、Rのカラーフィルタの分光特性を示す。
【００１５】
図２において、点線は、Bの等色関数を示し、一点鎖線は、Gの等色関数を示し、二点鎖線は、Rの等色関数を示す。
【００１６】
図２で示されるように、B、G、およびRの等色関数は、負の感度を含む。
【００１７】
Bのカラーフィルタの分光特性と、Bの等色関数とを比較すると、カラーフィルタの分光特性の感度は、400nm乃至550nmの波長帯域全体において、等色関数より大きい。Gのカラーフィルタの分光特性と、Gの等色関数とを比較すると、カラーフィルタの分光特性の感度は、特に、400nm乃至550nmの波長帯域全体において、等色関数より大きい。また、Rのカラーフィルタの分光特性と、Rの等色関数とを比較すると、カラーフィルタの分光特性の感度は、特に、630nm乃至700nmの波長帯域全体において、等色関数より大きい。
【００１８】
負の感度を持っている等色関数と比較すると、実際のカラーフィルタは、物理的な制約から負の感度を実現できないため、必ずその部分でずれが生じることになる。
【００１９】
このような分光特性のカラーフィルタを用いて撮影された画像は、色度図上のR、G、Bを頂点とする三角形の内部に相当する色で表現されることになる。この場合、三角形の外部の領域の色は、三角形の内部に縮退され、撮影された画像の基準となる座標のそれぞれの位置で示される色は、色度図上の座標のそれぞれの位置の色からずれてしまうことになる。このように従来の画像は、誤差を含み、色の再現性に問題が生じている。
【００２０】
本発明は、このような状況に鑑みてなされたものであり、より正確な色を再現する画像を撮像することができるようにするものである。
【課題を解決するための手段】
【００２１】
本発明の第１の側面の撮像装置は、相互に隣接する光電変換素子のうち、予め決められた位置の光電変換素子の出力の差分として得られる分光感度が、人間の目の色に対する感度を示す等色関数のいずれかを近似する、その光電変換素子がその決められた位置に配置されてなる撮像手段と、光電変換素子の出力をカラーの画像の信号に変換する信号処理を前記撮像手段の出力に適用する信号処理手段とを備える。
【００２２】
前記撮像手段に縦横に相互に隣接して配置されている４つの光電変換素子のうちの第１の光電変換素子の出力と第２の光電変換素子の出力との差分として得られる分光感度が、光の３原色の等色関数のうちの、第１の等色関数を近似し、前記４つの光電変換素子のうちの第３の光電変換素子の出力と前記第１の光電変換素子の出力との差分として得られる分光感度が、光の３原色の等色関数のうちの、第２の等色関数を近似し、前記４つの光電変換素子のうちの第４の光電変換素子の出力と前記第１の光電変換素子の出力との差分として得られる分光感度が、光の３原色の等色関数のうちの、第３の等色関数を近似するようにすることができる。
【００２３】
前記撮像手段には、縦横に相互に隣接して配置されている前記第１の光電変換素子と前記第２の光電変換素子と前記第３の光電変換素子と前記第４の光電変換素子とからなる単位が縦または横に並ぶように配置することができる。
【００２４】
前記信号処理手段には、前記第１の光電変換素子毎に、前記第１の光電変換素子に隣接する前記第２の光電変換素子と前記第３の光電変換素子と前記第４の光電変換素子に対して、前記第１の光電変換素子の出力と前記第２の光電変換素子の出力との差分、前記第１の光電変換素子の出力と前記第３の光電変換素子の出力との差分、および前記第１の光電変換素子の出力と前記第４の光電変換素子の出力との差分を算出する第１の算出手段と、画素値を算出しようとするカラーの画像の画素の位置が、前記第１の光電変換素子の位置に対して、前記撮像手段における２つの光電変換素子の距離の半分だけ、左上、左下、右上、または右下にずれた位置のうちのいずれであるかを判定する判定手段と、判定の結果に応じて、カラーの画像の画素の位置に対して前記距離の半分だけずれている前記第１の光電変換素子の出力から算出された差分と、その前記第１の光電変換素子が属する単位に隣接する他の単位に属する他の前記第１の光電変換素子の出力から算出された差分とを加重平均することで、カラーの画像の画素の画素値を算出する第２の算出手段とを設けることができる。
【００２５】
前記撮像手段には、RGBの等色関数のいずれかを近似する分光感度を、差分により出力する光電変換素子を配置することができる。
【００２６】
前記撮像手段には、XYZ表色系の等色関数のいずれかを近似する分光感度を、差分により出力する光電変換素子を配置することができる。
【００２７】
前記信号処理手段には、前記撮像手段における相互に隣接する光電変換素子のうち、予め決められた位置に配置されている光電変換素子の出力の差分をカラーの画像の信号として算出する信号処理を前記撮像手段の出力に適用させることができる。
【００２８】
前記信号処理手段には、予め求められたクラス毎の係数を用いた、クラス分類適応処理である信号処理を前記撮像手段の出力に適用させることができる。
【００２９】
前記撮像手段の光電変換素子の出力のホワイトバランスを調整する調整手段をさらに設けることができる。
【００３０】
信号処理により得られたカラーの画像の信号のホワイトバランスを調整する調整手段をさらに設けることができる。
【００３１】
本発明の第１の側面の撮像方法は、人間の目の色に対する感度を示す等色関数のいずれかを、その出力の差分の分光感度で近似する光電変換素子を、撮像手段の予め決められた位置であって、相互に隣接する位置に配置し、光電変換素子の出力をカラーの画像の信号に変換する信号処理を前記撮像手段の出力に適用するステップを含む。
【００３２】
本発明の第２の側面の撮像素子には、人間の目の色に対する感度を示す等色関数のいずれかを、その出力の差分の分光感度で近似する光電変換素子が、予め決められた位置であって、相互に隣接する位置に配置されている。
【００３３】
縦横に相互に隣接して配置されている４つの光電変換素子のうちの第１の光電変換素子の出力と第２の光電変換素子の出力との差分として得られる分光感度に、光の３原色の等色関数のうちの、第１の等色関数を近似させ、前記４つの光電変換素子のうちの第３の光電変換素子の出力と前記第１の光電変換素子の出力との差分として得られる分光感度に、光の３原色の等色関数のうちの、第２の等色関数を近似させ、前記４つの光電変換素子のうちの第４の光電変換素子の出力と前記第１の光電変換素子の出力との差分として得られる分光感度に、光の３原色の等色関数のうちの、第３の等色関数を近似させることができる。
【００３４】
縦横に相互に隣接して配置されている前記第１の光電変換素子と前記第２の光電変換素子と前記第３の光電変換素子と前記第４の光電変換素子とからなる単位を縦または横に並ぶように配置することができる。
【００３５】
本発明の第１の側面においては、人間の目の色に対する感度を示す等色関数のいずれかを、その出力の差分の分光感度で近似する光電変換素子が、撮像手段の予め決められた位置であって、相互に隣接する位置に配置され、光電変換素子の出力をカラーの画像の信号に変換する信号処理が前記撮像手段の出力に適用される。
【００３６】
本発明の第２の側面においては、人間の目の色に対する感度を示す等色関数のいずれかを、その出力の差分の分光感度で近似する光電変換素子が、予め決められた位置であって、相互に隣接する位置に配置されている。
【発明の効果】
【００３７】
以上のように、本発明の第１の側面によれば、カラーの画像を撮像することができる。
【００３８】
また、本発明の第１の側面によれば、より正確な色を再現する画像を撮像することができる。
【００３９】
本発明の第２の側面によれば、カラーの画像を撮像することができる。
【００４０】
また、本発明の第２の側面によれば、より正確な色を再現する画像を撮像することができる。
【発明を実施するための最良の形態】
【００４１】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００４２】
本発明の第１の側面の撮像装置は、相互に隣接する光電変換素子のうち、予め決められた位置の光電変換素子の出力の差分として得られる分光感度が、人間の目の色に対する感度を示す等色関数のいずれかを近似する、その光電変換素子（例えば、図５の画素）がその決められた位置に配置されてなる撮像手段（例えば、図３のセンサ部１１）と、光電変換素子の出力をカラーの画像の信号に変換する信号処理を前記撮像手段の出力に適用する信号処理手段（例えば、図３の信号処理部１３）とを備える。
【００４３】
前記信号処理手段には、前記第１の光電変換素子毎に、前記第１の光電変換素子に隣接する前記第２の光電変換素子と前記第３の光電変換素子と前記第４の光電変換素子に対して、前記第１の光電変換素子の出力と前記第２の光電変換素子の出力との差分、前記第１の光電変換素子の出力と前記第３の光電変換素子の出力との差分、および前記第１の光電変換素子の出力と前記第４の光電変換素子の出力との差分を算出する第１の算出手段（例えば、図１０のRGB抽出部７３）と、画素値を算出しようとするカラーの画像の画素の位置が、前記第１の光電変換素子の位置に対して、前記撮像手段における２つの光電変換素子の距離の半分だけ、左上、左下、右上、または右下にずれた位置のうちのいずれであるかを判定する判定手段（例えば、図１０の生成画素位相判定部７２）と、判定の結果に応じて、カラーの画像の画素の位置に対して前記距離の半分だけずれている前記第１の光電変換素子の出力から算出された差分と、その前記第１の光電変換素子が属する単位に隣接する他の単位に属する他の前記第１の光電変換素子の出力から算出された差分とを加重平均することで、カラーの画像の画素の画素値を算出する第２の算出手段（例えば、図１０の加重平均部７４）とを設けることができる。
【００４４】
前記撮像手段の光電変換素子の出力のホワイトバランスを調整する調整手段（例えば、図１０のホワイトバランス調整部７１）をさらに設けることができる。
【００４５】
信号処理により得られたカラーの画像の信号のホワイトバランスを調整する調整手段（例えば、図１３のホワイトバランス調整部９１）をさらに設けることができる。
【００４６】
本発明の第１の側面の撮像方法は、人間の目の色に対する感度を示す等色関数のいずれかを、その出力の差分の分光感度で近似する光電変換素子を、撮像手段の予め決められた位置であって、相互に隣接する位置に配置し（例えば、図５に示されるように画素を配置し）、光電変換素子の出力をカラーの画像の信号に変換する信号処理を前記撮像手段の出力に適用する（例えば、図１２のステップＳ１２乃至ステップＳ１４）ステップを含む。
【００４７】
本発明の第２の側面の撮像素子（例えば、図３のセンサ部１１）には、人間の目の色に対する感度を示す等色関数のいずれかを、その出力の差分の分光感度で近似する光電変換素子（例えば、図５の画素）が、予め決められた位置であって、相互に隣接する位置に配置されている。
【００４８】
図３は、本発明の一実施の形態の撮像装置の構成を示すブロック図である。撮像装置は、センサ部１１、A/D（Analog to Digital）変換部１２、信号処理部１３、および出力部１４から構成される。
【００４９】
センサ部１１は、光学的な像を画像の電気信号に変換する撮像素子の一例であり、例えば、CCD（Charge Coupled Devices）イメージセンサまたはCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどである。センサ部１１には、相互に隣接する光電変換素子のうち、予め決められた位置の光電変換素子の出力の差分として得られる分光感度が、人間の目の色に対する感度を示す等色関数のいずれかを近似する、その光電変換素子がその決められた位置に配置されてなる。言い換えれば、センサ部１１には、人間の目の色に対する感度を示す等色関数のいずれかを、その出力の差分の分光感度で近似する光電変換素子が、予め決められた位置であって、相互に隣接する位置に配置されている。
【００５０】
センサ部１１は、光電変換により得られた画像の信号をA/D変換部１２に供給する。
【００５１】
A/D変換部１２は、センサ部１１から供給された、アナログ信号である画像の信号を、デジタル信号に変換する。A/D変換部１２は、変換により得られたデジタル信号を信号処理部１３に供給する。
【００５２】
信号処理部１３は、A/D変換部１２から供給されたデジタル信号である画像の信号に、各種の信号処理を適用する。例えば、信号処理部１３は、光電変換素子の出力をカラーの画像の信号に変換する信号処理を、センサ部１１の出力である画像の信号に適用する。
【００５３】
信号処理部１３は、信号処理を適用した画像の信号を出力部１４に供給する。出力部１４は、信号処理部１３から供給された画像の信号を、所定の方式で出力する。
【００５４】
図３の撮像装置において、画像を撮像するセンサ部１１から信号処理を行い出力する信号処理部１３および出力部１４までにより、トータルで画像のより正確な、より広い範囲の色の再現が実現される。図３の撮像装置は、分光特性が最適化されたセンサ部１１と、その後の信号処理部１３との２つに大きく分けることができる。
【００５５】
図４は、センサ部１１における分光特性に影響を与える系を説明するブロック図である。
【００５６】
センサ部１１における分光特性に影響を与える系は、赤外カットフィルタ３１、カラーフィルタ３２、およびセンサ分光感度３３で表すことができる。赤外カットフィルタ３１は、赤外線を遮断する。カラーフィルタ３２は、原色のそれぞれに応じた分光特性を備える。センサ分光感度３３は、センサ部１１の光電変換の特性そのものを示す。
【００５７】
センサ部１１への入力光をH（λ）、赤外カットフィルタ３１の分光特性をIR（λ）、カラーフィルタ３２の分光特性をS（λ）、イメージセンサの白黒分光特性をW（λ）とすると、センサ部１１のトータルの感度特性T（λ）は、式（１）で表される。
T（λ）=IR（λ）・S（λ）・W（λ）                        ・・・（１）
【００５８】
センサ部１１の各画素、すなわち光電変換素子から出力される画素値Oは、式（２）で表される。
【００５９】
【数１】
2007306477.tif 000003
【００６０】
センサ部１１の式（１）で示されるトータルの感度特性T（λ）を最適化するために、カラーフィルタ３２の分光特性S（λ）と、赤外カットフィルタ３１の分光特性IR（λ）とを変更することを考える。
【００６１】
イメージセンサであるセンサ部１１上に実装可能なフィルタに用いることができる色素の数の限界や負の感度を実現することができないという物理的な制約から、RGBのそれぞれについて個別に最適化する従来の手法では、図２で示したように等色関数から大きくずれた分光特性しか実現することができない。
【００６２】
そこで、次の２つの手法を併用して、その結果実現される分光特性が等色関数により近づくようにカラーフィルタ３２の分光特性S（λ）および赤外カットフィルタ３１の分光特性IR（λ）を調整する。
【００６３】
第１の手法は、多色化である。センサ部１１のカラーフィルタ３２のカラーバリエーションを３色から、より多い数の色に増やすことで、全体として等色関数により近づくようにする。
【００６４】
第２の手法は、差分法である。カラーフィルタ３２のそれぞれの色の特性を等色関数に近づけるのではなく、所定の分光特性の画素、すなわち光電変換素子の出力の差分が、等色関数により近づくようにする。
【００６５】
限られた数の色素を用いて、最終的に得られる分光特性を等色関数に近づける最適化を行う上で、これらの２つの手法は、自由度を増加させる。その結果、同じ条件の基で、RGBの３色のそれぞれで個別に最適化を行う場合に比較して、よりよい色再現性を実現することができるようになる。
【００６６】
また、２つの画素の出力の差分を用いることにより、それぞれの画素の出力が正の感度だけで負の感度を有しない場合でも、差分を用いることにより、負の感度を実現し、負の感度をもつ等色関数により近い分光特性を実現できるようになる。
【００６７】
図５は、センサ部１１の画素の配置の例を示す図である。図５において、四角は、画素を示す。画素S1、画素S2、画素S3、および画素S4は、センサ部１１のそれぞれ１つの画素、すなわち、１つの光電変換素子を示す。
【００６８】
以下、画素S1、画素S2、画素S3、および画素S4の出力を、それぞれ、単に、S1,S2,S3,S4と称する。
【００６９】
図５で示されるセンサ部１１の例において、画素S1、画素S2、画素S3、および画素S4の出力の差分により、所望の３色の分光特性、例えば、RGB表色系のRGBのそれぞれの等色関数が近似される。例えば、式（３）により、R、G、Bが算出される。
R=S4−S2
G=S4−S1
B=S4−S3
・・・（３）
【００７０】
すなわち、例えば、図６で示されるように、S1およびS4が正の値だけであっても、S4−S1を算出することにより、Gとして負の値を実現することができるようになる。
【００７１】
ただし、最終的に算出しようとする画素の周辺の画素S1、画素S2、画素S3、および画素S4の出力が均等であれば、式（３）から正確なR、G、Bが算出されるが、一般的には、素S1、画素S2、画素S3、および画素S4の出力にばらつきがあるので、信号処理部１３により、より正確なR、G、Bを求める必要がある。
【００７２】
次に、赤外カットフィルタ３１およびカラーフィルタ３２の具体的な分光特性について説明する。
【００７３】
図７は、赤外カットフィルタ３１の分光特性IR（λ）の例を示す図である。赤外カットフィルタ３１には、センサ部１１上に実装しなければならないとの制約がなく、例えば、センサ部１１に被写体の光学的な像を結像させる光学系の前後に設けることができるので、赤外カットフィルタ３１の分光特性IR（λ）は、比較的自由に変更することができる。
【００７４】
すなわち、赤外カットフィルタ３１の分光特性IR（λ）は、カラーフィルタ３２に用いる色素群の特性に応じて、変更すれば良い。
【００７５】
図７に示される赤外カットフィルタ３１の分光特性IR（λ）において、440nm以下の短波長側および610nm以上の長波長側で比較的急峻に分光透過率が減衰している。すなわち、445nmにおいて分光透過率は、1.0であり、430nmにおいて分光透過率は、ほぼ0.8であり、425nmにおいて分光透過率は、ほぼ0.6であり、415nmにおいて分光透過率は、ほぼ0.2である。
【００７６】
また、605nmにおいて分光透過率は、1.0であり、625nmにおいて分光透過率は、ほぼ0.8であり、635nmにおいて分光透過率は、ほぼ0.6であり、660nmにおいて分光透過率は、ほぼ0.2である。
【００７７】
次に、図４で示されるセンサ部１１における分光特性に影響を与える系を考慮して、図７で示される分光特性の赤外カットフィルタ３１と、図５で示される４種類の分光特性の画素を配置する場合、７種類の色素を用いて感度特性T（λ）を最適にしたときの、画素S1、画素S2、画素S3、および画素S4の分光特性について説明する。
【００７８】
最終的に目標とする等色関数として、任意の座標系を選択することができるが、例として、sRGB表色系の等色関数を実現する場合について説明する。
【００７９】
図８は、最終的にsRGB表色系の等色関数を実現する場合の、画素S1、画素S2、画素S3、および画素S4の分光特性を示す図である。
【００８０】
図８において、分光特性が相対感度で示され、プラス印（+）は、画素S1の相対感度を示し、バツ印（×）は、画素S2の相対感度を示し、アスタリスク（＊）は、画素S3の相対感度を示し、二重丸（◎）は、画素S4の相対感度を示す。
【００８１】
画素S4の相対感度は、波長によらず、ほぼ一定の約８０とされる。
【００８２】
画素S1の相対感度は、400nm乃至450nmの波長において、ほぼ一定の約９０とされ、450nmから540nmにかけて約９０から１０弱まで下がり、540nmから600nmにかけて１０弱から約８０まで上がり、さらに、600nmから700nmにかけて、約８０から１００まで上がっている。
【００８３】
また、画素S2の相対感度は、400nmから520nmにかけて約７０から９０弱まで上がり、520nmから620nmにかけて９０弱から約２０まで下がり、さらに、620nm乃至680nmの波長において、ほぼ一定の約２０とされ、680nmから700nmにかけて、約２０から約３０まで上がっている。
【００８４】
画素S3の相対感度は、400nmから430nmにかけて約３０から２０弱まで下がり、430nmから520nmにかけて２０弱から約８０まで上がり、さらに、520nm乃至700nmの波長において、ほぼ一定の約８０とされている。
【００８５】
図９は、図７で示される分光特性の赤外カットフィルタ３１と、図８の画素S1、画素S2、画素S3、および画素S4の分光特性とから実現される、RGBのそれぞれの分光特性を示す図である。
【００８６】
図９において、分光特性が相対感度で示され、黒丸は、Bの相対感度を示し、黒い三角は、Gの相対感度を示し、黒い四角は、Rの相対感度を示す。また、図９において、点線は、Bの等色関数を示し、一点鎖線は、Gの等色関数を示し、二点鎖線は、Rの等色関数を示す。
【００８７】
図９で示されるように、sRGB表色系の等色関数により近い分光特性が得られている。
【００８８】
すなわち、図９で示されるRGBの分光特性と、図２で示される従来のRGBの分光特性とを比較すると、図９で示されるRGBの分光特性において、等色関数との差、すなわち、誤差は、より少なくなっていることがわかる。
【００８９】
また、図９で示されるRGBの分光特性において、通常のカラーフィルタでは実現することができない、負の感度が実現されている。
【００９０】
次に、信号処理部１３について、より詳細に説明する。
【００９１】
図１０は、信号処理部１３の構成の例を示すブロック図である。信号処理部１３は、ホワイトバランス調整部７１、生成画素位相判定部７２、RGB抽出部７３、および加重平均部７４から構成される。
【００９２】
ホワイトバランス調整部７１は、センサ部１１の画素の出力のホワイトバランスを調整する。すなわち、ホワイトバランス調整部７１は、画素S1、画素S2、画素S3、および画素S4の出力のホワイトバランスを調整する。ホワイトバランス調整部７１は、ホワイトバランスを調整した、画素の出力を生成画素位相判定部７２およびRGB抽出部７３に供給する。
【００９３】
生成画素位相判定部７２は、生成しようとする画素の総てについて、生成しようとする画素の位相を判定する。すなわち、生成画素位相判定部７２は、画素値を算出しようとするカラーの画像の画素の位置が、画素S4の位置に対して、センサ部１１における２つの画素の距離の半分だけ、左上、左下、右上、または右下にずれた位置のうちのいずれであるかを判定する。
【００９４】
生成しようとする画素の位相とは、画素値を算出しようとするカラーの画像の画素の位置が、画素S4の位置に対して、センサ部１１における２つの画素の距離の半分だけ、左上、左下、右上、または右下にずれた位置のうちのいずれかであることをいう。
【００９５】
図１１は、生成しようとする画素の位相と加重平均の演算とを説明する図である。図１１の上側に、生成画素位置Ａである画素の位相が示されている。生成画素位置Ａである画素の位相において、画素値を算出しようとするカラーの画像の画素の位置は、画素S4の位置に対して、センサ部１１における２つの画素の距離の半分だけ左上にずれた位置である。
【００９６】
図１１の上から２番目に、生成画素位置Ｂである画素の位相が示されている。生成画素位置Ｂである画素の位相において、画素値を算出しようとするカラーの画像の画素の位置は、画素S4の位置に対して、センサ部１１における２つの画素の距離の半分だけ右上にずれた位置である。
【００９７】
図１１の上から３番目に、生成画素位置Ｃである画素の位相が示されている。生成画素位置Ｃである画素の位相において、画素値を算出しようとするカラーの画像の画素の位置は、画素S4の位置に対して、センサ部１１における２つの画素の距離の半分だけ左下にずれた位置である。
【００９８】
図１１の上から４番目に、生成画素位置Ｄである画素の位相が示されている。生成画素位置Ｄである画素の位相において、画素値を算出しようとするカラーの画像の画素の位置は、画素S4の位置に対して、センサ部１１における２つの画素の距離の半分だけ右下にずれた位置である。
【００９９】
言い換えれば、生成画素位相判定部７２は、生成しようとする画素の位相が、生成画素位置Ａであるか、生成画素位置Ｂであるか、生成画素位置Ｃであるか、または生成画素位置Ｄであるかを判定する。
【０１００】
生成画素位相判定部７２は、判定の結果をRGB抽出部７３および加重平均部７４に供給する。
【０１０１】
RGB抽出部７３は、ホワイトバランス調整部７１から供給された、ホワイトバランスを調整した画素の出力から、式（３）により、RGBのそれぞれの値を計算する。すなわち、RGB抽出部７３は、R=S4−S2、G=S4−S1、B=S4−S3を計算することにより、R、G、Bを計算する。言い換えれば、RGB抽出部７３は、画素S4毎に、画素S4と隣接する画素S1と画素S2と画素S3に対して、画素S4の出力と画素S1の出力との差分、画素S4の出力と画素S2の出力との差分、および画素S4の出力と画素S3の出力との差分を算出する。
【０１０２】
RGB抽出部７３は、RGBのそれぞれの値を加重平均部７４に供給する。
【０１０３】
加重平均部７４は、生成画素位相判定部７２における判定の結果に応じて、カラーの画像の画素の位置に対して、センサ部１１の画素の距離の半分だけずれている画素S4の出力から算出された差分と、その画素S4が属する単位に隣接する他の単位に属する他の画素S4の出力から算出された差分とを加重平均することで、カラーの画像の画素の画素値を算出する。ここで、単位は、縦横に相互に隣接して配置されている画素S1と画素S2と画素S3と画素S4とからなる。図１１に示されるように、この単位は、センサ部１１において縦または横に配置される。
【０１０４】
例えば、加重平均部７４は、R=(3*R1+R2)/4、B=(3*B1+B2)/4を計算することにより、最終的なRとBとを計算する。
【０１０５】
より具体的には、例えば、画素値を算出しようとするカラーの画像の画素の位相が生成画素位置Ａである場合、図１１の上側に示されるように、その画素の位置は、画素S4の左上であるので、画素値を計算しようとする画素が左上にある画素S4の画素値から、その画素S4の左隣の画素S2の画素値を引き算して、R1が算出され、さらにその画素S4に対して２画素上の画素S4の画素値から、２画素上の画素S4の左隣の画素S2の画素値を引き算して、R2が算出され、R=(3*R1+R2)/4により、最終的なRが計算される。
【０１０６】
また、画素値を計算しようとする画素が左上にある画素S4の画素値から、その画素S4の上の画素S3の画素値を引き算して、B1が算出され、さらにその画素S4の２画素左の画素S4の画素値から、２画素左の画素S4の上の画素S3の画素値を引き算して、B2が算出され、B=(3*B1+B2)/4により、最終的なBが計算される。
【０１０７】
なお、画素値を算出しようとするカラーの画像の画素の位相が生成画素位置Ａである場合、画素値を計算しようとする画素が左上にある画素S4の画素値から、その画素S4の左上の画素S1の画素値を引き算して、Gが算出される。
【０１０８】
例えば、画素値を算出しようとするカラーの画像の画素の位相が生成画素位置Ｂである場合、図１１の上から２番目に示されるように、その画素の位置は、画素S4の右上であるので、画素値を計算しようとする画素が右上にある画素S4の画素値から、その画素S4の右隣の画素S2の画素値を引き算して、R1が算出され、さらにその画素S4に対して２画素上の画素S4の画素値から、２画素上の画素S4の右隣の画素S2の画素値を引き算して、R2が算出され、R=(3*R1+R2)/4により、最終的なRが計算される。
【０１０９】
また、画素値を計算しようとする画素が右上にある画素S4の画素値から、その画素S4の上の画素S3の画素値を引き算して、B1が算出され、さらにその画素S4の２画素右の画素S4の画素値から、２画素右の画素S4の上の画素S3の画素値を引き算して、B2が算出され、B=(3*B1+B2)/4により、最終的なBが計算される。
【０１１０】
なお、画素値を算出しようとするカラーの画像の画素の位相が生成画素位置Ｂである場合、画素値を計算しようとする画素が右上にある画素S4の画素値から、その画素S4の右上の画素S1の画素値を引き算して、Gが算出される。
【０１１１】
例えば、画素値を算出しようとするカラーの画像の画素の位相が生成画素位置Ｃである場合、図１１の上から３番目に示されるように、その画素の位置は、画素S4の左下であるので、画素値を計算しようとする画素が左下にある画素S4の画素値から、その画素S4の左隣の画素S2の画素値を引き算して、R1が算出され、さらにその画素S4に対して２画素下の画素S4の画素値から、２画素下の画素S4の左隣の画素S2の画素値を引き算して、R2が算出され、R=(3*R1+R2)/4により、最終的なRが計算される。
【０１１２】
また、画素値を計算しようとする画素が左下にある画素S4の画素値から、その画素S4の下の画素S3の画素値を引き算して、B1が算出され、さらにその画素S4の２画素左の画素S4の画素値から、２画素左の画素S4の下の画素S3の画素値を引き算して、B2が算出され、B=(3*B1+B2)/4により、最終的なBが計算される。
【０１１３】
なお、画素値を算出しようとするカラーの画像の画素の位相が生成画素位置Ｃである場合、画素値を計算しようとする画素が左下にある画素S4の画素値から、その画素S4の左下の画素S1の画素値を引き算して、Gが算出される。
【０１１４】
例えば、画素値を算出しようとするカラーの画像の画素の位相が生成画素位置Ｄである場合、図１１の下側に示されるように、その画素の位置は、画素S4の右下であるので、画素値を計算しようとする画素が右下にある画素S4の画素値から、その画素S4の右隣の画素S2の画素値を引き算して、R1が算出され、さらにその画素S4に対して２画素下の画素S4の画素値から、２画素下の画素S4の右隣の画素S2の画素値を引き算して、R2が算出され、R=(3*R1+R2)/4により、最終的なRが計算される。
【０１１５】
また、画素値を計算しようとする画素が右下にある画素S4の画素値から、その画素S4の下の画素S3の画素値を引き算して、B1が算出され、さらにその画素S4の２画素右の画素S4の画素値から、２画素右の画素S4の下の画素S3の画素値を引き算して、B2が算出され、B=(3*B1+B2)/4により、最終的なBが計算される。
【０１１６】
なお、画素値を算出しようとするカラーの画像の画素の位相が生成画素位置Ｄである場合、画素値を計算しようとする画素が右下にある画素S4の画素値から、その画素S4の右下の画素S1の画素値を引き算して、Gが算出される。
【０１１７】
図１２は、信号処理部１３による信号処理の例を説明するフローチャートである。ステップＳ１１において、ホワイトバランス調整部７１は、センサ部１１の画素S1、画素S2、画素S3、および画素S4の出力のホワイトバランスを調整する。
【０１１８】
ステップＳ１２において、生成画素位相判定部７２は、生成しようとする画素を選択する。より正確には、ステップＳ１２において、生成画素位相判定部７２は、生成しようとする画素の位置を決める。
【０１１９】
ステップＳ１３において、生成画素位相判定部７２は、生成する画素の位置が、生成画素位置Ａ、生成画素位置Ｂ、生成画素位置Ｃ、または生成画素位置Ｄのいずれであるかを判定する。
【０１２０】
ステップＳ１４において、RGB抽出部７３は、周辺画素のRGBを抽出する。例えば、ステップＳ１４において、RGB抽出部７３は、生成しようとする画素の周辺の画素S1、画素S2、画素S3、および画素S4から、RGBを計算する。より詳しく説明すれば、例えば、ステップＳ１４において、RGB抽出部７３は、生成しようとする画素に接する画素S4と、その画素S4に対して２画素上の画素S4、２画素下の画素S4、２画素右の画素S4、および２画素左の画素S4と、それぞれの画素S4に隣接する画素S1、画素S2、および画素S3から、式（３）によりRGBを計算する。
【０１２１】
ステップＳ１５において、加重平均部７４は、RとBとに関し加重平均して、最終的なRとBとを算出する。すなわち、ステップＳ１５において、加重平均部７４は、図１１を参照して説明したように、生成しようとする画素の位相の判定の結果に応じて、カラーの画像の画素の位置に対して、センサ部１１の画素の距離の半分だけずれている画素S4の出力から算出された差分と、その画素S4が属する単位に隣接する他の単位に属する他の画素S4の出力から算出された差分とを加重平均することで、カラーの画像の画素の画素値を算出する。
【０１２２】
ステップＳ１６において、生成画素位相判定部７２は、全画面の処理を終了したか否かを判定し、全画面の処理を終了していないと判定された場合、ステップＳ１２に戻り、次の生成しようとする画素について、上述した処理を繰り返す。
【０１２３】
ステップＳ１６において、全画面の処理を終了したと判定された場合、信号処理により得られたRGBの信号を出力して、処理は終了する。
【０１２４】
このように、センサ部１１の画素のそれぞれのばらつきによる画像の色のばらつきをより少なくすることができ、さらに、センサ部１１の画素と、センサ部１１の画素に結像される光学的な像との相対的な位置の関係から生じる画像の色のばらつきをより少なくすることができる。
【０１２５】
また、カラーの画像の信号のホワイトバランスを調整するようにしてもよい。
【０１２６】
図１３は、信号処理部１３の構成の他の例を示すブロック図である。図１３において、図１０に示す場合と同様の部分には同一の符号を付してあり、その説明は省略する。
【０１２７】
図１３に示す信号処理部１３は、生成画素位相判定部７２、RGB抽出部７３、加重平均部７４、およびホワイトバランス調整部９１から構成される。
【０１２８】
ホワイトバランス調整部９１は、信号処理により得られたカラーの画像の信号のホワイトバランスを調整する。すなわち、ホワイトバランス調整部９１は、生成画素位相判定部７２、RGB抽出部７３、および加重平均部７４において信号処理されて、加重平均部７４から出力されたRGBの信号のホワイトバランスを調整する。
【０１２９】
図１４は、信号処理部１３による信号処理の他の例を説明するフローチャートである。ステップＳ３１乃至ステップＳ３５は、それぞれ、図１２のステップＳ１２乃至ステップＳ１６と同様なので、その説明は省略する。
【０１３０】
ステップＳ３６において、ホワイトバランス調整部９１は、ステップＳ３２乃至ステップＳ３５における信号処理により得られたRGBの信号のホワイトバランスを調整して、ホワイトバランスを調整したRGBの信号を出力して、処理は終了する。
【０１３１】
このように、信号処理の前または信号処理の後のいずれか一方で、ホワイトバランスを調整することができる。
【０１３２】
なお、sRGB表色系の等色関数に限らず、XYZ系の等色関数を実現することもできる。
【０１３３】
図１５は、最終的にXYZ系の等色関数を実現する場合の、画素S1、画素S2、画素S3、および画素S4の分光特性を示す図である。
【０１３４】
図１５において、分光特性が相対感度で示され、プラス印（+）は、画素S1の相対感度を示し、バツ印（×）は、画素S2の相対感度を示し、アスタリスク（＊）は、画素S3の相対感度を示し、二重丸（◎）は、画素S4の相対感度を示す。
【０１３５】
画素S4の相対感度は、波長によらず、一定の１００とされる。
【０１３６】
画素S1の相対感度は、400nm乃至450nmの波長において、ほぼ一定の約９０とされ、450nmから550nmにかけて約９０から約１０まで下がり、550nmから600nmにかけて約１０から約３０まで上がり、600nmから640nmにかけてほぼ一定の約３０とされ、さらに、640nmから700nmにかけて、約３０から６０まで上がっている。
【０１３７】
また、画素S2の相対感度は、400nmから500nmにかけて約７０から９０強まで上がり、500nmから620nmにかけて９０強から２０弱まで下がり、さらに、620nm乃至680nmの波長において、ほぼ一定の２０弱とされ、680nmから700nmにかけて、２０弱から３０弱まで上がっている。
【０１３８】
画素S3の相対感度は、400nmから430nmにかけて約３０から２０弱まで下がり、430nmから550nmにかけて２０弱から約１００まで上がり、さらに、550nmから700nmにかけて、ほぼ一定の約１００とされている。
【０１３９】
図１６は、図７で示される分光特性の赤外カットフィルタ３１と、図１５の画素S1、画素S2、画素S3、および画素S4の分光特性とから実現される、XYZのそれぞれの分光特性を示す図である。
【０１４０】
図１６において、分光特性が相対感度で示され、黒丸は、Zの相対感度を示し、黒い三角は、Yの相対感度を示し、黒い四角は、Xの相対感度を示す。また、図１６において、点線は、Zの等色関数を示し、一点鎖線は、Yの等色関数を示し、二点鎖線は、Xの等色関数を示す。
【０１４１】
図１６で示されるように、XYZ系の等色関数により近い分光特性が得られている。
【０１４２】
次に、センサ部１１の画素の差分から得られた分光特性と、最終的に目標とする等色関数とのずれを補正し、いわゆる、単板のイメージセンサで撮影されたRGB画像を、いわゆる、３板のイメージセンサで撮影したRGB画像に相当するRGB画像に作り直す信号処理について説明する。
【０１４３】
例えば、信号処理部１３は、予め求められたクラス毎の係数を用いた、クラス分類適応処理である信号処理をセンサ部１１の出力に適用することにより、センサ部１１の画素の差分から得られた分光特性と、最終的に目標とする等色関数とのずれを補正する。
【０１４４】
クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。
【０１４５】
ここで、クラス分類処理および適応処理について簡単に説明する。
【０１４６】
まず、クラス分類処理について説明する。
【０１４７】
図５に示すように、ある注目画素に最も近い画素S4と、それに隣接する３つの画素S1、画素S2、および画素S3とにより、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、注目画素に対応する２×２の４画素のブロックは、各画素のレベル分布により、１６（＝（２1）4）パターンに分類することができる。従って、いまの場合、注目画素は、１６のパターンに分類することができる。
【０１４８】
ここで、通常、各画素には、８ビット程度が割り当てられる。クラス分類用のブロックが、１２画素で構成されると、（２8）12という膨大な数のクラスに分類されることになる。
【０１４９】
クラス分類用のブロックを構成する画素のビット数を小さくすることで、クラス数は削減される。
【０１５０】
次に、適応処理について説明する。
【０１５１】
例えば、いま、RGBの画像（以下、適宜、教師画像と称し、また、そのデータを教師データと称する）の画素値ｙの予測値Ｅ［ｙ］を、センサ部１１の画素の出力（以下、適宜、１つの画像に相当するセンサ部１１の画素の出力を生徒画像と称し、また、そのデータを学習データと称する）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１５２】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
・・・（４）
【０１５３】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ'を、
【数２】
2007306477.tif 000004
で定義すると、次のような観測方程式が成立する。
【０１５４】
ＸＷ＝Ｙ'
・・・（５）
【０１５５】
そして、この観測方程式に最小自乗法を適用して、RGBの画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、RGBの画像の画素値ｙの集合でなる行列Ｙ、およびRGBの画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数３】
2007306477.tif 000005
で定義すると、式（５）から、次のような残差方程式が成立する。
【０１５６】
ＸＷ＝Ｙ＋Ｅ
・・・（６）
【０１５７】
この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数４】
2007306477.tif 000006
を最小にすることで求めることができる。
【０１５８】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、RGBの画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１５９】
【数５】
2007306477.tif 000007
【０１６０】
そこで、まず、式（６）を、予測係数ｗiで微分することにより、次式が成立する。
【０１６１】
【数６】
2007306477.tif 000008
【０１６２】
式（７）および（８）より、式（９）が得られる。
【０１６３】
【数７】
2007306477.tif 000009
【０１６４】
さらに、式（６）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（９）から、次のような正規方程式を得ることができる。
【０１６５】
【数８】
2007306477.tif 000010
【０１６６】
式（１０）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（１０）を解くことで、最適な予測係数ｗを求めることができる。なお、式（１０）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０１６７】
以上のようにして、クラスごとに最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（４）により、RGBの画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【０１６８】
図１７は、予め求められたクラス毎の係数を用いた、クラス分類適応処理である信号処理をセンサ部１１の出力に適用する、信号処理部１３の構成のさらに他の例を示すブロック図である。なお、図１７において、図１０に示す場合と同様の部分には同一の符号を付してあり、その説明は省略する。
【０１６９】
図１７に示される信号処理部１３は、ホワイトバランス調整部７１、クラスタップ構築部１０１、クラス分類部１０２、係数蓄積部１０３、予測タップ構築部１０４、および積和演算部１０５から構成される。
【０１７０】
ホワイトバランス調整部７１は、ホワイトバランスを調整したセンサ部１１の画素の出力を、クラスタップ構築部１０１および予測タップ構築部１０４に供給する。
【０１７１】
クラスタップ構築部１０１は、クラスタップを構築する。すなわち、クラスタップ構築部１０１は、注目画素である生成しようとする画素に応じて、ホワイトバランス調整部７１から供給されたホワイトバランスを調整したセンサ部１１の画素の出力の中から、クラス分類用のブロックを構成するクラスタップとして画素の出力を抽出する。
【０１７２】
図１８は、クラスタップの配置の例を示す図である。図１８において、黒丸は、注目画素である生成しようとする画素を示す。図１８に示す例において、注目画素の位置は、センサ部１１における画素S1乃至画素S4の位置に対して、画素S1乃至画素S4の相互の距離の半分だけずれた位置にある。
【０１７３】
例えば、クラスタップ構築部１０１は、注目画素を中心として、横に４画素および縦に２画素の範囲に属するか、または注目画素を中心として、横に２画素および縦に４画素の範囲に属する画素S1乃至画素S4の出力を、クラスタップとして抽出することで、クラスタップを構築する。
【０１７４】
クラスタップ構築部１０１は、クラスタップをクラス分類部１０２に供給する。
【０１７５】
クラス分類部１０２は、クラスタップにより、注目画素をクラス分類する。クラス分類部１０２は、クラスタップに対して、ADRC処理が施されるようになされており、これにより、クラスタップを構成する画素の出力のビット数を小さくすることで、クラス数を削減するようになされている。
【０１７６】
図１９は、クラス分類部１０２の構成の例を示すブロック図である。クラス分類部１０２は、DR演算部１２１、DR最大値検出部１２２、およびADRCコード計算部１２３から構成される。
【０１７７】
DR演算部１２１は、クラスタップを構成する画素S1の出力、画素S2の出力、画素S3の出力、画素S4の出力のそれぞれについて、ダイナミックレンジDR＝最大値MAX−最小値MINを演算する。すなわち、DR演算部１２１は、クラスタップを構成する３つの画素S1の出力の最大値MAXと最小値MINを検出し、検出した最大値MAXから最小値MINを引き算することにより、画素S1の出力についてのダイナミックレンジDRを算出する。同様に、DR演算部１２１は、クラスタップを構成する３つの画素S2の出力の最大値MAXと最小値MINを検出し、検出した最大値MAXから最小値MINを引き算することにより、画素S2の出力についてのダイナミックレンジDRを算出する。
【０１７８】
また、DR演算部１２１は、クラスタップを構成する３つの画素S3の出力の最大値MAXと最小値MINを検出し、検出した最大値MAXから最小値MINを引き算することにより、画素S3の出力についてのダイナミックレンジDRを算出する。さらにまた、DR演算部１２１は、クラスタップを構成する３つの画素S4の出力の最大値MAXと最小値MINを検出し、検出した最大値MAXから最小値MINを引き算することにより、画素S4の出力についてのダイナミックレンジDRを算出する。
【０１７９】
DR演算部１２１は、それぞれのダイナミックレンジDRをDR最大値検出部１２２に供給する。
【０１８０】
DR最大値検出部１２２は、画素S1の出力についてのダイナミックレンジDR、画素S1の出力についてのダイナミックレンジDR、画素S3の出力についてのダイナミックレンジDR、画素S4の出力についてのダイナミックレンジDRの中から、最大値を検出する。DR最大値検出部１２２は、最大のダイナミックレンジDRをADRCコード計算部１２３に供給する。
【０１８１】
ADRCコード計算部１２３は、最大のダイナミックレンジDRに基づいて、クラスタップを構成する画素S1、画素S2、画素S3、画素S4の出力をKビットに再量子化して、ADRCコードを計算する。
【０１８２】
即ち、ADRCコード計算部１２３は、クラスタップを構成する画素S1、画素S2、画素S3、画素S4の出力のそれぞれから、最大のダイナミックレンジDRの演算に用いた最小値MINを減算し、その減算値をDR／２Kで除算する。そして、その結果得られる除算値に対応するコード（ADRCコード）に変換される。具体的には、例えば、K＝２とした場合、除算値が、ダイナミックレンジDRを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。
【０１８３】
クラスタップを構成する画素の出力に割り当てられているビット数より少ないビット数で再量子化を行うADRC処理を施すことにより、上述したように、クラス数を削減することができ、このようなADRC処理が、クラス分類部１０２において行われる。
【０１８４】
ADRCコード計算部１２３は、このように得られたADRCコードをクラスコードとして出力する。例えば、ADRCコード計算部１２３は、クラスタップを構成する画素S1、画素S2、画素S3、画素S4の出力から計算されたADRCコードを順に配列してなるクラスコードを出力する。
【０１８５】
図１８で示される１２個の画素S1、画素S2、画素S3、画素S4の出力から構成されるクラスタップを基に、クラスタップを構成する画素S1、画素S2、画素S3、画素S4の出力から、それぞれ１ビットのADRCコードが計算される場合、ADRCコード計算部１２３は、注目画素を、２12＝４０９６のクラスに分類するクラスコードを出力する。
【０１８６】
このように、注目画素の周辺において、色の信号の波形が変化する場合であっても、それに応じた演算でクラスコードが計算されるので、注目画素は、式（３）のRGBに応じたクラスに分類されることになる。
【０１８７】
なお、位相によりクラスタップの配列が変化するが、クラスタップを水平に反転させたり、垂直に反転させることにより、図１８に示すクラスタップと同様の取り扱うことができる。
【０１８８】
ADRCコード計算部１２３は、注目画素をクラス分類した結果得られたクラスコードを係数蓄積部１０３および予測タップ構築部１０４に供給する。
【０１８９】
係数蓄積部１０３は、クラス毎の予測係数ｗを予め蓄積している。係数蓄積部１０３は、クラス分類部１０２からクラスコードが供給されると、そのクラスコードで示されるクラスの予測係数ｗを積和演算部１０５に供給する。
【０１９０】
予測タップ構築部１０４は、予測タップを構築する。すなわち、予測タップ構築部１０４は、注目画素である生成しようとする画素に応じて、ホワイトバランス調整部７１から供給されたホワイトバランスを調整したセンサ部１１の画素の出力の中から、式（４）の積和演算に用いるセンサ部１１の画素の出力である予測タップを抽出する。例えば、予測タップ構築部１０４は、クラス分類部１０２から供給されるクラスコードで示されるクラスに応じて、予測タップを構築する。
【０１９１】
図２０は、予測タップの配置の例を示す図である。図２０において、黒丸は、注目画素である生成しようとする画素を示す。
【０１９２】
例えば、予測タップ構築部１０４は、注目画素を中心として、横に６画素および縦に２画素の範囲に属するか、注目画素を中心として、横に４画素および縦に４画素の範囲に属するか、または注目画素を中心として、横に２画素および縦に６画素の範囲に属する画素S1乃至画素S4の出力を、予測タップとして抽出することで、予測タップを構築する。この場合、２４の、画素S1乃至画素S4の出力からなる予測タップが構築される。
【０１９３】
なお、位相により予測タップの配列が変化するが、予測タップを水平に反転させたり、垂直に反転させることにより、図２０に示す予測タップと同様の取り扱うことができる。
【０１９４】
予測タップ構築部１０４は、予測タップを積和演算部１０５に供給する。
【０１９５】
積和演算部１０５は、予測タップ構築部１０４から供給された予測タップと、係数蓄積部１０３から供給された予測係数ｗとに、式（４）の積和演算を適用することにより、RGBの画像の画素値である、注目画素の画素値を予測する。
【０１９６】
次に、図２１のフローチャートを参照して、信号処理部１３による、予め求められたクラス毎の係数を用いたクラス分類適応処理である信号処理を説明する。ステップＳ１０１において、ホワイトバランス調整部７１は、センサ部１１の画素S1、画素S2、画素S3、および画素S4の出力のホワイトバランスを調整する。
【０１９７】
ステップＳ１０２において、クラスタップ構築部１０１は、生成しようとする画素である注目画素を選ぶ。ステップＳ１０３において、クラスタップ構築部１０１は、注目画素の周辺のデータを読み出す。すなわち、ステップＳ１０３において、クラスタップ構築部１０１は、注目画素の周辺の画素S1、画素S2、画素S3、および画素S4の出力を読み出す。
【０１９８】
ステップＳ１０４において、クラスタップ構築部１０１は、注目画素の生成しようとするコンポーネントを選ぶ。例えば、ステップＳ１０４において、クラスタップ構築部１０１は、RGBのうちの１つを選択する。
【０１９９】
ステップＳ１０５において、クラスタップ構築部１０１は、注目画素に応じたクラスタップを構築する。ステップＳ１０６において、クラス分類部１０２は、クラスタップにより注目画素をクラス分類する。ステップＳ１０７において、予測タップ構築部１０４は、注目画素が分類されたクラスに応じた予測タップを構築する。
【０２００】
ステップＳ１０８において、係数蓄積部１０３は、予め蓄積しているクラスごとの予測係数のうち、注目画素が分類されたクラスに応じた予測係数を読み出して、積和演算部１０５に供給する。ステップＳ１０９において、積和演算部１０５は、ステップＳ１０７において構築された予測タップのデータと、ステップＳ１０８において読み出された予測係数ｗとの、式（４）で示される積和演算処理を行う。
【０２０１】
ステップＳ１１０において、クラスタップ構築部１０１は、その注目画素のRGBについて処理が終了したか否かを判定し、RGBについて処理が終了していないと判定された場合、ステップＳ１０４に戻り、次のコンポーネントについて、上述した処理を繰り返す。
【０２０２】
ステップＳ１１０において、RGBについて処理が終了したと判定された場合、ステップＳ１１１に進み、クラスタップ構築部１０１は、全画面の処理を終了したか否かを判定し、全画面の処理を終了していないと判定された場合、ステップＳ１０２に戻り、次の生成しようとする画素について、上述した処理を繰り返す。
【０２０３】
ステップＳ１１１において、全画面の処理を終了したと判定された場合、信号処理により得られたRGBの信号を出力して、処理は終了する。
【０２０４】
このように、センサ部１１の画素の差分から得られた分光特性と、最終的に目標とする等色関数とのずれが補正され、さらに正確な色を再現する画像を撮像することができる。
【０２０５】
また、クラス分類適応処理により得られたカラーの画像の信号のホワイトバランスを調整するようにしてもよい。
【０２０６】
図２２は、信号処理部１３の構成のさらに他の例を示すブロック図である。図２２において、図１７に示す場合と同様の部分には同一の符号を付してあり、その説明は省略する。
【０２０７】
図２２に示される信号処理部１３は、クラスタップ構築部１０１、クラス分類部１０２、係数蓄積部１０３、予測タップ構築部１０４、積和演算部１０５、およびホワイトバランス調整部９１から構成される。
【０２０８】
図２２のホワイトバランス調整部９１は、クラス分類適応処理により得られたカラーの画像の信号のホワイトバランスを調整する。すなわち、ホワイトバランス調整部９１は、クラスタップ構築部１０１、クラス分類部１０２、係数蓄積部１０３、予測タップ構築部１０４、積和演算部１０５において、クラス分類適応処理である信号処理により生成されたRGBの信号のホワイトバランスを調整する。
【０２０９】
図２３は、信号処理部１３によるクラス分類適応処理である信号処理の他の例を説明するフローチャートである。ステップＳ１３１乃至ステップＳ１４０は、それぞれ、図２１のステップＳ１０２乃至ステップＳ１１１と同様なので、その説明は省略する。
【０２１０】
ステップＳ１４１において、ホワイトバランス調整部９１は、ステップＳ１３１乃至ステップＳ１４０におけるクラス分類適応処理である信号処理により生成されたRGBの信号のホワイトバランスを調整して、ホワイトバランスを調整したRGBの信号を出力して、処理は終了する。
【０２１１】
このように、クラス分類適応処理である信号処理の前または信号処理の後のいずれか一方で、ホワイトバランスを調整することができる。
【０２１２】
次に、クラス分類適応処理に用いる、クラスごとの予測係数の生成について説明する。
【０２１３】
図２４は、クラス分類適応処理のクラスごとの予測係数の生成に用いる教師画像および生徒画像を撮像する撮像装置を示す図である。図２４の撮像装置は、白黒カメラ２０１およびフィルタホイール２０２からなり、撮影対象２０３を撮像する。
【０２１４】
白黒カメラ２０１は、図４に示されるセンサ分光感度３３の白黒分光特性W（λ）に等しい特性を有する。すなわち、白黒カメラ２０１は、赤外カットフィルタ３１およびカラーフィルタ３２を除いたセンサ部１１の光電変換の特性と同じ光電変換特性を有する。
【０２１５】
フィルタホイール２０２には、複数のフィルタが設けられ、そのフィルタの何れかを透過した撮影対象２０３の光学的な像が、白黒カメラ２０１に結像されるようにフィルタホイール２０２は構成されている。
【０２１６】
白黒カメラ２０１のフレームの撮像の周期と、フィルタホイール２０２のフィルタを透過した撮影対象２０３の光学的な像が、白黒カメラ２０１に結像する周期とが、同期するように、白黒カメラ２０１は、フレームを単位として、被写体を撮像し、フィルタホイール２０２は回転する。すなわち、白黒カメラ２０１は、フィルタホイール２０２の回転の方向に順に設けられているフィルタのそれぞれを、透過した撮影対象２０３の光学的な像を、フレーム毎に撮像する。
【０２１７】
より詳細に説明すれば、白黒カメラ２０１は、フィルタホイール２０２の所定の最初の１つのフィルタを透過した撮影対象２０３の光学的な像を、最初のフレームとして撮像し、その最初のフィルタの次に、フィルタホイール２０２の回転の方向に設けられている２番目の１つのフィルタを透過した撮影対象２０３の光学的な像を、２番目のフレームとして撮像する。このような、白黒カメラ２０１の、フィルタホイール２０２の回転の方向に順に設けられているｎ個のフィルタのうちの１つのフィルタを透過した撮影対象２０３の光学的な像を、１つのフレームとして撮像する動作が繰り返され、フィルタホイール２０２に設けられているｎ個のフィルタのそれぞれを透過した撮影対象２０３の光学的な像が、ｎのフレームとして撮像される。
【０２１８】
すなわち、白黒カメラ２０１は、フィルタホイール２０２に設けられたフィルタの色毎の画像を撮像することになる。
【０２１９】
例えば、XYZ表色系の等色関数により近い分光特性のカラーの画像の信号を得る場合、フィルタホイール２０２のフィルタのうちの、３つのフィルタのそれぞれの分光特性は、XYZ表色系のXの等色関数に等しい分光特性、Yの等色関数に等しい分光特性、Zの等色関数に等しい分光特性とされる。さらに、フィルタホイール２０２のフィルタのうちの、他の４つのフィルタのそれぞれの分光特性は、図８を参照して説明した、画素S1、画素S2、画素S3、および画素S4のそれぞれの分光特性に等しい分光特性とされる。
【０２２０】
また、例えば、sRGB表色系の等色関数により近い分光特性のカラーの画像の信号を得る場合、フィルタホイール２０２のフィルタのうちの、３つのフィルタのそれぞれの分光特性は、XYZ表色系のXの等色関数に等しい分光特性、Yの等色関数に等しい分光特性、Zの等色関数に等しい分光特性とされ、一旦、XYZ表色系の等色関数により近い分光特性のカラーの画像が撮像される。その後、XYZ表色系の等色関数により近い分光特性のカラーの画像の信号が、一次変換により、sRGB表色系の等色関数により近い分光特性のカラーの画像の信号に変換される。この場合も、フィルタホイール２０２のフィルタのうちの、他の４つのフィルタのそれぞれの分光特性は、図８を参照して説明した、画素S1、画素S2、画素S3、および画素S4のそれぞれの分光特性に等しい分光特性とされる。
【０２２１】
すなわち、フィルタホイール２０２のフィルタのうちの、３つのフィルタのそれぞれの分光特性は、全ての分光特性が正となる任意の表色系における等色関数のいずれかに等しい分光特性とされる。その表色系の等色関数により近い分光特性のカラーの画像が撮像される。そして、負の感度を持つ等色関数により近い分光特性のカラーの画像の信号を得る場合、撮影されたカラーの画像の信号が、一次変換により、負の感度を持つ等色関数により近い分光特性のカラーの画像の信号に変換される。
【０２２２】
フィルタホイール２０２のフィルタは、例えば、ガラスフィルタである。ガラスフィルタには、センサ部１１に設けられるカラーフィルタ３２のように、光電変換素子上に実装することからくる制約がないので、ガラスフィルタの分光特性は、比較的自由に決めることができる。例えば、フィルタホイール２０２のフィルタには、濃度、膜厚限界、耐光性、耐熱性などを考慮することなく、所望の分光特性を得るための色素を用いることができる。また、例えば、フィルタホイール２０２の１つのフィルタを、複数のフィルタを重ねて構成することができる。
【０２２３】
このように、フィルタホイール２０２を、白黒カメラ２０１と別個に設けることにより、光電変換素子上に実装するカラーフィルタ３２では実現できない、所望の表色系の等色関数により近い分光特性のカラーの画像を撮影することが可能になる。
【０２２４】
白黒カメラ２０１は、撮影した、フィルタホイール２０２のフィルタの色毎の画像である生徒画像および教師画像を、クラス分類適応処理のクラスごとの予測係数を生成する画像処理装置に供給する。
【０２２５】
なお、図３の撮像装置において最終的に生成する画素の位相に応じて、生徒画像と、生徒画像の画素の位置に対して、画素の位置がずらされた教師画像とを撮像するようにしてもよい。
【０２２６】
また、光学LPF（Low Pass Filter）を外して教師画像を撮像するようにしてもよい。
【０２２７】
図２５は、白黒カメラ２０１により撮像された生徒画像および教師画像から、クラス分類適応処理のクラスごとの予測係数を生成する画像処理装置の構成の例を示すブロック図である。図２５において、図１７に示す場合と同様の部分には同一の符号を付してあり、その説明は省略する。
【０２２８】
クラス分類適応処理のクラスごとの予測係数を生成する画像処理装置は、クラスタップ構築部１０１、クラス分類部１０２、予測タップ構築部１０４、単板データ化部２２１、画素値抽出部２２２、足し込み行列生成部２２３、および係数生成部２２４から構成される。
【０２２９】
単板データ化部２２１は、センサ部１１のカラーフィルタの色の数分の生徒画像、すなわち、画素S1、画素S2、画素S3、および画素S4のそれぞれの分光特性に等しい分光特性のフィルタを介して撮像された４つの生徒画像を取得する。単板データ化部２２１は、取得した生徒画像から、センサ部１１から出力されるデータと同様のデータを生成する。すなわち、単板データ化部２２１は、取得した生徒画像から、センサ部１１から出力されるデータの配置と同様の配置のデータを生成する。
【０２３０】
より詳細に説明すると、単板データ化部２２１は、センサ部１１における画素S1、画素S2、画素S3、および画素S4の配置に応じて、取得した生徒画像の画素を間引き、重ね合わせることで、センサ部１１から出力されるデータの配置と同様の配置のデータを生成する。例えば、単板データ化部２２１は、画素S1の分光特性に等しい分光特性のフィルタを介して撮像された生徒画像から、図５で示される画素S1の位置の画素を抽出し、生成するデータに対して、図５で示される画素S1の位置に画素を配置する。また、単板データ化部２２１は、画素S2の分光特性に等しい分光特性のフィルタを介して撮像された生徒画像から、図５で示される画素S2の位置の画素を抽出し、生成するデータに対して、図５で示される画素S2の位置に画素を配置する。さらに、単板データ化部２２１は、画素S3の分光特性に等しい分光特性のフィルタを介して撮像された生徒画像から、図５で示される画素S3の位置の画素を抽出し、生成するデータに対して、図５で示される画素S3の位置に画素を配置する。さらにまた、単板データ化部２２１は、画素S4の分光特性に等しい分光特性のフィルタを介して撮像された生徒画像から、図５で示される画素S4の位置の画素を抽出し、生成するデータに対して、図５で示される画素S4の位置に画素を配置する。
【０２３１】
このように、単板データ化部２２１は、取得した生徒画像から、センサ部１１から出力されるデータと同様のデータを生成する。
【０２３２】
単板データ化部２２１は、生成したデータを、最終的な生徒画像としてクラスタップ構築部１０１および予測タップ構築部１０４に供給する。
【０２３３】
予測タップ構築部１０４は、単板データ化部２２１から供給された生徒画像から、注目画素のクラスに応じた予測タップを構築して、その予測タップを足し込み行列生成部２２３に供給する。
【０２３４】
画素値抽出部２２２は、教師画像から注目画素に対応する位置の画素の画素値を抽出して、抽出した画素の画素値を足し込み行列生成部２２３に供給する。この場合、選択したコンポーネントに応じた教師画像から画素値が抽出される。
【０２３５】
足し込み行列生成部２２３は、クラスごと、およびコンポーネントごとの式（１０）の正規方程式に、予測タップと、注目画素の画素値とを足し込む。
【０２３６】
多数の教師画像と、これに対応する生徒画像とについて、それぞれの教師画像の画素に対応する注目画素について、クラスごと、およびコンポーネントごとの式（１０）の正規方程式に、予測タップと、注目画素に対応する位置の教師画像の画素の画素値とが足し込まれる。
【０２３７】
足し込み行列生成部２２３は、このように、予測タップと、注目画素に対応する位置の教師画像の画素の画素値とを足し込んだ、クラスごと、およびコンポーネントごとの式（１０）の正規方程式を係数生成部２２４に供給する。
【０２３８】
係数生成部２２４は、足し込み行列生成部２２３から供給された、クラスごと、およびコンポーネントごとの式（１０）の正規方程式を、掃き出し法などにより解くことで、クラスごと、およびコンポーネントごとの予測係数を生成する。係数生成部２２４において生成された予測係数は、出力されて、係数蓄積部１０３に蓄積される。
【０２３９】
図２６は、クラス分類適応処理のクラスごとの予測係数を生成する処理を説明するフローチャートである。ステップＳ２０１において、単板データ化部２２１および画素値抽出部２２２は、色数分の生徒画像と、これに対応する色数分の教師画像とを選択する。ステップＳ２０２において、単板データ化部２２１は、色数分の生徒画像を、画素位置に応じた単板データ化し、最終的な生徒画像を生成する。
【０２４０】
ステップＳ２０３において、クラスタップ構築部１０１は、教師画像の画素に対応する注目する画素である注目画素を選ぶ。ステップＳ２０４において、クラスタップ構築部１０１は、生徒画像から注目画素の周辺のデータを読み出す。
【０２４１】
ステップＳ２０５において、クラスタップ構築部１０１は、注目画素の生成しようとするコンポーネントを選ぶ。
【０２４２】
ステップＳ２０６において、クラスタップ構築部１０１は、生徒画像から注目画素に応じたクラスタップを構築する。ステップＳ２０７において、クラス分類部１０２は、クラスタップにより注目画素をクラス分類する。ステップＳ２０８において、予測タップ構築部１０４は、生徒画像から、注目画素が分類されたクラスに応じた予測タップを構築する。
【０２４３】
ステップＳ２０８において、画素値抽出部２２２は、教師画像から生成画素位置、すなわち、注目画素に対応する位置の教師データ（画素の画素値）を抽出する。この場合、ステップＳ２０５で選択されたコンポーネントに対応する色の教師画像の画素値が抽出されることになる。
【０２４４】
ステップＳ２１０において、足し込み行列生成部２２３は、各クラス各コンポーネント毎の足し込み行列を生成する。例えば、ステップＳ２１０において、足し込み行列生成部２２３は、クラスごと、およびコンポーネントごとの式（１０）の正規方程式に、予測タップと、注目画素に対応する位置の教師画像の画素の画素値とを足し込む。
【０２４５】
ステップＳ２１１において、クラスタップ構築部１０１は、その注目画素の総てのコンポーネント、すなわちRGBについて処理が終了したか否かを判定し、RGBについて処理が終了していないと判定された場合、ステップＳ２０５に戻り、次のコンポーネントについて、上述した処理を繰り返す。
【０２４６】
ステップＳ２１１において、RGBについて処理が終了したと判定された場合、ステップＳ２１２に進み、クラスタップ構築部１０１は、全画面の処理を終了したか否かを判定し、全画面の処理を終了していないと判定された場合、ステップＳ２０３に戻り、次の注目画素について、上述した処理を繰り返す。
【０２４７】
ステップＳ２１２において、全画面の処理を終了したと判定された場合、ステップＳ２１３に進み、クラスタップ構築部１０１は、全画像の処理が終了したか否かを判定する。ステップＳ２１３において、全画像の処理が終了していないと判定された場合、ステップＳ２０１に戻り、次の画像について、上述した処理を繰り返す。
【０２４８】
ステップＳ２１３において、全画像の処理が終了したと判定された場合、ステップＳ２１４に進み、係数生成部２２４は、最小自乗法により予測係数を生成して、処理は終了する。すなわち、ステップＳ２１４において、係数生成部２２４は、ステップＳ２１０において生成された、各クラス各コンポーネント毎の足し込み行列を解くことにより、クラス毎、コンポーネント毎の予測係数を生成する。
【０２４９】
このように、クラス分類適応処理に用いる、クラスごとの予測係数が生成される。
【０２５０】
本発明は、単板の撮像素子（光電変換素子）を用いてカラー撮影を行う場合、撮像素子から信号処理までをトータルに考慮した上で、撮像素子と信号処理とを特徴的な構成とすることで、最終的に出力される画像のデータの色再現性の向上と広色域化を実現するものである。
【０２５１】
また、複数の撮像素子を用いる場合でも、それぞれの撮像素子において、上述した構成とすることで、同様の効果を得ることができ、全体の特性をさらに向上させることができる。例えば、複数の撮像素子のうちの１つ目の撮像素子には、画素S4と画素S1とが隣接して配置され、複数の撮像素子のうちの２つ目の撮像素子には、画素S4と画素S2とが隣接して配置され、複数の撮像素子のうちの３つ目の撮像素子には、画素S4と画素S3とが隣接して配置される。
【０２５２】
以上の発明を適用することにより、従来に比較して色の歪みがより少なく、また、高解像度化を同日に実現した画像のデータを得ることが可能となる。そのため、例えば、ディスプレイやプリンタ等の出力において、従来よりもより人の目で見た画像に近い画像の提示が可能となる。近年、出力デバイスの特性がより広色域化されていく傾向があるので、撮像する際のデータが、より正しく、より広色域で取得できることの価値は、今後、より高まるものと予測される。
【０２５３】
また、色域が制限されている出力デバイスにおいても、撮像時に、広色域のデータを得ることができれば、後からその出力デバイスに合わせた適正な補正を適用することで、その出力デバイスの特性において最適な画像が提示される。
【０２５４】
さらに、本発明は、コピー機や遠隔医療機器など、例えば、各種のデザインの分野、医療分野など、より忠実な色再現性が望まれる領域においても有用である。
【０２５５】
本発明は、デジタルスチルカメラ、デジタルビデオカメラ、撮像機能付き携帯電話機、撮像機能付きPDA、コピー機、遠隔医療機器など、撮像機能を備える機器に適用することができる。
【０２５６】
このように、光電変換手段にカラーフィルタを設けるようにした場合には、カラーの画像を撮像することができる。また、人間の目の色に対する感度を示す等色関数のいずれかを、その出力の差分で示される分光感度で近似する画素を、光電変換手段の予め決められた位置であって、相互に隣接する位置に配置し、画素の出力をカラーの画像の信号に変換する信号処理を光電変換手段の出力に適用するようにした場合には、より正確な色を再現する画像を撮像することができる。
【０２５７】
人間の目の色に対する感度を示す等色関数のいずれかを、その出力の差分で示される分光感度で近似する画素を、予め決められた位置であって、相互に隣接する位置に配置するようにした場合には、より正確な色を再現する画像を撮像することができる。
【０２５８】
図２７は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）３０１は、ROM（Read Only Memory）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）３０３には、CPU３０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU３０１、ROM３０２、およびRAM３０３は、バス３０４により相互に接続されている。
【０２５９】
CPU３０１にはまた、バス３０４を介して入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７が接続されている。CPU３０１は、入力部３０６から入力される指令に対応して各種の処理を実行する。そして、CPU３０１は、処理の結果を出力部３０７に出力する。
【０２６０】
入出力インターフェース３０５に接続されている記憶部３０８は、例えばハードディスクからなり、CPU３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
【０２６１】
また、通信部３０９を介してプログラムを取得し、記憶部３０８に記憶してもよい。
【０２６２】
入出力インターフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部３０８に転送され、記憶される。
【０２６３】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２６４】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２７に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０２６５】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２６６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２６７】
【図１】ベイヤー配列を説明する図である。
【図２】RGBのカラーフィルタの分光特性の一例と、RGBの等色関数とを示す図である。
【図３】本発明の一実施の形態の撮像装置の構成を示すブロック図である。
【図４】センサ部における分光特性に影響を与える系を説明するブロック図である。
【図５】センサ部の画素の配置の例を示す図である。
【図６】差分により実現される分光特性を説明する図である。
【図７】赤外カットフィルタの分光特性IR（λ）の例を示す図である。
【図８】画素S1、画素S2、画素S3、および画素S4の分光特性を示す図である。
【図９】図７で示される分光特性の赤外カットフィルタと、図８の画素S1、画素S2、画素S3、および画素S4の分光特性とから実現される、RGBのそれぞれの分光特性を示す図である。
【図１０】信号処理部の構成の例を示すブロック図である。
【図１１】画素の位相と加重平均の演算とを説明する図である。
【図１２】信号処理部による信号処理の例を説明するフローチャートである。
【図１３】信号処理部の構成の他の例を示すブロック図である。
【図１４】信号処理部による信号処理の他の例を説明するフローチャートである。
【図１５】画素S1、画素S2、画素S3、および画素S4の分光特性を示す図である。
【図１６】図７で示される分光特性の赤外カットフィルタと、図１５の画素S1、画素S2、画素S3、および画素S4の分光特性とから実現される、XYZのそれぞれの分光特性を示す図である。
【図１７】信号処理部の構成のさらに他の例を示すブロック図である。
【図１８】クラスタップの配置の例を示す図である。
【図１９】クラス分類部の構成の例を示すブロック図である。
【図２０】予測タップの配置の例を示す図である。
【図２１】信号処理部によるクラス分類適応処理である信号処理の例を説明するフローチャートである。
【図２２】信号処理部の構成のさらに他の例を示すブロック図である。
【図２３】信号処理部によるクラス分類適応処理である信号処理の他の例を説明するフフローチャートである。
【図２４】教師画像および生徒画像を撮像する撮像装置を示す図である。
【図２５】予測係数を生成する画像処理装置の構成の例を示すブロック図である。
【図２６】予測係数を生成する処理を説明するフローチャートである。
【図２７】パーソナルコンピュータの構成の例を示すブロック図である。
【符号の説明】
【０２６８】
１１  センサ部，  １３  信号処理部，  ３２  カラーフィルタ，  ７１  ホワイトバランス調整部，  ７２  生成画素位相判定部，  ７３  RGB抽出部，  ７４  加重平均部，  ９１  ホワイトバランス調整部，  １０１  クラスタップ構築部，  １０２  クラス分類部，  １０３  係数蓄積部，  １０４  予測タップ構築部，  １０５  積和演算部，  １２１  DR演算部，  １２２  DR最大値検出部，  １２３  ADRCコード計算部，  ２０１  白黒カメラ，  ２０２  フィルタホイール，  ２２１  単板データ化部，  ２２２  画素値抽出部，  ２２３  足し込み行列生成部，  ２２４  係数生成部，  ３０１  CPU，  ３０２  ROM，  ３０３  RAM，  ３０８  記憶部，  ３１１  リムーバブルメディア
【図１】
2007306477.tif 000011
【図２】
2007306477.tif 000012
【図３】
2007306477.tif 000013
【図４】
2007306477.tif 000014
【図５】
2007306477.tif 000015
【図６】
2007306477.tif 000016
【図７】
2007306477.tif 000017
【図８】
2007306477.tif 000018
【図９】
2007306477.tif 000019
【図１０】
2007306477.tif 000020
【図１１】
2007306477.tif 000021
【図１２】
2007306477.tif 000022
【図１３】
2007306477.tif 000023
【図１４】
2007306477.tif 000024
【図１５】
2007306477.tif 000025
【図１６】
2007306477.tif 000026
【図１７】
2007306477.tif 000027
【図１８】
2007306477.tif 000028
【図１９】
2007306477.tif 000029
【図２０】
2007306477.tif 000030
【図２１】
2007306477.tif 000031
【図２２】
2007306477.tif 000032
【図２３】
2007306477.tif 000033
【図２４】
2007306477.tif 000034
【図２５】
2007306477.tif 000035
【図２６】
2007306477.tif 000036
【図２７】
2007306477.tif 000037