(57)【要約】【課題】様々なカラーフィルタに対応して画質を高めることができる撮像装置及びその方法を提供する。【解決手段】スペクトル強度関数は低い空間周波数に対応するスペクトル低周波強度関数と、高い空間周波数に対応するスペクトル高周波強度関数の和で構成されている。そして、前記スペクトル強度関数と撮像装置の撮像データ入力部２０１から得られた撮像データから定義されるモデル誤差を最小にするスペクトル強度関数のパラメータをスペクトル強度関数パラメータ推定部２０２によって推定して、ブロック内に入射する光のスペクトル毎の強度をスペクトル強度関数パラメータ推定部２０３で算出し、画像を生成する。【選択図】      図２
2010081176.tif 000002
【特許請求の範囲】
【請求項１】
カラーフィルタによって異なる分光感度を持つ複数の画素から構成される撮像素子上の任意のブロックに含まれる各画素について、前記各画素の前記撮像素子上での位置を示す画素位置、分光感度及び測定信号量を含む撮像データを入力する入力部と、
（１）前記ブロック内における、互いに異なるスペクトルを持つ光毎の強度を記述する複数のスペクトル強度関数のパラメータのそれぞれを、前記撮像データから推定するものであって、（２）前記スペクトル強度関数は、スペクトル低周波強度関数とスペクトル高周波強度関数の和で表され、（３）前記スペクトル高周波強度関数は、前記スペクトル低周波強度関数に比べて、前記カラーフィルタの配列のナイキスト周波数に基づいた高い空間周波数成分を多く含み、（４）前記スペクトル低周波強度関数のパラメータのそれぞれと前記スペクトル高周波強度関数のパラメータのそれぞれとを、前記撮像データから推定するパラメータ推定部と、
前記複数のスペクトル強度関数と前記推定したパラメータとから、前記ブロック内の位置のそれぞれの前記光毎の強度を推定する強度推定部と、
を備えた撮像装置。
【請求項２】
前記スペクトル高周波強度関数が、前記異なるスペクトルに対応する複数の前記スペクトル強度関数の間で共通である、請求項１記載の撮像装置。
【請求項３】
前記スペクトル低周波強度関数が、前記異なるスペクトルに対応する複数の前記スペクトル強度関数の間でそれぞれ異なる、請求項１記載の撮像装置。
【請求項４】
前記スペクトル強度関数は、前記ブロック内の前記位置の関数である複数の基底関数のそれぞれを、実数である前記パラメータで重み付けして加算した関数である、請求項１記載の撮像装置。
【請求項５】
前記スペクトル低周波強度関数と前記スペクトル高周波強度関数をなす前記基底関数が三角関数である、請求項４記載の撮像装置。
【請求項６】
前記スペクトル低周波強度関数と前記スペクトル高周波強度関数をなす前記基底関数は多項式であり、前記スペクトル低周波数強度関数の各項は次数の低い多項式から成り、前記スペクトル高周波強度関数の各項は、前記スペクトル低周波強度関数より高い次数の多項式からなる、請求項４記載の撮像装置。
【請求項７】
前記パラメータ推定部は、
前記複数のスペクトル強度関数を記憶する第１記憶部と、
前記撮像素子の各画素において、前記各スペクトル強度関数にそれぞれ対応付けられた前記スペクトルと、前記画素が持つ前記分光感度が類似しているほど大きくなる実数である分光重みを記憶する第２記憶部と、
前記分光重みを用いた前記スペクトル強度関数の重み付け和であるモデル信号量を求め、
前記モデル信号量と、前記各画素の前記測定信号量の差の絶対値が小さくなるほど小さくなるモデル誤差が、最小となるように前記パラメータを求める演算部と、
を備える請求項１記載の撮像装置。
【請求項８】
前記パラメータ推定部は、
前記複数のスペクトル強度関数を記憶する第１記憶部と、
前記撮像素子の各画素において、前記各スペクトル強度関数にそれぞれ対応付けられた前記スペクトルと、前記画素が持つ前記分光感度が類似しているほど大きくなる実数である分光重みを記憶する第２記憶部と、
前記分光重みを用いた前記スペクトル強度関数の重み付け和であるモデル信号量を求め、
前記各画素の前記測定信号量と、前記モデル信号量の差の二乗の和が小さくなるほど小さくなるモデル誤差が、最小となるように前記パラメータを求める演算部と、
を備える請求項１記載の撮像装置。
【請求項９】
前記パラメータ推定部は、
前記複数のスペクトル強度関数を記憶する第１記憶部と、
前記撮像素子の各画素において、前記各スペクトル強度関数にそれぞれ対応付けられた前記スペクトルと、前記画素が持つ前記分光感度が類似しているほど大きくなる実数である分光重みを記憶する第２記憶部と、
前記分光重みを用いた前記スペクトル強度関数の重み付け和であるモデル信号量を求め、
前記各画素の前記測定信号量と前記モデル信号量の差の二乗の値に、正の実数である重みを乗じて加算した値が小さくなるほど小さくなるモデル誤差が、最小となるように前記パラメータを求める演算部と、
を備える請求項１記載の撮像装置。
【請求項１０】
前記第１記憶部が記憶している２つ以上、または、全ての前記スペクトル強度関数について、同一の基底関数に対応するパラメータが同一である、
請求項６乃至９のいずれか一項に記載の撮像装置。
【請求項１１】
前記スペクトル高周波強度関数で表される空間周波数は、前記スペクトル低周波強度関数で表される空間周波数より高い周波数成分のみを有する、
請求項１記載の撮像装置。
【請求項１２】
前記スペクトル高周波強度関数で表される空間周波数は、前記カラーフィルタの配列の中で、最も配置間隔が広い画素のナイキスト周波数以上の空間周波数を有し、
前記スペクトル低周波強度関数で表される空間周波数は、前記スペクトル高周波強度関数で表される空間周波数より低い周波数成分を有する、
請求項１記載の撮像装置。
【請求項１３】
カラーフィルタによって異なる分光感度を持つ複数の画素から構成される撮像素子上の任意のブロックに含まれる各画素について、前記各画素の前記撮像素子上での位置を示す画素位置、分光感度及び測定信号量を含む撮像データを入力する入力ステップと、
（１）前記ブロック内における、互いに異なるスペクトルを持つ光毎の強度を記述する複数のスペクトル強度関数のパラメータのそれぞれを、前記撮像データから推定するものであって、（２）前記スペクトル強度関数は、スペクトル低周波強度関数とスペクトル高周波強度関数の和で表され、（３）前記スペクトル高周波強度関数は、前記スペクトル低周波強度関数に比べて、前記カラーフィルタの配列のナイキスト周波数に基づいた高い空間周波数成分を多く含み、（４）前記スペクトル低周波強度関数のパラメータのそれぞれと前記スペクトル高周波強度関数のパラメータのそれぞれとを、前記撮像データから推定するパラメータ推定ステップと、
前記複数のスペクトル強度関数と前記推定したパラメータとから、前記ブロック内の位置のそれぞれの前記光毎の強度を推定する強度推定ステップと、
を備えた撮像方法。
【請求項１４】
カラーフィルタによって異なる分光感度を持つ複数の画素から構成される撮像素子上の任意のブロックに含まれる各画素について、前記各画素の前記撮像素子上での位置を示す画素位置、分光感度及び測定信号量を含む撮像データを入力する入力機能と、
（１）前記ブロック内における、互いに異なるスペクトルを持つ光毎の強度を記述する複数のスペクトル強度関数のパラメータのそれぞれを、前記撮像データから推定するものであって、（２）前記スペクトル強度関数は、スペクトル低周波強度関数とスペクトル高周波強度関数の和で表され、（３）前記スペクトル高周波強度関数は、前記スペクトル低周波強度関数に比べて、前記カラーフィルタの配列のナイキスト周波数に基づいた高い空間周波数成分を多く含み、（４）前記スペクトル低周波強度関数のパラメータのそれぞれと前記スペクトル高周波強度関数のパラメータのそれぞれとを、前記撮像データから推定するパラメータ推定機能と、
前記複数のスペクトル強度関数と前記推定したパラメータとから、前記ブロック内の位置のそれぞれの前記光毎の強度を推定する強度推定機能と、
をコンピュータによって実現させるための撮像プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその方法に関する。
【背景技術】
【０００２】
小型カメラの実現のために、撮像素子に数種類の分光透過スペクトルを持つカラーフィルタを並べたカラーフィルタ配列を装着した単板撮像素子によって得た撮像データから、カラー画像を得るというニーズがある。
【０００３】
カラーフィルタには主に、Ｒ，Ｇ，ＢのカラーフィルタからなるＢａｙｅｒ配列が用いられている。単板撮像素子の撮像データからカラー画像を得るためにはデモザイキングという処理が必要であるが、単純な方法では偽色が発生する。
【０００４】
ＡＣＰＩ法（例えば、特許文献１参照）は、画像上の各点においてＲＧＢ信号の強度に相関を持たせて偽色を防いでいる。しかし、本来ＲＧＢ信号が相関を持たない場所に適用した場合に鋸歯状に見えるノイズであるＺｉｐｐｅｒノイズ（例えば、非特許文献３参照）が発生する問題点がある。また、このＡＣＰＩ法はＢａｙｅｒ配列にしか適用できない。
【０００５】
非特許文献１，２の方法はともに高周波信号のみ相関を持たせているのでＺｉｐｐｅｒノイズが軽減すると考えられる。しかし、Ｂａｙｅｒ配列に対する処理しか開示されていない。また、特許文献１の方法のようにエッジに応じて処理を変えることに対応できず、充分な画質が得られない可能性がある。
【特許文献１】特許第３５１００３７号公報
【非特許文献１】J. H. Glotzbach, et. al., 「A method of color filter array interpolation with alias cancellation properties,」 in Proc. IEEE Int. Conf. Image Processing, vol. 1, 2002, pp.141-144.
【非特許文献２】D. Alleysson, et. al., 「Color demosaicing by estimating luminance and opponent chromatic signal in the fourier domain,」 in Proc. Color Imaging Conf.: Color Science, Systems, Applications, 2002, pp.331-336
【非特許文献３】W. Lu and Y. P. Tan, 「Color Filter Array Demosaicking: New Method and Performance Measures,」 Trans. on IP, vol. 12, pp. 1194--1210, 2003.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように、従来技術では偽色の発生を抑えると色が変化する部分にＺｉｐｐｅｒノイズが発生するという問題点があった。
【０００７】
また、Ｚｉｐｐｅｒノイズを抑える方法は、エッジに応じた処理が出来ず画質を上げられない可能性があるという問題点があった。
【０００８】
そこで本発明は、上記問題点を解決するためになされたものであって、様々なカラーフィルタに対応して画質を高めることができる撮像装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、カラーフィルタによって異なる分光感度を持つ複数の画素から構成される撮像素子上の任意のブロックに含まれる各画素について、前記各画素の前記撮像素子上での位置を示す画素位置、分光感度及び測定信号量を含む撮像データを入力する入力部と、（１）前記ブロック内における、互いに異なるスペクトルを持つ光毎の強度を記述する複数のスペクトル強度関数のパラメータのそれぞれを、前記撮像データから推定するものであって、（２）前記スペクトル強度関数は、スペクトル低周波強度関数とスペクトル高周波強度関数の和で表され、（３）前記スペクトル高周波強度関数は、前記スペクトル低周波強度関数に比べて、前記カラーフィルタの配列のナイキスト周波数に基づいた高い空間周波数成分を多く含み、（４）前記スペクトル低周波強度関数のパラメータのそれぞれと前記スペクトル高周波強度関数のパラメータのそれぞれとを、前記撮像データから推定するパラメータ推定部と、前記複数のスペクトル強度関数と前記推定したパラメータとから、前記ブロック内の位置のそれぞれの前記光毎の強度を推定する強度推定部と、を備えた撮像装置である。
【発明の効果】
【００１０】
本発明によれば、様々なカラーフィルタに対応して画質を高めることができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の一実施形態の撮像装置について図１〜図４に基づいて説明する。
【００１２】
（１）撮像装置の概要
本実施形態の撮像装置では、撮像素子上の任意の大きさのブロック毎に処理を行う。また、ブロックをずらしながら処理を行うことで撮像素子上の全点に入射した光の強度を推定する。
【００１３】
以後の説明は、Ｂａｙｅｒ配列を用い図１に示すような７×７画素のブロックを例に行う。図１のブロック内の画素１００〜１４８にはＲＧＢいずれかのカラーフィルタが付与されているものとする。なお、図１では色が表現できないため、赤色（Ｒ）はドットで表現し、緑色（Ｇ）は左上がりのハッチで表現し、青色（Ｂ）は右上がりのハッチで表現している。
【００１４】
また、図１に示すように、ブロック中心の画素１２４の中心を原点とするｘ，ｙの２次元座標系を定義し、画素の間隔を１とする。すなわち、画素１２４の座標はｐ１２４＝（ｘ１２４，ｙ１２４）＝（０，０）となり、その左隣の座標はｐ１２５＝（ｘ１２５，ｙ１２５）＝（０，１）と表記する。
【００１５】
また、画素１２４から得られた測定信号量はｓ１２４というように、画素の番号に対応した添字をつけて表記する。つまり４９の測定信号量ｓ１００〜ｓ１４８を用い、ブロック中心ｐ１２４におけるＲＧＢ信号を推定する。
【００１６】
次に、以下の実施形態の説明に必要となる「スペクトル強度関数」「モデル誤差Ｅ」について説明する。
【００１７】
（２）スペクトル強度関数
まず、スペクトル強度関数について述べる。
【００１８】
本実施形態の撮像装置では、ブロック内に入射した光の強度をｘ，ｙの関数であるスペクトル強度関数で記述する。スペクトル強度関数は予め定められたスペクトル毎に個別に定義される。以後の説明は、Ｂａｙｅｒのカラーフィルタの分光透過スペクトルと同じＲＧＢの３色のスペクトルに対応するスペクトル強度関数ｆＲ（ｘ，ｙ），ｆＧ（ｘ，ｙ），ｆＢ（ｘ，ｙ）を用いる場合を例に説明する。
【００１９】
撮像データからスペクトル強度関数を正しく推定できれば、ブロック中心のＲＧＢ信号はｆＲ（０，０），ｆＧ（０，０），ｆＢ（０，０）として算出することができる。
【００２０】
本実施形態ではスペクトル強度関数を有限個の基底関数及び各基底関数に付与される実数であるスペクトル強度関数パラメータからなる形で定義する。以後は基底関数を三角関数とした下記の式（１）の場合を例に説明する。
【数１】
2010081176.tif 000003
【００２１】
なお、基底関数のパラメータａＲｉ，ｂＲｉ，ａＧｉ，ｂＧｉ，ａＢｉ，ｂＢｉ，は全てデモザイキング処理の前にユーザーによって決定され撮像装置に記憶される実数である。これらの決定方法については後述する。
【００２２】
また、スペクトル強度関数パラメータαＲｉ，βＲｉ，αＧｉ，βＧｉ，αＢｉ，βＢｉ，は、全て実数であり撮像データから推定する。
【００２３】
なお、スペクトル強度関数のパラメータの総数は、ブロック内の画素数以下であることが必要である。例えば、図１のブロックで処理を行う場合は、スペクトル強度関数のパラメータの個数は４９個以下でなくてはならない。
【００２４】
（３）モデル誤差Ｅ
次に、モデル誤差Ｅについて説明する。
【００２５】
（３−１）第１の説明
本実施形態ではモデル誤差Ｅを下記の式（２）のように定義する。
【数２】
2010081176.tif 000004
【００２６】
なお、式（２）に登場するｆ（ｘｉ，ｙｉ）をモデル信号量と呼び、下記の式（３）によって定義される。
【数３】
2010081176.tif 000005
【００２７】
但し、分光重みｗｉＲはユーザーが決める実数であり、画素ｉに付与されたカラーフィルタの分光感度とスペクトル強度関数ｆＲに対応付けられたスペクトルが近いほど大きくする。他の分光重みｗｉＧ，ｗｉＢについても、同様の方法で決定する。例えば、画素ｉがＲであるときにのみ１とし、他の場合は０とすることができる。この場合は分光重みｗ１２４Ｒ＝１，ｗ１２４Ｇ＝０，ｗ１２４Ｂ＝０であり、ｗ１２５Ｒ＝０，ｗ１２５Ｇ＝１，ｗ１２５Ｂ＝０であり、ｗ１１８Ｒ＝０，ｗ１１８Ｇ＝０，ｗ１１８Ｂ＝１となる。
【００２８】
ブロック内に入射した光の分布とスペクトル強度関数が類似していれば、モデル信号量ｆ（ｘｉ，ｙｉ）と測定信号量ｓｉは近い値をとる。すなわち、モデル誤差Ｅが小さくなると考えられる。逆に、モデル誤差Ｅを最小にするスペクトル強度関数パラメータαＲｉ，βＲｉ，αＧｉ，βＧｉ，αＢｉ，βＢｉが得られれば、ブロック内の光の分布に近いスペクトル強度関数が得られると考えられる。
【００２９】
（３−２）第２の説明
なお、モデル誤差Ｅは正の数であり、｜ｓｉ−ｆ（ｘｉ，ｙｉ）｜と正の相関を持つものであれば式（２）の形である必要はないが、モデル誤差Ｅを最小にするスペクトル強度関数パラメータを求めるアルゴリズムが存在することが望ましい。例えば、スペクトル強度関数が式（１）の形を取る場合、画素から得られた測定信号量ｓｉを一列に並べた列ベクトルを測定信号量ｓｉとしスペクトル強度関数パラメータを並べた列ベクトルをｐとすると、式（２）は実数の行列Wを用いて下記の式（４）の形に変形できる。
【数４】
2010081176.tif 000006
【００３０】
式（４）の形のモデル信号量Ｅを最小にするパラメータｐ’を算出する方法は、最急降下法、共役勾配法など多数が提案されている。
【００３１】
また、パラメータｐ’は行列Wから算出される擬似逆行列Ｗ＋を用いて、下記の式（５）としても得られる。
【数５】
2010081176.tif 000007
【００３２】
式（５）は、画素から得られた測定信号量ｓｉを用いたフィルタリング演算でパラメータｐ’が算出可能であることを示しており、このフィルタ係数を事前に撮像装置内部に記憶しておくことで、反復解法である最急降下法や共役勾配法と比較して容易にパラメータｐ’を算出できる。
【００３３】
（３−３）第３の説明
また、式（２）では全ての画素を同等に扱っているが、下記の式（６）のように、正の実数である重みｗｉを用いて画素毎に重みをつけても良い。
【数６】
2010081176.tif 000008
【００３４】
例えば、図１のブロックのデータを用いて画素１２４のＧＢ信号を推定する場合、ブロック中心に近い画素の重みを大きくすることにより、解像度感が向上する。式（６）の形のエネルギーはｗｉの平方根を要素にもつ対角行列Ｋを用いると、下記の式（７）のように変形できる。
【数７】
2010081176.tif 000009
【００３５】
そして、式（７）は、式（４）のエネルギーと同様に最急降下法、共役勾配法で解ける。また、下記の式（８）のように
【数８】
2010081176.tif 000010
【００３６】
とすることで、フィルタリング演算でｐ’を算出することも可能である。
【００３７】
（３−４）第４の説明
他には、エッジに沿って並んだ画素に重みをつけると解像度感とＳ／Ｎを同時に高めることが可能である。
【００３８】
このような重みｗｉを算出するには、例えば、米国出願公開２００７／００４７８３８号公報に記載の「Ｓｔｅｅｒｉｎｇ  Ｋｅｒｎｅｌ」を用いることができる。以後では、Ｓｔｅｅｒｉｎｇ  Ｋｅｒｎｅｌの導出について述べる。
【００３９】
まず、同一のカラーフィルタを付与された３つの画素ｐｉ，ｐｊ，ｐｋの近傍の信号量を示す平面ｆｌ（ｘ，ｙ）を式（９）で表す。
【数９】
2010081176.tif 000011
【００４０】
すなわち、図４の平面４０１のｘ軸方向微分ｄｘｌとｙ軸方向微分ｄｙｌからなる２次元ベクトルである局所エッジをブロック内から取得する。ブロック内で同一のカラーフィルタを持つ３画素の組は多数定義できるため、局所エッジも複数求めることができる。
【００４１】
次に、この局所エッジの自己相関行列Ｃは下記の式（１０）のようになる。
【数１０】
2010081176.tif 000012
【００４２】
この自己相関行列Ｃを用いて下記の式（１１）に示す２次元ガウス分布Ｎ（ｘ，ｙ）を定義する。
【数１１】
2010081176.tif 000013
【００４３】
そして、２次元ガウス分布Ｎ（ｘ，ｙ）を用いて、ｗｉを式（１２）の様に定義する。
【数１２】
2010081176.tif 000014
【００４４】
２次元ガウス分布Ｎ（ｘ，ｙ）の等高線は、エッジの形に応じて図５のように変化する。
【００４５】
例えば、図５（ａ）に示すように、斜め４５度のエッジが入力されたときは楕円５０１のように長軸の向きが斜め４５度の楕円が得られる。
【００４６】
また、図５（ｂ）に示すように、水平のエッジが入力されたときは楕円５０２のように長軸の向きが水平の楕円が得られる。
【００４７】
さらに、図５（ｃ）に示すように、コーナーやテクスチャのように線状でないエッジの場合は、楕円５０３のように直径の小さい円が得られる。
【００４８】
このようにして求めた対角行列Ｋを用いても、式（８）はそのまま用いることができる、すなわちフィルタリング演算を用いてモデル誤差Ｅを最小にするスペクトル強度関数のパラメータｐ’を算出することが可能である。
【００４９】
但し、エッジの形状に応じて対角行列Ｋを変化させる場合はフィルタ係数が対角行列Ｋに応じて変化する。そのためフィルタリング演算でパラメータｐ’を算出する場合には、異なる対角行列Ｋに対応する複数のフィルタ係数を事前にメモリに蓄積する必要がある。
【００５０】
（４）撮像装置の構成
以下、本実施形態の撮像装置の構成について説明する。
【００５１】
図２は、本実施形態に係わる撮像装置を示すブロック図である。
【００５２】
撮像装置は、単板撮像素子から撮像データを取得する撮像データ入力部（以下、単に「入力部」という）２０１と、単板撮像素子上の各点に入射する光の強度を波長毎に記述するスペクトル強度関数パラメータ推定部（以下、単に「パラメータ推定部」という）２０２と、スペクトル強度関数のパラメータから各画素に入射した光の強度を推定するスペクトル強度推定部（以下、単に「強度推定部」という）２０３とを備える。
【００５３】
なお、この撮像装置は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、入力部２０１、パラメータ推定部２０２、及び、強度推定部２０３は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、本実施形態の撮像装置は、上記のプログラムをコンピュータ装置に予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。
【００５４】
（５）基底関数
パラメータ推定部２０２には、基底関数とモデル誤差Ｅを予め記憶させておく必要がある。基底関数は式（１）の形を保つべく、図１のブロックサイズと同じ７×７の画像をフーリエ級数展開するために用いる基底の中から、画質を見つつ取捨選択して生成する。
【００５５】
本実施形態ではスペクトル強度関数ｆＲ（ｘ，ｙ）、ｆＧ（ｘ，ｙ）、ｆＢ（ｘ，ｙ）を式（１３）のように定義してパラメータ推定部２０２の第１記憶部２０４に記憶させておく。
【数１３】
2010081176.tif 000015
【００５６】
そして、ＦＲ（ｘ，ｙ）、ＦＧ（ｘ，ｙ）、ＦＢ（ｘ，ｙ）をスペクトル低周波強度関数と呼び、下記の式（１４）のように定義する。
【数１４】
2010081176.tif 000016
【００５７】
また、Ｆ（ｘ，ｙ）をスペクトル高周波強度関数と呼び、下記の式（１５）のように定義する。
【数１５】
2010081176.tif 000017
【００５８】
式（１３）のスペクトル強度関数の独立なパラメータの個数は２３個であり、図１のブロックに含まれる画素の数４９個より少ない。
【００５９】
このスペクトル強度関数は、低周波数成分に相当するスペクト低周波強度関数ＦＲ（ｘ，ｙ），ＦＧ（ｘ，ｙ），ＦＢ（ｘ，ｙ）と、高周波数成分に相当するスペクトル高周波強度関数Ｆ（ｘ，ｙ）に分かれており、またスペクトル高周波強度関数のみがＲＧＢで共通化されている。スペクトル高周波強度関数を共通とすることで、ＲＧＢ信号の相関を利用し偽色を抑圧することができる。また、スペクトル低周波強度関数を別にすることで、ＲＧＢ信号の相関が無い場合に対処できる。
【００６０】
そして、高空間周波数と低空間周波数を分ける境界の空間周波数は、カラーフィルタ配列のナイキスト周波数を基準にするものである。例えば、カラーフィルタ配列のうち、最も配置間隔が広い、すなわち、最も疎なもののナイキスト周波数と、最も配置間隔が狭い、すなわち、最も密なもののナイキスト周波数との間に前記境界の空間周波数をユーザーが定める。
【００６１】
また、スペクトル高周波強度関数Ｆ（ｘ，ｙ）を構成する三角関数の空間周波数（以下、「高空間周波数」という）とスペクトル低周波強度関数ＦＲ（ｘ，ｙ），ＦＧ（ｘ，ｙ），ＦＢ（ｘ，ｙ）を構成する三角関数の空間周波数（以下、「低空間周波数」という）は、ユーザーが画質をみて判断する。
【００６２】
例えば、次のように行う。まず、高空間周波数として最も疎なもののナイキスト周波数と、最も配
置間隔が狭い、すなわち、最も密なもののナイキスト周波数との間の空間周波数から１つ以上の周波数を選択する。次に低空間周波数を高空間周波数より低い空間周波数のなかから１つ以上選択する。
【００６３】
さらに説明すると、図１に示すカラーフィルタ配列のうち、最も配置間隔が広く、すなわち、最も疎なもののナイキスト周波数以上を、高空間周波数とする。言い換えると、スペクトル高周波強度関数は、撮像素子内における密度が最も低いカラーフィルタを付与された画素の配置間隔に着目して、その配置間隔の２倍以上の波長に対応する空間周波数以上の周波数からなる。一方、スペクトル低周波強度関数は、高空間周波数より低い周波数成分を持つ。
【００６４】
これによりエッジに沿った高周波の形で発生するＺｉｐｐｅｒノイズを軽減することが出来る。
【００６５】
（６）モデル誤差Ｅ
本実施形態では、式（６）のモデル誤差Ｅを利用し、各画素に付与する分光重みｗｉは（３−４）第４の説明の通りに決定して、パラメータ推定部２０２の第２記憶部２０５に記憶させておく。
【００６６】
また、式（２）のモデル誤差Ｅを利用することも可能であるが、ｆＲ（ｘ，ｙ），ｆＧ（ｘ，ｙ），ｆＢ（ｘ，ｙ）には高周波成分が無いため、出力画像にボケが発生する可能性がある。しかし、式（６）のモデル誤差を利用し、エッジの方向と強度に応じた処理を行うことで、出力画像のボケを低減できる。
【００６７】
（７）撮像装置の動作
次に、図２及び図３を用いて、本実施形態に係わる撮像装置の動作について説明する。なお、図３は、撮像装置の動作を示すフローチャートである。
【００６８】
まず、入力部２０１は、ブロック内の各画素が持つ分光感度と各画素において得られた測定信号量からなる撮像データを取得する（ステップ１）。
【００６９】
次に、パラメータ推定部２０２は、ブロック内の画素に位置やエッジに応じた正の実数である分光重みｗｉをつける（ステップ２）。
【００７０】
その後、式（６）のモデル誤差Ｅを最小にするスペクトル強度関数のパラメータを算出する（ステップ３）。
【００７１】
最後に、強度推定部２０３は、パラメータ推定部２０２から得られたスペクトル強度関数のパラメータを用いて、ブロック中心（ｘ，ｙ）＝（０，０）における光の強度を算出する（ステップ４）。既にこれまでの処理でスペクトル強度関数が得られているので、スペクトル強度関数にｘ＝０，ｙ＝０を代入することでブロック中心の光の強度を算出することができる。
【００７２】
（８）効果
このように本実施形態によれば、ブロック内の光の強度のモデルであるスペクトル強度関数のパラメータを測定信号量から推定することで、ブロック内の異なるスペクトルを持つ光の強度を個別に推定することが可能になる。
【００７３】
（変更例）
本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【００７４】
例えば、本発明の実施形態は以下に述べる要素を変更して実施することも可能である。
【００７５】
（１）変更例１
ブロックの形状は必ずしも図１に示すような７×７の正方形のブロックである必要はない。但し、以下の２条件を満たすことが望ましい。
【００７６】
第１の条件は、スペクトル強度関数の定義の項で述べたが、ブロックに含まれる画素の数がスペクトル強度関数の独立なパラメータの数より多いことが望ましい。
【００７７】
第２の条件は、各色の画素の数は低周波成分が持つ独立なパラメータの数より多いことが望ましい。例えば、式（１４）ではＦＲ（ｘ，ｙ），ＦＧ（ｘ，ｙ），ＦＢ（ｘ，ｙ）がそれぞれ独立な５つのパラメータを持っているため、ブロック内のＲＧＢの各画素の数も５つ以上であることが望ましい。図１のブロックは、最も少ないＲの画素でもブロック内に９個存在しており、この条件を満たしている。
【００７８】
上記の２条件を満たしている限り、ブロックの形状は正方形ではなく例えば８角形、ひし形、円形など、任意の形を選ぶことが出来る。但し、ブロック中心に対し点対称の形が望ましい。
【００７９】
（２）変更例２
スペクトル強度関数は式（１４）、式（１５）の形である必要はない。
【００８０】
まず、基底関数の個数は必要に応じて増減させても良い。
【００８１】
また、最終的にＦＲ（ｘ，ｙ），ＦＧ（ｘ，ｙ），ＦＢ（ｘ，ｙ），Ｆ（ｘ，ｙ）に持たせる空間周波数は画質を見て調整してもよい。但し、スペクトル高周波強度関数に高周波成分を含めるとＺｉｐｐｅｒノイズが発生する可能性が高まり、スペクトル低周波強度関数に高周波成分を含めると偽色が発生する可能性が高まる。
【００８２】
（３）変更例３
スペクトル強度関数の元となる基底関数は、必ずしも式（１）の形である必要はない。例えば、多項式を用いて、スペクトル低周波強度関数を下記の式（１６）のように定義する。
【数１６】
2010081176.tif 000018
【００８３】
また、スペクトル高周波強度関数を下記の式（１７）のように定義する。
【数１７】
2010081176.tif 000019
【００８４】
４つの関数ＦＲ，ＦＧ，ＦＢ，Ｆにどの次数の多項式を割り当てるかはユーザーが指定する。すなわち、スペクトル低周波強度関数は定数項と次数の低い多項式から構成し、スペクトル高周波強度関数の各項はスペクトル低周波強度関数より高い次数の多項式から構成する。
【００８５】
なお、スペクトル低周波強度関数とスペクトル高周波強度関数は、有限個の基底関数を実数で重み付けして加算する形で実現される。例えば、式（１４）、式（１５）では基底関数として三角関数が使われており、式（１６）、式（１７）では基底関数として多項式が使われている。基底関数としては他の関数を用いることも可能であるが、ウェーブレットの基底など高周波を表現するものと低周波を表現するものを分けられることが望ましい。
【００８６】
また、スペクトル低周波強度関数で表される低空間周波数とスペクトル高周波強度関数で表される高空間周波数とは、式（１４）と式（１５）のようにそれぞれ低空間周波数成分のみと高空間周波数成分のみを含むものである必要がない。すなわち、上記のような式（１６）と式（１７）の多項式で表現した場合には、低空間周波数であっても高い空間周波数成分が含まれていても、低い空間周波数の成分の比率が高い空間周波数成分より高ければよい。なお、高空間周波数成分も同様に低い空間周波数の成分が少し含まれていても良い。
【００８７】
（４）変更例４
カラーフィルタ配列は、必ずしもＢａｙｅｒ配列である必要はない。
【００８８】
例えば、特開２００６−２１１６３１公報記載のカラーフィルタのように画素が正方配列でないものを用いても、式（１）〜式（１３）は変化しないため、そのまま実施することが可能である。
【００８９】
但し、Ｚｉｐｐｅｒノイズとなりやすい空間周波数は画素の配置間隔によるため、スペクトル強度関数が持つ空間周波数は、カラーフィルタ毎に画質を見て調整する必要がある。
【００９０】
（５）変更例５
本実施形態は、分光重みを変更することで、ＲＧＢ以外のカラーフィルタにも適用が可能である。
【００９１】
例えば、黄色（Ｙｅ）は赤（Ｒ）と緑（Ｇ）を混ぜたものであるため、Ｙｅのカラーフィルタが付与された画素ｐｉにおいては、分光重みをｗｉＲ，＝１， ｗｉＧ，＝１，ｗｉＢ，＝０とすればよい。
【００９２】
同様に、シアン（Ｃｙ）では、ｗｉＲ，＝０，ｗｉＧ，＝１，ｗｉＢ，＝１、マゼンタ（Ｍｇ）ではｗｉＲ，＝１，ｗｉＧ，＝０，ｗｉＢ，＝１、白もしくはカラーフィルタなし（Ｗ）ではｗｉＲ，＝１，ｗｉＧ，＝１，ｗｉＢ，＝１とすればよい。
【００９３】
（６）変更例６
スペクトル強度関数はＲＧＢの３つに限定する必要は無い。
【００９４】
例えば、マルチスペクトル撮像に対応するため、スペクトル強度関数を４つ以上に増やし、各スペクトル強度関数に異なる光の波長を関連付けことも可能である。
【００９５】
その場合の分光重みは、スペクトル強度関数に対応付けられた波長における、当該カラーフィルタの透過率が高いほど分光重みを大きくすれば良い。
【図面の簡単な説明】
【００９６】
【図１】本発明の一実施形態の処理単位であるブロックを示す図である。
【図２】本実施形態に係わる撮像装置の構成を示すブロック図である。
【図３】本実施形態の動作を示すフローチャートである。
【図４】平面４０４の説明図である。
【図５】エッジの形に応じて変化した２次元ガウス分布の等高線の説明図である。
【符号の説明】
【００９７】
２０１    撮像データ入力部
２０２    スペクトル強度関数パラメータ推定部
２０３    スペクトル強度推定部
【図１】
2010081176.tif 000020
【図２】
2010081176.tif 000021
【図３】
2010081176.tif 000022
【図４】
2010081176.tif 000023
【図５】
2010081176.tif 000024