(57)【要約】【課題】彩度の高い領域であっても、偽色の影響を排除して解像度感を向上する。【解決手段】複数の分光感度のうちの何れか一の分光感度を有する画素を有する撮像素子のブロックにより撮像された、前記画素毎に該画素が有する分光感度毎に対応する互いに異なるスペクトルを有する光の強度の情報を有する、撮像データにおける、前記光毎の強度を近似するスペクトル強度関数のパラメタを、該撮像データから推定するパラメタ推定部と、前記パラメタに対し、前記画素の間の光の強度の変化を強調する補正を行うパラメタ補正部と、前記パラメタ補正部によりパラメタを補正された前記スペクトル強度関数により、前記画素毎に、前記分光感度毎に対応する光の強度を推定するスペクトル強度推定部と、を有することを特徴とする画像処理装置。【選択図】図３
2010193093.tif 000002
【特許請求の範囲】
【請求項１】
複数の分光感度のうちの何れか一の分光感度を有する画素を有する撮像素子のブロックにより撮像された、前記画素毎に該画素が有する分光感度毎に対応する互いに異なるスペクトルを有する光の強度の情報を有する、撮像データにおける、前記光毎の強度を近似するスペクトル強度関数のパラメタを、該撮像データから推定するパラメタ推定部と、
前記パラメタに対し、前記画素の間の光の強度の変化を強調する補正を行うパラメタ補正部と、
前記パラメタ補正部によりパラメタを補正された前記スペクトル強度関数により、前記画素毎に、前記分光感度毎に対応する光の強度を推定するスペクトル強度推定部と、
を有することを特徴とする画像処理装置。
【請求項２】
複数の前記スペクトル強度関数のうちの何れか２以上のスペクトル強度関数の導関数は同一であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記スペクトル強度関数は多項式であり、
前記パラメタ補正部は、前記パラメタのうち、重み付けされた所定の次数の係数を定数項に加算する補正をすることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記パラメタ補正部は、前記所定の次数の係数の値が所定の値以下の場合に、前記定数項に加算する補正を行わないことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記スペクトル強度関数のパラメタは、前記ブロックが有する画素の数以下であることを特徴とする請求項１記載の画像処理装置。
【請求項６】
複数の分光感度のうちの何れか一の分光感度を有する画素を有する撮像素子と、
前記撮像素子が有する複数の画素のブロックにより撮像された、前記画素毎に該画素が有する分光感度毎に対応する互いに異なるスペクトルを有する光の強度の情報を有する、撮像データにおける、前記光毎の強度を近似するスペクトル強度関数のパラメタを、該撮像データから推定するパラメタ推定部と、
前記パラメタに対し、前記画素の間の光の強度の変化を強調する補正を行うパラメタ補正部と、
前記パラメタ補正部によりパラメタを補正された前記スペクトル強度関数により、前記画素毎に、前記分光感度毎に対応する光の強度を推定するスペクトル強度推定部と、
前記スペクトル強度推定部により推定された光の強度を前記画素毎に記録する記録部と、
を有することを特徴とする撮像装置。
【請求項７】
複数の分光感度のうちの何れか一の分光感度を有する画素を有する撮像素子のブロックにより撮像された、前記画素毎に該画素が有する分光感度毎に対応する互いに異なるスペクトルを有する光の強度の情報を有する、撮像データにおける、前記光毎の強度を近似するスペクトル強度関数のパラメタを、該撮像データから推定するパラメタ推定ステップと、
前記パラメタに対し、前記画素の間の光の強度の変化を強調する補正を行うパラメタ補正ステップと、
前記パラメタ補正ステップにおいてパラメタを補正された前記スペクトル強度関数により、前記画素毎に、前記分光感度毎に対応する光の強度を推定するスペクトル強度推定ステップと、
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、及び、画像処理方法に関する。
【背景技術】
【０００２】
撮像素子等から入力される画像データに対し、ボケ補正や輪郭強調等の画像処理を行う技術がある。例えば、単板の撮像素子から入力される画像データに対して、デモザイキングによりＲＧＢ信号を生成する際には、偽色が発生することがある。そこで、デモザイキングの後に、彩度に応じて輪郭強調を行うことにより、彩度の低い輪郭部分における偽色の発生を抑える撮像装置が開示されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−６７８０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１に開示の撮像装置等の発明では、彩度の高い領域の輪郭を強調することは考慮されていないため、彩度の高い領域における解像度感を向上させることができないという課題があった。
【０００５】
本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、彩度の高い領域であっても、偽色の影響を排除して解像度感を向上する画像処理装置、撮像装置、及び、画像処理方法を提供することを目的としている。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明は、複数の分光感度のうちの何れか一の分光感度を有する画素を有する撮像素子のブロックにより撮像された、前記画素毎に該画素が有する分光感度毎に対応する互いに異なるスペクトルを有する光の強度の情報を有する、撮像データにおける、前記光毎の強度を近似するスペクトル強度関数のパラメタを、該撮像データから推定するパラメタ推定部と、前記パラメタに対し、前記画素の間の光の強度の変化を強調する補正を行うパラメタ補正部と、前記パラメタ補正部によりパラメタを補正された前記スペクトル強度関数により、前記画素毎に、前記分光感度毎に対応する光の強度を推定するスペクトル強度推定部と、を有することを特徴とする画像処理装置を提供する。
【０００７】
また、本発明は、複数の分光感度のうちの何れか一の分光感度を有する画素を有する撮像素子と、前記撮像素子が有する複数の画素のブロックにより撮像された、前記画素毎に該画素が有する分光感度毎に対応する互いに異なるスペクトルを有する光の強度の情報を有する、撮像データにおける、前記光毎の強度を近似するスペクトル強度関数のパラメタを、該撮像データから推定するパラメタ推定部と、前記パラメタに対し、前記画素の間の光の強度の変化を強調する補正を行うパラメタ補正部と、前記パラメタ補正部によりパラメタを補正された前記スペクトル強度関数により、前記画素毎に、前記分光感度毎に対応する光の強度を推定するスペクトル強度推定部と、前記スペクトル強度推定部により推定された光の強度を前記画素毎に記録する記録部と、を有することを特徴とする撮像装置を提供する。
【０００８】
上記課題を解決するために、本発明は、複数の分光感度のうちの何れか一の分光感度を有する画素を有する撮像素子のブロックにより撮像された、前記画素毎に該画素が有する分光感度毎に対応する互いに異なるスペクトルを有する光の強度の情報を有する、撮像データにおける、前記光毎の強度を近似するスペクトル強度関数のパラメタを、該撮像データから推定するパラメタ推定ステップと、前記パラメタに対し、前記画素の間の光の強度の変化を強調する補正を行うパラメタ補正ステップと、前記パラメタ補正ステップにおいてパラメタを補正された前記スペクトル強度関数により、前記画素毎に、前記分光感度毎に対応する光の強度を推定するスペクトル強度推定ステップと、を有することを特徴とする画像処理方法を提供する。
【発明の効果】
【０００９】
本発明によれば、彩度の高い領域であっても、偽色の影響を排除して解像度感を向上する画像処理装置、撮像装置、及び、画像処理方法を提供することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本実施形態に係る撮像装置が有する撮像素子の画素配列を説明する図である。
【図２】図２は、本実施形態に係るフィルタの例を示す図である。
【図３】図３は、本実施形態に係る撮像装置の構成を示すブロック図である。
【図４】図４は、本実施形態に係る撮像方法を説明するフロー図である。
【図５】図５は、本実施形態に係る撮像装置のハードウェア構成の例を示す図である。
【発明を実施するための形態】
【００１１】
以下、本実施の形態を図面に基づき説明する。
【００１２】
(本実施形態の撮像装置の概要)
本実施形態の撮像装置では、撮像素子上のブロック毎に処理を行う。またブロックをずらしながら処理を行うことで撮像素子上の全点に入射した光の強度を推定する。
【００１３】
図１は、本実施形態の撮像素子の画素配列を説明する図である。図１のブロック３０は、Ｂａｙｅｒ配列の撮像素子の７×７画素からなるブロックである。図１のブロック３０内の画素３００〜３４８にはＲＧＢいずれかのカラーフィルタが付与されている。これにより、画素毎に、Ｒ、Ｇ、Ｂの何れか一の光に対応する分光感度を有する構成となる。なお、分光感度とは、入力光の波長変化に対する感度変化である。本実施の形態では、撮像素子が有する各画素が、入力光に含まれる色成分のうちの何れか一以上の色成分に対する分光感度を有する。
【００１４】
図１では、Ｂを右下がりのストライプで、Ｒを格子のハッチングで、Ｇをドットのハッチングで表示している。ブロック中心の画素３２４の中心を原点とするｘ，ｙの２次元座標系を定義し、画素の間隔を１とする。例えば、画素３２４の座標はｐ３２４＝（ｘ３２４，ｙ３２４）＝（０，０）であり、その右隣の画素の座標はｐ３２５＝（ｘ３２５，ｙ３２５）＝（０，１）である。また、画素３２４から得られた信号に対して、画素の番号に対応した添字をつけて表記する。例えば、画素３２４は、ｓ３２４とする。
【００１５】
ブロック３０の構成により、ｓ３００〜ｓ３４８までの４９個の信号を用い、ブロック中心ｐ３２４におけるＲＧＢ信号を推定することができる。
【００１６】
次に「スペクトル強度関数」及び「モデル誤差Ｅ」について説明する。
【００１７】
(スペクトル強度関数)
まずスペクトル強度関数について述べる。本実施形態の撮像装置では、ブロック内に入射した光の強度をｘ，ｙの関数であるスペクトル強度関数で記述する。スペクトル強度関数はあらかじめ定められたスペクトル毎に個別に定義される。
以後の説明は、Ｂａｙｅｒのカラーフィルタの分光透過スペクトルとおなじＲＧＢの３色に対応するスペクトル強度関数ｆＲ（ｘ，ｙ），ｆＧ（ｘ，ｙ），ｆＢ（ｘ，ｙ）を用いる場合を例に説明する。撮像データからスペクトル強度関数を正しく推定できれば、ブロック中心のＲＧＢ信号はｆＲ（０，０），ｆＧ（０，０），ｆＢ（０，０）として算出することができる。
【００１８】
本実施形態ではスペクトル強度関数を、有限個の基底関数及び各基底関数に付与される実数であるスペクトル強度関数パラメタを含む形で定義する。また、基底関数を多項式とする例について説明する。多項式を基底関数に用いたスペクトル強度関数の例を式（１）に示す。
【数１】
2010193093.tif 000003
【００１９】
式（１）の３つのスペクトル強度関数は導関数がすべて同一である。すなわち、式（１）の３つのスペクトル関数は、次数毎の係数が同じであり、定数項が異なる。変数である位置xまたはyによって、fR(x,y), fG(x,y), fB(x,y)１次微分をした場合のそれぞれの偏導関数が同じ関数となる。つまり、定数項を除いた関数の形状が３つの原色成分の回帰関数で同じとなることを示す。局所的に見た場合色相が大きく変化することは少ないという画像の性質に合致している。また、式（１）のスペクトル強度関数のパラメタβ＝（βＲ，βＧ，βＢ，β１，β２，β３，β４，β５）ｔは、全て実数であり撮像データから推定する。
なお、スペクトル強度関数のパラメタの総数は、ブロック内の画素数以下でなければならない。例えば、図１のブロックで処理を行う場合は、スペクトル強度関数のパラメタの個数は４９個以下でなくてはならない。
【００２０】
（スペクトル強度関数のパラメタの意味）
スペクトル強度関数のパラメタのうち、定数項βＲ，βＧ，βＢはブロック中心における光の強度に相当する。またその他のパラメタβ１，β２，β３，β４，β５は、光の強度の画素位置による変化、すなわち画像におけるエッジに対応する。さらに輪郭強調や画像のぼかしも、スペクトル強度関数のパラメタの補正で表すことができる。
【００２１】
図２は、画像をぼかす又は輪郭強調するフィルタの例を示す図である。図２のフィルタｗは、フィルタ係数の総和は１に正規化されている。すなわち、次式（２）が成立する。
【数２】
2010193093.tif 000004
【００２２】
例えば画像のＲ信号にフィルタｗを畳み込むことは、スペクトル強度関数ｆＲ（ｘ，ｙ）を、次式（３）で示すｆ’Ｒ（ｘ，ｙ）に変える事に相当する。
【数３】
2010193093.tif 000005
【００２３】
フィルタｗのフィルタ係数を用いたフィルタリングを行った場合ｆＲ（ｘ，ｙ）のパラメタβとｆ’Ｒ（ｘ，ｙ）のパラメタ（βＲ，β１，β２，β３，β４，β５）ｔの関係は式（４）に示す行列を用いて、式（５）で表すことができる。
【数４】
2010193093.tif 000006
【数５】
2010193093.tif 000007
【００２４】
ここでｗｆ０＝０，ｗｆ１＝−０．２５とするとフィルタｗは輪郭強調フィルタとなる。これは式（４）において、ブロック中心の光の強度に相当するβＲをエッジに相当するβ３＋β５の減算で補正していることと等価である。すなわち、撮像データから推定されたスペクトル強度関数を補正すれば、輪郭強調ができる。Ｇ及びＢ信号に対しても同様の処理により輪郭強調ができる。
【００２５】
一般にデモザイキング後の画像には偽色が生じるため、デモザイキング後の画像からは精度のよいエッジが得られない。そのため、デモザイキング後の画像に輪郭強調を行うと画質が低下することがある。しかし、式（１）は色相の急激な変化は起こりにくいという画像の性質に合っているため、β３，β５は偽色の影響を受けにくい。そこで、式（４）を用いた輪郭強調により、画質を向上させることができる。
【００２６】
（モデル誤差Ｅ）
本実施形態ではモデル誤差Ｅを次式（６）とする。
【数６】
2010193093.tif 000008
【００２７】
また、式（７）をモデル信号量とよぶ。
【数７】
2010193093.tif 000009
【００２８】
分光重みｗｉＲは撮像素子の特性や撮像装置の用途等により定められる実数である。画素ｉに付与されたカラーフィルタの分光感度とスペクトル強度関数ｆＲに対応付けられたスペクトルが近いほど、ｗｉＲを大きくする。例えば、画素ｉがＲであるときに１とし、他の場合は０とすることができる。他の分光重みｗｉＧ，ｗｉＢについても同様の方法で決定する。図１では、ｗ３２４Ｒ＝１であり、ｗ３２５Ｒ＝０となる。
【００２９】
以後の説明はすべての画素において、ｗｉＲ，ｗｉＧ，ｗｉＢのうちいずれかひとつが１で残り２つが０となる場合を例に説明を行うが、分光重みｉＲを０又は１以外の値としてもよい。
【００３０】
（モデル誤差Ｅの意味）
ブロック内に入射した光の分布とスペクトル強度関数が類似していれば、モデル信号量ｆ（ｘｉ，ｙｉ）と測定信号量ｓｉは近い値をとり、モデル誤差Ｅが小さくなると考えられる。逆に、モデル誤差Ｅを最小にするスペクトル強度関数は、ブロック内の光の変化を精度よく表していると考えられる。
【００３１】
なお、モデル誤差Ｅは正の数であり、｜ｓｉ−ｆ（ｘｉ，ｙｉ）｜と正の相関を持つものであれば式（６）の形である必要はないが、Ｅを最小にするスペクトル強度関数パラメタを求めるアルゴリズムが存在することが望ましい。
【００３２】
（Ｅの最小化）
次にモデル誤差Ｅの最小化を行う方法について説明する。式（８）は、画素及びカラーフィルタの配置で決まるベクトルｗｉである。
【数８】
2010193093.tif 000010
【００３３】
また、式（９）は、ｗｉを並べて得られる行列Ｗである。
【数９】
2010193093.tif 000011
【００３４】
図１に示すブロック３０において、式（６）は、測定信号量を表すベクトルｓ＝（ｓ３００，ｓ３０１，・・・，ｓ３４８）tと、式（９）に示した行列Ｗを用いて、式（１０）となる。
【数１０】
2010193093.tif 000012
【００３５】
式（１０）の形のエネルギーを最小化するスペクトル強度関数のパラメタの算出には、最急降下法、共役勾配法などのアルゴリズムを利用するとよい。また、一般化逆行列を用いると、モデル誤差Eを最小とするスペクトル強度関数のパラメタβ＾は、式（１１）となる。なお、式中の「βにハット記号が付加された文字」を、本文中では「β＾」と表記する。
【数１１】
2010193093.tif 000013
【００３６】
β＾は、Ｗの一般化逆行列であるフィルタＷ＋を用いたフィルタリングで算出できる。
【００３７】
なお、最急降下法や共役勾配法のような反復解法は、計算コストが高いために小型のデバイスに搭載することが難しい。また、ブロックごとに一般化逆行列を求めることも計算コストが問題となる。しかし、単板方式の撮像素子は、画素とカラーフィルタの配置に周期性があるため、画面全体の処理を通してＷの一般化逆行列Ｗ＋は有限個のパターンしか現れない。例えばＢａｙｅｒ配列の場合は、Ｗ＋は４個であり、これらをメモリ等に蓄積しておけば十分である。
【００３８】
（Ｅの変形）
また、式（６）では全ての画素を同等に扱っているが、正の実数ｗｉを用いて画素毎に重みをつける例を次式（１２）に示す。
【数１２】
2010193093.tif 000014
【００３９】
画素毎に与える重みの決定手法については、様々な手法を利用することができ、エッジに応じた重みを与えることで画質が向上する。式（１２）のエネルギー関数を最小化するβ＾は、（ｗｉ）０．５を対角成分にもつ対角行列Ｋを用いる式（１３）により、フィルタリングを用いて算出することができる。
【数１３】
2010193093.tif 000015
【００４０】
なお、Ｋのパターンが少なければ、すべてのβ＾算出用フィルタをメモリに蓄積しておくことが容易である。フィルタの蓄積については、様々な手法を用いることができる。
【００４１】
以下の説明では、式（１１）のＷ＋、及び、式（１３）の（ＫＷ）＋Ｋ等のスペクトル強度関数のパラメタ算出に使うフィルタをＷＰと記載する。
【００４２】
（撮像装置の説明）
図３は、本実施形態に係わる撮像装置１０を示すブロック図である。撮像装置１０は、撮像素子１００、撮像データ入力部１０１、スペクトル強度関数パラメタ推定部１０２、スペクトル強度関数パラメタ補正部１０３、及び、スペクトル強度推定部１０４を有する。
【００４３】
撮像素子１００は、単板撮像素子であり、例えば、Ｂａｙｅｒ配列により撮像データを取得する。撮像データ入力部１０１は、撮像素子１００から撮像データを取得する。スペクトル強度関数パラメタ推定部１０２は、単板撮像素子上の各点に入射する光の強度を波長毎に記述する。スペクトル強度関数パラメタ補正部１０３は、スペクトル強度関数のパラメタを補正する。スペクトル強度推定部１０４は、スペクトル強度関数のパラメタから各画素に入射した光の強度を推定する。
【００４４】
なお、撮像データ入力部１０１、スペクトル強度関数パラメタ推定部１０２、スペクトル強度関数パラメタ補正部１０３、及び、スペクトル強度推定部１０４は、一の画像処理装置１１０として構成されてもよい。
【００４５】
(撮像装置の動作)
次に図４を用いて、撮像装置１０の動作について説明する。図４は、本実施形態に係わる撮像装置の動作を示すフローチャートである。
【００４６】
図４のステップＳ１０１では、撮像データ入力部１０１が、ブロック内の各画素が持つ分光感度と各画素において得られた測定信号量を有する撮像データを取得する。すなわち、撮像素子から画素の位置ｘｉ，ｙｉと、式（６）又は式（１２）におけるｓｉと、式（７）のｗｉＲ，ｗｉＧ，ｗｉＢとを取得する。
【００４７】
ステップＳ１０２では、スペクトル強度関数パラメタ推定部１０２が、ブロック内の画素に位置やエッジに応じた重みをつける。ステップＳ１０３では、スペクトル強度関数パラメタ推定部１０２が、式（１２）のモデル化誤差Ｅを最小にするスペクトル強度関数のパラメタβ＾を算出する。
【００４８】
ステップＳ１０４では、スペクトル強度関数パラメタ補正部１０３が、あらかじめ定められた負の実数ｗｆ０，  ｗｆ１と式（４）とを用いて、ステップＳ１０３で得られたスペクトル強度関数のパラメタβ＾を補正し、より鮮鋭な画像に対応するパラメタβ＾’を得る。
【００４９】
ステップＳ１０５では、スペクトル強度推定部１０４が、ステップＳ１０４で得られたスペクトル強度関数のパラメタβ＾’を用いて、ブロック中心（ｘ，ｙ）＝（０，０）における光の強度を算出する。すなわち、式（１）にβ＾’とｘ＝０，ｙ＝０とを代入することでブロック中心の光の強度を算出する。
【００５０】
（撮像装置のハードウェア構成）
図５は、撮像装置１０のハードウェア構成の例を示す図である。図５の撮像装置４００は、光学系４０１、カラーフィルタ４０２、撮像素子４０３、駆動回路４０４、信号処理回路４０５、及び、メモリ４０６を有する。
【００５１】
光学系４０１は、レンズと光学フィルタを有する。カラーフィルタ４０２は、撮像素子４０３に入射される光を制御する。撮像素子４０３は、画素毎に入射される光を信号に変換し、撮像データを出力する。駆動回路４０４は、撮像素子４０３を含む、撮像装置４００の各部を駆動させることにより、撮像素子４０３が有する画素毎に、カラーフィルタ４０２により選択される光を照射させる。撮像素子４０３は、例えば、単板のイメージセンサであり、ＣＣＤを含む。
【００５２】
信号処理回路４０５は、撮像データに対する輪郭強調等の補正を行い、画像データを出力する。メモリ４０６は、信号処理回路４０５が処理する撮像データ等を格納する。なお、撮像素子４０３から出力される撮像データは、図示しないＡ/Ｄ変換器によりデジタル信号に変換された後、信号処理回路４０５に入力されるとよい。
【００５３】
（変形例）
上記の実施形態は以下に述べる（１）から（７）の変形例に変更して実施してもよい。
【００５４】
（１）本実施形態は、Ｂａｙｅｒ配列以外にも適用することが可能である。例えば画素の配置が正方配列でない場合には、上記の実施形態における数式は、そのまま利用することができる。また、カラーフィルタの配置が異なる場合には、ｗｉＲ，ｗｉＧ，ｗｉＢの値を変更するとよい。さらにカラーフィルタが行われない画素が含まれる場合でもｗｉＲ＝１，ｗｉＧ＝１，ｗｉＢ＝１とすればよい。
【００５５】
（２）実施の際に用いるブロックサイズは７×７画素でなくともよい。ブロックに含まれる画素の数がスペクトル強度関数のパラメタ数以上であれば、ブロックサイズを縮小する、又は、正方形のブロックのコーナーにあたる部分を利用しないようにしてもよい。ただし、ブロックサイズが小さい場合は、ノイズを輪郭として強調することがあるので、画質を考慮してブロックサイズを定めるとよい。
【００５６】
（３）式（１）のスペクトル強度関数は２次多項式でなくともよい。スペクトル強度関数のパラメタがブロック内の画素数以下に収まるのであれば、例えば４次式等、次数を増やしてもよい。ただし、次数が高い場合は、ノイズを輪郭として強調することがあるので、画質を考慮して次数を定めるとよい。
【００５７】
（４）輪郭強調の際はスペクトル強度関数の２次の項の係数以外も利用してもよい。特にスペクトル強度関数の次数を増やした場合は、式（３）を用いてフィルタリング前後の関係を、再び算出する。また、２次以上の項を利用することで鮮鋭化の際に強調される周波数を変化させることができる。
【００５８】
（５）輪郭強調に利用するフィルタは、図２に示す３×３画素かつ点対称である必要はない。式（３）を用いてフィルタリング前後の関係を算出しなおすことにより、ブロックサイズを増加させることができ、また、対称性を崩すこともできる。また、光学ボケに対応するフィルタ係数が事前に分かる場合は、それを用いてパラメタ補正の重みを決めることも可能である。光学ボケに対応するフィルタ係数が図２に示す形で与えられている場合は、与えられたフィルタｗを用いて上記の実施形態と同じ手法でＷＦを取得し、β＾’の算出にはＷＦ−１を用いればよい。
【００５９】
（６）スペクトル強度推定部１０４が推定する光の強度は、必ずしもブロック中心（ｘ，ｙ）＝（０，０）のものでなくともよい。例えば（ｘ，ｙ）＝（０．５，０．５）として画素の隙間の光の強度を推定すれば、ズーム等の画素補間に用いることも可能である。
【００６０】
（７）スペクトル強度関数のパラメタ補正は、必ずしも式（４）の行列の乗算に限定されない。例えば、β３，β５が所定の閾値より小さい場合にはパラメタの補正を行わなくともよい。また、例えば、β３，β５から常に一定の値を差し引いてもよい。
【００６１】
（モデル誤差の最小化方法を限定した計算コスト削減）
なお、スペクトル強度関数パラメタ推定部１０２で行う演算を限定することで、更に計算コストを削減することができる。上記の実施形態では、様々なカラーフィルタ配列に対応するため、スペクトル強度関数パラメタ推定部１０２が、ブロック毎に、最急降下法、共役勾配法、一般化逆行列等を利用して、モデル誤差Ｅを最小化するスペクトル強度関数のパラメタβ＾を算出する。しかし、モデル誤差Ｅを式（６）や式（１２）の形に限定することにより、β＾を算出するための演算は単純なフィルタリングになる。また、カラーフィルタ配列は、有限のパターンの繰り返しであるため、β＾を算出するフィルタＷＰは有限個に限定されメモリに蓄積することが容易になる。
【００６２】
この特性を利用すると、以下に述べる２つの方法で計算コストを削減することが可能になる。
【００６３】
（１）スペクトル強度関数パラメタ推定部１０２は、必ずしもすべてのスペクトル強度関数のパラメタを推定する必要はない。上記の実施形態において、ブロック中心の値のみを推定するため、スペクトル強度関数のパラメタβ１，β２，β４を算出する必要はない。この特性を利用すれば、ＷＰのうちβ１，β２，β４に対応するものは、メモリに蓄積する必要がなく、回路規模を小さくすることができる。
【００６４】
（２）補正方法に応じてＷＰを事前に変形しておくことで、畳み込み演算の回数を削減できる。上記の実施形態において、ＷＰを用いて、βＲ，βＧ，βＢ，β３，β５を算出した後にＷＦを用いて重み付け加算している。そこで、フレームの処理を開始する前に両者の積ＷＦ  ＷＰを算出しておくことで、５回のフィルタリング演算を３回に削減できる。
【００６５】
（コンピュータ等による実現）
なお、本実施形態に係る画像処理装置は、例えばパーソナルコンピュータ（ＰＣ）等で実現されてもよい。また、本実施形態に係る画像処理方法は、例えば、ＣＰＵがＲＯＭやハードディスク装置等に記憶されたプログラムに従い、ＲＡＭ等のメインメモリをワークエリアとして使用し、実行されてもよい。
【００６６】
なお、本発明は、上記実施の形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施の形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施の形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態にわたる構成要素を適宜組み合わせても良い。
【産業上の利用可能性】
【００６７】
以上のように、本発明にかかる画像処理装置、撮像装置、及び、画像処理方法は、撮像素子から入力される撮像データの画質向上に有用であり、特に、携帯電話等の小型デバイスにおいて撮影される画像の処理に適している。
【符号の説明】
【００６８】
１０   撮像装置
３０   ブロック
１００ 撮像素子
１０１ 撮像データ入力部
１０２ スペクトル強度関数パラメタ推定部
１０３ スペクトル強度関数パラメタ補正部
１０４ スペクトル強度推定部
１１０ 画像処理装置
４００ 撮像装置
４０１ 光学系
４０２ カラーフィルタ
４０４ 駆動回路
４０５ 信号処理回路
４０６ メモリ
【図１】
2010193093.tif 000016
【図２】
2010193093.tif 000017
【図３】
2010193093.tif 000018
【図４】
2010193093.tif 000019
【図５】
2010193093.tif 000020