(57)【要約】【課題】色ずれを抑え、画素配列の変更やカラーフィルタの変更に柔軟に対応し、デジタルズームにも対応できるようにした色成分補間装置を提供する。【解決手段】撮像素子をなす複数の画素の位置と色と信号量の組み合わせからなる撮像データを取得する撮像データ入力部１０１と、撮像データから導関数が一致する２つ以上の色成分関数のパラメータを推定するパラメータ推定部１０２と、色成分関数を用いて各点の色成分を求める色成分推定部１０３とを備え、色成分関数の少なくとも一つの未知のパラメータを、前記色成分毎の前記色成分関数の導関数が互いに一致するように、注目位置にある画素の撮像データと注目位置の周囲にある複数の画素の撮像データとから推定し、色成分毎の色成分関数と、推定した色成分毎のパラメータとを用いて、注目位置における欠落した色成分の信号量を推定する。【選択図】      図１
2009010847.tif 000002
【特許請求の範囲】
【請求項１】
各画素の撮像素子上での位置を示す画素位置、前記各画素の色及び前記各画素の信号量を有する撮像データを取得する撮像データ入力部と、
前記撮像素子上の任意の注目位置での複数の色のそれぞれの信号量を推定するための複数の色成分関数のそれぞれのパラメータを、前記複数の色成分関数の導関数が互いに類似するように、前記注目位置の周囲にある複数の画素の撮像データを用いて推定するパラメータ推定部と、
前記色成分関数と前記パラメータとを用いて、前記注目位置における任意の色の信号量を推定する色成分推定部と、
を備える色成分補間装置。
【請求項２】
前記注目位置から離れるほど小さくなる第１重みを求める第１の重み決定部を備え、
前記パラメータ推定部は、前記第１の重みが小さいほど、前記色毎の導関数の類似する度合いを低くする、
請求項１記載の色成分補間装置。
【請求項３】
前記注目位置を中心として、かつ、前記各画素の信号量から求められるエッジ方向に沿って拡がる領域内ほど大きくなる第２の重みを求める第２の重み決定部を備え、
前記パラメータ推定部は、前記第２の重みが小さいほど、前記色毎の導関数の類似する度合いを低くする、
請求項１記載の色成分補間装置。
【請求項４】
前記パラメータ推定部は、
（１）前記注目位置の周囲にある複数の画素の撮像データのそれぞれの信号量と、前記色毎の色成分関数に前記各信号量のそれぞれに対応する画素位置を代入したときの値との差から算出される前記パラメータを含む第１の誤差、または、
（２）前記各信号量のそれぞれに対応する画素位置近傍の変化量と前記各画素位置に対応する前記色成分関数の空間微分値の差、及び、前記第１の誤差から算出される前記パラメータを含む第２の誤差、
のいずれか一方を色成分モデル誤差と設定し、
前記色成分モデル誤差を最小とするように前記パラメータを算出する、
請求項３記載の色成分補間装置。
【請求項５】
前記パラメータ推定部は、第３の重みを用いて前記信号量を重み付け和することによって、前記色成分モデル誤差を最小とする前記パラメータを算出する、
請求項４記載の色成分補間装置。
【請求項６】
前記パラメータ推定部は、
前記第２重みと前記第３の重みとを対応させて記憶する記憶部を備え、
前記信号量を用いて前記第２の重みを求め、前記求めた第２の重みに対応する前記第３重みを前記記憶部から呼び出し、
前記呼び出した第３の重みを用いて前記パラメータを算出する、
請求項５記載の色成分補間装置。
【請求項７】
前記色成分関数が、基底関数の重み付け和であり、
前記パラメータは、前記基底関数の重みである、
請求項１記載の色成分補間装置。
【請求項８】
前記色成分関数のパラメータは、前記色成分関数をテイラー展開したときの係数である、
請求項１記載の色成分補間装置。
【請求項９】
前記第２の重みは、前記色成分が同一である画素位置の間の前記信号量の差を用いて推定する、
請求項３記載の色成分補間装置。
【請求項１０】
各画素の撮像素子上での位置を示す画素位置、前記各画素の色及び前記各画素の信号量を有する撮像データを取得する撮像データ入力ステップと、
前記撮像素子上の任意の注目位置での複数の色のそれぞれの信号量を推定するための複数の色成分関数のそれぞれのパラメータを、前記複数の色成分関数の導関数が互いに類似するように、前記注目位置の周囲にある複数の画素の撮像データを用いて推定するパラメータ推定ステップと、
前記色成分関数と前記パラメータとを用いて、前記注目位置における任意の色の信号量を推定する色成分推定ステップと、
を備える色成分補間方法。
【請求項１１】
各画素の撮像素子上での位置を示す画素位置、前記各画素の色及び前記各画素の信号量を有する撮像データを取得する撮像データ入力機能と、
前記撮像素子上の任意の注目位置での複数の色のそれぞれの信号量を推定するための複数の色成分関数のそれぞれのパラメータを、前記複数の色成分関数の導関数が互いに類似するように、前記注目位置の周囲にある複数の画素の撮像データを用いて推定するパラメータ推定機能と、
前記色成分関数と前記パラメータとを用いて、前記注目位置における任意の色の信号量を推定する色成分推定機能と、
をコンピュータによって実現する色成分補間プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラなどに用いられる色成分補間装置及びその方法に関する。
【背景技術】
【０００２】
小型デジタルカメラは撮像素子を一つに絞り、素子の各画素に例えば図７に示すベイヤー配列のようなカラーフィルタを付与して撮像データを得ている。この撮像データは点毎に一つの色情報しか保持されていないため、近傍の点の色成分を補間して欠けた色情報を補うことでカラー画像を生成するデモザイキング処理が必要となる。
【０００３】
特許文献１に開示されているデモザイキング方法は、出力画像の色成分に相関を持たせることで色ずれを抑えている。
【０００４】
しかし、Ｂａｙｅｒ配列専用の方法であり、例えば特許文献２に開示されているようなカラーフィルタ（図８参照）の撮像データに対応することはできない。
【０００５】
また、この方法は撮像素子の画素が存在する点での色成分しか推定できず、例えば図９及び図１０のような撮像素子から正方格子状に画素が配置されたカラー画像を得る場合、すなわち一種のデジタルズームが必要場合にも対応できない。
【０００６】
一方、非特許文献１に開示されている補間方法は、画素配置が変更されても、その配置に対応した補間用のフィルタを簡単に得ることができる。
【０００７】
しかし、複数の色成分を持つ画像にはそのまま適用することはできない。この方法は色成分毎に適用することでカラー画像を生成できるが、色成分毎のエッジの位置を合わせることができず、色ずれが発生する。
【特許文献１】米国特許第５６２９７３４号公報
【特許文献２】特開２００６−２１１６３１公報
【非特許文献１】H. Takeda et al., ”Kernel Regression for Image Processing and Reconstruction,”Trans. on IP, Vol.16, No.2,2007
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記したように、従来のデモザイキング方法には、次の問題点がある。
【０００９】
第１の問題点は、画素配列の変更やカラーフィルタの変更に柔軟に対処できない。
【００１０】
第２の問題点は、画素の隙間の色成分を推定できない。
【００１１】
第３の問題点は、従来の補間方法を色成分に個別に適用すると、色ずれが生じる。
【００１２】
そこで本発明は、上記問題点を解決するためになされたものであって、色ずれを抑え、画素配列の変更やカラーフィルタの変更に柔軟に対応し、デジタルズームにも対応できるようにした色成分補間装置及びその方法を提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、各画素の撮像素子上での位置を示す画素位置、前記各画素の色及び前記各画素の信号量を有する撮像データを取得する撮像データ入力部と、前記撮像素子上の任意の注目位置での複数の色のそれぞれの信号量を推定するための複数の色成分関数のそれぞれのパラメータを、前記複数の色成分関数の導関数が互いに類似するように、前記注目位置の周囲にある複数の画素の撮像データを用いて推定するパラメータ推定部と、前記色成分関数と前記パラメータとを用いて、前記注目位置における任意の色の信号量を推定する色成分推定部と、を備える色成分補間装置である。
【発明の効果】
【００１４】
本発明によれば、出力画像の色ずれを抑えることができ、画素配列の変更やカラーフィルタの変更に柔軟に対応でき、デジタルズームに対応することも可能となる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態の色成分補間装置１００について図面に基づいて説明する。
【００１６】
（第１の実施形態）
以下、本発明の第１の実施形態の色成分補間装置１００について図１〜図２、図１１、図１２に基づいて説明する。
【００１７】
（１）色成分補間装置１００の構成
図１は、本実施形態に係わる色成分補間装置１００を示すブロック図である。
【００１８】
色成分補間装置１００は、単板式の撮像素子をなす複数の画素の位置と色と信号量の組み合わせからなる撮像データを取得する撮像データ入力部１０１と、撮像データから導関数が一致する２つ以上の色成分関数のパラメータを推定するパラメータ推定部１０２と、色成分関数を用いて各点の色成分を求める色成分推定部１０３とを備えている。
【００１９】
この色成分補間装置１００は、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、コンピュータ搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、色成分補間装置１００は、上記のプログラムをコンピュータに予めインストールすることで実現してもよいし、ＣＤ−ＲＯＭなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータに適宜インストールすることで実現してもよい。また、コンピュータに内蔵あるいは外付けされたメモリ、ハードディスクもしくはＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＡＭ、ＤＶＤ−Ｒなどの記憶媒体などを適宜利用して実現することができる。
【００２０】
（２）色成分補間装置１００の動作
次に、図１及び図２を用いて、本実施形態に係わる色成分補間装置１００の動作について説明する。なお、図２は、本実施形態に係わる色成分補間装置１００の動作を示すフローチャートである。
【００２１】
本実施形態では、Ｂａｙｅｒ配列（図７参照）をデモザイキング処理する方法を説明する。カラーフィルタの変更に対処する方法は後述する。
【００２２】
（２−１）変数の定義
以後の説明のため、変数を定義する。
【００２３】
まず、単板式の撮像素子上の点を表すためｘ軸とｙ軸からなる平面を定義する。
【００２４】
この平面上で、色成分（すなわち、色）を推定したい注目位置の点をｐｉ*＝（ｘｉ*，ｙｉ*）（但し、ｉ＝０，．．，Ｍである）と表記する。
【００２５】
色成分の推定に用いる画素をｐｉ＝（ｘｉ，ｙｉ）（但し、ｉ＝０，．．．，Ｎである）とし、ｐｉから得られた信号量をｓｉとする。
【００２６】
（２−２）撮像データ入力部１０１
まず、撮像データ入力部１０１は、単板式の撮像素子を構成する複数の画素の位置と色と信号量の組み合わせからなる撮像データを取得する（ステップ１）。
【００２７】
例えば、図７のＢａｙｅｒ配列のＢ（青色）のカラーフィルタを持つ画素のＲ（赤色）成分とＧ（緑色）成分を、８近傍を用いて推定するデモザイキング処理を行う場合は、撮像データ入力部１０１から図１１中の画素１１００〜１１０８の撮像データを得る。なお、図面中ではＲＧＢの各色を表現できないため、Ｒの範囲を右下がりのハッチング、Ｇの範囲をハッチングなし、Ｂの範囲を左下がりのハッチングで表現する。
【００２８】
図１１のような３×３画素のブロックをずらしながら、ブロック中心ｐ０*＝ｐ４の欠けた色成分を推定する処理を行うと、カラー画像が得られる。
【００２９】
以後はブロックとその内部のデータが得られた後の処理を説明する。
【００３０】
（２−３）パラメータ推定部１０２
次に、パラメータ推定部１０２ではブロックの中心画素、すなわち、画素１１０４近傍のＲＧＢ成分を記述する色成分関数ｆｒ，ｆｇ，ｆｂのパラメータを推定する（ステップ２）。
【００３１】
まず、色成分関数ｆｒ，ｆｇ，ｆｂを式（１）のように位置座標ｘ，ｙによる２次の多項式でモデル化する。
【数１】
2009010847.tif 000003
【００３２】
このモデル化では、色成分関数ｆｒ，ｆｇ，ｆｂをｘ，ｙで微分して得られる導関数は全て等しくなる。このモデル化により、画素１１０４近傍でＲＧＢ成分が相関を持って変化するようになり、色ずれを抑圧できる。
【００３３】
次に、モデルの未知のパラメータｐ＝（βｒ，βｇ，βｂ，β１，β２，β３，β４，β５）ｔを近傍の画素１１００〜１１０８の撮像データを用いて推定する。なお、ｔはベクトルの転置を表す。
【００３４】
各色成分が式（１）のモデルにしたがって変化するならば、例えば画素１１００においてはｓ０＝ｆｒ（ｘ０，ｙ０）が成立すると考えられる。他の点についても同様に考えると、色成分関数ｆｒ，ｆｇ，ｆｂが近傍の各色成分を正確に表現していれば、式（２）に示す色成分モデル誤差Ｅ０（ｐ）が小さくなると考えられる。
【数２】
2009010847.tif 000004
【００３５】
式（２）の行列Ｗの左側３列はカラーフィルタの色に対応している。
【００３６】
例えば、Ｗの１行目は図１１における左上の画素ｐ０に対応しているため、Ｒ成分であるβｒに対応する先頭の要素が１となっており、Ｇ成分に対応する２番目の要素とＢ成分に対応する３番目の要素は０になっている。
【００３７】
式（２）におけるＷは図１１のようにＢが中心となる３×３のパターンの場合のものであるが、図１２の１２０１〜１２０３のようなパターンの場合もＷの左側３列の「１」の位置を入れ替えることで、対応できる。
【００３８】
例えば、図１２中のパターン１２０１の場合は図１１の場合と比べるとＲのカラーフィルタを持つ画素（以後、「Ｒ画素」という）とＢ画素が入れ替わっている。この場合の行列Ｗは式（２）のＷの１列目と３列目を入れ替えた式（３）となる。
【数３】
2009010847.tif 000005
【００３９】
（２−３−１）パラメータ推定方法１
パラメータ推定方法１について説明する。
【００４０】
パラメータ推定方法１としては、Ｅ０を最小化する関数のパラメータｐ’は行列Ｗの擬似逆行列Ｗ＋を用いてｐ’＝Ｗ＋ｓとして得ることができる。
【００４１】
（２−３−２）パラメータ推定方法２
パラメータ推定方法２について説明する。
【００４２】
パラメータ推定方法１では、各点においてＷ＋を計算すると膨大な計算コストがかかるが、Ｂａｙｅｒ配列の場合、ブロック内のカラーフィルタの配置は図１１及び図１２に示す４パターンしかないため、Ｗも４パターンしか存在しない。そのため、全パターンに対するＷ＋を事前に算出しメモリ上に保持しておけば、計算コストを大幅に削減することができる。
【００４３】
（２−３−３）パラメータ推定方法３
パラメータ推定方法３について説明する。
【００４４】
パラメータ推定手段１のような擬似逆行列の計算コストを要する方法も利用できず、パラメータ推定方法２のように複数のＷ＋を保持するメモリも利用できない場合は、最急降下法や共役勾配法等の初期値を逐次更新して真の解に近づける方法を用いてｐ’の近似解を得る。
【００４５】
この方法を用いると、更新の回数を変更することで色成分補間装置１０００全体の計算量を調節できる。
【００４６】
（２−３）出力画像生成部１０３
最後に、出力画像生成部１０３は、推定された色成分関数ｆｒ，ｆｇ，ｆｂを用いて出力画像の各点の色成分の信号量を推定する（ステップ３）。なお、この推定する信号量は、撮像素子が出力する電圧で表現される信号量（すなわち、撮像テータの信号量）とは、異なる出力画像における信号量であってもよい。
【００４７】
単純なデモザイキング処理の場合は、点１１０４のＲＧＢ成分が分かればよい。点１１０４のＲＧＢ成分の信号量は、式（１）にｘ＝ｘ４，ｙ＝ｙ４を代入し、ｆｒ（ｘ４，ｙ４）＝βｒ，ｆｇ（ｘ４，ｙ４）＝βｇ，ｆｂ（ｘ４，ｙ４）＝βｂとなる。
【００４８】
（２−４）デジタルズームの場合
デジタルズームを同時に行う場合は、ズーム後の画像の各点を撮像素子上に対応付け、式（１）を用いて色成分を推定すればよい。
【００４９】
例えば、図１１を用いて２倍のデジタルズームを行う場合は、図１４中の丸印で表される点１１００〜１１０８のように撮像素子の画素が配置され、ズーム後の画像の各画素を撮像素子上に対応付けると白四角印で表される。この時カラー画像を出力するには、ｐ４の近傍の４つの画素点１４００〜１４０３（ｐｉ*＝（ｘｉ*，ｙｉ*）（但し、ｉ＝０，．．．，４である））のＲＧＢ成分を求める必要がある。
【００５０】
この場合、例えば、点１４００（ｐ０*＝（ｘ０*，ｙ０*）＝（ｘ４−０．２５，ｙ４−０．２５））のＲＧＢ各成分は、式（１）を用いてｆｒ（ｘ０*，ｙ０*），ｆｇ（ｘ０*，ｙ０*），ｆｂ（ｘ０*，ｙ０*）とすればよい。
【００５１】
（３）効果
このように、本実施形態に係わる色成分補間装置１００によれば、撮像データを用いて推定される色成分関数を用いることで撮像素子を構成する画素の隙間部分の色成分を推定することが可能となる。
【００５２】
（４）変更例１
上記の説明では色成分関数ｆｒ（ｘ，ｙ），ｆｇ（ｘ，ｙ），ｆｂ（ｘ，ｙ）をｘ，ｙの二次多項式でモデル化している。しかし、関数の形は二次多項式以外の関数も利用できる。例えば、関数の次数は任意に上げることができ、その方法は非特許文献１に示されている。
【００５３】
但し、次数は無制限に上げればよいというものではない。次数を高めるとエッジの急峻な立ち上がりを表現しやすくなる反面、ノイズに弱くなる可能性があるため、画質を見ながら２〜５次程度の範囲で適切なものを選択する。
【００５４】
（５）変更例２
また、デモザイキングに用いるブロック形状は任意に変更することができる。
【００５５】
上記の説明ではデモザイキングに３×３のブロックを用いているが、本実施形態では任意のブロック形状を用いることが可能である。
【００５６】
例えば、図７のデモザイキング処理において、画素１１０６の下に存在するＧ画素１１０９を加える場合を考える。この場合は、式（４）のように式（２）のベクトルｓの要素に画素１１０９から得られた信号ｓ９を加え、行列Ｗの要素に行ベクトル（０，１，０，（ｘ９−ｘ４），（ｙ９−ｙ４），（ｘ９−ｘ４）２，（ｘ９−ｘ４）（ｙ９−ｙ４），（ｙ９−ｙ４）２）を加えればよい。
【数４】
2009010847.tif 000006
【００５７】
但し、デモザイキング処理に用いる画素の数は、関数のパラメータの数より多いことが望ましい。
【００５８】
また、ブロック中心ｐ４から遠い点の画素値は色成分関数ｆｒ，ｆｇ，ｆｂから外れる可能性が高くなるので、ブロックの形状は円や正方形、ひし形などの図形が望ましい。
【００５９】
（第２の実施形態）
以下、本発明の第２の実施形態の色成分補間装置１００について図３、図４、図１１、図１２、図１７、図１８に基づいて説明する。
【００６０】
（１）色成分補間装置１００の構成
図３は、本実施形態に係わる色成分補間装置１００を示すブロック図である。
【００６１】
本実施形態に係わる色成分補間装置１００は、撮像素子を構成する複数の画素の位置と色と信号量の組み合わせからなる撮像データを取得する撮像データ入力部１０１と、撮像素子を構成する画素及び前記撮像データに正の実数である色成分推定用重みをつける色成分推定用重み決定部１０４と、撮像データ入力部１０１から得られた撮像データと色成分推定用重み決定部１０４から得られた色成分推定用重みから導関数が一致する２つ以上の色成分関数のパラメータを推定するパラメータ推定部１０５と、色成分関数を用いて平面上の各点における色成分を推定する色成分推定部１０３を備えている。
【００６２】
（２）色成分補間装置１００の動作
次に、図３及び図４を用いて、本実施形態に係わる色成分補間装置１００の動作について説明する。
【００６３】
なお、図４は、本実施形態に係わる色成分補間装置１００の動作を示すフローチャートである。以後の説明も、第１の実施形態と同様に３×３画素のブロックを用いたＢａｙｅｒ配列のデモザイキングの例を用いる。
【００６４】
（２−１）撮像データ入力部１０１
まず、撮像データ入力部１０１は、撮像素子を構成する複数の画素の位置と色と信号量の組み合わせからなる撮像データを取得する（ステップ１）。
【００６５】
この部分の動作は第１の実施形態と同様である。
【００６６】
（２−２）色成分推定用重み決定部１０４
次に、色成分推定用重み決定部１０４は図１１に示すように、画素１１００〜１１０８に対し正の実数である色成分推定用重みＫ０〜Ｋ８を付与する（ステップ２）。
【００６７】
この重みは、後の段階の処理である関数のパラメータ推定に用いられ、大きな重みを与えられた画素は色成分の推定により大きく寄与する。重みのつけ方は３通り考えられるので、順番に説明する。
【００６８】
（２−２−１）色成分推定用重み決定方法１
まず、式（５）のように中心から離れるほど小さくなるように設定することができる。
【数５】
2009010847.tif 000007
【００６９】
αは０．１〜１．０程度の値を用い、出力画像の画質を見て人手で調整する。これによりブロック中心をより重視するパラメータ推定を行うことができる。
【００７０】
（２−２−２）色成分推定用重み決定方法２
しかし例えば、図１５のようなテクスチャ１５０１のような斜め４５度のテクスチャが入力された場合、エッジは式（１）のモデルから外れる可能性が高いため、重みは式（５）のような等方的な重みよりは楕円１５０２のようなものが好ましい。このような色成分推定用重みＫｉは撮像データを用いて決定することができる。非特許文献１では、グレイスケール画像の各点の画素値の変化量から、２次元ガウス分布状の重みを得る方法（以下、「従来型重み決定方法」という）が開示されている。そして、色成分推定用重み決定方法２は、従来型重み決定方法をさらに進歩させたものである。
【００７１】
従来型重み決定方法では、ブロックｗ内の各点ｐｉ＝（ｘｉ，ｙｉ）（ｉ＝０，．．，Ｎ）における画素値のｘ軸方向の変化量ｄｘｉとｙ軸方向の変化量ｄｙｉ及び正の実数Ｈを用いて式（６）のような重みを与える。
【数６】
2009010847.tif 000008
【００７２】
色成分推定用重み決定方法２では、例えば、図１１中の点ｐ０では、ｄｘ０＝ｓ２−ｓ０，ｄｙ０＝ｓ６−ｓ０というように、垂直方向もしくは水平方向の同じカラーフィルタを持つ画素の信号量の差分を用いて変化量を定義し、式（６）を用いて重みを決定することができる。
【００７３】
Ｈは、利用者が任意に設定する正の実数で、画質を見ながら調整する。Ｃの算出には例えばＧのカラーフィルタを持つ画素のみ利用するなどして、計算量を削減できる。
【００７４】
非特許文献１には、式（６）のＣは特異値分解を用いて式（７）のように展開することが可能であることが開示されている。
【数７】
2009010847.tif 000009
【００７５】
式（７）のθはエッジ方向を表し、σはエッジ強度が大きいほど大きな値となる。
【００７６】
（２−２−３）色成分推定用重み決定方法３
色成分推定用重み決定方法２では、ある画素における空間微分量を求めるためには、同じカラーフィルタを持つ画素が垂直方向及び水平方向に１つ以上存在しなければならない。そのため、図１１におけるＧ画素１１０１，１１０３，１１０５，１１０７から変化量を取ることはできない。
【００７７】
また、ブロックサイズを広げてＧ画素から変化量を取る場合でも、垂直方向か水平方向の画素しか利用せず、斜め方向の最も近い距離にある画素の情報は利用されない。
【００７８】
そこで、色成分推定用重み決定方法３では、同一直線状にな存在しない同一のカラーフィルタを持った画素３つを利用して点毎の微分量を得る方法を示す。
【００７９】
図１１のような撮像データを得て、図１７のように同じカラーフィルタを持つ３画素１１０１，１１０３，１１０７を選択し、点１１０３におけるｆｇの変化量のベクトルをｄ３＝（ｄｘ３，ｄｙ３）ｔを求める場合を例に説明する。
【００８０】
図１７で用いられる画素の位置を表すｘ，ｙの２軸に加え、信号量に対応するｓ軸を用いて定義される３次元空間（図１８参照）を考える。画素１１０１が信号量ｓ１を持つ場合、図１８の空間では、画素１１０１の上の高さｓ１の位置に点１８０１（ｘ１，ｙ１，ｓ１）が存在すると考えることができる。同様に考えると、点１８０３（ｘ３，ｙ３，ｓ３）と点１８０７（ｘ７，ｙ７，ｓ７）及び、点１８０１〜１８０３を通る三角形１８００を考えることができる。この平面のｘ軸及びｙ軸方向の傾きがｄ３となる。
【００８１】
選択された３画素のうち１１０３と１１０１をつなぐベクトルをｖ３１とし、１１０３と１１０７をつなぐベクトルをｖ３７とする。ベクトルｖｉｊの長さをｌｉｊとし、ベクトルｖｉｊがｘ軸となす角度をθｉｊとすると、ｖｉｊ＝（ｌｉｊｃｏｓθｉｊ，ｌｉｊｓｉｎθｉｊ）ｔとなる。これらを用いるとｄ３は、
【数８】
2009010847.tif 000010
【００８２】
となる。式（８）を用いることで、ブロック内に同じカラーフィルタを持つ画素が最低３つあれば、各画素における色成分の微分量を得ることができる。
【００８３】
画素３つを選択する方法は多数考えられるが、全ての可能な組み合わせを用いる、ブロック内部の同一カラーフィルタを持つ画素の中心を結ぶドロネー図を作成して得られる三角形を用いる等の方法が考えられる。
【００８４】
（３）パラメータ推定部１０５
次に、パラメータ推定部１０５は、式（９）のように図１１の重みＫｉからなる行列Ｋを用いて定義される色成分モデル誤差Ｅ１（ｐ）＝｜Ｋｓ−ＫＷｐ｜２を最小化するパラメータｐを求める。
【数９】
2009010847.tif 000011
【００８５】
色成分推定用重み決定方法１を用いる場合、ブロック中心で得られた信号量と推定される色成分関数ｆｒ（ｘ，ｙ），ｆｇ（ｘ，ｙ），ｆｂ（ｘ，ｙ）が大きく異なる場合と、ブロック周辺で得られた信号量と推定される色成分が大きく異なる場合では、前者の方がエネルギーＥ１が大きくなる。
【００８６】
結果として、色成分推定用重み決定方法１を用いて推定された色成分は、第１の実施形態で得られるものと比較してブロック中心で測定された信号により適合するものとなる。
【００８７】
色成分推定用重み決定方法２を用いる場合、図１２で示されるようにエッジに沿った方向に大きな重みが与えられることになる。結果としてエッジを越えた領域にある画素がデモザイキング結果に寄与しにくくなり、鮮鋭化に役立つ。
【００８８】
（３−１）パラメータ推定方法４
パラメータ推定方法４としては、Ｅ１を最小化する関数のパラメータｐ’は行列ＫＷの擬似逆行列（ＫＷ）＋を用いて式（１０）のようにして得ることができる。
【数１０】
2009010847.tif 000012
【００８９】
（３−２）パラメータ推定方法５
色成分推定用重み決定方法１を用いた場合は行列Ｋが固定となるため、行列ＫＷのパターンの数はＷのパターンの数と変わらず４である。そのため、全パターンに対する（ＫＷ）＋を事前に算出しメモリ上に保持しておけば、計算コストを大幅に削減することができる。
【００９０】
但し、色成分推定用重み決定方法２もしくは色成分推定用重み決定方法３を用いた場合は、行列Ｋが点毎に変化しそのパターンが膨大であるため（ＫＷ）＋を全てメモリに保持することはできない。この問題の対処法については第３の実施形態の項で述べる。
【００９１】
（３−３）パラメータ推定方法６
パラメータ推定方法３と同様に最急降下法や共役勾配法等の方法を用いて近似解を得ることは、色成分推定用重み決定方法１〜３いずれを用いても可能である。
【００９２】
（４）色成分推定部１０３
最後に、色成分推定部１０３は、推定されたモデルのパラメータｐを用いて出力画像の各点の色成分を推定する。色成分推定部１０３は第１の実施形態と同じ動作をする。
【００９３】
（５）効果
このように、本実施形態に係わる色成分補間装置１００によれば、点毎の重みＫｉを用いた色成分モデル誤差を導入することで出力画像を鮮鋭化するなど、画質を高めることが可能となる。
【００９４】
（６）変更例
なお、式（６）と式（７）から重み関数は式（１１）のように展開できる。Ｇはユーザーが画質を見ながら値を調整する正の実数である。
【数１１】
2009010847.tif 000013
【００９５】
ここで、λｌがあまりに大きい場合、図１５の楕円１２０３がほとんど直線に近い形となる。このときは極端に小さい値を取るＫｉが多くなり、行列ＫＷの行ベクトル中に０に近いものが多数発生するため、（ＫＷ）＋を正しく求めることができなくなる場合がある。この問題を回避するためには以下のようにすればよい。
【００９６】
まず、λｌとλｓの上限として０．５程度の実数λｍａｘを設定する。
【００９７】
次に、Ｃが得られるたびに式（１１）の形に展開する。λｌ＞λｍａｘの場合はλｌをλｍａｘに置き換える。
【００９８】
最後に、λｓ＞λｌの場合は、λｓをλｌに置き換えた後、再度Ｃを求める。
【００９９】
このようにすることで、極端に小さい値を取るＫｉがなくなり、安定して（ＫＷ）＋を求めることができる。
【０１００】
（第３の実施形態）
次に、第３の実施形態の色成分補間装置１００について図５、図６に基づいて説明する。
【０１０１】
（１）本実施形態の目的
既に述べたが、第２の実施形態において、点毎に色成分推定用重み決定方法２もしくは色成分推定用重み決定方法３を用いて重み行列Ｋを求めた後に式（１０）にしたがってデモザイキングをすると画質が向上することが期待される。
【０１０２】
しかし、行列（ＫＷ）＋Ｋ（以後この行列を「パラメータ推定用係数」と呼ぶ）の計算には大きなコストが必要となる。重み行列Ｋが有限のパターンしかないのであれば、全パラメータ推定用係数を事前に計算してメモリに保持しておくことで計算コストを削減できる。
【０１０３】
ところが、色成分推定用重み決定方法２もしくは色成分推定用重み決定方法３を用いて重み行列Ｋを求める場合は、そのパターンの数が膨大であるためパラメータ推定用係数を全てメモリに保持することは難しい。
【０１０４】
そこで、本実施形態はこの問題に対処することを目的とする。
【０１０５】
（２）色成分補間装置１００の構成
図５は、本実施形態に関わる色成分補間装置１００を表すブロック図である。
【０１０６】
本実施形態に関わる色成分補間装置１００は、撮像データを入力する撮像データ入力部１０１と、デモザイキングに用いるパラメータ推定用係数を蓄積するパラメータ推定用係数蓄積部１０６と、パラメータ推定用係数蓄積部１０６に蓄積されたパラメータ推定用係数の中から撮像データ入力部１０１から得たデータを手がかりに適切なものを選択するパラメータ推定用係数選定部１０７と、パラメータ推定用係数選定部１０７によって選ばれたパラメータ推定用係数を用いてＲＧＢ成分を記述する関数のパラメータを推定するパラメータ推定部１０８と、推定されたパラメータから各点の色成分を求める出力画像生成部１０３を備える。
【０１０７】
パラメータ推定用係数蓄積部１０６とパラメータ推定用係数選定部１０７とパラメータ推定部１０８をあわせると、本実施形態のパラメータ推定部１０２に類似した動作が実現できる。
【０１０８】
（３）色成分補間装置１００の動作
次に、図５及び図６を用いて、本実施形態に関わる色成分補間装置１００の動作について説明する。なお、図６は、本実施形態の処理手順を示すフローチャートである。
【０１０９】
（３−１）パラメータ推定用係数蓄積部１０６
まず、パラメータ推定用係数蓄積部１０６は、現れうる無数のＫのパターンの中から有限個を事前に選別し、選別されたＫに対応するパラメータ推定用係数を算出してメモリに蓄積する（ステップ１）。
【０１１０】
色成分推定用重み決定方法２もしくは色成分推定用重み決定方法３で決定される重み関数Ｋ（ｘ，ｙ）は図１２のように２次元ガウス関数となる。重み関数Ｋ（ｘ，ｙ）のパラメータは式（１１）に示されているように、長軸の長さλ＋、短軸の長さλ−（λ−＜λ＋）及び長軸とｘ軸のなす角度θ（０＜＝θ＜π）の３つである。そこで例えば、λアを０〜２．０の範囲で０．５刻みで振り、θを０度＜＝θ＜１８０度の範囲を４５度刻みで振ることで得られる合計６０のパターンに対応するパラメータ推定用係数を事前に求めて、メモリに蓄積する。なお、メモリには、各パラメータ推定用係数に対応するλアとθも併せて記録しておく。
【０１１１】
これにより、全エッジ方向に対処でき、また様々なエッジ強度にも対処できるようになる。
【０１１２】
（３−２）撮像データ入力部１０１
次に、撮像データ入力部１０１は、撮像素子から色成分を推定したい点の周囲の画素の明るさとカラーフィルタの色を取得する（ステップ２）。
【０１１３】
撮像データ入力部１０１は第１の実施形態と同様の動作を行う。
【０１１４】
（３−３）パラメータ推定用係数選定部１０７
次に、パラメータ推定用係数選定部１０７は、撮像データ入力部１０１から得られたデータを用いて、パラメータ推定用係数蓄積部１０６から適切なパラメータ推定用係数を選択する（ステップ３）。
【０１１５】
まず、撮像データから、デモザイキングを行う領域の近傍におけるＲＧＢ成分の変化量の自己相関行列Ｃを得る。Ｃの各要素（Ｃｘｘ，Ｃｘｙ，Ｃｘｙ，Ｃｙｙ）とλア及びθの関係は、式（１２）のようになる。
【数１２】
2009010847.tif 000014
【０１１６】
（３−４）パラメータ推定用係数選定部１０７
その後、パラメータ推定用係数選定部１０７は、パラメータ推定用係数蓄積部１０６に記録されているλア及びθの組と、式（１３）を用いて実データから得られたλア及びθの組を比較し、最も近い組み合わせに対応するパラメータ推定用係数を出力する。
【０１１７】
最も近い組み合わせは、例えば以下のようにして選べばよい。
【０１１８】
まず、蓄積されているθと実データから得られたθを比較し、最も近いもの以外を候補から除外する。
【０１１９】
次に、残されたパラメータ推定用係数に対応するλ＋と実データから得られたλ＋を比較し、最も近いもの以外を候補から除外する。
【０１２０】
最後に、次に残されたパラメータ推定用係数に対応するλ−と実データから得られたλ−を比較し、最も近かったものを選択結果として出力する。
【０１２１】
選ばれたパラメータ推定用係数は、実際に撮像データ入力部１０１から得られたＣを用いて算出したパラメータ推定用係数に近いものになるため、出力画像の画質が第２の実施形態において色成分推定用重み決定方法２もしくは色成分推定用重み決定方法３を用いた場合に近づく。
【０１２２】
（３−５）パラメータ推定部１０２
次に、パラメータ推定部１０２は、式（１０）を用いてＲＧＢ成分を記述する関数のパラメータｐを得る（ステップ４）。
【０１２３】
（３−６）色成分推定部１０３
最後に、色成分推定部１０３は、推定されたモデルのパラメータｐを用いて出力画像の各点の色成分を推定する。色成分推定部１０３は第１の実施形態と同じ動作をする（ステップ５）。
【０１２４】
（４）効果
このように、本実施形態に係わる色成分補間装置１００によれば、撮像データを用いて蓄積済みのパラメータ推定用係数の中から適切なものを選ぶようにすることで点毎の擬似逆行列演算を削減し計算コストを削減することが可能となる。
【０１２５】
（５）変更例
なお、本実施形態では、撮像する毎にステップ１を実行する必要はない。
【０１２６】
例えば、色成分補間装置１００の製造時にステップ１を実行し、以後の撮像時は常にステップ２から開始することも可能であり、このようにすることでより高速に色成分の補間を行うことが可能である。
【０１２７】
（第４の実施形態）
次に、第４の実施形態について説明する。これまで第１〜第３の実施形態を用いてＢａｙｅｒ配列のデモザイキングについて述べたが、本発明は図１３の１３０１のようなカラーフィルタパターンでもデモザイキングすることが可能である。第４の実施形態では、カラーフィルタの変更への対応について説明する。
【０１２８】
例えば、図８の左上の３×３画素のブロック、すなわち、図１３の１３０１のようなパターンをデモザイキングするには、式（２）の行列Ｗを式（１３）のように変更する。
【数１３】
2009010847.tif 000015
【０１２９】
式（２）のＷと式（１３）のＷの違いは１列目から３列目の列ベクトルにおける０と１の配置である。カラーフィルタに合わせてWを変更した後の処理は、第１〜第３の実施形態と同様である。
【０１３０】
このようにＲＧＢからなるカラーフィルタを持つ撮像素子であれば、１列目から３列目の列ベクトルにおける０と１の配置の変更でカラー配列の変化に対処できる。但し、式（１２）の１３０２のようなパターンでは、１列目の列ベクトルが全て０になってしまうためデモザイキングに用いるブロックには必ずＲＧＢのカラーフィルタを持つ画素が一つ以上含まれている必要がある。
【０１３１】
なお、色成分重み推定手法１と色成分重み推定手法３は適用可能であるが、色成分重み推定手法２はブロック内の垂直方向及び水平方向に同じ色のカラーフィルタを持つ画素が配置される撮像素子でなければ適用することはできない。
【０１３２】
（第５の実施形態）
これまでの第１〜第４の実施形態の説明では、正方格子状に画素が配置された撮像素子のデモザイキングについて述べたが、本発明は例えば、図９や図１０のような、正方格子を４５度回転させたような画素配列（ＰＩＡ配列, Pixel Interleaved Array）の撮像素子にも対処することができる。また、色成分を算出したい点ｐｉ*が画素の座標ｐｉのいずれかと一致している必要もない。第５の実施形態では、画素の配置の変更への対応について説明する。
【０１３３】
例えば、図９のような配列の撮像素子から、正方格子状に画素が配置されたデジタル画像を得るには、例えば図１６における点１５０１のように画素と画素の隙間にあたる点のＲＧＢ成分を推定する必要がある。このような場合でも、式（２）の行列Ｗは式（１４）のように得ることができる。
【数１４】
2009010847.tif 000016
【０１３４】
このように画素の位置ｐｉを用いることで、ＰＩＡ配列以外にも六角形の画素を隙間なく敷き詰めた六角格子などにも対応することが可能である。
【０１３５】
なお、色成分重み推定手法１と色成分重み推定手法３は適用可能であるが、色成分重み推定手法２はブロック内の垂直方向及び水平方向に同じ色のカラーフィルタを持つ画素が配置される撮像素子でなければ適用することはできない。
【０１３６】
（第６の実施形態）
これまで、第１〜第５の実施形態の説明では、単板撮像素子のデモザイキングについて述べたが、本発明は、単板撮像素子以外の撮像素子にも適用することが可能である。
【０１３７】
例えば、坂口隆他、「民生用新３ＣＣＤカメラシステム」、テレビジョン学会技術報告，Vol.19，No.20，pp47-52,1995.では、３ＣＣＤカメラにおいて、３つのＣＣＤのうち一つの位置を故意にずらすことで解像度感を高めることができる方式（３ＣＣＤ画素ずらし方式撮像装置）が提案されている。
【０１３８】
この撮像装置では、３つのＣＣＤの各画素を出力画像上の点に対応付けることが可能である。そのため、画素が対応付けられた出力画像上の位置をｐｉとすることで、式（１４）の行列Ｗを得ることができる。この撮像装置ではＲとＢに対応する撮像素子の画素の位置が完全に重なっているため、２つ以上のｐｉの値が完全に一致する。しかしカラーフィルタの色が異なるため（すなわち、各行ベクトルの左側の３要素が異なるため）、Ｗのランクが低下せず、上記各実施形態を適用することが可能である。
【０１３９】
（第７の実施形態）
非特許文献１では、カメラを微小移動させて同じ被写体を撮像した複数枚の画像を合成して各入力画像より高い解像度を得る超解像の手法についても開示されている。また、画像の代わりに単板撮像素子の撮像データそのものを用いる手法も、奥富正敏，清水雅夫，中村智幸，後藤知将，矢野高宏,「単板ＣＣＤ  画像データからのダイレクトカラースーパーレゾリューション,」第１０回画像センシングシンポジウム講演論文集（SSII2004)，pp.507-512, 2004.）に開示されている。超解像では、同一の被写体をカメラを移動させて複数回撮像する。撮像するたびに得られる画像の各画素、もしくは撮像データを1枚の出力画像上の各点に対応付けることで、擬似的に画素数を増やして高解像度の画像を得る。
【０１４０】
撮像データが対応付けられた位置をｐｉとすれば、提案手法により超解像を行うことも可能である。
【０１４１】
但し、色成分重み推定手法１〜３は適用可能であるが、画素の配置に規則性がなくなるため、第３の実施形態のような高速化は不可能になる。
【０１４２】
（第８の実施形態）
第８の実施形態では、第１〜第３の実施形態で用いた色成分のモデルに対して、以下の３つの変更を加える実施形態を説明する。
【０１４３】
（１）色混合比を保つモデルへの対応
第１〜第３の実施形態では色成分間の差が位置に寄らず一定であるとするモデル化を行った。しかし、本実施形態では、色成分間の比が位置に寄らず一定であるとするモデル化を行うこともできる。
【０１４４】
そのために、式（２）のｓ＝（ｓ０，ｓ１，・・・）ｔを各要素の対数をとったベクトルｓ’＝（ｌｏｇ（ｓ０＋α），ｌｏｇ（ｓ１＋α），・・・）とすればよい。
【０１４５】
αは、ｓｉ＝０の場合でもｓ’の値が無限大に発散しないようにするための定数で、例えば１．０とする。この場合、デモザイキングした結果のＲＧＢ成分はｅｘｐ（ｆｒ（ｘ，ｙ））−α，ｅｘｐ（ｆｇ（ｘ，ｙ））−α，ｅｘｐ（ｆｇ（ｘ，ｙ））−αとなる。
【０１４６】
色は、本来ＲＧＢ成分の混合比によって規定されるため、ＲＧＢ成分の差が一定であるとするモデル化では局所領域内で色が変化してしまうが、この変更を加えるとＲＧＢ成分の混合比を一定に保つことができる。但し、ＲＧＢ成分間で大きな差がある領域においては、値の小さな色成分の微小変動が値の大きな色成分に大きな影響を与えてしまうことがある。
【０１４７】
（２）基底関数の変更への対応
第１〜第３の実施形態では色成分を、ｘ，ｙの多項式でモデル化しているが、それ以外の式でモデル化することができる。
【０１４８】
式（１）のモデル化は、色成分関数ｆｒ（ｘ，ｙ），ｆｇ（ｘ，ｙ），ｆｂ（ｘ，ｙ）をｐ*近傍でテイラー展開し、近似の精度をある次元で打ち切ることと等価である。しかし、テイラー展開以外にもフーリエ級数やウェーブレットを用いて色成分関数ｆｒ（ｘ，ｙ），ｆｇ（ｘ，ｙ），ｆｂ（ｘ，ｙ）を展開し、上記各実施形態の方法の枠組みを適用することが可能である。
【０１４９】
色成分関数を複数の基底関数の重み付け和でモデル化し、その重みを周辺の画素から推定する方法は、上記各実施形態の範囲内である。
【０１５０】
（３）スプラインへの対応
スプライン補間の考え方を取り入れることができる。
【０１５１】
これまでに説明した方法は全て、色成分を記述する関数ｆｒ（ｘ，ｙ），ｆｇ（ｘ，ｙ），ｆｂ（ｘ，ｙ）の画素が存在する位置における値と測定された信号ｓｉの差を小さくできる関数を得る方法である。
【０１５２】
これに対し、スプライン補間の考え方を導入すると、ＲＧＢ成分の色成分関数ｆｒ（ｘ，ｙ），ｆｇ（ｘ，ｙ），ｆｂ（ｘ，ｙ）の微分量と画像上の各点で画素から得られた信号量の変化量の差を小さくできるモデル化も可能である。具体的方法について述べる。
【０１５３】
まず、式（１）のモデルに従うと、Ｒ成分の点毎の微分量は式（１５）のようになる。なお、第１の実施形態のモデル化の方法では、ＧＢ成分の点毎の微分量もＲ成分と同一になる。
【数１５】
2009010847.tif 000017
【０１５４】
一方で例えば図１１のような３×３画素のデモザイキングの場合、ＲＧＢ成分の空間微分量は全て同一としているため、中心画素１１０４におけるＢ成分のｘ軸方向の微分量はＧの微分量と同一となり、０．５（ｓ５−ｓ３）／（ｘ５−ｘ３）で近似できる。これを用いると式（２）を変更して式（１６）のような新たな色成分モデル誤差Ｅ２を定義することができる。
【数１６】
2009010847.tif 000018
【０１５５】
エネルギー関数Ｅ１のように各行に式（１０）のような重みをつけたい場合、式（１６）の一番下の行につける重みの決定法は３つ考えられる。
【０１５６】
第１の決定方法は、色成分推定用重み決定部１０２が微分を求めた点に付与する重みをそのまま付与する方法である。例えば、式（１６）の例の場合、一番下の行の重みはＫ４となる。
【０１５７】
第２の決定方法は、色成分推定用重み決定部１０２が微分を求めるために用いた点に付与する重みの片方を選ぶ方法である。例えば、式（１６）の例の場合、一番下の行の重みはＫ３もしくはＫ５となる。
【０１５８】
第３の決定方法は、第１、２の決定方法で決めた重みに１より小さな正の実数αを乗じる方法である。微分量は画素から得られた２つの信号量の差であり、２つの信号それぞれにノイズがのるため、その値は真の値からずれやすくなる。そのため微分量に対応する重みはそれ以外のものに対する重みより小さくなることが望ましい。
【０１５９】
（第９の実施形態）
これまで説明した方法では、エッジに着目し同一カラーフィルタを持つ２つ以上の画素の信号量の差を用いて色成分推定用重みを決定していた。しかし、例えば白飛びや黒つぶれが生じた場合、その画素の信号量は式（１）のモデルから外れている可能性が高い。この対策としては２種類考えられる。
【０１６０】
（１）第１の方法
まず、各画素に色成分推定用重み決定方法１〜３で決定した重みを与えた後、各画素の信号量を参照して重みを修正することが考えられる。
【０１６１】
例えば、撮像素子が出力できる最大信号量ｓｍａｘと信号量ｓｉの差が所定の閾値Δｓ以下であれば白飛びである可能性が高いと考え、Ｋｉに１より小さい実数α（例えば０．１）をかける、同様に信号量ｓｉが所定の閾値Δｓ以下であれば黒つぶれである可能性が高いと考え、Ｋｉにαをかけるという対策をとることができる。
【０１６２】
（２）第２の方法
次に、白飛びや黒つぶれが起きている画素が一つの色成分に集中している場合は、その色成分のみ、他の色成分と導関数が異なるというモデル化をすることが可能である。
【０１６３】
例えば、図１１、式（２）においてＷの５行目を削除し、ベクトルｐの要素からβｂを除くことで、Ｒ成分とＧ成分を推定できる。Ｂ成分は例えば近傍画素を用いた線形補間等で補えばよい。
【０１６４】
（変更例）
本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。
【０１６５】
また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
【０１６６】
さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０１６７】
【図１】本発明の第１の実施形態に係わる色成分補間装置１００の構成を示すブロック図である。
【図２】第１の実施形態の動作を示すフローチャートである。
【図３】第２の実施形態に係わる色成分補間装置１００の構成を示すブロック図である。
【図４】第２の実施形態の動作を示すフローチャートである。
【図５】第３の実施形態に係わる色成分補間装置１００の構成を示すブロック図である。
【図６】第３の実施形態の動作を示すフローチャートである。
【図７】Ｂａｙｅｒ配列のカラーフィルタの図である。
【図８】Ｂａｙｅｒ配列でないカラーフィルタを装着した正方格子の撮像素子の図である。
【図９】正方格子でない撮像素子の例である。
【図１０】図９と異なる正方格子でない撮像素子の例である。
【図１１】Ｂａｙｅｒ配列から３×３画素のブロックの切り出す方法の例を説明する図である。
【図１２】Ｂａｙｅｒ配列から３×３画素のブロックの切り出す方法のうち、図１１とは異なる例を説明する図である。
【図１３】図８の撮像素子から３×３画素のブロックを切り出す方法の例を説明する図である。
【図１４】拡大前の画像の画素と拡大後の画像の画素の相対的な位置関係を示す図である。
【図１５】第２の実施形態に関わる色成分推定用重み決定方法２の概念を表す図である。
【図１６】図９の撮像素子において画素間の隙間における色成分を推定する方法の概念を表す図である。
【図１７】第２の実施形態に関わる色成分推定用重み決定方法３において各点における色成分の変化量を求める方法の概念を表す図である。
【図１８】図１７で用いられる画素の位置を表すｘ，ｙの２軸に加え、信号量に対応するｓ軸を用いて定義される３次元空間の概念を表す図である。
【符号の説明】
【０１６８】
１００    色成分補間装置
１０１    撮像データ入力部
１０２    パラメータ推定部
１０３    色成分推定部
【図１】
2009010847.tif 000019
【図２】
2009010847.tif 000020
【図３】
2009010847.tif 000021
【図４】
2009010847.tif 000022
【図５】
2009010847.tif 000023
【図６】
2009010847.tif 000024
【図７】
2009010847.tif 000025
【図８】
2009010847.tif 000026
【図９】
2009010847.tif 000027
【図１０】
2009010847.tif 000028
【図１１】
2009010847.tif 000029
【図１２】
2009010847.tif 000030
【図１３】
2009010847.tif 000031
【図１４】
2009010847.tif 000032
【図１５】
2009010847.tif 000033
【図１６】
2009010847.tif 000034
【図１７】
2009010847.tif 000035
【図１８】
2009010847.tif 000036