(57)【要約】【課題】  色度信号のエリアシングによって生じる色モアレを低減させるとともに、偽色を低減させるようにする。【解決手段】  図１２の４色配列は、Ｒ，Ｂが対角に交互配置であり、右上がり方向に１画素ごとに交互の周期、右下がり方向に２画素ごとの交互周期である。このようなフィルタ配列から抽出されたモザイク画像に基づいて、粗補間処理部は、注目画素位置の色と同一の第１の色Ｃｒの強度と、第２の色Ｃｅの強度の組を複数個算出する。統計量算出部は、Ｃｒの強度とＣｅの強度の色分布形状に関する統計量を算出する。回帰演算処理部は、注目画素位置の色Ｃｒの強度、並びに色分布形状の統計量に基づいて、注目画素位置のＣｅ推定値を算出する。これにより、色度信号のエリアシングによって生じる色モアレと偽色の２つ現象の両方を解決し、より、高画質な出力画像を提供することができる。本発明は、デジタルスチルカメラに適用できる。【選択図】図１２
2005136766.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像して処理する画像処理装置において、
分光感度が異なる複数種類のフィルタを有し、複数種類の前記フィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像を取得する画像取得手段と、
前記画像取得手段により取得された前記モザイク画像から、前記画素ごとに前記フィルタの前記分光感度により決まる複数の色に対応する強度情報を有するカラー画像を生成する画像処理手段と
を備え、
複数種類の前記フィルタにおいては、そのうち第１のフィルタと第２のフィルタが、前記画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第２の所定の周期で交互に配置されている
ことを特徴とする画像処理装置。
【請求項２】
前記画像処理手段は、
注目画素の色の強度である注目画素色強度を取得する色強度取得手段と、
前記注目画素の近傍の画素を用いて、前記注目画素と同一の第１の色の強度と、前記第１の色とは異なる第２の色の強度との組を複数個生成する生成手段と、
前記生成手段により生成された前記強度の組に基づいて、前記第１の色と前記第２の色との空間における色分布形状を推定する色分布形状推定手段と、
前記色分布形状推定手段により推定された前記色分布形状と前記色強度取得手段により取得された前記注目画素色強度に基づいて、前記注目画素の前記第２の色の強度を推定する強度推定手段と
を備えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の所定の周期は、前記第１のフィルタと前記第２のフィルタを１画素ごとに交互に配置するものであり、
前記第２の所定の周期は、前記第１のフィルタと前記第２のフィルタを２画素ごと、または３画素ごとに交互に配置するものである
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記画像取得手段の前記画像センサの前記複数種類の前記フィルタは、前記第１のフィルタ、前記第２のフィルタ、および第３のフィルタにより構成され、前記第３のフィルタは、市松状に配置されている
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画像取得手段の前記画像センサの前記複数種類の前記フィルタは、前記第１のフィルタ、前記第２のフィルタ、第３のフィルタ、および第４のフィルタにより構成され、前記第３のフィルタおよび前記第４のフィルタは、それぞれ水平方向および垂直方向に１画素おきの正方格子状に配置されている
ことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記画像取得手段の前記画像センサの前記複数種類の前記フィルタは、前記第１のフィルタ、前記第２のフィルタ、第３のフィルタ、および第４のフィルタにより構成され、前記第３のフィルタおよび前記第４のフィルタは、前記画像センサの画像格子の一方の対角方向に第３の所定の周期で交互に配置されるとともに、他方の対角方向に、前記第３の所定の周期とは異なる第４の所定の周期で交互に配置されている
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
画像を撮像して処理する画像処理装置の画像処理方法において、
分光感度が異なる複数種類のフィルタであって、そのうちの第１のフィルタと第２のフィルタが、前記画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第２の所定の周期で交互に配置されている前記フィルタのうちのいずれかが画素ごとに用いられている画像センサによって撮像されたモザイク画像を取得する画像取得ステップと、
前記画像取得ステップの処理により取得された前記モザイク画像から、前記画素ごとに、前記フィルタの前記分光感度により決まる複数の色に対応する強度情報を有するカラー画像を生成する画像処理ステップと
を含むことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法に関し、特に、カラー固体撮像素子を用いて得られたモザイク画像信号から、全画素に複数色を補間してカラー画像信号を獲得するデモザイク処理（色補間処理、または、同時化処理）が実行される場合に用いて好適な画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
ＣＣＤイメージセンサやCMOSイメージセンサなどの固体撮像素子は、通常、受光素子が格子状に配置され、各受光素子の光電変換によって生じた電荷量を順次読み出すことができるような構造を有している。通常、これらの受光素子は、単一の分光特性を有するので、固体撮像素子から得られる画像信号は、色に関して１チャネル（単色）である。したがって、１つの固体撮像素子でカラー画像（例えばRGBなどの３チャネル画像）を得たい場合、受光素子ごとに分光特性（色）の異なるフィルタをつけた固体撮像素子を用いるようになされている。このような１つのカラー固体撮像素子を用いた撮像装置は、一般に単板カラー撮像装置と称される。
【０００３】
カラー固体撮像素子から得られる画像信号は１チャネル画像なので、１画素ごとに得られるのは、対応する受光素子のフィルタの色の強度のみである。すなわち、カラー固体撮像素子から得られる画像信号は、色に関してモザイク状の画像となる。単板カラー撮像装置のカラー固体撮像素子の出力画像であるモザイク画像から、多チャネル画像を得るためには、適当な画像処理によって、モザイク画像の各画素の色情報を、その周囲の画素位置に補間することが必要である。このような画像処理は、一般に、色補間処理、デモザイク処理、または、同時化処理などと称される。このように、デモザイク処理は、カラー固体撮像素子を使った単板カラー撮像装置には必須の処理であり、従来からさまざまな技術が開発されてきた。
【０００４】
このデモザイク処理において問題となるのが、高周波の画像信号の再現特性である。固体撮像素子においては、２次元格子状に配置された受光素子に、それぞれ異なるオンチップカラーフィルタが貼られているために、同じ色、すなわち、同じ分光感度を持つ画素は、本来の受光素子の配列ピッチよりも大きいピッチでしか配列されていない。そのため、カラー固体撮像素子は、オンチップカラーフィルタがない白黒の固体撮像素子と比較すると、撮像した画像にエリアシングが発生しやすい。画像の輝度成分にエリアシングが発生した場合、それは、しばしば被写体輪郭部におけるジャギネスとして観察される。また、画像の色度成分にエリアシングが発生した場合、それはしばしば被写体輪郭部に不自然な色がつく偽色、または細かい縞模様に色がついてみえる色モアレとして観察される。デモザイク処理においては、ジャギネスをいかに抑制するかということに加えて、偽色や色モアレを如何に抑制するかということが重要な課題である。
【０００５】
現在最も広く用いられている色配列である原色系ベイヤー（Bayer）配列を図１に示す。ベイヤー配列では、Ｒ,Ｇ,Ｂの３つの原色系色フィルタを用い、Ｇを市松状に、ＲとＢを線順次に配置するようになされている（以下、原色系ベイヤー配列を単にベイヤー配列と称する）。ベイヤー配列においては、Ｇは市松状に配置されるため、Ｇ信号は、水平、垂直の全位相において存在するが、ＲおよびＢは線順次であるために、それぞれに対応する信号は、水平、垂直にそれぞれ１ラインおきにしか存在しない。
【０００６】
ベイヤー配列では、ＲＧＢのうち、人の視感度特性に最も近い分光特性を持つＧが一番密に存在するので、従来では一般的にＧの画素情報から輝度成分を作り出す方法が用いられている。この方法の場合、再現される輝度成分の限界周波数はベイヤー配列のＧのサンプリング周波数で決まり、水平および垂直方向には、０．５cycle/pixel、斜め45度方向には、１/（２×sqrt（２））cycle/pixelとなる。理論的には水平または垂直に最も限界が高いが、実際には水平・垂直方向には１画素おきにしかＧが存在しないので、０．５cycle/pixelの水平または垂直の波を再現するには、水平または垂直それぞれの波に、最適な補間フィルタを適用する必要がある。この問題に対し、水平方向および垂直方向それぞれの波に最適な補間フィルタを準備し、画像上の各局所領域での波の方向を判別し、判別した結果に応じて水平方向の補間フィルタの結果と垂直方向の補間フィルタの結果を合成した値を補間値とする技術がある（例えば、特許文献１および非特許文献１）。これらの技術を用いることによって、ベイヤー配列のＧの画素情報を用いて、水平および垂直方向に、理論的限界である０．５cycle/pixelに近い高周波の再現が可能となる。このようにＧが市松に配置される場合においては、輝度成分のエリアシングに起因するジャギネスを低減する方法が考案されている。
【０００７】
また、色度成分のエリアシングに起因する色モアレの低減については、以下のような方法が提案されている。
【０００８】
例えば、特許文献２および特許文献３には、RGBの３つの色フィルタをランダムに配置、すなわちサンプリング間隔を不均一にする方法が開示されており、この方法により、サンプリングの周期性に起因するモアレを低減しようとしている。特許文献２に開示されているRGBランダム配列の一例を図２に示す。このようにサンプリングをランダムにすると、高周波の入力信号に対してもその全位相を等確率で観測することができるため、エリアシングを低減することができる。
【０００９】
また例えば、非特許文献２には、図３または図４に示されるように、RGBの３原色の色フィルタのうちＧを市松状に配置し、Ｒ，Ｂを残りの画素位置に擬似的にランダムに配置する方法が開示されている。ここで、擬似的なランダム配置とは、大局的には周期性を持つが、局所的には一見周期性がないかのように見える配置を示す。この方法も、サンプリングの周期性に起因するモアレを低減することが目的である。ここで、高周波の再現限界に関しては市松配列がランダム配列より有利であるため、輝度信号再現への寄与が大きいＧのみ規則的な市松配列としたところに特徴がある。さらに、図３または図４に示されるような配列にすることにより、各色に対して上下左右に配置される別の色の数を一定に保つことができ、色相互の位置関係に起因する各画素の感度への影響を小さくできるという効果もある。
【００１０】
さらに、色度成分のエリアシングに起因する偽色の低減については、以下のような技術がある。
【００１１】
例えば、特許文献４には、RGBの３原色のカラー固体撮像素子において,Ｒ，Ｇ，Ｂを水平に配置した３画素のセットを垂直方向にジグザグにずらしながら配置することによって、ＲＧＢそれぞれの出現確率を均等にし、かつ撮像面上の任意の直線が全ての色を通過するようした色配列が提案されている。ある直線があるフィルタ色によって観測されない場合、その直線の正しい色再現が不可能になり偽色が発生するが、この方法は、任意の直線が全てのフィルタ色によって観測されることを保証することによって偽色の発生を抑えようとするものである。
【００１２】
一方、カラー固体撮像素子に用いられるオンチップカラーフィルタの分光特性を人の視覚の等色関数に一致させることが原理的に不可能であることから、例えば、ベイヤー配列の３原色に対して、更に１色追加した４色の強度を得るようにした撮像素子を用い、更に、このような撮像素子により取得された４色の強度値にリニアマトリックスを適用することによって、３原色の強度値を得て、撮像装置の色再現を向上させる方法がある。例えば、４色の強度を得るために従来の３原色に黄色のオンチップフィルタを追加した４色配列を持つカラー固体撮像素子を用いて、色再現性を向上させることができる技術がある（例えば、特許文献５）。
【特許文献１】特開平７−２３６１４７号公報
【特許文献２】特開平９−１６８１５７号公報
【特許文献３】特開２０００−３１６１６８号公報
【特許文献４】特開平１１−２８５０１２号公報
【特許文献５】特開２００２−２７１８０４号公報
【非特許文献１】村田、森、前中、岡田および千原、“ＰＳ−ＣＣＤにおける相関判別色分離方式”、映像情報メディア学会誌、Ｖｏｌ．５５，Ｎｏ．１，ｐｐ．１２０−１３２,２００１
【非特許文献２】“The Color Filter Array FAQ”,In the web site of FillFactory, http://www.fillfactory.com/htm/technology/htm/rgbfaq.htm
【発明の開示】
【発明が解決しようとする課題】
【００１３】
しかしながら、ジャギネス、偽色、および色モアレの低減の両立という観点からみれば、上述した様々な方法のそれぞれに以下に説明するような問題がある。
【００１４】
上述したランダム配列または擬似ランダム配列を用いる方法では、エリアシングが色度成分の低周波にまで及んだ色モアレに関しては有効であるが、エリアシングが色度成分の高周波において現れた結果である輪郭部の偽色に対してはそれほど有効な方法ではない。ランダム配列または擬似ランダム配列はサンプリング周波数以上の高周波の入力信号によって発生するエリアシングの振幅を低減することはできる。また、偽色という現象は色度信号の高周波域において生じるエリアシングだと捉えることができる。しかしながら、それはＧ信号とＲ，Ｂ信号のサンプリング周波数の差によって生じるので、各チャネルの入力のエリアシングを低減するだけでは偽色を低減させることができない。偽色を効果的に低減するには、Ｇ信号とＲ，Ｂ信号のサンプリング周波数をそろえるか、正しく再現された輝度信号の高周波成分を利用して色度信号の高周波成分を正しく算出できるデモザイク処理をおこなうか、のいずれかが必要である。前者の方法では、相対的にＧのサンプリング周波数が下がり、輝度信号の再現が劣化するという問題があるので、限られた画素配列の範囲で対処するには後者の方法のほうががよい。
【００１５】
しかしながら、前記ランダム配列または擬似ランダム配列を用いる方法を開示している上述した文献には、Ｒ，Ｂのランダム配列から色度信号を正しく再現する技術については述べられていない。例えば、特許文献３においては、ランダム配列における各色強度の補間方法として最近傍（NearestNeighbor）補間を用いるが、このような補間方法では各色強度の高周波成分の位相をそろえることは不可能である。また例えば、特許文献２においては、擬似逆行列を用いた色強度補間をおこなっているが、この方法が正しく機能するためには、画像に統計的白色性（異なる画素間の強度に相関がない）が必要であり、これは偽色を容認してしまう前提であるので、この方法では偽色低減の効果は期待できない。
【００１６】
また、非特許文献２には、Ｇ市松ＲＢランダム配列に適用できるデモザイク処理が２例開示されている。しかし、その第１の方法は色度成分に平滑化フィルタをかける方法であり、色度成分の高周波の再現は不可能である。平滑化フィルタによって偽色成分の振幅を小さくすることは可能であるが、偽色が発生する領域は逆に輪郭部の周りに広がってしまう。また、第２の方法は輝度成分と各色強度間の差分が一定である仮定をおく方法であり、この仮定は暗に各色強度間に常に正の相関があることを仮定してしまう。そのため、例えば、赤から緑に色が急激に変化するような輪郭部ではその仮定が崩れるために正しい色強度を算出することができず、偽色が発生する。
【００１７】
さらに例えば、特許文献４には、偽色を発生させないようにするために、任意の直線が全てのフィルタ色で観測できるような色配列、すなわち、単一の色の配置をみると垂直方向にジグザクに連続するような配置が提案されている。この手法では、そのような配列の特徴を実現するために、Ｒ，Ｇ，Ｂの存在頻度を均等にしているが、そのためＧの高周波再現性がベイヤー配列のそれに比べて劣化している（具体的にはtanθ＝２の方向）。高周波まで再現された輝度信号を得るようとすれば、ＧのほかにＲとＢの情報を使う必要があるが、この手法の色配列ではRGB全て同じパターンで位相のみが水平方向に１画素ずれた配置となっているため、エリアシングのポイントはRGB全て同じであって、かつ各フィルタの分光感度の相関があまり高くないとすれば、正しく再現された信号をRGBでお互いの相補することはできない。すなわち、この色配列では、ランダム配列と同様に、ベイヤー配列に匹敵する輝度信号の再現は難しいという問題がある。
【００１８】
本発明はこのような状況に鑑みてなされたものであり、単板カラー撮像装置において色度信号のエリアシングによって生じる色モアレを低減させるとともに、偽色を低減させることができるようにするものである。
【課題を解決するための手段】
【００１９】
本発明の画像処理装置は、分光感度が異なる複数種類のフィルタを有し、複数種類のフィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像を取得する画像取得手段と、画像取得手段により取得されたモザイク画像から、画素ごとにフィルタの分光感度により決まる複数の色に対応する強度情報を有するカラー画像を生成する画像処理手段とを備え、複数種類のフィルタにおいては、そのうち第１のフィルタと第２のフィルタが、画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第２の所定の周期で交互に配置されていることを特徴とする。
【００２０】
画像処理手段は、注目画素の色の強度である注目画素色強度を取得する色強度取得手段と、注目画素の近傍の画素を用いて、注目画素と同一の第１の色の強度と、第１の色とは異なる第２の色の強度との組を複数個生成する生成手段と、生成手段により生成された強度の組に基づいて、第１の色と第２の色との空間における色分布形状を推定する色分布形状推定手段と、色分布形状推定手段により推定された色分布形状と色強度取得手段により取得された注目画素色強度に基づいて、注目画素の第２の色の強度を推定する強度推定手段とを備えるようにすることができる。
【００２１】
第１の所定の周期は、第１のフィルタと第２のフィルタを１画素ごとに交互に配置するものであり、第２の所定の周期は、第１のフィルタと第２のフィルタを２画素ごと、または３画素ごとに交互に配置するものとすることができる。
【００２２】
画像取得手段の画像センサの複数種類のフィルタは、第１のフィルタ、第２のフィルタ、および第３のフィルタにより構成され、第３のフィルタは、市松状に配置されているようにすることができる。
【００２３】
画像取得手段の画像センサの複数種類のフィルタは、第１のフィルタ、第２のフィルタ、第３のフィルタ、および第４のフィルタにより構成され、第３のフィルタおよび第４のフィルタは、それぞれ水平方向および垂直方向に１画素おきの正方格子状に配置されているようにすることができる。
【００２４】
画像取得手段の画像センサの複数種類のフィルタは、第１のフィルタ、第２のフィルタ、第３のフィルタ、および第４のフィルタにより構成され、第３のフィルタおよび第４のフィルタは、画像センサの画像格子の一方の対角方向に第３の所定の周期で交互に配置されるとともに、他方の対角方向に、第３の所定の周期とは異なる第４の所定の周期で交互に配置されているようにすることができる。
【００２５】
本発明の画像処理方法は、分光感度が異なる複数種類のフィルタであって、そのうちの第１のフィルタと第２のフィルタが、画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第２の所定の周期で交互に配置されているフィルタのうちのいずれかが画素ごとに用いられている画像センサによって撮像されたモザイク画像を取得する画像取得ステップと、画像取得ステップの処理により取得されたモザイク画像から、画素ごとに、フィルタの分光感度により決まる複数の色に対応する強度情報を有するカラー画像を生成する画像処理ステップとを含むことを特徴とする。
【００２６】
本発明においては、分光感度が異なる複数種類のフィルタを有し、複数種類のフィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像が取得され、取得されたモザイク画像から、画素ごとにフィルタの分光感度により決まる複数の色に対応する強度情報を有するカラー画像が生成され、複数種類のフィルタにおいては、そのうち第１のフィルタと第２のフィルタが、画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第２の所定の周期で交互に配置されている。
【発明の効果】
【００２７】
本発明によれば、モザイク画像が取得されて、モザイク画像が処理されて、カラー画像が生成される。特に、単板カラー撮像装置において色度信号のエリアシングによって生じる色モアレを低減させることができる。また、偽色を低減させることができる。
【発明を実施するための最良の形態】
【００２８】
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が、本明細書に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
【００２９】
更に、この記載は、本明細書に記載されている発明の全てを意味するものでもない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
【００３０】
本発明によれば、画像処理装置を提供することができる。この画像処理装置（例えば、図５のデジタルスチルカメラ２０１）は、分光感度が異なる複数種類のフィルタ（例えば、ＲＧＢＥの各色に対応するカラーフィルタ）を有し、複数種類の前記フィルタのうちのいずれかが画素ごとに用いられている画像センサによってモザイク画像を取得する画像取得手段（例えば、図５のＣＣＤイメージセンサ２１３）と、前記画像取得手段により取得された前記モザイク画像から、前記画素ごとに前記フィルタの前記分光感度により決まる複数の色に対応する強度情報を有するカラー画像を生成する画像処理手段（例えば、図１８のデモザイク処理部２５３）とを備え、複数種類の前記フィルタにおいては、そのうち第１のフィルタと第２のフィルタが、前記画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第２の所定の周期で交互に配置されている。
【００３１】
画像処理手段は、注目画素の色の強度である注目画素色強度（例えば、Ｃｒcenter）を取得する色強度取得手段（例えば、図１８の注目画素選択部２８２）と、前記注目画素の近傍の画素を用いて、前記注目画素と同一の第１の色（例えば、Ｃｒ）の強度と、前記第１の色とは異なる第２の色（例えば、Ｃｅ（Ｒ，Ｇ，Ｂ、またはＥ））の強度との組を複数個生成する生成手段（例えば、図１８の粗補間処理部２８３）と、前記生成手段により生成された前記強度の組に基づいて、前記第１の色と前記第２の色との空間における色分布形状を推定する色分布形状推定手段（例えば、図１９の統計量算出部２８４）と、前記色分布形状推定手段により推定された前記色分布形状と前記色強度取得手段により取得された前記注目画素色強度に基づいて、前記注目画素の前記第２の色（例えば、Ｒ，Ｇ，Ｂ、またはＥ）の強度を推定する強度推定手段（例えば、図２１の画素強度推定部３８２）とをさらに含むものとすることができる。
【００３２】
第１の所定の周期は、第１のフィルタと第２のフィルタを１画素ごとに交互に配置するもの（例えば、図６または図７のＲとＢの右上がり方向の周期）であり、第２の所定の周期は、第１のフィルタと第２のフィルタを２画素ごと、または３画素ごとに交互に配置するもの（例えば、図６または図７のＲとＢの右下がり方向の周期）とすることができる。
【００３３】
画像取得手段の画像センサの複数種類のフィルタ（例えば、図６または図７に示される配列）は、第１のフィルタ（例えば、Ｒ）、第２のフィルタ（例えば、Ｂ）、および第３のフィルタ（例えば、図６のＧ）により構成され、第３のフィルタは、市松状に配置されている（例えば、図６または図７に示されるように配置されている）ようにすることができる。
【００３４】
画像取得手段の画像センサの複数種類のフィルタ（例えば、図１２または図１３）は、第１のフィルタ（例えば、Ｒ）、第２のフィルタ（例えば、Ｂ）、第３のフィルタ（例えば、Ｇ）、および第４のフィルタ（例えば、Ｅ）により構成され、第３のフィルタおよび第４のフィルタは、それぞれ水平方向および垂直方向に１画素おきの正方格子状に配置されている（例えば、図１２または図１３のように配置されている）ようにすることができる。
【００３５】
画像取得手段の画像センサの複数種類のフィルタ（例えば、図１４または図１５）は、第１のフィルタ（例えば、Ｒ）、第２のフィルタ（例えば、Ｂ）、第３のフィルタ（例えば、Ｇ）、および第４のフィルタ（例えば、Ｅ）により構成され、第３のフィルタおよび第４のフィルタは、画像センサの画像格子の一方の対角方向に第３の所定の周期（例えば、図１４の場合、右上がり方向に２画素ごとの交互周期）で交互に配置されるとともに、他方の対角方向に、第３の所定の周期とは異なる第４の所定の周期（例えば、図１４の場合、右下がり方向に１画素ごとの交互周期）で交互に配置されている（例えば、図１４または図１５に示されるように配置されている）ようにすることができる。
【００３６】
また、本発明によれば、画像処理方法が提供される。この画像処理方法は、分光感度が異なる複数種類のフィルタ（例えば、ＲＧＢＥの各色に対応するカラーフィルタ）であって、そのうちの第１のフィルタと第２のフィルタが、前記画像センサの画素格子の一方の対角方向に第１の所定の周期で交互に配置されているとともに、他方の対角方向に第２の所定の周期で交互に配置されている前記フィルタのうちのいずれかが画素ごとに用いられている画像センサによって撮像されたモザイク画像を取得する画像取得ステップ（例えば、図２２のステップＳ１）と、前記画像取得ステップの処理により取得された前記モザイク画像から、前記画素ごとに、前記フィルタの前記分光感度により決まる複数の色に対応する強度情報を有するカラー画像を生成する画像処理ステップ（例えば、図２２のステップＳ４）とを含む。
【００３７】
以下、図を参照して、本発明の実施の形態について説明する。
【００３８】
図５は、本発明を適用した演算処理を実行するデジタルスチルカメラ２０１の構成例を示すブロック図である。
【００３９】
図５に示すように、デジタルスチルカメラ２０１は、レンズ２１１、絞り２１２、ＣＣＤ（Charge Coupled Devices）イメージセンサ２１３、相関２重サンプリング（CDS：Correlated Double Sampling）回路２１４、Ａ／Ｄコンバータ２１５、ＤＳＰ（Digital Signal Processor）ブロック２１６、タイミングジェネレータ２１７、Ｄ／Ａコンバータ２１８、ビデオエンコーダ２１９、表示部２２０、コーデック（CODEC：COmpression／DECompression）処理部２２１、メモリ２２２、ＣＰＵ２２３、および、操作入力部２２４から構成される。
【００４０】
ＣＣＤとは、光情報を電気信号に変換する（光電変換）半導体素子であり、ＣＣＤイメージセンサ２１３は、光を電気に変換する受光素子（画素）を複数個並べ、光の変化を画素ごとに独立して電気信号に変換するものである。相関２重サンプリング回路２１４は、ＣＣＤイメージセンサ２１３の出力信号に含まれるノイズのうちの主な成分であるリセットノイズを、出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することにより除去する回路である。Ａ／Ｄコンバータ２１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換する。
【００４１】
ＤＳＰブロック２１６は、信号処理用プロセッサと画像用ＲＡＭを持つブロックで、信号処理用プロセッサが画像用ＲＡＭに格納された画像データに対して、予めプログラムされた画像処理、または、ハードウェアによる演算処理として構成された画像処理を行うものである。タイミングジェネレータ２１７は、ＣＣＤを駆動するために必要な、水平および垂直の各種駆動パルス、並びに、アナログフロント処理で用いるパルスを、基準クロックに同期して発生させるロジック回路である。また、タイミングジェネレータ２１７により発生されるタイミングクロックは、バス２２５を介して、コーデック処理部２２１、メモリ２２２、および、ＣＰＵ２２３にも供給されている。
【００４２】
Ｄ／Ａコンバータ２１８は、供給されたデジタル信号をアナログ信号に変換して出力する。ビデオエンコーダ２１９は、供給されたアナログ信号を、表示部２２０において表示可能な形式のビデオデータにエンコードする。表示部２２０は、例えば、LCD（Liquid Crystal Display）などで構成され、ビデオエンコーダ２１９から供給されたビデオ信号を表示する。
【００４３】
コーデック処理部２２１は、例えば、JPEG（Joint Picture Experts Group）などの、デジタル画像データの圧縮または伸張アルゴリズムによる処理を実行する。メモリ２２２は、例えば、半導体メモリ、磁気ディスク、光磁気ディスク、または、光ディスクなどにより構成され、ＣＰＵ２２３の制御に基づいて、供給されたデータを記憶したり、または、記憶しているデータを出力する。なお、メモリ２２２は、デジタルスチルカメラ２０１に対して着脱可能なようになされていても良い。
【００４４】
ＣＰＵ２２３は、バス２２５を介して、操作入力部２２４から供給されたユーザの操作入力を基に、デジタルスチルカメラ２０１の各部を制御する。操作入力部２２４は、録画を指令する場合のボタンをはじめとして、例えば、ジョグダイヤル、キー、レバー、ボタン、またはタッチパネルなどにより構成され、ユーザによる操作入力を受ける。
【００４５】
レンズ２１１および絞り２１２を介して入力された光は、ＣＣＤイメージセンサ２１３に入射され、受光素子での光電変換によって電気信号に変換され、相関２重サンプリング回路２１４に供給される。相関２重サンプリング回路２１４は、ＣＣＤイメージセンサ２１３の出力の各画素信号のうち、映像信号期間をサンプリングしたものと、基準期間をサンプリングしたものとを引き算することによりノイズを除去し、Ａ／Ｄコンバータ２１５に供給する。Ａ／Ｄコンバータ２１５は、供給されたノイズ除去後のアナログ信号をデジタル信号に変換し、ＤＳＰブロック２１６の画像用ＲＡＭに一時格納する。
【００４６】
タイミングジェネレータ２１７は、撮像中の状態において、一定のフレームレートによる画像取り込みを維持するように、ＣＣＤイメージセンサ２１３、相関２重サンプリング回路２１４、Ａ／Ｄコンバータ２１５、および、ＤＳＰブロック２１６を制御する。
【００４７】
ＤＳＰブロック２１６は、一定のレートで画素のストリームデータの供給を受け、画像用ＲＡＭに一時格納し、信号処理用プロセッサにおいて、一時格納された画像データに対して、後述する画像処理を実行する。ＤＳＰブロック２１６は、画像処理の終了後、ＣＰＵ２２３の制御に基づいて、その画像データを表示部２２０に表示させる場合は、Ｄ／Ａコンバータ２１８に、メモリ２２２に記憶させる場合は、コーデック処理部２２１に画像データを供給する。
【００４８】
Ｄ／Ａコンバータ２１８は、ＤＳＰブロック２１６から供給されたデジタルの画像データをアナログ信号に変換し、ビデオエンコーダ２１９に供給する。ビデオエンコーダ２１９は、供給されたアナログの画像信号を、ビデオ信号に変換し、表示部２２０に出力して表示させる。すなわち、表示部２２０は、デジタルスチルカメラ２０１において、カメラのファインダの役割を担っている。コーデック処理部２２１は、ＤＳＰブロック２１６から供給された画像データに対して、所定の方式の符号化を施し、符号化された画像データをメモリ２２２に供給して記憶させる。
【００４９】
また、コーデック処理部２２１は、操作入力部２２４からユーザの操作入力を受けたＣＰＵ２２３の制御に基づいて、メモリ２２２に記憶されているデータのうち、ユーザに指定されたデータを読み取り、所定の復号方法で復号し、復号した信号をＤＳＰブロック２１６に出力する。これにより、復号された信号が、ＤＳＰブロック２１６を介してＤ／Ａコンバータ２１８に供給され、アナログ変換された後、ビデオエンコーダ２１９によりエンコードされて、表示部２２０に表示される。
【００５０】
ところで、図５のＣＣＤイメージセンサ２１３のオンチップカラーフィルタには、通常、３種類または４種類の色が用いられており、これらのオンチップカラーフィルタは、受光素子ごとに、交互に異なる色になるようモザイク状に配列されている。以下に、本発明を適用した３色のオンチップカラーフィルタ配列の例を、図６および図７を参照して説明する。
【００５１】
図６は、Ｇが市松配列であって、Ｒ，Ｂが対角に交互配置となっており、右上がり方向に１画素ごとに交互の周期、右下がり方向に２画素ごとの交互周期となっているＲＧＢ（Red，Green，Blue：赤、緑、青）の３色配列を示している。
【００５２】
また、図７は、Ｇが市松配列であって、Ｒ，Ｂが対角に交互配置となっており、右上がり方向に１画素ごとに交互の周期、右下がり方向に３画素ごとの交互周期となっているＲＧＢの３色配列を示している。
【００５３】
図６および図７の色配列と、図１に示されるベイヤー配列のＲ，Ｂの配置とを比較すると、図６および図７に示される色配列では、どの６×６画素の局所領域をみても全ての水平および垂直ラインにＲとＢの両方が存在するのに対し、図１に示されるベイヤー配列ではＲ，Ｂに関して、まったく存在しない水平および垂直ラインが１ラインおきにある。したがって、ベイヤー配列では水平または垂直に０．２５cycle/pixelの縞模様がある場合にはＲ，Ｂにおいてエリアシングが発生する可能性があるが、図６および図７に示されるような色配列では、０．２５cycle/pixel以上の縞模様がある場合でもエリアシングが発生を抑えることができる。
【００５４】
次に、図６および図７の色配列と、図２に示されるランダム配列とを比較する。図２に示されるランダム配列ではＲ，Ｇ，Ｂがどこをとってもなるべく等確率でかつ非周期的に配置されるようになっている。したがって、Ｒ，Ｂにとってはベイヤー配列のようなエリアシングの問題がないという利点があるが、ベイヤー配列と比較すると、Ｇの配置がまばらであるため、輝度信号の高周波成分の再現が難しい。一方、図６および図７に示される色配列では、Ｇに関しては市松状に配置できるため、ベイヤー配列と同等の輝度信号を再現することができる。
【００５５】
次に、図６および図７の色配列と、図３および図４に示されるＧ市松ＲＢランダム配列とを比較する。図６および図７の色配列と、図３および図４に示される色配列は、ともにＧを市松状に配置するので、輝度信号の再現特性については同等である。また、図３および図４に示される色配列では、Ｒ，Ｂに非周期性を持たせているので、色度成分のエリアシングを抑えることができる。しかしながら、そのＲ，Ｂの分布は、図６および図７に示されるＲ，Ｂの分布と比較すると、局所的にみたときの均一性がよくないことがわかる。すなわち、ある水平もしくは垂直ラインをみたとき、そのラインにＲもしくはＢが存在しない範囲は、図３および図４に示される色配列のほうが長い。以下に、Ｒ，Ｂが局所的に、より均一に配置されている方が偽色低減には有利である理由を説明する。
【００５６】
例えば、RGBの３原色のうちのＧを利用して画像の輝度信号が再現できるとして、注目画素近傍におけるＧと例えばＲ（またはＢ）の２色間の色分布形状を線形回帰することによって、色が変化する物体輪郭領域などでもＧとＲ（またはＢ）の間に偽色が生じないようにする場合の色分布形状の推定の様子を説明する。
【００５７】
図８は、２つの物体領域Ａと物体領域Ｂにまたがった輪郭部分が含まれている画像部分の７×７画素の局所領域を示す図である。ここで、上述したようなべイヤー配列（図１）のカラーフィルタにより得られるカラー画像は３色からなるが、ここで、輪郭部分における本発明の優位性を説明するには、２色における場合について説明すれば十分なため、説明の便宜上、図８に示される画像データは、Ｃ１とＣ２の２色で構成されるカラー画像であるものとして説明する。
【００５８】
ここで、図中の物体領域Ａの色を（Ｃ1A,Ｃ2A）とし、物体領域Ｂの色を（Ｃ1B，Ｃ2B）とする。物体領域の境目である輪郭部は、通常、ピントのボケ、画素の受光面積に起因する積分効果、光学的ローパスフィルタの存在等の理由から、両方の物体の色が混合した色になっており、その色（Ｃ1C，Ｃ2C）は、（Ｃ1C，Ｃ2C）＝ＷA×（Ｃ1A，Ｃ2A）＋ＷB×（Ｃ1B，Ｃ2B）とあらわすことができる。ここで、ＷA、ＷBは混合の係数である。
【００５９】
もし、この局所領域の全画素の色が既知であれば、各画素の色を、図９に示されるように、Ｃ１−Ｃ２空間にプロットすることができる。図９において、各画素を示す点は、ノイズや物体のテクスチャに起因する輝度変動により多少散在するものの、輪郭上の画素の色が（Ｃ1A，Ｃ2A）、（Ｃ1B，Ｃ2B）の線形和であらわされる事実から、輪郭部を含むこの領域の画素が、（Ｃ1A，Ｃ2A）、（Ｃ1B，Ｃ2B）を結ぶ直線の近辺に分布することがわかる。したがって、ある画素におけるＣ１強度が既知であり、そのＣ１強度からＣ２強度を推定したいとき、この（Ｃ1A，Ｃ2A）からなるプロット群と、（Ｃ1B，Ｃ2B）からなるプロット群とを結ぶ直線が得られていれば、簡単にＣ２強度を推定できることがわかる。
【００６０】
この直線は、このような局所領域内の画素値のプロットが可能であれば、それを用いてＣ１とＣ２の線形回帰式を計算することにより得られる。ところが、デモザイク処理前の段階では、各画素における既知の色は、それぞれ１つしかない。しかし、注目画素近傍におけるＧと例えばＲ（またはＢ）の２色間の色分布形状を線形回帰することによって、色が変化する物体輪郭領域などでもＧとＲ（またはＢ）の間に偽色が生じないようにする方法では、まず周囲にある画素を利用してＣ１とＣ２の強度の組を生成する（粗補間を実行する）ので、図９のように、画素値のＣ１−Ｃ２空間へのプロットを作ることが可能であり、色分布の線形回帰による正しい色強度の推定を行うことが可能なようになっている。
【００６１】
このように、上述した２色間の色分布形状の線形回帰に基づいた色推定方法は、ベイヤー配列における偽色低減に有効であるが、実はこの方法ではある特徴をもった画像に対しては有効でないことがわかっている。以下にそれを説明する。
【００６２】
図１０は、画像中の０．２５cycle/pixelの周期の垂直方向の縦縞模様にかかる７×７画素の局所領域を示している。ここで、縞模様の一方の色を（Ｃ1A,Ｃ2A）とする。またもう一方の色を（Ｃ1B,Ｃ2B）とする。これら２色の境界はその中間の色（Ｃ1C,Ｃ2C）となっている。ここで、この模様がベイヤー配列のセンサで撮像されたとし、Ｃ１を市松状にあるＧに、Ｃ２をＲに対応させる。Ｃ１は市松状に存在するため、縞模様の強度Ｃ1A，Ｃ1B，Ｃ1Cすべてを計測できる。一方、Ｃ２は水平方向に１画素おきに存在するため、縞模様の位置によって、縞模様の強度Ｃ2A，Ｃ2Bの２つを計測できるか、もしくはＣ2Cの１つだけを計測できるかのどちらかとなり、場合によっては縞模様のＣ２の色変化を計測できない場合があり得る。
【００６３】
そのような状況で色分布形状を推測しようとＣ１−Ｃ２空間に各画素の色をプロットすると、図１１に示すような状態になる。Ｃ２に関してＣ2Cしか計測できない位置であったため、本来、破線のように色分布の回帰直線が推定されるべきところが、実線のような回帰直線が得られてしまい、正しいＣ２強度の推定ができない状態となる。その結果、縞模様の色は本来（Ｃ1A,Ｃ2A）から（Ｃ1B,Ｃ2B）への色変化であるべきものが、（Ｃ1A,Ｃ2C）から（Ｃ1B,Ｃ2C）への色変化と誤推定されるので、それが偽色として見えてしまう。
【００６４】
このように、色分布線形回帰を用いるデモザイク手法をベイヤー配列に適応した場合、図１０に示されるように、垂直（または水平）の０．２５cycle/pixel周期の縞模様で偽色が低減できないという問題があった。しかし、本発明を適用した色配列のオンチップカラーフィルタを用いることで、以下に説明するようにこの問題が解決できる。
【００６５】
例えば、図６および図７に示される３色配列を用いた場合、ＲとＢの両方において、６×６の局所領域をとれば、その中のＲとＢの画素によって、図１０に示される縞模様をなす色を全て計測することができる。また、上述したように、図６および図７に示される色配列ではどの場所の６×６画素の局所領域でもそれが保証されている。このように、本発明を適用した色配列（図６および図７）によれば、Ｃ１−Ｃ２空間に正しい画素情報のプロットを作ることができ、図１１に破線で示される正しい回帰直線を算出することができる。もし仮に、上述した図３または図４に示される色配列を用いた場合、Ｒ，Ｂの局所的な均一性はあまり良くないため、たとえ色分布線形回帰を用いるデモザイク手法を適用したとしても、その偽色低減の効果を図６および図７に示されるような本発明の色配列ほどに期待できない。
【００６６】
なお本発明は、図６および図７に示されるような３色の色配列に限らず、例えば、ＲＧＢの３色に対して、第４の色（以下、Ｅと称する）を加えた４色配列に適用することもできる。本発明を適用した４色配列の例を、図１２および図１３に示す。
【００６７】
図１２および図１３は、図６および図７に示される３色配列のＧに対して、１ラインごとにＧとＥとを交互に配列したものである。
【００６８】
すなわち、図１２に示される４色配列は、Ｒ，Ｂが対角に交互配置となっており、右上がり方向に１画素ごとに交互の周期、右下がり方向に２画素ごとの交互周期となっている。また、図６に示される３色配列のＧに対して、１ラインごとにＧとＥとを交互に配列している。
【００６９】
また、図１３に示される４色配列は、Ｒ，Ｂが対角に交互配置となっており、右上がり方向に１画素ごとに交互の周期、右下がり方向に３画素ごとの交互周期となっている。また、図７に示される３色配列のＧに対して、１ラインごとにＧとＥとを交互に配列している。
【００７０】
図１２および図１３に示されるようなＧとＥの配列であれば、上述した色分布線形回帰を用いるデモザイク手法を用いた場合、ジャギネスの少ない輝度信号を生成することが可能である。さらに、図１４または図１５に示されるような色配列のように、ＧとＥに関してもＲ，Ｂのように非周期性を持たせた配置をとることができる。
【００７１】
ここで、ＣＣＤイメージセンサ２１３のオンチップカラーフィルタの４色配列について更に説明する。ＣＣＤイメージセンサ２１３のオンチップカラーフィルタによって得られるモザイク画像の各画素の強度は、対応するオンチップフィルタの分光特性と入射光の分光特性の積に比例する。図１２および図１３に示される原色系４色配列の各色の分光特性の１例を図１６に示す。フィルタの分光特性は、センサ自体の分光特性およびノイズ特性、後述するリニアマトリックスの係数、フィルタに用いる材質の物理的制約等を考慮しながら注意深く設計する必要がある。本発明を適用する場合、これらのフィルタの分光感度特性に、効果が特に左右されることはないので、上述した色再現性とノイズの特性に配慮して、分光感度を設計するようにすればよい。例えば、図１６では、第４の色Ｅの分光特性を、Ｇよりも短波長側にピークを持つような例を示したが、Ｅは、Ｇよりも長波長側にピークを持つ（少し黄色よりの色に見える）ような分光特性であってもかまわない。
【００７２】
このように、ＣＣＤイメージセンサ２１３のオンチップカラーフィルタに、図１２および図１３に示される色配列のカラーフィルタが用いられている場合、ＤＳＰブロック２１６の画像用ＲＡＭに一時格納されている画像は、各画素とも、Ｒ，Ｇ，Ｂ，Ｅのうちのいずれか１つの色しか持たない。そこで、ＤＳＰブロック２１６の信号処理用プロセッサは、予め組み込まれた画像処理プログラムまたはハードウェアによって、この画像を処理し、全画素において全色のデータを有する画像データを生成する。
【００７３】
図１７は、図５のＤＳＰブロック２１６の更に詳細な構成例を示すブロック図である。なお、以下においては、図１４に示される４色配列のカラーフィルタを用いた場合の例について説明する。
【００７４】
ＤＳＰブロック２１６は、上述したように、画像用ＲＡＭ２４１および信号処理用プロセッサ２４２で構成され、信号処理用プロセッサ２４２は、ホワイトバランス調整部２５１、ガンマ補正部２５２、デモザイク処理部２５３、ガンマ逆補正部２５４、マトリックス処理部２５５、ガンマ補正部２５６、および、ＹＣ変換部２５７で構成される。
【００７５】
Ａ／Ｄコンバータ２１５によってデジタル信号に変換されたモザイク画像は、画像用ＲＡＭ２４１に一時保存される。モザイク画像は、各画素にＲ、Ｇ、Ｂ、または、Ｅのいずれかの色に対応する強度信号、すなわち、ＣＣＤイメージセンサ２１３に用いられているカラーフィルタにより定められる配列（例えば、図１２または図１３を用いて説明した原色４色配列）の周期的なパターンの強度信号により構成されている。
【００７６】
ホワイトバランス調整部２５１は、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理（ホワイトバランスの調整処理）を実行する。ガンマ補正部２５２は、ホワイトバランスが調整されたモザイク画像の各画素強度に対して、ガンマ補正を行う。画像の階調の応答特性を表すために「ガンマ（γ）」という数値が使われる。ガンマ補正とは、表示部２２０に表示される画像の明るさや色の彩度を正しく表示するための補正処理のことである。表示部２２０に出力される信号は、画素ごとに特定の電圧を加えることで、画像の明るさや色が再現されるようになされている。しかしながら、実際に表示される画像の明るさや色は、表示部２２０が有する特性（ガンマ値）により、入力電圧を倍にしてもブラウン管の明るさが倍になるわけではない（非線形性を有する）ため、ガンマ補正部２５２において、表示部２２０に表示される画像の明るさや色の彩度が正しく表示されるように補正する処理が施される。
【００７７】
デモザイク処理部２５３は、ガンマ補正がなされたモザイク画像Ｍγの各画素位置にＲ，Ｇ，Ｂ，Ｅの全ての強度（強度情報）を揃えるデモザイク処理を実行する。したがって、デモザイク処理部２５３からの出力信号は、Ｒγ，Ｇγ，Ｂγ，Ｅγの４つの色に対応する４つの画像信号となる。ガンマ逆補正部２５４は、後段のマトリックス処理部２５５においてマトリックス処理を施すために、デモザイク後の４チャネル画像に適用したガンマ特性の逆を適用して、リニア特性に直す処理を行う。
【００７８】
マトリックス処理部２５５は、予め設定された係数による３行４列のリニアマトリックスを、供給された各画素[Ｒ，Ｇ，Ｂ，Ｅ]に適用することにより、３原色の強度値[Ｒｍ，Ｇｍ，Ｂｍ]に変換する。このマトリックス処理は、リニア特性の画像強度に対して適用する必要がある。リニアマトリックスの係数は、最適な色再現を発揮するために重要な設計項目であるが、マトリックス処理はデモザイク処理後に適用されるので、リニアマトリックス係数の具体値は、デモザイク処理とは関係なく設計することができる。マトリックス処理部２５５の出力は、色補正されたＲｍ，Ｇｍ，Ｂｍの３つの色に対応する３つの画像信号となる。
【００７９】
マトリックス処理後、ガンマ補正部２５６は、色補正された３（Ｒｍ，Ｇｍ，Ｂｍ）チャネル画像に対して再度ガンマ補正を行い、Ｒγ，Ｇγ，Ｂγの３チャネル画像を出力する。ＹＣ変換部２５７はＲγ，Ｇγ，Ｂγの３チャネル画像に、マトリックス処理およびクロマ成分に対する帯域制限を行うことで、Ｙ画像およびＣ画像（YCbCr画像信号）を生成し、出力する。
【００８０】
ＤＳＰブロック２１６の信号処理用プロセッサ２４２においては、デモザイク処理部２５３によるデモザイク処理の前に、ガンマ補正部２５２によりガンマ補正を行うものとしている。これは、ガンマ補正された非線形な画素強度空間においてデモザイク演算を実行することにより、デモザイク処理部２５３のデモザイク処理の信頼性をより高めることができるためである。
【００８１】
このような目的で適用する非線形変換は、ガンマ補正のように１より小さい指数によるべき乗変換が望ましいが、通常カラープロファイル等で用いられているsRGBガンマのように、べき乗部と線形部を組み合わせたような変換であっても、ほぼべき乗関数と同じとみなせるようなものであれば、いずれの非線形変換であってもよい。また、非線形変換を省略するようにしても、デモザイク処理の後に、ガンマ補正などの非線形変換処理を行うようにしてもよいことは言うまでもない。
【００８２】
さらに、デモザイク処理前に適用するガンマ補正部２５２のガンマ特性と、ＹＣ変換前に適用するガンマ補正部２５６のガンマ特性は同じである必要はない。また、もちろん、本発明を適用する上で、デモザイク処理前のガンマ補正が必須というわけではない。
【００８３】
図１８は、全画素位置でＲＧＢＥの全ての色が存在するように、画素位置ごとに順次、そこにない色の強度を補間または推定していく処理であるデモザイク処理を実行する、図１７のデモザイク処理部２５３の更に詳細な構成例を示すブロック図である。
【００８４】
なお、図１８に示される各処理部では、所定の注目画素位置が決定されたときにその注目画素位置において実行する処理を説明している。そのため、実際のデモザイク処理部２５３の動作は、図１８に示される各処理部の処理を、全画素について繰り返し実行した場合に終了される。
【００８５】
デモザイク処理部２５３は、局所領域抽出部２８１、注目画素選択部２８２、粗補間処理部２８３−１乃至２８３−４、統計量算出部２８４−１乃至２８４−４、回帰演算処理部２８５−１乃至２８５−４で構成される。
【００８６】
局所領域抽出部２８１は、デモザイク処理部２５３への入力であるガンマ補正されたモザイク画像（モザイク画像Ｍγ）から、注目画素位置周囲の決まった大きさの局所領域［Ｍγｕ，ｖ］を切り出す。ここでは、切り出す局所領域を、注目画素位置を中心とした７×７画素の矩形領域とする。注目画素選択部２８２は、局所領域から注目画素、すなわち７×７画素の領域の中心にある画素を選択し、選択した注目画素位置における強度（Ｃｒcenter）を出力する。
【００８７】
粗補間処理部２８３−１乃至２８３−４は、７×７画素の局所領域内にある画素を用いて、局所領域内の複数の画素位置において、異なる２つの色（第１の色および第２の色）の強度の組が作れるよう、簡単な演算によって、第１の色と第２の色との画素強度の補間値（以下、ラフな補間値と称する）を、後述する補間方法を用いて算出する。ここで、第１の色は注目画素位置の画素の色と同じ色（以下、第１の色をＣｒと称する）であり、第２の色は４つの粗補間処理部２８３−１乃至２８３−４によって、異なる色が割り当てられる。以下、第１の色をＣｒと称し、第２の色をＣｅと称する。第２の色Ｃｅは、粗補間処理部２８３−１乃至２８３−４の各処理部よって適宜Ｒ，Ｇ，Ｂ，Ｅに読み替えられる。具体的には、粗補間処理部２８３−１には第２の色としてＲが設定され、粗補間処理部２８３−２には第２の色としてＧが設定され、粗補間処理部２８３−３には第２の色としてＢが設定され、粗補間処理部２８３−４には第２の色としてＥが設定されている。すなわち、粗補間処理部２８３−１は、第１の色Ｃｒroughiと第２の色Ｒroughiの補間値の組を出力し、粗補間処理部２８３−２は、第１の色Ｃｒroughiと第２の色Ｇroughiの補間値の組を出力し、粗補間処理部２８３−３は、第１の色Ｃｒroughiと第２の色Ｂroughiの補間値の組を出力し、粗補間処理部２８３−４は、第１の色Ｃｒroughiと第２の色Ｅroughiの補間値の組を出力する。なお、以下において、粗補間処理部２８３−１乃至２８３−４を個々に区別する必要がない場合、粗補間処理部２８３と称する。
【００８８】
本発明においては、各画素位置におけるＲ，Ｇ，Ｂ，Ｅの強度を推定するために、２次の統計量、または、それに相当する値を計算することが必要であり、そのために、同一画素位置における各色の強度が組となって得られている必要がある。この強度の組を生成するために、粗補間処理部２８３は、局所領域内の複数の画素における第１の色と第２の色とのラフな推定値を算出する。
【００８９】
統計量算出部２８４−１乃至２８４−４は、粗補間処理部２８３により算出された複数の補間値の組から、それらの第１の色の平均値（Ｍcr）、第２の色の平均値（Ｍce）、第１の色の分散値（Ｖcrcr）、第１の色および第２の色の共分散値（Ｖcrce）を算出する。なお、第２の色の平均値Ｍｃｅの添え字ｃｅおよび第１の色および第２の色の共分散値Ｖcrceの添え字ｃｅは、統計量算出部２８４−１が処理を実行する場合Ｒに、統計量算出部２８４−２が処理を実行する場合Ｇに、統計量算出部２８４−３が処理を実行する場合Ｂに、統計量算出部２８４−４が処理を実行する場合Ｂに、それぞれ置き換えられる。なお、以下において、統計量算出部２８４−１乃至２８４−４を個々に区別する必要がない場合、統計量算出部２８４と称する。
【００９０】
回帰演算処理部２８５−１乃至２８５−４は、注目画素選択部２８２から入力された注目画素位置における第１の色の強度推定値Ｃｒcenterと、統計量算出部２８４から入力された統計量（第１の色の平均値Ｍcr、第２の色の平均値Ｍce、第１の色の分散値Ｖcrcr、第１の色および第２の色の共分散値Ｖcrce）を用いて、線形回帰計算を行い、注目画素位置における第２の色の強度推定値Ｃｅcenterをそれぞれ算出する。なお、以下において、回帰演算処理部２８５−１乃至２８５−４を個々に区別する必要がない場合、回帰演算処理部２８５と称する。
【００９１】
図１９は、図１８の統計量算出部２８４の構成例を示すブロック図である。
【００９２】
統計量算出部２８４は、平均値算出部３６１、平均値算出部３６３、分散算出部３６２、および共分散算出部３６４によって構成されている。平均値算出部３６１は、粗補間処理部２８３が算出した、局所領域におけるラフな２色の補間値のうちの第１の色Ｃｒの値の強度値Ｃｒroughiのセットに基づき、平均値Ｍcrを算出する。同様に、平均値算出部３６３は、粗補間処理部２８３が算出した、局所領域におけるラフな２色の補間値のうちの第２の色Ｃｅの値Ｃｅroughiのセットに基づいて、平均値Ｍceを算出する。分散算出部３６２は、平均値算出部３６１が算出した第１の色の平均値Ｍcrと、局所領域における第１の色のラフな補間値Ｃｒroughiから、第１の色Ｃｒの分散値Ｖcrcrを算出する。共分散算出部３６４は、平均値算出部３６１が算出した第１の色の平均値Ｍcrと第１の色のラフな補間値Ｃｒroughi、および、平均値算出部３６３が算出した第２の色の平均値Ｍceと第２の色のラフな補間Ｃｅroughi値から、第１の色と第２の色との共分散値Ｖcrceを算出する。
【００９３】
平均値算出部３６１および平均値算出部３６３は、例えば、次の式（１）を用いて、平均値Ｍｃ（以下において、ＭcrおよびＭceをまとめてＭｃと称する）を計算する。
【００９４】
【数１】
2005136766.tif 000003
【００９５】
式（１）において、Ｃroughiは、供給された色Ｃ（Ｒ，Ｇ，Ｂ、またはＥ）のラフな強度補間値のｉ（ｉ＝１乃至Ｎ）番目のデータである。色Ｃは、平均値算出部３６１においては第１の色Ｃｒであり、平均値算出部３６３においては第２の色Ｃｅである。また、ｗｉは、ｉ番目のデータに対する重み値（重み係数）である。
【００９６】
重み値ｗｉは、ｉ番目のデータを算出した画素位置から注目画素位置への距離などを指標として、予め設定されている値である。重み値ｗｉは、注目画素位置に近いほど重み値が大きくなるように設定されるほうが好適である。図２０に、このとき用いられる重み値の例を示す。図中、四角形は７×７の局所領域における画素位置を示し、四角形内の数字が該当する位置のデータの重み値を示す。この重みは、平均値算出部３６１および平均値算出部３６３、分散算出部３６２、並びに共分散算出部３６４で用いられる重み値の例である。
【００９７】
分散算出部３６２および共分散算出部３６４は、例えば、次の式（２）に示される計算式によって共分散値ＶC1C2を計算する。
【００９８】
【数２】
2005136766.tif 000004
【００９９】
この式において、Ｃ1roughiは、色Ｃ１のラフな強度補間値のｉ番目のデータ、Ｃ2roughiは色Ｃ２のラフな強度補間値のｉ番目のデータ、ＭC1は色Ｃ１の平均値、ＭC2は色Ｃ２の平均値である。ｗｉはｉ番目のデータに対する重み値である。重み値ｗｉは、平均値算出部３６１および平均値算出部３６３が用いたものと同じものを用いればよい。
【０１００】
分散算出部３６２においては、色Ｃ１と色Ｃ２がともに第１の色Ｃｒであり、出力ＶC1C2はＣｒの分散値Ｖcrcrとなる。共分散算出部３６４においては、色Ｃ１が第１の色Ｃｒであり、色Ｃ２が第２の色Ｃｅであり、出力ＶC1C2は第１の色Ｃｒと第２の色Ｃｅの共分散値Ｖcrceとなる。
【０１０１】
式（２）を用いて説明した共分散値および分散値の計算が実行された場合、定義どおりの正確な統計量が得られる。しかしながら、式（２）の計算が実行された場合、積算が多く出現するために計算時間が長くなり、この演算をハードウェアで実現したときの回路規模が増加してしまう。そこで、より簡易な計算で、分散および共分散を算出するようにしてもよい。
【０１０２】
例えば、分散値または共分散値の演算に、次の式（３）を用いるようにしてもよい。
【０１０３】
【数３】
2005136766.tif 000005
【０１０４】
式（３）において、関数sgn（ａ，ｂ）は、２変数ａとｂの符号の一致を調べるものである。sgn（ａ，ｂ）の出力は｛１０,−１｝のうちのいずれかであるので、sgn｛ａ，ｂ｝への積算は実際には積算を必要としない。式（３）の計算は、式（２）の計算のｉ番目のＣｒ，Ｃｅの偏差の積算を、Ｃｒ，Ｃｅの絶対偏差の和算に置き換えたものである。このように積算を和算に置き換えても本発明の目的とする局所領域の色分布形状推定には充分な精度を有する近似値を算出することができる。
【０１０５】
また、例えば、分散値または共分散値の演算に、次の式（４）を用いるようにしてもよい。
【０１０６】
【数４】
2005136766.tif 000006
【０１０７】
ここで、式（４）の計算は、式（２）の計算の各ｉ番目のＣｒとＣｅの偏差の積算を、ＣｒとＣｅの絶対偏差の最小値選択に置き換えたものである。もとの分散値または共分散値への近似精度としては、式（３）の計算より、式（４）の計算のほうが、式（２）における分散または共分散演算への近似精度がよい。
【０１０８】
図２１は、図１８の回帰演算処理部２８５の構成例を示すブロック図である。
【０１０９】
回帰演算処理部２８５は、傾き算出部３８１および画素強度推定部３８２で構成されている。
【０１１０】
傾き算出部３８１は、統計量算出部２８４から供給される第１の色Ｃｒと第２の色Ｃｅの共分散値Ｖcrceおよび第１の色の分散値Ｖcrcrに基づいて、Ｃｒ−Ｃｅの色分布の傾きＫを算出する。具体的には、傾き算出部３８１は、式（５）に示されるように分散、共分散値の比率Ｋを演算する。
【０１１１】
【数５】
2005136766.tif 000007
【０１１２】
式（５）において、Ｖthresholdは、ゼロで除算することによって値が発散するのを回避するための定数であり、十分に小さい正の値が予め設定される。式（５）におけるVthresholdを用いて、分母のＣ１の分散をクリップすることにより、ゼロによる除算を回避することができるが、Vthresholdを用いたクリッピングは、更に、画像の平坦部分におけるノイズを低減するために活用することができる。
【０１１３】
画素強度推定部３８２は、統計量算出部２８４から供給される第１の色Ｃｒの平均値Ｍcrおよび第２の色Ｃｅの平均値ＭCe、傾き算出部３８１により算出された分散、共分散値の比率Ｋ、並びに注目画素選択部２８２から供給された注目画素位置における第１の色の強度推定値Ｃｒcenterに基づいて、注目画素位置の第２の色Ｃｅの強度推定値Ｃｅcenterを算出する。具体的には、画素強度推定部３８２は、式（６）に示されるように、注目画素位置の第２の色Ｃｅの推定値Ｃ2centerを算出する。
【０１１４】
【数６】
2005136766.tif 000008
【０１１５】
式（６）において、Ｃ1center、および、Ｃ2centerは、それぞれ、注目画素位置の第１の信号に対応する色Ｃ１（すなわち第１の色Ｃｒ）の強度、および、注目画素位置の第２の信号に対応する色Ｃ２（すなわち第２の色Ｃｅ）の強度推定値である。なお、Ｋは、上述した数（５）により算出された値を用いる。
【０１１６】
次に、図２２のフローチャートを参照して、図５のＤＳＰブロック２１６の処理について説明する。
【０１１７】
ステップＳ１において、画像用ＲＡＭ２４１は、ＣＣＤイメージセンサ２１３に用いられているカラーフィルタにより定められる配列（例えば、図１４を用いて説明した４色配列）の周期的なパターンの強度信号により構成されるモザイク画像を取得して、一時保存する。
【０１１８】
ステップＳ２において、信号処理用プロセッサ２４２のホワイトバランス調整部２５１は、モザイク画像に対して、無彩色の被写体領域の色バランスが無彩色になるように、各画素強度の持つ色に応じて適切な係数をかける処理であるホワイトバランス調整処理を行う。
【０１１９】
ステップＳ３において、ガンマ補正部２５２は、ホワイトバランスがとられたモザイク画像の各画素強度に対し、表示部２２０に表示される画像の明るさや色の彩度が正しく表示されるように、第１のガンマ補正を行う。ガンマ補正部２５２は、モザイク信号Ｍγを出力する。
【０１２０】
ステップＳ４において、デモザイク処理部２５３により、図２３を用いて後述するデモザイク処理が実行される。
【０１２１】
ステップＳ５において、ガンマ逆補正部２５４は、デモザイク処理部２５３からの出力であるＲγ，Ｇγ，Ｂγ，Ｅγの４チャネル画像に適用したガンマ特性の逆を適用してガンマ逆補正処理を施し、ガンマ特性をリニア特性に直す処理を行う。
【０１２２】
ステップＳ６において、マトリックス処理部２５５は、係数が予め設定された３行４列のリニアマトリックスを、ガンマ逆補正部２５４から供給されたＲ，Ｇ，Ｂ，Ｅの４チャネル画像に適用し、３原色の強度値[Ｒｍ,Ｇｍ,Ｂｍ]に変換する。このマトリックス処理は、リニア特性の画像強度に対して適用する必要があるので、その処理の前段において、ガンマ逆補正部２５４によりガンマ逆補正が施される必要がある。リニアマトリックスの係数は、最適な色再現を発揮するために重要な設計項目であり、マトリックス処理はデモザイク処理後に適用されるので、マトリックス処理部２５５により用いられるリニアマトリックス係数は、適宜設計される値であってよい。マトリックス処理部２５５の出力は、色補正されたＲｍ,Ｇｍ,Ｂｍの３つの色に対応する３つの画像となる。
【０１２３】
ステップＳ７において、ガンマ補正部２５６は、色補正された３チャネル画像に対して第２のガンマ補正を行う。ガンマ補正部２５６は、Ｒγ，Ｇγ，Ｂγの３つの色に対応する３つの画像を出力する。
【０１２４】
ＹＣ変換部２５７は、ステップＳ８において、ガンマ補正部２５６から供給される、Ｒγ，Ｇγ，Ｂγの３チャネル画像に、ＹＣマトリックス処理およびクロマ成分に対する帯域制限を行とで、ＹＣ変換を行い、Ｙ画像およびＣ画像を生成し、ステップＳ９において、生成したＹ画像およびＣ画像を出力し、処理が終了される。
【０１２５】
このような処理により、ＤＳＰブロック２１６は、供給されたモザイク画像信号に対して、各種処理を施して、Ｙ画像およびＣ画像を生成し、ＣＰＵ２２３の制御に基づいて、その画像データを表示部２２０に表示させる場合は、Ｄ／Ａコンバータ２１８に、メモリ２２２に記憶させる場合は、コーデック処理部２２１に供給する。
【０１２６】
次に、図２３のフローチャートを参照して、図２２のステップＳ４において実行されるデモザイク処理について説明する。
【０１２７】
局所領域抽出部２８１は、ステップＳ２１において、未処理の画素のうちのいずれかを注目画素とし、ステップＳ２２において、注目画素位置の周辺の所定数（ｎ×ｎ、ここでは７×７）の画素を、局所領域として抽出し、注目画素選択部２８２および粗補間処理部２８３のそれぞれに供給する。
【０１２８】
ステップＳ２３において、注目画素選択部２８２は、局所領域抽出部２８１から供給された局所領域から注目画素（すなわち７×７画素の領域の中心にある画素）を選択し、選択した注目画素位置における強度（Ｃｒcenter）を回帰演算処理部２８５のそれぞれに出力する。
【０１２９】
ステップＳ２４において、図２４のフローチャートを用いて後述する局所領域内の複数位置で処理画素位置の色Ｃｒ（第１の色Ｃｒ）とＣｅ（第２の色Ｃｅ）の強度の組を算出処理が実行される。この処理は、図１８の粗補間処理部２８３のそれぞれにおいて並行して実行される。
【０１３０】
ステップＳ２５において、統計量算出部２８４は、第１の色Ｃｒと第２の色Ｃｅの色分布形状に関する統計量を算出する。この処理は、図１８の統計量算出部２８４のそれぞれにおいて並行して実行される。なお、この処理の詳細は、図２５を参照して後述する。
【０１３１】
ステップＳ２６において、回帰演算処理部２８５は、ステップＳ２４で算出された第１の色Ｃｒと第２の色Ｃｅの色分布形状の統計量、ステップＳ２３で供給された注目画素位置における強度Ｃｒcenterに基づいて、注目画素位置のＣｅ推定値を算出する。
【０１３２】
ステップＳ２７において、局所領域抽出部２８１は、全ての画素において処理が終了したか否かを判断する。ステップＳ２７において、全ての画素において処理が終了していないと判断された場合、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。ステップＳ２７において、全ての画素において処理が終了したと判断された場合、処理は、図２２のステップＳ５に進む。
【０１３３】
換言すれば、デモザイク処理部２５３を構成する各部は、ある注目画素位置が決定されたときにその注目画素位置においてそれぞれの処理を実行し、全画素において、ステップＳ２１乃至ステップＳ２６の処理が終了された場合、処理が終了される。
【０１３４】
このような処理により、ＣＣＤイメージセンサ２１３が有するカラーフィルタの配列に基づいて得られるモザイク画像をデモザイク（色補間、または、同時化）して、各画素において、カラーフィルタを構成する各色が補間された画像データを得ることができる。
【０１３５】
次に、図２４のフローチャートを参照して、図２３のステップＳ２４において実行される局所領域内の複数位置で処理画素位置の色Ｃｒ（第１の色Ｃｒ）とＣｅ（第２の色Ｃｅ）の強度の組を算出する処理について説明する。
【０１３６】
ここで、粗補間処理部２８３−１は、注目画素位置の画素と同じ色を第１の色Ｃｒとし、注目画素位置に隣接する画素位置のＲを第２の色Ｃｅとして選択する。粗補間処理部２８３−２は、注目画素位置の画素と同じ色を第１の色Ｃｒとし、注目画素位置に隣接する画素位置のＧを第２の色Ｃｅとして選択する。粗補間処理部２８３−３は、注目画素位置の画素と同じ色を第１の色Ｃｒとし、注目画素位置に隣接する画素位置のＢを第２の色Ｃｅとして選択する。粗補間処理部２８３−４は、注目画素位置の画素と同じ色を第１の色Ｃｒとし、注目画素位置に隣接する画素位置のＥを第２の色Ｃｅとして選択する。すなわち、以下の処理において、第２の色Ｃｅは、粗補間処理部２８３−１乃至２８３−４の各処理部よって適宜Ｒ，Ｇ，Ｂ，Ｅに読み替えられる。
【０１３７】
粗補間処理部２８３は、ステップＳ４１において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｓを初期化して、ｓ＝２とし、ステップＳ４２において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｔを初期化して、ｔ＝２とする。
【０１３８】
ステップＳ４３において、粗補間処理部２８３は、画素位置（ｓ、ｔ）の色が第１の色Ｃｒと同じであるか否かを判定する。すなわち、この処理では、画素位置（ｓ、ｔ）が注目画素の色（第１の色Ｃｒ）と同じであるか否かが判定されている。
【０１３９】
ステップＳ４３において、画素位置（ｓ、ｔ）の色が第１の色Ｃｒと同じであると判定された場合、ステップＳ４４において、粗補間処理部２８３は、画素位置（ｓ、ｔ）と、その周辺８画素位置の計９画素を調べ、その中から第２の色Ｃｅがあれば、Ｃｅの強度と画素位置（ｓ、ｔ）のＣｒの強度との組を作る。例えば、図１４に示される色配列であった場合、任意の画素位置においてそのような組み合わせは必ず１乃至３存在するため、色がＣｒである１つの画素位置（ｓ、ｔ）に当たり、１つ、２つ、または３つのＣｒとＣｅの強度の組が生成される。
【０１４０】
例えば、図１４において注目画素の色（第１の色Ｃｒ）をＲとすると、粗補間処理部２８３−１は、第１の色Ｃｒ（ここでは画素位置（ｓ、ｔ）の色Ｒ）と、第２の色Ｃｅ（粗補間処理部２８３−１においては、Ｒ）の組を作る。このとき、処理画素のＲに隣接するＲは２つであるので、２組のＣｅ強度とＣｒ強度の組が作成される。また、粗補間処理部２８３−２は、第１の色Ｃｒ（ここでは画素位置（ｓ、ｔ）の色Ｒ）と、第２の色Ｃｅ（粗補間処理部２８３−２においては、Ｇ）の組を作る。このとき、処理画素のＲに隣接するＧは２つであるので、２組のＣｅ強度とＣｒ強度の組が作成される。さらに、粗補間処理部２８３−３は、第１の色Ｃｒ（ここでは画素位置（ｓ、ｔ）の色Ｒ）と、第２の色Ｃｅ（粗補間処理部２８３−３においては、Ｂ）の組を作る。このとき、注目画素のＲに隣接するＢは３つであるので、３組のＣｅ強度とＣｒ強度の組が作成される。また、粗補間処理部２８３−４は、第１の色Ｃｒ（ここでは画素位置（ｓ、ｔ）の色Ｒ）と、第２の色Ｃｅ（粗補間処理部２８３−４においては、Ｅ）の組を作る。このとき、注目画素のＲに隣接するＥは２つであるので、２組のＣｅ強度とＣｒ強度の組が作成される。このように、図１４に示される色配列であった場合、色がＣｒである１つの画素位置（ｓ、ｔ）に当たり、１つ、２つ、または３つのＣｒとＣｅの強度の組が生成される。
【０１４１】
ステップＳ４４の処理の後、または、ステップＳ４３において、画素位置（ｓ、ｔ）の色が第１の色Ｃｒと同じでない（異なる）と判定された場合、ステップＳ４５において、粗補間処理部２８３は、第２のレジスタの値ｔを参照し、ｔ＝ｎ−１であるか否かを判断する。
【０１４２】
ステップＳ４５において、ｔ＝ｎ−１ではないと判断された場合、ステップＳ４６において、粗補間処理部２８３は、第２のレジスタの値ｔをｔ＝ｔ＋１とする。その後、処理はステップＳ４３に戻り、それ以降の処理が繰り返される。
【０１４３】
ステップＳ４５において、ｔ＝ｎ−１であると判断された場合、ステップＳ４７において、粗補間処理部２８３は、第１のレジスタの値ｓを参照し、ｓ＝ｎ−１であるか否かを判断する。
【０１４４】
ステップＳ４７において、ｓ＝ｎ−１ではないと判断された場合、ステップＳ４８において、粗補間処理部２８３は、第１のレジスタの値ｓをｓ＝ｓ＋１とする。その後、処理はステップＳ４２に戻り、それ以降の処理が繰り返される。
【０１４５】
ステップＳ４７において、ｓ＝ｎ−１であると判断された場合、ステップＳ４９において、粗補間処理部２８３は、ステップＳ４４の処理の繰り返しにより全画素位置で算出した補間値の組を出力し、処理が終了される。
【０１４６】
このような処理により、粗補間処理部２８３は、注目画素付近の画素から、注目画素位置と同じ色である第１の色Ｃｒと第２の色Ｃｅとの画素強度の補間値（ラフな補間値）を、算出することができる。
【０１４７】
次に、図２５のフローチャートを参照して、図２３のステップＳ２５において実行されるＣｒとＣｅの色分布形状に関する統計量算出処理について説明する。
【０１４８】
ステップＳ９１において、統計量算出部２８４の平均値算出部３６１は、粗補間値処理部２８３から供給された粗補間値のうちの、第１の信号（Ｃｒroughi）を取得する。
【０１４９】
ステップＳ９２において、平均値算出部３６１は、図２６または図２７のフローチャートを用いて後述する平均値計算処理を実行する。
【０１５０】
ステップＳ９３において、平均値算出部３６３は、粗補間値処理部２８３から供給された粗補間値のうちの、第２の信号（Ｃｅroughi）を取得する。
【０１５１】
ステップＳ９４において、平均値算出部３６３は、図２６または図２７のフローチャートを用いて後述する平均値計算処理を実行する。
【０１５２】
ステップＳ９５において、分散算出部３６２は、図３２または図３３のフローチャートを用いて後述する、分散計算処理を実行する。
【０１５３】
ステップＳ９６において、共分散算出部３６４は、図３４のフローチャートを用いて後述する、共分散近似計算処理を実行する。
【０１５４】
これにより、第１の色Ｃｒと第２の色Ｃｅの色分布形状に関する統計量を算出することができる。
【０１５５】
次に、図２６のフローチャートを参照して、図２５のステップＳ９２またはステップＳ９４において実行される平均値計算処理１について説明する。
【０１５６】
ステップＳ１１１において、平均値算出部３６１または平均値算出部３６３は、演算結果である平均値Ｍｘ（平均値Ｍｘの添え字ｘは、第１の色Ｃｒの平均値が算出される場合Ｃｒに、第２の色Ｃｅの平均値が算出される場合Ｃｅに、それぞれ置き換えられる）を初期化する。
【０１５７】
ステップＳ１１２において、平均値算出部３６１または平均値算出部３６３は、取得した補間値を合計する。
【０１５８】
ステップＳ１１３において、平均値算出部３６１または平均値算出部３６３は、ステップＳ１１２において算出された合計値を、取得した値の数で除算する。
【０１５９】
ステップＳ１１４において、平均値算出部３６１または平均値算出部３６３は、ステップＳ１１３の処理により算出された除算結果を出力する。
【０１６０】
また、平均値を求める場合、粗補間された第１の色Ｃｒおよび第２の色Ｃｅ（第１の色Ｃｒと第２の色Ｃｅの組）のそれぞれの強度に、注目画素からの距離により、重み付けを施して、重み付けが施されたＲＧＢＥ強度を基に、平均値を求めるようにしても良い。
【０１６１】
次に、図２７のフローチャートを参照して、図２５のステップＳ９２またはステップＳ９４において実行される平均値計算処理２について説明する。
【０１６２】
ステップＳ１２１において、平均値算出部３６１または平均値算出部３６３は、演算結果である平均値Ｍｘ（平均値Ｍｘの添え字ｘは、第１の色Ｃｒの平均値が算出される場合Ｃｒに、第２の色Ｃｅの平均値が算出される場合Ｃｅに、それぞれ置き換えられる）を初期化する。
【０１６３】
ステップＳ１２２において、平均値算出部３６１または平均値算出部３６３は、取得した補間値に、例えば、図２０に示されるような重み付けを施し、重み付けられた値を合計する。
【０１６４】
重み値ｗiは、ｉ番目のデータの位置から注目画素位置への距離などを指標に予め設定されている値である。重み値ｗｉは、例えば上述した図２０に示されるように、注目画素位置に近いほど重み値が大きくなるように設定されるほうが好適である。
【０１６５】
ステップＳ１２３において、平均値算出部３６１または平均値算出部３６３は、重み付けの総和を演算する。
【０１６６】
ステップＳ１２４において、平均値算出部３６１または平均値算出部３６３は、上述した式（１）を演算する。すなわち、ステップＳ１２４において、平均値算出部３６１または平均値算出部３６３は、ステップＳ１２２において算出された合計値を、取得した値の数と、ステップＳ１２３において算出された重み付けの総和との積で除算する。
【０１６７】
ステップＳ１２５において、平均値算出部３６１または平均値算出部３６３は、ステップＳ１２４の処理により算出された除算結果を出力する。
【０１６８】
このような処理により、式（１）を用いて説明した重み付け平均の演算が実行される。
【０１６９】
次に、図２８のフローチャートを参照して、図２５のステップＳ９５において実行される分散計算処理１について説明する。
【０１７０】
ステップＳ１４１において、統計量算出部２８４の分散算出部３６２は、演算結果であるとして出力する分散値Ｖｘｘ（ここでは、第１の色Ｃｒの分散値であるのでＶCrCrに置き換えられる。以下、省略する）を初期化する。
【０１７１】
ステップＳ１４２において、分散算出部３６２は、平均値算出部３６１により算出された第１の信号の平均値Ｍx（ここでは、Ｍxの添え字ｘは、Ｃｒに置き換えられる。以下、省略する）を取得する。
【０１７２】
分散算出部３６２は、ステップＳ１４３において、局所領域のうちの一部の画素の粗補間値の供給を受け、そのうち、処理を実行する画素位置を示す第１のレジスタの値ｓ'を初期化して、ｓ'＝１とし、ステップＳ１４４において、局所領域のうちの一部の画素の粗補間値のうち、処理を実行する画素位置を示す第２のレジスタの値ｔ'を初期化して、ｔ'＝１とする。
【０１７３】
ステップＳ１４５において、分散算出部３６２は、画素（ｓ’，ｔ’）の強度Ｘ（すなわち、Ｃｒroughi、以下、省略する）から、ステップＳ１４２において取得された平均値ＭCrを減算し、減算結果を２乗して、現在の分散値ＶCrCrに加えた値を、分散値ＶCrCrとして更新する。すなわち、分散算出部３６２は、ＶCrCr＝ＶCrCr＋（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値ＭCr｜）2を演算する。分散算出部３６２は、この演算において、画素（ｓ’，ｔ’）の強度Ｘに対して、例えば、図２０を用いて説明したような重み付けを施すようにしても良い。
【０１７４】
ステップＳ１４６において、分散算出部３６２は、処理を実行する画素位置を示す第２のレジスタの値ｔ'を参照し、ｔ'＝ｎ−２であるか否かを判断する。
【０１７５】
ステップＳ１４６において、ｔ'＝ｎ−２ではないと判断された場合、ステップＳ１４７において、分散算出部３６２は、第２のレジスタの値ｔ'を、ｔ'＝ｔ'＋１に更新して、処理は、ステップＳ１４５に戻り、それ以降の処理が繰り返される。
【０１７６】
ステップＳ１４６において、ｔ'＝ｎ−２であると判断された場合、ステップＳ１４８において、分散算出部３６２は、処理を実行する画素位置を示す第１のレジスタの値ｓ'を参照し、ｓ'＝ｎ−２であるか否かを判断する。
【０１７７】
ステップＳ１４８において、ｓ'＝ｎ−２ではないと判断された場合、ステップＳ１４９において、分散算出部３６２は、第１のレジスタの値ｓ'を、ｓ'＝ｓ'＋１に更新して、処理は、ステップＳ１４４に戻り、それ以降の処理が繰り返される。
【０１７８】
ステップＳ１４８において、ｓ'＝ｎ−２であると判断された場合、ステップＳ１５０において、分散算出部３６２は、局所領域のうちの一部の粗補間値の分散値ＶCrCrを出力し、処理は、図２５のステップＳ９６に進む。
【０１７９】
分散値の算出は、定義上では、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値ＭCr｜）2を分散値の演算に用いた画素の数で除算する必要があるが、分散値の算出結果は、後述する処理により、共分散値の算出結果の除算に用いられるため、共分散値の算出においても同数で除算される場合は、除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。
【０１８０】
なお、分散値の算出において、重み付けが施された場合、式（２）を用いて説明した分散値の定義に示されるように、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値ＭCr｜）2を重み係数の総和で除算することにより、分散値を算出することができる。しかしながら、分散値の算出結果は、後述する処理により、共分散値の算出結果の除算に用いられるため、共分散値の算出においても重み付けが施されているときは、重み係数の総和での除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。
【０１８１】
また、図２８を用いて説明した分散計算処理１においては、２乗の計算があるため、演算処理に時間がかかったり、ハードウェアの規模が大きくなるという問題が発生する。そこで、近似計算により２乗の計算を省略するようにしても良い。
【０１８２】
次に、図２９のフローチャートを参照して、近似計算により２乗の計算を省略する場合に、図２５のステップＳ９５において実行される分散計算処理２について説明する。
【０１８３】
ステップＳ１７１乃至ステップＳ１７４においては、図２８を用いて説明したステップＳ１４１乃至ステップＳ１４４と同様の処理が実行される。
【０１８４】
ステップＳ１７５において、分散算出部３６２は、画素（ｓ’，ｔ’）の強度Ｘから、ステップＳ１７２において取得された平均値ＭCrを減算し、減算結果を２乗して、現在の分散値ＶCrCrに加えた値を、分散値ＶCrCrとして更新する。すなわち、分散算出部３６２は、ＶCrCr＝ＶCrCr＋（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値ＭCr｜）を演算する。分散算出部３６２は、この演算において、画素（ｓ’，ｔ’）の強度Ｘに対して、例えば、図２０に示されるように、平均値の演算と同様の重み付けを施すようにしても良い。
【０１８５】
値｜ｐ｜が正規化され、０≦｜Ｐ｜＜１が成り立っているとき、ｐ2は｜ｐ｜で近似することが可能である。これは、式（３）または式（４）を用いて、式（２）に示される共分散の演算に対する近似演算が可能であることと同様である。
【０１８６】
そして、ステップＳ１７６乃至ステップＳ１８０においては、図２８を用いて説明したステップＳ１４６乃至ステップＳ１５０と同様の処理が実行され、処理は、図２５のステップＳ９６に進む。
【０１８７】
このように、式（３）または式（４）を用いて、式（２）に示される共分散の演算に対する近似演算を行う場合と同様の近似演算処理により、分散値の演算に必要な２乗の計算を省略した近似演算により、分散値の近似値を求めることが可能となる。
【０１８８】
次に、図３０のフローチャートを参照して、図２５のステップＳ９６において実行される、共分散計算処理について説明する。
【０１８９】
ステップＳ２０１において、共分散算出部３６４は、出力される値である共分散値Ｖxy（ここでは、第１の色Ｃｒと第２の色Ｃｒとの共分散値であるのでＶCrCeに置き換えられる。以下、省略する）を初期化する。
【０１９０】
ステップＳ２０２において、共分散算出部３６４は、平均値算出部３６１による図２５のステップＳ９２の処理により算出された第１の信号の平均値ＭCr、および、平均値算出部３６３による図２５のステップＳ９４の処理により算出された第２の平均値ＭCeを取得する。
【０１９１】
ステップＳ２０３において、共分散算出部３６４は、局所領域のうちの一部の画素の粗補間値の供給を受け、そのうち、処理を実行する画素位置を示す第１のレジスタの値ｓ'を初期化して、ｓ’＝１とする
【０１９２】
ステップＳ２０４において、共分散算出部３６４は、局所領域のうちの一部の画素の粗補間値のうち、処理を実行する画素位置を示す第２のレジスタの値ｔ'を初期化して、ｔ’＝１とする
【０１９３】
ステップＳ２０５において、図３２または図３３を用いて後述する積算処理が実行される。
【０１９４】
ステップＳ２０６において、共分散算出部３６４は、処理を実行する画素位置を示す第２のレジスタの値ｔ'を参照し、ｔ’＝ｎ−２であるか否かを判断する。
【０１９５】
ステップＳ２０６において、ｔ'＝ｎ−２ではないと判断された場合、ステップＳ２０７において、共分散算出部３６４は、第２のレジスタの値ｔ'を、ｔ'＝ｔ'＋１に更新して、処理は、ステップＳ２０５に戻り、それ以降の処理が繰り返される。
【０１９６】
ステップＳ２０６において、ｔ'＝ｎ−２であると判断された場合、ステップＳ２０８において、共分散算出部３６４は、処理を実行する画素位置を示す第１のレジスタの値ｓ'を参照し、ｓ'＝ｎ−２であるか否かを判断する。
【０１９７】
ステップＳ２０８において、ｓ'＝ｎ−２ではないと判断された場合、ステップＳ２０９において、共分散算出部３６４は、第１のレジスタの値ｓ'を、ｓ'＝ｓ'＋１に更新して、処理は、ステップＳ２０４に戻り、それ以降の処理が繰り返される。
【０１９８】
ステップＳ２０８において、ｓ'＝ｎ−２であると判断された場合、ステップＳ２０９において、共分散算出部３６４は、共分散値ＶCrCeを出力して、処理は、終了される。
【０１９９】
共分散値の算出は、定義上では、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値ＭCr｜）（｜画素（ｓ’，ｔ’）の強度ｙ−平均値ＭCe｜）を、共分散値の演算に用いた画素の数で除算する必要があるが、共分散値の算出結果は、後述する処理により、分散値の算出結果で除算されるため、分散値の算出においても同数で除算される場合は、除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。
【０２００】
なお、共分散値の算出において、重み付けが施された場合、式（２）を用いて説明した分散値の定義に示されるように、（｜画素（ｓ’，ｔ’）の強度Ｘ−平均値ＭCr｜）（｜画素（ｓ’，ｔ’）の強度ｙ−平均値ＭCe｜）を重み係数の総和で除算することにより、共分散値を算出することができる。しかしながら、共分散値の算出結果は、後述する処理により、分散値の算出結果で除算されるため、分散値の算出においても重み付けが施されているときは、重み係数の総和での除算処理を、分散値の演算および共分散値の演算の両方にて省略することが可能である。
【０２０１】
上述した図３０の共分散計算処理のステップＳ２０５において実行される積算処理には、上述した式（２）を用いて、定義どおり、共分散値が算出される場合に実行される積算処理１と、近似演算を用いて共分散値が算出される場合に実行される積算処理２との、２種類の処理がある。
【０２０２】
次に、図３１のフローチャートを参照して、図３０のステップＳ２０５において実行される積算処理１について説明する。積算処理１は、上述した式（２）を用いて、定義どおり、共分散値が算出される場合に実行される処理である。
【０２０３】
ステップＳ２２１において、共分散算出部３６４は、（第１の信号の画素（ｓ’，ｔ’）の強度Ｘ−第１の信号の平均値ＭCr）と、（第２の信号の画素（ｓ’，ｔ’）の強度Ｙ（すなわち、Ｃｅroughi。以下、省略する）−第２の信号の平均値ＭCe）の積を演算する。
【０２０４】
ステップＳ２２２において、共分散算出部３６４は、ＶCrCe＝ＶCrCe＋ｗｉ（積算結果）とし、処理は、図３０のステップＳ２０６に進む。ここで、ｗｉは、画素（ｓ’，ｔ’）における重み付けの値である。
【０２０５】
このような積算処理が実行されることにより、上述した式（２）を用いて、定義どおり、共分散値が算出される。積算処理１が実行された場合、定義どおりの演算であるので、その演算結果は、非常に精度の高いものであるが、そのかわり、演算に時間がかかったり、ハードウェア実装におけるゲート数の増加を招いてしまう。
【０２０６】
次に、図３２のフローチャートを参照して、図３０のステップＳ２０５において実行される積算処理２について説明する。積算処理２は、上述した式（３）または式（４）を用いて、近似された共分散値が算出される場合に実行される処理である。
【０２０７】
ステップＳ２４１において、共分散算出部３６４は、｛第１の信号の画素（ｓ’，ｔ’）の強度Ｘ−第１の信号の平均値ＭCr｝をｐとする。
【０２０８】
ステップＳ２４２において、共分散算出部３６４は、｛第２の信号の画素（ｓ’，ｔ’）の強度Ｙ−第２の信号の平均値ＭCe｝をｑとする。
【０２０９】
ステップＳ２４３において、図３３、または、図３４を用いて後述する積算近似処理が実行される。
【０２１０】
ステップＳ２４４において、共分散算出部３６４は、ＶCrCe＝ＶCrCe＋（ｐｑの近似値）とし、処理は、図３０のステップＳ２０６に進む。
【０２１１】
次に、図３３のフローチャートを参照して、図３２のステップＳ２４３において実行される積算近似処理１について説明する。積算近似処理１は、上述した式（４）を用いて、近似された共分散値が算出される場合に実行される処理である。
【０２１２】
ステップＳ２６１において、共分散算出部３６４は、図３２のステップＳ２４１およびステップＳ２４２において置き換えられた値ｐおよびｑを用いて、｜ｐ｜≧｜ｑ｜であるか否かを判断する。
【０２１３】
ステップＳ２６１において、｜ｐ｜≧｜ｑ｜であると判断された場合、ステップＳ２６２において、共分散算出部３６４は、ｐ≧０であるか否かを判断する。
【０２１４】
ステップＳ２６２において、ｐ≧０であると判断された場合、ステップＳ２６３において、共分散算出部３６４は、ｐｑの近似値＝＋ｑとし、処理は、図３２のステップＳ２４４に進む。
【０２１５】
ステップＳ２６２において、ｐ≧０ではないと判断された場合、ステップＳ２６４において、共分散算出部３６４は、ｐｑの近似値＝−ｑとし、処理は、図３２のステップＳ２４４に進む。
【０２１６】
ステップＳ２６１において、｜ｐ｜≧｜ｑ｜ではないと判断された場合、ステップＳ２６５において、共分散算出部３６４は、ｑ≧０であるか否かを判断する。
【０２１７】
ステップＳ２６５において、ｑ≧０であると判断された場合、ステップＳ２６６において、共分散算出部３６４は、ｐｑの近似値＝＋ｐとし、処理は、図３２のステップＳ２４４に進む。
【０２１８】
ステップＳ２６５において、ｑ≧０ではないと判断された場合、ステップＳ２６７において、共分散算出部３６４は、ｐｑの近似値＝−ｐとし、処理は、図３２のステップＳ２４４に進む。
【０２１９】
この処理において、ｑまたはｐが０である場合、ｐｑの近似値は必ず０となる。具体的には、ｑが０であるとき、｜ｐ｜≧｜ｑ｜は必ず成り立つので、ｐの値に関わらず、ｐｑの近似値は０となる。また、ｐが０であるとき、｜ｐ｜≧｜ｑ｜は必ず成り立たないので、ｑの値に関わらず、ｐｑの近似値は０となる。
【０２２０】
図３３を用いて説明した処理により、上述した式（３）を用いて、共分散値を近似することが可能である。
【０２２１】
次に、図３４のフローチャートを参照して、図３２のステップＳ２４３において実行される積算近似処理２について説明する。積算近似処理２は、上述した式（４）を用いて、近似された共分散値が算出される場合に実行される処理である。
【０２２２】
ステップＳ２８１において、共分散算出部３６４は、図３２のステップＳ２４１およびステップＳ２４２において置き換えられた値ｐおよびｑを用いて、ｐまたはｑが０であるか否かを判断する。
【０２２３】
ステップＳ２８１において、ｐまたはｑが０であると判断された場合、ステップＳ２８１において、共分散算出部３６４は、ｐｑの近似値を０とし、処理は、図３２のステップＳ２４４に進む。
【０２２４】
ステップＳ２８１において、ｐおよびｑはいずれも０ではないと判断された場合、ステップＳ２８３において、共分散算出部３６４は、ｐおよびｑの関係は、ｐ＞０かつｑ＞０、または、ｐ＜０かつｑ＜０のうちのいずれか一方であるか否かを判断する。
【０２２５】
ステップＳ２８３において、ｐおよびｑの関係は、ｐ＞０かつｑ＞０、または、ｐ＜０かつｑ＜０のうちのいずれか一方であると判断された場合、ステップＳ２８４において、共分散算出部３６４は、ｐｑの近似値を（｜ｐ｜＋｜ｑ｜）／２とし、処理は、図３２のステップＳ２４４に進む。
【０２２６】
テップＳ２８３において、ｐおよびｑの関係は、ｐ＞０かつｑ＞０、または、ｐ＜０かつｑ＜０のうちのいずれでもないと判断された場合、ステップＳ２８５において、共分散算出部３６４は、ｐｑの近似値を、（−｜ｐ｜−｜ｑ｜）／２とし、処理は、図３２のステップＳ２４４に進む。
【０２２７】
なお、図３２のステップＳ２４１およびステップＳ２４２において置き換えられた値ｐまたはｑが、０の値を取ることは、信号の種類によってはまれな場合がある。そこで、ステップＳ２８１およびステップＳ２８２の処理を省略するようにしてもよい。このようにすることにより、演算処理速度を高速化したり、ハードウェアの実装規模を縮小するようにすることが可能である。
【０２２８】
図３４を用いて説明した処理により、上述した式（４）を用いて、共分散値を近似することが可能である。
【０２２９】
図３２乃至図３４を用いて説明した積算処理が実行されることにより、上述した式（３）または式（４）を用いて、共分散値を近似することが可能である。このようにした場合、式（２）に示される定義どおりの共分散値の演算が実行された場合と比較して、計算速度が高速化されたり、計算のために実装されるハードウェアのゲート数を少なくすることができるなどの利点が発生する。
【０２３０】
次に、図３５のフローチャートを参照して、図１６の回帰演算処理部６４３において実行される、補間画素推定処理について説明する。
【０２３１】
ステップＳ２９１において、傾き算出部３８１は、上述した式（５）を用いて、分散値および共分散値に基づく傾きＫを算出する。
【０２３２】
ステップＳ２９２において、画素強度推定部３８２は、ステップＳ２９１において算出された傾きＫ、２つの平均値ＭCrおよびＭCe、並びに、注目画素位置における第１の色の強度推定値Ｃｒcenterに基づいて、上述した式（６）の線形回帰式を用いて、注目画素位置の第２の色Ｃｅの推定値強度推定値Ｃ2centerを算出し、処理が終了される。
【０２３３】
このような処理により、注目画素位置の各色の推定強度を算出することができる。
【０２３４】
以上の処理により、デモザイク処理部２５３は、各画素位置において、Ｒ，Ｇ，Ｂ，Ｅの強度推定値を算出する。本発明では、フィルタ色のうちの２つの色に対して、その周期性を崩すと同時に、それらの色が全水平および垂直ラインになるべく均一に存在するような色配列を採用しているため、色モアレと偽色の低減に好適な信号のサンプリングが可能となる。
【０２３５】
また、本発明においては、色分布の線形回帰を利用したデモザイク手法を用いている。このデモザイク手法は各色の配置に性能が依存しにくいという特徴を持っているので、非周期性を持たせた本発明の色配列にも適用でき、色度信号の高周波成分まで高精細に再現することが可能であり、偽色をより低減させる効果がある。 
【０２３６】
このように、色度信号のエリアシングによって生じる色モアレと偽色の２つ現象の両方を解決し、いままで以上に高画質な出力画像を提供することができる。
【０２３７】
また本発明では、画素ごとに、分光感度（色）が異なる複数種類のフィルタのうちどれか１つを貼るようにしてつくった画像センサと、その画像センサによって得られたモザイク画像から、全画素で全色がそろうようなカラー画像を生成する図１８のデモザイク処理部２５３を備える画像処理装置において、画像センサの色フィルタ配列は、第１の色Ｃ１と第２の色Ｃ２が、画像センサの画素格子の一方の対角方向に、ある周期で交互に配置され、Ｃ１とＣ２が、他方の対角方向に、異なる周期で交互に配置される。このように、規則的な配列であっても、Ｃ１、Ｃ２が全水平および垂直ラインにうまく均一に存在するようにすれば、ランダム配列と同様にエリアシング低減の効果を出すことが可能である。また規則的な配列であればそのパターンをROM（Read Only Memory）などで記憶する必要はなく、簡単なロジックかまたはテーブルによって各画素の色が何かを算出できるという利点もある。
【０２３８】
さらに、全画素で全色がそろうようなカラー画像を生成する図１８のデモザイク処理部２５３には、注目画素位置のある色Ｃｒ（Ｃｉ（ｉ＝１，２，３・・・））の強度Ｃｒcenterを取得する注目画素選択部２８２と、注目画素位置の周囲にある画素を用いて、色Ｃｒ（Ｃｉ）とＣｅ（Ｃｊ（ｊ＝１または２，ｊとｉは異なる）の強度の組を複数個生成する粗補間処理部２８３−１乃至２８３−４と、Ｃｒ（Ｃｉ）とＣｅ（Ｃｊ）の強度の組から、注目画素位置近傍の色のＣｒ−Ｃｅ（Ｃｉ−Ｃｊ）空間における色分布形状を推定する統計量算出部２８４−１乃至２８４−４と、色分布形状と注目画素位置のＣｒ（Ｃｉ）強度Ｃｒcenterに基づいて、注目画素位置のＣｅ（Ｃｊ）強度を推定する回帰演算処理部２８５−１乃至２８５−４を有している。このような構成をとることによって、色分布線形回帰を用いるデモザイク処理をおこなうことが可能となる。色分布線形回帰を用いるデモザイク処理は色配列に対する制約がゆるいので、本発明の色配列にも適用可能である。このデモザイク処理によって偽色低減の効果を得ることができる。さらに、本発明の色配列ではＣ１，Ｃ２が全水平および垂直ラインにうまく均一に存在するようになるので、ベイヤー配列のＲ，Ｂで解決できていなかった、０．２５cycle/pixel周期の縞模様で偽色効果が小さいという問題を解決することができる。
【０２３９】
また、２つ対角方向の色Ｃ１とＣ２の周期は、そのうち一方が１画素ごとに交互であり、他方が２画素ごと、もしくは３画素ごとに交互である。このように、交互配置の周期をとることによって、Ｃ１およびＣ２の均一性が大きくなり、エリアシング低減の効果をなるべく大きくすることができる。
【０２４０】
さらに、複数種類の色フィルタの配列は、Ｃ１，Ｃ２，Ｃ３の３色からなる配列であって、対角に交互に配置されないＣ３は市松状に配置される。このように、Ｃ３を市松状にすることによって、Ｃ３に関しては高周波成分の再現が容易にできるようにする。例えばＣ１をＲ、Ｃ２をＢ、Ｃ３をＧとした場合、Ｇを用いて画像の輝度信号の高周波成分が正しく再現でき、対角方向に異なる周期で交互に配置されるＲとＢによって色度信号のエリアシングも低減され、高品質な画像出力を得ることができる。
【０２４１】
また、複数種類の色フィルタの配列は、Ｃ１，Ｃ２，Ｃ３，Ｃ４の４色からなる配列であって、対角に交互に配置されるＣ１およびＣ２とは異なる色Ｃ３およびＣ４は、それぞれ水平垂直方向に１画素おきの正方格子状に配置される。このように、４色配列においても本発明は適用可能である。例えばＣ１をＲ、Ｃ２をＢ、Ｃ３をＧ、Ｃ４をＧに類似した分光感度のフィルタ色を選択すれば、Ｃ３とＣ４の間の相関の強さを利用した高品質な輝度信号再現が可能となり、対角方向に異なる周期で交互に配置されるＲとＢによって色度信号のエリアシングも低減される。
【０２４２】
さらに、複数種類の色フィルタの配列は、Ｃ１，Ｃ２，Ｃ３，Ｃ４の４色からなる配列であって、対角に交互に配置されるＣ１およびＣ２とは異なる色Ｃ３およびＣ４は、Ｃ３とＣ４が画像センサの画素格子の一方の対角方向に、ある周期で交互に配置され、Ｃ３とＣ４が、他方の対角方向に、異なる周期で交互に配置される。このように、４色配列の２組の２色の組み合わせの両方に本発明を適用することができる。例えばＣ１をＲ、Ｃ２をＢとし、Ｃ３をＧとし、Ｃ４をＧに類似した分光感度のフィルタ色を選択すれば、Ｃ３とＣ４の間の相関の強さを利用して画像の輝度信号を再現するときに、本発明の特徴を活かして輝度信号のエリアシングを低減することが可能になる。
【０２４３】
上述したデモザイク処理部２５３の構成および動作は、本発明を適用した色配列のバリエーションである図１２、図１３および図１５にも適用することができる。また、RGBの３色配列である図６および図７においても、単純にＥ強度の推定に関する処理を省略するだけで、適用することができる。
【０２４４】
なお、RGBの３色配列である図６および図７では、Ｇが市松状に配置されているので、従来からあるベイヤー配列（図１）でＧ強度を補間する技術を用い、ＲとＢの強度推定に関して上記の処理を適用するようにしてもかまわない。また、ＲＧＢＥの４色配列である図１２および図１３では、ＧとＥが水平および垂直に１ラインごとに配置されているので、ＧおよびＥに基づいて画像の輝度成分として高精細、すなわち、各画素位置ごとに算出して、上述した実施の形態の第１の色Ｃｒとして用いれば、ＲとＢの強度を推定することができる。
【０２４５】
以下に、図１２および図１３のＲＧＢＥ４色配列でＧおよびＥに基づいて画像の輝度成分を各画素位置ごとに算出して、これを上述した実施の形態の第１の色Ｃｒとして用いるようにした場合のデモザイク処理部２５３の構成と動作を説明する。
【０２４６】
図３６は、デモザイク処理部２５３の他の構成を示すブロック図である。ＧおよびＥに基づいて輝度成分を算出するようにするデモザイク処理においては、上述した図１８の構成のかわりに図３６のデモザイク処理部２５３の構成を用いる。図３６を図１８と比較すると明らかなように、図３６の（Ｇ＋Ｅ）強度算出部５０１が図１８の注目画素選択部２８２に置き換えられ、図３６の粗補間処理部５０２が、図１８の４つの粗補間処理部２８３−１乃至２８３−４に置き換えられ、さらに図３６では、加算器５０３が設けられている。なお、図３６の粗補間処理部５０２は、図１８の４つの粗補間処理部２８３とは若干異なる処理を実行する。なお、図中、図１８と対応する部分については同一の符号を付してある。すなわち、図３６の局所領域抽出部２８１、４つの統計量算出部２８４−１乃至２８４−４、および４つの回帰演算処理部２８５−１乃至２８５−４については、図３６と図１８で共通の構成である。
【０２４７】
Ｇ＋Ｅ強度算出部５０１は、局所領域抽出部２８１が抽出した局所領域内の画素の情報を用いて注目画素位置における（Ｇ＋Ｅ）強度を算出する。ここで（Ｇ＋Ｅ）は上述した色分布形状の回帰計算を用いた色強度推定方法の第１の色Ｃｒとして用いられる。そのため、粗補間処理部５０２と加算器５０３はこの（Ｇ＋Ｅ）強度とＲ，Ｇ，Ｂ，Ｅ各色の強度との組を局所領域内の画素情報を持ちいて作るように働く。すなわち、粗補間処理部５０２は局所領域内において、Ｒ，Ｇ，Ｂ，Ｅ各色強度のラフな補間値のセットを算出し、加算器５０３はそのうちＧ強度のラフな補間値のセットとＥ強度のラフな補間値のセットを加算することによって、（Ｇ＋Ｅ）強度のラフな補間値のセットを算出する。
【０２４８】
４つの統計量算出部２８４−１乃至２８４−４は（Ｇ＋Ｅ）強度のラフな補間値のセットを第１の色Ｃｒのセットとして受け付けるとともに、Ｒ，Ｇ，Ｂ，Ｅのうちいずれか１つの強度のラフな補間値のセットを第２の色Ｃｅのセットとして受け付ける。そして、統計量算出部２８４−１乃至２８４−４は、上述した統計量算出部２８４−１乃至２８４−４と同様の動作により第１の色Ｃｒと第２の色Ｃｅの統計量を算出する。そして、４つの回帰演算処理部２８５−１乃至２８５−４が、これらの統計量と（Ｇ＋Ｅ）強度算出部５０１が算出した注目画素位置の（Ｇ＋Ｅ）強度値に基づいてＲ，Ｇ，Ｂ，Ｅ各色の注目画素位置の強度を回帰演算により算出するように動作する。
【０２４９】
図３７は、図３６のＧ＋Ｅ強度推定処理部５０１の構成を示すブロック図である。
【０２５０】
Ｇ＋Ｅ強度推定処理部５０１は、Ｇ強度推定部５２１、Ｅ強度推定部５２２、および、加算処理部５２３により構成される。
【０２５１】
Ｇ強度推定部５２１は局所領域の画素を用いて注目画素位置のＧ強度の推定値を算出する。Ｅ強度推定部５２２は局所領域の画素を用いて注目画素位置のＥ強度の推定値を算出する。加算処理部５２３は算出されたＧ強度推定値とＥ強度推定値を加算することによって、注目画素位置の（Ｇ＋Ｅ）強度推定値を算出する。図１２乃至図１５を用いて説明した原色４色配列のカラーフィルタによって得られるモザイク画像においては、ＧまたはＥがどちらも１画素おきの間隔でしか信号が存在しないので、ＧのみまたはＥのみの補間処理だけでは高周波の画像信号を再現できずにジャギネスやジッパーノイズを発生させやすい。しかしながら、ＧまたはＥのいずれかが、互いに水平および垂直に１画素ずれた位置に配置されていることを利用し、ＧとＥの信号を加算したような信号をすべての画素位置に再現することによって、それぞれの限界よりも高い高域の画像信号を再現することが可能になり、出力画像でジャギネスやノイズが発生するのを抑えることができる。
【０２５２】
図３８は、Ｇ強度推定部５２１およびＥ強度推定部５２２の構成を示すブロック図である。まず、Ｇ強度推定部５２１とＥ強度推定部５２２との共通点について説明し、その後、Ｇ強度推定部５２１とＥ強度推定部５２２との差異について説明する。
【０２５３】
Ｇ強度推定部５２１およびＥ強度推定部５２２は、それぞれ、注目画素選択部６０１、第１の処理ブロック６０２、第２の処理ブロック６０３、第３の処理ブロック６０４、テクスチャ方向判定部６０５、および、スイッチ６０６で構成されている。また、第１の処理ブロック６０２は、第１の強度推定部６１１で構成され、第２の処理ブロック６０３および第３の処理ブロック６０４は、第２の強度推定部６２１、第３の強度推定部６２２、第４の強度推定部６２３、およびスイッチ６２４で構成される。
【０２５４】
注目画素選択部６０１は７×７画素の局所領域から注目画素位置すなわち中心の画素を選んでその画素強度を出力する。テクスチャ方向判定部６０５は、局所領域における画像のテクスチャを調べ、それが主に縦縞か横縞かを判定した結果を出力する。第１の強度推定部６１１、第２の強度推定部６２１、第３の強度推定部６２２、第４の強度推定部６２３は、局所領域の画素と注目画素位置における所定の色の強度推定値に基づいて推定すべき色の強度を算出するものである。ここで、推定すべき色とは、Ｇ強度推定部５２１であればＧ、Ｅ強度推定部５２２であればＥをさす。強度推定部が４種類存在するのは、与えられた注目画素位置の色強度が何色であるかということと、局所領域の色の配置によって処理の種類が４種類あるという理由による。スイッチ６２４は、テクスチャ方向判定部６０５が出力するテクスチャ方向の判定結果に基づき、入力された２つの強度推定値のどちらを使用するべきかを選択して出力する。スイッチ６０６は、本来のモザイク画像において注目画素位置の色が何色であるかに基づき、入力された４つの強度推定値のどれを使用するべきかを選択して出力する。スイッチ６０６の出力がＧ強度推定部５２１およびＥ強度推定部５２２の出力となる。
【０２５５】
前述のように、Ｇ強度推定部５２１およびＥ強度推定部５２２の動作は、注目画素位置の色が本来何色であるかによって切り替わらなければならない。図３８に示される構成では、注目画素の色に基づいた４種類の動作について、選択された注目画素をそのまま出力するか、または、第１の処理ブロック６０２、第２の処理ブロック６０３、第３の処理ブロック６０４において推定値を算出し、最後にスイッチ６０６によって、いずれの値を出力するかが選択されて出力されるようになされている。
【０２５６】
４種類の動作について説明する。第１に、モザイク画像の注目画素位置が補間すべき色そのものであれば、特別な推定処理は必要なく、注目画素選択部６０１によって選択されたモザイク画像の注目画素の強度がそのまま出力されればよいので、注目画素選択部６０１の出力がスイッチ６０６から出力される（図中の入力ａが出力される）ようになされる。第２に、モザイク画像の注目画素位置がＧもしくはＥであるが補間すべき色ではない場合は、第１の処理ブロック６０２の第１の強度推定部６１１によって、局所領域のＧとＥの画素情報に基づいて算出された強度推定値が、スイッチ６０６のから出力される（図中の入力ｂが出力される）ようになされる。
【０２５７】
第３に、モザイク画像の注目画素位置が補間すべき色の画素と水平に１画素ずれた状態である場合、第２の処理ブロック６０３の第２の強度推定部６２１、第３の強度推定部６２２、第４の強度推定部６２３、および、スイッチ６２４、または、第３の処理ブロック６０４の第３の強度推定部６２２、第２の強度推定部６２１、第４の強度推定部６２３、およびスイッチ６２４の処理により算出された強度推定値が、スイッチ６０６から出力される（図中の入力ｃまたはｄが出力される）ようになされる。第４に、モザイク画像の注目画素位置が補間すべき色の画素と垂直に１画素ずれた状態であるときには、第３の場合と同様に、第２の処理ブロック６０３の第２の強度推定部６２１、第３の強度推定部６２２、第４の強度推定部６２３、および、スイッチ６２４、または、第３の処理ブロック６０４の第３の強度推定部６２２、第２の強度推定部６２１、第４の強度推定部６２３、およびスイッチ６２４の処理により算出された強度推定値が、スイッチ６０６から出力される（図中の入力ｃまたはｄが出力される）ようになされる。第３の場合と第４の場合、すなわち、注目画素の色がＲまたはＢであるとき、スイッチ６０６は、第２の処理ブロック６０３または第３の処理ブロック６０４の処理により算出された強度推定値を、フィルタの配列によって適宜選択する。
【０２５８】
ここで第２の処理ブロック６０３の動作について説明する。第２の強度推定部６２１は注目画素位置の色強度と局所領域の画素情報を用いて補間すべき色の強度推定値を算出する。第３の強度推定部６２２は注目画素位置の色強度と局所領域の画素情報を用いてＧもしくはＥのうち補間すべき色とは反対の色の強度推定値を算出する。そして、第３の強度推定部６２２による強度推定値に基づいて、第４の強度推定部６２３が補間すべき色の強度推定値を算出するようになっている。このようにして２つの強度推定値が算出されているが、それらはスイッチ６２４において、テクスチャ方向判定部６０５が判定したテクスチャ方向に基づき、いずれか一方が選択されて出力される。
【０２５９】
次に、第３の処理ブロック６０４の動作について説明する。第３の強度推定部６２２は注目画素位置の色強度と局所領域の画素情報を用いて補間すべき色の強度推定値を算出する。第２の強度推定部６２１は注目画素位置の色強度と局所領域の画素情報を用いてＧもしくはＥのうち補間すべき色とは反対の色の強度推定値を算出する。そして、第２の強度推定部６２１による強度推定値に基づいて、第４の強度推定部６２３が補間すべき色の強度推定値を算出するようになっている。このようにして２つの強度推定値が算出されているが、それらはスイッチ６２４において、テクスチャ方向判定部６０５が判定したテクスチャ方向に基づき、いずれか一方が選択されて出力される。
【０２６０】
このようにすることによって、細かい縞模様のように高周波成分が大きい画像信号に対する再現性を向上させることができる。
【０２６１】
以上、Ｇ強度推定部５２１およびＥ強度推定部５２２の動作の共通部分について説明したが、Ｇ強度推定部５２１とＥ強度推定部５２２との違いは、補間すべき色がＧかＥか、また、それによって、水平に隣接する色および垂直に隣接する色がＲかＢかの違いであって、それによってスイッチ６０６の振る舞いが異なる、という点のみである。図３９を用いて、注目画素の色に対して、Ｇ強度推定部５２１とＥ強度推定部５２２のそれぞれのスイッチ６０６の出力について説明する。
【０２６２】
図３９に示されるように、Ｇ強度推定部５２１のスイッチ６０６は、注目画素がＲのとき、第３の処理ブロック６０４で算出された強度推定値または第２の処理ブロック６０３で算出された強度推定値をスイッチ６０６から出力（図中の入力ｄまたはｃを出力）し、注目画素がＧのとき、注目画素選択部６０１の出力をスイッチ６０６から出力（図中の入力aを出力）し、注目画素がＢのとき、第２の処理ブロック６０３または第３の処理ブロック６０４で算出された強度推定値をスイッチ６０６から出力（図中の入力ｃまたはｄを出力）し、注目画素がＥのとき、第１の処理ブロック６０２で算出された強度推定値を、スイッチ６０６のから出力（図中の入力ｂを出力）する。また、図３９に示されるように、Ｅ強度推定部５２２のスイッチ６０６は、注目画素がＲのとき、第２の処理ブロック６０３または第３の処理ブロック６０４で算出された強度推定値を、スイッチ６０６から出力（図中の入力ｃまたはｄを出力）し、注目画素がＧのとき、第１の処理ブロック６０２で算出された強度推定値をスイッチ６０６のから出力（図中の入力ｂを出力）し、注目画素がＢのとき、第３の処理ブロック６０４または第２の処理ブロック６０３で算出された強度推定値をスイッチ６０６から出力（図中の入力ｄまたはｃを出力）し、注目画素がＥのとき、注目画素選択部６０１の出力をスイッチ６０６から出力（図中の入力ａを出力）する。
【０２６３】
図４０は、図３８の第１の強度推定部６１１、第２の強度推定部６２１、第３の強度推定部６２２、または、第４の強度推定部６２３の構成を示すブロック図である。図３８の第１の強度推定部６１１、第２の強度推定部６２１、第３の強度推定部６２２、および、第４の強度推定部６２３は、粗補間処理部６５１において粗補間を実行する場合に取得される第２の色の選択方法が異なる以外は、基本的に同様の構成を有するものである。
【０２６４】
粗補間処理部６５１は、上述した図１８の粗補間処理部２８３と同様の構成であり、例えば、７×７画素の局所領域内にある画素を用いて、局所領域内の複数の画素位置において、異なる２つの色（第１の色および第２の色）の強度の組が作れるよう、簡単な演算によって、第１の色と第２の色との画素強度の補間値を算出する。
【０２６５】
統計量算出部６５２は、上述した図１８の統計量算出部２８４と同様の構成であり、粗補間処理部６５１により算出された局所領域内の各画素における第１の色と第２の色との強度の組を用いて、２色間の統計量を算出する。具体的には、統計量算出部６５２は、第１の色の平均値、第２の色の平均値、第１の色の分散値、および、第１の色と第２の色の共分散値を演算して出力する。
【０２６６】
回帰演算処理部６５３は、上述した図１８の回帰演算処理部２８５と同様の構成であり、注目画素の画素強度と、統計量算出部６５２が算出した統計量とに基づいて、色分布形状の線形回帰計算を行い、注目画素位置における強度推定値を算出する。
【０２６７】
図３８の第１の強度推定部６１１、第２の強度推定部６２１、第３の強度推定部６２２、および、第４の強度推定部６２３は、以上説明したように、２つの色の統計的関係に基づいて、第１の色の強度推定値から第２の色の強度推定値を算出するものである。４種類の強度推定部の違いは、この２つの色をどのように選ぶかの違いであって、それは粗補間処理部６５１が第１の色Ｃｒと第２の色Ｃｅとして２つの色を選択する方法の差であり、統計量算出部６５２および回帰演算処理部６５３の処理は共通である。第１の強度推定部６１１、第２の強度推定部６２１、第３の強度推定部６２２、および、第４の強度推定部６２３のそれぞれの粗補間処理部６５１の処理は、上述した図２４の処理と同様である。
【０２６８】
次に、図４０のフローチャートを参照して、図３６の粗補間処理部５０２における粗補間処理を説明する。なお図３６の粗補間処理部５０２は、図１８の４つの租補間処理部２８３−１乃至２８３−４の動作をまとめたような動作を実行する。
【０２６９】
粗補間処理部５０２は、ステップＳ３２１において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第１のレジスタの値ｓを初期化して、ｓ＝２とし、ステップＳ３２２において、供給された局所領域の画素のうち、処理を実行する画素位置を示す第２のレジスタの値ｔを初期化して、ｔ＝２とする。
【０２７０】
ステップＳ３２３において、粗補間処理部５０２は、画素位置（ｓ、ｔ）の画素強度、およびその８近傍の画素の強度を取得する。ここで取得された画素強度は、画素位置（ｓ、ｔ）の画素強度を含む９個の画素強度となる。
【０２７１】
ステップＳ３２４において、粗補間処理部５０２は、画素位置（ｓ、ｔ）の画素強度および８近傍画素の中で、Ｒ画素の強度の平均値を画素位置（ｓ、ｔ）のＲ補間値とする。具体的には、粗補間処理部５０２は、取得した計９個の強度値のうち、Ｒに対応する画素の強度の平均値を算出し、それを画素位置（ｓ、ｔ）におけるＲのラフな補間値とする。
【０２７２】
ステップＳ３２５において、粗補間処理部５０２は、画素位置（ｓ、ｔ）の画素強度および８近傍画素の中で、Ｇ画素の強度の平均値を画素位置（ｓ、ｔ）のＧ補間値とする。具体的には、粗補間処理部５０２は、取得した計９個の強度値のうち、Ｇに対応する画素の強度の平均値を算出し、それを画素位置（ｓ、ｔ）におけるＧのラフな補間値とする。
【０２７３】
ステップＳ３２６において、粗補間処理部５０２は、画素位置（ｓ、ｔ）の画素強度および８近傍画素の中で、Ｂ画素の強度の平均値を画素位置（ｓ、ｔ）のＢ補間値とする。具体的には、粗補間処理部５０２は、取得した計９個の強度値のうち、Ｂに対応する画素の強度の平均値を算出し、それを画素位置（ｓ、ｔ）におけるＢのラフな補間値とする。
【０２７４】
ステップＳ３２７において、粗補間処理部５０２は、画素位置（ｓ、ｔ）の画素強度および８近傍画素の中で、Ｅ画素の強度の平均値を画素位置（ｓ、ｔ）のＥ補間値とする。具体的には、粗補間処理部５０２は、取得した計９個の強度値のうち、Ｅに対応する画素の強度の平均値を算出し、それを画素位置（ｓ、ｔ）におけるＥのラフな補間値とする。
【０２７５】
ステップＳ３２８において、粗補間処理部５０２は、第２のレジスタの値ｔを参照し、ｔ＝ｎ−１であるか否かを判断する。
【０２７６】
ステップＳ３２８において、ｔ＝ｎ−１ではないと判断された場合、ステップＳ３２９において、粗補間処理部５０２は、第２のレジスタの値ｔをｔ＝ｔ＋１とする。その後、処理はステップＳ３２３に戻り、それ以降の処理が繰り返される。
【０２７７】
ステップＳ３２８において、ｔ＝ｎ−１であると判断された場合、ステップＳ３３０において、粗補間処理部５０２は、第１のレジスタの値ｓを参照し、ｓ＝ｎ−１であるか否かを判断する。
【０２７８】
ステップＳ３３０において、ｓ＝ｎ−１ではないと判断された場合、ステップＳ３３１において、粗補間処理部５０２は、第１のレジスタの値ｓをｓ＝ｓ＋１とする。その後、処理はステップＳ３２２に戻り、それ以降の処理が繰り返される。
【０２７９】
ステップＳ３３０において、ｓ＝ｎ−１であると判断された場合、ステップＳ３３２において、粗補間処理部５０２は、ステップＳ３２３乃至ステップＳ３２７の処理の繰り返しにより補間した全画素位置の補間値の組を出力し、処理が終了される。
【０２８０】
図４１の処理により、粗補間処理部５０２は、注目画素付近の画素から、注目画素位置におけるＲ，Ｇ，Ｂ，Ｅのラフな補間値を算出することができる。
【０２８１】
なお、ステップＳ３２４乃至ステップＳ３２７の処理は、並行して実行されても、その処理の順番を不同としてもよい。
【０２８２】
次に、図４２のフローチャートを参照して、図３７のＧ＋Ｅ強度推定処理部５０１が実行するＧ＋Ｅ強度推定処理について説明する。
【０２８３】
ステップＳ３４１において、Ｇ強度推定部５２１は、局所領域の画素を用いて注目画素位置のＧ強度推定値を算出する。具体的には、Ｇ強度推定部５２１は、図３８を用いて説明した処理によって、注目画素位置のＧ強度推定値を算出する。
【０２８４】
ステップＳ３４２において、Ｅ強度推定部５２２は、局所領域の画素を用いて注目画素位置のＥ強度推定値を算出する。具体的には、Ｅ強度推定部５２２は、図３８を用いて説明した処理によって、注目画素位置のＥ強度推定値を算出する。
【０２８５】
加算処理部５２３は、ステップＳ３４３において、ステップＳ３４１において算出されたＧ強度推定値と、ステップＳ３４２において算出されたＥ強度推定値とを加算して、Ｇ＋Ｅ強度推定値を算出し、ステップＳ３４４において、Ｇ＋Ｅ強度推定値を回帰演算処理部２８５に出力する。
【０２８６】
このような処理により、市松状に配置されたＧとＥからなる新たな強度推定値であるＧ＋Ｅ強度推定値を算出することができる。このＧ＋Ｅ推定値は、後段の回帰演算処理部２８５における、ＲＧＢＥの各色の強度の推定演算に用いることが可能となる。
【０２８７】
なお、ステップＳ３４１の処理とステップＳ３４２の処理とは、並行して実行されても、その処理の順番を逆にしてもよい。
【０２８８】
これにより、ＧとＥからなる新たな強度推定値であるＧ＋Ｅ強度推定値に基づいて、ＲとＢの強度を推定することができる。
【０２８９】
なお、本発明は、４色以上の色配列に対しても適用され、同様に、ジャギネスの低減および解像度感の向上を可能とする。
【０２９０】
以上では、デジタルスチルカメラ２０１における画像処理について説明したが、動画像を撮像することが可能なデジタルビデオカメラについても、本発明は適用可能である。
【０２９１】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。
【０２９２】
この場合、ソフトウェアをＤＳＰブロック２１６が実行することにより、上述した機能が実現される。また、例えば、デジタルスチルカメラ２０１の処理の一部は、図４３に示されるようなパーソナルコンピュータ７０１により実行することが可能となる。
【０２９３】
図４３において、ＣＰＵ（Central Processing Unit）７１１は、ＲＯＭ（Read Only Memory）７１２に記憶されているプログラム、または記憶部７１８からＲＡＭ（Random Access Memory）７１３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ７１３にはまた、ＣＰＵ７１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２９４】
ＣＰＵ７１１、ＲＯＭ７１２、およびＲＡＭ７１３は、バス７１４を介して相互に接続されている。このバス７１４にはまた、入出力インタフェース７１５も接続されている。
【０２９５】
入出力インタフェース７１５には、キーボード、マウスなどよりなる入力部７１６、ディスプレイやスピーカなどよりなる出力部７１７、ハードディスクなどより構成される記憶部７１８、モデム、ターミナルアダプタなどより構成される通信部７１９が接続されている。通信部７１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０２９６】
入出力インタフェース７１５にはまた、必要に応じてドライブ７２０が接続され、磁気ディスク７３１、光ディスク７３２、光磁気ディスク７３３、もしくは、半導体メモリ７３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７１８にインストールされる。
【０２９７】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェア（例えば、ＤＳＰブロック２１６や、その中に含まれている、デモザイク処理部２５３）に組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２９８】
この記録媒体は、図４３に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク７３１（フロッピディスクを含む）、光ディスク７３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク７３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ７３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ７１２や、記憶部７１８に含まれるハードディスクなどで構成される。
【０２９９】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０３００】
【図１】ベイヤー配列について説明するための図である。
【図２】従来のランダム配列の例を説明するための図である。
【図３】従来のＧ市松ＲＢランダム配列の例を説明するための図である。
【図４】従来のＧ市松ＲＢランダム配列の他の例を説明するための図である。
【図５】本発明を適用したデジタルスチルカメラの構成を示すブロック図である。
【図６】本発明を適用した３色配列の例を説明するための図である。
【図７】本発明を適用した３色配列の他の例を説明するための図である。
【図８】２つの物体領域Ａと物体領域Ｂにまたがった輪郭部分が含まれている画像部分について説明するための図である。
【図９】図８における場合の画素値をＣ１−Ｃ２空間にプロットした場合について説明するための図である。
【図１０】画像中の細かい縦縞模様を含む７×７画素の局所領域の典型例を示す図である。
【図１１】画像中の細かい縦縞模様の領域で得られる典型的な色分布形状とそれへの線形回帰の様子を説明するための図である。
【図１２】本発明を適用した４色配列の例を説明するための図である。
【図１３】本発明を適用した４色配列の他の例を説明するための図である。
【図１４】本発明を適用した４色配列のさらに他の例を説明するための図である。
【図１５】本発明を適用した４色配列の他の例を説明するための図である。
【図１６】図１２および図１３のカラーフィルタの分光特性の例を示す図である。
【図１７】図５のＤＳＰブロックの構成を示すブロック図である。
【図１８】図１７のデモザイク処理部の構成を示すブロック図である。
【図１９】図１８の統計量算出部の構成を示すブロック図である。
【図２０】図１９の平均値算出部、分散算出部、および共分散算出部で用いられる重み値の例を示す図である。
【図２１】図１８の回帰演算処理部の構成例を示すブロック図である。
【図２２】図５のＤＳＰブロックが実行する画像処理についてについて説明するためのフローチャートである。
【図２３】デモザイク処理について説明するためのフローチャートである。
【図２４】局所領域内の複数位置で注目画素位置の色ＣｒとＣｒの強度の組を算出する処理を説明するためのフローチャートである。
【図２５】２色分布形状の統計量算出処理を説明するためのフローチャートである。
【図２６】平均値算出処理１について説明するフローチャートである。
【図２７】平均値計算処理２について説明するためのフローチャートである。
【図２８】分散計算処理１について説明するためのフローチャートである。
【図２９】分散計算処理２について説明するためのフローチャートである。
【図３０】共分散計算処理について説明するためのフローチャートである。
【図３１】積算処理１について説明するためのフローチャートである。
【図３２】積算処理２について説明するためのフローチャートである。
【図３３】積算近似処理１について説明するためのフローチャートである。
【図３４】積算近似処理２について説明するためのフローチャートである。
【図３５】補間画素推定処理１について説明するためのフローチャートである。
【図３６】デモザイク処理部の他の構成例を示すブロック図である。
【図３７】図３６のＧ＋Ｅ強度推定部の構成例を示すブロック図である。
【図３８】図３７のＧ強度推定部およびＥ強度推定部の構成例を示すブロック図である。
【図３９】図３８のスイッチの処理について説明するための図である。
【図４０】図３８の第１乃至第４の強度推定部の構成を示すブロック図である。
【図４１】図３６の粗補間処理部における粗補間処理を説明するためのフローチャートである。
【図４２】Ｇ＋Ｅ強度推定処理について説明するためのフローチャートである。
【図４３】パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
【０３０１】
２０１  デジタルスチルカメラ，  ２１６  ＤＳＰブロック，  ２４２  信号処理用プロセッサ，  ２５３  デモザイク処理部，  ２８１  局所領域抽出部，  ２８２  注目画素選択部，  ２８３  粗補間処理部，  ２８４  統計量算出部，  ２８５  回帰演算処理部
【図１】
2005136766.tif 000009
【図２】
2005136766.tif 000010
【図３】
2005136766.tif 000011
【図４】
2005136766.tif 000012
【図５】
2005136766.tif 000013
【図６】
2005136766.tif 000014
【図７】
2005136766.tif 000015
【図８】
2005136766.tif 000016
【図９】
2005136766.tif 000017
【図１０】
2005136766.tif 000018
【図１１】
2005136766.tif 000019
【図１２】
2005136766.tif 000020
【図１３】
2005136766.tif 000021
【図１４】
2005136766.tif 000022
【図１５】
2005136766.tif 000023
【図１６】
2005136766.tif 000024
【図１７】
2005136766.tif 000025
【図１８】
2005136766.tif 000026
【図１９】
2005136766.tif 000027
【図２０】
2005136766.tif 000028
【図２１】
2005136766.tif 000029
【図２２】
2005136766.tif 000030
【図２３】
2005136766.tif 000031
【図２４】
2005136766.tif 000032
【図２５】
2005136766.tif 000033
【図２６】
2005136766.tif 000034
【図２７】
2005136766.tif 000035
【図２８】
2005136766.tif 000036
【図２９】
2005136766.tif 000037
【図３０】
2005136766.tif 000038
【図３１】
2005136766.tif 000039
【図３２】
2005136766.tif 000040
【図３３】
2005136766.tif 000041
【図３４】
2005136766.tif 000042
【図３５】
2005136766.tif 000043
【図３６】
2005136766.tif 000044
【図３７】
2005136766.tif 000045
【図３８】
2005136766.tif 000046
【図３９】
2005136766.tif 000047
【図４０】
2005136766.tif 000048
【図４１】
2005136766.tif 000049
【図４２】
2005136766.tif 000050
【図４３】
2005136766.tif 000051