(57)【特許請求の範囲】
【請求項１】
レンズを介して所定のカラーフィルタに入射されて取得された光信号であって、画素ごとに、複数の異なる分光成分のうちのいずれかの分光成分を有する光信号の入力を受け、前記画素ごとの前記光信号を基に、画像データを生成する画像処理装置において、
所定の前記画素における前記光信号に対応する第１の画素値と、前記所定の画素の隣接画素が有する画素値を用いて実行される補間処理により得られる第２の画素値とを基に、前記画像データのコントラスト成分を演算するコントラスト成分演算手段を備え、
前記コントラスト成分演算手段は、前記第１の画素値または前記第２の画素値のうち、
複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、
前記第１の分光成分から、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域を除いた第２の分光成分に対応する画素値、
または、
前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理に基づいて、前記画像データのコントラスト成分を求める
画像処理装置。
【請求項２】
前記コントラスト成分演算手段により演算される前記画像データのコントラスト成分は、前記第３の分光成分に対応する画素値を含む
請求項１に記載の画像処理装置。
【請求項３】
前記第３の分光成分は、緑色に対応する所定範囲の周波数成分である
請求項２に記載の画像処理装置。
【請求項４】
前記コントラスト成分演算手段は、
前記第１の画素値または前記第２の画素値に基づいて、緑色に対応する各画素の画素値を算出する緑色成分算出手段と、
複数の異なる前記分光成分のうち、赤色に対応する所定の周波数成分に対応する画素値と、前記緑色成分算出手段による算出結果とに基づいて、赤色に対応する各画素の画素値を算出する赤色成分算出手段と、
複数の異なる前記分光成分のうち、青色に対応する所定の周波数成分に対応する画素値と、前記緑色成分算出手段による算出結果とに基づいて、青色に対応する各画素の画素値を算出する青色成分算出手段と
を備える請求項３に記載の画像処理装置。
【請求項５】
前記画像データにおけるそれぞれの画素近辺の模様の方向を推定する模様方向推定手段を更に備え、
前記コントラスト成分演算手段は、前記模様方向推定手段による、それぞれの画素近辺の模様の方向の推定結果に基づいて、前記画像データのコントラスト成分を演算する
請求項１に記載の画像処理装置。
【請求項６】
前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、および、１３５度方向のそれぞれの方向において模様がある確度を求める模様確度算出手段を更に備え、
前記模様方向推定手段は、前記模様確度算出手段による算出結果に基づいて、前記画像データにおけるそれぞれの画素近辺の模様の方向を推定する
請求項５に記載の画像処理装置。
【請求項７】
前記模様方向推定手段は、前記模様確度算出手段による算出結果に基づいて、前記画像データにおけるそれぞれの画素近辺の模様の方向は、０度と９０度のうちのいずれに近い可能性が高いか、または、４５度と１３５度のうちのいずれに近い可能性が高いかを求める
請求項６に記載の画像処理装置。
【請求項８】
前記第１の分光成分は、少なくとも赤外成分を含む
請求項１に記載の画像処理装置。
【請求項９】
前記第３の分光成分に対応する画素は、前記画素が配列される平面上の一方の方向を０度として、０度方向、４５度方向、９０度方向、および、１３５度方向のいずれにおいても１画素おきに配置されている
請求項１に記載の画像処理装置。
【請求項１０】
複数の異なる前記分光成分は、前記第１の分光成分、前記第２の分光成分、および前記第３の分光成分を含む５種類の分光成分であり、
前記第１の分光成分および前記第２の分光成分、並びに、第４の分光成分および第５の分光成分にそれぞれ対応する画素は、前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、または、１３５度方向のいずれかの方向に、前記第３の分光成分に対応する画素と隣接して配置されるとともに、前記第１の分光成分および前記第２の分光成分に対応する画素が、前記第３の分光成分に対応する画素に対して直交する方向に配列され、前記第４の分光成分および前記第５の分光成分に対応する画素が、前記第３の分光成分に対応する画素に対して直交する方向に配列される
請求項１に記載の画像処理装置。
【請求項１１】
レンズを介して所定のカラーフィルタに入射されて取得された、複数の異なる分光成分のうちのいずれかの分光成分を有する光信号の入力を受け、画素ごとの前記光信号を基に、画像データを生成する画像処理装置の画像処理方法において、
所定の前記画素における前記光信号に対応する第１の画素値を取得し、
前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を取得し、
前記第１の画素値および前記第２の画素値のうち、
複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、
前記第１の分光成分から、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域を除いた第２の分光成分に対応する画素値、
または、
前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理により、前記画像データのコントラスト成分を求める
ステップを含む画像処理方法。
【請求項１２】
レンズを介して所定のカラーフィルタに入射されて取得された、複数の異なる分光成分のうちのいずれかの分光成分を有する光信号の入力を受け、画素ごとの前記光信号を基に、画像データを生成する処理を制御するコンピュータが実行可能なプログラムであって、
所定の前記画素における前記光信号に対応する第１の画素値の取得を制御し、
前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を算出し、
前記第１の画素値および前記第２の画素値のうち、
複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、
前記第１の分光成分から、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域を除いた第２の分光成分に対応する画素値、
または、
前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理により、前記画像データのコントラスト成分を求める
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１３】
請求項１２に記載のプログラムが記録されている記録媒体。
【請求項１４】
画像を撮像する撮像装置において、
レンズを介して入射された光を、所定のカラーフィルタを介することにより複数の異なる分光成分の光信号として画素ごとに取得する光信号取得手段と、
前記光信号取得手段により取得された前記光信号をデジタル信号に変換する変換手段と、
前記変換手段により変換された前記デジタル信号を処理して、全画素において、所定の複数の色成分に対応する画素値が揃った画像データを生成する画像処理手段と
を備え、
前記画像処理手段は、
所定の前記画素における前記光信号に対応する第１の画素値と、前記所定の画素の隣接画素が有する画素値を用いて実行される補間処理により得られる第２の画素値とを基に、前記画像データのコントラスト成分を演算するコントラスト成分演算手段を備え、
前記コントラスト成分演算手段は、前記第１の画素値または前記第２の画素値のうち、
複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、
前記第１の分光成分から、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分を除いた画素値、
または、
前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理に基づいて、前記画像データのコントラスト成分を求める
撮像装置。
【請求項１５】
複数の異なる前記分光成分は、前記第１の分光成分、前記第２の分光成分、および前記第３の分光成分を含む５種類の分光成分であり、
前記第１の分光成分および前記第２の分光成分、並びに、第４の分光成分および第５の分光成分にそれぞれ対応する画素は、前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、または、１３５度方向のいずれかの方向に、前記第３の分光成分に対応する画素と隣接して配置されるとともに、前記第１の分光成分および前記第２の分光成分に対応する画素が、前記第３の分光成分に対応する画素に対して直交する方向に配列され、前記第４の分光成分および前記第５の分光成分に対応する画素が、前記第３の分光成分に対応する画素に対して直交する方向に配列される
請求項１４に記載の撮像装置。
【請求項１６】
画像を撮像する撮像装置の撮像方法において、
レンズを介して入射された光を、所定のカラーフィルタを介することにより複数の異なる分光成分の光信号として画素ごとに取得し、
取得された前記光信号をデジタル信号に変換し、
変換された前記デジタル信号から、所定の前記画素における前記光信号に対応する第１の画素値を取得し、
前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を取得し、
前記第１の画素値および前記第２の画素値のうち、
複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、
前記第１の分光成分から、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域を除いた第２の分光成分に対応する画素値、
または、
前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値
を用いた演算処理により、画像データのコントラスト成分を求める
ステップを含む撮像方法。
【請求項１７】
画像を撮像する処理を制御するコンピュータが実行可能なプログラムであって、
レンズを介して入射され、所定のカラーフィルタを介することにより複数の異なる分光成分として画素ごとに得られる光信号の取得を制御し、
取得された前記光信号のデジタル信号への変換を制御し、
変換された前記デジタル信号からの、所定の前記画素における前記光信号に対応する第１の画素値の取得を制御し、
前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を算出し、
前記第１の画素値および前記第２の画素値のうち、
複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、
前記第１の分光成分から、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分を除いた画素値、
または、
前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値
を用いた演算処理により、画像データのコントラスト成分を求める
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１８】
請求項１７に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置および画像処理方法、撮像装置および撮像方法、プログラム、並びに、記録媒体に関し、特に、色収差をキャンセルしたボケのない画像を得ることができる、画像処理装置および画像処理方法、撮像装置および撮像方法、プログラム、並びに、記録媒体に関する。
【背景技術】
【０００２】
近年、デジタルカメラが一般的に広く用いられるようになっている。デジタルカメラにおいては、レンズを通してＣＣＤやＣＭＯＳ等の撮像素子（イメージセンサ）で得られた画像信号がデジタル化され、適切な画像処理が施された後、得られた画像信号は、フラッシュメモリなどの記録媒体に記録されるか、または、直接、ケーブル接続や赤外線通信などによりパーソナルコンピュータなどの情報処理装置に転送することができるようになされている。そして、パーソナルコンピュータなどの情報処理装置においては、供給された画像信号に対応する画像を、例えば、ＣＲＴ（Cathode Ray Tube）や液晶ディスプレイなどのモニタに表示することが可能である。
【０００３】
従来広く用いられている通常のイメージセンサは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３種類の色フィルタを搭載している。すなわち、イメージセンサの各画素は、Ｒ（赤）、Ｇ（緑）、または、Ｂ（青）のいずれかの波長成分のみが取得できるようになっている。すなわち、イメージセンサにより得られる画像信号は、Ｒ（赤）の分光成分を取得できる画素群、Ｇ（緑）の分光成分を取得できる画素群、および、Ｂ（青）の分光成分を取得できる画素群より構成されている。このとき、カラーフィルタで用いられる色配列は、例えば、図１に示されるものであり、ベイヤー配列と称される。
【０００４】
このようなイメージセンサを用いて撮像処理を行うにあたって、被写体があまり明るくない場合、すなわち、被写体から得られる光量が少ない場合、イメージセンサからの出力は小さい値となり、得られる画像信号は、ノイズに埋もれてしまうため、最終的に得られる画像も、ノイズが多いものとなってしまっていた。
【０００５】
そこで、従来、図２に示される色配列、すなわち、輝度信号としての白（Ｙ）と、赤（Ｒ）、緑（Ｇ）、青（Ｂ）を組み合わせたベイヤー配列を適用した撮像素子を用いて、高解像度の画像を得る信号処理技術が用いられる（例えば、特許文献１参照）。この技術によれば、図２に示す白画素を市松配置したカラーフィルタアレイを適用し、すべての画素が赤外光を感じないことを前提に、市松配置画素の白画素を利用して高い解像度を得ることができるようになされている。
【０００６】
すなわち、図２に示すカラーフィルタ配置によれば、市松配列のＹ画素はほぼ可視光全体に感度を持つため、同一の被写体に対しては、図１に示すように緑（Ｇ）画素を市松配置にする構成と比較して、より強度の大きな画像信号を得ることができる。このため、図２に示されるカラーフィルタを用いることにより、図１に示される緑画素市松配置のカラーフィルタを用いた場合と比較して、解像度を左右する市松配置の信号のＳ／Ｎ比を良くすることが可能となる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平４−８８７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
レンズは、光の屈折効果を利用して、イメージセンサ上に入射光を結像するものである。屈折効果を利用しているために、入射する光の波長により、レンズの色収差と称されるぼけが発生する。通常、Ｇ（緑）の成分が結像するようにレンズの位置が設定された状態においてピントが合わせられるので、このようにピントを合わせた状態で撮影する画像は、Ｇ（緑）の成分はピントの合った画像となるが、他の成分は、ピントが合わないボケた画像となってしまう。
【０００９】
色収差について、図３を用いて説明する。
【００１０】
すなわち、従来、デジタルカメラなどのイメージセンサを有する撮像装置においては、入力された光は、レンズ１により屈折され、カラーフィルタを有するイメージセンサ２付近で結像するように、レンズ１およびカラーフィルタを有するイメージセンサ２が配置されている。
【００１１】
一般的には、Ｇ(緑)の分光成分がちょうどイメージセンサ２の位置で結像されるようになされている。この場合、Ｇ（緑）より波長の短いＢ（青）の分光成分は、図３Ａに示されるように、イメージセンサ２よりもレンズ側で結像され、Ｇ（緑）の分光成分は、図３Ｂに示されるように、イメージセンサ２でピントが合うように結像され、Ｇ（緑）より波長の長いＲ（赤）の分光成分、または、Ｒ（赤）とＩＲ（赤外）の合計の分光成分は、図３Ｃに示されるように、イメージセンサ２よりもレンズの反対側で結像される。したがって、このような状態では、Ｇ（緑）以外の成分は、イメージセンサ上で正確に結像はしない。すなわち、Ｇ（緑）より波長の短いＢ（青）も、Ｇ（緑）より波長の長いＲ（赤）やＩＲ（赤外）も、イメージセンサ上ではボケた絵を結像してしまう。
【００１２】
この問題を解決するためには、色収差の少ないレンズを使用すれば良いが、そのようなレンズは高価になってしまうという欠点があった。
【００１３】
本発明はこのような状況に鑑みてなされたものであり、低照度条件下でも、ノイズの少なく、また、色収差によるボケが少ない画像を、高価なレンズを用いることなく得ることができるようにするものである。
【課題を解決するための手段】
【００１４】
本発明の第１の側面の画像処理装置は、レンズを介して所定のカラーフィルタに入射されて取得された光信号であって、画素ごとに、複数の異なる分光成分のうちのいずれかの分光成分を有する光信号の入力を受け、前記画素ごとの前記光信号を基に、画像データを生成する画像処理装置において、所定の前記画素における前記光信号に対応する第１の画素値と、前記所定の画素の隣接画素が有する画素値を用いて実行される補間処理により得られる第２の画素値とを基に、前記画像データのコントラスト成分を演算するコントラスト成分演算手段を備え、前記コントラスト成分演算手段は、前記第１の画素値または前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、前記第１の分光成分から、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域を除いた第２の分光成分に対応する画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理に基づいて、前記画像データのコントラスト成分を求める。
【００１５】
前記コントラスト成分演算手段により演算される前記画像データのコントラスト成分は、前記第３の分光成分に対応する画素値を含むことができる。
【００１６】
前記第３の分光成分は、緑色に対応する所定範囲の周波数成分である。
【００１７】
前記コントラスト成分演算手段には、前記第１の画素値または前記第２の画素値に基づいて、緑色に対応する各画素の画素値を算出する緑色成分算出手段と、複数の異なる前記分光成分のうち、赤色に対応する所定の周波数成分に対応する画素値と、前記緑色成分算出手段による算出結果とに基づいて、赤色に対応する各画素の画素値を算出する赤色成分算出手段と、複数の異なる前記分光成分のうち、青色に対応する所定の周波数成分に対応する画素値と、前記緑色成分算出手段による算出結果とに基づいて、青色に対応する各画素の画素値を算出する青色成分算出手段とを備えさせるようにすることができる。
【００１８】
前記画像データにおけるそれぞれの画素近辺の模様の方向を推定する模様方向推定手段を更に備えさせるようにすることができ、前記コントラスト成分演算手段には、前記模様方向推定手段による、それぞれの画素近辺の模様の方向の推定結果に基づいて、前記画像データのコントラスト成分を演算させるようにすることができる。
【００１９】
前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、および、１３５度方向のそれぞれの方向において模様がある確度を求める模様確度算出手段を更に備えさせるようにすることができ、前記模様方向推定手段には、前記模様確度算出手段による算出結果に基づいて、前記画像データにおけるそれぞれの画素近辺の模様の方向を推定させるようにすることができる。
【００２０】
前記模様方向推定手段には、前記模様確度算出手段による算出結果に基づいて、前記画像データにおけるそれぞれの画素近辺の模様の方向は、０度と９０度のうちのいずれに近い可能性が高いか、または、４５度と１３５度のうちのいずれに近い可能性が高いかを求めさせるようにすることができる。
【００２１】
前記第１の分光成分は、少なくとも赤外成分を含むものとすることができる。
【００２２】
前記第３の分光成分に対応する画素は、前記画素が配列される平面上の一方の方向を０度として、０度方向、４５度方向、９０度方向、および、１３５度方向のいずれにおいても１画素おきに配置されている。
【００２３】
複数の異なる前記分光成分は、前記第１の分光成分、前記第２の分光成分、および前記第３の分光成分を含む５種類の分光成分であり、前記第１の分光成分および前記第２の分光成分、並びに、第４の分光成分および第５の分光成分にそれぞれ対応する画素は、前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、または、１３５度方向のいずれかの方向に、前記第３の分光成分に対応する画素と隣接して配置されるとともに、前記第１の分光成分および前記第２の分光成分に対応する画素が、前記第３の分光成分に対応する画素に対して直交する方向に配列され、前記第４の分光成分および前記第５の分光成分に対応する画素が、前記第３の分光成分に対応する画素に対して直交する方向に配列される。
【００２４】
本発明の第１の側面の画像処理方法は、レンズを介して所定のカラーフィルタに入射されて取得された、複数の異なる分光成分のうちのいずれかの分光成分を有する光信号の入力を受け、画素ごとの前記光信号を基に、画像データを生成する画像処理装置の画像処理方法において、所定の前記画素における前記光信号に対応する第１の画素値を取得し、前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を取得し、前記第１の画素値および前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、前記第１の分光成分から、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域を除いた第２の分光成分に対応する画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理により、前記画像データのコントラスト成分を求めるステップを含む。
【００２５】
本発明の第１の側面のプログラムは、レンズを介して所定のカラーフィルタに入射されて取得された、複数の異なる分光成分のうちのいずれかの分光成分を有する光信号の入力を受け、画素ごとの前記光信号を基に、画像データを生成する処理を制御するコンピュータが実行可能なプログラムであって、所定の前記画素における前記光信号に対応する第１の画素値の取得を制御し、前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を算出し、前記第１の画素値および前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、前記第１の分光成分から、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域を除いた第２の分光成分に対応する画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理により、前記画像データのコントラスト成分を求めるステップを含む処理をコンピュータに実行させる。
【００２６】
本発明の第１の側面においては、所定の画素における光信号に対応する第１の画素値が取得され、所定の画素の隣接画素が有する画素値を用いて補間処理が実行されて第２の画素値が取得され、第１の画素値および第２の画素値のうち、複数の異なる分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、第１の分光成分から、レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域を除いた第２の分光成分に対応する画素値、または、第１の分光成分に第１の重み係数を乗算した値と、第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理により、画像データのコントラスト成分が求められる。
【００２７】
本発明の第２の側面の撮像装置は、画像を撮像する撮像装置において、レンズを介して入射された光を、所定のカラーフィルタを介することにより複数の異なる分光成分の光信号として画素ごとに取得する光信号取得手段と、前記光信号取得手段により取得された前記光信号をデジタル信号に変換する変換手段と、前記変換手段により変換された前記デジタル信号を処理して、全画素において、所定の複数の色成分に対応する画素値が揃った画像データを生成する画像処理手段とを備え、前記画像処理手段は、所定の前記画素における前記光信号に対応する第１の画素値と、前記所定の画素の隣接画素が有する画素値を用いて実行される補間処理により得られる第２の画素値とを基に、前記画像データのコントラスト成分を演算するコントラスト成分演算手段を備え、前記コントラスト成分演算手段は、前記第１の画素値または前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、前記第１の分光成分から、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分を除いた画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理に基づいて、前記画像データのコントラスト成分を求める。
【００２８】
複数の異なる前記分光成分は、前記第１の分光成分、前記第２の分光成分、および前記第３の分光成分を含む５種類の分光成分であり、前記第１の分光成分および前記第２の分光成分、並びに、第４の分光成分および第５の分光成分にそれぞれ対応する画素は、前記画素が配列される平面上の配列の一方の方向を０度として、０度方向、４５度方向、９０度方向、または、１３５度方向のいずれかの方向に、前記第３の分光成分に対応する画素と隣接して配置されるとともに、前記第１の分光成分および前記第２の分光成分に対応する画素が、前記第３の分光成分に対応する画素に対して直交する方向に配列され、前記第４の分光成分および前記第５の分光成分に対応する画素が、前記第３の分光成分に対応する画素に対して直交する方向に配列される。
【００２９】
本発明の第２の側面の撮像方法は、画像を撮像する撮像装置の撮像方法において、レンズを介して入射された光を、所定のカラーフィルタを介することにより複数の異なる分光成分の光信号として画素ごとに取得し、取得された前記光信号をデジタル信号に変換し、変換された前記デジタル信号から、所定の前記画素における前記光信号に対応する第１の画素値を取得し、前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を取得し、前記第１の画素値および前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、前記第１の分光成分から、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域を除いた第２の分光成分に対応する画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理により、画像データのコントラスト成分を求めるステップを含む。
【００３０】
本発明の第２の側面のプログラムは、画像を撮像する処理を制御するコンピュータが実行可能なプログラムであって、レンズを介して入射され、所定のカラーフィルタを介することにより複数の異なる分光成分として画素ごとに得られる光信号の取得を制御し、取得された前記光信号のデジタル信号への変換を制御し、変換された前記デジタル信号からの、所定の前記画素における前記光信号に対応する第１の画素値の取得を制御し、前記所定の画素の隣接画素が有する画素値を用いて補間処理を実行して第２の画素値を算出し、前記第１の画素値および前記第２の画素値のうち、複数の異なる前記分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、前記第１の分光成分から、前記レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分を除いた画素値、または、前記第１の分光成分に第１の重み係数を乗算した値と、前記第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理により、画像データのコントラスト成分を求めるステップを含む処理をコンピュータに実行させる。
【００３１】
本発明の第２の側面においては、レンズを介して入射され、所定のカラーフィルタを介することにより複数の異なる分光成分として画素ごとに得られる光信号が取得され、取得された光信号がデジタル信号へ変換され、変換されたデジタル信号から、所定の画素における光信号に対応する第１の画素値が取得され、所定の画素の隣接画素が有する画素値を用いて補間処理が実行されて第２の画素値が算出され、第１の画素値および第２の画素値のうち、複数の異なる分光成分のうち最も周波数の帯域幅が広い第１の分光成分に対応する画素値、第１の分光成分から、レンズにおいて色収差の発生しない周波数近傍の所定の周波数帯域に対応する第２の分光成分を除いた画素値、または、第１の分光成分に第１の重み係数を乗算した値と、第２の分光成分に第２の重み係数を乗算した値との線形和により表される第３の分光成分に対応する画素値を用いた演算処理により、画像データのコントラスト成分が求められる。
【００３２】
撮像装置は、独立した装置であっても良いし、情報処理装置の撮像処理を行うブロックであっても良い。
【発明の効果】
【００３３】
本発明の第１の側面によれば、コントラスト成分を求めることができ、特に、従来より広い周波数領域の分光成分を有する画素値を用いて、色収差をキャンセルしたデモザイク処理を実行することができる。
【００３４】
また、本発明の第２の側面によれば、画像を撮像することができ、特に、デモザイク処理において、従来より広い周波数領域の分光成分を有する画素値を用いて、色収差をキャンセルした画像データを得ることができる。
【図面の簡単な説明】
【００３５】
【図１】従来のカラーフィルタ配列について説明するための図である。
【図２】従来のカラーフィルタ配列について説明するための図である。
【図３】色収差について説明するための図である。
【図４】撮像装置の構成を示すブロック図である。
【図５】カラーフィルタの分光成分について説明するための図である。
【図６】図４のカラーフィルタの色配列について説明するための図である。
【図７】図４のカラーフィルタの分光成分について説明するための図である。
【図８】図４のカメラ信号処理部の構成を示すブロック図である
【図９】模様の方向と補間との関係について説明するための図である。
【図１０】図８のデモザイク処理部４４の構成を示すブロック図である。
【図１１】撮像処理について説明するフローチャートである。
【図１２】モザイク処理について説明するフローチャートである。
【図１３】モザイク処理について説明するフローチャートである。
【図１４】０度方向の模様確度算出処理について説明するフローチャートである。
【図１５】０度方向の補間処理について説明するための図である。
【図１６】４５度方向の模様確度算出処理について説明するフローチャートである。
【図１７】４５度方向の補間処理について説明するための図である。
【図１８】９０度方向の模様確度算出処理について説明するフローチャートである。
【図１９】９０度方向の補間処理について説明するための図である。
【図２０】１３５度方向の模様確度算出処理について説明するフローチャートである。
【図２１】１３５度方向の補間処理について説明するための図である。
【図２２】角度補間適正度算出処理について説明するフローチャートである。
【図２３】角度補間適正度算出処理について説明するフローチャートである。
【図２４】０度方向補間Ｇ成分画像生成処理について説明するフローチャートである。
【図２５】主成分分析について説明するための図である。
【図２６】４５度方向補間Ｇ成分画像生成処理について説明するフローチャートである。
【図２７】９０度方向補間Ｇ成分画像生成処理について説明するフローチャートである。
【図２８】主成分分析について説明するための図である。
【図２９】１３５度方向補間Ｇ成分画像生成処理について説明するフローチャートである。
【図３０】Ｒ成分画素値算出処理について説明するフローチャートである。
【図３１】主成分分析について説明するための図である。
【図３２】Ｂ成分画素値算出処理について説明するフローチャートである。
【図３３】主成分分析について説明するための図である。
【図３４】図４のカラーフィルタの異なる色配列について説明するための図である。
【図３５】パーソナルコンピュータの構成を示すブロック図である。
【発明を実施するための形態】
【００３６】
以下、図を参照して、本発明の実施の形態について説明する。
【００３７】
図４は、固体撮像素子を具備する撮像装置１１の構成を示すブロック図である。
【００３８】
光学レンズ２１を介して入射される光は、カラーフィルタ２２に照射される。
【００３９】
カラーフィルタ２２は、図６を用いて後述する配列を有しており、それぞれの画素ごとに所定の周波数の光を透過して、固体撮像素子２３に入射させる。
【００４０】
固体撮像素子２３は、光学レンズ１１を通して入射される光のうち、カラーフィルタ２２を透過する光を受光し、受光して得られた光エネルギを、画素ごとに光電変換により電気信号に変換する。固体撮像素子２３で光電変換されて電気信号として出力される画像信号は、Ａ／Ｄ変換部２４によりデジタル信号に変換された後、カメラ信号処理部２５に供給される。
【００４１】
カメラ信号処理部２５は、供給されたデジタル信号に対して、クリッピング処理、ガンマ補正、ホワイトバランス補正、デモザイク処理などを施し、表示部２６、または、画像圧縮部２７に供給する。カメラ信号処理部２５が実行するデモザイク処理の詳細については後述する。
【００４２】
表示部２６は、例えば、液晶表示素子および素子を駆動するドライバなどを含んで構成され、必要に応じて、カメラ信号処理部２５により所定の処理が施されて得られた画像データに対応する画像を表示する。
【００４３】
画像圧縮部２７は、供給された画像信号に圧縮処理を施して、画像信号のデータ量を削減し、所定の記録用画像フォーマットに変換して、記録部２８または外部出力部２９に出力する。記録部２８は、変換された画像データを、例えば、ハードディスクもしくは半導体メモリなどの記憶素子、または、所定のドライバに装着された着脱可能な記録媒体に記録する。外部出力部２９は、変換された画像データを、有線または無線の通信により、他の装置へ出力する。なお、記録される、または、外部出力される信号に対して、画像圧縮部２７によって必ずしも画像圧縮処理が施されなくても良いが、近年では撮像素子の画素数が増加し、かつ装置自体の小型化が要求されているために、画像データが記録される場合や、所定の媒体を介して外部出力される場合には、画像圧縮が行われると好適である。
【００４４】
一般的なカラーフィルタ、および、図４のカラーフィルタ１２の分光特性について、図５を参照して説明する。
【００４５】
例えば、図１を用いて説明したような、一般的なベイヤー配列のカラーフィルタにおいて、Ｂチャネルに対応するフィルタは、青色に相当する約２００乃至３００ｎｍの波長の光信号の透過率が高いフィルタであり、Ｇチャネルに対応するフィルタは、緑色に相当する約４５０乃至５５０ｎｍの波長の光信号の透過率が高いフィルタであり、Ｒチャネルに対応するフィルタは、赤色に相当する約５５０乃至６５０ｎｍの波長の光信号の透過率が高いフィルタである。これらのＲＧＢ対応のフィルタは、約７００ｎｍ以上の波長を持つ赤外光成分はほとんど透過しない性質を有する。
【００４６】
これに対して、カラーフィルタ２２は、ＲＧＢに加えて、更に２つの波長帯域の分光成分を含む光信号を取得する５つのフィルタを有している。
【００４７】
カラーフィルタ２２は、被写体が明るくない場合にも対応できるように、より広い波長帯域の分光成分（以下、第１の分光成分と称する）の光信号を取得できる画素群（以下、第１の画素群と称する）」を得るためのフィルタとして、例えば、ＲＧＢの可視光全体を取得するか、または、可視光および赤外光等の不可視光成分を含む光信号を取得するためのフィルタを用意する。
【００４８】
低照度条件下では、色温度が低くて、赤外光の放射量の多い光源が使われている場合が多い。また、補助光として赤外光などの不可視光を使えば雰囲気を損なうことが少ない。以上のことから、赤外光などの不可視光を多く含む光源下において、実効的な撮影感度を上げる技術が望まれている。
【００４９】
したがって、第１の分光成分として、可視光および赤外光を含む光信号を取得するようにすると好適であるが、赤外光を除いた、ＲＧＢの可視光全体を第１の分光成分としても良いし、それ以外にも、例えば、可視光および赤外光を含む波長帯域から、所定の帯域のみを除いた分光成分や、可視光から所定の帯域のみを除いた分光成分としてもよく、第１の分光成分が含む波長領域幅が広ければその分だけ、撮影感度を向上させることが可能となる。
【００５０】
すなわち、カラーフィルタ２２が、最も広範囲の波長帯域の分光成分の光信号を取得するフィルタとして、可視光全体を取得するフィルタを用いても、従来における場合と比較して、ＳＮ比を改善することが可能となる。しかしながら、この場合においても、十分な照度があれば感度は充分であるが、十分な照度が得られない暗闇のような環境や、光源に赤外光が多く含まれる低照度の条件、あるいは低照度で赤外光の補助光を使用する撮影条件においては、感度はまだ不十分となり、ノイズを削減した高品質な画像を生成することができない。これに対して、最も広範囲の波長帯域の分光成分である第１の分光成分の光信号を取得するフィルタとして、可視光および赤外光等の不可視光成分を含む光信号を取得するためのフィルタを用いるものとすると、十分な照度が得られない暗闇のような場合や、光源に赤外光が多く含まれる低照度の条件、あるいは低照度で赤外光の補助光を使用する撮影条件においても、ノイズを削減した高品質な画像を生成することが可能となり、好適である。
【００５１】
例えば、可視光および赤外光等の不可視光成分を含む光信号を取得するためのフィルタは、図中Ｗとして分光特性を示すように、ピークは約５３０ｎｍ付近であるが、ＲＧＢ成分のすべての信号を透過するとともに、７００ｎｍ以上の赤外光成分も透過する性質を有する。
【００５２】
以下、カラーフィルタ２２は、第１の分光成分として、可視光および赤外光等の不可視光成分（以下、Ｗとも記載する）を含む光信号を取得するものとして説明する。
【００５３】
また、さらに、カラーフィルタ２２は、第１の分光成分から、所定範囲の波長成分を除いた分光成分（以下、第２の分光成分と称する）を取得できる画素群（以下、第２の画素群と称する）を取得することができる。
【００５４】
第２の分光成分は、第１の分光成分から、ＲＧＢのいずれに対応する波長成分を除いた分光成分としても良いが、容易にピントのボケを補正した画像を得るためには、色収差のない成分を第１の分光成分から除いた分光成分を第２の分光成分とすると好適である。人間の目は、555nmの緑付近の波長の光を感じる感度が最も良いことから、一般的に、緑の成分に色収差が発生しないようにレンズが設定されているので、特に、第１の分光成分からＧ（緑色）に対応する波長成分を除いた分光成分、すなわち、マゼンダの色成分に対応する分光成分を第２の分光成分とすると好適である。
【００５５】
もちろん、第１の分光成分からＢ（青）に対応する波長成分を除いた分光成分、すなわち、イエローの分光成分を第２の分光成分としても良いし、第１の分光成分からＲ（赤）に対応する波長成分を除いた分光成分、すなわち、シアンに対応する波長成分を除いた分光成分を第２の分光成分としても良い。
【００５６】
以下、カラーフィルタ２２は、第２の分光成分として、可視光および赤外光等の不可視光成分の波長領域から、Ｇ(緑)に対応する波長成分を除いた分光成分、すなわち、マゼンダに対応する分光成分（以下、Ｍとも記載する）の光信号を取得するものとして説明する。
【００５７】
このように、カラーフィルタ２２を用いることにより、固体撮像素子２３は、従来のカラーフィルタと同様のＲＧＢそれぞれの分光成分を取得する画素群に加えて、被写体が明るくない場合にも、固体撮像素子２３に充分な光量が入射されるように、従来のカラーフィルタのＲＧＢそれぞれにおける波長帯域よりも広い波長帯域の分光成分である第１の分光成分を取得できる画素群と、第１の分光成分から、所定の領域の波長成分を除いた分光成分である第２の分光成分を取得できる画素群とを取得することが可能になる。
【００５８】
このようにして取得された画素データに対して、第１の画素群の画素データから、第２の画素群の画素データを減算する（換言すれば、重みＷ１＝１、重みＷ２＝（−１）として、重みＷ１とＷ２による、第１の画素群と第２に画素群とそれぞれの画素値の線形和を得る）ことで、所定の領域の波長成分の画素データを得ることができる。この所定の領域の波長成分の画素データに色収差が発生していない場合、ボケのない鮮明な画像を得ることができる。換言すれば、第１の画素群の画素データから、第２の画素群の画素データを減算することによって得られる所定の領域の波長において色収差が無いようにレンズ２１を設定し、この所定の領域の波長成分の画素データ、すなわち、色収差を除去した画素データをコントラスト成分として使用することで、色収差のない画素データを作成することができ、色収差をキャンセルした、鮮明な画像を作成することができる。
【００５９】
図６を用いて、カラーフィルタ２２におけるカラーフィルタ配列の一例と、固体撮像素子２３において取得される各画素について説明する。図６は、カラーフィルタ２２の一部分のフィルタ配列を表している。
【００６０】
カラーフィルタ２２によってそれぞれ取得可能な分光成分が異なるようになされている固体撮像素子２３の各画素は、Ｗで示される画素、Ｍで示される画素、Ｇで示される画素、Ｒで示される画素、および、Ｂで示される画素の５種類に分類される。
【００６１】
Ｗで示される画素（上述した第１の分光成分を取得する第１の画素群に対応する画素）とは、広い波長帯域の分光成分（上述したの第１の分光成分）を取得する画素である。具体的には、例えば、Ｗで示される画素とは、Ｂ（青）の分光成分、Ｇ（緑）の分光成分、Ｒ（赤）の分光成分、および、ＩＲ（赤外）の分光成分のすべてを取得することができる画素である。なお、カラーフィルタ２２において、通常、固体撮像素子２３の対応する画素の前面に何も加工しなければ、固体撮像素子２３において第１の分光成分を取得できる画素になる。
【００６２】
Ｍで示される画素（上述した第２の分光成分を取得する第２の画素群に対応する画素）とは、第１の分光成分から、所定の範囲の波長成分（例えば、Ｇ（緑）に対応する所定の範囲の波長成分）を除いた分光成分（上述した第２の分光成分）を取得する画素である。具体的には、例えば、Ｂ（青）の分光成分、Ｒ（赤）の分光成分、および、ＩＲ（赤外）の分光成分を取得することができる画素である。なお、カラーフィルタ２２において、通常、固体撮像素子２３の対応する画素の前面にマゼンダ色を通過させる色フィルタを付けることで、固体撮像素子２３において第２の分光成分を取得できる画素になる。
【００６３】
そして、Ｇで示される画素とは、Ｇ（緑）の分光成分を取得できる画素である。なお、カラーフィルタ２２において、通常、固体撮像素子２３の対応する画素の前面に緑色を通過させる色フィルタと赤外カットフィルタを付けることで、固体撮像素子２３においてＧ（緑）の分光成分を取得することができる画素になる。
【００６４】
Ｒで示される画素とは、Ｒ（赤）の分光成分を取得できる画素である。なお、カラーフィルタ２２において、通常、固体撮像素子２３の対応する画素の前面に赤色を通過させる色フィルタと赤外カットフィルタを付けることで、固体撮像素子２３においてＲ（赤）の分光成分を取得することができる画素になる。
【００６５】
そして、Ｂで示される画素とは、Ｂ（青）の分光成分を取得できる画素である。なお、カラーフィルタ２２において、通常、固体撮像素子２３の対応する画素の前面に青色を通過させる色フィルタと赤外カットフィルタを付けることで、固体撮像素子２３においてＢ（青）の分光成分を取得することができる画素になる。
【００６６】
カラーフィルタ２２は、図６に示されるように、例えば、Ｗで示されるある画素を基準、すなわち、図中、座標（０，０）として、座標（０，０）（２，０）（０，２）（２，２）にＷで示される画素が配置され、座標（１,１）（１，３）（３，１）（３，３）にＭで示される画素が配置され、座標（０,１）（０，３）（２，１）（２，３）にＧで示される画素が配置され、座標（１，０）（３，２）にＢで示される画素が配置され、座標（３，０）（１，２）にＲで示される画素が配置されるような、最小単位が４×４のマトリクスとなるようなフィルタ配列を有している。
【００６７】
すなわち、カラーフィルタ２２において、Ｘ軸方向を０度として、Ｇで示される画素に注目した場合、Ｇで示される画素は、０度方向、４５度方向、９０度方向、および、１３５度方向のいずれにおいても１画素おきに配置され、Ｇで示される画素に０度方向で隣接する画素は、いずれも、Ｍで示される画素であり、Ｇで示される画素に９０度方向で隣接する画素は、いずれも、Ｗで示される画素であり、Ｇで示される画素に４５度方向で隣接する画素は、いずれも、ＲまたはＢで示される画素であり、Ｇで示される画素に１３５度方向で隣接する画素は、いずれも、４５度方向で隣接している画素とは異なる、ＲまたはＢのうちのいずれか一方の画素である。
【００６８】
このようなカラーフィルタ２２および固体撮像素子２３を用いて撮影された画像データに対して、カメラ信号処理部２５により所定の処理が施され、最終的な出力画像を得ることが出来る。
【００６９】
なお、このカラーフィルタ２２において、ＷとＭのそれぞれの画素の配置が逆転しても、後述するデモザイク処理は同様にして実行可能であり、ＢとＲのそれぞれの画素の配置が逆転しても、後述するデモザイク処理は同様にして実行可能である。
【００７０】
図６を用いて説明したカラーフィルタ２２における５つの波長帯域について、図７を用いて説明する。
【００７１】
図７において、横軸は、波長を表している。図中（イ）は、Ｂ（青）の分光成分を示しており、図中（ロ）は、Ｇ（緑）の分光成分を示しており、図中（ハ）は、Ｒ（赤）の分光成分、または、Ｒ（赤）とＩＲ（赤外）の合計の分光成分を示している。
【００７２】
そして、Ｗで示される第１の画素群が取得する波長成分（即ち、第１の分光成分）は、図中（イ）（ロ）（ハ）の波長成分の合計である。そして、Ｍで示される第２の画素群が取得できる波長成分（即ち、第２の分光成分）は、図中（イ）（ハ）の波長成分の合計である。
【００７３】
すなわち、Ｗで示される第１の画素群が取得した光信号から、Ｍで示される第２の画素群が取得した光信号を減算すると、色収差のない、図中（ロ）で示されるＧ（緑）の分光成分を得ることができる。この、色収差が除去されたＧ（緑）の分光成分の画素データをコントラスト成分として使用することで、色収差をキャンセルした、ピントの合ったコントラストの高い鮮明な画像を作成することができる。
【００７４】
以上説明したように、カメラ信号処理部２５に入力されるデータは、固体撮像素子２３から出力されたＷ、Ｍ、Ｇ、Ｂ、Ｒで示されるそれぞれ異なる分光成分に対応する画素群である。すなわち、カメラ信号処理部２５に入力される画像データを構成する画素は、Ｗ、Ｍ、Ｇ、Ｂ、Ｒで示される画素群に分類可能であり、Ｗで示される画素群が配置されている画素の座標（Ｘ,Ｙ）において、Ｘは偶数、Ｙは偶数であるとすると、Ｍで示される画素群が配置されている画素の座標（Ｘ，Ｙにおいて、Ｘは奇数、Ｙは奇数となり、Ｇで示される画素群が配置されている画素の座標（Ｘ，Ｙ）において、Ｘは偶数、Ｙは奇数となり、Ｂで示される画素群が配置されている画素の座標（Ｘ，Ｙ）において、Ｘは奇数、Ｙは偶数、かつ、Ｘ−Ｙ−１は４の倍数となり、Ｒで示される画素群が配置されている画素の座標（Ｘ，Ｙ）において、Ｘは奇数、Ｙは偶数、かつ、Ｘ−Ｙ−３は４の倍数となる。
【００７５】
換言すれば、例えば、Ｗで示されるある画素の画素位置を基準点（０，０）としたとき、カメラ信号処理部２５に入力されるデータのうち、ＸおよびＹがいずれも偶数である画素はＷに対応し、ＸおよびＹがいずれも奇数である画素はＭに対応し、Ｘが偶数でありＹが奇数である画素はＧに対応し、Ｘは奇数、Ｙは偶数、かつ、Ｘ−Ｙ−１は４の倍数である画素はＢに対応し、Ｘは奇数、Ｙは偶数、かつ、Ｘ−Ｙ−３は４の倍数である画素はＲに対応する。
【００７６】
そして、カメラ信号処理部２５から出力される画像データは、全ての画素位置におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の３つのコンポーネントから成るデータ、すなわち、デモザイク後の画像データである。
【００７７】
図８は、カメラ信号処理部２５の更に詳細な構成を示すブロック図である。カメラ信号処理部２５は、クリッピング処理部４１、ガンマ補正部４２、ホワイトバランス補正部４３、および、デモザイク処理部４４で構成されている。
【００７８】
クリッピング処理部４１は、供給された画像データの各画素の画素値が、定義されている範囲内であるか否かを確認し、その画素値が定義された範囲の下限値未満の場合、画素値を下限値に補正（ノイズレベルにクリッピング）し、画素値が定義された範囲の上限値を超えている場合、画素値を上限値に補正（飽和レベルにクリッピング）する。
【００７９】
ガンマ補正部４２は、入力されたモザイク画像の各画素のそれぞれの画素値に対して、ガンマ補正を実行する。
【００８０】
ホワイトバランス補正部４３は、ホワイトバランス、すなわち、撮影時の光源による色味の違いを補正する。
【００８１】
デモザイク処理部４４は、供給された所定のカラーフィルタ配列のモザイク画像を基に、カラーフィルタ配列のそれぞれの画素がＲＧＢのいずれかの色成分を有していないとき、有していない色成分を補間する処理、すなわち、デモザイク処理を実行し、全画素がＲＧＢそれぞれの画素値を有する画像データを生成する。
【００８２】
なお、ここでは、クリッピング処理部４１、ガンマ補正部４２、ホワイトバランス補正部４３、デモザイク処理部４４の順に配列され、この順に画像処理が実行されるものとして説明しているが、例えば、クリッピング処理部４１、デモザイク処理部４４、ガンマ補正部４２、ホワイトバランス補正部４３の順に配列され、この順に画像処理が実行されるものとしても良く、このような順番に画像処理が実行される場合であっても、以下に説明するデモザイク処理部４４においては、同様のデモザイク処理が実行される。
【００８３】
デモザイク処理部４４においては、画像を構成するそれぞれの画素を注目画素として着目し、それぞれの画素（座標（Ｈ，Ｋ）とする。Ｈ、Ｋは、ともに整数）におけるＲ、Ｇ、Ｂの値を求めなくてはいけないが、入力データの画素（Ｈ、Ｋ）には、Ｗ，Ｍ，Ｇ，Ｒ，Ｂうちのいずれか１つのデータしか存在しない。そこで、デモザイク処理部４４は、座標（Ｈ,Ｋ）の画素の近傍の画素から画素値を推測する補間処理を行って、それぞれの画素におけるＲ，Ｇ，Ｂの値を求める。
【００８４】
どの方向に隣接している画素の画素値を用いて補間を行うか、すなわち、補間の方向によって、補間処理の結果得られる画素値が異なる場合がある。図９を用いて、具体的な例を用いて説明する。
【００８５】
例えば、図９に示されるように、所定の角度θの方向に白黒のグラデーション模様が入っているような画像において、注目画素１０１を近傍の画素を用いて補間することを考える。実際には、隣接した画素を用いて補間が行われるが、ここでは、補間に用いる画素の方向による補間結果の影響が極端に現れるように、少し離れた位置の画素を用いて補間処理を行う場合を想定して説明する。
【００８６】
実際には白または白に近い色の注目画素１０１に対して、注目画素近傍の画素であり、ほぼ同一の色を有する画素１０２および画素１０３、または、注目画素近傍の画素であるが、模様の角度θに対して９０度の角度となるため、注目画素とは異なり暗い色を有する画素１０４および画素１０５のいずれかを用いて補間処理を行う場合について考える。ここで、画素１０４および画素１０５を用いて補間処理を行えば、画素１０１の画素値は、実際よりも暗い色となってしまう。一方、画素１０２および画素１０３を用いて補間処理を行えば、正しい結果を得ることが可能となる。
【００８７】
すなわち、補間処理は、注目画素近傍の模様(色や明度の変化を含む)に基づいて、適切な方向の近傍画素を用いて実行しなければならない。
【００８８】
そこで、デモザイク処理部４４においては、注目画素近傍の模様の方向が、０度方向、４５度方向、９０度方向、１３５度方向のそれぞれである可能性、換言すれば、模様の方向がこの角度である確度（らしさ）に対応する数値を求める。その結果を、各画素位置においての０度方向の模様確度、４５度方向の模様確度、９０度方向の模様確度、１３５度方向の模様確度と称するものとする。模様確度の詳細については後述する。
【００８９】
そして、デモザイク処理部４４は、０度方向の模様確度、４５度方向の模様確度、９０度方向の模様確度、１３５度方向の模様確度に基づいて、それぞれの角度における補間処理の適正度、すなわち、それぞれの角度の近傍画素値を用いた補間処理が適正である可能性を表す数値を求める。
【００９０】
ここでは、それぞれの角度における「模様確度」は、他の角度のことは考慮せずに、その角度が正しいかを判定する確からしさの指標として用いられるものとする。それに対して、それぞれの角度における補間処理の「適正度」は、他の角度のことも考慮して、その角度が正しいかを判定する確からしさの指標として用いられるものとする。
【００９１】
また、デモザイク処理部４４は、Ｇ(緑)成分に関して、０度方向の近傍画素値を用いて補間した結果得られるＧ(緑)成分の補間画素値、４５度方向の近傍画素値を用いて補間した結果得られるＧ(緑)成分の補間画素値、９０度方向の近傍画素値を用いて補間した結果得られるＧ(緑)成分の補間画素値、および、１３５度方向の近傍画素値を用いて補間した結果得られるＧ(緑)成分の補間画素値を求め、それぞれの角度における補間の適正度で重み付けした重み加算を行うことにより、模様の方向を考慮したＧ（緑）成分のみの画像データを得ることができる。
【００９２】
そして、デモザイク処理部４４は、模様の方向を考慮したＧ（緑）成分の画像データを基に、Ｇ（緑）とＲ（赤）の相関係数、Ｇ（緑）とＢ（青）の相関係数を求めて、Ｒ（赤）とＢ（青）の各画素の画素値を求める。これにより、各画素位置におけるＲ（赤）、Ｇ（緑）、Ｂ（青）の画素値が求まるので、デモザイク処理部４４は、これを結果画像として出力する。
【００９３】
図１０は、図８を用いて説明したカメラ信号処理部２４のデモザイク処理部４４の詳細な構成例を示すブロック図である。
【００９４】
デモザイク処理部４４は、０度方向の模様分析処理部６１、４５度方向の模様分析処理部６２、９０度方向の模様分析処理部６３、１３５度方向の模様分析処理部６４、模様方向判定部６５、０度方向補間Ｇ画像計算処理部７１、４５度方向補間Ｇ画像計算処理部７２、９０度方向補間Ｇ画像計算処理部７３、１３５度方向補間Ｇ画像計算処理部７４、Ｇ画像計算処理部７５、Ｒ画像計算処理部８１、および、Ｂ画像計算処理部８２で構成されている。
【００９５】
０度方向の模様分析処理部６１、４５度方向の模様分析処理部６２、９０度方向の模様分析処理部６３、および、１３５度方向の模様分析処理部６４は、注目画素から所定範囲内の画素の画素値を基に、カラーフィルタ２２のフィルタ配列に応じて、それぞれの方向における補間処理を行う。図６を用いて説明したフィルタ配列においては、Ｘ軸方向を０度として、０度方向においては、隣接するＧとＭとのいずれか一方に対して他方で補間処理を行い、４５度方向においては、隣接するＷとＭとのいずれか一方に対して他方で補間処理を行い、９０度方向においては、隣接するＧとＷとのいずれか一方に対して他方で補間処理を行い、１３５度方向においては、隣接するＷとＭとのいずれか一方に対して他方で補間処理を行う。このようにして、所定範囲内において、複数の画素において、もともと有していた色成分の画素値以外に、補間処理によって他の色成分の画素値を得て、それら２つの色成分の画素値の主成分分析を実行することにより、それぞれの角度における模様確度を求める。
【００９６】
具体的には、０度方向の模様分析処理部６１は、注目画素から所定範囲内のＧ成分の画素値を有している画素に着目し、その画素にＸ軸に対して０度方向で隣接する２つのＭ成分の画素値を用いて補間処理を行い、このＧ成分の画素値とＭ成分の補間画素値の複数のペアの画素値の分散を求めて主成分分析する。ここで、第１主成分の寄与率が高ければ、０度方向の模様確度は高いと言うことができる。なお、０度方向の模様分析処理部６１は、注目画素から所定範囲内のＭ成分の画素値を有している画素に着目し、その画素にＸ軸に対して０度方向で隣接する２つのＧ成分の画素値を用いて補間処理を行うことにより、主成分分析を行うようにしても、同様にして、０度方向の模様確度を求めることが可能である。
【００９７】
４５度方向の模様分析処理部６２は、注目画素から所定範囲内のＷ成分の画素値を有している画素に着目し、その画素にＸ軸に対して４５度方向で隣接する２つのＭ成分の画素値を用いて補間処理を行い、このＷ成分の画素値とＭ成分の補間画素値の複数のペアの画素値の分散を求めて主成分分析する。ここで、第１主成分の寄与率が高ければ、４５度方向の模様確度は高いと言うことができる。なお、４５度方向の模様分析処理部６２は、注目画素から所定範囲内のＭ成分の画素値を有している画素に着目し、その画素にＸ軸に対して４５度方向で隣接する２つのＷ成分の画素値を用いて補間処理を行うことにより、主成分分析を行うようにしても、同様にして、４５度方向の模様確度を求めることが可能である。
【００９８】
９０度方向の模様分析処理部６３は、注目画素から所定範囲内のＧ成分の画素値を有している画素に着目し、その画素にＸ軸に対して９０度方向で隣接する２つのＷ成分の画素値を用いて補間処理を行い、このＧ成分の画素値とＷ成分の補間画素値の複数のペアの画素値の分散を求めて主成分分析する。ここで、第１主成分の寄与率が高ければ、９０度方向の模様確度は高いと言うことができる。なお、９０度方向の模様分析処理部６３は、注目画素から所定範囲内のＷ成分の画素値を有している画素に着目し、その画素にＸ軸に対して９０度方向で隣接する２つのＧ成分の画素値を用いて補間処理を行うことにより、主成分分析を行うようにしても、同様にして、９０度方向の模様確度を求めることが可能である。
【００９９】
１３５度方向の模様分析処理部６４は、注目画素から所定範囲内のＷ成分の画素値を有している画素に着目し、その画素にＸ軸に対して１３５度方向で隣接する２つのＭ成分の画素値を用いて補間処理を行い、このＷ成分の画素値とＭ成分の補間画素値の複数のペアの画素値の分散を求めて主成分分析する。ここで、第１主成分の寄与率が高ければ、１３５度方向の模様確度は高いと言うことができる。なお、１３５度方向の模様分析処理部６４は、注目画素から所定範囲内のＭ成分の画素値を有している画素に着目し、その画素にＸ軸に対して１３５度方向で隣接する２つのＷ成分の画素値を用いて補間処理を行うことにより、主成分分析を行うようにしても、同様にして、１３５度方向の模様確度を求めることが可能である。
【０１００】
上述したように、それぞれの角度における「模様確度」は、他の角度のことは考慮せずに、その角度が模様の方向として正しいかを判定する確からしさの指標として用いられるものとする。それぞれの模様確度の算出の詳細な例については、図１４乃至図２１を用いて後述する。
【０１０１】
模様方向判定部６５は、０度方向の模様分析処理部６１、４５度方向の模様分析処理部６２、９０度方向の模様分析処理部６３、および、１３５度方向の模様分析処理部６４により求められた、それぞれの角度における模様確度を基に、０度方向補間の適正度、４５度方向補間の適正度、９０度方向補間の適正度、１３５度方向補間の適正度を求める。
【０１０２】
ここでは、上述したように、それぞれの角度における補間処理の「適正度」は、他の角度のことも考慮して、その角度が正しいかを判定する確からしさの指標として用いられるものとする。それぞれの方向における補間の適正度の算出の詳細な例については、図２２および図２３のフローチャートを用いて後述する。
【０１０３】
０度方向補間Ｇ画像計算処理部７１は、Ｇ成分を有さない画素において、０度方向の補間処理を実行することにより、Ｇ（緑）成分のみの画像データを生成する。具体的には、０度方向保管Ｇ画像計算処理部７１は、図６を用いて説明したカラーフィルタ配列が用いられた場合、ＲとＢの画素には０度方向にＷの画素が隣接し、ＧとＭの画素はお互い０度方向に隣接していることからＧとＭの画素値の加算によりＷの画素値を推定することができることを利用して、全ての画素のＷ成分を得る。そして、注目画素近傍の所定の範囲内の画素のうち、入力信号においてＧ成分を有している画素を抽出して、それら複数の画素のＧ成分とＷ成分との主成分分析を行うことにより、注目画素のＧ成分を求める。その処理の詳細な演算手順の例については、図２４および図２５を用いて後述する。
【０１０４】
４５度方向補間Ｇ画像計算処理部７２は、Ｇ成分を有さない画素において、４５度方向の補間処理を実行することにより、Ｇ（緑）成分のみの画像データを生成する。具体的には、４５度方向補間Ｇ画像計算処理部７２は、図６を用いて説明したカラーフィルタ配列が用いられた場合、ＲとＢの画素は４５度方向にＧの画素が隣接し、ＷとＭの画素はお互い４５度方向に隣接していることからＷの画素値からＭの画素値を減算することによりＧの画素値を推定することができることを利用して、全ての画素のＧ成分を得る。その処理の詳細な演算手順の例については、図２６を用いて後述する。
【０１０５】
９０度方向補間Ｇ画像計算処理部７３は、Ｇ成分を有さない画素において、９０度方向の補間処理を実行することにより、Ｇ（緑）成分のみの画像データを生成する。具体的には、９０度方向補間Ｇ画像計算処理部７３は、図６を用いて説明したカラーフィルタ配列が用いられた場合、ＲとＢの画素は９０度方向にＭの画素が隣接し、ＧとＷの画素はお互い９０度方向に隣接していることからＷの画素値からＧの画素値を減算することによりＭの画素値を推定することができることを利用して、全ての画素のＭ成分を推定する。そして、注目画素近傍の所定の範囲内の画素のうち、入力信号においてＧ成分を有している画素を抽出して、それら複数の画素のＧ成分とＭ成分との主成分分析を行うことにより、注目画素のＧ成分を求める。その処理の詳細な演算手順の例については、図２７および図２８を用いて後述する。
【０１０６】
１３５度方向補間Ｇ画像計算処理部７４は、Ｇ成分を有さない画素において、１３５度方向の補間処理を実行することにより、Ｇ（緑）成分のみの画像データを生成する。具体的には、１３５度方向補間Ｇ画像計算処理部７４は、図６を用いて説明したカラーフィルタ配列が用いられた場合、ＲとＢの画素は１３５度方向にＧの画素が隣接し、ＷとＭの画素はお互い１３５度方向に隣接していることからＷの画素値からＭの画素値を減算することによりＧの画素値を推定することができることを利用して、全ての画素のＧ成分を得る。その処理の詳細な演算手順の例については、図２９を用いて後述する。
【０１０７】
Ｇ画像計算処理部７５は、０度方向補間Ｇ画像計算処理部７１、４５度方向補間Ｇ画像計算処理部７２、９０度方向補間Ｇ画像計算処理部７３、１３５度方向補間Ｇ画像計算処理部７４により求められた、それぞれの方向の補間処理により生成されたＧ成分の画像に対して、模様方向判定部６５の処理により求められた、０度方向補間の適正度、４５度方向補間の適正度、９０度方向補間の適正度、１３５度方向補間の適正度を重み付けして加算することにより、模様の方向が考慮されたＧ成分の画像データを求める。
【０１０８】
Ｒ画像計算処理部８１は、撮像データに含まれるＲ成分の画素値と、Ｇ画像計算処理部７５により求められたＧ成分の画像データとを基に、主成分分析を行って、Ｒ成分とＧ成分との相関を求め、これを基に、Ｒ成分の画像データを求める。その処理の詳細については、図３０および図３１を参照して後述する。
【０１０９】
Ｂ画像計算処理部８２は、撮像データに含まれるＢ成分の画素値と、Ｇ画像計算処理部７５により求められたＧ成分の画像データとを基に、主成分分析を行って、Ｂ成分とＧ成分との相関を求め、これを基に、Ｂ成分の画像データを求める。その処理の詳細については、図３２および図３３を参照して後述する。
【０１１０】
次に、図１１のフローチャートを参照して、撮像装置１１が実行する撮像処理について説明する。
【０１１１】
ステップＳ１において、イメージセンサ、すなわち、カラーフィルタ２２および固体撮像素子２３は、レンズ２１を介して入射された光を受光し、得られた光エネルギを画素ごとに光電変換により電気信号に変換して、画像データを取得し、Ａ／Ｄ変換部２４に供給する。得られた画像データのそれぞれの画素が有している色成分は、図６に示されるフィルタ配列によって決まる。カラーフィルタ２２は、図６を用いて説明したフィルタ配列を有している。
【０１１２】
ステップＳ２において、Ａ／Ｄ変換部２４は、供給されたアナログの画像データをデジタル信号の画像データに変換する、すなわち、ＡＤ変換を行う。
【０１１３】
ステップＳ３において、カメラ信号処理部２５は、クリッピング処理部４１においてクリッピング処理、ガンマ補正部４２においてガンマ補正、ホワイトバランス補正部４３においてホワイトバランス補正を行う。
【０１１４】
ステップＳ４において、カメラ信号処理部２５は、図１２および図１３のフローチャートを用いて後述するデモザイク処理を実行する。
【０１１５】
ステップＳ５において、カメラ信号処理部２５は、処理された画像は表示されるか否かを判断する。ステップＳ５において、画像は表示されないと判断された場合、処理は、ステップＳ７に進む。
【０１１６】
ステップＳ５において、画像は表示されると判断された場合、ステップＳ６において、カメラ信号処理部２５は、処理済の画像データを表示部２６に供給する。表示部２６は、供給された画像データに対応する画像を表示する。
【０１１７】
ステップＳ５において、画像は表示されないと判断された場合、または、ステップＳ６の処理の終了後、ステップＳ７において、カメラ信号処理部２５は、処理された画像は外部出力されるか否かを判断する。ステップＳ７において、画像は外部出力されないと判断された場合、処理は、後述するステップＳ９に進む。
【０１１８】
ステップＳ７において、画像は外部出力されると判断された場合、ステップＳ８において、カメラ信号処理部２５は、処理済の画像データを画像圧縮部３７に供給する。画像圧縮部３７は、供給された画像データを必要に応じて圧縮し、外部出力部２９に供給する。外部出力部２９は、供給された画像データを外部出力する。
【０１１９】
ステップＳ７において、画像は外部出力されないと判断された場合、または、ステップＳ８の処理の終了後、ステップＳ９において、カメラ信号処理部２５は、処理された画像は記録されるか否かを判断する。ステップＳ９において、画像は記録されないと判断された場合、処理は終了される。
【０１２０】
ステップＳ９において、画像は記録されると判断された場合、ステップＳ１０において、カメラ信号処理部２５は、処理済の画像データを画像圧縮部３７に供給する。画像圧縮部３７は、供給された画像データを必要に応じて圧縮し、記録部２８に供給する。記録部２８は、供給された画像データを、例えば、ハードディスク、もしくは、半導体メモリなどの記憶素子、または、所定のドライバに装着された着脱可能な記録媒体などに記録して、処理が終了される。
【０１２１】
このような処理により、広い周波数帯域の光信号を取得する画素を含む画像データが撮像されて、デモザイク処理を含む各種処理が施され、必要に応じて、表示、外部出力、または、記録される。ステップＳ４の、図１２および図１３のフローチャートを用いて後述するデモザイク処理においては、色収差が発生しないようにして、コントラスト成分が抽出される。
【０１２２】
次に、図１２および図１３のフローチャートを参照して、図１１のステップＳ４において実行されるデモザイク処理について説明する。
【０１２３】
ステップＳ４１において、デモザイク処理部４４は、それぞれの画素が、図６を用いて説明したフィルタ配列に基づいた、Ｒ，Ｇ，Ｂ，Ｗ，Ｍのいずれかの成分の画素値を有する画像データを取得する。
【０１２４】
ステップＳ４２において、図１４のフローチャートを用いて後述する、０度方向の模様角度算出処理が実行される。
【０１２５】
すなわち、ステップＳ４２において、０度方向の模様分析処理部６１は、出力画像中の注目画素において、０度方向に補間したデータに関する主成分分析を行い、０度方向の模様確度として、第１主成分の寄与率を求める。この寄与率が小さいということは、０度方向の模様ではない、すなわち、０度方向の隣接画素を用いた補間処理が適切ではない可能性が高いことを意味する。そして、この寄与率が大きいということは、９０度方向に模様が変化しているかもしれないが、少なくとも、０度方向には模様が変化していない、すなわち、０度方向の隣接画素を用いた補間処理が適切である可能性が高いことを意味する。
【０１２６】
ステップＳ４３において、図１６のフローチャートを用いて後述する、４５度方向の模様角度算出処理が実行される。
【０１２７】
すなわち、ステップＳ４３において、４５度方向の模様分析処理部６２は、出力画像中の注目画素において、４５度方向に補間したデータに関する主成分分析を行い、４５度方向の模様確度として、第１主成分の寄与率を求める。この寄与率が小さいということは、４５度方向の模様ではない、すなわち、４５度方向の隣接画素を用いた補間処理が適切ではない可能性が高いことを意味する。そして、この寄与率が大きいということは、１３５度方向に模様が変化しているかもしれないが、少なくとも、４５度方向には模様が変化していない、すなわち、４５度方向の隣接画素を用いた補間処理が適切である可能性が高いことを意味する。
【０１２８】
ステップＳ４４において、図１８のフローチャートを用いて後述する、９０度方向の模様角度算出処理が実行される。
【０１２９】
すなわち、ステップＳ４４において、９０度方向の模様分析処理部６３は、出力画像中の注目画素において、９０度方向に補間したデータに関する主成分分析を行い、９０度方向の模様確度として、第１主成分の寄与率を求める。この寄与率が小さいということは、９０度方向の模様ではない、すなわち、９０度方向の隣接画素を用いた補間処理が適切ではない可能性が高いことを意味する。そして、この寄与率が大きいということは、０度方向に模様が変化しているかもしれないが、少なくとも、９０度方向には模様が変化していない、すなわち、９０度方向の隣接画素を用いた補間処理が適切である可能性が高いことを意味する。
【０１３０】
ステップＳ４５において、図２０のフローチャートを用いて後述する、１３５度方向の模様角度算出処理が実行される。
【０１３１】
すなわち、ステップＳ４５において、１３５度方向の模様分析処理部６４は、出力画像中の注目画素において、１３５度方向に補間したデータに関する主成分分析を行い、１３５度方向の模様確度として、第１主成分の寄与率を求める。この寄与率が小さいということは、１３５度方向の模様ではない、すなわち、１３５度方向の隣接画素を用いた補間処理が適切ではない可能性が高いことを意味する。そして、この寄与率が大きいということは、４５度方向に模様が変化しているかもしれないが、少なくとも、１３５度方向には模様が変化していない、すなわち、１３５度方向の隣接画素を用いた補間処理が適切である可能性が高いことを意味する。
【０１３２】
ステップＳ４６において、図２２および図２３のフローチャートを用いて後述する、角度補間適正度算出処理が実行される。
【０１３３】
すなわち、ステップＳ４６において、模様方向判定部６５は、ステップＳ４２乃至ステップＳ４５の処理によって求められた、４つの方向のそれぞれの模様確度に基づいて、注目画素に関して、０度方向補間の適正度、４５度方向補間の適正度、９０度方向補間の適正度、および、１３５度方向補間の適正度を、それぞれ、計算する。
【０１３４】
ステップＳ４７において、図２４のフローチャートを用いて後述する、０度方向補間Ｇ成分画像生成処理が実行される。
【０１３５】
すなわち、ステップＳ４７において、０度方向補間Ｇ画像計算処理部７１は、０度方向の補間処理を実行した結果得られるＧ（緑）成分の画像データを生成する。
【０１３６】
ステップＳ４８において、図２６のフローチャートを用いて後述する、４５度方向補間Ｇ成分画像生成処理が実行される。
【０１３７】
すなわち、ステップＳ４８において、４５度方向補間Ｇ画像計算処理部７２は、４５度方向の補間処理を実行した結果得られるＧ（緑）成分の画像データを生成する。
【０１３８】
ステップＳ４９において、図２７のフローチャートを用いて後述する、９０度方向補間Ｇ成分画像生成処理が実行される。
【０１３９】
すなわち、ステップＳ４９において、９０度方向補間Ｇ画像計算処理部７３は、９０度方向の補間処理を実行した結果得られるＧ（緑）成分の画像データを生成する。
【０１４０】
ステップＳ５０において、図２９のフローチャートを用いて後述する、１３５度方向補間Ｇ成分画像生成処理が実行される。
【０１４１】
すなわち、ステップＳ５０において、１３５度方向補間Ｇ画像計算処理部７４は、１３５度方向の補間処理を実行した結果得られるＧ（緑）成分の画像データを生成する。
【０１４２】
ステップＳ５１において、Ｇ画像計算処理部７５は、ステップＳ４７乃至ステップＳ５０の処理により得られた、それぞれの方向に補間した結果得られた緑成分の画像を、ステップＳ４６において得られた、それぞれの角度の補正適正度に基づいて、重み付け加算することにより、模様の方向を考慮したＧ(緑)成分の画像データを求める。
【０１４３】
具体的には、Ｇ画像計算処理部７５は、注目画素の座標を（Ｈ，Ｋ）として、その画素において、０度方向補間の適正度×０度方向補間Ｇ画像の画素値＋４５度方向補間の適正度×４５度方向補間Ｇ画像の画素値＋９０度方向補間の適正度×９０度方向補間Ｇ画像の画素値＋１３５度方向補間の適正度×１３５度方向補間Ｇ画像の画素値を、模様の方向を考慮したＧ（緑）画像の座標（Ｈ，Ｋ）における画素値として算出する。そして、この演算が全画素において実行され、模様の方向を考慮したＧ(緑)成分の画像データが生成される。
【０１４４】
ここで生成されたＧ(緑)成分の画像データは、従来のＲ・Ｇ・Ｂのそれぞれの色成分のうちのいずれかに対応する周波数帯域よりも広い周波数帯域の光を受光するＷおよびＭのデータを利用して生成されている。すなわち、ここで生成されたＧ(緑)成分の画像データは、従来のＲ・Ｇ・Ｂのそれぞれの色成分のみで生成された画像と比較して、暗い被写体であっても、良好な画像を得ることができる。また、ＷおよびＭのデータを利用して、色収差のないＧの成分が生成されているので、広い周波数帯域の光を用いているのにもかかわらず、色収差によるぼけが抑制されたＧ成分の画像データを得ることができる。
【０１４５】
ステップＳ５２において、図３０のフローチャートを用いて後述する、Ｒ成分画素値算出処理が実行される。
【０１４６】
すなわち、ステップ５２において、Ｒ画像計算処理部８１は、入力信号に含まれるＲ成分の画素値と、Ｇ画像計算処理部７５により求められたＧ成分の画像データとを基に、主成分分析を行って、Ｒ成分とＧ成分との相関を求め、これを基に、Ｒ成分の画像データを求める。
【０１４７】
ステップＳ５３において、図３２のフローチャートを用いて後述する、Ｂ成分画素値算出処理が実行される。
【０１４８】
すなわち、ステップＳ５３において、Ｂ画像計算処理部８２は、入力信号に含まれるＢ成分の画素値と、Ｇ画像計算処理部７５により求められたＧ成分の画像データとを基に、主成分分析を行って、Ｂ成分とＧ成分との相関を求め、これを基に、Ｂ成分の画像データを求める。
【０１４９】
そして、ステップＳ５４において、デモザイク処理部４４は、Ｇ画像計算処理部７５、Ｒ画像計算処理部８１、および、Ｂ画像計算処理部８２によりそれぞれ算出された、各画素におけるＧ・Ｒ・Ｂの画素値を、出力画像データとして出力し、処理は、図１１のステップＳ４に戻り、ステップＳ５に進む。
【０１５０】
このような処理により、デモザイク処理が実行され、ＲＧＢＷＭの５つの色成分により構成されたモザイク画像から、各画素にＲＧＢの色成分が揃った画像データを得ることができる。
【０１５１】
また、ここでは、ＲＧＢのそれぞれの色成分より周波数帯域の広い、すなわち、これらの色成分と比較して受光量が多い、ＷおよびＭの画素値を用いて、色収差のないＧの画像データを生成し、これを基にして、ＲおよびＢの画像データを生成しているので、例えば、被写体が暗い場合などにおいても、良好な画像を得ることができる。
【０１５２】
また、画像中の模様の方向を考慮した補間処理を実行しているため、模様の方向を全く考慮することなく、全方向の近傍画素の画素値を用いて補間処理を行う場合と比較して、より良好な画像を得ることができる。
【０１５３】
次に、図１４のフローチャートを参照して、図１２のステップＳ４２において実行される、０度方向の模様確度算出処理について説明する。
【０１５４】
ステップＳ８１において、０度方向の模様分析処理部６１は、未処理の注目画素を１つ選択する。ここで、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とする。
【０１５５】
ステップＳ８２において、０度方向の模様分析処理部６１は、注目画素から所定の範囲内に存在するＧの画素を検出する。
【０１５６】
例えば、図６を用いて説明したフィルタ配列において、Ｘ座標が偶数、かつ、Ｙ座標が奇数となる複数の座標（Ｘ，Ｙ）には、Ｇで示される画素がある。０度方向の模様分析処理部６１は、このような座標で示されるＧの画素を検出する。また、ここで、所定の範囲とは、主成分分析のためのサンプル数や、注目画素と離れることによる相関性の強さなどの条件を基に経験的または実験的に定められる範囲である。所定の範囲とは、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とした場合に、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４となる座標（Ｘ、Ｙ）で示される９×９画素の範囲などであっても良く、これ以外の大きさであっても、また、注目画素を中心として、画素間の距離が近い画素から選択される所定数の画素の範囲であっても良い。
【０１５７】
ステップＳ８３において、０度方向の模様分析処理部６１は、検出された全てのＧの画素（Ｘ，Ｙ）に対して、０度方向に隣接するＭで補間する。
【０１５８】
すなわち、ステップＳ８２において検出された座標（Ｘ，Ｙ）のＧの画素においては、図１５に示されるように、０度方向に隣接して、座標（Ｘ−１，Ｙ）および座標（Ｘ＋１，Ｙ）で示されるＭの画素が配置されている。そこで、これら２つの点のＭの値の平均値を求めることにより、座標（Ｘ，Ｙ）における０度方向に補間されたＭの補間画素値を求めることができる。すなわち、０度方向の模様分析処理部６１は、式（１）により、Ｘが偶数、かつ、Ｙが奇数となる座標（Ｘ，Ｙ）における０度方向に補間されたＭの値を求めることができる。
【０１５９】
Ｘが偶数、かつ、Ｙが奇数となる座標（Ｘ，Ｙ）で０度方向に補間されたＭの値
＝｛（座標（Ｘ−１，Ｙ）のＭの値）＋（座標（Ｘ＋１，Ｙ）のＭの値）｝÷２
・・・（１）
【０１６０】
ステップＳ８４において、０度方向の模様分析処理部６１は、ステップＳ８２において所定範囲内において検出されたＧに対応する画素位置における、それぞれのＧの画素値と、ステップＳ８３において求められたＭの補間画素値とを、ＧとＭの２次元空間にプロットし、主成分分析を行う。
【０１６１】
すなわち、所定範囲内において、Ｘ座標が偶数、かつ、Ｙ座標が奇数となる座標（Ｘ，Ｙ）の位置の入力画像には、Ｇの画素値が存在し、ステップＳ８３において、対応する位置のＭの０度方向の補間画素値が求められた。これを用いて、所定範囲内において、Ｘ座標が偶数、かつ、Ｙ座標が奇数となる複数の座標（Ｘ，Ｙ）において、Ｇの値とＭの値のペアが成立する。したがって、０度方向の模様分析処理部６１は、この複数のペアを、ＧとＭの２次元空間にプロットすることにより、主成分分析を行うことができる。
【０１６２】
ステップＳ８５において、０度方向の模様分析処理部６１は、ステップＳ８４における主成分分析における第１主成分の寄与率を求め、０度方向の模様確度とする。
【０１６３】
第１主成分の寄与率は、（第１主成分の分散値）/（各変量の分散の和）で求められるが、これは（第１主成分の分散値）/（試料全体の散らばり量）と同義である。すなわち、０度方向に模様が変化しない部分では、０度方向に補間することで正しく補間されて、ＧとＭの２次元空間にプロットされたペアは、１つの直線上に乗るはずである。換言すれば、０度方向に模様が変化しない場合、主成分分析の結果、第１主成分以外の寄与率は、略０となる。したがって、第１主成分の寄与率は、注目画素における０度方向の模様確度と同義である。主成分分析した結果、第１主成分の寄与率が小さければ、０度方向に模様が変化しているため、０度方向の補間により正しい補間画像を得ることができないと推定することができる。
【０１６４】
なお、ここでは、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４などで示される局所領域においては、ＧとＭの値には、相関があると仮定する。また、模様の変化する位置では色相は変化しないのが一般的である。つまり、Ｇの値とＭの値とは比例関係（比例係数は正）になるのが一般的である。従って、第１主成分を求める際に、原点を通るという条件付きで求めても良いし、あるいは、第１主成分の方向が負の傾きを持つ場合には、０度方向の模様確度の値を所定の割合で減少させるようにしても良い。
【０１６５】
ステップＳ８６において、０度方向の模様分析処理部６１は、全画素分の０度方向の模様確度を算出したか否かを判断する。ステップＳ８６において、全画素分の０度方向の模様確度が算出されていないと判断された場合、処理は、ステップＳ８１に戻り、それ以降の処理が繰り替えさえる。ステップＳ８６において、全画素分の０度方向の模様確度が算出されたと判断された場合、処理は、図１２のステップＳ４２に戻り、ステップＳ４３に進む。
【０１６６】
このような処理により、入力画像データのうち、Ｇの色成分を持つ画素の画素値と、Ｍの色成分を持つ画素の画素値とを用いて、注目画素近傍の模様の方向が０度方向である可能性、換言すれば、模様の方向が０度である確度（らしさ）を求めることができる。
【０１６７】
次に、図１６のフローチャートを参照して、図１２のステップＳ４３において実行される、４５度方向の模様確度算出処理について説明する。
【０１６８】
ステップＳ１１１において、４５度方向の模様分析処理部６２は、未処理の注目画素を１つ選択する。ここで、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とする。
【０１６９】
ステップＳ１１２において、４５度方向の模様分析処理部６２は、注目画素から所定の範囲内に存在するＷの画素を検出する。
【０１７０】
例えば、図６を用いて説明したフィルタ配列において、Ｘが偶数、かつ、Ｙが偶数となる複数の座標（Ｘ，Ｙ）には、Ｗで示される画素がある。４５度方向の模様分析処理部６２は、このような座標で示されるＷの画素を検出する。
【０１７１】
ステップＳ１１３において、４５度方向の模様分析処理部６２は、検出された全てのＷの画素（Ｘ，Ｙ）に対して、４５度方向に隣接するＭで補間する。
【０１７２】
すなわち、ステップＳ１１２において検出された座標（Ｘ，Ｙ）のＷの画素においては、図１７に示されるように、４５度方向に隣接して、座標（Ｘ−１，Ｙ−１）および座標（Ｘ＋１，Ｙ＋１）で示されるＭの画素が配置されている。そこで、これら２つの点のＭの値の平均値を求めることにより、座標（Ｘ，Ｙ）における４５度方向で補間したＭの補間画素値を求めることができる。すなわち、４５度方向の模様分析処理部６２は、式（２）により、Ｘが偶数、かつ、Ｙが偶数となる複数の座標（Ｘ，Ｙ）における４５度方向で補間したＭの値を求めることができる。
【０１７３】
Ｘが偶数、かつ、Ｙが偶数となる座標（Ｘ，Ｙ）の４５度方向で補間したＭの値
＝｛（座標（Ｘ−１，Ｙ−１）のＭの値）＋（座標（Ｘ＋１，Ｙ＋１）のＭの値）｝÷２
・・・（２）
【０１７４】
ステップＳ１１４において、４５度方向の模様分析処理部６２は、ステップＳ１１２において所定範囲内において検出されたＷに対応する画素位置における、それぞれのＷの画素値と、ステップＳ１１３において求められたＭの補間画素値とを、ＷとＭの２次元空間にプロットし、主成分分析を行う。
【０１７５】
すなわち、所定範囲内において、Ｘ座標が偶数、かつ、Ｙ座標が偶数となる座標（Ｘ，Ｙ）の位置の入力画像には、Ｗの画素値が存在し、ステップＳ１１３において、対応する位置のＭの４５度方向の補間画素値が求められた。これを用いて、所定範囲内において、Ｘ座標が偶数、かつ、Ｙ座標が偶数となる複数の座標（Ｘ，Ｙ）において、Ｗの値とＭの値のペアが成立する。したがって、４５度方向の模様分析処理部６２は、この複数のペアを、ＷとＭの２次元空間にプロットすることにより、主成分分析を行うことができる。
【０１７６】
ステップＳ１１５において、４５度方向の模様分析処理部６２は、ステップＳ１１４における主成分分析における第１主成分の寄与率を求め、４５度方向の模様確度とする。
【０１７７】
第１主成分の寄与率は、（第１主成分の分散値）/（各変量の分散の和）で求められるが、これは（第１主成分の分散値）/（試料全体の散らばり量）と同義である。すなわち、４５度方向に模様が変化しない部分では、４５度方向に補間することで正しく補間されて、ＷとＭの２次元空間にプロットされたペアは、１つの直線上に乗るはずである。換言すれば、４５度方向に模様が変化しない場合、主成分分析の結果、第１主成分以外の寄与率は、略０となる。したがって、第１主成分の寄与率は、注目画素における４５度方向の模様確度と同義である。主成分分析した結果、第１主成分の寄与率が小さければ、４５度方向に模様が変化しているため、４５度方向の補間により正しい補間画像を得ることができないと推定することができる。
【０１７８】
なお、ここでは、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４などで示される局所領域においては、ＷとＭの値には、相関があると仮定する。また、模様の変化する位置では色相は変化しないのが一般的である。つまり、Ｗの値とＭの値とは比例関係（比例係数は正）になるのが一般的である。従って、第１主成分を求める際に、原点を通るという条件付きで求めても良いし、あるいは、第１主成分の方向が負の傾きを持つ場合には、４５度方向の模様確度の値を所定の割合で減少させるようにしても良い。
【０１７９】
ステップＳ１１６において、４５度方向の模様分析処理部６２は、全画素分の４５度方向の模様確度を算出したか否かを判断する。ステップＳ１１６において、全画素分の４５度方向の模様確度が算出されていないと判断された場合、処理は、ステップＳ１１１に戻り、それ以降の処理が繰り替えさえる。ステップＳ１１６において、全画素分の４５度方向の模様確度が算出されたと判断された場合、処理は、図１２のステップＳ４３に戻り、ステップＳ４４に進む。
【０１８０】
このような処理により、入力画像データのうち、Ｗの色成分を持つ画素の画素値と、Ｍの色成分を持つ画素の画素値とを用いて、注目画素近傍の模様の方向が４５度方向である可能性、換言すれば、模様の方向が４５度である確度（らしさ）を求めることができる。
【０１８１】
次に、図１８のフローチャートを参照して、図１２のステップＳ４４において実行される、９０度方向の模様確度算出処理について説明する。
【０１８２】
ステップＳ１４１において、９０度方向の模様分析処理部６３は、未処理の注目画素を１つ選択する。ここで、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とする。
【０１８３】
ステップＳ１４２において、９０度方向の模様分析処理部６３は、注目画素から所定の範囲内に存在するＧの画素を検出する。
【０１８４】
上述したように、図６を用いて説明したフィルタ配列において、Ｘ座標が偶数、かつ、Ｙ座標が奇数となる複数の座標（Ｘ，Ｙ）には、Ｇで示される画素がある。９０度方向の模様分析処理部６３は、このような座標で示されるＧの画素を検出する。
【０１８５】
ステップＳ１４３において、９０度方向の模様分析処理部６３は、検出された全てのＧの画素（Ｘ，Ｙ）に対して、９０度方向に隣接するＷで補間する。
【０１８６】
すなわち、ステップＳ１４２において検出された座標（Ｘ，Ｙ）のＧの画素においては、図１９に示されるように、９０度方向に隣接して、座標（Ｘ，Ｙ＋１）および座標（Ｘ，Ｙ−１）で示されるＷの画素が配置されている。そこで、これら２つの点のＷの値の平均値を求めることにより、座標（Ｘ，Ｙ）の９０度方向に補間されたＷの補間画素値を求めることができる。すなわち、９０度方向の模様分析処理部６３は、式（３）により、Ｘが偶数、かつ、Ｙが奇数となる座標（Ｘ，Ｙ）の９０度方向に補間されたＷの値を求めることができる。
【０１８７】
Ｘが偶数、Ｙが奇数となる座標（Ｘ，Ｙ）の９０度方向に補間されたＷの値
＝｛（座標（Ｘ，Ｙ＋１）のＷの値）＋（座標（Ｘ，Ｙ−１）のＷの値）｝÷２
・・・（３）
【０１８８】
ステップＳ１４４において、９０度方向の模様分析処理部６３は、ステップＳ１４２において所定範囲内において検出されたＧに対応する画素位置における、それぞれのＧの画素値と、ステップＳ１４３において求められたＷの補間画素値とを、ＧとＷの２次元空間にプロットし、主成分分析を行う。
【０１８９】
すなわち、所定範囲内において、Ｘ座標が偶数、かつ、Ｙ座標が奇数となる座標（Ｘ，Ｙ）の位置の入力画像には、Ｇの画素値が存在し、ステップＳ１４３において、対応する位置のＷの９０度方向の補間画素値が求められた。これを用いて、所定範囲内において、Ｘ座標が偶数、かつ、Ｙ座標が奇数となる複数の座標（Ｘ，Ｙ）において、Ｇの値とＷの値のペアが成立する。したがって、９０度方向の模様分析処理部６３は、この複数のペアを、ＧとＷの２次元空間にプロットすることにより、主成分分析を行うことができる。
【０１９０】
ステップＳ１４５において、９０度方向の模様分析処理部６３は、ステップＳ１４４における主成分分析における第１主成分の寄与率を求め、９０度方向の模様確度とする。
【０１９１】
第１主成分の寄与率は、（第１主成分の分散値）/（各変量の分散の和）で求められるが、これは（第１主成分の分散値）/（試料全体の散らばり量）と同義である。すなわち、９０度方向に模様が変化しない部分では、９０度方向に補間することで正しく補間されて、ＧとＷの２次元空間にプロットされたペアは、１つの直線上に乗るはずである。換言すれば、９０度方向に模様が変化しない場合、主成分分析の結果、第１主成分以外の寄与率は、略０となる。したがって、第１主成分の寄与率は、注目画素における９０度方向の模様確度と同義である。主成分分析した結果、第１主成分の寄与率が小さければ、９０度方向に模様が変化しているため、９０度方向の補間により正しい補間画像を得ることができないと推定することができる。
【０１９２】
なお、ここでは、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４などで示される局所領域においては、ＧとＷの値には、相関があると仮定する。また、模様の変化する位置では色相は変化しないのが一般的である。つまり、Ｇの値とＷの値とは比例関係（比例係数は正）になるのが一般的である。従って、第１主成分を求める際に、原点を通るという条件付きで求めても良いし、あるいは、第１主成分の方向が負の傾きを持つ場合には、９０度方向の模様確度の値を所定の割合で減少させるようにしても良い。
【０１９３】
ステップＳ１４６において、９０度方向の模様分析処理部６３は、全画素分の９０度方向の模様確度を算出したか否かを判断する。ステップＳ１４６において、全画素分の９０度方向の模様確度が算出されていないと判断された場合、処理は、ステップＳ１４１に戻り、それ以降の処理が繰り替えさえる。ステップＳ１４６において、全画素分の９０度方向の模様確度が算出されたと判断された場合、処理は、図１２のステップＳ４４に戻り、ステップＳ４５に進む。
【０１９４】
このような処理により、入力画像データのうち、Ｇの色成分を持つ画素の画素値と、Ｗの色成分を持つ画素の画素値とを用いて、注目画素近傍の模様の方向が９０度方向である可能性、換言すれば、模様の方向が９０度である確度（らしさ）を求めることができる。
【０１９５】
次に、図２０のフローチャートを参照して、図１２のステップＳ４５において実行される、１３５度方向の模様確度算出処理について説明する。
【０１９６】
ステップＳ１７１において、１３５度方向の模様分析処理部６４は、未処理の注目画素を１つ選択する。ここで、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とする。
【０１９７】
ステップＳ１７２において、１３５度方向の模様分析処理部６４は、注目画素から所定の範囲内に存在するＷの画素を検出する。
【０１９８】
例えば、図６を用いて説明したフィルタ配列において、Ｘ座標が偶数、かつ、Ｙ座標が偶数となる複数の座標（Ｘ，Ｙ）には、Ｗで示される画素がある。１３５度方向の模様分析処理部６４は、このような座標で示されるＷの画素を検出する。
【０１９９】
ステップＳ１７３において、１３５度方向の模様分析処理部６４は、検出された全てのＷの画素（Ｘ，Ｙ）に対して、１３５度方向に隣接するＭで補間する。
【０２００】
すなわち、ステップＳ１７２において検出された座標（Ｘ，Ｙ）のＷの画素においては、図２１に示されるように、１３５度方向に隣接して、座標（Ｘ−１，Ｙ＋１）および座標（Ｘ＋１，Ｙ−１）で示されるＭの画素が配置されている。そこで、これら２つの点のＭの値の平均値を求めることにより、座標（Ｘ，Ｙ）の１３５度方向に補間されたＭの補間画素値を求めることができる。すなわち、１３５度方向の模様分析処理部６４は、式（４）により、Ｘが偶数、かつ、Ｙが偶数となる座標（Ｘ，Ｙ）における１３５度方向に補間されたＭの値を求めることができる。
【０２０１】
Ｘが偶数、Ｙが偶数となる座標（Ｘ，Ｙ）で１３５度方向に補間されたＭの値
＝｛（座標（Ｘ−１，Ｙ＋１）のＭの値）＋（座標（Ｘ＋１，Ｙ−１）のＭの値）｝÷２
・・・（４）
【０２０２】
ステップＳ１７４において、１３５度方向の模様分析処理部６４は、ステップＳ１７２において所定範囲内において検出されたＷに対応する画素位置における、それぞれのＷの画素値と、ステップＳ１７３において求められたＭの補間画素値とを、ＷとＭの２次元空間にプロットし、主成分分析を行う。
【０２０３】
すなわち、所定範囲内において、Ｘ座標が偶数、かつ、Ｙ座標が偶数となる座標（Ｘ，Ｙ）の位置の入力画像には、Ｗの画素値が存在し、ステップＳ１７３において、対応する位置のＭの１３５度方向の補間画素値が求められた。これを用いて、所定範囲内において、Ｘ座標が偶数、かつ、Ｙ座標が偶数となる複数の座標（Ｘ，Ｙ）において、Ｗの値とＭの値のペアが成立する。したがって、１３５度方向の模様分析処理部６４は、この複数のペアを、ＷとＭの２次元空間にプロットすることにより、主成分分析を行うことができる。
【０２０４】
ステップＳ１７５において、１３５度方向の模様分析処理部６４は、ステップＳ１７４における主成分分析における第１主成分の寄与率を求め、１３５度方向の模様確度とする。
【０２０５】
第１主成分の寄与率は、（第１主成分の分散値）/（各変量の分散の和）で求められるが、これは（第１主成分の分散値）/（試料全体の散らばり量）と同義である。すなわち、１３５度方向に模様が変化しない部分では、１３５度方向に補間することで正しく補間されて、ＷとＭの２次元空間にプロットされたペアは、１つの直線上に乗るはずである。換言すれば、１３５度方向に模様が変化しない場合、主成分分析の結果、第１主成分以外の寄与率は、略０となる。したがって、第１主成分の寄与率は、注目画素における１３５度方向の模様確度と同義である。主成分分析した結果、第１主成分の寄与率が小さければ、１３５度方向に模様が変化しているため、１３５度方向の補間により正しい補間画像を得ることができないと推定することができる。
【０２０６】
なお、ここでは、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４などで示される局所領域においては、ＷとＭの値には、相関があると仮定する。また、模様の変化する位置では色相は変化しないのが一般的である。つまり、Ｗの値とＭの値とは比例関係（比例係数は正）になるのが一般的である。従って、第１主成分を求める際に、原点を通るという条件付きで求めても良いし、あるいは、第１主成分の方向が負の傾きを持つ場合には、１３５度方向の模様確度の値を所定の割合で減少させるようにしても良い。
【０２０７】
ステップＳ１７６において、１３５度方向の模様分析処理部６４は、全画素分の１３５度方向の模様確度を算出したか否かを判断する。ステップＳ１７６において、全画素分の１３５度方向の模様確度が算出されていないと判断された場合、処理は、ステップＳ１７１に戻り、それ以降の処理が繰り替えさえる。ステップＳ１７６において、全画素分の１３５度方向の模様確度が算出されたと判断された場合、処理は、図１２のステップＳ４５に戻り、ステップＳ４６に進む。
【０２０８】
このような処理により、入力画像データのうち、Ｗの色成分を持つ画素の画素値と、Ｍの色成分を持つ画素の画素値とを用いて、注目画素近傍の模様の方向が１３５度方向である可能性、換言すれば、模様の方向が１３５度である確度（らしさ）を求めることができる。
【０２０９】
次に、図２２および図２３のフローチャートを参照して、図１２のステップＳ４６において実行される、角度補間適正度算出処理について説明する。
【０２１０】
ここで、図１４乃至図２１を用いて説明した、それぞれの角度における模様確度は、他の角度のことは考えずに、模様の角度としてその角度が正しいかを判定する指標として用いられている。それに対して、適正度という言葉は、他の角度のことも考慮して、模様の角度としてその角度が正しいかを判定する指標として用いられている。
【０２１１】
ステップＳ２０１において、模様方向判定部６５は、未処理の注目画素を１つ選択する。
【０２１２】
ステップＳ２０２において、模様方向判定部６５は、注目画素の０度方向の模様確度と９０度方向の模様確度を基に、０度と９０度のうちの０度方向に模様がある確度Ｐ０を求める。具体的には、模様方向判定部６５は、０度と９０度のうちの０度方向に模様がある確度Ｐ０＝（０度方向の模様確度）÷｛（０度方向の模様確度）＋（９０度方向の模様確度）｝を求める。
【０２１３】
ステップＳ２０３において、模様方向判定部６５は、注目画素の０度方向の模様確度と９０度方向の模様確度を基に、０度と９０度のうちの９０度方向に模様がある確度Ｐ９０を求める。具体的には、模様方向判定部６５は、０度と９０度のうちの９０度方向に模様がある確度＝（９０度方向の模様確度）÷｛（０度方向の模様確度）＋（９０度方向の模様確度）｝を求める。
【０２１４】
ステップＳ２０４において、模様方向判定部６５は、注目画素の４５度方向の模様確度と１３５度方向の模様確度を基に、４５度と１３５度のうちの４５度方向に模様がある確度Ｐ４５を求める。具体的には、模様方向判定部６５は、４５度と１３５度のうちの４５度方向に模様がある確度Ｐ４５＝（４５度方向の模様確度）÷｛（４５度方向の模様確度）＋（１３５度方向の模様確度）｝を求める。
【０２１５】
ステップＳ２０５において、模様方向判定部６５は、注目画素の４５度方向の模様確度と１３５度方向の模様確度を基に、４５度と１３５度のうちの１３５度方向に模様がある確度Ｐ１３５を求める。具体的には、模様方向判定部６５は、４５度と１３５度のうちの１３５度方向に模様がある確度Ｐ１３５＝（１３５度方向の模様確度）÷｛（４５度方向の模様確度）＋（１３５度方向の模様確度）｝を求める。
【０２１６】
なお、ステップＳ２０２およびステップＳ２０３において求められた確度Ｐ０および確度Ｐ９０は、４５度方向の模様確度および１３５度方向の模様確度を考慮しない値であり、ステップＳ２０４およびステップＳ２０５において求められた確度Ｐ４５および確度Ｐ１３５は、０度方向の模様確度および９０度方向の模様確度を考慮しない値である。
【０２１７】
ステップＳ２０６において、模様方向判定部６５は、得られた確度Ｐ０と確度Ｐ９０を用いて、模様が０度または９０度のいずれかの方向である確度Ｑ０９０を求める。具体的には、模様方向判定部６５は、模様が０度または９０度のいずれかの方向である確度Ｑ０９０を、（Ｐ０−Ｐ９０の絶対値）÷｛（Ｐ０−Ｐ９０の絶対値）＋（Ｐ４５−Ｐ１３５の絶対値）｝として算出する。
【０２１８】
ステップＳ２０７において、模様方向判定部６５は、得られた確度Ｐ４５と確度Ｐ１３５を用いて、模様が４５度または１３５度のいずれかの方向である確度Ｑ４５１３５を求める。具体的には、模様方向判定部６５は、模様が４５度または１３５度のいずれかの方向である確度Ｑ４５１３５を、（Ｐ４５−Ｐ１３５の絶対値）÷｛（Ｐ０−Ｐ９０の絶対値）＋（Ｐ４５−Ｐ１３５の絶対値）｝として算出する。
【０２１９】
ステップＳ２０８において、模様方向判定部６５は、得られた確度Ｐ０と確度Ｑ０９０とを基に、０度補間の適正度を算出する。具体的には、模様方向判定部６５は、０度方向補間の適正度＝Ｐ０×Ｑ０９０を求める。
【０２２０】
ステップＳ２０９において、模様方向判定部６５は、得られた確度Ｐ９０と確度Ｑ０９０とを基に、９０度補間の適正度を算出する。具体的には、模様方向判定部６５は、９０度方向補間の適正度＝Ｐ９０×Ｑ０９０を求める。
【０２２１】
ステップＳ２１０において、模様方向判定部６５は、得られた確度Ｐ４５と確度Ｑ４５１３５とを基に、４５度補間の適正度を算出する。具体的には、模様方向判定部６５は、４５度方向補間の適正度＝Ｐ４５×Ｑ４５１３５を求める。
【０２２２】
ステップＳ２１１において、模様方向判定部６５は、得られた確度Ｐ１３５と確度Ｑ４５１３５とを基に、１３５度補間の適正度を算出する。具体的には、模様方向判定部６５は、１３５度方向補間の適正度＝Ｐ１３５×Ｑ４５１３５を求める。
【０２２３】
ステップＳ２１２において、模様方向判定部６５は、全ての画素における処理が終了したか否かを判断する。ステップＳ２１２において、全ての画素における処理が終了していないと判断された場合、処理は、ステップＳ２０１に戻り、それ以降の処理が繰り返される。ステップＳ２１２において、全ての画素における処理が終了していないと判断された場合、処理は、図１２のステップＳ４６に戻り、ステップＳ４７に進む。
【０２２４】
このような処理により、まず、０度方向の模様確度と９０度方向の模様確度の２つから、０度方向補間の適正度と９０度方向補間の適正度の比が求められ、４５度方向の模様確度と１３５度方向の模様確度の２つから、４５度方向補間の適正度と１３５度方向補間の適正度の比が求められる。これにより、直交する２つの方向に対して、どちらが、どれだけ正しいと考えられるかが推定される。
【０２２５】
そして、次に、０度方向補間の適正度と９０度方向補間の適正度の合計と、４５度方向補間の適正度と１３５度方向補間の適正度の合計との比が求められる。そして、最終的に、０度方向補間の適正度、４５度方向補間の適正度、９０度方向補間の適正度、および、１３５度方向補間の適正度が求められる。
【０２２６】
４５度だけずれた方向の違いを判定するのは難しいが、９０度ずれた方向の違いを判定するのは比較的容易である。すなわち、「０度方向補間の適正度と４５度方向補間の適正度の比」から、０度方向の補間の適正度と４５度方向の補間の適正度とをそれぞれ求める事は、方向が４５度という僅かな違いなので、困難であるが、それに対して、「０度方向補間の適正度と９０度方向補間の適正度の比」から、０度方向の補間の適正度と９０度方向の補間の適正度とをそれぞれ求める事は、それぞれの角度が大きく異なるため、容易である。したがって、このような手順により、複雑な演算処理を行うことなく、それぞれの角度の補間の適正度を求めることが可能となる。
【０２２７】
具体的な例として、０度方向の模様がある場合、それぞれの角度に対して、どのような適正度が求められるかについて説明する。
【０２２８】
まず、０度方向の模様であるため、「０度方向の模様確度」は大きく、そして、それと直交する「９０度方向の模様確度」は小さい。そのため、ステップＳ２０１およびステップＳ２０２において求められる確度Ｐ０および確度Ｐ９０は、Ｐ０≒１、Ｐ９０≒０となる。また、４５度方向と、１３５度方向に関しては、それぞれ、実際の模様の方向に対して、同じ角度（４５度）だけずれているので、「４５度方向の模様確度」≒「１３５度方向の模様確度」となる。そのため、ステップＳ２０４およびステップＳ２０５において求められる確度Ｐ４５および確度Ｐ１３５は、Ｐ４５≒Ｐ１３５となる。
【０２２９】
したがって、ステップＳ２０６において、確度Ｑ０９０≒１÷（１＋０）≒１が求められ、ステップＳ２０７において、確度Ｑ４５１３５≒０÷（１＋０）≒０が求められる。そして、ステップＳ２０８において、「０度方向補間の適正度」≒１×１≒１、ステップＳ２０９において、「９０度方向補間の適正度」≒０が求められる。また、ステップＳ２１０において、「４５度方向補間の適正度」≒０、ステップＳ２１１において、「１３５度方向補間の適正度」≒０が求められる。したがって、０度方向の補間によりデモザイク処理が行われて、良好な画像を得ることができる。
【０２３０】
また、例えば、模様のない被写体を投影した部分については、０度方向の模様確度、４５度方向の模様確度、９０度方向の模様確度、１３５度方向の模様確度のすべての値が、同程度に大きいので、結果として、０度方向補間の適正度≒０．２５、４５度方向補間の適正度≒０．２５、９０度方向補間の適正度≒０．２５、１３５度方向補間の適正度≒０．２５となり、全ての方向について、同程度の重みで補間処理が実行される。
【０２３１】
次に、図２４のフローチャートを参照して、図１３のステップＳ４７において実行される、０度方向補間Ｇ成分画像生成処理について説明する。
【０２３２】
図６を用いて説明したカラーフィルタ２２のフィルタ配列においては、Ｙ軸の値が奇数であるラインには、入力画像中に一つおきにＧの値が存在しているので、Ｍで示される画素においては、０度方向の補間により、Ｇの補間画素値を算出することが出来る。しかしながら、Ｙ軸の値が偶数であるラインは、入力画像中にＧの値が存在しないので、０度方向の補間によりＧの補間画素値を直接計算することが出来ない。そこで、まず、０度方向の補間により、全ての画素におけるＷの画像を計算し、その後、ＧとＷの相関により、全画素におけるＧを計算するものとする。
【０２３３】
まず、ステップＳ２４１において、０度方向補間Ｇ画像計算処理部７１は、Ｗの値の抽出または補間処理が未処理の注目画素を１つ選択する。
【０２３４】
ステップＳ２４２において、０度方向補間Ｇ画像計算処理部７１は、注目画素は、Ｗの画素値を有する画素であるか否かを判断する。Ｘは偶数、かつ、Ｙは偶数となる座標（Ｘ，Ｙ）には、もともとＷで示される画素がある。ステップＳ２４２において、注目画素は、Ｗの画素値を有する画素であると判断された場合、この値を、座標（Ｘ，Ｙ）におけるＷの値とすれば良いので、処理は、後述するステップＳ２５１に進む。
【０２３５】
ステップＳ２４２において、注目画素は、Ｗの画素値を有する画素ではないと判断された場合、ステップＳ２４３において、０度方向補間Ｇ画像計算処理部７１は、注目画素に対して０度方向に隣接する画素として、Ｗの画素が存在するか否かを判断する。Ｘは奇数、かつ、Ｙは偶数となる座標（Ｘ，Ｙ）の画素に対して、０度方向に隣接する座標（Ｘ−１，Ｙ）および座標（Ｘ＋１，Ｙ）の画素は、Ｗの画素値を有している。ステップＳ２４３において、注目画素に対して０度方向にＷの画素が存在しないと判断された場合、処理は、後述するステップＳ２４５に進む。
【０２３６】
ステップＳ２４３において、注目画素に対して０度方向にＷの画素が存在すると判断された場合、ステップＳ２４４において、０度方向補間Ｇ画像計算処理部７１は、０度方向に隣接しているＷの画素値を基に、Ｗの補間値を得る。すなわち、０度方向補間Ｇ画像計算処理部７１は、座標（Ｘ−１，Ｙ）における画素値と座標（Ｘ＋１，Ｙ）における画素値との平均を、座標（Ｘ，Ｙ）におけるＷの補間画素値とし、処理は、後述するステップＳ２５１に進む。
【０２３７】
ステップＳ２４３において、注目画素に対して０度方向にＷの画素が存在しないと判断された場合、ステップＳ２４５において、０度方向補間Ｇ画像計算処理部７１は、注目画素は、Ｇの画素値を有する画素であるか否かを判断する。ステップＳ２４５において、注目画素は、Ｇの画素値を有する画素ではないと判断された場合、処理は、後述するステップＳ２４８に進む。
【０２３８】
ステップＳ２４５において、注目画素は、Ｇの画素値を有する画素であると判断された場合、ステップＳ２４６において、０度方向補間Ｇ画像計算処理部７１は、０度方向に隣接するＭの画素値を基に、注目画素のＭの補間値を得る。すなわち、Ｘは偶数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）には、Ｇで示される画素がある。そして、その画素に対して、０度方向に隣接する画素、すなわち、座標（Ｘ−１，Ｙ）および座標（Ｘ＋１，Ｙ）の位置にはＭで示される画素があるので、これら２点の平均値を、座標（Ｘ，Ｙ）におけるＭの補間画素値とすることができる。
【０２３９】
ステップＳ２４７において、０度方向補間Ｇ画像計算処理部７１は、Ｗの画素値＝Ｇの画素値＋Ｍの画素値であることに基づいて、注目画素のＧの画素値とＭの補間値とを加算して、Ｗの画素値を求め、処理は、後述するステップＳ２５１に進む。
【０２４０】
ステップＳ２４５において、注目画素は、Ｇの画素値を有する画素ではないと判断された場合、ステップＳ２４８において、０度方向補間Ｇ画像計算処理部７１は、注目画素は、Ｍの画素値を有する画素であるか否かを判断する。ステップＳ２４８において、注目画素は、Ｍの画素値を有する画素ではないと判断された場合、処理は、後述するステップＳ２５１に進む。
【０２４１】
ステップＳ２４８において、注目画素は、Ｍの画素値を有する画素であると判断された場合、ステップＳ２４９において、０度方向補間Ｇ画像計算処理部７１は、注目画素に対して０度方向に隣接する画素が有するＧの画素値を基に、注目画素におけるＧの補間値を得る。すなわち、Ｘは奇数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）には、Ｍで示される画素がある。そして、その画素に対して０度方向に隣接する画素、すなわち、座標（Ｘ−１，Ｙ）および座標（Ｘ＋１，Ｙ）の位置にはＧで示される画素があるので、これら２点の平均値を、座標（Ｘ，Ｙ）におけるＧの補間画素値とすることができる。
【０２４２】
ステップＳ２５０において、０度方向補間Ｇ画像計算処理部７１は、Ｗの画素値＝Ｇの画素値＋Ｍの画素値であることに基づいて、注目画素のＭの画素値とＧの補間値とを加算して、Ｗの画素値を求め、処理は、後述するステップＳ２５１に進む。
【０２４３】
ステップＳ２４２において、注目画素は、Ｗの画素値を有する画素であると判断された場合、ステップＳ２４４、もしくは、ステップＳ２４７の処理の終了後、ステップＳ２４８において、注目画素は、Ｍの画素値を有する画素ではないと判断された場合、または、ステップＳ２５０の処理の終了後、ステップＳ２５１において、０度方向補間Ｇ画像計算処理部７１は、全ての画素においてＷの値が得られたか否かを判断する。ステップＳ２５１において、全ての画素においてＷの値が得られていないと判断された場合、処理は、ステップＳ２４１に戻り、それ以降の処理が繰り返される。
【０２４４】
ステップＳ２５１において、全ての画素においてＷの値が得られたと判断された場合、ステップＳ２５２において、０度方向補間Ｇ画像計算処理部７１は、Ｇの値の決定処理が未処理の注目画素を１つ選択する。
【０２４５】
ステップＳ２５３において、０度方向補間Ｇ画像計算処理部７１は、注目画素から所定の範囲内に存在するＧの画素を検出する。ここで、所定の範囲とは、主成分分析のためのサンプル数や、注目画素と離れることによる相関性の強さなどの条件を基に経験的または実験的に定められる範囲である。所定の範囲とは、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とした場合に、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４となる座標（Ｘ、Ｙ）で示される９×９画素の範囲などであっても良く、これ以外の大きさであっても、また、注目画素を中心として、画素間の距離が近い画素から選択される所定数の画素の範囲であっても良い。
【０２４６】
また、ここでいう所定の範囲、および、後述する９０度方向補間Ｇ成分画像生成処理における所定の範囲は、上述した、０度、４５度、９０度、または、１３５度のそれぞれの方向の模様確度算出処理において用いた所定の範囲と同一であっても、異なるものであっても良い。
【０２４７】
ステップＳ２５４において、０度方向補間Ｇ画像計算処理部７１は、ステップＳ２５３において検出されたそれぞれの画素のＧの画素値と、その画素位置において求められたＷの値とを、ＧとＷの２次元空間にプロットし、主成分分析を行う。
【０２４８】
すなわち、上述した処理により、全ての画素位置におけるＷの値が求められているので、当然、検出されたＧの画素の画素位置においても、Ｗの画素値が求められている。したがって、所定の範囲を、注目画素の座標（Ｈ，Ｋ）に対して、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４としたとき、Ｘは偶数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）で示されるＧの画素は所定の範囲内に複数含まれるので、Ｗの値とＧの値とのペアを複数作ることが出来る。この複数のペアを、ＷとＧの２次元空間にプロットし、主成分分析を行うことにより、図２５に示されるような、第１主成分の直線を求めることができる。
【０２４９】
ここで、ステップＳ２５３において検出された、所定範囲内のＧの画素値の分散をvarianceＧ、平均をAveＧとし、それらの画素位置におけるＷの画素値の分散をvarianceＷ、平均をAveＷとしたとき、第１主成分の直線の式は、次の式(５)で示される。
【０２５０】
【数１】
0005348253.tif 000002
【０２５１】
ただし、係数Ｓは、正の相関のときは＋１、負の相関のときは−１である。
【０２５２】
ステップＳ２５５において、０度方向補間Ｇ画像計算処理部７１は、主成分分析の結果得られた直線と、注目画素におけるＷの画素値とを基に、Ｇの画素値を求める。
【０２５３】
具体的には、図２５に示されるように、第１主成分の直線上における注目画素のＷの画素値に対応するＧの画素値を求めるものであり、式(５)に示した直線の式に、注目画素（Ｈ，Ｋ）におけるＷの値を代入することにより、Ｇの値がもとめられる。ただし、ここでは、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４などの所定範囲内においては、ＷとＧの値には相関があると仮定する。
【０２５４】
ステップＳ２５６において、０度方向補間Ｇ画像計算処理部７１は、全ての画素においてＧの値が得られたか否かを判断する。ステップＳ２５６において、全ての画素においてＧの値が得られていないと判断された場合、処理は、ステップＳ２５２に戻り、それ以降の処理が繰り返される。ステップＳ２５６において、全ての画素においてＧの値が得られたと判断された場合、処理は、図１３のステップＳ４７にもどり、ステップＳ４８に進む。
【０２５５】
このような処理により、０度方向の補間により、全ての画素におけるＷの画像を計算し、その結果を用いて、ＧとＷの相関により、全画素におけるＧを計算して、０度方向の補間によるＧ成分の画像を得ることができる。
【０２５６】
次に、図２６のフローチャートを参照して、図１３のステップＳ４８において実行される、４５度方向補間Ｇ成分画像生成処理について説明する。
【０２５７】
図６を用いて説明したカラーフィルタ２２のフィルタ配列においては、Ｘ＋Ｙが奇数となる座標（Ｘ，Ｙ）により構成される、４５度方向に伸びるラインには、入力画像中に一つおきにＧの値が存在しているので、ＲまたはＢで示される画素においては、４５度方向の補間により、Ｇの補間画素値を算出することが出来る。しかしながら、Ｘ＋Ｙが偶数となる座標（Ｘ，Ｙ）により構成される、４５度方向に伸びるラインには、入力画像中にＧの値は存在しないが、ＷまたはＭにより構成されているので、Ｗ−Ｍにより、Ｇの値を計算することができる。
【０２５８】
まず、ステップＳ２８１において、４５度方向補間Ｇ画像計算処理部７２は、Ｇの値の抽出または補間処理が未処理の注目画素を１つ選択する。
【０２５９】
ステップＳ２８２において、４５度方向補間Ｇ画像計算処理部７２は、注目画素は、Ｇの画素値を有する画素であるか否かを判断する。Ｘは偶数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）には、もともとＧで示される画素がある。ステップＳ２８２において、注目画素は、Ｇの画素値を有する画素であると判断された場合、この値を、座標（Ｘ，Ｙ）におけるＧの値とすれば良いので、処理は、後述するステップＳ２９１に進む。
【０２６０】
ステップＳ２８２において、注目画素は、Ｇの画素値を有する画素ではないと判断された場合、ステップＳ２８３において、４５度方向補間Ｇ画像計算処理部７２は、注目画素に対して４５度方向に隣接する画素として、Ｇの画素が存在するか否かを判断する。Ｘ＋Ｙが奇数となる座標（Ｘ，Ｙ）の画素に対して、４５度方向に隣接する座標（Ｘ−１，Ｙ−１）および座標（Ｘ＋１，Ｙ＋１）の画素は、Ｇの画素値を有している。ステップＳ２８３において、注目画素に対して４５度方向にＧの画素が存在しないと判断された場合、処理は、後述するステップＳ２８５に進む。
【０２６１】
ステップＳ２８３において、注目画素に対して４５度方向にＧの画素が存在すると判断された場合、ステップＳ２８４において、４５度方向補間Ｇ画像計算処理部７２は、４５度方向のＧの画素値を基に、Ｇの補間値を得る。すなわち、４５度方向補間Ｇ画像計算処理部７２は、座標（Ｘ−１，Ｙ−１）における画素値と座標（Ｘ＋１，Ｙ＋１）における画素値との平均を、座標（Ｘ，Ｙ）におけるＧの補間画素値とし、処理は、後述するステップＳ２９１に進む。
【０２６２】
ステップＳ２８３において、注目画素に対して４５度方向にＧの画素が存在しないと判断された場合、ステップＳ２８５において、４５度方向補間Ｇ画像計算処理部７２は、注目画素は、Ｗの画素値を有する画素であるか否かを判断する。ステップＳ２８５において、注目画素は、Ｗの画素値を有する画素ではないと判断された場合、処理は、後述するステップＳ２８８に進む。
【０２６３】
ステップＳ２８５において、注目画素は、Ｗの画素値を有する画素であると判断された場合、ステップＳ２８６において、４５度方向補間Ｇ画像計算処理部７２は、４５度方向のＭの画素値を基に、Ｍの補間値を得る。すなわち、Ｘは偶数、かつ、Ｙは偶数となる座標（Ｘ，Ｙ）には、Ｗで示される画素がある。そして、その画素に対して、４５度方向に隣接する画素、すなわち、座標（Ｘ−１，Ｙ−１）および座標（Ｘ＋１，Ｙ＋１）の位置にはＭで示される画素があるので、これら２点の平均値を、座標（Ｘ，Ｙ）におけるＭの補間画素値とすることができる。
【０２６４】
ステップＳ２８７において、４５度方向補間Ｇ画像計算処理部７２は、Ｇの画素値＝Ｗの画素値−Ｍの画素値であることに基づいて、注目画素のＷの画素値からＭの補間値を減算して、Ｇの画素値を求め、処理は、後述するステップＳ２９１に進む。
【０２６５】
ステップＳ２８５において、注目画素は、Ｗの画素値を有する画素ではないと判断された場合、ステップＳ２８８において、４５度方向補間Ｇ画像計算処理部７２は、注目画素は、Ｍの画素値を有する画素であるか否かを判断する。ステップＳ２８８において、注目画素は、Ｍの画素値を有する画素ではないと判断された場合、処理は、後述するステップＳ２９１に進む。
【０２６６】
ステップＳ２８８において、注目画素は、Ｍの画素値を有する画素であると判断された場合、ステップＳ２８９において、４５度方向補間Ｇ画像計算処理部７２は、注目画素に対して４５度方向に隣接する画素が有するＷの画素値を基に、Ｗの補間値を得る。すなわち、Ｘは奇数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）には、Ｍで示される画素がある。そして、その画素に対して４５度方向に隣接する画素、すなわち、座標（Ｘ−１，Ｙ−１）および座標（Ｘ＋１，Ｙ＋１）の位置にはＷで示される画素があるので、これら２点の平均値を、座標（Ｘ，Ｙ）におけるＷの補間画素値とすることができる。
【０２６７】
ステップＳ２９０において、４５度方向補間Ｇ画像計算処理部７２は、Ｇの画素値＝Ｗの画素値−Ｍの画素値であることに基づいて、注目画素のＷの補間値からＭの画素値を減算して、Ｇの画素値を求め、処理は、後述するステップＳ２９１に進む。
【０２６８】
ステップＳ２８２において、注目画素は、Ｇの画素値を有する画素であると判断された場合、ステップＳ２８４、もしくは、ステップＳ２８７の処理の終了後、ステップＳ２８８において、注目画素は、Ｍの画素値を有する画素ではないと判断された場合、または、ステップＳ２９０の処理の終了後、ステップＳ２９１において、４５度方向補間Ｇ画像計算処理部７２は、全ての画素においてＧの値が得られたか否かを判断する。
【０２６９】
ステップＳ２９１において、全ての画素においてＧの値が得られていないと判断された場合、処理は、ステップＳ２８１に戻り、それ以降の処理が繰り返される。ステップＳ２９１において、全ての画素においてＧの値が得られたと判断された場合、処理は、図１３のステップＳ４８に戻り、ステップＳ４９に進む。
【０２７０】
このような処理により、４５度方向の補間により、Ｇ成分の画像を得ることができる。
【０２７１】
次に、図２７のフローチャートを参照して、図１３のステップＳ４９において実行される、９０度方向補間Ｇ成分画像生成処理について説明する。
【０２７２】
図６を用いて説明したカラーフィルタ２２のフィルタ配列においては、Ｘ軸の値が偶数であるラインには、入力画像中に一つおきにＧの値が存在しているので、Ｗで示される画素においては、９０度方向の補間により、Ｇの補間画素値を算出することが出来る。しかしながら、Ｘ軸の値が奇数であるラインは、入力画像中にＧの値が存在しないので、９０度方向の補間によりＧの補間画素値を直接計算することが出来ない。そこで、まず、９０度方向の補間により、全ての画素におけるＭの画像を計算し、その後、ＧとＭの相関により、全画素におけるＧを計算するものとする。
【０２７３】
まず、ステップＳ３２１において、９０度方向補間Ｇ画像計算処理部７３は、Ｍの値の抽出または補間処理が未処理の注目画素を１つ選択する。
【０２７４】
ステップＳ３２２において、９０度方向補間Ｇ画像計算処理部７３は、注目画素は、Ｍの画素値を有する画素であるか否かを判断する。Ｘは奇数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）には、もともとＭで示される画素がある。ステップＳ３２２において、注目画素は、Ｍの画素値を有する画素であると判断された場合、この値を、座標（Ｘ，Ｙ）におけるＭの値とすれば良いので、処理は、後述するステップＳ３３１に進む。
【０２７５】
ステップＳ３２２において、注目画素は、Ｍの画素値を有する画素ではないと判断された場合、ステップＳ３２３において、９０度方向補間Ｇ画像計算処理部７３は、注目画素に対して９０度方向に隣接する画素として、Ｍの画素が存在するか否かを判断する。Ｘは奇数、かつ、Ｙは偶数となる座標（Ｘ，Ｙ）の画素に対して、９０度方向に隣接する座標（Ｘ，Ｙ−１）および座標（Ｘ，Ｙ＋１）の画素は、Ｍの画素値を有している。ステップＳ３２３において、注目画素に対して９０度方向にＭの画素が存在しないと判断された場合、処理は、後述するステップＳ３２５に進む。
【０２７６】
ステップＳ３２３において、注目画素に対して９０度方向にＭの画素が存在すると判断された場合、ステップＳ３２４において、９０度方向補間Ｇ画像計算処理部７３は、９０度方向のＭの画素値を基に、Ｍの補間値を得る。すなわち、９０度方向補間Ｇ画像計算処理部７３は、座標（Ｘ，Ｙ−１）における画素値と座標（Ｘ，Ｙ＋１）における画素値との平均を、座標（Ｘ，Ｙ）におけるＭの補間画素値とし、処理は、後述するステップＳ３３１に進む。
【０２７７】
ステップＳ３２３において、注目画素に対して９０度方向にＭの画素が存在しないと判断された場合、ステップＳ３２５において、９０度方向補間Ｇ画像計算処理部７３は、注目画素は、Ｇの画素値を有する画素であるか否かを判断する。ステップＳ３２５において、注目画素は、Ｇの画素値を有する画素ではないと判断された場合、処理は、後述するステップＳ３２８に進む。
【０２７８】
ステップＳ３２５において、注目画素は、Ｇの画素値を有する画素であると判断された場合、ステップＳ３２６において、９０度方向補間Ｇ画像計算処理部７３は、９０度方向のＷの画素値を基に、Ｗの補間値を得る。すなわち、Ｘは偶数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）には、Ｇで示される画素がある。そして、その画素に対して、９０度方向に隣接する画素、すなわち、座標（Ｘ，Ｙ−１）および座標（Ｘ，Ｙ＋１）の位置にはＷで示される画素があるので、これら２点の平均値を、座標（Ｘ，Ｙ）におけるＷの補間画素値とすることができる。
【０２７９】
ステップＳ３２７において、９０度方向補間Ｇ画像計算処理部７３は、Ｍの画素値＝Ｗの画素値−Ｇの画素値であることに基づいて、注目画素のＷの補間値からＧの画素値を減算して、Ｍの画素値を求め、処理は、後述するステップＳ３３１に進む。
【０２８０】
ステップＳ３２５において、注目画素は、Ｇの画素値を有する画素ではないと判断された場合、ステップＳ３２８において、９０度方向補間Ｇ画像計算処理部７３は、注目画素は、Ｗの画素値を有する画素であるか否かを判断する。ステップＳ３２８において、注目画素は、Ｗの画素値を有する画素ではないと判断された場合、処理は、後述するステップＳ３３１に進む。
【０２８１】
ステップＳ３２８において、注目画素は、Ｗの画素値を有する画素であると判断された場合、ステップＳ３２９において、９０度方向補間Ｇ画像計算処理部７３は、注目画素に対して９０度方向に隣接する画素が有するＧの画素値を基に、Ｇの補間値を得る。すなわち、Ｘは偶数、かつ、Ｙは偶数となる座標（Ｘ，Ｙ）には、Ｗで示される画素がある。そして、その画素に対して９０度方向に隣接する画素、すなわち、座標（Ｘ，Ｙ−１）および座標（Ｘ，Ｙ＋１）の位置にはＧで示される画素があるので、これら２点の平均値を、座標（Ｘ，Ｙ）におけるＧの補間画素値とすることができる。
【０２８２】
ステップＳ３３０において、９０度方向補間Ｇ画像計算処理部７３は、Ｍの画素値＝Ｗの画素値−Ｇの画素値であることに基づいて、注目画素のＷの画素値からＧの補間画素値を減算して、Ｍの画素値を求め、処理は、後述するステップＳ３３１に進む。
【０２８３】
ステップＳ３２２において、注目画素は、Ｍの画素値を有する画素であると判断された場合、ステップＳ３２４、もしくは、ステップＳ３２７の処理の終了後、ステップＳ３２８において、注目画素は、Ｗの画素値を有する画素ではないと判断された場合、または、ステップＳ３３０の処理の終了後、ステップＳ３３１において、９０度方向補間Ｇ画像計算処理部７３は、全ての画素においてＭの値が得られたか否かを判断する。ステップＳ３３１において、全ての画素においてＭの値が得られていないと判断された場合、処理は、ステップＳ３２１に戻り、それ以降の処理が繰り返される。
【０２８４】
ステップＳ３３１において、全ての画素においてＭの値が得られたと判断された場合、ステップＳ３３２において、９０度方向補間Ｇ画像計算処理部７３は、Ｇの値の決定処理が未処理の注目画素を１つ選択する。
【０２８５】
ステップＳ３３３において、９０度方向補間Ｇ画像計算処理部７３は、注目画素から所定の範囲内に存在するＧの画素を検出する。ここで、所定の範囲とは、主成分分析のためのサンプル数や、注目画素と離れることによる相関性の強さなどの条件を基に経験的または実験的に定められる範囲である。所定の範囲とは、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とした場合に、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４となる座標（Ｘ、Ｙ）で示される９×９画素の範囲などであっても良く、これ以外の大きさであっても、また、注目画素を中心として、画素間の距離が近い画素から選択される所定数の画素の範囲であっても良い。
【０２８６】
ステップＳ３３４において、９０度方向補間Ｇ画像計算処理部７３は、ステップＳ３３３において検出されたそれぞれの画素のＧの画素値と、その画素位置において求められたＭの値とを、ＧとＭの２次元空間にプロットし、主成分分析を行う。
【０２８７】
すなわち、上述した処理により、全ての画素位置におけるＭの値が求められているので、当然、検出されたＧの画素の画素位置においても、Ｍの画素値が求められている。したがって、所定の範囲を、注目画素の座標（Ｈ，Ｋ）に対して、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４としたとき、Ｘは偶数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）で示されるＧの画素は複数含まれるので、Ｍの値とＧの値とのペアを複数作ることが出来る。この複数のペアを、ＭとＧの２次元空間にプロットし、主成分分析を行うことにより、図２８に示されるような、第１主成分の直線を求めることができる。
【０２８８】
ここで、ステップＳ３３３において検出された、所定範囲内のＧの画素値の分散をvarianceＧ、平均をAveＧとし、それらの画素位置におけるＭの画素値の分散をvarianceＭ、平均をAveＭとしたとき、第１主成分の直線の式は、次の式(６)で示される。
【０２８９】
【数２】
0005348253.tif 000003
【０２９０】
ただし、係数Ｓは、正の相関のときは＋１、負の相関のときは−１である。
【０２９１】
ステップＳ３３５において、９０度方向補間Ｇ画像計算処理部７３は、主成分分析の結果得られた直線と、注目画素におけるＭの画素値とを基に、Ｇの画素値を求める。
【０２９２】
具体的には、図２５に示されるように、第１主成分の直線上における注目画素のＭの画素値に対応するＧの画素値を求めるものであり、式(６)に示した直線の式に、注目画素（Ｈ，Ｋ）におけるＭの値を代入することにより、Ｇの値がもとめられる。ただし、ここでは、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４などの所定範囲内においては、ＭとＧの値には相関があると仮定する。
【０２９３】
ステップＳ３３６において、９０度方向補間Ｇ画像計算処理部７３は、全ての画素においてＧの値が得られたか否かを判断する。ステップＳ３３６において、全ての画素においてＧの値が得られていないと判断された場合、処理は、ステップＳ３３２に戻り、それ以降の処理が繰り返される。ステップＳ３３６において、全ての画素においてＧの値が得られたと判断された場合、処理は、図１３のステップＳ４９にもどり、ステップＳ５０に進む。
【０２９４】
このような処理により、９０度方向の補間により、全ての画素におけるＭの画像を計算し、その結果を用いて、ＧとＭの相関により、全画素におけるＧを計算して、９０度方向の補間によるＧ成分の画像を得ることができる。
【０２９５】
次に、図２９のフローチャートを参照して、図１３のステップＳ５０において実行される、１３５度方向補間Ｇ成分画像生成処理について説明する。
【０２９６】
図６を用いて説明したカラーフィルタ２２のフィルタ配列においては、Ｘ−Ｙが奇数となる座標（Ｘ，Ｙ）により構成される、１３５度方向に伸びるラインには、入力画像中に一つおきにＧの値が存在しているので、ＲまたはＢで示される画素においては、１３５度方向の補間により、Ｇの補間画素値を算出することが出来る。しかしながら、Ｘ−Ｙが偶数となる座標（Ｘ，Ｙ）により構成される、１３５度方向に伸びるラインには、入力画像中にＧの値は存在しないが、ＷまたはＭにより構成されているので、Ｗ−Ｍにより、Ｇの値を計算することができる。
【０２９７】
まず、ステップＳ３６１において、１３５度方向補間Ｇ画像計算処理部７４は、Ｇの値の抽出または補間処理が未処理の注目画素を１つ選択する。
【０２９８】
ステップＳ３６２において、１３５度方向補間Ｇ画像計算処理部７４は、注目画素は、Ｇの画素値を有する画素であるか否かを判断する。Ｘは偶数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）には、もともとＧで示される画素がある。ステップＳ３６２において、注目画素は、Ｇの画素値を有する画素であると判断された場合、この値を、座標（Ｘ，Ｙ）におけるＧの値とすれば良いので、処理は、後述するステップＳ３７１に進む。
【０２９９】
ステップＳ３６２において、注目画素は、Ｇの画素値を有する画素ではないと判断された場合、ステップＳ３６３において、１３５度方向補間Ｇ画像計算処理部７４は、注目画素に対して１３５度方向に隣接する画素として、Ｇの画素が存在するか否かを判断する。Ｘ＋Ｙが奇数となる座標（Ｘ，Ｙ）の画素に対して、１３５度方向に隣接する座標（Ｘ−１，Ｙ＋１）および座標（Ｘ＋１，Ｙ−１）の画素は、Ｇの画素値を有している。ステップＳ３６３において、注目画素に対して１３５度方向にＧの画素が存在しないと判断された場合、処理は、後述するステップＳ３６５に進む。
【０３００】
ステップＳ３６３において、注目画素に対して１３５度方向にＧの画素が存在すると判断された場合、ステップＳ３６４において、１３５度方向補間Ｇ画像計算処理部７４は、１３５度方向のＧの画素値を基に、Ｇの補間値を得る。すなわち、１３５度方向補間Ｇ画像計算処理部７４は、座標（Ｘ−１，Ｙ＋１）における画素値と座標（Ｘ＋１，Ｙ−１）における画素値との平均を、座標（Ｘ，Ｙ）におけるＧの補間画素値とし、処理は、後述するステップＳ３７１に進む。
【０３０１】
ステップＳ３６３において、注目画素に対して１３５度方向にＧの画素が存在しないと判断された場合、ステップＳ３６５において、１３５度方向補間Ｇ画像計算処理部７４は、注目画素は、Ｗの画素値を有する画素であるか否かを判断する。ステップＳ３６５において、注目画素は、Ｗの画素値を有する画素ではないと判断された場合、処理は、後述するステップＳ３６８に進む。
【０３０２】
ステップＳ３６５において、注目画素は、Ｗの画素値を有する画素であると判断された場合、ステップＳ３６６において、１３５度方向補間Ｇ画像計算処理部７４は、１３５度方向のＭの画素値を基に、Ｍの補間値を得る。すなわち、Ｘは偶数、かつ、Ｙは偶数となる座標（Ｘ，Ｙ）には、Ｗで示される画素がある。そして、その画素に対して、１３５度方向に隣接する画素、すなわち、座標（Ｘ−１，Ｙ＋１）および座標（Ｘ＋１，Ｙ−１）の位置にはＭで示される画素があるので、これら２点の平均値を、座標（Ｘ，Ｙ）におけるＭの補間画素値とすることができる。
【０３０３】
ステップＳ３６７において、１３５度方向補間Ｇ画像計算処理部７４は、Ｇの画素値＝Ｗの画素値−Ｍの画素値であることに基づいて、注目画素のＷの画素値からＭの補間値を減算して、Ｇの画素値を求め、処理は、後述するステップＳ３７１に進む。
【０３０４】
ステップＳ３６５において、注目画素は、Ｗの画素値を有する画素ではないと判断された場合、ステップＳ３６８において、１３５度方向補間Ｇ画像計算処理部７４は、注目画素は、Ｍの画素値を有する画素であるか否かを判断する。ステップＳ３６８において、注目画素は、Ｍの画素値を有する画素ではないと判断された場合、処理は、後述するステップＳ３７１に進む。
【０３０５】
ステップＳ３６８において、注目画素は、Ｍの画素値を有する画素であると判断された場合、ステップＳ３６９において、１３５度方向補間Ｇ画像計算処理部７４は、注目画素に対して１３５度方向に隣接する画素が有するＷの画素値を基に、Ｗの補間値を得る。すなわち、Ｘは奇数、かつ、Ｙは奇数となる座標（Ｘ，Ｙ）には、Ｍで示される画素がある。そして、その画素に対して１３５度方向に隣接する画素、すなわち、座標（Ｘ−１，Ｙ＋１）および座標（Ｘ＋１，Ｙ−１）の位置にはＷで示される画素があるので、これら２点の平均値を、座標（Ｘ，Ｙ）におけるＷの補間画素値とすることができる。
【０３０６】
ステップＳ３７０において、１３５度方向補間Ｇ画像計算処理部７４は、Ｇの画素値＝Ｗの画素値−Ｍの画素値であることに基づいて、注目画素のＷの補間値からＭの画素値を減算して、Ｇの画素値を求め、処理は、後述するステップＳ３７１に進む。
【０３０７】
ステップＳ３６２において、注目画素は、Ｇの画素値を有する画素であると判断された場合、ステップＳ３６４、もしくは、ステップＳ３６７の処理の終了後、ステップＳ３６８において、注目画素は、Ｍの画素値を有する画素ではないと判断された場合、または、ステップＳ３７０の処理の終了後、ステップＳ３７１において、１３５度方向補間Ｇ画像計算処理部７４は、全ての画素においてＧの値が得られたか否かを判断する。
【０３０８】
ステップＳ３７１において、全ての画素においてＧの値が得られていないと判断された場合、処理は、ステップＳ３６１に戻り、それ以降の処理が繰り返される。ステップＳ３７１において、全ての画素においてＧの値が得られたと判断された場合、処理は、図１３のステップＳ５０に戻り、ステップＳ５１に進む。
【０３０９】
このような処理により、１３５度方向の補間により、Ｇ成分の画像を得ることができる。
【０３１０】
そして、上述したように、図１３のステップＳ５１において、各角度の方向で補正されたＧ成分の画像に、確度補正適正度が重み付け係数として乗算されて、画素ごとに加算されることにより、模様の方向を考慮し、また、ＷおよびＭの成分の画素におけるＷ−Ｍ＝Ｇの性質を利用して生成されるＧ成分画像が生成される。
【０３１１】
次に、図３０のフローチャートを参照して、図１３のステップＳ５２において実行される、Ｒ成分画素値算出処理について説明する。
【０３１２】
ステップＳ４０１において、Ｒ画像計算処理部８１は、未処理の注目画素を１つ選択する。
【０３１３】
ステップＳ４０２において、Ｒ画像計算処理部８１は、注目画素から所定範囲内に存在するＲの画素を検出する。ここで、所定の範囲とは、主成分分析のためのサンプル数や、注目画素と離れることによる相関性の強さなどの条件を基に経験的または実験的に定められる範囲である。所定の範囲とは、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とした場合に、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４となる座標（Ｘ、Ｙ）で示される９×９画素の範囲などであっても良く、これ以外の大きさであっても、また、注目画素を中心として、画素間の距離が近い画素から選択される所定数の画素の範囲であっても良い。
【０３１４】
また、ここでいう所定の範囲、および、後述するＢ成分画素値算出処理における所定の範囲は、上述したいずれかの処理において用いた所定の範囲と同一であっても、異なるものであっても良い。
【０３１５】
例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とした場合に、Ｈ−４≦Ｘ≦Ｈ＋４、Ｋ＋４≦Ｙ≦Ｋ＋４、Ｘは奇数、Ｙは偶数、かつ、Ｘ−Ｙ−３は４の倍数となる座標（Ｘ，Ｙ）には、Ｒで示される画素がある。
【０３１６】
ステップＳ４０３において、Ｒ画像計算処理部８１は、検出された全てのＲの画素（Ｘ,Ｙ）の画素位置に対して、図１３のステップＳ５１の処理により推定されたＧの画素値を取得する。すなわち、Ｒ画像計算処理部８１は、検出された全てのＲの画素（Ｘ,Ｙ）の画素位置におけるＲの画素値とＧの画素値とのペアを複数取得する。
【０３１７】
ステップＳ４０４において、Ｒ画像計算処理部８１は、それぞれの画素のＲの値とＧのペアの値を、図３１に示されるように、ＲとＧの２次元空間にプロットし、主成分分析を行う。
【０３１８】
ここで、所定範囲内のＲの画素値の分散をvarianceＲ、平均をAveＲとし、それらの画素位置におけるＧの画素値の分散をvarianceＧ、平均をAveＧとしたとき、第１主成分の直線の式は、次の式(７)で示される。
【０３１９】
【数３】
0005348253.tif 000004
【０３２０】
ただし、係数Ｓは、正の相関のときは＋１、負の相関のときは−１である。
【０３２１】
ステップＳ４０５において、Ｒ画像計算処理部８１は、主成分分析の結果得られた直線と、注目画素のＧの値とを基に、Ｒの値を求める。すなわち、Ｒ画像計算処理部８１は、上述した式(７)に注目画素のＧの画素値を代入することにより、Ｒの値を求める。
【０３２２】
ステップＳ４０６において、Ｒ画像計算処理部８１は、全ての画素においてＲが求められたか否かを判断する。ステップＳ４０６において、全ての画素においてＲが求められていないと判断された場合、処理は、ステップＳ４０１に戻り、それ以降の処理が繰り返される。ステップＳ４０６において、全ての画素においてＲが求められたと判断された場合、処理は、図１３のステップＳ５２に戻り、ステップＳ５３に進む。
【０３２３】
このような処理により、撮像データに含まれるＲの画素値と、図１３のステップＳ５１の処理により推定されたＧの画素値とに基づいて、全画素分のＲ成分の画素値が求められる。
【０３２４】
なお、ここでは、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４などの所定の領域内においては、Ｒ成分とＧ成分のそれぞれの画素値に相関があるものと仮定して処理が実行されている。
【０３２５】
次に、図３２のフローチャートを参照して、図１３のステップＳ５３において実行される、Ｂ成分画素値算出処理について説明する。
【０３２６】
ステップＳ４４１において、Ｂ画像計算処理部８２は、未処理の注目画素を１つ選択する。
【０３２７】
ステップＳ４４２において、Ｂ画像計算処理部８２は、注目画素から所定範囲内に存在するＢの画素を検出する。ここで、所定の範囲とは、主成分分析のためのサンプル数や、注目画素と離れることによる相関性の強さなどの条件を基に経験的または実験的に定められる範囲である。所定の範囲とは、例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とした場合に、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４となる座標（Ｘ、Ｙ）で示される９×９画素の範囲などであっても良く、これ以外の大きさであっても、また、注目画素を中心として、画素間の距離が近い画素から選択される所定数の画素の範囲であっても良い。
【０３２８】
例えば、注目画素の画素位置を座標（Ｈ，Ｋ）とした場合に、Ｈ−４≦Ｘ≦Ｈ＋４、Ｋ＋４≦Ｙ≦Ｋ＋４、Ｘは奇数、Ｙは偶数、かつ、Ｘ−Ｙ−１が４の倍数となる座標（Ｘ，Ｙ）には、Ｂで示される画素がある。
【０３２９】
ステップＳ４４３において、Ｂ画像計算処理部８２は、検出された全てのＢの画素（Ｘ,Ｙ）の画素位置に対して、図１３のステップＳ５１の処理により推定されたＧの画素値を取得する。すなわち、Ｂ画像計算処理部８２は、検出された全てのＢの画素（Ｘ,Ｙ）の画素位置におけるＢの画素値とＧの画素値とのペアを複数取得する。
【０３３０】
ステップＳ４４４において、Ｂ画像計算処理部８２は、それぞれの画素のＢの値とＧのペアの値を、図３３に示されるように、ＢとＧの２次元空間にプロットし、主成分分析を行う。
【０３３１】
ここで、所定範囲内のＢの画素値の分散をvarianceＢ、平均をAveＢとし、それらの画素位置におけるＧの画素値の分散をvarianceＧ、平均をAveＧとしたとき、第１主成分の直線の式は、次の式(８)で示される。
【０３３２】
【数４】
0005348253.tif 000005
【０３３３】
ただし、係数Ｓは、正の相関のときは＋１、負の相関のときは−１である。
【０３３４】
ステップＳ４４５において、Ｂ画像計算処理部８２は、主成分分析の結果得られた直線と、注目画素のＧの値とを基に、Ｂの値を求める。すなわち、Ｂ画像計算処理部８２は、上述した式(８)に注目画素のＧの画素値を代入することにより、Ｂの値を求める。
【０３３５】
ステップＳ４４６において、Ｂ画像計算処理部８２は、全ての画素においてＢが求められたか否かを判断する。ステップＳ４４６において、全ての画素においてＢが求められていないと判断された場合、処理は、ステップＳ４４１に戻り、それ以降の処理が繰り返される。ステップＳ４４６において、全ての画素においてＢが求められたと判断された場合、処理は、図１３のステップＳ５２に戻り、ステップＳ５３に進む。
【０３３６】
このような処理により、撮像データに含まれるＢの画素値と、図１３のステップＳ５１の処理により推定されたＧの画素値とに基づいて、全画素分のＢ成分の画素値が求められる。
【０３３７】
なお、ここでも、例えば、Ｈ−４≦Ｘ≦Ｈ＋４、かつ、Ｋ＋４≦Ｙ≦Ｋ＋４などの所定の領域内においては、Ｂ成分とＧ成分のそれぞれの画素値に相関があるものと仮定して処理が実行されている。
【０３３８】
また、上述したそれぞれの処理では、第１の分光成分のデータを有する第１の画素群の画素（例えば、Ｗで示される画素）データから、第２の分光成分のデータを有する第２の画素群の画素（例えば、Ｍで示される画素）データを減算する（換言すれば、重みＷ１＝１、重みＷ２＝（−１）として、重みＷ１とＷ２による、第１の画素群と第２に画素群との線形和を求める）ことで、色収差のない所定の周波数範囲の分光成分(例えば、Ｇ（緑）成分)の画素データを得ることについて説明した。すなわち、Ｇ＝Ｗ−Ｍの関係にある場合について述べた。これに対して、例えば、Ｍの画素の感度に対して、感度が１／２であるＭ´が用いられた場合、Ｇ＝Ｗ−Ｍ´は成立しないため、これに代わって、Ｇ＝Ｗ−２×Ｍ´に基づいて、デモザイク処理を実行するようにすれば良い。具体的には、例えば、固体撮像素子２３のＭに対応する画素の出力値を２倍にゲインアップして、Ａ／Ｄ変換部２４に供給し、同様の処理を実行するようにしても良い。同様に、いずれかの色成分に対応する信号の感度が他のものと比較して劣っているような場合、固体撮像素子２３の対応する画素の出力値を所定倍率でゲインアップした後、Ａ／Ｄ変換部２４に供給し、同様の処理を実行するようにしても良い。
【０３３９】
すなわち、第１の分光成分の周波数帯域の信号（または、その信号に所定の係数が乗ぜられた値）から第２の分光成分の周波数帯域の信号（または、その信号に所定の係数が乗ぜられた値）を減算することにより得られる所定周波数領域の分光成分に対応する信号成分を基にして、色収差のない周波数領域の画像を得て、これを基準としてデモザイク処理を実行するようになされていれば、例えば、第１の分光成分の周波数帯域や、第２の分光成分の周波数帯域が、例示された周波数帯域以外のものである場合にも、また、連続せずに複数の乖離した周波数帯域から構成される場合にも、本発明は適用可能である。また、例示した処理のように、第１の分光成分の周波数帯域から第２の分光成分の周波数帯域を減算することにより得られる所定周波数領域の分光成分が、色収差のない周波数領域と一致すれば、処理が簡単になり、好適である。例えば、第１の分光成分の周波数帯域を、Ｇ（緑）成分と赤外成分とし、第２の分光成分の周波数帯域を赤外成分としたり、第１の分光成分の周波数帯域を、赤外成分を除いた可視光成分とし、第２の分光成分の周波数帯域をＲ(赤)成分およびＢ(青)成分としても、本発明は適用可能である。
【０３４０】
このように本発明を適用すれば、広い波長帯域の分光成分を取得できる画素を有しながら、かつ、レンズの色収差をキャンセルしてデモザイク処理を実行することが可能である。
【０３４１】
なお、カラーフィルタの配列は、図７に示す配列構成の他の設定も可能であり、例えば図３４に示す配列としてもよい。図３４に示すカラーフィルタの配列は、図７に示す配列を４５度回転させた構成に相当する。
【０３４２】
すなわち、図３４に示されるカラーフィルタにおいては、Ｘ軸方向を０度として、Ｇで示される画素に注目した場合、Ｇで示される画素は、０度方向、４５度方向、９０度方向、および、１３５度方向のいずれにおいても１画素おきに配置され、Ｇで示される画素に０度方向で隣接する画素は、いずれも、ＢまたはＲで示される画素であり、Ｇで示される画素に９０度方向で隣接する画素は、いずれもＢまたは、Ｒで示される画素であり、Ｇで示される画素に４５度方向で隣接する画素は、いずれも、Ｍで示される画素であり、Ｇで示される画素に１３５度方向で隣接する画素は、いずれも、Ｗで示される画素である。
【０３４３】
なお、図３４に示されるカラーフィルタ配列においても、ＷとＭのそれぞれの画素の配置が逆転しても、上述したデモザイク処理は同様にして実行可能であり、ＢとＲのそれぞれの画素の配置が逆転しても、上述したデモザイク処理は同様にして実行可能である。
【０３４４】
すなわち、Ｘ軸方向を０度として、Ｇで示される画素に注目した場合、Ｇで示される画素は、０度方向、４５度方向、９０度方向、および、１３５度方向のいずれにおいても１画素おきに配置され、他の色成分Ｒ，Ｂ，Ｗ，Ｍの画素が、ＲとＢ、ＷとＭがＧの画素に対して直行する位置となるように、それぞれの方向に隣接して配置されるカラーフィルタが用いられた場合、上述したデモザイク処理は同様にして実行可能である。
【０３４５】
なお、以上説明した処理においては、０度、４５度、９０度、および１３５度の４つの角度において、模様確度を求め、それぞれの方向の補間処理によるＧ成分の画像を求めることにより、デモザイク処理を実行するようになされていたが、本発明は、０度、４５度、９０度、および１３５度の４つの角度における処理以外にも適用可能であり、例えば、０度と９０度、または、４５度と１３５度など、２つの角度における場合などにも、適用可能であるのはいうまでもない。
【０３４６】
一般的に、風景などを撮像した場合、撮像画像に対して０度方向と９０度方向に模様が入る場合が多く、これらと比較すると、４５度または１３５度の模様は、あまり存在しない。そこで、回路規模を削減したり、演算時間を減少させるために、０度、および、９０度の２つの角度において、模様確度を求め、それぞれの方向の補間処理によるＧ成分の画像を求めることにより、デモザイク処理を実行するようにしてもよい。
【０３４７】
上述した一連の処理のうち、特に、カメラ信号処理部２５において実行された処理は、ハードウェアのみならず、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体などからインストールされる。この場合、例えば、図４を用いて説明した撮像装置１１は、図３５に示されるようなパーソナルコンピュータ１０１により構成される。
【０３４８】
図３５において、ＣＰＵ（Central Processing Unit）１１１は、ＲＯＭ（Read Only Memory）１１２に記憶されているプログラム、または記憶部１１８からＲＡＭ（Random Access Memory）１１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ１１３にはまた、ＣＰＵ１１１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０３４９】
ＣＰＵ１１１、ＲＯＭ１１２、およびＲＡＭ１１３は、バス１１４を介して相互に接続されている。このバス１１４にはまた、入出力インタフェース１１５も接続されている。
【０３５０】
入出力インタフェース１１５には、キーボード、マウスなどよりなる入力部１１６、ディスプレイやスピーカなどよりなる出力部１１７、ハードディスクなどより構成される記憶部１１８、モデム、ターミナルアダプタなどより構成される通信部１１９、および、撮像処理部１２０が接続されている。通信部１１９は、インターネットを含むネットワークを介しての通信処理を行う。
【０３５１】
撮像処理部１２０は、図４を用いて説明した光学レンズ２１、カラーフィルタ２２、固体撮像素子２３、および、Ａ／Ｄ変換部２４を有しているか、または、同様の機能を実行可能なようになされており、図５を用いて説明したカメラ信号処理部２５、および、図４の画像圧縮部２７の機能を有するＣＰＵ１１１の制御に基づいて、上述した場合と同様の処理を実行する。
【０３５２】
入出力インタフェース１１５にはまた、必要に応じてドライブ１２１が接続され、磁気ディスク１１１、光ディスク１１２、光磁気ディスク１３３、もしくは、半導体メモリ１３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１１８にインストールされる。
【０３５３】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０３５４】
この記録媒体は、図３５に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク１１１（フロッピディスクを含む）、光ディスク１１２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク１３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ１３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ１１２や、記憶部１１８に含まれるハードディスクなどで構成される。
【０３５５】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０３５６】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０３５７】
１１  撮像装置  ２１  レンズ，  ２２  カラーフィルタ，  ２３  固体撮像素子，  ２４  Ａ／Ｄ変換部，  ２５  カメラ信号処理部，  ２６  表示部，  ２７  画像圧縮部，  ２８  記録部，  ２９  外部出力部，  ４４  デモザイク処理部，  ６１  ０度方向の模様分析処理部，  ６２  ４５度方向の模様分析処理部，  ６３  ９０度方向の模様分析処理部，  ６４  １３５度方向の模様分析処理部，  ６５  模様方向判定部，  ７１  ０度方向補間Ｇ画像計算処理部，  ７２  ４５度方向補間Ｇ画像計算処理部，  ７３  ９０度方向補間Ｇ画像計算処理部，  ７４  １３５度方向補間Ｇ画像計算処理部，  ７５  Ｇ画像計算処理部，  ８１  Ｒ画像計算処理部，  ８２  Ｂ画像計算処理部
【図１】
0005348253.tif 000006
【図２】
0005348253.tif 000007
【図３】
0005348253.tif 000008
【図４】
0005348253.tif 000009
【図５】
0005348253.tif 000010
【図６】
0005348253.tif 000011
【図７】
0005348253.tif 000012
【図８】
0005348253.tif 000013
【図９】
0005348253.tif 000014
【図１０】
0005348253.tif 000015
【図１１】
0005348253.tif 000016
【図１２】
0005348253.tif 000017
【図１３】
0005348253.tif 000018
【図１４】
0005348253.tif 000019
【図１５】
0005348253.tif 000020
【図１６】
0005348253.tif 000021
【図１７】
0005348253.tif 000022
【図１８】
0005348253.tif 000023
【図１９】
0005348253.tif 000024
【図２０】
0005348253.tif 000025
【図２１】
0005348253.tif 000026
【図２２】
0005348253.tif 000027
【図２３】
0005348253.tif 000028
【図２４】
0005348253.tif 000029
【図２５】
0005348253.tif 000030
【図２６】
0005348253.tif 000031
【図２７】
0005348253.tif 000032
【図２８】
0005348253.tif 000033
【図２９】
0005348253.tif 000034
【図３０】
0005348253.tif 000035
【図３１】
0005348253.tif 000036
【図３２】
0005348253.tif 000037
【図３３】
0005348253.tif 000038
【図３４】
0005348253.tif 000039
【図３５】
0005348253.tif 000040