(57)【要約】【課題】複数の信号にノイズ等が含まれる場合、効果的に補正する信号補正方法を提供すること。【解決手段】ＲＧＢベイア配列の撮像素子２から、２つのチャンネルを使用して画像信号を取得する。Ｂ画素の色信号はあるチャンネルを介して読み込み、Ｒ画素の色信号は他方のチャンネルを介して読み込む。Ｂ画素信号とＲ画素信号の座標系で、着目点のＲ画素信号値Ａ０とＢ画素信号値Ｂ０の座標点を通る傾きｋの直線２２上にあるＢ画素信号値とＲ画素信号値のすべての平均を計算する。着目点のＲ画素信号値Ａ０とＢ画素信号値Ｂ０を、この計算された平均値で置き換える。【選択図】        図３
2005026863.tif 000002
【特許請求の範囲】
【請求項１】
複数の種類の信号を複数の点で取得し、
着目点の前記複数の種類の信号値と所定の関係にある前記複数の種類の信号値を有する点を抽出し、
前記着目点の前記複数の種類の信号値と前記抽出した点の前記複数の種類の信号値とに基づき、前記着目点の前記複数の種類の信号を補正することを特徴とする信号補正方法。
【請求項２】
請求項１記載の信号補正方法において、
前記所定の関係は、前記複数の種類の信号を前記複数の種類の数に相当する次元の座標で表したとき、前記着目点の前記複数の種類の信号値による座標点を通過する所定の傾きの直線上に実質的に位置する関係に対応することを特徴とする信号補正方法。
【請求項３】
請求項２記載の信号補正方法において、
前記所定の傾きは、前記複数の種類の信号に対応して備えられた複数の増幅器のゲインに基づき求められることを特徴とする信号補正方法。
【請求項４】
請求項２記載の信号補正方法において、
前記所定の傾きは、前記複数の点の前記複数の種類の信号値の分布状態に基づき求められることを特徴とする信号補正方法。
【請求項５】
請求項１から４のいずれかに記載の信号補正方法において、
前記複数の点は、位置的に実質上異なる点であることを特徴とする信号補正方法。
【請求項６】
請求項１から４のいずれかに記載の信号補正方法において、
前記複数の点は、時間的に実質上異なる点であることを特徴とする信号補正方法。
【請求項７】
請求項１から６のいずれかに記載の信号補正方法において、
前記着目点の前記複数の種類の信号値と前記抽出した点の前記複数の種類の信号値とを使用して前記複数の種類の信号のそれぞれの平均値を求め、前記着目点の前記複数の種類の信号値を前記求めた平均値で置き換えることを特徴とする信号補正方法。
【請求項８】
請求項１から７のいずれかに記載の信号補正方法において、
前記複数の種類の信号は、お互いに相関性のある信号であることを特徴とする信号補正方法。
【請求項９】
請求項１から８のいずれかに記載の信号補正方法において、
前記複数の種類の信号は、各点間で平坦性がある信号であることを特徴とする信号補正方法。
【請求項１０】
画素に色に関する信号を含む画像データを取得し、
注目画素の色に関する信号とその周辺画素の色に関する信号が、所定の色を基準として互いに対称の関係にあると判断できるとき、前記注目画素の色に関する信号の値と前記周辺画素の色に関する信号の値との平均の値を、前記注目画素の色に関する信号の値とすることを特徴とする信号補正方法。
【請求項１１】
請求項１０記載の信号補正方法において、
前記色に関する信号は、色差Ｃｂ成分および色差Ｃｒ成分の色差信号であり、前記所定の色を基準として互いに対称の関係にあるとは、ＣｒＣｂ座標系で見たとき、前記注目画素の色差Ｃｒ成分Ｃｂ成分の点と前記周辺画素の色差Ｃｒ成分色差Ｃｂ成分の点を結ぶ直線が実質傾き＋１あるいは−１であることを特徴とする信号補正方法。
【請求項１２】
請求項１０から１１のいずれかに記載の信号補正方法において、
前記画素に色に関する信号を含む画像データは、ＲＧＢ表色系の画像データであって１画素にＲＧＢのいずれかの色成分の色信号しか含まない画像データより生成された画像データであることを特徴とする信号補正方法。
【請求項１３】
画素に少なくとも第１の色相に関する信号と第２の色相に関する信号を含む画像データを取得し、
注目画素の第１の色相に関する信号の値とその周辺画素の第１の色相に関する信号の値とが所定の色の第１の色相に関する信号の値を基準にして対称の関係にあり、前記注目画素の第２の色相に関する信号の値と前記周辺画素の第２の色相に関する信号の値とが前記所定の色の第２の色相に関する信号の値を基準にして対称の関係にあると判断できるとき、前記注目画素の第１の色相に関する信号の値と前記周辺画素の第１の色相に関する信号の値との平均の値を前記注目画素の第１の色相に関する信号の値とし、前記注目画素の第２の色相に関する信号の値と前記周辺画素の第２の色相に関する信号の値との平均の値を前記注目画素の第２の色相に関する信号の値とすることを特徴とする信号補正方法。
【請求項１４】
請求項１〜１３のいずれかに記載の信号補正方法の手順をコンピュータに実行させるための信号補正処理プログラム。
【請求項１５】
請求項１４の信号補正処理プログラムを記録したコンピュータ読みとり可能な記録媒体。
【請求項１６】
請求項１４の信号補正処理プログラムを搭載した信号補正処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像信号などの信号を補正する信号補正方法に関する。
【０００２】
【従来の技術】
ＲＧＢベイヤ配列のカラーフィルタを備えた撮像素子で撮像し、ＲＧＢ画像データを生成することが知られている。このような撮像素子から各画素の電荷信号を読みだすとき、高速化を図るため、２チャンネルで読み出す手法がある。各チャンネルで読み出された電荷信号を各チャンネルに対応する増幅器で所定のレベルに増幅し、Ａ／Ｄ変換などを経てＲＧＢ画像データが生成される。生成されたＲＧＢ画像データには、読み出し回路や増幅器などによる種々のノイズがのることがある。このノイズを低減する方法として、画像データに対して一定の大きさのローパスフィルタをかけることが知られている。すなわち、着目画素に対して所定範囲の周辺画素を使用して平均を求めて置き換え、順次すべての画素に対して行う処理である（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開２０００−３４１７０７号公報
【０００４】
【発明が解決しようとする課題】
しかし、ローパスフィルタは一定の大きさであるため、低周波ノイズがなおも残存し、色斑ノイズとして現われることがある。特に画像の平坦部においてそのノイズは目だつ。
【０００５】
本発明は、複数の信号にノイズ等が含まれる場合、効果的に補正する信号補正方法を提供する
【０００６】
【課題を解決するための手段】
請求項１の発明は、信号補正方法に適用され、複数の種類の信号を複数の点で取得し、着目点の複数の種類の信号値と所定の関係にある複数の種類の信号値を有する点を抽出し、着目点の複数の種類の信号値と抽出した点の複数の種類の信号値とに基づき、着目点の複数の種類の信号を補正することを特徴とするものである。
請求項２の発明は、請求項１記載の信号補正方法において、所定の関係は、複数の種類の信号を複数の種類の数に相当する次元の座標で表したとき、着目点の複数の種類の信号値による座標点を通過する所定の傾きの直線上に実質的に位置する関係に対応することを特徴とするものである。
請求項３の発明は、請求項２記載の信号補正方法において、所定の傾きは、複数の種類の信号に対応して備えられた複数の増幅器のゲインに基づき求められることを特徴とするものである。
請求項４の発明は、請求項２記載の信号補正方法において、所定の傾きは、複数の点の複数の種類の信号値の分布状態に基づき求められることを特徴とするものである。
請求項５の発明は、請求項１から４のいずれかに記載の信号補正方法において、複数の点は、位置的に実質上異なる点であることを特徴とするものである。
請求項６の発明は、請求項１から４のいずれかに記載の信号補正方法において、複数の点は、時間的に実質上異なる点であることを特徴とするものである。
請求項７の発明は、請求項１から６のいずれかに記載の信号補正方法において、着目点の複数の種類の信号値と抽出した点の複数の種類の信号値とを使用して複数の種類の信号のそれぞれの平均値を求め、着目点の複数の種類の信号値を求めた平均値で置き換えることを特徴とするものである。
請求項８の発明は、請求項１から７のいずれかに記載の信号補正方法において、複数の種類の信号は、お互いに相関性のある信号であることを特徴とするものである。
請求項９の発明は、請求項１から８のいずれかに記載の信号補正方法において、複数の種類の信号は、各点間で平坦性がある信号であることを特徴とするものである。
請求項１０の発明は、信号補正方法に適用され、画素に色に関する信号を含む画像データを取得し、注目画素の色に関する信号とその周辺画素の色に関する信号が、所定の色を基準として互いに対称の関係にあると判断できるとき、注目画素の色に関する信号の値と周辺画素の色に関する信号の値との平均の値を、注目画素の色に関する信号の値とすることを特徴とするものである。
請求項１１の発明は、請求項１０記載の信号補正方法において、色に関する信号は、色差Ｃｂ成分および色差Ｃｒ成分の色差信号であり、所定の色を基準として互いに対称の関係にあるとは、ＣｒＣｂ座標系で見たとき、注目画素の色差Ｃｒ成分Ｃｂ成分の点と周辺画素の色差Ｃｒ成分色差Ｃｂ成分の点を結ぶ直線が実質傾き＋１あるいは−１であることを特徴とするものである。
請求項１２の発明は、請求項１０から１１のいずれかに記載の信号補正方法において、画素に色に関する信号を含む画像データは、ＲＧＢ表色系の画像データであって１画素にＲＧＢのいずれかの色成分の色信号しか含まない画像データより生成された画像データであることを特徴とするものである。
請求項１３の発明は、信号補正方法に適用され、画素に少なくとも第１の色相に関する信号と第２の色相に関する信号を含む画像データを取得し、注目画素の第１の色相に関する信号の値とその周辺画素の第１の色相に関する信号の値とが所定の色の第１の色相に関する信号の値を基準にして対称の関係にあり、注目画素の第２の色相に関する信号の値と周辺画素の第２の色相に関する信号の値とが所定の色の第２の色相に関する信号の値を基準にして対称の関係にあると判断できるとき、注目画素の第１の色相に関する信号の値と周辺画素の第１の色相に関する信号の値との平均の値を注目画素の第１の色相に関する信号の値とし、注目画素の第２の色相に関する信号の値と周辺画素の第２の色相に関する信号の値との平均の値を注目画素の第２の色相に関する信号の値とすることを特徴とするものである。
請求項１４の発明は、信号補正処理プログラムに適用され、請求項１〜１３のいずれかに記載の信号補正方法の手順をコンピュータに実行させるものである。
請求項１５の発明は、コンピュータ読みとり可能な記録媒体に適用され、請求項１４の信号補正処理プログラムを記録したものである。
請求項１６の発明は、信号補正処理装置に適用され、請求項１４の信号補正処理プログラムを搭載したものである。
【０００７】
【発明の実施の形態】
−第１の実施の形態−
図１は、本発明の第１の実施の形態である電子カメラ（デジタルカメラ）の構成を示す図である。撮影レンズなどから構成される撮影光学系１は、被写体像を撮像素子２の撮像面に結像する。撮像素子２は、ＲＧＢベイア配列のカラーフィルタを有し、撮像面に結像された被写体像を各画素単位に光電変換する。光電変換された各画素の電荷は、高速化のため、チャンネル３およびチャンネル４の２チャンネルで読み出される。
【０００８】
図２は、ＲＧＢベイア配列のカラーフィルタを有する撮像素子２の例を示す図である。例えば水平（ｘ方向）２列ごとに垂直（ｙ方向）転送を行い、奇数列および偶数列の電荷は、チャンネル３およびチャンネル４を介して同タイミングで順次水平方向に読み出される。最下段を奇数列とすると、奇数列はＧｂ、Ｂ、Ｇｂ、Ｂ．．．の色成分の画素で構成され、偶数列はＲ、Ｇｒ、Ｒ、Ｇｒ．．．の色成分の画素で構成されている。従って、チャンネル３は常に奇数列、すなわちＧｂ、Ｂ、Ｇｂ、Ｂ．．．の色成分の電荷を読み出す。チャンネル４は常に偶数列、すなわちＲ、Ｇｒ、Ｒ、Ｇｒ．．．の色成分の電荷を読み出す。
【０００９】
チャンネル３、４を介して読み出された電荷信号は、増幅器（ＡＭＰ）５、６により一定のゲインで増幅され、Ａ／Ｄ変換器７、８でデジタルデータに変換される。デジタルデータに変換された信号は、分配器９，１０を介して各バッファー１１〜１４に順次格納される。分配器９は、シリーズに並んだＧｂ成分の色信号（データ）とＢ成分の色信号（データ）を、それぞれのバッファー１１、１２に順次分配して格納する。バッファー１１はＧｂ成分用のバッファーであり、バッファー１２はＢ成分用のバッファーである。分配器１０は、シリーズに並んだＲ成分の色信号（データ）とＧｒ成分の色信号（データ）を、それぞれのバッファー１３、１４に順次分配して格納する。バッファー１３はＲ成分用のバッファーであり、バッファー１４はＧｒ成分用のバッファーである。
【００１０】
制御装置１５は、各バッファーに格納されたデータを後述する処理を行い、ＲＧＢ画像データを生成する。マイクロプロセッサおよび周辺回路で構成され、ＲＯＭ（不図示）に格納された所定の制御プログラムを実行する。なお、制御装置１５をＡＳＩＣにより構成してもよい。
【００１１】
第１の実施の形態の構成において、撮像素子２やチャンネル３、４を含む読み出し回路や増幅器５、６などで種々のアナログ的なノイズがのる。また、第１の実施の形態では、上述したように２チャンネルで信号を読み出すため、２チャンネル間の信号には相関性があり、またノイズにも２チャンネル間で相関性がある。本発明は、この相関性のある信号に含まれるノイズを、その相関性の性質を利用して効果的に除去あるいは補正するものである。
【００１２】
以下、本実施の形態のノイズ除去の原理について説明する。相関性のある２つの信号をＡとＢとし、真の信号をＳ、ノイズをＮとすると、信号Ａ、Ｂは次の式（１）（２）で表される。
Ａ＝Ｓａ＋Ｎａ  ．．．（１）
Ｂ＝Ｓｂ＋Ｎｂ  ．．．（２）
【００１３】
本実施の形態では、相関性のある２つの信号は、例えば、信号Ａをチャンネル３を介して取得されたＢ成分の信号（データ）、信号Ｂをチャンネル４を介して取得されたＲ成分の信号（データ）である。ここでは、データも信号も同義であるので、以下、特に混乱しない限りデジタルデータも信号として表現する。
【００１４】
ある着目点の信号Ａ０，Ｂ０は、真値Ｓａ０，Ｓｂ０とノイズＮａ０，Ｎｂ０から構成され、次の式（３）（４）で表される。ベイア配列では、各画素に１つの色成分の色信号しか含まれないので、ここで言う着目点とは、Ｒ、Ｇｒ、Ｇｂ、Ｂ画素の４画素ブロックのことを言う。他の点も同様である。
Ａ０＝Ｓａ０＋Ｎａ０  ．．．（３）
Ｂ０＝Ｓｂ０＋Ｎｂ０  ．．．（４）
【００１５】
図３は、ノイズＮａ、Ｎｂが含まれる信号Ａ、Ｂの分布を示す図であり、着目点の信号Ａ０、Ｂ０が、四角形２１の右上隅に位置している例が示されている図である。図３は横軸に信号Ａ縦軸に信号Ｂをとっているので、この座標を以下ＡＢ座標と言う。信号Ａ、Ｂは、平坦な領域の信号であることを前提とする。第１の実施の形態で平坦とは、相関性のある２つの信号をＢ成分の信号とＲ成分の信号としているので、色が均一であることをいう。また、平坦であるので、各点の信号Ａ，Ｂの真値はすべてＳａ０，Ｓｂ０となる。
【００１６】
四角形２１は、ノイズＮａ、Ｎｂが含まれる信号Ａ、Ｂの分布の範囲である。四角形２１の右上隅は、信号ＡのノイズＮａと信号ＢのノイズＮｂが、共に正方向に最大値を示している場合である。四角形２１の左下隅は、信号ＡのノイズＮａと信号ＢのノイズＮｂが、共に負方向に最大値を示している場合である。四角形２１の左上隅は、信号ＡのノイズＮａが負方向に最大値、信号ＢのノイズＮｂが正方向に最大値を示している場合である。四角形２１の右下隅は、信号ＡのノイズＮａが正方向に最大値、信号ＢのノイズＮｂが負方向に最大値を示している場合である。
【００１７】
図３の着目点の信号Ａ０，Ｂ０は、四角形２１の右上隅に位置しているので、正方向のノイズの最大値＋Ｎａ０，＋Ｎｂ０を含む。この着目点の信号Ａ０，Ｂ０のノイズを除去するには、逆のノイズ成分−Ｎａ０，−Ｎｂ０を含む四角形２１の左下隅に位置する信号Ａ１，Ｂ１を見つけてその平均を取るのが最も効果的である。信号Ａ１、Ｂ１を式で表すと次の式（５）（６）となる。
Ａ１＝Ｓａ０−Ｎａ０  ．．．（５）
Ｂ１＝Ｓｂ０−Ｎｂ０  ．．．（６）
【００１８】
着目点の信号Ａ０，Ｂ０と逆成分のノイズを含む信号Ａ１，Ｂ１とは、斜線２２上に位置する。この斜線２２は、傾きｋ＝Ｎｂ０／Ｎａ０の値をもつ斜線である。この斜線２２の中心はＳａ０，Ｓｂ０で示され、着目点の信号Ａ０，Ｂ０の真値を示している。しかし、この逆成分のノイズを含む信号Ａ１，Ｂ１を簡単に特定することはできない。一方、ノイズがランダムかつ均等に発生する前提で考えると、着目点の信号Ａ０，Ｂ０を通る傾きｋの斜線上に位置する各点の信号の平均値は丁度Ｓａ０，Ｓｂ０になると考えられる。
【００１９】
そこで、本実施の形態では、着目点の信号Ａ０、Ｂ０が取得されると、ＡＢ座標上で信号Ａ０，Ｂ０を通りかつ傾きｋの斜線を求める。そして、この斜線上に位置する点の信号Ａ，Ｂの平均値を求め、その値を着目点の信号Ａ０，Ｂ０の値に対して置き換える。このようにして、着目点のノイズを含んだ信号値が真値に補正される。
【００２０】
なお、着目点の信号Ａ０，Ｂ０が、図３の左上隅に位置する場合は、右下隅の信号を見つけてそれとの平均を取るのが最も効果的である。従って、この場合は、傾きｋ＝−Ｎｂ０／Ｎａ０の斜線を求めて、前述と同様に、この斜線上の点の平均を求める。このとき、着目点の信号Ａ０，Ｂ０を取得したとき、±ｋのどちらの傾きの斜線を採用するか、また、その傾きｋの値をどのような値とするかが問題となる。これについては、後述する。
【００２１】
次に、着目点の信号Ａ０，Ｂ０が最大ノイズ値よりも小さいノイズを含む場合について説明する。図４は、図３と同様な図であって、着目点の信号Ａ０、Ｂ０が四角形２１の内部に位置している例が示されている図である。着目点の信号Ａ０，Ｂ０を通る傾きｋを持つ直線２３上の各点の平均値はａｖｅ１Ａ０，ａｖｅ１Ｂ０となる。傾き−ｋを持つ直線２４上の各点の平均値はａｖｅ２Ａ０，ａｖｅ２Ｂ０となる。このとき、点線がより長い方の直線２３の中心点ａｖｅ１Ａ０，ａｖｅ１Ｂ０が四角形中心点Ｓａ０，Ｓｂ０により近い。なお、点線がより長い方の直線とは、サンプル数が多いほうの直線とみなすことができる。
【００２２】
このように、着目点の信号Ａ０，Ｂ０と真値を通る直線の傾きが±ｋでない場合であっても、傾き±ｋの直線上の信号を平均することで十分なノイズ（誤差）の低減を達成することができる。これは、図４において、着目点の信号Ａ０，Ｂ０の座標点より、平均値ａｖｅ１Ａ０，ａｖｅ１Ｂ０の座標点の方が、真値Ｓａ０，Ｓｂ０の座標点に十分に近い位置にあることより明らかである。
【００２３】
図５は、制御装置１５が行うノイズ除去処理のフローチャートを示す図である。ステップＳ１では、バッファー１１〜１４から、Ｇｂ成分、Ｂ成分、Ｒ成分、Ｇｒ成分の信号（データ）を取得する。本実施の形態では、バッファー１２からのＢ成分の信号とバッファー１３からのＲ成分の信号を、相関のある２つの信号として処理をする。また、バッファー１１からのＧｂ成分の信号とバッファー１４からのＧｒ成分の信号を、相関のある２つの信号として処理をする。
【００２４】
ステップＳ２では、取得した信号に基づき平坦部か否かを判定する。本実施の形態のノイズ除去処理は、平坦部であることを前提としている。Ｂ成分の信号とＲ成分の信号との組み合わせでは、平坦とは色が均一であることを言う。Ｇ成分の信号同士の組み合わせでは、平坦とは輝度が均一であることを言う。
【００２５】
図６は、２つの信号Ａ，Ｂのバッファーを示す図である。例えば、Ｂ成分の信号とＲ成分の信号との組み合わせでは、バッファー１２とバッファー１３を示す図である。バッファーは、着目点（着目画素）を中心に±ｎ個の信号（データ）が格納できるように構成されている。このようなバッファから読み込まれた信号に対して、次の条件式を満足するのであれば平坦であるとみなす。すなわち、着目点（０）と参照点（ｉ）の信号の差分が所定の値ｔｈＡ，ｔｈＢ以下であれば、Ａ０とＡｉ間およびＢ０とＢｉ間は平坦であるとみなす。この所定の値ｔｈＡ，ｔｈＢはノイズの最大値よりも十分大きな値を設定する。
｜Ａ０−Ａｉ｜＜ｔｈＡ  ａｎｄ  ｜Ｂ０−Ｂｉ｜＜ｔｈＢ  ．．．（７）
【００２６】
ステップＳ３では、着目点の信号Ａ０，Ｂ０と平坦であるとみなされた参照点の信号Ａｉ，Ｂｉとに相関性があるか否かを判定する。相関性があるとは、前述したとおり、ＡＢ座標上で、参照点の信号Ａｉ，Ｂｉが、着目点の信号Ａ０，Ｂ０を通る傾き±ｋの直線上にあるか否かを判定する。具体的には、次の式（８）（９）のいずれかを満足すれば相関性があると判定する。ａは許容誤差であり、傾きｋにある程度幅を持たせるものである。
（Ｂ０−Ｂｉ）／（Ａ０−Ａｉ）＝＋ｋ±ａ  ．．．（８）
（Ｂ０−Ｂｉ）／（Ａ０−Ａｉ）＝−ｋ±ａ  ．．．（９）
【００２７】
式（８）を満たす場合は、次式（１０）〜（１２）を実行し、式（９）を満たす場合は、次式（１３）〜（１５）を実行する。
ＳｕｍＡｐｌｕｓ＝ＳｕｍＡｐｌｕｓ＋Ａｉ  ．．．（１０）
ＳｕｍＢｐｌｕｓ＝ＳｕｍＢｐｌｕｓ＋Ｂｉ  ．．．（１１）
Ｎｐｌｕｓ＝Ｎｐｌｕｓ＋１  ．．．（１２）
ＳｕｍＡｍｉｎｕｓ＝ＳｕｍＡｍｉｎｕｓ＋Ａｉ  ．．．（１３）
ＳｕｍＢｍｉｎｕｓ＝ＳｕｍＢｍｉｎｕｓ＋Ｂｉ  ．．．（１４）
Ｎｐｌｕｓ＝Ｎｐｌｕｓ＋１  ．．．（１５）
【００２８】
ステップＳ２〜Ｓ３を、参照点ｉが−ｎから＋ｎの範囲において繰り返す。
【００２９】
ステップＳ４では、信号合成処理を行う。まず、合成信号の選択を行う。
Ｎｐｌｕｓ＞Ｎｍｉｎｕｓなら次式（１６）〜（１８）を実行する。
ＳｕｍＡ＝ＳｕｍＡｐｌｕｓ  ．．．（１６）
ＳｕｍＢ＝ＳｕｍＢｐｌｕｓ  ．．．（１７）
Ｎ＝Ｎｐｌｕｓ  ．．．（１８）
【００３０】
Ｎｐｌｕｓ＜Ｎｍｉｎｕｓなら次式（１９）〜（２１）を実行する。
ＳｕｍＡ＝ＳｕｍＡｍｉｎｕｓ  ．．．（１９）
ＳｕｍＢ＝ＳｕｍＢｍｉｎｕｓ  ．．．（２０）
Ｎ＝Ｎｍｉｎｕｓ  ．．．（２１）
【００３１】
Ｎｐｌｕｓ＝Ｎｍｉｎｕｓなら次式（２２）〜（２４）を実行する。
ＳｕｍＡ＝（ＳｕｍＡｐｌｕｓ＋ＳｕｍＡｍｉｎｕｓ）／２  ．．．（２２）
ＳｕｍＢ＝（ＳｕｍＢｐｌｕｓ＋ＳｕｍＢｍｉｎｕｓ）／２  ．．．（２３）
Ｎ＝（Ｎｐｌｕｓ＋Ｎｍｉｎｕｓ）／２  ．．．（２４）
【００３２】
Ｎｐｌｕｓが多くカウントされ、Ｎｍｉｎｕｓがほとんどカウントされていない場合には、着目点の信号が四角形２１のほぼ右上隅にあるか左下隅にあるかということを意味する。Ｎｍｉｎｕｓが多くカウントされ、Ｎｐｌｕｓがほとんどカウントされていない場合には、着目点の信号が四角形２１のほぼ左上隅にあるか右下隅にあるかということを意味する。ＮｐｌｕｓもＮｍｉｎｕｓもある程度カウントされている場合は、四角形２１の４隅を除く位置にあり、カウント数が多いほうが採用される。図４でも説明したように、カウント数が多いほうの傾きを採用する方が、より真値に近づいた値を求めることができる。
【００３３】
次に、式（２５）（２６）により信号合成を行う。すなわち、求めた平均値で着目点の信号値を置き換える。これにより、着目点の信号Ａ０，Ｂ０は、誤差が除去された信号Ａ０’，Ｂ０’に置き換えられ、誤差が補正される。
Ａ０’＝ＡｖｅＳｕｍＡ＝ＳｕｍＡ／Ｎ  ．．．（２５）
Ｂ０’＝ＡｖｅＳｕｍＢ＝ＳｕｍＢ／Ｎ  ．．．（２６）
なお、式（２５）（２６）の代わりに、式（２７）（２８）あるいは式（２９）（３０）を使用してもよい。
Ａ０’＝（Ａ０＋ＳｕｍＡ）／（Ｎ＋１）  ．．．（２７）
Ｂ０’＝（Ｂ０＋ＳｕｍＢ）／（Ｎ＋１）  ．．．（２８）
Ａ０’＝（Ａ０＋ＡｖｅＳｕｍＡ）／２  ．．．（２９）
Ｂ０’＝（Ｂ０＋ＡｖｅＳｕｍＢ）／２  ．．．（３０）
【００３４】
ステップＳ５では、誤差が除去された各ＲＧＢの信号に基づき、ＲＧＢの画像データが生成される。また、必要に応じて補間処理、ホワイトバランス、γ補正などの画像処理を実行する。
【００３５】
次に、傾きｋの値の求め方を説明する。ｋの値は増幅回路５、６のゲインに依存することが想定できるので、次の式（３１）より求める。増幅回路５のゲインをＧａｉｎＡと増幅回路６のゲインをＧａｉｎＢとする。増幅回路５のゲインと増幅回路６のゲインが等しく設定されていれば、ｋ＝１となる。
ｋ＝ＧａｉｎＡ／ＧａｉｎＢ  ．．．（３１）
【００３６】
なお、ｋは２つ信号のノイズ統計的特性（分散値、標準偏差値、ｐ−ｐ値、その他）により求めてもよい。例えば、図３のような信号Ａ，Ｂの分布図を得ることができれば、その分布図よりｋの値を求めることができる。また、ホワイトバランスの時に使用する係数に基づいてもよい。すなわち、ノイズ除去処理を実行する時点で、確定しているいろいろな係数に基づいて求めることができる。また、２つの信号間の相関性を保つために、１／２≦｜ｋ｜≦２に制限を加えるとよい。
【００３７】
このようにして処理される第１の実施の形態の電子カメラでは、次のような効果を奏する。
（１）着目点の信号自身の値に応じたローパスフィルタ効果が得られる。すなわち、着目点のノイズを除去するのに適した信号のみをみつけて、その値を使用して信号を補正するので、効率よくノイズを除去し信号を補正することができる。効率よいノイズ除去により、カラー画像においては、色斑ノイズが効率よく除去される。
（２）大きいノイズほどノイズ除去効果も大きい。すなわち、着目点が４隅に存在するとき、傾きｋの直線は四角形２１の中心を通るので、真値に近いＡ０’、Ｂ０’値を得ることができる。
（３）必要時のみ極限値（図３の四角形の４隅）を使用するので、補正の計算に誤った信号値が入り込むことがない。すなわち、図３において、着目点が対角線上にないときは、４隅のノイズの大きな信号値は使用しないので、誤った補正値を計算することがなくなる。
（４）広範囲のローパスフィルタを必要とせず、処理が軽い。すなわち、傾きｋの直線上にある信号のみを使用して計算するので処理が軽い。
【００３８】
なお、上記実施の形態では、相関性のある２つの信号による２次元の例で説明をしたが、この内容に限定する必要はない。相関性のある３つ以上の信号による３次元以上の場合であってもよい。３次元の場合は、３次元座標において所定の傾きを有する直線上に存在する信号で補正をするようにすればよい。
【００３９】
また、上記実施の形態では、撮像素子からの画像信号の例で説明をしたが、この内容に限定する必要はない。例えば、音声信号などにも本実施の形態の内容を適用することができる。例えば、２つの相関のある信号としては、ステレオ音声信号の両チャンネルの信号として考え、時系列的に出力される信号間について上記と同様な処理をすればよい。各点とは、時系列的にサンプリングされる各点を言う。平坦部とは、音が一定であると考えればよい。
【００４０】
また、上記実施の形態では、Ｒ、Ｇｒ、Ｇｂ、Ｂの４画素ブロックを１つの点として考える例を説明をしたが、この内容に限定する必要はない。例えば、補間処理などで１画素に複数の信号が含まれている場合は、画素単位を各点として考えればよい。また、複数の撮像素子で撮像して１画素に複数の色成分の信号が含まれる場合も同様である。あるいは、４画素単位をさらに多い８画素単位としてもよい。すなわち、複数の信号が観察される各点は、その信号の状況に応じて適宜決められた単位とすればよい。
【００４１】
また、上記実施の形態では、電子カメラの静止画の例で説明をしたが、この内容に限定する必要はない。例えば、ビデオで撮像される画像にも本実施の形態の内容を適用することができる。すなわち、走査線に合わせて時系列に取得した画像信号に対して、上記の実施の形態の内容を適用することができる。
【００４２】
また、上記実施の形態では、電子カメラの例で説明をしたが、この内容に限定する必要はない。例えば、次に示す第２の実施の形態と同様に、パーソナルコンピュータ上で処理するようにしてもよい。すなわち、撮像素子２で撮像し生成したＲＧＢ画像データをパソコンに読み込み、パソコン上のソフトで実行すればよい。
【００４３】
−第２の実施の形態−
第１の実施の形態では、撮像素子２やチャンネル３，４や増幅器５，６などにおいて入り込むノイズなどを除去する方法について説明した。すなわち、ハードウェア回路上で発生するノイズの影響を除去するものであった。第２の実施の形態では、ソフトウェア処理によって入り込むノイズ（誤差）について、除去する方法を説明する。
【００４４】
ＲＧＢベイヤ配列のカラーフィルタを備えた撮像素子で撮像された画像データには、各画素にＲＧＢいずれか１つの色成分の色情報（色信号）しか存在しない。このような画像データを使用して、各画素に各色成分の色情報を生成する補間処理が知られている。しかし、補間処理をすることにより、補間値に誤差すなわちノイズが入り込むことがある。これにより、偽構造や偽色、特にナイキスト周波数近傍に周期的な色モアレが発生し、画質を劣化させることがある。
【００４５】
この色斑や色モアレを軽減する方法として、被写体に含まれる高周波数成分を予め除去するため、撮像素子の前に光学的ローパスフィルター（ＯＬＰＦ）を使用する方法がある。しかし、光学的ローパスフィルタの効果を強くすれば、偽構造や偽色の発生をより軽減できるが、画像に含まれる高周波数成分が必要以上に抑えられ、解像感が低下する。一方、効果の弱い光学的ローパスフィルタを使用したり、光学的ローパスフィルタ自体を使用しないで撮像したカラー画像について、後処理工程において、色斑や色モアレを軽減する方法がある。例えば、ＲＧＢカラー画像をＬ＊ａ＊ｂ＊色空間に変換した後、ａ＊ｂ＊面に適用半径の広いメディアンフィルタ処理をして、色モアレを軽減させる手法がある。
【００４６】
しかし、上記のような手法だと、色斑や色モアレではない正常な色合いも破壊してしまう恐れが高い。さらに、メディアンフィルタ処理は負荷が大きいため、処理に時間がかかったり、回路規模が大きくなるという問題も生じる。第２の実施の形態では、正常な色合いへの影響を最小限に留めつつ、色斑や色モアレを効果的に抑制する信号補正方法を提供するものである。ノイズ（誤差）除去の基本的原理は、第１の実施の形態と同様である。
【００４７】
図７は、第２の実施の形態のパーソナルパーソナルコンピュータ（以下パソコンと言う）１０１を示す図である。以下で説明する画像処理プログラムは、パソコン１０１上で実行される。パソコン１０１は、デジタルカメラ１０２と接続可能であり、デジタルカメラ１０２で撮像されたカラー画像データを受信する。また、パソコン１０１は、デジタルカメラ１０２で撮像されたカラー画像データをメモリカード１０３を介して受け取ることができる。さらに、パソコン１０１は、ＣＤ−ＲＯＭ１０４などの記録媒体に記録されたカラー画像データを取得することもできる。さらにまた、インターネット１０５を介して他のコンピュータ１０６より送信されたカラー画像データを取得することもできる。本実施の形態の画像処理プログラムは、このように取得されたカラー画像データについて、色斑および色モアレを抑制する画像処理を行う。
【００４８】
−色モアレの発生メカニズム−
まず、色モアレの発生メカニズムについて説明する。デジタルカメラ１０２は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色成分がベイア配列されたカラーフィルタを有する撮像素子（不図示）で被写体を撮像し、カラー画像データを取得する。カラー画像データを構成する各々の画素には、ＲＧＢの何れか１つの色成分の色情報しか存在しない。本実施の形態では、この段階のカラー画像データをパソコン１０１が取得する。パソコン１０１では、このＲＧＢの何れか１つの色成分の色情報しか存在しないＲＧＢ表色系の画像データを使用して、各画素すべてに輝度成分Ｙの輝度情報と色差成分Ｃｒ、Ｃｂの色差情報を生成することが行われる。
【００４９】
ＲＧＢの何れか１つの色成分の色情報しか存在しないＲＧＢ表色系の画像データから、各画素すべてにＹＣｂＣｒ成分の輝度情報色差情報を生成する方法については、現在までに各種の方法が提案されている。例えば、周辺画素との類似性を考慮した補間処理により、すべての画素についていったんＲＧＢ成分の色情報を生成し、生成したＲＧＢ成分の色情報を使用してＹＣｂＣｒ成分の輝度情報色差情報を生成する方法がある。また、本願発明者が提案した国際公開第０２／２１８４９号に開示された方法では、すべての画素にいったんＲＧＢ成分の色情報を生成するのではなく、ＲＧＢの何れか１つの色成分の色情報しか存在しないＲＧＢ表色系の画像データを使用して、直接ＹＣｂＣｒ成分の輝度情報色差情報を生成する方法である。これらのいずれの方法も、着目画素の周辺に存在する画素の各色成分の色情報を使用し、補間処理や他の演算処理を行う。
【００５０】
このようにして生成されたＹＣｂＣｒ面に、各種の画像処理が施されたりした後、必要に応じて再びＲＧＢ表色系に変換される。その結果、全ての画素にＲＧＢ色成分の色情報が生成された解像度の高い高画質なカラー画像を得ることができる。
【００５１】
ベイア配列は、第１の実施の形態の図２に示すようにＲＧＢ３色の色成分が互いにずれた位置に配置されている。このようなベイア配列のカラーフィルタを有する撮像素子で、例えば、色相面が平らで、輝度面だけが高周波数成分を含む被写体を撮像する場合を考える。従来技術の方法で、すべての画素にＹＣｂＣｒ成分の輝度情報色差情報を生成する場合、最終結果のカラー画像に色モアレが生じる場合がある。これは、ＣｒＣｂ成分の色差情報に周期的な誤差が入りこみ、Ｙ成分の輝度情報が正しく復元されるかどうかに関係なく、この誤差が原因として色モアレが生じると考えられる。
【００５２】
図８は、ベイア配列の周波数空間において色モアレが発生しやすいポイントを示した図である。図２において、横方向をｘ軸、縦方向をｙ軸とする。ｆＮｘはｘ軸方向のナイキスト周波数、ｆＮｙはｙ軸方向のナイキスト周波数。図８は、ナイキスト周波数近傍で色モアレが発生しやすいことを示している。
【００５３】
図９は、色モアレが発生している画素の色差情報値（色差値）を示すグラフである。横軸に画素座標を取り、縦軸に色差値を取る。色差値が一定の場合は、色の変化もなく一定である。しかし、図９に示すようにＣｒ色差成分あるいはＣｂ色差成分の色差値が一定の周期で繰り返していることは、画素位置に応じてある色の組み合わせが交互に出現していることを示している。すなわち、色モアレが発生していることを示している。Ｃｒ０あるいはＣｂ０は、原画像すなわち基底色の色差値を示している。
【００５４】
色モアレが発生している一方の色の領域１および他方の色の領域２の色差値を、横軸をＣｒ値、縦軸をＣｂ値とするＣｒＣｂ座標系にプロットしてみると、図１０に示すような現象が観察できる。領域１の画素のＣｒＣｂは、エリア１１１およびエリア１１２あたりにプロットされ、領域２の画素のＣｒＣｂは、エリア１１３およびエリア１１４あたりにプロットされた。エリア１１１およびエリア１１３の組は、ＣｒＣｂ座標系上約−４５度の直線上に位置し、エリア１１２とエリア１１４の組は、ＣｒＣｂ座標系上約＋４５度の直線上に位置する。この−４５度の直線上および＋４５度の直線上にあらわれるＣｒＣｂの対を色ペアと呼ぶ。−４５度直線上の色ペアの数の方が、＋４５度直線上の色ペアの数より多くプロットされた。
【００５５】
−傾き−４５度について−
−４５度の直線上に位置する色ペアは、「誤差は、輝度面の変化に対して色ペア間で別の振る舞いをし、補間処理をした近傍の画素で相殺されるからである」と考えられる。すなわち、近傍の画素間でエネルギー保存の法則が働くように、誤差が相殺される。
【００５６】
図１１は、この内容を説明する図である。領域１のＲ画素で輝度成分（Ｙ成分）を表色系変換処理により生成するときに、ナイキスト周波数近傍の細かい凹凸パターンを平均化した値、つまり谷と山の中間値となる。Ｒ画素位置に山があると−ΔＥの誤差が入り込み、Ｂ画素位置に谷が存在して＋ΔＥの誤差が入る。この内容を式で表すと次式（１０１）（１０２）となる。ここで、Ｙｒ１およびＹｂ１は、本来計算されるべき正確なＹ成分の値を示している。
Ｙｒ１’＝Ｙｒ１−ΔＥ  ．．．（１０１）
Ｙｂ１’＝Ｙｂ１＋ΔＥ  ．．．（１０２）
【００５７】
このように、輝度成分に＋−ΔＥの誤差が入り込むと、この誤差は色差面にも伝播する。領域１のＲ画素の色差成分Ｃｒ１’は、次の式（１０３）となる。また、領域１のＢ画素の色差成分Ｃｂ１’は、次の式（１０４）となる。ここで、Ｒ１は領域１のＲ画素のＲ成分の色情報の値、Ｂ１は領域１のＢ画素のＢ成分の色情報の値、Ｃｒ１およびＣｂ１は、本来計算されるべき正確な色差値である。
2005026863.tif 000003
【００５８】
なお、Ｒ画素において、色差成分Ｃｂを生成する場合は、周辺のＢ画素の色差成分Ｃｂ１’等を使用するので、上記Ｂ画素と同様な誤差が入り込む。Ｂ画素において、色差成分Ｃｒを生成する場合も、同様に、周辺のＲ画素の色差成分Ｃｒ１’等を使用するので、上記Ｒ画素と同様な誤差が入り込む。
【００５９】
色ペアのもう一方の領域２では、領域１と逆の振る舞いをするため、Ｒ画素で輝度成分を生成処理するときに、＋ΔＥの誤差が入り込み、Ｂ画素では−ΔＥの誤差が入り込む。その結果、領域２のＲ画素のＹ成分Ｙｒ２’は次の式（１０５）となり、領域２のＢ画素のＹ成分Ｙｂ２’は次の式（１０６）となる。また、領域２のＲ画素の色差成分Ｃｒ２’は、次の式（１０７）となり、領域２のＢ画素の色差成分Ｃｂ２’は、次の式（１０８）となる。
2005026863.tif 000004
＝Ｃｂ２＋ΔＥ  ．．．（１０８）
【００６０】
図１２は、式（１０３）（１０４）（１０７）（１０８）をＣｒＣｂ座標系に表した図である。ここで、色相の変化がない画像を前提としているので、Ｃｒ１＝Ｃｒ２＝Ｃｒ０とし、Ｃｂ１＝Ｃｂ２＝Ｃｂ０とする。すなわち、Ｃｒ０、Ｃｂ０は、基底色の色差成分である。図１２は、図１０の−４５度直線の色ペアとほぼ一致する。
【００６１】
−傾き＋４５度について−
次に、＋４５度の直線上に位置する色ペアは、「誤差は、輝度面の変化に対して色ペア間で相殺され、補間処理をした近傍の画素間で同じような振る舞いをするからである」と考えられる。すなわち、色ペア間でエネルギー保存の法則が働くように、誤差が相殺される。
【００６２】
図１３は、この内容を説明する図である。領域１のＲ画素で輝度成分を表色系変換処理により生成するときに、−ΔＥの誤差が入り込んだとすると、領域１のＲ画素のＹ成分Ｙｒ１’は次の式（１０９）となる。また、補間処理される最も近傍のＢ画素では、Ｒ画素と同じ振る舞いをするため−ΔＥの誤差が入り込む。従って、領域１のＢ画素のＹ成分Ｙｂ１’は次の式（１１０）となる。また、領域１のＲ画素の色差成分Ｃｒ１’は、次の式（１１１）となり、領域１のＢ画素の色差成分Ｃｂ１’は、次の式（１１２）となる。
2005026863.tif 000005
【００６３】
色ペアのもう一方の領域２では、領域１と逆の振る舞いをするため、Ｒ画素で輝度成分を生成処理するときに、＋ΔＥの誤差が入り込み、Ｂ画素でも＋ΔＥの誤差が入り込む。その結果、領域２のＲ画素のＹ成分Ｙｒ２’は次の式（１１３）となる。領域２のＢ画素のＹ成分Ｙｂ２’は次の式（１１４）となる。また、領域２のＲ画素の色差成分Ｃｒ２’は、次の式（１１５）となり、領域２のＢ画素の色差成分Ｃｂ２’は、次の式（１１２）となる。
2005026863.tif 000006
【００６４】
図１４は、式（１１１）（１１２）（１１５）（１１６）をＣｒＣｂ座標系に表した図である。ここで、色相の変化がない画像を前提としているので、図１２と同様に、Ｃｒ１＝Ｃｒ２＝Ｃｒ０とし、Ｃｂ１＝Ｃｂ２＝Ｃｂ０とする。図１４は、図１０の＋４５度直線の色ペアとほぼ一致する。
【００６５】
以上より、表色系変換処理等により生成された色差面において、対象画素（着目画素）に対して−４５度の直線上の色ペアまたは＋４５度の直線上の色ペアが検出できれば、色モアレの原因となる誤差が入り込んでいるということが想定できる。従って、検出した色ペア間で色差値の平均を取り、その平均値でそれぞれの色差値を置き換えれば誤差が取り除かれた色差面を生成することができる。その結果、色モアレが抑制されたカラー画像を取得することができる。なお、この手法により、ランダムに発生する色斑ノイズについても効果的に抑制できることが確認されている。なお、色斑ノイズ除去の原理については第１の実施の形態で説明したとおりである。
【００６６】
図１５は、本実施の形態の画像処理プログラムの制御フローチャートを示す図である。ステップＳ１１では、表色系変換済みのＹＣｂＣｒ成分の画像データを取得する。ＹＣｂＣｒ成分の画像データは、前述した通り、ＲＧＢの何れか１つの色成分の色情報しか存在しないＲＧＢ表色系の画像データから、種々の方法により生成される。
【００６７】
ステップＳ１２では、Ｙ面についてローパスフィルタ（ＬＰＦ）をかける。例えば、次の式（１１７）で示すようなローパスフィルタである。［ｉ，ｊ］は、フィルタリング対象画素の座標を示す。
2005026863.tif 000007
このような、ローパスフィルタをかけるのは、後述の処理により、ナイキスト周波数近傍の空間周波数を有する領域を抽出するためである。
【００６８】
ステップＳ１３では、対象画素（着目画素）を決める。ステップＳ１４では、ステップＳ１２でローパスフィルタがかけられたＹ面のデータを使用して周辺画素との平坦度を評価する。ステップＳ１５では、平坦であるとされた領域と平坦でないとされた領域を分割する。ナイキスト周波数近傍の画像は、上述のようなローパスフィルタをかけると、画像が平坦になる。これにより、平坦であると評価され分割された領域を、ナイキスト周波数近傍の領域として抽出することができる。
【００６９】
ステップＳ１６では、対象画素とステップＳ１５で平坦とされた領域内の周辺画素との間で、ＣｒＣｂ座標系でお互いを結ぶ直線の傾きを評価する。その傾きが±１であるとステップＳ１７に進み、傾きが±１でないと判断すると次の周辺画素に移りにステップＳ１６の処理を繰り返す。周辺画素とは、色モアレが生じている２つの色を含む範囲とする必要がある。例えば、対象画素を中心とした３３×３３画素とする。
【００７０】
傾きが±１かどうかとは、前述した＋４５度直線上の色ペアか−４５度直線上の色ペアかどうかを評価することである。具体的には、対象画素の色差成分の値をＣｒ１Ｃｂ１とし、周辺画素の色差成分の値をＣｒ２Ｃｂ２とした場合、次の式（１１８）を満足すると＋４５度（傾き＝１）、次の式（１１９）を満足すると−４５度（傾き＝−１）であると評価することができる。、
Ｃｒ１−Ｃｒ２＝Ｃｂ１−Ｃｂ２  ．．．（１１８）
Ｃｒ１−Ｃｒ２＝Ｃｂ２−Ｃｂ１  ．．．（１１９）
【００７１】
誤差も考慮して、式（１１８）（１１９）を次の式（１２０）（１２１）に置き換えるようにしてもよい。ｔｈは、例えば０．２あるいは０．５のような値とする。下式で±ｔｈとは、±ｔｈ以内を意味している。
（Ｃｂ１−Ｃｂ２）／（Ｃｒ１−Ｃｒ２）＝１±ｔｈ  ．．．（１２０）
（Ｃｂ１−Ｃｂ２）／（Ｃｒ１−Ｃｒ２）＝−１±ｔｈ  ．．．（１２１）
【００７２】
ステップＳ１７では、傾き＋１と評価された画素のＣｒ、Ｃｂの積算平均および傾き−１と評価された画素のＣｒ、Ｃｂの積算平均をそれぞれ計算する。傾き＋１（＋４５度）については次の式（１２２）から（１２５）を使用して、傾き−１（−４５度）については次の式（１２６）から（１２９）を使用して、積算平均を求める。ＳｕｍＣｒ、ＳｕｍＣｂは、対象画素自体の色差成分の値Ｃｒ１、Ｃｂ１を含み、傾き＋１あるいは−１と評価された周辺画素の色差成分の値Ｃｒ２、Ｃｂ２を順次足していく式である。ＡｖｅＣｒ、ＡｖｅＣｂは、積算されたＳｕｍＣｒ、ＳｕｍＣｂを、カウントされた数Ｎで割り算し平均を求める式である。Ｎは対象画素も含めるため＋１する。
＋４５ＳｕｍＣｒ＝＋４５ＳｕｍＣｒ＋Ｃｒ２  ．．．（１２２）
＋４５ＳｕｍＣｂ＝＋４５ＳｕｍＣｂ＋Ｃｂ２  ．．．（１２３）
＋４５ＡｖｅＣｒ＝＋４５ＳｕｍＣｒ／Ｎ  ．．．（１２４）
＋４５ＡｖｅＣｂ＝＋４５ＳｕｍＣｂ／Ｎ  ．．．（１２５）
−４５ＳｕｍＣｒ＝−４５ＳｕｍＣｒ＋Ｃｒ２  ．．．（１２６）
−４５ＳｕｍＣｂ＝−４５ＳｕｍＣｂ＋Ｃｂ２  ．．．（１２７）
−４５ＡｖｅＣｒ＝−４５ＳｕｍＣｒ／Ｎ  ．．．（１２８）
−４５ＡｖｅＣｂ＝−４５ＳｕｍＣｂ／Ｎ  ．．．（１２９）
【００７３】
ステップＳ１８では、周辺画素すべて終了したかどうかを判断する。まだ、すべてを終了していないと判断するとステップＳ１６に戻り処理を繰り返す。すべてを終了したと判断するとステップＳ１９に進む。ステップＳ１９では、傾き＋１および傾き−１と評価された画素数のうち、多いほうの積算平均を使用して対象画素のＣｒＣｂを書き換える。
【００７４】
ステップＳ２０では、すべての対象画素について終了したかどうかを判断する。まだ、すべてを終了していないと判断するとステップＳ１３に戻り処理を繰り返す。すべてを終了したと判断すると処理を終了する。
【００７５】
このようにして、第２の実施の形態の画像処理プログラムを使用すると次のような効果を奏する。
（１）正常な色合いへの影響を最小限に留めつつ、色モアレや色斑などの色ノイズを効果的に抑制することができる。
（２）種々の表色系変換や補間処理を経た画像データに対して処理を行うことができるので、高精細、高画質、かつ色モアレや色斑などの色ノイズが抑制されてたカラー画像データを取得することができる。
（３）ナイキスト周波数周辺の領域に限って演算を施すことができるので、処理の負荷は軽減され、確実に色モアレを抑制することができる。
【００７６】
なお、上記第２の実施の形態の画像処理プログラムは、ＣＤ−ＲＯＭなどの記録媒体で提供される。その場合、図７のＣＤ−ＲＯＭ１０４を画像処理プログラムが記録されたＣＤ−ＲＯＭに置き換えればよい。提供する記録媒体は、ＣＤ−ＲＯＭ以外の記録媒体であってもよい。例えば、ＤＶＤやフレキシブルディスクや磁気テープなどであってもよい。また、画像処理プログラムをインターネットなどに代表される通信回線などの伝送媒体を介して提供することも可能である。
すなわち、プログラムを、伝送媒体を搬送する搬送波上の信号に変換して送信することも可能である。その場合、図７のコンピュータ１０６を画像処理プログラムを提供するサーバーコンピュータに置き換えればよい。
【００７７】
上記第２の実施の形態では、パソコン１０１上で実行する画像処理プログラムの例で説明をしたが、この内容に限定する必要はない。この画像処理プログラムをデジタルカメラ（電子カメラ）に搭載するようにしてもよい。図１６は、このデジタルカメラの構成を示すブロック図である。
【００７８】
撮影レンズなどから構成される撮影光学系１１１は、被写体像を撮像素子１１２の撮像面に結像する。撮像素子１１２は、前述したとおりベイア配列のカラーフィルタを有し、被写体像を取得してＲＧＢ表色系のカラー画像データを生成する。撮像素子１１２は、例えばＣＣＤなどから構成される。ＲＧＢカラー画像データは、制御装置１１３に送信され、制御装置１１３は、上記の画像処理をはじめ各種の画像処理を行う。すなわち、制御装置１１３は、上述した画像処理プログラムを実行する。操作部１１４は、シャッターレリーズボタンや各種のスイッチから構成される。制御装置１１３により画像処理された後生成されたカラー画像データは、モニタ１１５上に表示されたり、メモリカード１１６に記憶されたりする。メモリカード１１６に記憶された画像データは、通信Ｉ／Ｆ１１７を介して外部のパソコン等に送信することができる。デジタルカメラは、図１６以外の構成のデジタルカメラであってもよい。
【００７９】
上記第２の実施の形態では、画像データにローパスフィルタをかけ、ナイキスト周波数周辺領域を抽出する例を説明したが、この内容に限定する必要はない。
ナイキスト周波数周辺領域を抽出せず、対象画素と所定の周辺画素すべてについて、色ペアを検出する処理をするようにしてもよい。具体的には、図１５のステップＳ１２、Ｓ１４、Ｓ１５を省略してもよい。
【００８０】
上記第２の実施の形態では、画素単位にＹＣｂＣｒ成分を生成する例を説明した。この画素とは、必ずしも撮像素子の画素に対応しなくてもよい。画像データの１単位を画素と考えればよい。この場合、撮像素子の画素もこの１単位になるが、例えば、ベイア配列の１Ｒ２Ｇ１Ｂの４つの画素を１つの単位としてもよい（例えば、図１１、図１３に示されるような単位）。そのような単位で、ＹＣｂＣｒの成分を生成するようにしてもよい。
【００８１】
上記第２の実施の形態では、輝度成分としてＹ成分を生成する例を説明したが、この内容に限定する必要はない。例えば、Ｇ成分をそのまま輝度成分としてもよい。この場合、Ｇ面補間処理が必要となる。色差成分ＣｒはＲ−Ｇ、色差成分ＣｂはＢ−Ｇとしてもよい。このようにＧ面補間された画像データを使用する場合にも、色モアレや色斑の原因となる誤差が入り込むので、上記第２の実施の形態と同様な処理を行えばよい。
【００８２】
上記第２の実施の形態では、対象画素と周辺画素との間で−４５度（あるいは＋４５度）直線上の色ペアの関係がある場合、複数の周辺画素の積算平均を演算する例を説明したが、この内容に限定する必要はない。第２の実施の形態の基本的な考え方は、ある画素とある画素がＣｒＣｂ座標系で−４５度（あるいは＋４５度）直線上の色ペアの関係がある場合、それぞれの画素の色差値の平均値をそれぞれの色差値とすれば、誤差が補正されることにある。
【００８３】
上記第２の実施の形態では、色相、すなわち色を表す成分として色差成分を使用する例を説明をしたが、この内容に限定する必要はない。その他の色相を示す成分であってもよい。例えば、Ｒ／Ｙ、Ｂ／Ｙのような、Ｒ成分とＹ成分との比、Ｂ成分とＹ成分との比のような成分を使用してもよい。また、その他の表色系に変換し、その色成分を使用するようにてもよい。
【００８４】
上記第２の実施の形態では、ＹＣｂＣｒの色空間にて上記実施の形態の処理を行う例を説明した。これは、ＹＣｂＣｒの色空間が補間処理等により生成されることを前提とするものである。すなわち、誤差が入り込む補間処理等の演算が行われた同じ色空間で上記実施の形態の処理を行うのが効果的であるからである。
【００８５】
上記第２の実施の形態では、ＣｂＣｒ座標系において、−４５度の直線上にある色ペアおよび＋４５度直線上にある色ペアを求める例を説明した。これらの色ペアのＣｂＣｒ値を平均することにより基底色の色差求めることができた。すなわち、色ペアは基底色を基準にいわゆる補色類似の関係にあると言える。ここで言う補色類似の関係とは、色ペアの色を混色すると基底色の色になる関係を言い、ＣｂＣｒ座標系において、−４５度の直線上あるいは＋４５度直線上にある関係を言う。また、別の言い方をすれば、色ペアの色差値（色相値）が、ある色の色差値を基準に対称の関係にあると言える。
【００８６】
上記色ペアを求めるにあたり、選択条件として、所定彩度以下である制限を加えたり、所定周波数成分以上の輝度分布である制限を加えたり、所定周波数成分以下の輝度分布である制限を加えたりしてもよい。このような制限を加えることにより、処理が迅速になり、しかも確実に色モアレや色斑を抑制することができるようになる。
【００８７】
また、上記第２の実施の形態では、静止画の例で説明をしたが、この内容に限定する必要はない。例えば、ビデオで撮像される動画像にも本実施の形態の内容を適用することができる。
【００８８】
上記第１の実施の形態では、ノイズ（誤差）がのった信号がある程度全体に分布していたが、第２の実施の形態の色モアレでは、図３を参照して説明すれば、四角形２１の４隅に分布が集中しているといえる。しかし、第１の実施の形態と第２の実施の形態のノイズ（誤差）除去の考え方は、基本的に同一である。また、色斑ノイズを考えたとき、分布は第１の実施の形態と同様に全体に分布していると考えられる。従って、色モアレノイズも色斑ノイズも除去するためには、第１の実施の形態で説明した処理を行えばよい。
【００８９】
上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【００９０】
【発明の効果】
本発明は、以上説明したように構成しているので、次のような効果を奏する。着目点の信号自身に応じた補正すなわちノイズ除去や誤差除去効果が得られる。しかも、補正のための負荷は小さくてすむ。特に、画像データにおいて、色モアレや色斑などの色ノイズが効果的に除去される。
【図面の簡単な説明】
【図１】第１の実施の形態の電子カメラの構成を示す図である。
【図２】ベイア配列を示す図である。
【図３】ノイズが含まれる信号Ａ、Ｂの分布を示す図であり、着目点の信号が四角形の右上隅に位置している例が示されている図である。
【図４】ノイズが含まれる信号Ａ、Ｂの分布を示す図であり、着目点の信号が四角形の内部に位置している例が示されている図である。
【図５】制御装置が行うノイズ除去処理のフローチャートを示す図である。
【図６】２つの信号Ａ，Ｂのバッファーを示す図である。
【図７】第２の実施の形態の画像処理プログラムが実行されるパソコンを示す図である。
【図８】ベイア配列の周波数空間において色モアレが発生しやすいポイントを示した図である。
【図９】色モアレが発生している画素の色差情報値（色差値）を示すグラフである。
【図１０】色モアレの現象をＣｒＣｂ座標系に示した図である。
【図１１】−４５度の直線上に位置する色ペアを説明する図である。
【図１２】−４５度の直線上に位置する色ペアをＣｒＣｂ座標系に表した図である。
【図１３】＋４５度の直線上に位置する色ペアを説明する図である。
【図１４】＋４５度の直線上に位置する色ペアをＣｒＣｂ座標系に表した図である。
【図１５】第２の実施の形態の画像処理プログラムの制御フローチャートを示す図である。
【図１６】デジタルカメラの構成を示すブロック図である。
【符号の説明】
１  撮影光学系
２  撮像素子
３、４  チャンネル
５、６  増幅器（ＡＭＰ）
７，８  Ａ／Ｄ変換器
９，１０  分配器
１１〜１４  バッファー
１５  制御装置
１０１  パーソナルコンピュータ
１０２  デジタルカメラ
１０３  メモリカード
１０４  ＣＤ−ＲＯＭ
１０５  インターネット
【図１】
2005026863.tif 000008
【図２】
2005026863.tif 000009
【図３】
2005026863.tif 000010
【図４】
2005026863.tif 000011
【図５】
2005026863.tif 000012
【図６】
2005026863.tif 000013
【図７】
2005026863.tif 000014
【図８】
2005026863.tif 000015
【図９】
2005026863.tif 000016
【図１０】
2005026863.tif 000017
【図１１】
2005026863.tif 000018
【図１２】
2005026863.tif 000019
【図１３】
2005026863.tif 000020
【図１４】
2005026863.tif 000021
【図１５】
2005026863.tif 000022
【図１６】
2005026863.tif 000023