(57)【特許請求の範囲】
【請求項１】
水平ｍ×垂直ｎ（ｍ，ｎ：一方は２以上、他方は３以上の整数）画素からなる基本配列パターンであって、少なくとも３色のカラーフィルタが配列された所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置された撮像素子を含む撮像手段により撮影されたモザイク画像を取得する画像取得手段と、
前記撮像素子内のキズ画素の座標と、そのキズ画素の前記基本配列パターン内の位置に関連する補正情報とからなる第１の補正用データを記憶する第１の記憶手段と、
キズ画素の補正処理に使用する周辺画素であって、該キズ画素と同色の複数の周辺画素のキズ画素に対する位置を示す補正パターンであって、前記補正情報に対応する補正パターンからなる第２の補正用データを記憶する第２の記憶手段と、
前記第１の記憶手段及び第２の記憶手段にそれぞれ記憶された第１の補正用データと第２の補正用データとに基づいて、各キズ画素の画素値を該キズ画素に対して決められた同色の周辺画素の画素値を補間して算出するキズ補正処理手段とを備え、
前記キズ補正処理手段は、
前記第１の補正用データに含まれる補正情報に基づいて前記第２の記憶手段から補正パターンを読み出し、前記第１の補正用データに含まれるキズ画素の座標と前記読み出した補正パターンとに基づいて該キズ画素の補正処理に使用する同色の複数の周辺画素の座標を算出する座標算出手段と、
前記算出した複数の周辺画素の座標に対応する画素値を、前記モザイク画像から抽出する画素値抽出手段と、
前記抽出した複数の周辺画素の座標に対応する画素値を補間して前記キズ画素の画素値を算出する画素値算出手段と、
を備える画像処理装置。
【請求項２】
前記第２の記憶手段は、前記基本配列パターン内の同一位置のキズ画素に対して、第１候補から第ｎ候補の補正パターンを記憶し、
前記第１の記憶手段に記憶される第１の補正用データに含まれる前記補正情報は、前記第１候補から第ｎ候補の各補正パターンに対応する補正情報を有する請求項１に記載の画像処理装置。
【請求項３】
補正対象のキズ画素の周辺画素に基づいて該キズ画素近傍の被写体パターンを解析するパターン解析手段と、
前記パターン解析手段による被写体パターンの解析結果に基づいて、前記補正情報に対応する前記第１候補から第ｎ候補の補正パターンのうちのいずれか１つの補正パターンを決定する補正パターン決定手段とを更に備え、
前記キズ補正処理手段は、前記第１の補正用データに含まれるキズ画素の座標と前記決定した補正パターンとに基づいて該キズ画素の画素値を算出する請求項２に記載の画像処理装置。
【請求項４】
前記パターン解析手段は、補正対象のキズ画素の周辺画素に基づいて該キズ画素近傍の画素の画素値の相関方向が、水平、垂直、斜め右上、及び斜め右下方向のうちのいずれの方向かを解析する請求項３に記載の画像処理装置。
【請求項５】
補正対象のキズ画素の同色の周辺画素のキズ画素の有無を判別する判別手段と、
前記判別手段による判別結果に基づいて、前記補正情報に対応する前記第１候補から第ｎ候補の補正パターンのうちのキズ画素を含まない１つの補正パターンを決定する補正パターン決定手段とを更に備え、
前記キズ補正処理手段は、前記第１の補正用データに含まれるキズ画素の座標と前記決定した補正パターンとに基づいて該キズ画素の画素値を算出する請求項２に記載の画像処理装置。
【請求項６】
前記キズ補正処理手段は、前記同色の周辺画素の画素値を加重平均して前記キズ画素の画素値を算出し、
前記第２の記憶手段に記憶される補正パターンは、前記加重平均して前記キズ画素の画素値を算出する際の重み付け係数を含む請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記重み付け係数の総和は、２のべき乗になるように設定され、
前記キズ補正処理手段は、前記同色の周辺画素の画素値と各周辺画素に割り当てられた重み付け係数とを積和演算した後、前記重み付け係数の総和で除算する請求項６に記載の画像処理装置。
【請求項８】
前記第１の記憶手段に記憶される第１の補正用データは、各キズ画素に対してそれぞれ４バイトのデータからなり、
前記補正情報は、所定のビット長を有し、
前記４バイトのうちの２バイトは、前記キズ画素のＸ座標データと前記補正情報の一部のビットに割り当てられ、
前記４バイトのうちの他の２バイトは、前記キズ画素のＹ座標データと前記補正情報の他のビットに割り当てられている請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
前記第１の記憶手段及び第２の記憶手段は、それぞれ前記第１の補正用データ及び第２の補正用データが書き換え可能なものである請求項１から８のいずれか１項に記載の画像処理装置。
【請求項１０】
水平ｍ×垂直ｎ（ｍ，ｎ：一方は２以上、他方は３以上の整数）画素からなる基本配列パターンであって、少なくとも３色のカラーフィルタが配列された所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置された撮像素子を含む撮像手段により撮影されたモザイク画像を取得する画像取得工程と、
前記撮像素子内のキズ画素の座標と、そのキズ画素の前記基本配列パターン内の位置に関連する補正情報とからなる第１の補正用データを第１の記憶手段に記憶させる工程と、
キズ画素の補正処理に使用する周辺画素であって、該キズ画素と同色の複数の周辺画素のキズ画素に対する位置を示す補正パターンであって、前記補正情報に対応する補正パターンからなる第２の補正用データを第２の記憶手段に記憶させる工程と、
前記第１の記憶手段及び第２の記憶手段にそれぞれ記憶された第１の補正用データと第２の補正用データとに基づいて、各キズ画素の画素値を該キズ画素に対して決められた同色の周辺画素の画素値を補間して算出するキズ補正処理工程とを含み、
前記キズ補正処理工程は、
前記第１の補正用データに含まれる補正情報に基づいて前記第２の記憶手段から補正パターンを読み出し、前記第１の補正用データに含まれるキズ画素の座標と前記読み出した補正パターンとに基づいて該キズ画素の補正処理に使用する同色の複数の周辺画素の座標を算出する座標算出工程と、
前記算出した複数の周辺画素の座標に対応する画素値を、前記モザイク画像から抽出する画素値抽出工程と、
前記抽出した複数の周辺画素の座標に対応する画素値を補間して前記キズ画素の画素値を算出する画素値算出工程と、
を含む画像処理方法。
【請求項１１】
水平ｍ×垂直ｎ（ｍ，ｎ：一方は２以上、他方は３以上の整数）画素からなる基本配列パターンであって、少なくとも３色のカラーフィルタが配列された所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置された撮像素子を含む撮像手段により撮影されたモザイク画像を取得する画像取得機能と、
前記撮像素子内のキズ画素の座標と、そのキズ画素の前記基本配列パターン内の位置に関連する補正情報とからなる第１の補正用データを第１の記憶手段に記憶させる機能と、
キズ画素の補正処理に使用する周辺画素であって、該キズ画素と同色の複数の周辺画素のキズ画素に対する位置を示す補正パターンであって、前記補正情報に対応する補正パターンからなる第２の補正用データを第２の記憶手段に記憶させる機能と、
前記第１の記憶手段及び第２の記憶手段にそれぞれ記憶された第１の補正用データと第２の補正用データとに基づいて、各キズ画素の画素値を該キズ画素に対して決められた同色の周辺画素の画素値を補間して算出するキズ補正処理機能であって、
前記第１の補正用データに含まれる補正情報に基づいて前記第２の記憶手段から補正パターンを読み出し、前記第１の補正用データに含まれるキズ画素の座標と前記読み出した補正パターンとに基づいて該キズ画素の補正処理に使用する同色の複数の周辺画素の座標を算出する座標算出機能と、
前記算出した複数の周辺画素の座標に対応する画素値を、前記モザイク画像から抽出する画素値抽出機能と、
前記抽出した複数の周辺画素の座標に対応する画素値を補間して前記キズ画素の画素値を算出する画素値算出機能とを有するキズ補正処理機能と、
をコンピュータに実行させる画像処理プログラム。
【請求項１２】
請求項１から９のいずれか１項に記載の画像処理装置と、
撮影光学系と該撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と、
前記撮像手段から出力される画像を取得する前記画像取得手段と、
を備える撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、方法、プログラム及び記録媒体並びに撮像装置に係り、特に撮像素子の画素中のキズ画素を補正する技術に関する。
【背景技術】
【０００２】
撮像素子の画素に欠陥がある場合に、画像の中に、該欠陥に対応するキズが生じることが知られている。これを解決するための技術として、撮像素子の画素欠陥の位置を、キズの座標として予め撮像装置（カメラ）に記録しておき、撮像装置内の画像処理部において、前記記録された座標の画素を周辺画素の値、あるいは平均値に置き換えるキズ補正処理（いわゆるアドレス登録型のキズ補正処理）が知られている。【０００３】
特許文献１には、補正対象のキズ画素の周辺画素のキズの有無を示す補正パターン（補間に使用可能な画素の配置を示す１６通りの補正パターン）を予め決定しておき、補正パターンを選択するための４ビットの情報（補正パターンの番号）を、キズ画素のアドレスとともに記憶する画像補正方法が記載されている。これにより、キズ画素の画素値を、そのキズ画素のアドレスとともに記憶された補正パターンの番号に対応する補正パターンにより特定される、キズのない周辺画素を使用して算出することができる。【０００４】
特許文献２には、カラーフィルタ配列としてベイヤ配列以外の配列、特にランダム配列されたカラー撮像素子が開示されている。【０００５】
このカラー撮像素子のカラーフィルタ配列は、着目画素の４辺のいずれかにおいて、着目画素と同色の画素が隣接するという制限条件を満たすように赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色ランダム配列となっている。これにより、周期的な輝度変化をもつ被写体でも色モアレの発生を防止することができる。さらに、孤立的画素欠陥が存在することに起因する解像度の劣化を実質的に阻止することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００５−３１１７３２号公報
【特許文献２】特開２０００−３０８０８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に記載の画像補正方法は、カラーフィルタ配列としてベイヤ配列を有する撮像素子に適用される。ベイヤ配列の場合、キズ画素の色（Ｇ、又はＲ／Ｂ）によりキズ補正に使用可能な周辺画素の位置関係が固定されている。したがって、特許文献１に記載の画像補正方法は、カラーフィルタ配列が複雑な撮像素子、具体的には、キズ画素と、該キズ画素の周辺にある該キズ画素と同色の画素との間の位置関係が異なる撮像素子には適用できない。【０００８】
また、特許文献２に記載のカラー撮像素子は、３色ランダム配列となるカラーフィルタ配列を有している。このカラーフィルタ配列は、着目画素の４辺のいずれかにおいて、着目画素と同色の画素が隣接するという制限条件を満たす必要がある。また、キズ画素を補正する場合には、そのキズ画素の４辺のいずれかに隣接する同色の画素の画素値で補完しており（置き換えており）、複数の画素を使用して画素値を予測する補間処理を行うことができない。【０００９】
本発明はこのような事情に鑑みてなされたもので、カラーフィルタ配列の制限がなく、複雑なカラーフィルタ配列の撮像素子のキズ画素の補正を最小限の補正用データで行うことができ、また、カラーフィルタ配列の異なる撮像素子においてもハードウエアを変更する必要がなく、適切にキズ画素を補正することができる画像処理装置、方法、プログラム及び記録媒体並びに撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記目的を達成するために本発明の一の態様に係る画像処理装置は、水平ｍ×垂直ｎ（ｍ，ｎ：一方は２以上、他方は３以上の整数）画素からなる３原色を含むカラーフィルタが配列された所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置された撮像素子を含む撮像手段により撮影されたモザイク画像を取得する画像取得手段と、前記撮像素子内のキズ画素の座標と、そのキズ画素の前記基本配列パターン内の位置に関連する補正情報とからなる第１の補正用データを記憶する第１の記憶手段と、キズ画素の補正処理に使用する同色の複数の周辺画素のキズ画素に対する位置を示す補正パターンであって、前記補正情報に対応する補正パターンからなる第２の補正用データを記憶する第２の記憶手段と、前記第１の記憶手段及び第２の記憶手段に記憶された第１の補正用データと第２の補正用データとに基づいて、各キズ画素の画素値を該キズ画素に対して決められた同色の周辺画素の画素値を補間して算出するキズ補正処理手段であって、前記第１の補正用データに含まれる補正情報に基づいて前記第２の記憶手段から補正パターンを読み出し、前記第１の補正用データに含まれるキズ画素の座標と前記読み出した補正パターンとに基づいて該キズ画素の補正処理に使用する同色の複数の周辺画素の座標を算出する手段と、前記算出した複数の周辺画素の座標に対応する画素値を、前記モザイク画像から抽出する手段と、前記抽出した複数の周辺画素の座標に対応する画素値を補間して前記キズ画素の画素値を算出する手段とを有するキズ補正処理手段と、を備えている。【００１１】
本発明の一の態様によれば、ｍ×ｎ（ｍ，ｎ：一方は２以上、他方は３以上の整数）画素の基本配列パターンの繰り返しに対応するモザイク画像（撮像素子）内のキズ画素を、周辺画素を用いた補間により補正する。前記撮像素子の各キズ画素に対応するデータとして、キズ画素の座標と、そのキズ画素の基本配列パターン内の位置に関連する補正情報とからなる第１の補正用データと、キズ画素の補正処理に使用する同色の複数の周辺画素のキズ画素に対する位置を示す補正パターンであって、前記補正情報に対応する補正パターンからなる第２の補正用データとを記憶しておく。キズ画素毎の第１の補正用データは、そのキズ画素の座標と補正情報とから構成されているが、前記補正情報は、そのキズ画素の基本配列パターン内の位置に関連する情報である。一方、前記第２の補正用データは、全てのキズ画素の補正に使用される共通の情報である。このため、これらの第１、第２の補正用データは最小限のデータ量とすることができる。そして、これらの第１、第２の補正用データに基づいて各キズ画素の画素値を、該キズ画素に対して決められた同色の周辺画素の画素値を補間して算出するようにしている。尚、前記基本配列パターンのサイズが大きく、カラーフィルタ配列が複雑なものになっても、前記第１の補正用データのサイズは変化しない。また、第１、第２の補正用データは、カラーフィルタ配列の制限を受けないデータである。【００１２】
本発明の更に他の態様に係る画像処理装置において、前記第２の記憶手段は、前記基本配列パターン内の同一位置のキズ画素に対して、第１候補から第ｎ候補の補正パターンを記憶し、前記第１の記憶手段に記憶される第１の補正用データに含まれる前記補正情報は、前記第１候補から第ｎ候補の各補正パターンに対応する補正情報を有することが好ましい。この態様では、キズ画素の補間に使用する補正パターン（周辺画素）を限定せずに、前記第１候補から第ｎ候補の補正パターンのうちのいずれか１つの補正パターンを選択する。これにより、そのキズ画素の補正に最適な補正パターンを使用した補間を行うことができる。
【００１３】
本発明の更に他の態様に係る画像処理装置において、補正対象のキズ画素の周辺画素に基づいて該キズ画素近傍の被写体パターンを解析するパターン解析手段と、前記パターン解析手段による被写体パターンの解析結果に基づいて、前記補正情報に対応する前記第１候補から第ｎ候補の補正パターンのうちのいずれか１つの補正パターンを決定する補正パターン決定手段と、を備え、前記キズ補正処理手段は、前記第１の補正用データに含まれるキズ画素の座標と前記決定した補正パターンとに基づいて該キズ画素の画素値を算出するようにしている。この態様では、補正対象のキズ画素の周辺画素のパターン解析を行って前記第１候補から第ｎ候補の補正パターンのうちのいずれか１つの補正パターンを決定し、その決定した補正パターンに基づいて補間処理する。このため、補正痕を残さない最適な補間処理を行うことができる。
【００１４】
本発明の更に他の態様に係る画像処理装置において、前記パターン解析手段は、補正対象のキズ画素の周辺画素に基づいて該キズ画素近傍の画素の画素値の相関方向が、水平、垂直、斜め右上、及び斜め右下方向のうちのいずれの方向かを解析することが好ましい。これにより、補正対象のキズ画素の近傍の同色の画素の画素値又は輝度の相関方向の周辺画素を使用した補間処理を行うことができ、補正痕を残さない最適な補間処理を行うことができる。【００１５】
本発明の更に他の態様に係る画像処理装置において、補正対象のキズ画素の同色の周辺画素のキズ画素の有無を判別する判別手段と、前記判別手段による判別結果に基づいて、前記補正情報に対応する前記第１候補から第ｎ候補の補正パターンのうちのキズ画素を含まない１つの補正パターンを決定する補正パターン決定手段と、を備え、前記キズ補正処理手段は、前記第１の補正用データに含まれるキズ画素の座標と前記決定した補正パターンとに基づいて該キズ画素の画素値を算出することが好ましい。これにより、補間処理に使用する周辺画素として、キズ画素を含まないものを使用することができる。
【００１６】
本発明の更に他の態様に係る画像処理装置において、前記キズ補正処理手段は、前記同色の周辺画素の画素値を加重平均して前記キズ画素の画素値を算出し、前記第２の記憶手段に記憶される補正パターンは、前記加重平均して前記キズ画素の画素値を算出する際の重み付け係数を含むことが好ましい。これによれば、カラーフィルタ配列により、補正対象のキズ画素の周辺画素が非対称な配置でも適切に補間することができる。【００１７】
本発明の更に他の態様に係る画像処理装置において、前記重み付け係数の総和は、２の乗数になるように設定され、前記キズ補正処理手段は、前記同色の周辺画素の画素値と各周辺画素に割り当てられた重み付け係数とを積和演算した後、前記重み付け係数の総和で除算するようにしている。前記重み付け係数の総和で除算する際に、その総和は２の乗数になるように設定されている。このため、ビットシフトだけで除算することができる。【００１８】
本発明の更に他の態様に係る画像処理装置において、前記第１の記憶手段に記憶される第１の補正用データは、各キズ画素に対してそれぞれ４バイトのデータからなり、前記補正情報は、所定のビット長を有し、前記４バイトのうちの２バイトは、前記キズ画素のＸ座標データと前記補正情報の一部のビットに割り当てられ、前記４バイトのうちの他の２バイトは、前記キズ画素のＹ座標データと前記補正情報の他のビットに割り当てられている。これにより、各キズ画素の第１の補正用データを小さくすることができる。さらに、Ｘ，Ｙ座標データが大きくなる画像サイズの大きな画像や、多くの補正情報が必要になる複雑な基本配列パターンにも、上記のキズ補正処理を適用することができる。【００１９】
本発明の更に他の態様に係る画像処理装置において、前記第１の記憶手段及び第２の記憶手段は、それぞれ前記第１の補正用データ及び第２の補正用データが書き換え可能なものであることが好ましい。これにより、どのような撮像素子に対しても、前記第１の補正用データ及び第２の補正用データを書き換えることで対応することができる。【００２０】
本発明の更に他の態様に係る画像処理方法は、水平ｍ×垂直ｎ（ｍ，ｎ：一方は２以上、他方は３以上の整数）画素からなる３原色を含むカラーフィルタが配列された所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置された撮像素子を含む撮像手段により撮影されたモザイク画像を取得する画像取得工程と、前記撮像素子内のキズ画素の座標と、そのキズ画素の前記基本配列パターン内の位置に関連する補正情報とからなる第１の補正用データを第１の記憶手段に記憶させる工程と、キズ画素の補正処理に使用する同色の複数の周辺画素のキズ画素に対する位置を示す補正パターンであって、前記補正情報に対応する補正パターンからなる第２の補正用データを第２の記憶手段に記憶させる工程と、前記第１の記憶手段及び第２の記憶手段に記憶された第１の補正用データと第２の補正用データとに基づいて、各キズ画素の画素値を該キズ画素に対して決められた同色の周辺画素の画素値を補間して算出するキズ補正処理工程であって、前記第１の補正用データに含まれる補正情報に基づいて前記第２の記憶手段から補正パターンを読み出し、前記第１の補正用データに含まれるキズ画素の座標と前記読み出した補正パターンとに基づいて該キズ画素の補正処理に使用する同色の複数の周辺画素の座標を算出する工程と、前記算出した複数の周辺画素の座標に対応する画素値を、前記モザイク画像から抽出する工程と、前記抽出した複数の周辺画素の座標に対応する画素値を補間して前記キズ画素の画素値を算出する工程とからなるキズ補正処理工程と、を含んでいる。【００２１】
本発明の更に他の態様に係る画像処理プログラムは、水平ｍ×垂直ｎ（ｍ，ｎ：一方は２以上、他方は３以上の整数）画素からなる３原色を含むカラーフィルタが配列された所定の基本配列パターンが、水平方向及び垂直方向に繰り返して配置された撮像素子を含む撮像手段により撮影されたモザイク画像を取得する画像取得機能と、前記撮像素子内のキズ画素の座標と、そのキズ画素の前記基本配列パターン内の位置に関連する補正情報とからなる第１の補正用データを第１の記憶手段に記憶させる機能と、キズ画素の補正処理に使用する同色の複数の周辺画素のキズ画素に対する位置を示す補正パターンであって、前記補正情報に対応する補正パターンからなる第２の補正用データを第２の記憶手段に記憶させる機能と、前記第１の記憶手段及び第２の記憶手段に記憶された第１の補正用データと第２の補正用データとに基づいて、各キズ画素の画素値を該キズ画素に対して決められた同色の周辺画素の画素値を補間して算出するキズ補正処理機能であって、前記第１の補正用データに含まれる補正情報に基づいて前記第２の記憶手段から補正パターンを読み出し、前記第１の補正用データに含まれるキズ画素の座標と前記読み出した補正パターンとに基づいて該キズ画素の補正処理に使用する同色の複数の周辺画素の座標を算出する機能と、前記算出した複数の周辺画素の座標に対応する画素値を、前記モザイク画像から抽出する機能と、前記抽出した複数の周辺画素の座標に対応する画素値を補間して前記キズ画素の画素値を算出する機能とを有するキズ補正処理機能と、をコンピュータに実行させるものである。【００２２】
本発明の更に他の態様に係る撮像装置は、撮影光学系と該撮影光学系を介して被写体像が結像される撮像素子とを含む撮像手段と、前記撮像手段から出力される画像を取得する前記画像取得手段と、前述したいずれかの画像処理装置と、を備えている。
【発明の効果】
【００２３】
本発明によれば、ベイヤ配列に比べて複雑な基本配列パターンの繰り返しに対応するモザイク画像（撮像素子）内のキズ画素を、周辺画素を用いた補間により適正に補正することができる。特にカラーフィルタ配列の制限を受けず、種々のモザイク画像に適用することができる。また、キズ画素の補正に必要な情報量を最小限にすることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明に係る撮像装置の実施形態を示すブロック図
【図２】撮像素子に配置されたモザイク状の新規のカラーフィルタ配列を示す図
【図３】図２に示した基本配列パターンを３×３画素に４分割した状態を示す図
【図４】第１の補正用データのデータ構造の一例を示す図
【図５】第１の補正用データに含まれる補正情報を説明するための図
【図６】図５に示した補正情報ｎ（０≦ｎ≦８）に対応する画素と、その画素の補正に使用する周辺画素との位置関係を示す図
【図７】補正情報ｎと補正パターンとの関係を表した補正パターンテーブル（第２の補正用データ）の第１の実施形態を示す図
【図８】キズ補正処理方法の第１の実施形態を示すフローチャート
【図９】キズ補正処理方法の第２の実施形態に適用される補正情報ｎと補正パターンとの関係を表した補正パターンテーブルを示す図
【図１０】キズ補正処理方法の第３の実施形態に適用される補正情報ｎと補正パターンとの関係を表した補正パターンテーブルを示す図
【図１１Ａ】撮像素子に配置された第２の実施形態のカラーフィルタ配列を示す図
【図１１Ｂ】撮像素子に配置された第２の実施形態のカラーフィルタ配列を示す図
【図１２】第２の実施形態のカラーフィルタ配列に適用される補正情報ｎに対応する画素と、その画素の補正に使用する周辺画素との位置関係を示す図
【図１３】キズ画素の補正に使用する第１の補正用データの他の実施形態を示すデータ構造を示す図
【図１４Ａ】第２候補の補正情報に対応する補正パターンの一例を示す図
【図１４Ｂ】第３候補の補正情報に対応する補正パターンの一例を示す図
【図１４Ｃ】第４候補の補正情報に対応する補正パターンの一例を示す図
【図１４Ｄ】第５候補の補正情報に対応する補正パターンの一例を示す図
【図１５】キズ補正処理方法の第４の実施形態を示すフローチャート
【図１６】キズ画素の近傍の相関方向の判別方法を説明するために用いた図
【図１７】キズ補正処理方法の第５の実施形態を示すフローチャート
【図１８】第１の補正用データに含まれる補正情報と第２候補から第５候補の補正情報とが関連づけて記憶されたテーブルを示す図
【図１９】撮像素子に配置された第３の実施形態のカラーフィルタ配列を示す図
【発明を実施するための形態】
【００２５】
以下、添付図面に従って本発明に係る画像処理装置、方法、プログラム及び記録媒体並びに撮像装置の好ましい実施の形態について詳説する。
【００２６】
［撮像装置の実施形態］
図１は本発明に係る撮像装置の実施形態を示すブロック図である。
【００２７】
この撮像装置１０は、撮像した画像を内部メモリ（メモリ部２６）、又は外部の記録メディア（図示せず）に記録するデジタルカメラである。撮像装置１０全体の動作は、中央処理装置（ＣＰＵ；Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１２によって統括制御される。
【００２８】
撮像装置１０には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ズームボタン、ＢＡＣＫキー等を含む操作部１４が設けられている。この操作部１４からの信号はＣＰＵ１２に入力され、ＣＰＵ１２は入力信号に基づいて撮像装置１０の各回路を制御する。ＣＰＵ１２は、例えば、デバイス制御部１６を介してレンズ部１８、シャッタ２０、撮像素子２２を制御し、撮影動作制御、画像処理制御、画像データの記録／再生制御、表示部２５の表示制御などを行う。
【００２９】
レンズ部１８は、フォーカスレンズ、ズームレンズ、絞り等を含んでいる。レンズ部１８及びシャッタ２０を通過した光束は、撮像素子２２の受光面に結像される。
【００３０】
撮像素子２２は、多数の受光素子（フォトダイオード）が２次元配列されている。各フォトダイオードの受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。
【００３１】
＜撮像素子の第１の実施形態＞
図２は、上記撮像素子２２の第１の実施形態を示す図であり、特に撮像素子２２の受光面上に配置されている新規のカラーフィルタ配列に関して示している。
【００３２】
この撮像素子２２のカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンＰ（太枠で示したパターン）を含んでいる。撮像素子２２の受光面には、この基本配列パターンＰが水平方向及び垂直方向に繰り返し配置されている。即ち、このカラーフィルタ配列では、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色のフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）が所定の周期性をもって配列されている。このようにＲフィルタ、Ｇフィルタ、Ｂフィルタが所定の周期性をもって配列されているため、撮像素子２２から読み出されるＲＧＢのＲＡＷデータ（モザイク画像）の画像処理等を行う際に、繰り返しパターンに従って処理を行うことができる。
【００３３】
図２に示すカラーフィルタ配列は、輝度信号を得るために最も寄与する色（この実施形態では、Ｇの色）に対応するＧフィルタが、カラーフィルタ配列の水平、垂直、及び斜め右上、斜め右下（ＮＥ，ＮＷ）方向の各ライン内に配置されている。
【００３４】
上記のように、輝度系画素に対応するＧフィルタは、カラーフィルタ配列の水平、垂直、及びＮＥ，ＮＷ方向の各ライン内に配置される。このため、高周波となる方向によらず高周波領域での同時化処理（色補間処理）（デモザイク処理とも言う）の再現精度を向上させることができる。
【００３５】
また、図２に示すカラーフィルタ配列では、上記Ｇの色以外の２色以上の他の色（この実施形態では、Ｒ，Ｂの色）に対応するＲフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されている。
【００３６】
Ｒフィルタ、Ｂフィルタが、カラーフィルタ配列の水平、及び垂直方向の各ライン内に配置されるため、色モワレ（偽色）の発生を抑圧することができる。
【００３７】
図３は、図２に示した基本配列パターンＰを、３×３画素に４分割した状態に関して示している。
【００３８】
図３に示すように基本配列パターンＰは、実線の枠で囲んだ３×３画素のＡ配列と、破線の枠で囲んだ３×３画素のＢ配列とが、水平、垂直方向に交互に並べられている。
【００３９】
Ａ配列及びＢ配列では、それぞれＧフィルタが４隅と中央に配置され、両対角線上に配置されている。また、Ａ配列では、中央のＧフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列されている。一方、Ｂ配列では、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。即ち、Ａ配列とＢ配列とは、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。
【００４０】
また、Ａ配列とＢ配列の４隅のＧフィルタは、Ａ配列とＢ配列とが水平、垂直方向に交互に配置されることにより、２×２画素に対応する正方配列のＧフィルタを構成する。
【００４１】
上記構成の撮像素子２２に蓄積された信号電荷は、デバイス制御部１６から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子２２から読み出された電圧信号は、Ａ／Ｄ変換器２４に加えられて、該Ａ／Ｄ変換器２４により、順次カラーフィルタ配列に対応するデジタルのＲ，Ｇ，Ｂ信号に変換される。上記デジタルのＲ，Ｇ，Ｂ信号は、メモリ部２６に保存される。
【００４２】
メモリ部２６は、揮発性メモリであるＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）や、書き換え可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）等を含んでいる。ＳＤＲＡＭは、ＣＰＵ１２によるプログラムの実行時におけるワークエリアとして、また、撮像され取得されたデジタル画像信号を一時保持する記憶エリアとして使用される。一方、ＥＥＰＲＯＭには、本実施形態に係る画像処理プログラムを含むカメラ制御プログラム、撮像素子２２の画素の欠陥情報、画像処理等に使用する各種のパラメータやテーブル等が記憶されている。
【００４３】
画像処理部２８は、メモリ部２６に一旦格納されたデジタルの画像信号に対して、本実施形態に係るキズ補正処理、ホワイトバランス補正、ガンマ補正処理、同時化処理、ＹＣ処理等の所定の信号処理を行う。尚、撮像素子２２の欠陥画素（キズ画素）に対するキズ補正処理の詳細については後述する。
【００４４】
画像処理部２８で処理された画像データは、エンコーダ３０において画像表示用のデータにエンコーディングされ、ドライバ３２を介してカメラ背面に設けられている表示部２５に出力される。これにより、被写体像が連続的に表示部２５の表示画面上に表示される。
【００４５】
操作部１４のシャッタボタンの第１段階の押下（半押し）があると、ＣＰＵ１２は、自動合焦（ＡＦ）動作及び自動露出調整（ＡＥ）動作を開始させ、デバイス制御部１６を介してレンズ部１８のフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。
【００４６】
ＣＰＵ１２は、シャッタボタンの半押し時にＡ／Ｄ変換器２４から出力される画像データに基づいて被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値により露出条件（Ｆ値、シャッタ速度）を決定する。
【００４７】
ＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、前記決定した露出条件により絞り、シャッタ２０及び撮像素子２２での電荷蓄積時間を制御して本撮像が行われる。本撮像時に撮像素子２２から読み出され、Ａ／Ｄ変換器２４によりＡ／Ｄ変換されたＲＧＢのモザイク画像の画像データは、メモリ部２６一時的に記憶される。
【００４８】
メモリ部２６に一時的に記憶された画像データは、画像処理部２８により適宜読み出され、キズ補正処理、ホワイトバランス補正、ガンマ補正処理、同時化処理、ＹＣ処理等を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、所定の圧縮フォーマット（例えば、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式）に従って圧縮され、圧縮された画像データは、所定の画像ファイル（例えば、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ  ｉｍａｇｅ  ｆｉｌｅ  ｆｏｒｍａｔ）ファイル）形式で内部メモリや外部メモリに記録される。
【００４９】
［キズ補正処理］
＜キズ画素の補正に使用する第１、第２の補正用データ＞
次に、キズ画素の補正に使用する第１、第２の補正用データについて説明する。
【００５０】
メモリ部２６に含まれる不揮発性メモリ（ＥＥＰＲＯＭ）には、撮像素子２２の各キズ画素について、キズ画素の座標データとそのキズ画素の基本配列パターン内の位置に関連する補正情報とからなる第１の補正用データが記憶されている。尚、第１の補正用データは、撮像素子２２を工場から出荷する前に撮像素子２２の出力データを画素単位で評価してキズ画素の判定を行い、キズ画素と判定されたキズ画像毎に作成され、ＥＥＰＲＯＭに記録されるものである。
【００５１】
図４に示すように第１の補正用データは、各キズ画素に対してそれぞれ４バイトのデータからなる。４バイトのうちの２バイトは、下位１３ビットがキズ画素のＸ座標データに割り当てられ、上位３ビットが補正情報の一部に割り当てられている。また、４バイトのうちの他の２バイトは、下位１２ビットがキズ画素のＹ座標データに割り当てられ、上位４ビットが前記補正情報の残りに割り当てられている。
【００５２】
これにより、Ｘ座標データは１３ビットで表すことができる０〜８１９１の範囲、Ｙ座標データは１２ビットで表すことができる０〜４０９５の範囲の設定可能である。また、補正情報は、３ビットと４ビットに分散されて記録され、合計７ビット（＝１２８）の情報をもつことができる。
【００５３】
次に、上記補正情報について説明する。
【００５４】
補正情報は、撮像素子の基本配列パターン内のキズ画素の位置に関連する情報であり、この撮像素子２２の基本配列パターンの場合には、図５に示すように０〜８の数字で表すことができる。
【００５５】
即ち、撮像素子２２の基本配列パターンは、図２に示したように６×６画素の正方配列パターンであり、図３に示したように３×３画素のＡ配列とＢ配列とが水平、垂直方向に交互に並べられた配列となっている。また、Ａ配列とＢ配列とは、Ｇ画素の位置が同一であり、また、Ｒ画素とＢ画素との位置関係が逆転しているが、その他の配置は同様になっている。
【００５６】
図５では、Ｇ画素は、基本配列パターン内の位置として、０、２、４、６、８の数字で表されている。０、２、４、６、８のうちのいずれかが特定されると、その特定されたＧ画素の周辺のＧ画素の位置関係も特定することができる。
【００５７】
また、Ｒ画素又はＢ画素は、基本配列パターン内の位置として、１、３、５、７の数字で表されている。１、３、５、７のうちのいずれかが特定されると、その特定されたＲ画素又はＢ画素の周辺のＲ画素又はＢ画素の位置関係も特定することができる。
【００５８】
このように基本配列パターン内の上記数字０〜８は、その数字により基本配列パターン内の画素の位置を特定することができる。その結果、特定された画素と同色の周辺画素を特定することができる情報（補正情報）となる。
【００５９】
図６は、図５に示した補正情報ｎ（０≦ｎ≦８）に対応する画素と、その画素の補正に使用する周辺画素との位置関係を示す図である。
【００６０】
図６に示す例では、５×５画素の画像サイズ（領域）内の中心画素を、補正対象のキズ画素とした場合、図５に示した補正情報ｎ（０≦ｎ≦８）に対応するキズ画素と同色の画素であって、５×５画素の領域内でキズ画素に最も近い３画素、又は４画素の位置関係を示している。
【００６１】
５×５画素の領域内の位置を、(00),(01),(02),(03),(04),(10),…,(44)で表した場合、その中心画素の位置は(22)となる。
【００６２】
例えば、図５に示した補正情報０に対応するＧ画素がキズ画素の場合、図６上で、補正情報０で示すように、(11),(12),(21),(33)の４つの位置のＧ画素が、中心のＧ画素の位置(22)に最も近い４画素となる。また、図５に示した補正情報１に対応する画素（Ａ配列の場合はＢ画素、Ｂ配列の場合はＲ画素）がキズ画素の場合、図６上で、補正情報１で示すように、(01),(03),(42)の３つの位置の画素が、中心の画素の位置(22)に最も近い同色の３画素となる。このように補正情報ｎ（０≦ｎ≦８）に応じて、キズ補正に使用する同色の周辺画素の位置関係（キズ画素の位置(22)を基準にした補正パターン）を特定することができる。
【００６３】
図７は、補正情報ｎ（０≦ｎ≦１２７）と補正パターンとの関係を表した補正パターンテーブル（第２の補正用データ）の第１の実施形態を示す図である。補正パターンテーブルでは、周辺の５×５画素のうちの補正に用いる画素の位置に“１”、補正に用いない画素の位置に“０”が付されている。
【００６４】
この実施形態の補正情報ｎは、前述したように７ビット（０〜１２７）の数字からなるため、１２８種類の補正パターンを特定することができる。図７上では、０〜８の９種類の補正パターンが示されている。
【００６５】
図７に示した補正パターンテーブルは、第２の補正用データとしてメモリ部２６のＥＥＰＲＯＭに記憶される。
【００６６】
尚、第２の補正用データは、撮像素子の基本パターン配列に応じて決定されるものであり、撮像素子内のキズ画素の位置には依存しないデータである。また、図６、図７に示した補正パターンは一例であり、同じ位置のキズ画素を補正する場合でも、複数の補正パターンが考えられる。
【００６７】
＜キズ補正処理方法の第１の実施形態＞
次に、モザイク画像に含まれるキズ画素のキズ補正処理方法の第１の実施形態について説明する。
【００６８】
図８はキズ補正処理方法の第１の実施形態を示すフローチャートである。
【００６９】
図８において、まず、メモリ部２６に格納されている第１の補正用データであって、あるキズ画素に対応して記憶された第１の補正用データを読み取る。第１の補正用データは、図４で説明したように４バイトのデータである。この第１の補正用データからキズ画素のＸ座標データＸ、Ｙ座標データＹを読み取り、それぞれキズ画素の座標を示す引数K_x,K_yを、K_x＝Ｘ,K_y＝Ｙに設定する（ステップＳ１０）。
【００７０】
続いて、上記第１の補正用データから補正情報ｐを読み取る。即ち、図４で説明したように４バイトのうちのＸ座標データが記録されている２バイトの上位３ビットと、Ｙ座標データが記録されている２バイトの上位４ビットとからなる７ビットの補正情報ｐを読み取り、補正パターンを示す引数Patを、Pat＝ｐに設定する（ステップＳ１２）。
【００７１】
次に、関数Hosei［Pat,K_x,K_y］に対して、ステップＳ１０、Ｓ１２により設定した引数K_x＝Ｘ,K_y＝Ｙ，Pat＝ｐを渡し、キズ補正処理対象のキズ画素の画素値Data［Ｘ,Ｙ］を算出する（ステップＳ１４）。
【００７２】
即ち、関数Hosei［Pat,K_x,K_y］では、引数K_x＝Ｘ,K_y＝Ｙにより補正対象のキズ画素の座標を特定し、引数Pat＝ｐにより補正パターンを特定する。そして、キズ画素の座標と補正パターンとに基づいてキズ補正に使用する周辺画素の同色の複数の画素の座標を特定する。これらの特定された画素の画素値を読み出し、読み出した画素値を補間演算する。これにより、キズ画素の画素値Data［Ｘ,Ｙ］を算出する。
【００７３】
上記ステップＳ１０〜Ｓ１４のキズ補正処理は、予めメモリ部２６に登録されている全てのキズ画素に対して行われる。
【００７４】
＜キズ補正処理方法の第２の実施形態＞
図７に示した補正パターンに従って補正に使用する複数の周辺画素を選択し、これらの画素の画素値の相加平均によりキズ画素の画素値を算出する。
【００７５】
キズ補正処理方法の第２の実施形態では、補正パターンテーブル（第２の補正用データ）を改良し、算出された画素の重心が、補正対象のキズ画素の位置と一致し、又はほぼ一致するように加重平均するようにしている。
【００７６】
図９は、キズ補正処理方法の第２の実施形態に適用される補正情報ｎと補正パターンとの関係を表した補正パターンテーブルを示す図である。
【００７７】
図９に示す補正パターンには、キズ画素の補正に使用する周辺画素について、重み付け係数が付加されている。これらの重み付け係数は、これらの重み付け係数に基づいて加重平均した画素の重心が、補正対象のキズ画素の位置と一致し、又はほぼ一致するように、その重み付け係数の値が設定されている。
【００７８】
カラーフィルタ配列により補正対象のキズ画素の同色の周辺画素が、非対称な配置でも、上記の補正パターンテーブルを使用して重み付け加算平均を行うことにより、キズ画素の画素値を適切に補間することができる。
【００７９】
＜キズ補正処理方法の第３の実施形態＞
図１０は、キズ補正処理方法の第３の実施形態に適用される補正情報ｎと補正パターンとの関係を表した補正パターンテーブル（第２の補正用データ）を示す第３の実施形態を示す図である。
【００８０】
図１０に示す補正パターンには、図９に示した実施形態と同様にキズ画素の補正に使用する周辺画素について、重み付け係数が付加されている。さらに、本実施形態では、各補正パターンの重み付け係数の総和が、２のべき乗である６４になるように設定されている。
【００８１】
周辺画素の画素値を加重平均してキズ画素の画素値を算出する場合、補正パターンに従って選択した周辺画素の画素値と各周辺画素に割り当てられた重み付け係数との積和演算を行った後、重み付け係数の総和で除算する。本実施形態では、重み付け係数の総和を６４（２の６乗）にすることにより、積和演算した値を６ビットだけ下位シフトすることにより重み付け係数の総和による除算を行うことができる。これにより、キズ画素の画素値を算出するための回路が簡易になる。
【００８２】
尚、重み付け係数の総和は６４に限らず、２のべき乗であればよい。
【００８３】
また、図７、図９及び図１０に示した補正パターンテーブル（第２の補正用データ）は、“０”が多いため、このテーブルは圧縮データとしてＥＥＰＲＯＭに記録しておき、実際にテーブルを使用する時に圧縮データを伸張してＳＤＲＡＭ等のワークエリアに保持するようにしてもよい。
【００８４】
＜撮像素子の第２の実施形態＞
図１１Ａは、撮像素子の第２の実施形態を示す図であり、特に撮像素子の受光面上に配置されているカラーフィルタ配列に関して示している。
【００８５】
この撮像素子のカラーフィルタ配列は、６×６画素に対応する正方配列パターンからなる基本配列パターンを含んでいる。この基本配列パターンは、上記受光面の水平方向及び垂直方向に繰り返し配置されている。
【００８６】
図１１Ａに示すカラーフィルタ配列は、３×３画素のＡ配列と３×３画素のＢ配列とが水平、垂直方向に交互に並べられた配列となっている。
【００８７】
Ａ配列では、Ｇフィルタが中央に配置され、４隅に黄色のＹフィルタが配置され、中央のＧフィルタを挟んでＢフィルタが水平方向に配列され、Ｒフィルタが垂直方向に配列されている。一方、Ｂ配列では、Ａ配列とはＧとＹ、ＲとＢのフィルタの位置が逆になるように配置されている。Ｂ配列では、Ｙフィルタが中央に配置され、４隅にＧフィルタが配置され、中央のＹフィルタを挟んでＲフィルタが水平方向に配列され、Ｂフィルタが垂直方向に配列されている。
【００８８】
図１１Ｂは、上記基本配列パターン内のキズ画素の位置に関連する補正情報ｎ（０≦ｎ≦８）を示している。この補正情報ｎは、図５に示した第１の実施形態の基本配列パターンと同じ数字が割り当てられている。
【００８９】
図１２は、図１１Ｂに示した補正情報ｎ（０≦ｎ≦８）に対応する画素と、その画素の補正に使用する周辺画素との位置関係を示す図である。
【００９０】
図１１Ａ及び図１１Ｂに示すＲＧＢＹの４色のカラーフィルタ配列をもっている撮像素子の場合でも、図２、図３に示したＲＧＢの３原色のカラーフィルタ配列をもっている撮像素子と同様に第１、第２の補正用データを構成することができ、本発明の各実施形態によるキズ補正処理を行うことができる。
【００９１】
＜第１の補正用データの他の実施形態＞
図１３は、キズ画素の補正に使用する第１の補正用データの他の実施形態を示すデータ構造を示す図である。
【００９２】
図１３に示すように第１の補正用データは、各キズ画素に対してそれぞれ８バイトのデータからなる。８バイトのうちの４バイトは、図４に示した第１の補正用データと同じデータ構成となっている。残りの４バイトは、１バイトずつ第２候補から第５候補の補正情報に割り当てることができるようになっている。
【００９３】
上記第２候補から第５候補の補正情報は、それぞれキズ画素近傍の画素の画素値の相関方向を示す情報、即ち、垂直方向（縦方向）、水平方向（横方向）、斜め右上（ＮＥ）方向、及び斜め右下（ＮＷ）方向を示す情報として使用することができる。
【００９４】
それぞれ２バイトのＸ座標データ及びＹ座標データとともに記録されている補正情報（第１候補）が０の補正パターンの場合、第２候補から第５候補の補正情報の補正パターンは、図１４Ａ〜図１４Ｄに示す縦パターン、横パターン、斜めＮＥパターン、及び斜めＮＷパターンとすることができる。
【００９５】
これらの第２候補から第５候補の補正パターンは、第２の補正用データとして第１候補の補正パターンとともにＥＥＰＲＯＭに記憶させておく。そして、キズ補正処理を行う場合、上記第１候補から第５候補の補正パターンのうちの最適な補正パターンを選択し、選択した補正パターンを使用する。
【００９６】
＜キズ補正処理方法の第４の実施形態＞
図１５はキズ補正処理方法の第４の実施形態を示すフローチャートである。
【００９７】
図１５において、まず、キズ画素に対応して記憶された第１の補正用データを、メモリ部２６から読み取る（ステップＳ２０）。第１の補正用データは、図１３で説明したように８バイトのデータであり、この第１の補正用データからキズ画素のＸ座標データ、Ｙ座標データ、及び第１候補から第５候補の補正情報を読み取る。
【００９８】
続いて、第１候補から第５候補の補正情報に対応する第２の補正用データ（補正パターン）をメモリ部２６から読み取る（ステップＳ２２）。
【００９９】
次に、読み取ったキズ画素の周辺画素の被写体のパターンを解析し、キズ画素と同色の周辺画素の相関方向を検出する（ステップＳ２４）。
【０１００】
即ち、ステップＳ２０で読み取ったキズ画素の座標データと、ステップＳ２２で読み取った第２候補から第５候補の補正パターンとに基づいて、同色の画素の相関方向を検出するための画素を特定する。例えば、補正情報（第１候補）が０の補正パターンの場合、図１４Ａに示すようにキズ画素の位置を(0,0)とすると、第２候補の縦パターンにより(-3,0),(-1,0),(2,0),(3,0)の位置の画素を特定し、これらの画素の画素値の相関から縦方向の相関を検出する。同様に、図１４Ｂ〜図１４Ｄに示すように第３候補から第５候補の横パターン、斜めＮＥパターン、斜めＮＷパターンから、それぞれの方向の相関を検出するための画素を特定し、特定した画素の画素値に基づいて相関を検出する。
【０１０１】
そして、ステップＳ２４でのパターン解析により検出した相関方向が、縦パターンの方向の場合には、第２候補の補正パターンを設定し（ステップＳ２６、Ｓ２８）、横パターンの方向の場合には、第３候補の補正パターンを設定し（ステップＳ３０、Ｓ３２）、斜めＮＥパターンの方向の場合には、第４候補の補正パターンを設定し（ステップＳ３４、Ｓ３６）、斜めＮＷパターンの方向の場合には、第５候補の補正パターンを設定する（ステップＳ３８、Ｓ４０）。
【０１０２】
上記４つの方向のうちのいずれの方向の相関が高いかが判別できない場合には、第１候補の補正パターンを設定する（ステップＳ４２）。
【０１０３】
ステップＳ４４では、ステップＳ２０で読み込んだキズ画素のＸ座標データ、Ｙ座標データと、ステップＳ２８．Ｓ３２，Ｓ３６、Ｓ４０、Ｓ４２のいずれかによって設定された補正パターンとに基づいてキズ補正に使用する周辺画素の同色の複数の画素の座標を特定し、これらの画素の画素値を読み出し、読み出した画素値を補間演算することにより、キズ画素の画素値を算出する。
【０１０４】
上記ステップＳ２０〜Ｓ４４のキズ補正処理は、予めメモリ部２６に登録されている全てのキズ画素に対して行われる。
【０１０５】
＜パターン解析の他の実施形態＞
図１６はキズ画素の近傍の相関方向の判別方法を説明するための図である。
【０１０６】
図１６に示すように、キズ画素の近傍のモザイク画像から２×２画素のＧ画素を取り出し、各Ｇ画素の画素値を、左上から右下の順にＧ１、Ｇ２、Ｇ３、Ｇ４とした場合、相関方向の判別方法として、差分絶対値を算出する。
【０１０７】
即ち、縦方向の差分絶対値は（｜Ｇ１−Ｇ３｜＋｜Ｇ２−Ｇ４｜）／２、横方向の差分絶対値は（｜Ｇ１−Ｇ２｜＋｜Ｇ３−Ｇ４｜）／２、斜めＮＥ方向の差分絶対値は｜Ｇ２−Ｇ３｜、斜めＮＷ方向の差分絶対値は｜Ｇ１−Ｇ４｜となる。
【０１０８】
これらの４つの差分絶対値のうち最小となる差分絶対値をとる方向に相関（相関方向）があると判別する。
【０１０９】
尚、このようにして判別した相関方向は、Ｒ画素、Ｂ画素のキズ画素の第１候補から第５候補の補正パターンから相関の高い方向の補正パターンを選択する時にも適用できる。
【０１１０】
＜キズ補正処理方法の第５の実施形態＞
図１７はキズ補正処理方法の第５の実施形態を示すフローチャートである。尚、図１６に示した第４の実施形態と共通乃至類似する工程には同一のステップ番号を付し、その詳細な説明は省略する。
【０１１１】
図１７において、ステップＳ５０は、ステップＳ２０で読み取ったキズ画素の座標データと、ステップＳ２２で読み取った第１候補から第５候補の補正パターンとに基づいて、補正パターンに対応する画素中にキズ画素が含まれているか否かを、第１候補から第５候補の補正パターン毎に判別する。この判別は、キズ画素の座標データと補正パターンとに基づいてキズ補正に使用する画素の座標データを求め、その座標データが登録されているキズ画素の座標データと一致しているか否かにより行うことができる。
【０１１２】
そして、ステップＳ５０での各補正パターンの画素のキズ画素の有無の判別結果に基づいて、第１候補の補正パターンにキズ画素が含まれていない場合には、第１候補の補正パターンを設定し（ステップＳ５２、Ｓ２８）、第２候補の補正パターンにキズ画素が含まれていない場合には、第２候補の補正パターンを設定し（ステップＳ５４、Ｓ３２）、第３候補の補正パターンにキズ画素が含まれていない場合には、第３候補の補正パターンを設定し（ステップＳ５６、Ｓ３６）、第４候補の補正パターンにキズ画素が含まれていない場合には、第４候補の補正パターンを設定する（ステップＳ５８、Ｓ４０）。
【０１１３】
上記第１候補から第４候補の補正パターンのいずれにもキズ画素が含まれている場合には、第５候補の補正パターンを設定する（ステップＳ６０）。尚、キズ画素が多い撮像素子は、不良品として除外されるため、通常、第５候補の補正パターンを使用することはない。不良品の条件として第１候補から第５候補の補正パターンにおいて全てキズ画素が含まれる場合を追加すれば、いずれかの補正パターンを使用してキズ補正を行うことができる。
【０１１４】
上記実施形態では、図１３に示したように第１の補正用データに第２候補から第５候補の補正情報を付加するようにしたが、本発明はこれに限定されない。例えば、第１の補正用データは、図４に示すように１つの補正情報のみをもつようにし、図１８に示すように第２候補から第５候補の補正情報は、第１の補正用データに含まれる補正情報と関連づけて別途記憶するようにしてもよい。これによれば、第１の補正用データのデータ量を増加させることなく、複数の候補の補正情報をもたせることができる。
【０１１５】
［その他］
上記実施形態では、撮像素子のカラーフィルタ配列の基本配列パターンが６×６画素の場合について説明したが、本発明はこれに限定されない。例えば、図３に示した３×３画素のＡ配列、又はＢ配列を基本配列パターンとした撮像素子にも適用することができる。また、図１９に示すようにカラーフィルタ配列として、８×８画素に対応する基本配列パターン（太枠で示したパターン）を含み、この基本配列パターンが受光面の水平方向及び垂直方向に繰り返し配置された撮像素子にも本発明は適用することができる。図１９に示す基本配列パターンを４×４画素に４分割した場合、対角の４×４画素の配列は同じになり、水平方向又は垂直方向に隣接する４×４画素の配列は、ＲフィルタとＢフィルタとの位置関係が逆転しているが、その他の配置は同様になっている。したがって、１６（＝４×４）通りの補正パターンが用意されていれば、基本配列パターン内のいずれの画素に欠陥があってもその補正を行うことができる。
【０１１６】
また、撮像素子のカラーフィルタ配列の基本配列パターンは、カラーフィルタ配列が複雑な種々のものが考えられる。例えば、水平ｍ×垂直ｎ（ｍ，ｎ：一方は２以上、他方は３以上の整数）画素からなる３原色を含むカラーフィルタが配列された基本配列パターン内において各色フィルタの配置がランダムであっても本発明は適用できる。この場合には、ｍ×ｎ通りの補正パターンが用意されていれば、基本配列パターン内のいずれの画素に欠陥があってもその補正を行うことができる。
【０１１７】
尚、水平ｍ×垂直ｎの基本配列パターンとしては、水平方向及び垂直方向に同じ周期性をもっている正方配列パターン（ｍ＝ｎ）の方が画像処理を行う上で好ましい。この場合、ｍ，ｎは、３以上の整数となる。尚、水平ｍ×垂直ｎ（ｍ、ｎ：一方は２以上、他方は３以上の整数）の基本配列パターンのサイズは種々のものが考えられるが、同時化処理（デモザイク処理）、動画撮影時の間引き処理等の画像処理の容易さを考えると、ｎ及びｍは１０以下であることが望ましい。
【０１１８】
さらに、本発明によれば、カラーフィルタ配列の異なる撮像素子においてもハードウエアを変更する必要がなく、ＥＥＰＲＯＭ等の不揮発性メモリに記憶させる第１、第２の補正用データを書き換えるだけで適切にキズ画素を補正することができる。
【０１１９】
また、本実施形態では、キズ補正処理を含む画像処理装置を有する撮像装置について説明したが、外部の画像処理装置によりキズ補正処理を含む画像処理を行うようにしてもよい。この場合、撮像装置では、キズ補正処理を含む画像処理を施していないモザイク画像（ＲＡＷデータ）を記録し、このＲＡＷデータを外部の画像処理装置によりＲＡＷ現像する際に、本発明に係るキズ補正処理を行うようにしてもよい。この場合、キズ補正に使用する第１の補正用データ及び第２の補正用データを外部の画像処理装置に渡す必要がある。また、本発明に係るキズ補正処理を含む画像処理プログラム（第１の補正用データ及び第２の補正用データを含む）を、撮像装置専用のＲＡＷ現像ソフトウエアに組み込むようにしてもよい。
【０１２０】
更に、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１２１】
１０…撮像装置、１２…中央処理装置（ＣＰＵ）、１４…操作部、１８…レンズ部、２２…撮像素子、２６…メモリ部、２８…画像処理部
【図１】
0005542243.tif 000002
【図２】
0005542243.tif 000003
【図３】
0005542243.tif 000004
【図４】
0005542243.tif 000005
【図５】
0005542243.tif 000006
【図６】
0005542243.tif 000007
【図７】
0005542243.tif 000008
【図８】
0005542243.tif 000009
【図９】
0005542243.tif 000010
【図１０】
0005542243.tif 000011
【図１１Ａ】
0005542243.tif 000012
【図１１Ｂ】
0005542243.tif 000013
【図１２】
0005542243.tif 000014
【図１３】
0005542243.tif 000015
【図１４Ａ】
0005542243.tif 000016
【図１４Ｂ】
0005542243.tif 000017
【図１４Ｃ】
0005542243.tif 000018
【図１４Ｄ】
0005542243.tif 000019
【図１５】
0005542243.tif 000020
【図１６】
0005542243.tif 000021
【図１７】
0005542243.tif 000022
【図１８】
0005542243.tif 000023
【図１９】
0005542243.tif 000024