(57)【要約】【課題】  従来は、欠陥画素の補正後の画像値を用いて生成された色差成分に偽色が発生するという問題があった。【解決手段】  本発明では、複数の画素で構成される画像を入力する画像入力部と、前記画像入力部から入力する画像の欠陥画素の画素値を前記欠陥画素近傍の画素の画素値に基づいて推定した画素値を前記欠陥画素の画素値に補正する欠陥画素補正部と、前記欠陥画素補正部が補正した画像の前記欠陥画素の色差を生成する色差生成部と、前記色差生成部が生成した前記欠陥画素の色差を前記欠陥画素近傍の他の領域よりも強く平滑化する欠陥画素位置色差平滑化部とを備える。【選択図】図３
2013207542.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素で構成される画像を入力する画像入力部と、
前記画像入力部から入力する画像の欠陥画素の画素値を前記欠陥画素近傍の画素の画素値に基づいて推定した画素値を前記欠陥画素の画素値に補正する欠陥画素補正部と、
前記欠陥画素補正部が補正した画像の前記欠陥画素の色差を生成する色差生成部と、
前記色差生成部が生成した前記欠陥画素の色差を前記欠陥画素近傍の他の領域よりも強く平滑化する欠陥画素位置色差平滑化部と
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記欠陥画素位置色差平滑化部により平滑化された前記欠陥画素の色差を含む全画素の色差を求め、さらに求めた色差を平滑化する全領域色差平滑化部をさらに備える
ことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記画像入力部が入力する画像は、第一色成分が既知であり第二色成分と第三色成分が未知である第一種画素と、前記第二色成分が既知であり前記第一色成分と前記第三色成分が未知である第二種画素と、前記第三色成分が既知であり前記第一色成分と前記第二色成分が未知である第三種画素とで構成され、
前記色差生成部は、前記第二種画素位置または前記第三種画素位置について前記第一色成分の補間値を生成し、前記第一色成分の補間値と前記第二色成分または前記第三色成分との差を求めることにより、前記第二種画素位置または前記第三種画素位置の色差を生成し、
前記欠陥画素位置色差平滑化部は、前記第二種画素位置または前記第三種画素位置において前記色差を平滑化し、
前記全領域色差平滑化部は、前記欠陥画素位置色差平滑部によって平滑化された第二種画素位置および前記第三種画素位置の色差から全画素の色差を補間生成し、さらに全画素に生成された色差を平滑化する
ことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記欠陥画素補正部が補正した画像に対して、前記第二色成分または前記第三色成分の画素位置を所定量だけずらして倍率色収差を補正する倍率色収差補正部をさらに備え、
前記色差生成部は、前記倍率色収差補正部によって倍率色収差を補正された画像に対して色差を生成し、
前記欠陥画素領域色差平滑化部は、色差の平滑化の強さと、処理対象画素の近傍画素の参照割合との少なくとも一方を、前記欠陥画素に対する前記処理対象画素の座標と処理対象画素位置における色ずらし量とに応じて決定する
ことを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記欠陥画素領域色差平滑化部は、前記欠陥画素から前記処理対象画素までの距離と色ずらし量との差が所定画素数未満である前記処理対象画素を、前記所定画素数以上である前記処理対象画素に比べて強く色差を平滑化する
ことを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記所定画素数は２画素以下である
ことを特徴とする画像処理装置。
【請求項７】
請求項４に記載の画像処理装置において、
前記欠陥位置色差平滑化部は、前記欠陥画素に対する前記処理対象画素の座標位置が、前記欠陥画素に対する色ずらし量に対応する座標位置よりも大きい場合、前記処理対象画素の近傍画素に対する座標位置が大きい画素を座標位置が小さい画素よりも強く参照して前記処理対象画素の色差を平滑化する
ことを特徴とする画像処理装置。
【請求項８】
請求項４に記載の画像処理装置において、
前記欠陥位置色差平滑化部は、前記欠陥画素に対する前記処理対象画素の座標位置が、前記欠陥画素に対する色ずらし量に対応する座標位置よりも小さい場合、前記処理対象画素の近傍画素に対する座標位置が小さい画素を座標位置が大きい画素よりも強く参照して前記処理対象画素の色差を平滑化する
ことを特徴とする画像処理装置。
【請求項９】
請求項３から８に記載の画像処理装置において、
前記画像入力部が入力する画像は、ベイヤー配列の画像であり、前記第一色成分，前記第二色成分および前記第三色成分はＧ成分，Ｒ成分およびＢ成分にそれぞれ対応し、前記第一種画素，前記第二種画素および前記第三種画素はＧ画素，Ｒ画素およびＢ画素にそれぞれ対応する
ことを特徴とする画像処理装置。
【請求項１０】
複数の画素で構成される画像を入力する画像入力ステップと、
前記画像入力ステップで入力した画像の欠陥画素の画素値を前記欠陥画素近傍の画素の画素値に基づいて推定した画素値を前記欠陥画素の画素値に補正する欠陥画素補正ステップと、
前記欠陥画素補正ステップで補正した画像の前記欠陥画素の色差を生成する色差生成ステップと、
前記色差生成ステップで生成した前記欠陥画素の色差を前記欠陥画素近傍の他の領域よりも強く平滑化する欠陥画素位置色差平滑化ステップと
を有することを特徴とする画像処理プログラム。
【請求項１１】
請求項１０に記載の画像処理装置において、
前記欠陥画素補正ステップで補正した画像に対して、前記第二色成分または前記第三色成分の画素位置を所定量だけずらして倍率色収差を補正する倍率色収差補正ステップをさらに備え、
前記色差生成ステップでは、前記倍率色収差補正ステップで倍率色収差を補正された画像に対して色差を生成し、
前記欠陥画素領域色差平滑化ステップでは、色差の平滑化の強さと、処理対象画素の近傍画素の参照割合との少なくとも一方を、前記欠陥画素に対する前記処理対象画素の座標と処理対象画素位置における色ずらし量とに応じて決定する
ことを特徴とする画像処理プログラム。
【請求項１２】
請求項１から９に記載の画像処理装置を搭載する電子カメラであって、
光学系を介して入射する被写体光を各画素毎に複数の色成分のいずれか１つの色成分を有する複数画素で構成される画像を撮影して前記画像処理装置に出力する撮像部と、
前記画像処理装置が出力する画像を記憶媒体に記録する記録部と
を有することを特徴とする電子カメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、欠陥画素補正を行う画像処理技術に関する。
【背景技術】
【０００２】
電子カメラなどで用いられているイメージセンサーは、画素や配線などの欠陥により、特定の画素出力に異常が生じる場合がある。このような欠陥画素の画素値を周囲の正常画素の画素値から推測して、欠陥画素を補正する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３７２１２８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところが、従来技術では欠陥画素の画素値を精度良く補正することは難しく、欠陥画素を補正した画像に対してベイヤー補間などの色補間処理を行って色差成分を生成した場合、欠陥画素の補正後の画像値を用いて生成された色差成分に偽色が発生し、画像の品質を損ねるという問題がある。
【０００５】
本発明の目的は、欠陥画素を補正した画像を用いて生成された色差成分の偽色を抑制することができる画像処理装置および画像処理プログラム並びに電子カメラを提供することである。
【課題を解決するための手段】
【０００６】
本発明に係る画像処理装置は、複数の画素で構成される画像を入力する画像入力部と、前記画像入力部から入力する画像の欠陥画素の画素値を前記欠陥画素近傍の画素の画素値に基づいて推定した画素値を前記欠陥画素の画素値に補正する欠陥画素補正部と、前記欠陥画素補正部が補正した画像の前記欠陥画素の色差を生成する色差生成部と、前記色差生成部が生成した前記欠陥画素の色差を前記欠陥画素近傍の他の領域よりも強く平滑化する欠陥画素位置色差平滑化部とを備えることを特徴とする。
【０００７】
また、前記欠陥画素位置色差平滑化部により平滑化された前記欠陥画素の色差を含む全画素の色差を求め、さらに求めた色差を平滑化する全領域色差平滑化部をさらに備えることを特徴とする。
【０００８】
また、前記画像入力部が入力する画像は、第一色成分が既知であり第二色成分と第三色成分が未知である第一種画素と、前記第二色成分が既知であり前記第一色成分と前記第三色成分が未知である第二種画素と、前記第三色成分が既知であり前記第一色成分と前記第二色成分が未知である第三種画素とで構成され、前記色差生成部は、前記第二種画素位置または前記第三種画素位置について前記第一色成分の補間値を生成し、前記第一色成分の補間値と前記第二色成分または前記第三色成分との差を求めることにより、前記第二種画素位置または前記第三種画素位置の色差を生成し、前記欠陥画素位置色差平滑化部は、前記第二種画素位置または前記第三種画素位置において前記色差を平滑化し、前記全領域色差平滑化部は、前記欠陥画素位置色差平滑部によって平滑化された第二種画素位置および前記第三種画素位置の色差から全画素の色差を補間生成し、さらに全画素に生成された色差を平滑化することを特徴とする。
【０００９】
さらに、前記欠陥画素補正部が補正した画像に対して、前記第二色成分または前記第三色成分の画素位置を所定量だけずらして倍率色収差を補正する倍率色収差補正部をさらに備え、前記色差生成部は、前記倍率色収差補正部によって倍率色収差を補正された画像に対して色差を生成し、前記欠陥画素領域色差平滑化部は、色差の平滑化の強さと、処理対象画素の近傍画素の参照割合との少なくとも一方を、前記欠陥画素に対する前記処理対象画素の座標と処理対象画素位置における色ずらし量とに応じて決定することを特徴とする。
【００１０】
また、前記欠陥画素領域色差平滑化部は、前記欠陥画素から前記処理対象画素までの距離と色ずらし量との差が所定画素数未満である前記処理対象画素を、前記所定画素数以上である前記処理対象画素に比べて強く色差を平滑化することを特徴とする。
【００１１】
特に、前記所定画素数は２画素以下であることを特徴とする。
【００１２】
また、前記欠陥位置色差平滑化部は、前記欠陥画素に対する前記処理対象画素の座標位置が、前記欠陥画素に対する色ずらし量に対応する座標位置よりも大きい場合、前記処理対象画素の近傍画素に対する座標位置が大きい画素を座標位置が小さい画素よりも強く参照して前記処理対象画素の色差を平滑化することを特徴とする。
【００１３】
或いは、前記欠陥位置色差平滑化部は、前記欠陥画素に対する前記処理対象画素の座標位置が、前記欠陥画素に対する色ずらし量に対応する座標位置よりも小さい場合、前記処理対象画素の近傍画素に対する座標位置が小さい画素を座標位置が大きい画素よりも強く参照して前記処理対象画素の色差を平滑化することを特徴とする。
【００１４】
特に、前記画像入力部が入力する画像は、ベイヤー配列の画像であり、前記第一色成分が緑色、前記第二色成分が赤色、前記第三色成分が青色、にそれぞれ対応し、前記第一種画素がＧ画素、前記第二種画素がＲ画素、前記第三種画素がＢ画素、にそれぞれ対応することを特徴とする。
【００１５】
本発明に係る画像処理プログラムは、複数の画素で構成される画像を入力する画像入力ステップと、前記画像入力ステップで入力した画像の欠陥画素の画素値を前記欠陥画素近傍の画素の画素値に基づいて推定した画素値を前記欠陥画素の画素値に補正する欠陥画素補正ステップと、前記欠陥画素補正ステップで補正した画像の前記欠陥画素の色差を生成する色差生成ステップと、前記色差生成ステップで生成した前記欠陥画素の色差を前記欠陥画素近傍の他の領域よりも強く平滑化する欠陥画素位置色差平滑化ステップとを有することを特徴とする。
【００１６】
また、前記欠陥画素補正ステップで補正した画像に対して、前記第二色成分または前記第三色成分の画素位置を所定量だけずらして倍率色収差を補正する倍率色収差補正ステップをさらに備え、前記色差生成ステップでは、前記倍率色収差補正ステップで倍率色収差を補正された画像に対して色差を生成し、前記欠陥画素領域色差平滑化ステップでは、色差の平滑化の強さと、処理対象画素の近傍画素の参照割合との少なくとも一方を、前記欠陥画素に対する前記処理対象画素の座標と処理対象画素位置における色ずらし量とに応じて決定することを特徴とする。
【００１７】
本発明に係る電子カメラは、前記画像処理装置を搭載する電子カメラであって、光学系を介して入射する被写体光を各画素毎に複数の色成分のいずれか１つの色成分を有する複数画素で構成される画像を撮影して前記画像処理装置に出力する撮像部と、前記画像処理装置が出力する画像を記憶媒体に記録する記録部とを有することを特徴とする。
【発明の効果】
【００１８】
本発明に係る画像処理装置および画像処理プログラム並びに電子カメラは、欠陥画素の補正後の画素値を用いて生成された色差成分の偽色を抑制することができる。
【図面の簡単な説明】
【００１９】
【図１】各実施形態に係る電子カメラ１０１の構成例を示す図である。
【図２】撮像素子１０４の欠陥画素の一例を示す図である。
【図３】電子カメラ１０１の画像処理部１０７の構成例を示す図である。
【図４】Ｇ画素位置の方向判定処理（ＣＶ，ＣＨ）の一例を示す図である。
【図５】Ｇ画素位置の方向判定処理（ＣＤ１，ＣＤ２）の一例を示す図である。
【図６】ＲまたはＢ画素位置の方向判定処理の一例を示す図である。
【図７】色差成分の変化量（ＣＶ）の算出例を示す図である。
【図８】色差成分の変化量（ＣＤ１，ＣＤ２）の算出例を示す図である。
【図９】色差成分のアップサンプリング処理例を示す図である。
【図１０】色差成分の平滑化処理例を示す図である。
【図１１】第二の実施形態に係る電子カメラ１０１ａの構成例を示す図である。
【図１２】電子カメラ１０１ａの画像処理部１０７ａの構成例を示す図である。
【図１３】色ずらし量の算出処理例を示す図である。
【図１４】倍率色収差の補正処理例を示す図である。
【図１５】平滑化処理例を示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明に係る画像処理装置および画像処理プログラム並びに電子カメラの実施形態について図面を用いて詳しく説明する。尚、以下の実施形態では、本発明に係る画像処理装置が搭載された電子カメラの例を挙げて説明するが、撮影済みの画像を入力して画像処理を行うパソコンのプログラムや単体の画像処理装置であっても構わない。
（第一の実施形態）
［電子カメラ１０１の構成例］
図１は電子カメラ１０１の構成を示すブロック図である。図１において、電子カメラ１０１は、光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、Ａ／Ｄ変換部１０５と、画像バッファ１０６と、画像処理部１０７と、カメラ制御部１０８と、メモリ１０９と、表示部１１０と、操作部１１１と、メモリカードＩＦ（インターフェース）１１２とで構成される。ここで、画像処理部１０７は、本発明に係る画像処理プログラムが搭載された画像処理装置に相当するブロックである。
【００２１】
図１において、光学系１０２に入射される被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。ここで、光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズおよびレンズ駆動部や絞りなどで構成され、カメラ制御部１０８からの指令に応じて、ズームレンズやフォーカスレンズ或いは絞りなどが撮影条件に応じて制御される。
【００２２】
撮像素子１０４は、単板イメージセンサで構成され、受光面には光電変換部を有する複数の画素が二次元状に配置されている。そして、カラー情報を取得するために、例えば各画素にはＲＧＢ３色のいずれか１色のカラーフィルタが所定の配列で配置されており、撮像素子１０４は各画素毎にＲＧＢ３色のいずれか１色の色成分を有する画像信号を出力する。尚、本実施形態では、ベイヤー配列のカラーフィルタアレイが配置されているものとする。また、本実施形態では、撮像素子１０４が線キズ（線欠陥）による欠陥画素を有する場合について説明するが、線キズだけでなく、点キズや別の要因によって画像に利用できない画素がある場合でも同様に適用可能である。
【００２３】
ここで、以下の各実施形態における説明では、このような画像に利用できない画素を欠陥画素と称する。また、何らかの処理を施す画素を処理対象画素と称する。
【００２４】
図２は、撮像素子１０４の画素配置の一例を示す図で、１枚の画像を構成する複数の画素の一部分を描いた図である。図２において、水平方向をｘ軸、垂直方向をｙ軸でそれぞれ示し、Ｒ成分の画素（i,j）を中心として、上下左右に７画素（ｘ座標が（i-7）から（i+7）、ｙ座標が（j-7）から（j+7））の１５×１５画素の範囲を描いてある。尚、以降の説明では、特に明記しない限り、各画素位置を座標（x、y）で示すものとし、特に処理対象画素のｘ座標をｉ、ｙ座標をｊとする。例えば図２の場合は、中心のＲ成分の画素（i,j）が処理対象画素であることを示し、その真上のＧ成分の画素は画素（i,j-1）と表記する。もし、図２のＲ成分の画素（i,j）の右にあるＧ成分の画素（i+1,j）が処理対象画素である場合は、このＧ成分の画素を画素（i,j）に置き換えて処理するものとする。つまり、ｘ＝ｉ、ｙ＝ｊで示す画素（i,j）はＧ成分、Ｒ成分およびＢ成分に依らず、処理対象画素であることを意味する。
【００２５】
また、各画素の画素値は、座標に色成分の記号を付してR[i][j]やG[i][j-1]と表記するものとし、例えばR[i][j]は画素（i,j）のＲ成分の画素値を示し、G[i][j-1]は画素（i,j-1）のＧ成分の画素値を示す。図２の例では、処理対象の画素（i,j）はＲ画素に対応し、ｙ＝ｊの行（Ｒ画素とＧ画素の行）に線キズがある場合を示している。
【００２６】
ここで、図２のベイヤー配列の画像において、Ｇ成分，Ｒ成分およびＢ成分は、第一色成分，第二色成分および第三色成分にそれぞれ対応する。そして、第一色成分が既知であり第二色成分と第三色成分が未知である第一種画素はＧ画素、第二色成分が既知であり第一色成分と第三色成分が未知である第二種画素はＲ画素、第三色成分が既知であり第一色成分と第二色成分が未知である第三種画素はＢ画素にそれぞれ対応する。
【００２７】
Ａ／Ｄ変換部１０５は、撮像素子１０４が出力する画像信号を各画素毎にデジタル値に変換し、１枚の撮影画像分の画像を画像バッファ１０６に一時的に記憶する。例えば、撮像素子１０４の解像度が１０００画素×１０００画素である場合、１００万画素分の画像が画像バッファ１０６に取り込まれる。この時、画像バッファ１０６に取り込まれた画像はＲＡＷ画像と呼ばれ、各画素にＲＧＢいずれか１つの色成分を有するべイヤー配列の画像である。
【００２８】
画像バッファ１０６は、揮発性の高速メモリで構成され、Ａ／Ｄ変換部１０５が出力する撮影画像を一時的に記憶するだけでなく、画像処理部１０７が画像処理を行う際のバッファメモリとしても使用される。或いは撮影画像やメモリカードＩＦ１１２に接続されたメモリカード１１２ａに保存されている撮影済の画像を表示部１１０に表示する際の表示用バッファとしても使用される。
【００２９】
画像処理部１０７は、画像バッファ１０６に取り込まれたＲＡＷ画像に対して、ホワイトバランス処理，色補間処理，ガンマ補正処理，彩度強調処理，輪郭強調処理などの一般的な画像処理を行う。さらに電子カメラ１０１の設定に応じて、ＪＰＥＧ規格などに準拠した画像圧縮方法で撮影画像の圧縮処理を行いＪＰＥＧ画像を出力する。特に本実施形態に係る電子カメラ１０１では、画像処理部１０７は、撮像素子１０４で撮影されたＲＡＷ画像に含まれる欠陥画素の補正処理を行うと共に、補正処理に伴って生じる偽色を抑制するための処理を行う。尚、これらの処理については後で詳しく説明する。
【００３０】
カメラ制御部１０８は、内部に記憶されたプログラムに従って動作するＣＰＵで構成され、電子カメラ１０１全体の動作を制御する。例えば、カメラ制御部１０８は、操作部１１１を構成する撮影モード選択ダイヤルやレリーズボタンの操作に応じて、電子カメラ１０１の撮影モードを設定したり、レリーズボタン押下時には光学系１０２のレンズ制御や絞り制御を行ってメカニカルシャッタ１０３を開閉して、撮像素子１０４で被写体画像を撮像する。そして、カメラ制御部１０８は、撮像素子１０４からアナログの画像信号を読み出しながらＡ／Ｄ変換部１０５でデジタル値に変換し、１画面分の画像（ＲＡＷ画像）を画像バッファ１０６に取り込む。さらに、カメラ制御部１０８は、画像バッファ１０６に取り込まれたＲＡＷ画像に対してホワイトバランス処理や色補間処理などの画像処理を施すよう画像処理部１０７に指令し、画像処理後の画像（例えばＪＰＥＧ画像）に所定のファイル名やヘッダ情報を付加してメモリカードＩ／Ｆ１１２を介してメモリカード１１２ａに保存する。特に本実施形態では、カメラ制御部１０８は、画像処理部１０７に対して撮像素子１０４で撮影されたＲＡＷ画像に含まれる欠陥画素の補正処理や補正処理に伴って生じる偽色の抑制処理を施すように指令する。尚、これらの処理については後で詳しく説明する。
【００３１】
メモリ１０９は、フラッシュメモリなどの不揮発性の半導体メモリで構成され、電子カメラ１０１の撮影モードや露出情報，フォーカス情報などのパラメータが記憶される。そして、カメラ制御部１０８はこれらのパラメータを参照して電子カメラ１０１の動作を制御する。特に、本実施形態に係る電子カメラ１０１では、メモリ１０９に撮像素子１０４で撮影されるＲＡＷ画像に含まれる欠陥画素の位置を示す情報が製造時に記憶されており、カメラ制御部１０８はこの情報を参照して画像処理部１０７に欠陥画素の補正処理を指令する。尚、これらのパラメータは、操作部１１１を介して行われるユーザー操作に応じて適宜更新される。
【００３２】
表示部１１０は、液晶モニタなどで構成され、カメラ制御部１０８によって撮影画像や電子カメラ１０１の操作に必要な設定メニュー画面などが表示される。
【００３３】
操作部１１１は、電源ボタン、レリーズボタン、撮影モード選択ダイヤル、カーソルボタンなどで構成される。ユーザーは、これらの操作ボタンを操作して電子カメラ１０１を使用する。尚、これらの操作ボタンの操作情報はカメラ制御部１０８に出力され、カメラ制御部１０８は操作部１１１から入力する操作情報に応じて電子カメラ１０１全体の動作を制御する。
【００３４】
メモリカードＩＦ１１２は、電子カメラ１０１にメモリカード１１２ａを接続するためのインターフェースで、カメラ制御部１０８はメモリカードＩＦ１１２を介してメモリカード１１２ａとの間で画像データを読み書きする。
【００３５】
以上が電子カメラ１０１の構成および基本動作である。尚、電子カメラ１０１ではなく、本発明に係る単体の画像処理装置を構成する場合は、図１において、光学系１０２，メカニカルシャッタ１０３，撮像素子１０４およびＡ／Ｄ変換部１０５で構成される撮像部を取り除いた装置とし、カメラ制御部１０８（画像処理装置の制御部に相当）が撮影済みの特定画素を有する画像データをメモリカード１１２ａから画像バッファ１０６に読み出して、画像処理部１０７が欠陥画素の補正処理などを行う。この場合、画像に欠陥画素の位置を示す情報が付加されているか、或いは、別途、欠陥画素の位置を示す情報を取得するものとする。
【００３６】
［画像処理部１０７の構成例］
次に、電子カメラ１０１の画像処理部１０７の構成例について図３を用いて説明する。図３において、画像処理部１０７は、画像入力部２０１と、欠陥画素補正部２０２と、色補間部２０３と、欠陥画素位置色差平滑部２０４と、全領域色差平滑部２０５と、一般画像処理部２０６とで構成される。尚、図３は、まとまった処理毎のブロック図として描いてあるが、画像処理部１０７の処理の流れを示すフローチャートにも対応する。以下、画像処理部１０７の各部の処理について順番に説明する。
【００３７】
画像入力部２０１は、画像バッファ１０６から図２で説明したようなベイヤー配列のＲＡＷ画像を入力する。尚、撮像素子１０４で撮像されて画像バッファ１０６に取り込まれたＲＡＷ画像ではなく、メモリカード１１２ａに記憶された欠陥画素を有するＲＡＷ画像を画像バッファ１０６に読み出して以降の処理を行っても構わない。そして、画像入力部２０１は、入力した欠陥画素を有するＲＡＷ画像を欠陥画素補正部２０２に出力する。
【００３８】
ここで、欠陥画素を有するＲＡＷ画像は、図２で説明したように、正常な画素値を出力できない欠陥画素がある撮像素子１０４で光学像を光電変換し、Ａ／Ｄ変換部１０５でデジタル値に変換されて画像バッファ１０６に取り込まれた画像である。尚、ここで扱うＲＡＷ画像はベイヤー配列の画像で、図２の例のようにＧ成分およびＲ成分の画素があるｊ行に線キズとして欠陥画素（×印の画素）があるものとする。また、Ｒ画素の欠陥画素を欠陥Ｒ画素、Ｂ画素の欠陥画素を欠陥Ｂ画素、Ｇ画素の欠陥画素を欠陥Ｇ画素、とそれぞれ称し、欠陥画素ではない正常な画素値を出力する画素を正常画素と称する。尚、正常な画素値とは、所定の光量に応じた設計通りの大きさの出力値を意味する。
【００３９】
欠陥画素補正部２０２は、画像入力部２０１が入力したＲＡＷ画像の欠陥画素の画素値を推定し、推定した画素値に置き換えて欠陥画素を補正する処理を行う。尚、補間処理は、従来技術と同様の公知の方法を用いても構わないが、本実施形態では例えば次の（処理１−１）および（処理１−２）により欠陥画素を補正する処理を行う。
（処理１−１）Ｇ画素位置の方向判定処理
先ず、線キズ上の全ての欠陥Ｇ画素位置でそれぞれ画像構造の方向判定を行う。方向判定は、処理対象画素を欠陥Ｇ画素として、縦・横・第一の斜め方向・第二の斜め方向の各方向の隣接画素差分値を求めて画像構造の方向を判定する。ここで、第一の斜め方向は、ｘ，ｙ座標の増減が同じ方向に変化する斜め方向で、図２の例では右下斜め（左上から右下方向）である。同様に、第二の斜め方向は、ｘ，ｙ座標の増減が逆の方向に変化する斜め方向で、図２の例では右上斜め（左下から右上方向）である。
【００４０】
ここで、画像構造の方向とは、画素値の変化が滑らかな方向を意味する。例えば横方向よりも縦方向の画素値の差が小さい場合は縦方向に滑らかに変化する画像であることがわかる。尚、本実施形態の説明では、縦・横・第一の斜め方向・第二の斜め方向の各方向の隣接画素差分値（変化量）をそれぞれＣＶ，ＣＨ，ＣＤ１，ＣＤ２と表記する。
【００４１】
欠陥画素補正部２０２が行う方向判定処理の一例を図４および図５に示す。図４および図５は、先に説明した図２に対応する図で、図４および図５では処理対象画素が線キズ上の欠陥Ｇ画素であり、欠陥Ｇ画素のｘ座標およびｙ座標を（ｉ，ｊ）としている。尚、ここでは、線キズがあるｙ座標の行がわかり易いようにｊ＝ｙｋで表す。
【００４２】
以下、４つの方向の変化量ＣＶ，ＣＤ１，ＣＤ２，ＣＨを求める処理について説明する。
・縦方向の変化量ＣＶの算出
図４（ａ）において、先ず、欠陥Ｇ画素（ｉ，ｙｋ）の近傍（同図では左右の列）の正常なＧ成分の画素（i-1,j-3）、画素（i-1,j-1）、画素（i-1,j+1）、画素（i-1,j+3）、画素（i+1,j-3）、画素（i+1,j-1）、画素（i+1,j+1）、画素（i+1,j+3）の８つの画素を用いて図4（ａ）に示した差分ａ１から差分ｆ１を求める。例えば差分ａ１は画素（i-1,j-3）と画素（i-1,j-1）の差の絶対値、差分ｂ１は画素（i-1,j-1）と画素（i-1,j+1）の差の絶対値である。差分ｃ１から差分ｆ１についても同様にして求める。さらに欠陥Ｇ画素（i,yk）の近傍の正常なＲ成分の画素（i+1,j-2）と画素（i+1,j+2）の差分ｇ１も求める。そして、これらの差分ａ１から差分ｇ１の７つの差分の平均値を欠陥Ｇ画素（i,yk）における縦方向の変化量ＣＶとして算出する（式１）。尚、（式１）において、平均値の算出と同様の考え方で総和を７で割っているが、デジタル処理に適した値の８で割ってもよい。但し、後で変化量ＣＶ，ＣＨ，ＣＤ１，ＣＤ２の大きさを比較できるように、算出値の重みが等価になるようにする。以下の説明では、変化量の平均値と考えて総和を求める変化量の数で割ることにする。
CV=（|G[i-1][yk-3]-G[i-1][yk-1]|+|G[i-1][yk-1]-G[i-1][yk+1]|
+|G[i-1][yk+1]-G[i-1][yk+3]|+|G[i+1][yk-3]-G[i+1][yk-1]|
+|G[i+1][yk-1]-G[i+1][yk+1]|+|G[i+1][yk+1]-G[i+1][yk+3]|
+|Z[i+1][yk-2]-Z[i+1][yk+2]|）/7    …  （式１）
ここで、ＺはＲまたはＢ画素の色成分を示し、図４の例ではＺはＲ画素のＲ成分に相当する。
・横方向の変化量ＣＨの算出
図４（ｂ）において、先ず、欠陥Ｇ画素（i,yk）の近傍（同図では上下の行）の正常なＧ成分の画素（i-3,j-1）、画素（i-1,j-1）、画素（i+1,j-1）、画素（i+3,j-1）、画素（i-3,j+1）、画素（i-1,j+1）、画素（i+1,j+1）、画素（i+3,j+1）の８つの画素を用いて図４（ｂ）に示した差分ａ２から差分ｆ２を求める。例えば差分ａ２は画素（i-3,j-1）と画素（i-1,j-1）の差の絶対値、差分ｂ２は画素（i-1,j-1）と画素（i+1,j-1）の差の絶対値である。差分ｃ２から差分ｆ２についても同様にして求める。さらに欠陥Ｇ画素（i,yk）の近傍の正常なＲ成分の画素（i-1,j-2）と画素（i+1,j-2）の差分ｇ２および画素（i-1,j+2）と画素（i+1,j+2）の差分ｈ２についてもそれぞれ求める。そして、これらの差分ａ２から差分ｈ２の８つの差分の平均値を欠陥Ｇ画素（i,yk）における横方向の変化量ＣＨとして算出する（式２）。尚、（式２）では、Ｇ成分の６の変化量の和と、ＲまたはＢ画素の色成分の２つの変化量の平均値との総和を求めているので、他の変化量と等価的に７で割っている。
CH=（|G[i-3][yk-1]-G[i-1][yk-1]|+|G[i-1][yk-1]-G[i+1][yk-1]|
+|G[i+1][yk-1]-G[i+3][yk-1]|+|G[i-3][yk+1]-G[i-1][yk+1]|
+|G[i-1][yk+1]-G[i+1][yk+1]|+|G[i+1][yk+1]-G[i+3][yk+1]|
+（|Z[i-1][yk-2]-Z[i+1][yk-2]|+|Z[i-1][yk+2]-Z[i+1][yk+2]|）/2）/7    …(式２）
・第一の斜め方向（x,y座標が同じ方向に変化する斜め方向）の変化量ＣＤ１の算出
図５（ａ）において、先ず、欠陥Ｇ画素（i,yk）の近傍の正常なＧ成分の画素（i-2,j-2）、画素（i-1,j-1）、画素（i+1,j+1）、画素（i+2,j+2）、画素（i,j-2）、画素（i+1,j-1）、画素（i+3,j+1）、画素（i+4,j+2）の８つの画素を用いて図５（ａ）に示した差分ａ３から差分ｆ３を求める。例えば差分ａ３は画素（i-2,j-2）と画素（i-1,j-1）の差の絶対値、差分ｂ３は画素（i-1,j-1）と画素（i+1,j+1）の差の絶対値である。差分ｃ３から差分ｆ３についても同様にして求める。さらに欠陥Ｇ画素（i,yk）の近傍の正常なＲ成分の画素（i-1,j-2）と画素（i+3,j+2）の差分ｇ３も求める。そして、これらの差分ａ３から差分ｇ３の７つの差分の平均値を欠陥Ｇ画素（i,yk）における横方向の変化量ＣＤ１として算出する（式３）。尚、（式３）では、７つの変化量の総和を求めているので７で割っている。
CD1=（|G[i-2][yk-2]-G[i-1][yk-1]|+|G[i-1][yk-1]-G[i+1][yk+1]|
+|G[i+1][yk+1]-G[i+2][yk+2]|+|G[i][yk-2]-G[i+1][yk-1]|
+|G[i+1][yk-1]-G[i+3][yk+1]|+|G[i+3][yk+1]-G[i+4][yk+2]|
+|Z[i-1][yk-2]-Z[i+3][yk+2]|）/7    …  （式３）
・第二の斜め方向（x,y座標が逆の方向に変化する斜め方向）の変化量ＣＤ２の算出
図５（ｂ）において、先ず、欠陥Ｇ画素（i,yk）の近傍の正常なＧ成分の画素（i+2,j-2）、画素（i+1,j-1）、画素（i-1,j+1）、画素（i-2,j+2）、画素（i,j+2）、画素（i+1,j+1）、画素（i+3,j-1）、画素（i+4,j-2）の８つの画素を用いて図５（ｂ）に示した差分ａ４から差分ｆ４を求める。例えば差分ａ４は画素（i+2,j-2）と画素（i+1,j-1）の差の絶対値、差分ｂ４は画素（i+1,j-1）と画素（i-1,j+1）の差の絶対値である。差分ｃ４から差分ｆ４についても同様にして求める。さらに欠陥Ｇ画素（i,yk）の近傍の正常なＲ成分の画素（i+3,j-2）と画素（i-1,j+2）の差分ｇ４も求める。そして、これらの差分ａ４から差分ｇ４の７つの差分の平均値を欠陥Ｇ画素（i,yk）における横方向の変化量ＣＤ２として算出する（式４）。尚、（式４）では、７つの変化量の総和を求めているので７で割っている。
CD2=（|G[i-2][yk+2]-G[i-1][yk+1]|+|G[i-1][yk+1]-G[i+1][yk-1]|
+|G[i+1][yk-1]-G[i+2][yk-2]|+|G[i][yk+2]-G[i+1][yk+1]|
+|G[i+1][yk+1]-G[i+3][yk-1]|+|G[i+3][yk-1]-G[i+4][yk-2]|
+|Z[i-1][yk+2]-Z[i+3][yk-2]|）/7    …  （式４）
このようにして、線キズ上の全ての欠陥Ｇ画素について、（式１）から（式４）を用いて、４つの方向の画像の変化量ＣＶ，ＣＤ１，ＣＤ２，ＣＨを求め、変化量ＣＶ，ＣＤ１，ＣＤ２，ＣＨのうち最小値の変化量を当該欠陥Ｇ画素における画像構造の方向であると判定する。
（処理１−２）欠陥画素推定処理
上記で求めた変化量ＣＶ，ＣＤ１，ＣＤ２，ＣＨの最小値をｍｉｎＣとし、次のＣａｓｅ１からＣａｓｅ４の４つの場合に分けて欠陥画素の画素値を推定し、欠陥画素の画素値とする。ここで、欠陥Ｇ画素（i,yk）の推定値をG[i,yk]、欠陥ＲまたはＢ画素（i+1,yk）の推定値をZ[i+1,yk]とする。尚、図２の例では、線キズがＲＧ行にあるので、Z[i+1,yk]は欠陥Ｒ画素（i+1,yk）の推定値となるが、線キズがＲＧ画素の行ではなくＢＧ画素の行にある場合は、Z[i+1,yk]は欠陥Ｂ画素（i+1,yk）の推定値となる。また、先に説明したように、G[i][yk]は、ｘ座標が（i）、ｙ座標が（yk）であることを示し、例えばZ[i-1][yk-2]は、ｘ座標が（i-1）、ｙ座標が（yk-2）であることを示す。
・Ｃａｓｅ１：ｍｉｎＣ＝ＣＶの場合、縦方向から補間
欠陥Ｇ画素（i,yk）の推定値
G[i,yk]=（G[i][yk-2]+G[i][yk+2]）/2    …  （式５）
欠陥ＲまたはＢ画素（i+1,yk）の推定値
Z[i+1,yk]=（Z[i+1][yk-2]+Z[i+1][yk+2]）/2    …  （式６）
・Ｃａｓｅ２：ｍｉｎＣ＝ＣＤ１の場合、第一の斜め方向から補間
欠陥Ｇ画素（i,yk）の推定値
G[i,yk]=（G[i-1][yk-1]+G[i+1][yk+1]）/2    …  （式７）
欠陥ＲまたはＢ画素（i+1,yk）の推定値
Z[i+1,yk]=（Z+Z[i+3][yk+2]）/2    …  （式８）
・Ｃａｓｅ３：ｍｉｎＣ＝ＣＤ２の場合、第二の斜め方向から補間
欠陥Ｇ画素（i,yk）の推定値
G[i,yk]=（G[i+1][yk-1]+G[i-1][yk+1]）/2    …  （式９）
欠陥ＲまたはＢ画素（i+1,yk）の推定値
Z[i+1,yk]=（Z[i+3][yk-2]+Z[i-1][yk+2]）/2    …  （式１０）
・Ｃａｓｅ４：ｍｉｎＣ＝ＣＨの場合、横方向から補間
欠陥Ｇ画素（i,yk）の推定値
G[i,yk]=（G[i-1][yk-1]+G[i+1][yk+1]+G[i+1][yk-1]+G[i-1][yk+1]）/4  …（式１１）
欠陥ＲまたはＢ画素（i+1,yk）の推定値
Z[i+1,yk]=（Z[i+1][yk-2]+Z[i+1][yk+2]）/2    …  （式１２）
尚、ＣＶ，ＣＤ１，ＣＤ２，ＣＨのうち、最小値ｍｉｎＣと一致するものが複数ある場合は、そのどちらのケースを実施してもよい。この場合は、デフォルトとして優先順位を例えばＣＶ＞ＣＤ１＞ＣＤ２＞ＣＨのように決めておけばよい。
【００４３】
このようにして、欠陥画素補正部２０２は、画像入力部２０１が入力したＲＡＷ画像の欠陥画素の画素値を推定し、推定した画素値に置き換えて欠陥画素を補正する。例えば図２の例では、欠陥画素補正部２０２は、線キズがあるＲＧ行の欠陥Ｇ画素および欠陥Ｒ画素の画素値を推定して補正する。
【００４４】
色補間部２０３は、欠陥画素補正部２０２により補正されたＲＡＷ画像に基づき、輝度画像（またはＧ画像）と色差画像とを生成する。尚、色補間処理は、従来技術と同様の公知の方法を用いても構わない。本実施形態では、以下の処理により、輝度画像（またはＧ画像）と色差画像とを生成する。
（処理２−１）ＲまたはＢ画素位置の方向判定処理
欠陥画素補正部２０２により補正されたＲＡＷ画像の全てのＲまたはＢ画素（i,j）について方向判定処理を行う。ここでは、２つの方向の画像の変化量ＣＶ，ＣＨを求める。
・縦方向の変化量ＣＶの算出
図６（ａ）において、Ｒ画素（i,j）近傍のＧ成分の画素（i-1,j-2）、画素（i-1,j）、画素（i-1,j+2）、画素（i-2,j-1）、画素（i-2,j+1）、画素（i+1,j-2）、画素（i+1,j）、画素（i+1,j+2]、画素（i+2,j-1）、画素（i+2,j+1]、画素（i,j-1）、画素（i,j+1）の１２個の画素を用いて図６（ａ）に示した縦方向の差分ａ５から差分ｇ５までを求める。例えば差分ａ５は画素（i-1,j-2）と画素（i-1,j）の差の絶対値、差分ｂ５は画素（i-1,j）と画素（i-1,j+2）の差の絶対値である。差分ｃ５から差分ｇ５についても同様にして求める。そして、これらの差分ａ５から差分ｇ５の７つの差分の平均値を処理対象画素であるＲ画素（i,j）における縦方向の変化量ＣＶとして算出する（式１３）。尚、（式１３）において、先に説明した（式１）と同様の考え方で総和を７で割っているが、８で割っても構わない。
CV=（|G[i-2][j-1]-G[i-2][j+1]|+|G[i][j-1]-G[i][j+1]|+|G[i+2][j-1]-G[i+2][j+1]|
+|G[i-1][j-2]-G[i-1][j]|+|G[i-1][j]-G[i-1][j+2]|
+|G[i+1][j-2]-G[i+1][j]|+|G[i+1][j]-G[i+1][j+2]|）/7    …  （式１３）
・横方向の変化量ＣＨの算出
図６（ｂ）は、図６（ａ）と同じＲ画素（i,j）近傍の１２個のＧ成分の画素を用いて図６（ｂ）に示した横方向の差分ａ６から差分ｇ６までを求める。例えば差分ａ６は画素（i-2,j-1）と画素（i,j-1）の差の絶対値、差分ｂ６は画素（i,j-1）と画素（i+2,j-1）の差の絶対値である。差分ｃ６から差分ｇ６についても同様にして求める。そして、これらの差分ａ６から差分ｇ６の７つの差分の平均値を処理対象画素であるＲ画素（i,j）における横方向の変化量ＣＨとして算出する（式１４）。
CH=（|G[i-1][j-2]-G[i+1][j-2]|+|G[i-1][j]-G[i+1][j]|+|G[i-1][j+2]-G[i+1][j+2]|
+|G[i-2][j-1]-G[i][j-1]|+|G[i][j-1]-G[i+2][j-1]|
+|G[i-2][j+1]-G[i][j+1]|+|G[i][j+1]-G[i+2][j+1]|）/7    …  （式１４）
（処理２−２）ＲまたはＢ画素位置のＧ成分補間処理
次に、ＲＡＷ画像の全てのＲ及びＢ画素（i,j）についてＧ成分（G[i][j]）を補間する処理を行う。ここでは、予め決められた所定の閾値thにより、（式１３）および（式１４）で求めた変化量を判定して、補間する方向を決定する。尚、閾値ｔｈは、例えばＲＡＷ画像のノイズ成分の標準偏差の３倍程度の値に設定する。
・Ｃａｓｅ１：ＣＶ＋ｔｈ＜ＣＨの場合、縦方向から補間
G[i][j]=（G[i][j-1]+G[i][j+1]）/2    …  （式１５）
・Ｃａｓｅ２：ＣＨ＋ｔｈ＜ＣＶの場合、横方向から補間
G[i][j]=（G[i-1][j]+G[i+1][j]）/2    …  （式１６）
・Ｃａｓｅ２：｜ＣＨ−ＣＶ｜≦ｔｈの場合、縦横方向から補間
G[i][j]=（G[i][j-1]+G[i][j+1]+G[i-1][j]+G[i+1][j]）/4    …  （式１７）
このようにして、Ｒ及びＢ画素（i,j）における画像構造の方向を判定して、Ｒ及びＢ画素（i,j）のＧ成分（G[i][j]）を補間する。
（処理２−３）Ｒ画素位置の色差生成処理
次に、ＲＡＷ画像の全てのＲ画素（i,j）について、色差Cr[i][j]を生成する処理を行う。ここで、色差ＣｒはＲ成分からＧ成分を減算することにより求められる（式１８）。
色差Cr[i][j]=R[i][j]-G[i][j]    …  （式１８）
ここで、R[i][j]はＲＡＷ画像のＲ画素位置のＲ成分であり、G[i][j]は（式１５）から（式１７）のいずれかにより補間されたＲ画素位置のＧ成分である。
（処理２−４）Ｂ画素位置の色差生成処理
次に、ＲＡＷ画像の全てのＢ画素（i,j）について、色差Cb[i][j]を生成する処理を行う。ここで、色差ＣｂはＢ成分からＧ成分を減算することにより求められる（式１９）。
色差Cb[i][j]=B[i][j]-G[i][j]    …  （式１９）
ここで、R[i][j]はＲＡＷ画像のＲ画素位置のＲ成分であり、G[i][j]は（式１５）から（式１７）のいずれかにより補間されたＢ画素位置のＧ成分である。
【００４５】
このようにして、色補間部２０３は、（処理２−１）から（処理２−４）により、欠陥画素補正部２０２により補正されたＲＡＷ画像に基づいて、輝度画像（またはＧ画像）と色差画像（Ｃｒ画像およびＣｂ画像）とを生成する。この段階で、Ｇ画像は、欠陥補正後のＲＡＷ画像の全てのＧ画素位置のＧ成分と、欠陥補正後のＲＡＷ画像の全てのＲ及びＢ画素位置のＧ成分とを有する。つまり、欠陥補正後のＲＡＷ画像の全画素位置に対するＧ成分が求められている。一方、この段階では、色差画像は、欠陥補正後のＲＡＷ画像のＲ画素位置だけにＣｒ成分が生成され、欠陥補正後のＲＡＷ画像のＢ画素位置だけにＣｂ成分が生成されている。つまり、欠陥補正後のＲＡＷ画像の全画素位置に対する色差成分は未だ求められていない。
【００４６】
欠陥画素位置色差平滑部２０４は、欠陥画素の色差を平滑化する処理を行う。ここで、ＲＡＷ画像に線欠陥があったｙ座標を（yk）とする。また、Ｒ画素（i,j）における処理前（平滑化前）の色差Cr[i][j]またはＢ画素（i,j）における処理前（平滑化前）の色差Cb[i][j]については同様の処理で欠陥画素の色差を平滑化する処理を行うので、以下の説明では、色差Ｃｒおよび色差Ｃｂをまとめて、画素（i、j）における色差をC[i][j]のように表記する。
（処理３−１）線キズがある行のＲまたはＢ画素（i,yk）の色差による方向判定処理
線キズがある行（yk）の全てのＲまたはＢ画素（i,yk）について、色差画像の方向判定処理を行う。ここでは、３つの方向の画像の変化量ＣＶ,ＣＤ１，ＣＤ２を求める。
・縦方向の変化量ＣＶの算出
欠陥ＲまたはＢ画素（i,yk）を含む近傍のＲまたはＢ画素の色差Ｃ成分（ＣｒまたはＣｂ成分）から縦方向の変化量ＣＶを算出する。図７の例では、画素（i-2,yk-2）、画素（i-2,yk）、画素（i-2,yk+2）、画素（i,yk-2）、画素（i,yk）、画素（i,yk+2）、画素（i+2,yk-2）、画素（i+2,yk）、画素（i+2,yk+2））の９つの画素を用いて、同図に示した差分ａ７から差分ｆ７を求める。例えば差分ａ７は画素（i-2,yk-2）と画素（i-2,yk）の色差の差の絶対値、差分ｂ７は画素（i-2,yk）と画素（i-2,yk+2）の色差の差の絶対値である。差分ｃ７から差分ｆ７についても同様にして求める。そして、これらの差分ａ７から差分ｆ７の６つの差分の平均値を欠陥RまたはＢ画素（i,yk）における縦方向の変化量ＣＶとして算出する（式２０）。尚、ここでは、先に説明した平均値の算出と同様の考え方で総和を６で割っているが、デジタル処理に適した値の８で割ってもよい。
CV=（|C[i-2][yk-2]-C[i-2][yk]|+|C[i-2][yk]-C[i-2][yk+2]|
+|C[i][yk-2]-C[i][yk]|+|C[i][yk]-C[i][yk+2]|
+|C[i+2][yk-2]-C[i+2][yk]|+|C[i+2][yk]-C[i+2][yk+2]|）/6    …  （式２０）
・第一の斜め方向（ｘ，ｙ座標が同じ方向に変化する斜め方向）の変化量ＣＤ１の算出
欠陥ＲまたはＢ画素（i,yk）を含む近傍のＲまたはＢ画素の色差Ｃ成分（ＣｒまたはＣｂ成分）から第一の斜め方向の変化量ＣＤ１を算出する。図８（ａ）の例では、画素（i-4,yk-2）、画素（i-2,yk）、画素（i,yk+2）、画素（i-2,yk-2）、画素（i,yk）、画素（i+2,yk+2）、画素（i,yk-2）、画素（i+2,yk）、画素（i+4,yk+2））の９つの画素を用いて、同図に示した差分ａ８から差分ｆ８を求める。例えば差分ａ８は画素（i-4,yk-2）と画素（i-2,yk）の色差の差の絶対値、差分ｂ８は画素（i-2,yk）と画素（i,yk+2）の色差の差の絶対値である。差分ｃ８から差分ｆ８についても同様にして求める。そして、これらの差分ａ８から差分ｆ８の６つの差分の平均値を欠陥RまたはＢ画素（i,yk）における第一の斜め方向の変化量ＣＤ１として算出する（式２１）。
CD1=（|C[i-4][yk-2]-C[i-2][yk]|+|C[i-2][yk]-C[i][yk+2]|
+|C[i-2][yk-2]-C[i][yk]|+|C[i][yk]-C[i+2][yk+2]|
+|C[i][yk-2]-C[i+2][yk]|+|C[i+2][yk]-C[i+4][yk+2]|）/6    …  （式２１）
・第二の斜め方向（ｘ，ｙ座標が逆の方向に変化する斜め方向）の変化量ＣＤ２の算出
欠陥ＲまたはＢ画素（i,yk）を含む近傍のＲまたはＢ画素の色差Ｃ成分（ＣｒまたはＣｂ成分）から第二の斜め方向の変化量ＣＤ２を算出する。図８（ｂ）の例では、画素（i,yk-2）、画素（i-2,yk）、画素（i-4,yk+2）、画素（i+2,yk-2）、画素（i,yk）、画素（i-2,yk+2）、画素（i+4,yk-2）、画素（i+2,yk）、画素（i,yk+2））の９つの画素を用いて、同図に示した差分ａ９から差分ｆ９を求める。例えば差分ａ９は画素（i,yk-2）と画素（i-2,yk）の色差の差の絶対値、差分ｂ９は画素（i-2,yk）と画素（i-4,yk+2）の色差の差の絶対値である。差分ｃ９から差分ｆ９についても同様にして求める。そして、これらの差分ａ９から差分ｆ９の６つの差分の平均値を欠陥RまたはＢ画素（i,yk）における第二の斜め方向の変化量ＣＤ２として算出する（式２２）。
CD2=（|C[i+4][yk-2]-C[i+2][yk]|+|C[i+2][yk]-C[i][yk+2]|
+|C[i+2][yk-2]-C[i][yk]|+|C[i][yk]-C[i-2][yk+2]|
+|C[i][yk-2]-C[i-2][yk]|+|C[i-2][yk]-C[i-4][yk+2]|）/6    …  （式２２）
（処理３−２）暫定色差平滑化処理
線キズがある行（yk）の色差画像の全てのＲまたはＢ画素（i,yk）について、暫定的に色差の平滑化処理を行う。ここでは、処理３−１で求めた変化量ＣＶ，ＣＤ１，ＣＤ２が最小値（ｍｉｎＣ）となる方向の画素の色差の平均値で補間して、暫定的な色差の平滑値C_tmp[i][yk]を生成する。
・Ｃａｓｅ１：ＣＶ＝ｍｉｎＣの場合、縦方向から補間
C_tmp[i][yk]=（C[i][yk-2]+C[i][yk+2]）/2    …  （式２３）
・Ｃａｓｅ２：ＣＤ１＝ｍｉｎＣの場合、第一の斜め方向から補間
C_tmp[i][yk]=（C[i-2][yk-2]+C[i+2][yk+2]）/2    …  （式２４）
・Ｃａｓｅ３：ＣＤ２＝ｍｉｎＣの場合、第二の斜め方向から補間
C_tmp[i][yk]=（C[i+2][yk-2]+C[i-2][yk+2]）/2    …  （式２５）
（処理３−３）
線キズがある行（yk）の色差画像の欠陥ＲまたはＢ画素（i,yk）について、strLPFを所定の色差平滑化強度として、次の式により色差平滑化結果C_lpf[i][yk]を求め、欠陥ＲまたはＢ画素（i,yk）の色差C[i][yk]（Cr[i][yk]またはCb[i][yk]）に上書きする。
【００４７】
【数１】
2013207542.tif 000003
ここで、ｓｔｒＣＬＰＦの値は色差Ｃｂ，Ｃｒのデータ型の値の範囲の４分の１程度に設定すればよい。例えば、色差が符号付１２ｂｉｔの場合は値の範囲が−４０９６〜４０９５なのでｓｔｒＣＬＰＦ＝２０４８程度に設定すればよい。
【００４８】
このようにして、全てのＲまたはＢ画素位置の色差Ｃｒまたは色差Ｃｂが生成される。尚、この段階では、色差画像は、全てのＲ画素位置にＣｒ成分が生成され、全てのＢ画素位置にＣｂ成分が生成されている。つまり、Ｇ画素位置における色差Ｃｒまたは色差Ｃｂ、Ｒ画素位置における色差Ｃｂ、Ｂ画素位置における色差Ｃｒは未だ求められていない。
【００４９】
次に、全領域色差平滑部２０５は、ここまでの処理で求められた全てのＲまたはＢ画素位置の色差を全画素にアップサンプリングする処理を行う。そして、さらにアップサンプリングされた全領域の色差を平滑化する処理を行う。
【００５０】
ここで、アップサンプリング前の全てのＲまたはＢ画素位置の色差を色差Ｃｒまたは色差Ｃｂと表記し、アップサンプリング後の全画素位置の色差を色差Ｃｒ２または色差Ｃｂ２と表記する。
（処理４−１）
色差Cr,Cbを全画素にアップサンプリングして全画素に色差Cb2,Cr2を生成する。本実施形態では、例えば以下の線形補間によりアップサンプリングを行うが、公知の任意の補間方法を用いても構わない。
【００５１】
ここでは、補間する画素位置に応じて、図９（ａ）から図９（ｃ）に示すような線形補間により求める。例えば、ベイヤー配列のＲＡＷ画像のＲ画素（i,j）の色差Cb2[i][j]、Ｂ画素（i,j）の色差Cr2[i][j]は、図９（ａ）に示すように、周囲の４つのＲまたはＢ画素位置の色差の平均値を補間値とする。また、Ｇ画素（i,j）の色差Cb2[i][j]または色差Cr2[i][j]は、図９（ｂ）に示すように、Ｇ画素の上下の２つのＲまたはＢ画素位置の色差Ｃｒまたは色差Ｃｂの平均値を補間値とする。或いは、図９（ｃ）に示すように、Ｇ画素の左右の２つのＲまたはＢ画素位置の色差Ｃｒまたは色差Ｃｂの平均値を補間値とする。
【００５２】
以下、補間する画素位置別に色差Ｃｒ２および色差Ｃｂ２を求める式を示す。尚、処理対象画素（i,j）の色差Cr[i][j]または色差Cb[i][j]が既に生成されている場合は、そのまま当該画素の色差Cr2[i][j]または色差Cb2[i][j]とする。
・Ｒ画素（i,j）の色差Cr2[i][j]、Cb2[i][j]
Cb2[i][j]=（Cb[i-1][j-1]+Cb[i-1][j+1]+Cb[i+1][j-1]+Cb[i+1][j+1]）/4
Cr2[i][j]=Cr[i][j]
・Ｂ画素（i,j）の色差Cr2[i][j]、Cb2[i][j]
Cr2[i][j]=（Cr[i-1][j-1]+Cr[i-1][j+1]+Cr[i+1][j-1]+Cr[i+1][j+1]）/4
Cb2[i][j]=Cb[i][j]
・Ｒ画素に隣接するＧ画素（i,j）の色差Cr2[i][j]、Cb2[i][j]
Cr2[i][j]=（Cr[i-1][j]+Cr[i+1][j]）/2
Cb2[i][j]=（Cb[i][j-1]+Cb[i][j+1]）/2
・Ｂ画素に隣接するＧ画素（i,j）の色差Cr2[i][j]、Cb2[i][j]
Cb2[i][j]=（Cb[i-1][j]+Cb[i+1][j]）/2
Cr2[i][j]=（Cr[i][j-1]+Cr[i][j+1]）/2
このようにして、全領域色差平滑部２０５は、ＲまたはＢ画素位置の色差を全画素にアップサンプリングする処理を行う。
（処理４−２）偽色除去処理
さらに、全領域色差平滑部２０５は、全画素にアップサンプリングされた色差画像に対して偽色を除去する処理を行う。ここでは、全画素に対して、色差Ｃｂ２と色差Ｃｒ２とを平滑化し、平滑化後の偽色除去された色差Ｃｂ３とＣｒ３とを生成する。
【００５３】
先ず、（式２７）のようにして、処理対象画素（i,j）を中心とする横方向（行方向）に５つの画素の色差Ｃｒ２を重み付けして平滑化し、処理対象画素（i,j）の平滑化後の色差Cr3_0[i][j]を生成する処理を全画素に対して行う。この様子を図１０（ａ）に示す。尚、同様に、色差Ｃｂ２についても色差Ｃｂ３＿０を求める。
Cr3_0[i][j]=（Cr2[i-2][j]+4×Cr2[i-1][j]
+6×Cr2[i][j]+4×Cr2[i+1][j]+Cr2[i+2][j]）/16    …  （式２７）
次に、図１０（ａ）のようにして求めた色差Ｃｒ３＿０を用いて、（式２８）のようにして、処理対象画素（i,j）を中心とする縦方向（列方向）に５つの画素の色差Ｃｒ３＿０を重み付けして平滑化し、処理対象画素（i,j）の平滑化後の色差Ｃｒ３を生成する処理を全画素に対して行う。この様子を図１０（ｂ）に示す。尚、同様に、色差Ｃｂ３＿０についても色差Ｃｂ３を求める。
Cr3[i][j]=（Cr3_0[i][j-2]+4×Cr3_0[i][j-1]
+6×Cr3_0[i][j]+4×Cr3_0[i][j+1]+Cr3_0[i][j+2]）/16    …  （式２８）
ここで、（式２７）および（式２８）において、処理対象画素（i,j）を中心として横方向または縦方向に各係数を１：４：６：４：１のように重み付けを行っているが、他の係数で重み付けを行ってもよい。
【００５４】
このようにして、全領域色差平滑部２０５は、全画素にアップサンプリングされた色差画像に対して偽色を除去する平滑化処理を行う。
【００５５】
次に、一般画像処理部２０６は、色補間部２０３で生成したＧ画像（全画素をＧ成分で表した画像）と、全領域色差平滑部２０５で生成した色差画像（色差Ｃｒ３および色差Ｃｂ３で表した画像）とに基づいて、例えばＹＣＣ色空間など、画像の出力形式に応じた色変換処理を行う。また、色変換処理と共に、公知のノイズ除去処理、彩度強調処理、輪郭強調処理などの一般的な画像処理を行う。そして、画像処理後の画像を表示部１１０に表示したり、メモリカード１１２ａに記録する。
【００５６】
以上、説明してきたように、本実施形態に係る電子カメラ１０１の画像処理部１０７は、欠陥画素位置色差平滑部２０４により、欠陥補正した画素位置について色差を平滑化するので、欠陥画素に生じる偽色をほぼ解消することができ、欠陥補正後の画質を改善することができるという効果がある。
【００５７】
これに対して、従来は、高周波構造がある画像領域では画素欠陥を必ずしも完璧に補正できない場合があり、欠陥補正されたＲＡＷ画像に対して色補間を行って色差画像を生成した場合、欠陥補正した画素位置に偽色が生じてしまうという問題があった。
【００５８】
また、本実施形態に係る電子カメラ１０１の画像処理部１０７では、欠陥画素の色差平滑後に、さらに全画素の色差を平滑化しているので、欠陥画素の周辺領域ではない領域においては色補間による偽色を除去することができ、欠陥画素の領域においては局所的に平滑化された色差を周囲と同様に平滑化することにより自然に均す効果がある。
【００５９】
また、本実施形態に係る電子カメラ１０１の画像処理部１０７では、欠陥画素位置色差平滑部２０４は、色差平滑化の効果をパラメータｓｔｒＬＰＦによって抑制することにより、彩度が高い画像の色差構造の消失を抑制することができる。
【００６０】
さらに、欠陥画素位置色差平滑部２０４は、色差をアップサンプリングする前の段階で色差を平滑化することにより、平滑化処理を行う回数が少なくなり、演算量を削減できるという効果がある。
【００６１】
尚、欠陥画素補正部２０２、色補間部２０３、欠陥画素位置色差平滑部２０４および全領域色差平滑部２０５は、本実施形態で説明した方法に限定されず、異なる方法で各処理を行っても構わない。例えば、色補間部２０３の上記の処理ではＧ画像を生成するようにしたが、輝度画像を生成するようにしても構わない。また、欠陥画素位置色差平滑部２０４の演算も上記以外の方法で欠陥補正領域の色差を平滑化した場合でも、上記の例と同様の効果が得られる。
【００６２】
また、本実施形態では線キズの欠陥画素の補正を行う例について説明したが、線キズに限定されず、点キズなどそれ以外の形状の欠陥画素の補正に適用しても構わない。いずれの場合であっても、ＲＡＷ画像の欠陥補正後に色補間処理を行って生成された色差画像に対して、欠陥補正領域の色差を平滑化することにより、本実施形態と同様の効果が得られる。
（第二の実施形態）
次に、第二の実施形態に係る電子カメラ１０１ａについて図１１を用いて説明する。図１１において、電子カメラ１０１ａの構成は、基本的には図１で説明した電子カメラ１０１と同じであるが、光学系１０２ａは倍率色収差情報を保持するレンズ情報保持部１１３を有する。尚、レンズ情報保持部１１３は、着脱式の交換レンズを使用する場合は光学系１０２ａ内のメモリであってもよいし、光学系１０２ａが電子カメラ１０１ａに固定されている場合は、電子カメラ１０１ａのメモリ１０９に倍率色収差情報を記憶しておいてもよい。いずれの場合でも、カメラ制御部１０８ａは、レンズ情報保持部１１３から光学系１０２ａの倍率色収差情報を取得し、画像処理部１０７ａに出力する。そして、画像処理部１０７ａは、光学系１０２ａの倍率色収差情報を用いて欠陥画素の補正を行う。
【００６３】
このように、本実施形態に係る電子カメラ１０１ａは、第一の実施形態の電子カメラ１０１に倍率色収差補正機能が付加されており、倍率色収差補正機能を加えたことにより、画像処理部１０７ａが行う欠陥画素に対する処理も第一の実施形態の画像処理部１０７から一部変更されている。
【００６４】
以下、第一の実施形態と異なる部分について説明する。
【００６５】
［画像処理部１０７ａの構成例］
図１２は、第二の実施形態に係る画像処理部１０７ａの構成例を示す図である。図１２において、画像処理部１０７ａは、画像入力部２０１と、欠陥画素補正部２０２と、色補間部２０３と、欠陥画素位置色差平滑部２０４と、全領域色差平滑部２０５と、一般画像処理部２０６と、倍率色収差情報取得部３０１と、倍率色収差補正部３０２とで構成される。尚、第一の実施形態で説明した図３と同符号のブロックは、基本的に同じ機能のブロックである。以下、画像処理部１０７ａの各部について順番に説明する。
【００６６】
画像入力部２０１は、画像バッファ１０６から図２で説明したようなベイヤー配列のＲＡＷ画像を入力する。
【００６７】
欠陥画素補正部２０２は、画像入力部２０１が入力したＲＡＷ画像の欠陥画素の画素値を推定し、推定した画素値に置き換える欠陥画素補正処理を行う。
【００６８】
ここで、第一の実施形態では、図３に示したように、欠陥画素補正部２０２で欠陥画素の画素値が補正されたＲＡＷ画像を色補間部２０３に出力するようにしたが、本実施形態では、図１２に示すように、欠陥画素補正部２０２で欠陥画素の画素値が補正されたＲＡＷ画像は、倍率色収差補正部３０２により光学系１０２ａで生じる倍率色収差が補正された後、色補間部２０３に出力される。
【００６９】
倍率色収差情報取得部３０１は、光学系１０２ａのレンズ情報保持部１１３から読み出された倍率色収差情報を用いて、撮影されたＲＡＷ画像の各画素位置におけるＲ成分またはＢ成分の画像とＧ成分の画像との色ずらし量を求める。尚、色ずらし量は、各画素（i,j）のＲ成分とＢ成分とについて小数精度の色ずらし量DRX（i,j）,DRY（i,j）,DBX（i,j）,DBY（i,j）として求められる。ここで、DRX（i,j）,DRY（i,j）は、光学像及びＲＡＷ画像において、処理対象画素（i,j）の画素位置でＲ成分の画像がＧ成分の画像に対してｘ方向に−DRX（i,j）画素、ｙ方向に−DRY（i,j）画素それぞれずれていることを示し、それを補正するためにＲ成分の画像をｘ方向にDRX（i,j）画素、ｙ方向にDRY（i,j）画素それぞれずらす必要があるということである。例えば図１３は、Ｒ成分の被写体像の位置とＧ成分の被写体像の位置とにずれがある場合の色ずらし量を示した図で、Ｒ成分の被写体像とＧ成分の被写体像との色ずれ量はDRX=2.4画素、DRY=1.8画素である。つまり、図１３の例では、Ｒ成分の画像を-DRX（-2.4画素）および-DRY（-1.8画素）だけずらす必要がある。
【００７０】
このようにして、倍率色収差情報取得部３０１は、光学系１０２ａの倍率色収差情報を用いて、Ｒ成分の画像とＧ成分の画像との色ずらし量を求めることができる。同様に、倍率色収差情報取得部３０１は、Ｂ成分の画像とＧ成分の画像との色ずらし量DBX（i,j）,DBY（i,j）を求める。尚、倍率色収差情報を用いずにＲ成分の画像とＧ成分の画像とを二次元上で少しずつずらしながら相関値を計算し、相関値のピーク位置から色ずらし量を求めても構わない。
【００７１】
倍率色収差補正部３０２は、倍率色収差情報取得部３０１により求められたＲＡＷ画像のＧ成分に対するＲ成分およびＢ成分の色ずらし量だけ各色成分の画素位置をずらすことによって倍率色収差を補正する処理を行う。具体的には、次のような線形補間処理により補正する。尚、R0[i][j]は倍率色収差補正前のＲＡＷ画像のＲ画素値、R3[i][j]は倍率色収差補正後のＲ画素値である。
【００７２】
倍率色収差補正部３０２は、ＲＡＷ画像の全てのＲ画素（i,j）について、（式２９）から（式３５）までの計算を行い、倍率色収差補正後のＲ画素値（R3[i][j]）を求める。尚、倍率色収差補正部３０２は、Ｂ成分についても同様の計算によって、ＲＡＷ画像の全てのＢ画素（i,j）について、倍率色収差補正後のＢ画素値（B3[i][j]）を求める。
ａ=（−DRX（i,j））を越えない最大の偶数    …  （式２９）
ｂ=（−DRY（i,j））を越えない最大の偶数    …  （式３０）
ｃ=（−DRX（i,j）−ａ）/2    …  （式３１）
ｄ=（−DRY（i,j）−ｂ）/2    …  （式３２）
tmpR1=（1-ｃ）×R0[i+ａ][j+ｂ]+ｃ×R0[i+ａ+2][j+ｂ]    …  （式３３）
tmpR2=（1-ｃ）×R0[i+ａ][j+ｂ+2]+ｃ×R0[i+ａ+2][j+ｂ+2]    …  （式３４）
R3[i][j]=（1-ｄ）×tmpR1+ｄ×tmpR2    …  （式３５）
ここで、上記の倍率色収差補正部３０２の処理について図１４を用いて説明する。図１４は図１３に対応する図で、Ｒ画素（i,j）が処理対象画素の例を示している。この例では、倍率色収差補正部３０２は、Ｒ画素（i,j）の倍率色収差補正前のＲ成分の画素値（R0[i][j]）を補正して、倍率色収差補正後のＲ画素（i,j）のＲ成分の画素値（R3[i][j]）を求める。
【００７３】
図１３の例では、Ｒ成分の被写体像とＧ成分の被写体像との色ずれ量はｘ軸方向にDRX=2.4画素、ｙ軸方向にDRY=1.8画素なので、（式２９）および（式３０）により、ａ＝−４およびｂ＝−２となる。これは、図１４において、Ｒ画素（i-4,j-2）の倍率色収差補正前のＲ成分の画素値（R0[i-4][j-2]）に対応する。
【００７４】
また、（式３１）および（式３２）により、ｃ＝０．８およびｄ＝０．１が求まる。変数ｃによる（比率）ｃ：（c-1）は、図１４において、Ｒ画素（i-4,j-2）とＲ画素（i-2,j-2）との間にある正しい像位置に対応する仮想位置のｔｍｐＲ１画素（i-2.4,j-2）のｘ軸の位置を示す。従って、ｔｍｐＲ１画素（i-2.4,j-2）におけるＲ成分の画素値ｔｍｐＲ１は、同じ（j-2）行の両側のＲ画素（i-4,j-2）およびＲ画素（i-2,j-2）のＲ成分の画素値R0[i-4][j-2]およびＲ成分の画素値R0[i-2][j-2]を用いて（式３３）により求めることができる。
【００７５】
同様に、正しい像位置がある（j-2）行の次の行（ｊ）において、Ｒ画素（i-4,j）とＲ画素（i-2,j）との間にある正しい像位置に対応する仮想位置のｔｍｐＲ２画素（i-2.4,j）のＲ成分の画素値ｔｍｐＲ２を求める。この場合は、同じ（ｊ）行でｔｍｐＲ２画素（i-2.4,j）の両側にあるＲ画素（i-4,j）およびＲ画素（i-2,j）のＲ成分の画素値R0[i-4][j]およびＲ成分の画素値R0[i-2][j]を用いて（式３４）により求めることができる。
【００７６】
このようにして、ｘ軸の仮想座標が（i-2.4）における（j-2）行の仮想的なｔｍｐＲ１画素（i-2.4,j-2）のＲ成分の画素値ｔｍｐＲ１と、（ｊ）行の仮想的なｔｍｐＲ２画素（i-2.4,j）のＲ成分の画素値ｔｍｐＲ２とが求まる。尚、画素座標は整数であるが、仮想座標は整数であるとは限らず、倍率色収差によって実数になる。
【００７７】
次に、変数ｄによる（比率）ｄ：（d-1）は、図１４において、仮想的なｔｍｐＲ１画素（i-2.4,j-2）とｔｍｐＲ２画素（i-2.4,j）との間にある正しい像位置に対応するｙ軸方向の位置を示す。従って、ｔｍｐＲ１画素（i-2.4,j-2）におけるＲ成分の画素値ｔｍｐＲ１とｔｍｐＲ２画素（i-2.4,j）におけるＲ成分の画素値ｔｍｐＲ２とを用いて（式３４）により、正しい像位置のＲ成分の画素値を求めることができ、この画素値は、倍率色収差補正後のＲ画素（i,j）のＲ成分の画素値（R3[i][j]）となる。
【００７８】
このようにして、倍率色収差補正部３０２は、ＲＡＷ画像の全てのＲ画素（i,j）およびＢ画素（i,j）について、（式２９）は、から（式３５）までの計算を行い、倍率色収差補正後のＲ成分の画素値（R3[i][j]）およびＢ成分の画素値（B3[i][j]）を求める。
【００７９】
図１２において、色補間部２０３は、倍率色収差が補正されたＲＡＷ画像に対して、第一の実施形態と同様に、色補間処理を実行する。尚、第一の実施形態と重複する色補間部２０３の処理についての説明は省略するが、色補間部２０３の処理で色差を求める際に、第一の実施形態で説明したＲ成分の画素値（R[i][j]）として上記の倍率色収差補正後のＲ成分の画素値（R3[i][j]）を用いる。同様に、Ｂ成分の画素値（B[i][j]）として上記の倍率色収差補正後のＢ成分の画素値（B3[i][j]）を用いる。
【００８０】
次に、欠陥画素位置色差平滑化部２０４ａは、第一の実施形態の図３で説明した欠陥画素位置色差平滑化部２０４とは少し異なる方法で欠陥画素近傍の色差を平滑化する処理を行う。ここで、以下の説明では、ＲＡＷ画像のｙ座標の行ykのＧＲ行に線キズがある場合について説明するが、ＧＢ行に線キズがある場合については、以降の処理において、Ｒ成分をＢ成分に、色差Ｃｒを色差Ｃｂにそれぞれ置き換えで処理を行えばよい。尚、以下の説明において、Cr[i][j]は、Ｒ画素（i,j）における平滑化前の色差Ｃｒを示すものとする。
（処理５−１）平滑化処理対象画素選定処理
先ず、欠陥画素位置色差平滑化部２０４ａは、色補間部２０３が出力するＲＡＷ画像内の全てのＲ画素（i,j）について（式３６）の条件を満たすか否かを判別して、条件を満たすＲ画素（i,j）を色差平滑化を行う処理対象画素に選定する。尚、この条件を満たさないＲ画素（i,j）は、欠陥画素位置色差平滑化部２０４ａによる平滑化は行われない。
|DRY（i,j）−（j-yk）|＜2    …  （式３６）
ここで、DRY（i,j）は図１３で説明したようにＧ成分の被写体像に対するＲ成分の被写体像の色ずらし量のｙ軸の色ずらし量である。
【００８１】
以下、（式３６）の条件を満たす場合のＲ画素（i,j）の平滑化処理について説明する。
（処理５−２）平滑化強度設定処理
次に、欠陥画素位置色差平滑化部２０４ａは、平滑化処理を行う時の平滑化強度ｓｔｒＬＰＦを（式３７）により設定する。
strLPF=strLPF0×（2-|DRY（i,j）-（j-yk）|）/２    …  （式３７）
ここで、平滑化強度基準値strLPF0の値は色差Cb，Crのデータ型で表現可能な値の範囲の４分の１程度に設定する。例えば、色差Cb，Crのデータ型が符号付12bitの場合は表現可能な値の範囲が-4096〜4095なので、平滑化強度基準値strCLPF0=2048程度に設定すればよい。
（処理５−３）平滑化参照割合設定処理
次に、欠陥画素位置色差平滑化部２０４ａは、平滑化処理を行う時に参照する画素の参照割合ｒａｔｅを（式３８）により設定する。尚、（式３８）は、ｙ軸座標が小さい側の平滑化参照割合ｒａｔｅを示し、平滑化参照割合ｒａｔｅは小数精度で設定される。
rate={（DRY（i,j）−（j-yk））+２}/4    …  （式３８）
（処理５−４）画像構造の方向判定処理
次に、欠陥画素位置色差平滑化部２０４ａは、３つの方向の画像構造の変化量ＣＶ，ＣＤ１，ＣＤ２を色差を用いて算出する。尚、画像構造を求める考え方については、（式２０）から（（式２２）と同じなので重複する説明は省略する。
・縦方向の変化量ＣＶの算出
CV=（|Cr[i-2][j-2]-Cr[i-2][ｊ]|+|Cr[i-2][j]-Cr[i-2][j+2]|
+|Cr[i][j-2]-Cr[i][j]|+|Cr[i][j]-Cr[i][j+2]|
+|Cr[i+2][j-2]-Cr[i+2][j]|+|Cr[i+2][j]-Cr[i+2][j+2]|）/6    …  （式３９）
・第一の斜め方向（x,y座標が同じ方向に変化する斜め方向）の変化量ＣＤ１の算出
CD1=（|Cr[i-4][j-2]-Cr[i-2][j]|+|Cr[i-2][j]-Cr[i][j+2]|
+|Cr[i-2][j-2]-Cr[i][j]|+|Cr[i][j]-Cr[i+2][j+2]|
+|Cr[i][j-2]-Cr[i+2][j]|+|Cr[i+2][j]-Cr[i+4][j+2]|）/6    …  （式４０）
・第二の斜め方向（x,y座標が逆の方向に変化する斜め方向）の変化量ＣＤ２の算出
CD2=（|Cr[i+4][j-2]-Cr[i+2][j]|+|Cr[i+2][j]-Cr[i][j+2]|
+|Cr[i+2][j-2]-Cr[i][j]|+|Cr[i][j]-Cr[i-2][j+2]|
+|Cr[i][j-2]-Cr[i-2][j]|+|Cr[i-2][j]-Cr[i-4][j+2]|）/6    …  （式４１）
尚、本実施形態では、横方向の線キズを想定して説明しているので、横方向の変化量ＣＨの判定を行っていないが、点キズなどの場合は横方向の変化量ＣＨ含めた処理を行う必要がある。
（処理５−５）暫定色差平滑化処理
次に、欠陥画素位置色差平滑化部２０４ａは、（処理５−４）で求めた画像構造の方向が最小となる方向で、暫定的に色差を平滑化し、C_tmp[i][j]を生成する。尚、変化量ＣＶ，ＣＤ１，ＣＤ２の最小値をｍｉｎＣとする。
・Ｃａｓｅ１：CV=minCの場合、縦方向から補間
C_tmp[i][j]=rate×Cr[i][j-2]+(1-rate)×Cr[i][j+2]    …  （式４２）
・Ｃａｓｅ2：CD1=minCの場合、第一の斜め方向から補間
C_tmp[i][j]=rate×Cr[i-2][j-2]+(1-rate)×Cr[i+2][j+2]    …  （式４３）
・Ｃａｓｅ3：CD2=minCの場合、第二の斜め方向から補間
C_tmp[i][j]=rate×Cr[i+2][j-2]+(1-rate)×Cr[i-2][j+2]    …  （式４４）
（処理５−６）平滑化強度調整処理
次に、欠陥画素位置色差平滑化部２０４ａは、（処理５−５）で求めた暫定色差を平滑化強度strLPFに応じて平滑化強度を調整する処理を行う。この処理は第一の実施形態で説明した（式２６）により実行され、最終的な色差平滑化結果C_lpf[i][j]を求め、これを処理対象画素（i,j）の色差Ｃｒとして出力する。
【００８２】
このようにして、全てのＲまたはＢ画素位置の色差Ｃｒまたは色差Ｃｂが生成される。尚、この段階では、色差画像は、全てのＲ画素位置にＣｒ成分が生成され、全てのＢ画素位置にＣｂ成分が生成されている。つまり、Ｇ画素位置における色差Ｃｒまたは色差Ｃｂ、Ｒ画素位置における色差Ｃｂ、Ｂ画素位置における色差Ｃｒは未だ求められていない。
【００８３】
次に、全領域色差平滑部２０５は、ここまでの処理で求められた全てのＲまたはＢ画素位置の色差ＣｒまたはＣｂを全画素にアップサンプリングする処理を行う。そして、さらにアップサンプリングされた全画素の色差を平滑化する処理を行う。尚、この処理は、第一の実施形態と同じなので重複する説明は省略する。また、一般画像処理部２０６の処理についても第一の実施形態と同じなので重複する説明は省略する。そして、一般画像処理部２０６が処理した画像を表示部１１０に表示したり、メモリカード１１２ａに記録する。
【００８４】
以上、説明してきたように、本実施形態に係る電子カメラ１０１ａは、倍率色収差がない場合は第一の実施形態と同様の効果を得ることができ、倍率色収差がある場合でも、ＲＡＷ画像の欠陥画素補正後に色補間処理を行って生成された色差画像に対して、欠陥補正箇所の色差平滑化を倍率色収差補正の色ずらし量に基づいて行うので、偽色を抑制した画像を得ることができる。特に、倍率色収差に応じて色差平滑化処理を行うべき適切な領域を選択し、且つ参照すべき適切な周辺画素と平滑化強度を選択して平滑化処理を行うので、倍率色収差による偽色の影響を少なくすることができる。
【００８５】
従来のＲＡＷ画像の欠陥画素補正は必ずしも完璧ではなく、補正された画素値は画像構造を再現しておらず、不完全に補正された画素であった。そして、欠陥補正後に画像のＲとＢの位置をずらして倍率色収差を補正した場合、不完全に補正された画素も移動するという問題があった。例えば、倍率色収差補正によって欠陥画素のＲ成分が下に３画素ずらされた場合、倍率色収差補正後のＲＡＷ画像では、欠陥画素から下に２画素のＲ画素と下に４画素のＲ画素は不完全補正されたＲ画素値に基づいて補間されることになり、これらの画素値も不完全になる。一般に、欠陥画素位置のＲ成分が例えば下にDRＹ画素ずらされると、欠陥位置から下に（DRY-2）画素から（DRY+2）画素の範囲にある画素は倍率色収差補正後に不完全な画素値となる。従って、色補間後の画像において偽色が発生する位置も同じように移動することになる。尚、DRY±2の範囲になるのは、平滑化を上下の同色画素の行を参照しているためであり、平滑化時に参照する画素に応じて不完全な画素値を持つ画素の範囲は異なる。
【００８６】
本実施形態に係る電子カメラ１０１ａの画像処理部１０７ａは、このような倍率色収差補正を行う場合の偽色に対応するため、欠陥画素位置色差平滑部２０４ａは色ずらし量に基づいて色差平滑化処理を行う。例えばｙ軸方向のみについて考えると、欠陥画素からの距離（j-yk）と色ずらし量DRYとの差が小さい画素ほど大きな偽色が生じる傾向があるので、色差平滑化強度ｓｔｒＬＰＦはその傾向を正しく反映して小さな値に設定される。具体的には、図１５（ａ）において、欠陥画素n1に対する色ずらし量DRYに対して、欠陥画素n1との距離の差が小さい位置の処理対象画素n2およびn3は欠陥画素n1による不完全な補正値を用いて平滑化されるため、欠陥画素n1との距離の差が大きい位置の画素n4に比べて大きな偽色が生じる傾向がある。つまり、欠陥画素位置ykに対する処理対象画素のｙ座標が色ずらし量DRYよりも少し大きい画素位置(j2)にある場合と色ずらし量DRYよりも少し小さい画素位置(j1)にある場合の両方の場合に偽色が生じる。
【００８７】
そこで、本実施形態では色差平滑化参照割合rateを設定することにより、ｙ座標が色ずらし量DRYよりも大きい画素位置では小さい側の画素位置の画素値をあまり参照しないようにし、ｙ座標が色ずらし量DRYよりも小さい画素位置では大きい側の画素位置の画素値をあまり参照しないようにして、色差平滑化処理を行うようになっている。これにより、処理対象画素の周辺画素に生じた偽色の影響を少なくして色差平滑化を行うので、偽色の発生を抑えることができる。具体的には、図１５（ａ）の一部を拡大した図１５（ｂ）に示すように、欠陥画素n1の色ずらし量DRYよりもｙ座標が大きい画素位置（処理対象画素n3）の画素値を求める時に、処理対象画素n3よりもｙ座標が小さい側の領域s3にある画素の画素値を領域s4にある画素の画素値よりも参照しないようにして色差平滑化処理を行う。同様に、欠陥画素n1の色ずらし量DRYよりもｙ座標が小さい画素位置（処理対象画素n2）の画素値を求める時に、処理対象画素n2よりもｙ座標が大きい側の領域s2にある画素の画素値を領域s1にある画素の画素値よりも参照しないようにして色差平滑化処理を行う。これにより、処理対象画素の周辺画素に生じた偽色の影響を少なくして色差平滑化を行うので、偽色の発生を抑えることができる。
【００８８】
このように、本実施形態に係る電子カメラ１０１ａは、光学系１０２ａに倍率色収差がある場合でも、ＲＡＷ画像の欠陥画素補正後に色補間処理を行って生成された色差画像に対して、欠陥補正箇所の色差平滑化を倍率色収差補正の色ずらし量に基づいて、色差平滑化処理を行うべき適切な領域を選択し、且つ欠陥画素に対する処理対象画素の位置に応じて参照すべき適切な周辺画素と平滑化強度を選択して平滑化処理を行うことができる。これにより、本実施形態に係る電子カメラ１０１ａは、光学系１０２ａに倍率色収差がある場合でも、欠陥画素に生じる偽色を充分に除去することができ、倍率色収差がある場合の色差平滑化による弊害を抑えることができる。
【００８９】
尚、第一の実施形態と同様に、本実施形態では線キズの欠陥画素の補正を行う例について説明したが、線キズに限定されず、点キズなどそれ以外の形状の欠陥画素の補正に適用しても構わない。いずれの場合であっても、ＲＡＷ画像の欠陥補正後に色補間処理を行って生成された色差画像に対して、欠陥補正領域の色差の平滑化を色収差補正の色ずらし量に基づいて行うことにより、本実施形態と同様の効果が得られる。
【００９０】
以上、本発明に係る画像処理装置および画像処理プログラム並びに電子カメラについて、各実施形態で例を挙げて説明してきたが、画像処理部１０７または画像処理部１０７ａの処理を単独の画像処理装置やパソコンの画像処理プログラムで実現しても構わない。この場合は、例えば画像バッファ１０６の代わりに撮影済みのＲＡＷ画像が記憶されたメモリカードなどの記憶媒体をパソコンに装着して画像処理部１０７の各処理を実行し、再びメモリカードに処理後の画像データを記憶する。或いは、色補間部２０２の処理だけを実行して、ＲＡＷ画像をＲＧＢ画像などに変換するようにしても構わない。
【００９１】
尚、本発明に係る画像処理装置および画像処理プログラム並びに電子カメラについて、各実施形態で例を挙げて説明してきたが、その精神またはその主要な特徴から逸脱することなく他の多様な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。
【符号の説明】
【００９２】
１０１，１０１ａ・・・電子カメラ；１０２，１０２ａ・・・光学系；１０３・・・メカニカルシャッタ；１０４・・・撮像素子；１０５・・・Ａ／Ｄ変換部；１０６・・・画像バッファ；１０７，１０７ａ・・・画像処理部；１０８，１０８ａ・・・カメラ制御部；１０９・・・メモリ；１１０・・・表示部；１１１・・・操作部；１１２・・・メモリカードＩＦ；１１２ａ・・・メモリカード；１１３・・・レンズ情報保持部；２０１・・・画像入力部；２０２・・・欠陥画素補正部；２０３・・・色補間部；２０４，２０４ａ・・・欠陥画素位置色差平滑部；２０５・・・全領域色差平滑部；２０６・・・一般画像処理部；３０１・・・倍率色収差情報取得部；３０２・・・倍率色収差補正部
【図１】
2013207542.tif 000004
【図２】
2013207542.tif 000005
【図３】
2013207542.tif 000006
【図４】
2013207542.tif 000007
【図５】
2013207542.tif 000008
【図６】
2013207542.tif 000009
【図７】
2013207542.tif 000010
【図８】
2013207542.tif 000011
【図９】
2013207542.tif 000012
【図１０】
2013207542.tif 000013
【図１１】
2013207542.tif 000014
【図１２】
2013207542.tif 000015
【図１３】
2013207542.tif 000016
【図１４】
2013207542.tif 000017
【図１５】
2013207542.tif 000018