(57)【要約】【課題】ホワイトバランスを考慮して欠陥画素を補正する処理を短時間で行う。【解決手段】デジタルカメラ１０には、複数の欠陥画素マップ２７〜２８が予め記憶されている。欠陥画素マップ２７〜２８には、遮光状態で所定時間露光した時に撮像素子から得られるＣＦＡ画像データの画素値と撮影光源に応じて色毎に変えた閾値とに基づいて検出した欠陥画素の位置情報が記録さている。ホワイトバランスゲイン算出回路１７は、撮像素子２５から取得したＣＦＡ画像データに基づいてホワイトバランスゲインを算出する。欠陥画素マップ選択回路１８は、ホワイトバランスゲインに応じて複数の欠陥画素マップ２７〜２９のうちからいずれかを選択する。欠陥補正回路１９は、選択した欠陥画素マップに記載の欠陥画素の位置情報に基づいて欠陥画素を補正する。【選択図】図１
2012065069.tif 000002
【特許請求の範囲】
【請求項１】
所定の明るさで撮影した時に撮像素子から得られるカラーの画像データに基づいて検出した欠陥画素を補正する欠陥画素補正装置において、
撮影条件を設定する撮影条件設定手段と、
前記欠陥画素の位置情報が前記カラーの画像データを構成する色毎に記録されている欠陥画素情報を複数記憶する欠陥画素情報記憶手段と、
前記設定した撮影条件に応じて前記複数の欠陥画素情報のうちの何れかの欠陥画素情報を選択する選択手段と、
前記選択した欠陥画素情報に記録の欠陥画素の位置情報に基づいて欠陥画素を補正する欠陥画素補正手段と、
を備えたことを特徴とする欠陥画素補正装置。
【請求項２】
請求項１記載の欠陥画素補正装置において、
前記撮影条件は、ホワイトバランスゲイン、又はＩＳＯ感度になっていることを特徴する欠陥画素補正装置。
【請求項３】
請求項１又は２記載の欠陥画素補正装置において、
前記欠陥画素情報は、前記撮影条件に応じて前記色毎に決めた閾値に基づいて検出した欠陥画素の位置情報が記録されていることを特徴とする欠陥画素補正装置。
【請求項４】
請求項１ないし３いずれか記載の欠陥画素補正装置において、
前記カラーの画像データは、
空間周波数が最も高い第１色成分の色情報を出力する複数の画素と、前記第１色成分の色情報を出力せず前記第１色成分よりも空間周波数が低い第２色成分又は第３色成分の色情報を出力する複数の画素と、が２次元配列された撮像素子によって生成される画像データになっていることを特徴とする欠陥画素補正装置。
【請求項５】
請求項４記載の欠陥画素補正装置において、
前記撮影条件をホワイトバランスとし、
所定の明るさで撮影した時に撮像素子から得られるカラーの画像データに対して、色毎に一律の閾値を用いて検出した第１欠陥画素情報と、第２色成分の色情報を他の色情報よりも厳しく判定する閾値を用いて検出した第２欠陥画素情報と、第３色成分の色情報を他の色情報よりも厳しく判定する閾値を用いて検出した第３欠陥画素マップとを前記欠陥画素情報記憶手段に予め記憶しておくとともに、
撮影毎に得られるカラーの画像データに基づいて前記第２及び第３色成分の色情報に応じた二つのホワイトバランスゲインを算出するホワイトバランスゲイン算出回路を設け、
前記選択手段は、前記二つのホワイトバランスゲインに基づいて第１〜第３欠陥画素情報のうちから何れかを選択することを特徴とする欠陥画素補正装置。
【請求項６】
カラーの画像データを、色毎の欠陥画素の情報に基づいて補正する欠陥画素補正方法において、
撮影条件を設定する撮影条件設定ステップと、
前記設定した撮影条件に応じて、前記欠陥画素の位置情報が前記カラーの画像データを構成する色毎に記録されている複数の欠陥画素情報のうちの何れかを選択する欠陥画素情報選択ステップと、
前記選択した欠陥画素情報に記録されている欠陥画素の位置情報に基づいて欠陥画素を補正する欠陥画素補正ステップと、
を含むことを特徴とする欠陥画素補正方法。
【請求項７】
請求項６記載の欠陥画素補正方法を実行させるコンピュータが読み取り可能なプログラム。
【請求項８】
請求項７に記載のコンピュータが読み取り可能なプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号中、特に固体撮像素子上に生じる欠陥画素を検出する欠陥検出補正装置、及びプログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
カラーイメージセンサ等を構成する固体撮像素子（以下、「撮像素子」と称す）では、半導体の局部的な結晶欠陥等によって感度が低下したり、あるいは出荷時以降に何らかのストレス要因で発生する傷などに伴って画素欠陥が生じることがある。このような場合、その画素欠陥に起因して画像に白点欠陥や黒点欠陥が生じ、画質が劣化する。このため、撮像素子を利用するデジタルカメラには、予め欠陥画素の位置情報を検出しておき、画像データを取得後にその位置情報に基づいて欠陥画素の出力値を近傍の画素値を使って補正する欠陥画素補正回路が組み込まれている。
【０００３】
ところで、一般的なデジタルカメラでは、画像処理等によって各画素に有するＲＧＢの各出力値を変更した場合については欠陥画像の補正が考慮されていない。例えば、ホワイトバランス処理の時に、増幅前には異常な値を出力せず欠陥画素に該当しないものであっても、そのゲインの大きさによっては欠陥画素に相当するデータを有することになる場合がある。ホワイトバランス補正により欠陥画素に相当することになった画素については欠陥補正対象とされないため、そのまま画像として表示することによりこの画素に起因する白点欠陥が画像上に現れてしまうおそれがある。
【０００４】
そこで、ホワイトバランス補正を考慮した欠陥画素を補正する画像処理装置が知られている（特許文献１）。特許文献１に記載の画像処理装置では、真っ暗な状態で所定時間露光したときに撮像素子のから得られる各画素の出力値が第１閾値以上となる画素の位置情報、その画素位置のＲＧＢ情報及び出力値を欠陥画素候補テーブルに予め記憶しておき、撮影前又は後で行われるホワイトバランスの設定に応答して、ホワイトバランスに応じたゲインを欠陥画素候補テーブルに記載の画素の出力値に乗算し、乗算した値が、前記第１閾値よりも大きい第２閾値を超える画素を欠陥画素として検出して欠陥画素補正を行っている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−１４０６４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の発明では、ホワイトバランスの設定毎に、そのゲインを欠陥候補画素のデジタルデータに乗算する演算と、乗算したデータと第２閾値とを比較して欠陥画素を抽出する比較判定との二つの処理を行う必要があるため、欠陥補正をして画像を得るのに長時間を要してしまい、次の撮影を迅速に行えないおそれがある。
【０００７】
本発明は、上記問題に鑑みてなされたものであり、ホワイトバランス等の撮影条件を考慮して欠陥画素を補正する処理を短時間で行うことができる欠陥画素補正装置、及びプログラム、並びに記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目標を達成するために、本発明では、撮影条件を設定する撮影条件設定手段と、所定の明るさで撮影した時に撮像素子から得られるカラーの画像データに基づいて検出した欠陥画素の位置情報がカラーの画像データを構成する色毎に予め記録されている欠陥画素情報を複数記憶する欠陥画素情報記憶手段と、前記設定した撮影条件に応じて前記複数の欠陥画素情報のうちの何れかの欠陥画素情報を選択する選択手段と、前記選択した欠陥画素情報に記録の欠陥画素の位置情報に基づいて欠陥画素を補正する欠陥画素補正手段と、を備えたものである。
【０００９】
撮影条件としては、ホワイトバランスゲイン、又はＩＳＯ感度が好適である。なお、空格子補間処理（画素補間処理）や連写モード等としてもよい。欠陥画素情報としては、撮影条件に応じて前記色毎に決めた閾値に基づいて検出した欠陥画素の位置情報を記録したメモリマップやテーブルメモリ等としてもよい。
【００１０】
カラーの画像データとしては、３色のカラーフィルタアレイを備えた１個の撮像素子から得られる画像データとしてもよい。この場合、空間周波数が最も高い第１色成分の色情報を出力する複数の画素と、前記第１色成分の色情報を出力せず前記第１色成分よりも空間周波数が低い第２色成分又は第３色成分の色情報を出力する複数の画素と、が２次元配列された撮像素子によって生成される画像データになる。なお、３板式ＣＣＤ等から得られるカラーの画像データとしてもよい。
【００１１】
撮影条件をホワイトバランスにする場合には、所定の明るさで撮影した時に撮像素子から得られるカラーの画像データに対して、色毎に一律の閾値を用いて検出した第１欠陥画素情報と、第２色成分の色情報を他の色情報よりも厳しく判定する閾値を用いて検出した第２欠陥画素情報と、第３色成分の色情報を他の色情報よりも厳しく判定する閾値を用いて検出した第３欠陥画素マップとを前記欠陥画素情報記憶手段に予め記憶しておくとともに、撮影毎に得られるカラーの画像データに基づいて前記第２及び第３色成分の色情報に応じたホワイトバランスゲインを算出するホワイトバランスゲイン算出回路を設け、前記選択手段は、前記二つのホワイトバランスゲインに基づいて第１〜第３欠陥画素情報のうちから何れかを選択するように構成すればよい。
【００１２】
本発明としては、カラーの画像データを、色毎の欠陥画素の情報に基づいて補正する欠陥画素補正方法としてもよい。この場合には、撮影条件を設定する撮影条件設定ステップと、欠陥画素の位置情報が前記カラーの画像データを構成する色毎に記録されている複数の欠陥画素情報のうちの何れかを前記設定した撮影条件に応じて、選択する欠陥画素情報選択ステップと、前記選択した欠陥画素情報に記録されている欠陥画素の位置情報に基づいて欠陥画素を補正する欠陥画素補正ステップと、を含むものである。また、本発明としては、欠陥画素補正方法を実行させるコンピュータが読み取り可能なプログラムとしてもよい。また、コンピュータが読み取り可能なプログラムを記録した記録媒体としてもよい。
【発明の効果】
【００１３】
本発明では、複数の欠陥画素情報のうちの何れかの欠陥画素情報を選択することで撮影条件に影響が生じる欠陥画素を確実に検出することができ、よって、従来技術で説明した演算や比較等の処理を行う必要がないため、撮影条件を考慮した欠陥画素補正を迅速に行うことができる。
【図面の簡単な説明】
【００１４】
【図１】本発明を採用したデジタルカメラの構成を示すブロック図である。
【図２】原色ベイヤー配列のカラーフィルタアレイを示す説明図である。
【図３】撮像素子から得られる１画面分のＣＦＡ画像データを構成する各画素の出力値を二次元配列で概略的に示す説明図である。
【図４】第１欠陥画素マップを概略的に示す説明図である。
【図５】第１欠陥画素マップに代えてテーブルメモリにした別例を示す説明図である。
【図６】第２欠陥画素マップを概略的に示す説明図である。
【図７】第２欠陥画素マップに代えてテーブルメモリにした別例を示す説明図である。
【図８】第３欠陥画素マップを概略的に示す説明図である。
【図９】第３欠陥画素マップに代えてテーブルメモリにした別例を示す説明図である。
【図１０】欠陥画素マップを選択する時に用いる決定テーブルを概略的に示す説明図である。
【図１１】デジタルカメラの動作手順を示すフローチャート図である。
【図１２】撮像素子の感度特定を概略的に示すグラフである。
【図１３】Ｒａｗファイルを記録するデジタルカメラの別の実施形態を示すブロック図である。
【図１４】図１３で説明したカメラで生成されるＲａｗファイルの中身を示す説明図である。
【図１５】図１４で説明したＲａｗファイルを現像するＲａｗファイル現像装置の構成を示すブロック図である。
【図１６】任意のホワイトバランスゲインを設定するデジタルカメラで生成されるＲａｗファイルの中身を示す説明図である。
【図１７】図１６で説明したＲａｗファイルを読み込むとともに、任意のホワイトバランスゲインを設定するようにしたＲａｗファイル現像装置の実施形態を示すブロック図である。
【図１８】欠陥画素レベルマップを記録するＲａｗファイルの構成を概略的に示す説明図である。
【図１９】図１８で説明したＲａｗファイルを読み込むとともに、任意の空格子補間処理を設定するようにしたＲａｗファイル現像装置の実施形態を示すブロック図である。
【図２０】欠陥画素レベルマップの生成するために各画素値を段階的に区分した範囲と各範囲に対応する補正レベルとの関係を示す説明図である。
【図２１】欠陥画素レベルマップの概略を示す説明図である。
【図２２】図２１で説明した補正レベルと欠陥画素マップとの関係を示す説明図である。
【発明を実施するための形態】
【００１５】
デジタルカメラ１０は、図１に示すように、光学系１１、カラーイメージセンサ１２、アナログフロントエンド（以下「ＡＦＥ」と称す）１３、画像処理部１４、画像圧縮部１５、及び記録部１６を備えている。画像処理部１４は、ホワイトバランスゲイン算出回路１７、欠陥画素マップ選択回路１８、欠陥補正回路１９、ホワイトバランス処理回路２０、空格子補間回路２１、及び色変換回路２２等で構成されている。この画像処理部１４には、ワークメモリ用のＲＡＭ２３が接続されている。
【００１６】
光学系１１は、撮影レンズや絞り等で構成されている。カラーイメージセンサ（ベイヤー配列型単板撮像素子）１２は、カラーフィルタアレイ（ＣＦＡ）２４とＣＣＤ等の固体撮像素子（以下「撮像素子」と称す）２５とで構成されており、光学系１１により結像される光学像を光電変換して得られる電荷を受光セル毎に一定時間蓄積し受光セル（画素）毎の受光量に応じた電気信号を出力する。
【００１７】
カラーフィルタアレイ２４は、撮像素子２５の総画素数Ｎに対して、例えば、詳しくは図２に示すように、Ｇ（緑色）の解像度がＮ／２、Ｒ（赤色）及びＢ（青色）の解像度がＮ／４となる原色ベイヤー配列になっている。
【００１８】
ここで、各画素は、Ｇ色を出力する画素と、Ｇ色を出力しない画素とで構成されている。すなわち、撮像素子２５は、空間周波数が最も高い第１色成分の色情報を出力する複数の画素と、第１色成分の色情報を出力せず第１色成分よりも空間周波数が低い第２色成分又は第３色成分の色情報を出力する複数の画素と、を２次元配列したものである。
【００１９】
ＡＦＥ１３は、カラーイメージセンサ１２から出力されるアナログの電気信号をデジタルに変換してＣＦＡ画像データとして出力するとともに、デジタル変換に際してノイズ除去等の処理を施す。
【００２０】
ホワイトバランスゲイン算出回路１７は、ＣＦＡ画像データに基づいて、例えば３色のうちのＲ（赤色）及びＢ（青色）の色情報を、Ｇ（緑色）の色情報のピークレベルと等しくなるように調整するために、ホワイトバランス補正処理の時にＲＧＢの各値に乗算する係数、すなわちホワイトバランスゲインを算出する。このホワイトバランス調整量は、Ｒ／Ｇゲイン（緑色に対する赤色のゲイン）の値ＷＲと、Ｂ／Ｇゲイン（緑色に対する青色のゲイン）の値ＷＢとで構成されている。
【００２１】
一例として、ホワイトバランスゲイン算出回路１７は、ＪＩＳＺ８７２５の「光源の分布温度及び色温度・相関色温度の測定方法」に従ってＣＦＡ画像データをＴＣ−Ｄｕｖ座標のデータに変換し、画像データにおける無彩色部分を判定する。そして、座標変換後のデータが無彩色と判定された場合には、ホワイトバランスゲイン算出回路１７は、ＴＣ−Ｄｕｖ座標から求まる相関色温度を所定の色温度−ホワイトバランスゲインの関係式に当てはめてＧに対するＲ及びＢのホワイトバランスゲインＷＲ，ＷＢを算出する。
【００２２】
ホワイトバランスゲインＷＲ，ＷＢの情報は、欠陥画素マップ選択回路１８とホワイトバランス処理回路２０とにそれぞれ送られる。欠陥画素マップ選択回路１８は、第１ないし第３の欠陥画素マップ２７〜２９を記憶する記憶部３０を有し、算出した２つのホワイトバランスゲインＷＲ，ＷＢに基づいて第１ないし第３の欠陥画素マップ２７〜２９のうちのいずれかを選択する。
【００２３】
各欠陥画素マップ２７〜２９には、予め決めた閾値に基づいて検出した欠陥画素の位置情報が予め記録されている。閾値は、色温度や光源の分光放射強度で決まる撮影光源に応じて色毎に決められている。これは、撮像素子２５の分光感度と撮影光源との関係によりＲ又はＢの画素位置での白点欠陥の影響が他色の画素位置での白点欠陥の影響と異なるためである。
【００２４】
欠陥補正回路１９は、選択した欠陥画素マップ２７〜２９に記録されている欠陥画素を補正する。ホワイトバランス処理回路２０は、無彩色の被写体が無彩色な被写体の画像になるように、ホワイトバランスゲイン算出回路１７で算出した２つのホワイトバランスゲインＷＲ，ＷＢを、対応する色の画素値に乗算する。
【００２５】
空格子補間回路２１は、ＣＦＡ画像データがＲＧＢのいずれか１つのデータであることから、各画素につき周りの画素の色から推測することによりその画素以外の色を補う処理（画素補間処理）を行ってＲＧＢ画像データを作る。
【００２６】
ここで用いる補間方法としては、ＣＦＡ画像データから輝度成分画像を生成して空格子補間を行ってもよい。また、代わりに、周知の色相を保つ補間法、メジアン処理による補間法、勾配に基づく補間法、及び、適応型カラーブレーン補間法(ＡＣＰＩ)等のいずれかの補間法を用いることができる。
【００２７】
得られたＲＢＧ画像データは、撮像素子２５の感度特性に基づくデータである。そこで、色変換回路２２は、ＲＧＢ画像データに対して表示に適したＳＲＧＢ等の色変換や階調変換等を行う。
【００２８】
画像圧縮部１５は、ＳＲＧＢ画像データを非可逆圧縮方式、例えばＪＰＥＧ方式により符号化して圧縮画像データを作る。記録部１６は、圧縮画像データを、例えば内部メモリ、又は着脱可能なメモリカード等に記録する。
【００２９】
次に、上記構成の作用を簡単に説明する。デジタルカメラ１０の組立工場には、欠陥画素マップ生成手段と、書き込み手段とを備えている。欠陥画素マップ生成手段は、撮影光源に応じて複数の欠陥画素マップ２７〜２９を予め生成し、書き込み手段は、生成した欠陥画素マップ２７〜２９をデジタルカメラ１０の記憶部３０に記録する。
【００３０】
欠陥画素マップ２７〜２９は、予め撮像して得られるＣＦＡ画像データに基づいて、撮像素子２５の各画素のうちの異常な値を出力する画素を抽出し、抽出した欠陥画素のみの位置情報をテーブルとして記録したものである。
【００３１】
具体的には、真っ暗な状態で所定時間露光した時に撮像素子２５の各画素から出力されるＣＦＡ画像データを１２ビットのデジタルデータとして示した値と、予め決めた閾値とを比較し、前記閾値を超える値の画素を欠陥画素として抽出し、その抽出した欠陥画素の位置情報を記憶する。
【００３２】
例えば、ＣＦＡ画像データが、図３に示すように得られたものとする。ここで、図３における数字がデジタルデータである。このＣＦＡ画像データに基づいて、撮影光源に応じた欠陥画素の位置情報を持つ第１〜第３の欠陥画素マップ２７〜２９を作る。
【００３３】
例えば、第１欠陥画素マップ２７は、ＲＧＢの区別無く欠陥画素を抽出してそれらの位置情報を記録したテーブルである。このときに用いる閾値は、全て一律にした値、すなわち「ＴＲ」＝「ＴＧ」＝「ＴＢ」との関係になっている。ここで、「ＴＲ」はＲ画素用の閾値、「ＴＧ」はＧ画素用の閾値、ＴＢはＢ画素用の閾値である。ここで、閾値「ＴＲ」，「ＴＧ」，「ＴＢ」を、例えば「１５０」に設定すると、第１欠陥画素マップ２７は、例えば図４に示す「×」の画素位置を、欠陥画素を表す「１」とし、「×」以外の正常画素を「０」とするマップになる。なお、第１欠陥画素情報としては、マップ２７に限らず、例えば、図５に示すように、欠陥画素の位置情報のみを記録するテーブルとしてもよい。
【００３４】
第２欠陥画素マップ２８には、Ｒ画素の判定基準を厳しくして欠陥画素を抽出してそれらの位置情報を記録したテーブルである。このときに用いる閾値は、「ＫＲ」×「ＴＲ」＝「ＴＧ」＝「ＴＢ」との関係になっている。なお、「ＫＲ」は、「１」以下の定数である。ここで、前述した閾値「ＴＲ」，「ＴＧ」，「ＴＢ」を、例えば「１５０」に設定し、そして「ＫＲ」を例えば「０．７」に設定すると、Ｇ及びＢ画素用の閾値「ＴＧ」，「ＴＢ」が「１５０」であるのに対し、Ｒ画素用の閾値は「ＫＲ」×「ＴＲ」なので「１０５」となる。したがって、図６に示すように、「×」の画素位置が欠陥画素として検出される。このときに検出した欠陥画素は、第１欠陥画素マップ２７に対してＲ画素だけ厳しく検出されており、第２欠陥画素マップ２８は、例えば図６に示す「×」の画素位置を、欠陥画素を表す「１」とし、「×」以外の正常画素を「０」とするマップになる。なお、前述したように、第２欠陥画素情報としては、図７に示すように、欠陥画素の位置情報のみを記録するテーブルとしてもよい。
【００３５】
第３欠陥画素マップには、Ｂ画素の判定基準を厳しくして欠陥画素を抽出してそれらの位置情報を記録したテーブルである。このときに用いる閾値は、「ＴＲ」＝「ＴＧ」＝「ＴＢ」×「ＫＲ」との関係になっている。なお、「ＫＲ」は、「１」以下の定数である。ここで、前述した閾値「ＴＲ」，「ＴＧ」，「ＴＢ」を「１５０」、そして「ＫＲ」を「０．７」とすると、Ｒ及びＧ画素用の閾値「ＴＲ」，「ＴＧ」は「１５０」、Ｂ画素用の閾値は、「ＫＲ」×「ＴＢ」なので「１０５」となる。したがって、図８に示す「×」の画素位置が欠陥画素として検出される。このときに検出した欠陥画素は、第１欠陥画素マップ２７に対してＢ画素だけ厳しく検出されており、第３欠陥画素マップ２９は、図８に示す「×」の画素位置を、欠陥画素を表す「１」とし、「×」以外の正常画素を「０」とするマップになる。なお、第３欠陥画素情報も、マップに限らず、例えば、図９に示すように、欠陥画素の位置情報のみを記録するテーブルとしてもよい。
【００３６】
欠陥画素マップ選択回路１８は、撮影光源により決まる２つのホワイトバランスゲインＷＲ，ＷＢに基づいて、複数の欠陥画素マップ２７〜２９のうちの何れか一つ、又は何れかを組み合わせたものを選択する。
【００３７】
マップを選択するときには、例えば、図１０に示すように、２つのホワイトバランスゲインＷＲ，ＷＢのうちの一方を縦軸に他方を横軸にとり、横軸と縦軸の範囲に応じて欠陥画素マップ２７〜２９を割り当てた決定テーブルを用いる。この決定テーブルは、予め記憶部３０に記憶されている。
【００３８】
決定テーブルは、Ｂ画素用のホワイトバランスゲインＷＢが「０」〜「１．８」の範囲で、かつＲ画素用のホワイトバランスゲインＷＲが「０」〜「１．８」の範囲のときに第１欠陥画素マップ（Ｍａｐ１）を選択する。また、Ｂ画素用のホワイトバランスゲインＷＢが「１．８」〜「３」の範囲で、かつＲ画素用のホワイトバランスゲインＷＲが「０」〜「１．８」の範囲のときに第２欠陥画素マップ（Ｍｐａ２）を選択する。さらに、Ｂ画素用のホワイトバランスゲインＷＢが「０」〜「１．８」の範囲で、かつＲ画素用のホワイトバランスゲインＷＲが「１．８」〜「３」の範囲のときに第３欠陥画素マップ（Ｍａｐ３）が選択される。そして、Ｂ画素用のホワイトバランスゲインＷＢが「１．８」〜「３」の範囲で、かつＲ画素用のホワイトバランスゲインＷＲが「１．８」〜「３」の範囲のときには、第２及び第３欠陥画素マップ（Ｍａｐ２＋Ｍａｐ３）が選択される。この場合、第２及び第３欠陥画素マップとの論理和（ＯＲ）で得られる欠陥画素の位置情報、すなわち第２及び第３欠陥画素マップの欠陥画素の位置情報のうちの少なくともいずれかを含む位置情報で、かつ第２又は第３欠陥画素マップで得られる位置情報を欠陥画素とする。
【００３９】
次に、デジタルカメラ１０の作用を、図１１を参照しながら説明する。シャッタレリーズに応答して撮像素子２５から取り込んだＣＦＡ画像データは、ＡＦＥ１３を介してホワイトバランスゲイン算出回路１７と欠陥補正回路１９に取り込まれる。ホワイトバランスゲイン算出回路１７は、ＣＦＡ画像データに基づいてホワイトバランスゲインＷＲ，ＷＢを自動的に算出する。
【００４０】
例えば、図１２に示す分光感度特性を有する撮像素子２５を用いて、ＣＩＥ標準光源Ｄ６５の環境下で撮影したＣＦＡ画像データの場合には、ホワイトバランスゲイン「ＷＲ」が略「２．０８」、「ＷＢ」が略「１．２５」になる。また、ＣＩＥ標準光源Ａの環境下で撮影したＣＦＡ画像データの場合には、ホワイトバランスゲイン「ＷＲ」が略「１．０１」、「ＷＢ」が略「２．８９」になる。なお、ＣＩＥ標準光源Ａの環境下で撮影したＣＦＡ画像データの場合には、Ｒ，Ｇ，Ｂ各色の画像データを無彩色の被写体に完全に揃えることはせずに、光源の影響を残す場合もある。この場合には、「ＷＲ」＞「１．０１」、及び、「ＷＢ」＜「２．８９」を満たすようにすればよい。このようにホワイトバランスゲインＷＲ，ＷＢは、撮像素子２５の分光感度とＣＦＡ画像データから得られる所定の光源の分光強度とに基づいて算出される。
【００４１】
ホワイトバランスゲイン算出回路１７は、算出したホワイトバランスゲインＷＲ，ＷＢの情報を欠陥画素マップ選択回路１８とホワイトバランス処理回路２０とに送る。欠陥画素マップ選択回路１８は、２つのホワイトバランスゲインＷＲ，ＷＢに基づいて欠陥画素マップ２７〜２９を選択する。
【００４２】
例えばホワイトバランスゲイン「ＷＲ」が略「２．０８」、かつ「ＷＢ」が略「１．２５」の場合には、図１０で説明したように「Ｍａｐ２」、すなわち第２欠陥画素マップ２８が選択され、また、ホワイトバランスゲイン「ＷＲ」が略「１．０１」、かつ「ＷＢ」が略「２．８９」の場合には、「Ｍａｐ３」、すなわち第３欠陥画素マップ２９が選択される。選択した欠陥画素マップ２７〜２９は、欠陥補正回路１９に送られる。
【００４３】
欠陥補正回路１９は、欠陥画素マップ２７〜２９に対してＣＦＡ画像データを照合させて、ＣＦＡ画像データ上での欠陥画素の位置を検出し、検出した欠陥画素に対して近接する同色の４つの画素位置のデジタルデータの平均値を、その欠陥画素のデジタルデータとして置き換えて欠陥画素補正を行う。なお、マップではなく欠陥画素テーブルを用いる場合には、選択したテーブルに記載の欠陥画素の位置情報を読み出してＣＦＡ画像データ上での欠陥画素の位置を検出すればよい。
【００４４】
その後、ホワイトバランス処理回路２０がホワイトバランス処理を行う。ホワイトバランス処理回路２０は、算出したホワイトバランスゲインＷＲ，ＷＢを、Ｒ画素、Ｂ画素の各デジタルデータに乗算する。
【００４５】
続いて、空格子補間回路２１により画素補間処理が実行されてＲＧＢ画像データが作られ、その後、色変換回路２２によりＲＧＢ画像データに基づいてＳＲＧＢ画像データへの色変換処理等が実行される。色変換処理を実行した後には、画像圧縮部１５によりＳＲＧＢ画像データを圧縮して圧縮画像データを作る。この圧縮画像データは、記録部１６により、例えば内部メモリやメモリカード等に記録される。
【００４６】
上記実施形態では、撮像素子２５としては、ＣＣＤとして説明しているが、本発明ではこれに限らず、ＭＯＳタイプの撮像素子でもよい。また、本発明は、デジタルカメラ１０に限らす、ビデオカメラ、テレビカメラ、カメラ付き携帯電話、防犯用モニタカメラ、及びスキャナー等の画像形成装置に採用することができる。
【００４７】
また、ＣＦＡ２４もベイヤー配列以外の種々のＣＦＡを用いても良い。さらに、ＲＧＢ３色のベイヤー配列のＣＦＡ２４について説明しているが、ＣＦＡが４色以上の場合にも本発明は適用可能である。
【００４８】
上記実施形態では、オートホワイトバランス機能を備えたデジタルカメラ１０について説明しているが、ユーザが所望するホワイトバランスモードを設定するホワイトバランスモード設定手段を設けてもよい。この場合には、ホワイトバランスモードに関連付けしたホワイトバランスゲインを予め記憶するゲイン記憶部と、設定したホワイトバランスモードに応じてゲイン記録部からホワイトバランスゲインを選択するゲイン選択部とを設ける。ゲイン選択部は、選択したホワイトバランスゲインの情報を欠陥画素マップ選択回路１８とホワイトバランス処理回路２０とに送ればよい。また、ゲイン入力手段を設け、ゲイン入力手段によりユーザが任意のホワイトバランスゲインを入力するようにしてもよい。
【００４９】
また、上記各実施形態では、欠陥補正回路１９として、欠陥画素と同じ色の隣接画素値をもって欠陥画素の位置の画素値とする処理を行っているが、これに限らず、近傍の画素間の相関を調べ、相関の有る方向の同じ色の画素値を補間して欠陥画素の位置の画素値とする処理を行っても良い。
【００５０】
上記各実施形態では、ＣＦＡ画像データに対してホワイトバランス処理や空格子補間処理、及び色変換処理等を施してフルカラー画像を作り出すデモザイク処理を行い、完成した画像データに対してＪＰＥＧ等の汎用の圧縮画像フォーマットで保存しているが、本発明ではこれに限らず、デモザイク処理前の生データをそのままファイル保存する機能を持つデジタルカメラにも採用することができる。
【００５１】
この場合には、算出したホワイトバランスゲインと、欠陥画素マップ選択回路で選択した欠陥画素マップとを、生データにそれぞれ関連付けして保存すればよい。
【００５２】
このようなデジタルカメラ３１は、例えば、図１３に示すように、光学系１１、カラーイメージセンサ１２、Ａ／Ｄ３２、画像処理部３３、及び記録部３４で構成されており、画像処理部３３は、ホワイトバランスゲイン算出回路３５、欠陥画素マップ選択回路３６、画像圧縮回路３７、及びファイル出力回路３８で構成されている。
【００５３】
Ａ／Ｄ３２は、デジタルに変換した生のＣＦＡ画像データをホワイトバランスゲイン算出回路３５と画像圧縮回路３７とに出力する。ホワイトバランスゲイン算出回路３５は、前述したようにＣＦＡ画像データに基づいてホワイトバランスゲインＷＲ，ＷＢを算出し、算出したホワイトバランスゲインＷＲ，ＷＢを欠陥画素マップ選択回路３６とファイル出力回路３８とに送る。欠陥画素マップ選択回路３６は、ホワイトバランスゲインＷＲ，ＷＢに基づいて、記憶部３９に記憶した複数の欠陥画素マップ２７〜２９のうちの何れかを選択し、選択した欠陥画素マップ２７〜２９をファイル出力回路３８に送る。
【００５４】
画像圧縮回路３７は、ＣＦＡ画像データを可逆圧縮もしくは非可逆圧縮（高ビットレート）してファイル出力回路３８に出力する。ファイル出力回路３８は、図１４に示すように、ＣＦＡ圧縮画像データと、これにホワイトバランスゲインＷＲ，ＷＢ、及び選択した欠陥画素マップをそれぞれ関連付けして一つのファイルに記録してＲａｗファイルとして出力する。記録部３４はＲａｗファイルを例えば、内部メモリやメモリカードに記録する。
【００５５】
Ｒａｗファイルは、Ｒａｗファイル現像装置により現像される。例えば、図１５に示すＲａｗファイル現像装置４０は、Ｒａｗファイル格納部４１、現像処理実行部４２、及び表示部４３等を備えている。デジタルカメラ３１に記録されたＲａｗファイルは、入力部４４からの転送指示によりインタフェースを介してＲａｗファイル格納部４１に転送される。
【００５６】
現像処理実行部４２は、欠陥画素補正処理４５、ホワイトバランス処理４６、画素補間処理４７、及び色変換処理４８等からなるプログラムで構成されており、これらプログラムは、ハードディスク等の記録媒体に記録されている。入力部４４からＲａｗファイルの現像指示が入力されると、欠陥画素補正処理４５は、Ｒａｗファイルに記録されているＣＦＡ画像データと欠陥画素マップとを読み出し、前記ＣＦＡ画像データに対して前記欠陥画素マップに記録の欠陥画素の位置情報に従って欠陥補正を行う。Ｒａｗファイルに記録の欠陥画素マップは、デジタルカメラ３１で算出したホワイトバランスゲインに基づいて選択した欠陥画素マップである。
【００５７】
その後、ホワイトバランス処理４６は、Ｒａｗファイルに記録されているホワイトバランスゲインＷＢ，ＷＲを読み出し、欠陥画素補正済みのＣＦＡ画像データのうちのＢ，Ｒの各画素値に対してホワイトバランスゲインＷＢ，ＷＲを乗算してホワイトバランス処理を行う。その後、画素補間処理４７は、ホワイトバランス処理済みのＣＦＡ画像データに基づいてＲＧＢ画像データを作り、色変換処理部位は、ＲＧＢ画像データに基づいてＳＲＧＢ変換を行う。このＳＲＧＢ画像データに基づいて表示部４３に画像が表示される。
【００５８】
ところで、デジタルカメラ３１で算出したホワイトバランスゲインＷＢ，ＷＲを使用せずに、ユーザが入力部４４を介して所望するホワイトバランスゲインＷＢ，ＷＲを入力してホワイトバランス処理を行う場合がある。この場合には、デジタルカメラ３１側では、選択した欠陥画素マップのみではなく、図１６に示すように、記憶部３９に記録されている全ての欠陥画素マップ２７〜２９を、ファイル出力回路３８がＲａｗファイルの中に記録するように構成する。
【００５９】
この場合、図１７に示すように、Ｒａｗファイル現像装置５０には、現像処理実行部５１に欠陥画素マップ選択部５２を設ける。欠陥画素マップ選択部５２は、ホワイトバランスゲイン入力部５３で指定されたホワイトバランスゲインに基づいて、Ｒａｗファイルから読み出した複数の欠陥画素マップ２７〜２９の中から何れかの欠陥画素マップを選択する。欠陥画素補正処理４５は、Ｒａｗファイルから読み出したＣＦＡ画像データに対して、選択した欠陥画素マップに基づいて欠陥画素補正を行う。ホワイトバランス処理４６は、欠陥画素補正済みのＣＦＡ画像データに対して、指定のホワイトバランスゲインを乗算する。
【００６０】
上記各実施形態は、ホワイトバランスゲインに基づいて欠陥画素マップを選択するように構成しているが、本発明ではこれに限らず、欠陥画素の画質への影響は空格子補間処理（画素補間処理）によっても異なるため、空格子補間処理に応じて欠陥画素マップを選択するように構成してもよい。
【００６１】
例えば、以下のような空格子補間処理がある。この処理は、前述したＣＦＡ画像データのＲ、及びＢ画素位置において、上下のＧ画素の相関と左右のＧ画素の相関とを調べ、相関の高い方のＧ画素の平均を当該画素位置のＧ画素値としてＧの補間を行い、Ｒ画素位置、Ｂ画素位置にて色差ＣＲ＝（Ｒ−Ｇ）及びＣＢ＝（Ｂ−Ｇ）をそれぞれ計算した後にＣＲ，ＣＢを補間して各が素でＧ，ＣＲ，ＣＢを求めて、Ｒ＝ＣＲ＋Ｇ，Ｂ＝ＣＢ＋Ｂから各画素のＲ，Ｇ，Ｂを求める方法である。
【００６２】
このような空格子補間処理を行う場合には、Ｇの白点欠陥はそのまま残るのに対し、Ｒ及びＢ画素の白点欠陥は、補間による平滑化のためにぼやけてしまい、画質への影響が小さくなるため、以下のような欠陥画素マップを作るのが好ましい。
【００６３】
例えば、図１０で説明した第１欠陥画素マップとしては、Ｇ画素を厳しく検出するために、「ＴＲ」＝「ＫＧ」×「ＴＧ」＝「ＴＢ」とした閾値を設定して欠陥画素を検出したマップとする。ここで、「ＴＲ」はＲ画素用の閾値、「ＴＧ」はＧ画素用の閾値、「ＴＢ」はＢ画素用の閾値である。なお、「ＫＲ」は、「１」以下の定数である。
【００６４】
第２欠陥画素マップとしては、Ｇ画素及びＢ画素を厳しく検出するために、「ＴＲ」＝「ＫＧ」×「ＴＧ」＝「ＫＧ」×「ＴＢ」とした閾値を設定して欠陥画素を検出したマップとする。
【００６５】
第３欠陥画素マップとしては、Ｒ画素及びＧ画素を厳しく検出するために、「ＫＧ」×「ＴＲ」＝「ＫＧ」×「ＴＧ」＝「ＴＢ」とした閾値を設定して欠陥画素を検出したマップとする。なお、Ｂ画素の白点欠陥は見えにくいため、第３欠陥画素マップとしては、「ＴＲ」＝「ＫＧ」×「ＴＧ」＝「ＴＢ」との閾値を設定して欠陥画素を検出したマップ、すなわち第１欠陥画素マップと同じにしてもよい。
【００６６】
これによれば、空格子補間処理に応じて複数の欠陥画素マップを作り、複数の欠陥画素マップの中からホワイトバランスゲインに基づいて何れかのマップを選択して欠陥画素補正を行う。
【００６７】
また、複数の空格子補間処理のうちの何れかの処理を選択する空格子補間選択部をＲａｗファイル現像装置に設けてもよい。
【００６８】
この場合、例えば、デジタルカメラ３１では、遮光撮影した時の全画素のデジタルデータに基づいて生成した欠陥画素レベルマップ６０（図１３参照）を、工場出荷時に記憶部３９に記憶しておき、撮影毎にＣＦＡ画像データとともに欠陥画素レベルマップ６０をＲａｗファイルの中に記録する。したがって、このときに作られるＲａｗファイルには、図１８に示すように、ＣＦＡ画像データ等とともに欠陥画素レベルマップ６０が記録される。
【００６９】
Ｒａｗファイル現像装置６５では、図１９に示すように、欠陥画素レベル選択部６９を設ける。欠陥画素レベル選択部６９は、Ｒａｗファイルから欠陥画素レベルマップ６０を読み出すとともに、欠陥画素レベルマップ６０に基づいて、空格子補間処理選択部７０で選択した空格子補間処理に応じた欠陥画素を検出する。その後は、前述したように欠陥画素補正処理４５が欠陥画素の位置情報に基づいて欠陥画素を補正する。
【００７０】
欠陥画素レベルマップ６０は、図２０に示すように、欠陥画素補正を行うための条件に応じて各画素値を７段階の範囲に区分し、各区分を補正レベル「０」〜「６」に対応付け、図２１に示すように、各画素位置に補正レベルを表す数字を付与したマップになる。
【００７１】
ここで、例えば補正レベル「０」は、補正の必要のない画素を表し、補正レベル「１」は、当該画素で白点欠陥が目立ちやすい場合で、かつ白点欠陥が目立ちやすい被写体画像の場合に、補正した方が好ましい画素を表す。補正レベル「２」は、当該画素で白点欠陥が目立ちやすい場合に、補正した方が好ましい画素を表す。補正レベル「３」は、当該画素で白点欠陥が目立ち難い場合で、かつ白点欠陥が目立ちやすい被写体画像の場合に補正した方が好ましい画素を表す。そして、補正レベル「４」〜「６」は、当該画素で白点欠陥が目立ち難い場合でも補正した方が好ましい画素を表す。ここで、白点欠陥が目立ちやすい被写体画像とは、暗くて平坦な（フラットな）被写体画像、すなわち輝度変化や色変化の少ない画像である。
【００７２】
したがって、欠陥画素レベル選択部６９は、Ｒａｗファイルから読み出した欠陥画素レベルマップのうち、選択された空格子補間処理に適した補正レベルを選択し、選択した補正レベルの範囲に出力値が含まれる画素位置を欠陥画素として検出する。この場合、図２２に示すように、補正レベル毎に欠陥画素の位置情報を記載した欠陥画素マップ１〜７があるものと解すことができるため、欠陥画素レベル選択部６９は、複数の欠陥画素マップ１〜７の中から何れかを選択する欠陥画素情報選択手段に相当する。
【００７３】
このような欠陥画素レベルマップを記憶しておくことで、画素補間方法における欠陥画素の影響度、ホワイトバランスゲイン、色変換処理、及び画像データに写る被写体の情報等に基づいて、欠陥画素レベルマップから補正対象となる欠陥画素の位置情報を記載した欠陥画素マップ１〜７を選ぶことができる。なお、この場合、欠陥画素マップ１〜７のうちの一つを選択する以外に、例えば欠陥画素マップ５〜７というように、複数を選択してもよい。
【００７４】
上記実施形態では、撮影条件として空格子（画素）補間方法、ホワイトバランスゲイン、色変換処理、及び画像データに写る被写体の情報等に応じて欠陥画素マップを選択しているが、他の撮影条件、例えばＩＳＯ感度や連写モード等に基づいて欠陥画素マップを選択するように構成してもよい。
【００７５】
ＩＳＯ感度に基づく場合には、デジタルカメラ側で予め決めた閾値を超える高感度が設定された場合、遮光状態で撮影した各色の画素値を厳しく判定した欠陥画素マップを選択し、また閾値未満の低感度が設定された場合には、前記各色の画素値を緩く判定した欠陥画素マップを選択するように構成するのが好適である。なお、逆に高感度の場合には緩く判定した欠陥画素マップを、また低感度の場合には厳しく判定した欠陥画素マップを選択するように構成してもよい。
【００７６】
また、連写モードが設定された場合には、単写モードに比べて緩く判定した欠陥画素マップを選択するように構成するのが好ましい。
【００７７】
上記各実施形態では、白点欠陥の補正について説明しているが、黒点欠陥の補正にも本発明を採用することができる。黒点欠陥を補正する場合には、絞りやシャッターを所定量に開放して所定の露出条件で撮像し、この撮像で得られたＣＦＡ画像データを用いて、撮影条件に応じて色毎に決めた閾値に基づいて黒点欠陥を検出した欠陥画素情報を複数生成すればよい。この場合、各色に設定される閾値は、画素値のうちの正常な範囲の画素値を下回る値に設定し、閾値未満の値を有する画素を黒点欠陥として検出すればよい。
【００７８】
上記各実施形態では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【符号の説明】
【００７９】
１０，３１  デジタルカメラ
１７，３５  ホワイトバランスゲイン算出回路
１８，３６  欠陥画素マップ選択回路
４０，５０，６５  Ｒａｗファイル現像装置
【図１】
2012065069.tif 000003
【図２】
2012065069.tif 000004
【図３】
2012065069.tif 000005
【図４】
2012065069.tif 000006
【図５】
2012065069.tif 000007
【図６】
2012065069.tif 000008
【図７】
2012065069.tif 000009
【図８】
2012065069.tif 000010
【図９】
2012065069.tif 000011
【図１０】
2012065069.tif 000012
【図１１】
2012065069.tif 000013
【図１２】
2012065069.tif 000014
【図１３】
2012065069.tif 000015
【図１４】
2012065069.tif 000016
【図１５】
2012065069.tif 000017
【図１６】
2012065069.tif 000018
【図１７】
2012065069.tif 000019
【図１８】
2012065069.tif 000020
【図１９】
2012065069.tif 000021
【図２０】
2012065069.tif 000022
【図２１】
2012065069.tif 000023
【図２２】
2012065069.tif 000024