(57)【特許請求の範囲】
【請求項１】
２次元状に配置された複数の画素を有し被写体像を取得する撮像手段と、
前記複数の画素のうち欠陥画素の位置情報を予め記憶する欠陥画素記憶手段と、
前記欠陥画素の出力する信号値を補正する欠陥画素補正手段とを有し、
前記欠陥画素補正手段は、
連続して存在する複数の前記欠陥画素からなる欠陥画素群から、周囲に最も多くの正常画素と隣接する前記欠陥画素を注目画素として選択し、
前記注目画素を略中心にして、周囲の複数の画素を含む置換範囲及び前記置換範囲よりも広い探索範囲、並びに、前記置換範囲を包含し且つ前記探索範囲よりも狭い範囲の画素からなる注目ブロックを設定し、
前記探索範囲から前記注目ブロックと同一形状の比較ブロックを全て抽出し、
前記注目ブロックと複数の前記比較ブロックとの相関度を決定し、
前記置換範囲に含まれる前記欠陥画素群内の複数の前記欠陥画素からなる注目画素群について、前記相関度に基づいて選択された少なくとも１つ以上の前記比較ブロック中の正常画素の信号値を用いて、前記注目画素群の信号値の補正を行うことを特徴とする撮像装置。
【請求項２】
前記比較ブロックは全て正常画素のみからなることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記欠陥画素群のうち、所定値よりも大きい前記欠陥画素群を前記所定値よりも小さい複数の前記欠陥画素群に分割することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記補正が完了した前記注目画素群の位置情報について更新した前記欠陥画素の位置情報を生成し、前記欠陥画素群内の他の注目画素群の補正時に前記更新された位置情報を用いることを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
【請求項５】
前記相関度は、前記注目ブロック内の正常画素の信号値と、前記注目ブロック内の正常画素と所定の位置関係にある複数の前記比較ブロック内の正常画素の信号値との差分値の絶対値のｓ乗の総和に基づいて算出することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【請求項６】
前記相関度は、前記注目ブロックと複数の前記比較ブロックとの間のブロック間距離に応じた重み付けにより算出することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
【請求項７】
前記注目画素群の補正後の信号値は、前記相関度の最も高い前記比較ブロックにおいて、前記注目画素群を構成する複数の前記欠陥画素と所定の位置関係にある複数の正常画素の信号値とすることを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
【請求項８】
前記注目画素群の補正後の信号値は、前記相関度が所定のしきい値以上の少なくとも２つ以上の前記比較ブロックにおいて、前記注目画素群を構成する複数の前記欠陥画素と所定の位置関係にある複数の正常画素の信号値の加重平均値とすることを特徴とする請求項１乃至６のいずれかに記載の撮像装置。
【請求項９】
前記複数の画素はそれぞれ深さ方向に複数の受光部を有し、
前記撮像手段はカラーフィルタを有さない垂直色分離型の撮像手段であり、
前記欠陥画素群は、少なくとも１つ以上の同一深さの前記受光部に欠陥を有する複数の前記欠陥画素からなり、
前記欠陥画素補正手段は、前記相関度に基づいて選択された少なくとも１つ以上の前記比較ブロック中の同一深さの正常な前記受光部の信号値を用いて、前記注目画素群中の欠陥を有する前記受光部の信号値の補正を行うことを特徴とする請求項１乃至８のいずれかに記載の撮像装置。
【請求項１０】
前記欠陥画素補正手段は、さらに、前記相関度に基づいて選択された少なくとも１つ以上の前記比較ブロック中の同一深さの正常な前記受光部の信号値を用いて、前記注目画素群中の欠陥を有する前記受光部と異なる深さの正常な前記受光部の信号値の補正を行うことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記相関度は、前記注目ブロック内の複数の前記受光部のうち欠陥を有さない前記受光部の信号値と、欠陥を有さない前記受光部と同一深さ且つ所定の位置関係にある複数の前記比較ブロック内の正常な前記受光部の信号値との差分値のｓ乗の総和に基づいて算出することを特徴とする請求項９に記載の撮像装置。
【請求項１２】
前記所定の位置関係とは、０度回転、９０度回転、１８０度回転、２７０度回転、上下反転、又は左右反転の少なくともいずれかを行った前記比較ブロックと、前記注目ブロックとの間の位置関係であることを特徴とする請求項５，７，８，１１のいずれかに記載の撮像装置。
【請求項１３】
連続して存在する複数の欠陥画素からなる欠陥画素群から、周囲に最も多くの正常画素と隣接する前記欠陥画素を注目画素として選択する工程と、
前記注目画素を略中心にして、周囲の複数の画素を含む置換範囲及び前記置換範囲よりも広い探索範囲、並びに、前記置換範囲を包含し且つ前記探索範囲よりも狭い範囲の画素からなる注目ブロックを設定する工程と、
前記探索範囲から前記注目ブロックと同一形状で全て正常画素のみからなる比較ブロックを全て抽出し、前記注目ブロックと複数の前記比較ブロックとの相関度を決定する工程と、
前記置換範囲に含まれる前記欠陥画素群内の複数の前記欠陥画素からなる注目画素群について、前記相関度に基づいて選択された少なくとも１つ以上の前記比較ブロック中の正常画素の信号値を用いて、前記注目画素群の信号値の補正を行う工程とを有すること特徴とする欠陥画素補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子中の欠陥画素群を補正可能な撮像装置及び欠陥画素補正方法に関する。
【背景技術】
【０００２】
一般に、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサやＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）等の半導体で形成される撮像素子には、半導体の局所的な結晶欠陥等により生じる、いわゆる欠陥画素が複数含まれることがある。欠陥画素を有する撮像素子を用いて撮像を行った場合、欠陥画素からは正常な画像信号が出力されず、得られた画像の画質劣化の要因となる。
【０００３】
広く普及しているベイヤー型のカラーフィルタを搭載した撮像素子を備えた撮像装置では、欠陥画素の補正に際してカラーフィルタの存在を考慮する必要がある。そのため、単独の欠陥画素補正の従来の手法としては、予め欠陥画素の位置情報を撮像装置の内部メモリ等に格納しておき、欠陥画素の周囲にある画素のうち、欠陥画素と同一のカラーフィルタを有する正常画素の信号値の平均によって欠陥画素の信号値を置き換えるのが一般的である。しかしながら、このような補正を行う場合、欠陥画素と同色のカラーフィルタを有する隣接画素が少なくなるため、高精度な方向検出ができないことがある。
【０００４】
例えば、特許文献１に開示の発明では、ユーザに撮像装置を出荷する前に欠陥画素の位置情報をメモリ等に記憶させておき、欠陥画素からの出力値を補正回路によって周辺画素の出力信号を用いて生成した補正信号に置換する。さらに、所定サイズの周囲画素から所定方向の相関値を求め、その相関が最大になる方向に属する周囲画素を用いて、欠陥画素の補正値を算出する。これにより、画像のパターンや画素の配列による制約を最小限にして高品質な欠陥画素の補正を行えるようにした欠陥画素補正装置を提供できる、としている。
【０００５】
一方で、近年の撮像素子の高画素化に伴い、単独の欠陥画素に限らず、複数の欠陥画素が連結することで、水平または垂直方向の１本のライン全ての画素が欠陥画素となったり、２次元的に連続する塊状の画素が欠陥画素となる場合がある。このような欠陥画素群が形成された場合、単独の欠陥画素を補正する場合と比べて、ある欠陥画素に隣接する画素のうち正常画素の占める割合が大きく減少することになり、補正精度が低下してしまう。
【０００６】
これはすなわち、画素単独の距離的な情報（例えば周辺画素の平均値）を用いるだけでは満足な補正結果が得にくいことを意味する。さらに、欠陥画素に隣接する画素が全て欠陥画素であるような場合には、そもそも信号値の推定ができない。
【０００７】
そこで、特許文献２に開示の発明では、着目した欠陥画素の補正に使用される画素群において複数の欠陥画素の位置のパターンを欠陥パターンとして取得する欠陥パターン取得部と、上記画素群において上記複数の欠陥画素に該当しない画素の中から１つ以上の画素を上記欠陥パターンに基づいて選択する画素選択部と、上記選択された画素の各々を使用して上記着目した欠陥画素を補正する欠陥画素補正部とを具備することにより、補正ブロック内の画素の中から欠陥画素に該当しない画素を欠陥パターンに基づいて選択して、選択した画素の各々を使用して着目画素を補正可能な欠陥画素補正装置を提供できる、としている。また、欠陥画素が多数であっても、欠陥画素の補正のための回路やプログラムを修正する必要がなくなるため、手間や時間の増大が抑制される、としている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００５−１４２９９７号公報
【特許文献２】特開２０１３−１８３２８２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記の特許文献２に開示の発明では、取得した欠陥画素の配置が予め定義しておいた欠陥パターンに該当するか否かによって適用する補正係数を異ならせているため、定義された欠陥パターンに該当しないような、複雑な配置の欠陥画素を補正しようとした場合に不都合が生じるおそれがある。また、そのような複雑な配置の欠陥画素に対応しようとすると、記憶する欠陥パターン及び補正係数のセットが増加し、さらに補正処理に要する時間が長くなってしまう。
【００１０】
また、解像チャートのような高周波情報が支配的な被写体の撮像領域に欠陥画素群が存在する場合であっても、被写体の大域的な構造を無視して画素の信号値がなだらかなに連続するような補正結果となってしまう。この結果、解像感の失われたぼやけた不自然な画像となってしまう。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、計算量を抑えながらも、大きな欠陥画素群に対して高精度な補正処理が可能であり、より好適には、高周波情報が支配的な被写体において高精度な補正処理が可能な撮像装置及び欠陥画素補正方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために、本発明を実施の撮像装置は、２次元状に配置された複数の画素を有し被写体像を取得する撮像手段と、前記複数の画素のうち欠陥画素の位置情報を予め記憶する欠陥画素記憶手段と、前記欠陥画素の出力する信号値を補正する欠陥画素補正手段とを有し、前記欠陥画素補正手段は、連続して存在する複数の前記欠陥画素からなる欠陥画素群から、周囲に最も多くの正常画素と隣接する前記欠陥画素を注目画素として選択し、前記注目画素を略中心にして、周囲の複数の画素を含む置換範囲及び前記置換範囲よりも広い探索範囲、並びに、前記置換範囲を包含し且つ前記探索範囲よりも狭い範囲の画素からなる注目ブロックを設定し、前記探索範囲から前記注目ブロックと同一形状の比較ブロックを全て抽出し、前記注目ブロックと複数の前記比較ブロックとの相関度を決定し、前記置換範囲に含まれる前記欠陥画素群内の複数の前記欠陥画素からなる注目画素群について、前記相関度に基づいて選択された少なくとも１つ以上の前記比較ブロック中の正常画素の信号値を用いて、前記注目画素群の信号値の補正を行うことを特徴とする。
【００１３】
さらに本発明を実施の撮像装置は、上記発明において、前記複数の画素はそれぞれ深さ方向に複数の受光部を有し、前記撮像手段はカラーフィルタを有さない垂直色分離型の撮像手段であり、前記欠陥画素群は、少なくとも１つ以上の同一深さの前記受光部に欠陥を有する複数の前記欠陥画素からなり、前記欠陥画素補正手段は、前記相関度に基づいて選択された少なくとも１つ以上の前記比較ブロック中の同一深さの正常な前記受光部の信号値を用いて、前記注目画素群中の欠陥を有する前記受光部の信号値の補正を行うことを特徴とする。
【００１４】
また、本発明を実施の欠陥画素補正方法は、連続して存在する複数の欠陥画素からなる欠陥画素群から、周囲に最も多くの正常画素と隣接する前記欠陥画素を注目画素として選択する工程と、前記注目画素を略中心にして、周囲の複数の画素を含む置換範囲及び前記置換範囲よりも広い探索範囲、並びに、前記置換範囲を包含し且つ前記探索範囲よりも狭い範囲の画素からなる注目ブロックを設定する工程と、前記探索範囲から前記注目ブロックと同一形状で全て正常画素のみからなる比較ブロックを全て抽出し、前記注目ブロックと複数の前記比較ブロックとの相関度を決定する工程と、前記置換範囲に含まれる前記欠陥画素群内の複数の前記欠陥画素からなる注目画素群について、前記相関度に基づいて選択された少なくとも１つ以上の前記比較ブロック中の正常画素の信号値を用いて、前記注目画素群の信号値の補正を行う工程とを有することを特徴とする。
【発明の効果】
【００１５】
本発明を実施の撮像装置及び欠陥画素補正方法によれば、計算量を抑えながらも、大きな欠陥画素群に対して高精度な補正処理が可能であり、特に、高周波情報が支配的な被写体において高精度な補正処理を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施形態である撮像装置の主要な構成を示したブロック図である。
【図２】図１に示した撮像装置に実装される撮像素子の単一画素を単純化した断面図である。
【図３】図１に示した欠陥画素補正部の主要な構成を示したブロック図である。
【図４】ブロック処理部における処理を説明する概念図である。
【発明を実施するための形態】
【００１７】
以下、添付の図面に従って、本発明を実施するための最良の形態について説明する。なお、この実施の形態により本発明が限定されるものではない。
【００１８】
図１に示すブロック図には、本発明の一実施形態である撮像装置の主要な構成が示されている。本図に示す撮像装置１００は、撮影光学系１１０と、撮像素子２００と、欠陥画素補正部１３０と、信号処理部１５０と、カメラＣＰＵ１７０と、ユーザインターフェース（Ｉ／Ｆ）１７１と、記録媒体インターフェース（Ｉ／Ｆ）１７２と、画像表示部１９０と、を備えている。
【００１９】
撮影光学系１１０は、フォーカスレンズ群やズームレンズ群を含む、複数の不図示のレンズ群で構成されている。本図においては、簡単のために１枚のレンズのみ記載している。
【００２０】
撮像素子２００は、撮影光学系１１０により集光された光線を受光して光電変換し、信号値として出力する。本実施形態の撮像素子２００としては、ＣＭＯＳイメージセンサが用いられている。
【００２１】
この撮像素子２００の受光面は多数の画素から構成されている。これらの画素は、その内部において、入射光の波長により光電変換される深さの違いを用いることで、単一画素からＲＧＢの各色成分信号を出力可能な垂直色分離型のイメージセンサである。垂直色分離型のイメージセンサについて詳しくは後述する。
【００２２】
本実施形態の撮像素子２００には、画素から読み出した色成分信号を増幅するゲイン可変アンプやゲイン値を補正するためのゲイン補正回路、アナログ画像信号をデジタル変換するＡ／Ｄコンバータが内蔵されている。
【００２３】
欠陥画素補正部１３０は、撮像素子２００から出力された色成分信号に対して撮像素子２００に含まれる欠陥画素の信号値を補正する処理を行う。欠陥画素補正部１３０の補正処理について詳しくは後述する。
【００２４】
信号処理部１５０は、欠陥画素補正部１３０から出力された色成分信号に対して各種の画像処理を施す。ここで施される処理としては、例えば、色成分信号から所定の形式のＲＡＷデータを生成する処理や、ホワイトバランス処理、色再現処理がある。また、ＪＰＥＧ形式やＴＩＦＦ形式の画像データへの現像処理も信号処理部１５０で行われる。
【００２５】
カメラＣＰＵ１７０は、撮像装置１００全体の包括的な制御を行う。特に、カメラＣＰＵ１７０は、欠陥画素補正部１３０及び信号処理部１５０の制御を行う。
【００２６】
ユーザＩ／Ｆ１７１は、例えば、レリーズボタン、電源ボタン、コマンドダイヤル、十字キー等の操作部材を有しており、ユーザがこれらの操作部材を操作すると、カメラＣＰＵ１７０は所定の動作を行う指示を出す。
【００２７】
記録媒体Ｉ／Ｆ１７２は、不図示の記録媒体との間でＲＡＷデータや現像後の画像データの記録又は読み出しを行う。この記録媒体は、半導体メモリ等の着脱可能な記録媒体である。
【００２８】
画像表示部１９０は、信号処理部１５０で処理された画像データや、不図示の記録媒体から読み出された画像データ等を表示する。
【００２９】
なお、上述したゲイン可変アンプ、ゲイン補正回路、Ａ／Ｄコンバータを内蔵していない撮像素子２００を採用する場合には、これらのデバイスを個別に搭載すればよい。
【００３０】
図２は、撮像装置１００に実装される撮像素子２００の単一画素を単純化して示した断面図である。上述したように、本実施形態の撮像素子２００はいわゆる垂直色分離型のイメージセンサであり、各画素には、深さ方向に３つのフォトダイオードが積層して形成されている。
【００３１】
ある画素に光が入射すると、入射光中の青色（Ｂ）成分は主に最上面に位置するフォトダイオード２１０で光電変換される。同様に、入射光中の緑色（Ｇ）成分は主に中間深さに位置するフォトダイオード２３０で光電変換され、赤色（Ｒ）成分は主に最下層に位置するフォトダイオード２５０で光電変換される。これらの、垂直方向の色分離は撮像素子２００の材料として用いるシリコン（Ｓｉ）の特性を利用したものである。
【００３２】
これら３つのフォトダイオードは、Ｓｉ基板の内部の異なる深さに所定のドープ処理を行うことで形成される。具体的には、Ｂ成分用フォトダイオード２１０は、約０．２〜０．５μｍの間の深さに形成され、Ｇ成分用フォトダイオード２３０は、約０．５〜１．５μｍの間の深さに形成され、Ｒ成分用フォトダイオード２５０は、約１．５〜３．０μｍの間の深さに形成される。
【００３３】
従って、本実施形態の撮像素子２００はベイヤー型イメージセンサに必須のカラーフィルタが不要でありながら、１つの画素でＲＧＢ３色の色成分信号を取得することが可能である。各画素が３色全ての波長成分を光電変換できるため、ベイヤー型イメージセンサにおいては必須の画素補間を行う必要がないというメリットもある。
【００３４】
なお、上記の構成に限らず、有機物や無機物等により形成された特定の吸収特性を有する光電変換膜を複数積層させた構成としてもよい。
【００３５】
図３は本実施形態における欠陥画素補正部１３０の主要な構成を示したブロック図である。欠陥画素補正部１３０は、欠陥画素記憶部１３１と、ブロック処理部１３２と、相関度決定部１３３と、信号補正部１３４とを有する。本図を用いて、本発明の欠陥画素補正の概要を説明する。
【００３６】
以降では、画素内の３つのフォトダイオードのうち、Ｂ成分用フォトダイオード２１０に欠陥が生じた場合を考える。すなわち、以降の実施例では「欠陥画素」とは、特に断りのない限り、Ｂ成分用フォトダイオード２１０に欠陥があるためＢ成分信号が異常値となる画素を指すものとする。また、欠陥画素内のＧ成分用フォトダイオード２３０とＲ成分用フォトダイオード２５０とが欠陥を有するかどうかについては、そのいずれの場合も含み得るものとする。
【００３７】
欠陥画素記憶部１３１には、工場の調整工程において予め取得された欠陥画素の位置情報が格納されている。格納されている位置情報としては、各欠陥画素の位置情報の他にも、隣接する欠陥画素同士が連結した欠陥画素群に関する位置情報及びその大きさに関する情報をさらに有している。この欠陥画素の位置情報はそれぞれの撮像素子２００に固有の情報であり、欠陥画素補正部１３０はこの位置情報を適宜参照しながら欠陥画素の信号値を補正する処理を行う。
【００３８】
撮像素子２００から出力された色成分信号は、欠陥画素補正部１３０においてまずブロック処理部１３２に入力される。まずブロック処理部１３２は、欠陥画素記憶部１３１に格納されている欠陥画素の位置情報から、各欠陥画素群の大きさが所定のしきい値よりも大きいかどうかを判別する。しきい値よりも大きな欠陥画素群がある場合には、ブロック処理部１３２はその欠陥画素群をしきい値よりも小さな欠陥画素群に分割し、それら分割後の欠陥画素群に対して補正処理を行う。
【００３９】
欠陥画素群が、高周波情報が支配的な被写体上に位置する場合は解像感を保った補正結果を与えたい一方で、非周期的な被写体上に位置する場合には信号値がなだらかに連続するような補正結果を与えたい。しきい値を超える大きさの欠陥画素群を分割し、細かい大きさの欠陥画素群の補正を繰り返すことで、前者の場合には解像感を保ち、後者の場合にはなだらかな補正結果を、効率的に求めることができる。
【００４０】
分割後の欠陥画素群に関する位置情報は、新たな位置情報として欠陥画素記憶部１３１中の異なる記憶領域（不図示）に書き込むようにしてもよい。また、ブロック処理部１３２内に一時記憶領域を設け、そこに書き込むようにしてもよい。
【００４１】
図４はブロック処理部１３２における処理を説明する概念図である。本図において×印が付された画素が欠陥画素を示している。ブロック処理部１３２は、欠陥画素群から、周囲に最も多くの正常画素を有する欠陥画素を注目画素として一つ選び、この注目画素を中心とする３×３画素の大きさの置換範囲に含まれる欠陥画素を注目画素群として設定する。また、ブロック処理部１３２は、この注目画素を中心にして周囲に５×５画素の大きさの注目ブロックＸと２４×２４画素の大きさの探索範囲（不図示）を設定する。
【００４２】
さらに、ブロック処理部１３２は、入力された各画素の色成分信号と欠陥画素記憶部１３１に格納された欠陥画素の位置情報とを用いて、探索範囲に含まれる５×５画素の大きさの比較ブロックＹを全て抽出する。この比較ブロックＹは５×５の画素全てが正常画素であることが望ましい。
【００４３】
相関度決定部１３３は、ブロック処理部１３２において設定・抽出された注目ブロックＸと複数の比較ブロックＹとをそれぞれ比較して、それらの間の相関度ｆを決定する。相関度ｆの決定方法について詳しくは後述する。
【００４４】
続けて信号補正部１３４は、決定された各比較ブロックＹの相関度ｆに基づいて少なくとも１つ以上の比較ブロックＹを選択し、それらの比較ブロックＹ中の正常画素の信号値を用いて注目ブロックＸ内の注目画素群である各欠陥画素の色成分信号を補正する。信号値の補正について詳しくは後述する。
【００４５】
信号補正部１３４はさらに、補正された各欠陥画素を正常画素とした新たな欠陥画素の位置情報を欠陥画素記憶部１３１中の異なる記憶領域（不図示）に書き込む。補正後の色成分信号は信号処理部１５０へと送られ、上述したように後段の処理が行われる。
【００４６】
欠陥画素補正部１３０は、新たに得られた欠陥画素情報に基づいて次の注目画素群の補正を同様に行う。補正対象の注目ブロックＸ中の欠陥画素が全て補正されるまで、上記の処理を繰り返す。また、全ての欠陥画素が補正された後は、欠陥画素補正部１３０は別の欠陥画素群を選択し、同様の処理を行う。
【００４７】
なお、各ブロックや探索範囲の大きさは一例であり、必要な補正精度や処理速度等に応じて適宜選択できるものである。
【００４８】
（実施例１）
次に、相関度ｆの決定方法と、それに基づく信号値の補正について一実施例を説明する。注目ブロックをＸ、比較ブロックをＹ、比較ブロックＹの集合をＷとすると、相関度ｆはそれらの関数としてｆ（Ｘ，Ｙ，Ｗ）と表すことができる。
【００４９】
このとき、注目ブロックＸ内における各欠陥画素の相対位置をｘｉ、比較ブロックＹの中心絶対位置をｙ０とすると、各欠陥画素群の補正後の信号値ｂ’（ｘｉ）は以下の式（１）となる。（ｉ＝１，２，・・・，ｍ）
【数１】
0006519276.tif 000002
【００５０】
ここでｂ（ｙ０＋ｘｉ）は、比較ブロックＹ内において、注目ブロックＸ内の欠陥画素と同じ相対位置ｘｉの画素信号値を意味している。
【００５１】
本実施例の相関度決定部１３３は、カメラＣＰＵ１７０の制御に従って、相関度ｆを決定するためにまず以下の式（２）により判定値Ｖを算出する。
【数２】
0006519276.tif 000003
【００５２】
ここで、ｘ’ｉは注目ブロックＸ内における補正対象ではない画素の相対位置、ｘ０は注目ブロックＸの中心絶対位置である。（ｉ＝１，２，・・・，ｍ’）
【００５３】
すなわち、本実施例において判定値Ｖは、注目ブロックＸと比較ブロックＹのそれぞれで対応する位置の正常画素の信号値の２乗誤差を求めることを意味する。
【００５４】
これにより得られた判定値Ｖを用いて、相関度決定部１３３は以下の式（３）により相関度ｆを決定する。
【数３】
0006519276.tif 000004
【００５５】
ここでは、相関度決定部１３３は、算出された判定値Ｖが最も小さい値となった比較ブロックＹについて相関度ｆ＝１（最大値）とし、それ以外の比較ブロックＹについては相関度ｆ＝０（最小値）とする。
【００５６】
相関度ｆが決定されると、信号補正部１３４は式（１）に基づいて、注目ブロックＸ内の注目画素群を構成する各欠陥画素の信号値を、相関度が最も高いとされた比較ブロックＹ内の相対位置が同じ正常画素の信号値と置き換える処理を行う。
【００５７】
なお、上述した実施例では判定値Ｖを、注目ブロックＸと比較ブロックＹで互いに対応する場所に位置する画素信号の２乗誤差として求めたが、２乗に限られるものではなく、注目ブロックＸのサイズやノイズ量等によって適宜設定することができる。
【００５８】
以上の実施例によれば、複数の欠陥画素が連結した注目画素群の各信号値を一括して補正することができる。詳しくは、本発明によればブロック単位で判定値及び相関度を求めることができるので、従来の技術のように欠陥画素一つ一つに対して補正係数を決定する必要がなく、補正値決定のための演算回数を減らし、その分の計算能力を適切な比較ブロック探索や相関度決定の精度向上に充てることが可能となり、少ない計算量で効率的な欠陥画素補正を行うことができる。
【００５９】
さらに、ブロック単位で判定値及び相関度を求めることで、解像チャートのような、高周波情報が支配的な被写体に対する補正精度が向上する。これは、高周波情報が支配的な被写体は特定の形状が周期的に並ぶことが多く、このような被写体に対してはブロック単位での相関度の判定が特に有効だからである。
【００６０】
また、注目ブロックＸと比較ブロックＹとを比較する際に注目ブロックＸでは注目画素群を含む欠陥画素群を除外して正常画素のみを用いるので、判定値の信頼性を向上させることができる。
【００６１】
（実施例２）
次に、上述した実施例とは異なる相関度ｆの決定方法について説明する。上述した実施例では、一律に判定値Ｖの最小値を有する比較ブロックＹに対して相関度ｆを決定していたが、これを計算により求めるようにしてもよい。
【００６２】
例えば、相関度ｆを以下の式（４）により求めるようにしてもよい。
【数４】
0006519276.tif 000005
【００６３】
ここで、ｓｄ，ｓｖはスケーリング因子であり、任意に決めることができる。スケーリング因子ｓｄに大きい値を選ぶほど、注目ブロックから距離が近い比較ブロックを候補ブロックに選びやすくなる。さらに、スケーリング因子ｓｄを像高に対して単調減少な関数にすることで、画像中心部では注目ブロックＸと比較ブロックＹとの間の距離情報を重視し、画像周辺部では無視するようになる。
【００６４】
また、スケーリング因子ｓｖを像高に対して単調減少な関数にすることで、特に画像周辺部で補正結果が滑らかになり、欠陥画素補正のロバスト性を向上させることができる。さらに、スケーリング因子ｓｖを以下の式（５）に示すように信号値に含まれるノイズ量に応じた値とすることが好ましい。
【数５】
0006519276.tif 000006
【００６５】
標準偏差σが信号値やセンサの温度等に依存する場合は、それらに応じた標準偏差σを各欠陥画素毎に計算するようにしてもよい。
【００６６】
以上の実施例によれば、上述した効果に加えて、相関度ｆの決定に際して注目ブロックＸと比較ブロックＹとの間の距離情報を重視でき、さらに、信号値に含まれるノイズ量を考慮することで補正精度が向上する。
【００６７】
（実施例３）
次に、上述した実施例とは異なる判定値の決定方法について説明する。上述した実施例では、判定値Ｖの算出するために注目ブロックＸと比較ブロックＹとを比較する際に、式（２）に示したように、それぞれのブロック内において相対位置が同じ画素同士の信号値を比較していたが、注目ブロックＸとの比較対象として回転や反転させた比較ブロックＹを含めるようにしてもよい。
【００６８】
このときの判定値Ｖ’を求める式は、例えば以下の式（６）にように表すことができる。
【数６】
0006519276.tif 000007
【００６９】
ここで、ｐ１（Ｙ）は右に９０度回転させた比較ブロックＹ、ｐ２（Ｙ）は右に１８０度回転させた比較ブロックＹ、ｐ３（Ｙ）は右に２７０度回転させた比較ブロックＹ、ｐ４（Ｙ）は上下反転させた比較ブロックＹ、ｐ５（Ｙ）は左右反転させた比較ブロックＹである。
【００７０】
そして、これらの回転や反転させた比較ブロックＹについてそれぞれ判定値Ｖを算出し、それらの中で最も小さい値となった比較ブロックＹにより得られた判定値Ｖを、後の相関度ｆの決定に用いることとする。相関度ｆの決定は、例えば、上述した実施例と同様に、判定値Ｖが最も小さい比較ブロックＹについて相関度ｆ＝１（最大値）とし、その比較ブロックＹの回転・反転後の同じ相対位置の正常画素の信号値で置き換えればよい。
【００７１】
本実施例によれば、上述した効果に加えて、注目ブロックＸ内に曲線的な構造を有する被写体が入っている場合に、比較ブロックを回転・反転させた場合も考慮することで補正精度が向上する。
【００７２】
（実施例４）
また、上述した実施例では、判定値の算出するために注目ブロックＸと比較ブロックＹとを比較する際に、それぞれのブロックの対応する画素同士の信号値を単純に比較していたが、注目ブロックＸと比較ブロックＹとの間の距離に応じて重み付けを行うようにしてもよい。
【００７３】
このとき、重み付けに関する補正項をＤ（Ｘ，Ｙ）とすると、判定値Ｖ’を求める式は以下の式（７）にように表すことができる。
【数７】
0006519276.tif 000008
【００７４】
ここで、補正項Ｄは例えば以下の式（８）にように表すことができる。
【数８】
0006519276.tif 000009
【００７５】
ここで、ｓｄはスケーリング因子であり、任意に決めることができる。大きい値を選ぶほど、注目ブロックから距離が近い比較ブロックを候補ブロックに選びやすくなる。また、上記の式（８）では補正項Ｄを指数関数を用いて算出するようにしたが、非負単調減少関数であれば何を用いてもよい。例えば以下の式（９）のようにすることもできる。
【数９】
0006519276.tif 000010
【００７６】
また、補正項Ｄは撮影光学系１１０のＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ；点広がり関数）によって決めてもよい。例えば、撮影光学系１１０の解像度に由来して画像周辺部では像が滑らかになるため、上記式でスケーリング因子ｓｄを像高に対して単調減少な関数にすることで、画像中心部では注目ブロックＸと比較ブロックＹとの間の距離情報を重視し、画像周辺部では無視するようになる。
【００７７】
本実施例によれば、上述した効果に加えて、注目ブロックＸ内の被写体の構造と似た形状の被写体は、それだけ注目ブロックＸに近い距離に位置する可能性が高いとの考えを考慮することができ、重み付けに関する補正項Ｄを用いることで補正精度が向上する。
【００７８】
（実施例５）
次に、上述した実施例とは異なる信号値の補正方法について説明する。上述した実施例では、相関度ｆが最も高いとされた比較ブロックＹにおける対応する位置の正常画素の信号値をもって注目ブロックＸの欠陥画素の信号値と置き換える処理を行っていたが、所定のしきい値以上の相関度ｆを持つ２つ以上の比較ブロックＹにおけるそれぞれ対応する位置の正常画素の信号値の加重平均値をもって注目ブロックＸの欠陥画素の信号値を置き換えるようにしてもよい。
【００７９】
本実施例によれば、中心部分の信号値が周囲と比べて極めて大きい、又は、小さい信号値を持っているために、補正結果に大きな影響を与えるような比較ブロックＹが存在する場合に、それらの比較ブロックＹの相関度ｆが小さければ、補正に用いる比較ブロックＹの決定の際に、そのような比較ブロックＹを除外することができる。
【００８０】
その結果、信号値の補正精度が向上すると共に、補正処理のロバスト性が向上する。
【００８１】
（実施例６）
また、これまでの実施例では、欠陥の生じたＢ成分用フォトダイオード２１０の信号値のみを補正する場合について説明した。この場合、補正処理の不整合により最終的に生成される色が周囲に対して不自然になる可能性が残されている。そこで、本実施例では、欠陥の生じたＢ成分の信号値だけではなく、同一位置の３つのフォトダイオードから出力された信号値を全て補正することで、信号値間の補正の不整合を抑制する。
【００８２】
まず、注目ブロックＸ内におけるＢ成分に欠陥を有する画素の相対位置をｘｉ、位置ｘｉにおける補正前の３つのフォトダイオードの信号値をそれぞれｒ（ｘｉ）、ｇ（ｘｉ）、ｂ（ｘｉ）とし、同一位置の補正後の各信号値をそれぞれｒ’（ｘｉ）、ｇ’（ｘｉ）、ｂ’（ｘｉ）とし、さらに同一位置の補正前後の信号値ａ（ｘｉ）及びａ’（ｘｉ）をそれぞれ式（１０）（１１）のように表す。（ｉ＝１，２，・・・，ｍ）
【数１０】
0006519276.tif 000011
【数１１】
0006519276.tif 000012
【００８３】
このとき、補正後の信号値ａ’（ｘｉ）は上述した実施例と同様に、相関度ｆ（Ｘ，Ｙ，Ｗ）を用いて式（１２）のように表すことができる。（ｉ＝１，２，・・・，ｍ）
【数１２】
0006519276.tif 000013
【００８４】
ここでａ（ｙ０＋ｘｉ）は、比較ブロックＹ内において、注目ブロックＸ内の欠陥画素と同じ相対位置ｘｉの各フォトダイオードの信号値を意味している。
【００８５】
なお、相関度ｆの決定については上述した実施例と同様に、欠陥を有するＢ成分用フォトダイオード２１０の位置ｘｉに着目して、注目ブロックＸと比較ブロックＹとの間の相関を判定することで求めることができる。
【００８６】
例えば、上述した実施例と同様に、判定値Ｖが最も小さい比較ブロックＹについて相関度ｆ＝１（最大値）とし、その比較ブロックＹ内の同じ相対位置の各フォトダイオードの信号値で全て置き換えればよい。
【００８７】
本実施例によれば、同一画素における補正処理の不整合によって補正後の色が不自然になることを避けることができ、最終的な色の補正精度を向上させることができる。また、本実施例ではＢ成分用フォトダイオード２１０が欠陥を有する場合を説明したが、欠陥を有するのがＲ成分用フォトダイオードでもＧ成分用フォトダイオードでも適用可能である。その場合は、欠陥を有する信号成分を用いて比較ブロックＹの抽出及び選択を行えばよい。
【００８８】
本実施例では１つの欠陥フォトダイオードに対して３つの信号値全てを補正しているが、例えば、信号値の置き換えで補正を行った場合、輝度に注目すると、補正前の画素位置とは異なる位置の輝度と置き換わったことになり、従来得られるはずであった輝度とは異なる値となってしまう可能性がある。そこで、さらに２つの正常な信号値を用いて欠陥画素位置における輝度をより高精度に補正することも可能である。
【００８９】
すなわち、補正前の信号値ａ（ｘｉ）、補正後の信号値ａ’（ｘｉ）を用いて、輝度をさらに補正した信号値ａ’’（ｘｉ）は以下の式（１３）から求めることができる。
【数１３】
0006519276.tif 000014
【００９０】
ここで、分母分子に共通のεは分母が０となるのを避けるための定数であり、微小な正の値であればどのような値でも構わない。
【００９１】
この式によれば、輝度補正の前後でＲＧＢ３つの信号値の間の比は変わらないので、ｂ’として得られた色を保ったまま輝度を補正することができる。
【００９２】
また、以下の式（１４）としても輝度がさらに補正された信号値ａ’’（ｘｉ）を求めることができる。
【数１４】
0006519276.tif 000015
【００９３】
この式によれば、輝度補正の前後でＲＧＢ３つの信号値の間の比は１に近づくだけなので、ｂ’として得られた色から変化するものの不自然になることはない。
【００９４】
なお、説明した輝度補正についても、Ｂ成分以外のフォトダイオードが欠陥となる場合であっても適用可能である。その場合、欠陥していない正常な２つのフォトダイオードの信号値を用いて輝度を補正することになる。
【００９５】
（実施例７）
上述した実施例では、欠陥を有するフォトダイオードの信号成分を用いて比較ブロックＹの抽出及び選択を行っていたが、欠陥を有さない正常なフォトダイオードの信号成分を利用して比較ブロックＹの抽出及び選択を行うことも可能である。
【００９６】
すなわち、比較ブロックＹの相関度ｆを決定するための判定値Ｖを、以下の式（１５）から求めることとする。
【数１５】
0006519276.tif 000016
【００９７】
ここで、ｘ’’は注目ブロックＸ内における画素の相対位置、ｘ０は注目ブロックＸの中心絶対位置、σｒ、σｇ、及びσｂはそれぞれの信号成分毎の標準偏差である。
【００９８】
また、χｂ（ｘ）は以下の条件であるとし、χｒ（ｘ）及びχｇ（ｘ）も同様の条件であるとする。
【数１６】
0006519276.tif 000017
【００９９】
この式によれば、判定値Ｖを求めるために注目ブロックＸと比較ブロックＹとで信号値の比較を行う際に、位置ｘ０＋ｘ’’のフォトダイオードが欠陥を有していた場合、欠陥フォトダイオードの信号値の比較は行わないようにしている。
【０１００】
また、本実施例では信号値の比較に際して信号値の差を標準偏差で正規化しているが、これに限られるものではない。垂直色分離型の撮像素子では各層毎にノイズ量が異なる。信号値の差を各層の標準偏差で正規化することによって、各層のうちノイズの多い層の信号差を過小評価することを避けることができる。
【０１０１】
本実施例によれば、欠陥を有さない正常なフォトダイオードの信号成分も利用して比較ブロックＹの抽出及び選択を行うことで、一つの信号成分（例えばＢ信号成分）のみでは相関度の判別が難しい被写体の場合にも比較ブロックの高精度な判別が可能となり、その結果、高精度な欠陥画素補正が可能となる。
【０１０２】
なお、相関度ｆの決定は、例えば、上述した実施例と同様に、判定値Ｖが最も小さい比較ブロックＹについて相関度ｆ＝１（最大値）とし、その比較ブロックＹの正常画素の信号値で置き換えればよい。
【０１０３】
また、上述した実施例では判定値Ｖを、注目ブロックＸと比較ブロックＹで互いに対応する場所に位置する画素信号の２乗誤差として求めたが、２乗に限られるものではなく、注目ブロックＸのサイズやノイズ量等によって適宜設定することができる。
【０１０４】
以上で説明したように、本発明に記載の撮像装置及び欠陥画素補正方法によれば、計算量を抑えながらも、大きな欠陥画素群に対して高精度な補正処理が可能であり、特に、高周波情報が支配的な被写体において高精度な補正処理が可能となる。
【符号の説明】
【０１０５】
１００：撮像装置、１１０：撮影光学系、１３０：読み出し制御部、１３１：欠陥画素記憶部、１３２：ブロック処理部、１３３：相関度決定部、１３４：信号補正部、１５０：信号処理部、１７０：カメラＣＰＵ、１７１：ユーザインターフェース（Ｉ／Ｆ）、１７２：記録媒体インターフェース（Ｉ／Ｆ）、１９０：画像表示部、２００：撮像素子、２１０：Ｂ成分用フォトダイオード、２３０：Ｇ成分用フォトダイオード、２５０：Ｒ成分用フォトダイオード
【図１】
0006519276.tif 000018
【図２】
0006519276.tif 000019
【図３】
0006519276.tif 000020
【図４】
0006519276.tif 000021