(57)【要約】      （修正有）【課題】撮影して得られた画像において、よりレベルの小さい欠陥画素の信号を、より多く補正する。【解決手段】複数の画素を有する撮像素子１００と、複数の画素から第１の検出方法により欠陥画素を検出する第１の検出手段１０３と、第１の検出手段により検出された欠陥画素のアドレスを記憶する記憶手段１０６と、第１の検出方法と異なる第２の検出方法により欠陥画素を検出する第２の検出手段１０４と、撮像素子を露光して得られた画像の画素データのうち記憶手段１０６に記憶されたアドレスの欠陥画素の画素データと、第２の検出手段１０４により検出された欠陥画素の画素データとを補正する補正手段とを有する。【選択図】図１
2017055308.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を有する撮像素子と、
前記複数の画素から、第１の検出方法により欠陥画素を検出する第１の検出手段と、
前記第１の検出手段により検出された欠陥画素のアドレスを記憶する記憶手段と、
前記第１の検出方法と異なる第２の検出方法により欠陥画素を検出する第２の検出手段と、
前記撮像素子を露光して得られた画像の画素データのうち、前記記憶手段に記憶されたアドレスの欠陥画素の画素データと、前記第２の検出手段により検出された欠陥画素の画素データとを補正する補正手段と
を有することを特徴とする撮像装置。
【請求項２】
前記第１の検出手段により検出される欠陥画素と、前記第２の検出手段により検出される欠陥画素は、特性が異なることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の検出手段は、前記撮像素子を遮光して得られた画像、あるいは、前記撮像素子に均一な輝度レベルの照明光を照射して得られた画像を用いて欠陥画素の検出を行うことを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記第２の検出手段は、前記撮像素子を露光して得られた画像を用いて欠陥画素の検出を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記第１の検出手段は、前記複数の画素のうち、予め決められた大きさの検出領域ごとに、順に、各検出領域に含まれる画素について、欠陥画素を検出し、
前記検出領域の前記予め決められた大きさは、前記記憶手段の予め決められた第１の領域に、各検出領域で検出される欠陥画素のデータを記憶することのできる大きさであることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
前記第１の検出手段は、前記複数の画素のうち、予め決められた大きさの検出領域ごとに、順に、各検出領域に含まれる画素について、欠陥画素を検出し、
前記検出領域で検出された欠陥画素の数が、予め決められた第１の閾値よりも大きい場合に、前記検出領域の大きさを小さくすることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項７】
前記第１の検出手段は、前記複数の画素のうち、検出対象の画素から出力された信号レベルが予め決められた条件を満たす画素であって、且つ、隣接する複数の画素の少なくとも１つから出力された信号レベルが、前記予め決められた条件を満たす画素を、欠陥画素として検出することを特徴とすることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
【請求項８】
前記予め決められた条件は、画素の信号レベルと、該画素に隣接する複数の画素の信号レベルの内、中間値の信号レベルとの差が、予め決められた第２の閾値よりも大きいことを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記第２の検出手段は、検出対象の画素の信号レベルと、該画素に隣接する複数の画素の信号レベルの内、最大値の信号レベルとの差が、予め決められた第３の閾値よりも大きい場合に、前記検出対象の画素を欠陥画素として検出することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
【請求項１０】
撮像素子が有する複数の画素に含まれる欠陥画素を検出する撮像装置の制御方法であって、
第１の検出手段が、前記複数の画素から、第１の検出方法により欠陥画素を検出する第１の検出工程と、
記憶手段が、前記第１の検出手段により検出された欠陥画素のアドレスを記憶する記憶工程と、
第２の検出手段が、前記第１の検出方法と異なる第２の検出方法により欠陥画素を検出する第２の検出工程と、
補正手段が、前記撮像素子を露光して得られた画像の画素データのうち、前記記憶手段に記憶されたアドレスの欠陥画素の画素データと、前記第２の検出工程で検出された欠陥画素の画素データとを補正する補正工程と
を有することを特徴とする制御方法。
【請求項１１】
撮像装置が備えるコンピュータに、請求項１０に記載の制御方法の各工程を実行させるためのプログラム。
【請求項１２】
請求項１１に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及びその制御方法に関するものである。
【背景技術】
【０００２】
近年、テレビジョンの規格は、フルハイビジョンと呼ばれる水平１９２０画素、垂直１０８０画素（１９２０×１０８０画素）から、４ｋ２ｋと呼ばれる３８４０×２１６０画素のＨＤの４倍の画素数に変わってきている。また、４ｋ２ｋの次世代の規格として、８ｋ４ｋもしくはスーパーハイビジョンと呼ばれる規格もあり、この規格では、７６８０×４３２０画素もの画素数となる。
【０００３】
一方、画素数の増加とともに、ＣＭＯＳセンサにおける欠陥画素の総数も増加している。一般的に欠陥画素を補正するために、その欠陥画素情報をカメラ本体のメモリに記憶しており、撮影時にそのデータを用いて欠陥画素の補正を行っている。しかし、欠陥画素情報を記憶できるメモリは有限であるため、欠陥画素が多い場合は、その全ての情報をメモリに記憶することはできない。
【０００４】
特許文献１では、メモリに記憶されている欠陥画素のデータと、新たに検出された欠陥画素のデータを比較して、よりレベルの大きい欠陥画素のデータをメモリに記憶することで、限られたメモリを効率的に使うという手法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０７−０５９０１１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、レベルの大きい欠陥画素の補正は可能であるが、レベルの小さい欠陥画素に関しては、メモリにデータを記憶することができないため、その補正を行うことができない場合があった。
【０００７】
本発明は上記問題点を鑑みてなされたものであり、撮影して得られた画像において、よりレベルの小さい欠陥画素の信号を、より多く補正することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の撮像装置は、複数の画素を有する撮像素子と、前記複数の画素から、第１の検出方法により欠陥画素を検出する第１の検出手段と、前記第１の検出手段により検出された欠陥画素のアドレスを記憶する記憶手段と、前記第１の検出方法と異なる第２の検出方法により欠陥画素を検出する第２の検出手段と、前記撮像素子を露光して得られた画像の画素データのうち、前記記憶手段に記憶されたアドレスの欠陥画素の画素データと、前記第２の検出手段により検出された欠陥画素の画素データとを補正する補正手段とを有する。
【発明の効果】
【０００９】
本発明によれば、撮影して得られた画像において、よりレベルの小さい欠陥画素の信号を、より多く補正することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施形態に係る撮像装置の概略構成を示すブロック図。
【図２】実施形態に係る画素構成の一例を示す図。
【図３】第１の実施形態における第１の欠陥画素検出方法を説明するための図。
【図４】実施形態に係る欠陥画素データの一例を示す図。
【図５】実施形態に係るＲＡＭに記憶される欠陥画素データを説明するための図。
【図６】実施形態に係るＲＯＭに記憶される欠陥画素データを説明するための図。
【図７】実施形態に係る第２のＲＡＭ領域に記憶する欠陥画素データの一例を説明するための図。
【図８】第１の実施形態における第１の欠陥画素検出方式による欠陥画素検出処理のフローチャート。
【図９】第１の実施形態における欠陥画素の検出領域を説明する図。
【図１０】第１の実施形態における第２の欠陥画素検出方法を説明するための図。
【図１１】第２の実施形態における第３の欠陥画素検出方式による欠陥画素検出処理のフローチャート。
【図１２】第２の実施形態における欠陥画素の検出領域を説明する図。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。
【００１２】
＜第１の実施形態＞
図１は、本発明の実施形態における撮像装置の概略構成を示すブロック図である。図１の撮像装置は、撮像素子１００、欠陥画素マーク付加回路１０１、画像処理回路１０２、第１の欠陥画素検出回路１０３、第２の欠陥画素検出回路１０４、欠陥画素補正回路１０５、ＲＡＭ１０６、ＲＯＭ１０７、ＣＰＵ１０８、外部出力回路１０９を含む。
【００１３】
撮像素子１００は、並列型ＡＤ変換器を実装したＣＭＯＳイメージセンサであり、ベイヤー配列のカラーフィルタに覆われた複数の画素を有する。撮像素子１００の画素のうち、いくつかの画素は、デバイス製造過程におけるバラつきや、経年劣化などの影響を受け、出力が所望の値にならない欠陥画素となる。欠陥画素マーク付加回路１０１は、撮像素子１００から入力された画像のうち、補正するアドレスの画素に対して欠陥画素マークを付加する回路である。なお、このアドレスは、後述する処理により第１の欠陥画素検出回路１０３で検出され、ＲＡＭ１０６に記憶された欠陥画素データを読み込むことで取得する。画像処理回路１０２は、画像のオフセットバラつきやゲインバラつきの補正などを行う。
【００１４】
第２の欠陥画素検出回路１０４は、入力された画像データに対して、後述する第２の欠陥画素検出方法により欠陥画素を検出し、そのアドレスや特性データ等の欠陥画素データを欠陥画素補正回路１０５に送る。第２の欠陥画素検出回路１０４で欠陥画素を検出する際は、後述する第１の欠陥画素検出回路１０３のように特定の環境下で行うのではなく、撮像素子１００を露光して、通常の撮影で得られた画像に対して行う。
【００１５】
欠陥画素補正回路１０５は、欠陥画素マーク付加回路１０１で付加された欠陥画素マークのある画素、及び第２の欠陥画素検出回路１０４で検出された画素の画像データに対して、周囲の画素の画像データを用いて補正を行う。ただし、周囲の画素に欠陥画素が含まれている場合には、それ以外の画素を用いて補正する。なお、欠陥画素の補正方法については、公知の方法を利用することが可能であるため、ここでは詳細説明を省略する。外部出力回路１０９は、欠陥画素補正回路１０５で欠陥画素の補正が行われた画像に対して必要な演算を行った後、撮像装置の外部へ出力する。
【００１６】
一方、第１の欠陥画素検出回路１０３は、入力された画像データに対して、後述する第１の欠陥画素検出方法により欠陥画素を検出し、そのアドレスや特性データを含む欠陥画素データをＲＡＭ１０６に記憶する。第１の欠陥画素検出回路１０３で欠陥画素の検出を行う際は、レンズを遮光してゲインを上げる、あるいは、均一な輝度レベルの照明光を照射するなど、特定の環境下で撮影及び信号処理を行い、欠陥画素を特定し易くしておく。なお、第１の欠陥画素検出回路１０３で欠陥画素を検出する場合は、欠陥画素マーク付加回路１０１での欠陥画素マークの付加や、第２の欠陥画素検出回路１０４での欠陥画素の検出や、欠陥画素補正回路１０５での欠陥画素の補正は行わなくてもよい。行った場合には、先に検出されている欠陥画素以外の欠陥画素を検出することができ、行わない場合には、先に検出されている欠陥画素を含めて、現在発生している欠陥画素を検出することができ、いずれにするかは選択可能とする。また、第１の欠陥画素検出回路１０３による欠陥画素の検出は、例えば、不図示の操作部を介してユーザにより指示された場合や、予め決められた使用時間が経過する毎等に自動的に指示された場合等に行われる。
【００１７】
ＲＡＭ１０６は、第１の欠陥画素検出回路１０３で得られた欠陥画素データを記憶する。ＲＯＭ１０７は、ＲＡＭ１０６に置かれた欠陥画素データを複製して記憶する。ＣＰＵ１０８は、ＲＡＭ１０６のデータを演算したり、その他の回路を制御したりする。
【００１８】
図２は、撮像素子１００の画素構成の一例を示す図である。撮像素子１００はベイヤー配列のカラーフィルタを有する画素で構成されており、Ｒ、Ｇ、Ｂの３種類のカラーフィルタを用いている。図２では、Ｇ画素に関して、Ｒ画素と同じ行のカラーフィルタをＧｒ、Ｂ画素と同じ行のカラーフィルタをＧｂと表記しているが、カラーフィルタとしては同じ特性を有する。また、図２は一部の画素（４×４画素）のみを示しているが、実際には同様の配列で、例えば４０９６×２１６０画素を有する。
【００１９】
次に、図３を用いて、第１の欠陥画素検出回路１０３で行われる第１の欠陥画素検出方法について説明する。図３（ａ）において、Ｒ２２は欠陥画素検出の対象となる注目画素、Ｒ１１、Ｒ１２、Ｒ１３、Ｒ２１、Ｒ２３、Ｒ３１、Ｒ３２、Ｒ３３は注目画素Ｒ２２に隣接する同色の画素を示している。第１の欠陥画素検出回路１０３は、欠陥画素検出時に、この同色の３×３画素を参照する。ここではＲ画素を例に挙げるが、Ｇｒ、Ｇｂ、Ｂに関しても同様の方法で検出を行う。
【００２０】
図３（ｂ）は、横軸に画素を特定する情報、縦軸に画素の信号レベルの一例を表した図である。また、図３（ｂ）の棒グラフの上部に表示した数値は、３×３画素中でその画素のレベルが何番目に大きいかを示した数値である。第１の欠陥画素検出回路１０３では、注目画素であるＲ２２のレベルを取得する。次に、９画素のうち、例えば、メディアン値等の中間のレベル（中間値）を持つ画素（この例では、Ｒ１１）を選択し、そのレベルを取得する。なお、以下、取得したレベルをメディアン値として説明する。上述したように、第１の欠陥画素検出回路１０３で欠陥画素の検出を行う際は、注目画素Ｒ２２が欠陥画素でない場合には、メディアン値との差分が小さくなることが予測される。そこで、注目画素のレベルとメディアン値との差分（検出レベル）と、欠陥画素を判定するための閾値とを比較し、検出レベルの方が閾値よりも大きい場合（条件を満たす場合）に、欠陥画素と判定する。
【００２１】
図４に、第１の欠陥画素検出回路１０３で検出した欠陥画素の欠陥画素データのフォーマットを示す。欠陥画素データは（ｎ＋ｍ）ビットで１つの欠陥画素の情報を表す。上位ｎビットは欠陥画素のアドレスデータであり、画像の平面上のどこに欠陥画素があるかを示すものである。アドレスデータは、その絶対アドレスを（Ｈ，Ｖ）アドレスで表してもよいし、画面左上もしくは直前のデータからの画素数を相対的にカウントした相対アドレスで表してもよい。下位ｍビットは欠陥画素の特性データであり、欠陥画素の種類や、欠陥画素のレベル等を示すものである。
【００２２】
図５は、ＲＡＭ１０６に記憶される欠陥画素データを説明するための図である。ＲＡＭ１０６は、第１のＲＡＭ領域５０１と、第２のＲＡＭ領域５０２の２つの領域を持つ。第１のＲＡＭ領域５０１には、第１の欠陥画素検出回路１０３で検出された欠陥画素データを一時的に記憶する。第２のＲＡＭ領域５０２には、第１のＲＡＭ領域５０１に記憶されたデータのうち、後述する方法で選択されたデータのみを記憶する。
【００２３】
図６は、ＲＯＭ１０７に記憶される欠陥画素データを説明するための図である。ＲＯＭ１０７のＲＯＭ領域６０１には、ＲＡＭ１０６の第２のＲＡＭ領域５０２に記憶された欠陥画素データのコピーを記憶する。これにより、撮像装置本体の電源がＯＦＦされ、ＲＡＭ１０６のデータが消えた後も、ＲＯＭ１０７に記憶された欠陥画素データが保持される。
【００２４】
図７に、ＲＡＭ１０６の第２のＲＡＭ領域５０２に記憶するデータの一例を示す。第２のＲＡＭ領域５０２には、第１のＲＡＭ領域５０１の欠陥画素データのうち、注目画素が欠陥画素であり、且つ、その隣接画素の少なくとも１つが欠陥画素である欠陥画素データのみを選択し、記憶する。なお、ここで言う隣接画素とは、図３におけるＲ２２を注目画素としたときの、Ｒ１１、Ｒ１２、Ｒ１３、Ｒ２１、Ｒ２３、Ｒ３１、Ｒ３２、Ｒ３３の同色８画素である。なお、注目画素Ｒ２２に隣接するＧ、Ｂの８画素としても良い。
【００２５】
図７（ａ）は注目画素Ｒ２２が欠陥画素であり、その左上に隣接するＲ１１も欠陥画素である例を示している。図７（ｂ）は注目画素Ｒ２２が欠陥画素であり、その右に隣接するＲ２３も欠陥画素である例を示している。図７（ｃ）は注目画素Ｒ２２が欠陥画素であり、その左に隣接するＲ２１、及び、下に隣接するＲ３２も欠陥画素である例を示している。図７（ｄ）は注目画素Ｒ２２が欠陥画素であり、その右上に隣接するＲ１３、及び、左下に隣接するＲ３１も欠陥画素である例を示している。このように、注目画素が欠陥画素であり、且つ、その周辺画素の少なくとも１つが欠陥画素であった場合に、その注目画素の欠陥画素データを選択し、第２のＲＡＭ領域５０２に記憶する。
【００２６】
図８は、第１の実施形態において第１の欠陥画素検出回路１０３により行われる第１の欠陥画素検出方式による欠陥画素検出処理のフローチャートを示す。Ｓ１００では、まず、入力画像に対し、左上の一部のエリアを欠陥画素の検出領域に設定する。なお、検出領域の詳細については、図９を参照して後述する。次に、Ｓ１０１において、第１の欠陥画素検出回路１０３は、図３を参照して上述した処理を、Ｓ１００で設定した検出領域内の各画素について順次行うことで、欠陥画素の検出を行う。
【００２７】
Ｓ１０２では、Ｓ１０１で検出した欠陥画素データをＲＡＭ１０６の第１のＲＡＭ領域５０１に記憶する。このとき、第１のＲＡＭ領域５０１に元々記憶されていたデータは削除し、Ｓ１０１で検出したデータのみを記憶する。Ｓ１０３では、ＲＡＭ１０６の第１のＲＡＭ領域５０１の欠陥画素データのうち、図７で示したように、注目画素が欠陥画素であり、且つ、その隣接画素の少なくとも１つが欠陥画素である欠陥画素データを選択する。そして選択した欠陥画素データのみを、ＲＡＭ１０６の第２のＲＡＭ領域５０２に記憶する。このとき、第２のＲＡＭ領域５０２に元々記憶されていたデータは削除し、Ｓ１０３で選択したデータのみを記憶する。
【００２８】
Ｓ１０４では、検出領域を次の領域に設定する。Ｓ１０５では、Ｓ１０４で設定された検出領域に対して、Ｓ１０１と同様にして欠陥画素の検出を行う。
【００２９】
Ｓ１０６では、Ｓ１０５で検出した欠陥画素データをＲＡＭ１０６の第１のＲＡＭ領域５０１に記憶する。このとき、第１のＲＡＭ領域５０１に元々記憶されていたデータは削除し、Ｓ１０５で検出したデータのみを記憶する。Ｓ１０７では、ＲＡＭ１０６の第１のＲＡＭ領域５０１の欠陥画素データのうち、図７で示したように、注目画素が欠陥画素であり、且つ、その隣接画素の少なくとも１つが欠陥画素である欠陥画素データを選択する。そして選択した欠陥画素データのみを、ＲＡＭ１０６の第２のＲＡＭ領域５０２に記憶する。このとき、第２のＲＡＭ領域５０２に記憶されているデータがある場合は、そのデータに加えて、Ｓ１０７で選択したデータを記憶する。
【００３０】
Ｓ１０８では、全領域に対して欠陥画素の検出が完了したか確認する。全領域に対して、欠陥画素の検出が完了していない場合にはＳ１０４に戻り、次の検出領域に対して欠陥画素の検出を行う。Ｓ１０８で全領域に対して欠陥画素の検出が完了している場合にはＳ１０９へ進み、ＲＡＭ１０６の第２のＲＡＭ領域５０２に記憶されているデータを、ＲＯＭ１０７のＲＯＭ領域６０１にコピーして記憶し、処理を終了する。
【００３１】
次に、図９を用いて、図８のＳ１００及びＳ１０４で設定する欠陥画素の検出領域に関して説明する。９０１は第１の欠陥画素検出回路１０３に入力される画像の全画素を示す。９０２は第１の欠陥画素検出回路１０３に入力される全画素９０１のうち、欠陥画素の検出対象となる領域を示す。欠陥画素検出対象領域９０２は、後段の回路で使用される画素や、記憶される画素などの仕様から決定される。
【００３２】
検出領域９０３は１回目に欠陥画素検出が行われる領域であり、図８のＳ１００で設定される。検出領域９０３は１回目に検出対象とする領域に加えて、上下左右に同色１画素分の余分な画素領域を含む。これはＳ１０３の処理において、周囲の画素が欠陥画素であるかどうかを判定するために必要となる。また、検出領域９０３の大きさは、検出される欠陥画素の欠陥画素データが、ＲＡＭ１０６の第１のＲＡＭ領域５０１に収まるように設定する。例えば、第１の欠陥画素検出回路１０３での欠陥画素の検出に用いる閾値を小さい値にしたい場合は、検出領域９０３も小さい範囲にしておく。これは、閾値を小さい値にする程、欠陥画素として検出される画素が多くなるからである。
【００３３】
９０４は２回目に設定される検出領域を示しており、図８のＳ１０４で設定される。検出領域９０４は直前に設定した検出領域９０３と、左端の一部の画素が重複している。これはＳ１０７の処理において、周囲の画素が欠陥画素であるかどうかを判定するために必要となる。このように、検出枠を設定する際、直前の検出枠と一部画素を重複させるように次の検出領域を設定する。
【００３４】
検出領域９０４について欠陥画素検出を行った後、水平方向に検出領域を移動させ、繰り返し欠陥画素検出を行う。最上段の水平方向の欠陥画素検出が終了したら、垂直方向に領域を移動させ、検出領域９０５を設定する。検出領域９０５は上部の検出領域９０３と一部画素が重複している。これはＳ１０７の処理において、周囲の画素が欠陥画素であるかどうかを判定するために必要となる。その後、同様にして水平方向に検出領域を移動させたのち、垂直方向に検出領域を移動して、欠陥画素検出処理を行う。これを繰り返し、最後は検出領域９０６を設定する。ここでも、上下左右に同色１画素分の余分な画素領域を含めて欠陥画素検出を行い、Ｓ１０７の処理において、周囲の画素が欠陥画素であるかどうかを判定できるようにしておく。検出領域９０６の欠陥画素検出が終了すると、欠陥画素検出対象領域９０２の全領域の検出が完了する。
【００３５】
次に、図１０を用いて、第２の欠陥画素検出回路１０４で行われる第２の欠陥画素検出方法について説明する。図１０は横軸に画素を特定する情報、縦軸に画素の信号レベルの一例を表した図である。図１０のＲ１１〜Ｒ３３は、図３（ａ）に示したものと同様で、Ｒ２２が注目画素、Ｒ１１、Ｒ１２、Ｒ１３、Ｒ２１、Ｒ２３、Ｒ３１、Ｒ３２、Ｒ３３が、注目画素Ｒ２２に隣接する同色の隣接８画素を示している。なお、注目画素Ｒ２２に隣接するＧ、Ｂの８画素としても良い。また、図１０の棒グラフの上部に表示した数値は、３×３画素中でその画素のレベルが何番目に大きいかを示した数値である。
【００３６】
第２の欠陥画素検出回路１０４では、注目画素Ｒ２２のレベルを取得する。次に、隣接８画素のうち、最大値を有する画素（この例では、Ｒ２３）を選択し、そのレベルを取得する。そして、注目画素Ｒ２２のレベルと隣接８画素の最大値との差分（検出レベル）と、欠陥画素を判定するための閾値とを比較し、検出レベルの方が閾値よりも大きい場合に、欠陥画素と判定する。欠陥画素と判定された場合は、その情報を欠陥画素補正回路１０５へ送信し、その画素を欠陥画素補正回路１０５で補正する。
【００３７】
第２の欠陥画素検出回路１０４での検出結果は、ＲＡＭ１０６やＲＯＭ１０７に保存する必要が無いため、検出個数に制限はない。また、第２の欠陥画素検出回路１０４での検出は上述したように、注目画素のレベルと隣接８画素の最大値とを比較することで検出するため、隣接８画素中では、最もレベルの大きい画素のみしか検出されない。これは、第２の欠陥画素検出回路１０４が検出対象とする画像が撮影中の画像であるため、明らかに欠陥画素であるものしか検出させないためである。
【００３８】
なお、第２の欠陥画素検出回路１０４に、更に第１の欠陥画素検出方法を用いて欠陥画素の検出を行わせた場合、撮影する被写体によっては誤った画素が欠陥として検出される確率が高まってしまい、誤って補正を行うことで画質が劣化する場合がある。そのため、第２の欠陥画素検出回路１０４だけを用いて、撮影中の画像に対して第１の欠陥画素検出方法と第２の欠陥画素検出方法の両方による欠陥画素検出を行って、検出された欠陥画素を補正することは、製品性能を考慮すると現実的ではない。
【００３９】
上記の通り本第１の実施形態においては、第１の欠陥画素検出回路１０３による遮光して得た画像データを用いた欠陥画素の検出対象を、隣接画素の少なくとも１画素が欠陥画素である欠陥画素のみとする。これにより、同じメモリ容量であっても、従来よりもレベルの小さい欠陥画素を多く記憶し、補正することが可能となる。また、第２の欠陥画素検出回路１０４により単独の欠陥画素を検出して、補正を行うことにより、第１の欠陥画素検出回路１０３で検出できなかった欠陥画素に対しても、補正を行うことが可能となる。
【００４０】
なお、第１の実施形態で説明した、第１の欠陥画素検出回路１０３での検出方法と、第２の欠陥画素検出回路１０４での検出方法は一例であり、他の方法を用いてもよい。第１の実施形態においては、第１の欠陥画素検出回路１０３において、第２の欠陥画素検出回路１０４では検出することができない特定の特徴を有する欠陥画素を検出することが重要であり、その検出方法は上述の例に限定されない。
【００４１】
また、上述した第１の実施形態で説明した手法を、従来の手法と組み合わせて使用してもよい。例えば、従来の方法を用いて、レベルの大きな欠陥画素を全て検出する。次に、第１の欠陥素検出方法を用いて、レベルの小さな欠陥画素のうち、隣接画素も欠陥画素であるもののみを検出する。そうすることで、例えば、レベルの大きい欠陥画素の全てと、レベルの小さい欠陥画素のうち、隣接画素も欠陥画素であるものの両方の欠陥画素データを、限られたメモリ容量であっても記憶することができる。
【００４２】
このようにして得られた欠陥画素データは、次のように用いることができる。例えば、撮影した画像にかけるゲインが小さい場合は、第１の欠陥画素検出回路１０３で検出したデータのみを用いて、レベルの大きい欠陥画素を全て補正する。一方、ゲインが大きい場合は、第１の欠陥画素検出回路１０３で検出した欠陥画素のうち、隣接画素も欠陥画素であるものを補正すると共に、第２の欠陥画素検出回路１０４で検出した単独の欠陥画素も補正する。これにより、ゲインが小さい場合は、第２の欠陥画素検出回路１０４で補正する必要がないので、画質劣化を最小限に抑えられる。また、ゲインが大きい場合は、第１の欠陥画素検出回路１０３と第２の欠陥画素検出回路１０４を併用して、レベルの小さい全ての欠陥画素を補正することが可能となる。ここでは例としてゲインを挙げたが、シャッタースピードや温度など、欠陥画素のレベルに影響を与える別のパラメータを参照してもよい。
【００４３】
＜第２の実施形態＞
次に、本発明の第２の実施形態について、図１１及び図１２を参照して説明する。第２の実施形態では、第１の欠陥画素検出回路１０３により行われる処理が、上述した第１の実施形態で行われる処理と異なる。それ以外は、第１の実施形態と同様であるので、以下、第２の実施形態において第１の欠陥画素検出回路１０３により行われる処理について説明する。
【００４４】
図１１は、第２の実施形態における第１の欠陥画素検出回路１０３により行われる第３の欠陥画素検出処理のフローチャートを示す。第３の欠陥画素検出処理は、第１の実施形態で上述した第１の欠陥画素検出処理の代わりに行われる。Ｓ２００ではまず、入力画像に対し、図１２に示す左上の領域１２０２を検出領域に設定する。次のＳ２０１において、第１の欠陥画素検出回路１０３は、第１の実施形態において図３を参照して説明した処理を、Ｓ２００で設定した検出領域１２０２の各画素について順次行うことで、欠陥画素を検出する。
【００４５】
Ｓ２０２では、Ｓ２０１で検出された欠陥画素の個数が、第１の閾値以下かどうか判断する。第１の閾値よりも多いと判断された場合は、Ｓ２０３へ進む。Ｓ２０３では、現在設定されている検出領域よりも小さい範囲を、検出領域として再設定する。具体的には、現在、検出領域１２０２が設定されている場合には、検出領域１２０３に再設定し、現在、検出領域１２０３が設定されている場合には、検出領域１２０４に再設定する。このように検出個数が第１の閾値以下となるまで、検出領域を小さくしていく。Ｓ２０３で検出領域を再設定した後、Ｓ２０１へ進み、再度欠陥画素検出を行う。Ｓ２０２で、検出個数が第１の閾値以下と判断されると、Ｓ２０４へ進む。
【００４６】
Ｓ２０４では、Ｓ２０１で検出した欠陥画素データをＲＡＭ１０６の第１のＲＡＭ領域５０１に記憶する。このとき、第１のＲＡＭ領域５０１に元々記憶されていたデータは削除し、Ｓ２０１で検出したデータのみを記憶する。Ｓ２０５では、ＲＡＭ１０６の第１のＲＡＭ領域５０１の欠陥画素データのうち、図７で示したように、注目画素が欠陥画素であり、且つ、その隣接画素の少なくとも１つが欠陥画素である欠陥画素データを選択する。そして選択した欠陥画素データのみを、ＲＡＭ１０６の第２のＲＡＭ領域５０２に記憶する。このとき、第２のＲＡＭ領域５０２に元々記憶されていたデータは削除し、Ｓ２０５で選択したデータのみを記憶する。
【００４７】
Ｓ２０６では、検出領域を次の領域に設定する。なお、ここでの設定方法は図８のＳ１０４と同様である。ただし、第２の実施形態においては、Ｓ２００で設定されたサイズの検出領域またはＳ２０３で再設定されたサイズの検出領域を、水平方向，垂直方向に順にずらしていく。Ｓ２０７では、Ｓ２０６で設定された検出領域に対して、Ｓ２０１と同様にして欠陥画素の検出を行う。
【００４８】
Ｓ２０８では、Ｓ２０７で検出された欠陥画素の個数が、第２の閾値以下かどうかを判定する。検出個数が第２の閾値以下であった場合は、Ｓ２０９へ進む。Ｓ２０９ではＳ２０７で検出した欠陥画素データをＲＡＭ１０６の第１のＲＡＭ領域５０１に記憶する。このとき、第１のＲＡＭ領域５０１に元々記憶されていたデータは削除し、Ｓ２０７で検出したデータのみを記憶する。Ｓ２１０では、ＲＡＭ１０６の第１のＲＡＭ領域５０１の欠陥画素データのうち、図７で示したように、注目画素が欠陥画素であり、且つ、その隣接画素の少なくとも１つが欠陥画素である欠陥画素データを選択する。そして選択した欠陥画素データのみを、ＲＡＭ１０６の第２のＲＡＭ領域５０２に記憶する。このとき、第２のＲＡＭ領域５０２に元々記憶されていたデータがある場合は、そのデータに加えて、Ｓ２１０で選択したデータを記憶する。
【００４９】
Ｓ２１１では、全領域に対して欠陥画素検出が完了したか確認する。全領域に対して、欠陥画素検出が完了していない場合には、Ｓ２０６に戻り、次の検出領域に対して欠陥画素検出を行う。Ｓ２１１で全領域の欠陥画素検出が完了している場合にはＳ２１２へ進み、ＲＡＭ１０６の第２のＲＡＭ領域５０２のデータを、ＲＯＭ１０７のＲＯＭ領域６０１にコピーして記憶し、処理を終了する。
【００５０】
一方、Ｓ２０８で、検出個数が第２の閾値以下でなかった場合は、Ｓ２１３へ進む。Ｓ２１３では、エラー情報を記憶する等のエラー終了処理を行い、処理を終了する。
【００５１】
上記処理において、Ｓ２０２における第１の閾値は、Ｓ２０１での欠陥画素検出において検出される欠陥画素データが、ＲＡＭ１０６の第１のＲＡＭ領域５０１に十分収まるように設定する。一方、Ｓ２０８における第２の閾値は、Ｓ２０７での欠陥画素検出において検出される欠陥画素データが、ＲＡＭ１０６の第１のＲＡＭ領域５０１に十分収まり、かつ第１の閾値よりも大きい値に設定する。
【００５２】
以上説明したように、第２の実施形態によれば、第１の欠陥画素検出回路１０３において検出された欠陥画素の個数が多い場合は、欠陥画素データがＲＡＭ１０６の第１のＲＡＭ領域５０１に記憶できる量に収まるように欠陥画素の検出領域を設定する。これにより、第１の実施形態と同様の効果に加えて、検出領域を移動する回数を減らすことができるので、効率的に欠陥画素の検出を行い、欠陥画素の検出に要する時間を短縮することができる。
【００５３】
なお、本発明は上述した第１及び第２の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【００５４】
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５５】
１００：撮像素子、１０１：欠陥画素マーク付加回路、１０２：画像処理回路、１０３：第１の欠陥画素検出回路、１０４：第２の欠陥画素検出回路、１０５：欠陥画素補正回路、１０６：ＲＡＭ、１０７：ＲＯＭ、１０８：ＣＰＵ
【図１】
2017055308.tif 000003
【図２】
2017055308.tif 000004
【図３】
2017055308.tif 000005
【図４】
2017055308.tif 000006
【図５】
2017055308.tif 000007
【図６】
2017055308.tif 000008
【図７】
2017055308.tif 000009
【図８】
2017055308.tif 000010
【図９】
2017055308.tif 000011
【図１０】
2017055308.tif 000012
【図１１】
2017055308.tif 000013
【図１２】
2017055308.tif 000014