(57)【要約】【課題】  固体撮像素子の画素欠陥による画質劣化をより少なくする。【解決手段】  傾き抽出部４１は、固体撮像素子より供給される画像データに含まれる画素の画素値を基に、同色の画素の傾きを抽出する。孤立点候補検出部５１は、抽出された画素についての傾きを示す値の符号または傾きを示す値の絶対値を基に、孤立点の候補を検出する。孤立点検出部５２は、検出された孤立点の候補の周辺の画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、検出された孤立点の候補から孤立点を検出する。これにより、固体撮像素子の画素欠陥による画質劣化をより少なくすることができる。本発明は、デジタルスチルカメラに適用できる。【選択図】  図５
2005236749.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子を用いた撮像装置において、
前記固体撮像素子より供給される画像データに含まれる画素の画素値および前記画素に隣接する同色の画素の画素値を基に、同色の画素の前記画素値の傾きを抽出する抽出手段と、
前記画素についての前記傾きを示す値の符号または前記傾きを示す値の絶対値を基に、前記画素から孤立点の候補を検出する第１の検出手段と、
前記孤立点の前記候補の周辺の画素についての前記傾きを示す値の符号および前記傾きを示す値の絶対値を基に、前記候補から前記孤立点を検出する第２の検出手段と、
画素欠陥として前記孤立点を補正する補正手段と
を含むことを特徴とする撮像装置。
【請求項２】
前記孤立点の色と異なる色の画素であって、前記孤立点に隣接する画素についての前記傾きを示す値の符号、および前記傾きを示す値の絶対値を基に、第２の検出手段によって検出された前記孤立点から、前記画素欠陥と推定される孤立点をさらに検出する第３の検出手段をさらに含む
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像データ上の前記孤立点の位置を示す座標を記憶する記憶手段と、
前記座標を基に、前記画像データの画素に前記画素欠陥であることを示す情報を挿入する挿入手段と
を含むことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記補正手段は、前記画素欠陥であることを示す前記情報を基に、前記孤立点を補正する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記候補の周辺の画素の前記傾きを基に、前記候補の検出および前記孤立点の検出のための閾値を調節する調節手段をさらに含み、
前記第１の検出手段は、調整された前記閾値を基に、前記閾値を検出し、
前記第２の検出手段は、調整された前記閾値を基に、前記孤立点を検出する
ことを特徴とする請求項１に記載の撮像装置。
【請求項６】
前記画像データの１フレームに含まれる前記孤立点の検出点数の上限および下限を設定する上限下限設定手段と、
前記上限および前記下限、並びに検出された前記孤立点の数を基に、次のフレームにおいて前記候補または前記孤立点を検出するための閾値を設定する閾値設定手段と
を含むことを特徴とする請求項１に記載の撮像装置。
【請求項７】
前記第１の検出手段は、前記画素についての前記傾きを示す値の符号、前記傾きを示す値の絶対値、および前記閾値を基に前記画素から前記孤立点の候補を検出する
ことを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記第２の検出手段は、前記孤立点の前記候補の周辺の画素についての前記傾きを示す値の符号、前記傾きを示す値の絶対値、および前記閾値を基に、前記孤立点の前記候補から前記孤立点を検出する
ことを特徴とする請求項６に記載の撮像装置。
【請求項９】
前記画像データの１フレームにおいて、検出された前記検出点の検出点数を基に、前記上限および前記下限を調整する調整手段
をさらに含むことを特徴とする請求項６に記載の撮像装置。
【請求項１０】
前記画素の前記孤立点としての検出回数を算出する検出回数算出手段と、
前記孤立点として検出されなかった回数である、前記画素の消失回数を算出する消失回数算出手段と、
前記検出回数と前記消失回数との関係を基に、前記検出回数または前記消失回数に初期値を設定する回数設定手段と
を含むことを特徴とする請求項１に記載の撮像装置。
【請求項１１】
前記記憶手段は、前記画素の前記検出回数および前記消失回数を記憶する
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
前記画素の前記検出回数および前記消失回数を基に、その画素が画素欠陥であることを示す情報を前記画素データに挿入する挿入手段をさらに含む
ことを特徴とする請求項１０に記載の撮像装置。
【請求項１３】
固体撮像素子を用いた撮像方法において、
前記固体撮像素子より供給される画像データに含まれる画素の画素値および前記画素に隣接する同色の画素の画素値を基に、同色の画素の前記画素値の傾きを抽出する抽出ステップと、
前記画素についての前記傾きを示す値の符号または前記傾きを示す値の絶対値を基に、前記画素から孤立点の候補を検出する第１の検出ステップと、
前記孤立点の前記候補の周辺の画素についての前記傾きを示す値の符号および前記傾きを示す値の絶対値を基に、前記候補から前記孤立点を検出する第２の検出ステップと、
画素欠陥として前記孤立点を補正する補正ステップと
を含むことを特徴とする撮像装置。
【請求項１４】
固体撮像素子を用いた撮像処理用のプログラムにおいて、
前記固体撮像素子より供給される画像データに含まれる画素の画素値および前記画素に隣接する同色の画素の画素値を基に、同色の画素の前記画素値の傾きを抽出する抽出ステップと、
前記画素についての前記傾きを示す値の符号または前記傾きを示す値の絶対値を基に、前記画素から孤立点の候補を検出する第１の検出ステップと、
前記孤立点の前記候補の周辺の画素についての前記傾きを示す値の符号および前記傾きを示す値の絶対値を基に、前記候補から前記孤立点を検出する第２の検出ステップと、
画素欠陥として前記孤立点を補正する補正ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１５】
固体撮像素子を用いた撮像する処理を、コンピュータに行わせるプログラムにおいて、
前記固体撮像素子より供給される画像データに含まれる画素の画素値および前記画素に隣接する同色の画素の画素値を基に、同色の画素の前記画素値の傾きを抽出する抽出ステップと、
前記画素についての前記傾きを示す値の符号または前記傾きを示す値の絶対値を基に、前記画素から孤立点の候補を検出する第１の検出ステップと、
前記孤立点の前記候補の周辺の画素についての前記傾きを示す値の符号および前記傾きを示す値の絶対値を基に、前記候補から前記孤立点を検出する第２の検出ステップと、
を含むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置および方法、記録媒体、並びにプログラムに関し、特に、後発画素欠陥による画質劣化をより少なくすることができるようにした撮像装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
近年、CCD（Charge Coupled Devices）を用いたデジタルカメラが普及している。
【０００３】
CCDには、画素欠陥（キズ）が生じることがあり、画素欠陥が生じると、CCDから出力される画像の画質が劣化する。この画質の劣化を防止するために画素欠陥の検出および補正を行うのが一般的である。
【０００４】
ここで、カラーの画像を撮像するデジタルカメラにおいて、単版式のCCDの場合、CCDの１画素に対して“Red”、“Green”、または“Blue”のいずれかのカラーフィルタを割り当てることで、カラーフィルタ配列が形成される。
【０００５】
以下、“Red”、“Green”、“Blue”をそれぞれ、“R”、“G”、“B”とも称する。
【０００６】
CCDに用いられるカラーフィルタ配列には種々の配列が用いられており、その１つとして、CCDの画素のある行に“RGRG”を、次の行に“GBGB”を並べる、いわゆるBayer配列といわれる方式がある。
【０００７】
図１乃至図３は、Bayer配列のカラーフィルタ配列を示す例である。
【０００８】
図１は、Bayer配列の、“G”のカラーフィルタが設けられているGreen画素を示す例である。
【０００９】
図１に示す例において、斜線の四角はGreen画素を示し、それ以外の白色の四角はGreen以外の画素を示す。例えば、白色の四角を“W”とした場合、図１で示すカラーフィルタ配列は、１行目は“WGWGWGW”、２行目は“GWGWGWG”、３行目は“WGWGWGW”、４行目は“GWGWGWG”、５行目は“WGWGWGW”となる。
【００１０】
すなわち、斜線の四角で示されるGreen画素は、奇数および偶数行において、互い違いに並ぶように配置される。
【００１１】
また、Green画素に記された“Ａ”、“Ｂ”、または０乃至６の符号は、後述する画素欠陥の判定の説明で使用する。
【００１２】
図２は、Bayer配列の、“B”のカラーフィルタが設けられているBlue画素を示す例である。
【００１３】
図２で示す例において、ひし形の模様の四角はBlue画素を示し、それ以外の白色の四角はBlue以外の画素を示す。例えば、図１と同様に白色の四角を“W”とした場合、図２で示すカラーフィルタ配列は、１行目は“BWBWBWBWB”、２行目は“WWWWWWWWW”、３行目は“BWBWBWBWB”、４行目は“WWWWWWWWW”、５行目は“BWBWBWBWB”となる。
【００１４】
すなわち、ひし形の模様の四角で示されるBlue画素は、図中の奇数行においてBlue画素とBlue以外の画素が交互に並び、偶数行においてBlue以外の画素が並ぶように配置される。
【００１５】
また、Blue画素に記された０乃至６の符号は、後述する画素欠陥の判定の説明で使用する。
【００１６】
図３は、Bayer配列の、“R”のカラーフィルタが設けられているRed画素を示す例である。
【００１７】
図３で示す例において、太斜線の四角はRed画素を示し、それ以外の白色の四角はRed以外の画素を示す。例えば、図１および図２と同様に白色の四角を“W”とした場合、図３で示すカラーフィルタ配列は、１行目は“RWRWRWRWR”、２行目は“WWWWWWWWW”、３行目は“RWRWRWRWR”、４行目は“WWWWWWWWW” 、５行目は“RWRWRWRWR”となる。
【００１８】
すなわち、太斜線の四角で示されるRed画素は、奇数行においてRed画素とRed以外の画素が交互に並び、図中の偶数行においてRed以外の画素が並ぶように配置される。
【００１９】
また、Red画素に記された０乃至６の符号は、後述する画素欠陥の判定の説明で使用する。
【００２０】
図４は、従来の画素欠陥の判定方法を示すグラフである。
【００２１】
図４のグラフの縦軸は、画素値を示し、縦軸の値が大きいほど画素が明るいことを示す。横軸は、画素の位置を示し、画素欠陥の対象となる画素である“検出点”を中心として、“検出点”の左右に隣接する同色の画素を、“同色−１”および“同色＋１”で示す。
【００２２】
例えば、図４の“検出点”を図１の“３”で示される“Green画素”とした場合、図４の“同色−１”は、図１の“Ａ”で示される“Green画素“となり、図４の“同色＋１”は、図１の“Ｂ”で示される“Green画素“となる。すなわち、“同色−１”、“検出点”、および“同色＋１”は、画像データの同一の行における連続する同色の画素である。
【００２３】
以下、例えば、図中“３”で示されるGreen画素をGreen画素３、または図中“Ａ”で示されるGreen画素をGreen画素Ａを示すように、図中“α”で示されるGreen画素をGreen画素αと称する。同様に、“β”で示されるBlue画素をBlue画素βと称し、“γ”で示されるRed画素をRed画素γと称する。
【００２４】
従来の画素欠陥の判定方法は、“検出点”の左右に隣接する同色の画素の画素値の平均値と“検出点”の画素値との差が、所定の閾値以上であるか否かを判定することで、画素欠陥を判定していた。
【００２５】
図４で示される例において、“検出点”の左右に隣接する“同色−１”および“同色＋１”から両画素の画素値の平均値が算出され、“検出点”の画素値との差が、所定の閾値以上であるか否かが判定される。
【００２６】
例えば、画素値の平均値は、“同色−１”および“同色＋１” の画素値を結んだ直線が、“検出点”の画素値と交わる点であり、その交わる点と“検出点”の画素値との差が所定の閾値の４０以上であるか否かを判定する。図４で示される例において、画素値の平均値と“検出点”の画素値との差が４０以上であるので、“検出点”が画素欠陥として検出される。
【００２７】
従来は、以上のようにして、“検出点”の画素欠陥が検出される。
【００２８】
また、撮像装置において、その撮像中に画素欠陥の補正を行うとともに欠陥検出を行い、撮像素子について補正すべき欠陥の個数が予め定められた設定範囲内に収まるように、欠陥画素の個数に応じて欠陥検出に係るレベル比較の閾値を可変制御し、記憶手段に、欠陥画素の位置情報と、当該欠陥画素が現フレームの直前のフレームにおいても欠陥画素として検出された場合の検出フレームの数と、当該欠陥画素について直前のフレームにおける補正の有無を示す情報を記憶させて、現フレームで検出された欠陥画素が、その直前のフレームでの当該欠陥画素に係る補正をしたかどうかおよび当該欠陥画素に係る検出フレームの数が多いか少ないかに基づいて、欠陥補正を行うべきか否かを判定する撮像装置がある（例えば、特許文献１参照）。
【００２９】
【特許文献１】特開平１４−５１２６６号公報
【発明の開示】
【発明が解決しようとする課題】
【００３０】
しかしながら、従来の画素欠陥の検出においては、画素欠陥を“検出点”の左右に隣接する同色の画素の画素値の平均値と“検出点”の画素値との差が、所定の閾値以上であるか否かを基に判定していたため、ある程度急峻なエッジが画素欠陥として誤検出されていた。
【００３１】
また、HPF（High Pass Filter）による高周波検出によって画素欠陥を検出する従来の画素欠陥の検出方式においては、光を遮断するメカニカルシャッタなどを使用して光を遮断して、高周波成分が存在しない一面均一な画像を対象に検出を行わなければならなかった。
【００３２】
また、メカニカルシャッタを有さない安価なデジタルカメラは、工場出荷後に発生した画素欠陥（後発画素欠陥）を検出することができず、画質劣化の要因となっていた。
【００３３】
さらに、メカニカルシャッタを搭載し画素欠陥を検出することができる撮像装置でも、検出後に温度変化または電圧変動などにより、発生した画素欠陥を検出および補正することはできず、画質劣化の要因となっていた。
【００３４】
本発明はこのような状況に鑑みてなされたものであり、高周波成分が存在する画像の撮像中に画素欠陥の検出ができるようにすることを目的とする。その結果、通常の映像を撮像している間も常に画素欠陥の検出および補正を行うことにより、後発画素欠陥にも対応することができるようにし、より高画質な画像を得ることができるようにするものである。
【課題を解決するための手段】
【００３５】
本発明の撮像装置は、固体撮像素子より供給される画像データに含まれる画素の画素値および画素に隣接する同色の画素の画素値を基に、同色の画素の画素値の傾きを抽出する抽出手段と、画素についての傾きを示す値の符号または傾きを示す値の絶対値を基に、画素から孤立点の候補を検出する第１の検出手段と、孤立点の候補の周辺の画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、候補から孤立点を検出する第２の検出手段と、画素欠陥として孤立点を補正する補正手段とを含むことを特徴とする。
【００３６】
本発明の撮像装置は、孤立点の色と異なる色の画素であって、孤立点に隣接する画素についての傾きを示す値の符号、および傾きを示す値の絶対値を基に、第２の検出手段によって検出された孤立点から、画素欠陥と推定される孤立点をさらに検出する第３の検出手段をさらに含むことを特徴とする。
【００３７】
本発明の撮像装置は、画像データ上の孤立点の位置を示す座標を記憶する記憶手段と、座標を基に、画像データの画素に画素欠陥であることを示す情報を挿入する挿入手段とを含むことを特徴とする。
【００３８】
補正手段は、画素欠陥であることを示す情報を基に、孤立点を補正することができる。
【００３９】
本発明の撮像装置は、候補の周辺の画素の傾きを基に、候補の検出および孤立点の検出のための閾値を調整する調整手段をさらに含み、第１の検出手段は、調整された閾値を基に、閾値を検出し、第２の検出手段は、調整された閾値を基に、孤立点を検出することを特徴とする。
【００４０】
本発明の撮像装置は、画像データの１フレームに含まれる孤立点の検出点数の上限および下限を設定する上限下限設定手段と、上限および下限、並びに検出された孤立点の数を基に、次のフレームにおいて候補または孤立点を検出するための閾値を設定する閾値設定手段とを含むことを特徴とする。
【００４１】
第１の検出手段は、画素についての傾きを示す値の符号、傾きを示す値の絶対値、および閾値を基に画素から孤立点の候補を検出することができる。
【００４２】
第２の検出手段は、孤立点の候補の周辺の画素についての傾きを示す値の符号、傾きを示す値の絶対値、および閾値を基に、孤立点の候補から孤立点を検出することができる。
【００４３】
画像データの１フレームにおいて、検出された検出点の検出点数を基に、上限および下限を調整する調整手段をさらに含むことを特徴とする。
【００４４】
本発明の撮像装置は、画素の孤立点としての検出回数を算出する検出回数算出手段と、孤立点として検出されなかった回数である、画素の消失回数を算出する消失回数算出手段と、検出回数と消失回数との関係を基に、検出回数または消失回数に初期値を設定する回数設定手段とを含むことを特徴とする。
【００４５】
記憶手段は、画素の検出回数および消失回数を記憶することができる。
【００４６】
画素の検出回数および消失回数を基に、その画素が画素欠陥であることを示す情報を画素データに挿入する挿入手段をさらに含む。
【００４７】
本発明の撮像方法は、固体撮像素子より供給される画像データに含まれる画素の画素値および画素に隣接する同色の画素の画素値を基に、同色の画素の画素値の傾きを抽出する抽出ステップと、画素についての傾きを示す値の符号または傾きを示す値の絶対値を基に、画素から孤立点の候補を検出する第１の検出ステップと、孤立点の候補の周辺の画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、候補から孤立点を検出する第２の検出ステップと、画素欠陥として孤立点を補正する補正ステップとを含むことを特徴とする。
【００４８】
本発明の記録媒体のプログラムは、固体撮像素子より供給される画像データに含まれる画素の画素値および画素に隣接する同色の画素の画素値を基に、同色の画素の画素値の傾きを抽出する抽出ステップと、画素についての傾きを示す値の符号または傾きを示す値の絶対値を基に、画素から孤立点の候補を検出する第１の検出ステップと、孤立点の候補の周辺の画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、候補から孤立点を検出する第２の検出ステップと、画素欠陥として孤立点を補正する補正ステップとを含むことを特徴とする。
【００４９】
本発明のプログラムは、固体撮像素子より供給される画像データに含まれる画素の画素値および画素に隣接する同色の画素の画素値を基に、同色の画素の画素値の傾きを抽出する抽出ステップと、画素についての傾きを示す値の符号または傾きを示す値の絶対値を基に、画素から孤立点の候補を検出する第１の検出ステップと、孤立点の候補の周辺の画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、候補から孤立点を検出する第２の検出ステップと、を含むことを特徴とする。
【００５０】
本発明の撮像装置および方法、記憶媒体、並びにプログラムにおいては、固体撮像素子より供給される画像データに含まれる画素の画素値および画素に隣接する同色の画素の画素値を基に、同色の画素の画素値の傾きが抽出され、画素についての傾きを示す値の符号または傾きを示す値の絶対値を基に、画素から孤立点の候補が検出され、孤立点の候補の周辺の画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、候補から孤立点が検出され、画素欠陥として孤立点を補正される。
【発明の効果】
【００５１】
本発明によれば、画素欠陥の検出に“検出点”の周辺の画素を使用することで、画素欠陥を、より確実に、より正確に検出することができる。
【００５２】
また、遮光する機能を持ち合わせたデジタルカメラであっても、起動時に毎回画素欠陥を検出すると起動時間が遅くなるので、本発明を用いることで起動時に画素欠陥検出をしなくても撮像しながら画素欠陥を検出して画質劣化を防ぐことができる。
【００５３】
また、光を遮断する機能を有さないデジタルカメラであっても、工場出荷後の後発画素欠陥による画質劣化を防ぐことができる。
【００５４】
さらに、本発明によれば、撮像素子の温度特性または電圧特性に起因する起動中に発生する後発画素欠陥を補正し、画質劣化を防ぐことができる。その結果、後発画素欠陥による画質劣化をより少なくすることができる。
【発明を実施するための最良の形態】
【００５５】
以下に本発明の最良の形態を説明するが、開示される発明と実施の形態との対応関係を例示すると、次のようになる。本明細書中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応していないものであることを意味するものではない。
【００５６】
さらに、この記載は、明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現し、追加される発明の存在を否定するものではない。
【００５７】
本発明によれば、撮像装置が提供される。この撮像装置は、固体固体撮像素子より供給される画像データに含まれる画素の画素値および画素に隣接する同色の画素の画素値を基に、同色の画素の画素値の傾きを抽出する抽出手段（例えば、図５の傾き抽出部４１）と、画素についての傾きを示す値の符号または傾きを示す値の絶対値を基に、画素から孤立点の候補を検出する第１の検出手段（例えば、図５の孤立点候補検出部５１）と、孤立点の候補の周辺の画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、候補から孤立点を検出する第２の検出手段（例えば、図５の孤立点検出部５２）と、画素欠陥として孤立点を補正する補正手段（例えば、図５の補正部３２）とを備える。
【００５８】
孤立点の色と異なる色の画素であって、孤立点に隣接する画素についての傾きを示す値の符号、および傾きを示す値の絶対値を基に、第２の検出手段によって検出された孤立点から、画素欠陥と推定される孤立点をさらに検出する第３の検出手段（例えば、図５の孤立点推定部５３）をさらに含む。
【００５９】
画像データ上の孤立点の位置を示す座標を記憶する記憶手段（例えば、図５の画素欠陥情報記憶部２３）と、座標を基に、画像データの画素に画素欠陥であることを示す情報を挿入する挿入手段（例えば、図５の画素欠陥マーク部２１）とを含む。
【００６０】
補正手段は、画素欠陥であることを示す情報を基に、孤立点を補正することができる。
【００６１】
候補の周辺の画素の傾きを基に、候補の検出および孤立点の検出のための閾値を調整する調整手段（例えば、図３０のスレッショルド調整部６２１）をさらに含み、第１の検出手段は、調整された閾値を基に、閾値を検出し、第２の検出手段は、調整された閾値を基に、孤立点を検出することができる。
【００６２】
画像データの１フレームに含まれる孤立点の検出点数の上限および下限を設定する上限下限設定手段（例えば、図３０の上限下限設定部６２２）と、上限および下限、並びに検出された孤立点の数を基に、次のフレームにおいて候補または孤立点を検出するための閾値を設定する閾値設定手段（例えば、図３０の上限下限調整部６２３）とを含む。
【００６３】
第１の検出手段は、画素についての傾きを示す値の符号、傾きを示す値の絶対値、および閾値を基に画素から孤立点の候補を検出することができる。
【００６４】
第２の検出手段は、孤立点の候補の周辺の画素についての傾きを示す値の符号、傾きを示す値の絶対値、および閾値を基に、孤立点の候補から孤立点を検出することができる。
【００６５】
画像データの１フレームにおいて、検出された検出点の検出点数を基に、上限および下限を調整する調整手段（例えば、図３０の上限下限設定部６２２）をさらに含む。
【００６６】
画素の孤立点としての検出回数を算出する検出回数算出手段（例えば、図３７の検出回数算出部７２１）と、孤立点として検出されなかった回数である、画素の消失回数を算出する消失回数算出手段（例えば、図３７の消失回数算出部７２２）と、検出回数と消失回数との関係を基に、検出回数または消失回数に初期値を設定する回数設定手段（例えば、図３７の回数設定部７２３）とを含む。
【００６７】
記憶手段は、画素の検出回数および消失回数を記憶することができる。
【００６８】
画素の検出回数および消失回数を基に、その画素が画素欠陥であることを示す情報を画素データに挿入する挿入手段（例えば、画素欠陥マーク部２１）をさらに含む。
【００６９】
また、本発明によれば、撮像方法が提供される。撮像方法は、固体撮像素子より供給される画像データに含まれる画素の画素値および画素に隣接する同色の画素の画素値を基に、同色の画素の画素値の傾きを抽出する抽出ステップ（例えば、図１１のステップＳ２０１の処理）と、画素についての傾きを示す値の符号または傾きを示す値の絶対値を基に、画素から孤立点の候補を検出する第１の検出ステップ（例えば、図１１のステップＳ２０２の処理）と、孤立点の候補の周辺の画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、候補から孤立点を検出する第２の検出ステップ（例えば、図１１のステップＳ２０３の処理）と、画素欠陥として孤立点を補正する補正ステップ（例えば、図８のステップＳ６の処理）とを含む。
【００７０】
本発明によれば、プログラムが提供される。固体撮像素子より供給される画像データに含まれる画素の画素値および画素に隣接する同色の画素の画素値を基に、同色の画素の画素値の傾きを抽出する抽出ステップ（例えば、図１１のステップＳ２０１の処理）と、画素についての傾きを示す値の符号または傾きを示す値の絶対値を基に、画素から孤立点の候補を検出する第１の検出ステップ（例えば、図１１のステップＳ２０２の処理）と、孤立点の候補の周辺の画素についての傾きを示す値の符号および傾きを示す値の絶対値を基に、候補から孤立点を検出する第２の検出ステップ（例えば、図１１のステップＳ２０３の処理）と、画素欠陥として孤立点を補正する補正ステップ（例えば、図８のステップＳ６の処理）とをコンピュータに実行させる。
【００７１】
このプログラムは、記憶媒体（例えば、図４３の磁気ディスク７２１）に記録することができる。
【００７２】
以下、図面を参照しながら本発明の実施の形態について説明する。
【００７３】
図５は、本発明の撮像装置１の一実施の形態の構成を示すブロック図である。
【００７４】
撮像装置１は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、撮像機能付き携帯電話機、撮像機能付きパーソナルコンピュータである。撮像装置１は、固体撮像素子を使用した撮像機能を有するのもであれば、いずれの装置であってもよい。
【００７５】
撮像部１１は、光学レンズ（図示せず）および撮像素子（図示せず）などから構成される。
【００７６】
また、図示していないが、撮像部１１には、必要に応じて、絞り、メカニカルシャッタ、赤外線カットフィルタ、またはローパスフィルタなどが組み合わされて、配置される。
【００７７】
光学レンズは、被写体に反射した光（の像）を集め、集めた光を撮像素子に結像させる。
【００７８】
撮像素子は、例えば、CCDまたはCMOS（Complementary Metal Oxide Semiconductor）センサなどから構成され、光学レンズなどを通して入力された光を光電変換することにより、光をアナログ信号に変換し、変換後に生成されたアナログ信号をＡ/Ｄ変換部（Analog/Digital Converter）１２に供給する。
【００７９】
なお、撮像素子は、CCDまたはCMOSセンサに限らず、画素を単位として画像の信号を生成するものであれば足りる。
【００８０】
Ａ/Ｄ変換部１２は、撮像部１１から供給されたアナログ信号をディジタル信号に変換し、変換により生成されたディジタル信号を画素欠陥処理部１３に供給する。
【００８１】
以下、生成されたディジタル信号を画像データと称する。
【００８２】
画素欠陥処理部１３は、信号処理部１４から供給された画像データを基に、画像データに含まれる画素から孤立点を検出し、画像データに画素の欠陥としての孤立点を示すマーク（以下、画素欠陥マークと称する）を付加し、画素欠陥マークを含む画像データを信号処理部１４に供給する。
【００８３】
ここで、孤立点とは、撮像素子の画素欠陥などにより、周辺の画素とは異なる特性を示す点として検出される画像データ上の画素をいう。
【００８４】
信号処理部１４は、画素欠陥処理部１３から供給された画素欠陥マークが付加された画像データを基に、画像データを補正すると共に、画像データに信号処理を適用して、補正および信号処理をした画像データを記憶部１５に供給する。
【００８５】
記憶部１５は、例えば、RAM（Random Access Memory）、ROM（Read Only Memory）、PROM（Programmable Read Only Memory）、EPROM（Erasable Programmable Read Only Memory）、EEPROM（Electronically Erasable and Programmable Read Only Memory）、またはフラッシュメモリなどから構成され、信号処理部１４から供給された画像データを記憶する。
【００８６】
画素欠陥処理部１３は、画素欠陥マーク部２１、画素欠陥検出部２２、および画素欠陥情報記憶部２３を含むように構成される。
【００８７】
画素欠陥マーク部２１は、後述する画素欠陥情報記憶部２３から供給される画素欠陥の座標を基に、Ａ/Ｄ変換部１２から供給される画像データに含まれる画素の孤立点を検出し、検出した孤立点に画素の欠陥を示す情報を挿入し、画素欠陥マークを含む画像データを信号処理部１４に供給する。
【００８８】
ここで、画素欠陥を示す情報は、所定の値のビットからなり、画素値を示す画素データにそのビットが挿入される。例えば、画素データの先頭の２ビットに画素欠陥を示すビットを挿入し、画素データの下位の２ビットを消去するように、画素データの２ビットをビットシフトさせて画素データに画素欠陥を示す情報が挿入される。
【００８９】
信号処理部１４の前で補正をした場合、一度検出した孤立点は、二度目以降補正されてしまい、動的な検出をすることができないが、このように、画素欠陥マーク部２１が、画素に画素欠陥を示す情報を挿入するだけで、実際の補正の処理は後述する補正部３２が行うようにすることで、動的な検出をすることが可能となる。
【００９０】
画素欠陥検出部２２は、信号処理部１４から供給される画像データを基に、画像データに含まれる画素の孤立点を検出し、検出した孤立点の位置を示す座標を画素欠陥情報記憶部２３に供給する。
【００９１】
画素欠陥情報記憶部２３は、例えば、RAM、ROM、PROM、EPROM、EEPROM、またはフラッシュメモリなどから構成され、画素欠陥検出部２２から供給された孤立点の位置を示す座標を記憶する。
【００９２】
信号処理部１４は、ラインバッファ３１、補正部３２、および画像処理部３３を含むように構成される。
【００９３】
ラインバッファ３１は、例えば、FIFO（First In First Out）構造のメモリから構成され、画素欠陥マーク部２１から供給される画像データを基に、画像データを行単位で信号処理する。ラインバッファ３１は、行単位の画像データを補正部３２に供給すると共に、画素欠陥検出部２２に供給する。
【００９４】
画素欠陥検出部２２の画素欠陥の検出の処理においては、画素欠陥の誤検出を防止するために、検出の対象となる画素の周辺画素の情報を必要とするが、周辺画素の情報を取得するために必要な複数のラインバッファは、信号処理部１４でもともと持っているラインバッファ３１を流用するため、大規模なラインメモリの増設を必要としない。
【００９５】
例えば、ラインバッファ３１は５本のラインを持っているが、信号処理部１４は、通常４本のラインバッファを持っており、画素欠陥検出部２２において、５本のラインバッファが必要な場合には、１本のラインバッファを増設すればよい。
【００９６】
補正部３２は、ラインバッファ３１から供給される画素欠陥マークを含む画像データを基に、画素欠陥マークの付された画素を補正し、補正した画像データを画像処理部３３に供給する。
【００９７】
補正部３２の補正処理の方法は、例えば、隣接する画素の画素値の平均値を算出し、その平均値を孤立点の画素値として置換してもよいし、隣接する画素の画素値を、そのまま孤立点の画素値として置換してもよい（いわゆる、前値ホールド）。
【００９８】
また、補正処理の方法は、上述した例に限定されるものではない。
【００９９】
画像処理部３３は、例えば、CPU（Central Processing Unit）またはDSP（Digital Signal Processor）などから構成され、補正部３２から供給される補正された画像データを基に、画像データに画像信号処理を実行し、画像信号処理をした画像データを記憶部１５に供給する。
【０１００】
ここで、画像信号処理は、画像データのエッジを強調するなどして、画像データを最適化する処理を実行する。
【０１０１】
画素欠陥検出部２２は、傾き抽出部４１および画素欠陥判定部４２を含むように構成される。
【０１０２】
傾き抽出部４１は、ラインバッファ３１から供給された画像データを基に、隣接する同色の画素同士の画素値の傾きを抽出し、抽出した傾きを画素欠陥判定部４２に供給する。例えば、傾き抽出部４１は、ラインバッファ３１から供給された画像データを基に、隣接する同色の画素同士の画素値の差分を、画素値の傾きとして抽出する。
【０１０３】
画素欠陥判定部４２は、傾き抽出部４１から供給された画像データに含まれる画素の傾きを基に、画素の孤立点の判定をし、孤立点であると判定された画素の位置を示す座標を画素欠陥情報記憶部２３に供給する。
【０１０４】
画素欠陥判定部４２は、さらに、孤立点候補検出部５１、孤立点検出部５２、および孤立点推定部５３を含むように構成される。
【０１０５】
孤立点候補検出部５１は、傾き抽出部４１から供給された傾きを示す値の符号および傾きを示す値の絶対値を基に、画像データに含まれる孤立点の候補を検出し、検出した孤立点の候補を孤立点検出部５２に供給する。
【０１０６】
孤立点検出部５２は、孤立点候補検出部５１から供給された孤立点の候補、並びに孤立点の候補の周辺の画素の傾きを示す値の符号および傾きを示す値の絶対値を基に、孤立点の候補に含まれる孤立点を検出し、検出した孤立点を孤立点推定部５３に供給する。
【０１０７】
孤立点推定部５３は、孤立点検出部５２から供給された孤立点、並びに孤立点の色と異なる色の画素であって、孤立点に隣接する画素の傾きを示す値の符号および傾きを示す値の絶対値を基に、孤立点に含まれる画素欠陥と推定される孤立点を検出し、検出した画素欠陥と推定される孤立点の位置を示す座標を画素欠陥情報記憶部２３に供給する。
【０１０８】
次に、同色の隣接する画素同士の画素値の傾きの検出について、図６を参照して説明する。
【０１０９】
図６は、画素欠陥検出部２２の詳細を示すブロック図である。
【０１１０】
画素欠陥検出部２２は、傾き抽出部４１および画素欠陥判定部４２を含むように構成される。
【０１１１】
さらに、傾き抽出部４１には、ラインバッファ３１から画像データを行単位で入力される。図中のラインＬ１乃至Ｌ５は、それぞれ、画像データの各行を示す。例えば、図６のラインＬ１は、図１中の１行目の画素からなり、ラインＬ２は、図１中の２行目の画素からなり、同様にラインＬ３乃至Ｌ５は、それぞれ、図１中の３行目乃至５行目のそれぞれの画素からなる。
【０１１２】
遅延素子１０１−１−１は、ラインバッファ３１より供給される画像データのラインＬ１の画素１画素分遅延させて、遅延した画素（以下、画素ｎと称する）を遅延素子１０１−１−２および差分検出部１０２−１に供給する。
【０１１３】
ここで、遅延素子１０１−１−１は、画像データを遅延させる素子、いわゆる遅延素子であり、例えば、ＤフリップフロップまたはＤラッチなどから構成される。同様に、後述する遅延素子１０１−１−２、遅延素子１０１−１−３、および遅延素子１０３−１−１乃至１０３−１−７もＤフリップフロップまたはＤラッチなどから構成される。
【０１１４】
さらに、後述する遅延素子１０１−２−１乃至遅延素子１０１−５−３、および遅延素子１０３−２−１乃至１０３−５−７もＤフリップフロップまたはＤラッチなどから構成される。
【０１１５】
遅延素子１０１−１−２は、遅延素子１０１−１−１から供給された画素を１画素分遅延させて、遅延した画素（以下、画素ｎ−１と称する）を遅延素子１０１−１−３に供給する。
【０１１６】
遅延素子１０１−１−３は、遅延素子１０１−１−２から供給された画素を１画素分遅延させて、遅延した画素（以下、画素ｎ−２と称する）を差分検出部１０２−１に供給する。
【０１１７】
したがって、差分検出部１０２には、画像データのラインＬ１の画素が１画素分遅延された画素ｎと、画素データのラインＬ１の画素が３画素分遅延された画素ｎ−２とが供給されることになる。
【０１１８】
差分検出部１０２−１は、遅延素子１０１−１−１から供給される画素ｎおよび遅延素子１０１−１−３から供給される画素ｎ−２を基に、画素ｎと画素ｎ−２との画素値の差分を画素値の傾きとして検出し、検出した傾きを遅延素子１０３−１−１に供給する。
【０１１９】
ここで、画素値の傾きとして、同色の隣接する画素同士の傾きが検出される。すなわち、同色の画素の傾きを検出するために、遅延素子１０１−１−１乃至１０１−１−３により画素が遅延される。例えば、図１のBayer配列のGreen画素において、Green画素ＡとGreen画素３との傾きまたはGreen画素３とGreen画素Ｂとの傾きなどを検出するために画素が遅延される。
【０１２０】
遅延素子１０３−１−１は、差分検出部１０２−１から供給される傾きを１画素分遅延させて、１画素分遅延した傾き（以下、傾きｎと称する）を遅延素子１０３−１−２および画素欠陥判定部４２に供給する。
【０１２１】
遅延素子１０３−１−２は、遅延素子１０３−１−１から供給される傾きｎを１画素分遅延させて、２画素分遅延した傾き（以下、傾きｎ−１と称する）を遅延素子１０３−１−３および画素欠陥判定部４２に供給する。
【０１２２】
遅延素子１０３−１−３は、遅延素子１０３−１−２から供給される傾きｎ−１を１画素分遅延させて、３画素分遅延した傾き（以下、傾きｎ−２と称する）を遅延素子１０３−１−４および画素欠陥判定部４２に供給する。
【０１２３】
遅延素子１０３−１−４は、遅延素子１０３−１−３から供給される傾きｎ−２を１画素分遅延させて、４画素分遅延した傾き（以下、傾きｎ−３と称する）を遅延素子１０３−１−５および画素欠陥判定部４２に供給する。
【０１２４】
遅延素子１０３−１−５は、遅延素子１０３−１−４から供給される傾きｎ−３を１画素分遅延させて、５画素分遅延した傾き（以下、傾きｎ−４と称する）を遅延素子１０３−１−６および画素欠陥判定部４２に供給する。
【０１２５】
遅延素子１０３−１−６は、遅延素子１０３−１−５から供給される傾きｎ−４を１画素分遅延させて、６画素分遅延した傾き（以下、傾きｎ−５と称する）を遅延素子１０３−１−７および画素欠陥判定部４２に供給する。
【０１２６】
遅延素子１０３−１−７は、遅延素子１０３−１−６から供給される傾きｎ−５を１画素分遅延させて、７画素分遅延した傾き（以下、傾きｎ−６と称する）を画素欠陥判定部４２に供給する。
【０１２７】
すなわち、画素欠陥判定部４２には、それぞれ１画素分乃至７画素分遅延された、７つの傾きが供給されることになる。
【０１２８】
遅延素子１０１−２−１乃至１０１−２−３、差分検出部１０２−２、および遅延素子１０３−２−１乃至１０３−２−７は、遅延素子１０１−１−１乃至１０１−１−３、差分検出部１０２−１、および遅延素子１０３−１−１乃至１０３−１−７と同様に構成され、ラインＬ２について、それぞれ１画素分乃至７画素分遅延した、７つの傾きを生成して、生成したそれぞれ１画素分乃至７画素分遅延した７つの傾きを画素欠陥判定部４２に供給する。
【０１２９】
遅延素子１０１−３−１乃至１０１−３−３、差分検出部１０２−３、および遅延素子１０３−３−１乃至１０３−３−７は、遅延素子１０１−１−１乃至１０１−１−３、差分検出部１０２−１、および遅延素子１０３−１−１乃至１０３−１−７と同様に構成され、ラインＬ３について、それぞれ１画素分乃至７画素分遅延した、７つの傾きを生成して、生成したそれぞれ１画素分乃至７画素分遅延した７つの傾きを画素欠陥判定部４２に供給する。
【０１３０】
遅延素子１０１−４−１乃至１０１−４−３、差分検出部１０２−４、および遅延素子１０３−４−１乃至１０３−４−７は、遅延素子１０１−１−１乃至１０１−１−３、差分検出部１０２−１、および遅延素子１０３−１−１乃至１０３−１−７と同様に構成され、ラインＬ４について、それぞれ１画素分乃至７画素分遅延した、７つの傾きを生成して、生成したそれぞれ１画素分乃至７画素分遅延した７つの傾きを画素欠陥判定部４２に供給する。
【０１３１】
遅延素子１０１−５−１乃至１０１−５−３、差分検出部１０２−５、および遅延素子１０３−５−１乃至１０３−５−７は、遅延素子１０１−１−１乃至１０１−１−３、差分検出部１０２−１、および遅延素子１０３−１−１乃至１０３−１−７と同様に構成され、ラインＬ５について、それぞれ１画素分乃至７画素分遅延した、７つの傾きを生成して、生成したそれぞれ１画素分乃至７画素分遅延した７つの傾きを画素欠陥判定部４２に供給する。
【０１３２】
このように、画素欠陥判定部４２には、ラインＬ１乃至ラインＬ５のそれぞれについて、それぞれ１画素分乃至７画素分遅延された、７つの傾きが供給されることになる。
【０１３３】
すなわち、傾き抽出部４１は、ラインＬ１乃至Ｌ５より供給される画像データを基に、同色の隣接する画素同士の画素値の傾きを抽出し、抽出した傾きを画素欠陥判定部４２に供給する。
【０１３４】
以下、複数のラインの複数の画素についての画素値の傾きを、画素の特徴量とも称する。
【０１３５】
画素欠陥判定部４２の孤立点候補検出部５１、孤立点検出部５２、および孤立点推定部５３は、画素の特徴量に含まれる、ラインＬ１の傾きｎ乃至ｎ−６、ラインＬ２の傾きｎ乃至ｎ−６、ラインＬ３の傾きｎ乃至ｎ−６、ラインＬ４の傾きｎ乃至ｎ−６、およびラインＬ５の傾きｎ乃至ｎ−６を基に、後述する画素欠陥検出の処理を実行する。
【０１３６】
なお、同色の隣接する画素同士の画素値の傾きの抽出は、例えば、Bayer配列の場合、図１乃至図３に示すGreen画素、Blue画素、およびRed画素について、それぞれ実行される。
【０１３７】
図７は、Bayer配列のGreen画素の傾きの抽出を示す図である。
【０１３８】
図７で示される例において、格子状の編目に交わった点上の円中に“Ｇ”の文字が記されている円はGreen画素を示し、濃色のGreen画素は、図１のBayer配列のGreen画素０乃至６と同様の配置となっている。
【０１３９】
また、横方向のラインにおける、１行目のラインは、図６のラインＬ１に対応し、同様に、２行目乃至５行目のラインは、それぞれ、図６のラインＬ２乃至Ｌ５に対応する。すなわち、図７において、１行目のライン（ラインＬ１）の、“Ｇ”の文字が記されている画素は、図１のGreen画素１に対応し、図７において、２行目のライン（ラインＬ２）の左側の、“Ｇ”の文字が記されている画素は、図１のGreen画素０に対応し、図７において、２行目のラインの、右側の“Ｇ”の文字が記されている画素は、図１のGreen画素２に対応する。
【０１４０】
同様に、図７において、３行目のライン（ラインＬ３）の、“Ｇ”の文字が記されている画素は、図１のGreen画素３に対応し、図７において、４行目のライン（ラインＬ４）の左側の、“Ｇ”の文字が記されている画素は、図１のGreen画素４に対応し、図７において、４行目のラインの、右側の、“Ｇ”の文字が記されている画素は、図１のGreen画素６に対応する。また、図７において、５行目のライン（ラインＬ５）の、右側の、“Ｇ”の文字が記されている画素は、図１のGreen画素５に対応する。
【０１４１】
以下、図１のBayer配列のGreen画素も参照しながら説明する。
【０１４２】
Bayer配列のGreen画素は、奇数および偶数行において、上下方向に互い違いに並ぶようになっており、図７に示すように、奇数行である、１行目のライン、３行目のライン、および５行目のラインのGreen画素は、水平方向に１画素の間隔で並んでいる。また、偶数行である、２行目のラインおよび４行目のラインのGreen画素は、水平方向に１画素の間隔で並んでいる。
【０１４３】
上述したように、それぞれ水平方向に隣り合うGreen画素同士で傾きが抽出される。図７中の“傾き”とは、それぞれ水平方向に隣り合うGreen画素同士の傾きを示す。例えば、図１のGreen画素３の傾きとして、Green画素ＡおよびGreen画素３、並びにGreen画素３およびGreen画素Ｂの傾きが抽出される。
【０１４４】
例えば、Green画素３について、孤立点を検出する場合、Green画素３の傾きとして、Green画素ＡおよびGreen画素３、並びにGreen画素３およびGreen画素Ｂの傾きが抽出され、Green画素３の傾きが孤立点の候補の特徴を備えているとき、Green画素３の周辺の画素として、Green画素０、Green画素１、Green画素２、Green画素４、Green画素５、およびGreen画素６について、傾きが抽出される。Green画素０、Green画素１、Green画素２、Green画素４、Green画素５、およびGreen画素６の傾きを基に、Green画素３が孤立点であるかが判定される。
【０１４５】
さらに、図示は省略するが、Green画素３について、孤立点を検出する場合、Green画素３の隣接する画素および周辺の画素であって、異なる色の画素である、Blue画素またはRed画素について、傾きが抽出される。
【０１４６】
以上のように、傾き抽出部４１は、同色の隣接する画素同士の画素値の傾きを抽出する。例えば、Bayer配列のGreen画素の場合、図７に示すような関係で傾きが抽出される。
【０１４７】
図８は、撮像素子の動的欠陥検出を説明するフローチャートである。
【０１４８】
ステップＳ１において、撮像部１１は、被写体を撮像することで画像を取り込み、撮像した被写体の画像のアナログ信号をＡ/Ｄ変換部１２に供給する。
【０１４９】
ステップＳ２において、Ａ/Ｄ変換部１２は、撮像部１１から供給された画像のアナログ信号をディジタル信号である画像データに変換する。Ａ/Ｄ変換部１２は、変換により生成されたディジタル信号である画像データを画素欠陥マーク部２１に供給する。
【０１５０】
ステップＳ３において、画素欠陥マーク部２１は、画素欠陥情報記憶部２３に記憶されている孤立点の座標データを取得し、取得した座標データおよびＡ/Ｄ変換部１２から供給された画像データを基に、画素欠陥判定の処理を実行する。画素欠陥判定の処理の詳細は図９を参照して後述する。
【０１５１】
画素欠陥マーク部２１は、画素欠陥判定の処理の結果得られた画素欠陥を示す情報（マーク）を含む画像データをラインバッファ３１に供給する。
【０１５２】
ステップＳ４において、ラインバッファ３１は、画素欠陥マーク部２１から供給された画素欠陥を示す情報を含む画像データを、順に記憶し、記憶した順に、補正部３２および傾き抽出部４１に供給する。例えば、５本のラインを有するラインバッファ３１の場合、画像データが５ライン（ラインＬ１乃至Ｌ５）毎であって、画素毎に、補正部３２および傾き抽出部４１に供給される。
【０１５３】
ステップＳ５において、画素欠陥検出部２２は、ラインバッファ３１から供給された画像データを基に、画素欠陥検出の処理を実行する。撮像素子の画素欠陥を示す画像データの孤立点が検出された場合、画素欠陥情報記憶部２３は、孤立点を示す座標を記憶する。画素欠陥検出の処理の詳細は図１１を参照して後述する。
【０１５４】
ステップＳ６において、補正部３２は、ラインバッファ３１から供給された画素欠陥を示す情報を含む画像データを基に、画像データに含まれるマークされた画素を補正する。
【０１５５】
補正部３２は、補正した画像データを画像処理部３３に供給する。
【０１５６】
ステップＳ７において、画像処理部３３は、補正部３２から供給された画像データを基に、ホワイトバランスの処理、ゲイン調整の処理、またはノイズ除去の処理などの画像処理を実行し、画像処理した画像データを記憶部１５に供給する。
【０１５７】
ステップＳ８において、記憶部１５は、画像処理部３３から供給される画像データを自分に記憶し、処理は終了する。
【０１５８】
図８のステップＳ３に対応する、画素欠陥判定の処理の詳細について、図９のフローチャートを参照して説明する。
【０１５９】
ステップＳ１０１において、画素欠陥マーク部２１は、画素欠陥情報記憶部２３に記憶されている孤立点の座標データを読み出す。
【０１６０】
図１０は、孤立点の座標データの例を示す図である。
【０１６１】
図１０で示される孤立点の座標データの例において、孤立点である座標の位置を示す、“座標”が格納されている。すなわち、孤立点の座標データには、画素欠陥検出部２２により検出された孤立点の座標が格納されている。
【０１６２】
例えば、図１０で示される孤立点の座標データの例において、“１”である番号に対して、１番目の孤立点である画素の“（ｘ１，ｙ１）”である座標が記録されている。また、“２”である番号に対して、２番目の孤立点である画素の“（ｘ２，ｙ２）”である座標が記録されている。また、“３”である番号に対して、３番目の孤立点である画素の“（ｘ３，ｙ３）”である座標が記録されている。さらに、“４”である番号に対して、４番目の孤立点である画素の“（ｘ４，ｙ４）”である座標が記録されている。
【０１６３】
このように、孤立点の座標データには、画素欠陥検出部２２により検出された孤立点のそれぞれに対して、孤立点の座標が格納されている。
【０１６４】
例えば、画素欠陥マーク部２１は、画素欠陥情報記憶部２３に記憶されている孤立点の座標データをすべて読み出し、一時的に画素欠陥マーク部２１に備えるバッファなどに孤立点の座標データを記憶し、その記憶した孤立点の座標データを基に、後述するステップＳ１０２の処理を実行する。
【０１６５】
また、孤立点の座標データの読み出しの処理は、上述した例に限定されるものではない。例えば、孤立点の座標データを画素欠陥情報記憶部２３から適宜読み出して、後述するステップＳ１０２の処理を実行するようにしてもよい。
【０１６６】
ステップＳ１０２において、画素欠陥マーク部２１は、画素欠陥情報記憶部２３から読み出した座標データを基に、画素欠陥を示す座標データが含まれるか否か判定する。
【０１６７】
ステップＳ１０２において、画素欠陥を示す座標データが含まれると判定された場合、ステップＳ１０３に進み、画素欠陥マーク部２１は、座標データで示される位置の画素の画素データに画素欠陥を示す情報を挿入して、画素欠陥を示す情報を含む画像データをラインバッファ３１に供給する。
【０１６８】
画素欠陥を示す情報は、通常の画素値を示す画素データに現れるパターンと異なる、所定のビット数の所定のパターンからなり、例えば、画素データ、そのパターンのビットを挿入することで画素がマークされる。
【０１６９】
一方、ステップＳ１０２において、画素欠陥を示す座標データが含まれないと判定された場合、ステップＳ１０３の処理はスキップされ、画像データのみがラインバッファ３１に供給され、処理は終了する。
【０１７０】
このように、画素欠陥マーク部２１は、画素に画素欠陥を示す情報をマークをするのみで、補正は、補正部３２が実行するようにすることで、画素欠陥を動的に検出することが可能となる。
【０１７１】
図８のステップＳ５に対応する、画素欠陥検出の処理の詳細について、図１１のフローチャートを参照して説明する。
【０１７２】
ステップＳ２０１において、傾き抽出部４１は、ラインバッファ３１から供給される画像データを基に、画像データに含まれる画素の特徴量を抽出する。
【０１７３】
ステップＳ２０２において、画素欠陥判定部４２の孤立点候補検出部５１は、傾き抽出部４１から供給される画素の特徴量を基に、孤立点の候補を検出する。例えば、ステップＳ２０２において、孤立点候補検出部５１は、傾き抽出部４１から供給される画素の特徴量を基に、検出の対象である画素の傾きから、孤立点の候補を検出する。孤立点候補の検出の処理の詳細は後述する。
【０１７４】
孤立点候補検出部５１は、孤立点候補の検出の処理の結果得られた、孤立点の候補を孤立点検出部５２に供給する。
【０１７５】
ステップＳ２０３において、画素欠陥判定部４２の孤立点検出部５２は、傾き抽出部４１から供給される画素の特徴量および孤立点候補検出部５１から供給される孤立点の候補を基に、孤立点を検出する。例えば、ステップＳ２０３において、孤立点検出部５２は、傾き抽出部４１から供給される画素の特徴量および孤立点候補検出部５１から供給される孤立点の候補を基に、検出の対象である画素の周辺の画素であって、検出の対象である画素と同色の画素の傾きによって、孤立点の候補から孤立点を検出する。孤立点の検出の処理の詳細は後述する。
【０１７６】
孤立点検出部５２は、孤立点の検出の処理の結果得られた、孤立点を示す情報を孤立点推定部５３に供給する。
【０１７７】
ステップＳ２０４において、画素欠陥判定部４２の孤立点推定部５３は、傾き抽出部４１から供給される画素の特徴量および孤立点検出部５２から供給される孤立点を基に、画素欠陥と推定される孤立点を検出する。例えば、ステップＳ２０４において、孤立点推定部５３は、傾き抽出部４１から供給される画素の特徴量および孤立点検出部５２から供給される孤立点を基に、検出の対象である画素の周辺の画素であって、検出の対象である画素と異なる色の画素の傾きによって、孤立点から、さらに画素欠陥と推定される孤立点を検出する。画素欠陥と推定される孤立点の検出の処理の詳細は後述する。
【０１７８】
孤立点推定部５３は、画素欠陥と推定される孤立点の検出の処理の結果得られた、画素欠陥と推定される孤立点の位置を示す座標を画素欠陥情報記憶部２３に供給する。
【０１７９】
なお、ステップＳ２０１乃至Ｓ２０４の処理を順次説明したが、実際の処理においては、ステップＳ２０１乃至Ｓ２０４の処理は、同時（並列）に実行される。
【０１８０】
ステップＳ２０５において、画素欠陥情報記憶部２３は、孤立点推定部５３から供給される画素欠陥と推定される孤立点の位置を示す座標を自分に記憶して、処理は終了する。
【０１８１】
図１１のステップＳ２０２に対応する、孤立点の候補の検出の処理の詳細について、図１２のフローチャートを参照して説明する。
【０１８２】
ステップＳ３０１において、孤立点候補検出部５１は、検出の対象である画素について、同色の隣接する画素同士の画素の画素値の傾きを示す値の符号が異なり、かつ画素値の傾きを示す値の絶対値はスレッショルド以上であるか否かを判定する。
【０１８３】
ここで、スレッショルドとは、いわゆる閾値である。
【０１８４】
ステップＳ３０１において、同色の隣接する画素同士の画素の特徴量に含まれる傾きを示す値の符号が異なり、かつ画素の特徴量に含まれる傾きを示す値の絶対値はスレッショルド以上であると判定された場合、ステップＳ３０２に進み、孤立点候補検出部５１は、判定された画素を孤立点の候補として検出し、処理は終了する。
【０１８５】
このように、ステップＳ３０１の条件により孤立点の候補の判定をするため、例えば、単なる急峻なエッジは、片方の傾きを示す値の絶対値の値が小さく、スレッショルド以下となるため、孤立点の候補としての特徴を備えていないため、誤検出を防ぐことができる。
【０１８６】
次に、図１３および図１４を参照して、ステップＳ３０１における、孤立点の候補の判定について説明する。
【０１８７】
図１３は、隣接する同色の画素との傾きおよびスレッショルドの関係を示すグラフである。
【０１８８】
図１３のグラフの縦軸は、画素値を示し、縦軸の値が大きいほど画素が明るいことを示す。横軸は、画素の位置を示し、画素欠陥の対象となる画素である“検出点”を中心として、“検出点”の左右に隣接する同色の画素を、“同色−１”および“同色＋１”で示す。
【０１８９】
図１３の“検出点”を図１の“Green画素３”とした場合、図１３の“同色−１”は、図１の“Green画素Ａ“となり、図１３の“同色＋１”は、図１の“Green画素Ｂ“となる。すなわち、“同色−１”、“検出点”、および“同色＋１”は、画像データの同一の行における連続する同色の画素である。
【０１９０】
図１３のグラフの“同色−１”の画素値と“検出点”の画素値との傾きを示す値の符号は“正”であり、“検出点”の画素値と“同色＋１”の画素値との傾きを示す値の符号は“負”であるので、傾きを示す値の符号が異なる。
【０１９１】
傾きを示す値の符号が“正”である場合、傾きを示す直線は右上がりとなる。また、傾きを示す値の符号が“負”である場合、傾きを示す直線は右下がりとなる。
【０１９２】
また、“同色−１”と“検出点”と傾きを示す値の絶対値は、スレッショルド以上であり、“検出点”と“同色＋１”と傾きを示す値の絶対値の差は、スレッショルド以上である。
【０１９３】
したがって、ステップＳ３０１の条件を満たすので、ステップＳ３０２において、図１３の“検出点”は、孤立点の候補として検出される。
【０１９４】
図１４は、隣接する同色の画素との傾きおよびスレッショルドの関係を示すグラフである。
【０１９５】
図１４の縦および横方向の軸は、図１３と同様でありその説明は省略する。
【０１９６】
図１４のグラフの“同色−１”の画素値と“検出点”の画素値との傾きを示す値の符号は“負”であり、“検出点”の画素値と“同色＋１”の画素値との傾きを示す値の符号は“負”であるので、傾きを示す値の符号が同一となる。
【０１９７】
したがって、ステップＳ３０１の条件を満たさないので、図１４の“検出点”は、孤立点の候補として検出されない。
【０１９８】
次に、図１５を参照して、ステップＳ３０１において、孤立点の候補であると判定されるパターンについて説明する。
【０１９９】
図１５は、孤立点の候補であると判定されるパターンを示すグラフである。
【０２００】
図１５Ａおよび図１５Ｂのグラフの縦軸は、画素値を示し、縦軸の値が大きいほど画素が明るいことを示す。横軸は、画素の位置を示し、“検出点”を中心として、“検出点”の左右に隣接する同色の画素を、“同色−１”および“同色＋１”で示す。
【０２０１】
また、図１５Ａおよび図１５Ｂの“検出点”を図１の“Green画素３”とした場合、図１５Ａおよび図１５Ｂの“同色−１”は、図１の“Green画素Ａ“となり、図１５Ａおよび図１５Ｂの“同色＋１”は、図１の“Green画素Ｂ“となる。すなわち、“同色−１”、“検出点”、および“同色＋１”は、画像データの同一の行における連続する同色の画素である。
【０２０２】
図１５Ａのグラフの“同色−１”と“検出点”との画素値の傾きを示す値の符号は“正”（傾きを示す直線は右上がり）であり、“検出点”と“同色＋１”との画素値の傾きを示す値の符号は“負”（右下がり）である。また、“検出点”と“同色−１”との傾きを示す値の絶対値（例えば、画素値の差の絶対値）は、スレッショルド以上であり、“検出点”と“同色＋１”との傾きを示す値の絶対値（例えば、画素値の差の絶対値）は、スレッショルド以上である。
【０２０３】
したがって、ステップＳ３０１において、図１５Ａの“検出点”は、孤立点の候補として判定される。
【０２０４】
すなわち、孤立点の候補として判定されるパターンとして、図１５Ａに示されるように逆Ｖ字型（山型）の線１５１で表されるパターン（以下、逆Ｖ字型パターンと称する）がある。図１５Ａに示されるパターンは、例えば“白点”として検出される。
【０２０５】
図１５Ｂのグラフの“同色−１”と“検出点”との画素値の傾きを示す値の符号は“負”（傾きを示す直線は右下がり）であり、“検出点”と“同色＋１”との画素値の傾きを示す値の符号は“正”（傾きを示す直線は右上がり）である。また、“検出点”と“同色−１”との傾きを示す値の絶対値（例えば、画素値の差の絶対値）は、スレッショルド以上であり、“検出点”と“同色＋１”との傾きを示す値の絶対値（例えば、画素値の差の絶対値）は、スレッショルド以上である。
【０２０６】
したがって、ステップＳ３０１において、図１５Ｂの“検出点”は、孤立点の候補として判定される。
【０２０７】
すなわち、孤立点の候補として判定されるパターンとして、図１５Ｂに示されるようにＶ字型（谷型）の線１５２で表されるパターン（以下、Ｖ型パターンと称する）がある。図１５Ｂに示されるパターンは、例えば“黒点”として検出される。
【０２０８】
以上のように、孤立点の候補として判定されるのは、逆Ｖ字型の線１５１で表されるパターンまたはＶ字型の線１５２で表されるパターンが現れる場合である。
【０２０９】
ここで、孤立点の候補でも、周辺の画素の画素値によっては、孤立点とならない場合があり、その孤立点とならないパターンを図１６乃至図１８を参照して説明する。
【０２１０】
図１６は、１画素の幅の縦の線の画像における孤立点の候補を含む画素のパターンを示す図である。
【０２１１】
図１６の３次元の縦および横方向は、画像の方向を示し、縦横の平面上にある四角柱は、それぞれ、同色の画素を示す。また、３次元の高さ方向は、四角柱で示される画素の画素値を示し、高い四角柱ほど明るい画素であることを示す。図１６中の線Ａは、１画素の幅の縦の線である。
【０２１２】
画素２０１乃至２０９は、同色の画素を示す。また、画素２０２と画素２０１との画素値の差は、スレッショルド以上であり、画素２０２と画素２０３との画素値の差もスレッショルド以上である。また、画素２０５と画素２０４との画素値の差は、スレッショルド以上であり、画素２０５と画素２０６との画素値の差もスレッショルド以上である。さらに、画素２０８と画素２０７との画素値の差は、スレッショルド以上であり、画素２０８と画素２０９との画素値の差もスレッショルド以上である。
【０２１３】
ここで、画素２０５を“検出点”とした場合、隣接する同色の画素である画素２０４および画素２０６との関係において、孤立点の候補の検出をしたとき、画素２０５と画素２０４との傾きの符号は“負”であり、かつ画素値の差（の絶対値）は、スレッショルド以上である。また、画素２０５と画素２０６との傾きの符号は、“正”であり、かつ画素値の差（の絶対値）は、スレッショルド以上であるので、画素２０５は、上述したように、孤立点の候補として検出される。
【０２１４】
しかし、１画素の幅の縦の線を撮像した画像であるから、画素２０５が孤立点の候補であると検出された場合でも、画素２０５は、孤立点とすべきではない。このような場合、画素２０５の周辺の画素である画素２０２および画素２０８において、図１５Ｂを参照して説明した、Ｖ字型の線１５２で表されるパターンが現れる。
【０２１５】
次に、図１７は、１画素の幅の斜めの線の画像における孤立点の候補を含む画素のパターンを示す図である。
【０２１６】
図１７の３次元の縦、横、および高さ方向の軸、並びに四角柱は、図１６と同様でありその説明は適宜省略する。図１７中の線Ａは、１画素の幅の斜めの線である。
【０２１７】
画素２２１乃至２２９は、同色の画素を示し、図中の画素値の低い画素（画素２２３、画素２２５、および画素２２７）は、一次候補の孤立点を示す。
【０２１８】
ここで、画素２２５を“検出点”とした場合、画素２２５は、孤立点の候補として検出される。
【０２１９】
図１７で示される場合も、１画素の幅の斜めの線を撮像した画像であるから、画素２２５は、孤立点とすべきではない。このような場合、画素２２５の周辺の画素である画素２２３および画素２２７において、図１５Ｂを参照して説明した、Ｖ字型の線１５２で表されるパターンが現れる。
【０２２０】
そこで、孤立点の候補であると検出された場合でも、周辺の画素において、図１５Ａまたは図１５Ｂを参照して説明した、逆Ｖ字型の線１５１で表わされるパターンまたはＶ字型の線１５２で表わされるパターンが現れたとき、その候補は孤立点とされない。
【０２２１】
次に、図１８は、線の幅が一定ではなく、ある画素で線が交差している線の画像における孤立点の候補を含む画素のパターンを示す図である。
【０２２２】
図１８の３次元の縦、横、および高さ方向の軸、並びに四角柱は、図１６および図１７と同様でありその説明は適宜省略する。図１８中の線Ａは、線の幅が一定ではなく、ある画素で線が交差している線である。
【０２２３】
画素２４１乃至２５５は、同色の画素を示し、画素２４８は、孤立点の候補として検出される。なお、図中には、画素２４８は表されていないが、画素２４７と画素２４９との間の太線Ａに隠れた箇所に、画素２４８が配置されている。
【０２２４】
図１８で示される場合も、線の幅が一定ではなく、ある画素で線が交差している線の画像であるから、画素２４８は、孤立点とすべきではない。すなわち、図１８から、孤立点の候補であると検出された場合でも、周辺の画素において、所定のパターンが現れたとき、その候補は孤立点とすべきではないことがわかる。
【０２２５】
以上のように、例えば、１画素の幅の縦の線、１画素の幅の斜めの線、および線の幅が一定ではなく、ある画素で線が交差している線を撮像した画像から、正常な画素を誤って孤立点として検出しないようにするため、孤立点の候補から、周辺画素の傾きを基に、孤立点が検出される。
【０２２６】
図１１のステップＳ２０３に対応する、孤立点の検出の処理の詳細について、図１９のフローチャートを参照して説明する。
【０２２７】
ステップＳ４０１において、画素欠陥判定部４２の孤立点検出部５２は、上述したように、候補に対する周辺画素を選択する。
【０２２８】
例えば、図１中のGreen画素３が候補である場合、孤立点検出部５２は、Green画素０、Green画素１、Green画素２、Green画素４、Green画素５、およびGreen画素６である周辺画素を選択する。
【０２２９】
例えば、図２中のBlue画素３が候補である場合、孤立点検出部５２は、Blue画素０、Blue画素１、Blue画素２、Blue画素４、Blue画素５、およびBlue画素６である周辺画素を選択する。また、例えば、図３中のRed画素３が候補である場合、孤立点検出部５２は、Red画素０、Red画素１、Red画素２、Red画素４、Red画素５、およびRed画素６である周辺画素を選択する。
【０２３０】
ステップＳ４０２において、孤立点検出部５２は、選択した周辺画素の傾きをパターンに分類する。
【０２３１】
図２０は、周辺画素の傾きのパターン示す図である。
【０２３２】
図２０Ａおよび図２０Ｂのグラフの縦軸は、画素値を示し、縦軸の値が大きいほど画素が明るいことを示す。横軸は、画素の位置を示し、周辺画素である“周辺点”を中心として、“周辺点”の左右に隣接する同色の画素を、“同色−１”および“同色＋１”で示す。
【０２３３】
また、図２０Ａおよび図２０Ｂの“周辺点”を図１の“Green画素１”とした場合、図２０Ａおよび図２０Ｂの“同色−１”は、図１の“Green画素１“の左側の斜線の四角で示される画素となり、図２０Ａおよび図２０Ｂの“同色＋１”は、図１の“Green画素１“の右側で示される画素となる。すなわち、“同色−１”、“周辺点”、および“同色＋１”は、画像データの同一の行における連続する同色の画素である。
【０２３４】
図２０Ａのグラフの“同色−１”と“周辺点”との画素値の傾きの符号は“正”（傾きを示す直線は右上がり）であり、“周辺点”と“同色＋１”との画素値の傾きの符号は“負”（傾きを示す直線は右下がり）である。また、“周辺点”と“同色−１”との傾きを示す値の絶対値（例えば、画素値の差の絶対値）は、スレッショルド以上であり、“周辺点”と“同色＋１”との傾きを示す値の絶対値（例えば、画素値の差の絶対値）は、スレッショルド以上である。
【０２３５】
すなわち、図２０Ａの“周辺点”の傾きのパターンは、逆Ｖ字型（山型）の線３０１となり、逆Ｖ字型のパターンである。
【０２３６】
図２０Ｂのグラフの“同色−１”と“周辺点”との画素値の傾きの符号は“負”（傾きを示す直線は右下がり）であり、“周辺点”と“同色＋１”との画素値の傾きの符号は“正”（傾きを示す直線は右上がり）である。また、“周辺点”と“同色−１”との傾きを示す値の絶対値（例えば、画素値の差の絶対値）は、スレッショルド以上であり、“周辺点”と“同色＋１”との傾きを示す値の絶対値（例えば、画素値の差の絶対値）は、スレッショルド以上である。
【０２３７】
すなわち、図２０Ｂの“周辺点”の傾きのパターンは、Ｖ字型（谷型）の線３０２となり、Ｖ字型のパターンである。
【０２３８】
ここで、周辺画素（“周辺点”）の特徴を検出する場合のスレッショルドは、“検出点”を検出する場合のスレッショルドと同じでもよく、または“検出点”を検出する場合よりも低く設定することができる。例えば、周辺画素のスレッショルドを“検出点”のスレッショルドの１／４に設定することができる。
【０２３９】
このように、“周辺点”を検出する場合、スレッショルドを低く設定することで、“周辺点”が検出されやすくなるので、“検出点”の検出の感度をよくすることができる。
【０２４０】
図２１は、周辺画素の傾きの他のパターンを示す図である。
【０２４１】
図２１の縦および横方向の軸は、図２０と同様でありその説明は省略する。
【０２４２】
図２１Ａのグラフの“同色−１”と“周辺点”との画素値の傾きの符号は“正”であり、“周辺点”と“同色＋１”との画素値の傾きが“０”である。また、“周辺点”と“同色−１”との傾きを示す値の絶対値は、スレッショルド以上であり、“周辺点”と“同色＋１”との傾きを示す値の絶対値は、“０”である。
【０２４３】
したがって、図２１Ａの周辺画素の傾きのパターンは、線３２１で表わされるパターン（以下、右屋根パターンと称する）に分類される。
【０２４４】
図２１Ｂのグラフの“同色−１”と“周辺点”との画素値の傾きの符号は“正”であり、“周辺点”と“同色＋１”との画素値の傾きの符号が“正”である。また、“周辺点”と“同色−１”との傾きを示す値の絶対値は、スレッショルド以上であり、“周辺点”と“同色＋１”との傾きを示す値の絶対値もスレッショルド以上である。
【０２４５】
したがって、図２１Ｂの周辺画素の傾きのパターンは、線３２２で表されるパターン（以下、右上がりパターンと称する）に分類される。
【０２４６】
図２１Ｃのグラフの“同色−１”と“周辺点”との画素値の傾きは“０”であり、“周辺点”と“同色＋１”との画素値の傾きの符号が“正”である。また、“周辺点”と“同色−１”との傾きを示す値の絶対値は、“０”であり、“周辺点”と“同色＋１”との傾きを示す値の絶対値は、スレッショルド以上である。
【０２４７】
したがって、図２１Ｃの周辺画素の傾きのパターンは、線３２３で表されるパターン（以下、左底パターンと称する）に分類される。
【０２４８】
図２１Ｄのグラフの“同色−１”と“周辺点”との画素値の傾きは“０”であり、“周辺点”と“同色＋１”との画素値の傾きの符号が“正”である。また、“周辺点”と“同色−１”との傾きを示す値の絶対値は、“０”であり、“周辺点”と“同色＋１”との傾きを示す値の絶対値は、スレッショルド以上である。
【０２４９】
したがって、図２１Ｄの周辺画素の傾きのパターンは、線３２４で表されるパターン（以下、左屋根パターンと称する）に分類される。
【０２５０】
図２１Ｅのグラフの“同色−１”と“周辺点”との画素値の傾きの符号は“負”であり、“周辺点”と“同色＋１”との画素値の傾きの符号が“負”である。また、“周辺点”と“同色−１”との傾きを示す値の絶対値は、スレッショルド以上であり、“周辺点”と“同色＋１”との傾きを示す値の絶対値もスレッショルド以上である。
【０２５１】
したがって、図２１Ｅの周辺画素の傾きのパターンは、線３２５で表されるパターン（以下、左上がりパターンと称する）に分類される。
【０２５２】
図２１Ｆのグラフの“同色−１”と“周辺点”との画素値の傾きの符号は“負”であり、“周辺点”と“同色＋１”との画素値の傾きは“０”である。また、“周辺点”と“同色−１”との傾きを示す値の絶対値は、スレッショルド以上であり、“周辺点”と“同色＋１”との傾きを示す値の絶対値は、“０”である。
【０２５３】
したがって、図２１Ｆの傾きのパターンは、線３２６で表されるパターン（以下、右底パターンと称する）に分類される。
【０２５４】
以上のように、周辺画素の傾きのパターンが分類される。なお、図２０または図２１のいずれのパターンにも分類されない場合、周辺画素の傾きのパターンは、該当パターン無しとされる。
【０２５５】
このように、ステップＳ４０２において、孤立点検出部５２は、周辺画素の傾きをパターンに分類する。
【０２５６】
ステップＳ４０３において、孤立点検出部５２は、周辺画素の傾きのパターンが、縦または斜めの線の画像におけるパターンの組み合わせの１つに該当するか否かを判定する。
【０２５７】
図２２は、１つのラインに１つの周辺画素が存在する場合の、縦の線の画像における周辺画素の傾きのパターン（の組み合わせ）を示す図である。
【０２５８】
点線４０１は、候補周辺のラインであり、点線４０１の中の四角は、画像データに含まれる画素を示す。
【０２５９】
１つのラインに１つの周辺画素が存在する場合の、縦の線の画像における周辺画素の傾きのパターンは、線３０１で示される逆Ｖ字パターンか、または、線３０２で示されるＶ型パターンである。
【０２６０】
以下、図２３乃至図２６を参照して、１つのラインに複数の周辺画素が存在する場合の、斜めの線の画像における周辺画素の傾きのパターン（の組み合わせ）を説明する。
【０２６１】
図２３の点線４１１は、候補周辺のラインであり、点線４１１の中の四角は、画像データに含まれる画素を示す。
【０２６２】
斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンが、線３０１で示される逆Ｖ字型パターンとなる組み合わせがある。すなわち、候補の周辺のラインのいずれかの画素に逆Ｖ字型パターンが現れる場合が該当する。
【０２６３】
斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２の組み合わせは、点線４１２で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、右上がりのパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、左上がりのパターンとなる組み合わせである。
【０２６４】
斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第３の組み合わせは、点線４１３で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、Ｖ型パターンとなる組み合わせである。
【０２６５】
斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第４の組み合わせは、点線４１４で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、左上がりパターンとなる組み合わせである。
【０２６６】
斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第５の組み合わせは、点線４１５で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、Ｖ字型パターンとなる組み合わせである。
【０２６７】
図２４の点線４３１は、候補の周辺のラインであり、点線４３１の中の四角は、画像データに含まれる画素を示す。
【０２６８】
斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第６の組み合わせは、候補の周辺のラインのいずれかの画素における傾きのパターンが、線３０２で示されるＶ字型パターンとなる組み合わせがある。すなわち、候補の周辺のラインのいずれかの画素にＶ字型パターンが現れる場合が該当する。
【０２６９】
斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第７の組み合わせは、点線４３２で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、右上がりパターンとなる組み合わせである。
【０２７０】
斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第８の組み合わせは、点線４３３で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、逆Ｖ字型パターンとなる組み合わせである。
【０２７１】
斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第９の組み合わせは、点線４３４で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、右上がりパターンとなる組み合わせである。
【０２７２】
斜めの線の画像である場合、候補の周辺の１つのラインに２つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１０の組み合わせは、点線４３５で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、逆Ｖ字型パターンとなる組み合わせである。
【０２７３】
図２５の点線４５１は、候補の周辺のラインであり、点線４５１の中の四角は、画像データに含まれる画素を示す。
【０２７４】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１の組み合わせは、候補の周辺のラインのいずれかの画素における傾きのパターンが、線３０１で示される逆Ｖ字型パターンとなる組み合わせである。すなわち、候補の周辺のラインのいずれかの画素に逆Ｖ字型パターンが現れる場合が該当する。
【０２７５】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２の組み合わせは、点線４５２で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。
【０２７６】
図２５および図２６において、黒い四角は、傾きのパターンが、任意のパターンであることを示す。
【０２７７】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第３の組み合わせは、点線４５３で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。
【０２７８】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第４の組み合わせは、点線４５４で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。
【０２７９】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第５の組み合わせは、点線４５５で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。
【０２８０】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第６の組み合わせは、点線４５６で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、任意のパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、左上がりパターンとなる組み合わせである。
【０２８１】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第７の組み合わせは、点線４５７で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、任意のパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、Ｖ字型パターンとなる組み合わせである。
【０２８２】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第８の組み合わせは、点線４５８で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、任意のパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、左上がりパターンとなる組み合わせである。
【０２８３】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第９の組み合わせは、点線４５９で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。
【０２８４】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１０の組み合わせは、点線４６０で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、平らパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、左上がりパターンとなる組み合わせである。
【０２８５】
ここで、平らパターンとは、傾きを示す値の絶対値のいずれもスレッショルド未満であるパターンである。図２５および図２６において、横線は、平らパターンを示す。
【０２８６】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１１の組み合わせは、点線４６１で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、平らパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、Ｖ字型パターンとなる組み合わせである。
【０２８７】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１２の組み合わせは、点線４６２で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、平らパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、左上がりパターンとなる組み合わせである。
【０２８８】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１３の組み合わせは、点線４６３で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、平らパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、Ｖ字型パターンとなる組み合わせである。
【０２８９】
図２６の点線４７１は、候補周辺のラインであり、点線４７１の中の四角は、画像データにふくまれる画素を示す。
【０２９０】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１４の組み合わせは、候補の周辺のラインのいずれかの画素における傾きのパターンが、線３０２で示されるＶ字型パターンとなる組み合わせである。すなわち、候補周辺のラインのいずれかの画素にＶ字型パターンが現れる場合が該当する。
【０２９１】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１５の組み合わせは、点線４７２で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。
【０２９２】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１６の組み合わせは、点線４７３で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。
【０２９３】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１７の組み合わせは、点線４７４で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、右上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。
【０２９４】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１８の組み合わせは、点線４７５で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。
【０２９５】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第１９の組み合わせは、点線４７６で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、任意のパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、右上がりパターンとなる組み合わせである。
【０２９６】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２０の組み合わせは、点線４７７で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、任意のパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、逆Ｖ字型パターンとなる組み合わせである。
【０２９７】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２１の組み合わせは、点線４７８で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、任意のパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、逆Ｖ字型パターンとなる組み合わせである。
【０２９８】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２２の組み合わせは、点線４７９で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、Ｖ字型パターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、任意のパターンとなる組み合わせである。
【０２９９】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２３の組み合わせは、点線４８０で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、平らパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、右上がりパターンとなる組み合わせである。
【０３００】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２４の組み合わせは、点線４８１で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、左上がりパターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、平らパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、逆Ｖ字型パターンとなる組み合わせである。
【０３０１】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２５の組み合わせは、点線４８２で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、平らパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、右上がりパターンとなる組み合わせである。
【０３０２】
斜めの線の画像である場合、候補の周辺の１つのラインに３つの周辺画素が存在するとき、その周辺画素の傾きのパターンの第２６の組み合わせは、点線４８３で示されるように、候補の周辺のラインの左側の画素における傾きのパターンが、逆Ｖ字型パターンであり、候補の周辺のラインの中央側の画素における傾きのパターンが、平らパターンであり、候補の周辺のラインの右側の画素における傾きのパターンが、逆Ｖ字型パターンとなる組み合わせである。
【０３０３】
ステップＳ４０３において、孤立点検出部５２は、周辺画素の傾きの傾きのパターンが、図２２乃至図２６を参照して説明した、縦または斜めの線の画像におけるパターンの組み合わせの１つに該当するか否かを判定する。
【０３０４】
ステップＳ４０３において、周辺画素の傾きパターンが、縦または斜めの線の画像におけるパターンの組み合わせの１つの該当しないと判定された場合、縦または斜めの線の画像が撮像されていないので、ステップＳ４０４に進み、孤立点検出部５２は、候補を孤立点として検出して、処理は終了する。
【０３０５】
一方、ステップＳ４０３において、周辺画素の傾きのパターンが、縦または斜めの線の画像におけるパターンの組み合わせの１つの該当すると判定された場合、縦または斜めの線の画像が撮像されているので、ステップＳ４０４はスキップされ、候補は孤立点とされずに、処理は終了する。
【０３０６】
次に、図１１のステップＳ２０４に対応する、画素欠陥と推定される孤立点の検出の処理の詳細について、図２７のフローチャートを参照して説明する。
【０３０７】
ステップＳ５０１において、孤立点推定部５３は、ステップＳ２０３の孤立点の検出の処理により検出された孤立点に隣接する検出された孤立点の色と異なる色の画素が、孤立点であるか否かを判定する。
【０３０８】
ステップＳ５０１において、孤立点の検出の処理により検出された孤立点に隣接する、検出された孤立点の色と異なる色の画素が、孤立点ではないと判定された場合、ステップＳ５０２に進み、孤立点推定部５３は、判定された孤立点を画素欠陥と推定される孤立点として検出し、処理は終了する。
【０３０９】
一方、ステップＳ５０１において、孤立点の検出の処理により検出された孤立点に隣接する検出された孤立点の色と異なる色の画素が、孤立点であると判定された場合、孤立点推定部５３は、判定された孤立点を画素欠陥と推定される孤立点としては検出せず、ステップＳ５０２の処理はスキップされ、処理は終了する。
【０３１０】
ここで、ステップＳ５０１において、画素欠陥と推定される孤立点としては検出されないパターンについて、図２８を参照して説明する。
【０３１１】
図２８は、隣接する異なる色の画素が共に孤立点となるパターンを示す図である。
【０３１２】
図２８で示される画素の配列は、図１乃至図３を参照して説明した、Bayer配列の画素の配列である。
【０３１３】
図２８の“Ｇ”の符号が付された斜線の円柱は、Green画素を示す。また、“Ｂ”の符号が付されたひし形の模様の円柱は、Blue画素を示す。ただし、図２８において、１行のBlue画素だけが、示されている。
【０３１４】
Green画素５０１は、ステップＳ２０２の孤立点の候補およびステップＳ２０３の孤立点の検出の処理により、孤立点として検出された画素である。同様に、Blue画素５１１も孤立点として検出された画素である。
【０３１５】
この場合、１画素または２画素の大きさの画像オブジェクトを含む画像データであると推定され、Green画素５０１およびBlue画素５１１は欠陥画素ではないと推定される。
【０３１６】
したがって、図２８で示される例において、隣接するGreen画素５０１およびBlue画素５１１は、それぞれの色で単独に検出した場合には、孤立点としての性質を有するが、隣接する異なる色の画素が共に孤立点となっているので、画素欠陥と推定される孤立点としては検出されない。
【０３１７】
すなわち、図２８のGreen画素５０１およびBlue画素５１１は、ステップＳ５０２の処理において、画素欠陥と推定される孤立点としては検出されない。
【０３１８】
このように、検出しようとしている画素に隣接する画素であって、異なる色の画素の傾きを利用することにより、孤立点から、より正確に、画素欠陥と推定される孤立点を検出することができる。
【０３１９】
次に、図８のステップＳ６に対応する、画素欠陥補正の処理の詳細について、図２９のフローチャートを参照して説明する。
【０３２０】
ステップＳ６０１において、補正部３２は、ラインバッファ３１から供給される画像データを読み込む。
【０３２１】
ステップＳ６０２において、補正部３２は、読み込んだ画像データの画素データに画素欠陥を示す情報が挿入されているか否かを判定する。
【０３２２】
ステップＳ６０２において、読み込んだ画像データの画素データに画素欠陥を示す情報が挿入されていると判定された場合、ステップＳ６０３に進み、補正部３２は、画素欠陥を示すマークが挿入されている画素（画素データ）を補正する。補正部３２は、補正した画素を含む画像データを画像処理部３３に供給して、処理は終了する。
【０３２３】
ステップＳ６０２において、読み込んだ画像データの画素データに画素欠陥を示す情報が挿入されていないと判定された場合、画素欠陥は無いので、ステップＳ６０３は、スキップされ、画素データを補正しない。補正部３２は、画像データを画像処理部３３に供給して、処理は終了する。
【０３２４】
ここで、補正の処理は、例えば、隣接する画素の画素値の平均値を算出し、その平均値を孤立点の画素値として置換してもよいし、隣接する画素の画素値を、そのまま孤立点の画素値として置換してもよい。
【０３２５】
また、補正処理の方法は、上述した例に限定されるものではない。
【０３２６】
このように、補正部３２が画素欠陥を示すマークが挿入されている画素を補正することで、画素欠陥を動的に検出することが可能となる。
【０３２７】
図３０は、本発明に係る撮像装置１の一実施の形態の他の構成を示すブロック図である。図５に示す場合と同様の部分には、同一の符号が付してあり、その説明は適宜省略する。
【０３２８】
画素欠陥検出部２２は、傾き抽出部４１、画素欠陥判定部４２、およびスレッショルド設定部６０１を含むように構成される。
【０３２９】
さらに、スレッショルド設定部６０１は、スレッショルド調整部６２１、上限下限設定部６２２、および上限下限調整部６２３を含む。
【０３３０】
スレッショルド設定部６０１は、スレッショルドの値を設定し、設定したスレッショルドの値を画素欠陥判定部４２に供給する。画素欠陥判定部４２は、スレッショルド設定部６０１から供給されたスレッショルドを基に、孤立点を検出する。
【０３３１】
スレッショルド調整部６２１は、周辺画素の傾きを示す値を基に、スレッショルドを調整し、調整したスレッショルドを画素欠陥判定部４２の孤立点候補検出部５１に供給する。
【０３３２】
または、スレッショルド調整部６２１は、上限下限設定部６２２により設定される孤立点の検出点数の上限値および下限値、および孤立点の検出点数を基に、スレッショルドを調整し、調整したスレッショルドを画素欠陥判定部４２の孤立点候補検出部５１に供給する。
【０３３３】
上限下限設定部６２２は、孤立点の検出点数の上限値および下限値を設定する。
【０３３４】
上限下限調整部６２３は、スレッショルド調整部６２１により調整されたスレッショルドを基に、孤立点の検出点数を基に、検出点数の上限値および下限値を調整する。
【０３３５】
図３１は、周辺画素の傾きを基に調整される、スレッショルドの調整の例を示すグラフである。
【０３３６】
図３１のグラフの縦軸は、検出スレッショルドの値を示し、縦軸の値が大きいほどスレッショルドの値が大きくなることを示す。横軸は、周辺画素の高周波成分を示し、横軸の値が大きいほど周辺画素の高周波成分が大きくなることを示す。
【０３３７】
ここで、検出スレッショルドの値がＡとなる場合をスレッショルドＡ、検出スレッショルドの値がＢとなる場合をスレッショルドＢ、および検出スレッショルドの値がＣとなる場合をスレッショルドＣと称する。
【０３３８】
また、高周波成分とは、色が急激に変化する画像データをいい、例えば、ぎざぎざの画像に見える。
【０３３９】
スレッショルドＡは、上限下限設定部６２２により設定される基準スレッショルドである。
【０３４０】
スレッショルドＢおよびスレッショルドＣは、スレッショルドＡを基に設定される。例えば、スレッショルドＢは、スレッショルドＡの150％の値として設定され、スレッショルドＣは、スレッショルドＡの70％の値として設定される。
【０３４１】
ここで、スレッショルドをスレッショルドＡ、スレッショルドＢ、スレッショルドＣの三段階とし、スレッショルドＢは、スレッショルドＡの150％の値、スレッショルドＣは、スレッショルドＡの70％として説明したが、上述した例に限定されるものではない。
【０３４２】
スレッショルド調整部６２１は、周辺画素の高周波成分を基に、スレッショルドＡ、スレッショルドＢ、またはスレッショルドＣの３段階にスレッショルドを調整することで、画素欠陥判定部４２において、最適なスレッショルドで孤立点の検出をさせることができる。
【０３４３】
例えば、周辺画素に含まれる高周波成分が多い場合、画像に含まれる高周波成分により、画素の孤立点として検出される可能性が高くなり、基準スレッショルドで孤立点を検出すると、画素欠陥ではない画素を含む、より多くの孤立点が検出されてしまう。そこで、周辺画素に含まれる高周波成分が多い場合、スレッショルド調整部６２１は、スレッショルドをスレッショルドＢに調整することで、画素欠陥ではない画素が孤立点として検出されにくくして、より適正な数の孤立点を検出できるようにする。すなわち、周辺画素にスレッショルドＡを超えるような傾きを示す値が多く検出された場合、孤立点も同様の特徴となる可能性があるので、スレッショルドＡからスレッショルドＢにスレッショルドの値を上げることで、孤立点を検出する感度を下げて、誤検出を回避することができる。
【０３４４】
逆に、周辺画素に含まれる高周波成分が少ない場合、画像がいわゆる平坦なので、スレッショルドを小さくしても、誤検出が少なく、画素欠陥である孤立点をより正確に検出することができるようになる。そこで、周辺画素に含まれる高周波成分が少ない場合、スレッショルド調整部６２１は、検出スレッショルドをスレッショルドＣに調整することで、画素欠陥である孤立点をより正確に検出できるようにする。すなわち、周辺画素にスレッショルドＡを超えるような傾きを示す値が存在しないまたは少ない場合、撮像された画像データには、孤立点となりうる画素が少ないため正確な検出が容易になるので、スレッショルドＡからスレッショルドＣにスレッショルドの値を下げることで、孤立点の感度を上げて、画素欠陥の検出を容易にすることができる。
【０３４５】
以上のような、スレッショルドの調整は、周辺の同色の画素を基に、孤立点の検出する処理において実行される。
【０３４６】
図３２は、スレッショルドを調整する場合の、画素欠陥検出の処理の詳細を説明するフローチャートである。
【０３４７】
ステップＳ７０１の処理は、図１１におけるステップＳ２０１の処理と同様であり、その説明は省略する。
【０３４８】
ステップＳ７０２において、画素欠陥判定部４２の孤立点候補検出部５１は、ステップＳ２０２の処理と同様に、基準スレッショルドおよび傾き抽出部４１から供給される画素の特徴量を基に、孤立点の候補を検出する。例えば、ステップＳ７０２において、孤立点候補検出部５１は、図３１のスレッショルドＡおよび傾き抽出部４１から供給される画素の特徴量を基に、孤立点の候補を検出する。
【０３４９】
ステップＳ７０３において、画素欠陥判定部４２の孤立点検出部５２は、ステップＳ２０３の処理と同様に、基準スレッショルドおよび傾き抽出部４１から供給される画素の特徴量、および孤立点候補検出部５１から供給される孤立点の候補を基に、孤立点を検出する。例えば、ステップＳ７０３において、孤立点検出部５２は、図３１のスレッショルドＡ、傾き抽出部４１から供給される画素の特徴量、および孤立点候補検出部５１から供給される孤立点の候補を基に、孤立点を検出する。
【０３５０】
ステップＳ７０４において、孤立点検出部５２は、周辺画素の高周波成分が、予め定めた第１の閾値より多い、または第２の閾値より少ないか否かを判定する。
【０３５１】
例えば、ステップＳ７０４において、孤立点検出部５２は、傾きのパターンが、Ｖ字型パターンまたは逆Ｖ字型パターンに分類される周辺画素の数を算出して、算出された周辺画素の数が、予め定めた第１の閾値より多い、または第２の閾値より少ないか否かを判定する。
【０３５２】
また、ステップＳ７０４において、孤立点検出部５２は、傾きのパターンがＶ字型パターン、逆Ｖ字型パターン、右上がりパターン、または左上がりパターンに分類される周辺画素の数を算出して、算出された周辺画素の数が、予め定めた第１の閾値より多い、または第２の閾値より少ないか否かを判定する。
【０３５３】
なお、第１の閾値および第２の閾値は、任意に設定することができる。
【０３５４】
ステップＳ７０４において、周辺画素の高周波成分が、予め定めた第１の閾値より多いか、または第２の閾値より少ないと判定された場合、ステップＳ７０５に進み、スレッショルド調整部６２１は、スレッショルドの値を調整する。
【０３５５】
ここで、特定の傾きのパターンの周辺画素の数が多かった場合、スレッショルド調整部６２１は、例えば、図３１のスレッショルドＡからスレッショルドＢにスレッショルドの値を調整する。この場合、孤立点の感度が下がるので、誤検出を回避することができる。
【０３５６】
また、周辺画素の検出数が存在しないまたは少ない場合、スレッショルド調整部６２１は、例えば、図３１のスレッショルドＡからスレッショルドＣにスレッショルドの値を調整する。
【０３５７】
この場合、孤立点の感度が上がるので、画素欠陥より正確に検出することができる。
【０３５８】
ステップＳ７０６において、画素欠陥判定部４２の孤立点候補検出部５１は、調整されたスレッショルドおよび画素の特徴量を基に、孤立点の候補を検出する。ステップＳ７０７において、画素欠陥判定部４２の孤立点検出部５２は、調整されたスレッショルド、画素の特徴量、ステップＳ７０６において検出された孤立点の候補を基に、孤立点を検出し、ステップＳ７０８に進む。
【０３５９】
一方、ステップＳ７０４において、周辺画素の高周波成分が、予め定めた第１の閾値以下であり、かつ第２の閾値以上であると判定された場合、手続きは、ステップＳ７０８に進む。この場合、図１１の画素欠陥検出の処理と同様の処理となる。
【０３６０】
また、ステップＳ７０８およびステップＳ７０９の処理のそれぞれは、図１１におけるステップＳ２０４およびステップＳ２０５の処理のそれぞれと同様であり、その説明は省略する。
【０３６１】
このように、周辺画素の特徴によりスレッショルドを調整して、再度孤立点を検出することで、孤立点をより正確に検出することができる。
【０３６２】
スレッショルドは、周辺画素の特徴からその値を調整するだけでなく、１つのフレームにおける孤立点の検出点数から、次のフレームにおけるその値を調整することができる。
【０３６３】
次に、１つのフレームにおける孤立点の検出点数から、次のフレームにおけるスレッショルドを調整する本発明の実施の形態について説明する。
【０３６４】
図３３は、孤立点の検出点数と検出スレッショルドとの関係を示すグラフである。
【０３６５】
図３３のグラフの縦軸は、孤立点の検出点数を示し、縦軸の値が大きいほど、より多い孤立点の検出点数を示す。横軸は、スレッショルドの値を示し、横軸の値が大きいほど、より大きいスレッショルドの値を示す。
【０３６６】
図中の曲線は、画像データの１フレームにおける孤立点の検出点数とスレッショルドとの関係を示す曲線である。画像データの１フレームにおける孤立点の検出点数とスレッショルドとの関係を示す曲線は、任意に定めることができる。
【０３６７】
検出点数上限および検出点数下限を定めることにより、画像データの１フレームにおける孤立点の検出点数とスレッショルドとの関係を示す曲線から、スレッショルドの取り得る範囲を定めることができる。
【０３６８】
スレッショルドの取り得る範囲を定め、この範囲においてスレッショルドを決定するようにしたのは、固体撮像素子においては、固体撮像素子自身の温度の変動または印可される電圧の変動などによって、後発的に画素欠陥が現れるので、ある程度の誤検出を、避けることはできないが、これにより数が変化する画素欠陥をより正確に、より確実に検出できるようにするためである。
【０３６９】
また、レンズおよびローパスフィルタを介して撮像素子によって撮像された実際の画像に孤立点が存在する場合、実際の画像が欠陥画祖にかぶってしまい、孤立点としての特徴を失ってしまう場合なども、誤検出が生じてしまうが、スレッショルドを決定するようにすれば、画素欠陥をより正確に、より確実に検出できるようになる。
【０３７０】
例えば、検出点数上限を“５０”と設定し、検出点数下限を“２０”と設定して、スレッショルドＡを設定した場合、スレッショルドＡを設定後、実際に撮像した１フレームの画像データにおいて検出点数が“８０”だったとき、検出点数が検出点数上限よりも多い値であったので、曲線をスレッショルドの値を大きくするようにすることで、スレッショルドをより大きな値に調整して、次のフレームの画像データにおける検出点数を検出点数上限“５０”および検出点数下限“２０”に近づけることができる。
【０３７１】
また、例えば、検出点数上限を“５０”と設定し、検出点数下限を“２０”と設定して、スレッショルドＡを設定した場合、スレッショルドＡを設定後、実際に撮像した１フレームの画像データにおいて検出点数が“１０”だったとき、検出点数が検出点数下限よりも少ない値であったので、曲線をスレッショルドの値を小さくするようにすることで、スレッショルドをより小さな値に調整して、次のフレームにの画像データにおける検出点数を検出点数上限“５０”および検出点数下限“２０”に近づけることができる。
【０３７２】
ここで、検出点数の上限および下限の範囲に収まるように制御した検出スレッショルドが、図３１を参照して説明した基準スレッショルドである、図３１のスレッショルドＡとなる。さらに、上述したように、図３１のスレッショルドＢおよび図３１のスレッショルドＣが、図３１のスレッショルドＡを基に設定され、この３段階のスレッショルドを選択することで、最適なスレッショルドで孤立点の検出をすることができる。
【０３７３】
また、１回目の撮像の場合には、スレッショルドの値を決定することができないので、初期値が予め定められおり、２回目以降の撮像の場合には、１回前に撮像した画像データを基に、スレッショルドの値が設定される。
【０３７４】
このように、１フレームの画素データに含まれる孤立点の検出点数を基に、孤立点の検出点数が上限および下限に収まるように、スレッショルドを調整し、最適なスレッショルドで孤立点の検出をするので、より確実に、より正確に画素欠陥を検出できる。
【０３７５】
図３４は、１つのフレームにおける孤立点の検出点数から、次のフレームにおけるスレッショルドを調整する場合の、撮像素子の動的欠陥検出の処理を説明するのフローチャートである。
【０３７６】
ステップＳ８０１において、上限下限設定部６２２は、孤立点の検出点数の上限値および下限値を設定する。
【０３７７】
ステップＳ８０２乃至ステップＳ８０６の処理のそれぞれは、図８におけるステップＳ１乃至ステップＳ５の処理のそれぞれと同様であり、その説明は省略する。
【０３７８】
ステップＳ８０７において、スレッショルド調整部６２１は、１フレームの画像データにおいて検出された孤立点の検出点数が、上限値を超えているか、または下限値未満であるか否かを判定する。
【０３７９】
ステップＳ８０７において、１フレームの画像データにおいて検出された孤立点の検出点数が、上限値を超えているか、または下限値未満であるかと判定された場合、ステップＳ８０８に進み、スレッショルド調整部６２１は、１フレームの画像データにおいて検出された孤立点の検出点数を基に、スレッショルドを調整する。その後、手続は、ステップＳ８０９に進む。
【０３８０】
例えば、１フレームの画像データにおいて検出された孤立点の検出点数が上限値を超えていると判定された場合、ステップＳ８０８において、スレッショルド調整部６２１は、より少ない孤立点が検出されるように、スレッショルドの値を大きくするように、スレッショルドを調整する。
【０３８１】
また、例えば、１フレームの画像データにおいて検出された孤立点の検出数が、下限値未満であると判定された場合、ステップＳ８０８において、スレッショルド調整部６２１は、より多くの孤立点が検出されるように、スレッショルドの値を小さくするように、スレッショルドを調整する。
【０３８２】
ステップＳ８０７において、１フレームの画像データにおいて検出された孤立点の検出点数が、上限値以下であり、かつ下限値以上であると判定された場合、スレッショルドを調整する必要はないので、ステップＳ８０８の処理はスキップされ、手続はきは、ステップＳ８０９に進む。
【０３８３】
ステップＳ８０９乃至ステップＳ８１１の処理のそれぞれは、図８におけるステップＳ６乃至ステップＳ８の処理のそれぞれと同様であり、その説明は省略する。
【０３８４】
以上のように、１つのフレームにおける孤立点の検出から、次のフレームにおけるスレッショルドを調整することにより、後発的に画素欠陥の数が変化した場合などであっても、より正確に、より確実に、画素欠陥としての孤立点を検出することができるようになる。
【０３８５】
さらに、１つのフレームにおける孤立点の検出点数によって調整されたスレッショルドから、次のフレームにおける検出点数上限および検出点数下限の値を調整することができる。
【０３８６】
次に、１つのフレームにおける孤立点の検出点数によって調整されたスレッショルドから、次のフレームにおける検出点数上限および検出点数下限の値を調整する本発明の実施の形態について説明する。
【０３８７】
図３５は、検出点数の上限値および下限値の調整を説明するグラフである。
【０３８８】
図３５のグラフの縦軸は、孤立点の検出点数を示し、縦軸の値が大きいほど、より多い数の検出点数の値を示す。横軸は、スレッショルドの値を示し、横軸の値が大きいほど、より大きいスレッショルドの値を示す。
【０３８９】
図３５中のケース１検出点数上限およびケース１検出点数下限は、対となる上限および下限であり、ケース２検出点数上限およびケース２検出点数下限は、対となる上限および下限であり、ケース３検出点数上限およびケース３検出点数下限は、対となる上限および下限である。
【０３９０】
また、画像データの１フレームにおける孤立点の検出点数とスレッショルドとの関係を示す、図中のケース１、ケース２、およびケース３の３本の曲線は、個々に任意に定めることができる。
【０３９１】
例えば、画像データの１フレームにおける孤立点の検出点数が、想定した値より多すぎる場合、スレッショルドの値を大きくするように制御することで、想定した値に近づけることができるが、設定されている検出点数の上限値および下限値を基に、スレッショルドの値を大きくしても、スレッショルドの値を充分大きくすることができず、検出された孤立点に、画素欠陥ではない正常な画素が多数ふくまれてしまうことが考えられる。
【０３９２】
また、例えば、画像データの１フレームにおける孤立点の検出点数が、想定した値よりも少なすぎる場合、スレッショルドの値を小さくするように制御することで、想定した値に近づけることができるが、設定されている検出点数の上限値および下限値を基に、スレッショルドの値を小さくしても、スレッショルドの値を充分小さくすることができず、本来検出されなければならない検出点が見逃されていることが考えられる。
【０３９３】
このような、見逃しおよび誤検出に対応するため、検出点数の上限値および下限値を変更する。
【０３９４】
画像データの１フレームにおける孤立点の検出点数が、想定した検出点の上限値および下限値である、ケース１検出点数上限およびケース１検出点数下限の範囲内である場合、ケース１の曲線を基にスレッショルドが定められ、ケース１の曲線上でスレッショルドが設定され、スレッショルドが大きく変化しないので、検出点の上限値および下限値は、変更されず、ケース１検出点数上限およびケース１検出点数下限のままとされる。
【０３９５】
次に、画像データの１フレームにおける孤立点の検出点数が、想定した値より少なすぎる場合について説明する。画像データの１フレームにおける孤立点の検出点数が、想定した検出点数の下限値である、ケース１検出点数下限未満である場合、ケース３の曲線を基にスレッショルドが定められる。ケース３の曲線を基に定められたスレッショルドが、予め定めた第１の閾値より小さい場合、または前回のスレッショルドとケース３の曲線を基に定められたスレッショルドとの差が予め定めた第２の閾値より大きい場合、スレッショルドの値が充分小さくされていないと判定され、検出点の上限値および下限値は、ケース３検出点数上限およびケース３検出点数下限に変更される。
【０３９６】
変更されたケース３検出点数上限およびケース３検出点数下限、並びに、ケース３の曲線を基に、再度、スレッショルドが調整される。
【０３９７】
このようにすることで、スレッショルドの値を充分小さくすることができ、本来検出されなければならない検出点の見逃しを防止して、画素欠陥としての孤立点を確実に検出することができるようになる。
【０３９８】
次に、画像データの１フレームにおける孤立点の検出点数が、想定した値より多すぎる場合について説明する。画像データの１フレームにおける孤立点の検出点数が想定した検出点数の上限値である、ケース１検出点数上限を超える場合、ケース２の曲線を基にスレッショルドが定められる。ケース２の曲線を基に定められたスレッショルドが、予め定められた第３の閾値より大きい場合、または前回のスレッショルドとケース２の曲線を基に定められたスレッショルドとの差が予め定めた第４の閾値より大きい場合、スレッショルドの値が充分大きくされていないと判定され、検出点の上限値および下限値は、ケース２検出上限およびケース２検出点数下限に変更される。
【０３９９】
変更されたケース２検出点数上限およびケース２検出点数下限、並びに、ケース２の曲線を基に、再度、スレッショルドが調整される。
【０４００】
このようにすることで、スレッショルドの値を充分大きくすることができ、画素欠陥ではない正常な画素が孤立点として検出されてしまうことを防止して、画素欠陥としての孤立点を確実に検出することができるようになる。
【０４０１】
このように、調整されたスレッショルドを基に、さらに、検出点数の上限値および下限値の調整をすることで、より正確に、より確実に、画素欠陥としての孤立点を検出することができる。
【０４０２】
図３６は、撮像素子の動的欠陥検出の処理を説明するフローチャートである。
【０４０３】
ステップＳ９０１乃至ステップＳ９０８の処理のそれぞれは、図３４におけるステップＳ８０１乃至ステップＳ８０８の処理のそれぞれと同様であり、その説明は省略する。
【０４０４】
ステップＳ９０９において、上限下限調整部６２３は、ステップＳ９０８の処理で調整されたスレッショルドが、第１の閾値を超えているか、または第１の閾値より小さい第２の閾値未満であるか否かを判定する。
【０４０５】
ステップＳ９０９において、調整されたスレッショルドが、第１の閾値を超えているか、または第１の閾値より小さい第２の閾値未満であるか否かを判定する。
【０４０６】
ステップＳ９０９において、調整されたスレッショルドが、第１の閾値を超えているか、または第１の閾値より小さい第２の閾値未満であると判定された場合、スレッショルドが充分に大きくされていないか、またはスレッショルドが充分に小さくされていないので、ステップＳ９１０に進み、上限下限調整部６２３は、検出点数の上限値および下限値を調整する。
【０４０７】
ステップＳ９１１において、スレッショルド調整部６２１は、調整された検出点数の上限値および下限値を基に、スレッショルドを調整して、ステップＳ９１２に進む。
【０４０８】
ステップＳ９１２乃至ステップＳ９１４の処理のそれぞれは、図３４におけるステップＳ８０９乃至ステップＳ８１１の処理のそれぞれと同様であり、その説明は省略する。
【０４０９】
このように、調整されたスレッショルドを基に、さらに、検出点数の上限値および下限値の調整することで、より正確に、より確実に、画素欠陥としての孤立点を検出することができる。
【０４１０】
次に、画素の孤立点としての検出回数を基に、画素を画素欠陥とする本発明の実施の形態について説明する。
【０４１１】
図３７は、本発明に係る撮像装置１の一実施の形態の他の構成を示すブロック図である。図５に示す場合と同様の部分には、同一の符号が付してあり、その説明は適宜省略する。
【０４１２】
画素欠陥検出部２２は、傾き抽出部４１、画素欠陥判定部４２、およびカウンタ７０１を含むように構成される。
【０４１３】
図３７の画素欠陥判定部４２は、傾き抽出部４１から供給された画像データに含まれる画素の傾きを基に、フレーム毎に、画素の孤立点を判定をし、孤立点であると判定された画素の位置を示す座標をカウンタ７０１に供給する。
【０４１４】
カウンタ７０１は、画素欠陥判定部４２から供給された、フレーム毎の、孤立点であると判定された画素の位置を示す座標を基に、画素毎に、その画素の座標に対応させて、孤立点として検出された回数である検出回数、および孤立点として検出されなかった回数である消失回数を算出する。カウンタ７０１は、図３７の画素欠陥判定部４２を介して、算出した検出回数および消失回数を画素欠陥情報記憶部２３に供給する。
【０４１５】
画素欠陥情報記憶部２３は、座標に対応する、検出回数および消失回数を検出回数テーブルとして記憶する。
【０４１６】
図３７の画素欠陥マーク部２１は、画素欠陥情報記憶部２３の検出回数テーブルに記憶されている、画素毎の検出回数が所定の閾値以上であるか否かを判定し、検出回数が閾値以上であると判定された場合、検出回数が閾値以上であると判定された画素であると確定する。図３７の画素欠陥マーク部２１は、画像データの画素データのうち、欠陥画素であると確定した画素の画素データに欠陥を示す情報を挿入し、欠陥を示す情報を挿入した画像データをラインバッファ３１に供給する。
【０４１７】
なお、検出回数テーブルは、画素欠陥判定部４２に記憶するようにしてもよく、また、カウンタ７０１に記憶するようにしてもよい。
【０４１８】
さらに、カウンタ７０１は、検出回数算出部７２１、消失回数算出部７２２、および回数設定部７２３を含む。
【０４１９】
検出回数算出部７２１は、画素欠陥判定部４２から供給された、フレーム毎の、孤立点であると判定された画素の位置を示す座標を基に、画素欠陥情報記憶部２３から取得した検出回数テーブルに含まれる、画素が孤立点として検出された回数である検出回数をインクリメント（１を加算）することにより、検出回数を算出する。
【０４２０】
消失回数算出部７２２は、画素欠陥判定部４２から供給された、フレーム毎の、孤立点であると判定された画素の位置を示す座標を基に、画素欠陥情報記憶部２３から取得した検出回数テーブルに含まれる、画素が孤立点として検出された回数である消失回数をインクリメント（１を加算）することにより、消失回数を算出する。
【０４２１】
回数設定部７２３は、検出回数と消失回数との関係を基に、画素欠陥情報記憶部２３から取得した検出回数テーブルに含まれる検出回数または消失回数に初期値を設定する。
【０４２２】
図３８は、孤立点の検出回数テーブルの例を示す図である。
【０４２３】
図３８で示される孤立点の検出回数テーブルの例において、“画素の位置を示す座標”と共に、座標に対応させて、“検出回数”および“消失回数”が配置される。すなわち、検出回数テーブルには、画素欠陥判定部４２により孤立点であると判定された画素の座標、検出回数、および消失回数が格納されている。
【０４２４】
例えば、画素の位置を特定する“（ｘ１，ｙ１）”である座標に対応して、“５”である検出回数、および“０”である消失回数が記憶されている。また、“（ｘ２，ｙ２）”である座標に対応して、“１”である検出回数、および“１”である消失回数が記憶されている。また、“（ｘ３，ｙ３）”である座標に対応して、“５”である検出回数、および“２”である消失回数が記憶されている。さらに、“（ｘ４，ｙ４）”である座標に対応して、“１”である検出回数、および“０”である消失回数が記憶されている。
【０４２５】
以上の検出回数テーブルが画素欠陥記情報憶部２３に記憶される。
【０４２６】
図３９は、検出回数テーブルにおける検出回数および消失回数の算出、並びに検出回数および消失回数への初期値の設定を説明する図である。
【０４２７】
図３９の上段は、検出回数の変化を示すグラフ（検出回数グラフ）であり、図３９の下段は、消失回数の変化を示すグラフ（消失回数グラフ）である。
【０４２８】
検出回数グラフの縦軸は、検出回数を示し、横軸は、撮像するフレームの枚数（以下、撮像枚数と称する）を示しており、太い実線は、検出回数の値を示す。また、消失回数グラフの縦軸は、消失回数を示し、横軸は、撮像枚数を示しており、細い実線は、消失回数の値を示す。
【０４２９】
また、図中の一点鎖線は、画素欠陥を確定するための閾値（以下、欠陥確定閾値と称する）を示し、図中の二点鎖線は、検出回数を初期値にするための閾値（以下、欠陥削除閾値と称する）を示す。
【０４３０】
例えば、画素確定閾値には、５が設定され、欠陥削除閾値には、３が設定される。なお、欠陥確定閾値または欠陥削除閾値は、任意の値とすることができる。
【０４３１】
以下、ある画素の検出回数および消失回数の増減について、検出回数および消失回数が、共に０である状態から、撮像枚数を増加させながら説明する。
【０４３２】
１回目および２回目の撮像において、この画素は、孤立点として検出されていないので、検出回数および消失回数は、０のままである。
【０４３３】
３回目の撮像において、この画素が孤立点として検出されたため、検出回数に１が加算されて、検出回数は１となる。
【０４３４】
４回目の撮像において、この画素が孤立点として検出されたため、検出回数に１がさらに加算されて、検出回数は２となる。
【０４３５】
５回目の撮像において、この画素が孤立点として検出されなかったため、検出回数は２とされ、消失回数に１が加算されて、消失回数は１となる。
【０４３６】
６回目の撮像において、この画素が孤立点として検出されなかったため、検出回数は２のままとされ、消失回数に１がさらに加算されて、消失回数は２となる。
【０４３７】
７回目の撮像において、この画素が孤立点として検出されたため、検出回数に１がさらに加算されて、検出回数は３となり、線７５１で示すように、消失回数に初期値が設定されて、消失回数は０となる。
【０４３８】
８回目の撮像において、この画素が孤立点として検出されたため、検出回数に１がさらに加算されて、検出回数は４となる。
【０４３９】
９回目の撮像において、この画素が孤立点として検出されたため、検出回数に１が加算されて、検出回数は５となる。ここで、上述したように、欠陥確定閾値には、５が設定されており、検出回数が欠陥確定閾値以上になったので、この画素は、画素欠陥であると確定され、９回目の撮像において、初めて実際にこの画素の補正が実行される。
【０４４０】
さらに、１０回目の撮像において、この画素が孤立点として検出されなかったため、検出回数は５のままとされ、消失回数に１が加算されて、消失回数は１となる。また、検出回数は欠陥確定閾値以上なので、１０回目の撮像においてもこの画素の補正が実行される。
【０４４１】
１１回目の撮像において、この画素が孤立点として検出されなかったため、検出回数は５のままとされ、消失回数に１がさらに加算されて、消失回数は２となる。また、検出回数は、欠陥確定閾値以上なので、１１回目の撮像においてもこの画素の補正が実行される。
【０４４２】
１２回目の撮像において、この画素が孤立点として検出されなかったため、検出回数は５とされ、消失回数に１がさらに加算され、消失回数に１がさらに加算されて、消失回数は３となる。また、検出回数は欠陥確定閾値以上なので、１２回目の撮像においてもこの画素の補正が実行されるが、欠陥削除閾値には３が設定されており、消失回数が欠陥削除閾値以上になったので、線７５２に示すように、検出回数および消失回数に初期値が設定され、検出回数および消失回数は０となる。
【０４４３】
図４０は、画素の孤立点としての検出回数を基に、画素を画素欠陥とする場合の、画素欠陥検出の処理を説明するフローチャートである。
【０４４４】
ステップＳ１００１乃至ステップＳ１００４の処理のそれぞれは、図１１におけるステップＳ２０１乃至ステップＳ２０４の処理のそれぞれと同様であり、その説明は省略する。
【０４４５】
ステップＳ１００５において、カウンタ７０１は、ステップＳ１００１乃至ステップＳ１００４の処理によって孤立点が検出された場合、画素欠陥情報記憶部２３から検出回数テーブルを読み出す。
【０４４６】
ステップＳ１００６において、カウンタ７０１は、検出回数テーブルを更新する、カウントの処理を実行する。カウントの処理の詳細は後述する。
【０４４７】
ステップＳ１００７において、カウンタ７０１は、座標、検出回数、および消失回数を含む検出回数テーブルを画素欠陥情報記憶部２３に供給し、画素欠陥情報記憶部２３は、画素欠陥判定部４２から供給された座標、検出回数、および消失回数を含む検出回数テーブルを記憶して、処理は終了する。
【０４４８】
図４１は、画素毎に実行される、カウントの処理の詳細を説明するフローチャートである。
【０４４９】
ステップＳ１１０１において、カウンタ７０１は、画素欠陥判定部４２から供給された孤立点を示す座標を基に、ステップＳ１００４の処理において、画素が孤立点として検出されたか否かを判定する。
【０４５０】
ステップＳ１１０１において、画素が孤立点として検出されたと判定された場合、ステップＳ１１０２に進み、検出回数算出部７２１は、検出回数テーブルの、画素の座標に対応する検出回数に１を加算する。
【０４５１】
ステップＳ１１０３において、消失回数算出部７２２は、検出回数テーブルの、画素の座標に対応する消失回数に初期値を設定して、処理は終了する。
【０４５２】
一方、ステップＳ１１０１において、孤立点として検出されないと判定された場合、ステップＳ１１０４に進み、消失回数算出部７２２は、画素の座標に対応する消失回数に１を加算する。
【０４５３】
ステップＳ１１０５において、回数設定部７２３は、画素の座標に対応する消失回数が欠陥削除閾値以上であるか否かを判定する。
【０４５４】
ステップＳ１１０５において、消失回数が欠陥削除閾値以上であると判定された場合、ステップＳ１１０６に進み、回数設定部７２３は、検出回数および消失回数に、例えば、０である初期値を設定し、処理は終了する。
【０４５５】
ステップＳ１１０５において、消失回数が欠陥削除閾値以上でないと判定された場合、ステップＳ１１０６の処理はスキップされ、処理は終了する。
【０４５６】
以上のようにして、カウントした検出回数および消失回数は、画素欠陥判定の処理の判定の条件として使用する。以下、この場合の画素欠陥判定の処理を説明する。
【０４５７】
図４２は、画素欠陥判定の処理を説明するフローチャートである。
【０４５８】
ステップＳ１２０１において、画素欠陥マーク部２１は、画素欠陥情報記憶部２３に記憶されている孤立点の検出回数テーブルを読み出す。
【０４５９】
ここで、検出回数テーブルとは、図３８を参照して説明した、孤立点の座標、検出回数、および消失回数を含むデータである。
【０４６０】
例えば、画素欠陥マーク部２１は、画素欠陥情報記憶部２３に記憶されている検出回数テーブルをすべて読み出し、一時的に記憶するバッファなどに検出回数テーブルを記憶し、その記憶した検出回数テーブルを基に、後述するステップＳ１２０２の処理を実行する。
【０４６１】
また、検出回数テーブルの読み出しの処理は、上述した例に限定されるものではない。例えば、検出回数テーブルを画素欠陥情報記憶部２３から順次読み出して、後述するステップＳ１２０２の処理を実行するようにしてもよい。
【０４６２】
ステップＳ１２０２において、画素欠陥マーク部２１は、画素欠陥情報記憶部２３から読み出した検出回数テーブルを基に、検出回数テーブルに座標が記憶され、かつ座標に対応する検出回数が欠陥確定閾値以上であるか否か判定する。
【０４６３】
ステップＳ１２０２において、検出回数テーブルに座標が記憶され、かつ座標に対応する検出回数が欠陥確定閾値以上であると判定された場合、ステップＳ１２０３に進み、画素欠陥マーク部２１は、その座標で示されるの画素の画素データに画素欠陥を示す情報を挿入して、画素欠陥を示す情報を含む画像データをラインバッファ３１に供給して処理は終了する。
【０４６４】
画素欠陥を示す情報は、通常の画素値を示す画素データに現れるパターンと異なる、所定のビット数の所定のパターンからなり、例えば、画素データに、そのパターンのビットを挿入することで画素がマークされる。
【０４６５】
一方、ステップＳ１２０２において、検出回数テーブルに座標が記憶され、かつ座標に対応する検出回数が欠陥確定閾値以上でないと判定された場合、画素にマークする必要がないので、ステップＳ１２０３の処理はスキップされ、画像データのみをラインバッファ３１に供給し、処理は終了する。
【０４６６】
このように、孤立点の検出において、デジタルカメラおよび撮像される像が完全に固定されていない場合、孤立点は、一時的なものであるといえる。したがって、長い時間における、複数枚（複数のフレーム）の画像データを観察することで、孤立点の誤検出および見逃しを回避することができる。すなわち、これらの事象に対応するために、検出回数および消失回数を記録している。
【０４６７】
以上のように、画素欠陥の検出に“検出点”の周辺の画素を使用することで、画素欠陥を、より確実に、より正確に検出することができる。また、遮光する機能を持ち合わせたデジタルカメラであっても、起動時に毎回画素欠陥を検出すると起動時間が遅くなるので、本発明を用いることで起動時に画素欠陥検出をしなくても撮像しながら画素欠陥を検出して画質劣化を防ぐことができる。
【０４６８】
また、光を遮断する機能を有さないデジタルカメラであっても、工場出荷後の後発画素欠陥による画質劣化を防ぐことができる。さらに、本発明によれば、撮像素子の温度特性または電圧特性に起因する起動中に発生する後発画素欠陥を補正し、画質劣化を防ぐことができる。その結果、後発画素欠陥による画質劣化をより少なくすることができる。
【０４６９】
なお、固体撮像素子のカラーフィルタ配列をBayer配列の例で説明したが、Bayer配列に限らず、例えば、インタライン配列またはGストライプRB市松配列などとすることもできる。
【０４７０】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０４７１】
図４３は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）７０１は、ROM（Read Only Memory）７０２、または記録部７０８に記録されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）７０３には、CPU７０１が実行するプログラムやデータなどが適宜記憶される。これらのCPU７０１、ROM７０２、およびRAM７０３は、バス２０４により相互に接続されている。
【０４７２】
CPU７０１にはまた、バス７０４を介して入出力インタフェース７０５が接続されている。入出力インタフェース７０５には、キーボード、マウス、マイクロホンなどよりなる入力部７０６、ディスプレイ、スピーカなどよりなる出力部７０７が接続されている。CPU７０１は、入力部７０６から入力される指令に対応して各種の処理を実行する。そして、CPU７０１は、処理の結果得られた画像等を出力部７０７に出力する。
【０４７３】
入出力インタフェース７０５に接続されている記録部７０８は、例えばハードディスクなどで構成され、CPU７０１が実行するプログラムや各種のデータを記録する。通信部７０９は、インターネット、その他のネットワークを介して外部の装置と通信する。この例の場合、通信部２０７は、入力画像を取得するか、または出力画像を出力する、外部とのインタフェースとして動作する。
【０４７４】
また、通信部７０９を介してプログラムを取得し、記録部７０８に記録してもよい。
【０４７５】
入出力インタフェース７０５に接続されているドライブ７１０は、磁気ディスク７２１、光ディスク７２２、光磁気ディスク７２３、或いは半導体メモリ７２４などが装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部７０８に転送され、記録される。
【０４７６】
一連の処理をさせるプログラムが格納されている記録媒体は、図４３に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク７２１（フレキシブルディスクを含む）、光ディスク７２２（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク７２３（ＭＤ(Mini-Disc)（商標）を含む）、若しくは半導体メモリ７２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM７０２や、記録部７０８に含まれるハードディスクなどで構成される。
【０４７７】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０４７８】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０４７９】
【図１】Bayer配列のGreen画素を示す図である。
【図２】Bayer配列のBlue画素を示す図である。
【図３】Bayer配列のRed画素を示す図である。
【図４】従来の画素欠陥の判定方法を示す図である。
【図５】本発明の撮像装置の一実施の形態の構成を示すブロック図である。
【図６】画素欠陥検出部の詳細を示すブロック図である。
【図７】Bayer配列のGreen画素の傾きの抽出を示す図である。
【図８】撮像素子の動的欠陥検出の処理を説明するフローチャートである。
【図９】画素欠陥判定の処理を説明するフローチャートである。
【図１０】孤立点の座標データの例を示す図である。
【図１１】画素欠陥検出の処理を説明するフローチャートである。
【図１２】孤立点の候補の検出の処理を説明するフローチャートである。
【図１３】隣接する同色の画素との傾きおよびスレッショルドの関係を示すグラフである。
【図１４】隣接する同色の画素との傾きおよびスレッショルドの関係を示すグラフである。
【図１５】孤立点の候補であると判定されるパターンを示すグラフである。
【図１６】孤立点の候補を含む画素が縦の線となるときのパターン示す図である。
【図１７】孤立点の候補を含む画素が斜めの線となるときのパターン示す図である。
【図１８】孤立点の候補を含む画素が幅広の線となるときのパターンを示す図である。
【図１９】孤立点の検出の処理を説明するフローチャートである。
【図２０】周辺画素の傾きのパターンを示す図である。
【図２１】周辺画素の傾きのパターンを示す図である。
【図２２】周辺画素の傾きのパターンを例を示す図である。
【図２３】周辺画素の傾きのパターンの組み合わせの例を示す図である。
【図２４】周辺画素の傾きのパターンの組み合わせの例を示す図である。
【図２５】周辺画素の傾きのパターンの組み合わせの例を示す図である。
【図２６】周辺画素の傾きのパターンの組み合わせの例を示す図である。
【図２７】画素欠陥と推定される孤立点の検出の処理の説明をするフローチャートである。
【図２８】隣接する異なる色の画素が共に孤立点となるパターンを示す図である。
【図２９】画素欠陥補正の処理の説明をするフローチャートである。
【図３０】本発明に係る撮像装置の一実施の形態の他の構成を示すブロック図である。
【図３１】検出スレッショルドと周辺画素との関係を示すグラフである。
【図３２】画素欠陥検出の処理を説明するフローチャートである。
【図３３】検出点数と検出スレッショルドとの関係を示すグラフである。
【図３４】撮像素子の動的欠陥検出の処理を説明するフローチャートである。
【図３５】検出点数の上限値および下限値の設定を示すグラフである。
【図３６】撮像素子の動的欠陥検出の処理を説明するフローチャートである。
【図３７】本発明に係る撮像装置の一実施の形態の他の構成を示すブロック図である。
【図３８】検出回数テーブルの例を示す図である。
【図３９】検出回数と消失回数との関係を示す図である。
【図４０】画素欠陥検出の処理を説明するフローチャートである。
【図４１】カウントの処理の詳細を説明するフローチャートである。
【図４２】画素欠陥判定の処理を説明するフローチャートである。
【図４３】パーソナルコンピュータの構成を説明するブロック図である。
【符号の説明】
【０４８０】
１  撮像装置，  １１  撮像部，  １２  Ａ/Ｄ変換部，  １３  画素欠陥処理部，  １４  信号処理部，  １５  記憶部，  ２１  画素欠陥マーク部，  ２２  画素欠陥検出部，  ２３  画素欠陥情報記憶部，  ３１  ラインバッファ，  ３２  補正部，  ３３  画像処理部，  ４１  傾き抽出部，  ４２  画素欠陥判定部，  ５１  孤立点候補検出部，  ５２  孤立点検出部，  ５３  孤立点推定部，  ６０１  スレッショルド設定部，  ６２１  スレッショルド調整部，  ６２２  上限下限設定部，  ６２３  上限下限調整部，  ７０１  カウンタ，  ７２１  検出回数算出部，  ７２２  消失回数算出部，  ７２３  回数設定部
【図１】
2005236749.tif 000003
【図２】
2005236749.tif 000004
【図３】
2005236749.tif 000005
【図４】
2005236749.tif 000006
【図５】
2005236749.tif 000007
【図６】
2005236749.tif 000008
【図７】
2005236749.tif 000009
【図８】
2005236749.tif 000010
【図９】
2005236749.tif 000011
【図１０】
2005236749.tif 000012
【図１１】
2005236749.tif 000013
【図１２】
2005236749.tif 000014
【図１３】
2005236749.tif 000015
【図１４】
2005236749.tif 000016
【図１５】
2005236749.tif 000017
【図１６】
2005236749.tif 000018
【図１７】
2005236749.tif 000019
【図１８】
2005236749.tif 000020
【図１９】
2005236749.tif 000021
【図２０】
2005236749.tif 000022
【図２１】
2005236749.tif 000023
【図２２】
2005236749.tif 000024
【図２３】
2005236749.tif 000025
【図２４】
2005236749.tif 000026
【図２５】
2005236749.tif 000027
【図２６】
2005236749.tif 000028
【図２７】
2005236749.tif 000029
【図２８】
2005236749.tif 000030
【図２９】
2005236749.tif 000031
【図３０】
2005236749.tif 000032
【図３１】
2005236749.tif 000033
【図３２】
2005236749.tif 000034
【図３３】
2005236749.tif 000035
【図３４】
2005236749.tif 000036
【図３５】
2005236749.tif 000037
【図３６】
2005236749.tif 000038
【図３７】
2005236749.tif 000039
【図３８】
2005236749.tif 000040
【図３９】
2005236749.tif 000041
【図４０】
2005236749.tif 000042
【図４１】
2005236749.tif 000043
【図４２】
2005236749.tif 000044
【図４３】
2005236749.tif 000045