(57)【特許請求の範囲】
【請求項１】
複数の異なる読み出し方法により読み出し可能な撮像素子から読み出された画像を処理する画像処理装置であって、
前記撮像素子から読み出された画像を構成する画素のうち、欠陥画素か否かを判定する対象である検出対象画素の画素値と、該検出対象画素の複数の周辺画素を用いて求めた値との差分絶対値を求める算出手段と、
前記差分絶対値に基づいて、前記検出対象画素が欠陥画素か否かを判定する判定手段とを有し、
前記判定手段は、
前記検出対象画素が欠陥画素であると判定するための条件に、前記差分絶対値が、第１の閾値と、該第１の閾値よりも大きい第２の閾値により予め決められた範囲内にあることを含み、
前記撮像素子から複数の画素の画素信号を加算して画素値として読み出す場合に、画素信号を加算せずに画素値として読み出す場合よりも、より小さい値を前記第２の閾値として設定することを特徴とする画像処理装置。
【請求項２】
前記複数の異なる読み出し方法は、画素信号の加算の有無、および、加算する画素信号の数、の少なくともいずれかが互いに異なることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の異なる読み出し方法は、静止画を撮影するための静止画モードと、動画を撮影するための動画モードとを含み、
前記判定手段は、前記撮像素子から前記動画モードで画素値を読み出す場合に、前記静止画モードで画素値を読み出す場合よりも、より小さい値を前記第１の閾値として設定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記撮像素子から複数の画素の画素信号を加算して画素値として読み出す場合、前記判定手段は、加算する画素信号の数が多いほど、より小さい値を前記第２の閾値として設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記判定手段は、前記撮像素子から複数の画素の画素信号を加算して画素値として読み出す場合に、複数の画素信号を加算せずに読み出す場合よりも、より小さい値を前記第１の閾値として設定することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記撮像素子から複数の画素の画素信号を加算して画素値として読み出す場合、前記判定手段は、加算する画素信号の数が多いほど、より小さい値を前記第１の閾値として設定することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記算出手段は、
前記撮像素子から読み出された画像を構成する画素のうち、前記検出対象画素の画素値と、該検出対象画素の複数の周辺画素の画素値の最大値との差分絶対値である第１の差分絶対値を求める第１の算出手段と、
前記撮像素子から読み出された画像を構成する画素のうち、前記検出対象画素の複数の周辺画素の画素値の最大値と最小値との差分絶対値である第２の差分絶対値を求める第２の算出手段と、を有し、
前記判定手段は、前記第１の差分絶対値が、前記第１の閾値と、前記第２の閾値により予め決められた範囲内にあり、且つ、前記第２の差分絶対値が予め決められた第３の閾値よりも小さい場合に、前記検出対象画素が欠陥画素であると判定することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
複数の異なる読み出し方法により読み出し可能な撮像素子から読み出された画像を処理する画像処理方法であって、
算出手段が、前記撮像素子から読み出された画像を構成する画素のうち、欠陥画素か否かを判定する対象である検出対象画素の画素値と、該検出対象画素を用いて求めた値との差分絶対値を求める算出工程と、
判定手段が、前記差分絶対値に基づいて、前記検出対象画素が欠陥画素か否かを判定する判定工程と、を有し、
前記判定工程では、
前記検出対象画素が欠陥画素であると判定するための条件に、前記差分絶対値が、第１の閾値と、該第１の閾値よりも大きい第２の閾値により予め決められた範囲内にあることを含み、
前記撮像素子から複数の画素の画素信号を加算して画素値として読み出す場合に、画素信号を加算せずに読み出す場合よりも、より小さい値を前記第２の閾値として設定することを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関し、特にデジタル化された画像信号における欠陥画素の検出及び補正を行うための技術に関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置は、ＣＭＯＳセンサ等の撮像素子を用いて画像を撮影するが、一般的に、全ての画素が正常に動作するわけではなく、いくつかの欠陥画素が存在する。欠陥画素は大きく２種類に分類できる。一つは撮像素子が製造された段階ですでに欠陥画素となっている先天的なもの、もう一つは撮像素子の製造後のカメラの使用過程において発生する後天的なものである。
【０００３】
一方で動画の場合の画像取得方法として、ＣＭＯＳセンサからの画素情報の読み出し時に隣接する数画素分の画素情報を加算したものを順次読みだすような、加算読み出しが知られている。これは、動画の実時間処理のために処理する画素数を減らしたり、動画の基準規格に合わせるために行われるものである。
【０００４】
欠陥画素を補正する技術としては、撮像素子の製造時に欠陥画素を予め特定しておき、そのアドレスを保持しておいてカメラで補正する方法が知られている。しかしながらこの方法では先天的な欠陥画素に対しては対応可能であるが、後天的な欠陥画素に対しては対応することができない。
【０００５】
後天的な欠陥画素に対して、例えば特許文献１に開示されてるように撮像画像における対象画素とその周辺の画素との差が所定の閾値よりも大きければ対象画素を欠陥画素と判定し、補正を行うという技術が存在する。また、特許文献２では、特許文献１に開示されている技術に加えてＩＳＯ感度や撮影モードなどといった撮影情報を考慮し、それらの情報を基に閾値の制御を行うことで、特許文献１よりも高い精度で欠陥画素の判定を行うことが開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００２−２２３３９１号公報
【特許文献２】特開２００４−２２２１４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、例えば、光源の光を強く反射している輝点が被写体に存在していると、この輝点も周辺の画素と比べて大きく異なる値となる。そのため、この輝点のように、周辺の画素と値が大きく異なる孤立点が欠陥画素として誤検出されてしまうことがあった。しかしながら、従来技術では、欠陥画素と、非欠陥画素である輝点のような孤立点との区別がつかず、非欠陥画素である孤立点を欠陥画素として誤検出してしまっていた。
【０００８】
本発明は上記問題点を鑑みてなされたものであり、欠陥画素の検出精度を損なうことなく、非欠陥画素の誤検出を削減することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、複数の異なる読み出し方法により読み出し可能な撮像素子から読み出された画像を処理する本発明の画像処理装置は、前記撮像素子から読み出された画像を構成する画素のうち、欠陥画素か否かを判定する対象である検出対象画素の画素値と、該検出対象画素の複数の周辺画素を用いて求めた値との差分絶対値を求める算出手段と、前記差分絶対値に基づいて、前記検出対象画素が欠陥画素か否かを判定する判定手段とを有し、前記判定手段は、前記検出対象画素が欠陥画素であると判定するための条件に、前記差分絶対値が、第１の閾値と、該第１の閾値よりも大きい第２の閾値により予め決められた範囲内にあることを含み、前記撮像素子から複数の画素の画素信号を加算して画素値として読み出す場合に、画素信号を加算せずに読み出す場合よりも、より小さい値を前記第２の閾値として設定する。
【発明の効果】
【００１０】
本発明によれば、欠陥画素の検出精度を損なうことなく、非欠陥画素の誤検出を削減することができる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態における撮像素子の画素配置を説明するための図。
【図２】第１の実施形態における動画撮影時の３画素加算読み出し及び３画素間引き読み出しを説明するための図。
【図３】第１の実施形態における動画撮影時の読み出しを説明するための図。
【図４】第１の実施形態における撮像装置の概略構成を示すブロック図。
【図５】図４に示すリアルタイム欠陥画素補正部の構成を示すブロック図。
【図６】第１の実施形態における欠陥画素の検出対象画素とその周辺画素の配置を示す図。
【図７】変形例における動画撮影時の２／３画素間引き加算読み出しを説明するための図。
【図８】第３の実施形態における撮像システムの構成を示す図。
【図９】第３の実施形態におけるメモリの格納状況を説明するための図。
【図１０】第３の実施形態における撮影処理を示すフローチャート。
【図１１】第３の実施形態における画像処理を示すフローチャート。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。
【００１３】
＜第１の実施形態＞
本第１の実施形態においては、動画及び静止画の撮影を行うことのできるデジタルカメラにおいて、動画及び静止画の撮影時に撮像素子からの画素の読み出し方式が異なる場合の欠陥画素の検出方法について説明する。
【００１４】
図１は第１の実施形態で用いる撮像素子の画素配置を図式化して、その一部を示したものである。撮像素子はベイヤー配列のカラーフィルタにより覆われており、水平２画素ｘ垂直２画素の４画素を１単位とした場合、図１に示すように左上の画素が赤（Ｒ）画素、右上と左下の画素が緑（Ｇ）画素、右下の画素が青（Ｂ）画素という配置になっている。
【００１５】
ここでは、動画を撮影する場合に、水平方向には隣接する同色３画素の画素信号を加算してその結果を１画素の画像信号として読み出す（以下、「３画素加算読み出し」と呼ぶ。）方式で撮像素子から読み出されるものとする。一方、垂直方向には隣接する同色３画素のうちの１画素からの画素信号を画像信号として読み出す（以下、「３画素間引き読み出し」と呼ぶ。）方式で撮像素子から読み出される。
【００１６】
図２（ａ）は水平方向の３画素加算読み出しを図式化したものであり、各色について隣接する３画素の画素信号の加算を行い、その結果を１画素の画像信号として読み出す様子を示している。また、図２（ｂ）は垂直方向の３画素間引き読み出しを図式化したものであり、各色について隣接する３画素のうちの１画素の画素信号を画像信号として間引き読み出しする様子を示している。
【００１７】
これに対して静止画を撮影する場合、撮像素子から全ての画素が読み出される（以下、「全画素読み出し」と呼ぶ。）。つまり、本第１の実施形態においては、動画を撮影する場合と静止画を撮影する場合とで、画像信号を読み出す際に画像信号の加算の有無が異なる。
【００１８】
上述した水平３画素加算読み出し、垂直３画素間引き読み出しの場合は、欠陥画素である場合と欠陥画素ではない孤立点との間の画素値にレベル差が生じる。ここで、欠陥画素が周辺の画素に比べて値の大きい場合を例として、図３を参照して具体的に説明する。欠陥画素である場合の中心画素をＲ５とし、同色の周辺画素をＲ１からＲ９とした場合、水平３画素加算読み出し、垂直３画素間引き読み出し時の、図３に示す領域における出力画素値Ｒ５’は次式（１）で表される。なお、式（１）において、Ｒ４、Ｒ５、Ｒ６は、画素Ｒ４、Ｒ５、Ｒ６の画素値を表している。
0006041523.tif 000002
【００１９】
このように、Ｒ５の画素値として、Ｒ４、Ｒ５、Ｒ６の画素値の平均値であるＲ５’が出力される。このとき、Ｒ５が欠陥画素の場合、Ｒ５の値はＲ４、Ｒ６と比較すると非常に大きな値となる。これに対して、Ｒ５が欠陥画素でない孤立点の場合は、Ｒ５の値はＲ４、Ｒ５と比較しても、Ｒ５が欠陥画素の場合ほど大きな値にはならない。これは、欠陥画素がその画素の構造に起因するものであるため、主にその画素単体に生じる現象であるのに対して、孤立点は高輝度の被写体の像を受光したことによって生じるものであるため、大抵の場合は近傍の画素も値が大きくなるためである。そのため、式（１）で計算されるＲ５’は、Ｒ５が欠陥画素の場合には、Ｒ４とＲ６の画素値が極端に高い値ではないことが多いため、本来のＲ５の画素値と比較して値が小さくなる。これに対してＲ５が孤立点である場合には、Ｒ４及びＲ６の少なくともいずれかが高輝度の被写体の影響を受けている可能性が高いため、Ｒ５’はＲ５と比較しても画素値が比較的小さくならない。このように、Ｒ５の画素値が同じであったとしても、欠陥画素である場合と欠陥画素でない場合とで、撮像素子から読み出される画素値Ｒ５’にはレベル差が生じる。
これに対して、全画素読み出しの場合は、画素加算を行わないため、欠陥画素であるか欠陥画素ではない孤立点であるかに関わらず、その画素の値がそのまま読み出されるため、動画撮影時のように画素値のレベルは低下しない。本第１の実施形態では、このような読み出し方法の違いよって生じる欠陥画素と欠陥画素ではない画素との画素値のレベル差を用いて、より精度の高い欠陥画素検出を実現する。
【００２０】
図４は本第１の実施形態における撮像装置の構成の一例を示すブロック図である。図４において、絞り、レンズ等の光学系１を通った光は、図１で示すようなベイヤー配列のカラーフィルタにより覆われた、ＣＭＯＳセンサ、ＣＣＤ等で構成された撮像素子２で光電変換されて読み出され、読み出された画像信号は信号処理部３に供給される。後述するように、撮像素子２からは、静止画モード及び動画モードを含む複数の異なる読み出し方法で画像信号を読み出すことができる。信号処理部３では、供給された画像信号に対してＡ／Ｄ変換やゲインコントロール等の所定の処理を行い、その結果得られたデジタル画像信号はリアルタイム欠陥画素補正部４に供給される。一方、ユーザーインタフェース（ＵＩ）部８では、動画／静止画モードの選択やＩＳＯ感度等の撮影設定が行われる。そして、これらの設定情報はバス９を通して光学系１、撮像素子２、信号処理部３、リアルタイム欠陥画素補正部４、信号処理部５、符号化処理部６、出力部７に供給される。
【００２１】
リアルタイム欠陥画素補正部４では、供給されたデジタル画像信号を用いて、欠陥画素検出処理と欠陥画素補正処理とを行い、欠陥画素補正したデジタル画像信号を信号処理部５に出力する。なお、リアルタイム欠陥画素補正部４における欠陥画素検出処理と欠陥画素補正処理については、詳細に後述する。
【００２２】
信号処理部５では、欠陥画素補正処理を行ったデジタル画像信号に対して、ノイズリダクション、色調整、リサイズ等を行い、符号化処理部６に信号処理結果の画像信号を供給する。符号化処理部６では信号処理結果の画像信号を符号化し、符号化結果を出力部７に出力する。出力部７は、ＨＤＭＩなどのインタフェースなどへの出力、ＣＦカードなどのメディアへの保存、背面液晶などの表示デバイスへの出力を行う。
【００２３】
次に、リアルタイム欠陥画素補正部４における欠陥画素検出処理と欠陥画素補正処理について、詳細に説明する。図５は図４に示すリアルタイム欠陥画素補正部４の詳細構成を示すブロック図である。
【００２４】
リアルタイム欠陥画素補正部４に対しては、図５に示すように、入力端子４２を介して画像信号がフレーム単位で順次入力され、差分絶対値算出部４３の周辺画素最大値算出部４３１、周辺画素最小値算出部４３２、減算器４３３に供給される。更に、欠陥画素補正部４５にも供給される。図６は、入力された画像信号のうち、欠陥画素の検出対象画素とその周辺画素の配置を示す図であるが、周辺画素最大値算出部４３１では、図６に示すような検出対象画素Ｇ９の周辺画素Ｇ１からＧ８の画素値のうち、最大値を求める。ここで、求めた最大値をMax(G1toG8)とする。求めた最大値Max(G1toG8)は、減算器４３３及び減算器４３５に出力される。なお、本第１の実施形態では、説明のため、周辺の画素を図６のＧ１からＧ８のように定めているが、これより広い範囲を周辺画素の範囲としてもよい。
【００２５】
一方、周辺画素最小値算出部４３２では、検出対象画素Ｇ９の周辺画素Ｇ１からＧ８の画素値のうちの最小値を求める。ここで、求めた最小値をMin(G1toG8)とする。求めた最小値Min(G1toG8)は、減算器４３５に出力される。
【００２６】
減算器４３３では、最大値Max(G1toG8)から検出対象画素Ｇ９の画素値を減算し、その結果である差分値を絶対値算出部４３４において絶対値化する。即ち、欠陥画素の検出対象画素Ｇ９の画素値が、周辺画素の画素値の最大値からどれほどかけ離れているかを求める。この処理により得られる結果をＫ１（第１の差分絶対値）とすると、以下の式（２）により表される。
Ｋ１ = ｜G9 - Max(G1toG8)|      …（２）
【００２７】
上記式（２）により得られた差分絶対値Ｋ１は、欠陥画素判定部４４の第１欠陥画素候補判定部４４１に出力される。即ち、周辺画素最大値算出部４３１、減算器４３３、絶対値算出部４３４は、第１の算出手段を構成する。
また、減算器４３５では、最大値Max(G1toG8)から最小値Min(G1toG8)を減算し、その結果である差分値を絶対値算出部４３６において絶対値化する。この処理により得られる結果をＫ２とすると、以下の式（３）により表される。
Ｋ２ = ｜Max(G1toG8) - Min(G1toG8)|      …（３）
【００２８】
上記式（３）により得られた差分絶対値Ｋ２（第２の差分絶対値）は、欠陥画素判定部４４の第２欠陥画素候補判定部４４２に出力される。即ち、周辺画素最小値算出部４３２、減算器４３５、絶対値算出部４３６は、第２の算出手段を構成する。
第１欠陥画素候補判定部４４１では、Ｋ１が、予め決められた閾値th_uとth_oに対して、
th_u＜Ｋ１＜th_o      …（４）
【００２９】
の関係を満たすかどうかを判断する。Ｋ１が閾値th_u（第１の閾値）とth_o（第２の閾値）により決められた範囲内にある場合、欠陥画素候補として判定し、そうでなければ、欠陥画素ではないと判定する。
ここで、本第１の実施形態においては、閾値th_uとth_oは次のような方法で決定する。まず、第１欠陥画素候補判定部４４１には、ＵＩ部８から入力される動画／静止画モードの選択情報により決定する撮像素子２からの読み出し方式を示す信号が、入力端子４１を介して入力される。現在の設定が静止画モードで、撮像素子２からの読み出し方式が全画素読み出しである場合、検出対象画素Ｇ９の画素値は１つの画素から出力された画素値である。そのため、th_uをｓとし、th_oは無限大に設定する。つまり、静止画モードの場合は、ｓよりもＫ１が大きければ欠陥画素候補として判定する。
【００３０】
一方、現在の設定が動画モードで、撮像素子２からの読み出し方式は水平３画素加算読み出し、垂直３画素間引き読み出しである場合、検出対象画素Ｇ９の画素値は、撮像素子２を構成する３つの画素の画素値の平均値である。そのため、３つの画素のいずれかが欠陥画素であった場合、読み出された画素値は、欠陥画素そのものの画素値よりもレベルが下がっている。そのため、この場合にはそれぞれの閾値を次式（５）のように設定する。
【００３１】
0006041523.tif 000003
【００３２】
このように、動画モード時には欠陥画素候補として判定するための閾値を、静止画モードの時と比べて低くすることで、欠陥画素の誤検出を低減することができる。なお、上述した閾値th_uとth_oは一例であり、撮像素子の温度やゲインコントロールにおける信号の増幅率に応じて、これらの値は変更すべきである。また、ここでは静止画モードと動画モードの間で、閾値th_uとth_oの両方を変化させたが、少なくとも閾値th_oの値を、動画モードのときよりも静止画モードのときよりも小さく設定すればよい。
また、第２欠陥画素候補判定部４４２では、動画／静止画モードに関わらず、Ｋ２が予め決められた閾値th2（第３の閾値）よりも小さければ（Ｋ２ ＜ th2）、Ｇ９を欠陥画素候補として判定し、そうでなければ、欠陥画素ではないと判定する。
【００３３】
欠陥画素決定部４４３では、第１欠陥画素候補判定部４４１による判定結果と、第２欠陥画素候補判定部４４２による判定結果が共に欠陥画素候補であった場合に、検出対象画素Ｇ９が欠陥画素であると判定する。そして、判定した結果を欠陥画素補正部４５へ出力する。欠陥画素補正部４５では、検出対象画素Ｇ９が欠陥画素として判定されていれば、入力される検出対象画素Ｇ９の画素値を周辺画素の画素値の平均値で置き換えることで補正する。一方、欠陥画素として判定されなかった場合には入力される検出対象画素Ｇ９に補正を行わない。そして、出力端子４６を介して信号処理部５へ出力する。
【００３４】
以上説明したように、本第１の実施形態によれば、撮像素子２からの読み出し方式に応じて、検出対象画素の画素値と、その周辺画素の画素値の最大値との差分に対する下限及び上限の閾値を変える。このようにすることで、非欠陥画素である孤立点を誤検出する頻度が低減し、より精度の高い欠陥画素検出及び欠陥画素補正を実現することができる。
【００３５】
＜変形例＞
撮像素子２から隣接する３画素を選択して、その中の同色２画素の画素信号を加算して１画素として読み出す方式（以下２／３画素間引き加算読み出し）も存在する。図７は水平方向の２／３画素間引き加算読み出しを図式化したものであり、隣接した３画素から同色２画素を選択し、その２画素を加算して１画素として読み出す様子を示すものである。その場合は、３画素加算読み出しの場合よりも欠陥画素の画素値は高くなる。水平方向を２／３画素間引き加算読み出し、垂直方向を３画素間引き読み出しを用いた場合、図３における画素値Ｒ５’は次式（６）により算出することができる。
【００３６】
0006041523.tif 000004
【００３７】
このときのth_uとth_oは以下の式（７）のように設定する。
【００３８】
0006041523.tif 000005
【００３９】
このように、加算する画素の画素数が少ないほど、より大きい値を閾値th_uとth_oとして設定する。言い換えれば、加算する画素の画素数が多いほど、より小さい値を閾値th_uとth_oとして設定する。
【００４０】
上記の通り、画素加算読み出しや画素間引き読み出しを組み合わせた場合の読み出し方式でも、本第１の実施形態は適用可能であり、様々な読み出し方式が本発明の範疇に入ることは明らかである。
【００４１】
＜第２の実施形態＞
本第２の実施形態では、動画の撮影を行うことができるデジタルカメラにおいて、動画のフォーマットによって撮像素子からの読み出し方式が異なる場合の欠陥画素検出方法について説明する。
【００４２】
具体的には、1920×1080画素での撮影時における水平方向全画素読み出し、垂直方向３画素加算読み出し、及び、1280×720画素での撮影時における水平方向３画素加算読み出し、垂直方向３画素加算読み出しの場合の閾値を決定する。この場合、1920×1080画素での撮影時の場合は水平方向と垂直方向で読み出す割合が異なるため（垂直方向のみ加算）、読み出した直後の画像のアスペクト比が撮像素子のアスペクト比と異なる。これに対して、1280×720画素での撮影時の場合は、水平方向と垂直方向で読み出す割合が同じであるため（水平、垂直方向共に加算）、読み出した直後の画像のアスペクト比と撮像素子のアスペクト比が同じになる。本第２の実施形態では、加算読み出しを行う場合であっても、加算する画素の数に応じて非欠陥画素である孤立点を検出するための条件を変更する方法について説明する。なお、撮像素子に関しては、上述した第１の実施形態と同様に図１に示すようなベイヤー配列のカラーフィルタで覆われているものとする。
【００４３】
また、本第２の実施形態における撮像装置の構成は、上述した第１の実施形態において図４及び図５を参照して説明したものと同様であるため、ここでは説明を省略する。またリアルタイム欠陥画素補正部４以外の処理に関しても、第１の実施形態で説明したものと同様であるため、説明を割愛する。
【００４４】
以下、本第２の実施形態におけるリアルタイム欠陥画素補正部４による欠陥画素判定の処理について、図４〜図６を参照して説明する。
【００４５】
リアルタイム欠陥画素補正部４には、入力端子４２を介して画像信号がフレーム単位で順次入力される。周辺画素最大値算出部４３１では、図６に示すような欠陥画素の検出対象画素Ｇ９の周辺画素Ｇ１からＧ８の画素値のうち最大値を求め、求めた結果をMax(G1toG8)とする。なお、図６では、周辺画素を図６のＧ１からＧ８のように定めているが、第１の実施形態で説明したように本第２の実施形態においても、これより広い範囲を周辺画素の範囲としてもよい。
【００４６】
また、周辺画素最小値算出部４３２では、画素Ｇ１からＧ８の画素値のうちの最小値を求め、求めた結果をMin(G1toG8)とする。
【００４７】
減算器４３３と絶対値算出部４３４では、上述した式（２）により、検出対象画素Ｇ９の画素値とMax(G1toG8)との差分絶対値Ｋ１を算出する。また、減算器４３５と絶対値算出部４３６では、上述した式（３）により、Max(G1toG8)とMin(G1toG8)との差分絶対値Ｋ２を算出する。
【００４８】
第１欠陥画素候補判定部４４１では、上述した式（４）により、欠陥画素候補か否かを判定する。このとき、本第２の実施形態では、th_uとth_oを次のような方法で決定する。
【００４９】
ＵＩ部８の設定により、現在の設定が1920x1080画素の撮影の場合、撮像素子２から読み出された着目画素の画素値と、その上下方向に位置する同色の２つの画素の画素値が加算されて読み出される。その場合、th_uをsとし、th_oは無限大に設定する。つまり、1920x1080画素の撮影時には、ｓよりもＫ１が大きければ欠陥画素候補として判定する。
【００５０】
逆に現在の設定が1280x720画素の撮影の場合、着目画素の画素値と、その上下方向および左右方向に位置する同色の４つの画素の画素値が加算されて読み出される。1920x1080画素の撮影の場合よりも周辺画素の割合が増えるため、1920x1080画素の撮影の場合と比べて、周辺画素の画素値の影響が大きくなる。
【００５１】
ここで、着目画素が孤立点であれば、加算される周辺画素は孤立点の影響を受けて値が増加しているが、着目画素が欠陥画素であれば、加算される周辺画素はこのような値の増加はない。そのため、着目画素が欠陥画素の場合の加算読み出し後の着目画素の値は、孤立点の場合に比べて小さな値となる。そして、加算される周辺画素の数が増えるほど、着目画素が欠陥画素の場合の加算読み出し後の着目画素の値は小さくなる。そのため、着目画素が欠陥画素であれば、1280x720画素の撮影の場合には微小キズは殆ど目立たなくなる。この1280x720画素の撮影の場合は、それぞれの閾値を次式（８）のように設定する。
【００５２】
0006041523.tif 000006
【００５３】
このように、閾値th_uと閾値th_oの値は、1920x1080画素の撮影の場合よりも、小さい値となる。なお、上述した閾値th_uと閾値th_oは一例であり、撮像素子の温度やゲインコントロールにおける信号の増幅率に応じて、これらの値は変更すべきである。また、ここでは動画のフォーマットによって、閾値th_uとth_oの両方を変化させたが、少なくとも閾値th_oの値を変化させればよい。
【００５４】
第２欠陥画素候補判定部４４２では、Ｋ２が予め決められた閾値th2よりも小さければ欠陥画素候補として判定し、それ以外の場合、欠陥画素ではないと判定する。
【００５５】
欠陥画素決定部４４３以降の処理は、第１の実施形態において上述した処理と同様であるので、ここでは説明を省略する。
【００５６】
以上説明したように、本第２の実施形態によれば、動画のフォーマットによって撮像素子からの読み出し方式が異なる場合において、検出対象画素の画素値と周囲の画素の最大値との差分絶対値に対する上限と下限の閾値を変える。これにより、非欠陥画素を誤検出する頻度が低減し、より精度の高い欠陥画素検出を実現することができる。
【００５７】
また、動画に限らず静止画においても、例えばユーザーが設定した画像サイズに応じて撮像素子からの読み出し方式が異なるのであれば、差分絶対値に対する閾値を変えるようにしてもよい。
【００５８】
なお、上述した第１および第２の実施形態、欠陥画素検出の精度を高めるために上述のような構成としたが、これに限られるものではない。周辺画素最小値算出部４３２、減算器４３５、および、絶対値算出部４３６からなる第２の算出手段と、第２欠陥画素候補判定部４４２は必須ではなく、省略することができる。
【００５９】
例えば、第１欠陥画素候補判定部４４１と欠陥画素決定部４４３を統合し、差分絶対値Ｋ１が閾値th_uとth_oにより決められた範囲内にあれば、検出対象画素Ｇ９が欠陥画素であると判定する構成としてもよい。さらに、周辺画素最大値算出部４３１を、周辺画素Ｇ１からＧ８の画素値の平均値を求める周辺画素平均値算出部に置き換え、この検出対象画素Ｇ９の画素値からこの平均値を減算した結果である差分値を差分絶対値Ｋ１として求めてもよい。
【００６０】
つまり、検出対象画素の画素値と周辺画素の差分を求め、この差分が予め定めた範囲内にある場合に、検出対象画素が欠陥画素、あるいは、欠陥画素候補であると判定する構成であれば、本発明を適用することが可能である。
【００６１】
＜第３の実施形態＞
上述した第１、第２の実施形態における撮像装置における欠陥画素の検出処理を、パーソナルコンピュータ等の汎用の情報処理装置と、その情報処理装置に実行されるコンピュータプログラムでもって実現しても構わない。以下、第１の実施形態を例とし、第３の実施形態として説明する。
【００６２】
図８は本第３の実施形態における情報処理装置の構成を示すブロック図である。図中、中央演算装置（ＣＰＵ）３００は、装置全体の制御、及び種種の処理を行う。メモリ３０１は、ＢＩＯＳやブートプログラムを記憶しているＲＯＭ及びＣＰＵ３００がワークエリアとして使用するＲＡＭで構成される。指示入力部３０３はキーボード、マウスなどのポインティングデバイス、及び各種スイッチで構成される。記憶装置３０４は、本装置の制御に必要なオペレーティングシステム（ＯＳ）、第１の実施形態におけるコンピュータプログラム、演算に必要な記憶領域を提供する外部記憶装置（例えばＤＶＤ−ＲＯＭやＣＤ−ＲＯＭディスク）とアクセスする。バス３０２を介して、コンピュータと外部インタフェースとの間で画像データのやり取りを行う。
【００６３】
デジタルカメラ３０６は画像を撮像する。プロジェクタ３０７は処理結果を出力する。通信回路３０９は、ＬＡＮ、公衆回路、無線回路、放送電波で構成されている。通信インタフェース３０８は、通信回路３０９を介して画像データの送受信を行う。
【００６４】
次に、上記構成を有する情報処理装置における処理について説明する。処理に先立ち、指示入力部３０３で装置に電源が入力されると、ＣＰＵ３００はメモリ３０１のＲＯＭに格納されているブートプログラムに従って、外部記憶装置３０４がメモリ３０１（ＲＡＭ）にＯＳをロードする。そして、ユーザーからの指示に従い、外部記憶装置３０４からアプリケーションプログラムをメモリ３０１にロードすることで、本装置が画像処理装置として機能することになる。このアプリケーションプログラムがＲＡＭ３０１にロードした際のメモリの格納状況を図９に示す。
【００６５】
メモリ３０１には装置全体を制御し、各種ソフトウェアを制御するためのＯＳ、欠陥画素検出、補正を行うような映像処理ソフトウェアが格納されている。さらに、カメラ３０６を制御して、動画像を１フレームずつ入力（キャプチャ）する画像入力ソフトウェアが格納されている。さらに、画像データを格納する画像エリア、各種パラメータを格納しておくワーキングエリアが存在する。
【００６６】
図１０はＣＰＵ３００が実行するアプリケーションにおける映像処理を示すフローチャートである。Ｓ１において各部の初期化を行い、Ｓ２においてプログラムが終了かどうかの判定を行う。この終了の判定は、ユーザーが指示入力部３０３から終了指示が入力されたか否かに基づいて判定する。Ｓ３ではフレーム単位でのメモリ３０１の画像エリアへの画像の入力、Ｓ４では映像処理として、欠陥画素の検出及び補正を行って、Ｓ２の処理に戻る。
【００６７】
ここで、Ｓ４で行われる映像処理を図１１のフローチャートを用いて詳しく説明する。Ｓ４１では記憶装置３０５に記憶されている画像の中の少なくとも１フレームと、撮像素子２からの画素読み出し方式といったパラメータをメモリ３０１に記憶する。Ｓ４２では、メモリ３０１に記憶された１フレームの中の検出対象画素の周辺の数画素の画素値の中から最大値を求め、Ｓ４３でその最大値と検出対象画素の画素値との差分絶対値絶対値とを算出する。Ｓ４４では検出対象画素の周辺の数画素の画素値の中から最小値を求め、Ｓ４５でその最小値とＳ４２で算出した最大値との差分絶対値を算出する。Ｓ４６では、Ｓ４３とＳ４５でそれぞれ算出された差分絶対値と、撮像素子からの読み出し方式を示すパラメータを基に、第１の実施形態で説明した方法で欠陥画素判定を行う。Ｓ４７では、Ｓ４６で検出された欠陥画素に対して補正を行い、Ｓ４８では欠陥画素が補正された１フレーム分の画像信号をメモリ３０１に格納する。
【００６８】
以上、説明したように本第３の実施形態によれば、画像品質において第１の実施形態と同等な効果を得ることができる。なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
0006041523.tif 000007
【図２】
0006041523.tif 000008
【図３】
0006041523.tif 000009
【図４】
0006041523.tif 000010
【図５】
0006041523.tif 000011
【図６】
0006041523.tif 000012
【図７】
0006041523.tif 000013
【図８】
0006041523.tif 000014
【図９】
0006041523.tif 000015
【図１０】
0006041523.tif 000016
【図１１】
0006041523.tif 000017