(57)【特許請求の範囲】
【請求項１】
被写体像をカラー撮像するための色フィルタを備えた撮像素子と、
前記撮像素子を２／３画素間隔で３×３箇所に周期的に変位させ、それぞれの変位位置において前記撮像素子より前記被写体像の画像信号を出力させる変位手段と、
前記変位手段による各変位位置における前記撮像素子の画像信号が入力されるとともに、該画像信号に基づき前記撮像素子の欠陥画素を特定し、該欠陥画素の画素データの階調を０に置き換え、この画像信号を再配置して画像合成する画像処理手段と、
前記画像処理手段により出力される画像信号の画像ずらし位置を３×３画素の構成とするとき、真中の画素に対し左右斜め上下方向に位置する欠陥画素に対しては、上下左右同色の４画素の信号レベルの和に１/２を乗じた補正値を求め、前記真中の画素に対し上下左右方向に位置する欠陥画素に対しては、上下左右同色の４画素の信号レベルを加算した補正値を求め、前記真中に位置される欠陥画素に対しては、左右４画素間隔離れた位置にある同色の２画素の信号レベルの和に１/２を乗じた補正値を求め、これら３つの補正値を用いて、それぞれ対応する欠陥画像の補正処理を行う欠陥画素補正手段と
を具備したことを特徴とする撮像装置。
【請求項２】
前記欠陥画素補正手段は、前記画像処理手段により合成された画像の欠陥画素に対し、色の判別情報と前記変位手段による変位位置に応じて異なる補正処理を行うことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記欠陥画素補正手段は、前記色の判別情報により欠陥画素がＧ(緑)と判断した場合は、該欠陥画素に対して上下左右同色の４画素の信号レベルの和に１/４を乗じた補正値を求め、該補正値により補正処理を行うことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記欠陥画素補正手段は、さらに位置情報変換手段を有し、該位置情報変換手段により画素ずらし後の画像信号の位置情報を変換して画像信号を複数に分割し、これら分割された画像信号を順に処理することを特徴とする請求項１記載の撮像装置。
【請求項５】
前記撮像素子に被写体像を投射する顕微鏡と、
前記被写体像を前記撮像素子に投射するか否かを選択する遮光手段と、
前記遮光手段により前記撮像素子への被写体像の投射を遮光した状態において、前記撮像素子より出力される画像信号の各画素の欠陥を検出する欠陥画素検出手段と、
をさらに有することを特徴とする請求項１記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画素欠陥補正機能を有するデジタルカメラ(電子スチルカメラ)などの撮像装置に関するものである。
【０００２】
【従来の技術】
一般に半導体により形成されるＣＣＤ等の固体撮像素子は、局所的な結晶欠陥等によって画素劣化することが知られている。
【０００３】
このような画素劣化に対し画素欠陥補正を行う方法として、例えば、特開２０００−５９７９９号公報に開示されるように、欠陥画素周囲の上下左右の隣接する４画素に着目し、これら４画素により欠陥画素を補間することで欠陥画素を補償し、画素劣化を抑止するようにしたものが考えられている。
【０００４】
このような画素欠陥補正の方法によれば、隣接する画素は同様な情報をもつのが通例であるため、これら隣接する画素を用いた補間による解像度の劣化はさほどでなく有効な結果が得られる。
【０００５】
ところで、近年、２次元固体撮像素子を使用したデジタルカメラ(電子スチルカメラ)などの撮像装置が一般に普及してきているが、このような撮像装置にあっては、さらに解像度の高い画像が求められるようになっている。
【０００６】
そこで、高い解像度を得るための手段として、例えば、特開平８−２５１６０４号公報に開示されるように撮像素子を２次元方向に変位させて撮像し、それらを合成する画素ずらし方式を採用することにより、高精細な画像を得るような方法が用いられるようになっている。
【０００７】
しかしながら、このような画素ずらし方式について、上述した欠陥画素周囲の上下左右の隣接する４画素により欠陥画素を補間して欠陥画素補正を行う方法を採用すると、欠陥画素を隣接する欠陥画素自身で補間することになるため、画像の劣化を抑止することが困難となる。
【０００８】
このような問題に対しては、例えば、特開平７-３２２１５１号公報に開示されるように、１画素以上離れた大きな間隔で画素ずらしを行うことで、合成後の画像に欠陥画素が隣接して配置されないようにし、欠陥画素補償の際に、隣接する欠陥画素自身で補間することがなく、常に正常な画素による補間によって画像の劣化を抑止できるようにした欠陥画素補正方法も考えられている。
【０００９】
【発明が解決しようとする課題】
ところが、撮像時の撮像素子の変位量を大きくすることは、欠陥画素の補償効果を高めることができるものの、撮像素子を１画素以上離れた遠くまで移動させるため、撮像素子の移動誤差が大きくなって、画像劣化の原因となるおそれがある。また、撮像素子を変位させるものとして、ピエゾ素子などの圧電素子が用いられるが、大きな変位量を得るには、駆動電圧も高める必要があるため、駆動回路が大型化するという問題も生じる。
【００１０】
本発明は上記事情に鑑みてなされたもので、隣接画素による欠陥画素補正をより正確に行い、撮像素子の変位による誤差を小さくして画像劣化を抑えることのできる撮像装置を提供することにある。
【００１１】
【課題を解決するための手段】
請求項１記載の発明は、被写体像をカラー撮像するための色フィルタを備えた撮像素子と、前記撮像素子を２／３画素間隔で３×３箇所に周期的に変位させ、それぞれの変位位置において前記撮像素子より前記被写体像の画像信号を出力させる変位手段と、前記変位手段による各変位位置における前記撮像素子の画像信号が入力されるとともに、該画像信号に基づき前記撮像素子の欠陥画素を特定し、該欠陥画素の画素データの階調を０に置き換え、この画像信号を再配置して画像合成する画像処理手段と、前記画像処理手段により出力される画像信号の画像ずらし位置を３×３画素の構成とするとき、真中の画素に対し左右斜め上下方向に位置する欠陥画素に対しては、上下左右同色の４画素の信号レベルの和に１/２を乗じた補正値を求め、前記真中の画素に対し上下左右方向に位置する欠陥画素に対しては、上下左右同色の４画素の信号レベルを加算した補正値を求め、前記真中に位置される欠陥画素に対しては、左右４画素間隔離れた位置にある同色の２画素の信号レベルの和に１/２を乗じた補正値を求め、これら３つの補正値を用いて、それぞれ対応する欠陥画像の補正処理を行う欠陥画素補正手段とを具備したことを特徴としている。
【００１４】
請求項２記載の発明は、請求項１記載の発明において、前記欠陥画素補正手段は、前記画像処理手段により合成された画像の欠陥画素に対し、色の判別情報と前記変位手段による変位位置に応じて異なる補正処理を行うことを特徴としている。
【００１５】
請求項３記載の発明は、請求項２記載の発明において前記欠陥画素補正手段は、前記色の判別情報により欠陥画素がＧ(緑)と判断した場合は、該欠陥画素に対して上下左右同色の４画素の信号レベルの和に１/４を乗じた補正値を求め、該補正値により補正処理を行うことを特徴としている。
【００１６】
請求項４記載の発明は、請求項１記載の発明において、前記欠陥画素補正手段は、さらに位置情報変換手段を有し、該位置情報変換手段により画素ずらし後の画像信号の位置情報を変換して画像信号を複数に分割し、これら分割された画像信号を順に処理することを特徴としている。
【００１７】
請求項５記載の発明は、請求項１記載の発明において、前記撮像素子に被写体像を投射する顕微鏡と、前記被写体像を前記撮像素子に投射するか否かを選択する遮光手段と、前記遮光手段により前記撮像素子への被写体像の投射を遮光した状態において、前記撮像素子より出力される画像信号の各画素の欠陥を検出する欠陥画素検出手段と、をさらに有することを特徴としている。
【００１９】
この結果、本発明によれば、画素ずらし位置に応じて欠陥画素の補正処理を異ならすことで、より正確な欠陥画素補正を行うことができ、また、画素ずらしの幅も１画素以内と小さくできるので、撮像素子の変位による誤差による画像劣化も同時に抑制することができる。
【００２０】
また、本発明によれば、Ｇ（緑）の欠陥画素については、正常な同色隣接画素で補正することができるので、画像の解像度に大きく影響するＧ（緑）の欠陥画素に対して正確な補正を実現できる。
【００２１】
さらに、本発明によれば、画像信号を分割したことで、１ライン幅を小さくできるので、少ない容量のものを使用して同等な処理を行うことができる。
【００２２】
さらにまた、本発明によれば、補正処理は、暗ノイズの目立つ画素についても行うことができるので、顕微鏡において、蛍光観察などの暗い試料の撮影の場合に、画像ノイズを減少させることができる。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態を図面に従い説明する。
【００２４】
（第１の実施の形態）
図１は、本発明が適用される撮像装置の概略構成を示すものである。図１において、１は撮像レンズで、この撮像レンズを通った被写体像がＣＣＤからなる撮像素子２の撮像面に結像される。撮像素子２は、撮像面に結像された被写体像を光電変換し、アナログ画像信号として画像処理手段の画像処理部４に出力する。
【００２５】
撮像素子２には、変位手段３が接続されている。変位手段３は、ピエゾ素子などの圧電素子を有するものである。撮像素子２は、圧電素子の動作により、周期的に変位され、それぞれの変位位置ごとに被写体像の画像信号を出力する。これにより、画像処理部４には、撮像素子２の変位位置毎の画像信号が入力される。
【００２６】
画像処理部４は、被写体の変位位置毎に画像信号を読み出し再配置を行い、１枚の画像に合成する。画像処理部４には、欠陥画素補正手段としての欠陥画素補正部５が接続されている。この欠陥画素補正部５は、画像処理部４において合成された画像中の欠陥画素に対して変位手段３による変位位置に応じた欠陥画素の補正を行うようになっている。
【００２７】
図２は、このように構成された撮像装置をさらに詳細に説明するための図で、図１と同一部分には同符号を付している。
【００２８】
この場合、変位手段３は、ピエゾ素子等の圧電素子３１と、この圧電素子３１を駆動する圧電素子ドライバ３２により構成され、圧電素子ドライバ３２により駆動される圧電素子３１により撮像素子２を周期的に変位させ、それぞれの変位位置での被写体像の画像信号を出力させる。
【００２９】
ここでの撮像素子２は、圧電素子ドライバ３２により駆動される圧電素子３１により、図３に示すように、基準画素位置▲１▼に対して２/３画素間隔ずつ、▲１▼→▲２▼→…→▲８▼→▲９▼の順番で、垂直、水平方向に各々３個所で、３×３の合計９箇所に画素ずらしを行い、これら変位位置毎に被写体像の画像信号を出力するようになっている。図４（ａ）（ｂ）は、画素ずらし前後の画素の色配列を表したもので、同図（ａ）に示す画素ずらし前のＲ,Ｇ,Ｂの画素の色配列に対して、図３に示す手順に従って２/３画素間隔で９箇所に画素ずらしを行った後の画像は、同図（ｂ）に示すようになり、Ｒ,Ｇ,Ｂの色配列は変わらずに、水平、垂直方向共に約３倍の画素数になる。
【００３０】
図２に戻って、画像処理部４は、固体撮像素子ドライバ４１、Ａ／Ｄ変換器４２、メモリ４３、欠陥ＲＯＭ４４およびＣＰＵ４５から構成されている。
【００３１】
固体撮像素子ドライバ４１は、撮像素子２を所定のタイミング信号に基づいた露出時間で駆動し、被写体像をアナログ画像信号として出力させるものである。Ａ／Ｄ変換器４２は、撮像素子２より出力されるアナログ画像信号をデジタル画像信号に変換するものである。メモリ４３は、ＣＰＵ４５からの制御信号によってＡ／Ｄ変換器４２を通ってデジタル化された画像信号を画素ずらし位置ごとに格納するようにしている。欠陥ＲＯＭ４４は、撮像素子２固有の欠陥画素位置のアドレスがあらかじめ格納されている。また、ＣＰＵ４５は、画素ずらし位置毎にメモリ４３に格納した画像信号を画素ごとに読み出し再配置して、１枚の画像として合成した後、画像信号、画素ずらし位置を表わす変位位置信号および画素のアドレス(位置情報)を欠陥画素補正部５に出力するようにしている。
【００３２】
欠陥画素補正部５は、ＲＡＭ５１、欠陥アドレス検出部５２および欠陥補償回路５３から構成されている。
【００３３】
ＲＡＭ５１は、画像処理部４の欠陥ＲＯＭ４４にあらかじめ格納されている撮像素子２固有の欠陥画素位置のアドレス、つまり欠陥画素アドレスをＣＰＵ４５を通して書き込むものである。欠陥アドレス検出部５２は、ＲＡＭ５１に格納された欠陥画素アドレスと、画像処理部４のＣＰＵ４５を通して入力される画像信号の各画素のアドレス(位置情報)とを比較し、両者が一致したときに欠陥画素を検出したと判断して、欠陥検出信号を欠陥補償回路５３に出力するようにしている。欠陥補償回路５３は、画像処理部４のＣＰＵ４５を通して画像信号とともに、この画像信号の画素のずらし位置を示す変位位置信号が入力されており、欠陥アドレス検出部５２からの欠陥検出信号を検出しないときは、画像信号に何も処理を施すことなく出力し、欠陥検出信号を検出したときは、変位位置信号に応じた処理により欠陥画素を補正するようになっている。
【００３４】
次に、このような欠陥補償回路５３で行う欠陥画素の補正処理について説明する。
【００３５】
図５、図６は、欠陥補償回路５３の概略構成を示している。図５の欠陥画素マスク部５５は、欠陥アドレス検出部５２から入力される欠陥検出信号Ｙに基づいて、入力画像データが欠陥画素であると判定した時に、画素データの階調を０に置き換えて出力する。従って、これにより後段の回路における欠陥画素はすべて階調０となる。また、図５において、（Ｈ）はラインバッファ、（Ｄ）はＤ−ＦＦである。これらラインバッファ（Ｈ）およびＤ−ＦＦ（Ｄ）には、それぞれＣＬＫ端子(未図示)がつけられており、１ＣＬＫごとに画像信号を転送する。
【００３６】
そして、ＣＬＫに同期して１画素ずつ入力される画像信号について１〜４回ラインバッファ（Ｈ）を通すことによって、画素信号Ａ１に対して１〜４ライン遅延した画素信号Ｂ１、Ｃ１、Ｄ１、Ｅ１を生成する。また、これら画素信号Ａ１、Ｂ１、Ｃ１、Ｄ１、Ｅ１について複数回Ｄ−ＦＦ（Ｄ）を通すことで、画像信号に対して４ライン＋８ＣＬＫまで遅延したＡ１〜Ａ９、Ｂ１〜Ｂ９、Ｃ１〜Ｃ９、Ｄ１〜Ｄ９、Ｅ１〜Ｅ９の画素信号を生成する。こうすることで、同一時間帯で５×９の画素範囲の任意の画像信号を参照することができ、Ａｉ、Ｂｉ、Ｃｉ、Ｄｉ、Ｅｉ（ｉ＝１〜９）について各画素信号のレベルを観測できる。
【００３７】
図６は、欠陥補償回路５３における欠陥画素の補正を行う回路のブロック図である。図面中の符号Ｃ５、Ａ５、Ｃ３、Ｃ７、Ｅ５、Ｃ１、Ｃ９は、図５に示す５×９の画素範囲中の画素信号を表している。このうちの画素信号Ｃ５は、直接出力選択部５３１に入力されている。また、画素信号Ａ５、Ｃ３、Ｃ７、Ｅ５は、加算器５３２に入力され、この加算器５３２の和出力は、１／２乗算器５３３を介して補正信号Ａとして出力選択部５３１に入力され、また、加算器５３２の出力は、補正信号Ｂとして直接出力選択部５３１に入力される。さらに、画素信号Ｃ１、Ｃ９は、加算器５３４に入力され、この加算器５３４の和出力は１／２乗算器５３５を介して補正信号Ｃとして出力選択部５３１に入力される。これにより、画素信号Ｃ５が中心画素に対応するものとすると、補正信号Ａは、図７（ａ）に示すように上下左右同色の４画素の画素信号Ａ５、Ｃ３、Ｃ７、Ｅ５の信号レベルの和に１/２を乗じた値と等しく、補正信号Ｂは、図７（ｂ）に示すように上下左右同色の４画素の画素信号Ａ５、Ｃ３、Ｃ７、Ｅ５の信号レベルを加算した値に等しく、さらに補正信号Ｃは、図７（ｃ）に示すように左右４画素間隔離れた位置にある同色の２画素の画素信号Ｃ１、Ｃ９の信号レベルの和に１/２を乗じた値に等しくなる。
【００３８】
出力選択部５３１には、画像処理部４のＣＰＵ４５を通して入力される変位位置信号Ｘと欠陥アドレス検出部５２から入力される欠陥検出信号Ｙが与えられている。出力選択部５３１は、欠陥検出信号Ｙが与えられないときは、画素信号Ｃ５をそのまま出力する。また、欠陥検出信号Ｙが与えられると、このとき入力される変位位置信号Ｘの種類に応じて、補正信号Ａ、Ｂ、Ｃのいずれかにより画素補正処理を行う。つまり、出力選択部５３１は、図８に示すテーブルが用意されていて、変位位置信号Ｘが図３に示す画素ずらし位置▲１▼,▲３▼,▲７▼,▲９▼に相当するものである場合は補正信号Ａ、画素ずらし位置▲２▼,▲４▼,▲６▼,▲８▼に相当するものである場合は補正信号Ｂ、画素ずらし位置▲５▼に相当するものである場合は補正信号Ｃをそれぞれ選択し、これら補正信号Ａ、Ｂ、Ｃにより欠陥画素の補正処理を行う。
【００３９】
次に、このような欠陥補償回路５３による欠陥画素補正をさらに詳細に説明する。図９（ａ）（ｂ）（ｃ）は、図４で述べた画素ずらし後の画素をそれぞれＲ、Ｂ、Ｇの色別に抜き出したものである。ここで、図９（ｂ）に示すＢ（青）の画素に着目すると、ある１画素に欠陥があった場合、図３で述べた画素ずらしによって、図１０中の斜線部分で示す９個所の画素Ｂ（青）に欠陥が含まれることになる。
【００４０】
図１１は、従来用いられている欠陥画素補正方法を示したものであり、この方法によれば、同図（ａ）に示すように、欠陥画素Ｂ０に対して、その位置に関係なく上下左右に隣接する同色の４画素Ｂ１〜Ｂ４によって補正する。これにより、例えば同図（ｂ）に示すように着目する画素Ｂ０が欠陥９箇所の左上である場合は、上下左右に隣接する同色の４画素Ｂ１〜Ｂ４のうち画素Ｂ３、Ｂ４が欠陥画素（図示斜線部分）として含まれ、また、同図（ｃ）に示すように着目する画素Ｂ０が欠陥９箇所の真中にある場合は、上下左右に隣接する同色の４画素Ｂ１〜Ｂ４の全てが欠陥画素（図示斜線部分）となる。このため、これらの方法で欠陥画素補正処理を実行すると、欠陥位置により処理結果に相違が生じ、一様な効果を期待することが困難となる。
【００４１】
これに対して、本発明においては、変位位置信号Ｘが図３に示す画素ずらし位置▲１▼,▲３▼,▲７▼,▲９▼に相当する場合は、図１０に示すように同色の隣接４画素中２画素に(出力階調が０の)欠陥画素（斜線部分で示す）が含まれるため、補正信号Ａ（補正値）は正常な同色隣接２画素の平均値と等しくなる。例えば、画素ずらし位置▲１▼では、図７（ａ）に示す上下左右同色の４画素の画素信号Ａ５、Ｃ３、Ｃ７、Ｅ５のうち画素信号Ｃ７、Ｅ５が欠陥画素となって出力階調が０となるので、補正信号Ａ（補正値）は、正常な同色隣接２画素の画素信号Ａ５、Ｃ３の平均値として求められる。画素ずらし位置▲３▼,▲７▼,▲９▼についても同様で、補正信号Ａ（補正値）は、正常な同色隣接２画素の平均値として求められる。
【００４２】
また、変位位置信号Ｘが図３に示す画素ずらし位置▲２▼,▲４▼,▲６▼,▲８▼に相当する場合は、図１０に示すように同色の隣接４画素中３画素に(出力階調が０の)欠陥画素（斜線部分で示す）が含まれるため、補正信号Ｂ（補正値）は、正常な同色隣接１画素の値と等しくなる。例えば、画素ずらし位置▲２▼では、図７（ｂ）に示す上下左右同色の４画素の画素信号Ａ５、Ｃ３、Ｃ７、Ｅ５のうち画素信号Ｃ３、Ｃ７、Ｅ５が欠陥画素となって出力階調が０となるので、補正信号Ｂ（補正値）は、正常な同色隣接１画素の画素信号Ａ５の値として求められる。画素ずらし位置▲４▼,▲６▼,▲８▼についても同様で、補正信号Ｂ（補正値）は、正常な同色隣接１画素の値として求められる。
【００４３】
さらに、変位位置信号Ｘが図３に示す画素ずらし位置▲５▼に相当する場合は、図１０に示すように同色の隣接４画素すべてが(出力階調が０の)欠陥画素（斜線部分で示す）であるため、補正信号Ｃ（補正値）は、最も近傍の正常な同色２画素の平均値と等しくなる。例えば、画素ずらし位置▲５▼では、図７（ｃ）に示す上下左右同色の４画素の画素信号Ａ５、Ｃ３、Ｃ７、Ｅ５すべてが欠陥画素となって出力階調が０となるので、補正信号Ｃ（補正値）は、最も近傍の正常な同色２画素の画素信号Ｃ１、Ｃ９の平均値として求められる。
【００４４】
その後、これら画素ずらし位置に応じて異なる補正信号Ａ、Ｂ、Ｃを用いて欠陥画素の補正を行うようにすれば、いずれの変位位置においても、それぞれの欠陥画素を同色の画素信号により一様に補正することができる。
【００４５】
従って、このようにすれば、画素ずらし位置に応じて欠陥画素の補正処理を異ならすことによって、より正確な欠陥画素補正を行うことができる。また、画素ずらしの幅も１画素以内と小さいため、撮像素子の変位による誤差も小さくでき、変位誤差による画像劣化も同時に抑制することができる。
【００４６】
なお、本実施の形態においては、上下左右同色の画素信号がすべて欠陥画素の場合、補正値を左右近傍の正常な同色画素によって求めたが、ラインバッファの数を増やした場合、上下近傍の正常な同色画素によって求めることも可能である。また、ラインバッファと同時に遅延素子（Ｄ−ＦＦ）の個数も可変とすることで、任意の位置の画像信号をもとにした補正値を求めることができる。
【００４７】
（第２の実施の形態）
次に、本発明の第２の実施の形態について説明する。
【００４８】
この第２の実施の形態の特徴は、色フィルタを有し、各色毎に欠陥画素補正方法を変えることにある。
【００４９】
図１２は、本発明の第２の実施の形態の概略構成を示すもので、図２と同一部分には、同符号を付している。
【００５０】
この場合、撮像素子２には、色の判別情報を取得するための色フィルタ６がアレイ状に設けられている。その他は、図２と同様である。
【００５１】
このような構成において、色フィルタ６を通って撮像素子２に結像された被写体像は、撮像素子２によって光電変換された後、画像処理部４に入力される。この場合、撮像素子２は、圧電素子ドライバ３２により駆動される圧電素子３１により垂直、水平方向に各々３個所、計９箇所に画素ずらしが行われており、これら変位位置毎の画像信号が色の判別情報とともに画像処理部４に入力される。
【００５２】
画像処理部４では、撮像素子２から入力される画像信号によって１枚の画として合成した後、画像信号、画像信号の変位位置信号、各画素のアドレス(位置情報)および色判別の情報を欠陥補償回路５３に出力する。
【００５３】
欠陥補償回路５３は、図５で述べた回路構成により、画像信号に対して４ライン＋８ＣＬＫまで遅延したＡ１〜Ａ９、Ｂ１〜Ｂ９、Ｃ１〜Ｃ９、Ｄ１〜Ｄ９、Ｅ１〜Ｅ９の画素信号を生成する。
【００５４】
図１３は、欠陥補償回路５３における欠陥画素の補正を行う回路のブロック図である。図面中の符号Ｃ５、Ａ５、Ｃ３、Ｃ７、Ｅ５、Ｃ１、Ｃ９、Ｂ４、Ｂ６、Ｄ４、Ｄ６は、図５に示す５×９画素範囲の中の画素信号を表している。このうちの画素信号Ｃ５、Ａ５、Ｃ３、Ｃ７、Ｅ５、Ｃ１、Ｃ９に対しては、図６で述べたと同様な補正信号Ａ、Ｂ、Ｃを生成するための回路が構成されている。また、画素信号Ｂ４、Ｂ６、Ｄ４、Ｄ６は、加算器５３６に入力され、この加算器５３６の和出力は１／４乗算器５３７を介して補正信号Ｄとして出力選択部５３１に入力される。これにより、画素信号Ｃ５が中心画素に対応するものとすると、補正信号Ｄは、図１４に示すように左右斜め上下同色の４画素の画素信号Ｂ４、Ｂ６、Ｄ４、Ｄ６の信号レベルの和に１／４を乗じた値に等しくなる。
【００５５】
また、出力選択部５３１は、画像処理部４から入力される変位位置信号Ｘと欠陥アドレス検出部５２から入力される欠陥検出信号Ｙの他に、さらに画像処理部４から入力される色判別信号Ｚが与えられている。出力選択部５３１は、欠陥検出信号Ｙが与えられないときは、画素信号Ｃ５をそのまま出力する。また、欠陥検出信号Ｙが与えられると、このとき入力される変位位置信号Ｘと色判別信号Ｚの種類に応じて、補正信号Ａ、Ｂ、Ｃ、Ｄのいずれかにより画素補正処理を行う。つまり、出力選択部５３１は、図１５に示すテーブルが用意されていて、色判別信号ＺがＲ(赤)あるいはＢ(青)のときは、変位位置信号Ｘが、図３に示す画素ずらし位置▲１▼,▲３▼,▲７▼,▲９▼に相当するものである場合は補正信号Ａ、画素ずらし位置▲２▼,▲４▼,▲６▼,▲８▼に相当するものである場合は補正信号Ｂ、画素ずらし位置▲５▼に相当するものである場合は補正信号Ｃをそれぞれ選択し、さらに、色判別信号ＺがＧ（緑）のときは、補正信号Ｄを選択し、これら補正信号Ａ、Ｂ、Ｃ、Ｄにより欠陥画素の補正処理を行う。
【００５６】
この場合、色判別信号ＺがＲ(赤)あるいはＢ(青)のときの欠陥画素の補正処理方法は、第１の実施の形態と同様になる。すなわち、変位位置信号Ｘが図３に示す画素ずらし位置▲１▼,▲３▼,▲７▼,▲９▼に相当する場合は、図１０に示すように同色の隣接４画素中２画素に(出力階調が０の)欠陥画素（斜線部分で示す）が含まれるため、補正信号Ａ（補正値）は正常な同色隣接２画素の平均値として求められる。また、変位位置信号Ｘが図３に示す画素ずらし位置▲２▼,▲４▼,▲６▼,▲８▼に相当する場合は、図１０に示すように同色の隣接４画素中３画素に(出力階調が０の)欠陥画素（斜線部分で示す）が含まれるため、補正信号Ｂ（補正値）は、正常な同色隣接１画素の値として求められる。さらに、変位位置信号Ｘが図３に示す画素ずらし位置▲５▼に相当する場合は、図１０に示すように同色の隣接４画素すべてが(出力階調が０の)欠陥画素（斜線部分で示す）であるため、補正信号Ｃ（補正値）は、最も近傍の正常な同色２画素の平均値として求められる。
【００５７】
一方、色判別信号ＺがＧ(緑)の場合の欠陥画素の補正方法は、第１の実施の形態と異なる。図９は、図４で述べた画素ずらし後の画素をそれぞれＲ、Ｂ、Ｇの色別に抜き出したものであるが、このうちの図９（ｃ）に示すＧの画素に着目すると、同図（ａ）（ｂ）に示すＲやＢの画素と比較して画素数が多く、画素ずらし後のＧの同色の画素は斜めに隣接する位置に存在する。
【００５８】
そこで、色判別信号ＺがＧ(緑)の場合は、変位位置信号Ｘに関係なく、補正信号Ｄを、図１４に示すように左右斜め上下同色の４画素の画素信号Ｂ４、Ｂ６、Ｄ４、Ｄ６の信号レベルの和に１／４を乗じた値として求め、この補正信号Ｄを用いて欠陥画素の補正処理を行う。
【００５９】
従って、このようにすれば、２/３画素間隔で９箇所に変位する画素ずらし方式においては、Ｇ（緑）の欠陥画素については、正常な同色隣接画素で補正することができるので、画像の解像度に大きく影響するＧ（緑）の欠陥画素に対して正確な補正を実現でき、画像解像度の低下を抑止することができる。
【００６０】
（第３の実施の形態）
次に、本発明の第３の実施の形態について説明する。
【００６１】
この第３の実施の形態の特徴は、画像処理部から出力される画素ずらし後の画像のアドレスを変換することによって画像データを分割し、分割した画像信号毎に順次欠陥画素の補正を行うことにある。
【００６２】
図１６は、本発明の第３の実施の形態の概略構成を示すもので、図２と同一部分には、同符号を付している。
【００６３】
この場合、欠陥画素補正部５は、位置情報変換手段としてのアドレス変換部５４が設けられている。このアドレス変換部５４は、ＣＰＵ４５とデータの送受信を行いつつ欠陥ＲＯＭ４４に格納されたテーブルに基づいて画素ずらし後の画像信号アドレスと欠陥画素アドレスを変換することで画像信号を複数に分割し、これら分割した画像信号とアドレスを順次欠陥補償回路５３に出力するようになっている。その他は、図２と同様である。
【００６４】
このような構成において、レンズ１を通って撮像素子２に結像された被写体像は、撮像素子２によって光電変換され、さらに圧電素子３１により垂直、水平方向に各々３個所、計９箇所に画素ずらしが行われた後、画像処理部４に入力される。そして、画像処理部４において第１の実施の形態で述べたと同様な手順で１枚の画像を合成した後、画像信号、画像信号の変位位置信号、各画素のアドレス(位置情報)をアドレス変換部５４に出力する。
【００６５】
アドレス変換部５４では、ＣＰＵ４５とデータの送受信を行いつつ欠陥ＲＯＭ４４に格納された各種のテーブルにしたがって画素ずらし後の画像信号アドレスと欠陥画素アドレスを変更して、複数の画像信号に分割し、これら分割した画像信号とアドレスを順次欠陥補償回路５３に出力する。欠陥補償回路５３は、アドレス変換部５４から入力された分割された画像信号とそのアドレスに基づいて第１の実施の形態で述べたと同様な手順で欠陥画素の補正を行い、その結果を出力する。
【００６６】
ここで、アドレス変換部５４におけるアドレス変換の手順を詳細に説明する。図１７は、画素ずらし後の垂直方向２Ｙａ×平行方向２Ｘａの画素数を有する画像であり、アドレスは(０〜２Ｘａ、０〜２Ｙａ)に割り当てられている。
【００６７】
まず、この画像信号を図１８に示すように高さＸａ、幅Ｙａの画像に４分割する場合について述べる。
【００６８】
図２０は、アドレス変換の処理手順を表したフローチャートを示すもので、最初に、ステップ２０１で、入力された画素の位置（ｘ，ｙ）が、分割した４つの領域のいずれに属するかを図２２に示すテーブルに基づいて判断する。ここで、例えば、ｘ＜Ｘａ、ｙ＜Ｙａであるならば、画素位置は、領域▲１▼に存在すると判断する。次に、ステップ２０２で、図２３に示すテーブルに基づいて各領域ごとに画像信号を変換する。すなわち、画素が領域▲１▼にあると判断したときは、アドレスを変換せずにそのまま出力する。また、画素が領域▲２▼にあると判断したときは、水平方向のアドレスｘは変えず垂直方向のアドレスｙをy'＝y−Ｙａに変換する。領域▲３▼▲４▼の場合も同様の方法で変換する。
【００６９】
例えば、（Ｘａ,Ｙａ）＝(１０００,１０００)のとき、画素（ｘ,ｙ）＝(１２００,１５００)のアドレスはＸａ＜１２００、Ｙａ＜１５００であるから領域▲４▼にあると判断され、アドレスは、(１２００−１０００,１５００−１０００)＝（２００,５００）に変換する。
【００７０】
このようにして画像信号のアドレスは、上述した処理の実行によって図１９に示すように各分割領域の左端上を（０,０）とした水平方向画素数Ｘａ、垂直方向画素数Ｙａの領域のアドレスに変換される。
【００７１】
次に、分割した画像信号に対して欠陥補正を行うために、欠陥画素アドレスを変換する手順について述べる。
【００７２】
この場合、欠陥画素は、撮像素子２毎に固有に存在するものであり、欠陥画素アドレスは画素ずらし前の位置情報として表されている。したがって、画素ずらし後の画像に対して欠陥画素補正処理を行うためには、欠陥画素アドレスも変換する必要がある。
【００７３】
ここで撮像素子２の画素数が水平、垂直方向にそれぞれ２Ｘａ',２Ｙａ'であるとする。
【００７４】
図２１は、欠陥ＲＯＭ４４に格納された欠陥画素アドレスを変換する処理手順を表したフローチャートを示すもので、まず、ステップ２１１で、欠陥画素（ｘ，ｙ）が画像全体の分割したどの領域に存在するかを判断する。次に、ステップ２１２で、テーブルに基づいた領域ごとのアドレス変換を行う。この領域ごとにアドレス変換するまでの処理手順は、Ｘａ→Ｘａ'、Ｙａ→Ｙａ'と置き換えることで、上述した画像信号のアドレス変換の場合と同様である。
【００７５】
次に、ステップ２１３で、画素ずらしに対応させる処理を行う。この場合、上述した実施の形態と同様に９点に画素ずらしを行うとき、解像度(画素数)が水平、垂直方向にそれぞれ３倍になるため、図２４に示すテーブルの変換式に基づいてすべての領域▲１▼〜▲４▼のアドレスを３倍した値にする。
【００７６】
そして、ステップ２１４で、画素ずらし位置に対応するアドレスを付加する。この場合、欠陥画素についても、図３に示したように２/３画素ずつ９点に変位すると、これら位置のすべてが欠陥画素となるため、図２５に示すテーブルのアドレス変換式に、図２６に示すテーブルの画素ずらし位置▲２▼〜▲９▼のΔ、Φを代入し、これら算出された８つのアドレスを欠陥画素アドレスとして新たに加え、欠陥画素補正部５のＲＡＭ５１に格納する。
【００７７】
このようにした一連の処理を通して、画素ずらし後の画像も幅Ｘａ,高さＹａの領域に４分割され、画像信号、欠陥画素アドレスともに０〜Ｘａ,０〜Ｙａの範囲に変換される。すなわち、１ライン、１フレームの幅が、それぞれＸａ,Ｙａに置換される。
【００７８】
そして、これらアドレス変換された画像信号と欠陥画素アドレスは、順次欠陥補償回路５３に入力されるが、この場合、欠陥補償回路５３には、幅２Ｘａ,高さ２Ｙａの画像信号が一度に入力されるのではなく、変換されたアドレス０〜Ｘａ,０〜Ｙａの画像信号が順次４回に分けて入力される。
【００７９】
従って、このようにすれば、図５に示す欠陥補償回路５３中のラインバッファ（Ｈ）は、画像信号を分割したことで、１ライン幅を小さくできるので、少ない容量のものを使用しても同等な処理を行うことができる。つまり、本実施の形態によれば、画素ずらし後の高解像度の画像信号を分割し、分割した各画像毎に順次画像欠陥補償処理を行うことで、画素ずらし前の欠陥情報から、画素ずらし後の画素欠陥補正処理を低容量のメモリで実現することができる。
【００８０】
なお、この実施の形態では、２/３画素変位の９点画素ずらしに適応した例を述べたが、画素ずらしの変位量、回数の異なる画素ずらし機構を有する撮像装置に適用することも可能である。また、画像信号の分割数も、任意に変更することもできる。
【００８１】
（第４の実施の形態）
次に、本発明の第４実施例について説明する。
【００８２】
この第４の実施の形態の特徴は、撮像装置を顕微鏡に取り付け、暗電流の大きい画素を検出して補正を行うことにある。
【００８３】
図２７は、本発明の第４の実施の形態の概略構成を示すもので、図２と同一部分には、同符号を付している。
【００８４】
この場合、本発明の撮像装置１００には、顕微鏡２００が接続されている。顕微鏡２００は、被写体となる試料１１がステージ１２上に載置されている。試料１１には、ステージ１２の下方に配置されたハロゲンランプ等の光源１３から発せられる光が照明光学系１４、コンデンサレンズ１５を通って照射される。
【００８５】
試料１１を透過、散乱した光による像は、対物レンズ１６によって拡大され、投影レンズ１７によって撮像素子２の撮像面に投射される。
【００８６】
撮像素子２の撮像面の前面には、遮光手段としてのシャッター１８が配置されている。シャッター１８には、シャッタードライバ１９が接続されている。このシャッタードライバ１９は、ＣＰＵ４５から送信される信号に応じて駆動され、シャッター１８を開閉させる。
【００８７】
撮像素子２は、圧電素子ドライバ３２により駆動される圧電素子３１により周期的に垂直、水平方向に各々３個所、計９箇所に画素ずらしを行い、これら変位位置での被写体像の画像信号を出力する。
【００８８】
撮像素子２より出力される画像信号は、Ａ／Ｄ変換器４２でデジタル画像信号に変換され、メモリ４３に入力される。また、Ａ／Ｄ変換器４２の出力信号（デジタル画像信号）は、欠陥画素検出手段としての欠陥画素検出回路２０にも入力される。
【００８９】
欠陥画素検出回路２０は、あらかじめ所定レベル(ＴＨ)の輝度が設定されていて、この所定レベル(ＴＨ)を超えるレベルの暗電流を検出すると、その画素位置(アドレス)をＣＰＵ４５を介して欠陥画素補正部５のＲＡＭ５１に格納させるようにしている。
【００９０】
その他は、図２と同様である。
【００９１】
このような構成において、いま、観察者が撮像装置１００の電源をオンすると、ＣＰＵ４５は、シャッター１８を閉じた状態で、固体撮像素子ドライバ４１と圧電素子ドライバ３２に信号を送信し、撮像素子２を変位させて垂直、水平方向に各々３個所、計９箇所に画素ずらしを行い、これら変位位置での被写体像の画像信号をＡ／Ｄ変換器４２に入力する。
【００９２】
Ａ／Ｄ変換器４２では、入力された画像信号をデジタル信号に変換したのち、図２８に示すように撮像素子２の全画素領域の各画素位置（１）（２）…毎の輝度信号として欠陥画素検出回路２０に入力する。この時のＡ／Ｄ変換器４２の出力信号は、シャッター１８が閉じ状態にあって撮像素子２から出力されるもので、撮像素子２の暗電流レベルである。
【００９３】
欠陥画素検出回路２０は、図２８に示すように、あらかじめ所定レベル(ＴＨ)の輝度が設定されていて、この所定レベル(ＴＨ)を超えるような輝度レベルの暗電流を検出すると、その画素位置(アドレス)をＣＰＵ４５を介して欠陥画素補正部５のＲＡＭ５１に格納する。この場合、図２８では、画素位置（２）（３）（７）（１０）…での暗電流の輝度レベルが所定レベル(ＴＨ)を超えており、これらの画素位置(アドレス)がＣＰＵ４５を介して欠陥画素補正部５のＲＡＭ５１に格納される。
【００９４】
このようにして、欠陥画素検出回路２０において、撮像素子２の全画素領域の画像信号（暗電流）について輝度レベルの検出が行われる。その後、ＣＰＵ４５は、欠陥ＲＯＭ４４にあらかじめ格納された欠陥画素アドレスもＲＡＭ５１に格納する。
【００９５】
また、ＣＰＵ４５は、シャッタードライバ１９に信号を送信し、シャッター１８を開ける。シャッター１８を開けると、この直後から、撮像素子２には顕微鏡２００からの試料１１の像が投影される。
【００９６】
また、ＣＰＵ４５より固体撮像素子ドライバ４１と圧電素子ドライバ３２に信号を送信し、撮像素子２を変位させて垂直、水平方向に各々３個所、計９箇所に画素ずらしを行い、これら変位位置での画像信号をＡ／Ｄ変換器４２を介してデジタル化した後、メモリ４３に格納する。
【００９７】
この状態では、ＣＰＵ４５は、欠陥画素検出回路２０を作動させない。
【００９８】
欠陥アドレス検出部５２では、メモリ４３から出力される画像信号のアドレスとＲＡＭ５１に格納されたアドレスを比較し、一致したときに検出信号を欠陥補償回路５３に送信する。欠陥補償回路５３は、欠陥アドレス検出部５２の検出信号を受信したとき、補正処理を行った画像信号を出力し、検出信号を受信しないときは、メモリ４３から入力された画像信号をそのまま出力する。ここでの欠陥補償回路５３における補正処理は、上述した第１の実施の形態と同様である。
【００９９】
この場合、ＲＡＭ５１には欠陥ＲＯＭ４４にあらかじめ格納された欠陥画素だけでなく、欠陥画素検出回路２０によって暗電流が所定レベルより大きいと判断された画素のアドレスも格納されている。
【０１００】
これにより、欠陥補償回路５３での補正処理は、欠陥画素だけでなく暗ノイズの目立つ画素についても行われるようになるため、顕微鏡２００において、蛍光観察などの暗い試料１１に対して撮影を行うような場合に、画像のノイズを大幅に減少させることができる。
【０１０１】
なお、本実施例においては、電源をオンした時に暗電流の大きい画素を検出したが、検出条件を可変とし、撮像中も所定の時間毎に補正対象画素を検出してＲＡＭ５１に格納されたアドレスを書き換えるようにすれば、時間変化する暗電流だけでなく挨等の移動する画像ノイズに対しても補正を行うことができる。また、撮像素子２への遮光手段はシャッター１８に限らず、光源１３自身のオン／オフ制御、光学フィルターなどの挿入によっても実現できる。さらに、欠陥画素は、あらかじめ欠陥ＲＯＭ４４にその位置情報を格納せずに、欠陥画素検出回路２０に欠陥画素の検出条件を与えることにより、撮像中に検出することも可能である。このとき、撮像素子２に固有の欠陥画素に対して欠陥ＲＯＭ４４の中身を変更する必要がなくなり、経年変化する欠陥画素に対しても正しく補正することが可能になる。
【０１０２】
その他、本発明は、上記実施の形態に限定されるものでなく、実施段階では、その要旨を変更しない範囲で種々変形することが可能である。
【０１０３】
さらに、上記実施の形態には、種々の段階の発明が含まれており、開示されている複数の構成要件における適宜な組み合わせにより種々の発明が抽出できる。例えば、実施の形態に示されている全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題を解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出できる。
【０１０４】
【発明の効果】
以上述べたように本発明によれば、隣接画素による欠陥画素補正をより正確に行い、撮像素子の変位による誤差を小さくして画像劣化を抑えることのできる撮像装置および方法を提供できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の撮像装置の概略構成を示す図。
【図２】第１の実施の形態の撮像装置をさらに詳細に説明する概略構成を示す図。
【図３】第１の実施の形態の画素ずらし方法による画素の変位状態を示す図。
【図４】第１の実施の形態での画素ずらし前後の画素の色配列を表した図。
【図５】第１の実施の形態の欠陥画素補償回路の概略構成を示す図。
【図６】第１の実施の形態の欠陥補償回路における欠陥画素の補間を行う回路のブロック図。
【図７】第１の実施の形態の欠陥画素の画素ずらし位置別の欠陥補正方法を説明するための図。
【図８】第１の実施の形態の出力選択部に用意されたテーブルを示す図。
【図９】第１の実施の形態の画素ずらし後の画素をそれぞれＲ、Ｂ、Ｇの色別に抜き出した場合の画素配置を示す図。
【図１０】第１の実施の形態の画素ずらし後の欠陥画素の配置例を示す図。
【図１１】第１の実施の形態の比較例としての従来用いられている欠陥画素補正方法を説明するための図。
【図１２】本発明の第２の実施の形態の概略構成を示す図。
【図１３】第２の実施の形態の欠陥補償回路における欠陥画素の補正を行う回路のブロック図。
【図１４】第２の実施の形態の欠陥画素補正方法を説明するための図。
【図１５】第２の実施の形態の出力選択部に用意されたテーブルを示す図。
【図１６】本発明の第３の実施の形態の概略構成を示す図。
【図１７】第３の実施の形態のアドレス変換部におけるアドレス変換の手順を説明するための図。
【図１８】第３の実施の形態のアドレス変換部におけるアドレス変換の手順を説明するための図。
【図１９】第３の実施の形態のアドレス変換部におけるアドレス変換の手順を説明するための図。
【図２０】第３の実施の形態のアドレス変換部におけるアドレス変換の手順を説明するためのフローチャート。
【図２１】第３の実施の形態のアドレス変換部におけるアドレス変換の手順を説明するためのフローチャート。
【図２２】第３の実施の形態の欠陥ＲＯＭに格納されたテーブル例を示す図。
【図２３】第３の実施の形態の欠陥ＲＯＭに格納されたテーブル例を示す図。
【図２４】第３の実施の形態の欠陥ＲＯＭに格納されたテーブル例を示す図。
【図２５】第３の実施の形態の欠陥ＲＯＭに格納されたテーブル例を示す図。
【図２６】第３の実施の形態の欠陥ＲＯＭに格納されたテーブル例を示す図。
【図２７】本発明の第４の実施の形態の概略構成を示す図。
【図２８】第４の実施の形態の欠陥画素検出回路に設定された所定レベル(ＴＨ)と画像信号の輝度レベルの関係を説明する図。
【符号の説明】
１…レンズ
２…撮像素子
３…変位手段
３１…圧電素子
３２…圧電素子ドライバ
４…画像処理部
４１…固体撮像素子ドライバ
４２…Ａ／Ｄ変換器
４３…メモリ
４４…欠陥ＲＯＭ
４５…ＣＰＵ
５…欠陥画素補正部
６…色フィルタ
１１…試料
１２…ステージ
１３…光源
１４…照明光学系
１５…コンデンサレンズ
１６…対物レンズ
１７…投影レンズ
１８…シャッター
１９…シャッタードライバ
２０…欠陥画素検出回路
５１…ＲＡＭ
５２…欠陥アドレス検出部
５３…欠陥補償回路
５３１…出力選択部
５３２、５３４、５３６…加算器
５３３、５３５、５３７…乗算器
５４…アドレス変換部
１００…撮像装置
２００…顕微鏡
【図１】
0004276817.tif 000002
【図２】
0004276817.tif 000003
【図３】
0004276817.tif 000004
【図４】
0004276817.tif 000005
【図５】
0004276817.tif 000006
【図６】
0004276817.tif 000007
【図７】
0004276817.tif 000008
【図８】
0004276817.tif 000009
【図９】
0004276817.tif 000010
【図１０】
0004276817.tif 000011
【図１１】
0004276817.tif 000012
【図１２】
0004276817.tif 000013
【図１３】
0004276817.tif 000014
【図１４】
0004276817.tif 000015
【図１５】
0004276817.tif 000016
【図１６】
0004276817.tif 000017
【図１７】
0004276817.tif 000018
【図１８】
0004276817.tif 000019
【図１９】
0004276817.tif 000020
【図２０】
0004276817.tif 000021
【図２１】
0004276817.tif 000022
【図２２】
0004276817.tif 000023
【図２３】
0004276817.tif 000024
【図２４】
0004276817.tif 000025
【図２５】
0004276817.tif 000026
【図２６】
0004276817.tif 000027
【図２７】
0004276817.tif 000028
【図２８】
0004276817.tif 000029