(57)【特許請求の範囲】
【請求項１】
互いに隣接して配置され、それぞれが受光した光の強度に応じた信号を出力する複数の画素と、
前記複数の画素のそれぞれに対して所定の複数個設けられた記憶素子であって、前記複数の画素のそれぞれから出力される信号が順に保持される記憶素子と
を有する固体撮像素子において、前記複数の画素にそれぞれ対応する前記複数個の記憶素子の一部又は全部から読み出された信号を処理する方法であって、
前記記憶素子から読み出された信号の中から予め決められた条件に適合しない不適合信号を特定し、
前記不適合信号が読み出された記憶素子に対応する画素において前記不適合信号と隣接する時間に取得された信号に基づいて正常な信号を推定する
ことを特徴とする固体撮像素子の信号処理方法。
【請求項２】
さらに、
前記不適合信号が読み出された記憶素子に対応する画素に隣接して配置された画素について、該不適合信号と同じ時間に取得された信号と、該不適合信号と隣接する時間に取得された信号との間の相関度を求め、
前記相関度が予め決められた値よりも小さい場合に、前記不適合信号が読み出された記憶素子に対応する画素に隣接して配置された画素において該不適合信号と対応する時間に取得された信号に基づいて前記正常な信号を推定する
ことを特徴とする請求項１に記載の固体撮像素子の信号処理方法。
【請求項３】
前記相関度を用いて、前記不適合信号が読み出された記憶素子に対応する画素に隣接して配置された画素において該不適合信号と対応する時間に取得された信号を用いる処理と、前記不適合信号が読み出された記憶素子に対応する画素において前記不適合信号と隣接する時間に取得された信号を用いる処理に重み付けを加え、それら両方の処理を行って正常な信号を推定する
ことを特徴とする請求項２に記載の固体撮像素子の信号処理方法。
【請求項４】
互いに隣接して配置され、それぞれが受光した光の強度に応じた信号を出力する複数の画素と、
前記複数の画素のそれぞれに対して所定の複数個設けられた記憶素子であって、前記複数の画素のそれぞれから出力される信号が順に保持される記憶素子と
を有する固体撮像素子において、前記複数の画素にそれぞれ対応する前記複数個の記憶素子の一部又は全部から読み出された信号を処理する装置であって、
前記記憶素子から読み出された信号の中から予め決められた条件に適合しない不適合信号を特定する不適合信号特定部と、
前記不適合信号が読み出された記憶素子に対応する画素において前記不適合信号と隣接する時間に取得された信号に基づいて正常な信号を推定する信号推定部と、
を備えることを特徴とする信号処理装置。
【請求項５】
さらに、
前記不適合信号が読み出された記憶素子に対応する画素に隣接して配置された画素について、該不適合信号と同じ時間に取得された信号と、該不適合信号と隣接する時間に取得された信号との間の相関度を求める相関度算出部
を備え、
前記信号推定部が、前記相関度が予め決められた値よりも小さい場合に、前記不適合信号が読み出された記憶素子に対応する画素に隣接して配置された画素において該不適合信号と対応する時間に取得された信号に基づいて前記正常な信号を推定する
ことを特徴とする請求項４に記載の固体撮像素子の信号処理装置。
【請求項６】
前記相関度を用いて、前記不適合信号が読み出された記憶素子に対応する画素に隣接して配置された画素において該不適合信号と対応する時間に取得された信号を用いる処理と、前記不適合信号が読み出された記憶素子に対応する画素において前記不適合信号と隣接する時間に取得された信号を用いる処理に重み付けを加え、それら両方の処理を行って正常な信号を推定する
ことを特徴とする請求項５に記載の信号処理装置。
【請求項７】
それぞれが受光した光の強度に応じた信号を出力する１乃至複数の画素と、
前記１乃至複数の画素のそれぞれに対して所定の複数個設けられた記憶素子と
を有する固体撮像素子の駆動方法であって、
前記１乃至複数の画素のそれぞれに対応する前記所定の複数個の記憶素子の中から予め決められた条件に適合しない不適合記憶素子を特定し、
前記１乃至複数の画素のそれぞれについて、当該画素に対応付けられた所定の複数個の記憶素子の中から前記不適合記憶素子を除いた正常記憶素子を用いて当該画素から出力される信号を順に保持する
ことを特徴とする固体撮像素子の駆動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は固体撮像素子の信号処理方法及び駆動方法に関する。特に、短時間のうちに高速で起こる現象を撮影するために好適に用いられる固体撮像素子の信号処理方法及び駆動方法に関する。
【背景技術】
【０００２】
爆発、破壊、燃焼、衝突、あるいは放電のように、短時間のうちに高速で起こる現象を高速で連続撮影するための高速撮影装置（高速ビデオカメラ）が従来知られている（例えば非特許文献１）。こうした装置では、100万フレーム／秒程度あるいはそれ以上の速度で連続撮影を行うため、一般的なビデオカメラやデジタルカメラなどに利用される撮像素子と異なる、特殊な構造を有する固体撮像素子が用いられる。【０００３】
本発明者らは、そのような固体撮像素子の１つを特許文献１において提案している。この固体撮像素子は、Ｎ個（例えば10万個）の画素と、Ｎ個の画素のそれぞれに対応するＭ個（例えば128個）の記憶素子を備えている。Ｎ個の画素は画素領域に集約されており、該画素領域内に２次元配列（例えば250×400個の格子状配列）されている。また、Ｎ×Ｍ個の記憶素子は、前記画素領域から空間的に分離された記憶領域に配置されている。画素領域内の各画素からは画素出力線が延設されており、スイッチングトランジスタを介して当該画素に対応するＭ個の記憶素子に接続されている。【０００４】
上記固体撮像素子では、各画素において所定のサンプリング時間、信号を蓄積させ、続いて該画素に対応するＭ個の記憶素子のうちの１つに出力信号を保持させるという動作を繰り返し行う。そして、Ｍ個の記憶素子の全てに出力信号が保持されると、最初の記憶素子に戻り、該記憶素子から順に画素信号を上書きしていく。各画素における信号の蓄積及び記憶素子への出力は全画素において一斉に行われる。撮影終了後、各記憶素子に保持された信号は固体撮像素子の外部に読み出され、Ｍ枚（例えば128フレーム）の画像が作成される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４９３１１６０号公報
【非特許文献】
【０００６】
【非特許文献１】近藤ほか５名、「高速度ビデオカメラHyperVision HPV-1の開発」、島津評論、島津評論編集部、２００５年９月３０日発行、第６２巻、第１・２号、ｐ．７９−８６
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の固体撮像素子では、通常、画素の数に比べて２桁以上多くの記憶素子が設けられ、例えば上述した例の場合、記憶素子の数は1000万個以上にもなる。通常、固体撮像素子は、素子に欠陥を生じさせる要因である塵埃の混入を防ぐためにクリーンルームにおいて製造されるが、それでも塵埃の混入を完全に防ぐことは困難である。また、素子の欠陥は配線パターンの形成不良など塵埃の混入以外の要因でも起こりうる。そのため、上述のとおり極めて多数の記憶素子を有する固体撮像素子の製造工程において、ある割合で記憶素子に不具合が生じることは避けがたい。１つの記憶素子の不具合により生じるデータの欠落は１フレーム中の１画素の信号分のみであり撮像データ全体に致命的な影響を及ぼすものではないが、画像内に信号のない領域が存在すると見た目に不自然さを感じさせてしまうという問題があった。【０００８】
本発明が解決しようとする課題は、１つの画素に対して該画素からの出力信号を保持するための複数の記憶素子が対応付けられた構成を有する固体撮像素子について、記憶素子の一部に不具合が生じた場合でも欠落のない撮像データを取得することができる固体撮像素子の信号処理方法及び駆動方法を提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために成された本発明の第１の態様は、
互いに隣接して配置され、それぞれが受光した光の強度に応じた信号を出力する複数の画素と、
前記複数の画素のそれぞれに対して所定の複数個設けられた記憶素子であって、前記複数の画素のそれぞれから出力される信号が順に保持される記憶素子と
を有する固体撮像素子において、前記複数の画素にそれぞれ対応する前記複数個の記憶素子の一部又は全部から読み出された信号を処理する方法であって、
前記記憶素子から読み出された信号の中から予め決められた条件に適合しない不適合信号を特定し、
前記不適合信号が読み出された記憶素子に対応する画素において前記不適合信号と隣接する時間に取得された信号に基づいて正常な信号を推定する
ことを特徴とする。
【００１０】
上記複数の画素の互いに隣接した配置とは、典型的には２次元的な配置（例えば格子状やハニカム状の配置）であるが、直線状、曲線状、ループ状などの１次元配置であってもよい。
上記予め決められた条件に適合しない不適合信号とは、例えば、製造工程において不具合が生じていることが判明している記憶素子等（記憶素子に接続される信号線等も含む）から読み出された信号、隣接する画素との信号の大きさの差が所定の閾値よりも大きい信号、あるいは一定以上の明度で撮影されているにもかかわらず信号値がゼロである信号（信号そのものが記憶素子に保持されていない場合を含む）などである。【００１１】
上記固体撮像素子では、複数の画素において同じタイミングで受光した光の強度に対応する信号を各画素から所定のサンプリング周期で読み出し、当該画素に対応する複数の記憶素子に順に保持させる。各画素と当該画素に対応する複数の記憶素子を結ぶ信号出力線が各画素に独立に設けられる場合には、各画素から記憶素子への信号の出力を全画素で一斉に行う。一方、１本の信号出力線を複数の画素が共有する構成の場合には、該複数の画素を順に切り替えて、当該画素に対応する記憶素子に信号を出力する。各画素に独立に信号出力線が設けられる構成では、記憶素子への信号の出力に要する時間が短いため、サンプリング周期を短くすることができる。また、複数の画素が１本の信号出力線を共有する構成では、信号出力線の本数を少なくして画素領域における受光面積の割合を大きくすることができる。【００１２】
例えば、複数の画素が格子状に２次元配置された固体撮像素子である場合に、不適合信号が読み出された記憶素子に対応する画素（対象画素）と隣接する４つまたは８つの画素（周辺画素）で不適合信号と同じタイミングで取得された信号の値を平均して正常な信号を推定する（周辺補正）。あるいは、対象画素において該不適合信号の前及び／又は後に取得された１乃至複数の信号の値を平均して正常な信号を推定する（前後補正）。あるいは、周辺補正と前後補正の両方により正常な信号を推定する。このように、本発明の第１の態様の信号処理方法を用いると、固体撮像素子の記憶素子から読み出された信号の一部に問題が生じていても、当該記憶素子から本来読み出されるべき正常な信号を推定して欠落のない撮像データを取得することができる。【００１３】
上記正常な信号を推定する際に、周辺補正を行うか、前後補正を行うか、あるいはそれら両方を行うかは、撮像する対象物の特性に応じて使用者が判断すればよい。しかし、未熟な使用者の場合、そうした判断を適切に下すことが難しい。【００１４】
そこで、上記第１の態様では、さらに、
前記不適合信号が読み出された記憶素子に対応する画素に隣接して配置された画素について、該不適合信号と同じ時間に取得された信号と、該不適合信号と隣接する時間に取得された信号との間の相関度を求め、
前記相関度が予め決められた値よりも小さい場合に、前記不適合信号が読み出された記憶素子に対応する画素に隣接して配置された画素において該不適合信号と対応する時間に取得された信号に基づいて前記正常な信号を推定する
ことが好ましい。
【００１５】
この態様では、周辺画素において不適合信号と同じ時間に取得された信号、及び不適合信号の前後に取得された信号の相関度を求める。信号の相関度は、不適合信号と、その前後に取得された信号の値の変化の大きさから求められる。例えば、求められた相関度が予め決められた閾値以上の値である場合には、動きの少ない（あるいは静止した）信号であり、求めた相関度が予め決められた閾値未満である場合には、動きの激しい信号である、と考えることができる。従って、前者の場合には前後補正によって、後者の場合には周辺補正によって、正常な信号を推定することができる。【００１６】
また、前後補正と周辺補正を組み合わせた補正処理を行うようにしてもよい。例えば、上記相関度の値に応じて前後補正と周辺補正にそれぞれ重み付けを行い、それら両方を用いて正常な信号を推定することができる。【００１７】
また、上記課題を解決するために成された本発明の第２の態様は、
それぞれが受光した光の強度に応じた信号を出力する１乃至複数の画素と、
前記１乃至複数の画素のそれぞれに対して所定の複数個設けられた記憶素子と
を有する固体撮像素子の駆動方法であって、
前記１乃至複数の画素のそれぞれに対応する前記所定の複数個の記憶素子の中から予め決められた条件に適合しない不適合記憶素子を特定し、
前記１乃至複数の画素のそれぞれについて、当該画素に対応付けられた所定の複数個の記憶素子の中から前記不適合記憶素子を除いた正常記憶素子を用いて当該画素から出力される信号を順に保持する
ことを特徴とする。【００１８】
上記不適合記憶素子とは、例えば、所定の検査において動作不良が確認されている記憶素子、前回の撮像時に正常な信号を読み出すことができなかった記憶素子、あるいは信号の書き込みや読み出しのために設けられている信号出力線に不具合がある記憶素子である。【００１９】
本発明の第２の態様では、予め決められた条件に適合しない（不具合が生じた）記憶素子を使用せず、正常な記憶素子のみを用いて複数フレーム分の信号を保持させるため、それらを順に読み出すと欠落のない正常な撮像データが得られる。【００２０】
固体撮像素子では、画素からの出力信号を保持する記憶素子をシフトレジスタによって指定することが多い。シフトレジスタは、画素を、該画素に対応する複数の記憶素子のうちの１つに選択的に接続するものであり、パルスを１つ受信する毎に画素に接続する記憶素子を順に切り替える。従って、不適合記憶素子よりも１つ前の記憶素子に画素からの出力信号を保持した後、シフトレジスタに２つのパルスを連続送信することにより、該特定された記憶素子をスキップし、正常な記憶素子のみを用いて画素からの出力信号を順に保持させることができる。
【発明の効果】
【００２１】
本発明の第１の態様である固体撮像素子の信号処理方法を用いることにより、該固体撮像素子の記憶素子から読み出された信号の一部に問題が生じていても、当該記憶素子から本来読み出されるべき正常な信号を推定して欠落のない撮像データを取得することができる。また、本発明の第２の態様である固体撮像素子の駆動方法を用いることにより、該固体撮像素子の記憶素子の一部に不具合がある場合でも欠落のない撮像データを取得することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明に係る固体撮像素子の信号処理方法及び駆動方法を実施する固体撮像素子と制御・信号処理部の一構成例。
【図２】本実施例における画素の回路構成図。
【図３】本実施例における画素と記憶ユニットの接続、及び記憶ユニット内の回路構成を示す図。
【図４】シフトレジスタに送信する駆動パルス信号の例。
【図５】実施例１における駆動パルスの送信パターンの例。
【図６】実施例１における信号処理の一例。
【図７】実施例１における信号処理の別の例。
【図８】実施例１における信号処理のさらに別の例。
【図９】実施例２の固体撮像素子及び制御・信号処理部の構成図。
【図１０】実施例２の信号処理方法のフローチャート。
【図１１】実施例２の信号処理方法を用いた計算例。
【図１２】実施例２の信号処理方法を用いた別の計算例。
【図１３】実施例２の信号処理方法を用いたさらに別の計算例。
【図１４】実施例３における固体撮像素子の駆動方法における駆動パルス信号の送信パターンの例。
【００２３】
本発明に係る固体撮像素子の信号処理方法及び駆動方法の一実施例について、以下、図面を参照して説明する。図１は、本実施例における固体撮像素子１の半導体チップ上のレイアウトを示す概略平面図、及び該固体撮像素子の撮像動作を制御するとともに信号を処理する制御・信号処理部５０の概略構成図である。【００２４】
はじめに、本実施例における固体撮像素子１の概略構成を説明する。
図１に示すように、固体撮像素子１は、複数の画素が配置された矩形状の画素領域２と、該画素領域２から空間的に分離され、複数の記憶素子が配置された矩形状の記憶領域３とを備えている。画素領域２には、10万個の画素１０が250×400個の２次元アレイ状に配置されている。また、記憶領域３にも、画素１０と同数（即ち10万個）の記憶ユニット３０が250×400個の２次元アレイ状に配置されている。さらに、各記憶ユニット３０には128個の記憶素子が配置されており、各画素１０と該画素１０に対応する後述の記憶ユニット３０内の記憶素子は画素出力線４０で接続されている。画素１０から読み出された信号は、該画素１０に対応する記憶ユニット３０内の記憶素子に順に保持される。【００２５】
記憶領域３の近傍には、垂直走査回路領域４と水平走査回路領域５が設けられている。垂直走査回路領域４と水平走査回路領域５には、記憶領域３中の記憶ユニット３０に含まれる記憶素子からの信号の読み出しを制御するためのシフトレジスタなどの回路が配設されている。【００２６】
画素領域２に配置された画素１０の１つの回路構成を図２に示す。画素１０は、フォトダイオード１１、転送用トランジスタ１２、リセット用トランジスタ１３、フローティングディフュージョン１４、バッファ用トランジスタ１５、第１電流遮断用トランジスタ１６、第１バイアス用トランジスタ１７、第１コンデンサ１８、第１サンプリング用トランジスタ１９、第２サンプリング用トランジスタ２０、第２コンデンサ２１、ソースフォロア増幅用トランジスタ２２、第２電流遮断用トランジスタ２３、負荷電流源用トランジスタ２４、及び出力制御用トランジスタ２５を含んで構成されている。【００２７】
転送用トランジスタ１２、リセット用トランジスタ１３、第１電流遮断用トランジスタ１６、第１サンプリング用トランジスタ１９、及び第２サンプリング用トランジスタ２０のゲート端子には、それぞれφＴ、φＲ、φＸ１、φＮＳ、φＳＳなる駆動パルス信号（制御信号）を供給するための駆動ラインが接続されている。また、第２電流遮断用トランジスタ２３及び出力制御用トランジスタ２５のゲート端子にはφＸ２なる駆動パルス信号（制御信号）を供給するための駆動ラインが接続されている。【００２８】
図３は画素１０と該画素１０に対応する記憶ユニット３０の接続、及び記憶ユニット３０内の回路構成を示す図である。図３には１つの画素１０と該画素１０に対応する記憶ユニット３０のみを記載しているが、上述のとおり、画素１０と記憶ユニット３０はいずれも250×400個の２次元アレイ状に配置されている。【００２９】
画素１０から延設されている画素出力線４０は、書き込み用トランジスタ３１を介して記憶ユニット３０内の記憶素子に接続されている。記憶ユニット３０には、蓄積フレーム数Ｌ（この例ではＬ＝１２８）分のサンプリング用トランジスタ３６及びコンデンサ３７（記憶素子）が設けられている。書き込み用トランジスタ３１のゲート端子には、全記憶ユニット３０に共通の駆動パルス信号φＷＳを供給するための駆動ラインが接続されている。サンプリング用トランジスタ３６のゲート端子には、１個の記憶ユニット３０に含まれるＬ個のサンプリング用トランジスタ３６を順に指定するための駆動パルス信号φＶＣＬＫ１＿Ｏ＜？＞（？は０〜１２７）を供給するシフトレジスタＶＳＲ１が接続されている。シフトレジスタＶＳＲ１はスタート信号φＶＳ１とクロック信号φＶＣＬＫ１を受けて動作する。図４に示すように、シフトレジスタＶＳＲ１には、最初にスタート信号φＶＳ１が送信され、その後、所定の間隔でクロック信号φＶＣＬＫ１が送信される。クロック信号φＶＣＬＫ１を１つ受信するごとに、Ｌ個のサンプリング用トランジスタ３６のオン／オフが順に切り替えられる。【００３０】
書き込み用トランジスタ３１と記憶ユニット３０の間には、記憶ユニット３０から信号を読み出すための垂直読み出し用トランジスタ３８と水平読み出し用トランジスタ３９が接続されている。垂直読み出し用トランジスタ３８には、２次元配置された記憶ユニット３０の縦方向の位置を指定するφＶＣＬＫ０＿Ｏ＜＊＞（＊は０〜２４９）なる駆動パルス信号を供給するシフトレジスタＶＳＲ０が接続されている。シフトレジスタＶＳＲ０はスタート信号φＶＳ０とクロック信号φＶＣＬＫ０を受けて動作する。また、水平読み出し用トランジスタ３９には、記憶ユニット３０の横方向の位置を指定するφＨＣＬＫ＿Ｏ＜＃＞（＃は０〜３９９）なる駆動パルス信号を供給するシフトレジスタＨＳＲが接続されている。シフトレジスタＨＳＲはスタート信号φＨＳとクロック信号φＨＣＬＫを受けて動作する。【００３１】
次に、図５の駆動パルス信号の送信パターンを参照して固体撮像素子１の撮像動作を説明する。
はじめに、転送用トランジスタ１２をオフ（φＴ：オン→オフ）にしてフォトダイオード１１をフローティング状態にし、光電変換で発生した電荷の蓄積（露光）を開始する。このとき、フローティングディフュージョン１４はリセット電圧ＶＲにリセットされている。少し遅れてリセット用トランジスタ１３をオフ（φＲ：オン→オフ）にしてフローティングディフュージョン１４をフローティング状態にする。このとき、フローティングディフュージョン１４の電圧はリセット電圧ＶＲ＋リセットノイズ電圧になる。続いて、第１サンプリング用トランジスタ１９、第２サンプリング用トランジスタ２０を共にオン（φＮＳ、φＳＳ：オフ→オン）にして、第１コンデンサ１８の第２サンプリング用トランジスタ２０側の端子電圧と第２コンデンサ２１の第２サンプリング用トランジスタ２０側の端子電圧をいずれもリセット電圧ＶＲにリセットする。【００３２】
さらに、第１サンプリング用トランジスタ１９のみをオフ（φＮＳ：オン→オフ）にし、第１コンデンサ１８の第２サンプリング用トランジスタ２０側の端子と第２コンデンサ２１の第２サンプリング用トランジスタ２０側の端子をいずれもフローティング状態にする。このとき、バッファ用トランジスタ１５を通して第１コンデンサ１８に与えられる電圧がリセット電圧＋リセットノイズ電圧であれば、ソースフォロア増幅用トランジスタ２２のゲート端子に印加される電圧はリセット電圧ＶＲになるため、リセットノイズが除去される。その後、転送用トランジスタ１２をオン（φＴ：オフ→オン）にして、フォトダイオード１１からフローティングディフュージョン１４に信号電荷を転送する。これにより、ソースフォロア増幅用トランジスタ２２のゲート端子に印加される電圧は、リセット電圧ＶＲから［正味の信号電圧］×［ＣＤＳ（Correlated Double Sampling：相関二重 サンプリング）回路のゲイン］だけ下がる。【００３３】
さらに、第２サンプリング用トランジスタ２０もオフ（φＳＳ：オン→オフ）にすると、ソースフォロア増幅用トランジスタ２２のゲート端子に印加される電圧が確定する。このときの電圧はリセットノイズ電圧が除かれた［正味の信号電圧］×［ＣＤＳ回路のゲイン］なる電圧である。その後、出力制御用トランジスタ２５をオン（φＸ２；オフ→オン）にして、フローティングディフュージョン１４におけるリセットノイズを含まない信号電圧を、ソースフォロア増幅用トランジスタ２２を介して画素出力線４０に出力する。【００３４】
上記のように画素１０から信号を画素出力線４０に出力する間に、記憶ユニット３０では、シフトレジスタＶＳＲ１にスタート信号φＶＳ１と最初のクロック信号φＶＣＬＫを送信し、シフトレジスタＶＳＲ１によって当該画素１０に対応する最初の記憶素子のサンプリング用トランジスタ３６をオン（φＶＣＬＫ１＿Ｏ＜０＞：オフ→オン）にする。そして、書き込み用トランジスタ３１をオン（φＷＳ：オフ→オン）にして最初の記憶素子に画素１０からの出力信号を保持させる。これにより、１つのサイクルが完了する。【００３５】
２回目から１２８回目のサイクルでは、スタート信号φＶＳ１を除き上記同様に制御パルス信号を送信して各トランジスタをオン／オフさせる。図４に示したとおり、クロック信号φＶＣＬＫ１を１つ送信するごとにサンプリング用トランジスタ３６をオンにする記憶素子が順に切り替えられ、画素１０からの出力信号が保持される。Ｌ個の記憶素子（のコンデンサ３７）に出力信号が保持されると、再び上述した一連の動作が繰り返され、最初の記憶素子（のコンデンサ３７）から順に画素信号が上書きされる。【００３６】
撮像動作を終えると、垂直読み出し用トランジスタ３８と水平読み出し用トランジスタ３９により記憶ユニット３０を順に指定し、さらに該記憶ユニット３０内の記憶素子を順に指定して（サンプリング用トランジスタ３６をオンにして）、該記憶素子（のコンデンサ３７）に保持された信号を固体撮像素子１の外部に読み出す。
【実施例１】
【００３７】
以下、本発明に係る信号処理方法の具体的な一実施例について説明する。
再び図１を参照して制御・信号処理部５０の構成を説明する。制御・信号処理部５０は、記憶部５１の他に、機能ブロックとして撮像制御部５２、不適合信号特定部５３、信号推定部５４、及び画像生成部５５を備えている。制御・信号処理部５０の実体はパーソナルコンピュータであり、入力部６０と表示部７０が接続されている。また、上記の各機能ブロックは、記憶部５１に保存された制御・信号処理プログラムを実行することにより具現化される。記憶部５１には、製造工程において発見された記憶素子の不具合情報（例えばＸ番目の画素のＫフレーム目の信号が保持される記憶素子に不具合あり）が保存されている。また、使用者が、一定の明度の下で予備撮影を行い、各記憶素子から読み出した信号の値が予備撮影時の明度と整合しない記憶素子の情報を記憶部５１に保存するようにしてもよい。【００３８】
使用者により撮像が指示されると、撮像制御部５２は指示内容（撮像時間、サンプリング間隔等）に基づいて上述した固体撮像素子１に駆動パルス信号を送信して各部を動作させる。撮像が終了すると、記憶素子に保持された信号を上述の手順で読み出し、記憶部５１に保存する。【００３９】
記憶部５１に全ての信号が保存されると、不適合信号特定部５３は記憶部５１に保存された記憶素子の不具合情報を読み出し、対応する不適合信号を特定する。また、保存された信号を相互に比較して、記憶素子の不具合情報に対応する信号以外の不適合信号の有無を確認する。具体的には、隣接する画素との信号の大きさの差が使用者により予め指定された所定の閾値よりも大きい信号、あるいは一定以上の明度で撮影されているにもかかわらず信号値がゼロである信号（信号そのものが記憶素子に保持されていない場合を含む）などを不適合信号として追加で特定する。【００４０】
不適合信号が特定されると、信号推定部５４は、不適合信号に代わる正常な信号を推定する。本実施例では以下に説明する２通りの推定方法（前後補正、周辺補正）が用いられる。【００４１】
１つ目の方法（前後補正）では、図６に示すように、欠落したフレーム（Ｋフレーム）の前のフレーム（Ｋ−１フレーム）における同一画素１０の信号と後のフレーム（Ｋ＋１フレーム）における同一画素１０の信号を平均する。
２つ目の方法（周辺補正）では、図７に示すように、欠落したフレーム（Ｋフレーム）内の信号であって、不適合信号に対応する画素（対象画素）と上下左右に隣接する４つの画素（周辺画素）の信号を平均する。あるいは、不適合信号に対応する画素と斜め方向に隣接する４つの画素の信号も含めた、合計８つの信号を平均してもよい。この場合には、８つの信号を単純平均するほか、上下左右に隣接する画素の信号と斜め方向に隣接する画素の信号に重み付けを加えて平均してもよい。
また、これら２つの方法は、いずれか一方を用いることも、両方を併用することもできる。【００４２】
信号推定部５４により正常な信号が推定されると、画像生成部５５は推定した信号を用いて画像データを作成し、表示部７０に表示する。このように、本実施例の信号処理方法を用いると、固体撮像素子１の製造工程で記憶素子に不具合が発生したり、あるいは記憶素子への信号の書き込みや記憶素子からの読み出しの際に不具合が発生したりしても、当該記憶素子から本来読み出されるべき正常な信号を推定して欠落のない撮像データを取得することができる。【００４３】
また、以下に説明する方法を用いて正常な信号を推定することも可能である。上記２つ目の方法では、１つの記憶素子から読み出した信号を、そのまま撮像データを構成する１つの信号として用いたが、この変形例では、隣接する４つの画素における同一時点での信号を平均し、その平均値を撮像データにおける１つの信号として用いる。即ち、図８に記載した実線で囲まれた画素配置から、破線で囲まれた信号を生成して撮像データを生成する。そして、不適合信号が存在する場合には、当該信号を除く３つの信号を平均して撮像データにおける１つの信号とする。この方法によっても上記同様に欠落のない撮像データを得ることができる。
【実施例２】
【００４４】
実施例１では、使用者が、前後補正、周辺補正、あるいはその両方を用いた信号処理のいずれかを決定して正常な信号を推定する。しかし、未熟な使用者の場合、そうした判断を適切に下すことが難しい。実施例２では、未熟な使用者であっても正常な信号を推定することができる構成を説明する。【００４５】
図９は、実施例２における固体撮像素子１と制御・信号処理部１５０の構成であり、図１０は実施例２における信号処理のフローチャートである。固体撮像素子１の構成及び動作は上述したとおりであるため、説明を省略する。また、制御・信号処理部１５０の構成要素のうち、記憶部１５１、撮像制御部１５２、不適合信号特定部１５３、信号推定部１５４、及び画像生成部１５５も実施例１と同じであるため、説明を省略する。実施例２では、制御・信号処理部１５０が、さらに相関度算出部１５６及び補正モード決定部１５７を機能ブロックとして備えている。【００４６】
以下、Ｘ番目の画素のＫフレーム目の信号が保持される記憶素子に不具合がある場合を例に、具体的な信号処理の方法を説明する。以下、Ｘ番目の画素（対象画素）をx-y座標の原点で表し、該対象画素に隣接する８つの画素（周辺画素）を座標位置で表す。即ち、８つの周辺画素の座標は(x, y)=(-1, -1), (-1, 0), (-1, 1), (0, -1), (0, 1), (1, -1), (1, 0), (1, 1)となる。【００４７】
入力部１６０を通じて使用者から撮像が指示されると、撮像制御部１５２による制御の下で固体撮像素子１による撮像動作が実行される。そして、各記憶素子に保持された信号が読み出されると、不適合信号特定部１５３により不適合信号が特定される。【００４８】
続いて、相関度算出部１５６が、Ｋ−１フレームにおける８つの周辺画素の信号値とＫフレームにおける８つの周辺画素の信号値を用いて、次式(1)から相関度Ｃ−１（前フレームと当該フレームの相関度）を計算する（ステップＳ１）。ここで用いる式(1)及び後述の式(3)では、動きが少ない信号ほど相関度が高く計算される。
【数１】
0006512291.tif 000002
上式(1)において、AＫ−１（y, x）は、Ｋ−１フレームにおける座標(x, y)の画素の信号値、AＫ（y, x）は、Ｋフレームにおける座標(x, y)の画素の信号値である。また、AＫ（数式では上線）はＫフレームにおける周辺画素の信号値の平均値であり、次式(2)から計算される。
【数２】
0006512291.tif 000003
【００４９】
相関度算出部１５６は、また、Ｋフレームにおける８つの周辺画素の信号値とＫ＋１フレームにおける８つの周辺画素の信号値を用いて、次式(3)から相関度Ｃ＋１（後フレームと当該フレームの相関度）を計算する（ステップＳ２）。
【数３】
0006512291.tif 000004
上式(3)において、AＫ＋１（y, x）は、Ｋ＋１フレームにおける座標(x, y)の画素の信号値である。
【００５０】
相関度算出部１５６により上式(1), (3)から相関度Ｃ−１、Ｃ＋１が計算されると、続いて、補正モード決定部１５７は、これらの値から補正モードを決定する（ステップＳ３）。具体的には、相関度Ｃ−１、Ｃ＋１が1である場合には、動きが少ない信号（あるいは静止信号）であると判断し、補正モードを前後補正に決定する。一方、相関度Ｃ−１、Ｃ＋１が0である場合には、動きの激しい信号であると判断し、補正モードを周辺補正に決定する。また、相関度Ｃ−１、Ｃ＋１が0と1の中間値である場合には、動画信号（例えば物体の移動を撮影した信号）であると判断する。そして、前後フレームの相関度Ｃ−１、Ｃ＋１の値をそのまま前後フレームの重み付け係数ＷＫ−１、ＷＫ＋１に設定するとともに、前後フレームの相関度Ｃ−１、Ｃ＋１の値を２から差し引いた値を当該フレームの重み付け係数ＷＫに設定する（ステップＳ４）。
【００５１】
補正モード決定部１５７が前後フレーム及び当該フレームの重み付け係数を決定すると、信号推定部１５４が、次式(4)から正常な信号の値を推定する（ステップＳ５）。そして、画像生成部１５５が、推定した信号値を用いて画像を生成し、表示部１７０の画面に表示する。
【数４】
0006512291.tif 000005
【００５２】
ここで、３種類の信号（静止体の撮像信号、移動体の撮像信号、及び発光体の撮像信号）について具体的な計算例を説明する。【００５３】
図１１に、静止信号（前後のフレームとの相関が大きい信号）の信号値の一例を示す。図１１(a)はＫ−１フレームの信号値（Ｘ番目の画素及び該画素に隣接する８つの画素（以下、「周辺画素」と呼ぶ。）における信号値のみを記載）、図１１(b)はＫフレームの信号値（網掛けの信号値"10"が本来得られるべき信号値）、図１１(c)はＫ＋１フレームの信号値である。
【００５４】
図１１に示す例では、前フレームの相関度Ｃ−１（＝重み付け係数ＷＫ−１）＝1.00、後フレームの相関度Ｃ＋１（＝重み付け係数ＷＫ＋１）＝1.00、となる。従って、補正モード決定部１５７により補正モードが前後補正に決定され、信号推定部１５４により前後フレームにおけるＸ番目の画素の信号値の平均から正常な信号の推定値10が求められる。この値は、対象画素において本来得られるべき値と一致する。仮に、この例で周辺平均により信号値を推定すると381となり、本来得られるべき信号値と乖離した値になってしまうが、実施例２の方法を用いることによって正しい値を推定することができる。
【００５５】
図１２に、移動体の撮像信号（右上から左下に向かって移動する物体を撮影した例であり、前後のフレームとの相関が中程度の信号）の信号値の一例を示す。図１２(a)はＫ−１フレームの信号値、図１２(b)はＫフレームの信号値（網掛けの信号値"1000"が本来得られるべき信号値）、図１２(c)はＫ＋１フレームの信号値である。この例では、前フレームの相関度Ｃ−１（＝重み付け係数ＷＫ−１）＝0.94、後フレームの相関度Ｃ＋１（＝重み付け係数ＷＫ＋１）＝0.76、となり、補正モード決定部１５７により前後補正と周辺補正の両方を用いる補正モードが決定され、当該フレームの重み付け係数ＷＫ＝0.30が計算される。そして、信号推定部１５４により正常な信号の推定値331が求められる。仮に、この例で周辺平均により信号値を推定すると243となる。従って、周辺平均を用いるよりも実施例２の方法を用いる方が本来得られるべき信号値に近くなることが分かる。
【００５６】
図１３に、発光体の撮像信号（動きの激しい物体を撮影した例であり、前後のフレームとの相関がない例）を示す。図１３(a)はＫ−１フレームの信号値、図１３(b)はＫフレームの信号値（網掛けの信号値"1000"が本来得られるべき信号値）、図１３(c)はＫ＋１フレームの信号値である。この例では、前フレームの相関度Ｃ−１（＝重み付け係数ＷＫ−１）＝0.00、後フレームの相関度Ｃ＋１（＝重み付け係数ＷＫ＋１）＝0.00、となる。従って、補正モード決定部１５７により補正モードが周辺補正に決定され、信号推定部１５４により正常な信号の推定値875が求められる。
【００５７】
上述した３つの計算例から分かるように、実施例２の方法では、前後フレームと当該フレームの相関度に基づいて補正モードが決定され、正常な信号値が推定される。そのため、未熟な使用者であっても不適合信号を適切な値に補正処理することができる。【００５８】
なお、上記例では、説明を容易にするため、相関度Ｃ−１、Ｃ＋１が1である場合に補正モードを前後補正に決定し、相関度Ｃ−１、Ｃ＋１が0である場合に動きの激しい信号であると判断し、補正モードを周辺補正に決定したが、補正モードを決定する基準とする相関度の値は適宜に設定すればよい。例えば、相関度が0.9以上の場合に前後補正を用い、0.1以下の場合に周辺補正を用いる等とすることができる。また、上述の例（補正モードを決定する基準値を1, 0とする場合）では、補正モード決定部１５７による補正モードの決定（ステップＳ３）をスキップし、重み付け係数を計算して正常な信号値を推定しても同じ結果が得られる。
【００５９】
また、上述した相関度の計算式も一例であり、撮影の対象物の特性（動きの特性や発色の程度等）や撮影条件（サンプリング間隔の長さ等）を考慮して、他の式から相関度を計算するようにしてもよい。以下に相関度の計算式の例に示す。【００６０】
【数５】
0006512291.tif 000006
【数６】
0006512291.tif 000007
【数７】
0006512291.tif 000008
式(5)は各画素の前後のフレームの信号値の差の二乗の値を用いるもの、式(6)は各画素の前後のフレームの信号値の差の絶対値を用いるもの、式(7)は正規化相互相関を用いるものである。上述した式(1), (3)では動きが少ないほど相関度の値が小さくなったが、式(5), (6)では動きが少ないほど相関度の値が小さくなる。なお、上式(5)〜(7)を用いる場合には、それぞれ重み付け係数を正規化するための値（上記例における「２」に相当）を適宜に設定して正常な値を推定する。
【００６１】
さらに、上述の例では、前後フレームの相関度Ｃ−１、Ｃ＋１をそのまま前後フレームの重み付け係数として用いたが、その他、前後フレームの相関度Ｃ−１、Ｃ＋１を二乗した値を重み付け係数とする等、種々の変更が可能である。
【実施例３】
【００６２】
次に、本発明に係る固体撮像素子の駆動方法の一実施例について説明する。固体撮像素子１の構成は図１〜３により説明したものと同じである。本実施例の駆動方法は駆動パルス信号の送信形態に特徴を有している。【００６３】
本実施例では、使用者により撮像開始が指示されると、撮像制御部５２は記憶部５１に記憶部５１に保存された記憶素子の不具合情報を読み出して不適合記憶素子を特定する。ここでは、ある画素１０に対応するＬ個の記憶素子のうちの３番目の記憶素子が不適合記憶素子である場合を例に説明する。記憶素子の不具合情報を読み出すと、撮像制御部５２は、図１４に示す駆動パルス信号の送信パターンを作成する。つまり、本実施例の駆動方法では、シフトレジスタＶＳＲ１へのクロック信号φＶＣＬＫ１にスキップ信号を追加することにより、予め不具合が発生していることが判明している記憶素子をスキップして画素１０からの出力信号を保持させる。また、撮像終了後にも同様に、撮像時にスキップした記憶素子をスキップしてそれ以外の記憶素子から順に信号を読み出す。【００６４】
本実施例の駆動方法では、製造工程において不具合が発生していることが分かっている記憶素子や、前回の撮像時に正常な信号が読み出されなかった記憶素子を、撮像開始前に不適合素子として特定し、該記憶素子を除いた正常な記憶素子のみを用いて画素１０から出力される信号を保持する。そのため、記憶素子の不具合の影響のない撮像データを得ることができる。【００６５】
上記実施例はいずれも一例であって本発明の趣旨に沿って適宜に変更することができる。画素の数や配置、記憶素子の数や配置はいずれも一例に過ぎず、他の構成の固体撮像素子についても上記同様の信号処理方法や駆動方法を用いることができる。例えば、上記実施例では各画素１０に独立に画素出力線４０を設けたが、複数の画素１０が１本の画素出力線を共有し、シフトレジスタ等によって順に接続する画素１０を切り替えるようにしても良い。【００６６】
上記実施例では格子状に画素が２次元配列された固体撮像素子を例に挙げたが、ハニカム状に画素が配列された固体撮像素子にも上記信号処理方法及び駆動方法を用いることができる。また、上記実施例の信号処理方法のうちの隣接フレームの信号を平均して正常な信号を推定するものや、上記実施例の駆動方法は、画素が１次元的に配列された固体撮像素子（曲線状やループ状に配列されたものを含む）についても用いることができる。また、上記実施例１〜３を組み合わせて用いることも可能である。例えば、撮像開始前に不具合が確認されている記憶素子をスキップして撮像を行い（実施例３に相当）、さらに撮像終了後に読み出した信号の中に不適合信号（即ち、記憶素子からの読み出し過程で不具合が生じた信号）が含まれる場合に、該不適合信号に代わる正常な信号を推定する（実施例１及び２に相当）ことができる。
【符号の説明】
【００６７】
１…固体撮像素子
２…画素領域
３…記憶領域
４…垂直走査回路領域
５…水平走査回路領域
１０…画素
１１…フォトダイオード
１２…転送用トランジスタ
１３…リセット用トランジスタ
１４…フローティングディフュージョン
１５…バッファ用トランジスタ
１６…第１電流遮断用トランジスタ
１７…第１バイアス用トランジスタ
１８…第１コンデンサ
１９…第１サンプリング用トランジスタ
２０…第２サンプリング用トランジスタ
２１…第２コンデンサ
２２…ソースフォロア増幅用トランジスタ
２３…第２電流遮断用トランジスタ
２４…負荷電流源用トランジスタ
２５…出力制御用トランジスタ
３０…記憶ユニット
３１…書き込み用トランジスタ
３６…サンプリング用トランジスタ
３７…コンデンサ
３８…垂直読み出し用トランジスタ
３９…水平読み出し用トランジスタ
４０…画素出力線
５０、１５０…制御・信号処理部
５１、１５１…記憶部
５２、１５２…撮像制御部
５３、１５３…不適合信号特定部
５４、１５４…信号推定部
５５、１５５…画像生成部
１５６…相関度算出部
１５７…補正モード決定部
６０、１６０…入力部
７０、１７０…表示部
【図１】
0006512291.tif 000009
【図２】
0006512291.tif 000010
【図３】
0006512291.tif 000011
【図４】
0006512291.tif 000012
【図５】
0006512291.tif 000013
【図６】
0006512291.tif 000014
【図７】
0006512291.tif 000015
【図８】
0006512291.tif 000016
【図９】
0006512291.tif 000017
【図１０】
0006512291.tif 000018
【図１１】
0006512291.tif 000019
【図１２】
0006512291.tif 000020
【図１３】
0006512291.tif 000021
【図１４】
0006512291.tif 000022