(57)【要約】【課題】時間が経過しても高精度に固定パターンノイズを除去することが可能な撮像素子および画像補正方法を提供する。【解決手段】行列状に配置された単位画素２１の受光素子で受光した光を電荷に変換して電子的な画像データを出力する撮像部２０と、画像データの固定パターンノイズのノイズパターンを格納する記憶部６２を備えるとともに、画像データからノイズパターンを減算して除去する補正部６０と、を有する撮像素子１０であって、補正部６０は、各フレームの垂直ブランキング期間に切断時データを読み込み、画像データを含んで時系列的に並ぶフレームの少なくとも１つから、撮像領域２２の全ての受光素子の切断時データを読み込み、当該切断時データを記憶部６２から読み出すノイズパターンと平均化して当該ノイズパターンを更新する。【選択図】図１
2019140581.tif 000002
【特許請求の範囲】
【請求項１】
行列状に配置された単位画素の受光素子で受光した光を電荷に変換して電子的な画像データを出力する撮像部と、
前記画像データの固定パターンノイズのノイズパターンを格納する記憶部を備えるとともに、前記画像データから前記ノイズパターンを減算して除去する補正部と、を有する撮像素子であって、
前記補正部は、前記撮像部から画像データを出力する有効期間と異なる非有効期間に、前記受光素子と読み出し配線を接続するスイッチを切断した状態において出力される切断時データを読み込み、前記画像データを含んで時系列に並ぶフレームの時系列少なくとも１つから、撮像領域の全ての受光素子の切断時データを読み込み、当該切断時データを前記記憶部から読み出す前記ノイズパターンと平均化して当該ノイズパターンを更新することを特徴とする、撮像素子。
【請求項２】
前記補正部は、１フレーム毎に異なる行から切断時データを読み出すことを特徴とする、請求項１に記載の撮像素子。
【請求項３】
前記補正部は、時系列で並ぶ各フレームで読み出す行を、前記撮像部の上の行から順番に変更することを特徴とする、請求項１または２に記載の撮像素子。
【請求項４】
前記補正部は、時系列で並ぶ各フレームで読み出す行を、ランダムに変更することを特徴とする、請求項１または２に記載の撮像素子。
【請求項５】
前記補正部は、前記撮像素子を起動した後の少なくとも１つのフレームで、前記撮像領域の全ての受光素子の前記切断時データを読み出し、当該切断時データから前記ノイズパターンを算出することを特徴とする、請求項１〜４のいずれか１項に記載の撮像素子。
【請求項６】
前記補正部は、時系列の１つ置きの各フレームで、前記撮像領域の全ての受光素子の前記切断時データを読み出し、当該切断時データを用いて前記ノイズパターンを更新することを特徴とする、請求項１または５に記載の撮像素子。
【請求項７】
前記非有効期間は、垂直ブランキング期間であることを特徴とする、請求項１〜６のいずれか１項に記載の撮像素子。
【請求項８】
前記補正部は、入力されるデータが前記切断時データか否かを判別し、前記切断時データである場合に入力されるデータを前記ノイズパターンの算出に利用し、前記切断時データでない場合に入力されるデータを前記ノイズパターンの算出から除外することを特徴とする、請求項１〜７のいずれか１項に記載の撮像素子。
【請求項９】
前記補正部は、入力されるデータの値が予め設定された閾値の範囲内にあるか否かを判別し、閾値の範囲外である場合、入力されるデータを前記ノイズパターンの算出から除外することを特徴とする、請求項１〜８のいずれか１項に記載の撮像素子。
【請求項１０】
撮像部に行列状に配置された単位画素の受光素子で受光した光を電荷に変換し、電子的な画像データを出力する撮像素子において、前記画像データから固定パターンノイズを除去する画像補正方法であって、
前記受光素子と読み出し配線を接続するスイッチを切断した状態において出力される切断時データを、前記撮像部から画像データを出力する有効期間以外の非有効期間に読み出すステップと、
前記画像データを含んで時系列に並ぶフレームの少なくとも１つから、撮像領域の全ての受光素子の前記切断時データを読み出し、当該切断時データを過去のノイズパターンと平均化して当該ノイズパターンを更新するステップと、
前記撮像部から読み出した前記画像データから前記ノイズパターンを減算して画像データを補正するステップと、
補正した前記画像データを出力するステップと、を有し、
前記切断時データを読み出すステップ、前記ノイズパターンを更新するステップ、前記画像データを補正するステップ、および前記画像データを出力するステップを繰り返し行うことを特徴とする、画像補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子および画像補正方法に関する。
【背景技術】
【０００２】
撮像素子であるＣＭＯＳイメージセンサ（ＣＭＯＳ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）で発生するノイズ（Ｎｏｉｓｅ）には、ランダムノイズ（Ｒａｎｄｏｍ  Ｎｏｉｓｅ）と、固定パターンノイズ（ＦＰＮ：Ｆｉｘｅｄ  Ｐａｔｔｅｒｎ  Ｎｏｉｓｅ）がある。ランダムノイズは、時間とともに変化する。これに対し、固定パターンノイズは、時間とは関係なく固定的に発生する。
【０００３】
固定パターンノイズには、画素固定パターンノイズ（Ｐｉｘｅｌ  Ｆｉｘｅｄ  Ｐａｔｔｅｒｎ  Ｎｏｉｓｅ）、垂直固定パターンノイズ（Ｖｅｒｔｉｃａｌ  Ｆｉｘｅｄ  Ｐａｔｔｅｒｎ  Ｎｏｉｓｅ）、および水平固定パターンノイズ（Ｈｏｒｉｚｏｎｔａｌ  Ｆｉｘｅｄ  Ｐａｔｔｅｒｎ  Ｎｏｉｓｅ）などがある。画素固定パターンノイズは、画素単位で発生するノイズである。垂直固定パターンノイズは、画像の列単位で発生する縦筋状のノイズである。水平固定パターンノイズは、画像の行単位で発生する横筋状のノイズである。これらの固定パターンノイズは、主に、低照度でゲイン（Ｇａｉｎ）を上げた場合に顕著に表れる。
【０００４】
各画素から出力される画素値を、信号処理によって補正する方法がある。一例として、垂直固定パターンノイズの除去方法を説明する。まず、光が当たらない暗いところで撮影する。次に、列毎に画素値を平均化する。数フレームに渡って継続して平均化することで、垂直固定パターンノイズを検出する。この後、出力される画像データの画素値から、検出した垂直固定パターンノイズを減算する。これにより、垂直固定パターンノイズを除去された画像を出力できる。
【０００５】
固定パターンノイズを検出するには、通常、光が当たらない暗いところで撮影する必要がある。実際に画像データを得るために使用しているときの画素値は、画素に光が当たっているため、固定パターンノイズの検出に使用できない。
【０００６】
また、固定パターンノイズは、温度やゲインとともに変化する。このため、起動時に一度固定パターンノイズを取得して補正しても、実際の撮像時に固定パターンノイズに差が生じる。したがって、画像から、固定パターンノイズを正確に除去することが困難な場合がある。
【０００７】
起動後の状況の変化に合わせて、固定パターンノイズを除去する方法として、特許文献１の方法が挙げられる。この方法は、固定パターンノイズを除去するために、オプティカルブラック（Ｏｐｔｉｃａｌ  Ｂｌａｃｋ）を用いる。オプティカルブラックは、撮像素子の撮像領域の周辺部に設けられ、光が当たらないように遮光された部位である。撮像に使用していないオプティカルブラックからのデータを用いることで、実際に撮像しているときの固定パターンノイズを特定して除去できる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−０１５７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
最近では、カメラの高感度化に伴って、高精度な固定パターンノイズ補正が求められている。したがって、除去すべき固定パターンノイズの大きさが小さくなっている。固定パターンノイズは、他のランダムノイズや画素毎の信号のばらつきに埋もれやすい。したがって、固定パターンノイズを抽出するために、平均化するための多くのサンプル数が必要である。
【００１０】
しかしながら、オプティカルブラック領域の画素数は、検出する固定パターンノイズの大きさに対して少なすぎる。このため、オプティカルブラックを用いて補正を行っても、画素毎のばらつきが大きく、安定して固定パターンノイズを検出できない。オプティカルブラック領域を広げると、安定して固定パターンノイズを検出できるが、装置の大きさや費用の面で現実的ではない。
【００１１】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、時間が経過しても高精度に固定パターンノイズを除去することが可能な、新規かつ改良された撮像素子および画像補正方法を提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明のある観点によれば、行列状に配置された単位画素の受光素子で受光した光を電荷に変換して電子的な画像データを出力する撮像部と、前記画像データの固定パターンノイズのノイズパターンを格納する記憶部を備えるとともに、前記画像データから前記ノイズパターンを減算して除去する補正部と、を有する撮像素子であって、前記補正部は、前記撮像部から画像データを出力する有効期間と異なる非有効期間に、前記受光素子と読み出し配線を接続するスイッチを切断した状態において出力されるデータ（以降、切断時データ）を読み込み、前記画像データを含んで時系列に並ぶフレームの少なくとも１つから、撮像領域の全ての受光素子の切断時データを読み込み、当該切断時データを前記記憶部から読み出す前記ノイズパターンと平均化して当該ノイズパターンを更新すること、を特徴とする撮像素子が提供される。
【００１３】
前記補正部は、１フレーム毎に異なる行から切断時データを読み出してもよい。
【００１４】
前記補正部は、時系列で並ぶ各フレームで読み出す行を、前記撮像部の上の行から順番に変更してもよい。
【００１５】
前記補正部は、時系列で並ぶ各フレームで読み出す行を、ランダムに変更してもよい。
【００１６】
前記補正部は、前記撮像素子を起動した後の少なくとも１つのフレームで、前記撮像領域の全ての受光素子の切断時データを読み出し、当該切断時データから前記ノイズパターンを算出してもよい。
【００１７】
前記補正部は、時系列の１つ置きの各フレームで、前記撮像領域の全ての受光素子の切断時データを読み出し、当該切断時データを用いて前記ノイズパターンを更新してもよい。
【００１８】
前記非有効期間は、垂直ブランキング期間であってもよい。
【００１９】
前記補正部は、入力されるデータが前記切断時データか否かを判別し、前記切断時データである場合に入力されるデータを前記ノイズパターンの算出に利用し、前記切断時データでない場合に入力されるデータを前記ノイズパターンの算出から除外してもよい。
【００２０】
前記補正部は、入力されるデータの値が予め設定された閾値の範囲内にあるか否かを判別し、閾値の範囲外である場合、入力されるデータを前記ノイズパターンの算出から除外してもよい。
【００２１】
また、上記課題を解決するために、本発明の別の観点によれば、撮像部に行列状に配置された単位画素の受光素子で受光した光を電荷に変換して電子的な画像データを出力する撮像素子において、前記画像データから固定パターンノイズを除去する画像補正方法であって、前記受光素子と読み出し配線を接続するスイッチを切断した状態において出力される切断時データを、前記撮像部から画像データを出力する有効期間以外の非有効期間に読み出すステップと、前記画像データを含んで時系列に並ぶフレームの少なくとも１つから、撮像領域の全ての受光素子の前記切断時データを読み出し、当該切断時データを過去のノイズパターンと平均化して当該ノイズパターンを更新するステップと、前記撮像部から読み出した前記画像データから前記ノイズパターンを減算して画像データを補正するステップと、補正した前記画像データを出力するステップと、を有し、前記切断時データを読み出すステップ、前記ノイズパターンを更新するステップ、前記画像データを補正するステップ、および前記画像データを出力するステップを繰り返し行うことを特徴とする、画像補正方法が提供される。
【発明の効果】
【００２２】
以上説明したように本発明によれば、動作時の撮像領域の全ての受光素子を利用して、ノイズパターンを適応的に更新するため、時間が経過しても高精度に固定パターンノイズを除去できる。
【図面の簡単な説明】
【００２３】
【図１】第１実施形態に係る撮像素子の概略ブロック図である。
【図２】補正部の構成を示すブロック図である。
【図３】フレーム毎に読み出す切断時データの一例を示すイメージ図である。
【図４】各行で読み出すデータの時間変化を示すグラフである。
【図５】検出部の構成を示すブロック図である。
【図６】検出部の処理を説明するための流れ図である。
【図７】減算部の構成を示すブロック図である。
【図８】減算部の処理を説明するための流れ図である。
【図９】第１実施形態に係る撮像装置の補正部に入力される前の画像例である。
【図１０】第１実施形態に係る撮像装置の補正部から出力された画像例である。
【図１１】オプティカルブラックを用いて垂直パターンノイズを除去した画像例である。
【図１２】第２実施形態に係る撮像装置によりフレーム毎に読み出す切断時データの一例を示すイメージ図である。
【図１３】第３実施形態に係る撮像装置によりフレーム毎に読み出す切断時データの一例を示すイメージ図である。
【図１４】第４実施形態に係る撮像装置によりフレーム毎に読み出す切断時データの一例を示すイメージ図である。
【発明を実施するための形態】
【００２４】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２５】
＜１．第１の実施形態＞
まず、図１を参照して、本発明の第１の実施形態に係る撮像素子１０の概略構成について説明する。第１実施形態に係る撮像素子１０は、ＣＭＯＳ型のイメージセンサである。撮像素子１０は、連続してフレーム（ｆｒａｍｅ）を撮像できるカメラシステムに適用される。フレームは、動画を構成する１枚の静止画である。
【００２６】
撮像素子１０は、撮像部２０と、垂直走査部３０と、ＡＤ変換部４０とを有している。撮像素子１０は、さらに、ＣＤＳ処理部５０と、補正部６０と、信号処理部７０とを有している。
【００２７】
撮像部２０は、行列状に配列された複数の単位画素２１を有している。各単位画素２１は、光電変換を行う受光素子と、トランジスタ回路とを備える。各単位画素２１は、受光量に応じた電圧を蓄積する。撮像部２０は、撮像に使用する撮像領域２２と、撮像に使用されないオプティカルブラック領域２３とを備えている。オプティカルブラック領域２３は、撮像領域２２の周辺部に設けられる。
【００２８】
垂直走査部３０は、撮像部２０の読み出しを行う行を上から１行ずつ選択し、その行にパルスを供給する機能を有する。垂直走査部３０により選択された行の単位画素２１は、蓄積された電圧を出力する。
【００２９】
ＡＤ変換部４０（ａｎａｌｏｇ  ｔｏ  ｄｉｇｉｔａｌ  ｃｏｎｖｅｒｔｅｒ）は、撮像部２０の各行から受け取るアナログの電圧を、列毎にデジタルデータへ変換する機能を有する。ＡＤ変換部４０は、変換したデジタルデータを、ＣＤＳ処理部５０へ供給する。
【００３０】
ＣＤＳ処理部５０は、各単位画素２１の電位のリセット時に生じるリセットノイズ（Ｒｅｓｅｔ  Ｎｏｉｓｅ）を除去する機能を有する。ＣＤＳ処理部５０は、相関２重サンプリング（Ｃｏｒｒｅｌａｔｅｄ  Ｄｏｕｂｌｅ  Ｓａｍｐｌｉｎｇ）を行う。すなわち、ＣＤＳ処理部５０は、各単位画素２１の受光した状態での電圧値から、リセット状態での電圧値を差し引く。これにより、ＣＤＳ処理部５０は、各単位画素２１の受光量を示すデジタル電圧値からリセットノイズを除去する。
【００３１】
補正部６０は、垂直固定パターンノイズを除去する機能を有する。補正部６０は、図２に示すように、検出部６１と、記憶部６２と、減算部６３とを備えている。補正部６０は、ＣＤＳ処理部５０から、画像データと、後述する切断時データとを読み出す。ＣＤＳ処理部５０から読み出される画像データは、各単位画素２１のリセットノイズを除去されたデータである。切断時データは、各単位画素２１の受光素子と読み出し配線を接続するスイッチを切断した状態で、各単位画素２１から読み出されるデータである。なお、画像データおよび切断時データには、縦筋状の垂直固定パターンノイズが存在する。
【００３２】
検出部６１は、列毎に切断時データを平均化する。記憶部６２は、１行以上のデータを記憶できるラインメモリ（Ｌｉｎｅ  Ｍｅｍｏｒｙ）である。記憶部６２は、垂直固定パターンノイズのノイズパターンを記憶できる。各列の値が異なる、１行分のデータである。
【００３３】
検出部６１は、ＣＤＳ処理部５０から読み出したデータから、切断時データを特定する。さらに、検出部６１は、記憶部６２に記憶されているノイズパターンを読み出す。検出部６１は、ＣＤＳ処理部５０から得た切断時データを、読み出したノイズパターンとともに列毎に平均化し、ノイズパターンを更新する。なお、平均化の方法は、特に限定されず、例えば移動平均法を利用できる。列毎に平均化されたデータは、最新のノイズパターンとして記憶部６２に格納される。
【００３４】
減算部６３は、ＣＤＳ処理部５０から読み出した画像データから、記憶部６２に格納されたノイズパターンを、列毎に減算する。減算部６３は、補正した画像データを、信号処理部７０へ出力する。
【００３５】
信号処理部７０は、補正部６０から読み出した画像データに、後段での信号処理を行い、撮像素子１０の出力とする。後段での信号処理は、例えば、輪郭強調処理やホワイトバランス処理等である。
【００３６】
次に、図３を参照しつつ、補正部６０に入力されるデータの一例を説明する。補正部６０に入力されるデータは、時系列に並ぶフレームとして入力される。各フレームは、オプティカルブラック、画像データおよび切断時データである。オプティカルブラックは、オプティカルブラック領域２３から出力される。画像データは、撮像領域２２から出力される。切断時データは、撮像領域２２のいずれかの１行または複数行から出力される。切断時データは、各フレームの画像データの後の垂直ブランキング期間（Ｖｅｒｔｉｃａｌ  Ｂｌａｎｋｉｎｇ  Ｉｎｔｅｒｖａｌ）に付与される。切断時データを出力する撮像領域２２は、フレーム毎に変化する。一例として、第１フレームでは、撮像領域２２の１〜３２行の切断時データが付与され、第２フレームでは、３３〜６４行の切断時データが付与される。このように、フレームが変わる毎に、付与される切断時データが、撮像領域２２の上から１行または複数行ずつ移動する。これにより、例えば、第ｍフレームで、撮像領域２２の全ての単位画素２１の切断時データを読み出す。画像領域２２の最後のｎ行分の切断時データを読み出した後、次のフレームで、再び１行目から切断時データを読み出す。したがって、ｍ個のフレーム毎に、全ての単位画素２１の切断時データを読み出すことができる。
【００３７】
次に、図４を参照しつつ、撮像素子１０内での切断時データの読み出し例を説明する。なお、各フレームにおいて読み出す切断時データの行数は、任意の行数であるが、図４では、便宜上、理解の容易のために５行として示す。
【００３８】
撮像素子１０は、撮像部２０にて、１行目から順番にタイミングをずらしつつ、行毎に露光と読み出しを行う。撮像素子１０は、各フレームにおいて、１行目から最終行まで読み出しを行った後、次のフレームの読み出しを開始するまでの間の垂直ブランキング期間に、特定の行の切断時データを読み出す。読み出す切断時データは、前述したとおり、上から所定行分ずつ、ずらしながら指定する。
【００３９】
読み出した画像データおよび切断時データは、図１に示すように、ＡＤ変換部４０でデジタル信号に変換され、ＣＤＳ処理部５０でリセットノイズを除去される。この後、リセットノイズを除去された画像データおよび切断時データが、補正部６０に入力される。補正部６０に読み出した画像データは、前述したように、記憶部６２に格納されているノイズパターンを減算し、出力される。補正部６０に読み出した切断時データは、記憶部６２に格納されているノイズパターンと平均化される。平均化された新たなノイズパターンは、記憶部６２に格納される。
【００４０】
この後、以上の動作をフレーム毎に繰り返し継続して、各フレームの垂直ブランキング期間内に、切断時データを取得する。取得する切断時データの行は、フレームが変わる毎に、下の行へ移動する。
【００４１】
次に補正部６０の検出部６１について、図２、図５のブロック図および図６の流れ図を参照しつつ説明する。
【００４２】
検出部６１は、判定部６４で、入力されるデータが切断時データか否かを判別する（ステップＳ１０）。判定部６４は、データが切断時データと判別した場合、切断時データを受け取る（ステップＳ１１）。判定部６４は、データが切断時データではないと判別した場合、データを無視する。次に、検出部６１は、制限部６５で、切断時データがあらかじめ設定した閾値を超える異常データか否かを判別する（ステップＳ１２）。補正部６０は、切断時データを異常データと判別した場合、後段の平均化を行われないようにする。
【００４３】
検出部６１は、切断時データが閾値以下である場合、ノイズパターンを記憶部６２から読み出す（ステップＳ１３）。検出部６１は、平均化部６６にて、記憶部６２から読み出したノイズパターンと、新たに得た切断時データを、列毎に平均化する（ステップＳ１４）。これにより、検出部６１は、ランダムノイズ（Ｒａｎｄｏｍ  Ｎｏｉｓｅ）の影響を除去し、固定パターンノイズのノイズパターンを抽出する。この後、固定パターンノイズの更新されたノイズパターンを、記憶部６２に格納する（ステップＳ１５）。
【００４４】
次に補正部６０の減算部６３について、図２、図７のブロック図および図８の流れ図を参照しつつ説明する。
【００４５】
減算部６３は、入力されるデータが画像データか否かを判別する（ステップＳ２０）。減算部６３は、データが画像データと判別した場合、記憶部６２からノイズパターンを読み出す（ステップＳ２１）。次に、減算部６３は、入力された画像データから、各列に対応して格納されているノイズパターンを減算する（ステップＳ２２）。この後、減算部６３は、固定パターンノイズを除去された画像データを、信号処理部７０へ出力する（ステップＳ２３）。
【００４６】
図９は、補正部６０に入力される画像、すなわちノイズパターンによる補正前の画像を示す。図１０は、補正部６０から出力された画像、すなわち本実施形態におけるノイズパターンによる補正を行った後の画像を示す。図１１は、オプティカルブラックを用いて得られる垂直固定パターンノイズのノイズパターンにより、ノイズを除去した画像を示す。図１０に示す補正部６０により補正を行った画像は、図９に示す補正を行う前の画像と比較して、縦筋が消え、きれいな画像となっていることが確認された。なお、図１１に示すオプティカルブラックを用いて補正した画像は、新たな縦筋が現れ、適切に補正されないことが確認された。撮像素子１０による補正は、オプティカルブラックを利用した補正に対して、理論上、補正に使用する行数の違いにより、約１０倍（２０ｄＢ）のノイズ改善効果を期待できる。
【００４７】
以上のように、第１実施形態に係る撮像素子１０は、行列状に配置された単位画素２１の受光素子で受光した光を電荷に変換して電子的な画像データを出力する撮像部２０と、画像データの固定パターンノイズのノイズパターンを格納する記憶部６２を備えるとともに、画像データからノイズパターンを減算して除去する補正部６０と、を有する撮像素子１０であって、補正部６０は、各フレームの撮像部２０から画像データを出力する有効期間と異なる垂直ブランキング期間（非有効期間）に、受光素子と読み出し配線を接続するスイッチを切断した状態において出力される切断時データを読み込み、画像データを含んで時系列に並ぶフレームの少なくとも１つから、撮像領域２２の全ての受光素子の切断時データを読み込み、当該切断時データを記憶部６２から読み出すノイズパターンと平均化して当該ノイズパターンを更新することを特徴とする。
【００４８】
上記のように構成した撮像素子１０は、動作時の撮像部２０の撮像領域２２の全ての受光素子を利用して、ノイズパターンを適応的に更新するため、時間が経過しても、周囲の状況変化（例えば、温度変化等）によらず、安定して高精度に固定パターンノイズを除去できる。また、垂直ブランキング期間に切断時データを読み込むため、画像データには影響を与えずに、撮像領域２２の受光素子から切断時データを得られる。また、撮像素子１０は、高精度に固定パターンノイズを除去できるため、低照度での性能を改善でき、感度を向上させることができる。
【００４９】
また、補正部６０は、１フレーム毎に異なる行から切断時データを読み出す。これにより、ノイズパターンの算出に利用する行が常に変化するため、固定パターンノイズのノイズパターンを高精度に特定できる。このため、出力する画像データから、固定パターンノイズを高精度に除去できる。
【００５０】
また、補正部６０は、時系列で並ぶ各フレームで読み出す行を、撮像部２０の上の行から順番に変更する。これにより、ノイズパターンの算出に利用する行が上の行から移動し、ノイズパターンを高精度に特定できる。このため、出力する画像データから、固定パターンノイズを高精度に除去できる。
【００５１】
また、画像データを出力する有効期間と異なる非有効期間は、垂直ブランキング期間である。これにより、補正部６０は、垂直ブランキング期間を利用して、撮像領域２２の受光素子の切断時データを、動作時の撮像部２０から適応的に読み出すことができる。
【００５２】
また、補正部６０は、入力されるデータが切断時データか否かを判別し、切断時データである場合にノイズパターンの算出に利用し、切断時データでない場合にノイズパターンの算出から除外する。これにより、切断時データを効果的に判別し、ノイズパターンを高精度に更新できる。
【００５３】
また、補正部６０は、入力されるデータの値が予め設定された閾値の範囲内にあるか否かを判別し、閾値の範囲外である場合、入力されるデータをノイズパターンの算出から除外する。これにより、異常データを効果的に判別して除外でき、ノイズパターンを高精度に更新できる。
【００５４】
また、本発明は、画像補正方法をも提供する。当該画像補正方法は、撮像部２０に行列状に配置された単位画素２１の受光素子で受光した光を電荷に変換して電子的な画像データを出力する撮像素子１０において、画像データから固定パターンノイズを除去する画像補正方法であって、受光素子と読み出し配線を接続するスイッチを切断した状態において出力される切断時データを、撮像部２０から画像データを出力する有効期間以外の垂直ブランキング期間（非有効期間）に読み出すステップと、画像データを含んで時系列に並ぶフレームの少なくとも１つから、撮像領域２２の全ての受光素子の切断時データを読み出し、当該切断時データを過去のノイズパターンと平均化して当該ノイズパターンを更新するステップと、撮像部２０から読み出した画像データからノイズパターンを減算して画像データを補正するステップと、補正した画像データを出力するステップと、を有し、切断時データを読み出すステップ、ノイズパターンを更新するステップ、画像データを補正するステップ、および画像データを出力するステップを繰り返し行うことを特徴とする。
【００５５】
上記のように構成した画像補正方法は、動作時の撮像領域２２の全ての受光素子を利用して、ノイズパターンを適応的に更新するため、時間が経過しても、周囲の状況変化（例えば、温度変化等）によらず、高精度に固定パターンノイズを除去できる。また、垂直ブランキング期間に切断時データを読み込むため、画像データには影響を与えずに、撮像領域２２の受光素子から切断時データを得られる。
【００５６】
＜２．第２の実施形態＞
本発明の第２実施形態に係る撮像素子１０は、起動時にノイズパターンの較正（ｃａｌｉｂｒａｔｉｏｎ）を行う点でのみ、第１実施形態と異なる。
【００５７】
撮像素子１０は、図１２に示す一例のように、起動後の第１フレームで、撮像領域２２の全ての受光素子の切断時データを補正部６０に読み出す。補正部６０は、起動時の全ての受光素子の切断時データを、列毎に平均化して、固定パターンノイズのノイズパターンを算出する。次に、補正部６０は、算出したノイズパターンを記憶部６２に格納する。
【００５８】
第２フレーム以降は、第１実施形態と同様に、時系列に並ぶ各フレームの垂直ブランキング期間に、上の行から順番に切断時データを読み出す。補正部６０は、読み出した画像データから、記憶部６２に格納されているノイズパターンを減算して出力する。補正部６０は、記憶部６２に格納されているノイズパターンと、収集した行の切断時データで平均化を行い、ノイズパターンを更新する。この後、フレーム毎に読み出す切断時データの行をずらしながら、画像データを補正して出力しつつ、ノイズパターンを更新する。
【００５９】
以上のように、第２実施形態における補正部６０が、撮像素子１０を起動した後の少なくとも１つのフレームで、撮像領域２２の全ての受光素子の切断時データを読み出し、当該切断時データからノイズパターンを算出する。これにより、起動時に撮像領域２２の全ての受光素子を利用して高精度なノイズパターンを算出できる。このため、算出したノイズパターンを初期値として利用し、この後の撮像において、ノイズパターンを高精度かつ適応的に更新できる。また、撮像素子１０は、起動後の少なくとも１つのフレームのみで、全ての受光素子の切断時データを取得する。このため、撮像素子１０は、固定パターンノイズを除去する補正を高速に行うことができる。
【００６０】
＜３．第３の実施形態＞
本発明の第３実施形態に係る撮像素子１０は、垂直ブランキング期間に読み出す切断時データの行の選択方法のみが、第１実施形態と異なる。
【００６１】
撮像素子１０は、図１３に示す一例のように、各フレームの垂直ブランキング期間に読み出す切断時データの行を、ランダムに選択する。一例として、撮像素子１０は、第１フレームの下の垂直ブランキング期間に、１〜３２行の切断時データを読み出す。撮像素子１０は、第２フレームの下の垂直ブランキング期間に、画像領域２２の最後のｎ行分の切断時データを読み出す。撮像素子１０は、第３フレームの下の垂直ブランキング期間に、２０２５〜２０５６行の切断時データを読み出す。以降も、撮像素子１０は、各フレームの下の垂直ブランキング期間に、ランダムに選択した行の切断時データを読み出す処理を繰り返す。
【００６２】
以上のように、第３実施形態における補正部６０は、時系列で並ぶ各フレームで読み出す行を、ランダムに変更する。読み出す行をランダムに変更することで、画面全体における固定パターンノイズの大まかな傾向を、補正後の画像データへ迅速に反映できる。これにより、固定パターンノイズを除去する補正を高速に行うことができる。
【００６３】
＜４．第４の実施形態＞
本発明の第４実施形態に係る撮像素子１０は、時系列に１つ置きに並ぶ各フレームで、切断時データを読み出す点で、第１実施形態と異なる。
【００６４】
撮像素子１０は、図１４に示す一例のように、第１フレームで、撮像領域２２の全ての受光素子の切断時データを、補正部６０に読み出す。補正部６０は、読み出した第１フレームの全ての受光素子の切断時データを、列毎に平均化して、固定パターンノイズのノイズパターンを算出する。次に、補正部６０は、算出したノイズパターンを記憶部６２に格納する。撮像素子１０は、第１フレームでは、画像データを読み出さない。
【００６５】
撮像素子１０は、第２フレームでは、切断時データを読み出さない。撮像素子１０は、第２フレームで、撮像領域２２の全ての受光素子の画像データを、補正部６０に読み出す。補正部６０は、読み出した全ての単位画素２１の画像データから、記憶部６２に格納されているノイズパターンを減算して出力する。
【００６６】
撮像素子１０は、第３フレームで、撮像領域２２の全ての受光素子の切断時データを、補正部６０に読み出す。補正部６０は、読み出した第３フレームの全ての受光素子の切断時データを、記憶部６２に格納されているノイズパターンとともに列毎に平均化する。この後、補正部６０は、更新されたノイズパターンを記憶部６２に格納する。なお、撮像素子１０は、第３フレームでは、画像データを読み出さない。
【００６７】
撮像素子１０は、第４フレームでは、切断時データを読み出さない。撮像素子１０は、第４フレームで、撮像領域２２の全ての受光素子の画像データを、補正部６０に読み出す。補正部６０は、読み出した全ての単位画素２１の画像データから、記憶部６２に格納されているノイズパターンを減算して出力する。
【００６８】
この後、第３フレームおよび第４フレームと同様に、画像データと切断時データを、フレーム毎に交互に読み出す。したがって、交互に並ぶフレームにより、ノイズパターンの更新と、ノイズパターンにより補正された画像データの出力を繰り返す。なお、画像データを出力するフレームが、２つに１つとなるため、フレームレイト（Ｆｒａｍｅ  Ｒａｔｅ）は、２倍となる。
【００６９】
以上のように、第４実施形態における補正部６０は、時系列の１つ置きの各フレームで、撮像領域２２の全ての受光素子の切断時データを読み出し、当該切断時データを用いてノイズパターンを更新する。これにより、撮像領域２２の全ての受光素子を利用して高精度なノイズパターンを一度に抽出できる。このため、固定パターンノイズを除去する補正を高速かつ高精度に行うことができる。
【００７０】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７１】
例えば、撮像素子１０が、垂直ブランキング期間に読み出す切断時データの行は、上から順番に選択されなくてもよく、ランダムに選択されなくてもよい。例えば、撮像素子１０が、垂直ブランキング期間に読み出す切断時データの行は、時系列に並ぶフレームにおいて、上下に移動しつつ選択されてもよい。
【００７２】
また、切断時データを読み出す非有効期間は、垂直ブランキング期間ではなく、各行の読み出しの後に存在する水平ブランキング期間（Ｈｏｒｉｚｏｎｔａｌ  Ｂｌａｎｋｉｎｇ  Ｉｎｔｅｒｖａｌ）であってもよい。
【００７３】
また、撮像素子１０は、固定パターンノイズのノイズパターンの初期値として、前回の駆動時の最後に更新されたノイズパターンを使用してもよい。これにより、直近の安定した駆動状態におけるノイズパターンを利用でき、高精度な補正が可能となる。
【符号の説明】
【００７４】
１０    撮像素子
２０    撮像部
２１    単位画素
６０    補正部
６１    検出部
６２    記憶部
６３    減算部
６４    判定部
６５    制限部
６６    平均化部
【図１】
2019140581.tif 000003
【図２】
2019140581.tif 000004
【図３】
2019140581.tif 000005
【図４】
2019140581.tif 000006
【図５】
2019140581.tif 000007
【図６】
2019140581.tif 000008
【図７】
2019140581.tif 000009
【図８】
2019140581.tif 000010
【図９】
2019140581.tif 000011
【図１０】
2019140581.tif 000012
【図１１】
2019140581.tif 000013
【図１２】
2019140581.tif 000014
【図１３】
2019140581.tif 000015
【図１４】
2019140581.tif 000016