(57)【要約】【課題】遮光画素信号による固定パターンノイズの除去処理を良好に行い得るようにする。【解決手段】所定フレーム数の間隔にあたる第１のフレームに対応して該フレームを含む最新の上記所定数のフレームで遮光画素アレイ部から読み出された複数行分の画素信号を列ごとに平均した第１の補正値を求める。第１のフレーム以外の第２のフレームに対応した第２の補正値を、過去の第１のフレームで求められた複数の第１の補正値に基づいて予測する。第１のフレームでは上記有効画素アレイ部から読み出された各行の画素信号を第１の補正値を用いて補正し、第２のフレームでは有効画素アレイ部から読み出された各行の画素信号を第２の補正値を用いて補正する。【選択図】図４
2020039066.tif 000002
【特許請求の範囲】
【請求項１】
光電変換素子を含む画素が行列状に２次元配置されてなる有効画素アレイ部と、
上記有効画素アレイ部の各画素と同じ画素構造を持つ画素が遮光された状態で上記有効画素アレイ部の列ごとに少なくとも１行分配置されてなる遮光画素アレイ部と、
フレームごとに、上記遮光画素アレイ部から複数行分の画素信号を読み出し、続いて上記有効画素アレイ部の画素信号を読み出す駆動回路と、
所定フレーム数の間隔にあたる第１のフレームに対応して該フレームを含む最新の上記所定数のフレームで上記遮光画素アレイ部から読み出された複数行分の画素信号を列ごとに平均して第１の補正値を求める補正値算出回路と、
上記第１のフレーム以外の第２のフレームに対応した第２の補正値を、過去の上記第１のフレームで求められた複数の上記第１の補正値に基づいて予測する補正値予測回路と、
上記第１のフレームでは上記有効画素アレイ部から読み出された各行の画素信号を上記第１の補正値を用いて補正し、上記第２のフレームでは上記有効画素アレイ部から読み出された各行の画素信号を上記第２の補正値を用いて補正する補正回路と
を備える固体撮像装置。
【請求項２】
上記補正値予測回路は、上記複数の第１の補正値を用いた線形または非線形の補間処理によって上記第２の補正値を予測する
請求項１に記載の固体撮像装置。
【請求項３】
上記所定フレーム数は２フレームである
請求項１に記載の固体撮像装置。
【請求項４】
上記補正値予測回路は、上記所定フレーム数の間隔にあたるフレーム以外の第２のフレームに対応した第２の補正値を、過去の最も新しい第１のフレームで求められた上記第１の補正値から上記過去の次に新しい第１のフレームで求められた上記第１の補正値を減算して得られた値を上記過去の最も新しい第１のフレームで求められた上記第１の補正値に加算して求める
請求項３に記載の固体撮像装置。
【請求項５】
光電変換素子を含む画素が行列状に２次元配置されてなる有効画素アレイ部と、
上記有効画素アレイ部の各画素と同じ画素構造を持つ画素が遮光された状態で上記有効画素アレイ部の列ごとに少なくとも１行分配置されてなる遮光画素アレイ部を備える固体撮像装置の駆動に当たって、
フレームごとに、上記遮光画素アレイ部から複数行分の画素信号を読み出し、続いて上記有効画素アレイ部の画素信号を読み出し、
所定フレーム数の間隔にあたる第１のフレームでは、上記有効画素アレイ部から読み出された各行の画素信号を、上記第１のフレームに対応して該フレームを含む最新の上記所定数のフレームで上記遮光画素アレイ部から読み出された複数行分の画素信号を列ごとに平均した第１の補正値を用いて補正し、
上記第１のフレーム以外の第２のフレームでは、過去の上記第１のフレームで求められた複数の上記第１の補正値に基づいて予測された第２の補正値を用いて補正する
固体撮像装置の駆動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、固体撮像装置および固体撮像装置の駆動方法に関し、特に遮光画素アレイ部から読み出される画素信号に基づいて有効画素アレイ部から読み出される画素信号を補正する固体撮像装置および固体撮像装置の駆動方法に関する。
【背景技術】
【０００２】
例えば、特許文献１には、固体撮像装置としてのＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサの縦筋状固定パターンノイズを除去するために、遮光画素信号を読み出して予めメモリに記憶しておき、通常画素信号読出し時に縦筋状固定パターンノイズを補正するための基準信号（補正値）として使用する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３１１７３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の固定パターンノイズはＣＭＯＳイメージセンサの温度によって変化するため、温度変化へ追従するためには繰り返し補正値の取得とメモリへの記憶を繰り返す必要がある。一方で、補正値更新のために読み出す遮光画素信号はランダムノイズを含んでおり、複数回読出し平均化した上で使用しなければならない。
【０００５】
複数回読み出すには時間がかかるため、温度変化に追従するため毎フレーム補正値の更新を行うと、フレームレートが低下する。また、遮光画素の読出しと平均化を複数フレームに分割して実行すると、フレームレートへの影響は抑えられるが、補正値の更新周期が長くなり、温度変化への追従性が悪化する。
【０００６】
本技術の目的は、遮光画素信号による固定パターンノイズの除去処理を良好に行い得るようにすることにある。
【課題を解決するための手段】
【０００７】
本技術の概念は、
光電変換素子を含む画素が行列状に２次元配置されてなる有効画素アレイ部と、
上記有効画素アレイ部の各画素と同じ画素構造を持つ画素が遮光された状態で上記画素アレイ部の列ごとに少なくとも１行分配置されてなる遮光画素アレイ部と、
フレームごとに、上記遮光画素アレイ部から複数行分の画素信号を読み出し、続いて上記有効画素アレイ部の画素信号を読み出す駆動回路と、
所定フレーム数の間隔にあたる第１のフレームに対応して該フレームを含む最新の上記所定数のフレームで上記遮光画素アレイ部から読み出された複数行分の画素信号を列ごとに平均した第１の補正値を求める補正値算出回路と、
上記第１のフレーム以外の第２のフレームに対応した第２の補正値を、過去の上記第１のフレームで求められた複数の上記第１の補正値に基づいて予測する補正値予測回路と、
上記第１のフレームでは上記有効画素アレイ部から読み出された各行の画素信号を上記第１の補正値を用いて補正し、上記第２のフレームでは上記有効画素アレイ部から読み出された各行の画素信号を上記第２の補正値を用いて補正する補正回路と
を備える固体撮像装置にある。
【０００８】
本技術において、固体撮像装置は、光電変換素子を含む画素が行列状に２次元配置されてなる有効画素アレイ部と、この有効画素アレイ部の各画素と同じ画素構造を持つ画素が遮光された状態で有効画素アレイ部の列ごとに少なくとも１行分配置されてなる遮光画素アレイ部を備えている。駆動回路により、フレームごとに、遮光画素アレイ部から複数行分の画素信号が読み出され、続いて有効画素アレイ部の画素信号が読み出される。
【０００９】
補正値算出回路により、所定フレーム数の間隔にあたる第１のフレームに対応してそのフレームを含む最新の所定数のフレームで遮光画素アレイ部から読み出された複数行分の画素信号が列ごとに平均された第１の補正値が求められる。また、補正値予測回路により、第１のフレーム以外の第２のフレームに対応した第２の補正値が、過去の第１のフレームで求められた複数の第１の補正値に基づいて予測される。
【００１０】
例えば、補正値予測回路は、複数の第１の補正値を用いた線形または非線形の補間処理によって第２の補正値を予測する、ようにされてもよい。また、例えば、所定フレーム数は２フレームである、ようにされてもよい。そして、この場合、例えば、補正値予測回路は、所定フレーム数の間隔にあたるフレーム以外の第２のフレームに対応した第２の補正値を、過去の最も新しい第１のフレームで求められた第１補正値からその第１のフレームの次に新しい第２のフレームで求められた第１の補正値を減算して得られた値を第１のフレームで求められた第１の補正値に加算して求める、ようにされてもよい。
【００１１】
補正回路により、第１のフレームでは、有効画素アレイ部から読み出された各行の画素信号が第１の補正値を用いて補正される。また、この補正回路により、第２のフレームでは、有効画素アレイ部から読み出された各行の画素信号が第２の補正値を用いて補正される。
【００１２】
このように本技術においては、補正値算出回路で第１の補正値を得るための遮光画素アレイ部からの複数行分の画素信号の読み出しは所定数のフレームに分割して行われる。そのため、１フレームにおける遮光画素アレイ部からの画素信号の読み出しの時間を短くでき、所定のフレームレートを維持することが可能となる。また、所定フレーム数の間隔にあたる第１のフレームでは、補正値算出回路で求められた第１の補正値で補正が行われ、またこの第１のフレーム以外の第２のフレームでは、補正値予測回路で過去の第１のフレーム求められた第１の補正値に基づいて予測された第２の補正値で補正が行われる。そのため、全てのフレームで更新された補正値により補正が行われることとなり、温度変化により追従した適切な補正が可能となる。
【図面の簡単な説明】
【００１３】
【図１】実施の形態としてのＣＭＯＳイメージセンサの構成例を示すブロック図である。
【図２】画素の構成の一例を示す図である。
【図３】駆動パルスのタイミングチャートの一例を示す図である。
【図４】縦筋状固定パターンノイズ除去回路の構成例を示すブロック図である。
【図５】予測補正値の求め方の一例を示す図である。
【図６】補正値算出回路の動作の一例を示すフローチャートである。
【図７】補正値予測回路の動作の一例を示すフローチャートである。
【図８】縦筋状固定パターンノイズ除去回路の全体的な動作を概略的に示す図である。
【図９】従来技術と本技術における３番目以降のフレームの周期を比較して示す図である。
【図１０】所定フレーム数が３フレームである場合における予測補正値の求め方の一例を示す図である。
【図１１】ＣＭＯＳイメージセンサの他の構成例を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例
【００１５】
＜１．実施の形態＞
［固体撮像装置：ＣＭＯＳイメージセンサ］
図１は、実施の形態としてのＣＭＯＳイメージセンサ１０Ａの構成例を示している。このＣＭＯＳイメージイメージセンサ１０Ａは、画素アレイ部１１、垂直駆動回路１２、シャッタ駆動回路１３、カラム信号処理回路１４、水平駆動回路１５、水平信号線１６、アナログアンプ１７、タイミングジェネレータ１８、ＡＤＣ（アナログ−デジタル変換）回路１９、固定パターンノイズ除去回路２０およびデジタルアンプ２１を有する構成となっている。
【００１６】
画素アレイ部１１は、光電変換素子を含む画素１１１が行列状に２次元配置されるとともに、当該行列状の配列に対して列ごとに垂直信号線１１２が配線された構成となっている。この画素アレイ部１１は、画素１１１の入射面が開口し、当該開口を通して入射する光を光電変換素子にてその光量に応じた信号電荷に光電変換する有効画素アレイ部（開口領域）１１Ａと、画素１１１の入射面が遮蔽（遮光）され、光電変換素子による光電変換を行わない遮光画素アレイ部（遮光領域）１１Ｂを有している。
【００１７】
有効画素アレイ部１１Ａおよび遮光画素アレイ部１１Ｂの各画素１１１としては全く同じ画素構造のものが用いられる。遮光画素アレイ部１１Ｂには、画素１１１が数十行程度配置される。ただし、図１には、図面の簡略化のために、有効画素アレイ部１１Ａおよび遮光画素アレイ部１１Ｂ共に、画素１１１が２行ずつ配置された構成を示している。
【００１８】
図２は、画素１１１の構成例を示している。画素１１１は、光電変換素子、例えばフォトダイオードＰＤに加えて、転送トランジスタＱ１、リセットトランジスタＱ２および増幅トランジスタＱ３の３つのトランジスタを有する構成となっている。転送トランジスタＱ１は、フォトダイオードＰＤで光電変換して得られる信号電荷をフローティングディフュージョンＦＤに転送する。リセットトランジスタＱ２は、フローティングディフュージョンＦＤの電位を制御する。増幅トランジスタＱ３は、フローティングディフュージョンＦＤの電位に応じた信号を出力する。
【００１９】
図３は、選択パルスＳＥＬ、リセットパルスＲＳＴおよび転送パルスＴＲＧのタイミング関係の一例を示している。垂直駆動回路１２による垂直走査により、画素アレイ部１１におけるある行の走査タイミングｔ１で選択パルスＳＥＬが“Ｈ”レベルになることで、当該行の各画素１１１が選択された状態となる。この選択状態において、転送パルスＴＲＧがタイミングｔ２で“Ｈ”レベルとなると、転送トランジスタＱ１がオン状態となってフォトダイオードＰＤに蓄えられている電荷がフローティングディフュージョンＦＤに転送される。また、転送パルスＴＲＧと同じタイミングｔ２でリセットパルスＲＳＴが“Ｈ”レベルとなることで、リセットトランジスタＱ２がオン状態となってフローティングディフュージョンＦＤがリセットされる。
【００２０】
その後、タイミングｔ３で再びリセットパルスＲＳＴが“Ｈ”レベルとなることでリセット動作が行われ、このリセット状態でのフローティングディフュージョンＦＤの電位がリセットレベルとして増幅トランジスタＱ３を通して垂直信号線１１２に出力される。続いて、タイミングｔ４で転送パルスＴＲＧが“Ｈ”レベルとなることによってフォトダイオードＰＤの電荷のフローティングディフュージョンＦＤへの転送動作が行われ、このときのフローティングディフュージョンＦＤの電位が信号レベルとして増幅トランジスタＱ３を通して垂直信号線１１２に出力される。
【００２１】
なお、図２の構成例では、転送トランジスタＱ１、リセットトランジスタＱ２および増幅トランジスタＱ３としてＮｃｈのＭＯＳトランジスタを用いているが、ＰｃｈのＭＯＳトランジスタを用いることも可能である。また、画素１１１としては、３トランジスタ構成のものに限られるものではなく、画素選択を行うための専用の選択トランジスタを、増幅トランジスタＱ３と垂直信号線１１２との間に接続してなる４トランジスタ構成のものなどであってもよい。
【００２２】
垂直駆動回路１２は、シフトレジスタなどによって構成されており、画素１１１の各々を行単位で選択し、当該選択行の画素１１１をリセットしたり、画素１１１から信号を読み出したりする動作などを行う。この垂直駆動回路１２による駆動時には、選択行の画素１１１の各々からは、リセットトランジスタＱ２によってリセットされたときのフローティングディフュージョンＦＤの電位がリセットレベルとして増幅トランジスタＱ３を通して垂直信号線１１２に出力され、また転送トランジスタＱ１によってフォトダイオードＰＤからフローティングディフュージョンＦＤに信号電荷が転送されたときの当該フローティングディフュージョンＦＤの電位が信号レベルとして増幅トランジスタＱ３を通して垂直信号線１１２に出力される。
【００２３】
シャッタ駆動回路１３は、基本的に垂直駆動回路１２と同様に、シフトレジスタなどによって構成されており、電子シャッタ行を選択して、当該選択行の画素１１１に対して電子シャッタ動作、即ち画素１１１のフォトダイオードＰＤに溜まっている電荷を掃き出す動作を行うことにより、各行（ライン）ごとに画素１１１の露光時間（信号電荷の蓄積時間）を制御する。すなわち、このシャッタ駆動回路１３において、同じ画素行について垂直駆動回路１２との駆動間隔を制御することにより、所望の露光時間を設定することができる。
【００２４】
カラム信号処理回路１４は、ＣＤＳ(Correlated Double Sampling;相関二重サンプリング)回路１４１およびラインメモリ１４２を、例えば画素アレイ部１１の画素列ごとに有する構成となっている。ＣＤＳ回路１４１は、垂直駆動回路１２によって選択された行の画素１１１から出力される信号に対してノイズ除去のためのＣＤＳ処理を行う。
【００２５】
具体的には、上述したように、選択行の画素１１１から順に出力されるリセットレベルと信号レベルを順に受け取り、両者の差をとることにより、画素ごとの固定パターンノイズを除去する。このＣＤＳ回路１４１としては、キャパシタを含むサンプルホールド回路と差動アンプからなる周知の回路構成のものが用いられる。ラインメモリ１４２は、例えばサンプルホールドキャパシタによって構成され、ＣＤＳ処理後の信号を１行（ライン）分だけ保持する。
【００２６】
水平駆動回路１５は、シフトレジスタなどによって構成されており、ラインメモリ１４２を画素列ごとに順に選択し、当該ラインメモリ１４２に保持されている１ライン分の信号を水平信号線１６に順次出力させる。アナログアンプ１７は、ラインメモリ１４２から水平信号線１６を通して供給される各画素の信号を適当なゲインで増幅（減衰を含む）する。タイミングジェネレータ１８は、各回路部分で用いる各種のタイミングパルスを生成し、各回路部分に対して供給する。
【００２７】
ここまでに説明した各回路部分、即ち垂直駆動回路１２、シャッタ駆動回路１３、カラム信号処理回路１４、水平駆動回路１５、水平信号線１６、アナログアンプ１７およびタイミングジェネレータ１８は、画素１１１が行列状に配置されてなる画素アレイ部１１と同じチップ（半導体基板）２３上に集積され、以下に説明する回路部分、即ちＡＤＣ回路１９、縦筋状固定パターンノイズ除去回路２０およびデジタルアンプ２１は、チップ２３の外部に設けられている。
【００２８】
ＡＤＣ回路１９は、チップ２３内のアナログアンプ１７からチップ２３外に出力されるアナログ信号をデジタル信号に変換する。縦筋状固定パターンノイズ除去回路２０は、遮光画素アレイ部１１Ｂから読み出される複数行分の画素信号に基づいて一行分の補正値を生成し、この一行分の補正値を用いて有効画素アレイ部１１Ａから読み出される各行の画素信号を補正して、縦筋状固定パターンノイズを除去する。デジタルアンプ２１は、縦筋状固定パターンノイズ除去回路２０から出力される画素信号を適当なゲインで増幅（減衰を含む）して出力する。
【００２９】
ここで、縦筋状の固定パターンノイズとは、列ごとに、プロセスばらつき、具体的にはＣＤＳ回路１４１のキャパシタ、画素アレイ部１１の各画素トランジスタのしきい値電圧のばらつき、配線幅のばらつきなどに起因するノイズ成分を言う。この縦筋状の固定パターンノイズが存在する場合には、画像に縦筋状の明暗模様が発生し、画質を劣化させる。
【００３０】
図４は、縦筋状固定パターンノイズ除去回路２０の構成例を示している。この縦筋状固定パターンノイズ除去回路２０は、補正値算出回路２０１と、補正値予測回路２０２と、補正値格納メモリ２０３と、補正回路２０４を有している。
【００３１】
この実施の形態において、タイミングジェネレータ１８で発生されるタイミングパルスに基づいて垂直駆動回路１２や水平駆動回路１５などの駆動回路が動作し、フレームごとに、遮光画素アレイ部１１Ｂから複数行分の画素信号が読み出され、続いて有効画素アレイ部１１Ａから画素信号が読み出される。
【００３２】
この場合、遮光画素アレイ部１１Ｂから読み出される複数行分の画素信号に関しては、センサ起動後の１番目、２番目のそれぞれのフレームでは平均化によってランダムノイズが抑制された補正値を得るために必要十分な行数の読み出しが行われ、その後のフレームでは、所定のフレームレートを確保するために、所定フレーム数、この実施の形態では２フレームのトータルで必要十分な行数の読み出しが行われる。
【００３３】
補正値算出回路２０１には、ＡＤＣ回路１９から出力される画素信号のうち、遮光画素アレイ部１１Ｂから読み出される画素信号（遮光画素信号）が入力される。また、この補正値算出回路２０１には、タイミングジェネレータ１８で発生される垂直同期信号がタイミングパルスとして与えられる。
【００３４】
補正値算出回路２０１では、センサ起動後の１番目、２番目のそれぞれのフレームに対応して、そのフレームで遮光画素アレイ部１１Ｂから読み出された複数行分の画素信号を列ごとに平均して補正値が求められる。また、補正値算出回路２０１は、その後の２フレーム間隔にあたる第１のフレーム（４番目のフレーム、６番目のフレーム、８番目のフレーム、・・・）のそれぞれに対応して、そのフレームを含む最新の２フレームで遮光画素アレイ部１１Ｂから読み出された複数行分の画素信号を列ごとに平均して補正値が求められる。このように、補正値算出回路２０１で求められた補正値（第１の補正値）は、補正値格納メモリ２０３に格納される。
【００３５】
補正値予測回路２０２には、タイミングジェネレータ１８で発生される垂直同期信号がタイミングパルスとして与えられる。また、この補正値予測回路２０２には、上述したように補正値算出回路２０１で補正値が求められる第１のフレーム以外の第２のフレーム（３番目のフレーム、５番目のフレーム、７番目のフレーム、・・・）に対応して、補正値算出回路２０１から予測トリガが与えられる。
【００３６】
補正値予測回路２０２では、第２のフレームのそれぞれに対応して、そのフレームより過去の第１のフレームで求められた補正値が参照されて、予測補正値が求められる。この場合、補正値予測回路２０２では、例えば、線形の補間処理によって予測補正値が求められる。このように、補正値予測回路２０２で求められた予測補正値（第２の補正値）は、補正値格納メモリ２０３に格納される。
【００３７】
図５は、予測補正値の求め方の一例を示している。なお、図において、かっこ内の数字は、フレーム番号を示している。１番目、２番目、４番目、６番目、・・・のフレームに対応して、補正値算出回路２０１により補正値（第１の補正値）が求められる。
【００３８】
３番目のフレームに対応して、２番目のフレームに対応して求められた補正値（２）から１番目のフレームに対応して求められた補正値（１）を減算して得られた値を補正値（２）に加算して、予測補正値（３）が求められる。また、５番目のフレームに対応して、４番目のフレームに対応して求められた補正値（４）から２番目のフレームに対応して求められた補正値（２）を減算して得られた値を１/２にして補正値（４）に加算して、予測補正値（５）が求められる。以下、同様である。
【００３９】
図４に戻って、補正回路２０４には、ＡＤＣ回路１９から出力される画素信号のうち、有効画素アレイ部１１Ａから読み出される画素信号（通常画素信号）が入力される。補正回路２０４では、センサ起動後の１番目、２番目のそれぞれのフレームにおいては、そのフレームで有効画素アレイ部１１Ａから読み出される画素信号から、補正値格納メモリ２０３から参照されるそのフレームの補正値（第１の補正値）が減算されて補正される。
【００４０】
また、補正回路２０４では、その後の２フレーム間隔にあたる第１のフレーム（４番目のフレーム、６番目のフレーム、８番目のフレーム、・・・）においては、そのフレームで有効画素アレイ部１１Ａから読み出される画素信号から、補正値格納メモリ２０３から参照されるそのフレームの補正値（第１の補正値）が減算されて補正される。
【００４１】
また、補正回路２０４では、第２のフレーム（３番目のフレーム、５番目のフレーム、７番目のフレーム、・・・）においては、そのフレームで有効画素アレイ部１１Ａから読み出される画素信号から、補正値格納メモリ２０３から参照されるそのフレームの予測補正値（第２の補正値）が減算されて補正される。
【００４２】
このように補正回路２０４で補正された画素信号（通常画素信号）は、縦筋状固定パターンノイズ除去回路２０の出力となる。
【００４３】
図６のフローチャートは、補正値算出回路２０１の動作の一例を示している。補正値算出回路２０１は、ステップＳＴ１において、センサ起動に伴って動作を開始する。次に、補正値算出回路２０１は、ステップＳＴ２において、垂直同期信号を受信したか否かを判断する。垂直同期信号を受信したとき、補正値算出回路２０１は、ステップＳＴ３において、補正値算出回路２０１が補正値を更新するフレームか否かを判断する。
【００４４】
補正値を更新するフレーム（１番目、２番目、４番目、６番目、・・・のフレーム）であるとき、補正値算出回路２０１は、ステップＳＴ４において、補正値更新フラグをセットし、その後にステップＳＴ６の処理に進む。一方、補正値を更新しないフレーム（３番目、５番目、７番目、・・・のフレーム）であるとき、補正値算出回路２０１は、ステップＳＴ５において、補正値予測回路２０２へ、予測補正値を計算させるための補正値予測トリガを送り、その後にステップＳＴ６の処理に進む。
【００４５】
補正値算出回路２０１は、ステップＳＴ６において、遮光画素信号を受信したか否かを判断する。遮光画素信号を受信したとき、補正値算出回路２０１は、ステップＳＴ７において、受信した各行の遮光画素信号を列ごとに累積加算して平均化する。次に、補正値算出回路２０１は、ステップＳＴ８において、１フレームで受信する全ての行数の遮光画素信号を受信したか否かを判断する。そして、補正値算出回路２０１は、受信するまで、ステップＳＴ６，ＳＴ７，ＳＴ８の処理を繰り返す。
【００４６】
１フレームで受信する全ての行数の遮光画素信号を受信したとき、補正値算出回路２０１は、ステップＳＴ９において、補正値更新フラグがセットされているか否かを判断する。補正値更新フラグがセットされているとき、補正値算出回路２０１は、ステップＳＴ１０において、補正値格納メモリ２０３に累積加算値を新補正値として書き込み、その後、ステップＳＴ２の処理に戻る。一方、補正値フラグがセットされていないとき、補正値算出回路２０１は、直ちに、ステップＳＴ２の処理に戻る。
【００４７】
図７のフローチャートは、補正値予測回路２０２の動作の一例を示している。補正値予測回路２０２は、ステップＳＴ１１において、センサ起動に伴って動作を開始する。次に、補正値予測回路２０２は、ステップＳＴ１２において、垂直同期信号を受信したか否かを判断する。垂直同期信号を受信したとき、補正値予測回路２０２は、ステップＳＴ１３において、記憶した補正値があるか否かを判断する。記憶した補正値がないとき、補正値予測回路２０３は、ステップＳＴ１４において、補正値格納メモリ２０３から補正値を読み出して記憶し、その後に、ステップＳＴ１２の処理に戻る。
【００４８】
一方、記憶した補正値があるとき、補正値予測回路２０２は、ステップＳＴ１５において、補正値算出回路２０１から補正値予測トリガが入力されたか否かを判断する。補正値予測トリガが入力されていないとき、補正値予測回路２０２は、直ちにステップ１２の処理に戻る。
【００４９】
補正値予測トリガが入力されたとき、補正値予測回路２０２は、ステップＳＴ１６において、補正値格納メモリ２０３の内容と、記憶している補正値の差を計算する。次に、補正値予測回路２０２は、ステップＳＴ１７において、補正値格納メモリ２０３から補正値を読み出して記憶する。
【００５０】
次に、補正値予測回路２０２は、ステップＳＴ１８において、最初の予測計算か否かを判断する。最初の予測計算であるとき、補正値予測回路２０２は、ステップＳＴ１９において、補正値格納メモリ２０３の内容を、計算した補正値の差を加算したものに更新し、その後に、ステップＳＴ１２の処理に戻る。一方、最初の予測計算でないとき、補正値予測回路２０２は、ステップＳＴ２０において、補正値格納メモリ２０３の内容を、計算した補正値の差の１/２を加算したものに更新し、その後に、ステップＳＴ１２の処理に戻る。
【００５１】
図８は、縦筋状固定パターンノイズ除去回路２０の全体的な動作を概略的に示している。センサ起動後の１番目のフレームにおいては、まず、遮光画素アレイ部１１Ｂから平均化によってランダムノイズが抑制された補正値を得るために必要十分な行数の画素信号の読み出しが行われ、補正値算出回路２０１でその複数行分の画素信号が列ごとに平均された補正値（１）が求められ、補正値格納メモリ２０３に格納される。
【００５２】
そして、この１番目のフレームにおいては、次に、有効画素アレイ部１１Ａからの画素信号の読み出しが行われ、補正回路２０４で、その画素信号が補正値格納メモリ２０３に格納されているそのフレームの補正値（１）が用いられて補正される。
【００５３】
次に、２番目のフレームにおいては、最初に、補正値予測回路２０２では、記憶している補正値がないことから、補正値格納メモリ２０３に格納されている補正値（１）が読み出されて記憶される。
【００５４】
そして、この２番目のフレームにおいては、まず、遮光画素アレイ部１１Ｂから平均化によってランダムノイズが抑制された補正値を得るために必要十分な行数の画素信号の読み出しが行われ、補正値算出回路２０１でその複数行分の画素信号が列ごとに平均された補正値（２）が求められ、補正値格納メモリ２０３に格納され、補正値の更新が行われる。
【００５５】
そして、この２番目のフレームにおいては、次に、有効画素アレイ部１１Ａからの画素信号の読み出しが行われ、補正回路２０４で、その画素信号が補正値格納メモリ２０３に格納されているそのフレームの補正値（２）が用いられて補正される。
【００５６】
次に、３番目のフレームにおいては、最初に補正値算出回路２０１から補正値予測回路２０２に補正値予測トリガが与えられる。そして、この３番目のフレームにおいては、まず、遮光画素アレイ部１１Ｂから複数行分の画素信号（１番目、２番目のフレームで読み出される行数の半分）の読み出しが行われる。
【００５７】
この読み出しが行われている期間、補正値予測回路２０２では、補正値格納メモリ２０３に格納されている補正値（２）が読み出され、それと自身が記憶している補正値（１）に基づいて予測補正値（３）が求められ、補正値格納メモリ２０３に格納され、補正値の更新が行われる。この場合、補正値（２）から補正値（１）を減算した値が補正値（２）に加算されて予測補正値（３）とされる。また、補正値予測回路２０２では、補正値（１）に代わって補正値（２）が記憶される。
【００５８】
そして、この３番目のフレームにおいては、次に、有効画素アレイ部１１Ａからの画素信号の読み出しが行われ、補正回路２０４で、その画素信号が補正値格納メモリ２０３に格納されているそのフレームの予測補正値（３）が用いられて補正される。
【００５９】
次に、４番目のフレームにおいては、上述の３番目のフレームとは異なり、最初に補正値算出回路２０１から補正値予測回路２０２に補正値予測トリガが与えられることはない。この４番目のフレームにおいては、まず、遮光画素アレイ部１１Ｂから複数行分の画素信号（１番目、２番目のフレームで読み出される行数の半分）の読み出しが行われる。
【００６０】
これにより、上述の３番目のフレームで遮光画素アレイ部１１Ｂから読み出された複数行分の画素信号と合わせて平均化によってランダムノイズが抑制された補正値を得るために必要十分な行数の画素信号の読み出しが行われたことになり、補正値算出回路２０１でその複数行分の画素信号が列ごとに平均された補正値（４）が求められ、補正値格納メモリ２０３に格納され、補正値の更新が行われる。
【００６１】
そして、この４番目のフレームにおいては、次に、有効画素アレイ部１１Ａからの画素信号の読み出しが行われ、補正回路２０４で、その画素信号が補正値格納メモリ２０３に格納されているそのフレームの補正値（４）が用いられて補正される。
【００６２】
次に、５番目のフレームにおいては、最初に補正値算出回路２０１から補正値予測回路２０２に補正値予測トリガが与えられる。そして、この５番目のフレームにおいては、まず、遮光画素アレイ部１１Ｂから複数行分の画素信号（１番目、２番目のフレームで読み出される行数の半分）の読み出しが行われる。
【００６３】
この読み出しが行われている期間、補正値予測回路２０２では、補正値格納メモリ２０３に格納されている補正値（４）が読み出され、それと自身が記憶している補正値（２）に基づいて予測補正値（５）が求められ、補正値格納メモリ２０３に格納され、補正値の更新が行われる。この場合、補正値（４）から補正値（２）を減算した値は２フレーム分に相当するので、その１/２が補正値（４）に加算されて予測補正値（５）とされる。また、補正値予測回路２０２では、補正値（２）に代わって補正値（４）が記憶される。
【００６４】
そして、この５番目のフレームにおいては、次に、有効画素アレイ部１１Ａからの画素信号の読み出しが行われ、補正回路２０４で、その画素信号が補正値格納メモリ２０３に格納されているそのフレームの予測補正値（５）が用いられて補正される。
【００６５】
次に、６番目のフレームにおいては、上述の５番目のフレームとは異なり、最初に補正値算出回路２０１から補正値予測回路２０２に補正値予測トリガが与えられることはない。この６番目のフレームにおいては、まず、遮光画素アレイ部１１Ｂから複数行分の画素信号（１番目、２番目のフレームで読み出される行数の半分）の読み出しが行われる。
【００６６】
これにより、上述の５番目のフレームで遮光画素アレイ部１１Ｂから読み出された複数行分の画素信号と合わせて平均化によってランダムノイズが抑制された補正値を得るために必要十分な行数の画素信号の読み出しが行われたことになり、補正値算出回路２０１でその複数行分の画素信号が列ごとに平均された補正値（６）が求められ、補正値格納メモリ２０３に格納され、補正値の更新が行われる。
【００６７】
そして、この６番目のフレームにおいては、次に、有効画素アレイ部１１Ａからの画素信号の読み出しが行われ、補正回路２０４で、その画素信号が補正値格納メモリ２０３に格納されているそのフレームの補正値（６）が用いられて補正される。
【００６８】
以下、７番目以降のフレームにおいては、上述した５番目のフレームと６番目のフレームと同様の動作が交互に行われていく。
【００６９】
以上説明したように、図１に示すＣＭＯＳイメージセンサ１０において、縦筋状固定パターンノイズ除去回路２０の補正値算出回路２０１で補正値（第１の補正値）を得るための、遮光画素アレイ部１１Ｂからのランダムノイズが抑制された補正値を得るために必要十分な行数の画素信号の読み出しは、３番目以降のフレームでは、２フレームに分割して行われる。そのため、１フレームにおける遮光画素アレイ部からの画素信号の読み出しの時間を短くでき、所定のフレームレートを維持することが可能となる。
【００７０】
図９は、従来技術と本技術における３番目以降のフレームの周期を比較して示している。図９（ａ）は、従来技術の場合を示しており、３番目以降のフレームでも、各フレームにおいて、遮光画素アレイ部からランダムノイズが抑制された補正値を得るために必要十分な行数の画素信号の読み出しが行われることから、フレーム周期Ｔａがその分だけ長くなる。図９（ｂ）は、本技術の場合を示しており、３番目以降のフレームでは、各フレームにおいて、遮光画素アレイ部から読み出される画素信号の行数は従来技術の半分とされることから、フレーム周期Ｔｂを、従来技術のフレーム周期Ｔａより短くすることが可能で、従来技術よりフレームレートを高めることができ、それにより所定のフレームレートを維持することが可能となる。
【００７１】
また、図１に示すＣＭＯＳイメージセンサ１０において、３番目以降のフレームでは、２フレームの間隔にあたる第１のフレームでは、縦筋状固定パターンノイズ除去回路２０の補正値算出回路２０１で求められた補正値（第１の補正値）で補正が行われ、またこの第１のフレーム以外の第２のフレームでは、縦筋状固定パターンノイズ除去回路２０の補正値予測回路２０２で過去の第１のフレームで求められた補正値（第１の補正値）に基づいて予測された予測補正値（第２の補正値）で補正が行われる。そのため、全てのフレームで更新された補正値により補正が行われることとなり、温度変化により追従した適切な補正が可能となる。
【００７２】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【００７３】
＜２．変形例＞
なお、上述実施の形態において、補正値予測回路２０２では、線形の補間処理を行って予測値を求める例を示した。しかし、補正値予測回路２０２では、任意の関数を用いて非線形補間をすることができ、例えば温度変化への追従であることを考慮して、指数関数を用いて補間することも考えられる。
【００７４】
また、上述実施の形態においては、遮光画素アレイ部１１Ｂから読み出される複数行分の画素信号に関しては、センサ起動後の１番目、２番目のそれぞれのフレームでは平均化によってランダムノイズが抑制された補正値を得るために必要十分な行数の読み出しが行われ、その後のフレームでは、２フレームのトータルで必要十分な行数の読み出しが行われる例を示した。しかし、３番目以降のフレームでは、３フレーム以上の所定フレーム数のトータルで必要十分な行数の読み出しが行われる例も考えられる。
【００７５】
その場合、補正値算出回路２０１では、センサ起動後の１番目、２番目のそれぞれのフレームに対応して、そのフレームで遮光画素アレイ部１１Ｂから読み出された複数行分の画素信号を列ごとに平均して補正値が求められる。また、補正値算出回路２０１は、その後の所定フレーム数の間隔にあたる第１のフレームのそれぞれに対応して、そのフレームを含む最新の所定フレーム数で遮光画素アレイ部１１Ｂから読み出された複数行分の画素信号を列ごとに平均した補正値が求められる。また、補正値予測回路２０２では、第１のフレーム以外の第２のフレームに対応して、そのフレームより過去の第１のフレームで求められた補正値が参照されて、予測補正値が求められる。
【００７６】
図１０は、例えば、所定フレーム数が３フレームである場合における予測補正値の求め方の一例を示している。なお、図において、かっこ内の数字は、フレーム番号を示している。１番目、２番目、５番目、８番目、・・・のフレームに対応して、補正値算出回路２０１により補正値（第１の補正値）が求められる。
【００７７】
３番目のフレームに対応して、２番目のフレームに対応して求められた補正値（２）から１番目のフレームに対応して求められた補正値（１）を減算して得られた値を補正値（２）に加算して、予測補正値（３）が求められる。また、４番目のフレームに対応して、その減算値を予測補正値（３）に加算して、予測補正値（４）が求められる。
【００７８】
また、６番目のフレームに対応して、５番目のフレームに対応して求められた補正値（５）から２番目のフレームに対応して求められた補正値（２）を減算して得られた値を１/３にして補正値（５）に加算して、予測補正値（６）が求められる。また、７番目のフレームに対応して、その１/３にされた減算値を予測補正値（６）に加算して、予測補正値（７）が求められる。以下、同様である。
【００７９】
また、上述実施の形態においては、ＡＤＣ回路１９、縦筋状固定パターンノイズ除去回路２０およびデジタルアンプ２１をチップ２３の外部に配置した構成のＣＭＯＳイメージセンサ１０Ａに適用した場合を例に挙げて説明した。しかし、図１１に示すように、ＡＤＣ回路１９、縦筋状固定パターンノイズ除去回路２０およびデジタルアンプ２１を、垂直駆動回路１２、シャッタ駆動回路１３、カラム信号処理回路１４、水平駆動回路１５、水平信号線１６、アナログアンプ１７およびタイミングジェネレータ１８と共に、画素アレイ部１１と同じチップ２３上に集積してなるＣＭＯＳイメージセンサ１０Ｂにも同様に適用可能である。
【００８０】
さらに、上述実施の形態においては、ＣＭＯＳイメージセンサに適用した場合を例に挙げて説明した。しかし、本技術は、ＣＭＯＳイメージセンサへの適用に限られるものではなく、ＭＯＳ型イメージセンサに代表されるＸ−Ｙアドレス型固体撮像装置全般に適用可能である。
【００８１】
また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【００８２】
また、本技術は、以下のような構成を取ることもできる。
（１）光電変換素子を含む画素が行列状に２次元配置されてなる有効画素アレイ部と、
上記有効画素アレイ部の各画素と同じ画素構造を持つ画素が遮光された状態で上記有効画素アレイ部の列ごとに少なくとも１行分配置されてなる遮光画素アレイ部と、
フレームごとに、上記遮光画素アレイ部から複数行分の画素信号を読み出し、続いて上記有効画素アレイ部の画素信号を読み出す駆動回路と、
所定フレーム数の間隔にあたる第１のフレームに対応して該フレームを含む最新の上記所定数のフレームで上記遮光画素アレイ部から読み出された複数行分の画素信号を列ごとに平均して第１の補正値を求める補正値算出回路と、
上記第１のフレーム以外の第２のフレームに対応した第２の補正値を、過去の上記第１のフレームで求められた複数の上記第１の補正値に基づいて予測する補正値予測回路と、
上記第１のフレームでは上記有効画素アレイ部から読み出された各行の画素信号を上記第１の補正値を用いて補正し、上記第２のフレームでは上記有効画素アレイ部から読み出された各行の画素信号を上記第２の補正値を用いて補正する補正回路と
を備える固体撮像装置。
（２）上記補正値予測回路は、上記複数の第１の補正値を用いた線形または非線形の補間処理によって上記第２の補正値を予測する
前記（１）に記載の固体撮像装置。
（３）上記所定フレーム数は２フレームである
前記（１）または（２）に記載の固体撮像装置。
（４）上記補正値予測回路は、上記所定フレーム数の間隔にあたるフレーム以外の第２のフレームに対応した第２の補正値を、過去の最も新しい第１のフレームで求められた上記第１の補正値から上記過去の次に新しい第１のフレームで求められた上記第１の補正値を減算して得られた値を上記過去の最も新しい第１のフレームで求められた上記第１の補正値に加算して求める
前記（３）に記載の固体撮像装置。
（５）光電変換素子を含む画素が行列状に２次元配置されてなる有効画素アレイ部と、
上記有効画素アレイ部の各画素と同じ画素構造を持つ画素が遮光された状態で上記有効画素アレイ部の列ごとに少なくとも１行分配置されてなる遮光画素アレイ部を備える固体撮像装置の駆動に当たって、
フレームごとに、上記遮光画素アレイ部から複数行分の画素信号を読み出し、続いて上記有効画素アレイ部の画素信号を読み出し、
所定フレーム数の間隔にあたる第１のフレームでは、上記有効画素アレイ部から読み出された各行の画素信号を、上記第１のフレームに対応して該フレームを含む最新の上記所定数のフレームで上記遮光画素アレイ部から読み出された複数行分の画素信号を列ごとに平均した第１の補正値を用いて補正し、
上記第１のフレーム以外の第２のフレームでは、過去の上記第１のフレームで求められた複数の上記第１の補正値に基づいて予測された第２の補正値を用いて補正する
固体撮像装置の駆動方法。
【符号の説明】
【００８３】
１０Ａ，１０Ｂ・・・ＣＭＯＳイメージセンサ
１１・・・画素アレイ部
１１Ａ・・・有効画素アレイ部（開口領域）
１１Ｂ・・・遮光画素アレイ部（遮光領域）
１２・・・垂直駆動回路
１３・・・シャッタ駆動回路
１４・・・カラム信号処理回路
１５・・・水平駆動回路
１６・・・水平信号線
１７・・・アナログアンプ
１８・・・タイミングジェネレータ
１９・・・ＡＤＣ回路
２０・・・縦筋状固定パターンノイズ除去回路
２１・・・デジタルアンプ
２３・・・チップ
１１１・・・画素
１１２・・・垂直信号線
１４１・・・ＣＤＳ回路
１４２・・・ラインメモリ
２０１・・・補正値算出回路
２０２・・・補正値予測回路
２０３・・・補正値格納メモリ
２０４・・・補正回路
【図１】
2020039066.tif 000003
【図２】
2020039066.tif 000004
【図３】
2020039066.tif 000005
【図４】
2020039066.tif 000006
【図５】
2020039066.tif 000007
【図６】
2020039066.tif 000008
【図７】
2020039066.tif 000009
【図８】
2020039066.tif 000010
【図９】
2020039066.tif 000011
【図１０】
2020039066.tif 000012
【図１１】
2020039066.tif 000013