(57)【要約】【課題】  画素列毎に適切な露光時間の長さを設定できるようにすること。【解決手段】  リセット制御レジスタ１６に保持されている制御ビットが（０、１）である場合に、第１リセットラインＲ１でのみリセット動作を行い、（１、０）である場合に、第２リセットラインＲ２でのみリセット動作を行う。また、制御ビットが（０、０）である場合に、第１リセットラインＲ１及び第２リセットラインＲ２のいずれでもリセット動作を行わせず、（１、１）である場合に、第１リセットラインＲ１及び第２のリセットラインの両方でリセット動作を同時に行わせるようにした。そのため、ライン毎にリセットタイミングを設定することができ、例えば、単に１ラインずつ順次リセットさせて全てのラインに同じ露光時間を設定する方法と異なり、画素列毎に適切な露光時間の長さを設定することができる。【選択図】  図５
2006148621.tif 000002
【特許請求の範囲】
【請求項１】
リセット、露光及び読み出しを各ラインに順次行うことでローリングシャッタを実現している撮像素子であって、前記ラインを複数同時にリセットさせるリセット手段を備えたことを特徴とする撮像素子。
【請求項２】
前記リセット手段は、複数のラインを特定するライン特定手段と、その特定されたラインをリセットさせるか否かを示す制御信号に基づいて当該特定されたラインのリセットを制御するリセット制御手段とを備えたことを特徴とする請求項１に記載の撮像素子。
【請求項３】
前記ライン特定手段は、各ラインを順次特定する自走カウンタと、その自走カウンタで特定されたラインと第１の露光時間を設定するための第１のオフセット量とに基づいて第１のラインを特定する第１ライン特定手段と、前記自走カウンタで特定されたラインと前記第１の露光時間より短い第２の露光時間を設定するための第２のオフセット量とに基づいて第２のラインを特定する第２ライン特定手段とを備えたことを特徴とする請求項２に記載の撮像素子。
【請求項４】
前記リセット制御手段は、前記ライン特定手段で特定されたラインをリセットしない場合には、当該リセットをしないラインに代えて画像を形成しないラインをリセットすることを特徴とする請求項２又は３に記載の撮像素子。
【請求項５】
少なくとも１つのラインを特定する読み出しライン特定手段と、その特定されたラインの読み出しを制御する読み出し制御手段と、前記特定されたラインのうち前記読み出しが行われたラインのみを当該読み出しの直後にリセットする直後リセット手段とを備えたことを特徴とする請求項２から４のいずれか１項に記載の撮像素子。
【請求項６】
自素子に送信される前記制御信号を取得する制御信号受信手段を備え、前記リセット制御手段は、その取得された制御信号に基づいて前記ライン特定手段で特定されたラインのリセットを制御することを特徴とする請求項２から５のいずれか１項に記載の撮像素子。
【請求項７】
請求項６に記載の撮像素子を備えた撮像装置であって、前記撮像素子で撮像された画像内の各ラインの輝度値をライン毎に評価し、その評価結果に基づいて前記制御信号を生成する制御信号生成手段と、その生成された制御信号を前記撮像素子に取得させる制御信号送信手段とを備えたことを特徴とする撮像装置。
【請求項８】
前記制御信号生成手段は、前記撮像素子の各ラインの露光時間を示すコードを格納するコード格納手段と、リセットを実行可能なラインを特定するリセットライン特定手段と、そのライン特定手段で特定されたラインの露光時間を示すコードを前記コード格納手段から読み出し、その読み出されたコードに基づいて前記制御信号を生成する信号生成手段と、その生成された制御信号に基づいて前記撮像素子で撮像された画像の輝度値をライン毎に評価し、その評価結果に基づいて前記格納手段に格納されている各ラインのコードを更新するコード更新手段とを備えたことを特徴とする請求項７に記載の撮像装置。
【請求項９】
１フレーム期間に標準露光時間で第１の画像を撮像すると共に前記標準露光時間より短い短露光時間で第２の画像を撮像し、その第１の画像内で輝度値が最大値となっている飽和画素を前記第２の画像内の画素と置き換えることで撮像画像を生成する撮像装置であって、前記第１の画像及び前記第２の画像を撮像する前記請求項１から５のいずれか１項に記載の撮像素子と、先行するフレーム期間に前記撮像素子で撮像された前記第２の画像内の各ラインの飽和状態に基づいて、引き続くフレーム期間における前記短露光時間の長さを前記ライン毎に設定する短露光時間設定手段とを備えたことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、標準露光時間で撮像された画像と短露光時間で撮像された画像とで、ダイナミックレンジの広い画像を得る撮像装置と当該撮像装置に好適な撮像素子に関する。
【背景技術】
【０００２】
従来、この種の撮像素子を用いる撮像装置としては、１フレーム期間に２種類の露光時間（標準露光時間、短露光時間）で画像を撮像し、標準露光時間で撮像された画像内で輝度値が最大値となっている画素を短露光時間で撮像された画像内の画素と置き換えることで、ダイナミックレンジの広い画像を生成するものがある（例えば、特許文献１参照）。
この特許文献１の撮像装置の撮像素子にあっては、まず、各ライン（画素列）を平面視上側から平面視下側まで順次リセットし、そのリセットされた画素列のうち標準露光時間経過したものから順次電荷を読み出す。そして、その電荷の読み出しを終えた画素列のうち所定時間経過したものから順次リセットし、そのリセットされた画素列のうち短露光時間経過したものから順次電荷を読み出すようになっている。即ち、撮像素子は、標準露光時間後の電荷を読み出す画素列、所定時間後のリセット動作を実行する画素列及び短露光時間後の電荷を読み出す画素列が順次移動するローリングシャッタを実現している。
【特許文献１】特開２００３―１９８９４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の撮像素子にあっては、単に各画素列（１つの画素列）を順次リセットするようになっているため、全ての画素列に同じ短露光時間しか設定することができなかった。それゆえ、例えば、コントラストが高い被写体を撮像する場合には、撮像素子に蓄積される電荷が飽和しないように、短露光時間が短く設定されると、入射光量が少ない暗部で撮像素子から読み出される電荷（画像信号）のＳ／Ｎ比が必要以上に悪化してしまう恐れがあった。また、短露光時間が長く設定されると、入射光量が多い明部で撮像素子から出力される画像信号が飽和してしまい、前記画素の置き換えが行われても、生成される画像がダイナミックレンジの広いものとならない恐れがあった。
【０００４】
本発明は、上記従来の技術の未解決の課題を解決することを目的とするものであって、ライン毎に露光時間を設定可能な撮像素子及び撮像装置を提供することを課題とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するために、本発明の撮像素子は、リセット、露光及び読み出しを各ラインに順次行うことでローリングシャッタを実現している撮像素子であって、前記ラインを複数同時にリセットさせるリセット手段を備えたことを特徴とする。
また、前記リセット手段は、複数のラインを特定するライン特定手段と、その特定されたラインをリセットさせるか否かを示す制御信号に基づいて当該特定されたラインのリセットを制御するリセット制御手段とを備えるようにしてもよい。
【０００６】
さらに、前記ライン特定手段は、各ラインを順次特定する自走カウンタと、その自走カウンタで特定されたラインと第１の露光時間を設定するための第１のオフセット量とに基づいて第１のラインを特定する第１ライン特定手段と、前記自走カウンタで特定されたラインと前記第１の露光時間より短い第２の露光時間を設定するための第２のオフセット量とに基づいて第２のラインを特定する第２ライン特定手段とを備えるようにしてもよい。
【０００７】
また、前記リセット制御手段は、前記ライン特定手段で特定されたラインをリセットしない場合には、当該リセットをしないラインに代えて画像を形成しないラインをリセットするようにしてもよい。画像を形成しないラインとしては、例えば、暗電流補正のために遮光されたライン等が挙げられる。
さらに、少なくとも１つのラインを特定する読み出しライン特定手段と、その特定されたラインの読み出しを制御する読み出し制御手段と、前記特定されたラインのうち前記読み出しが行われたラインのみを当該読み出しの直後にリセットする直後リセット手段とを備えるようにしてもよい。
【０００８】
また、自素子に送信される前記制御信号を取得する制御信号受信手段を備え、前記リセット制御手段は、その取得された制御信号に基づいて前記ライン特定手段で特定されたラインのリセットを制御するようにしてもよい。
この構成によれば、撮像素子のライン毎にリセットタイミングを設定することができ、例えば、単に１ラインずつ平面視上側から順次リセットさせて全てのラインに同じ露光時間を設定する方法と異なり、ライン毎に適切な露光時間の長さを設定することができる。
【０００９】
本発明の撮像装置は、請求項６に記載の撮像素子を備えた撮像装置であって、前記撮像素子で撮像された画像内の各ラインの輝度値（飽和状態）をライン毎に評価（検出）し、その評価結果に基づいて前記制御信号を生成する制御信号生成手段と、その生成された制御信号を前記撮像素子に取得させる制御信号送信手段とを備えたことを特徴とする。
また、前記制御信号生成手段は、前記撮像素子の各ラインの露光時間を示すコードを格納するコード格納手段と、リセットを実行可能なラインを特定するリセットライン特定手段と、そのライン特定手段で特定されたラインの露光時間を示すコードを前記コード格納手段から読み出し、その読み出されたコードに基づいて前記制御信号を生成する信号生成手段と、その生成された制御信号に基づいて前記撮像素子で撮像された画像の輝度値（飽和状態）をライン毎に評価（検出）し、その評価結果に基づいて前記格納手段に格納されている各ラインのコードを更新するコード更新手段とを備えるようにしてもよい。
【００１０】
さらに、１フレーム期間に標準露光時間で第１の画像を撮像すると共に前記標準露光時間より短い短露光時間で第２の画像を撮像し、その第１の画像内で輝度値が最大値となっている飽和画素を前記第２の画像内の画素と置き換えることで撮像画像を生成する撮像装置であって、前記第１の画像及び前記第２の画像を撮像する前記請求項１から５のいずれか１項に記載の撮像素子と、先行するフレーム期間に前記撮像素子で撮像された前記第２の画像内の各ラインの飽和状態に基づいて、引き続くフレーム期間における前記短露光時間の長さを前記ライン毎に設定する短露光時間設定手段とを備えるようにしてもよい。
【００１１】
この構成によれば、先行するフレーム期間に短露光時間で撮像された画像内の所定のライン（画素列）に飽和画素がない場合には、その画素列における短露光時間を長く設定し、また、前記画素列に１０％以上の飽和画素がある場合には、前記画素列における短露光時間を短く設定することで、引き続くフレーム期間に短露光時間で撮像される画像において各画素列それぞれでＳ／Ｎ比を向上させると共に飽和画素の数を少なくすることができる。そのため、標準露光時間で撮像された画像内で輝度値が最大値の画素を、前記設定された短露光時間で撮像された画像内の画素と置き換えることで、例えば、全領域において同じ短露光時間で撮像された画像を用いて前記置き換えを実行する方法に比べ、よりダイナミックレンジが広く、且つ、よりＳ／Ｎ比が高い画像を生成することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の撮像素子及び撮像装置の一実施形態を、図面に基づいて説明する。
この撮像装置１は、１フレーム期間に２種類の露光時間（標準露光時間、短露光時間）で画像を撮像する撮像素子を備える。即ち、本発明の撮像素子は、各ライン（画素列）を平面視上側から平面視下側まで順次リセットする処理と、リセット後に特定の露光時間経過したものから順次電荷を読み出す処理とが同時に実行される（但し、「リセット」と「読み出し」は別々のライン番号）。具体的には、図１に示すように、標準露光時間経過後に電荷の読み出しを終えた画素列から第１所定時間経過した画素列（ライン）又は第２所定時間経過した画素列（ライン）を順次リセットし、また、標準露光読み出しとは別に、前記リセットから第３所定時間経過した画素列（ライン）から順次電荷を読み出すようになっている（短露光時間読み出し）。つまり、本発明の撮像素子は、図１に示すように、標準露光時間後に電荷を読み出す画素列（以下、「標準露光読出ラインＬ」とも呼ぶ。）、第１所定時間後にリセット動作を実行させる画素列（以下、「第１リセットラインＲ１」とも呼ぶ。）、第２所定時間後にリセット動作を実行させる画素列（以下、「第２リセットラインＲ２」とも呼ぶ。）及び短露光時間（第３所定時間）後に電荷を読み出す画素列（以下、「短露光読出ラインＳ」とも呼ぶ。）が順次移動するローリングシャッタを実現している。これにより、第１リセットラインＲ１と第２リセットラインＲ２とで選択される２画素列を同時にリセットさせるようになっている。なお、本実施形態において、標準露光時間とは、短露光時間読み出しが実行され、その直後のリセットが実行されてから、次の読み出しが行われるまでの時間である。短露光時間とは、第１リセットラインＲ１もしくは第２リセットラインＲ２でのリセットが実行されてから、次の読み出しが行われるまでの時間である。
【００１３】
そして、撮像装置１にあっては、標準露光時間で撮像された画像内で輝度値が飽和している（出力階調の最大値である）画素を短露光時間で撮像された画像内の対応画素と置き換えることで、ダイナミックレンジの広い画像を得ることができるようになっている。
またその際、この撮像装置１は、先行するフレーム期間において短露光時間と標準露光時間とで撮像された画像の輝度値の大小（明るさ）を画素列毎に評価し、その評価結果に基づいて、引き続くフレーム期間における短露光時間と標準露光時間とを画素列毎に設定するようになっている。即ち、本発明の撮像装置１は、短露光時間において飽和画素となってしまう部分がある場合、その部分を含む画素列の短露光時間をより短くする制御を行う。なお、明るさの評価方法としては、画素列毎に短露光時間で撮像された画像内で輝度値が飽和している画素の総和を評価値とする方法が挙げられる。また、露光時間の制御方法としては、前記評価値がある所定値（例えば１０％）以上であった画素列の短露光時間をより短くし、前記評価値（飽和画素の総和）が０の画素列の短露光時間を長くする方法が挙げられる。
【００１４】
＜撮像装置の構成＞
図２は、本発明の撮像装置の一実施形態の内部構成を示すブロック図である。この図２に示すように、撮像装置１は、撮像素子２、ＡＦＥ(Analog Front End)３、及びＤＳＰ(Digital Signal Processor)４を含んで構成される。
まず、本発明の撮像素子の構成を示す。
撮像素子２は、図３に示すように、通信部（受信）５、読出ラインスキャナ６、複数ラインリセットスキャナ７、基準タイミング発生器８、駆動パルス発生器９、センサセルアレイ１０、及び水平転送部１１を含んで構成される。
【００１５】
通信部（受信）５は、図４に示すように、ＤＳＰ４の通信部（送信）３９（後述）から送信されるシリアル通信データをパラレルデータ（標準露光読出カウンタ１７（後述）の値と短露光読出カウンタ１８（後述）の値との位相差（第０オフセット量）、短露光読出ラインに対する第１リセットラインＲ１の行番号の第１オフセット量、短露光読出ラインに対する第２リセットラインＲ２の行番号の第２オフセット量、第１リセットラインＲ１と第２リセットラインＲ２とでリセット動作を実行するか否かを示す制御ビット（後述））に変換し、その変換されたパラレルデータを、第０オフセットレジスタ１３、第１オフセットレジスタ１４、第２オフセットレジスタ１５及びリセット制御レジスタ１６に出力する。そして、レジスタ群１３〜１６は、前記第０〜第２オフセット量と前記制御ビットとを保持して読出ラインスキャナ６と複数ラインリセットスキャナ７とに出力する。ここで、第０オフセットレジスタ１３は、前記第０オフセット量を保持するレジスタである。また、第１オフセットレジスタ１４は、前記第１オフセット量を保持するレジスタである。さらに第２オフセットレジスタ１５は、前記第２オフセット量を保持するレジスタである。
【００１６】
さらに、リセット制御レジスタ１６は、制御ビットを保持するレジスタである。ここで、本実施形態では、制御ビットを２ビットデータとし、仮に（ＣＲ２、ＣＲ１）とする。各ビットＣＲ２、ＣＲ１は独立した機能を有する。即ち、ＣＲ１は、第１リセットラインＲ１のリセット実行／不実行を制御するビットである。また同様に、ＣＲ２は、第２リセットラインＲ２のリセット実行／不実行を制御するビットである。つまり、制御ビットが、（１、０）のときには第２リセットラインＲ２でのみリセット動作を実行させ、また、（０、１）のときには第１リセットラインＲ１でのみリセット動作を実行させる。さらに、制御ビットが、（０、０）のときには第１リセットラインＲ１及び第２リセットラインＲ２のいずれでもリセット動作を実行させず、また、（１、１）のときには第１リセットラインＲ１及び第２リセットラインＲ２の両方でリセット動作を実行させることを示す。但し、この場合は、第２リセットラインＲ２でのリセットのみ有効となる（超短露光）。
【００１７】
なお、第０オフセットレジスタ１３、第１オフセットレジスタ１４、第２オフセットレジスタ１５は、撮像動作開始時に１回、もしくはフレーム単位（秒もしくはミリ秒のオーダ）で書き換えられる。一方、リセット制御レジスタ１６は、ライン単位で書き換えられる（水平同期信号（マイクロ秒のオーダ）に同期）。なお、その際、ライン単位の通信処理の実行が必要となるものの、後述するように制御ビットは僅か２ビットのデータであるため、ＤＳＰ４と撮像素子２とのいずれにも負荷とはならない。
【００１８】
また、図３に示す読出ラインスキャナ６は、その内部に標準露光読出ラインＬの行番号（以下、「標準読出ライン番号」とも呼ぶ。）を与える標準露光読出カウンタ１７と、短露光読出ラインＳの行番号（以下、「短読出ライン番号」とも呼ぶ。）を与える短露光読出カウンタ１８とを含んで構成される。標準露光読出カウンタ１７は、後述するＤＳＰ４から出力される垂直同期信号と水平同期信号に基づいて、自走（カウントアップ）するカウンタである。具体的には、基準タイミング発生器８から出力される水平同期信号に同期した制御信号によって自走する。また、短露光読出カウンタ１８は、標準露光読出カウンタ１７の値と、第０オフセットレジスタ１３の値（第０オフセット量）とに基づいて、短読出ライン番号を算出する。即ち、短読出ライン番号は、自走する標準読出ライン番号に対してあるオフセット量をもって自走する。また、読出ラインスキャナ６は、標準露光読出カウンタ１７の値（標準読出ライン番号）と短露光読出カウンタ１８の値（短読出ライン番号）とが示す行番号の読み出し線３２（後述）をそれぞれ駆動させる信号を駆動パルス発生器９に出力する。即ち、標準読出ライン番号と短読出ライン番号とをデコードし、そのデコード結果に基づいて、有効な読み出し線３２のみアクティブにする信号を駆動パルス発生器９に出力する。また、読出ラインスキャナ６は、標準露光読出カウンタ１７の値と短露光読出カウンタ１８の値とを複数ラインリセットスキャナ７に出力する。
【００１９】
複数ラインリセットスキャナ７は、図５に示すように、第１飽和処理器加算器１９、第１リセットレジスタ２０、第１リセットアドレスデコーダ２１、第２飽和処理器加算器２２、第２リセットレジスタ２３、第２リセットアドレスデコーダ２４、第３リセットアドレスデコーダ２５、第４リセットアドレスデコーダ２６、及びＯＲロジック２７を含んで構成される。
【００２０】
第１飽和処理器加算器１９は、読出ラインスキャナ６の短露光読出カウンタ１８の値（短読出ライン番号）に、通信部（受信）５の第１オフセットレジスタ１４の値（第１オフセット量）を加算する。なお、加算結果が撮像素子２の総ライン数を超える場合は、飽和処理を施し、自走するライン番号のオフセット量を維持する。そして、第１飽和処理器加算器１９は、その結果（以下、「第１リセットライン番号」とも呼ぶ。）を第１リセットレジスタ２０に保持させる。ここで、第１リセットレジスタ２０は、第１リセットライン番号を保持するためのレジスタである。
【００２１】
また、本実施形態では、構成を簡単なものとするために、リセット制御レジスタ１６の値（制御ビット）が第１リセットラインＲ１でのリセット動作の実行を示すもの（例えば、（０、１）又は（１、１））である場合、第１飽和処理器加算器１９から出力される第１リセットライン番号を第１リセットレジスタ２０に保持させる。また、制御ビットが第１リセットラインＲ１でのリセット動作の不実行を示すもの（例えば、（１、０）又は（０、０））である場合には第１リセットラインＲ１に該当する行番号が無いことを意味する「０」を保持させる（本実施形態では、行番号は「１」から始まるものとする）。
【００２２】
さらに、第１リセットアドレスデコーダ２１は、第１リセットレジスタ２０の値が示す行番号に対応するライン信号のみ有効「１」（当該ライン信号に対応する行番号の画素列にリセット動作を実行する状態）とし、他の行番号に対応するライン信号を無効「０」（当該ライン信号に対応する行番号の画素列にリセット動作を不実行とする状態）とするライン信号群（第１リセットラインＲ１の行番号のみを有効とする信号群）を生成する。そして、第１リセットアドレスデコーダ２１は、その生成されたライン信号群をＯＲロジック２７に出力する。なお、第１リセットレジスタ２０の値が「０」である場合には、全ての行番号のライン信号を無効「０」とするライン信号群をＯＲロジック２７に出力する。
【００２３】
また、第２飽和処理器加算器２２は、読出ラインスキャナ６の短露光読出カウンタ１８の値（短読出ライン番号）に、通信部（受信）５の第２オフセットレジスタ１５の値（第２オフセット量）を加算する。なお、加算結果が撮像素子２の総ライン数を超える場合は、飽和処理を施し、自走するライン番号のオフセット量を維持する。そして、第２飽和処理器加算器２２は、その結果（以下、「第２リセットライン番号」とも呼ぶ。）を第２リセットレジスタ２３に保持させる。ここで、第２リセットレジスタ２３は、第２リセットライン番号を保持するためのレジスタである。
【００２４】
また、本実施形態では、構成を簡単なものとするために、リセット制御レジスタ１６の値（制御ビット）が第２リセットラインＲ２でのリセット動作の実行を示すもの（例えば、（１、０）又は（１、１））である場合、第２飽和処理器加算器２２から出力される第２リセットライン番号を第２リセットレジスタ２３に保持させる。また、制御ビットが第２リセットラインＲ２でのリセット動作の不実行を示すもの（例えば、（０、１）又は（０、０））である場合には第２リセットラインＲ２に該当する行番号が無いことを意味する「０」を保持させる（本実施形態では、行番号は「１」から始まるものとする）。
【００２５】
さらに、第２リセットアドレスデコーダ２４は、第２リセットレジスタ２３の値が示す行番号のライン信号のみ有効「１」とし、他の行番号のライン信号を無効「０」とするライン信号群（第２リセットラインＲ２のみを有効とするための信号群）を生成する。そして、第２リセットアドレスデコーダ２４は、その生成されたライン信号群をＯＲロジック２７に出力する。なお、第２リセットレジスタ２３の値が「０」である場合には、全ての行番号のライン信号を無効「０」とするライン信号群をＯＲロジック２７に出力する。
【００２６】
第３リセットアドレスデコーダ２５は、読出ラインスキャナ６の短露光読出カウンタ１８の値（短読出ライン番号）が示す行番号のライン信号のみを有効「１」とし、他の行番号のライン信号を無効「０」とするライン信号群を生成する。そして、第３リセットアドレスデコーダ２５は、その生成されたライン信号群をＯＲロジック２７に出力する。
第４リセットアドレスデコーダ２６は、読出ラインスキャナ６の標準露光読出カウンタ１７の値（標準読出ライン番号）が示す行番号のライン信号のみ有効「１」とし、他の行番号のライン信号を無効「０」としたライン信号群を生成する。そして、第４リセットアドレスデコーダ２６は、その生成されたライン信号群をＯＲロジック２７に出力する。
【００２７】
また、ＯＲロジック２７は、第１〜第４リセットアドレスデコーダ２１、２４、２５及び２６から出力されるライン信号をライン毎にＯＲ演算する。ここで、あるラインのみに着目したＯＲロジック２７を図６に示す。この図６に示すように、ＯＲロジック２７は、４入力１出力の論理和回路である。また、ＯＲロジック２７は、図６の構成要素（ＯＲユニット）２８をライン数分含んで構成される。ＯＲユニット２８は、第１〜第４リセットアドレスデコーダ２１、２４、２５及び２６それぞれから出力されるライン信号のうち、当該ＯＲユニット２８が対応する行番号のライン信号が入力される。そして、ＯＲユニット２８は、その入力されるライン信号のいずれかに「１」が含まれている場合には、対応する行番号のリセット線３１のライン信号を「１」とする。また、いずれにも「１」が含まれていない場合、つまり、全て「０」である場合には、対応する行番号のリセット線３１のライン信号を「０」とする。そして、ＯＲロジック２７は、その演算結果を駆動パルス発生器９に出力する。
【００２８】
さらに、図３に示すように、基準タイミング発生器８は、ＤＳＰ４のＴＧ３７（後述）から出力される水平同期信号や垂直同期信号に基づき、センサセルアレイ１０のリセット線３１及び読み出し線３２を駆動するための基準タイミングを生成する。そして、基準タイミング発生器８は、その生成された基準タイミングを駆動パルス発生器９に出力する。また、基準タイミング発生器８は、標準露光読出カウンタ１７を自走させるための制御信号を読出ラインスキャナ６に出力する。さらに、基準タイミング発生器８は、第０〜第２オフセットレジスタ１３〜１５及びリセット制御レジスタ１６の更新タイミングを与える制御信号を複数ラインリセットスキャナ７に出力する。
【００２９】
また、駆動パルス発生器９は、基準タイミング発生器８から出力される基準タイミングに従い、複数ラインリセットスキャナ７（ＯＲロジック２７）から出力されるライン信号で有効「１」と示される行番号の画素列に対応するリセット線３１（図７参照）を、特定のタイミングで駆動する。また、基準タイミング発生器８から出力される基準タイミングに従い、読出ラインスキャナ６から出力される読み出しライン信号で示される行番号に対応する読み出し線３２（図７参照）を、特定のタイミングで駆動する。ここで、「特定のタイミング」と記したが、本発明では限定しないことを意味する。
【００３０】
さらに、センサセルアレイ１０は、図７に示すように、平面視でマトリックス状に配された複数のセンサセル２９と、平面視で横方向に並んでいる各センサセル２９列それぞれに対応して設けられた複数のアドレス線３０、複数のリセット線３１、及び複数の読み出し線３２とを含んで構成される。そして、センサセルアレイ１０は、撮像レンズ（不図示）で集光された光を各センサセル２９で電荷に変換して蓄積する。また、対応するリセット線３１が駆動されるとリセット動作（蓄積中の電荷を破棄する動作）を実行する。さらに、対応する読み出し線３２が駆動されると蓄積中の電荷を水平転送部１１に出力する。
【００３１】
さらに、図３に示すように、水平転送部１１は、センサセルアレイ１０（１画素列分のセンサセル２９）から出力された電荷群（１画素列分の電荷）を順次ＡＦＥ３に転送する。
次に、本発明の撮像装置の構成を説明する。本発明の撮像装置は、前述の撮像素子２、ＡＦＥ３及びＤＳＰ４を含んで構成される。
【００３２】
ＡＦＥ３は、図７に示すように、撮像素子２（水平転送部１１）から転送される電荷（電圧）をクランプ回路３３でクランプする。そして、ＡＦＥ３は、そのクランプされた電圧をＡＭＰ３４で増幅し、その増幅された電圧をＡＤＣ３５でデジタル画像信号（１画素列分の画像を示す信号）としてＤＳＰ４のプリプロセス部３６（後述）に出力する。
さらに、ＤＳＰ４は、図９に示すように、プリプロセス部３６、ＴＧ（タイミング制御部）３７、ＡＬＣ(Automatic Level Control)３８、通信部（送信）３９、及び画素値計算部４０を含んで構成される。ここで、ＡＬＣ３８は、撮像画像の明るさを制御するロジックであり、飽和が無く、Ｓ／Ｎが良好な画像が得られるように、露光時間を制御する。
【００３３】
構成の説明に先立ち、本発明の重要な概念である露出コードを説明する。本実施形態の露出コードは、コード「１」、コード「２」、コード「３」の３種類である。
前記コード「１」は、第１リセットラインＲ１と第２リセットラインＲ２との両方でリセット動作を実行しない状態を示す。即ち、後述の図１１における「中露光」を示す。
前記コード「２」は、第１リセットラインＲ１でのみリセット動作を実行する状態を示す。即ち、後述の図１１における「短露光」を示す。
【００３４】
前記コード「３」は、第２リセットラインＲ２でのみリセット動作を実行する状態を示す。即ち、後述の図１１における「超短露光」を示す。
このように、本発明の撮像装置は、少なくとも３つの露光条件を制御している。
プリプロセス部３６は、図１０に示すように、ＡＦＥ３（ＡＤＣ３５）から出力されるデジタル画像信号を画素信号処理部４１で信号処理（例えば、黒レベル補正）し、その信号処理されたデジタル画像信号をＡＬＣ３８（最適露出コード判定機４３（後述））と画素値計算部４０とに出力する。また、プリプロセス部３６は、その信号処理されたデジタル画像信号の輝度値が飽和状態（出力階調の最大値）になっているか否かを判定する飽和判定部４２を含む。そして、プリプロセス部３６は、飽和判定部４２の判定結果（判定フラグ）を最適露出コード判定機４３に出力する。
【００３５】
図９に示すＴＧ３７は、水平同期信号及び垂直同期信号を生成して撮像素子２（基準タイミング発生器８）に出力する。また、ＴＧ３７は、標準読出ライン番号、短読出ライン番号、第１リセットライン番号、及び第２リセットライン番号を算出してＡＬＣ３８（最適露出コード判定機４３、センサリセット設定器４６）に出力する。なお、ＴＧ３７は、第１リセットライン番号及び第２リセットライン番号の読出ライン番号に対するオフセット量（第０オフセット量、第１オフセット量、第２オフセット量）を外部マイコン（不図示）で制御可能に構成されている。
【００３６】
また、ＡＬＣ３８は、図１０に示すように、最適露出コード判定機４３、メモリアービタ４４、ＥＴメモリ４５、及びセンサリセット設定器４６を含んで構成される。ここでＥＴメモリ４５はＥｘｐｏｓｕｒｅ  Ｔｉｍｅメモリの略で、画素列毎に露光時間に対応するコード（露出コード）を記録する。ここで「画素列毎に」とは、各画素列番号に対し、ＥＴメモリ４５の一つのアドレスを対応させることを意味する。
【００３７】
最適露出コード判定機４３は、飽和判定部４２から順次出力される判定フラグに基づいて画素列毎に露出条件が良好であるか否かを判定し、良好でない場合には、その露出条件を変更する。具体的には、まず、現在ＤＳＰ４に入力されている画像信号（飽和判定が行われている画素列）の露出条件を示す露出コード（「１」〜「３」の数値）をＥＴメモリ４５から読み出させる指令（以下、「読み出し指令」とも呼ぶ。）をメモリアービタ４４に出力する。なお、最適露出コード判定機４３には、ＴＧから読出ライン番号が入力され、この番号からＥＴメモリのアドレスを算出し、その算出されたアドレスを読み出し指令の一部とする。次いで、最適露出コード判定機４３は、飽和判定部４２から出力される判定フラグの数を計数し、その総数が１画素列の総数の所定の割合（例えば１０％）以上であるか否かを判定する。所定の割合以上と判断された場合には、前記読み出させた露出コードを示す数値に「１」を加算して短露光時間の短い新しい露出コードをＥＴメモリ４５に書き込ませる指令（以下、「書き込み指令」とも呼ぶ。）をメモリアービタ４４に出力する。また、前記判定フラグの総数が１画素列の総数の所定の割合より小さい場合には、前記判定フラグの数が０であるか否かを判定し、０である場合には、前記読み出した露出コードを示す数値から「１」を減算して短露光時間の長い新しい露出コードをＥＴメモリ４５に書き込ませる書き込み指令をメモリアービタ４４に出力する。なお、判定フラグの数が１画素列の総数の所定の割合より小さく且つ０でない場合には、前記読み出した露出コードを保持させる。
【００３８】
メモリアービタ４４は、最適露出コード判定機４３やセンサリセット設定器４６によるＥＴメモリ４５へのアクセスを調停する。具体的には、メモリアービタ４４は、最適露出コード判定機４３から読み出し指令が出力されると、露出条件を示す露出コードをＥＴメモリ４５から読み出し、その読み出された露出コードを最適露出コード判定機４３に出力する。また、メモリアービタ４４は、最適露出コード判定機４３から書き込み指令が出力されると、新しい露出コードをＥＴメモリ４５に書き込む。なお、アクセスすべきＥＴメモリのアドレスは、最適露出コード判定機４３において短読出ライン番号から算出され、その値がメモリアービタ４４へ出力される。さらに、メモリアービタ４４は、センサリセット設定器４６から露出コード読み出し指令が出力されると、露出コードをＥＴメモリ４５から読み出し、その露出コードをセンサリセット設定器４６に出力する。なお、センサリセット設定器４６においては、ＴＧ３７から第１リセットライン番号及び第２リセットライン番号が入力され、それらの番号からアクセスするＥＴメモリのアドレスを算出し、その値がメモリアービタ４４へ出力される。このアドレスに対応する露出コードがＥＴメモリ４５から読み出され、センサリセット設定器４６に出力させる。
【００３９】
ＥＴメモリ４５は、メモリアービタ４４から書き込み要求があると、露出コードを格納し、メモリアービタ４４から読み出し要求があると、露出コードをメモリアービタ４４へ出力する。なお、ＥＴメモリ４５は、初期状態にあっては、各画素列に対応する露出コードとして「２」を記録するようになっている。
また、センサリセット設定器４６は、ＴＧ３７から出力される第１リセットライン番号及び第２リセットライン番号に対応する露出コードをＥＴメモリ４５から読み出させる指令（以下、「露出コード読み出し指令」とも呼ぶ。）をメモリアービタ４４に出力する。センサリセット設定器４６は、メモリアービタ４４から、前記２つの露出コードを受け取ると、その２つの露出コードから制御ビット（２ビット）を生成する。そして、センサリセット設定器４６は、その制御ビットを通信部（送信）３９に出力する。
【００４０】
ここで、制御ビットの生成方法について説明する。第２リセットライン番号に対応する露出コードが「３」の場合、前述のとおり第２リセットライン番号に対応する行でリセット動作を行い、「１」又は「２」の場合、当該リセット動作は行わない。また、第１リセットライン番号に対応する露出コードが「２」の場合、前述のとおり第１リセットライン番号に対応する行でリセット動作を行い、「１」又は「３」の場合、当該リセット動作は行わない。これに基づいて、制御ビットを以下のように生成する。即ち、第２リセットライン番号に対応する露出コードが「３」の場合、制御ビット（ＣＲ２、ＣＲ１）は（１、Ｘ）とし、「１」又は「２」の場合、制御ビットは（０、Ｘ）とする。ここで、Ｘは「０」もしくは「１」を示す。また、第１リセットライン番号に対応する露出コードが「２」の場合、制御ビット（ＣＲ２、ＣＲ１）は（Ｘ、１）とし、「１」又は「３」の場合、（Ｘ、０）とする。例えば、ＴＧ３７から出力される第２リセットライン番号に対応する露出コードが「３」で、且つ、第１リセットライン番号に対応する露出コードが「１」である場合には、前者は（１、Ｘ）で、後者は（Ｘ、０）であることから、制御ビットとして（１、０）を出力する。また、第２リセットライン番号に対応する露出コードが「３」で、第１リセットライン番号に対応する露出コードが「２」である場合、制御ビットとして（１、１）を出力する。
【００４１】
通信部（送信）３９は、ＡＬＣ３８（センサリセット設定器４６）から出力される制御ビットを撮像素子２（通信部（受信）５）に出力する。なお、制御ビットは、画素列（ライン）単位に送信されるが、制御ビットは僅か２ビットであり、ＤＳＰ４と撮像素子２とのいずれにも処理負荷とはならない。
一方、画素値計算部４０は、プリプロセス部３６（画素信号処理部４１）から出力されるデジタル画像信号と、ＡＬＣ３８（メモリアービタ４４）から読み出される露出コードとに基づいてダイナミックレンジが広い画像（広Ｄレンジ画像）を生成する。そして、画素値計算部４０は、その生成された広Ｄレンジ画像を外部機器（不図示）に出力する。本発明は、画素値計算部４０の構成に関しては言及しない。
【００４２】
＜撮像装置の動作＞
本発明の撮像装置の動作説明にあたり図１１を用いる。まず図１１を説明する。
前述のとおり、本発明の撮像素子は、以下の４つのラインに対して同時に処理を施す。即ち、標準露光読出ラインＬ、短露光読出カラインＳ、第１リセットラインＲ１、及び第２リセットラインＲ２である。各ラインＬ、Ｓ、Ｒ１、Ｒ２は、前述のとおり特定のオフセット量をもって、同じ速度で自走する。具体的には、標準読出ライン番号と短読出ライン番号とのオフセット量は第０オフセットレジスタによって決定され、短読出ライン番号と第１リセットライン番号とのオフセット量は第１オフセットレジスタによって決定され、短読出ライン番号と第２リセットライン番号とのオフセット量は第２オフセットレジスタによって決定される。これにより、標準露光読出ラインＬ、短露光読出カラインＳ、第１リセットラインＲ１、及び第２リセットラインＲ２のライン番号は特定の位相差をもって、同じ速度で自走（カウントアップ）する。その動きを示したのが図１１である。
【００４３】
図１１は、縦軸が撮像素子のライン（行）番号を示し、横軸が時間を示す。なお、本実施形態では、説明のため行数を１６とした。横軸の時間は、１フレーム期間を行数分に分割し（１６分割）、各ライン番号がどの期間で有効かを示している。また、図中のＬと示した部分は標準読出ラインＬ（番号）を、Ｓと示した部分は短読出ラインＳを、Ｒ１と示した部分は第１リセットラインＲ１を、Ｒ２と示した部分は第２リセットラインＲ２を示す。例えば、ｔ1 ’の期間に着目すると、１行目が標準読出ライン、１０行目が短読出ライン、１２行目が第２リセットラインＲ２、１行目５が第１リセットラインＲ１を示す。なお、本実施形態は、標準読み出し及び短読み出しを行った直後にリセット動作を行う。
【００４４】
また、図１１において、第０〜第２オフセット量はそれぞれ「７」、「５」及び「２」に設定されているとする。即ち、標準露光読出ラインＬと短読出ラインとの位相差は７ライン分であり、短露光読出ラインＳと第１リセットラインＲ１との位相差は５ライン分であり、短露光読出ラインＳと第２リセットラインＲ２との位相差は２ライン分である。
さらに、図１１によれば、標準露光と短露光との組み合わせが３種類ある。一つ目は、第１リセットラインＲ１でも第２リセットラインＲ２でもリセット動作を実行しない「中露光」と名付けた露光条件であり、短露光時間を最も長くすることができ、明部のＳ／Ｎを向上させることができる。二つ目は、第２リセットラインＲ２を実行する「超短露光」と名付けた露光条件であり、短露光時間を最も短くすることができ、極めて明るい部分を飽和させることなく撮影することができる。三つ目は、第１リセットラインＲ１を実行する「短露光」と名付けた露光条件であり、前記２つの露光条件の中間の露光時間である。
【００４５】
まず、本発明のＤＳＰ４におけるＡＬＣ３８の動作を説明する。
本発明のＡＬＣは、最初にフレーム単位に、撮像素子２からの撮像画像信号の明るさ（輝度値）を評価し、その評価結果に基づいて標準露光時間と短露光時間を算出する。両者の時間は、撮像素子２の第０オフセットレジスタ１３で決定する。即ち、ＡＬＣ３８は、前記評価結果に基づいて、第０オフセットレジスタ１３にセットする値を算出し、その値をＤＳＰ４の通信部（送信）３９に出力する。通信部（送信）３９は、その出力された値を撮像素子２に送信する。撮像素子２は、その送信された値を第０オフセットレジスタ１３にセットする。次に、ＡＬＣ３８は、短露光読み出しの画像信号を取得し、その撮像画像の明るさ（輝度値）を評価し、その評価結果に基づいて、撮像素子２の第１オフセットレジスタ１４と第２オフセットレジスタ１５にセットすべき値を算出する。そして、その算出された値を通信部（送信）３９に出力する。通信部（送信）３９は、その出力された値を撮像素子２に送信する。撮像素子２は、その送信された値を前記第１オフセットレジスタ、第２オフセットレジスタにセットする。以上の処理により、撮像素子２の初期化動作が終了し、以降、ＡＬＣ３８は本発明の最も重要なライン単位での露出制御を行う。
【００４６】
上記動作を基本にして、以下に本発明の撮像装置の具体的な動作を示す。
まず、図１１に示すように、フレーム（Ｎ−１）の撮像時、全ラインが第１リセットラインＲ１でリセットを行う状態（短露光状態）、即ち、露出コードを「２」とする。この露出条件において、仮に７行目の画素列への入射光量が増加し、また、１３行目の画素列への入射光量が減少したとする。これを前提に、撮像素子２及びＤＳＰ４（ＡＬＣ３８）の動作を説明する。
【００４７】
ここで、フレームＮ−１のｔ９の期間に着目する。ｔ９の期間では、図５に示す第１飽和処理器加算器１９の加算結果は「７」となり、第２飽和処理器加算器２２の加算結果は「４」となる。また、ｔ９の期間、リセット制御レジスタ１６に制御ビット（０、１）が保持さる。すると、数値「７」が第１リセットレジスタ２０に保持され、数値「０」が第２リセットレジスタ２３に保持され、図１１のｔ9に示すように、第１リセットラインＲ１は７行目を示し、第２リセットラインＲ２の該当行は無くなる。また、第１リセットアドレスデコーダ２１によって、第１リセットレジスタ２０の値が示す行番号（７行目）に対応するライン信号のみ有効「１」とするライン信号群がＯＲロジック２７に出力される。また同時に、第２リセットアドレスデコーダ２４によって、全ての画素列を無効「０」とするライン信号群（４行目に対応するライン信号を有効としない信号群）がＯＲロジック２７に出力される。そして、ＯＲロジック２７によって、７行目のライン信号と電荷の読出を終えた標準露光読出ライン及び短露光読出ラインとにのみリセット動作を行うことを示すライン信号が駆動パルス発生器９に出力される。これにより、図３に示すように、駆動パルス発生器９によって、７行目の画素列に対応するリセット線３１が駆動され、その結果、７行目のセンサセル２９でリセット動作が行われる。
【００４８】
また、その７行目でのリセット動作が行われてから３ライン分の動作終了後（図１１のｔ12期間）に、図５に示す第１飽和処理器加算器１９の加算結果は「１０」、第２飽和処理器加算器２２の加算結果は「７」となる。また、リセット制御レジスタ１６に制御ビット（０、１）が保持さる。すると、数値「１０」が第１リセットレジスタ２０に保持され、数値「０」が第２リセットレジスタ２３に保持されて、第１リセットラインＲ１は１０行目を示し、第２リセットラインＲ２の該当行は無くなる。また、第１リセットアドレスデコーダ２１によって、第１リセットレジスタ２０の値が示す行番号（１０行目）に対応するライン信号のみ有効「１」とするライン信号群がＯＲロジック２７に出力される。また同時に、第２リセットアドレスデコーダ２４によって、全ての画素列を無効「０」とするライン信号群（７行目に対応するライン信号を有効としない信号群）がＯＲロジック２７に出力される。そして、ＯＲロジック２７によって、１０行目のライン信号と電荷の読出を終えた標準露光読出ライン及び短露光読出ラインとにのみリセット動作を行うことを示すライン信号が駆動パルス発生器９に出力される。これにより、図３に示すように、駆動パルス発生器９によって、１０行目の画素列に対応するリセット線３１が駆動され、その結果、７行目ではリセット動作が実行されず、また、１０行目のセンサセル２９でリセット動作が行われる。
【００４９】
さらに、図１１のｔ14の期間、図３に示す読出ラインスキャナ６によって、７行目の画素列の読み出し線３２を有効とする信号が駆動パルス発生器９に出力され、短露光読出ラインＳが７行目を示す状態となる。すると、駆動パルス発生器９によって、７行目の画素列に対応する読み出し線３２が駆動され、次いで、７行目の画素列に対応するリセット線３１が駆動される。具体的には、７行目のセンサセル２９に蓄積されている電荷（光電変換された信号）が、水平転送部１１に出力され、その後リセット動作が行われる。
【００５０】
以上の動作により、第１リセットラインＲ１でリセットされてから短露光読出ラインＳで読み出されるまでの間（短露光時間）に蓄積された電荷（光電変換された信号）が、図１１のｔ14の期間に出力される。
次に、ＤＳＰ４（ＡＬＣ３８）の動作を絡めて説明する。水平転送部１１から出力された光電変換された信号はＡＦＥ３に転送され、図７に示すように、ＡＦＥ３によって、デジタル画像信号（１画素列分の画像を示す信号）としてＤＳＰ４（プリプロセス部３６）に出力される。さらに、図９及び図１０に示すプリプロセス部３６によって、デジタル的に黒レベル補正等がなされ、そのデジタル画像信号が画素値計算部４０に出力される。また、プリプロセス部３６では、飽和判定部４２によって、当該デジタル画像信号が飽和状態となっているかどうか判定され、判定フラグが最適露出コード判定機４３に出力される。
【００５１】
最適露出コード判定機４３では、飽和フラグと、現入力画像信号の撮像条件を示す露出コード（既に読み込み済みで、その値は「２」）により、最適な露出コードが再判定される。例えば、プリプロセス部３６から出力された判定フラグの数が１画素列の総画素数のある特定値（例えば１０％）以上になったとする。すると、最適露出コード判定機４３によって、７行目の画素列の露出コードを示す数値「２」に「１」が加算され、新しい露出コード「３」として、書き込み指令がメモリアービタ４４に出力される。そして、メモリアービタ４４によって、前記設定された新しい露出コード「３」がＥＴメモリ４５に書き込まれる。
【００５２】
次に、前記においてリセットされた１０行目のラインの動作を見てみる。図１１のｔ15の期間に、図５に示す第１飽和処理器加算器１９の加算結果は「１３」、第２飽和処理器加算器２２の加算結果は「１０」となる。また、リセット制御レジスタ１６に制御ビット（０、１）が保持される。すると、数値「１３」が第１リセットレジスタ２０に保持され、数値「０」が第２リセットレジスタ２３に保持されて、第１リセットラインＲ１は１３行目を示し、第２リセットラインＲ２の該当行は無くなる。その結果、１０行目ではリセット動作が実行されず、１３行目ではリセット動作が行われる。
【００５３】
さらに、前記１０行目に着目し、図１１のフレームＮのｔ2 ’の期間において、図３に示す読出ラインスキャナ６によって、１０行目の画素列の読み出し線３２を有効とする信号が駆動パルス発生器９に出力され、短露光読出ラインＳが１０行目を示す状態となる。すると、駆動パルス発生器９によって、１０行目の画素列に対応する読み出し線３２が駆動され、光電変換された信号が撮像素子２の外部へ出力される。出力された信号は、プリプロセス部３６に入力され、プリプロセス部３６から１０行目のデジタル画像信号が最適露出コード判定機４３に出力される。
【００５４】
ここで、最適露出コード判定機４３での判定結果（プリプロセス部３６から出力された判定フラグの数）が１画素列の総画素数の所定値以下だったとする。すると、最適露出コード判定機４３によって、７行目の画素列の露出コードを示す数値「２」が保持され、露出コード「２」がＥＴメモリ４５に保持される。
そして、上記フローが他の画素列でも繰り返され、フレーム（Ｎ−１）の撮像が終了したとする。そして、図１１に示すフレームＮの撮像が開始されｔ9 ’の期間になると（フレームＮ−１のｔ9に対応）、第１飽和処理器加算器１９の加算結果は「７」、第２飽和処理器加算器２２の加算結果は「４」となる。すると、図１０に示すセンサリセット設定器４６によって、７行目の画素列に対応する露出コード「３」（更新値）と４行目の画素列に対応する露出コード「２」（未更新）とがメモリアービタ４４から読み出され、それらの露出コード「３」「２」に基づいて制御ビット（０、０）が生成され、その制御ビット（０、０）がＤＳＰ４の通信部（送信）３９を介して撮像素子２に送信される。さらに、図９に示す撮像素子２によって、その送信された制御ビット（０、０）が通信部（受信）５のリセット制御レジスタ１６に保持される。そして、第１リセットレジスタ２０と第２リセットレジスタ２３とによって、そのリセット制御レジスタ１６の値に基づいて数値「０」が保持されて、第１及び第２リセットラインＲ１及びＲ２の該当行が無くなる。その結果、４行目及び７行目のいずれでもリセット動作が実行されない。このように７行目に着目すると、Ｎ−１フレームで実行されていた第１リセットが不実行となる。なお、このように、ライン単位で、わずか２ビットの制御ビットをＤＳＰ４と撮像素子２でやり取り（通信）するのみで、ライン毎に露光条件を制御することができる。
【００５５】
また、前記時刻ｔ9 ’から３ライン分の動作終了後（図１１のｔ12 ’の期間）に、図５に示す第１飽和処理器加算器１９の加算結果は「１０」となり、第２飽和処理器加算器２２の加算結果は「７」となる。すると、図１０に示すセンサリセット設定器４６によって、１０行目の画素列に対応する露出コード「２」（未更新）と７行目の画素列に対応する露出コード「３」（更新値）とがメモリアービタ４４から読み出され、それらの露出コード「２」「３」に基づいて制御ビット（１、１）が生成され、その制御ビット（１、１）がＤＳＰ４の通信部３９を介して撮像装置１の通信部（受信）５のリセット制御レジスタ１６に保持される。そして、第１リセットレジスタ２０に数値「１０」が、第２リセットレジスタ２３に数値「７」が保持される。即ち、第１リセットラインＲ１は１０行目を示し、第２リセットラインＲ２は７行目を示す。その結果、７行目及び１０行目でリセット動作が実行される。このように７行目に着目すると、Ｎ−１フレームで不実行だった第２リセットが実行される
【００５６】
さらに、前記７行目でのリセット動作が行われてから２ライン分の動作終了後（図１１のｔ14 ’の期間）に、図３に示す読出ラインスキャナ６によって、７行目の画素列の読み出し線３２を有効とする信号が駆動パルス発生器９に出力され、短露光読出ラインＳが７行目を示す。すると、駆動パルス発生器９によって、７行目の画素列に対応する読み出し線３２が駆動される。そして、７行目のセンサセル２９に蓄積されている電荷（光電変換された信号）が水平転送部１１に出力され、その後リセット動作が行われる。つまり、第２リセットラインＲ２でリセットされてから短露光読出ラインＳで読み出されるまでの間（超短露光時間）に蓄積された電荷が出力される。よって、フレームＮ−１で行った第１リセットに比べ、フレームＮで行った第２リセットは、短露光時間を短縮させ、より飽和画素数を減少させることができる（明るい被写体の撮影が可能となる）。即ち、前述したようにＮ−１フレームにおいて７行目の画素列への入射光量が増加したことに対し、本発明の撮像装置（ＡＬＣ３８）が機能し、飽和画素数を減少させる方向に動作する。なお、光電変換（外部出力）された信号（７行目のデジタル画像信号）は、プリプロセス部３６を経由して最適露出コード判定機４３に出力される。以降、ＤＳＰ４によって上記動作が繰り返し実行される。
【００５７】
このように、本実施形態にあっては、リセット制御レジスタ１６に保持されている制御ビットが（０、１）である場合に、第１リセットラインＲ１でのみリセット動作を行い、（１、０）である場合に、第２リセットラインＲ２でのみリセット動作を行う。また、制御ビットが（０、０）である場合に、第１リセットラインＲ１及び第２リセットラインＲ２のいずれでもリセット動作を行わせず、（１、１）である場合に、第１リセットラインＲ１及び第２リセットラインＲ２の両方でリセット動作を同時に行わせるようにした。そのため、ライン毎にリセットタイミングを設定することができ、１ラインずつ順次リセットさせる方法と異なり、画素列毎に適切な露光時間の長さを設定することができる。
【００５８】
また、先行するフレーム期間に短露光時間で撮像された画像内の画素列に飽和画素がない場合には、その画素列における短露光時間を長く（中露光時間）設定し、また、前記画素列に特定の割合以上の飽和画素がある場合には、前記画素列における短露光時間を短く（超短露光時間）設定することで、引き続くフレーム期間に短露光時間で撮像される画像において各画素列それぞれでＳ／Ｎ比を向上させると共に飽和画素の数を少なくすることができる。そのため、標準露光時間で撮像された画像内で輝度値が最大値の画素を、前記設定された短露光時間で撮像された画像内の画素と置き換えることで、例えば、全領域において同じ短露光時間で撮像された画像を用いて前記置き換えを実行する方法に比べ、よりダイナミックレンジが広く、且つ、よりＳ／Ｎ比が高い画像を生成することができる。
【００５９】
なお、本実施形態の撮像素子２にあっては、図３の通信部（受信）５、複数ラインリセットスキャナ７及び駆動パルス発生器、図４のリセット制御レジスタ１６、図５の第１リセットレジスタ２０、第１リセットアドレスデコーダ２１、第２リセットレジスタ２３、第２リセットアドレスデコーダ２４及びＯＲロジック２７が特許請求の範囲に記載のリセット手段を構成し、以下同様に、図３の複数ラインリセットスキャナ７及び短露光読出カウンタ１８、図５の第１飽和処理器加算器１９及び第２飽和処理器加算器２２がライン特定手段を構成し、図５の第１リセットレジスタ２０及び第２リセットレジスタ２３がリセット制御手段を構成し、図３の短露光読出カウンタ１８が自走カウンタを構成し、図５の第１飽和処理器加算器１９が第１ライン特定手段を構成し、図５の第２飽和処理器加算器２２が第１ライン特定手段を構成し、図３の通信部５が制御信号受信手段を構成する。
【００６０】
また、本実施形態の撮像装置１にあっては、図９のＴＧ３７及びＡＬＣ３８、図１０の最適露出コード判定機４３、ＥＴメモリ４５及びセンサリセット設定器４６が制御信号生成手段及び短露光時間設定手段を構成し、図９の通信部３９が制御信号送信手段を構成し、図１０のＥＴメモリ４５がコード格納手段を構成し、図９のＴＧ３７がリセットライン特定手段を構成し、図１０のセンサリセット設定器４６が信号生成手段を構成し、図１０の最適露出コード判定機４３がコード更新手段を構成を構成する。
【００６１】
なお、本発明の撮像素子及び撮像装置は、上記実施の形態の内容に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
上記実施形態では、２つのリセットライン（第１及び第２リセットラインＲ１及びＲ２）を用いることで、リセット動作の実行・不実行を制御する例を示したが、これに限られるものではない。例えば、３つ以上のリセットラインを用いるようにしてもよい。
【００６２】
また、第１及び第２リセットラインＲ１及びＲ２でのリセット動作の実行・不実行を制御することで、短露光時間の長さを設定する例を示したが、これに限られるものではない。例えば、それら第１及び第２リセットラインＲ１及びＲ２でのリセット動作の制御に加え、短露光読出ラインＳでの読み出し動作の実行・不実行を制御することができるようにしてもよい。そのようにすれば、第１及び第２のリセットラインＲ１及びＲ２でのリセット動作を不実行とし且つ短露光読出ラインＳでの読み出し動作も不実行とすることで、読み出しに伴うリセットが不実行となるので、先行するフレーム期間において標準露光読出ラインＬで読み出し動作が行われてから引き続くフレーム期間において標準露光読出ラインＬで読み出し動作が行われるまでの間（標準露光時間よりも長いフル露光時間）で露光動作を実行することができる。
【００６３】
また、短露光読出ラインＳでの読み出し動作の制御に加えて、標準露光読出ラインＬでの読み出し動作の実行・不実行を制御することができるようにしてもよい。そのようにすれば、第１及び第２のリセットラインＲ１及びＲ２でのリセット動作と短露光読出ラインＳでの読み出し動作とを不実行とし且つ標準露光読出ラインＬでの読み出し動作も不実行とすることで、読み出しに伴うリセットが不実行となるので、２つ以上前のフレーム期間において標準露光読出ラインＬで読み出し動作が行われてから新しく標準露光読出ラインＬで読み出し動作が行われるまでの間、つまり、フル露光時間より長い長露光時間にわたって露光動作を実行することができる。
【００６４】
さらに、単に第１及び第２リセットラインＲ１及びＲ２でのリセット動作の実行・不実行を制御する例を示したが、これに限られるものではない。例えば、リセット線３１と同等の特性を持った複数のダミーライン（画像をなさないライン、例えば、遮光領域）をリセット対象ラインとし、前記画像をなすリセット対象ラインに対するリセット動作を不実行とする場合には、第１及び第２リセットラインＲ１及びＲ２に代えてダミーラインを駆動するようにしてもよい。そのようにすれば、駆動されるリセット線３１の数（負荷）が変化することで生じる不具合、例えば、リセットのかかり方（時間的推移）の変動を防止することができる。なお、画像をなすリセット対象ラインに対するリセット動作を不実行とする場合に、ダミーラインを駆動させる方法としては、例えば、第１リセットレジスタ２０の値が「０」のとき或いは第２リセットレジスタ２３の値が「０」のとき（リセット対象ラインがないとき）に、第１リセットアドレスデコーダ２１或いは第２リセットアドレスデコーダ２４にダミーラインを選択させる方法等を挙げることができる。
【図面の簡単な説明】
【００６５】
【図１】ローリングシャッタで移動する画素列を説明するための説明図である。
【図２】撮像素子を適用した撮像装置の概略構成を示すブロック図である。
【図３】図２の撮像素子の内部構成を示すブロック図である。
【図４】図３の通信部の内部構成を示すブロック図である。
【図５】図３の複数ラインリセットスキャナの内部構成を示すブロック図である。
【図６】図５のＯＲロジックの内部構成を示すブロック図である。
【図７】図３のセンサセルアレイの内部構成を示すブロック図である。
【図８】図２のＡＦＥの内部構成を示すブロック図である。
【図９】図２のＤＳＰの内部構成を示すブロック図である。
【図１０】図９のプリプロセス部及びＡＬＣの内部構成を示すブロック図である。
【図１１】本発明の動作を説明するための説明図である。
【符号の説明】
【００６６】
１は撮像装置、２は撮像素子、３はＡＦＥ、４はＤＳＰ、５は通信部、６は読出ラインスキャナ、７は複数ラインリセットスキャナ、８は基準タイミング発生器、９は駆動パルス発生器、１０はセンサセルアレイ、１１は水平転送部、１２はシリアルパラレル変換部、１３は第０オフセットレジスタ、１４は第１オフセットレジスタ、１５は第２オフセットレジスタ、１６はリセット制御レジスタ、１７は標準露光読出カウンタ、１８は短露光読出カウンタ、１９は第１飽和処理器加算器、２０は第１リセット制御レジスタ、２１は第１リセットアドレスデコーダ、２２は第２飽和処理器加算器、２３は第２リセットレジスタ、２４は第２リセットアドレスデコーダ、２５は第３リセットアドレスデコーダ、２６は第４リセットアドレスデコーダ、２７はＯＲロジック、２８はＯＲユニット、２９はセンサセル、３０はアドレス線、３１はリセット線、３２は読み出し線、３３はクランプ回路、３４はＡＭＰ、３５はＡＤＣ、３６はプリプロセス部、３７はＴＧ、３８はＡＬＣ、３９は通信部、４０は画素値計算部、４１は画素信号処理部、４２は飽和判定部、４３は最適露出コード判定機、４４はメモリアービタ、４５はＥＴメモリ、４６はセンサリセット設定器
【図１】
2006148621.tif 000003
【図２】
2006148621.tif 000004
【図３】
2006148621.tif 000005
【図４】
2006148621.tif 000006
【図５】
2006148621.tif 000007
【図６】
2006148621.tif 000008
【図７】
2006148621.tif 000009
【図８】
2006148621.tif 000010
【図９】
2006148621.tif 000011
【図１０】
2006148621.tif 000012
【図１１】
2006148621.tif 000013