(57)【要約】【課題】  画素加算において、回路規模を増大させずに高速処理が行える技術を提供することを目的とする。【解決手段】  光電変換により光を電気信号に変換して出力する複数の画素と、ランプ信号を発生するランプ信号発生部と、複数の画素の各々が出力する電気信号とランプ信号との出力値を比較する信号比較部と、信号比較部による比較の結果に基づいて、複数の画素のうち所定の数の画素毎に電気信号を加算する加算演算部と、を備える。【選択図】    図１
2010187209.tif 000002
【特許請求の範囲】
【請求項１】
光電変換により光を電気信号に変換して出力する複数の画素と、
ランプ信号を発生するランプ信号発生部と、
前記複数の画素の各々が出力する前記電気信号と前記ランプ信号との出力値を比較する信号比較部と、
前記信号比較部による比較の結果に基づいて、前記複数の画素のうち所定の数の画素毎に前記電気信号を加算する加算演算部と、
を備えることを特徴とする画像生成装置。
【請求項２】
請求項１に記載の画像生成装置において、
前記信号比較部による比較の結果に基づいて、前記複数の画素の各々の状態変化を検出する状態変化検出部をさらに備え、
前記加算演算部は、
検出された前記複数の画素の各々の状態変化に応じて、前記所定の数の画素毎に前記電気信号を重み付けして加算する
ことを特徴とする画像生成装置。
【請求項３】
請求項２に記載の画像生成装置において、
前記状態変化検出部は、
前記複数の画素の各々の状態変化を監視するための基準信号を発生する基準信号発生部と、
前記基準信号に基づいて、前記複数の画素の各々の状態変化を監視するとともに、前記複数の画素のいずれかの状態変化が互いに同時に生じたか否かを判定する監視部と、
を備えることを特徴とする画像生成装置。
【請求項４】
請求項１ないし請求項３のいずれか１項に記載の画像生成装置において、
前記複数の画素の各々は、前面に複数の色のカラーフィルタの何れかを有し、
前記加算演算部は、同じ色のカラーフィルタを有する前記所定の数の画素毎に前記電気信号を加算する
ことを特徴とする画像生成装置。
【請求項５】
請求項１ないし請求項４のいずれか１項に記載の画像生成装置と、
撮影光学系と、
撮影制御部と、
画像記録部と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素加算を行うことができる画像生成装置及び撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラやデジタルビデオカメラ等による動画撮像において、所望のフレームレートでの撮像を行うためには、撮像素子の全画素の画素値を読み出すことは困難なことから、全画素の画素値のうち間引いて読み出したり、いくつかの画素の画素値を加算したりして行っている。
【０００３】
撮像素子における画素加算の方法としては、撮像素子の各画素の画素値をコンデンサに蓄積して加算するアナログ方式、高速処理が可能なＡ／Ｄ変換器及びデジタル回路（メモリ、カウンタ及び加算器等）を撮像素子内部に設けて、デジタル信号に変換した後に加算するデジタル方式の２つがある（アナログ方式の一例として、特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術である特許文献１のような、アナログ方式による画素値の加算を行う場合には、加算する画素の数に応じてコンデンサの数が必要であり、それに伴い撮像素子の回路規模が増大するという問題がある。
【０００５】
また、デジタル方式においても、高速処理が可能なＡ／Ｄ変換器及びデジタル回路（メモリ、カウンタ及び加算器等）を撮像素子内部に設けるために、撮像素子の回路規模が大きくなり、コスト低減の大きな障害となる。
【０００６】
上記従来技術が有する問題に鑑み、本発明の目的は、画素加算において、回路規模を増大させずに高速処理が行える技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の画像生成装置は、光電変換により光を電気信号に変換して出力する複数の画素と、ランプ信号を発生するランプ信号発生部と、複数の画素の各々が出力する電気信号とランプ信号との出力値を比較する信号比較部と、信号比較部による比較の結果に基づいて、複数の画素のうち所定の数の画素毎に電気信号を加算する加算演算部と、を備える。
【０００８】
また、信号比較部による比較の結果に基づいて、複数の画素の各々の状態変化を検出する状態変化検出部をさらに備え、加算演算部は、検出された複数の画素の各々の状態変化に応じて、所定の数の画素毎に電気信号を重み付けして加算しても良い。
【０００９】
また、状態変化検出部は、複数の画素の各々の状態変化を監視するための基準信号を発生する基準信号発生部と、基準信号に基づいて、複数の画素の各々の状態変化を監視するとともに、複数の画素のいずれかの状態変化が互いに同時に生じたか否かを判定する監視部と、を備えても良い。
【００１０】
また、複数の画素の各々は、前面に複数の色のカラーフィルタの何れかを有し、加算演算部は、同じ色のカラーフィルタを有する所定の数の画素毎に電気信号を加算しても良い。
【００１１】
本発明の撮像装置は、本発明の画像生成装置と、撮影光学系と、撮影制御部と、画像記録部と、を備える。
【発明の効果】
【００１２】
本発明によれば、画素加算において、回路規模を増大させずに高速処理が行える。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１の実施形態に係る撮像ユニットのブロック図
【図２】第１の実施形態の撮像素子５０の全画素によって撮像された画像データを示す図
【図３】スイッチング回路１７の構成の一例を示す図
【図４】状態変化検出器２０の構成の一例を示す図
【図５】第１の実施形態の撮像ユニットにおける加算処理のフローチャート
【図６】第１の実施形態の撮像ユニットにおける状態変化検出器２０のトグル変化の場合のタイミングチャート
【図７】第１の実施形態の撮像ユニットによって撮像され加算処理された画像データを示す図
【図８】加算演算器１００による時間計測の基準となる位置の他の例を示す図
【図９】状態変化検出器２０の構成の他の例を示す図
【図１０】第１の実施形態の撮像ユニットにおける状態変化検出器２０のパルス信号の場合のタイミングチャート
【図１１】第２の実施形態の撮像ユニットにおける加算処理のフローチャート
【図１２】第２の実施形態の撮像ユニットにおける状態変化検出器２０のトグル変化の場合のタイミングチャート
【図１３】第２の実施形態の撮像ユニットにおける状態変化検出器２０のパルス信号の場合のタイミングチャート
【図１４】本発明の第３の実施形態に係る撮像ユニットのブロック図
【図１５】状態変化検出器２０’の構成の一例を示す図
【図１６】第３の実施形態の撮像ユニットにおける加算処理のフローチャート
【図１７】第３の実施形態の撮像ユニットにおける状態変化検出器２０’のトグル変化の場合のタイミングチャート
【図１８】第３の実施形態の撮像ユニットによって撮像され加算処理された画像データを示す図
【発明を実施するための形態】
【００１４】
以下、本発明の実施形態について説明する。
≪第１の実施形態≫
図１は、本発明の第１の実施形態に係る画像を生成する装置である撮像ユニットのブロック図である。
【００１５】
図１の本実施形態の撮像ユニットは、撮像素子５０と加算演算器１００とから構成される。
【００１６】
撮像素子５０は、ＣＭＯＳ等の画素（フォトダイオード）１のアドレスを指定して信号の読み出しが可能な半導体素子であり、その構成の一例を示す。撮像素子５０の受光面には、複数のフォトダイオード１が二次元的に配列されている。各フォトダイオード１には、Ｒ（赤）、Ｇｒ（又はＧｂ）（緑）、Ｂ（青）のカラーフィルタがアレイ状に設けられている。各フォトダイオード１は、垂直信号線１０及び水平選択線１１に接続され、水平選択線１１は、水平デコーダ１３に接続されており、水平デコーダ１３で選択された水平ラインの画素のみが垂直信号線１０に出力される。また、本実施形態の撮像素子５０の各垂直信号線１０は、増幅器１４、ＣＤＳ回路１５及びコンデンサ１６に接続されている。これにより、光電効果によってフォトダイオード１に蓄積された電荷が垂直信号線１０に出力されると、増幅器１４にて増幅され且つＣＤＳ回路１５にて暗電流による電荷を差し引くことによって、そのフォトダイオード１の画素値としてコンデンサ１６に一時的に蓄積される。
【００１７】
図２は、本実施形態の撮像素子５０の全画素によって撮像された場合の画像データを示す。なお、図１に示すように、本実施形態では、受光面に１２×８個のフォトダイオード１からなる撮像素子５０を用いるものとする。それぞれのセルが１つのフォトダイオード１に対応する。各セルの先頭の記号Ｒ、Ｇ及びＢは、各カラーフィルタを有するフォトダイオード１を示す。これらの記号に続く２桁又は３桁の番号はフォトダイオード１の座標を表し、左上のＲのセル（垂直信号線１０のＸ＝１、水平選択線１１のＹ＝１）を原点とする。このことから、Ｂ１２４とは、垂直信号線１０のＸ＝１２、水平選択線１１のＹ＝４の位置にあるＢのフォトダイオード１を表す。
【００１８】
各垂直信号線１０は、スイッチング回路１７に接続される。図３は、本実施形態におけるスイッチング回路１７の構成の一例を示す。スイッチング回路１７は、複数のスイッチＳＷ１〜ＳＷ１２から構成される。それらのスイッチＳＷ１〜ＳＷ１２は、不図示のデジタルカメラ等の制御部の指示によるタイミグジェネレータの発するパルスに基づいて、通常の静止画等の全画素読み出しや、動画や構図確認用の低解像度画像（いわゆるスルー画）等の間引き読み出しによる画像データの信号を出力するとともに、本実施形態で後述する、画素加算による動画やスルー画等の画像データの信号を出力するための切り替えを行う。具体的には、後述する各状態変化検出器２０に接続される（ＳＷ１、ＳＷ３、ＳＷ５）、（ＳＷ２、ＳＷ４、ＳＷ６）、（ＳＷ７、ＳＷ９、ＳＷ１１）及び（ＳＷ８、ＳＷ１０、ＳＷ１２）の各組の中で、いずれか１つだけＯＮ状態にした時には、通常の静止画等の全画素読み出しや、動画やスルー画等の間引き読み出しによる画像データの信号が出力される。一方、（ＳＷ１、ＳＷ３、ＳＷ５）、（ＳＷ２、ＳＷ４、ＳＷ６）、（ＳＷ７、ＳＷ９、ＳＷ１１）及び（ＳＷ８、ＳＷ１０、ＳＷ１２）の各組の中で、２つ、もしくは３つのスイッチをＯＮ状態にした場合は、２画素加算、もしくは３画素加算となり、本実施形態における画素加算による動画やスルー画等の画像データの信号が出力される。
【００１９】
スイッチング回路１７によって、画素加算による画像データの読み出しが選択された場合、各コンデンサ１６に蓄積された各フォトダイオード１の画素値は、垂直信号線１０を介して、各コンパレータ１８のマイナス端子側に入力される。一方、プラス端子には、図６に示すような、ランプ信号発生器１９が出力する、時間の経過とともに大きくなるランプ信号が入力される。そして、フォトダイオード１の画素値よりもランプ信号の方が大きくなると、コンパレータ１８は、状態変化検出器２０へ状態変化を示す信号を出力する。
【００２０】
コンパレータ１８から出力された信号は、状態変化検出器２０に入力される。各状態変化検出器２０に入力されるコンパレータ１８からの信号は、同じ色のカラーフィルタを有し且つ同一の水平選択線１１上で隣接する、３つのフォトダイオード１の各々の状態変化を示すものである。図４は、状態変化検出器２０の構成の一例を示すものである。状態変化検出器２０は、各コンパレータ１８からの信号の状態をそれぞれ独立に監視する監視部３０と、状態変化のタイミングがいつ生じたかの判定の基準となるクロック信号を発生するＣＬＫ発生器４０とからなるロジック回路である。各状態変化検出器２０は、監視部３０が状態変化を検出すると、図６に示すようなトグル変化させた信号を加算演算器１００へ出力する。ＣＬＫ発生器４０としては、一般的な水晶発振器等を用いることができる。なお、クロック信号の周波数は、不図示でこの撮像ユニットから出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器のビット精度に応じて決めるのが好ましい。
【００２１】
加算演算器１００は、ランプ信号発生器１９からのランプ出力開始信号を受信すると、後述するように、図６に示すような各状態変化検出器２０が検出する状態変化を示すトグル変化に基づいて、各トグル変化間の時間計測を行う。そして、加算演算器１００は、計測した時間を用いて、各状態変化検出器２０に接続される３つのフォトダイオード１の画素値の加算値を算出し出力する。加算演算器１００としては、一般的なＣＰＵ等のコンピュータを用いることができる。
【００２２】
次に、本実施形態の撮像ユニットにおける、フォトダイオード１に光電変換によって蓄積された画素値を加算して出力する手順について、図５のフローチャート及び図６のタイミングチャートに基づいて説明する。なお、本実施形態におけるランプ信号発生器１９は、必ず各状態変化検出器２０が３回の状態変化を検出できるように、ランプ信号の出力時間が決められている。また、本実施形態では、３つの画素加算された画素値の出力の場合を説明するので、スイッチング回路１７のスイッチＳＷ１〜ＳＷ１２は、不図示のデジタルカメラ等の制御部の指示によってＯＮ状態にそれぞれ設定されているものとする。また、状態変化検出器２０の初期の出力状態は、図６に示すようにＬＯＷ状態にあるものとする。
【００２３】
ステップＳ１０：ランプ信号発生器１９は、図６に示すように、ランプ信号を発生させて、各コンパレータ１８のプラス端子に出力するとともに、ランプ信号発生器１９は、加算演算器１００に対してランプ出力開始信号を出力する。加算演算器１００は、各状態変化検出器２０からの信号のトグル変化を受信するまでの時間計測を開始する。これと同時に、不図示のデジタルカメラ等の制御部の指示によるタイミグジェネレータの発するパルスに基づいて、水平デコーダ１３は、Ｙ＝１の水平選択線１１に電圧を出力する。これにより、Ｙ＝１の水平選択線１１上にある全てのフォトダイオード１の画素値は、各垂直信号線１０に出力され増幅器１４、ＣＤＳ回路１５を介して、コンデンサ１６に蓄積される。そして、各コンデンサ１６に蓄積された画素値は、スイッチング回路１７を介して、各コンパレータ１８のマイナス端子に入力される。
【００２４】
状態変化検出器２０は、各Ｒ１１、Ｒ３１及びＲ５１の各々の画素値とランプ信号との大きさを比較している各コンパレータ１８からの出力を監視する。状態変化検出器２０は、１画素目の状態変化の検出として、監視部３０によって、いずれかのコンパレータ１８からの出力を受信したか否かを判定する。監視部３０が、いずれのコンパレータ１８からの出力も受信していない場合（ＮＯ側）には、状態変化検出器２０はいずれかのコンパレータ１８からの出力を受信するまで待機する。一方、監視部３０が、例えば、図６に示すように、最初にランプ信号の出力値がＲ１１の画素値を上回ったことによって、Ｒ１１のコンパレータ１８からの出力を受信した場合には、状態変化検出器２０はステップＳ１１（ＹＥＳ側）へ移行する。
【００２５】
なお、以下の説明では、垂直信号線１０のＸ＝１、３及び５で、水平選択線１１のＹ＝１にあるＲ１１、Ｒ３１及びＲ５１のフォトダイオード１における画素加算処理を中心に説明する。そして、他のフォトダイオード１の画素値の加算処理についても同様の処理が施される。
【００２６】
ステップＳ１１：状態変化検出器２０は、加算演算器１００に対し、１画素目の状態変化を検出したことを、信号をＬＯＷからＨＩＧＨへトグル変化させて知らせる。加算演算器１００は、ランプ出力開始信号を受信してから１画素目のトグル変化を受信するまでの時間Δｔ１を計測し、加算演算器１００内部のメモリ（不図示）に記録する。加算演算器１００は、次のトグル変化を受信するまでの時間計測を再開する。
【００２７】
ステップＳ１２：状態変化検出器２０は、Ｒ３１又はＲ５１の各々の画素値とランプ信号との大きさを比較している各コンパレータ１８からの出力を監視する。状態変化検出器２０は、２画素目の状態変化の検出として、監視部３０によって、いずれかのコンパレータ１８からの出力を受信したか否かを判定する。監視部３０が、いずれのコンパレータ１８からの出力も受信していない場合（ＮＯ側）には、状態変化検出器２０はいずれかのコンパレータ１８からの出力を受信するまで待機する。一方、監視部３０が、例えば、図６に示すように、ランプ信号の出力値がＲ３１の画素値を上回ったことによって、Ｒ３１のコンパレータ１８からの出力を受信した場合には、状態変化検出器２０はステップＳ１３（ＹＥＳ側）へ移行する。
【００２８】
ステップＳ１３：状態変化検出器２０は、加算演算器１００に対し、２画素目の状態変化を検出したことを、今度は信号をＨＩＧＨからＬＯＷへトグル変化させて知らせる。加算演算器１００は、１画素目のトグル変化を受信してから、２画素目のトグル変化を受信するまでの時間Δｔ２を計測し、加算演算器１００内部のメモリ（不図示）に記録する。加算演算器１００は、次のＲ５１のトグル変化を受信するまでの時間計測を再開する。
【００２９】
ステップＳ１４：状態変化検出器２０は、Ｒ５１の画素値とランプ信号との大きさを比較しているコンパレータ１８からの出力を監視する。状態変化検出器２０は、監視部３０によって、３画素目の状態変化の検出として、Ｒ５１に接続されているコンパレータ１８からの出力を受信したか否かを判定する。監視部３０が、そのコンパレータ１８からの出力を受信していない場合（ＮＯ側）には、状態変化検出器２０は出力を受信するまで待機する。一方、監視部３０が、ランプ信号の出力値がＲ５１の画素値を上回ったことによって、Ｒ５１のコンパレータ１８からの出力を受けた場合には、状態変化検出器２０はステップＳ１５（ＹＥＳ側）へ移行する。
【００３０】
ステップＳ１５：状態変化検出器２０は、加算演算器１００に対し、３画素目の状態変化を検出したことを、信号を再度ＬＯＷからＨＩＧＨへトグル変化させて知らせる。加算演算器１００は、２画素目のトグル変化を受信してから、３画素目のトグル変化を受信するまでの時間Δｔ３を計測し、加算演算器１００内部のメモリ（不図示）に記録する。
【００３１】
ステップＳ１６：ランプ信号発生器１９は、ランプ信号の出力開始から所定の時間が経過すると、リセットして０になる。これにより、各コンパレータ１８からの出力も０になる。ただし、状態変化検出器２０の出力は、次の加算処理が行われるまで、現在のＨＩＧＨ状態に保持される。
【００３２】
ステップＳ１７：加算演算器１００は、計測した時間Δｔ１〜Δｔ３と次式（１）とを用いて、Ｒ１１、Ｒ３１及びＲ５１の画素値の重み付けして加算する。
Ｒ３３＝３×Δｔ１＋２×Δｔ２＋×Δｔ３    …（１）
なお、本実施形態では、加算された画素値の位置を、その加算に用いた３つのフォトダイオード１における重心位置と定義する。したがって、Ｒ３３の位置がその位置となり、加算演算器１００は、加算した画素値をＲ３３のフォトダイオード１の位置の画素値として出力する（図７）。また、本実施形態では、式（１）の単位は時間であるが、時間の長さ＝画素値の大きさと定義している。
【００３３】
ステップＳ１８：水平デコーダ１３は、次の水平選択線１１上にあるフォトダイオード１の画素値を出力するか否かを判定する。水平デコーダ１３は、最後の水平選択線１１（Ｙ＝８）上までの全てのフォトダイオード１の画素値を出力したと判定した場合（ＮＯ側）には、一連の画素加算処理を終了する。一方、水平デコーダ１３は、まだ最後の水平選択線１１（Ｙ＝８）までのフォトダイオード１の画素値まで出力していないと判定した場合には、ステップＳ２０（ＹＥＳ側）へ移行する。水平デコーダ１３は、不図示のデジタルカメラ等の制御部の指示によりタイミグジェネレータの発するパルスに基づいて、各コンデンサ１６の電荷をリセットするとともに、次の水平選択線１１（例えば、Ｙ＝２）上にある各フォトダイオード１の画素値を出力して、ステップＳ１０〜ステップＳ１７の処理を行う。水平デコーダ１３は、最後の水平選択線１１（Ｙ＝８）までの全てのフォトダイオード１の画素値が出力され、ステップＳ１０〜ステップＳ１７の処理が行われたら、一連の画素加算処理を終了する。これによって、最終的に、図７に示すような、加算処理された画像データが出力される。
【００３４】
このように本実施形態では、加算演算器１００は、状態変化検出器２０による状態変化を知らせるトグル変化を基準にして、各状態変化が検出されるまでの時間Δｔ１〜Δｔ３に基づいて画素加算を行うことから、撮像ユニットの回路規模を小さくすることができ、撮像ユニットの小型化及び低コスト化を図ることができる。
【００３５】
また、従来のデジタル方式のような高速なクロック信号や同期回路等が不要となるため、撮像ユニット内部におけるシステムノイズの発生を極力抑えることができ、低ノイズの撮像ユニットが実現できる。
【００３６】
さらに、３つのフォトダイオード１の画素値毎に加算して出力することにより、３倍のフレームレートで全画素値を読み出すことができるという高速処理が可能になる。また、出力された画像は、従来の間引き読み出しされた画像と比較して斜め方向のジャギーが減少し、ランダムノイズが平均化されるのでＳ／Ｎ比が改善され、画質を良くすることができる。
≪第１の実施形態の補足事項≫
本実施形態において、各状態変化検出器２０には、同じ色のカラーフィルタを有する３つのフォトダイオード１に接続されたコンパレータ１８が接続されていたが、本発明はこれに限定されず、同じ色のカラーフィルタを有した任意の数のフォトダイオード１に接続されたコンパレータ１８が接続されても良い。例えば、各状態変化検出器２０にＭ個のコンパレータ１８からの信号が入力される場合には、式（１）は次式（１）’のように表される（Ｍは１，２，…の自然数）。
Ｒ３３＝Ｍ×Δｔ１＋（Ｍ−１）×Δｔ２＋…＋２×Δｔ（Ｍ−１）＋ΔｔＭ    …（１）’
なお、本実施形態において、受光面に１２×８個のフォトダイオード１からなる撮像素子５０を用いたが、本発明はこれに限定されず、任意の数のフォトダイオード１からなる撮像素子５０を用いても良い。
【００３７】
なお、本実施形態において、Ｙ＝１からＹ＝８までの水平選択線１１にあるフォトダイオード１の画素値を、順次読み出して画素加算処理を行ったが、本発明はこれに限定されず、Ｘ＝１からＸ＝１２までの垂直信号線１０にあるフォトダイオード１の画素値を、順次読み出して画素加算処理を行っても良い。なお、その場合、増幅器１４、ＣＤＳ回路１５、コンデンサ１６、スイッチング回路１７及びコンパレータ１８は、各水平選択線１１に設けられることが好ましい。
【００３８】
なお、本実施形態において、加算演算器１００は、状態変化検出器２０の状態変化を知らせるトグル変化を基準にして、各状態変化が検出されるまでの時間Δｔ１〜Δｔ３を計測したが、本発明はこれに限定されない。例えば、図８に示すように、加算演算器１００は、ランプ信号発生器１９からのランプ出力開始信号の受信時間を基準にして、状態変化検出器２０からのトグル変化を受信した時間をΔｔ１〜Δｔ３とし、次式（２）に基づいて、各フォトダイオード１の画素値を重み付けした加算を行っても良い。なお、図８は、状態変化が検出された１画素目をＲ３１とし、状態変化が検出された２画素目をＲ１１とする。
Ｒ３３＝３×Δｔ１＋２×（Δｔ２−Δｔ１）＋（Δｔ３−Δｔ２）    …（２）
なお、本実施形態において、状態変化検出器２０は、監視部３０によって検出される、各コンパレータ１８からの信号に基づいた状態変化に応じて、信号をＬＯＷからＨＩＧＨ又はＨＩＧＨからＬＯＷへトグル変化させて出力したが、本発明はこれに限定されない。例えば、図９に示すように監視部３０の出力側に、コンデンサＣ及び抵抗器Ｒからなる微分回路を設けることによって、図１０に示すように、状態変化検出器２０は、トグル変化の信号をパルス信号に変換して加算演算器１００へ出力しても良い。図１０に示すように、加算演算器１００は、パルス信号の立ち上がり又は立ち下がり時間を基準にして、各時間Δｔ１〜Δｔ３を計測する。
【００３９】
これにより、トグル変化に基づいた信号からパルス信号にすることによって、アナログ方式の場合と比較して、信号伝送中におけるノイズ混入に対する耐ノイズ性を大幅に向上させることが可能となる。さらに、パルス信号にすることにより、撮像ユニットにＡ／Ｄ変換器等を設ける必要性がなくなるなど、撮像ユニット外部のデジタル回路とのインタフェースを容易にし、撮像ユニット全体の簡素化が可能となる。
【００４０】
なお、本実施形態において、加算演算器１００は、撮像素子５０の外部に設けられていたが、本発明はこれに限定されず、例えば、撮像素子５０の内部に組み込まれた撮像ユニットであっても良い。
【００４１】
なお、本実施形態において、スイッチング回路１７は、コンパレータ１８の前に配置したが、本発明はこれに限定されず、コンパレータ１８の後に配置されても良い。
【００４２】
なお、本発明は、本実施形態に係る撮像ユニットとともに、 撮影光学系、撮影制御部及び画像記録部を備えた撮像装置に対しても適応可能である。
≪第２の実施形態≫
本発明の第２の実施形態に係る撮像ユニットは、図１に示す第１の実施形態に係る撮像ユニットと基本的に同じ構成である。したがって、本実施形態に係る撮像ユニットとして、図１に示す第１の実施形態と同じ撮像ユニットを用い、各構成要素についての詳細な説明は省略する。また、撮像素子５０のスイッチング回路１７及び状態変化検出器２０の構成も、図３及び図４と同じであり、詳細な説明は省略する。
【００４３】
本実施形態に係る撮像ユニットと第１の実施形態に係る撮像ユニットとで異なる点は、状態変化検出器２０によって、同じ色のカラーフィルタを有する３つのフォトダイオード１の各々に接続されるコンパレータ１８のうち、少なくとも２つのコンパレータ１８から同時に状態変化の信号が検出される点にあり、その場合における状態変化検出器２０の動作手順が新たに加わる点にある。
【００４４】
次に、そのような場合における、本実施形態に係る撮像ユニットによるフォトダイオード１の画素値を加算して出力する手順について、図１１のフローチャート及び図１２のタイミングチャートに基づいて説明する。なお、本実施形態においても、第１の実施形態と同様に、ランプ信号発生器１９は、必ず各状態変化検出器２０が３回の状態変化を検出できるように、ランプ信号の出力時間が決められているものとする。また、スイッチング回路１７のスイッチＳＷ１〜ＳＷ１２は、不図示のデジタルカメラ等の制御部の指示によってＯＮ状態にそれぞれ設定されているものとする。また、以下の説明において、状態変化検出器２０の初期の出力状態は、図１２に示すようにＬＯＷ状態にあるものとする。
【００４５】
ステップＳ２０：ランプ信号発生器１９は、ランプ信号を発生させて、各コンパレータ１８のプラス端子に出力するとともに、ランプ信号発生器１９は、加算演算器１００に対してランプ出力開始信号を出力する。加算演算器１００は、各状態変化検出器２０からの信号のトグル変化を受信するまでの時間計測を開始する。これと同時に、不図示のデジタルカメラ等の制御部の指示によるタイミグジェネレータの発するパルスに基づいて、水平デコーダ１３は、Ｙ＝１の水平選択線１１に電圧を出力する。これにより、Ｙ＝１の水平選択線１１上にある全てのフォトダイオード１の画素値は、各垂直信号線１０に出力され、増幅器１４、ＣＤＳ回路１５を介して、コンデンサ１６に蓄積される。そして、各コンデンサ１６に蓄積された画素値は、スイッチング回路１７を介して、各コンパレータ１８のマイナス端子に入力される。
【００４６】
状態変化検出器２０は、各Ｒ１１、Ｒ３１及びＲ５１の各々の画素値とランプ信号との大きさを比較している各コンパレータ１８からの出力を監視する。状態変化検出器２０は、１画素目の状態変化の検出として、監視部３０によって、いずれかのコンパレータ１８からの出力を受信したか否かを判定する。監視部３０がいずれのコンパレータ１８からの出力も受信していない場合（ＮＯ側）には、状態変化検出器２０はいずれかのコンパレータ１８からの出力を受信するまで待機する。一方、監視部３０が、例えば、図６に示すように、最初にランプ信号の出力値がＲ１１の画素値を上回ったことによって、Ｒ１１のコンパレータ１８からの出力を受信した場合には、状態変化検出器２０はステップＳ２１（ＹＥＳ側）へ移行する。
【００４７】
なお、以下の説明では、垂直信号線１０のＸ＝１、３及び５で、水平選択線１１のＹ＝１にあるＲ１１、Ｒ３１及びＲ５１のフォトダイオード１における画素加算処理を中心に説明する。そして、他のフォトダイオード１の画素値の加算処理についても同様の処理が施される。
【００４８】
ステップＳ２１：状態変化検出器２０は、Ｒ１１のフォトダイオード１の状態変化とともに、他のＲ３１及びＲ５１の両方、又はいずれか一方の状態変化を示すコンパレータ１８からの信号を同時に受信しているか否かを、監視部３０の検出結果に基づいて判定する。具体的には、状態変化検出器２０の監視部３０による、Ｒ１１のコンパレータ１８からの信号と同時に、他のフォトダイオード１のコンパレータ１８から信号を受信しているか否かの検出は、状態変化検出器２０に設けられているＣＬＫ発生器４０のクロック信号に基づいて行われる。即ち、ＣＬＫ発生器４０のクロック信号の周波数は、上述のように、不図示でこの撮像ユニットから出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器のビット精度に応じて決められるが、クロック信号の１周期の範囲内で、監視部３０が、２つ以上のコンパレータ１８から信号を検出した場合には、本実施形態では「同時」であるとする。監視部３０が、Ｒ１１のフォトダイオード１の状態変化とともに、他のＲ３１及びＲ５１の両方、又はいずれか一方の状態変化を示すコンパレータ１８からの信号を「同時」に検出した場合には、状態変化検出器２０はステップＳ２８（ＹＥＳ側）へ移行する。一方、監視部３０が、Ｒ１１のフォトダイオード１の状態変化のみ検出した場合には、状態変化検出器２０はステップＳ２２（ＮＯ側）へ移行する（図１２は、こちらの場合に相当する）。
【００４９】
ステップＳ２２：状態変化検出器２０は、加算演算器１００に対し、１画素目の状態変化を検出したことを、信号をＬＯＷからＨＩＧＨへトグル変化させて知らせる。加算演算器１００は、ランプ出力開始信号を受信してから１画素目のトグル変化を受信するまでの時間Δｔ１を計測し、加算演算器１００内部のメモリ（不図示）に記録する。加算演算器１００は、次のトグル変化を受信するまでの時間計測を再開する。
【００５０】
ステップＳ２３：状態変化検出器２０は、Ｒ３１又はＲ５１の各々の画素値とランプ信号とを比較している各コンパレータ１８からの出力を監視する。状態変化検出器２０は、２画素目の状態変化の検出として、監視部３０によって、いずれかのコンパレータ１８からの出力を受信したか否かを判定する。監視部３０が、いずれのコンパレータ１８からの出力も受信していない場合（ＮＯ側）には、状態変化検出器２０はいずれかのコンパレータ１８からの出力を受信するまで待機する。一方、監視部３０が、例えば、図１２に示すように、ランプ信号の出力値がＲ３１の画素値を上回ったことによって、Ｒ３１のコンパレータ１８からの出力を受信した場合には、状態変化検出器２０はステップＳ２４（ＹＥＳ側）へ移行する。
【００５１】
ステップＳ２４：状態変化検出器２０は、監視部３０によって、Ｒ３１のフォトダイオード１の状態変化とともに、Ｒ５１の状態変化を示すコンパレータ１８からの信号をも「同時」に受信しているか否かを判定する。監視部３０が、Ｒ３１のフォトダイオード１の状態変化とともに、Ｒ５１の状態変化を示すコンパレータ１８からの信号を「同時」に受信していると判定した場合には、状態変化検出器２０はステップＳ３２（ＹＥＳ側）へ移行する（図１２は、こちらの場合に相当する）。一方、監視部３０が、Ｒ３１のフォトダイオード１の状態変化のみ検出した場合には、状態変化検出器２０はステップＳ２５（ＮＯ側）へ移行する。
【００５２】
ステップＳ２５：状態変化検出器２０は、加算演算器１００に対し、２画素目の状態変化を検出したことを、今度は信号をＨＩＧＨからＬＯＷへトグル変化させて知らせる。加算演算器１００は、１画素目のトグル変化を受信してから、２画素目のトグル変化を受信するまでの時間Δｔ２を計測し、加算演算器１００内部のメモリ（不図示）に記録する。加算演算器１００は、次のＲ５１のトグル変化を受信するまでの時間計測を再開する。
【００５３】
ステップＳ２６：状態変化検出器２０は、Ｒ５１の画素値とランプ信号との大きさを比較しているコンパレータ１８からの出力を監視する。状態変化検出器２０は、監視部３０によって、３画素目の状態変化の検出として、Ｒ５１に接続されているコンパレータ１８からの出力を受信したか否かを判定する。監視部３０が、そのコンパレータ１８からの出力を受信していない場合（ＮＯ側）には、状態変化検出器２０は出力を受信するまで待機する。一方、監視部３０が、ランプ信号の出力値がＲ５１の画素値を上回ったことによって、Ｒ５１のコンパレータ１８からの出力を受けた場合には、状態変化検出器２０はステップＳ１５（ＹＥＳ側）へ移行する。
【００５４】
ステップＳ２７：状態変化検出器２０は、加算演算器１００に対し、３画素目の状態変化を検出したことを、信号を再度ＬＯＷからＨＩＧＨへトグル変化させて知らせる。加算演算器１００は、２画素目のトグル変化を受信してから、３画素目のトグル変化を受信するまでの時間Δｔ３を計測し、加算演算器１００内部のメモリ（不図示）に記録する。
【００５５】
ステップＳ２８：状態変化検出器２０は、監視部３０によって、Ｒ１１のフォトダイオード１の状態変化とともに、他のＲ３１及びＲ５１の両方のコンパレータ１８から状態変化を示す信号を同時に検出したか否かを判定する。監視部３０が、Ｒ３１及びＲ５１の両方のコンパレータ１８から状態変化を示す信号を、Ｒ１１の状態変化の信号と同時に検出した場合には、状態変化検出器２０はステップＳ３１（ＹＥＳ側）へ移行する。一方、監視部３０が、Ｒ３１又はＲ５１の一方のコンパレータ１８から状態変化を示す信号を、Ｒ１１の状態変化の信号と同時に受信した場合には、状態変化検出器２０はステップＳ２９（ＹＥＳ側）へ移行する。
【００５６】
ステップＳ２９：状態変化検出器２０の監視部３０は、ＣＬＫ発生器４０のクロック信号に基づいて、次のステップＳ３０において説明する図１２の場合と同様の理由に基づいて、クロック信号の１周期＝Δｔ２として時間間隔を空けたトグル変化を２回行う。状態変化検出器２０は、そのような２回のトグル変化を施した信号を加算演算器１００へ送信する。加算演算器１００は、２回のトグル変化を施された信号を受信すると、最初のトグル変化から、ランプ信号の開始時間から１画素目の状態変化までの時間Δｔ１を、２回目トグル変化から１画素目と２画素目との状態変化の間の時間Δｔ２を計測する。加算演算器１００は、それらの時間Δｔ１及びΔｔ２を、加算演算器１００内部のメモリ（不図示）に記録して、ステップＳ２６へ移行する。
【００５７】
ステップＳ３０：状態変化検出器２０の監視部３０は、ＣＬＫ発生器４０のクロック信号に基づいて、図１２に示すようなトグル変化、即ちクロック信号の１周期＝Δｔ３として時間間隔を空けたトグル変化を２回行う。監視部３０は、そのような２回のトグル変化を施した信号を加算演算器１００へ送信する。加算演算器１００は、２回のトグル変化を施された信号を受信すると、最初のトグル変化に基づいて１画素目と２画素目との状態変化の間の時間Δｔ２を、２回目トグル変化から２画素目と３画素目との状態変化の間の時間Δｔ３を計測する。加算演算器１００は、それらの時間Δｔ２及びΔｔ３を、加算演算器１００内部のメモリ（不図示）に記録して、ステップＳ３２へ移行する。
【００５８】
ここで、監視部３０が２つのコンパレータ１８からの状態変化を「同時」と判断した場合、ステップＳ２９及びステップＳ３０のような処理を行う理由は、次の通りである。即ち、通常のデジタル回路では、上記のような「同時」の状態変化を検出しても、一回の状態変化の検出と判定してしまい、１回のトグル変化しか出力しない。そのため、加算演算器１００では３回のトグル変化の受信を待っていることから、撮像ユニットの動作が不安定になる。そこで、本実施形態では、監視部３０が、各コンパレータ１８からの状態変化を、独立に且つＣＬＫ発生器４０のクロック信号に基づいて監視することによって、２つのコンパレータ１８の状態変化が「同時」に生じたか否かの判定が可能となり、クロック信号の１周期＝Δｔ２又はΔｔ３として、もう１回のトグル変化を強制的に行うことで、撮像ユニットの動作を安定に保つことが可能となる。また、このような場合、Δｔ２又はΔｔ３は演算誤差となるが、クロック信号の１周期分等の最小の大きさに設定することや、或いは監視部３０による検出がランダムノイズによる検出時間の誤差等によって、その演算誤差は十分に小さな値となり、実用上問題とはならない。
【００５９】
ステップＳ３１：状態変化検出器２０の監視部３０は、ＣＬＫ発生器４０のクロック信号に基づいて、ステップＳ２９及びステップＳ３０の場合と同様の理由によって、クロック信号の１周期＝Δｔ２＝Δｔ３として時間間隔を空けたトグル変化を３回行う。監視部３０は、そのような３回のトグル変化を施した信号を加算演算器１００へ送信する。加算演算器１００は、３回のトグル変化を施された信号を受信すると、最初のトグル変化から、ランプ信号の開始時間から１画素目の状態変化までの時間Δｔ１を、２回目トグル変化から１画素目と２画素目との状態変化の間の時間Δｔ２を、及び２回目トグル変化から２画素目と３画素目との状態変化の間の時間Δｔ３をそれぞれ計測する。加算演算器１００は、それらの時間Δｔ１〜Δｔ３を、加算演算器１００内部のメモリ（不図示）に記録して、ステップＳ３２へ移行する。
【００６０】
ステップＳ３２：ランプ信号発生器１９は、ランプ信号の出力開始から所定の時間が経過すると、リセットして０になる。これにより、各コンパレータ１８からの出力も０になる。ただし、状態変化検出器２０の出力は、次の加算処理が行われるまで、現在のＨＩＧＨ状態に保持される。
【００６１】
ステップＳ３３：加算演算器１００は、計測した時間Δｔ１〜Δｔ３と式（１）とを用いて、Ｒ１１、Ｒ３１及びＲ５１の画素値の重み付けして加算する。
【００６２】
ステップＳ３４：水平デコーダ１３は、次の水平選択線１１上にあるフォトダイオード１の画素値を出力するか否かを判定する。水平デコーダ１３は、最後の水平選択線１１（Ｙ＝８）上までの全てのフォトダイオード１の画素値を出力したと判定した場合（ＮＯ側）には、一連の画素加算処理を終了する。一方、水平デコーダ１３は、まだ最後の水平選択線１１（Ｙ＝８）までのフォトダイオード１の画素値まで出力していないと判定した場合には、ステップＳ２０（ＹＥＳ側）へ移行する。水平デコーダ１３は、不図示のデジタルカメラ等の制御部の指示によりタイミグジェネレータの発するパルスに基づいて、各コンデンサ１６の電荷をリセットするとともに、次の水平選択線１１（例えば、Ｙ＝２）上にある各フォトダイオード１の画素値を出力して、ステップＳ２０〜ステップＳ３３の処理を行う。水平デコーダ１３は、最後の水平選択線１１（Ｙ＝８）までの全てのフォトダイオード１の画素値が出力され、ステップＳ２０〜ステップＳ３３の処理が行われたら、一連の画素加算処理を終了する。これによって、最終的に、図７に示すような、加算処理された画像データが出力される。
【００６３】
このように本実施形態では、加算演算器１００は、状態変化検出器２０による状態変化を知らせるトグル変化を基準にして、各状態変化が検出されるまでの時間Δｔ１〜Δｔ３に基づいて画素加算を行うことから、撮像ユニットの回路規模を小さくすることができ、撮像ユニットの小型化及び低コスト化を図ることができる。
【００６４】
また、監視部３０が、状態変化検出器２０に入力される各コンパレータ１８の状態変化を、独立且つＣＬＫ発生器４０のクロック信号に基づいて監視することによって、たとえ「同時」に２以上のコンパレータ１８の状態変化を検出したとしても、クロック信号に基づいたトグル変化を強制的に行うことで、撮像ユニットの動作を安定に保つことができる。
【００６５】
また、従来のデジタル方式のような高速なクロック信号や同期回路等が不要となるため、撮像ユニット内部におけるシステムノイズの発生を極力抑えることができ、低ノイズの撮像ユニットが実現できる。
【００６６】
さらに、３つのフォトダイオード１の画素値毎に加算して出力することにより、３倍のフレームレートで全画素値を読み出すことができるという高速処理が可能となる。また、出力された画像は、従来の間引き読み出しされた画像と比較して斜め方向のジャギーが減少し、ランダムノイズが平均化されるのでＳ／Ｎ比が改善され、画質を良くすることができる。
≪第２の実施形態の補足事項≫
本実施形態において、各状態変化検出器２０には、同じ色のカラーフィルタを有する３つのフォトダイオード１に接続されたコンパレータ１８が接続されていたが、本発明はこれに限定されず、同じ色のカラーフィルタを有した任意の数のフォトダイオード１に接続されたコンパレータ１８が接続されても良い。
【００６７】
なお、本実施形態では、受光面に１２×８個のフォトダイオード１からなる撮像素子５０を用いたが、本発明はこれに限定されず、任意の数のフォトダイオード１からなる撮像素子５０を用いても良い。
【００６８】
なお、本実施形態において、Ｙ＝１からＹ＝８までの水平選択線１１にあるフォトダイオード１の画素値を、順次読み出して画素加算処理を行ったが、本発明はこれに限定されず、Ｘ＝１からＸ＝１２までの垂直信号線１０にあるフォトダイオード１の画素値を、順次読み出して画素加算処理を行っても良い。なお、その場合、増幅器１４、ＣＤＳ回路１５、コンデンサ１６、スイッチング回路１７及びコンパレータ１８は、各水平選択線１１に設けられることが好ましい。
【００６９】
なお、本実施形態において、状態変化検出器２０の監視部３０が、各フォトダイオード１に接続されているコンパレータ１８からの状態変化を示す信号を「同時」に検出した場合には、クロック信号の１周期＝Δｔ２、クロック信号の１周期＝Δｔ３又はクロック信号の１周期＝Δｔ２＝Δｔ３ とした間隔で、強制的にトグル変化させた信号を、加算演算器１００に出力するとしたが、本発明はこれに限定されず、強制的にトグル変化させる時間Δｔ２やΔｔ３は、それぞれ任意の時間に設定されても良い。
【００７０】
なお、本実施形態において、加算演算器１００は、状態変化検出器２０の状態変化を知らせるトグル変化を基準にして、各状態変化が検出されるまでの時間Δｔ１〜Δｔ３を計測したが、本発明はこれに限定されない。例えば、図８の場合と同様に、加算演算器１００は、ランプ信号発生器１９からのランプ出力開始信号の受信時間を基準にして、状態変化検出器２０からのトグル変化を受信した時間をΔｔ１〜Δｔ３とし、式（２）に基づいて、各フォトダイオード１の画素値を重み付けした加算を行っても良い。
【００７１】
なお、本実施形態において、状態変化検出器２０は、監視部３０によって検出される、各コンパレータ１８からの信号に基づいた状態変化に応じて、信号をＬＯＷからＨＩＧＨ又はＨＩＧＨからＬＯＷへトグル変化させて出力したが、本発明はこれに限定されない。例えば、図９に示すように監視部３０の出力側に、コンデンサＣ及び抵抗器Ｒからなる微分回路を設けることによって、図１３に示すように、状態変化検出器２０は、トグル変化の信号をパルス信号に変換して加算演算器１００へ出力しても良い。図１３に示すように、加算演算器１００は、パルス信号の立ち上がり又は立ち下がり時間を基準にして、各時間Δｔ１〜Δｔ３を計測する。
【００７２】
これにより、トグル変化に基づいた信号からパルス信号にすることによって、アナログ方式の場合と比較して、信号伝送中におけるノイズ混入に対する耐ノイズ性を大幅に向上させることが可能となる。さらに、パルス信号にすることにより、撮像ユニットにＡ／Ｄ変換器等を設ける必要性がなくなるなど、撮像ユニット外部のデジタル回路とのインタフェースを容易にし、撮像ユニット全体の簡素化が可能となる。
【００７３】
なお、本実施形態において、加算演算器１００は、撮像素子５０の外部に設けられていたが、本発明はこれに限定されず、例えば、撮像素子５０の内部に組み込まれた撮像ユニットであっても良い。
【００７４】
なお、本実施形態において、スイッチング回路１７は、コンパレータ１８の前に配置したが、本発明はこれに限定されず、コンパレータ１８の後に配置されても良い。
【００７５】
なお、本発明は、本実施形態に係る撮像ユニットとともに、 撮影光学系、撮影制御部及び画像記録部を備えた撮像装置に対しても適応可能である。
≪第３の実施形態≫
本発明の第３の実施形態に係る撮像ユニットは、図１４に示すとおり、図１に示す第１の実施形態に係る撮像ユニットと基本的な構成は同じである。したがって、本実施形態に係る撮像ユニットと第１の実施形態に係る撮像ユニットとにおいて、同じ動作を行う構成要素については同じ符号を付して詳細な説明は省略する。また、撮像素子５０のスイッチング回路１７の構成も図３と同じであり、詳細な説明は省略する。
【００７６】
本実施形態に係る撮像ユニットと第１の実施形態の撮像ユニットとで異なる点は、以下の通りである。
【００７７】
１）第１の実施形態に係る撮像ユニットでは、水平デコーダ１３が、Ｙ＝１からＹ＝８の水平選択線１１上にあるフォトダイオード１の画素値を順次出力させて、加算演算器１００が、各状態変化検出器２０によって検出された状態変化に基づいたトグル変化に応じて、同じ色のカラーフィルタを有する３つのフォトダイオード１の画素値毎に加算したが、本実施形態では、加算演算器１００は、４画素×４画素の領域で、且つ同じ色のカラーフィルタを有する４つのフォトダイオード１の画素値毎に、各状態変化検出器２０によって検出された状態変化に基づいたトグル変化に応じて加算する。
【００７８】
ただし、図１のような第１の実施形態に係る撮像素子５０において、各４画素×４画素の領域を通る４本の垂直信号線１０に、同じ色のカラーフィルタを有する４つのフォトダイオード１の画素値を同時に出力しようとすると、例えば、４画素×４画素の領域の１つで、Ｒの４つのフォトダイオード１であるＲ１１、Ｒ１３、Ｒ３１及びＲ３３の画素値は、同じＸ＝１やＸ＝３の垂直信号線１０上にあるＲ１１とＲ１３との画素値及びＲ３１とＲ３３との画素値が互いに重なり合ってしまう。その結果、加算演算器１００における画素加算が正常に動作しない。そこで、図１４に示すように、本実施形態に係る撮像素子５０は、それら同じ色のカラーフィルタで且つ４画素×４画素の領域にある４つのフォトダイオード１の画素値を、それぞれ独立に出力できるようにするために、例えば、Ｒ１３及びＲ３３のフォトダイオード１に、Ｘ＝２及びＸ＝４の垂直信号線１０に画素値を出力できるようにするための、もう１つの出力回路が設けられている。他のＧｒ１２やＢ２２等にも同様の出力回路が設けられている。これによって、本実施形態に係る撮像ユニットは、各４画素×４画素の領域を通る４つの垂直信号線１０を用いて、同じ色のカラーフィルタを有する４つフォトダイオード１の画素値の各々を、互いに重なり合うことなく出力することができる。
【００７９】
２）図１５に示すように、本実施形態の状態変化検出器２０’の各構成要素は、第１の実施形態における状態変化検出器２０（図４）と基本的に同じであるが、４つのコンパレータ１８からの信号が入力される点が異なる。その結果、状態変化検出器２０’は３つに減少するが、状態変化検出器２０’によって検出される状態変化に応じたトグル変化は４回に増える。
【００８０】
以上の２点が、本実施形態に係る撮像ユニットと第１の実施形態に係る撮像ユニットと異なる点である。
【００８１】
次に、本実施形態の撮像ユニットにおける、フォトダイオード１に光電変換によって蓄積された画素値を加算して出力する手順について、図１６のフローチャート及び図１７のタイミングチャートに基づいて説明する。なお、本実施形態におけるランプ信号発生器１９は、必ず各状態変化検出器２０’が４回の状態変化を検出できるように、ランプ信号の出力時間が決められているものとする。また、スイッチング回路１７のスイッチＳＷ１〜ＳＷ１２は、不図示のデジタルカメラ等の制御部の指示によって、ＯＮ状態にそれぞれ設定されているものとする。また、以下の説明において、状態変化検出器２０’の初期の出力状態は、図１７に示すようにＬＯＷ状態にあるものとする。
【００８２】
ステップＳ５０：ランプ信号発生器１９は、ランプ信号を発生させて、各コンパレータ１８のプラス端子に出力するとともに、ランプ信号発生器１９は、加算演算器１００に対してランプ出力開始信号を出力する。加算演算器１００は、各状態変化検出器２０’からの信号のトグル変化を受信するまでの時間計測を開始する。これと同時に、不図示のデジタルカメラ等の制御部の指示によりタイミグジェネレータの発するパルスに基づいて、水平デコーダ１３は、水平選択線１１のＹ＝ＮとＹ＝Ｎ＋２（Ｎは自然数で、１，２，…）とに電圧を出力する。これにより、例えば、Ｎ＝１の場合には、Ｒ１１がＸ＝１の垂直信号線１０に、Ｒ１３がＸ＝２の垂直信号線１０に、Ｒ３１がＸ＝３の垂直信号線１０に、及びＲ３３がＸ＝４の垂直信号線１０にそれぞれ画素値を出力し、増幅器１４、ＣＤＳ回路１５を介して、コンデンサ１６に蓄積される。そして、各コンデンサ１６に蓄積された画素値は、スイッチング回路１７を介して、各コンパレータ１８のマイナス端子に入力される。
【００８３】
状態変化検出器２０’は、各Ｒ１１、Ｒ１３、Ｒ３１及びＲ３３の各々の画素値とランプ信号との大きさを比較している各コンパレータ１８からの出力を監視する。状態変化検出器２０’は、１画素目の状態変化の検出として、監視部３０によって、いずれかのコンパレータ１８からの出力を受信したか否かを判定する。監視部３０が、いずれのコンパレータ１８からの出力も受信していない場合（ＮＯ側）には、状態変化検出器２０’はいずれかのコンパレータ１８からの出力を受信するまで待機する。一方、監視部３０が、例えば、図１７に示すように、最初にランプ信号の出力値がＲ１１の画素値を上回ったことによって、Ｒ１１のコンパレータ１８からの出力を受信した場合には、状態変化検出器２０’はステップＳ５１（ＹＥＳ側）へ移行する。
【００８４】
なお、以下の説明では、Ｘ＝１〜４の垂直信号線１０とＹ＝１〜４の水平選択線１１で指定される４画素×４画素の領域における画素加算処理を中心に説明する。そして、他の４画素×４画素の領域におけるフォトダイオード１の画素値の加算処理についても同様の処理が施される。
【００８５】
ステップＳ５１：状態変化検出器２０’は、加算演算器１００に対し、１画素目の状態変化を検出したことを、信号をＬＯＷからＨＩＧＨへトグル変化させて知らせる。加算演算器１００は、ランプ出力開始信号を受信してから１画素目のトグル変化を受信するまでの時間Δｔ１を計測し、加算演算器１００内部のメモリ（不図示）に記録する。加算演算器１００は、次のトグル変化を受信するまでの時間計測を再開する。
【００８６】
ステップＳ５２：状態変化検出器２０’は、Ｒ１３、Ｒ３１又はＲ３３の各々の画素値とランプ信号との大きさを比較している各コンパレータ１８からの出力を監視する。状態変化検出器２０’は、２画素目の状態変化の検出として、監視部３０によって、いずれかのコンパレータ１８からの出力を受信した否かを判定する。監視部３０が、いずれのコンパレータ１８からの出力も受信していない場合（ＮＯ側）には、状態変化検出器２０’はいずれかのコンパレータ１８からの出力を受信するまで待機する。一方、監視部３０が、例えば、図１７に示すように、ランプ信号の出力値がＲ１３の画素値を上回ったことによって、Ｒ１３のコンパレータ１８からの出力を受信した場合には、状態変化検出器２０’はステップＳ５３（ＹＥＳ側）へ移行する。
【００８７】
ステップＳ５３：状態変化検出器２０’は、加算演算器１００に対し、２画素目の状態変化を検出したことを、今度は信号をＨＩＧＨからＬＯＷへトグル変化させて知らせる。加算演算器１００は、１画素目のトグル変化を受信してから、２画素目のトグル変化を受信するまでの時間Δｔ２を計測し、加算演算器１００内部のメモリ（不図示）に記録する。加算演算器１００は、次のトグル変化を受信するまでの時間計測を再開する。
【００８８】
ステップＳ５４：状態変化検出器２０’は、Ｒ３１又はＲ３３の各々の画素値とランプ信号との大きさを比較している各コンパレータ１８からの出力を監視する。状態変化検出器２０’は、３画素目の状態変化の検出として、監視部３０によって、いずれかのコンパレータ１８からの出力を受信したか否かを判定する。監視部３０が、いずれのコンパレータ１８からの出力も受信していない場合（ＮＯ側）には、状態変化検出器２０’はいずれかのコンパレータ１８からの出力を受信するまで待機する。一方、監視部３０が、例えば、図１７に示すように、ランプ信号の出力値がＲ３１の画素値を上回ったことによって、Ｒ３１のコンパレータ１８からの出力を受信した場合には、状態変化検出器２０’はステップＳ５５（ＹＥＳ側）へ移行する。
【００８９】
ステップＳ５５：状態変化検出器２０’は、加算演算器１００に対し、３画素目の状態変化を検出したことを、信号を再度ＬＯＷからＨＩＧＨへトグル変化させて知らせる。加算演算器１００は、２画素目のトグル変化を受信してから、３画素目のトグル変化を受信するまでの時間Δｔ３を計測し、加算演算器１００内部のメモリ（不図示）に記録する。加算演算器１００は、次のＲ３３のトグル変化を受信するまでの時間計測を再開する。
【００９０】
ステップＳ５６：状態変化検出器２０’は、Ｒ３３の画素値とランプ信号との大きさを比較しているコンパレータ１８からの出力を監視する。状態変化検出器２０’は、４画素目の状態変化の検出として、監視部３０によって、Ｒ３３のコンパレータ１８からの出力を受信したか否かを判定する。監視部３０が、Ｒ３３のコンパレータ１８からの出力を受信していない場合（ＮＯ側）には、状態変化検出器２０’はそのコンパレータ１８からの出力を受信するまで待機する。一方、監視部３０が、例えば、図１７に示すように、ランプ信号の出力値がＲ３３の画素値を上回ったことによって、Ｒ３３のコンパレータ１８からの出力を受信した場合には、状態変化検出器２０’はステップＳ５７（ＹＥＳ側）へ移行する。
【００９１】
ステップＳ５７：状態変化検出器２０’は、加算演算器１００に対し、４画素目の状態変化を検出したことを、信号を再度ＨＩＧＨからＬＯＷへトグル変化させて知らせる。加算演算器１００は、３画素目のトグル変化を受信してから、４画素目のトグル変化を受信するまでの時間Δｔ４を計測し、加算演算器１００内部のメモリ（不図示）に記録する。
【００９２】
ステップＳ５８：ランプ信号発生器１９は、ランプ信号の出力開始から所定の時間が経過すると、リセットして０になる。これにより、各コンパレータ１８からの出力も０になる。ただし、状態変化検出器２０の出力は、次の加算処理が行われるまで、現在のＬＯＷ状態に保持される。
【００９３】
ステップＳ５９：加算演算器１００は、計測した時間Δｔ１〜Δｔ４と次式（３）とを用いて、Ｒ１１、Ｒ１３、Ｒ３１及びＲ３３の画素値の重み付けして加算する。
Ｒ２２＝４×Δｔ１＋３×Δｔ２＋２×Δｔ３＋Δｔ４    …（３）
なお、本実施形態では、加算された画素値の位置を、その加算に用いた４つのフォトダイオード１における重心位置と定義する。したがって、Ｂ２２の位置がその位置となり、加算演算器１００は、加算した画素値をＢ２２の位置にあるＲのカラーフィルタを有するフォトダイオード１の画素値として出力する（図１８）。
【００９４】
ステップＳ６０：水平デコーダ１３は、例えば、Ｙ＝１及びＹ＝３（即ち、Ｎ＝１）の水平選択線１１上にあるもう１つのカラーフィルタのＧｒ２１、Ｇｒ２３、Ｇｒ４１及びＧｒ４３の４つのフォトダイオード１に対する加算処理が行われたか否かを判定する。水平デコーダ１３が、それら４つのＧｒのフォトダイオード１に対する加算処理が行われたと判定した場合にはステップＳ６１（ＹＥＳ側）へ移行する。一方、行われていないと判定した場合には、水平デコーダ１３は、不図示のデジタルカメラ等の制御部の指示によりタイミグジェネレータの発するパルスに基づいて、各コンデンサ１６の電荷をリセットして、ステップＳ５０（ＮＯ側）へ移行し、４つのＧｒのフォトダイオード１に対してステップＳ５０〜ステップＳ５９の加算処理を行う。同様に、例えば、Ｎ＝２の場合には、Ｙ＝２及びＹ＝４の水平選択線１１上にあるもう１つのカラーフィルタのＢ２２、Ｂ２４、Ｂ４２及びＢ４４の４つのフォトダイオード１に対する加算処理が終了したか否かの判定を行い、上記と同様の加算処理を行う。
【００９５】
ステップＳ６１：水平デコーダ１３は、次のＹ＝Ｎ及びＹ＝Ｎ＋２の水平選択線１１上にあるフォトダイオード１の画素値を出力するか否かを判定する。水平デコーダ１３は、最後の水平選択線１１（Ｙ＝８）上までの全てのフォトダイオード１の画素値を出力したと判定した場合（ＮＯ側）には、一連の画素加算処理を終了する。一方、水平デコーダ１３は、まだ最後の水平選択線１１（Ｙ＝８）までのフォトダイオード１の画素値まで出力していないと判断した場合には、ステップＳ５０（ＹＥＳ側）へ移行する。水平デコーダ１３は、不図示のデジタルカメラ等の制御部の指示によりタイミグジェネレータの発するパルスに基づいて、各コンデンサ１６の電荷をリセットするとともに、次の水平選択線１１（例えば、Ｎ＝２でＹ＝２及びＹ＝４）上にある各フォトダイオード１の画素値を出力して、ステップＳ５０〜ステップＳ６０の処理を行う。水平デコーダ１３は、最後の水平選択線１１（Ｙ＝８）までの全てのフォトダイオード１の画素値が出力され、ステップＳ５０〜ステップＳ６０の処理が行われたら、一連の画素加算処理を終了する。これによって、最終的に、図１８に示すような、加算処理された画像データが出力される。
【００９６】
このように本実施形態では、加算演算器１００は、状態変化検出器２０による状態変化を知らせるトグル変化を基準にして、各状態変化が検出されるまでの時間Δｔ１〜Δｔ４に基づいて画素加算を行うことから、撮像ユニットの回路規模を小さくすることができ、撮像ユニットの小型化及び低コスト化を図ることができる。
【００９７】
また、従来のデジタル方式のような高速なクロック信号や同期回路等が不要となるため、撮像ユニット内部におけるシステムノイズの発生を極力抑えることができ、低ノイズの撮像ユニットが実現できる。
【００９８】
さらに、４画素×４画素の領域毎に、同じ色のカラーフィルタを有する４つのフォトダイオード１の画素値を加算して出力することにより、４倍のフレームレートで全画素値を読み出すことができるという高速処理が可能となる。また、出力された画像は、従来の間引き読み出しされた画像と比較して斜め方向のジャギーが減少し、ランダムノイズが平均化されるのでＳ／Ｎ比が改善され、画質を良くすることができる。
≪第３の実施形態の補足事項≫
本実施形態において、４画素×４画素の領域で且つ同じ色のカラーフィルタを有する４つのフォトダイオード１の画素値毎に加算処理したが、本発明はこれに限定されない。例えば、９画素×９画素等の領域で且つ同じ色のカラーフィルタを有したフォトダイオード１の画素値毎に画素加算を行っても良い。
【００９９】
なお、本実施形態において、受光面に１２×８個のフォトダイオード１からなる撮像素子５０を用いたが、本発明はこれに限定されず、任意の数のフォトダイオード１からなる撮像素子５０を用いても良い。
【０１００】
なお、本実施形態において、４画素×４画素の領域で、Ｙ＝Ｎ及びＹ＝Ｎ＋２の水平選択線１１にある同じ色のカラーフィルタを有した４つのフォトダイオード１の画素値を、４本の垂直信号線１０の各々に順次出力して画素加算処理を行ったが、本発明はこれに限定されない。例えば、４画素×４画素の領域で、Ｘ＝１及びＸ＝Ｎ＋２の垂直信号線１０にある同じ色のカラーフィルタを有したフォトダイオード１の画素値を、４本の水平選択線１１に順次出力して画素加算処理を行っても良い。なお、その場合、増幅器１４、ＣＤＳ回路１５、コンデンサ１６、スイッチング回路１７及びコンパレータ１８は、各水平選択線１１に設けられることが好ましい。さらに、例えば、Ｒ１１とＲ３３のフォトダイオード１の画素値が、Ｙ＝１の水平選択線１１に同時に出力されないために、Ｒ３３のフォトダイオード１には、Ｙ＝２の水平選択線１１に画素値を出力できるように、もう１つの出力回路が設けられることが好ましい。他の画素の場合についても同様である。
【０１０１】
なお、本実施形態において、加算演算器１００は、状態変化検出器２０’の状態変化を知らせるトグル変化を基準にして、各状態変化が検出されるまでの時間Δｔ１〜Δｔ４を計測したが、本発明はこれに限定されない。例えば、図８の場合と同様に、加算演算器１００は、ランプ信号発生器１９からのランプ出力開始信号の受信時間を基準にして、状態変化検出器２０’からのトグル変化を受信した時間をΔｔ１〜Δｔ４とし、次式（４）に基づいて、各フォトダイオード１の画素値を重み付けした加算を行っても良い。
Ｒ２２＝４×Δｔ１＋３×（Δｔ２−Δｔ１）＋２×（Δｔ３−Δｔ２）＋（Δｔ４−Δｔ３）    …（４）
なお、本実施形態において、状態変化検出器２０’は、監視部３０によって検出される、各コンパレータ１８からの信号に基づいた状態変化に応じて、信号をＬＯＷからＨＩＧＨ又はＨＩＧＨからＬＯＷへトグル変化させて出力したが、本発明はこれに限定されない。例えば、図９の場合と同様に、監視部３０の出力側に、コンデンサＣ及び抵抗器Ｒからなる微分回路を設けることによって、状態変化検出器２０’は、トグル変化の信号をパルス信号に変換して加算演算器１００へ出力しても良い。図１３の場合と同様に、加算演算器１００は、パルス信号の立ち上がり又は立ち下がり時間を基準にして、各時間Δｔ１〜Δｔ４を計測する。
【０１０２】
これにより、トグル変化に基づいた信号からパルス信号にすることによって、アナログ方式の場合と比較して、信号伝送中におけるノイズ混入に対する耐ノイズ性を大幅に向上させることが可能となる。さらに、パルス信号にすることにより、撮像ユニットにＡ／Ｄ変換器等を設ける必要性がなくなるなど、撮像ユニット外部のデジタル回路とのインタフェースを容易にし、撮像ユニット全体の簡素化が可能となる。
【０１０３】
また、状態変化検出器２０’の監視部３０が、２以上のコンパレータ１８からの信号に基づいた状態変化を「同時」に検出した場合には、第２の実施形態に示したのと同様の「同時」判定処理が、ＣＬＫ発生器４０に基づいて行われることが好ましい。
【０１０４】
なお、本実施形態において、加算演算器１００は、撮像素子５０の外部に設けられていたが、本発明はこれに限定されず、例えば、撮像素子５０の内部に組み込まれた撮像ユニットであっても良い。
【０１０５】
なお、本実施形態において、スイッチング回路１７は、コンパレータ１８の前に配置したが、本発明はこれに限定されず、コンパレータ１８の後に配置されても良い。
【０１０６】
なお、本発明は、本実施形態に係る撮像ユニットとともに、撮影光学系、撮影制御部及び画像記録部を備えた撮像装置に対しても適応可能である。
【符号の説明】
【０１０７】
１０  垂直信号線、１１  水平選択線、１３  水平デコーダ、１４  増幅器、１５  ＣＤＳ回路、１６  コンデンサ、１７  スイッチング回路、１８  コンパレータ、１９  ランプ信号発生器、２０、２０’  状態変化検出器、３０  監視部、４０  ＣＬＫ発生器、ＳＷ１〜ＳＷ１２  スイッチ、５０  撮像素子、１００  加算演算器
【先行技術文献】
【特許文献】
【０１０８】
【特許文献１】特開２００８−７９０７２号公報
【図１】
2010187209.tif 000003
【図２】
2010187209.tif 000004
【図３】
2010187209.tif 000005
【図４】
2010187209.tif 000006
【図５】
2010187209.tif 000007
【図６】
2010187209.tif 000008
【図７】
2010187209.tif 000009
【図８】
2010187209.tif 000010
【図９】
2010187209.tif 000011
【図１０】
2010187209.tif 000012
【図１１】
2010187209.tif 000013
【図１２】
2010187209.tif 000014
【図１３】
2010187209.tif 000015
【図１４】
2010187209.tif 000016
【図１５】
2010187209.tif 000017
【図１６】
2010187209.tif 000018
【図１７】
2010187209.tif 000019
【図１８】
2010187209.tif 000020