(57)【要約】【課題】簡単にリアルタイムに画像振れを補正できる撮像装置を提供する。【解決手段】通常撮像を行う第１撮像素子１０と、輝度変化部分抽出撮像を行う第２撮像素子２０と、第２撮像素子２０からの撮像信号を用いて第１撮像素子１０による撮像画像の画像振れ（手振れ等に起因する画像振れ）を除去処理する画像処理回路４０とを備えている撮像装置。第２撮像素子２０は、該素子から見て撮像領域中に動体等により輝度が変化する部分があるとき該部分については撮像領域中の輝度変化しない他の部分を表す撮像信号とは異なるレベルの撮像信号を出力する。画像処理回路４０は例えば、素子１０から出力される撮像信号から素子２０から出力される撮像信号を減算する処理を含む画像振れ除去処理を行う。【選択図】  図１
2004304380.tif 000002
【特許請求の範囲】
【請求項１】
撮影対象領域を通常撮像する第１撮像素子と、
前記撮影対象領域中に輝度が変化する部分が存在するとき該部分を抽出撮像できる第２撮像素子と、
前記第２撮像素子からの撮像信号を用いて前記第１撮像素子による撮像画像の画像振れを除去処理する画像処理部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記第２撮像素子は、前記部分については前記撮影対象領域中の輝度変化しない他の部分を表す撮像信号とは異なるレベルの撮像信号を出力し、前記画像処理部は、前記第１撮像素子から出力される撮像信号から前記第２撮像素子から出力される撮像信号を減算する処理を含む画像振れ除去処理を行う請求項１記載の撮像装置。
【請求項３】
前記第２撮像素子は、前記部分については前記撮影対象領域中の輝度変化しない他の部分を表す撮像信号とは異なるレベルの撮像信号を出力するものであり、
前記画像処理部における画像振れ除去処理の切り替えを指示する切り替え指示部が設けられており、
前記画像処理部は、前記第１撮像素子から出力される撮像信号から前記第２撮像素子から出力される撮像信号を減算する処理又は前記第１撮像素子から出力される撮像信号に前記第２撮像素子から出力される撮像信号を加算する処理を含む画像振れ除去処理を行うものであり、前記切り替え指示部は該画像処理部に対し該画像振れ除去処理の切り替えを指示できる請求項１記載の撮像装置。
【請求項４】
前記第１撮像素子と第２撮像素子とは撮像画素数及び画素配列ピッチが同じである請求項１、２又は３記載の撮像装置。
【請求項５】
前記第２撮像素子は、
それぞれが光電変換素子、該光電変換素子の出力を該素子への入射光量の対数値に比例する電気信号に変換するための対数変換用トランジスタを含む対数変換部及び該対数変換部からの出力を蓄積するための積分回路を備える複数の画素と、
前記各画素からの信号を受け取って出力するための出力回路とを備えており、
撮像時に前記対数変換用トランジスタに撮像のための第１電圧を印加した状態で、前記光電変換素子から対数変換部を介して出力される第１信号を前記積分回路に蓄積させ、該対数変換用トランジスタのリセット時に該対数変換用トランジスタに第２電圧を印加して該トランジスタをリセットし、該リセットにより得られる該対数変換部からの第２信号を前記積分回路に蓄積させ、該第２電圧を通常撮像状態が得られる場合の電圧とは異ならせることで撮影対象領域中に輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積された前記第１信号と前記第２信号との差分が該撮影対象領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる輝度変化部分抽出撮像状態を実現し、
前記出力回路は前記第１信号と前記第２信号との差分に相当する信号を出力する請求項１から４のいずれかに記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は撮影対象領域の撮像における画像振れを除去処理できる撮像装置に関する。
【０００２】
【従来の技術とその問題点】
撮像装置により被写体を撮像する場合、撮像装置を支持する人の手等が振れると、得られる画像中に画像が流れたような画像振れが生じることがある。このような手振れ（画像振れ）を補正する技術として、従来、電子式補正と、光学式補正が知られている。例えば電子式補正として特許文献１が知られており、光学式補正として特許文献２が知られている。
【０００３】
電子式補正では、１撮像フレーム内でリアルタイムに手振れを補正することができない。光学式補正ではフレームに関係なくリアルタイムに補正が可能であるが、手振れを検知する検知器が必要であり、且つ、光学系を制御する装置が必要である。
【０００４】
【特許文献１】特開平４−２５５１７９号公報
【特許文献２】特開平３−２００２９９号公報
【０００５】
【発明が解決しようとする課題】
そこで本発明は、簡単にリアルタイムに画像振れを補正できる撮像装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
本発明者の一人は、先に、複雑な画像処理を必要とすることなく、簡単、迅速に動体を抽出撮像することができる撮像素子を開発している（特願平２００２−３７５０２９）。この撮像素子は、撮像素子から見て被写体中に動体により輝度が変化する部分があるとき該部分については該被写体中の輝度変化しない他の部分を表す撮像信号とは異なるレベルの動体存在を示す撮像信号を出力することができるものであり、例えば、動体の少なくとも一部を静止背景部とは異なる画像濃度で表示できる撮像信号を生成することができる。
【０００７】
この撮像素子によると、フレーム間にまたがる被写体の輝度変化を捉えることができ、通常の固体撮像素子では被写体の振れとして撮像される部分の情報が得られる。
【０００８】
本発明者は、かかる動体抽出撮像可能の撮像素子の応用研究を重ねる過程でこの点に着目し、この撮像素子と通常撮像を行う撮像素子とを組み合わせ、これらにより同時刻に、同一撮像領域を撮像し、動体抽出撮像可能の撮像素子により得られる撮像信号を用いて通常撮像素子により得られる撮像信号を処理することで、簡単、迅速に手振れ等に起因する画像振れを除去できることを見い出した。
【０００９】
かかる知見に基づき本発明は、前記課題を解決する撮像装置として、
撮影対象領域を通常撮像する第１撮像素子と、
前記撮影対象領域中に輝度が変化する部分が存在するとき該部分を抽出撮像できる第２撮像素子と、
前記第２撮像素子からの撮像信号を用いて前記第１撮像素子による撮像画像の画像振れを除去処理する画像処理部と、
を備えた撮像装置を提供する。
前記第２撮像素子による撮像領域は前記第１撮像素子による撮像領域と同一であることが好ましいが、両領域が全く重なりを有しない別領域とならない限りは、両領域は完全に同一領域でなくとも本発明は成立する。但し、第１撮像素子による撮像領域全体を画像振れ除去処理の対象領域とする場合、第２撮像素子による撮像領域は第１撮像素子による撮像領域全体をカバーする必要がある。
【００１０】
【発明の実施の形態】
以下、本発明の実施の形態について説明する。
実施形態の撮像装置は、撮影対象領域を通常撮像する第１撮像素子と、該撮影対象領域中に動体等による輝度変化部分が存在するとき該部分を抽出撮像できる第２撮像素子と、これら撮像素子を制御する素子コントローラと、画像処理部とを含んでいる。該画像処理部は、第２撮像素子からの撮像信号（撮像データ）を用いて第１撮像素子による撮像画像の画像振れを除去処理する。
【００１１】
第２撮像素子は、前記素子コントローラの制御下に、前記撮像領域（撮影対象領域）中に動体等により輝度が変化する部分があるとき該部分については該撮像領域中の輝度変化しない他の部分を表す撮像信号とは異なるレベルの撮像信号を出力する。
【００１２】
この撮像装置によると、第２撮像素子と通常撮像を行う第１撮像素子とで同一被写体（撮像素子から見れば、同一撮像領域）を同時に撮像し、前記画像処理部において、第２撮像素子により得られる撮像信号（撮像データ）を用いて通常撮像素子により得られる撮像信号（撮像データ）を処理することで、簡単にリアルタイムに手振れ等に起因する通常撮像素子の撮像画像における画像振れを除去することができる。
【００１３】
この撮像装置は、撮像素子を支持する人の手等が振れることに起因する画像振れだけでなく、撮像領域中に高速移動する動体があることに起因して生じる画像振れについても除去処理できる。高速移動する動体が異なる方向に移動する２物体以上であっても、該動体に起因する画像振れを除去処理できる。
【００１４】
該画像処理部が行う第２撮像素子からの撮像信号を用いて第１撮像素子による撮像画像の画像振れを除去する処理としては、
（１）  通常撮像用第１撮像素子から出力される撮像信号（撮像データ）から第２撮像素子から出力される撮像信号（撮像データ）を減算する処理を含む処理や、
（２）  第１撮像素子から出力される撮像信号（撮像データ）に第２撮像素子から出力される撮像信号（撮像データ）を加算する処理を含む処理を例示できる。
【００１５】
減算処理を行う場合は、１フレーム内で、例えば動体が位置ｐ１から位置ｐ２へ移動したとすると、動体が位置ｐ２にあるときの画像振れ除去後の画像データが得られ、加算処理を行う場合は、動体が位置ｐ１にあるときの画像振れ除去後の画像データが得られる。
【００１６】
画像処理部における画像振れ除去処理の切り替えを指示する切り替え指示部を設け、画像処理部は、第１撮像素子から出力される撮像信号から第２撮像素子から出力される撮像信号を減算する処理又は第１撮像素子から出力される撮像信号に第２撮像素子から出力される撮像信号を加算する処理を含む画像振れ除去処理を行うものとし、前記切り替え指示部により該画像処理部に対し該減算処理、加算処理の切り替え指示可能としてもよい。
このようにすれば、振れの無い静止画像を前後にコマ送りしながら確認するなどの作業に有利である。
【００１７】
いずれにしても、前記画像処理部は、良好な画像を得るために、前記減算、加算等に伴って適切なオフセット処理を行うものであることが好ましい。
画像処理部における演算処理を容易化するため、第１撮像素子と第２撮像素子とで撮像画素数及び画素配列ピッチを同一にすることが好ましい。
【００１８】
前記第２撮像素子の代表例として次のものを挙げることができる。すなわち、
それぞれが光電変換素子、該光電変換素子の出力を該素子への入射光量の対数値に比例する電気信号に変換するための対数変換用トランジスタを含む対数変換部及び該対数変換部からの出力を蓄積するための積分回路を備える複数の画素と、
前記各画素からの信号を受け取って出力するための出力回路とを備えており、
前記素子コントローラの制御下に、撮像時に前記対数変換用トランジスタに撮像のための第１電圧を印加した状態で、前記光電変換素子から対数変換部を介して出力される第１信号を前記積分回路に蓄積させ、該対数変換用トランジスタのリセット時に該対数変換用トランジスタに第２電圧を印加して該トランジスタをリセットして該リセットにより得られる第２信号を前記積分回路に蓄積させ、該第２電圧を通常撮像状態が得られる場合の電圧とは異ならせることで撮影対象領域中に動体等により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積された前記第１信号と前記第２信号との差分が該撮影対象領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる輝度変化部分抽出撮像状態を実現し、
前記出力回路は前記第１信号と前記第２信号との差分に相当する信号を出力する撮像素子である。
【００１９】
ところで、撮像領域中を動体が移動する場合において例えば該動体のエッジ部に着目すると、動体エッジ部が移動することで該エッジ部に対する静止背景部の輝度が撮像素子から見て変化する。従って、動体により輝度が変化する撮像領域中の部分は、該動体の少なくとも一部を示していると言える。
【００２０】
そこで、いま述べた第２撮像素子における
「撮影対象領域中に輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積された前記第１信号と前記第２信号との差分が該撮影対象領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる輝度変化部分抽出撮像状態を実現し、」との点は、
「撮像領域（撮影対象領域）中に動体が含まれるとき該動体の少なくとも一部については前記積分回路にそれぞれ蓄積される前記第１信号と前記第２信号との差分が該撮像領域中に含まれる静止背景部についてのそれとは異なるものとなる動体抽出撮像状態を実現し、」と、或いは
「撮像領域（撮影対象領域）中に動体が含まれるとき該動体の少なくとも一部を該撮像領域中に含まれる静止背景部とは異なる濃度で表示できる撮像信号を生成する動体抽出撮像状態を実現し、」と言い換えることができる。
【００２１】
いずれにしても、前記の「第２電圧を通常撮像状態が得られる場合の電圧とは異ならせる」態様としては、例えば、「第２電圧を第１電圧との差の絶対値が通常撮像状態が得られる場合の値より小さくなるように（例えば、通常撮像状態が実現される場合の略半分の値となるように）設定すること」や、「第２電圧の大きさは変更せずに、第２電圧の印加期間（第２電圧のパルス幅）を通常撮像状態が得られる場合より短く設定すること」を挙げることができる。要するに、後ほどの説明から分かるように、対数変換用トランジスタにリセット残しが生じるように、通常撮像状態が得られる場合の電圧とは異ならせればよい。
【００２２】
また、前記光電変換素子と対数変換用トランジスタとを電気的に接離するためのスイッチをさらに備えていてもよい。その場合、前記撮像素子コントローラとして該スイッチをオフした状態で該対数変換用トランジスタに前記第２電圧を印加することによって該トランジスタをリセットするものを採用してもよい。
【００２３】かかる第２撮像素子によると、静止背景部を一様な画像濃度で、動体の少なくとも一部を静止背景部よりは「明」又は「暗」の画像濃度で表示可能の撮像信号を得ることが可能である。より広く言えば、撮像領域中の輝度変化する部分を輝度変化しない部分よりは「明」又は「暗」の画像濃度で表示可能の撮像信号を得ることが可能である。
【００２４】
そこで、かかる第２撮像素子を採用する場合、前記画像処理部は、該第２撮像素子により得られる撮像信号を、そのうち「明」信号はより明るく、「暗」信号はより暗く処理して、その後に画像振れ除去処理に用いるものでもよい。このようにすれば、より正確に画像振れを補正できる。
【００２５】
次に図面を参照して撮像装置の幾つかの具体例について説明する。
＜撮像装置例１＞
（１）撮像装置例１の全体構成
この撮像装置（カメラ）は図１に示す構成のものである。
図１に示す撮像装置は、被写体（撮像素子から見て撮像領域）の通常撮像を行う固体撮像素子１０及びもう一つの固体撮像素子２０を含んでおり、さらに、これらの撮像素子動作を制御する素子コントローラ３０及び画像処理回路４０を含んでいる。固体撮像素子２０は、撮像領域中の動体等による輝度変化部分を抽出撮像するもの、すなわち、輝度変化部分抽出撮像（以下、「動体抽出撮像」という。）を行うものである。
【００２６】
被写体からの入射光（画像光）は光学系５０を介してハーフミラーＭに導かれ、ハーフミラーＭを通過して第１撮像素子１０に結像する一方、ハーフミラーＭに反射されて第２撮像素子２０に結像する。
【００２７】
撮像素子１０、２０から出力される撮像信号はアナログディジタルコンバータＡ／Ｄによりディジタル化されて画像処理回路４０に入力される。撮像素子１０、２０はそれぞれ素子コントローラ３０に動作制御される。
【００２８】
（２）通常撮像用の第１撮像素子１０
次に図２から図５を参照して通常撮像用の第１撮像素子１０を詳細に説明する。図２は撮像素子１０の全体構成を示すブロック図である。図２には既述の素子コントローラ３０も併せて示してある。図３は画素の配列された画素部等の構成を示す図、図４は一つの画素の構成を示す図、図５は通常撮像状態を実現するときの駆動電圧印加を示すタイミングチャートである。
【００２９】
（２−１）撮像素子１０の全体構成及び動作
撮像素子１０は、図２に示すとおり、画素部Ｇ、これに接続された垂直走査回路１及び出力回路８を備えており、出力回路８には水平走査回路２が接続されているとともに出力アンプＡｍが接続されている。この出力アンプＡｍから前記のコンバータＡ／Ｄを介して画像処理回路４０へ撮像信号が出力される。
【００３０】
撮像素子１０はまた、素子コントローラ３０の指示のもとに画素部Ｇ等へ所定の各種電圧信号等を供給するための電圧レギュレータＲｇを備えている。また、素子コントローラ２０の指示のもとに各部を所定のタイミングで動作させるためのタイミングジェネレータＴＧも備えている。
【００３１】
画素部Ｇには、図３に示すように、撮像用の画素Ｇ１１〜Ｇｍｎが行列配置（マトリクス配置）されている。垂直走査回路１は、各画素に走査用信号φＶを与える行（ロウ）ライン３１、３２、・・・３ｎを順次走査していくとともに、ライン４１、４２、・・・４ｎを介して各画素の後述するキャパシタＣに電圧φＶＤを供給する。
【００３２】
水平走査回路２は、各画素から出力信号線６１、６２、・・・６ｍに導出される光電変換信号を画素ごとに水平方向（行方向）に順次読み出す。図３において５は電源ラインである。
なお、後ほど説明する図４においては行（ロウ）ラインは３で、φＶＤ供給ラインは４で、出力信号線は６で示してある。
【００３３】
各画素には、以上述べたライン３１、３２、・・・３ｎ、４１、４２、・・・４ｎ、出力信号線６１、６２、・・・６ｍ、電源ライン５だけでなく、他のライン（例えば、クロックラインやバイアス供給ライン等）も接続されるが、図３ではこれらの図示を省略している。
【００３４】
図２に示す出力回路８は、図３に示す定電流電源７１、７２、・・・７ｍ、選択回路８１、８２、・・・８ｍ及び補正回路９を含んでいる。
【００３５】
定電流電源７１、７２、・・・７ｍは出力信号線６１、６２、・・・６ｍにそれぞれ接続されている。選択回路８１、８２、・・・８ｍは信号線６１〜６ｍを介して画素Ｇ１１〜Ｇｍｎから与えられる映像信号とノイズ信号をサンプルホールドする回路である。補正回路９は選択回路８１、８２、・・・８ｍから映像信号及びノイズ信号が順に送出されてくると、補正処理、すなわち映像信号とノイズ信号との差分を該映像信号から差し引く処理を行い、ノイズ除去された映像信号を外部に出力して画像表示に供する。なお、定電流源７１〜７ｍのそれぞれの一端には直流電圧ＶＰＳが印加される。
【００３６】
かかる固体撮像素子１０においては、画素Ｇａｂ（ａ：１≦ａ≦ｍの自然数、ｂ：１≦ｂ  ≦ｎの自然数）からの出力である映像信号及びノイズ信号が、それぞれ、出力信号線６ａを介して出力されるとともに、この出力信号線６ａに接続された定電流電源７ａによって増幅される。そして、画素Ｇａｂから出力された映像信号及びノイズ信号が順番に選択回路８ａに送出されるとともに、この選択回路８ａにおいて、該映像信号及びノイズ信号がサンプルホールドされ、その後、選択回路８ａより、サンプルホールドされた映像信号が補正回路９に送出された後、同じくサンプルホールドされたノイズ信号が補正回路９に送出される。
【００３７】
補正回路９では、選択回路８ａより与えられた映像信号を、同じく選択回路８ａより与えられたノイズ信号に基づいて補正処理して、ノイズ除去した映像信号を出力アンプＡｍを介して増幅して外部に出力する。選択回路８１〜８ｍ及び補正回路９のそれぞれの構成例として、本出願人が特開平２００１−２２３９４８号公報において提示した構成などが挙げられる。なお、選択回路８１、８２、・・・８ｍに補正回路を含ませてもよい。
【００３８】
（２−２）撮像素子１０の画素構成
次に画素Ｇ１１〜Ｇｍｎのそれぞれの１例を図４を参照して説明する。
図４に示す画素は、光電変換素子の１例であるフォトダイオードＰＤ、該フォトダイオードＰＤの出力をそれへの入射光量の対数値に比例する電気信号に変換するための対数変換用ＭＯＳトランジスタＴ２を含む対数変換部Ｌ及び対数変換部Ｌの出力を蓄積するためのキャパシタＣを含む積分回路ＩＴ等を備えている。
【００３９】
さらに説明すると、各画素においては、アノード電位をＶＰＤとした（接地電位でもよい）フォトダイオードＰＤのカソードにスイッチング用のＭＯＳトランジスタＴ１のドレインが接続され、トランジスタＴ１のソースに対数変換用のＭＯＳトランジスタＴ２のゲート及びドレインとＭＯＳトランジスタＴ３のゲートが接続されている。トランジスタＴ３は対数変換された信号に相当する電流を流すためのものである。
【００４０】
また、ＭＯＳトランジスタＴ３のソースにソースフォロワ増幅用のＭＯＳトランジスタＴ５のゲート及びキャパシタリセット用のＭＯＳトランジスタＴ４のドレインが接続され、ＭＯＳトランジスタＴ５のソースにスイッチング用（信号読み出し用）のＭＯＳトランジスタＴ６のドレインが接続されている。そして、ＭＯＳトランジスタＴ６のソースが出力信号線６（図３の出力信号線６１〜６ｍに相当）に接続されている。なお、ＭＯＳトランジスタＴ１〜Ｔ６はいずれもＰチャンネル型のトランジスタである。
【００４１】
対数変換用ＭＯＳトランジスタＴ２のソースには信号φＶＰＳが入力される。ＭＯＳトランジスタＴ３、Ｔ５のドレインの電位はＶＰＤとされる。なお、該ドレインは接地されていてもよい。ＭＯＳトランジスタＴ３のソースにはキャパシタＣが接続され、該キャパシタＣにはフォトダイオードＰＤからの電気信号をキャパシタＣで積分するための参照電圧（信号φＶＤ）が入力される。
【００４２】
また、ＭＯＳトランジスタＴ４のソースには直流電圧ＲＳＢが入力され、該トランジスタＴ４のゲートに信号φＲＳＴが入力される。さらに、ＭＯＳトランジスタＴ１のゲートにはトランジスタＴ１のオン、オフ操作のための信号φＳが、ＭＯＳトランジスタＴ６のゲートにはトランジスタＴ６のオン、オフ操作のための信号φＶが入力される。
【００４３】
このように構成された画素において、ＭＯＳトランジスタＴ６及び出力信号線６を介して、−端に直流電圧ＶＰＳが印加された定電流電源７（図３の定電流電源７１〜７ｍに相当する）が、ＭＯＳトランジスタＴ５のソースに接続される。
従って、ＭＯＳトランジスタＴ６がオンのとき、ＭＯＳトランジスタＴ５はソースフオロワのＭＯＳトランジスタとして動作し、定電流電源７によって増幅された電圧信号を出力信号線６に出力する。
【００４４】
このようにソースフオロワ回路を構成することにより、信号を大きく出力する増幅回路が構成される。従って、この増幅回路により十分大きく増幅された信号が得られるため、後続の信号処理回路（図示せず）での処理が容易になる。また、増幅回路の負荷抵抗部分を構成する定電流電源７１〜７ｍを画素内に設けずに、列（カラム）方向に配置された複数の画素が接続される出力信号線６１〜６ｍ毎に設けることにより、負荷抵抗又は定電流電源の数を低減でき、半導体チップ上で増幅回路が占める面積を少なくできる。
【００４５】
（２−３）撮像素子１０による通常撮像及び感度バラツキ検出
次に、先ず、以上説明した撮像素子による通常の撮像動作及び各画素の感度バラツキ検出動作について説明する。
【００４６】
対数変換用ＭＯＳトランジスタＴ２のソースに供給する信号φＶＰＳは通常撮像状態を得るときにはハイ（Ｈｉｇｈ）  とロー（Ｌｏｗ）  の電圧信号を用いる。すなわち、映像信号及び感度バラツキによるノイズ信号のそれぞれを読み出すときにはトランジスタＴ２をサブスレッショルド領域で動作させるための電圧をロー（Ｌｏｗ）とし、トランジスタＴ２をリセットするときには、該電圧よりも高くトランジスタＴ２にローの信号φＶＰＳを与えた時よりも大きい電流が流れ得るようにするハイ（Ｈｉ）の電圧を採用する。
なお、後述するように、ノイズ信号読出し後キャパシタＣをリセットするときには、光電変換素子の残像信号除去のために、トランジスタＴ２のソースにハイとローの中間程度の値の電圧を印加する。
【００４７】
キャパシタＣに与える参照電圧φＶＤについては３値の電圧信号を採用する。すなわち、キヤパシタＣを積分動作させる際の電圧値を最も高いＶｈとし、映像信号読み出し時の電圧値をＶｈよりも低いＶｍとし、ノイズ信号読み出し時の電圧値をＶｍよりもさらに低いＶｌとする。
【００４８】
以下の説明において、電圧信号等の画素等への印加は電圧レギュレータＲｇから、タイミングジエネレータＴＧによるタイミング制御のもとに行われる。
【００４９】
（２−３−１）映像信号（画像信号）出力
以下の説明において、ＭＯＳトランジスタＴ１をオン、オフする信号φＳは撮像動作の間、常にロー（Ｌｏｗ）であり、トランジスタＴ１はオン状態である。また、キャパシタリセット用トランジスタＴ４へ与える信号φＲＳＴをハイ（Ｈｉ）としてトランジスタＴ４をオフとする。そしてＭＯＳトランジスタＴ２がサブスレッシヨルド領域で動作するように、トランジスタＴ２のソースに与える信号φＶＰＳをローとするとともにキャパシタＣに与える信号φＶＤの電圧値をＶｈとしてキャパシタＣによる積分動作を可能とする。
【００５０】
このような状態においてフォトダイオードＰＤに被撮像領域からの光が入射されると、光電流が発生し、トランジスタＴ２のサブスレッショルド特性により、トランジスタＴ２、Ｔ３のゲートに光電流を、入射光量に対して自然対数的に変化するように変換した値に相当する電圧が発生する。
【００５１】
この入射光量に対して自然対数的に変化する電圧に基づき、トランジスタＴ３で電流増幅されたドレイン電流がキヤパシタＣから流れて、キヤパシタＣが放電する。よって、ＭＯＳトランジスタＴ５のゲート電圧が、入射光量の積分値の自然対数値に比例した電圧となる。そして、キヤパシタＣが積分動作を行うことで得られる映像信号を読み出すために、信号φＶＤの電圧値をＶｍとするとともに、ＭＯＳトランジスタＴ６にローのパルス信号φＶを与える。これによりＭＯＳトランジスタＴ５のゲート電圧に応じたソース電流がＭＯＳトランジスタＴ６を介して出力信号線６へ流れる。
【００５２】
このとき、トランジスタＴ５がソースフオロワ型のＭＯＳトランジスタとして動作するため、出力信号線６には映像信号が電圧信号としてあらわれる。その後、信号φＶをハイにしてトランジスタＴ６をオフするとともに、信号φＶＤの電圧値をＶｈとする。このようにトランジスタＴ５、Ｔ６を介して出力される映像信号は、トランジスタＴ５のゲート電圧に比例した値となり、そのためフォトダイオードＰＤへの入射光量の積分値の自然対数値に比例した信号となる。
【００５３】
（２−３−２）感度バラツキ検出（ノイズ信号出力）
図５に示すように、電圧値Ｖｍのパルス信号φＶＤとローのパルス信号φＶが与えられて映像信号が出力されると、信号φＶＤをＶｈとした後、信号φＳをハイにしてトランジスタＴ１をオフにしてリセット動作を開始させる。このとき、トランジスタＴ２のソース側より正の電荷が流れ込み、トランジスタＴ２のゲート及びドレイン、そしてトランジスタＴ３のゲートに蓄積された負の電荷が再結合され、ある程度まで、トランジスタＴ２のゲート及びドレインのポテンシャルが上がる。
【００５４】
しかし、トランジスタＴ２のゲート及びドレインのポテンシャルがある値まで上がると、そのリセット速度が遅くなる。特に、明るい被撮像領域が急に暗くなった場合にこの傾向が顕著となる。よって、次に、トランジスタＴ２のソースに与える信号φＶＰＳをハイにする。このように、トランジスタＴ２のソース電圧を高くすることで、トランジスタＴ２のソース側から流入する正の電荷の量が増加し、トランジスタＴ２のゲート及びドレイン、そしてトランジスタＴ３のゲートに蓄積された負の電荷が速やかに再結合される。このとき、信号φＲＳＴをローとしてトランジスタＴ４をオンにして、キヤパシタＣとトランジスタＴ５のゲートとの接続ノードの電圧を初期化する。
【００５５】
そして、信号φＶＰＳをハイにすることで、トランジスタＴ２のゲート及びドレインのポテンシャルがさらに高くなると、トランジスタＴ２のソースに与える信号φＶＰＳをローにして、トランジスタＴ２のポテンシャル状態をもとの状態に戻す。このように、トランジスタＴ２のポテンシャルの状態がもとの状態にリセットされると、信号φＲＳＴをハイにして、トランジスタＴ４をオフにする。
【００５６】
すると、キヤパシタＣが積分動作を行って、キヤパシタＣとトランジスタＴ５のゲートとの接続ノードの電圧が、リセットされたトランジスタＴ２のゲート電圧に応じたものとなる。そこで、パルス信号φＶをトランジスタＴ６のゲートに与えてトランジスタＴ６をオンにするとともに信号φＶＤの電圧値をＶｌにする。これにより、トランジスタＴ２、Ｔ３の特性のバラツキに起因する各画素の感度のバラツキを表す出力電流が出力信号線６に流れる。
【００５７】
このとき、トランジスタＴ５がソースフオロワ型のＭＯＳトランジスタとして動作するため、出力信号線６にはノイズ信号が電圧信号としてあらわれる。その後、φＳをローとしてトランジスタＴ１を導通させてトランジスタＴ２のソースに与える電圧をハイとローの中間程度の値の電圧とし、パルス信号φＲＳＴをトランジスタＴ４に与えて、キヤパシタＣとトランジスタＴ５のゲートとの接続ノードの電圧をリセットし、撮像動作が行える状態にする。
【００５８】
以上の説明においては、光電変換により得られた電気信号を積分するためにキャパシタＣに与える電圧φＶＤをＶｈ、Ｖｍ、Ｖｌの３値としたが、該電気信号積分のためにキャパシタＣに与える電圧φＶＤは一定であっても構わない。しかし、前記のような３値を採用することで、ノイズが除去された映像信号におけるオフセットを低くすることができ、それにより、撮像素子の後段に接続されるアナログ／デジタル変換器等の動作範囲を有効に利用することができる。なお、映像信号読み出し時にキヤパシタＣに与える信号φＶＤの電圧値を積分時に与える電圧値より高くするようにしても構わない。
【００５９】
また、以上説明した撮像素子では、ＰチヤンネルのＭＯＳトランジスタを用いて各画素を構成したが、画素をＮチヤンネルのＭＯＳトランジスタを用いて構成しても構わない。このとき、各素子の極性が逆になる。固体撮像素子に設けられる定電流電源７１〜７ｍについても、図３と逆の極性となる。このようなこと以外は既に説明した撮像素子と実質上同様である。
【００６０】
（３）動体抽出撮像用の第２撮像素子２０
（３−１）第２撮像素子２０の構成
動体抽出撮像用の第２撮像素子２０は、図２から図４に示す撮像素子１０において図５に示す駆動に代えて図６に示すように駆動し、それにより動体抽出撮像を可能とする以外は第１撮像素子１０と同様である。第２撮像素子２０における撮像画素数及び画素配列ピッチは第１撮像素子１０と同じである。
【００６１】
（３−２）第２撮像素子２０の動作
映像信号出力のための動作は第１撮像素子１０の場合と同様である。しかし、ノイズ信号出力動作において、ＭＯＳトランジスタＴ２のリセット処理において採用する信号φＶＰＳとして、前記通常撮像状態の場合におけるノイズ信号出力の場合のハイの信号φＶＰＳに代えて、図６に示すように、ハイとローの中間程度の値の電圧信号が採用される。これにより動体抽出（輝度変化部分抽出）を行える。それ以外は第１素子１０におけるノイズ出力処理と同様である。なお、第１撮像素子１０におけるノイズ信号出力の場合のロー信号φＶＰＳに代えてハイとローの中間程度の値の電圧信号を採用するようにしてもよい。
【００６２】
この素子２０においても、素子１０と同様に、φＶＰＳをローにして撮像を行ったときに各画素から出力される映像信号と、φＶＰＳをハイとローの中間程度の値にしてＭＯＳトランジスタＴ２をリセットしたとき各画素から出力される雑音信号（ノイズ信号）との差分が、補正回路９による差分処理により該映像信号から差し引かれて出力される。
【００６３】
しかし、ＭＯＳトランジスタＴ２のリセット処理において採用する信号φＶＰＳとして、第１素子１０の場合におけるノイズ信号出力の場合のハイの信号φＶＰＳに代えて、ハイとローの中間程度の値の電圧信号が採用される結果、ＭＯＳトランジスタＴ２にリセット残しが生じる。しかも、該リセット残しはＭＯＳトランジスタＴ２の特性により入射光量の多かった画素ほど多く、入射光量の少なかった画素ほど小さくなる。従って、前記差分処理後の映像信号は、輝度が変化しない被写体部分を撮像した各画素については同様の値となる。かくして被写体における静止背景部については略一様にグレー表示可能の信号が出力される。これを用いて静止背景部については略一様にグレーで表示させることが可能である。
【００６４】
一方、動体等については、輝度が「暗」→「明」、「暗」→「明」→「暗」、「明」→「暗」、「明」→「暗」→「明」などと映像信号の積分期間中に変化する。
【００６５】
輝度が「暗」→「明」に変化し、リセット期間の開始まで「明」状態のままであった場合、映像信号は、積分期間中常時「明」状態であったときと比較して高くなる。雑音信号はリセット開始時の積分回路入力部の電圧にのみ依存した値となるため、リセット開始時は「明」状態であるので、雑音信号は常時「明」状態のときと同じである。すると、差分処理後の映像信号出力は減少し、素子２０への入射光が「暗」→「明」に変化した部分を暗く表示できるものとなる。また、常時「暗」状態であったときと比較すると、映像信号は低く、雑音信号も低くなるが、雑音信号が低くなる量より映像信号が低くなる量の方が少なく、差分処理後の映像信号出力は減少する。
【００６６】
輝度が「暗」→「明」→「暗」に変化し、リセット期間の開始まで「暗」状態のままであった場合、映像信号は、積分期間中常時「暗」状態であったときと比較して低くなる。雑音信号はリセット開始時の積分回路入力部の電圧にのみ依存した値となるため、リセット開始時は「暗」状態であるので、雑音信号は常時「暗」状態のときと同じである。すると、差分処理後の映像信号出力は増加し、素子２０への入射光が「暗」→「明」→「暗」に変化した部分を明るく表示できるものとなる。
【００６７】
輝度が「明」→「暗」に変化する場合は、同様の理由で、差分処理後の映像信号出力は増加し、輝度変化部分を明るく表示できるものとなる。
輝度が「明」→「暗」→「明」に変化する場合は、差分処理後の映像信号出力は減少し、輝度変化部分を暗く表示できるものとなる。
このような現象により被写体中の、そこからの入射光が変化した部分を抽出でき、これにより動体の存在を検出できる。
【００６８】
前記通常撮像用の撮像素子１０で動体を含む被写体を撮像して１フレーム分の画像をディスプレイに表示するとすれば、例えば図７（Ａ）に示すような画像となり、撮像素子２０で同じ動体を含む同じ被写体を同時刻に撮像して１フレーム分の画像をディスプレイに表示するとすれば図７（Ｂ）に示すような画像となる。
【００６９】
図７（Ａ）及び図７（Ｂ）において、動体は明るい球体であり、一様に暗い背景の前を図中右から左へ高速移動している。撮像素子１０による通常撮像では図７（Ａ）に示すように被写体振れに相当する部分が「明」と「暗」の中間的な濃度で表示される。撮像素子２０による動体抽出撮像では図７（Ｂ）に示すように、被写体中の輝度に変化が無い部分は中間的な均一な濃度で表示され、球体の移動により「暗」から「明」に変化する部分は暗く、「明」から「暗」に変化する部分は明るく表示される。
【００７０】
（４）撮像装置例１における画像振れ除去処理
以上説明した通常撮像用の第１撮像素子１０から出力される撮像信号及び動体抽出用の第２撮像素子２０から出力される撮像信号は、それぞれＡ／Ｄコンバータにてディジタル化されて画像処理回路４０に入力される。画像処理回路４０は、撮像素子１０の撮像信号（画像データ）から撮像素子２０の撮像信号（画像データ）を減算し、さらにオフセット調整することで、二つの素子１０、２０からの画像データを合成し、これにより撮像素子１０よる通常撮像画像の画像振れを除去処理し、処理後の画像データを出力してディスプレイによる表示、記録媒体への記録等に供する。
【００７１】
さらに説明すると、本発明者の研究によれば、通常撮像素子で動体を撮像して得られる第ｎ＋１番目フレームの撮像信号から一つ前の第ｎ番目フレームの撮像信号を減算し、適切にオフセット調整を行うと、動体抽出型撮像素子による撮像データと類似の撮像データが得られる。
【００７２】
このことは、動体抽出型撮像素子の撮像データは通常撮像素子におけるフレーム間の動体の変化を反映したものとみなすことができることを意味している。
一方、動体抽出型撮像素子においては、１フレーム内での被写体輝度変化に対しても動体抽出機能を発揮する。この１フレーム内での輝度変化は通常撮像素子においては、被写体振れや、カメラ支持手段の振れ（手振れ等）に相当する。
【００７３】
既述のように、動体抽出型撮像素子の撮像データは動体による輝度変化を反映したものであるから、通常撮像素子の１フレームの撮像データから同時刻における動体抽出型撮像素子の１フレームの撮像データを減算し、適切なオフセット調整を行うことで、被写体振れや手振れ等に起因する画像振れを打ち消すことができる。
【００７４】
図７（Ｃ）は、図７（Ａ）に示される画像データから図７（Ｂ）に示される画像データを減算し、背景部の濃度が図７（Ａ）の背景部の濃度に近づくようにオフセット処理した画像である。結果的に、通常撮像による図７（Ａ）の画像から被写体振れに相当する部分（画像振れ部分）が除去されるように補正されている。
【００７５】
画象処理回路４０では、このように、通常撮像素子１０によって撮像される第ｎフレームの撮像信号Ｌ（ｎ）から、動体抽出型撮像素子２０によって撮像される第ｎフレームの撮像信号Ｄ（ｎ）を減算し、オフセット調整αを行うことで二つの素子１０、２０からのデータを合成している。すなわち、
Ｌ１（ｎ）＝Ｌ（ｎ）−Ｄ（ｎ）＋α
となるＬ１（ｎ）を演算によって生成し、これを一つの画象データとして出力する。
かくして、動体の高速移動、手振れ等により生じた画像振れを簡単な信号処理によりリアルタイムでキャンセルした映像信号を得ることができる。
【００７６】
＜撮像装置例２＞
この撮像装置は図１等に示す撮像装置において画像処理回路４０を次のように動作するものに変更したものであり、それ以外は図１等に示す撮像装置と同じである。
【００７７】
この撮像装置における画像処理回路は、撮像素子２０からの撮像信号Ｄ（ｎ）を加工して、該撮像信号のうち「明」信号をより明るく、「暗」信号をより暗く変換処理し、その後に、撮像素子１０の撮像信号Ｌ（ｎ）から該処理後の撮像信号を減算し、オフセット処理を実行することで、より正確に画像振れ補正がなされた画像データＬ２（ｎ）を出力する。
具体的には、この撮像装置は、撮像装置例１において画像処理回路の行う演算処理が、
Ｌ２（ｎ）＝Ｌ（ｎ）−ｆ（Ｄ（ｎ））＋α
となるＬ２（ｎ）を生成する演算処理に変更されたものである。
ｆ（Ｄ（ｎ））は変数Ｄ（ｎ）のγ調整に相当する変換を行う演算を意味している。
【００７８】
＜撮像装置例３＞
この撮像装置は図１等に示す撮像装置において画像処理回路４０を次のように動作するものに変更したものであり、それ以外は図１等に示す撮像装置と同じである。
【００７９】
この撮像装置における画像処理回路は、通常撮像素子１０によって撮像される第ｎ＋１番目のフレームの撮像信号Ｌ（ｎ＋１）に、動体抽出型撮像素子２０によって撮像される第ｎ＋１番目フレームの撮像信号Ｄ（ｎ＋１）を加算し、オフセット調整を行う。
これにより通常撮像素子１０の一つ前の第ｎフレームのデータＬ（ｎ）から画像振れを除去した画象データを生成、出力する。
【００８０】
＜撮像装置例４＞
この撮像装置は、前記例３の撮像装置において画像処理回路を次の処理を行うものに変更した撮像装置である。
【００８１】
すなわち、この撮像装置における画像処理回路は、前記例２の撮像装置の場合と同様に、撮像素子２０からの撮像信号Ｄ（ｎ＋１）を加工して、「明」信号をより明るく、「暗」信号をより暗く変換処理し、その後に、撮像素子１０の撮像信号Ｌ（ｎ＋１）に該処理後の撮像信号を加算し、オフセット処理を実行することで、より正確に画像振れ補正がなされた画像データを出力する。
【００８２】
＜撮像装置例５＞
この撮像装置（カメラ）は図８に示す構成のものである。
図８に示す撮像装置は、被写体の通常撮像を行う固体撮像素子１０及び動体抽出撮像を行う固体撮像素子２０を含んでおり、さらに、これらの撮像素子動作を制御する素子コントローラ３０及び画像処理回路４００、該回路４００を制御するコントローラ６０及びコントローラ６０に接続された操作パネルＰＡを含んでいる。図示を省略しているが撮像素子１０、２０へ被写体からの画像光を導く、図１に示すものと同様の光学系及びハーフミラーも備えている。
【００８３】
撮像素子１０、２０及び素子コントローラ３０は撮像装置例１における撮像素子１０、２０及びコントローラ３０と同じものである。
撮像素子１０、２０から出力される撮像信号はアナログディジタルコンバータＡ／Ｄによりディジタル化されて画像処理回路４００に入力される。撮像素子１０、２０はそれぞれ素子コントローラ３０に動作制御される。
【００８４】
この撮像装置では、画像処理回路４００は撮像装置例１又は２における減算処理を含む画像振れ除去処理、撮像装置例３又は４における加算処理を含む画像振れ除去処理のいずれも行える回路である。かかる減算処理を含む画像振れ除去処理と加算処理を含む画像振れ除去処理の切り替えはコントローラ６０を介して操作パネルＰＡからオペレータ指示により行える。
【００８５】
この撮像装置によると、振れの無い静止画像を前後にコマ送りしながら確認するなどの作業を行える利点がある。
【００８６】
＜撮像装置例６＞
この撮像装置（カメラ）は図９に示す構成のものである。
図９に示す撮像装置は、固体撮像素子１０、固体撮像素子２０、これらの撮像素子動作を制御する素子コントローラ３０、撮像素子１０の撮像信号がアナログディジタルコンバータＡ／Ｄを介して入力される第１画像処理回路７０１、撮像素子２０の撮像信号がアナログディジタルコンバータＡ／Ｄを介して入力される第２画像処理回路７０２、これら回路７０１、７０２から出力される画像データを記憶する記憶装置８０を備えている。
【００８７】
この撮像装置は、さらに、記憶装置８０に記憶された画像データを、コントローラ９０の指示のもとに読みだして所定の処理を施して出力する第３画像処理回路７００及びコントローラ９０に指示を出す操作パネルＰＡ’も備えている。
【００８８】
撮像素子１０、２０及び素子コントローラ３０は撮像装置例１における撮像素子１０、２０及びコントローラ３０と同じものである。なお、図示を省略しているが、撮像素子１０、２０へ被写体からの画像光を導く、図１に示すものと同様の光学系及びハーフミラーも備えている。
【００８９】
第１画像処理回路７０１はゲイン調整、オフセット調整等の所定の処理を行い、第２画像処理回路７０２もゲイン調整、オフセット調整等の所定の処理を行う。第３画像処理回路７００は、撮像装置例１と同様の減算処理を含む画像振れ除去処理、撮像装置例３と同様の加算処理を含む画像振れ除去処理等の所定の複数の処理のいずれも行える回路である。かかる複数種類の処理の切り替えはコントローラ９０を介して操作パネルＰＡ’からオペレータ指示により行える。
【００９０】
この撮像装置によると、撮像素子１０、２０のそれぞれからの出力信号を個別に蓄積し、蓄積されたデータを再生する際に画像振れ除去のために合成処理できる。画像処理回路によって直ちに各撮像素子からの出力信号を合成処理するのではなく、このように撮像素子１０、２０のそれぞれの出力信号を個別のデータとして一旦蓄積したものを再生するときに合成処理を行うので、合成処理の条件を任意に変更して何度でも処理を実行することができる。
【００９１】
なお、第２画像処理回路７０２は、撮像装置例２、４の場合と同様に、撮像装置２０からの撮像信号のうち「明」信号についてはより明るく、「暗」信号についてはより暗く変換処理できるものでもよい。その場合には、第３画像処理回路７００における画像振れ除去処理はかかる変換処理後の信号を用いて行うことができる。
【００９２】
＜さらに他の撮像装置の例＞
以上説明した撮像装置例１〜６では二つの撮像素子１０、２０からのアナログディジタル変換処理後の画像データを合成処理しているが、アナログディジタルコンバータＡ／Ｄより前段に差動アンプを設けるなどして、各撮像素子からの信号をアナログ信号の状態で合成することも可能である。このようにすると、画像振れ除去処理を行う画像処理回路の負担がそれだけ軽減される。
【００９３】
【発明の効果】
以上説明したように本発明によると、簡単にリアルタイムに画像振れを補正できる撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の１実施形態の撮像装置の全体構成を示すブロック図である。
【図２】通常撮像用及び動体抽出撮像用の固体撮像素子の構成を示すブロック図である。
【図３】画素の配列された画素部等の構成を示す図である。
【図４】一つの画素の構成を示す図である。
【図５】通常撮像用撮像素子（第１撮像素子）における素子駆動電圧印加例を示すタイミングチャートである。
【図６】動体抽出撮像用の撮像素子（第２撮像素子）おける素子駆動電圧印加例を示すタイミングチャートである。
【図７】図７（Ａ）は第１撮像素子による通常撮像での、動体を含む被写体の撮像例を示し、図７（Ｂ）は第２撮像素子による動体抽出撮像での、同じ動体を含む被写体の同時刻の撮像例を示しており、図７（Ｃ）は画像振れ除去処理後の画像例を示している。
【図８】本発明の他の実施形態の撮像装置の構成を示すブロック図である。
【図９】本発明のさらに他の実施形態の撮像装置の構成を示すブロック図である。
【符号の説明】
１０  通常撮像用の第１撮像素子
２０  動体抽出撮像用の第２撮像素子
３０  撮像素子コントローラ
４０、４００、７００、７０１、７０２  画像処理回路
５０  光学系
６０、９０  画像処理回路のコントローラ
８０  記憶装置
ＰＡ、ＰＡ’  操作パネル
Ａ／Ｄ  アナログ／デジタルコンバータ
Ｇ  画素部                                  ８１〜８ｍ  選択回路
１  垂直走査回路                            ９  補正回路
２  水平走査回路                            １０  電圧制御部
３、３１〜３ｎ  行（ロウ）ライン            Ａｍ  出力アンプ
４、４１〜４ｎ  ライン                      Ｒｇ  電圧レギュレータ
５  電源ライン                              ＴＧ  タイミングジエネレータ
６、６１〜６ｍ  出力信号線                  Ｇ１１〜Ｇｍｎ  画素
７１〜７ｍ  定電流電源                      ＰＤ  フォトダイオード
８  出力回路
Ｔ１  スイッチング用ＭＯＳトランジスタ
Ｔ２  対数変換用ＭＯＳトランジスタ
Ｔ３  ＭＯＳトランジスタ
Ｔ４  キャパシタリセット用ＭＯＳトランジスタ
Ｔ５  ソースフォロワ増幅用ＭＯＳトランジスタ
Ｔ６  信号読出し用ＭＯＳトランジスタ
Ｃ  キャパシタ（積分用コンデンサ）
【図１】
2004304380.tif 000003
【図２】
2004304380.tif 000004
【図３】
2004304380.tif 000005
【図４】
2004304380.tif 000006
【図５】
2004304380.tif 000007
【図６】
2004304380.tif 000008
【図７】
2004304380.tif 000009
【図８】
2004304380.tif 000010
【図９】
2004304380.tif 000011