(57)【要約】【課題】簡単に動体の存在を検出でき、動体存在が検出されると、該動体を撮り逃がす恐れ少なく撮像でき、該動体を通常撮像による画像の状態での抽出表示可能とする撮像装置を提供する。【解決手段】撮像装置１００は、通常撮像を行う撮像素子１０と、動体検出用の撮像素子２０と、動体検出素子２０から出力される信号に応じて撮像素子１０からの画像データを処理する画像処理部５０とを備えている。動体検出素子２０は動体部分のみをハイ（Ｈｉｇｈ）にする動体検出信号（  動体有無を示す信号）  を出力し、画像処理部５０は動体検出素子２０からの動体検出信号中に動体存在を示すハイ信号が含まれているとき、撮像素子１０からの画像データを該動体を抽出表示する画像データを生成するように処理する。【選択図】  図１３
2004304379.tif 000002
【特許請求の範囲】
【請求項１】
第１撮像領域を撮像して該領域の画像データを出力する第１撮像素子と、
該第１撮像領域の少なくとも一部を含む第２撮像領域を撮像して該撮像に基づく信号を出力する動体検出用の第２撮像素子と、
前記第２撮像素子から出力される信号に応じて前記第１撮像素子からの画像データを処理する画像処理部とを備えており、
前記第２撮像素子は、前記第２撮像領域中に動体により輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す信号とは異なるレベルの動体存在を示す信号を出力し、
前記画像処理部は、該第２撮像素子からの出力信号中に前記動体存在を示す信号が含まれているとき、前記第１撮像素子からの画像データを、前記動体の存在する領域とその他の領域とで表示形態を異ならしめる画像データを生成するように処理することを特徴とする撮像装置。
【請求項２】
前記画像処理部における前記動体抽出表示のための画像データ生成処理は、前記第１撮像素子からの画像データのうち前記その他の領域を示す画像データを該部分が均一濃度で表示され得る画像データに変換する一方、前記動体の存在する領域を示す画像データについては該変換処理を施さない処理である請求項１記載の撮像装置。
【請求項３】
撮像領域を撮像して該領域の画像データを出力する第１撮像素子と、
該第１撮像素子の撮像方向を変更するための撮像方向変更装置と、
撮像領域を撮像して該撮像に基づく信号を出力する動体検出用の第２撮像素子と、
前記第２撮像素子から出力される信号に基づいて動体存在位置を求める動体位置検出部と、
前記動体位置検出部により求められる動体存在位置へ前記第１撮像素子を向けるように前記撮像方向変更装置を制御する制御部とを備えており、
前記第２撮像素子は、前記撮像領域中に動体により輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す信号とは異なるレベルの動体存在を示す信号を出力し、
前記動体位置検出部は、該第２撮像素子から出力される該信号に基づいて前記動体存在位置を求めることを特徴とする撮像装置。
【請求項４】
撮像領域を撮像して該領域の画像データを出力する第１撮像素子と、
該第１撮像素子の撮像倍率を変更するための撮像倍率変更装置と、
撮像領域を撮像して該撮像に基づく信号を出力する動体検出用の第２撮像素子と、
前記第２撮像素子から出力される信号に基づいて動体領域サイズを求める動体領域サイズ検出部と、
前記動体領域サイズ検出部により求められた動体領域サイズに応じて前記第２撮像素子の撮像倍率を動体抽出撮像可能に変更するように前記撮像倍率変更装置を制御する制御部とを備えており、
前記第２撮像素子は、前記撮像領域中に動体により輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す信号とは異なるレベルの動体存在を示す信号を出力し、
前記動体領域サイズ検出部は、該第２撮像素子から出力される該信号に基づいて前記動体領域サイズを求めることを特徴とする撮像装置。
【請求項５】
前記第２撮像素子は、
それぞれが光電変換素子、該光電変換素子の出力を該素子への入射光量の対数値に比例する電気信号に変換するための対数変換用トランジスタを含む対数変換部及び該対数変換部からの出力を蓄積するための積分回路を備える複数の画素と、
前記対数変換用トランジスタに与える電圧を制御するための電圧制御部と、
前記各画素からの信号を受け取って出力するための出力回路と、
前記出力回路からの出力信号に基づいて動体の有無を判断し、動体の有無を示す信号を出力する動体検出部とを備えており、
前記電圧制御部は、
撮像時に前記対数変換用トランジスタに撮像のための第１電圧を印加した状態で、前記光電変換素子から対数変換部を介して出力される第１信号を前記積分回路に蓄積させ、該対数変換用トランジスタのリセット時に該対数変換用トランジスタに第２電圧を印加して該トランジスタをリセットし、該リセットにより得られる第２信号を前記積分回路に蓄積させ、該第２電圧を通常撮像状態が得られる場合の第２電圧とは異ならせることで前記撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積された前記第１信号と前記第２信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる動体抽出撮像状態を実現し、
前記出力回路は前記第１信号と前記第２信号との差分に相当する信号を出力する請求項１から４のいずれかに記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は動体の存在を検出し、その動体の撮像を行う撮像装置に関する。
【０００２】
【従来の技術】
撮像装置についてはこれまで様々のものが提案されている。
ダイナミックレンジの広い撮像装置として、撮像のための画素に、光電変換素子及び光電変換素子への入射光量を自然対数的に光電変換して出力する対数変換部を配置した固体撮像装置が提案されている。特開平３−１９２７６４号公報はそのような撮像装置を開示している。同公報に開示された撮像装置は、光電変換素子として例えばフォトダイオードを採用し、対数変換部に対数変換用のＭＯＳトランジスタを採用している。同公報は対数変換部の出力を蓄積する積分回路を組み合わせた画素も開示している。
【０００３】
対数変換型撮像装置において、画素間での感度のバラツキをキャンセル処理できる撮像装置も提案されている。特開２００１−９４８７８号公報はそのような撮像装置を開示している。同公報に開示された撮像装置は、各画素に一様に光を照射して画素間の感度バラツキを検出してその感度バラツキをキャンセル処理するという手法によらずに、感度のバラツキをキャンセル処理できるものである。
【０００４】
また、撮像の分野では、例えば不法侵入者その他のものの監視等のために移動体を検出することについても研究されており、例えば特開平７−３３６６９４号公報は背景画像と入力画像の差分をとることで動体を検出する背景差分法を開示しており、特開平９−１２１３６２号公報は時間的に異なる２フレーム分の画像の差分をとることで動体を検出するフレーム間差分法を開示している。
【０００５】
また、動体の撮像について、例えば特開平９−１２１３６２号公報は、静止画用の第１撮像素子と動画用の第２撮像素子を用い、被写体からの光をそれら双方に導き、被写体に動体が含まれていないときは第１撮像素子からの信号を採用し、被写体に動体が含まれていると第２撮像素子からの信号を採用する撮像装置を開示している。この場合、動体の検出に関しては、撮像装置を顕微鏡用途に使用する特殊な場合を除けば、前記のフレーム間差分法によるものと解される。
【０００６】
特開平６−２１７３１６号公報は、２台のカメラを用い、一方のカメラで所定の撮像領域を撮像し、その領域内に動体が検出されると該動体を追尾したり、詳細に撮像するために他方のカメラの方向、撮像倍率等を制御ししつつ該他方のカメラで動体を撮像する手法を開示している。この場合、同公報は動体検出の具体的手法を開示していないことから、動体検出についてはフレーム間差分法等の公知の手法を採用するものと解される。
【０００７】
【特許文献１】特開平３−１９２７６４号公報
【特許文献２】特開２００１−９４８７８号公報
【特許文献３】特開平７−３３６６９４号公報
【特許文献４】特開平９−１２１３６２号公報
【特許文献５】特開平６−２１７３１６号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、撮像装置による動体の検出についてみれば、従来のフレーム間差分法等による一般的な動体検出は撮像素子からの信号の複雑な処理を必要とするものである。従って、そのような複雑な信号処理を行わずに簡単に動体の存在を検出できる撮像装置の出現が望まれていた。そのような撮像装置があれば、監視分野等に応用しやすい。
【０００９】
さらに、そのように簡単に動体の存在を検出できるだけでなく、動体を検出すると、該動体を撮り逃がすことなく撮像できる撮像装置や、さらには、該動体を抽出して表示するための画像データを生成する撮像装置があれば、該動体を容易に確認できるので、そのような撮像装置は監視分野等において一層有用である。
【００１０】
そこで本発明は、簡単に動体の存在を検出でき、動体存在が検出されると、該動体を撮り逃がす恐れ少なく撮像できる撮像装置を提供することを課題とする。
【００１１】
また本発明は、簡単に動体の存在を検出でき、動体存在が検出されると該動体を通常撮像による画像の状態での抽出表示を可能とする撮像装置を提供することを課題とする。
【００１２】
【課題を解決するための手段】
前記課題を解決するため本発明は次の３タイプの撮像装置を提供する。
【００１３】
（１）第１の撮像装置
第１撮像領域を撮像して該領域の画像データを出力する第１撮像素子と、
該第１撮像領域の少なくとも一部を含む第２撮像領域を撮像して該撮像に基づく信号を出力する動体検出用の第２撮像素子と、
前記第２撮像素子から出力される信号に応じて前記第１撮像素子からの画像データを処理する画像処理部とを備えており、
前記第２撮像素子は、前記第２撮像領域中に動体により輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す信号とは異なるレベルの動体存在を示す信号を出力し、
前記画像処理部は、該第２撮像素子からの出力信号中に前記動体存在を示す信号が含まれているとき、前記第１撮像素子からの画像データを、前記動体の存在する領域とその他の領域とで表示形態を異ならしめる画像データを生成するように処理する撮像装置。
【００１４】
この撮像装置では、第１撮像素子は通常の撮像を行う。一方、第２撮像素子は、動体が動くことにより第２撮像領域中に輝度の変化が生じることを利用して、第２撮像領域中の輝度変化する部分については輝度変化しない部分を示す出力信号とは異なるレベルの信号、すなわち動体存在を示す信号を出力するので、従来のフレーム間差分法等による複雑な信号処理、それに伴うコスト高を招く回路構成等の必要性なく、簡単、安価に動体の有無を検出することができる。
【００１５】
そして第２撮像素子からの出力信号中に動体存在を示す信号が含まれていると、第１撮像素子からの画像データが画像処理部において処理されて該動体を別形態で表示可能の画像データが生成される。例えば、動体存在領域を抽出表示したり、動体存在領域のみをカラー表示し、背景領域を白黒表示或いはモザイク処理した表示とすることが考えられる。
【００１６】
第１、第２の撮像素子による撮像は同時的に進行するので、第２撮像素子による動体検出時に動体を撮り逃がさないように撮像できる。また、第１撮像素子からは通常撮像による画像の状態で表示することを可能とする画像データが生成されるので、その画像データを領域別に処理してディスプレイモニターに動体を表示することができ、それだけ容易に動体を確認できる。
【００１７】
前記画像処理部における前記動体抽出表示のための画像データ生成処理の代表例は、前記第１撮像素子からの画像データのうち前記その他の領域を示す画像データを該部分が均一濃度で表示され得る画像データに変換する一方、前記動体の存在する領域を示す画像データについては該変換処理を施さない処理である。
【００１８】
（２）第２の撮像装置
撮像領域を撮像して該領域の画像データを出力する第１撮像素子と、
該第１撮像素子の撮像方向を変更するための撮像方向変更装置と、
撮像領域を撮像して該撮像に基づく信号を出力する動体検出用の第２撮像素子と、
前記第２撮像素子から出力される信号に基づいて動体存在位置を求める動体位置検出部と、
前記動体位置検出部により求められる動体存在位置へ前記第１撮像素子を向けるように前記撮像方向変更装置を制御する制御部とを備えており、
前記第２撮像素子は、前記撮像領域中に動体により輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す信号とは異なるレベルの動体存在を示す信号を出力し、
前記動体位置検出部は、該第２撮像素子から出力される該信号に基づいて前記動体存在位置を求める撮像装置。
【００１９】
この撮像装置においても第１撮像素子は通常の撮像を行い、動体検出を行う第２撮像素子は、簡単、安価に動体の有無を検出することができる。
そして第２撮像素子からの出力信号中に動体存在を示す信号が含まれていると、動体位置検出部において該動体の存在位置が求められ、その位置へ向けて第１撮像素子の撮像方向が制御される。
【００２０】
従って、第２撮像素子による動体検出時に動体を撮り逃がす恐れ少なく撮像でき、また、第１撮像素子により当該動体に照準を合わせた撮像ができ、それだけ容易に動体を確認できる。
【００２１】
（３）第３の撮像装置
撮像領域を撮像して該領域の画像データを出力する第１撮像素子と、
該第１撮像素子の撮像倍率を変更するための撮像倍率変更装置と、
撮像領域を撮像して該撮像に基づく信号を出力する動体検出用の第２撮像素子と、
前記第２撮像素子から出力される信号に基づいて動体領域サイズを求める動体領域サイズ検出部と、
前記動体領域サイズ検出部により求められた動体領域サイズに応じて前記第２撮像素子の撮像倍率を動体抽出撮像可能に変更するように前記撮像倍率変更装置を制御する制御部とを備えており、
前記第２撮像素子は、前記撮像領域中に動体により輝度が変化する部分があるとき該部分について該撮像領域中の輝度が変化しない他の部分を示す信号とは異なるレベルの動体存在を示す信号を出力し、
前記動体領域サイズ検出部は、該第２撮像素子から出力される該信号に基づいて前記動体領域サイズを求める撮像装置。
【００２２】
この撮像装置においても第１撮像素子は通常の撮像を行い、動体検出を行う第２撮像素子は、簡単、安価に動体の有無を検出することができる。
そして第２撮像素子からの出力信号中に動体存在を示す信号が含まれていると、動体領域サイズ検出部において該動体存在領域のサイズが求められ、第１撮像素子の撮像倍率がその領域サイズに応じた撮像倍率に変更される。
【００２３】
これらにより第２撮像素子による動体検出時に動体を撮り逃がす恐れ少なく撮像でき、また、第１撮像素子により当該動体を注視した撮像ができ、それだけ容易に動体を確認できる。
【００２４】
なお、前記第２の撮像装置において、前記第３の撮像装置における撮像倍率変更装置、動体領域サイズ検出部及び撮像倍率変更装置の制御部を有する撮像装置も本発明に含まれる。この撮像装置の場合、動体領域サイズ検出部と動体位置検出部とはその全部又は一部が互いに共通であってもよい。制御部も同様である。
【００２５】
以上説明したいずれの撮像装置においても、第２撮像素子から最終的に出力される信号は、動体の有無を示すことができれば足りるので、例えば、撮像領域中の輝度変化する部分についての出力信号は一様な「Ｈｉｇｈ」信号（又は「Ｌｏｗ  」信号）、輝度変化しない部分を示す出力信号は一様に「Ｌｏｗ  」信号（又は「Ｈｉｇｈ」信号）とすることができる。
【００２６】
また、以上説明したいずれの撮像装置においても、動体検出用の第２撮像素子として、例えば次のものを挙げることができる。すなわち、
それぞれが光電変換素子、該光電変換素子の出力を該素子への入射光量の対数値に比例する電気信号に変換するための対数変換用トランジスタを含む対数変換部及び該対数変換部からの出力を蓄積するための積分回路を備える複数の画素と、
前記対数変換用トランジスタに与える電圧を制御するための電圧制御部と、
前記各画素からの信号を受け取って出力するための出力回路と、
前記出力回路からの出力信号に基づいて動体の有無を判断し、動体の有無を示す信号を出力する動体検出部とを備えており、
前記電圧制御部は、
撮像時に前記対数変換用トランジスタに撮像のための第１電圧を印加した状態で、前記光電変換素子から対数変換部を介して出力される第１信号を前記積分回路に蓄積させ、該対数変換用トランジスタのリセット時に該対数変換用トランジスタに第２電圧を印加して該トランジスタをリセットし、該リセットにより得られる第２信号を前記積分回路に蓄積させ、該第２電圧を前記第１電圧との差の絶対値が通常撮像状態が得られる場合の値より小さくなるように設定することで前記撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第１信号と前記第２信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる動体抽出撮像状態を実現し、
前記出力回路は前記第１信号と前記第２信号との差分に相当する信号を出力する撮像素子である。
【００２７】
ところで、撮像領域中を動体が移動する場合において例えば該動体のエッジ部に着目すると、動体エッジ部が移動することで該エッジ部に対する静止背景部の輝度が撮像素子から見て変化する。従って、動体により輝度が変化する被撮撮像領域中の部分は、該動体の少なくとも一部を示していると言える。
【００２８】
そこで、いま述べた第２撮像素子の電圧制御部に係わる
「該第２電圧を前記第１電圧との差の絶対値が通常撮像状態が得られる場合の値より小さくなるように設定することで前記撮像領域中に動体により輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積される前記第１信号と前記第２信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる動体抽出撮像状態を実現し、」との点は、  「該第２電圧を前記第１電圧との差の絶対値が通常撮像状態が得られる場合の値より小さくなるように設定することで前記撮像領域に動体が含まれるとき該動体の少なくとも一部については前記積分回路にそれぞれ蓄積される前記第１信号と前記第２信号との差分が該撮像領域に含まれる静止背景部についてのそれとは異なるものとなる動体抽出撮像状態を実現し、」と、或いは
「該第２電圧を前記第１電圧との差の絶対値が通常撮像状態が得られる場合の値より小さくなるように設定することで前記撮像領域に動体が含まれるとき該動体の少なくとも一部を該撮像領域に含まれる静止背景部とは異なる濃度で表示できる撮像信号を生成する動体抽出撮像状態を実現し、」と言い換えることができる。
【００２９】
なお、動体抽出撮像状態の実現のためには、前記のように第２電圧を第１電圧との差の絶対値が通常撮像状態が得られる場合の値より小さくなるように設定することに代えて、例えば、第２電圧の大きさは変更せずに該第２電圧の印加期間（第２電圧のパルス幅）を、対数変換用トランジスタにリセット残しが生じるように、通常撮像状態が得られる場合より短く設定してもよい。要するに、対数変換用トランジスタにリセット残しが生じるように、第２電圧を通常撮像状態が得られる場合の第２電圧とは異ならせればよい。
いずれにしてもかかる第２撮像素子における前記電圧制御部は、前記第１電圧と第２電圧の差の絶対値が、例えば、通常撮像状態が実現される場合の略半分の値となるように該第２電圧を制御することで動体抽出撮像状態を実現してもよい。
【００３０】
また、前記光電変換素子と対数変換用トランジスタとを電気的に接離するためのスイッチをさらに備えていてもよい。その場合、電圧制御部として該スイッチをオフした状態で該対数変換用トランジスタに前記第２電圧を印加することによって該トランジスタをリセットするものを採用してもよい。
【００３１】
また、いずれにしても、かかる第２撮像素子における前記動体検出部としては、例えば前記出力回路からの差分処理後の出力信号を所定の閾値と比較して動体有無を示す信号を出力するものを挙げることができる。かかる動体検出部は、既述のように、撮像領域中の輝度変化する部分についての出力信号、換言すれば、「動体有り」を示す信号は一様な「Ｈｉｇｈ」信号（又は「Ｌｏｗ  」信号）、輝度変化しない部分を示す出力信号、換言すれば、「動体無し」を示す信号は一様に「Ｌｏｗ  」信号（又は「Ｈｉｇｈ」信号）とするものであってもよい。
【００３２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
【００３３】
＜第１実施形態の撮像装置１００＞
（１）撮像装置１００の全体構成及び動作の概略
図１に第１実施形態の撮像装置１００の概略構成をブロック図で示す。
撮像装置１００は、固体撮像素子１０、２０、撮像素子１０、２０に対して撮像領域（被写体）からの光を導く光学系３０、アナログ／デジタルコンバータ（ＡＤコンバータ）４０、画像処理部５０及び装置全体の動作を制御する全体制御部６０を備えている。
【００３４】
撮像素子１０は通常撮像用の素子であり、撮像素子２０は動体検出用の素子である。これらについては後ほど詳述する。動体検出用の撮像素子２０は、以下、「動体検出素子２０」ということがある。
【００３５】
光学系３０は、図２に示すように、撮像レンズ３０１及びプリズム３０２、３０３を含んでいる。被写体からの光は撮像レンズ３０１を介してプリズム３０３に入射され、プリズム３０２と３０３の境界のハーフミラー面３０２’にて２光路に分割される。該２光路のうち一方はプリズム３０２を通って撮像素子１０に、他方はプリズム３０３内の全反射面３０３’に反射されて動体検出素子２０に入射される。
【００３６】
これにより被写体の像は撮像素子１０と動体検出素子２０に結像される。撮像素子１０と動体検出素子２０の撮像領域は少なくとも夫々の一部が重なっていればよい。ここでは撮像素子１０と動体検出素子２０はそれぞれＶＧＡの解像度（６４０Ｘ４８０  画素）を有しており、撮像素子１０と動体検出素子２０のぞれぞれの各画素は被写体の同一部分を撮像する。なお、両撮像素子１０、２０は、支障のない範囲で解像度が異なっていてもよいし、相互の関係がわかっているのであれば、異なる領域を見ていてもよい。
【００３７】
撮像素子１０はマイクロコンピュータ等にて構成されている全体制御部６０により駆動制御され、撮像及び画素信号読出しを行う。動体検出素子２０も全体制御部６０により駆動制御され、撮像及び動体検出を行う。撮像素子１０からの映像信号はＡＤコンバータ４０によりデジタル化され画像処理部５０に入力される。動体検出素子２０からの出力信号は後述するようにデジタル化されており、これも画像処理部５０に入力される。
【００３８】
画像処理部５０は全体制御部６０と同一のＬＳＩ内に構成されており、所定の演算処理を行う回路構成となっており、その動作は全体制御部６０により制御される。
【００３９】
撮像素子１０からＡＤコンバータ４０を介して画像処理部５０に入力された画像データは、所定の画像処理（シェーディング補正、ホワイトバランス処理、色補間処理、ＡＥ（露出制御）処理、γ補正処理等のうち１又は２以上）を施された後、さらに後述する動体検出素子２０からの、動体の有無を示す信号に応じた処理を施された後に出力され、図示省略のディスプレイによる画像表示や記録媒体への記録等のために出力される。画像処理部５０の構成及び動作については後ほど詳述する。
【００４０】
動体検出素子２０から画像処理部５０に入力された動体の有無を示す信号（以下、「動体検出信号」ということがある。）は、画像処理部５０においてその信号の変化を観察する動体検出処理が施され、この検出処理結果に基づいて撮像素子１０からの前記画像データの加工処理が行われる。
【００４１】
全体制御部６０は外部から入力される制御信号に呼応して、各部に対して制御信号を送出して撮像装置全体の動作を制御する。なお、外部からの制御信号の１又は２以上の代わりに撮像装置に１又は２以上の操作部材を設け、該操作部材により撮像装置動作の少なくとも一部の動作を制御しても良い。
【００４２】
（２）撮像素子１０、２０
次に撮像素子１０、２０について詳述する。先ず、通常撮像用の撮像素子１０について図３から図６を参照して説明する。図３は撮像素子１０の１例の全体構成を示すブロック図、図４は画素の配列された画素部等の構成を示す図、図５は一つの画素の構成を示す図、図６は通常撮像状態を実現する駆動電圧印加の様子を示すタイミングチャートである。
【００４３】
（２−１）撮像素子１０の全体構成及び動作
この撮像素子１０は、図３に示すとおり、画素部Ｇ、これに接続された垂直走査回路１及び出力回路８を備えており、出力回路８には水平走査回路２が接続されているとともに出力アンプＡｍが接続されている。なお図３にはコンパレータＣｐも示されているが、これは後述する動体検出素子２０において採用するものであり、撮像素子１０では採用しない。
【００４４】
撮像素子１０はまた、画素部Ｇ等へ電圧レギュレータＲｇを介して所定の駆動電圧信号等を供給するための電圧制御部ＶＣを備えている。各部を所定のタイミングで動作させるためのタイミングジェネレータＴＧも備えている。
【００４５】
画素部Ｇには、図４に示すように、撮像用の画素Ｇ１１〜Ｇｍｎが行列配置（マトリクス配置）されている。垂直走査回路１は、各画素に走査用信号φＶを与える行（ロウ）ライン３１、３２、・・・３ｎを順次走査していくとともに、ライン４１、４２、・・・４ｎを介して各画素の後述するキャパシタＣに電圧φＶＤを供給する。
【００４６】
水平走査回路２は、各画素から出力信号線６１、６２、・・・６ｍに導出される光電変換信号を画素ごとに水平方向（行方向）に順次読み出す。図４において５は電源ラインである。
なお、後ほど説明する図５においては行（ロウ）ラインは３で、φＶＤ供給ラインは４で、出力信号線は６で示してある。
【００４７】
各画素には、以上述べたライン３１、３２、・・・３ｎ、４１、４２、・・・４ｎ、出力信号線６１、６２、・・・６ｍ、電源ライン５だけでなく、他のライン（例えば、クロックラインやバイアス供給ライン等）も接続されるが、図４ではこれらの図示を省略している。
【００４８】
図３に示す出力回路８は、図４に示す定電流電源７１、７２、・・・７ｍ、選択回路８１、８２、・・・８ｍ及び補正回路９を含んでいる。
【００４９】
定電流電源７１、７２、・・・７ｍは出力信号線６１、６２、・・・６ｍにそれぞれ接続されている。選択回路８１、８２、・・・８ｍは信号線６１〜６ｍを介して画素Ｇ１１〜Ｇｍｎから与えられる映像信号（画像信号）とノイズ信号をサンプルホールドする回路である。補正回路９は選択回路８１、８２、・・・８ｍから映像信号及びノイズ信号が順に送出されてくると、補正処理、すなわち映像信号とノイズ信号との差分を該映像信号から差し引く処理を行い、ノイズ除去された映像信号を外部に出力する。なお、定電流源７１〜７ｍのそれぞれの一端には直流電圧ＶＰＳが印加される。
【００５０】
かかる撮像素子１０においては、画素Ｇａｂ（ａ：１≦ａ≦ｍの自然数、ｂ：１≦ｂ  ≦ｎの自然数）からの出力である映像信号及びノイズ信号が、それぞれ、出力信号線６ａを介して出力されるとともに、この出力信号線６ａに接続された定電流電源７ａによって増幅される。
【００５１】
そして、画素Ｇａｂから出力された映像信号及びノイズ信号が順番に選択回路８ａに送出されるとともに、この選択回路８ａにおいて、該映像信号及びノイズ信号がサンプルホールドされ、その後、選択回路８ａより、サンプルホールドされた映像信号が補正回路９に送出された後、同じくサンプルホールドされたノイズ信号が補正回路９に送出される。
【００５２】
補正回路９では、選択回路８ａより与えられた映像信号を、同じく選択回路８ａより与えられたノイズ信号に基づいて補正処理して、ノイズ除去した映像信号を出力アンプＡｍを介して増幅して外部に出力し、図示省略のディスプレイによる画像表示及び（又は）記録媒体への記録等に供する。選択回路８１〜８ｍ及び補正回路９のそれぞれの構成例として、本出願人が特開平２００１−２２３９４８号公報において提示した構成などが挙げられる。なお、選択回路８１、８２、・・・８ｍに補正回路を含ませてもよい。
【００５３】
（２−２）撮像素子１０の画素構成
次に画素Ｇ１１〜Ｇｍｎのそれぞれの１例を図５を参照して説明する。
図５に示す画素は、光電変換素子の１例であるフォトダイオードＰＤ、該フォトダイオードＰＤの出力をそれへの入射光量の対数値に比例する電気信号に変換するための対数変換用ＭＯＳトランジスタＴ２を含む対数変換部Ｌ及び対数変換部Ｌの出力を蓄積するためのキャパシタＣを含む積分回路ＩＴ等を備えている。
【００５４】
さらに説明すると、各画素においては、アノード電位をＶＰＤとした（接地電位でもよい）フォトダイオードＰＤのカソードにスイッチング用のＭＯＳトランジスタＴ１のドレインが接続され、トランジスタＴ１のソースに対数変換用のＭＯＳトランジスタＴ２のゲート及びドレインとＭＯＳトランジスタＴ３のゲートが接続されている。トランジスタＴ３は対数変換された信号に相当する電流を流すためのものである。
【００５５】
また、ＭＯＳトランジスタＴ３のソースにソースフォロワ増幅用のＭＯＳトランジスタＴ５のゲート及びキャパシタリセット用のＭＯＳトランジスタＴ４のドレインが接続され、ＭＯＳトランジスタＴ５のソースにスイッチング用（信号読み出し用）のＭＯＳトランジスタＴ６のドレインが接続されている。そして、ＭＯＳトランジスタＴ６のソースが出力信号線６（図２の出力信号線６１〜６ｍに相当）に接続されている。なお、ＭＯＳトランジスタＴ１〜Ｔ６はいずれもＰチャンネル型のトランジスタである。
【００５６】
対数変換用ＭＯＳトランジスタＴ２のソースには信号φＶＰＳが入力される。ＭＯＳトランジスタＴ３、Ｔ５のドレインの電位はＶＰＤとされる。なお、該ドレイン電位は接地電位でもよい。ＭＯＳトランジスタＴ３のソースにはキャパシタＣが接続され、該キャパシタＣにはフォトダイオードＰＤからの電気信号をキャパシタＣで積分するための参照電圧（信号φＶＤ）が入力される。
【００５７】
また、ＭＯＳトランジスタＴ４のソースには直流電圧ＲＳＢが入力され、該トランジスタＴ４のゲートに信号φＲＳＴが入力される。さらに、ＭＯＳトランジスタＴ１のゲートにはトランジスタＴ１のオン、オフ操作のための信号φＳが、ＭＯＳトランジスタＴ６のゲートにはトランジスタＴ６のオン、オフ操作のための信号φＶが入力される。
【００５８】
このように構成された画素において、ＭＯＳトランジスタＴ６及び出力信号線６を介して、−端に直流電圧ＶＰＳが印加された定電流電源７（図２の定電流電源７１〜７ｍに相当する）が、ＭＯＳトランジスタＴ５のソースに接続される。
【００５９】
従って、ＭＯＳトランジスタＴ６がオンのとき、ＭＯＳトランジスタＴ５はソースフオロワのＭＯＳトランジスタとして動作し、定電流電源７によって増幅された電圧信号を出力信号線６に出力する。
【００６０】
このようにソースフオロワ回路を構成することにより、信号を大きく出力する増幅回路が構成される。従って、この増幅回路により十分大きく増幅された信号が得られるため、後続の信号処理回路（図示せず）での処理が容易になる。また、増幅回路の負荷抵抗部分を構成する定電流電源７１〜７ｍを画素内に設けずに、列（カラム）方向に配置された複数の画素が接続される出力信号線６１〜６ｍ毎に設けることにより、負荷抵抗又は定電流電源の数を低減でき、半導体チップ上で増幅回路が占める面積を少なくできる。
【００６１】
（２−３）撮像素子１０による通常撮像及び感度バラツキ検出
次に、以上説明した撮像素子１０による通常撮像動作及び各画素の感度バラツキ検出動作について説明する。
【００６２】
対数変換用ＭＯＳトランジスタＴ２のソースに供給する信号φＶＰＳは通常撮像状態を得るときには、ハイ（Ｈｉｇｈ）  とロー（Ｌｏｗ）  の電圧信号を用いる。すなわち、映像信号及び感度バラツキによるノイズ信号のそれぞれを読み出すときにはトランジスタＴ２をサブスレッショルド領域で動作させるための電圧をロー（Ｌｏｗ）とし、トランジスタＴ２をリセットするときには、該電圧よりも高くトランジスタＴ２にローの信号φＶＰＳを与えた時よりも大きい電流が流れ得るようにするハイ（Ｈｉ）の電圧を採用する。
なお、後述するように、ノイズ信号読出し後キャパシタＣをリセットするときには、光電変換素子の残存信号除去のために、トランジスタＴ２のソースにハイとローの中間程度の値の電圧を印加する。
【００６３】
キャパシタＣに与える参照電圧φＶＤについては、３値の電圧信号を採用する。すなわち、キヤパシタＣを積分動作させる際の電圧値を最も高いＶｈとし、映像信号読み出し時の電圧値をＶｈよりも低いＶｍとし、ノイズ信号読み出し時の電圧値をＶｍよりもさらに低いＶｌとする。
【００６４】
以下の説明において、画素等に与える電圧信号等は電圧制御部ＶＣが電圧レギュレータＲｇを介して行う。電圧制御部ＶＣの動作は全体制御部６０により制御される。
【００６５】
（２−３−１）映像信号出力（画像信号出力）
以下の説明において、ＭＯＳトランジスタＴ１をオン、オフする信号φＳは撮像動作の間、常にロー（Ｌｏｗ）であり、トランジスタＴ１はオン状態である。また、キャパシタリセット用トランジスタＴ４へ与える信号φＲＳＴをハイ（Ｈｉ）としてトランジスタＴ４をオフとする。そしてＭＯＳトランジスタＴ２がサブスレッシヨルド領域で動作するように、トランジスタＴ２のソースに与える信号φＶＰＳをローとするとともにキャパシタＣに与える信号φＶＤの電圧値をＶｈとしてキャパシタＣによる積分動作を可能とする。
【００６６】
このような状態においてフォトダイオードＰＤに撮像領域からの光が入射されると、光電流が発生し、トランジスタＴ２のサブスレッショルド特性により、トランジスタＴ２、Ｔ３のゲートに光電流を、入射光量に対して自然対数的に変化するように変換した値に相当する電圧が発生する。
【００６７】
この入射光量に対して自然対数的に変化する電圧に基づき、トランジスタＴ３で電流増幅されたドレイン電流がキヤパシタＣから流れて、キヤパシタＣが放電する。よって、ＭＯＳトランジスタＴ５のゲート電圧が、入射光量の積分値の自然対数値に比例した電圧となる。
【００６８】
そして、キヤパシタＣが積分動作を行うことで得られる映像信号を読み出すために、信号φＶＤの電圧値をＶｍとするとともに、ＭＯＳトランジスタＴ６にローのパルス信号φＶを与える。これによりＭＯＳトランジスタＴ５のゲート電圧に応じたソース電流がＭＯＳトランジスタＴ６を介して出力信号線６へ流れる。
【００６９】
このとき、トランジスタＴ５がソースフオロワ型のＭＯＳトランジスタとして動作するため、出力信号線６には映像信号が電圧信号としてあらわれる。その後、信号φＶをハイにしてトランジスタＴ６をオフするとともに、信号φＶＤの電圧値をＶｈとする。このようにトランジスタＴ５、Ｔ６を介して出力される映像信号は、トランジスタＴ５のゲート電圧に比例した値となり、そのためフォトダイオードＰＤへの入射光量の積分値の自然対数値に比例した信号となる。
【００７０】
（２−３−２）感度バラツキ検出（ノイズ信号出力）
図６に示すように、電圧値Ｖｍのパルス信号φＶＤとローのパルス信号φＶが与えられて映像信号が出力されると、信号φＶＤをＶｈとした後、信号φＳをハイにしてトランジスタＴ１をオフにしてリセット動作を開始させる。このとき、トランジスタＴ２のソース側より正の電荷が流れ込み、トランジスタＴ２のゲート及びドレイン、そしてトランジスタＴ３のゲートに蓄積された負の電荷が再結合され、ある程度まで、トランジスタＴ２のゲート及びドレインのポテンシャルが上がる。
【００７１】
しかし、トランジスタＴ２のゲート及びドレインのポテンシャルがある値まで上がると、そのリセット速度が遅くなる。特に、明るい撮像領域が急に暗くなった場合にこの傾向が顕著となる。よって、次に、トランジスタＴ２のソースに与える信号φＶＰＳをハイにする。このように、トランジスタＴ２のソース電圧を高くすることで、トランジスタＴ２のソース側から流入する正の電荷の量が増加し、トランジスタＴ２のゲート及びドレイン、そしてトランジスタＴ３のゲートに蓄積された負の電荷が速やかに再結合される。このとき、信号φＲＳＴをローとしてトランジスタＴ４をオンにして、キヤパシタＣとトランジスタＴ５のゲートとの接続ノードの電圧を初期化する。
【００７２】
そして、信号φＶＰＳをハイにすることで、トランジスタＴ２のゲート及びドレインのポテンシャルがさらに高くなると、トランジスタＴ２のソースに与える信号φＶＰＳをローにして、トランジスタＴ２のポテンシャル状態をもとの状態に戻す。このように、トランジスタＴ２のポテンシャルの状態がもとの状態にリセットされると、信号φＲＳＴをハイにして、トランジスタＴ４をオフにする。
【００７３】
すると、キヤパシタＣが積分動作を行って、キヤパシタＣとトランジスタＴ５のゲートとの接続ノードの電圧が、リセットされたトランジスタＴ２のゲート電圧に応じたものとなる。そこで、パルス信号φＶをトランジスタＴ６のゲートに与えてトランジスタＴ６をオンにするとともに信号φＶＤの電圧値をＶｌにする。これにより、トランジスタＴ２、Ｔ３の特性のバラツキに起因する各画素の感度のバラツキを表す出力電流が出力信号線６に流れる。
【００７４】
このとき、トランジスタＴ５がソースフオロワ型のＭＯＳトランジスタとして動作するため、出力信号線６にはノイズ信号が電圧信号としてあらわれる。その後、信号φＳをローにしてトランジスタＴ１を導通させてトランジスタＴ２のソースに与える電圧をハイとローの中間程度の値の電圧とし、パルス信号φＲＳＴをトランジスタＴ４に与えて、キヤパシタＣとトランジスタＴ５のゲートとの接続ノードの電圧をリセットし、撮像動作が行える状態にする。
【００７５】
以上の説明においては、光電変換により得られた電気信号を積分するためにキャパシタＣに与える電圧φＶＤをＶｈ、Ｖｍ、Ｖｌの３値としたが、該電気信号積分のためにキャパシタＣに与える電圧φＶＤは一定であっても構わない。しかし、前記のような３値を採用することで、ノイズが除去された映像信号におけるオフセットを低くすることができ、それにより、撮像素子の後段に接続されるＡＤコンバータ等の動作範囲を有効に利用することができる。なお、映像信号読み出し時にキヤパシタＣに与える信号φＶＤの電圧値を積分時に与える電圧値より高くするようにしても構わない。
【００７６】
また、以上説明した撮像装置では、ＰチヤンネルのＭＯＳトランジスタを用いて各画素を構成したが、画素をＮチヤンネルのＭＯＳトランジスタを用いて構成しても構わない。このとき、各素子の極性が逆になる。固体撮像装置に設けられる定電流電源７１〜７ｍについても、図４と逆の極性となる。このようなこと以外は既に説明した撮像素子と実質上同様である。
【００７７】
（３）動体検出用の撮像素子（動体検出素子）２０
（３−１）動体検出素子２０の構成
動体検出素子２０の構成は図３から図５に示す撮像素子１０において出力アンプＡｍにコンパレータＣｐを接続し（図３参照）、コンパレータＣｐから動体の有無を示す信号（動体検出信号）を出力させるようにした点以外は、撮像素子１０と同じである。
【００７８】
（３−２）素子２０の動作
図７は動体検出素子２０における動体抽出撮像状態実現のための駆動電圧印加の様子を示すタイミングチャートである。
【００７９】
図７に示すように、素子２０においてはトランジスタＴ２をリセットするとき、撮像素子１０による通常撮像の場合のハイ電圧に代えてロー電圧とハイ電圧の中間程度の値の電圧が採用される。キャパシタＣに与える参照電圧φＶＤについては撮像素子１０の場合と同様に３値の電圧信号、すなわち、キヤパシタＣを積分動作させる際の電圧値を最も高いＶｈとし、映像信号読み出し時の電圧値をＶｈよりも低いＶｍとし、ノイズ信号読み出し時の電圧値をＶｍよりもさらに低いＶｌとする。
【００８０】
以下、素子２０の動作をさらに詳述する。
映像信号出力のための動作は撮像素子１０の場合と同様である。しかし、ノイズ信号出力動作において、ＭＯＳトランジスタＴ２のリセット処理において採用する信号φＶＰＳとして、撮像素子１０の場合におけるノイズ信号出力の場合のハイの信号φＶＰＳに代えて、図７に示すように、ハイとローの中間程度の電圧信号が採用される。これにより動体抽出を行える。それ以外は撮像素子１０におけるノイズ出力処理と同様である。なお、撮像素子１０におけるノイズ信号出力の場合のロー信号φＶＰＳに代えてハイとローの中間程度の値の電圧信号を採用するようにしてもよい。
【００８１】
この動体検出素子２０においても、撮像素子１０の場合と同様に、φＶＰＳをローにして撮像を行ったときに各画素から出力される映像信号と、φＶＰＳをハイとローの中間程度の値にしてＭＯＳトランジスタＴ２をリセットしたとき各画素から出力される雑音信号（ノイズ信号）との差分が、補正回路９による差分処理により該映像信号から差し引かれて出力される。補正回路９からの差分処理後の信号（ノイズ除去信号）は出力アンプＡｍを介してコンパレータＣｐに入力される。
【００８２】
ＭＯＳトランジスタＴ２のリセット処理において採用する信号φＶＰＳとして、撮像素子１０の場合におけるノイズ信号出力の場合のハイの信号φＶＰＳに代えて、ハイとローの中間程度の値の電圧信号が採用される結果、ＭＯＳトランジスタＴ２にリセット残しが生じる。しかも、該リセット残しはＭＯＳトランジスタＴ２の特性により入射光量の多かった画素ほど多く、入射光量の少なかった画素ほど小さくなる。従って、前記差分処理後の映像信号は、輝度が変化しない撮像領域部分を撮像した各画素については同様の値となる。かくして撮像領域における静止背景部については略一様にグレー表示可能の信号が出力される。
【００８３】
一方、動体については、輝度が「暗」→「明」、「暗」→「明」→「暗」、「明」→「暗」、「明」→「暗」→「明」などと映像信号の積分期間中に変化する。
【００８４】
輝度が「暗」→「明」に変化し、リセット期間の開始まで「明」状態のままであった場合、映像信号は、積分期間中常時「明」状態であったときと比較して高くなる。雑音信号はリセット開始時の積分回路入力部の電圧にのみ依存した値となるため、リセット開始時は「明」状態であるので、雑音信号は常時「明」状態のときと同じである。すると、差分処理後の映像信号出力は減少し、素子２０への入射光が「暗」→「明」に変化した部分を暗く表示できるものとなる。また、常時「暗」状態であったときと比較すると、映像信号は低く、雑音信号も低くなるが、雑音信号が低くなる量より映像信号が低くなる量の方が少なく、差分処理後の映像信号出力は減少する。
【００８５】
輝度が「暗」→「明」→「暗」に変化し、リセット期間の開始まで「暗」状態のままであった場合、映像信号は、積分期間中常時「暗」状態であったときと比較して低くなる。雑音信号はリセット開始時の積分回路入力部の電圧にのみ依存した値となるため、リセット開始時は「暗」状態であるので、雑音信号は常時「暗」状態のときと同じである。すると、差分処理後の映像信号出力は増加し、素子２０への入射光が「暗」→「明」→「暗」に変化した部分を明るく表示できるものとなる。
【００８６】
輝度が「明」→「暗」に変化する場合は、同様の理由で、差分処理後の映像信号出力は増加し、輝度変化部分を明るく表示できるものとなる。
輝度が「明」→「暗」→「明」に変化する場合は、差分処理後の映像信号出力は減少し、輝度変化部分を暗く表示できるものとなる。
このような現象により素子２０への入射光が変化した部分を抽出でき、これにより動体の存在を検出できる。
【００８７】
撮像素子１０で動体を含む撮像領域を撮像してディスプレイに表示すると仮定した場合の表示例を図８（Ａ）に示し、動体検出素子２０にて（但し、コンパレータＣｐを取り外して）動体を含む撮像領域を撮像してディスプレイに表示すると仮定した場合の表示例を図８（Ｂ）に示す。動体は黒いボールであり、白い壁の前に置いたテーブルの上を図中右から左へ転動している。例えばボールの左右のエッジ部分に着目すると、ボールの左側のエッジ部分の左方への移動により撮像装置から見ると輝度が「明」から「暗」に変化する撮像領域部分が幅と向きを持った明るい部分Ｐとして表示され、ボールの右側のエッジ部分の左方への移動により撮像装置から見ると輝度が「暗」から「明」に変化する撮像領域部分が幅と向きを持った暗い部分Ｑとして表示される。
【００８８】
前記のコンパレータＣｐは、図９に示すように、補正回路９による差分処理後のノイズ除去信号を所定の基準範囲を挟んで設定された閾値１と閾値２と比較し、閾値１を上回った場合及び閾値２を下回った場合、すなわち動体存在が示されているときにはハイ「Ｈｉｇｈ」信号を出力し、基準範囲内にあるとき、すなわち動体存在が示されていないときはロウ「Ｌｏｗ  」信号を出力する。このようにして動体有無を示す信号（動体検出信号）を出力する。
【００８９】
（４）撮像素子１０と動体検出素子２０の同期駆動
なお、既述のとおりここでは撮像素子１０及び動体検出素子２０のぞれぞれの各画素は全体制御部６０の指示に基づき被写体の同一部分を撮像する。そして、素子１０のマトリクス配列された画素を前記垂直走査回路１にて各ロウ（ｒｏｗ）毎にコラム（ｃｏｌｕｍｎ）  方向に順次駆動するための垂直同期信号ＶＤ及び各ロウ（ｒｏｗ）上の画素群から出力される信号を前記水平走査回路２により画素ごとに順次読みだすための水平同期信号ＨＶは、素子２０における同様の垂直同期信号ＶＤ及び水平同期信号ＨＶと同期している。
【００９０】
（５）画像処理部５０の構成及び動作
図１０は画像処理部５０の概略構成を示すブロック図である。
画像処理部５０は、外部から全体制御部６０へ入力される制御信号或いは操作部材による全体制御部６０への指示に基づく全体制御部６０からの指示により、動体抽出とは関係のない通常の画像データを出力する処理又は動体抽出処理を行う。前者処理では、図１０に示すように撮像素子１０からＡＤコンバータ４０を介して入力されてくる画像データに対し所定の画像処理（シェーディング補正、ホワイトバランス処理、色補間処理、ＡＥ（露出制御）処理、γ補正処理等のうち１又は２以上）を施した処理後画像データをそのままセレクタＳＬを介して外部へ出力する。
【００９１】
動体抽出処理は、動体検出素子２０からの動体検出信号及びセレクタＳＬを用いて次のように行う。なお、動体検出信号は画像処理部５０を介して一旦全体制御部６０へ入力される。セレクタＳＬは全体制御部６０の指示に基づいて所定の動作をする。
【００９２】
動体抽出処理においても、撮像素子１０からＡＤコンバータ４０を介して入力されてくる画像データに対し所定の画像処理（シェーディング補正、ホワイトバランス処理、色補間処理、ＡＥ（露出制御）処理、γ補正処理等のうち１又は２以上）を施す。
【００９３】
セレクタＳＬは、動体検出素子２０から画像処理部５０に入力されてくる動体検出信号が動体存在を示すハイ（Ｈｉｇｈ）  となるまでは、前記所定の画像処理後の画像データに後述するマスク処理を施さないで、該処理後画像データをそのまま出力させる。しかし、動体存在を示すハイ（Ｈｉｇｈ）  信号が到来すると、その後は動体検出信号が動体不存在を示すロウ（Ｌｏｗ）となる部分に対応して前記処理後画像データにさらにマスク処理部５０１でマスク処理した画像データを出力させる。
【００９４】
前記のマスク処理とは、図１１に示すように、撮像素子１０から画像処理部５０へ入力されてきて前記の所定処理を施された後の処理後画像データのうち、動体検出信号がロウ（Ｌｏｗ）となる部分に対応する（  同期する）  該処理後画像データ部分に均一なグレーマスクデータを挿入する処理である。
【００９５】
かかるマスク処理により、図示省略のディスプレイに動体部分のみを実画像として抽出表示し、静止部分については均一濃度でグレー表示することが可能となる。
【００９６】
なお、ここでは素子１０、２０の撮像領域は同一と仮定しているが、両者の撮像領域にずれがあるときは、両者に共通の撮像領域についてのみ動体検出信号に応じてマスク処理が行われる。
【００９７】
次に図１２及び図１３を参照してマスク処理及び動体抽出表示についてさらに説明する。図１２は動体抽出処理に係わる全体制御部６０の動作を示すフローチャートである。図１３（Ａ）は動体検出しないときの出力画像例を、図１３（Ｂ）は動体検出開始フレームの出力画像例を、図１３（Ｃ）は動体検出後の出力画像例を示している。動体として犬が例示されている。
【００９８】
図１２に示すように、動体検出処理がスタートとすると、動体が検出されるまでは撮像素子１０の全領域画像データ（通常画像データ）が出力される（ステップＳ１）。以下、「ステップ」の語は省略することがある。ステップＳ１により出力される画像データによる１フレーム分の出力画像は図１３（Ａ）に示すようになる。動体が検出されると（Ｓ２）、動体の領域以外の背景をグレーにマスク処理した動体抽出画像データの出力がセレクタＳＬにより開始される（Ｓ３）。この画像データによる１フレーム分の出力画像は図１３（Ｂ）に示すようになる。
【００９９】
このように、動体が抽出され、動体抽出画像データが出力されると、次の１フレームにおいて撮像領域の静止状態の検出が開始される。換言すれば、動体検出信号が次の１フレームにおいて全てＬｏｗ  となる状態の検出が開始される（Ｓ４）。その結果、動体検出信号が該次の１フレームで全てＬｏｗ  となる状態が検出されないときは、未だ動体が存在しているので、ステップＳ３へ戻る（Ｓ５）。このようにして、撮像領域の静止状態が検出されるまで、動体抽出画像データ、すなわち、動体領域については実画像で表示でき、静止背景については一様なグレー濃度表示できる画像データを出力する。
【０１００】
撮像領域の静止状態が検出されると、動体が存在した最後の動体領域（以下、「固定領域」という。）について実画像で、その背景領域についてはグレー濃度で表示できる画像データの出力を開始する（Ｓ６）。
【０１０１】
かかる固定領域画像データの出力処理は次のようにして行われる。
既述のように動体検出信号は一旦全体制御部６０に入力される。全体制御部６０は水平、垂直カウンタにより、動体検出素子２０の各画素に対応したアドレスをカウントし、水平、垂直方向において動体検出開始画素アドレス及び、終了アドレスを検出、記憶することで本例では四角形の抽出エリアを表す動体領域信号を生成する。固定領域画像データ出力処理においては、この動体領域信号をマスク処理部５０１に入力することで、図１３（Ｃ）に示すように、動体が存在した動体領域については実画像で、背景領域についてはグレー濃度で表示できる画像データを出力する。このデータ出力は、動体の動きにムラがあるときのために所定時間（ここでは１０秒間）続けられる。
【０１０２】
固定領域画像データの出力処理中も動体検出素子２０による動体検出は続けられており、それにより、再び動体が検出されると（Ｓ７）、固定領域画像データの出力を中止して（Ｓ８）、ステップＳ３に戻り、動体抽出画像データを出力する。
【０１０３】
もはや動体が検出されないときは（Ｓ７）、固定領域画像データ出力を終了した後（Ｓ９）、セレクターＳＬを切り換えて通常画像データ出力状態に戻る（Ｓ１０）。
かかる動作は外部より終了の指示があるまで繰り返し行われ、外部より終了の指示があれば直ちに通常の画像が出力される。
【０１０４】
＜第２実施形態の撮像装置＞
この撮像装置は、画像処理部として図１４に示すもの５０’を用い、全体制御部６０の指示のもとに画像処理部５０’が次のような処理を行う以外は既述の撮像装置１００と同様である。
【０１０５】
図１４に示す画像処理部５０’は１フレーム分の画像データを記憶しておける容量の二つのメモリＭ１、Ｍ２を備えている。画像処理部５０’においても、撮像素子１０からＡＤコンバータ４０を介して入力されてくる画像データに対し所定の画像処理（シェーディング補正、ホワイトバランス処理、色補間処理、ＡＥ（露出制御）処理、γ補正処理等のうち１又は２以上）を施こす。また、画像処理部５０’も画像処理部５０と同様のマスク処理部５０１を備えている。セレクタＳＬは備えていない。
【０１０６】
画像処理部５０’においては、前記所定の画像処理後の処理後画像データが撮像フレーム毎にメモリＭ１、Ｍ２に交互に書き込まれ、書き込みが終了したメモリより順次交互に読みだされる。さらに言えば、書き込み中のメモリとは反対のメモリから読みだされる。
【０１０７】
撮像装置１００の場合と同様に、動体検出信号は一旦全体制御部６０に入力される。全体制御部６０は水平、垂直カウンタにより、動体検出素子２０の各画素に対応したアドレスをカウントし、水平、垂直方向において動体検出開始画素アドレス及び、終了アドレスを検出、記憶することで本例では四角形の抽出エリアを表す動体領域信号を生成する。これを動体検出後の固定領域画像データ出力処理の場合だけでなく、動体抽出処理においてもマスク処理部５０１に入力する。
【０１０８】
かくして、例えばメモリＭ１に画像データを書き込み中に動体が検出された場合、動体領域はメモリＭ１の読み出し開始時点で既に確定しているので、動体検出開始フレームにおいても、図１５（Ａ）に示すように、動体領域以外をマスク処理することが可能である。固定領域については図１５（Ｂ）に示すように、図１３（Ｃ）と同様に表示可能である。
【０１０９】
＜第３実施形態の撮像装置２００＞
図１６に第３実施形態の撮像装置２００の構成をブロック図で示す。
撮像装置２００は、通常撮影を行う撮像カメラ７０、動体検出用の動体検出カメラ８０及び撮像装置全体の動作を制御する全体制御部９０を備えている。
【０１１０】
撮像カメラ７０は図１７に示すように、撮像素子７０１、その前方に配置された撮像ズームレンズ７０２、このズームレンズを駆動してカメラの撮像倍率を変更するズーム駆動装置７０３及びカメラの撮像方向を変更するためのパンチルト駆動装置７０４を備えている。パンチルト駆動装置７０４は、撮像素子７０１、ズームレンズ７０２及びズーム駆動装置７０３をこれらを支持する部材７０５ごとパン動作（左右首振り動作）させることができるとともにチルト動作（上下首振り動作）させることができる。
【０１１１】
撮像カメラ７０はさらに画像処理部７０６及び撮像領域制御部７０７を備えている。撮像素子７０１は、既述の撮像装置１００において採用した撮像素子１０と同じものである。なお、撮像素子７０１はこれに限定されるものではなく、他の、通常撮像可能の撮像素子であってもよい。
【０１１２】
一方、動体検出カメラ８０は、図１８に示すように、動体検出用の撮像素子（動体検出素子）８０１、該素子前方の撮像レンズ８０２及び動体領域検出部８０３を備えている。撮像素子８０１は、既述の撮像装置１００において採用した動体検出素子２０と同じものである。従って撮像素子８０１は、動体有無を示す動体検出信号を出力する。
【０１１３】
全体制御部９０は外部から入力される制御信号に呼応して各部に対し制御信号を送出し、撮像装置２００全体の動作を制御する。なお、外部からの制御信号の１又は２以上の代わりに操作部材を設け、該操作部材により撮像装置２００の動作の１又は２以上を制御してもよい。
【０１１４】
動体検出カメラ８０は、その動体検出素子８０１が全体制御部９０からの指示に基づいて動体領域検出部８０３から出力される駆動信号に応じて撮像領域を撮像する。カメラ８０は該領域内に動体が存在するときは素子８０１によりこれを検出するとともに動体領域検出部８０３において撮像領域内の動体存在領域（動体領域）の座標と範囲を表すデータ（動体領域データ）を全体制御部９０へ出力する。
【０１１５】
全体制御部９０は動体検出カメラ８０からの動体領域データに基づいて撮像カメラ７０の撮像倍率と撮像方向（パンチルト角）の制御データを撮像カメラ７０の撮像領域制御部７０７へ送信する。撮像領域制御部７０７は、該制御データに基づいてズーム駆動部７０３及びパンチルト駆動部７０４に駆動信号を送り、撮像カメラ７０の撮像倍率及び撮像方向を動体抽出撮像のためのものに設定する。
【０１１６】
このような撮像カメラ設定状態においてカメラ７０の撮像素子７０１は全体制御部９０から画像処理部７０６を介して出力される駆動信号に応じて動体を撮像する。その撮像データは画像処理部７０６へ出力され、所定の画像処理を施されてディスプレイによる表示及び（又は）記録媒体への記録等のために外部へ出力される。
【０１１７】
次に動体検出カメラ８０による動体検出及び撮像カメラ７０による動体の撮像についてさらに詳述する。
カメラ８０の動体検出素子８０１は、駆動信号により動体検出が要求されている撮像領域を走査して、図９に示すと同様の動体検出信号を出力する。
【０１１８】
動体検出素子８０１は図１９に示す矢印のとおり、水平垂直に走査を行う。
動体検出素子８０１は動体領域検出部８０３から送られてくる駆動信号に応じて撮像領域を走査し、素子８０１の各画素における検出結果をハイ（Ｈｉｇｈ）  又はロウ（Ｌｏｗ）  の検出信号にて動体領域検出部８０３へ出力する。ハイ（Ｈｉｇｈ）  は動体の存在を示す。
【０１１９】
動体領域検出部８０３では、駆動信号に同期して図示省略のカウンタが動作しており、動体検出素子８０１から送られてくる動体存在を示す信号の画素アドレス（水平アドレス、垂直アドレス）を生成する。この画素アドレスについて動体が検出された最初の垂直、水平アドレスと最後の垂直、水平アドレスを記憶し、１フレームの走査が終了した時点でこれらのアドレスを動体領域データとして全体制御部９０に送出する。
【０１２０】
図１９に例示する撮像領域における動体（ここでは犬）の領域ＡＢＣＤの検出方法について説明する。動体が検出された、すなわち動体検出信号がハイとなった最初の垂直アドレスをＡｄｄＶ１  、最後の垂直アドレスをＡｄｄＶ２  、最初の水平アドレスをＡｄｄＨ１  、最後の水平アドレスをＡｄｄＨ２  とした場合、動体領域ＡＢＣＤのアドレス（垂直アドレス、水平アドレス）は以下のとおりである。
Ａ  ：（ＡｄｄＶ１，ＡｄｄＨ１）  、  Ｂ  ：（ＡｄｄＶ１，ＡｄｄＨ２  ）、
Ｃ  ：（ＡｄｄＶ２，ＡｄｄＨ１  ）、Ｄ  ：（ＡｄｄＶ２，ＡｄｄＨ２  ）
【０１２１】
全体制御部９０は動体検出カメラ８０より得られた動体領域データに基づいて以下のデータを撮像カメラ７０に送信する。以下、領域及びパンチルト移動量の算出は動体検出素子８０１における画素アドレスを用いて算出する。
【０１２２】
図２０は撮像カメラ７０による動体抽出撮像例を示す図である。
全体制御部９０はデータ送信前の撮像カメラ７０の撮像領域ＥＦＧＨを記憶している。このＥＦＧＨの領域の中心がＯであった場合、動体領域Ａ  ’Ｂ  ’Ｃ  ’Ｄ  ’の中心Ｐまでの撮像カメラ７０の撮影方向の水平移動量Ｄｐを算出する。ついで垂直移動量Ｄｔを算出する。ここで動体領域Ａ  ’Ｂ  ’Ｃ  ’Ｄ  ’は、動体検出カメラ８０から送られてきた動体領域ＡＢＣＤを確実に撮像できるように、動体領域ＡＢＣＤ領域よりも所定量大きい領域に設定する。
【０１２３】
ついで、撮像領域ＥＦＧＨと動体領域Ａ’Ｂ’Ｃ’Ｄ’との面積比Ｚを求める。
以上によって求められた撮像方向を定めるパンチルト移動量データ及び撮影倍率データを撮像カメラ７０に送る。撮像カメラ７０では送られてきた移動量データ及び撮影倍率データを撮像カメラ内の撮像領域制御部７０７にてズーム駆動部７０３及びパンチルト駆動部７０４の駆動信号に変換し、それら駆動部に送信する。かくして検出された動体領域を撮影する。
【０１２４】
＜その他の実施形態＞
（１）以上説明した撮像装置では、動体のみの抽出を行っていたが、動体周辺の所定領域も含めた画像抽出を行えるようにしてもよい。
撮像装置１００等では、例えば、撮像素子１０からの画像読出しタイミングを動体検出素子２０の動体検出信号読出しタイミングより垂直に所定ロウ（ｒｏｗ）ライン、水平に所定画素分遅らせて読み出し、画像処理部５０にてマスク処理する際に水平、垂直方向に該所定ロウライン、所定画素分の２倍分遅らせてマスク処理を開始及び実画像データ出力を終了させることで、該所定ロウライン、所定画素分の範囲の周辺も表示することが可能となる。
【０１２５】
（２）撮像装置１００等ではプリズムによる光路分割にて通常撮像と動体検出とを行ったが、異なる光路のそれぞれに撮像レンズを設けて通常撮像及び動体検出を実施してもよい。
【０１２６】
（３）第１〜第３の実施形態のいずれの撮像装置においても、動体を検出したとき、撮像画像データを既に若干触れたように記録媒体（例えばハードディスク）に格納保存するようにしてもよい。
この場合、第１実施形態の撮像装置１００及び第２実施形態の撮像装置においては、動体抽出画像の記録、全画像の記録のいずれであってもよい。第３実施形態の撮像装置２００の場合は、動体領域（ＡＢＣＤ）  のみの画像の記録、動体抽出エリア全体（Ａ  ’Ｂ  ’Ｃ  ’Ｄ  ’）  の画像の記録のいずれであってもよい。
【０１２７】
（４）第１〜第３の実施形態のいずれの撮像装置においても、撮像素子１０（７０１）と動体検出素子２０（８０１）の解像度は異ならせてもよい。この場合、動体の欠けを防止するため、動体を抽出する際の領域（Ａ  ’Ｂ  ’Ｃ  ’Ｃ  ’）  は検出動体領域（ＡＢＣＤ）  より大きくするとよい。
【０１２８】
【発明の効果】
本発明によれば、簡単に動体の存在を検出でき、動体存在が検出されると、該動体を撮り逃がす恐れ少なく撮像できる撮像装置を提供することができる。
【０１２９】
また本発明によれば、簡単に動体の存在を検出でき、動体存在が検出されると該動体を通常撮像による画像の状態での抽出表示を可能とする撮像装置を提供することができる。
【図面の簡単な説明】
【図１】本発明の１実施形態である撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置における撮像素子及び動体検出素子への２分割光路を示す図である。
【図３】図１の撮像装置における撮像素子構成を示すブロック図である。
【図４】図３の撮像素子における画素部の構成を示す図である。
【図５】図４の画素部における画素の構成を示す図である。
【図６】図３の撮像素子における駆動電圧印加のタイミングを示すタイミングチャートである。
【図７】動体検出素子における駆動電圧印加のタイミングを示すタイミングチャートである。
【図８】図８（Ａ）は通常撮像状態による、動体（ボール）を含む撮像領域の撮像例を示し、図８（Ｂ）は動体抽出撮像状態による、動体を含む撮像領域の撮像例を示している。
【図９】動体検出素子のコンパレータによる処理とそれにより得られる動体検出信号例を示す図である。
【図１０】図１の撮像装置における画像処理部の概略構成を示すブロック図である。
【図１１】マスク処理の説明図である。
【図１２】図１の撮像装置における全体制御部の動作を示すフローチャートである。
【図１３】図１３（Ａ）は動体検出しないときの出力画像例、図１３（Ｂ）は動体検出開始フレームの出力画像例、図１３（Ｃ）は動体検出後の出力画像例である。
【図１４】画像処理部の他の例を示すブロック図である。
【図１５】図１５（Ａ）は図１４に示す画像処理部を用いた撮像装置による動体検出開始フレームの出力画像例、図１５（Ｂ）は動体検出後の出力画像例である。
【図１６】本発明の他の実施形態である撮像装置の概略構成を示すブロック図である。
【図１７】図１６の撮像装置の撮像カメラの構成を示すブロック図である。
【図１８】図１６の撮像装置の動体検出カメラの構成を示すブロック図である。
【図１９】動体検出カメラによる動体領域検出例を示す図である。
【図２０】撮像カメラによる動体抽出撮像例を示す図である。
【符号の説明】
１００  撮像装置                    ２００  撮像装置
１０  撮像素子                      ７０  撮像カメラ
２０  動体検出素子                  ７０１  撮像素子
３０  光学系                        ７０２  撮像ズームレンズ
３０１  撮像レンズ                  ７０３  ズーム駆動部
３０２、３０３  プリズム            ７０４  パンチルト駆動部
３０２’  ハーフミラー面            ７０５  支持部材
３０３’  全反射面                  ７０６  画像処理部
４０  ＡＤコンバータ                ７０７  撮像領域制御部
５０  画像処理部                    ８０  動体検出カメラ
５０１  マスク処理部                ８０１  動体検出素子
ＳＬ  セレクタ                      ８０２  撮像レンズ
６０  全体制御部                    ８０３  動体領域検出部
５０’  画像処理部                  ９０  全体制御部
Ｍ１、Ｍ２  メモリ
Ｇ  画素部                                  ８１〜８ｍ  選択回路
１  垂直走査回路                            ９  補正回路
２  水平走査回路                            １０  電圧制御部
３、３１〜３ｎ  行（ロウ）ライン            Ａｍ  出力アンプ
４、４１〜４ｎ  ライン                      Ｒｇ  電圧レギュレータ
５  電源ライン                              ＴＧ  タイミングジエネレータ
６、６１〜６ｍ  出力信号線                  Ｇ１１〜Ｇｍｎ  画素
７１〜７ｍ  定電流電源                      ＰＤ  フォトダイオード
８  出力回路
Ｔ１  スイッチング用ＭＯＳトランジスタ
Ｔ２  対数変換用ＭＯＳトランジスタ
Ｔ３  ＭＯＳトランジスタ
Ｔ４  キャパシタリセット用ＭＯＳトランジスタ
Ｔ５  ソースフォロワ増幅用ＭＯＳトランジスタ
Ｔ６  信号読出し用ＭＯＳトランジスタ
Ｃ  キャパシタ（積分用コンデンサ）
【図１】
2004304379.tif 000003
【図２】
2004304379.tif 000004
【図３】
2004304379.tif 000005
【図４】
2004304379.tif 000006
【図５】
2004304379.tif 000007
【図６】
2004304379.tif 000008
【図７】
2004304379.tif 000009
【図８】
2004304379.tif 000010
【図９】
2004304379.tif 000011
【図１０】
2004304379.tif 000012
【図１１】
2004304379.tif 000013
【図１２】
2004304379.tif 000014
【図１３】
2004304379.tif 000015
【図１４】
2004304379.tif 000016
【図１５】
2004304379.tif 000017
【図１６】
2004304379.tif 000018
【図１７】
2004304379.tif 000019
【図１８】
2004304379.tif 000020
【図１９】
2004304379.tif 000021
【図２０】
2004304379.tif 000022