(57)【要約】【課題】複雑な信号処理を必要とすることなく動体存在を検出でき、しかも、動体の所定動作状態も検知でき、動体が所定の動作状態にあることを表す信号を出力可能の撮像装置を提供する。さらに、プライバシー保護にも配慮された撮像装置を提供する。【解決手段】動体抽出撮像信号を出力可能の固体撮像素子１０及び素子１０による撮像画像における動体移動に基づく尾引き長さを計測し、尾引き長さ所定の設定値より大きいとき所定制御信号を発する制御回路４０を有する撮像装置Ａ。撮像素子１０と、素子１０の画素出力信号のうち、所定の上下の閾値１、閾値２のうち少なくとも一方を超える動体抽出撮像信号を出力する画素を含む所定画素について該所定画素からの信号出力の変化を測定し、該信号出力変化が所定のパターンに合致すると所定制御信号を発する制御回路４０’を有する撮像装置Ｂ。【選択図】  図１
2004350153.tif 000002
【特許請求の範囲】
【請求項１】
撮像領域に動体が存在するとき動体抽出撮像信号を出力可能の固体撮像素子と、
該固体撮像素子から出力される動体抽出撮像信号に基づいて該撮像素子による撮像画像における、動体移動に基づく尾引き長さを計測する計測部と、
該計測部により計測される尾引き長さが予め設定した設定値より大きいとき所定の制御信号を発する制御部と
を有することを特徴とする撮像装置。
【請求項２】
前記計測部は、１フレーム分の画像データのうち所定の閾値を超える画像データに相応する該１フレーム中の面積を求めることで前記尾引き長さを計測する請求項１記載の撮像装置。
【請求項３】
前記計測部は、１フレーム分の画像データのうち所定の閾値を超える画像データの分布に基づいて前記尾引き長さを計測する請求項１記載の撮像装置。
【請求項４】
２次元配列された画素群を有し、撮像領域中に動体が存在すると動体抽出撮像信号を出力可能の固体撮像素子と、
該固体撮像素子の画素から出力される信号のうち１フレームについて予め定められている上下二つの閾値のうち少なくとも一方を超える動体抽出撮像信号を出力する１画素又は複数画素に注目して該注目画素からの信号出力の変化を所定時間測定する測定部と、
前記測定部で測定される信号出力の変化が所定のパターンに合致すると所定の制御信号を発する制御部と
を備えていることを特徴とする撮像装置。
【請求項５】
前記制御部は、前記注目画素からの信号出力の変化が前記上下二つの閾値を交互に超えるパターンを示すと前記所定の制御信号を出力する請求項４記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は動体を検出し、その動作状態を知ることができる撮像装置に関する。
【０００２】
【従来の技術】
動体撮像の分野ではその目的に応じて様々の技術が提案されてきた。  先ず、不法侵入者その他のものの監視等のために動体を検出することそれ自体についてみれば、動体検出の手法として、フレーム間差分法（例えば前画面と現画面といった異なるフレーム間の差分をとる方法）や背景差分法（背景画像と入力画像の差分をとる方法）等の手法が提案されている。例えば特開平５−１４５８２３号公報はフレーム間差分法を紹介しており、特開平７−３３６６９４号公報は背景差分法を開示している。
【０００３】
また、動体の動作状態を検出し、該動体の動作状態から、例えばそれが不法侵入者か否か、車両運転者が居眠り運転に陥っていないか否か等を知る手法としてつぎものも提案されている。
【０００４】
すなわち、特開２００１−３５２４６８号公報は、防犯などのための監視領域の撮像にあたり、非監視者のプライバシーを守るために、不法侵入者が存在しないなど異常が無ければ、撮像データを、これに解像度の変化処理、モザイク処理等の劣化処理を施して監視者側へ提供する一方、画像中の像（例えば不法侵入者の像）の移動速度が通常の像（例えば存在を許可された人物の像）の移動速度より大きかったり、所定の金庫等に許可されていない人物が近づいている様子が撮像されたり、所定色のワッペンを付けていない人物が撮像されたりするなど、異常が発生すると、劣化処理しない撮像データを監視者に提供することを開示している。
【０００５】
特開２００２−２７９４１１号公報は、車両運転者の顔を撮像し、その撮像データから運転者の目の位置を検出し、所定時間内における所定画像領域内での目の検出率から運転者の顔のふらつき、ひいては運転者の注意力を検出することを開示している。
【０００６】
【特許文献１】特開平５−１４５８２３号公報
【特許文献２】特開平７−３３６６９４号公報
【特許文献３】特開２００１−３５２４６８号公報
【特許文献４】特開２００２−２７９４１１号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、先ず、動体の検出そのものについてみると、従来のフレーム間差分法や背景差分法は撮像素子からの信号の複雑な処理が必要であり、撮像システムにおける信号処理の負担が大きい。
【０００８】
特開２００１−３５２４６８号公報が開示するプラバシー保護では撮像データの劣化処理が必要であり、像の移動速度から不法侵入者等が存在するか否かを判断するにあたっての動体検出については、やはりフレーム間差分法や背景差分法によるものと解され、該動体検出及び像の移動速度検出は複雑な信号処理を要する。特開２００２−２７９４１１号公報が開示する運転者の注意力検出手法においては、顔の撮像データから運転者の目の位置を検出する等の処理が必要である。
【０００９】
そこで本発明は、複雑な信号処理を必要とすることなく、簡単に動体の存在を検出でき、しかも、該動体の所定の動作状態も検知でき、動体が存在するとともに該動体が所定の動作状態にあることを表す信号を出力することができる撮像装置を提供することを第１の課題とする。
また本発明は、前記第１の課題を解決できるとともにプライバシー保護にも配慮された撮像装置を提供することを第２の課題とする。
【００１０】
【課題を解決するための手段】
本発明者の研究によれば、それには限定されないが、例えば本発明者がすでに提案し、特許出願（特願２００２−３７５０２９号）されている、撮像領域中の動体を抽出撮像できる固体撮像素子のように、動体抽出撮像信号を出力可能の固体撮像素子を用いれば、複雑な信号処理を要することなく簡単に動体を検出できる。
【００１１】
また、そのような固体撮像素子から出力される動体抽出撮像信号の利用の仕方により動体の動作状態を検知することも可能であり、ひいては、例えば動体動作状態検知結果を異常な動作（例えば速い動作）をする不法侵入者や異常者の発見、頭部が上下動する居眠り運転をしている車両運転者への警告その他に利用できる。
【００１２】
さらに、動体抽出撮像可能の固体撮像素子を用いて撮像領域を監視するとともに、該撮像素子からの撮像データのうち、例えば不法侵入者等を示す特異な撮像データのみに注目できるようにすれば、監視されるべきでない、又はその必要がない通常動作をする人々や物等についてはそのプライバシーを保護することも可能である。
【００１３】
そこで本発明は前記第１及び第２の課題を解決するため次の第１の撮像装置を提供し、また、少なくとも第１の課題を解決するため次の第２の撮像装置も提供する。
（１）第１の撮像装置
撮像領域に動体が存在するとき動体抽出撮像信号を出力可能の固体撮像素子と、
該固体撮像素子から出力される動体抽出撮像信号に基づいて該撮像素子による撮像画像における、動体移動に基づく尾引き長さを計測する計測部と、
該計測部により計測される尾引き長さが予め設定した設定値より大きいとき所定の制御信号を発する制御部と
を有する撮像装置。
【００１４】
（２）第２の撮像装置
２次元配列された画素群を有し、撮像領域中に動体が存在すると動体抽出撮像信号を出力可能の固体撮像素子と、
該固体撮像素子の画素から出力される信号のうち１フレームについて予め定められている上下二つの閾値のうち少なくとも一方を超える動体抽出撮像信号を出力する１画素又は複数画素に注目して該注目画素からの信号出力の変化を所定時間測定する測定部と、
前記測定部で測定される信号出力の変化が所定のパターンに合致すると所定の制御信号を発する制御部と
を備えている撮像装置。
【００１５】
【発明の実施の形態】
＜第１実施形態＞
本発明の第１実施形態に係る撮像装置は、基本的には、
撮像領域に動体が存在するとき動体抽出撮像信号を出力可能の固体撮像素子と、
該固体撮像素子から出力される動体抽出撮像信号に基づいて該撮像素子による撮像画像における、動体移動に基づく尾引き長さを計測する計測部と、
該計測部により計測される尾引き長さが予め設定した設定値より大きいとき所定の制御信号を発する制御部と
を含んでいる。
【００１６】
ここで、「尾引き長さ」とは、動体のエッジ部の移動により撮像画像に現れる該エッジ部の移動軌跡を示す画像部分の長さであり、動体の大きさが一定又は略一定している場合には、この「尾引き長さ」が大きいほど動体は高速で移動していることになる。なお、動体のエッジ部は動体の移動方向に関して前方部であってもよく、或いは後方部であってもよく、「尾引き長さ」は所謂一般的な「尾引き」の概念にとらわれるものではない。
【００１７】
この撮像装置は動体抽出撮像信号を出力可能の固体撮像素子により動体の検出が可能であるともに、該撮像素子による撮像画像における、動体移動に基づく尾引き長さを前記計測部で計測することで動体がどのような速度で移動しているかという動体の動作状態を検知することができる。
【００１８】
そして、前記制御部における前記設定値を、例えば静止しているとか、通常速度で移動している故に注目すべきでない、或いは注目する必要のない物体については前記制御信号は出力されないが、異常な高速で動く動体については前記制御信号が出力がされる値に設定しておくことで、該高速動体を監視者に通報する、警報を発する、通常撮像可能の撮像素子により撮像開始する等のための所定の制御信号を出力することができる。注目すべきでない、或いは注目する必要のない物体がプライバシー保護対象であれば、そのプライバシーが保護される。
【００１９】
さらに言えば、この撮像装置で、例えばプライバシーが保護されるべき人々や物が含まれている領域を監視する場合、静止していたり、通常の速度で移動するそれらの人々や物については前記制御部から制御信号が出力されることはなくプライバシーが保護される一方、通常より速く動く不法侵入者や異常者については、彼らを監視者に通報する、警報を発する、通常撮像可能の撮像素子により撮像開始する等のための所定の制御信号を出力することができる。
【００２０】
前記計測部としては、例えば、１フレーム分の画像データのうち所定の閾値を超える画像データに相応する該１フレーム中の面積を求めることで（例えば、所定の閾値を超える画像データを出力する撮像素子画素の数を計数して該面積を求めることで）前記尾引き長さを計測するものや、１フレームの画像データのうち所定の閾値を超える画像データの分布に基づいて前記尾引き長さを計測するものを挙げることができる。
【００２１】
＜第２実施形態＞
本発明の第２実施形態に係る撮像装置は、基本的には、
２次元配列された画素群を有し、撮像領域中に動体が存在すると動体抽出撮像信号を出力可能の固体撮像素子と、
該固体撮像素子の画素から出力される信号のうち１フレームについて予め定められている上下二つの閾値のうち少なくとも一方を超える動体抽出撮像信号を出力する１画素又は複数画素に注目して該注目画素からの信号出力の変化を所定時間測定する測定部と、
前記測定部で測定される信号出力の変化が所定のパターンに合致すると所定の制御信号を発する制御部と
を備えている。
【００２２】
第２実施形態の撮像装置においても、動体抽出撮像信号を出力可能の固体撮像素子により動体の検出が可能である。そして、この撮像装置によると、１フレームについて予め定められた上下二つの閾値のうち少なくとも一方を超える動体抽出撮像信号を出力する１画素又は複数画素が注目され、該注目画素からの信号出力の変化が所定時間測定される。なお、該所定時間の測定は、１フレーム分の撮像時間が分かっている所定フレーム数分の測定により達成されてもよい。
【００２３】
そして、前記制御部における信号出力変化の所定パターンを検出すべき動作状態を示すパターンに設定しておくことで、前記測定部で測定される信号出力変化が該パターンに合致すると、その動体を監視者に通報する、警告を発する、通常撮像可能の撮像素子により撮像開始する等のための所定の制御信号を出力することができる。また、測定部で測定される信号出力変化が所定パターンに合致するときだけ制御信号が出力されるから、この第２実施形態の撮像装置においても、注目すべきでない、或いは注目する必要のない人や物については制御信号は出力されず、それらのプライバシーの保護が可能である。
【００２４】
第２実施形態に係る撮像装置による撮像対象を例えば車両、航空機、船舶等の運転者とし、前記制御部における信号出力変化の所定パターンを居眠り運転に伴う運転者頭部の上下動（所謂船漕ぎ動作）を表すパターンに設定しておけば、運転者の居眠り運転を監視し、居眠り運転があると前記制御部から運転者へ警告するための制御信号を発することができる。
【００２５】
制御部における信号出力変化の所定パターンとして前記注目画素からの信号出力の変化が前記上下二つの閾値を交互に超えるパターンを例示でき、このパターンを採用するとき、前記制御部は注目画素からの信号出力の変化が該上下二つの閾値を交互に超えるパターンを示すと前記所定の制御信号を出力する。
【００２６】
かかる注目画素からの信号出力の変化が上下二つの閾値を交互に超えるパターンは、運転者の居眠り運転を表すパターンの代表例として挙げることができる。
【００２７】
なお、例えば自動車運転者についてみれば、自動車走行による衝撃等で、居眠り運転していないにも拘らず運転者の頭部が動く場合がある。そこで、第２実施形態の撮像装置を運転者の居眠り運転監視等に用いる場合には、動体が速過ぎる動きを示す場合は、警告等を行わず、低速繰り返し運動のときだけ警告等のための制御信号を発するようにしてもよい。これを実現するため、第１実施形態の撮像装置のように、尾引き長さ等の測定を行い、その尾引き長さが所定の大き過ぎる長さであるときには、警告等のための制御信号が発せられないようにしてもよい。これにより警告等の誤動作の発生を抑制できる。
かかる第２実施形態の撮像装置は測定対象となる信号量を大幅に減らすことができ、信号処理の負担を一層減らすことができる。
【００２８】
第２実施形態において、上下二つの閾値のうち少なくとも一方を超える動体抽出撮像信号を出力する複数画素に注目する場合、該複数の画素は上下二つの閾値のうち少なくとも一方を超える動体抽出撮像信号を出力する１又は２以上の画素を含む前記画素群中の所定複数画素であってもよい。
【００２９】
かかる所定複数画素としては、例えば、動体抽出撮像信号を出力する画素を含む、画素配列中の行（ｒｏｗ）及び（又は）列（ｃｏｌｕｍｎ）に属する複数の画素を挙げることができる。
【００３０】
このように、注目する複数画素が上下二つの閾値のうち少なくとも一方を超える動体抽出撮像信号を出力する画素を含む前記画素群中の所定複数画素である場合、該所定複数画素からの信号出力の平均値を求める算出部を設け、前記測定部を該算出部にて求められる信号出力平均値の変化を所定時間測定する測定部とし、前記制御部を該測定部で測定される信号出力平均値の変化が所定のパターンに合致すると所定の制御信号を発する制御部としてもよい。
【００３１】
これらのことをまとめた第２実施形態の範疇に入る撮像装置として、
２次元配列された画素群を有し、撮像領域中に動体が存在すると動体抽出撮像信号を出力可能の固体撮像素子と、
該固体撮像素子の画素から出力される信号のうち、１フレームについて予め定められている上下二つの閾値のうち少なくとも一方を超える動体抽出撮像信号を出力する画素を含む前記画素群中の所定画素について該所定画素からの信号出力の平均値を求める算出部と、
該算出部にて求められる信号出力平均値の変化を所定時間測定する測定部と、
前記測定部で測定される信号出力平均値の変化が所定のパターンに合致すると所定の制御信号を発する制御部と
を備えている撮像装置（以下、「変形例撮像装置」ということがある。）を挙げることができる。
【００３２】
この変形例撮像装置において、該所定画素が動体抽出撮像信号を出力する１画素だけであるときは、前記算出部にて求められる信号出力平均値は、該１画素からの信号出力そのものである。
このような変形例撮像装置はデータ量を少なくして信号出力の変化を測定できる利点がある。
【００３３】
この変形例撮像装置によると、１フレームについて予め定められた上下二つの閾値のうち少なくとも一方を超える動体抽出撮像信号を出力する画素を含む所定画素について前記算出部において求められる信号出力平均値の変化、さらに言えば、前記測定部で測定される信号出力平均値の変化は動体の動作状態を表している。
【００３４】
そして、前記制御部における信号出力平均値の所定パターンを所定の動作状態を示すパターンに設定しておくことで、前記測定部で測定される信号出力平均値の変化が該パターンに合致すると、所定の制御信号を出力することができる。
【００３５】
変形例撮像装置においても、撮像対象を例えば車両等の運転者とし、前記制御部における信号出力平均値の変化の所定パターンを居眠り運転に伴う運転者頭部の上下動等（所謂船漕ぎ動作）を表すパターンに設定しておけば、運転者の居眠り運転を監視し、居眠り運転があると前記制御部から運転者へ警告するための制御信号を発することができる。
【００３６】
制御部における信号出力平均値の変化の所定パターンとして前記所定画素からの信号出力の平均値が上下二つの閾値を交互に超えるパターンを例示でき、かかるパターンは運転者の居眠り運転を表すパターンの代表例として挙げることができる。
【００３７】
＜第１、第２実施形態の撮像装置双方について＞
前記第１、第２の実施形態に係るいずれの撮像装置においても、撮像領域に動体が存在するとき動体抽出撮像信号を出力可能の固体撮像素子の例として、撮像素子からみて撮像領域中に動体により輝度が変化する部分があるとき該部分については該撮像領域中の輝度が変化しない他の部分を示す画像信号（画像データ）とは異なるレベルの動体存在を示す画像信号（画像データ）を出力する素子を挙げることができる。この固体撮像素子は、撮像領域中を動体が移動すると、その移動により、撮像素子からみて撮像領域中に輝度が変化する部分が生じることに着目したものである。
【００３８】
このタイプの固体撮像素子の代表例として、
それぞれが光電変換素子、該光電変換素子の出力を該素子への入射光量の対数値に比例する電気信号に変換するための対数変換用トランジスタを含む対数変換部及び該対数変換部からの出力を蓄積するための積分回路を備える複数の画素と、
前記対数変換用トランジスタに与える電圧を制御するための電圧制御部と、
前記各画素からの信号を受け取って出力するための出力回路とを備えており、
前記電圧制御部は、
撮像時に前記対数変換用トランジスタに撮像のための第１電圧を印加した状態で、前記光電変換素子から対数変換部を介して出力される第１信号を前記積分回路に蓄積させ、該対数変換用トランジスタのリセット時に該対数変換用トランジスタに第２電圧を印加して該トランジスタをリセットし、該リセットにより得られる該対数変換部からの第２信号を前記積分回路に蓄積させ、該第２電圧を通常撮像状態が得られる場合の電圧とは異ならせることで撮像領域中に輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積された前記第１信号と前記第２信号との差分が該撮像領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる輝度変化部分抽出撮像状態（動体抽出撮像状態）を実現し、
前記出力回路は前記第１信号と前記第２信号との差分に相当する信号を出力する固体撮像素子を挙げることができる。
【００３９】
撮像領域中を動体が移動する場合において例えば該動体のエッジ部に着目すると、動体エッジ部が移動することで該エッジ部に対する静止背景部の輝度が撮像素子から見て変化する。従って、動体により輝度が変化する撮像領域中の部分は、該動体の少なくとも一部を示していると言える。
【００４０】
そこで、いま述べた撮像素子における
「撮像領域中に輝度が変化する部分があるとき該部分については前記積分回路にそれぞれ蓄積された前記第１信号と前記第２信号との差分が該撮影対象領域中の輝度が変化しない他の部分についてのそれとは異なるものとなる輝度変化部分抽出撮像状態を実現し、」との点は、
「撮像領域中に動体が含まれるとき該動体の少なくとも一部については前記積分回路にそれぞれ蓄積される前記第１信号と前記第２信号との差分が該撮像領域中に含まれる静止背景部についてのそれとは異なるものとなる動体抽出撮像状態を実現し、」と、或いは
「撮像領域中に動体が含まれるとき該動体の少なくとも一部を該撮像領域中に含まれる静止背景部とは異なる濃度で表示できる撮像信号を生成する動体抽出撮像状態を実現し、」と言い換えることができる。
【００４１】
いずれにしても、前記の「第２電圧を通常撮像状態が得られる場合の電圧とは異ならせる」態様としては、例えば、「第２電圧を第１電圧との差の絶対値が通常撮像状態が得られる場合の値より小さくなるように（例えば、通常撮像状態が実現される場合の略半分の値となるように）設定すること」や、「第２電圧の大きさは変更せずに、第２電圧の印加期間（第２電圧のパルス幅）を通常撮像状態が得られる場合より短く設定すること」を挙げることができる。要するに、後ほどの説明から分かるように、対数変換用トランジスタにリセット残しが生じるように、通常撮像状態が得られる場合の電圧とは異ならせればよい。
【００４２】
前記電圧制御部は、前記輝度変化部分抽出撮像状態（動体抽出撮像状態）において、静止背景部の全体を均一な中間的濃度で表示する撮像信号を生成するように前記第１電圧及び第２電圧を設定してもよい。
【００４３】
また、前記光電変換素子と対数変換用トランジスタとを電気的に接離するためのスイッチをさらに備えていてもよい。その場合、前記撮像素子コントローラとして該スイッチをオフした状態で該対数変換用トランジスタに前記第２電圧を印加することによって該トランジスタをリセットするものを採用してもよい。
【００４４】
前記第１、第２のいずれの撮像装置においても、動体抽出撮像信号を出力可能の撮像素子は通常撮像を行う通常撮像モードへの切り替えが可能な撮像素子でもよい。このような切替え可能の撮像素子を採用すると、第１実施形態に係る撮像装置においては、前記計測部により計測される尾引き長さが予め設定した設定値より大きいとき前記制御部が発する制御信号を撮像素子の撮像モードを通常撮像モードに切り替えるための制御信号として動体を通常撮像することができる。
【００４５】
また、第２実施形態に係る撮像装置においては、前記測定部で測定される信号出力平均値の変化が所定のパターンに合致するとき前記制御部が発する制御信号を撮像素子の撮像モードを通常撮像モードに切り替えるための制御信号として動体を通常撮像することができる。
【００４６】
前記第１、第２のいずれの撮像装置も、前記制御部の発する制御信号に基づいて報知や警告等を発する報知装置或いは警告装置をさらに備えていてもよい。それらは音乃至音声を発するもの（例えばブザー）でも、光を発するもの（例えば発光ダイオード）でも、それらを組み合わせたもの等でもよい。
【００４７】
＜撮像装置の具体例＞
以下、図面を参照して撮像装置の幾つかの具体的な例を説明する。
〔１〕第１撮像装置Ａ（図１〜図８参照）
図１に示す撮像装置Ａは、第１実施形態に属する撮像装置であり、撮像モードを通常撮像モードと動体抽出撮像モードとで切り替え可能の固体撮像素子１０と、撮像素子１０に被写体像を導く光学系２０と、画像処理回路３０と、制御回路４０とを含んでいる。
【００４８】
画像処理回路３０は、固体撮像素子１０からの出力をデジタルデータに変換して所定の処理（色補間処理、ＡＥ（露出制御）処理、γ補正処理等のうち１又は２以上）を施す。制御回路４０は撮像素子１０、光学系２０及び画像処理回路３０を制御する。
【００４９】
この撮像装置Ａは、通信線６０を介して外部機器に接続される。外部機器はここではコンピュータ５０であり、このコンピュータ５０には、該コンピュータを介して撮像装置Ａの制御回路４０に撮像の開始、停止等を指示する操作パネル５００、撮像装置Ａの画像処理回路３０からの撮像データを表示するＣＲＴディスプレイ等のモニター５０１、画像処理回路３０からの撮像データを記録する録画装置５０２及び前記制御回路４０から送られてくる制御信号に基づいて警報を発するスピーカ等の警報器５０３を接続してある。
【００５０】
光学系２０は、ここでは撮像素子１０による撮像方向、広角・望遠撮像、望遠撮像における撮像倍率等を制御可能の駆動部２０１を含んでいる。駆動部２０１は、ここでは外部操作パネル５００によるオペレータの指示を制御回路４０を介して受け、撮像素子１０による撮像方向（撮像素子の所謂パン、チルト動作により決定される撮像方向）、広角・望遠撮像、望遠撮像における撮像倍率等を設定する。
【００５１】
制御回路４０は、マイクロコンピュータを構成する中央演算処理装置ＣＰＵ、これに接続されたＲＯＭ及びＲＡＭ並びに入出力インターフエースＩ／Ｆ等を含んでいる。制御回路４０による撮像素子１０の制御は、後述する撮像素子１０における電圧制御部ＶＣへ中央演算処理装置ＣＰＵから制御信号を送出することで行う。
【００５２】
制御回路４０は後述するように撮像素子１０から出力される動体抽出撮像信号に基づいて撮像画像における、動体移動に基づく尾引き長さ（例えば図６に示す長さＷ’やＷ）を計測する機能、並びに該計測された尾引き長さが予め設定した設定値より大きいとき、固体撮像素子１０の撮像モードを通常撮像モードに切り替え指示する信号、モニター５０１による画像表示を指示する信号、録画装置５０２による録画を指示する信号、外部警報器５０３による警報を指示する信号等の制御信号を出力する機能も有している。
【００５３】
制御回路４０におけるＲＯＭは各種プログラムやパラメータを記憶している。前記の計測された尾引き長さが予め設定した設定値より大きいか否かを判断するときの該設定値も記憶している。
【００５４】
撮像装置Ａは例えば通常速度より高速で移動しがちの不法侵入者や異常者或いは速度違反車等の監視に使用するのであれば、撮像装置Ａは該不法侵入者等を監視すべき場所に設置し、外部コンピュータ５０等は監視員等が居る監視所等に設置することが考えられる。
【００５５】
次に撮像素子１０を図１から図５を参照して説明する。図１の一部は撮像素子１０の全体構成をブロック図で示している。図２は画素の配列された画素部等の構成を示し、図３は一つの画素の構成を示している。図４は通常撮像状態を実現するときの駆動電圧印加のタイミングチャートである。図５は動体抽出撮像状態を実現するときの駆動電圧印加のタイミングチャートである。
【００５６】
撮像素子１０は、図１に示すとおり、画素部Ｇ、これに接続された垂直走査回路１及び出力回路８を備えており、出力回路８には水平走査回路２が接続されているとともに出力アンプＡｍが接続されている。この出力アンプＡｍから画像データが前記の画像処理回路３０へ出力されるとともにコンパレータＣｐに出力される。
【００５７】
撮像素子１０はまた、画素部Ｇ等へ電圧レギュレータＲｇを介して所定の各種電圧信号等を供給するための電圧制御部ＶＣを備えている。各部を所定のタイミングで動作させるためのタイミングジェネレータＴＧも備えている。
【００５８】
この撮像素子１０は、前記の制御回路４０、特にその中央演算処理装置ＣＰＵからの指示に基づき電圧制御部ＶＣに内蔵された切り替え回路により通常撮像モードと動体抽出撮像モードとの切り替えを行うことができる。
【００５９】
前記のコンパレータＣｐは、例えば、アンプＡｍから出力される信号（画像データ）を所定の上下二つの閾値と比較し、これら二つの閾値の範囲外である出力信号については一様な「Ｈｉｇｈ」信号として制御回路４０へ出力し、閾値範囲内である出力信号については一様な「Ｌｏｗ  」信号として制御回路４０へ出力する。コンパレータＣｐの詳細は後述する。なお、図１に示すライン７０についても後述する。
【００６０】
画素部Ｇには、図２に示すように、撮像用の画素Ｇ１１〜Ｇｍｎが行列配置（マトリクス配置）されている。垂直走査回路１は、各画素に走査用信号φＶを与える行（ロウ）ライン３１、３２、・・・３ｎを順次走査していくとともに、ライン４１、４２、・・・４ｎを介して各画素の後述するキャパシタＣに電圧φＶＤを供給する。
【００６１】
水平走査回路２は、各画素から出力信号線６１、６２、・・・６ｍに導出される光電変換信号を画素ごとに水平方向（行方向）に順次読み出す。図２において５は電源ラインである。
なお、後ほど説明する図３においては行（ロウ）ラインは３で、φＶＤ供給ラインは４で、出力信号線は６で示してある。
【００６２】
各画素には、以上述べたライン３１、３２、・・・３ｎ、４１、４２、・・・４ｎ、出力信号線６１、６２、・・・６ｍ、電源ライン５だけでなく、他のライン（例えば、クロックラインやバイアス供給ライン等）も接続されるが、図２ではこれらの図示を省略している。
【００６３】
図１に示す出力回路８は、図２に示す定電流電源７１、７２、・・・７ｍ、選択回路８１、８２、・・・８ｍ及び補正回路９を含んでいる。
【００６４】
定電流電源７１、７２、・・・７ｍは出力信号線６１、６２、・・・６ｍにそれぞれ接続されている。選択回路８１、８２、・・・８ｍは信号線６１〜６ｍを介して画素Ｇ１１〜Ｇｍｎから与えられる映像信号とノイズ信号をサンプルホールドする回路である。補正回路９は選択回路８１、８２、・・・８ｍから映像信号及びノイズ信号が順に送出されてくると、補正処理、すなわち映像信号とノイズ信号との差分を該映像信号から差し引く処理を行い、ノイズ除去された映像信号を外部に出力する。なお、定電流源７１〜７ｍのそれぞれの一端には直流電圧ＶＰＳが印加される。
【００６５】
かかる固体撮像素子１０においては、画素Ｇａｂ（ａ：１≦ａ≦ｍの自然数、ｂ：１≦ｂ  ≦ｎの自然数）からの出力である映像信号及びノイズ信号が、それぞれ、出力信号線６ａを介して出力されるとともに、この出力信号線６ａに接続された定電流電源７ａによって増幅される。そして、画素Ｇａｂから出力された映像信号及びノイズ信号が順番に選択回路８ａに送出されるとともに、この選択回路８ａにおいて、該映像信号及びノイズ信号がサンプルホールドされ、その後、選択回路８ａより、サンプルホールドされた映像信号が補正回路９に送出された後、同じくサンプルホールドされたノイズ信号が補正回路９に送出される。
【００６６】
補正回路９は、選択回路８ａより与えられた映像信号を、同じく選択回路８ａより与えられたノイズ信号に基づいて補正処理して、ノイズ除去した映像信号を出力アンプＡｍを介して増幅して外部に出力する。選択回路８１〜８ｍ及び補正回路９のそれぞれの構成例として、本出願人が特開平２００１−２２３９４８号公報において提示した構成などが挙げられる。なお、選択回路８１、８２、・・・８ｍに補正回路を含ませてもよい。
【００６７】
次に画素Ｇ１１〜Ｇｍｎのそれぞれの１例を図３を参照して説明する。
図３に示す画素は、光電変換素子の１例であるフォトダイオードＰＤ、該フォトダイオードＰＤの出力をそれへの入射光量の対数値に比例する電気信号に変換するための対数変換用ＭＯＳトランジスタＴ２を含む対数変換部Ｌ及び対数変換部Ｌの出力を蓄積するためのキャパシタＣを含む積分回路ＩＴ等を備えている。
【００６８】
さらに説明すると、各画素においては、アノードが接地されたフォトダイオードＰＤのカソードにスイッチング用のＭＯＳトランジスタＴ１のドレインが接続され、トランジスタＴ１のソースに対数変換用のＭＯＳトランジスタＴ２のゲート及びドレインとＭＯＳトランジスタＴ３のゲートが接続されている。トランジスタＴ３は対数変換された信号に相当する電流を流すためのものである。
【００６９】
また、ＭＯＳトランジスタＴ３のソースにソースフォロワ増幅用のＭＯＳトランジスタＴ５のゲート及びキャパシタリセット用のＭＯＳトランジスタＴ４のドレインが接続され、ＭＯＳトランジスタＴ５のソースにスイッチング用（信号読み出し用）のＭＯＳトランジスタＴ６のドレインが接続されている。そして、ＭＯＳトランジスタＴ６のソースが出力信号線６（図３の出力信号線６１〜６ｍに相当）に接続されている。なお、ＭＯＳトランジスタＴ１〜Ｔ６はいずれもＰチャンネル型のトランジスタである。
【００７０】
対数変換用ＭＯＳトランジスタＴ２のソースには信号φＶＰＳが入力される。ＭＯＳトランジスタＴ３、Ｔ５のドレインは接地されている。ＭＯＳトランジスタＴ３のソースにはキャパシタＣが接続され、該キャパシタＣにはフォトダイオードＰＤからの電気信号をキャパシタＣで積分するための参照電圧（信号φＶＤ）が入力される。
【００７１】
また、ＭＯＳトランジスタＴ４のソースには直流電圧ＲＳＢが入力され、該トランジスタＴ４のゲートに信号φＲＳＴが入力される。さらに、ＭＯＳトランジスタＴ１のゲートにはトランジスタＴ１のオン、オフ操作のための信号φＳが、ＭＯＳトランジスタＴ６のゲートにはトランジスタＴ６のオン、オフ操作のための信号φＶが入力される。
【００７２】
このように構成された画素において、ＭＯＳトランジスタＴ６及び出力信号線６を介して、−端に直流電圧ＶＰＳが印加された定電流電源７（図３の定電流電源７１〜７ｍに相当する）が、ＭＯＳトランジスタＴ５のソースに接続される。従って、ＭＯＳトランジスタＴ６がオンのとき、ＭＯＳトランジスタＴ５はソースフォロワのＭＯＳトランジスタとして動作し、定電流電源７によって増幅された電圧信号を出力信号線６に出力する。
【００７３】
このようにソースフォロワ回路を構成することにより、信号を大きく出力する増幅回路が構成される。従って、この増幅回路により十分大きく増幅された信号が得られるため、後続の信号処理回路での処理が容易になる。また、増幅回路の負荷抵抗部分を構成する定電流電源７１〜７ｍを画素内に設けずに、列（カラム）方向に配置された複数の画素が接続される出力信号線６１〜６ｍ毎に設けることにより、負荷抵抗又は定電流電源の数を低減でき、半導体チップ上で増幅回路が占める面積を少なくできる。
【００７４】
次に、先ず、以上説明した撮像素子１０による通常の撮像動作及び各画素の感度バラツキ検出動作について説明し、そのあと動体抽出撮像出動作について説明する。
【００７５】
対数変換用ＭＯＳトランジスタＴ２のソースに供給する信号φＶＰＳは通常撮像状態を得るときにはハイ（Ｈｉｇｈ）  とロー（Ｌｏｗ）  の電圧信号を用いる。すなわち、映像信号及び感度バラツキによるノイズ信号のそれぞれを読み出すときにはトランジスタＴ２をサブスレッショルド領域で動作させるための電圧をロー（Ｌｏｗ）とし、トランジスタＴ２をリセットするときには、該電圧よりも高くトランジスタＴ２にローの信号φＶＰＳを与えた時よりも大きい電流が流れ得るようにするハイ（Ｈｉ）の電圧を採用する（図４参照）。
【００７６】
しかし、動体抽出撮像状態を得るときには、トランジスタＴ２をリセットするとき、前記ハイ電圧に代えて、ここではロー電圧とハイ電圧の中間程度の値の電圧を採用する（図５参照）。
【００７７】
キャパシタＣに与える参照電圧φＶＤについては、通常撮像状態、動体抽出撮像状態のいずれにおいても３値の電圧信号を採用する。すなわち、キャパシタＣを積分動作させる際の電圧値を最も高いＶｈとし、映像信号読み出し時の電圧値をＶｈよりも低いＶｍとし、ノイズ信号読み出し時の電圧値をＶｍよりもさらに低いＶｌとする。
【００７８】
次に撮像素子１０による通常撮像モードでの撮像動作及び動体抽出撮像モードでの撮像動作について説明する。以下の説明において、画素等に与える電圧信号等は電圧制御部ＶＣが電圧レギュレータＲｇを介して行う。
【００７９】
（１）  通常撮像状態での撮像動作
（１−１）  映像信号（画像信号）出力
以下の説明において、ＭＯＳトランジスタＴ１をオン、オフする信号φＳは撮像動作の間、常にロー（Ｌｏｗ）であり、トランジスタＴ１はオン状態である。また、キャパシタリセット用トランジスタＴ４へ与える信号φＲＳＴをハイ（Ｈｉ）としてトランジスタＴ４をオフとする。そしてＭＯＳトランジスタＴ２がサブスレッショルド領域で動作するように、トランジスタＴ２のソースに与える信号φＶＰＳをローとするとともにキャパシタＣに与える信号φＶＤの電圧値をＶｈとしてキャパシタＣによる積分動作を可能とする。
【００８０】
このような状態においてフォトダイオードＰＤに被撮像領域からの光が入射されると、光電流が発生し、トランジスタＴ２のサブスレッショルド特性により、トランジスタＴ２、Ｔ３のゲートに光電流を入射光量に対して自然対数的に変化するように変換した値に相当する電圧が発生する。
【００８１】
この入射光量に対して自然対数的に変化する電圧に基づき、トランジスタＴ３で電流増幅されたドレイン電流がキャパシタＣから流れて、キャパシタＣが放電する。よって、ＭＯＳトランジスタＴ５のゲート電圧が、入射光量の積分値の自然対数値に比例した電圧となる。そして、キャパシタＣが積分動作を行うことで得られる映像信号を読み出すために、信号φＶＤの電圧値をＶｍとするとともに、ＭＯＳトランジスタＴ６にローのパルス信号φＶを与える。これによりＭＯＳトランジスタＴ５のゲート電圧に応じたソース電流がＭＯＳトランジスタＴ６を介して出力信号線６へ流れる。
【００８２】
このとき、トランジスタＴ５がソースフォロワ型のＭＯＳトランジスタとして動作するため、出力信号線６には映像信号が電圧信号としてあらわれる。その後、信号φＶをハイにしてトランジスタＴ６をオフするとともに、信号φＶＤの電圧値をＶｈとする。このようにトランジスタＴ５、Ｔ６を介して出力される映像信号は、トランジスタＴ５のゲート電圧に比例した値となり、そのためフォトダイオードＰＤへの入射光量の積分値の自然対数値に比例した信号となる。
【００８３】
（１−２）  感度バラツキ検出（ノイズ信号出力）
図４に示すように、電圧値Ｖｍのパルス信号φＶＤとローのパルス信号φＶが与えられて映像信号が出力されると、信号φＶＤをＶｈとした後、信号φＳをハイにしてトランジスタＴ１をオフにしてリセット動作を開始させる。このとき、トランジスタＴ２のソース側より正の電荷が流れ込み、トランジスタＴ２のゲート及びドレイン、そしてトランジスタＴ３のゲートに蓄積された負の電荷が再結合され、ある程度まで、トランジスタＴ２のゲート及びドレインのポテンシャルが上がる。
【００８４】
しかし、トランジスタＴ２のゲート及びドレインのポテンシャルがある値まで上がると、そのリセット速度が遅くなる。特に、明るい撮像領域が急に暗くなった場合にこの傾向が顕著となる。よって、次に、トランジスタＴ２のソースに与える信号φＶＰＳをハイにする。このように、トランジスタＴ２のソース電圧を高くすることで、トランジスタＴ２のソース側から流入する正の電荷の量が増加し、トランジスタＴ２のゲート及びドレイン、そしてトランジスタＴ３のゲートに蓄積された負の電荷が速やかに再結合される。このとき、信号φＲＳＴをローとしてトランジスタＴ４をオンにして、キャパシタＣとトランジスタＴ５のゲートとの接続ノードの電圧を初期化する。
【００８５】
そして、信号φＶＰＳをハイにすることで、トランジスタＴ２のゲート及びドレインのポテンシャルがさらに高くなると、トランジスタＴ２のソースに与える信号φＶＰＳをローにして、トランジスタＴ２のポテンシャル状態をもとの状態に戻す。このように、トランジスタＴ２のポテンシャルの状態がもとの状態にリセットされると、信号φＲＳＴをハイにして、トランジスタＴ４をオフにする。
【００８６】
すると、キャパシタＣが積分動作を行って、キャパシタＣとトランジスタＴ５のゲートとの接続ノードの電圧が、リセットされたトランジスタＴ２のゲート電圧に応じたものとなる。そこで、パルス信号φＶをトランジスタＴ６のゲートに与えてトランジスタＴ６をオンにするとともに信号φＶＤの電圧値をＶｌにする。これにより、トランジスタＴ２、Ｔ３の特性のバラツキに起因する各画素の感度のバラツキを表す出力電流が出力信号線６に流れる。
【００８７】
このとき、トランジスタＴ５がソースフォロワ型のＭＯＳトランジスタとして動作するため、出力信号線６にはノイズ信号が電圧信号としてあらわれる。その後、パルス信号φＲＳＴをトランジスタＴ４に与え、キャパシタＣとトランジスタＴ５のゲートとの接続ノードの電圧をリセットし、信号φＳをローにしてトランジスタＴ１を導通させて撮像動作が行える状態にする。
【００８８】
以上の説明においては、光電変換により得られた電気信号を積分するためにキャパシタＣに与える電圧φＶＤをＶｈ、Ｖｍ、Ｖｌの３値としたが、該電気信号積分のためにキャパシタＣに与える電圧φＶＤは一定であっても構わない。しかし、前記のような３値を採用することで、ノイズが除去された映像信号におけるオフセットを低くすることができ、それにより、撮像素子の後段に接続されるアナログ／デジタル変換器等の動作範囲を有効に利用することができる。なお、映像信号読み出し時にキャパシタＣに与える信号φＶＤの電圧値を積分時に与える電圧値より高くするようにしても構わない。
【００８９】
また、以上説明した撮像素子では、ＰチヤンネルのＭＯＳトランジスタを用いて各画素を構成したが、画素をＮチヤンネルのＭＯＳトランジスタを用いて構成しても構わない。このとき、各素子の極性が逆になる。固体撮像素子に設けられる定電流電源７１〜７ｍについても、図２と逆の極性となる。このようなこと以外は既に説明した撮像素子と実質上同様である。
【００９０】
（２）  動体抽出撮像状態での撮像動作
映像信号出力のための動作は前記通常撮像状態の場合と同様である。しかし、ノイズ信号出力動作において、ＭＯＳトランジスタＴ２のリセット処理において採用する信号φＶＰＳとして、前記通常撮像状態の場合におけるノイズ信号出力の場合のハイの信号φＶＰＳに代えて、図５に示すように、ハイとローの中間程度の値の電圧信号が採用される。これにより動体抽出を行える。それ以外は通常撮像状態におけるノイズ出力処理と同様である。なお、通常撮像状態の場合におけるノイズ信号出力の場合のロー信号φＶＰＳに代えてハイとローの中間程度の値の電圧信号を採用するようにしてもよい。
【００９１】
この動体抽出撮像状態においても、通常撮像状態の場合と同様に、φＶＰＳをローにして撮像を行ったときに各画素から出力される映像信号と、φＶＰＳをハイとローの中間程度の値にしてＭＯＳトランジスタＴ２をリセットしたとき各画素から出力される雑音信号（ノイズ信号）との差分が、補正回路９による差分処理により該映像信号から差し引かれて出力される。
【００９２】
しかし、ＭＯＳトランジスタＴ２のリセット処理において採用する信号φＶＰＳとして、通常撮像状態の場合におけるノイズ信号出力の場合のハイの信号φＶＰＳに代えて、ハイとローの中間程度の値の電圧信号が採用される結果、ＭＯＳトランジスタＴ２にリセット残しが生じる。しかも、該リセット残しはＭＯＳトランジスタＴ２の特性により入射光量の多かった画素ほど多く、入射光量の少なかった画素ほど小さくなる。従って、前記差分処理後の映像信号は、輝度が変化しない被撮像領域部分を撮像した各画素については同様の値となる。かくして撮像像領域における静止背景部については中間濃度（モノクロの場合は略一様にグレー濃度）で表示可能の信号が出力される。これを用いて静止背景部については中間濃度（モノクロについては略一様にグレー）で表示させることが可能である。
【００９３】
一方、動体については、輝度が「暗」→「明」、「暗」→「明」→「暗」、「明」→「暗」、「明」→「暗」→「明」などと映像信号の積分期間中に変化する。
【００９４】
輝度が「暗」→「明」に変化し、リセット期間の開始まで「明」状態のままであった場合、映像信号は、積分期間中常時「明」状態であったときと比較して高くなる。雑音信号はリセット開始時の積分回路入力部の電圧にのみ依存した値となるため、リセット開始時は「明」状態であるので、雑音信号は常時「明」状態のときと同じである。すると、差分処理後の映像信号出力は減少し、素子１０への入射光が「暗」→「明」に変化した部分を暗く表示できる（モノクロの場合は例えば黒く表示できる）ものとなる。また、常時「暗」状態であったときと比較すると、映像信号は低く、雑音信号も低くなるが、雑音信号が低くなる量より映像信号が低くなる量の方が少なく、差分処理後の映像信号出力は減少する。
【００９５】
輝度が「暗」→「明」→「暗」に変化し、リセット期間の開始まで「暗」状態のままであった場合、映像信号は、積分期間中常時「暗」状態であったときと比較して低くなる。雑音信号はリセット開始時の積分回路入力部の電圧にのみ依存した値となるため、リセット開始時は「暗」状態であるので、雑音信号は常時「暗」状態のときと同じである。すると、差分処理後の映像信号出力は増加し、素子１０への入射光が「暗」→「明」→「暗」に変化した部分を明るく表示できる（モノクロの場合は例えば白く表示できる）ものとなる。
【００９６】
輝度が「明」→「暗」に変化する場合は、同様の理由で、差分処理後の映像信号出力は増加し、輝度変化部分を明るく表示できるものとなる。
輝度が「明」→「暗」→「明」に変化する場合は、差分処理後の映像信号出力は減少し、輝度変化部分を暗く表示できるものとなる。
このような現象により入射光が変化した部分を抽出でき、これにより動体の存在を検出できる。
【００９７】
撮像素子１０を動体抽出撮像モードに設定して動体を含む撮像領域を撮像してディスプレイに表示するとすれば、例えば、図６に示すような画像となる。図６は白い壁の前を黒いボールが図中左方向へ移動している様子を示している。図６（Ｂ）に示すボールは図６（Ａ）に示すボールより速く移動している。ボールの左側のエッジ部分の左方への移動により撮像素子１０から見ると輝度が「明」から「暗」に変化する撮像領域部分が幅と向きを持った明るい部分Ｐとして表示され、ボールの右側のエッジ部分の左方への移動により撮像素子１０から見ると輝度が「暗」から「明」に変化する撮像領域部分が幅と向きを持った暗い部分Ｑとして表示される。
【００９８】
（３）  高速移動している動体の検出
以上説明したように、撮像領域に動体が存在しない場合の撮像データは中間濃度（モノクロの場合は例えばグレー）表示可能なものとなり、動体が存在するときは、その動体のエッジの軌跡が明部又は暗部（モノクロの場合は例えば白又は黒）の尾引き状態で表示可能なものとなる。そして、図６に示すように、動体の移動速度が大きいほどこの軌跡（尾引き）が長くなる。図６（Ａ）の低速移動のボールについての尾引き長さＷ’より図６（Ｂ）に示す高速移動のボールの尾引き長さＷの方が長い。
【００９９】
従って、この尾引き長さを計測することで、所定速度より高速で移動している物体か否かを判断できる。かかる尾引き長さの計測のために、撮像装置ＡではコンパレータＣｐを次のように構成している。図７に示すように、コンパレータＣｐは、前記中間濃度を表すアンプ出力範囲を間にして設定された上下の閾値（閾値１及び閾値２）と補正回路９による差分処理後の、アンプＡｍから出力されるノイズ除去信号とを比較し、該信号が閾値１を上回った場合及び閾値２を下回った場合にそれぞれ「Ｈｉｇｈ」信号を制御回路４０に出力し、閾値１以下閾値２以上の場合は「Ｌｏｗ  」信号を制御回路４０に出力する。
【０１００】
そして、制御回路４０においてコンパレータＣｐから到来する「Ｈｉｇｈ」信号の数をカウントして１フレーム分の画像データのうち閾値１或いは閾値２を超える画像データを出力した撮像素子画素の数を計測することで、換言すればかかる画素数を計測することによって閾値を超える画像データに相応する該１フレーム中の面積を求めることで前記尾引き長さを計測し、該尾引き長さが注目すべき不法侵入者、異常者、速度違反車等の高速移動物体を示す所定の設定値より大きいと、制御回路４０から所定の制御信号が出力される。
【０１０１】
該制御信号は、ここでは、撮像素子１０の撮像モードを動体抽出撮像モードから通常撮像モードへ切り替え指示するために素子１０の前記電圧制御部ＶＣへ出力される信号、モニター５０１による通常撮像画像表示を指示する信号、録画装置５０２にて録画するための指示信号及び警報器５０３を作動させるための指示信号である。
【０１０２】
従って、注目すべき動体が検出されると、これを通常撮像して該動体の詳細を撮像することが可能となり、また、警報器５０３を作動させて監視者に該動体の存在を知らしめるとともにモニター５０１に該動体を表示させて視認することができ、録画装置５０２に録画することもできる。
【０１０３】
このように撮像装置Ａによると、複雑な画像処理を必要とすることなく簡素な構成のもとに注目すべき高速移動物体を検出して所定の制御信号を出力することができる一方、平常時における注目すべきでない、或いは注目する必要がない静止していたり、普通の速度で移動する人々等の物体については、中間的濃度の撮像データが得られるか、或いは物体の詳細を判別し難い動体抽出撮像データを得られるだけで、制御信号が出力されることはないので、該人々等のプライバシーを保護することができる。このように撮像装置Ａによるとプライバシーに配慮した監視を行うことができる。
【０１０４】
図８のフローチャートは撮像装置Ａの制御回路４０（特にＲＯＭに格納されたプログラムに従って動作するＣＰＵ）の高速移動物体の検出等の動作を示している。
【０１０５】
すなわち、プログラムがスタートすると、撮像素子１０を動体抽出撮像モードに設定し（ステップ  Ｓ１１）、１フレームの撮像データから閾値を超える画素数をカウントする（Ｓ１２）。該カウント値が設定値を超えると、撮像素子１０を通常撮像モードに切り替え設定し、警告発生等のための指示（そのための制御信号出力）を行う（Ｓ１３〜Ｓ１５）。その後所定時間が経過すると再び撮像素子１０を動体抽出撮像モードに切り替え設定して注目すべき動体検出に備える（Ｓ１６、Ｓ１１）。
【０１０６】
なお、撮像装置Ａは既述のとおり高速移動物体の大きさがある程度分かっている場合に該動体を検出することができるのであるが、大きくて低速で移動する動体と小さくて高速で移動する動体とで尾引き長さを表す画素の数（画素の面積）が略同じになってしまうような場合に備えて、動体の前進方向における先端側のエッジ部の抽出撮像により得られる例えば明部と後端側のエッジ部の抽出撮像により得られる例えば暗部とを検出し、両部分間の距離データ（動体幅データ）を算出し、該データと尾引き長さとを比較して該動体が所定速度より高速で移動しているか否かを判断してもよい。また、撮像装置からみたときの動体の濃度が略同じであり、背景部濃度も略同じであるようなときは、明部、暗部のうちいずれのデータを先に取得できるかにより動体移動の向きを知ることもできる。これらのことは、これらを実行するためのプログラムをＲＯＭに格納しておくことで制御回路４０で実行できる。
【０１０７】
〔２〕第２撮像装置（撮像装置Ａの変形例）（図９参照）
撮像装置Ａでは、前記尾引き長さの計測を閾値１、２を超える撮像データを出力する画素の数を数えることで行ったが、尾引き長さの計測は、１フレーム分の画像データのうち所定の閾値を超える画像データ（ここではアンプＡｍからの出力）の分布状態に基づいて計測してもよい。
【０１０８】
第２撮像装置では、コンパレータＣｐを採用することに代えて、図１に鎖線で示すように、アンプＡｍ出力をＡ／Ｄ変換器によりディジタルデータに変換して制御回路４０へ入力するようにするとともに、制御回路４０として、図９に示すように、アンプＡｍの出力域を分割した各区間に現れる撮像素子画素の数をカウントすることでアンプ出力の分布を求め、所定の閾値を超えるアンプ出力の分布状態Ｄｂが予め定めた状態、すなわち、注目すべき動体の有無を判断するための予め定めた分布状態を超えると、前記の制御信号を出力するものを採用する。この場合の閾値データはＲＯＭに格納しておけばよい。
【０１０９】
図９（Ａ）は動体が存在しない場合の分布例を示しており、図９（Ｂ）は動体は存在するが、その動体が注目すべきでない或いは注目する必要がない動体であるときの分布例を示しており、図９（Ｃ）は検出すべき高速移動物体が存在するときの分布例を示している。
【０１１０】
なお、この第２撮像装置の場合、制御回路４０の動作フローチャートは、図８のフローチャートにおいて、ステップＳ１２を１フレームの撮像データから所定の閾値を超えるデータの分布を算出するステップに置き代え、ステップＳ１３を該分布が予め定めた分布状態を超えたか否かを判断するステップに置き代えたものとなる。
なお、第２撮像装置の他の点は第１撮像装置Ａと実質上同じである。
【０１１１】
〔３〕第３撮像装置Ｂ（図１０、図１１参照）
第３撮像装置Ｂは第２実施形態に属する撮像装置である。前記第１撮像装置Ａでは、１フレーム分の撮像データの全てについて閾値１又は閾値２を超えるか否かをみたが、第３撮像装置は、信号処理の負担を一層軽減するために、撮像装置Ａにおいて採用したと同様の上下の閾値１又は閾値２を超える撮像データが検出されると、その閾値を超えた１画素又は複数画素（ここでは１画素）に注目し、該注目画素からの出力をその後所定時間測定し（ここでは所定フレーム数分測定することで所定時間測定し）、該注目画素出力が閾値１及び閾値２をまたいで上下に変化する動きを所定回数（例えば２回）を超えて繰り返すと制御信号を発するものである。
【０１１２】
図１０は第３撮像装置Ｂの構成を示すブロック図であり、図１１は装置Ｂにおける制御回路４０’の主たる動作を示すフローチャートである。
撮像装置Ｂは、撮像装置Ａにおいて制御回路４０に代えて制御回路４０’を採用し、この制御回路４０’に操作パネル５０４を接続するとともに警報器５０５を接続したものである。その他の点は撮像装置Ａと実質上同じであり、装置Ａと同じ部分には装置Ａと同じ参照符号を付してある。
【０１１３】
制御回路４０’はＲＯＭに格納されたプログラムが制御回路４０と異なり，また、ＲＯＭに閾値１及び閾値２を格納してあるなどの点で回路４０と異なるだけで、基本的構成は回路４０と同じである。固体撮像素子１０のオン、オフ、光学系の操作等は操作パネル５０４から行うことができる。
【０１１４】
図１１に示すように、撮像装置Ｂによると、当初撮像素子１０が動体抽出撮像モードに設定され（Ｓ２１）、１フレームについて予め定められた上下二つの閾値１、閾値２のうち少なくとも一方を超える動体抽出撮像信号を出力する画素の有無が判定される（Ｓ２２）。そのような画素が出現すると、該１画素が注目され、以後所定フレーム数（所定時間）にわたって該注目画素からの信号出力、換言すれば該注目画素による撮像データが示す撮像領域部分の輝度がＲＡＭに記憶される（Ｓ２３、Ｓ２４）。
【０１１５】
その後、記憶された注目画素の信号出力の変化、換言すれば、該注目画素による撮像データが示す撮像領域部分の輝度の変化が該記憶された信号出力と閾値１、閾値２とを比較することで測定され（分析され）（Ｓ２５）、該変化パターンが、ＲＯＭに予め記憶された所定パターン、すなわち本例では、画素出力が閾値１及び閾値２をまたいで上下に変化する動きを所定回数繰り返す基準パターンと一致するか否かが判断され（Ｓ２６）、一致していると、警報器５０５による警報発生のための指示（そのための制御信号出力）がなされる。パターンが一致していないときは、記憶内容をリセットして（Ｓ２８）、ステップＳ２２へ戻る。
【０１１６】
注目画素の信号出力の変化パターンの測定は、例えば、注目画素出力と閾値１、閾値２とを比較し、閾値１を上回ったもの、閾値２を下回ったものを記憶することで行え、ＲＯＭにおける所定パターンの設定は、画素出力が閾値１を上回る回数と閾値２を下回る回数をそれぞれ所定数に設定することで行え、パターンの一致不一致の判断は、注目画素出力のうち閾値１、閾値２を超えたものの数と設定された所定数とを比較し、それにより注目画素出力が閾値１、閾値２をまたぐ変化を所定回数繰り返したか否かを判断することができる。
【０１１７】
〔４〕第４撮像装置（装置Ｂの変形例）
ステップＳ２２において閾値を超える画素ありと判断されたとき、撮像素子１０の画素群における該閾値を超えた画素を含む行（ロウ）又は（及び）列（コラム）の複数画素に注目し、図１１のステップＳ２３、Ｓ２４に代えて、該複数の注目画素からの信号出力の平均値を求めるとともに該平均値を所定時間（所定フレーム数）にわたり記憶する手順を採用し、これをステップＳ２５に相当する手順で分析して該平均値の変化パターンをもとめ、ステップＳ２６に相当する手順で所定パターンと比較し、所定パターンと一致していると制御信号を出力するようにしてもよい。
【０１１８】
以上説明した撮像装置Ｂ及びその変形例は例えば、自動車、鉄道車両、航空機、船舶等の各種乗物の操縦室に設置して、運転者の居眠り運転や注意力の監視に利用できる。図１２は自動車に撮像装置Ｂ、これに接続された操作パネル５０４及び警報器５０５を設置した例を示している。居眠り運転監視に用いるのであれば、前記基準となる所定パターンとして居眠り運転に伴う運転者ＤＲの頭部の上下運動（所謂船漕ぎ運動）を表すパターンを設定しておけばよい。これにより運転者が居眠り運転し始めると警報器５０５を作動させて警報を発することができる。
【０１１９】
【発明の効果】
以上説明したように本発明によると、複雑な信号処理を必要とすることなく、簡単に動体の存在を検出でき、しかも、該動体の所定の動作状態も検知でき、動体が存在するとともに該動体が所定の動作状態にあることを表す信号を出力することができる撮像装置を提供することができる。
また本発明によると、プライバシー保護にも配慮された撮像装置を提供することができる。
【図面の簡単な説明】
【図１】撮像装置の１例の構成を外部機器とともに示すブロック図である。
【図２】図１に示す撮像装置の撮像素子における画素の配列された画素部等の構成を示す図である。
【図３】一つの画素の構成を示す図である。
【図４】図１から図３に示す撮像素子において通常撮像状態（通常撮像モード）を実現する素子駆動電圧印加の様子を示すタイミングチャートである。
【図５】図１から図３に示す撮像素子において動体抽出撮像状態（動体抽出撮像モード）を実現する素子駆動電圧印加の様子を示すタイミングチャートである。
【図６】図６は動体抽出撮像モードによる動体撮像例を示しており、図６（Ａ）は低速移動動体を含む撮像領域の撮像例を示し、図６（Ｂ）は高速移動動体を含む撮像領域の撮像例を示している。
【図７】コンパレータの動作を示す図である。
【図８】図１に示す撮像装置の制御回路の主たる動作を示すフローチャートである。
【図９】図９はアンプ出力の分布を示すしており、図９（Ａ）は動体が存在しないときの、図９（Ｂ）は動体が存在するが注目する必要のないものである場合の、図９（Ｃ）は注目すべき動体が存在するときのアンプ出力分布を示している。
【図１０】撮像装置の他の例の構成を示すブロック図である。
【図１１】図１０に示す撮像装置の制御回路の動作を示すフローチャートである。
【図１２】図１０に示す撮像装置を自動車に設置した様子を示す図である。
【符号の説明】
Ａ、Ｂ  撮像装置
１０  撮像素子
２０  光学系
２０１  光学系駆動部
Ａ／Ｄ  アナログ／デジタルコンバータ
３０  画像処理回路
４０、４０’制御回路
ＣＰＵ  中央演算処理装置
ＲＡＭ  ランダムアクセスメモリー
ＲＯＭ  リードオンリーメモリー
Ｉ／Ｆ  入出力インターフエース
５０  外部コンピュータ
５００、５０４  操作パネル
５０１  モニター
５０２  録画装置
５０３、５０５  警報器
６０  通信線
７０  アンプ出力送信線
ＤＲ  自動車運転手
Ｇ  画素部
１  垂直走査回路
２  水平走査回路
３、３１〜３ｎ  行（ロウ）ライン
４、４１〜４ｎ  ライン
５  電源ライン
６、６１〜６ｍ  出力信号線
７１〜７ｍ  定電流電源
８  出力回路
８１〜８ｍ  選択回路
９  補正回路
ＶＣ  電圧制御部
Ａｍ  出力アンプ
Ｒｇ  電圧レギュレータ
ＴＧ  タイミングジエネレータ
Ｇ１１〜Ｇｍｎ  画素
ＰＤ  フォトダイオード
Ｔ１  スイッチング用ＭＯＳトランジスタ
Ｔ２  対数変換用ＭＯＳトランジスタ
Ｔ３  ＭＯＳトランジスタ
Ｔ４  キャパシタリセット用ＭＯＳトランジスタ
Ｔ５  ソースフォロワ増幅用ＭＯＳトランジスタ
Ｔ６  信号読出し用ＭＯＳトランジスタ
Ｃ  キャパシタ（積分用コンデンサ）
【図１】
2004350153.tif 000003
【図２】
2004350153.tif 000004
【図３】
2004350153.tif 000005
【図４】
2004350153.tif 000006
【図５】
2004350153.tif 000007
【図６】
2004350153.tif 000008
【図７】
2004350153.tif 000009
【図８】
2004350153.tif 000010
【図９】
2004350153.tif 000011
【図１０】
2004350153.tif 000012
【図１１】
2004350153.tif 000013
【図１２】
2004350153.tif 000014