(57)【要約】【課題】明暗等の被写体の状態に適した検知処理を行うことが可能な検知システムおよびその信号処理方法、プログラムを提供する。【解決手段】光源１１と、光源または光源によって照射された被写体を撮像する撮像装置１２と、撮像装置から所定走査面周期ごとに信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から信号レベル差の時間平均を求め、さらに時間平均の値をもとに被写体の周波数成分の検出値を求める演算部１４，１５，１６と、演算部で取得した被写体の周波数成分の検出値を入力して信号強度を判定して、判定の基準値に基づく判定値を取得し、判定値に基づき信号強度モードを選択する被写体信号強度判定部１７と、被写体信号強度判定部の判定結果により光源または被写体の状態を検知して判定する判定部１９とを有する。【選択図】図１
2011254258.tif 000002
【特許請求の範囲】
【請求項１】
光源と、
上記光源または上記光源によって照射された被写体を撮像する撮像装置と、
上記撮像装置から所定走査面周期ごとに信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに被写体の周波数成分の検出値を求める演算部と、
上記演算部で取得した被写体の周波数成分の検出値を入力して信号強度を判定して、判定の基準値に基づく判定値を取得し、当該判定値に基づき信号強度モードを選択する被写体信号強度判定部と、
上記被写体信号強度判定部の判定結果により上記光源または被写体の状態を検知して判定する判定部と
を有する検知システム。
【請求項２】
被写体信号強度判定部は、
現在の検出値の信号強度を基準値として取得し、信号強度の平均値計算を複数回行って信号強度平均値を算出して、上限平均値および下限平均値に差分があれば当該差分から基準値を更新し上限平均値と下限平均値のほぼ中央値となる値を算出して判定値を取得する
請求項１記載の検知システム。
【請求項３】
被写体信号強度判定部は、
第１モードと第２モードがある場合、既に決定されている判定値に対して現在の信号強度値が標準上限以上である場合には第２モードに移行し、標準下限以下なら第１モードに移行する
請求項１または２記載の検知システム。
【請求項４】
被写体信号強度判定部は、
上記信号強度値が、標準上限と標準下限の間である場合には、現在の選択モードを維持する
請求項３記載の検知システム。
【請求項５】
上記演算部は、
同一領域で、ｍ（ｍ＝１、２、３、…）番目と（ｍ＋２）番目とのフィールドにおける上記信号レベル差の第１の時間平均を求める第１の演算部と、
同一領域で、（ｍ＋１）番目と（ｍ＋３）番目とのフィールドにおける上記信号レベル差の第２の時間平均を求める第２の演算部と、
上記第１の時間平均と上記第２の時間平均の２乗和を求める演算処理部と、を含む
請求項１から４のいずれか一に記載の検知システム。
【請求項６】
光源または当該光源によって照射された被写体を撮像装置で撮像する撮像ステップと、
上記撮像装置から所定走査面周期ごとに信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに被写体の周波数成分の検出値を求める演算ステップと、
上記演算ステップで取得した被写体の周波数成分の検出値を入力して信号強度を判定して、判定の基準値に基づく判定値を取得し、当該判定値に基づき信号強度モードを選択する被写体信号強度判定ステップと、
上記被写体信号強度判定ステップの判定結果により上記光源または被写体の状態を検知して判定する判定ステップと
を有する検知システムの信号処理方法。
【請求項７】
光源または当該光源によって照射された被写体を撮像装置で撮像する撮像処理と、
所定走査面周期ごとに信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに被写体の周波数成分の検出値を求める演算処理と、
上記演算処理で取得した被写体の周波数成分の検出値を入力して信号強度を判定して、判定の基準値に基づく判定値を取得し、当該判定値に基づき信号強度モードを選択する被写体信号強度判定処理と、
上記被写体信号強度判定処理の判定結果により上記光源または被写体の状態を検知して判定する判定処理と
を有する検知システムの信号処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、たとえば、撮像装置等を用いて被写体の状態を検知する検知システムおよびその信号処理方法、プログラムに関するものである。
【背景技術】
【０００２】
たとえば、特許文献１に示す夜間の防犯システム等に用いられる撮像装置が提案されている。
この撮像装置は、信号処理部を有し、光源を周波数１００Ｈｚまたは１２０Ｈｚ（電源に５０Ｈｚまたは６０Ｈｚの商用電源を用いた場合、光源はその倍の１００Ｈｚまたは１２０Ｈｚでその明るさが変動する）より高い高周波で変調する。さらに、信号処理部はこの高周波変調信号を検出する検出部を有している。
ただし、この撮像装置はその変調周波数より高いフレームレートを持っている必要がある。
【０００３】
ところで、一般に広く普及している撮像装置はＮＴＳＣ（National Television Standards Committee）方式またはＰＡＬ（Phase Alternating Line）方式と呼ばれる規格が採用されている。
このような規格を採用した撮像装置はフレームレートが遅いため、たとえば特許文献１に示すような防犯システムの撮像装置として使用できない。
【０００４】
そこで、光源または光源に照射された被写体の状態を検知でき、ＮＴＳＣ等の規格を採用した防犯システムに適用可能な検知システムが提案されている（特許文献２参照）。
この検知システムは、光源の周波数成分の被写体の状態を検知する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３０１９３０９号公報
【特許文献２】特開２００８−１４１２５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところが、上記検知システムでは、昼間や夜間、明るい場所と暗い場所等、明るさ等の被写体の状態に適した検知処理を行うことが困難である。
【０００７】
本発明は、明暗等の被写体の状態に適した検知処理を行うことが可能な検知システムおよびその信号処理方法、プログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の第１の観点の検知システムは、光源と、上記光源または上記光源によって照射された被写体を撮像する撮像装置と、上記撮像装置から所定走査面周期ごとに信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに被写体の周波数成分の検出値を求める演算部と、上記演算部で取得した被写体の周波数成分の検出値を入力して信号強度を判定して、判定の基準値に基づく判定値を取得し、当該判定値に基づき信号強度モードを選択する被写体信号強度判定部と、上記被写体信号強度判定部の判定結果により上記光源または被写体の状態を検知して判定する判定部とを有する。
【０００９】
本発明の第２の観点の検知システムの信号処理方法は、光源または当該光源によって照射された被写体を撮像装置で撮像する撮像ステップと、上記撮像装置から所定走査面周期ごとに信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに被写体の周数波成分の検出値を求める演算ステップと、上記演算ステップで取得した被写体の周波数成分の検出値を入力して信号強度を判定して、判定の基準値に基づく判定値を取得し、当該判定値に基づき信号強度モードを選択する被写体信号強度判定ステップと、上記被写体信号強度判定ステップの判定結果により上記光源または被写体の状態を検知して判定する判定ステップとを有する。
【００１０】
本発明の第３の観点は、光源または当該光源によって照射された被写体を撮像装置で撮像する撮像処理と、所定走査面周期ごとに信号を取得し、複数の異なる走査面間で当該信号の信号レベル差から当該信号レベル差の時間平均を求め、さらに当該時間平均の値をもとに被写体の周波数成分の検出値を求める演算処理と、上記演算処理で取得した被写体の周波数成分の検出値を入力して信号強度を判定して、判定の基準値に基づく判定値を取得し、当該判定値に基づき信号強度モードを選択する被写体信号強度判定処理と、上記被写体信号強度判定処理の判定結果により上記光源または被写体の状態を検知して判定する判定処理とを有する検知システムの信号処理をコンピュータに実行させるプログラムである。
【発明の効果】
【００１１】
本発明によれば、明暗等の被写体の状態に適した検知処理を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態に係る検知システムの構成例を示す図である。
【図２】被写体の信号強度の時間変化を示す図である。
【図３】本実施形態に係る信号強度判定部の信号強度判定処理を説明するためのフローチャートである。
【図４】本実施形態に係る強度モード選択部の強度モード選択処理を説明するためのフローチャートである。
【図５】本実施形態に係るＣＣＤの構造を説明するための一例を示す図である。
【図６】図５のＣＣＤの時系列を説明するための図である。
【図７】単板補色フィルタ型ＣＣＤの画素の一配列例を示す図である。
【図８】奇数フィールドＯＦＤと偶数フィールドＥＦＤにおける色信号の組み合わせの一例を示す図である。
【図９】本実施形態に係る光源解析処理部の輝度信号の信号処理法を説明するためのタイミングチャートである。
【図１０】光源に含まれる周波数成分についての波形Ｗ６を示す図である。
【図１１】デューティー比Ｄと２乗和ＳＡＣＢＤとの関係の一例を示す図である。
【図１２】本実施形態に係る検知システムの一連の動作概要を説明するためのフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態を図面に関連づけて説明する。
【００１４】
［第１の実施形態］
図１は、本発明の実施形態に係る検知システムの構成例を示す図である。
【００１５】
本検知システム１０は、光源１１、撮像装置１２、輝度信号抽出部１３、第１の演算部（Ａ）１４、第２の演算部（Ｂ）１５、演算処理部（時間平均２乗和演算処理部）１６、被写体信号強度判定部１７、フィルタ処理部１８、および判定部１９を有する。
被写体信号強度判定部１７は、信号強度判定部１７１、判定値記憶部１７２、および強度モード選択部１７３を有する。
【００１６】
光源１１は、所定の輝度で被写体を照明する。光源１１の輝度は可変であり、撮像装置１２が有する撮像素子の電荷蓄積時間内の輝度が、撮像装置１２のフィールド周期の４ｎ倍周期で変化する。ここで、ｎ＝１、２、３、…である。
【００１７】
本実施形態に係る検知システム１０で使用する撮像装置１２は、以下のような仕様の撮像装置を採用している。
本撮像装置１２を構成する撮像素子は一例として、単板補色フィルタ、フィールド蓄積型インターライン転送ＣＣＤ（Charge Coupled Device）イメージセンサ（以後、単にＣＣＤと記述する）を用いる。
また、一例として撮像装置１２のテレビジョン方式はＮＴＳＣ方式、走査方式はインターレースを採用し、走査周波数は水平周波数が１５．７３４ＫＨｚで垂直周波数は５９．９４Ｈｚである。
このような構成の撮像装置１２は、光源１１によって照明された被写体を撮像し、撮像して得た信号を輝度信号抽出部１３に出力する。
なお、ここではＣＣＤイメージセンサを例示しているがＣＭＯＳイメージセンサも適用可能である。
【００１８】
輝度信号抽出部１３は、入力された信号から輝度信号を抽出し、この輝度信号を第１の演算部１４および第２の演算部１５に出力する。
輝度信号抽出部１３により抽出される輝度信号は、演算に最適化された信号レベルに調節される。
その信号レベルは、第１の演算部１４、第２の演算部１５、演算処理部１６の出力値においてオーバーフローしない信号レベルである必要がある。そのため、輝度信号抽出部１３は、輝度信号レベルを調整する回路を含む。
輝度信号レベルの調整値はいくつかのモードがある場合には、モード切り替えが可能なテーブルをもっていてもかまわない。そのモードはＮＴＳＣやＰＡＬなどの映像信号規格、撮像装置の周波数モードであってもよい。
【００１９】
第１の演算部１４は、入力された輝度信号を撮像素子の同一領域において、ｍ番目と（ｍ＋２）番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第１の演算部１４の出力結果Ａは、演算処理部１６に出力される。
第２の演算部１５は、入力された輝度信号の同一領域において、（ｍ＋１）番目と（ｍ＋３）番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第２の演算部１５の出力結果Ｂは、演算処理部１６に出力される。
なお、この第１の演算部１４と第２の演算部１５の動作の詳細については後述する。
【００２０】
第１の演算部１４と第２の演算部１５からそれぞれ出力される出力結果Ａと出力結果Ｂは演算処理部１６に入力される。演算処理部１６は、被写体の周波数成分の検出値を求める。
演算処理部１６は出力結果の検出値としての２乗和の値（Ａ２＋Ｂ２）を求め、被写体信号強度判定部１７に出力する。
【００２１】
被写体信号強度判定部１７は、演算処理部１６で取得した被写体の周波数成分の検出値を入力して信号強度を判定する信号強度判定部１７１と、判定の基準値を保存する判定値記憶部１７２と、判定値に基づき信号強度モードを検定選択する強度モード選択部１７３とを含んで構成されている。
【００２２】
判定値記憶部１７２は、信号モードを判定するための判定値メモリを信号強度モード数に応じて複数個持つ。
【００２３】
信号強度判定部１７１は、現在の検出値の信号強度（検出値-Ｔｈ)をＤＳｔｄとして取得し、信号強度の平均値計算を行う。
信号強度判定部１７１において、平均値計算は検出時間に応じてＮ回行い、信号強度平均を算出する。
その計算方法はＤＳｔｄを超える値の場合、Ｄｕ(ｔ)として記憶し上限平均値ＤｕＡｖｅの計算をする。
また、ＤＳｔｄ以下の場合Ｄｌ(ｔ)として下限平均値ＤｌＡｖｅの計算をする。
たとえば、Ｎ回が１４４で１０分毎にＤｕ(ｔ)とＤｌ（ｔ）をそれぞれの平均値計算を行うとすると、１日分について取得できるＮ回分の平均値計算が終了したならば、上限平均値ＤｕＡｖｅと下限平均値ＤｌＡｖｅの差分があればその差分からＤＳｔｄを更新し上限平均値と下限平均値のほぼ中央値となる値を算出して判定値とし、判定値記憶部１７２に記憶する。
この判定値は、用途に応じて、たとえば電源切断時まで記憶する場合や、不揮発性メモリに記憶して電源再起動時でも前回の状態を維持する場合、もしくは、Ｎ回毎にモード選択する利用法がある。
【００２４】
図２は、被写体の信号強度の時間変化を示す図である。
図２において、モードＡはたとえば昼（明）モードに相当し、モードＢは夜（暗）モードに相当する。
図２において、Ｍａｘは上限値を、Ｍｉｎは下限値を、ＤｕＡｖｅは上限平均値を、ＤｌＡｖｅは下限平均値を、ＤＳｔｄは標準値を、ＤＳｔｄＭａｘは基準上限を、ＤＳｔｄＭｉｎは標準下限を、Ｄｕｍｇｎは上限余裕率を、Ｄｌｍｇｎは下限余裕率を、それぞれ示している。
なお、以下に関係式をまとめて示す。
【００２５】
【数１】
2011254258.tif 000003
【００２６】
強度モード選択部１７３では、たとえば図２に示すように。Ａモード（第１モード）とＢモード（第２モード）がある場合、既に決定されている判定値に対して現在の信号強度値が標準上限ＤＳｔｄＭａｘ以上ならモードＢへ移行し、標準下限ＤＳｔｄＭｉｎ以下ならモードＡへ移行する。
また、標準上限ＤＳｔｄＭａｘから標準下限ＤＳｔｄＭｉｎ間であれば、現在の選択モードを維持する。
式１のＭａｘ、Ｍｉｎ,ＤｓｔｄＭａｘ,ＤＳｔｄＭｉｎの数値は参考値である。
また、被写体信号強度判定部１７の処理は、演算処理部１６の出力値で取得した範囲の一部分画素、もしくは、全画素であってもよい。
また、特定する範囲領域の画素（ｎ=８の場合８×８画素）を対象とする場合、１つの範囲領域を１つの検出値として扱う。その場合、１つの範囲領域の各画素Ｄｉすべての信号値の平均値をとり信号強度値Ｄｅとして扱う。
【００２７】
【数２】
2011254258.tif 000004
【００２８】
ここで、信号強度判定部１７１および強度モード選択部１７３の具体的な処理を図３および図４に関連付けて説明する。
【００２９】
図３は、本実施形態に係る信号強度判定部１７１の信号強度判定処理を説明するためのフローチャートである。
【００３０】
信号強度判定部１７１は、判定値を決定済みでない場合（ＳＴ１）、検出時間回数、Ｎ回の取得を行う。このとき、カウンタｔ＝０とする（ＳＴ２）。
信号強度判定部１７１は、標準値ＤＳｔｄ（＝検出値−Ｔｈ）を求め（ＳＴ３）、標準値ＤＳｔｄがＤｕ（ｔ）より小さいか否かを判定する（ＳＴ４）。
信号強度判定部１７１は、標準値ＤＳｔｄがＤｕ（ｔ）より小さい場合、Ｄｕ（ｔ）＝ＤＳｔｄとする（ＳＴ５）。
信号強度判定部１７１は、標準値ＤＳｔｄがＤｕ（ｔ）より以上またはそれ以上の場合、Ｄｌ（ｔ）＝ＤＳｔｄとする（ＳＴ６）。
次に、信号強度判定部１７１は、カウンタ値ｔを＋１して（ＳＴ７）、カウンタ値ｔが検出時間回数Ｎ回になるまで（ＳＴ８）、ステップＳＴ３〜ＳＴ７の処理を繰り返す。
Ｎ回に達すると、信号強度判定部１７１は、上限平均値ＤｕＡｖｅおよび下限平均値ＤｌＡｖｅを求める（ＳＴ９、ＳＴ１０）。
そして、信号強度判定部１７１は、上限平均値ＤｕＡｖｅと下限平均値ＤｌＡｖｅの差分を求め（ＳＴ１１）、その差分が０であるか否かを判定する（ＳＴ１２）。
０でなければ、信号強度判定部１７１は、判定値を（平均値の差分／２）とし、これを基準値ＤＳｔｄとする（ＳＴ１３）。信号強度判定部１７１は、この判定値が判定値記憶部１７２に記憶する。
【００３１】
図４は、本実施形態に係る強度モード選択部１７２の強度モード選択処理を説明するためのフローチャートである。
【００３２】
強度モード選択部１７２は、判定値記憶部１７２から判定値を取得する（ＳＴ１１）。
強度モード選択部１７２は、信号強度の標準値ＤＳｔｄ＝検出値−Ｔｈとする（ＳＴ１２）。
強度モード選択部１７２は、標準値ＤＳｔｄが判定値より大きいか否かを判定する（ＳＴ１３）。
強度モード選択部１７２は、標準値ＤＳｔｄが判定値より大きい場合、信号強度モードがＡモードであると判定する（ＳＴ１４）。
強度モード選択部１７２は、標準値ＤＳｔｄが判定値以下またはそれより小さい場合、信号強度モードがＢモードであると判定する（ＳＴ１５）。
【００３３】
フィルタ処理部１８は、上述した初期状態時には、全体の画像をフィルタ処理によりノイズ低減を行い判定部１９に出力する。
フィルタ処理部１８は、光源解析処理部１４におけるｎ個の検知画像をフィルタ処理によりノイズ低減や検知されなかった部分の消去を行い判定部１９に出力する。
【００３４】
判定部１９は、演算処理部１６から出力され、フィルタ処理部１８でノイズ低減や検知されなかった部分が消去された検知画像の２乗和の値（Ａ２＋Ｂ２）に基づいて、撮像装置１２によって撮像された被写体が、たとえば、静止あるいは動作しているかを判定する。なお、この判定部１９の動作の詳細については後述する。
【００３５】
このように、本実施形態の検知システム１０は、被写体信号強度判定部１７を備え、信号強度の判定パラメータにより、強度選択モードを有する。そして、強度選択モードを自動選択する機能と判定基準となる判定パラメータを自動生成する信号強度判定部１７１を有する。
また、選択モードを複数有し、判定値を（n-1）個有し、多値の判定を行う。また、平均値計算にＮ回の判定を行い上限平均値と下限平均値を求め決定する機能を備える。
したがって、光源もしくは光源に照射された被写体の信号強度により、状態に適した処理を行うことができる。また、複数のモードを持つことで、状態の変化により高精度に処理が行える。また、Ｎ回の平均値計算により長時間の監視等でも、設置場所に安定した状態パラメータを取得しモード選択が行える。
【００３６】
また、上記機能に加えて、撮像装置１２にはフォトセンサーによりデイナイトモードを有し、昼と夜でＩＲカットフィルタや映像信号の状態を切り替える機能を備えることも可能である。
これにより、昼と夜の判定を行いデイナイトモードと同様にモード選択する機能を備え、また、屋内の倉庫など明暗がある場所での切り替えに選択モードを備えるシステムを実現することができる。
この場合、被写体の信号強度により、得た信号から昼と夜の明暗を検知して、各パラメータを自動的に設定して記憶することで、夜間用のモードに自動切り替えができ、また、暗室状態を検知することができ、状態適応した処理を行うことができる。
【００３７】
さらに、式１で示すパラメータの判定値を記憶する判定値記憶部を持ち、そのメモリは揮発性、不揮発性のいずれであってもよい。
この場合、不揮発性メモリであれば、電源の切断による再投入の際、既に設定したパラメータを参照できるため、再度Ｎ回の平均値計算をしなくてもよい。揮発性メモリの場合、電源起動時や特定の状態で再度Ｎ回の平均値計算を行うことで最新の状態でモード選択することが可能となる。
【００３８】
このように、本実施形態によれば、光源または光源に照射された被写体の状態の検知において、信号強度の判定と判定基準を自動化する被写体信号強度判定部１７を有し、その状態モードを移行することで、被写体の状態に適した処理を行うことができる。
特に、昼と夜の判定や明るい場所と暗い場所の判定に応用できその状態に応じた機能処理を実現できる。
【００３９】
次に、本実施形態に係る検知システムの他の構成および機能について詳細に説明する。
はじめに、本実施形態に係る撮像装置１２のＣＣＤの構成について説明する。
【００４０】
図５は、本実施形態に係るＣＣＤの構造を説明するための一例を示す図である。
【００４１】
図５のＣＣＤ２０はインターライン転送で、フォトダイオードＰＤ２１、垂直転送ＣＣＤ２２、水平転送ＣＣＤ２３、増幅器２４を有する。
フォトダイオードＰＤ２１は、マトリクス状に配列されている。垂直ライン方向に配列されるフォトダイオードＰＤ２１は、列ごとにそれぞれ電荷を転送するための垂直転送ＣＣＤ２２に接続されている。各垂直転送ＣＣＤ２２の端部は、電荷を増幅部に転送する水平転送ＣＣＤ２３にそれぞれ接続されている。また、水平転送ＣＣＤ２３の出力側には増幅器２４が接続されている。
【００４２】
映像の走査方式はインターレースであり、一画面は飛び越し走査で、奇数フィールドと偶数フィールドとで構成される。
まず、光がフォトダイオードＰＤ２１に入射し、電荷蓄積時間にフォトダイオードＰＤ２１で電荷が蓄積されていく。この間、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間は遮断されている。
電荷蓄積時間が終了すると、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間が導通し、蓄積された電荷が垂直転送ＣＣＤ２２に移される。この直後に、フォトダイオードＰＤ２１と垂直転送ＣＣＤ２２間は遮断され、フォトダイオードＰＤ２１で次の電荷蓄積が開始する。垂直転送ＣＣＤ２２に移された電荷は、１水平ライン毎に水平転送ＣＣＤ２３に転送され、増幅器２４に入力されている。
この１水平ライン毎に、電荷が垂直転送ＣＣＤ２２から水平転送ＣＣＤ２３へ転送されるまでの周波数は、ＣＣＤ２０の水平走査周波数１５．７３４Ｈｚで行われる。垂直転送ＣＣＤ２２のすべての電荷が水平転送ＣＣＤ２３に転送されると、再び垂直転送ＣＣＤ２２とフォトダイオードＰＤ２１間が導通し、フォトダイオードＰＤ２１の電荷が垂直転送ＣＣＤ２２に移される。フィールド蓄積ＣＣＤの場合、光電変換によってフォトダイオードＰＤ２１で電荷が蓄積され、この電荷がフォトダイオードＰＤ２１から垂直転送ＣＣＤ２２へ転送されるまでの転送周波数は、５９．９４Ｈｚとなる。
【００４３】
図６は、図５のＣＣＤ２０の時系列を説明するための図である。
【００４４】
図６に示すように、光電変換によってフォトダイオードＰＤ２１で電荷が蓄積されるまでの所要時間をΔＴ１とし、この電荷がフォトダイオードＰＤ２１から垂直転送ＣＣＤ２２へ転送されるまでの所要時間をΔＴ２とする。
図６から分かるように、ＣＣＤ２０に入射した光エネルギーは、電荷蓄積時間ΔＴ１の間積分されながら、電荷蓄積周期ΔＴ＝ΔＴ１＋ΔＴ２＝（１／５９．９４）秒でサンプリングされていることになる。
【００４５】
さて、図１に示すように、撮像装置１２によって撮像された撮像画像の信号は輝度信号抽出部１３で輝度信号が抽出され、この輝度信号は、第１の演算部１４および第２の演算部１５に入力されている。
ここで、本実施例に係るＣＣＤ２０（図５を参照）からの画素の読み出し方法について説明する。
【００４６】
図７は、単板補色フィルタ型ＣＣＤの画素の一配列例を示す図である。
また、図８は、奇数フィールドＯＦＤと偶数フィールドＥＦＤにおける色信号の組み合わせの一例を示す図である。
【００４７】
画素のカラーフィルタは、Ｙｅ（イエロ）、Ｃｙ（シアン）、Ｍｇ（マジェンタ）、Ｇ（グリーン）で構成され、図７に示すような配列になっている。画素の読み出しは、上下の画素を加算して読み出される。この加算する組み合わせは、奇数フィールドＯＦＤと偶数フィールドＥＦＤで、１列ずれる。具体的には、奇数フィールドＯＦＤのｎラインでは、（Ｃ１１＋Ｃ２１）、（Ｃ１２＋Ｃ２２）、（Ｃ１３＋Ｃ２３）、（Ｃ１４＋Ｃ２４）、（Ｃ１５＋Ｃ２５）、…のようになる。また、偶数フィールドＥＦＤのｎラインでは、（Ｃ２１＋Ｃ３１）、（Ｃ２２＋Ｃ３２）、（Ｃ２３＋Ｃ３３）、（Ｃ２４＋Ｃ３４）、（Ｃ２５＋Ｃ３５）、…のようになる。
したがって、図８に示すような奇数フィールドＯＦＤ、偶数フィールドＥＦＤで色信号が出力される。
いずれも、２画素周期で同一のＹｅ、Ｃｙ、Ｍｇ、Ｇの組み合わせの色パターンが繰り返されている。
つまり言い換えると、色信号は２画素周期以上の周波数に重畳して現れる。よって、この色信号を、２画素周期を遮断周波数とするローパスフィルタに通せば、色信号は失われ、輝度信号のみが得られる。
したがって、輝度情報は２画素周期でサンプリングされることになる。
【００４８】
図７の円形で図示される投影領域ＲＥＧは、光源による被写体の映像が投影されている様子を示している。なお、画素Ｃ３５、Ｃ３６、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６は完全に投影領域ＲＥＧにはいっており、均一に光が照射されているとする。
輝度情報は、奇数フィールドＯＦＤでは、水平ライン（ｎ＋１）のＣ３５、Ｃ３６、Ｃ４５、Ｃ４６の組み合わせに、偶数フィールドＥＦＤでは、水平ラインの（ｎ＋１）ラインのＣ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによって読み出しされる。
【００４９】
以上に述べたようにして、撮像装置１２からの信号のうち輝度信号が第１の演算部１４および第２の演算部１５に入力されて所定の処理が行われる。
【００５０】
次に、第１の演算部１４および第２の演算部１５で行われる輝度信号の処理方法について図９に関連付けて説明する。
【００５１】
図９は、本実施形態に係る輝度信号の信号処理法を説明するためのタイミングチャートである。
【００５２】
図９（Ａ）は、撮像装置１２のインターライン走査を示す図で、偶数フィールドＥＦＤもしくは奇数フィールドＯＦＤのいずれかの状態を示す。図９（Ｂ）〜（Ｅ）はそれぞれ、第１の演算部１４および第２の演算部１５で処理される輝度信号レベルの時間変化を表す波形Ｗ１、Ｗ２、Ｗ３、Ｗ４を示し、図９（Ｆ）は一定周期で変化する正弦波の波形Ｗ５を示す図である。
なお、奇数フィールドＯＦＤと偶数フィールドＥＦＤとで１フレームの走査である。つまり、図９（Ａ）に図示するように、ＡとＢ、ＣとＤで１フレームの走査である。
また、以降の説明において、ｆは周波数を、ｔは時刻を、θは位相差をそれぞれ示し、ωは（ω＝２πｆ）を満たす。なお、πは円周率である。
【００５３】
図９（Ｂ）、（Ｃ）に図示する波形Ｗ１と波形Ｗ２は、後で説明する波形Ｗ３と波形Ｗ４で示される波形の関数を導出するための波形である。
図９（Ｄ）に図示する波形Ｗ３は、Ａのフィールドの輝度信号とＣのフィールドの輝度信号との輝度レベルの差をレベル差ＡＣとした時の、レベル差ＡＣを求める関数の時間発展分布を示す。
また、図９（Ｅ）に図示する波形Ｗ４は、Ｂのフィールドの輝度信号とＤのフィールドの輝度信号との輝度レベルの差をレベル差ＢＤとした時の、レベル差ＢＤを求める関数の時間発展分布を示す。
なお、波形Ｗ３は、波形Ｗ１と波形Ｗ２から導出され、波形Ｗ１と波形Ｗ２を足して２で割ったものである。また、波形Ｗ４は波形Ｗ１と波形Ｗ２から導出され、波形Ｗ２から波形Ｗ１を引いて２で割ったものである。
【００５４】
このとき、レベル差ＡＣの第１の時間平均である時間平均ＳＡＣは図１に示す第１の演算部１４で算出される。また、レベル差ＢＤの第２の時間平均である時間平均ＳＢＤは第２の演算部１５で算出される。
具体的には、時間平均ＳＡＣは、Ｃ３５、Ｃ３６、Ｃ４５、Ｃ４６の組み合わせによるＡフィールドとＣフィールドとの輝度レベル差ＡＣから算出される。
同様に、時間平均ＳＢＤは、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによるＢフィールドとＤフィールドとのレベル差ＢＤから算出される。
【００５５】
その時間平均の算出方法について述べる。
ＡフィールドとＣフィールドとのレベル差ＡＣの時間平均ＳＡＣは、波形Ｗ１に、図９（Ｄ）に示す波形Ｗ３を掛けてこの時間平均ＳＡＣを計算する。
また同様に、ＢフィールドとＤフィールドとのレベル差ＢＤの時間平均ＳＢＤは、Ｃ４５、Ｃ４６、Ｃ５５、Ｃ５６の組み合わせによる画素に照射される光の時間変化を表す波形に、図９（Ｅ）に示す波形Ｗ４を掛けてこの時間平均ＳＢＤを計算する。
【００５６】
はじめに、時間平均ＳＡＣの算出方法について具体的に説明する。
波形Ｗ３を数式で表す。まず、波形Ｗ１、波形Ｗ２は以下のようなフーリエ級数で表せる。
【００５７】
【数３】
2011254258.tif 000005
【００５８】
ここで、波形Ｗ１とＷ２は同一周期ｆ２を有するものとする。（３）式と（４）式より、波形Ｗ３は（６）式のように表せる。
【００５９】
【数４】
2011254258.tif 000006
【００６０】
ところで、図９（Ｆ）に図示する周期ｆ１を有する波形Ｗ５は（７）式のような正弦波で表せる。
【００６１】
【数５】
2011254258.tif 000007
【００６２】
（６）式によって表される波形Ｗ３に（７）式で表せる正弦波Ｗ５を掛けると（９）式となる。
【００６３】
【数６】
2011254258.tif 000008
【００６４】
次に、時刻０から時刻Ｔまでにおける（９）式の時間平均をとる。（９）式の右辺に示す各項の内、時間ｔを含む項は交流信号であるから、その時間平均は０である。
したがって、（ω１−（２ｎ−１）ω２＝０）である時のみ、定数ｃｏｓθ１と定数ｓｉｎθ１が残り、時間平均ＳＡＣは（１０）式のようになる。
【００６５】
【数７】
2011254258.tif 000009
【００６６】
このようにして、時間平均ＳＡＣが第１の演算部１４にて求まる。時間平均ＳＢＤも同様にして第２の演算部１５にて求められ、（１１）式で表される。
【００６７】
【数８】
2011254258.tif 000010
【００６８】
さて、（１０）式と（１１）式で表される時間平均ＳＡＣとＳＢＤとの２乗和（ＳＡＣ２＋ＳＢＤ２）は（１２）式で表される。
【００６９】
【数９】
2011254258.tif 000011
【００７０】
この（１２）式より、ＣＣＤ２０（図５を参照）に入射される光に（ｆ１＝（２ｎ−１）ｆ２）なる周波数成分が含まれているとき、（１２）式で表される波形の成分が検出される。
【００７１】
次に、光源１１に含まれる周波数成分について考察する。
図１０は、光源１１に含まれる周波数成分についての波形Ｗ６を示す図である。なお、光源１１は、周波数ｆ３で時間τの間、輝度レベルＬ１で発光している。
【００７２】
この波形Ｗ６をフーリエ級数に展開する。波形Ｗ６は、周期（Ｔ３＝１／ｆ3）の周期関数であり、（ω3＝２πｆ3）とすると、（１３）式のようにフーリエ級数の一般式で表される。
【００７３】
【数１０】
2011254258.tif 000012
【００７４】
（１３）式の各係数ａ０、ａｎ、ｂｎは波形Ｗ６より（１４）〜（１６）式のように求まる。
【００７５】
【数１１】
2011254258.tif 000013
【００７６】
したがって、波形Ｗ６のフーリエ級数は、（１７）式で表される。
【００７７】
【数１２】
2011254258.tif 000014
【００７８】
よって、光源１１の点滅周期をフィールド周期の４倍にした時、すなわち（ｆ３＝ｆ２）である時、（９）式と（１７）式より奇数項で周波数が一致し、時間平均ＳＡＣとＳＢＤの２乗和は（１８）式のようになる。
【００７９】
【数１３】
2011254258.tif 000015
【００８０】
光源１１の点灯のデューティー比をＤとすると（１９）式で表される。
【００８１】
【数１４】
2011254258.tif 000016
【００８２】
よって、（１８）式で表される時間平均ＳＡＣとＳＢＤとの２乗和ＳＡＣＢＤは、（１９）式を用いると（２０）式のようになる。
【００８３】
【数１５】
2011254258.tif 000017
【００８４】
ところで、以下に示す（２０）式の右辺の項（２１）は収束する。
【００８５】
【数１６】
2011254258.tif 000018
【００８６】
この（２０）式の右辺の項（２１）は、デューティー比Ｄに対し、表１のような値をとる。以下に、表１を示す。
【００８７】
【表１】
2011254258.tif 000019
【００８８】
表１に基づいて、横軸にデューティー比Ｄをとり、縦軸に時間平均ＳＡＣとＳＢＤとの２乗和ＳＡＣＢＤをとると、デューティー比Ｄと２乗和ＳＡＣＢＤとの関係は図１１に示すようになる。
【００８９】
図１１より、２乗和ＳＡＣＢＤはデューティー比Ｄ＝０．５で最大となることが分かる。
したがって、（２０）式で表される２乗和ＳＡＣＢＤは、次式のようになる。
【００９０】
［数１７］
ＳＡＣ２＋ＳＢＤ２＝０．０８３３３Ｌ１２  …（２２）
【００９１】
（２２）式に示すように、演算処理部１６は光源１１（図１を参照）の輝度を検出し、この検出結果（２乗和ＳＡＣＢＤ）を、被写体信号強度判定部１７に出力する。この検出結果は、判定部１９にて被写体の状態に判定に用いられる。
【００９２】
本実施例に係る光源１１は特定の光源に依存しない。そこで、他の光源についても輝度を検出できるかについて考察する。
光源として広く使われている白熱電球と蛍光燈は、電源周波数５０Ｈｚの地域で１００Ｈｚ、６０Ｈｚの地域で１２０Ｈｚである。ＮＴＳＣ方式のテレビジョンのフィールド周波数は５９．９４Ｈｚ、パーソナルコンピュータに使用されるモニタのフィールド周波数は、ちらつきがないように６０Ｈｚ以上である。
【００９３】
ＮＴＳＣ方式のテレビジョンのフィールド周波数は５９．９４Ｈｚであり、その１／４倍周期で光源を発光させるとすると、輝度レベル差の周波数ｆ２は次式のようになる。
【００９４】
［数１８］
ｆ２＝５９．９４／４＝１４．９８５Ｈｚ  …（２３）
【００９５】
（９）式と（１７）式より、周波数ｆ２の奇数倍と光源１１の周波数ｆ３の整数倍が一致したときに信号成分が検出される。
【００９６】
表２は、異なる光源の発光周波数と輝度信号レベルの差における周波数との関係を示す値の表である。
【００９７】
【表２】
2011254258.tif 000020
【００９８】
表２のｆ１は（７）式の正弦波の有する周波数で、ｆ２は（２３）式に示す周波数で、ｆ３はそれぞれ、光源１１の周波数、５０Ｈｚ地域での照明の周波数、６０Ｈｚ地域での照明の周波数、ＮＴＳＣ方式のテレビジョンのフィールド周波数、パーソナルコンピュータに使用されるモニタのフィールド周波数である。
表２によると、ｍ＝３０まで、ｆ３が１００、１２０、５９．９４Ｈｚであり、（ｎ×ｆ３＝（２ｍ−１）×ｆ２）が成立するものはない。
【００９９】
たとえばパーソナルコンピュータのモニタに関して、そのフィールド周波数が６０Ｈｚ以上であるとすると、本検知システム１０の信号処理出力に最も大きな出力が検出される可能性としては、７４．９２５Ｈｚでスキャンされているモニタが存在したときである。
すなわち、ｆ３＝７４．９２５Ｈｚの時であり、表２に示すように、（５×ｆ２）、（１５×ｆ２）、（２５×ｆ２）…と（1×ｆ３）、（３×ｆ３）、（５×ｆ３）…が一致する。この時検出される信号レベルは、次式で示される。
【０１００】
【数１９】
2011254258.tif 000021
したがって、（２４）式で示される信号レベルは光源１１の１／２５のレベルであり、図１に図示してない信号処理で別に除去できる。
【０１０１】
以上に述べたように、本検知システム１０は、光源の発光周波数に依存せず、光源または光源に照射された被写体の状態を検知する。
【０１０２】
以下に、本実施形態に係る検知システムの一連の動作を図１２に関連付けて説明する。
【０１０３】
図１２は、本実施形態に係る検知システムの一連の動作概要を説明するためのフローチャート図である。
【０１０４】
本実施形態では、まず、撮像装置１２の電荷蓄積時間内の光源１１の輝度を撮像装置１２のフィールド周期の４ｎ倍で変化させる（ＳＴ２１）。
次に、撮像装置１２からフィールド単位でｎフィールド毎に輝度信号抽出部１３で輝度信号を取得し（ＳＴ２２）、この輝度信号を第１の演算部１４と第２の演算部１５に出力する。
第１の演算部１４にて、ｍ番目と（ｍ＋２）番目のフィールドの投影領域ＲＥＧにおける輝度信号レベルのレベル差ＡＣの時間平均ＳＡＣを求める。また、第２の演算部１５にて、（ｍ＋１）番目と（ｍ＋３）番目のフィールドの投影領域ＲＥＧにおける輝度信号レベルのレベル差ＢＤの時間平均ＳＢＤを求める（ＳＴ２３）。
これら時間平均ＳＡＣとＳＢＤは演算処理部１６に出力される。
次いで、演算処理部１６にて時間平均ＳＡＣとＳＢＤの２乗和ＳＡＣＢＤが求められ（ＳＴ２４）、被写体信号強度判定部１７に出力される。
被写体信号強度判定部１７において、信号強度判定部１７１にて演算処理部１６で取得した被写体の周波数成分の検出値を入力して信号強度が判定され（ＳＴ２５）、判定値記憶部１８２に判定値が記憶される（ＳＴ２６）。
そして、強度モード選択部１７３で、記憶された判定値に基づき信号強度モードが検定選択される（ＳＴ２７）。
この選択結果がフィルタ処理部１８を介して判定部１９に出力される。
判定部１９にて２乗和ＳＡＣＢＤの値に応じて、被写体の状態が判定される（ＳＴ２８，ＳＴ２９、ＳＴ３０）。
【０１０５】
なお、本実施形態に係る演算処理部１６では、時間平均ＳＡＣとＳＢＤとの２乗和ＳＡＣＢＤを求めるが、時間平均ＳＡＣとＳＢＤとの和（ＳＡＣ＋ＳＢＤ）を判定部１９での判定基準に用いることもできる。
【０１０６】
以上に説明したように、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出できる。
【０１０７】
そして、本実施形態に係る検知システムによれば、光源または光源に照射された被写体の状態の検知において、信号強度の判定と判定基準を自動化する被写体信号強度判定部１７を有し、その状態モードを移行することで、被写体の状態に適した処理を行うことができる。
特に、昼と夜の判定や明るい場所と暗い場所の判定に応用できその状態に応じた機能処理を実現できる。
【０１０８】
さらに本検知システムは、複数の光源を使用し、信号を並列に信号処理部に伝送することができる。
あるいは、光源の色を複数設け、信号の波長多重伝送も可能である。
また、光源を適宜点滅させて信号を処理することも可能である。
【０１０９】
［第２の実施形態］
次に、本発明に係る第２の実施形態について説明する。
【０１１０】
本第２の実施形態は、第１の実施形態に係るフィールド蓄積、インターレース型の撮像装置１２をフレーム蓄積、インターレース型の撮像装置に置き換えたものである。また同時に、第１実施形態に係る光源１１の輝度の変化周期をフィールド周期の４ｎ倍からフレーム周期の４ｎ倍に変更したものである。この変化周期の変更に伴い、輝度信号の取得もｎフィールドごとから２ｎフィールドごとに輝度信号の取得周期を変更する。
このように、光源１１の輝度の変化周期と輝度信号の取得周期を変更することで、第１の実施形態と同様の効果を得ることができる。
したがって、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出でき、被写体が複数存在する場合であっても被写体別に検知することができる。
【０１１１】
［第３の実施形態］
次に、本発明に係る第３の実施形態について説明する。
【０１１２】
本第３の実施形態は、第１の実施形態に係るフィールド蓄積、インターレース走査型の撮像装置１２をフレーム蓄積、ノンインターレース走査型の撮像装置に置き換えたものである。
このように、ノンインターレース走査の撮像装置を用いても、第１の実施形態と同様の効果を得ることができる。
したがって、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出でき、被写体が複数存在する場合であっても被写体別に検知することができる。
【０１１３】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【符号の説明】
【０１１４】
１０・・・検知システム、１１・・・光源、１２・・・撮像装置、１３・・・輝度信号抽出部、１４・・・第１の演算部（Ａ）、１５・・・第２の演算部（Ｂ）、１６…演算処理部、１７・・・被写体信号強度判定部、１７１・・・信号強度判定部、１７２・・・判定値記憶部、強度モード選択部１７３、１８・・・フィルタ処理部、１９・・・判定部。
【図１】
2011254258.tif 000022
【図２】
2011254258.tif 000023
【図３】
2011254258.tif 000024
【図４】
2011254258.tif 000025
【図５】
2011254258.tif 000026
【図６】
2011254258.tif 000027
【図７】
2011254258.tif 000028
【図８】
2011254258.tif 000029
【図９】
2011254258.tif 000030
【図１０】
2011254258.tif 000031
【図１１】
2011254258.tif 000032
【図１２】
2011254258.tif 000033