(57)【特許請求の範囲】
【請求項１】
画素単位で蓄積時刻の異なる撮像素子と、
前記撮像素子により生成されたフレームと、外部の照明により受けているフリッカの影響が前記フレームと同程度であるフレームとの差分を算出する差分算出部と、
前記差分算出部による差分出力の最大レベルが安定状態にあると判断したとき、前記差分算出部により算出された差分のうち、前記安定状態にあると判断した前記最大レベルが示す値よりも高い閾値を超える差分成分に基づいて被写体の動きを検出する動き検出部と、を備える、
動き検出装置。
【請求項２】
前記差分算出部がフレーム間の差分値を算出するフレーム間隔は、
ＮＴＳＣ方式駆動の場合は３ｎ（ｎは自然数）フレーム毎とし、ＰＡＬ方式駆動の場合は５ｎ（ｎは自然数）フレーム毎にする、
請求項１に記載の動き検出装置。
【請求項３】
前記動き検出部は、
前記差分算出部による差分出力の最大レベルが、予め設定された期間で、予め設定された範囲内にある場合に、前記差分算出部による差分出力の最大レベルを安定状態と判断する、
請求項１又は２に記載の動き検出装置。
【請求項４】
請求項１から３に記載の動き検出装置を搭載した撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、交流電源による照明等に起因する周期的変化（以下、フリッカと称す）の影響を受けている撮像素子の出力から被写体の動きを適切に検出する装置に関する。
【背景技術】
【０００２】
一般に、放送方式はその画面を形成するフレームあるいはフィールド周波数を商用電源周波数に合わせて設定される。例えば商用電源周波数が６０Ｈｚの地域で採用されているＮＴＳＣ方式はフィールド周波数がほぼ６０Ｈｚとなっており、また商用電源周波数が５０Ｈｚの地域で採用されているＰＡＬ方式はフィールド周波数が５０Ｈｚとなっている場合が多い。しかし、東日本地域のような一部の地域では商用電源の周波数（５０Ｈｚ）とフィールド周波数（６０Ｈｚ）が異なる場合もある。このような地域において、交流電源で点灯する一般的な蛍光灯は所定の周期で点滅を繰り返すため、入射光を撮像素子で電気信号に変換し、変換後の電気信号を読み出す際に、読み出す画素の位置により、特定の周期で明るい部分と暗い部分が生じる。電荷の蓄積時刻が異なるような撮像素子を用いる場合に、同一の画面内（フィールドもしくはフレーム内）においても、各画素の蓄積時間内に入射する光量の総和が異なるためである。このような現象がラインフリッカである。
【０００３】
図５を参照してこれを説明する。図５において、（ア）は撮像素子の出力を表し、破線がフリッカのない場合の出力で、実線はフリッカの影響を受けた出力を表している。（イ）は電源周波数５０Ｈｚを用いる蛍光灯の発光により受ける照度レベルを表している。
【０００４】
図５に示すように、５０Ｈｚの交流電源で点灯する一般的な蛍光灯は、５０Ｈｚを整流した１００Ｈｚで発光を繰り返すので同一画面内部においても１００Ｈｚの周期で明るい部分と暗い部分が生じる。例えばＮＴＳＣ方式では、水平走査（以下、ラインと記す）周波数は１５．７５ＫＨｚであるので１／１００ｓｅｃ＝１５７．５ライン毎に明暗を繰り返す。また、フレームの周期（１／６０ｓｅｃ）と照明の点滅周期（１／１００ｓｅｃ）との公倍数は１／２０ｓｅｃであるため、１／２０ｓｅｃ即ちほぼ３フレーム毎に同じ明暗のパターンとなる。このような現象がフリッカである。ただし、フリッカ周波数はライン周波数に対しては十分遅いため、ライン内でその影響の差異はなく図のように各ライン内では均一に影響が現れる。
【０００５】
このような環境下で行う一般的な動き検出方法について図６を参照してこれを説明する。図６において、（ア）は一般的な動き検出のブロック構成を表し、フレーム単位で時間を遅延する事が可能なフレームメモリ１００、入力信号を過去の信号との差分を取る引算器１１、差分出力を閾値と比較しレベル判別を行う比較器１８で構成される。（ア）〜（エ）について、（ア）は動き検出ブロックの動作説明図、（イ）は動き検出ブロックの入力波形、（ウ）は引算器１１のフレーム差分出力、（エ）は比較器１８の検出結果を表している。
【０００６】
図６（イ）〜（エ）に示すように、被写体の動きによって現れる前フレームに対する変化分は、引算器１１の出力に差分出力として現れる。これを比較器１８において、予め設定する閾値と比較し、これを超えるものを動きのある部分として動き検出結果とする方法が一般的である。
【０００７】
次に５０Ｈｚの交流電源の蛍光灯フリッカの影響下のＮＴＳＣ信号における動き検出方法について、図７を用いて説明する。図７において、（ア）は動き検出のブロック構成を表し、フレームメモリは３フレーム単位で時間を遅延する事が可能な３フレームメモリ１０となり、他は図６と同じである。
【０００８】
図７（イ）〜（エ）に示すように、フリッカの位相周期が３フレーム単位なので、被写体の動きを抽出するには３フレーム遅延した信号との比較を行うことで、フリッカの影響を排除できる。被写体の動きによって現れる変化分は引算器１１で差分出力として現れるので、これを比較器１８において、予め設定する閾値と比較し、これを超えるものを動きのある部分として動き検出結果とする。
【０００９】
ここでは３フレームとしているが、フリッカは３フレーム周期なので３の倍数フレームであれば同じ事が可能である。
【００１０】
また、６０Ｈｚの交流電源の蛍光灯フリッカの影響下のＰＡＬ信号における動き検出は、フリッカ位相周期が５フレーム単位となる為、同様に５の倍数フレーム前の信号との差分から検出可能となる。つまり、方式毎にフリッカ位相を同じくとするフレームとの差分から動き検出を行うことが可能となる。
【００１１】
上記のフリッカのような低周波ノイズの影響を軽減させて動きの検出感度を向上させる装置の提案は既にある。
【００１２】
例えば、特許文献１では、所定フレーム間隔で入力される複数の入力画像の加算平均処理によって参照画像を生成し、入力画像との差分結果を予め設定した閾値処理により動きを検出する画像処理装置が記載されている。
【００１３】
また、特許文献２では、入力画像に輪郭強調処理後、直前のフレームメモリとのフレーム差分を求め、フィルタリング処理後にブロック単位で閾値処理することで動き検出を行う動き検出方法が記載されており、ノイズとの分離のために、物体と背景のコントラストの低い場合、もしくは動き検出の結果のフィードバックにより、閾値処理の閾値を動的に変化させるものである。この場合の動的閾値制御は、ノイズ分離のために輪郭抽出前後、もしくは動き検出の前後で２種類の設定閾値の切換え制御を行う。
【特許文献１】特開平９−５０５２５号公報
【特許文献２】特開２００３−１８９１２３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１４】
しかしながら、上記の従来の構成では、机上でフリッカ位相を同じとするフレーム間で動き検出しようとしてもフリッカ残留成分が動き検出に悪影響を与える以下のような問題が発生し得る。
【００１５】
（問題点１）
蛍光灯発光強度を決める交流電源の整流特性がずれる場合にフリッカ残留成分となり、動き検出に悪影響を与えることとなる。
【００１６】
図８を参照してこれを説明する。図８は５０Ｈｚの交流電源の蛍光灯フリッカの影響下のＮＴＳＣ方式の信号において（ア）は入力信号、（イ）は蛍光灯の発光特性、（ウ）は３フレーム前のフレームとの差分出力を表す。
【００１７】
図８（イ）に示すように、蛍光灯内の交流電源の整流特性がばらつく場合に交互に電源波形に大小のレベル差を発生し、そのまま蛍光灯の発光強度差として現れる。３フレーム前と比べた場合、位相は同じだがレベルがちぐはぐになる為（ウ）の差分出力にフリッカ残留成分が現れてしまい、動き検出の閾値レベルはこの残留成分以上にする必要があり、蛍光灯性能に依存するようになる。６フレーム間で行えばこの問題は解消できるが、フレームメモリ数が増加してしまう。
【００１８】
（問題点２）
蛍光灯の発光周期を決める電源周波数がずれる場合にフリッカ残留成分となり、動き検出に悪影響を与えることとなる。
【００１９】
図９を参照してこれを説明する。図９は５０Ｈｚを超える交流電源の蛍光灯フリッカの影響下のＮＴＳＣ方式の信号において（ア）は入力信号、（イ）は蛍光灯の発光特性、（ウ）は３フレーム前のフレームとの差分出力を表す。
【００２０】
図９（イ）に示すように、電源周波数が５０Ｈｚ丁度から変化してしまうと３フレームとする位相周期がずれてしまうので、３フレーム前と比べた場合、フリッカ残留成分が（ウ）の差分出力に現れてしまい、動き検出の閾値レベルはこの残留成分以上にする必要があり、電源周波数にも依存するようになる。
【００２１】
６フレーム間で差分抽出する場合は、位相ズレの影響は２倍になるため、残留フリッカレベルもそれに比例する。
【００２２】
ちなみに商用電源周波数の出力管理精度は、±０．２〜±０．３Ｈｚである。
【００２３】
（問題点３）
上記の条件に加えて蛍光灯までの距離によっても受光する照度レベルが変わる為、フリッカ残留成分の変動要素になる。
【００２４】
図１０を参照してこれを説明する。図１０は５０Ｈｚを超える交流電源で、整流特性の良くない蛍光灯のフリッカを近距離で受けるＮＴＳＣ方式の信号において（ア）は入力信号、（イ）は蛍光灯の発光特性、（ウ）は３フレーム前のフレームとの差分出力を表す。
【００２５】
図１０（イ）に示すように、蛍光灯内の交流電源の整流特性のバラツキに加えて、電源周波数がずれ、且つ近距離で発光を受けるために明暗差の増大があるような場合の３フレーム前との差分は、位相はずれを起こし、且つ出力レベルのちぐはぐも拡大される為、（ウ）の差分出力にはフリッカ残留成分が大きく現れてしまい、検出用の閾値レベルはこの残留成分以上が必要条件になり、更に蛍光灯からの受光レベルにも依存するようになる。
【００２６】
本発明は、フリッカの影響下にあっても被写体の動きを適切に検出する装置を提供することを目的とする。
【課題を解決するための手段】
【００２７】
本発明の動き検出装置は、撮像素子と、撮像素子により生成されたフレームと、外部の照明により受けているフリッカの影響がフレームと同程度のフレームとの差分を算出する差分算出部と、差分算出部により算出された差分に基づいて被写体の動きを検出する動き検出部と、を備える。
【発明の効果】
【００２８】
本発明によれば、フリッカ影響下であっても撮像素子出力から被写体の動きを適切に検出することが可能である。
【発明を実施するための最良の形態】
【００２９】
以下、本発明の実施の形態における動き検出装置について、図面を参照しながら説明する。
【００３０】
（実施の形態１）
図１は、本発明の実施の形態１における動き検出装置の構成例を示すブロック図である。
【００３１】
本実施の形態では、ＮＴＳＣ方式で駆動する撮像素子において、５０Ｈｚの交流電源で点灯する一般的な蛍光灯の影響を受けているものとする。図１に示すように、本実施の形態の動き検出装置は、３フレームメモリ１０、引算器１１、絶対値処理回路１２、最大レベル検出回路１３、レジスタ１４、引算器１５、静止判別回路１６、閾値制御回路１７、比較器１８を備えている。
【００３２】
３フレームメモリ１０は、入力信号をフリッカ位相周期分遅延するメモリで、ＮＴＳＣ方式で５０Ｈｚ交流電源によるフリッカ周期は３フレームなので、メモリ容量は３フレーム分とする。
【００３３】
引算器１１は、現フレームと３フレーム前の信号とのフレーム差分を抽出する。
【００３４】
絶対値処理回路１２は、正負成分を持つ差分出力を絶対値化して、一方向の信号成分とする。
【００３５】
最大レベル検出回路１３は、１垂直同期期間である１フレーム内で、絶対値処理回路１２の出力の最大レベルを検出し、毎フレーム更新する。
【００３６】
レジスタ１４は、後述の静止判別回路１６で出力レベルが安定していると判断した場合のみ、最大レベル検出回路１３の差分出力を保持する。
【００３７】
引算器１５は、現差分出力の最大レベルとレジスタ１４で保持する過去の最大レベルとの差分を抽出する。
【００３８】
静止判別回路１６は、差分出力の最大レベルの変化が予め設定された範囲内にあるか否かで静止状態の判別を行う。
【００３９】
閾値制御回路１７は、初期閾値と、レジスタ１４で保持する過去の最大レベルと、静止判別結果から現フレームの適応型閾値を生成する。
【００４０】
比較器１８は、現状のフレーム差分レベルと閾値とを比較し、動き検出結果を出力する。
【００４１】
以下、本実施の形態における動き検出装置の動作について図２のフローチャートを基に説明する。
【００４２】
イメージセンサーなどの撮像手段からの入力信号は、図１に示す動き検出装置に入力されると、３フレームメモリ１０と引算器１１に入力される。３フレームメモリ１０では現入力信号に対してフリッカ位相を同じとするフリッカ位相周期分遅延した信号を引算器１１へ出力し、引算器１１で現入力信号とフレーム差分を求める（ステップＳ２０１）。
【００４３】
そのフレーム差分は、零値を中心に正負の信号成分となる為、絶対値処理回路１２で負成分の信号を反転し、正方向の信号とするよう絶対値処理を行う（ステップＳ２０２）。
【００４４】
その絶対値化した信号は最大レベル検出回路１３でフレーム毎に差分出力の最大値を検出し、次フレームで差分出力の最大レベルとして用いる（ステップＳ２０３）。
【００４５】
その最大レベルの変化が小さくて安定していると静止判別回路１６が判別した場合に、その最大差分レベルをレジスタ１４に保持する。その過去の最大レベルは動きの有無を判別する参照レベルとして、引算器１５で現状の差分出力の最大レベルと差分を取る。差分結果が予め設定した範囲内にあれば静止判別回路１６は大きな変化がないことから静止状態と判別する（ステップＳ２０４でＹｅｓの場合）。
【００４６】
閾値制御回路１７は静止状態と判断されれば前フレームの最大差分レベルに従って、予め設定した比率を初期設定閾値に加算したものを現フレームの動き検出閾値として生成する（ステップＳ２０５）。
【００４７】
予め設定した比率は、例えば、差分レベルが大きい場合はその１／２レベルを、中レベルであればその１／３レベルを、小さなレベルしかない場合は加算しないよう適応的にレベル判断して加算値を設定して固定ノイズ適応型の閾値を生成する。
【００４８】
なお、この閾値に加算するレベルの比率は一例であり、レベルの比率は、差分レベルが大きいほど、より大きな加算値となるように設定すれば他の比率でも良い。
【００４９】
比較器１８は絶対値処理化された現フレーム差分信号をその適応型閾値と比較して、被写体の動きを検出するものである（ステップＳ２０６）。
【００５０】
図３、４を参照してこれを説明する。
【００５１】
図３は５０Ｈｚを超える交流電源で、整流特性の良くない蛍光灯のフリッカを近距離で受けるＮＴＳＣ方式の信号において（ア）は４フレーム目に動きのある入力信号、（イ）は蛍光灯の発光特性、（ウ）は３フレーム前のフレームとの差分出力波形で、一点鎖線は初期閾値、２点鎖線は差分出力の安定した最大値レベル、破線は生成される適応型閾値レベルを示す。（エ）は動き検出結果を表す。
【００５２】
図３（ア）、（イ）に示すように、蛍光灯内の交流電源の整流特性のバラツキに加えて、電源周波数がずれ、且つ近距離で発光を受けるために明暗差の増大があるような場合、３フレームとする位相周期もずれてしまい、３フレーム前と比べた場合、位相は合わず、且つ出力レベルのちぐはぐも拡大される為、（ウ）の差分出力には初期閾値を大きく超過するようなフリッカ残留成分が常時現れてしまう。そこで最大差分レベルが大きく出ているのでそのレベルの１／２を初期閾値に加えた値を適応型閾値とすることで、この閾値を超過する部分のみを検出することで被写体の動き成分の検出が可能となる。
【００５３】
図４は５０Ｈｚを超える交流電源の蛍光灯フリッカを通常距離で受けるＮＴＳＣ方式の信号において（ア）は同じく４フレーム目に動きのある入力信号、（イ）は蛍光灯の発光特性、（ウ）は３フレーム前のフレームとの差分出力波形で、２点鎖線は差分出力の安定した最大値レベル、破線は同レベルにある初期閾値と適応型閾値レベルを示す。（エ）は動き検出結果を表す。
【００５４】
図４（ウ）の差分出力には初期閾値を下回るフリッカ残留成分しかないため、閾値へのレベル加算はせずに初期閾値を適応型閾値とする事で、ノイズに対して誤動作しないよう最低レベルを確保し、この適応型閾値を超過する部分のみを検出する事で被写体の動き成分の検出が可能となる。
【００５５】
以上のように本実施の形態によれば、蛍光灯のフリッカを受けている信号で被写体の動きを判別する場合、被写体に動きのない場合の残留フリッカ成分レベルを検出し、そのレベルに合わせて閾値を適応的に設定することで、蛍光灯の性能や電源周波数のずれ、蛍光灯からの受光距離に依存しない適切な動き検出を行う事が可能となる。
【００５６】
ここでは３フレームとしたが、ＮＴＳＣ方式の場合は６フレーム以上の３の倍数フレームで可能である。偶数フレームの遅延にする場合は、蛍光灯の整流特性のバラツキの問題による影響度は下げられるが、フレームメモリの増加は回路を複雑化し、電源周波数のずれに影響され易くなる。
【００５７】
また、ＰＡＬ方式の場合は５の倍数フレームの遅延とすることで同様の結果を得る事が可能である。
【産業上の利用可能性】
【００５８】
本発明は、蛍光灯のフリッカのような影響を受ける被写体の動き検出装置として撮像装置の分野において利用可能である。
【図面の簡単な説明】
【００５９】
【図１】実施の形態１におけるフリッカ影響下での動き検出装置のブロック図
【図２】実施の形態１における動き検出装置の動作を表すフローチャート
【図３】実施の形態１の効果を説明するための波形図
【図４】実施の形態１の効果を説明するための波形図
【図５】ＮＴＳＣ方式でのフリッカを説明するための波形図
【図６】一般的な動き検出方法を説明するための説明図
【図７】従来のフリッカ影響下での動き検出方法を説明するための説明図
【図８】従来のフリッカ影響下での動き検出の問題点を説明するための説明図
【図９】従来のフリッカ影響下での動き検出の問題点を説明するための説明図
【図１０】従来のフリッカ影響下での動き検出の問題点を説明するための説明図
【符号の説明】
【００６０】
１０    ３フレームメモリ
１１、１５    引算器
１２    絶対値処理回路
１３    最大レベル検出回路
１４    レジスタ
１６    静止判別回路
１７    閾値制御回路
１８    比較器
１００    フレームメモリ
【図１】
0005067174.tif 000002
【図２】
0005067174.tif 000003
【図３】
0005067174.tif 000004
【図４】
0005067174.tif 000005
【図５】
0005067174.tif 000006
【図６】
0005067174.tif 000007
【図７】
0005067174.tif 000008
【図８】
0005067174.tif 000009
【図９】
0005067174.tif 000010
【図１０】
0005067174.tif 000011