(57)【要約】【課題】被写体の追尾を安定して行う。【解決手段】輝度値ごとの画素数であるヒストグラムカウント値を移動前のフレームと移動後のフレームについて算出し、これらヒストグラムカウント値を同じ輝度値同士の差分絶対値を積算したカウント差分積算値を求める。また、移動前と移動後の各フレームの輝度積算値の差分絶対値を輝度積算差分値として求める。カウント差分積算値，輝度積分差分値のいずれか一方が対応したしきい値以上のときには、動きベクトルの検出処理を禁止するとともに、移動前のフレームの画像を維持しつつ、新たに撮影される画像を移動後のフレームとして処理を行う。【選択図】図４
2009141635.tif 000002
【特許請求の範囲】
【請求項１】
時間的に連続する被写体の移動前の撮影画像と移動後の画像とから被写体の動きベクトルを検出する検出手段を備えた動き検出装置において、
輝度値ごとに画素数をカウントしたヒストグラムカウント値を移動前の撮影画像と移動後の撮影画像とのそれぞれについて求めるカウント値算出手段と、
同じ輝度値同士の移動前のヒストグラムカウント値と移動後のヒストグラムカウント値との差分絶対値を各輝度値のそれぞれについて求め、求めた各輝度値の差分絶対値を積算した積算値を算出する積算値算出手段と、
前記積算値算出手段で得られる前記積算値が所定のしきい値以上のときに、前記検出手段による動きベクトルの検出を禁止するとともに、移動後の撮影画像を新たな撮影で得られる撮影画像に更新し、移動前の撮影画像を維持させる制御手段とを備えたことを特徴とする動き検出装置。
【請求項２】
動きベクトルを検出すべき被写体が導入される被写体エリアを含む特定の領域内の輝度値を積算した輝度積算値を移動前の撮影画像と移動後の撮影画像のそれぞれについて算出する輝度積算値算出手段と、
移動前の輝度積算値と移動後の輝度積算値の差分絶対値を算出する差分算出手段とを備え、
前記制御手段は、前記積算値算出手段で得られる前記積算値または前記差分算出手段で得られる前記差分絶対値のいずれか一方がその一方に対応して設定された所定のしきい値以上のときに、前記検出手段による動きベクトルの検出を禁止するとともに、移動後の撮影画像を新たな撮影で得られる撮影画像に更新し、移動前の撮影画像を維持することを特徴とする請求項１記載の動き検出装置。
【請求項３】
前記検出手段は、代表点マッチング方式により動きベクトルを検出することを特徴とする請求項１または２記載の動き検出装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の動き検出装置と、この動き検出装置で検出された動きベクトルに基づいて、被写体を撮影するカメラ部を移動させる架台部とを備えたことを特徴とする自動追尾装置。
【請求項５】
時間的に連続する被写体の移動前の撮影画像と移動後の画像とから被写体の動きベクトルを検出する動き検出方法において、
輝度値ごとに画素数をカウントしたヒストグラムカウント値を移動前の撮影画像と移動後の撮影画像とのそれぞれについて求めるステップと、
同じ輝度値同士の移動前のヒストグラムカウント値と移動後のヒストグラムカウント値との差分絶対値を各輝度値のそれぞれについて求めるステップと、
求めた各輝度値の差分絶対値を積算した積算値を算出するステップと、
この積算値が所定のしきい値以上のときに、動きベクトルの検出を停止するとともに、移動後の撮影画像を新たな撮影で得られる撮影画像に更新し、移動前の撮影画像を維持させる制御ステップとを有することを特徴とする動き検出方法。
【請求項６】
時間的に連続する被写体の移動前の撮影画像と移動後の画像とから被写体の動きベクトルを検出し、動きベクトルに基づいてカメラで被写体を追尾して撮影する自動追尾方法において、
輝度値ごとに画素数をカウントしたヒストグラムカウント値を移動前の撮影画像と移動後の撮影画像とのそれぞれについて求めるステップと、
同じ輝度値同士の移動前のヒストグラムカウント値と移動後のヒストグラムカウント値との差分絶対値を各輝度値のそれぞれについて求めるステップと、
求めた各輝度値の差分絶対値を積算した積算値を算出するステップと、
この積算値が所定のしきい値以上のときに、カメラでの被写体の追尾を停止するとともに、移動後の撮影画像を新たな撮影で得られる撮影画像に更新し、移動前の撮影画像を維持させる制御ステップとを有することを特徴とする自動追尾方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の動きを検出する動き検出装置及び方法、並びに自動追尾装置及び方法に関するものである。
【背景技術】
【０００２】
例えば監視カメラに用いられる自動追尾装置では、特定の被写体の移動に追従して撮影方向を変化させる。このような自動追尾装置では、撮影画面上における特定された被写体の動きベクトルを検出し、その動きベクトルを打ち消す方向にカメラを回転させている（例えば、特許文献１，２を参照）。
【０００３】
被写体の動きベクトルを検出する手法としては、例えば代表点マッチング方式が知られている。この代表点マッチング方式では、移動前の撮影画像中に設定された代表点（画素）の輝度値と、移動後の撮影画像中に設定された探索領域内の各画素の輝度値との差分絶対値が最も小さい画素位置を代表点の移動後の位置として求める。そして、その代表点の位置を始点とし、移動後の位置を終点としたベクトルを、被写体の移動量と移動方向を表す動きベクトルとするものである。
【０００４】
【特許文献１】特開平８−２３７５３６号公報
【特許文献２】特開２００６−３１１０９９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、上記のような代表点マッチング方式では、検出精度は高いが、いったん特定の被写体を見失うと、すなわち検出できない状態に陥ると、特定の被写体の再検出が困難になるため、安定した動きベクトルの検出が難しいという問題があった。また、特許文献１のように、代表点マッチング方式で被写体を見失ったと判定された際に、色信号を用いて被写体を検出する手法では、代表点マッチング、及び色信号を用いて被写体を検出する処理をするための処理回路がそれぞれ必要になり、回路規模が大きくなってしまうという問題があった。
【０００６】
本発明は、上記問題を解決するためになされたもので、安定して被写体の動きベクトルを検出することができるようにした、動き検出装置・方法、自動追尾装置・方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記問題を解決するために、本発明の請求項１記載の動き検出装置では、輝度値ごとに画素数をカウントしたヒストグラムカウント値を移動前の撮影画像と移動後の撮影画像とのそれぞれについて求めるカウント値算出手段と、同じ輝度値同士の移動前のヒストグラムカウント値と移動後のヒストグラムカウント値との差分絶対値を各輝度値のそれぞれについて求め、求めた各輝度値の差分絶対値を積算した積算値を算出する積算値算出手段と、積算値算出手段で得られる積算値が所定のしきい値以上のときに、検出手段による動きベクトルの検出を禁止するとともに、移動後の撮影画像を新たな撮影で得られる撮影画像に更新し、移動前の撮影画像を維持させる制御手段とを備えたものである。
【０００８】
請求項２記載の動き検出装置では、動きベクトルを検出すべき被写体が導入される被写体エリアを含む特定の領域内の輝度値を積算した輝度積算値を移動前の撮影画像と移動後の撮影画像のそれぞれについて算出する輝度積算値算出手段と、移動前の輝度積算値と移動後の輝度積算値の差分絶対値を算出する差分算出手段とを備え、制御手段を、積算値算出手段で得られる積算値または差分算出手段で得られる差分絶対値のいずれか一方がその一方に対応して設定された所定のしきい値以上のときに、検出手段による動きベクトルの検出を禁止するとともに、移動後の撮影画像を新たな撮影で得られる撮影画像に更新し、移動前の撮影画像を維持するようにしたものである。
【０００９】
請求項３記載の動き検出装置では、検出手段が、代表点マッチング方式により動きベクトルを検出するものである。
【００１０】
請求項４記載の自動追尾装置では、上記の動き検出装置と、この動き検出装置で検出された動きベクトルに基づいて、被写体を撮影するカメラ部を移動させる架台部とを備えたものである。
【００１１】
請求項５記載の動き検出方法では、輝度値ごとに画素数をカウントしたヒストグラムカウント値を移動前の撮影画像と移動後の撮影画像とのそれぞれについて求めるステップと、同じ輝度値同士の移動前のヒストグラムカウント値と移動後のヒストグラムカウント値との差分絶対値を各輝度値のそれぞれについて求めるステップと、求めた各輝度値の差分絶対値を積算した積算値を算出するステップと、この積算値が所定のしきい値以上のときに、動きベクトルの検出を停止するとともに、移動後の撮影画像を新たな撮影で得られる撮影画像に更新し、移動前の撮影画像を維持させる制御ステップとを有するものである。
【００１２】
請求項６記載の自動追尾方法では、輝度値ごとに画素数をカウントしたヒストグラムカウント値を移動前の撮影画像と移動後の撮影画像とのそれぞれについて求めるステップと、同じ輝度値同士の移動前のヒストグラムカウント値と移動後のヒストグラムカウント値との差分絶対値を各輝度値のそれぞれについて求めるステップと、求めた各輝度値の差分絶対値を積算した積算値を算出するステップと、この積算値が所定のしきい値以上のときに、カメラでの被写体の追尾を停止するとともに、移動後の撮影画像を新たな撮影で得られる撮影画像に更新し、移動前の撮影画像を維持させる制御ステップとを有するものである。
【発明の効果】
【００１３】
本発明によれば、各輝度値の移動前と移動後のヒストグラムカウント値の差分絶対値を積算した積算値が所定のしきい値以上のときに、動きベクトルの検出を禁止し、また移動前の撮影画像を維持しつつ、移動後の撮影画像を新たな撮影画像に置き換えるようにしたから、被写体を見失いやすい状態から脱した後に被写体の動きベクトルの検出を再開することができるようになり、安定した動きベクトルの検出、自動追尾を行うことができる。
【発明を実施するための最良の形態】
【００１４】
図１に本発明を実施した監視カメラ２を示す。監視カメラ２は、大別してカメラ部３と、架台部４と、監視カメラ２の各種設定や指示を行うための操作部５とからなる。この操作部５を操作することにより、監視カメラ２で追尾すべき被写体を特定することができる。架台部４は、カメラ部２の撮影方向を上下方向及び左右方向に回動させるものであり、雲台やモータ、駆動回路等から構成してある。
【００１５】
カメラ部３には、撮影レンズ１０を設けてあり、この撮影レンズ１０の背後にイメージセンサ１１を配してある。被写体光は、撮影レンズ１０を透過して、イメージセンサ１１の受光面に入射する。撮影レンズ１０は、ピントを調節するフォーカス機構１２と、絞り機構１３とを備えている。
【００１６】
フォーカス機構１２は、フォーカスレンズ１２ａと、フォーカスレンズ１２ａを光軸方向に移動するモータやモータドライバ等で構成してあり、ＡＦ制御部１４の制御によりフォーカスレンズ１２ａを移動して撮影レンズ１０のピントを調節する。絞り機構１３は、ＡＥ制御部１５の制御の下で駆動され、イメージセンサ１１への入射光量を調節する。
【００１７】
イメージセンサ１１は、被写体を撮影して撮影画像を出力するものであり、その受光面に多数の受光素子を備え、撮影レンズ１０によって結像される被写体像を電気的な画像信号に変換して出力する。なお、イメージセンサ１１としては、ＣＣＤ型やＭＯＳ型等の各種のものを用いることができる。
【００１８】
信号処理部１６は、イメージセンサ１１からの画像信号に対して、各種信号処理を行う。この信号処理部１６は、イメージセンサ１１からの画像信号に対して信号増幅処理，デジタル変換処理，γ補正処理，ホワイトバランス補正処理等の信号処理を行って得られる画像データを出力する。画像データは、輝度値（輝度レベル）を示す輝度データ、各色差の値を示す色差データからなる。
【００１９】
画像記録部１７は、カメラ部３で撮影される動画を記録するものであり、例えば光学ディスクや磁気ディスクに対して画像データの記録を行う回路等で構成されている。表示部１８は、画像を表示するＬＣＤやそれを駆動するドライバ等からなり、信号処理部１６からの画像データが次々に送られることによって、それに基づいてイメージセンサ１１で撮影されている画像を動画で表示する。また、この表示部１８には、予め撮影画面の中央に設定されている被写体エリア１９（図３参照）を示す被写体枠が動画に重ねて表示される。
【００２０】
操作者は、表示部１８に表示される画像と上記被写体枠とを参照しながら操作部５を操作することによって、被写体枠内に追尾すべき特定の被写体を導入入れることで、追尾すべき被写体を指定することができる。
【００２１】
上記のＡＦ制御部１４は、フォーカス機構１２とともにＡＦ手段を構成する。このＡＦ制御部１４は、信号処理部１６からの画像データに基づくコントラスト検出方式によって、前述の被写体エリア１９内の被写体にピントが合致する撮影レンズ１０のレンズ位置を検出し、その合致するレンズ位置にフォーカスレンズ１２ａをセットする。なお、オートフォーカスの手法は、上記のような被写体像のコントラストによるものに限らない。
【００２２】
また、ＡＥ制御部１５は、信号処理部１６から得られる画像データのうち輝度データに基づいて露出制御を行い、適正な露光となるように絞り機構１３、イメージセンサ１１の駆動を制御する。このＡＥ制御部１５は、ヒストグラムカウント回路１５ａ、輝度積算回路１５ｂを有している。ヒストグラムカウント回路１５ａ、輝度積算回路１５ｂは、露出制御を実現するための機能として設けられているものであるが、この監視カメラ２では、被写体の動きの検出を制御するためのカウント値算出手段、輝度積算手段ともなっている。
【００２３】
ヒストグラムカウント回路１５ａは、輝度値ごとの画素数（度数）であるヒストグラムカウント値を算出する。このヒストグラムカウント回路１５ａは、取り得る輝度値、例えば０〜２５５の各輝度値について１フレーム中の画素数をカウントして、各輝度値のヒストグラムカウント値を求める。なお、ヒストグラムカウント値として、被写体エリア１９内の画素数をカウントしてもよい。
【００２４】
輝度積算回路１５ｂは、予め設定してあるＡＥエリア内の各画素の輝度値を積算した輝度積算値を算出する。この監視カメラ２では、被写体エリア１９を含み、被写体エリア１９よりも少し大きく設定されたＡＥエリアの輝度を評価の対象としており、輝度積算回路１５ｂは、そのＡＥエリアについての輝度積算値を算出する。なお、ＡＥエリアを被写体エリア１９に一致させてもよい。
【００２５】
検出部２１は、被写体エリア１９内に導入された被写体（以下、特定被写体という）の動きベクトル（移動方向及び移動量）を検出する。この検出部２１は、信号処理部１６から撮影画像として順次入力される輝度データに基づいて動きベクトルを検出する。また、この検出部２１は、ＡＥ制御部１５からのヒストグラムカウント値、輝度積算値が入力され、これらに基づいて、詳細を後述するように動きベクトルの検出を制御する。検出部２１は、動きベクトルを検出できない場合や、その検出に不適切な状態が継続したと判断したときには、表示部１８に被写体を指定する再操作を促す案内を表示する。
【００２６】
方向制御部２２は、検出部２１からの動きベクトルに基づいて架台部４の駆動を制御する。この駆動の制御では、方向制御部２２は、動きベクトルに示される特定被写体の移動方向及び移動量を打ち消すように、カメラ部２の向きを変更させる。これにより、特定被写体が常に被写体エリア１９内となるようにカメラ部２の向きを変更し被写体を追尾する。なお、動きベクトルの検出が行われなかったときには、方向制御部２２は、架台部４を駆動しない。
【００２７】
図２に示すように、検出部２１には、被写体エリア１９内の輝度データ、ＡＥ制御部１５からのヒストグラムカウント値、及び輝度積算値を記憶するメモリユニット３１を設けてある。このメモリユニット３１は、第１メモリ３３ａ〜３５ａと、第２メモリ３３ｂ〜３５ｂとを有している。
【００２８】
第１メモリ３３ａと第２メモリ３３ｂは、いずれも１フレーム分の被写体エリア１９内の輝度データを記憶する。また、第１メモリ３４ａと第２メモリ３４ｂは、いずれも１フレーム分の各輝度値のヒストグラムカウント値を記憶する。さらに、第１メモリ３５ａと第２メモリ３５ｂとは、いずれも１フレーム分の輝度積算値を記憶する。
【００２９】
上記のメモリユニット３１は、書込制御回路３７によって、第１メモリ、第２メモリのいずれか一方が書込対象メモリとして選択され、その選択された書込対象メモリに入力されるデータ（輝度データ、ヒストグラムカウント値、輝度積算値）が書き込まれる。したがって、例えば、第１メモリが書込対象メモリとして選択されている場合には、被写体エリア１９内の輝度データが第１メモリ３３ａに書き込まれ、この輝度データと同じ１フレームから得られる各ヒストグラムカウント値が第１メモリ３４ａに、輝度積算値が第１メモリ３５ｂに書き込まれる。
【００３０】
通常は、書込対象メモリは、書込制御回路３７によって第１メモリと第２メモリとが１フレームごとに交互に切り換えられるが、後述する検出処理を行うのに不適切であると判断された場合には、そのメモリの切り換えが行われない。
【００３１】
マッチング回路３８は、第１メモリ３３ａ，第２メモリ３３ｂに記憶されている２フレーム分の輝度データを用いて、特定被写体の移動方向と移動量とを示す動きベクトルを求める検出処理を行う。この検出処理では、被写体エリア１９内に設定される複数のブロック内に設定される代表点（画素）の移動前の輝度値と移動後の各ブロック内の輝度値との差が最小となる画素位置を検出する周知の代表点マッチング方式を用いる。
【００３２】
第１演算回路４１は、検出処理を行うのに適切であるか否かを判断する指標となるカウント差分積算値を算出する。このカウント差分積算値は、第１メモリ３４ａと第２メモリ３４ｂに記憶されている移動前のフレームのヒストグラムカウント値と移動後のフレームのヒストグラムカウント値を同じ輝度値同士の差分絶対値を積算したものである。
【００３３】
例えば、移動前の輝度値「ｐ」に対するヒストグラムカウント値を「Ａｐ」とし、移動後のヒストグラムカウント値を「Ｂｐ」とし、カウント差分積算値を「Ｃ」としたときに、第１演算回路４１は、次の式によってカウント差分積算値を求める。
Ｃ＝Σ｜Ａｐ−Ｂｐ｜
（但し、ｐは０〜２５５）
【００３４】
第２演算回路４２は、移動前の輝度積算値と移動後の輝度積算値との差分絶対値である輝度積算差分値を算出するものであり、この輝度積算差分値は、カウント差分積算値と同様に検出処理を行うのに適切であるか否かを判断する指標となるものである。第２演算回路４２は、第１メモリ３５ａ，第２メモリ３５ｂに記憶されている移動前のフレームの輝度積算値と、移動後のフレームの輝度積算値の差分絶対値を求め、これを輝度積算差分値とする。
【００３５】
判定回路４３は、書込制御回路３７とともに、本発明の制御手段を構成しており、検出処理を行うか否かの判定と、それに基づく制御を行う。この判定回路４３は、第１演算回路４１で求められるカウント差分積算値と、第２演算回路４２で求められる輝度積算差分値とに基づいて、検出処理を行うか否かを判定する。
【００３６】
判定回路４３には、カウント差分積算値に対して第１しきい値が、輝度積算差分値に対しては第２しきい値が予め設定されており、判定回路４３は、カウント差分積算値，輝度積分差分値が、それぞれ対応するしきい値よりも小さいときにマッチング回路３８に検出処理を行わせ、いずれか一方が対応するしきい値以上のときには、輝度の変化が大きく検出処理を行うのに不適切であるとして検出処理を行わせない。
【００３７】
第１しきい値、及び第２しきい値は、検出処理、この例では代表点マッチング方式による特定被写体の動きベクトルの検出を行うことができないカウント差分積算値，輝度積算差分値の下限として、例えば実験的に求められて設定されている。
【００３８】
なお、この例では、カウント差分積算値と、輝度積分差分値との両方を用いて検出処理を行うか否かの判定を行っているが、いずれか一方のみを用いて検出処理を行うか否かの判定を行ってもよい。
【００３９】
書込制御回路３７は、前述のように、通常は書込対象メモリを第１メモリと第２メモリとで１フレームごとに交互に切り換えるが、判定回路４３によって、検出処理を行うのに不適切であり検出処理を行わせないと判定された場合には、そのメモリの切り換えを行わない。これにより、検出処理が行われない場合には、移動前のフレームの輝度データ，カウント差分積算値，輝度積算差分値を保持しつつ、移動後のフレームの輝度データ，カウント差分積算値，輝度積算差分値の更新を行う。
【００４０】
図３（ａ）に示すように、撮影画面４６のほぼ中央に被写体エリア１９が設定されており、この被写体エリア１９の輝度データが第１メモリ３３ａ、第２メモリ３３ｂに書き込まれる。マッチング回路３８は、これら第１メモリ３３ａ，第２メモリ３３ｂに記憶された時間的に前後する一対のフレームの輝度データを用いて、代表点マッチング方式によって特定被写体の動きベクトルを求める。
【００４１】
マッチング回路３８による検出処理では、図３（ｂ）に示すように、被写体エリア１９は、マトリクス状にｍ×ｎ個のブロックＢ１１〜Ｂｍｎに分割され、移動前のフレームについては各ブロックＢ１１〜Ｂｍｎの中央の画素が代表点Ｒ１１〜Ｒｍｎとして特定される。図３（ｃ）に示すように、代表点Ｒｉｊの位置を原点ＯとしたＸＹ座標を用いて、移動後のフレームの任意のブロックＢｉｊ内にある任意の画素の位置を、ｘｙとして、その画素をＥｉｊｘｙで表し、代表点Ｒｉｊ、画素Ｅｉｊｘｙの輝度値をそれぞれその符号で表すとき、マッチング回路３８は、次の式で求められる各Ｄｘｙのうち最小値となるＤｘｙの座標ｘｙを動きベクトルとする。
Ｄｘｙ＝  Σ｜Ｒｉｊ−Ｅｉｊｘｙ｜
（但し、ｉは０〜ｍ，ｊは０〜ｎ）
【００４２】
次に上記構成の作用について、図４を参照しながら説明する。監視カメラ２を作動させると、ステップＳ１によってカメラ部３による撮影が開始される。これにより、撮影される画像が表示部１８に表示されるとともに、イメージセンサ１１で画像が撮影されるごとに、信号処理部１６から検出部２１に輝度データが送られる。また、撮影レンズ１０は、被写体エリア１９内の被写体にピントが合致するようにＡＦ制御部１４によって継続的に調節され、ＡＥエリア内が適正露光となるようにＡＥ制御部１５によってイメージセンサ１１の露光時間と絞り機構１３による絞りとが調節される。
【００４３】
監視カメラ２で特定の被写体を追尾して撮影する場合には、表示部１８に被写体エリア１９に相当する被写体枠が表示されるから、操作者は、追尾すべき被写体をその被写体枠内に入るように、操作部５を操作して、カメラ部３の撮影方向を設定してから（ステップＳ２）、自動追尾を指示する（ステップＳ３）。
【００４４】
自動追尾が指示されると、検出部２１によって特定被写体の動きベクトルを検出する処理が開始される。まず、ステップＳ４で書込対象メモリが第１メモリとされ、またステップＳ５で動きベクトルの検出に不適切な連続フレーム数を計数するカウント値Ｆがリセットされて「０」にされる。続くステップＳ６により、イメージセンサ１１で新たな１フレーム（以下、これを第１フレームとする）が撮影されたことが検出されると、ステップＳ７の取込処理が行われる。
【００４５】
取込処理では、図５に示すように、信号処理部１６からの第１フレームの輝度データのうち被写体エリア１９内の輝度データが、書込対象メモリに書き込まれる。このときには、ステップＳ４によって書込対象メモリが第１メモリとなっているから、被写体エリア１９内の輝度データは、第１メモリ３３ａに書き込まれる。また、その第１フレームに対してＡＥ制御部１５によって算出された各輝度値のヒストグラムカウント値が第１メモリ３４ａに、また輝度積算値が第１メモリ３５ａにそれぞれ書き込まれる。
【００４６】
上記のようにして取込処理が完了すると、ステップＳ８によって書込対象メモリが第２メモリに切り換えられる。この後、ステップＳ９により第２フレームがイメージセンサ１１で撮影されたことが検出されると、ステップＳ１０の取込処理が行われる。この取込処理では、ステップＳ７と同様の処理が行われるが、書込対象メモリが第２メモリとなっているので、第２フレームのデータ（被写体エリア１９内の輝度データ，各ヒストグラムカウント値，輝度積算値）は、第２メモリ３３ｂ〜３５ｂに書き込まれる。
【００４７】
第２メモリ３３ｂ〜３５ｂへの書き込み後、ステップＳ１１が行われ、第１演算回路４１により、第１メモリ３４ａに記憶されている第１フレームの各ヒストグラムカウント値と、第２メモリ３４ｂに記憶されている第２フレームの各ヒストグラムカウント値との差分絶対値の積算値であるカウント差分積算値が求められる。
【００４８】
そして、ステップＳ１２で、判定回路４３によってカウント差分積算値が第１しきい値と比較される。この比較でカウント差分積算値が第１しきい値よりも小さければ、ステップＳ１３，Ｓ１４が行われ、カウント差分積算値が第１しきい値以上であるときには、ステップＳ１５に移行する。
【００４９】
例えばカウント差分積算値が第１しきい値よりも小さい場合には、ステップＳ１３に移行し、第２演算回路４２により、第１メモリ３５ａに記憶されている第１フレームの輝度積算値と、第２メモリ３５ｂに記憶されている第２フレームの輝度積算値との差分絶対値である輝度積算差分値が求められる。そして、ステップＳ１４で、判定回路４３が輝度積算差分値を第２しきい値と比較する。この比較で輝度積算差分値が第２しきい値よりも小さければ、ステップＳ１６に移行し、第２しきい値以上であるときには、ステップＳ１５に移行する。
【００５０】
輝度積算差分値が第２しきい値よりも小さい場合では、ステップＳ１６に移行して、カウント値Ｆをリセットして「０」とする処理を行った後、判定回路４３からマッチング回路３８に対して検出処理の実行が指示される。
【００５１】
検出処理の実行が指示されると、第１メモリ３３ａに記憶されている第１フレームの被写体エリア１９内の輝度データと、第２メモリ３３ｂに記憶されている第２フレームの被写体エリア１９内の輝度データとを用いて、上述の代表点マッチング方式による検出処理がマッチング回路３８によって行われる（ステップＳ１７）。このときには、第１フレームを移動前、第２フレームを移動後とし、第１フレームの被写体エリア１９内の各ブロック内の代表点と、第２フレームの被写体エリア１９内の各ブロックの各画素の輝度値を用いて特定被写体の動きベクトルの検出が行われる。
【００５２】
検出処理の後、ステップＳ１８で正常に動きベクトルを検出できたか否かが判断され、動きベクトルが正常に検出できた場合には、ステップＳ１９に移行し、何らかの理由で動きベクトルが正常に検出できなかった場合には、ステップＳ２０に移行する。
【００５３】
例えば動きベクトルが正常に検出できた場合には、その動きベクトルが方向制御部２２に送られる。そして、ステップＳ１９で動きベクトルに基づく方向制御部２２の制御で架台部４が駆動されることにより、移動した特定被写体が被写体エリア内に維持されるようにカメラ部３の撮影方向が変えられる。
【００５４】
撮影終了の指示がない場合には、ステップＳ２１の判断で分岐して、ステップＳ８の処理に移行し、書込制御回路３７により、メモリユニット３１の書込対象メモリが第２メモリから第１メモリに切り換えられる。
【００５５】
第３フレームが撮影されると、その第３フレームの取込処理が行われ、第３フレームの被写体エリア１９内の輝度データ，各ヒストグラムカウント値，輝度積算値が第１メモリ３３ａ〜３５ａにそれぞれ書き込まれる（ステップＳ９，Ｓ１０）。そして、上記と同様にステップＳ１１以降の処理が行われる。
【００５６】
したがって、第２メモリ３３ｂ〜３５ｂに書き込まれている第２フレームのデータと、第１メモリ３３ａ〜３５ａに書き込まれている第３フレームのデータとを用いて作成されたカウント差分積算値，輝度積算差分値がそれぞれ対応する第１，第２しきい値よりも小さければ、ステップＳ１６を経てステップＳ１７の検出処理が行われる。
【００５７】
このときの検出処理では、第２フレームを移動前、第３フレームを移動後として、第２フレームの被写体エリア１９内の各ブロック内の代表点と、第３フレームの被写体エリア１９内の各ブロックの各画素の輝度値とを用いて、特定被写体の動きベクトルが検出される。
【００５８】
そして、動きベクトルが正常に検出されたならば、その動きベクトルに基づいて架台部４が駆動され、カメラ部３の撮影方向が変更され（ステップＳ１８，Ｓ１９）、撮影終了の指示がない場合には、再びステップＳ２１からステップＳ８の処理に移行する。
【００５９】
上記のようにして、カウント差分積算値，輝度積算差分値がそれぞれ対応する第１，第２しきい値よりも小さく、そして特定被写体の動きベクトルを検出している間では、書込対象メモリを交互に切り換えながら、順次撮影されるフレームの被写体エリア１９内の輝度データ，各ヒストグラムカウント値，輝度積算値を書き込む。そして、１フレ−ム前に撮影されたフレームを移動前のものとし、今回撮影されたフレ−ムを移動後のものとして検出処理を行い動きベクトルを検出する。これにより、特定被写体をカメラ部３が自動追尾する。
【００６０】
ところで、急激な被写体輝度の変化が生じた場合や、監視カメラ２と特定被写体との間を他の物体が横切ったような場合には、それが撮影されるとカウント差分積算値が第１しきい値以上となり、あるいは輝度積算差分値が第２しきい値以上となる。この場合には、前述のように、ステップＳ１２またはステップＳ１４からステップＳ１５に移行する。
【００６１】
ステップＳ１５では、カウント値Ｆ、すなわち、検出処理を行うのに不適切であると連続的に判断されたフレーム数が所定数（この例では４フレーム）以上であるか否かが判定される。例えば、不適切であると連続的に判断されたフレーム数が所定数よりも小さい場合には、ステップＳ２２でカウント値Ｆを「１」だけインクリメントしてから、ステップＳ９の処理に移行する。そして、イメージセンサ１１で新たな１フレームが撮影されたことが検出されると、ステップＳ１０以降の処理が行われる。
【００６２】
例えば第（Ｎ−１）フレームと、第Ｎフレームのデータに基づいて得られたカウント差分積算値が第１しきい値以上、あるいは輝度積算差分値が第２しきい値以上となった場合では、動きベクトルの検出処理が行われず、またこれにともない架台部４も駆動されない。
【００６３】
そして、新たに撮影された第（Ｎ＋１）フレームが撮影されると、そのデータは、メモリユニット３１の第Ｎフレームのデータに上書きされて、ステップＳ１１以降の処理が行われる。したがって、第（Ｎ−１）フレームと、第（Ｎ＋１）フレームのデータに基づいて得られたカウント差分積算値，輝度積算差分値がそれぞれ対応する第１，第２しきい値よりも小さい場合には、第（Ｎ−１）フレームを移動前とし、第（Ｎ＋１）フレームを移動後として、検出処理が行われる。
【００６４】
このようにして、検出処理を行うのに不適切であると判定された場合には、検出処理
を行わず、また第Ｎフレームのデータを移動前のデータとせずに第（Ｎ−１）フレームのデータを移動前のデータとして維持しつつ、新たに撮影される第（Ｎ＋１）フレームを移動後のフレームとすることにより、検出処理を行うのに不適切な状態を脱した後には、特定被写体を見失うことなく追尾を行うことができる。
【００６５】
もちろん、第（Ｎ−１）フレームと、第（Ｎ＋１）フレームのデータに基づいて得られたカウント差分積算値が第１しきい値以上、あるいは輝度積算差分値が第２しきい値以上となった場合では、再び書込対象メモリの切り換えが行われないから、新たに撮影された第（Ｎ＋２）フレームのデータが、メモリユニット３１の第（Ｎ＋１）フレームのデータに上書きされる。そして、これらのデータを用いてステップＳ１１以降の処理が行われる。
【００６６】
上記のようにして、特定被写体を追尾していくが、ステップＳ１５で検出処理を行うのに不適切であると連続的に判断されたフレーム数が所定数以上と判断された場合には、移動前としてのフレームのデータが古くなり適切な検出処理が行えなくなる。そこで、操作者が撮影を終了させる指示をした場合には撮影を終了し、その指示がない場合にはステップＳ２に移行する（ステップＳ２０）。そして、ステップＳ２に移行した場合には、操作者は、操作部５の操作で追尾すべき被写体を被写体エリア１９内に導入してから、再度自動追尾を指示する。
【００６７】
上記実施形態では、動きベクトルを検出する際に、代表点マッチング方式を用いているが、他の手法を用いてもよい。また、追尾すべき被写体を操作部の操作で被写体エリア内に導入しているが、特定の対象、例えば人物の顔を自動認識させ、その顔を特定被写体とするようにしてもよい。また、自動追尾として撮影方向を変化させているが、被写体輝度を測定するＡＥエリア、ホワイトバランスを調整するための色測定を行うＡＷＢエリア等を対象被写体に追従させて撮影画面内で移動させる場合にも利用できる。
【００６８】
上記実施形態では、動画を撮影するカメラの例について説明したが、本発明は、これに限るものではなく、写真フイルムを用いた写真カメラ、デジタルカメラ、携帯電話等の各種機器に内蔵されたデジタルカメラ等の撮影装置にも適用できる。
【図面の簡単な説明】
【００６９】
【図１】本発明を実施した監視カメラの構成を示すブロック図である。
【図２】検出部の構成を示すブロック図である。
【図３】動きベクトルを検出する代表点マッチングの動作を説明する説明図である。
【図４】自動追尾する際の処理手順を示すフローチャートである。
【図５】各種データをメモリに取り込む処理手順を示すフローチャートである。
【符号の説明】
【００７０】
２  監視カメラ
３  カメラ部
４  架台部
１５ａ  ヒストグラムカウント回路
１５ｂ  輝度積算回路
３１  メモリユニット
３７  書込制御回路
３８  マッチング回路
４１，４２  演算回路
４３  判定回路
【図１】
2009141635.tif 000003
【図２】
2009141635.tif 000004
【図３】
2009141635.tif 000005
【図４】
2009141635.tif 000006
【図５】
2009141635.tif 000007