(57)【要約】【課題】周辺が暗い状況においても被写体を認識し自動追尾動作を継続することを可能にした自動追尾装置を提供すること。【解決手段】ズーム・チルト・パンの少なくともいずれか一つを動作させ、追尾すべき被写体を自動で追尾する自動追尾装置において、周囲の明るさを検出する光量検出手段と、赤外カットフィルタを挿抜する手段と、テンプレートを保存する手段と、取得映像のあるサーチ領域の中からテンプレートと合致する領域があるかを判別する被写体判別手段を有し、追尾動作を開始する際に、前記光量検出手段により取得された明るさがあらかじめ設計された閾値以下であった場合には、前記赤外カットフィルタを抜き出し、前記被写体判別手段が被写体を捕捉した際には、前記被写体判別手段が被写体の判別を休止すると同時に、前記赤外カットフィルタを挿入するように動作させ、前記赤外カットフィルタの挿入が完了した後に、被写体の判別を再開することを特徴とする。【選択図】図１
2017069884.tif 000002
【特許請求の範囲】
【請求項１】
ズーム・チルト・パンの少なくともいずれか一つを動作させ、追尾すべき被写体を自動で追尾する自動追尾装置において、
周囲の明るさを検出する光量検出手段と、
赤外カットフィルタを挿抜する手段と、
テンプレートを保存する手段と、
取得映像のあるサーチ領域の中からテンプレートと合致する領域があるかを判別する被写体判別手段を有し、
追尾動作を開始する際に、前記光量検出手段により取得された明るさがあらかじめ設定された閾値以下であった場合には、前記赤外カットフィルタを抜き出し、前記被写体判別手段が被写体を捕捉した際には、前記被写体判別手段が被写体の判別を休止すると同時に、前記赤外カットフィルタを挿入するように動作させ、前記赤外カットフィルタの挿入が完了した後に、被写体の判別を再開することを特徴とする自動追尾装置。
【請求項２】
前記追尾装置は、前記赤外カットフィルタの状態の変化に応じて、前記テンプレートの輝度を補正する補正手段を有し、前記被写体の判別を再開する際には、前記補正手段によって補正されたテンプレートを使用することを特徴とする請求項１に記載の自動追尾装置。
【請求項３】
前記追尾装置は、前記被写体判別を行う領域である被写体サーチ領域を設定する被写体サーチ領域設定手段を有し、前記被写体の判別を再開する際には、前記被写体サーチ領域を通常時よりも大きく設定することを特徴とする請求項１又は請求項２に記載の自動追尾装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動追尾装置に関し、特に赤外カットフィルタの挿抜機能が付加された自動追尾装置に関する。
【背景技術】
【０００２】
従来、ズーム・チルト・パンを動作させることで、特定の被写体を自動で追尾する自動追尾装置が知られている。自動追尾装置は、まず追尾すべき被写体を認識することで自動追尾を開始し、被写体が画面内のある領域もしくは大きさにとどまるようにズーム・チルト・パンを制御するものである。
【０００３】
特許文献１には、画面内のある領域において、あらかじめ保存されているテンプレートと比較し、類似率が閾値以上である場合には、被写体と認識し自動追尾動作を行う例が開示されている。特許文献２には、追尾中の目標から過大光が照射された場合においても、フィルタを切り替えることで光量を調節し、追尾を継続することができる例が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第０４７４５７６９号公報
【特許文献２】特開平１１−２９５４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された従来技術では、夜間のような暗い状況においては、光量が足らず被写体を認識することができないため、自動追尾動作を開始することができない。特許文献２に開示された従来技術では、フィルタを切り替えることで光量を調節することはできるが、切り替えの最中や前後で映像が大きく変化するため、被写体とテンプレートの類似率が閾値以下となってしまい、追尾を継続することができないことがある。
【０００６】
そこで、本発明の目的は、夜間等の周辺が暗い状況においても被写体を認識し自動追尾動作を継続することを可能にした自動追尾装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明に係る自動追尾装置は、
ズーム・チルト・パンの少なくともいずれか一つを動作させ、追尾すべき被写体を自動で追尾する自動追尾装置において、周囲の明るさを検出する光量検出手段と、赤外カットフィルタを挿抜する手段と、テンプレートを保存する手段と、取得映像のあるサーチ領域の中からテンプレートと合致する領域があるかを判別する被写体判別手段を有し、追尾動作を開始する際に、前記光量検出手段により取得された明るさがあらかじめ設計された閾値以下であった場合には、前記赤外カットフィルタを抜き出し、前記被写体判別手段が被写体を捕捉した際には、前記被写体判別手段が被写体の判別を休止すると同時に、前記赤外カットフィルタを挿入するように動作させ、前記赤外カットフィルタの挿入が完了した後に、被写体の判別を再開することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、周辺が暗い状況においても被写体を認識し自動追尾動作を継続することを可能にした自動追尾装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例１のブロック図である。
【図２】実施例１のレンズ側からカメラを見た際の図である。
【図３】実施例１の基準画像の例である。
【図４】実施例１の取得映像の例である。
【図５】実施例１の追尾処理ＣＰＵの処理のフローチャートである。
【図６】実施例１の追尾開始処理のフローチャートである。
【図７】実施例１の追尾処理のフローチャートである。
【図８】実施例１の追尾動作禁止領域の例である。
【図９】実施例２の追尾開始処理のフローチャートである。
【図１０】実施例２の被写体サーチ領域の例である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１１】
以下、図１を参照して、本発明の第１の実施例による構成について説明する。
【００１２】
図１は本発明の実施形態にかかわる追尾システムのブロック図である。
【００１３】
本実施例の追尾システムは、操作器１、雲台１０、カメラ２０、レンズ３０および追尾処理装置４０から構成される。
【００１４】
雲台１０は雲台ＣＰＵ１１、追尾処理装置間通信部１２、パン制御部１３ａ、チルト制御部１３ｂ、パンモータ１４ａ、チルトモータ１４ｂ、レンズ制御部１５、カメラ制御部１６から構成される。
【００１５】
雲台は、まず追尾処理装置間通信部で追尾処理装置からの操作信号を受信する。受信した操作信号を雲台ＣＰＵが解釈し、操作信号に適した動作を行う。操作信号がパン・チルトの駆動命令であった場合には、パン・チルト制御部を制御することによって、パン・チルトモータを駆動させる。ズーム・フォーカスの駆動命令であった場合には、レンズ制御部を制御することによって、レンズを駆動させる。各種カメラの制御命令であった場合には、カメラ制御部を制御し、カメラを制御する。
【００１６】
追尾処理装置４０は、画像処理部４１、画像処理メモリ４２、画像処理プロセッサ４３、テンプレートメモリ４４、追尾処理装置ＣＰＵ４５、操作器間通信部４６、雲台間通信部４７から構成される。
【００１７】
追尾処理装置は、まずカメラから受信した映像信号を画像処理部が１フレームごとの画像データに変換し画像処理メモリに保存する。画像処理プロセッサは、テンプレートメモリに保存されている画像を基準画像とし、画像処理メモリに保存されている画像に対して輝度パターンによるテンプレートマッチングを行うことで、被写体の有無を判定する。画像処理メモリの中に基準画像との類似度が、あらかじめ設定されている被写体認識の閾値THを上回る領域がある場合には、被写体が存在すると判定する。被写体が存在する場合には、その画面内における被写体の重心座標(Xobj, Yobj)を計算し、これらの抽出した被写体情報を追尾処理装置ＣＰＵに送る。一方、閾値THを超える領域が存在しない場合には、被写体が存在しないものとし、その結果を追尾処理装置ＣＰＵに送る。
【００１８】
例えば、追尾の初期段階で使用する基準画像としてテンプレートメモリに図２のような画像データが保存されているものとする。その際に、図３(a)のような映像が取得された際には、被写体が存在するという情報に加え、画面内における被写体の重心座標（Xobj, Yobj）を追尾処理装置ＣＰＵに送信する。一方、図３(b)のような映像が取得された際には、基準画像と一致する領域が無いため、被写体が存在しないという情報を追尾処理装置ＣＰＵに送信する。
【００１９】
また、図４に、レンズ側からカメラ内部の撮像素子２１をみた場合の概略図を示す。
【００２０】
カメラはレンズと撮像素子の間に赤外カットフィルタユニット２２が構成されており、通常のカラー撮影時には図４(a)のように、撮像素子の前に赤外カットフィルタ２２１が挿入されている状態にしておく（IR ON）。一方、夜間等の暗い状況を撮影する際には、図４(b)のように、赤外カットフィルタを抜き、かわりに赤外カットフィルタと屈折率が等しいダミーガラス２２２が挿入されている状態とする（IR OFF）。赤外カットフィルタが抜かれると、赤外領域も受光することで感度を上げることができる反面、色を再現することができなくなるため、IR OFF状態へ移行する際には、フィルタを抜くと同時に、カメラは自動で出力映像を白黒にする。
【００２１】
以下に、追尾処理装置ＣＰＵの処理の流れについて、図５のフローチャートをもとに説明する。
【００２２】
まず、操作器間通信部から操作器からの操作命令があるかを判定し（Ｓ１１）、操作命令がある場合には、雲台へ操作信号を送信する（Ｓ１２）。次に、現在追尾中かどうかを判定し（Ｓ１３）、追尾中でない場合には、追尾を開始するかの判定を行う（Ｓ１４）。操作器から追尾開始命令を受信した際のように、追尾開始条件を満たした場合には、後述の追尾開始処理を行う（Ｓ１５）。追尾中ではなく、追尾開始条件も満たしていない場合には、Ｓ１１の操作信号の受信処理に戻る。追尾中であった場合には、後述の追尾処理を行う（Ｓ１６）。最後に追尾終了の判定を行い（Ｓ１７）、操作器から追尾終了命令を受信する、または追尾すべき被写体が画面外に移動してしまった場合のように、追尾終了条件を満たした場合には、追尾停止中へ移行する（Ｓ１８）。以上のＳ１１〜Ｓ１８の処理を繰り返すことで、被写体の追尾動作を行う。
【００２３】
次に、追尾開始処理Ｓ１５の詳細について、図６のフローチャートをもとに説明する。
【００２４】
追尾処理装置ＣＰＵは追尾開始処理のはじめに、雲台のパン・チルト位置およびカメラの状態が初期状態になるように、雲台へ動作コマンドを送信する（Ｓ２１）。初期状態へ移行したら、アイリスやカメラのゲインなどの情報から現在撮影している映像の明るさを算出する（Ｓ２２）。算出された明るさをあらかじめ登録されている閾値と比較し（Ｓ２３）、明るさが閾値以下であった場合にはIR OFF、そうでなければIR ON状態にする指令を雲台に送信する（Ｓ２４、Ｓ２５）。その後、前述の画像処理プロセッサから被写体情報を受信し、画面内に被写体が存在するかを判別する（Ｓ２６）。被写体が存在した場合には、IR ON状態へ移行させ（Ｓ２７）、赤外カットフィルタの挿入が完了するまで待つ（Ｓ２８）。フィルタの切り替えが終了した場合には、テンプレートを更新する（Ｓ２９）。更新するテンプレートは、Ｓ２５において赤外カットフィルタが切り替わっていない場合には、Ｓ２４で認識した被写体の画像とする。一方、赤外カットフィルタが切り替わった場合には、Ｓ２４で認識した被写体に対して、赤外カットフィルタの分だけ輝度を下げた画像とする。
【００２５】
次に、追尾処理Ｓ１６の詳細について、図７のフローチャートをもとに説明する。
【００２６】
追尾処理装置ＣＰＵは追尾処理のはじめに、前述の画像処理プロセッサから被写体情報を受信し、画面内に被写体が存在するか、存在する場合にはその位置情報を受信する（Ｓ３１）。受信された被写体の情報から、画面内に被写体が存在するかの判定を行い（Ｓ３２）、画面内に被写体が存在する場合には、テンプレート画像を更新した後（Ｓ３３）、予め設定されている追尾動作禁止領域内かを判定する（Ｓ３４）。
【００２７】
被写体の位置が追尾動作禁止領域外の場合は、雲台をパン・チルト動作させる速度vの再計算を行い（Ｓ３５）、領域内の場合は速度の再計算を行わないようにする。例えば、図８(a)のように、追尾動作禁止領域Ｒ（Xmin, Xmax, Ymin, Ymax）に対して被写体位置（Xobj, Yobj）が内側にある場合には、速度ｖの再計算を行わない。
【００２８】
一方、図８(b)のように、被写体位置が追尾動作禁止領域外の場合には、速度ｖの再計算を行う。被写体が追尾動作禁止領域内に入るよう、被写体位置Xobjと追尾動作禁止領域の中心(Xmax-Xmin)/2との差が大きいほど、現在の速度ｖとの相対速度の差が大きくなるように速度ｖの値を更新する。また、画面内に被写体が存在しない場合には、雲台を停止させるようにv = 0とし、追尾終了条件フラグをＯＮとする（Ｓ３６）。決定した速度で動作するように雲台へ操作信号を送信することで、自動追尾動作を行う（Ｓ３７）。
【００２９】
以上のように、追尾開始から最初に被写体を認識するまでの間は、赤外カットフィルタを抜きだし、白黒映像ではあるが輝度が高い状態にしておく。これは、追尾開始時の被写体認識はあらかじめ登録された初期のテンプレートと比較を行うことから被写体との差異が大きく認識の難易度が高いため、より被写体認識が容易になるようにするためである。
【００３０】
一方、自動追尾中のテンプレートは初期状態のテンプレートではなく、一度被写体を認識し、更新されたテンプレートであるため、認識の難易度は下がり、輝度が低い状態でも認識可能であるため、カラー映像にしておく。こうすることで、夜間等の暗い状況においても被写体の認識率を向上し自動追尾を開始することができ、かつ追尾中の映像はカラー映像で取得することが可能となる。また、フィルタの切り替え中は被写体認識を休止し、再開時にフィルタが切り替わったことによる輝度の調整を行うことで、フィルタを切り替えることによる映像の変化を補正し、追尾不能となることなく自動追尾を継続することができる。
【００３１】
本実施例の派生するシステムとして、上記では被写体の位置情報からパン・チルトを動作させる場合について説明しているが、被写体の大きさ情報からズームを動作させ、被写体の大きさを一定に保つような追尾動作を行ってもよい。
【００３２】
また、雲台の構成において、操作信号受信部、パン・チルト制御部、レンズ制御部、カメラ制御部と雲台ＣＰＵを別のものとしているが、いずれかもしくは全てをひとつのＣＰＵで処理してもよい。
【００３３】
同様に、追尾処理装置の構成において、画像処理プロセッサ、操作信号送信部と追尾処理装置ＣＰＵを別のものとしているが、ひとつのＣＰＵで処理してもよいし、テンプレートメモリについては、ＣＰＵの内蔵のメモリを使用してもよい。
【００３４】
さらに、雲台内部に追尾処理装置の機能を組み込んでもよい。
【００３５】
また、実施例では追尾すべき被写体の認識方法に輝度パターンによるテンプレートマッチングのみを用いた例としたが、移動体を検出することで被写体認識を行う手法と組み合わせてもよい。
【００３６】
また、カラー映像にした際の認識方法には、色相による判別手法を組み合わせてもよい。被写体認識の閾値THは固定としたが、赤外カットフィルタの挿抜前後等で値を変更してもよい。
【実施例２】
【００３７】
以下、本発明の第２の実施例について説明する。構成および追尾処理装置ＣＰＵの処理は、図１および図５に示す実施例１と同様である。ただし、追尾処理装置ＣＰＵの処理の中でＳ１５追尾開始処理の一部が異なるため、実施例２の追尾開始処理のフローチャートを図９に示す。
【００３８】
図９は図６に記載されている実施例１のフローチャートと比較し、Ｓ４１〜Ｓ４４の処理が追加されている。
【００３９】
まず、実施例１と同様にＳ２１〜Ｓ２５までの処理を行い、周囲の明るさに応じて赤外カットフィルタの状態を設定しておく。次に、Ｓ２６において被写体が存在するかを判定するための判定領域を設定する（Ｓ４１）。
【００４０】
図１０（ａ）に示すように、画面内のある領域を被写体サーチ領域Ａ１として設定し、Ｓ２６においてはその範囲内のみ被写体が存在するかの判定を行うことで、追尾処理装置ＣＰＵの処理を軽減する。その後、実施例１と同様にＳ２６〜Ｓ２９までの処理を行い、被写体を認識した際には、赤外カットフィルタを挿入し、輝度分を考慮したテンプレートに更新する。その後、被写体サーチ領域を図１０（ｂ）に示すようなＡ２に設定し（Ｓ４２）、被写体のサーチを行う（Ｓ４３）。その後、被写体サーチ領域を図１０（ｃ）に示すようなＡ３に設定し（Ｓ４４）その後の追尾動作を行う。
【００４１】
被写体のサーチとテンプレートの更新は処理の負荷が大きいため、追尾中の被写体サーチ領域Ａ３はなるべく小さい方が良い。追尾中は常に被写体をサーチしているため、画面内の被写体の位置が大きく変更される可能性はないため、被写体サーチ領域Ａ３は、被写体の速度変化の度合いや大きさに依存はするが、小さくすることが可能である。
【００４２】
一方、被写体サーチ領域Ａ２は、Ｓ２６赤外カットフィルタの切り替え待ち中に被写体が移動している可能性があるため、Ａ３よりも大きくしておく必要がある。また、被写体サーチ領域Ａ１は小さく設定しすぎると被写体が画面内を通過しても、被写体と認識することができず、追尾が開始されないため、Ａ３よりも大きく設定することが望ましい。
【００４３】
上記のとおりＡ２は赤外カットフィルタの切り替え時間やその際の被写体の速度に依存し、Ａ３は追尾を開始すべき状態に依存することから、Ａ２とＡ３の大きさの関係はシステムに依存し、どちらも使用状況に応じて最適な値に設定することが望ましい。
【００４４】
以上のように、赤外カットフィルタ切り替え中の被写体認識休止から再開した際は、通常の追尾時よりも被写体サーチ領域を大きくしておくことで、被写体に速度変化があるような状況でも、被写体を見失うことなく追尾を再開することができる。
【００４５】
本実施例の派生するシステムは、実施例１に記載した派生するシステムと同様である。さらに、上記の被写体サーチ領域の大きさを変更することに加えて、Ｓ２４において被写体の移動ベクトルを認識し、再開時には、被写体サーチ領域の中心座標を変更する処理を加えてもよい。
【００４６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４７】
１  操作器、１０  雲台、２０  カメラ、２２  赤外カットフィルタユニット、
２２１  赤外カットフィルタ、２２２  ダミーガラス、３０  レンズ、
４０  追尾処理装置
【図１】
2017069884.tif 000003
【図２】
2017069884.tif 000004
【図３】
2017069884.tif 000005
【図４】
2017069884.tif 000006
【図５】
2017069884.tif 000007
【図６】
2017069884.tif 000008
【図７】
2017069884.tif 000009
【図８】
2017069884.tif 000010
【図９】
2017069884.tif 000011
【図１０】
2017069884.tif 000012