(57)【要約】【課題】  自動追尾中にワイパを動作させた場合でも、追尾性能の低下を抑え、より違和感のない追尾動作を実現することを可能にした自動追尾装置を提供すること。【解決手段】  撮影装置と、前記撮影装置の撮影方向を変更する雲台装置と、前記撮影装置の光学面を払拭するワイパと、前記撮影装置及び前記雲台装置の駆動を制御する制御手段と、前記撮影装置で撮影された撮影画像内で被写体を認識する認識手段と、を有し、前記制御手段は、前記ワイパの動作の有無に基づき、被写体を追尾し続けるように、前記雲台装置の駆動を制御する、【選択図】  図１
2015104050.tif 000002
【特許請求の範囲】
【請求項１】
撮影装置と、
前記撮影装置の撮影方向を変更する雲台装置と、
前記撮影装置の光学面を払拭するワイパと、
前記撮影装置及び前記雲台装置の駆動を制御する制御手段と、
前記撮影装置で撮影された撮影画像内で被写体を認識する認識手段と、
を有し、
前記制御手段は、前記ワイパの動作の有無に基づき、被写体を追尾し続けるように、前記雲台装置の駆動を制御する、
ことを特徴とする自動追尾装置。
【請求項２】
前記雲台装置は、チルト、パンの少なくとも一方を動作させる雲台駆動手段を有し、
前記制御手段は、前記ワイパの非動作中は前記被写体の撮影画像内での位置に基づく駆動速度で前記雲台駆動手段を駆動し、前記ワイパの動作中は該駆動速度を変更しない、
ことを特徴とする請求項１に記載の自動追尾装置。
【請求項３】
前記制御手段は、前記ワイパの動作中は、前記認識手段が前記被写体が撮影画像内に存在することを認識するための閾値を、前記ワイパの非動作中の閾値よりも低く設定する、ことを特徴とする請求項１に記載の自動追尾装置。
【請求項４】
前記撮影装置は、ズームレンズを有し、
前記制御手段は、ワイパの動作中は、ズーム位置が所定の閾値より広角側の場合には、被写体を追尾するときの前記雲台装置の駆動速度を変更せず、ズーム位置が前記所定の閾値より望遠側の場合には、前記認識手段が、前記被写体が撮影画像内に存在することを認識するための閾値を、ワイパの非動作中よりも低く設定する、
ことを特徴とする、請求項１又は２に記載の自動追尾装置。
【請求項５】
前記制御手段は、撮影画像内の前記被写体の位置が更新禁止領域内にある場合には被写体を追尾するときの前記雲台装置の駆動速度を変更せず、ワイパの動作中は、前記更新禁止領域をワイパの非動作中よりも狭く設定する、ことを特徴とする請求項１乃至４のいずれか１項に記載の自動追尾装置。
【請求項６】
前記制御手段は、撮影画像内の前記被写体の位置が更新禁止領域内にある場合には被写体を追尾するときの前記雲台装置の駆動速度を変更せず、ワイパの動作中は、前記更新禁止領域をワイパの非動作中の更新禁止領域よりも撮影画像中心側の狭い領域に設定する、ことを特徴とする請求項５に記載の自動追尾装置。
【請求項７】
前記制御手段は、前記ワイパの駆動中を前記ワイパの動作中と判定する、ことを特徴とする請求項１乃至６のいずれか１項に記載の自動追尾装置。
【請求項８】
前記ワイパのワイパブレードの位置検出手段を有し、
前記制御手段は、前記ワイパのワイパブレードが撮影画像内を移動している間、を前記ワイパの動作中と判定する、ことを特徴とする請求項１乃至６のいずれか１項に記載の自動追尾装置。
【請求項９】
前記撮影装置は、ズームレンズを有し、
前記制御手段は、前記ワイパの動作の有無に基づき、被写体を撮影画像内で所定の大きさで撮影し続けるように、前記雲台装置の駆動を制御する、
ことを特徴とする請求項１乃至８のいずれか１項に記載の自動追尾装置。
【請求項１０】
前記制御手段は、前記ワイパの非動作中は撮影画像内の前記被写体の大きさに基づく速度で前記ズームレンズを駆動し、前記ワイパの動作中は該速度を変更しない、
ことを特徴とする請求項９に記載の自動追尾装置。
【請求項１１】
前記認識手段は、パターンマッチング、色相を用いる方法、又は、動体検知による方法により撮影画像内に被写体を認識する、ことを特徴とする請求項１乃至１１のいずれか１項に記載の自動追尾装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は自動追尾装置に関し、特にワイパ機能が付加された自動追尾装置に関するものである。
【背景技術】
【０００２】
従来、ズーム・チルト・パンを動作させることで、特定の被写体を自動で追尾する自動追尾装置が知られている。自動追尾装置は、まず追尾すべき被写体を特定することで自動追尾を開始し、ズーム・チルト・パンを動作させることで、被写体が画面内のある領域にとどまるように制御し続けるものである。自動追尾装置は、屋外でハウジング内に設置され、被写体を該ハウジングのガラス等の透明部材越しで撮影するように構成される場合が有り、そのような構成においてはガラスの表面を払拭するワイパ装置を備えることによって撮影状態を維持している。ここで、自動追尾中にワイパを動作させると、被写体がワイパブレードによって隠されてしまうことによって、一時的に画面に被写体が存在しない状態となり、追尾停止状態となる。このため、被写体が一定の速度で動作していたとしても、一度停止するような違和感のある追尾動作になることに加え、再度被写体の決定処理を行うことによる処理の増大など、追尾性能の低下を招いてしまう。
【０００３】
このように、ワイパ装置を動作させると、ワイパブレードが撮像装置の前面を通過することで、動作前と取得される映像が異なることから、ワイパ動作中は動作前と異なる制御を行うシステムが知られている。例えば、特許文献１では、雨滴センサが降雨を自動で検知していれば自動的にワイパを駆動させるシステムにおいて、ワイパ動作によってワイパブレードを雨滴と誤って検知しないように、ワイパ動作中は映像出力を一時停止する例が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許４４５６４４４号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された従来技術では、ワイパ動作中は映像がフリーズしてしまう。このため、自動追尾装置にこの方法を適用すると、映像が更新されないことに加え、ワイパの動作中は追尾動作を行うことができなくなってしまう。
【０００６】
そこで、本発明の目的は、自動追尾中にワイパを動作させた場合でも、追尾性能の低下を抑え、より違和感のない追尾動作を実現することを可能にした自動追尾装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明による撮影映像中の被写体を自動追尾するための自動追尾装置は、撮影装置と、前記撮影装置の撮影方向を変更する雲台装置と、前記撮影装置の光学面を払拭するワイパと、前記撮影装置及び前記雲台装置の駆動を制御する制御手段と、前記撮影装置で撮影された撮影画像内で被写体を認識する認識手段と、を有し、前記制御手段は、前記ワイパの動作の有無に基づき、被写体を追尾し続けるように、前記雲台装置の駆動を制御する、ことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、自動追尾中にワイパを動作させた場合でも、追尾性能の低下を抑え、より違和感のない追尾動作を実現することを可能にした自動追尾装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例１の概略図である。
【図２】実施例１のブロック図である。
【図３】実施例１の基準画像の例である。
【図４】実施例１の取得映像の例である。
【図５】実施例１の追尾処理装置ＣＰＵの処理のフローチャートである。
【図６】実施例１の追尾処理１のフローチャートである。
【図７】実施例１のワイパ動作中の取得映像の例である。
【図８】実施例１の更新禁止領域の例である。
【図９】実施例２の追尾処理２のフローチャートである。
【図１０】実施例２のワイパ動作中の取得映像の例である。
【図１１】実施例３の追尾処理３のフローチャートである。
【図１２】実施例４の追尾処理４のフローチャートである。
【図１３】実施例４の更新禁止領域の例である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は本発明の実施形態に係る追尾システムの概略図、図２はそのブロック図である。
【実施例１】
【００１１】
以下、図１および図２を参照して、本発明の第１の実施例による構成について説明する。
【００１２】
本実施例の追尾システムは、撮影映像内の被写体を自動追尾するための自動追尾装置である。本実施例の追尾システムは、操作器１、雲台１０、カメラ２０、レンズ３０、追尾処理装置４０およびフロントガラス（光学面）５１とフロントガラスを清掃する（払拭する）ためのワイパブレード５２とワイパブレードを回転させるためのワイパモータ５３とから構成される。
【００１３】
雲台１０は雲台ＣＰＵ１１、追尾処理装置間通信部１２、パン制御部１３ａ、チルト制御部１３ｂ、雲台駆動手段であるパンモータ１４ａ及びチルトモータ１４ｂ、レンズ制御部１５、カメラ制御部１６、ワイパ制御部１７から構成される。
【００１４】
雲台は、まず追尾処理装置間通信部で追尾処理装置からの操作信号を受信する。受信した操作信号を雲台ＣＰＵが解釈し、操作信号に適した動作を行う。操作信号がパン・チルトの駆動命令であった場合には、パン・チルト制御部を制御することによって、パン・チルトモータを駆動させ、撮影する方向を変更する。ズーム・フォーカスの駆動命令であった場合には、レンズ制御部を制御することによって、レンズを駆動させる。各種カメラの制御命令であった場合には、カメラ制御部を制御し、カメラを制御する。ワイパの駆動命令であった場合には、ワイパ制御部を制御することで、ワイパモータを駆動させ、ワイパブレードを回転させる。
【００１５】
追尾処理装置４０は、画像処理部４１、画像処理メモリ４２、画像処理プロセッサ４３、テンプレートメモリ４４、追尾処理装置ＣＰＵ４５、操作器間通信部４６、雲台間通信部４７から構成される。
【００１６】
追尾処理装置４０は、まずカメラ２０から受信した映像信号を画像処理部４１が１フレームごとの画像データに変換し画像処理メモリ４２に保存する。画像処理プロセッサ４３（認識手段）は、テンプレートメモリ４４に保存されている画像を基準画像とし、画像処理メモリ４２に保存されている画像に対してパターンマッチングを行うことで、追尾すべき被写体の有無を判定する。画像処理メモリ４２の中に基準画像との整合の度合いがあらかじめ設定されている被写体認識の閾値THを上回る領域がある場合には、被写体が存在するとし、その重心座標(Xobj, Yobj)を計算し、これらの抽出した被写体情報を追尾処理装置ＣＰＵ４５に送る。一方、閾値THを超えるような領域が存在しない場合には、被写体が存在しないものとし、その結果を追尾処理装置ＣＰＵ４５に送る。
【００１７】
例えば、テンプレートメモリ４４に図３のような画像データが保存されているものとする。その際に、図４（ａ）のような映像が取得された際には、被写体が存在するという情報に加え、被写体の重心座標（Xobj, Yobj）を追尾処理装置ＣＰＵ４５に送信する。一方、図４（ｂ）のような映像が取得された際には、基準画像と一致する領域が無いため、被写体が存在しないという情報を追尾処理装置ＣＰＵ４５に送信する。
【００１８】
以下に、追尾処理装置ＣＰＵ４５の処理の流れについて、図５のフローチャートをもとに説明する。
【００１９】
まず、操作器間通信部４６から操作器１からの操作命令があるかを判定し（Ｓ１１）、操作命令がある場合には、雲台１０へ操作信号を送信する（Ｓ１２）。次に、現在、追尾中かどうかを判定し（Ｓ１３）、追尾中でない場合には、追尾を開始するかの判定を行う（Ｓ１４）。操作器１から追尾開始命令を受信し、かつ追尾被写体を認識した際のように、追尾開始条件を満たした場合には、追尾中に移行する（Ｓ１５）。その後、後述の追尾処理を行う（Ｓ１６）。最後に追尾終了の判定を行い（Ｓ１７）、操作器１から追尾終了命令を受信する、または追尾すべき被写体が画面外に移動してしまった場合のように、追尾終了条件を満たした場合には、追尾停止中へ移行する（Ｓ１８）。以上のＳ１１〜Ｓ１８の処理を繰り返すことで、被写体の追尾動作を行う。
【００２０】
次に、追尾処理Ｓ１６の詳細である追尾処理１について、図６のフローチャートをもとに説明する。追尾処理１は、図７に示すような、ズーム位置を広角にして撮影している場合のように、ワイパを動作させるとワイパブレード５２によって被写体が一時的に画面上に存在しなくなるような状況を想定している。
【００２１】
追尾処理装置ＣＰＵ４５は追尾処理のはじめに、操作器１からのワイパ駆動命令を雲台１０へ送信した時間からの経過時間によって、ワイパが動作中であるか非動作中であるかを判定する（Ｓ２１）。ワイパが動作中で無かった場合には、前述の画像処理プロセッサ４３から被写体情報を受信し、画面内に被写体が存在するか、存在する場合にはその位置情報を受信する（Ｓ２２）。受信された被写体の情報から、画面内に被写体が存在するかの判定を行い（Ｓ２３）、画面内に被写体が存在する場合には、予め設定されている更新禁止領域内かを判定する（Ｓ２４）。被写体の位置が更新禁止領域外の場合は、雲台をパン・チルト動作させる駆動速度ｖの再計算を行い（Ｓ２５）、更新禁止領域内の場合は駆動速度の再計算を行わないようにする。例えば、図８(a)のように、対角の座標が（Xmin, Ymin）及び（Xmax, Ymax）で表される更新禁止領域Ｒに対して被写体位置（Xobj, Yobj）が領域内にある場合には、駆動速度ｖを再計算しない。一方、図８(b)のように、被写体位置が更新禁止領域外の場合には、駆動速度ｖを再計算する。被写体が更新禁止領域内に入るよう、被写体位置Xobjと更新禁止領域の中心(Xmax-Xmin)/2との差が大きいほど、現在の駆動速度ｖとの相対速度の差が大きくなるように駆動速度ｖの値を更新する。また、画面内に被写体が存在しない場合には、雲台１０を停止させるようにv = 0とし、追尾終了条件フラグをＯＮとする（Ｓ２６）。一方、ワイパが動作中であった場合には、上記の駆動速度ｖの再計算を行わず、前回の駆動速度ｖの操作信号を雲台１０へ送信する。このように、ワイパが動作していない場合は、通常の追尾動作を行い、ワイパが動作している場合には、直前の駆動速度のまま一定速で雲台を動作させる。このように、ワイパで被写体認識ができない場合が想定されても、被写体が直前の運動を維持していることを前提として、被写体を撮影画面内に捕捉し続けることを優先する雲台装置、レンズ装置の制御をしている。これにより、ワイパ動作中に追尾制御を停止させるような場合に比べ、被写体が撮影画面内に捕捉できなくなってしまうリスクを低減させている。
【００２２】
上記のように処理を行うことで、ワイパブレード５２に被写体が隠れることにより一時的に被写体が存在しなくなる場合でも、雲台１０が一度停止してしまうような違和感のある動作を防止し、再度、追尾開始処理を行うことなく追尾動作を継続させることができる。
【００２３】
本実施例の派生するシステムとして、上記では被写体の位置情報からパン・チルトを動作させる場合について説明しているが、被写体の撮影画像内での大きさに基づいて求められた速度でズームレンズを駆動し、被写体の大きさを撮影画像内で一定に保つような追尾動作を行ってもよい。また、雲台１０の構成において、追尾処理装置間通信部１２、パン制御部１３ａ、チルト制御部１３ｂ、レンズ制御部１５、カメラ制御部１６、ワイパ制御部１７と雲台ＣＰＵ１１を別のものとしているが、いずれかもしくは全てをひとつのＣＰＵで処理してもよい。同様に、追尾処理装置４０の構成において、画像処理プロセッサ４３、操作器間通信部４６と追尾処理装置ＣＰＵ４５を別のものとしているが、ひとつのＣＰＵで処理してもよいし、テンプレートメモリ４４については、ＣＰＵの内蔵のメモリを使用してもよい。さらに、雲台内部に追尾処理装置の機能を組み込んでもよい。また、実施例では追尾被写体の認識方法にパターンマッチングを用いた例としたが、色相を用いる方法でもよいし、動体検知によるものとしてもよい。さらに、ワイパが動作中かどうかの判定については、ワイパモータ５３を駆動中の場合でもよいし、ワイパ動作開始からの時間から推測される、画面内（撮影画角内）をワイパブレードが遮る場合のみとしてもよい。もしくは、エンコーダやポテンショメータなどの位置検出手段を用いることで、ワイパブレード５２の位置を検出し、画面内（撮影画角内）を遮る位置にある場合のみとしてもよい。
【実施例２】
【００２４】
以下、本発明の第２の実施例について説明する。
【００２５】
構成は図１、２に示した実施例１と同様である。追尾処理装置ＣＰＵの処理の流れは、追尾処理（Ｓ１６）の部分が異なるため、実施例２の追尾処理の詳細である追尾処理２について、図９のフローチャートにもとづいて説明する。追尾処理２は、図１０に示すような、ズーム位置を望遠にして撮影している場合のように、ワイパを動作させるとワイパブレード５２によって画面内が暗く、解像度が落ちることで、被写体の認識が通常時よりも困難になるような状況を想定している。
【００２６】
実施例１と同様に、追尾処理装置ＣＰＵ４５は、ワイパが動作中であるかを判定する（Ｓ２１）。ワイパが動作していない場合には、被写体認識の閾値THを通常の値THNormalとする（Ｓ３２）。一方、ワイパが動作している場合には、THを通常のTHNormalよりも低いTHWiperとする（Ｓ３１）。すなわち、ワイパの動作中の被写体認識の閾値THWiperをワイパの非動作中の閾値THNormalよりも低く設定し、ワイパの動作中はワイパの非動作中に対してより容易に被写体として認識することを可能とする設定とする。こうして決定したTHを画像処理プロセッサ４３に設定し（Ｓ３３）、被写体の認識処理を行わせた後、実施例１と同様の被写体情報を受信する（Ｓ２２）。以下、Ｓ２３〜Ｓ２７は実施例１と同様である。
【００２７】
上記のような処理を行うことで、ワイパブレード５２が前面を通過することによって、映像の解像度が低下する場合でも、雲台１０が一度停止してしまうような違和感のある動作を防止し、再度、追尾開始処理を行うことなく追尾動作を継続させることができる。
【００２８】
また、このように、ワイパで被写体認識ができない場合が想定されても、被写体が直前の運動を維持しているであろうことを前提として、被写体を撮影画面内に捕捉し続けることを優先する雲台装置、レンズ装置の制御をしている。これにより、ワイパ動作中に追尾制御を停止させるような場合に比べ、被写体が撮影画面内に捕捉できなくなってしまうリスクを低減させている。
【実施例３】
【００２９】
以下、本発明の第３の実施例について説明する。
【００３０】
構成は図１、２に示した実施例１と同様である。追尾処理装置ＣＰＵ４５の処理の流れは、追尾処理（Ｓ１６）の部分が異なるため、実施例３の追尾処理の詳細である追尾処理３について、図１１のフローチャートにもとづいて説明する。
【００３１】
追尾処理装置のＣＰＵは、まず、雲台１０から現在のズーム位置Zcurrentを取得する（Ｓ４１）。次に、Zcurrentと予め設定されている所定の閾値Zthを比較し（Ｓ４２）、現在のズーム位置Zcurrentが閾値Zthよりも広角側（Zcurrent＜Zth）の場合には、実施例１に記載の追尾処理１を行う（Ｓ４３）。すなわち、ワイパ動作中は雲台の駆動速度を更新（変更）せず、ワイパの非動作中のみ被写体が更新禁止領域内にない場合に雲台の駆動速度を再計算し更新する処理を実施する。現在のズーム位置Zcurrentが閾値Zthよりも望遠側（Zcurrent≧Zth）の場合には、実施例２に記載の追尾処理２を行う（Ｓ４４）。すなわち、すなわち、ワイパの動作中の被写体認識の閾値THWiperをワイパの非動作中の閾値THNormalよりも低く設定し、ワイパの動作中はワイパの非動作中に対してより容易に被写体として認識することを可能とする設定とする。
【００３２】
ズーム位置が広角側である場合は、図７に示すように被写体がワイパブレードで隠されてしまい、撮影画像から被写体を認識することができなくなる傾向が強い。また、ズーム位置が望遠側である場合は、ワイパブレードの動作中には図４に示すようにワイパブレードによって画面内が暗くなりコントラストが低下するので、パターンマッチング等の画像処理による被写体の認識がしにくくなる傾向がある。本実施例においては、ズーム位置の閾値に対し望遠側か又は広角側かに応じて、適切な被写体追尾処理を実行可能とする。上記のような処理を行うことで、ワイパブレード５２が前面を通過することによる映像の変化に合わせた動作を行うことができ、ワイパを動作させた際にも、より精度の高い効果的な追尾動作を継続することができる。
【００３３】
本実施例の派生するシステムとして、上記では、ズーム位置についてのみを記述しているが、フォーカス位置についても考慮してもよい。また、上記では閾値Zthを１つとしたが、複数もってもよいし、Zcurrentの値によって、処理２のTHWiperの値を変更するようにしてもよい。また、Zthは外部から変更できるようにしてもよい。
【実施例４】
【００３４】
以下、本発明の第４の実施例について説明する。
【００３５】
構成は図１、２に示した実施例１と同様である。追尾処理装置ＣＰＵ４５の処理の流れは、追尾処理（Ｓ１６）の部分が異なるため、実施例４の追尾処理の詳細である追尾処理４について、図１２のフローチャートにもとづいて説明する。
【００３６】
実施例１と同様に、追尾処理装置ＣＰＵ４５は、ワイパが動作中であるかを判定する（Ｓ２１）。ワイパが動作していない場合には、図１３(a)のように更新禁止領域Rを通常の領域RNormalとする（Ｓ５２）。一方、ワイパが動作している場合には、図１３(b)のように更新禁止領域Rを通常のRNormalよりも撮影画像中心側に狭めたRWiperとする（Ｓ５１）。以下、Ｓ２２〜Ｓ２７は実施例１と同様である。
【００３７】
このように、ワイパ動作中は被写体をより画面（撮影映像内）の中心に近づけておくという、画面内で被写体を捕捉し続けることを優先させた制御を実施することで、被写体の速度が急変しても画面外に出てしまうリスクを低減させることができる。
【００３８】
また、ワイパの動作中の更新禁止領域RWiperを、ワイパの非動作中の更新禁止領域RNormalよりも撮影画像中心側に狭めた領域としたが、本発明はこれに限定されることはない。被写体の、予測される速度の変化する方向が既知である場合は、撮影画面から被写体を逸脱させることなく、より確実に撮影画面内で被写体を追尾し続けるために、更新禁止領域の中心位置を画面中心以外のより適切な位置に設定しても良い。例えば、右から左へある速度で移動中の被写体が急減速する可能性がある場合は、予め更新禁止領域を撮影画面内の中心より左側に設定しておくことで、被写体が急減速してそれに応じて後からパン速度を変更して追尾する場合でも撮影画面から被写体を逸脱させにくくなる。
【００３９】
本実施例の派生するシステムとして、上記では、ワイパ動作中の更新禁止領域RWiperを一定としているが、ワイパの位置によって、変化させてもよい。更新禁止領域RNormalおよびRWiperの値は、固定値としてもよいし、外部から変更可能としてもよい。
【００４０】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４１】
１０  雲台
２０  カメラ
３０  レンズ
４０  追尾処理装置
５１  フロントガラス（光学面）
５２  ワイパブレード
５３  ワイパモータ
【図１】
2015104050.tif 000003
【図２】
2015104050.tif 000004
【図３】
2015104050.tif 000005
【図４】
2015104050.tif 000006
【図５】
2015104050.tif 000007
【図６】
2015104050.tif 000008
【図７】
2015104050.tif 000009
【図８】
2015104050.tif 000010
【図９】
2015104050.tif 000011
【図１０】
2015104050.tif 000012
【図１１】
2015104050.tif 000013
【図１２】
2015104050.tif 000014
【図１３】
2015104050.tif 000015