(57)【要約】【課題】追尾制御に制御遅延がある場合においても、被写体を見失うことなく追尾を続けることが出来るようにすること。【解決手段】ズーム・パン・チルトの少なくともいずれか一つを動作させ、追尾すべき被写体を自動で追尾し撮影する自動追尾装置において、前記追尾被写体を認識する被写体認識手段と、前記被写体認識手段が認識した前記被写体の速度を算出する被写体速度算出手段と、前記被写体認識手段が認識した前記被写体を画面上において留めるべき位置と大きさの目標値を決定する目標値決定手段と、前記被写体認識手段が認識した前記被写体の画面内における位置や大きさと、前記目標値決定手段が決定した目標値と、前記被写体速度算出手段が算出した被写体の速度をもとにズーム・パン・チルトの駆動速度を決定する駆動速度決定手段を有し、前記目標値決定手段および前記駆動速度決定手段の少なくともいずれか一つは、前記被写体の前記自動追尾装置に対する接近・離脱速度によって決定方法を変更することを特徴とする。【選択図】図１
2017098723.tif 000002
【特許請求の範囲】
【請求項１】
ズーム・パン・チルトの少なくともいずれか一つを動作させ、追尾すべき被写体を自動で追尾し撮影する自動追尾装置において、
前記追尾被写体を認識する被写体認識手段と、
前記被写体認識手段が認識した前記被写体の速度を算出する被写体速度算出手段と、
前記被写体認識手段が認識した前記被写体を画面上において留めるべき位置と大きさの目標値を決定する目標値決定手段と、
前記被写体認識手段が認識した前記被写体の画面内における位置や大きさと、前記目標値決定手段が決定した目標値と、前記被写体速度算出手段が算出した被写体の速度をもとにズーム・パン・チルトの駆動速度を決定する駆動速度決定手段を有し、
前記目標値決定手段および前記駆動速度決定手段の少なくともいずれか一つは、前記被写体の前記自動追尾装置に対する接近・離脱速度によって決定方法を変更することを特徴とする自動追尾装置。
【請求項２】
前記駆動速度決定手段は、前記自動追尾装置に対する前記被写体の接近・離脱速度に応じて、ズームの駆動速度を変更することを特徴とする請求項１に記載の自動追尾装置。
【請求項３】
前記目標値決定手段は、前記自動追尾装置に対する前記被写体の接近・離脱速度に応じて、被写体の目標サイズを変更することを特徴とする請求項１又は請求項２に記載の自動追尾装置。
【請求項４】
前記駆動速度決定手段は、前記被写体が所定の範囲内にある場合には駆動を停止する追尾動作禁止領域を有し、前記自動追尾装置に対する前記被写体の接近・離脱速度に応じて、前記追尾動作禁止領域を変更することを特徴とする請求項１乃至請求項３の何れか一項に記載の自動追尾装置。
【請求項５】
前記駆動速度決定手段は、前記自動追尾装置に対する前記被写体の接近・離脱速度に応じて、前記追尾動作禁止領域を画面の中心方向へ移動させることを特徴とする請求項１乃至請求項４の何れか一項に記載の自動追尾装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、追尾対象物を自動で追尾する自動追尾装置に関し、特に追尾対象物の動作に合わせて旋回を行う自動追尾雲台カメラに関する。
【背景技術】
【０００２】
近年、雲台カメラをズーム・パン・チルト制御することで、被写体を自動で追尾する自動追尾雲台カメラシステムが提案されている。特許文献１には、上記のようなシステムにおいて、撮影画面内における被写体の大きさを一定に保つように自動でズーム制御を行う手法が報告されている。また、特許文献２に開示された従来技術では、撮影画面内における被写体の速度があらかじめ設定された基準速度を上回っている場合には、被写体の速度と基準速度が同程度になるまで広角側に自動ズーム制御を行う手法が報告されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３５４６１１７号公報
【特許文献２】特許第４２９３２３６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述の特許文献１に開示された従来技術では、被写体が雲台カメラに接近してきた場合に自動ズーム制御の遅延があると、画面内における被写体のサイズが大きくなり、それに伴い被写体の画面内速度が相対的に速くなってしまうことがある。被写体の画面内における速度が速くなると、雲台が被写体を追い切れず被写体を画面中央に留めておけない上に、画面外に出てしまい見失ってしまう可能性もある。特許文献２に開示された従来技術では、被写体速度に応じてズーム制御を行うため、被写体を見失う虞は少なくなる。
【０００５】
しかし、特許文献１の技術と同様にズーム制御における制御遅延が考慮されていないので、被写体の雲台カメラに接近してきた場合にズーム制御遅延が発生すると、被写体の相対速度の上昇により追尾しきれない可能性がある。また、被写体の速度を基準速度に合わせるようにズーム制御を行うため、被写体の速度が一定でない場合には、画面上における被写体のサイズも不安定となってしまうことがある。
【０００６】
そこで、本発明は、画面上における被写体の大きさを一定に保つ自動ズーム制御を搭載した追尾システムにおいて、ズーム制御に遅延が存在しても自動追尾の追従性への影響を低減し、被写体を見失わずに追尾を可能とすることを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成するために、本発明に係る自動追尾装置は、
ズーム・パン・チルトの少なくともいずれか一つを動作させ、追尾すべき被写体を自動で追尾し撮影する自動追尾装置において、
前記追尾被写体を認識する被写体認識手段と、
前記被写体認識手段が認識した前記被写体の速度を算出する被写体速度算出手段と、
前記被写体認識手段が認識した前記被写体を画面上において留めるべき位置と大きさの目標値を決定する目標値決定手段と、
前記被写体認識手段が認識した前記被写体の画面内における位置や大きさと、前記目標値決定手段が決定した目標値と、前記被写体速度算出手段が算出した被写体の速度をもとにズーム・パン・チルトの駆動速度を決定する駆動速度決定手段を有し、
前記目標値決定手段および前記駆動速度決定手段の少なくともいずれか一つは、前記被写体の前記自動追尾装置に対する接近・離脱速度によって決定方法を変更することを特徴とする。
【発明の効果】
【０００８】
本発明に係る自動追尾カメラの制御装置および自動追尾カメラの制御方法によれば、ズーム制御に遅延が発生しても、被写体を見失うことなく自動追尾を行うことが出来る。
【図面の簡単な説明】
【０００９】
【図１】追尾システムの構成図である。
【図２】追尾対象を認識する領域を示したモニタ画面である。
【図３】実施例における追尾処理全体の流れを示すフローチャートである。
【図４】実施例１における追尾処理のフローチャートである。
【図５】実施例１の手法の効果を示した説明図である。
【図６】実施例２における追尾処理のフローチャートである。
【図７】実施例２の手法の効果を示した説明図である。
【図８】実施例３における追尾システムの構成図である。
【図９】実施例３における追尾処理のフローチャートである。
【図１０】実施例３の手法の効果を示した説明図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１１】
［実施例１］
以下、図１を参照して、本発明の第１の実施例による構成について説明する。
【００１２】
本実施例の追尾システムは、操作機１、雲台１０、カメラ２０、レンズ３０および追尾処理装置４０から構成される。雲台１０は雲台ＣＰＵ１１、追尾処理装置間通信部１２、パン制御部１３ａ、チルト制御部１３ｂ、パンモータ１４ａ、チルトモータ１４ｂ、ズーム制御部１５ａ、フォーカス制御部１５ｂ、カメラ制御部１６から構成される。
【００１３】
被写体追尾時において、雲台１０は、まず追尾処理装置通信部１２で追尾処理装置４０からの操作信号を受信する。受信した操作信号を雲台ＣＰＵ１１が解釈し、操作信号に適した動作を行う。操作信号がパン・チルトの駆動命令であった場合には、パン・チルト制御部１３ａ・ｂを制御することによって、パン・チルトモータ１４ａ・ｂを駆動させる。ズーム・フォーカスの駆動命令であった場合には、ズーム・フォーカス制御部１５ａ・ｂを制御することによって、レンズ３０を駆動させる。各種カメラの制御命令であった場合には、カメラ制御部１６を制御し、カメラ２０を制御する。
【００１４】
非追尾時における雲台制御は、操作器１からの操作信号が、追尾処理装置４０を経由して雲台１０へ送信され、上記と同様の制御が行われる。
【００１５】
追尾処理装置４０は、画像処理部４１、画像処理メモリ４２、画像処理プロセッサ４３、テンプレートメモリ４４、追尾処理装置ＣＰＵ４５、操作器間通信部４６、雲台間通信部４７から構成される。上記の内追尾処理装置ＣＰＵ４５は、被写体認識部４５ａ、被写体速度算出部４５ｂ、目標値決定部４５ｃ、駆動速度決定部４５ｄを機能として含み、これら機能を統括制御している。
【００１６】
追尾処理装置４０は、まずカメラ２０から受信した映像信号を画像処理部４１が１フレームごとの画像データに変換し画像処理メモリ４２に保存する。画像処理プロセッサ４３は、テンプレートメモリ４４に保存されている画像を基準画像とし、画像処理メモリ４２に保存されている画像に対して輝度パターンによるテンプレートマッチングを行うことで、被写体の有無を判定する。画像処理メモリ４２の中の基準画像との類似度が、あらかじめ設定されている被写体認識の閾値THを上回る領域がある場合には、被写体が存在すると判定し、その結果を追尾処理装置ＣＰＵ４５に送る。
【００１７】
一方、画像処理プロセッサ４３は、閾値THを超える領域が存在しない場合には、被写体が存在しないものとし、その結果を追尾処理装置ＣＰＵ４５に送る。追尾処理装置ＣＰＵ４５内の被写体認識部４５ａは、被写体が存在する場合、カメラ２０が撮影する画面内において長方形の形状として認識された被写体領域の4頂点の座標を算出する。そして、これらの抽出した被写体情報を被写体速度算出部４５ｂ、駆動速度決定部４５ｄに送る。
【００１８】
例えば、図２は被写体を認識し追尾中のモニタ画面を示している。この場合には、被写体認識部４５ａは、図２のように被写体と認識している領域の４頂点の座標( X1 , Y1 )、( X1, Y2 ) 、( X2 , Y1 ) 、( X2 , Y2 )を被写体情報として認識する。被写体を追尾制御する手順としては、まず目標値決定部４５ｃが画面内において被写体を追尾すべき位置とサイズを設定する。そして駆動速度決定部４５ｄが、被写体認識部４５ａが認識した被写体位置・サイズが設定された目標値に近づくように雲台１０のパン・チルト駆動速度を決定する。
【００１９】
また、追尾処理装置ＣＰＵ４５は、雲台間通信部４７と追尾処理装置間通信部１２を通じて、雲台ＣＰＵ１１から現在の雲台位置情報を取得することが出来る。この雲台位置情報は、雲台ＣＰＵ１１がパン制御部１３ａ、チルト制御部１３ｂ、ズーム制御部１５ｂからフィードバックを受け、情報を保持しているものである。被写体速度算出部４５ｂは、雲台位置情報と前記画面内における被写体のサイズの変化量から、被写体の雲台１０に対する接近・離脱速度を算出する。本実施例１においては、駆動速度決定部４５ｄは、算出された接近・離脱速度に応じて雲台制御手法を切り替える。
【００２０】
以下に、本実施例における追尾処理装置ＣＰＵ４５の基本処理の流れについて、図３のフローチャートをもとに説明する。
【００２１】
まず、操作器間通信部４６から操作器１による操作命令があるかを判定し（Ｓ１０１）操作命令がある場合には、雲台１０へ操作信号を送信する（Ｓ１０２）。次に、現在追尾中かどうかを判定し（Ｓ１０３）、追尾中でない場合には、追尾を開始するかの判定を行う（Ｓ１０４）。追尾開始条件を満たした場合にはカメラ２０、レンズ３０や雲台１０の位置を初期状態へ移行させる（Ｓ１０５）。追尾中ではなく、追尾開始条件も満たしていない場合には、Ｓ１０１の操作信号の受信処理に戻る。
【００２２】
追尾中であった場合には、追尾処理へ移行する（Ｓ１０６）。最後に、追尾終了の判定を行い（Ｓ１０７）、操作器１から追尾終了命令を受信する、または追尾すべき被写体が画面外に移動してしまった場合のように、追尾終了条件を満たした場合には、追尾停止中へ移行する（Ｓ１０８）。以上のＳ１０１〜Ｓ１０８の処理を繰り返すことで、被写体の追尾動作を行う。
【００２３】
次に、追尾処理Ｓ１０６の詳細について、図４のフローチャートを用いて説明する。はじめに、追尾処理装置ＣＰＵ４５の一部である被写体認識部４５ａは、前述の画像処理プロセッサ４３から被写体情報を受信し、画面内に被写体が存在するか、存在する場合にはその位置を算出する（Ｓ２０１）。次に、受信された被写体の情報から、画面内に被写体が存在するかの判定を行う（Ｓ２０２）。画面内に被写体が存在する場合には、被写体速度算出部４５ｂが被写体の雲台１０に対する接近・離脱速度を算出する（Ｓ２０３）。
【００２４】
そして、駆動速度決定部４５ｄが接近・離脱速度に応じて雲台１０の駆動速度vを決定する（Ｓ２０４）。画面内に被写体が存在しない場合には、追尾終了フラグを立て（Ｓ２０５）、雲台１０を停止させるようにv = 0とする（Ｓ２０６）。最後に、決定した駆動速度で動作するように雲台１０へ操作信号を送信することで、自動追尾動作を行う（Ｓ２０７）。
【００２５】
Ｓ２０４において決定される駆動速度vは、被写体が雲台１０に接近する速度が速いほどにズーム制御のゲインを上げ、被写体のサイズがあらかじめ設定された目標値に対して速やかに収束するように決定される。
【００２６】
以上のように、本実施例においては、被写体が雲台１０に対して接近しているときは、その接近速度に応じてズーム制御速度を決定する制御ゲインを変更する。
【００２７】
図５は本実施例を用いた場合の効果を示している。
【００２８】
被写体が雲台１０に急接近する状況を想定すると、ズーム制御遅延を考慮しない従来の自動ズームでは、図５（ａ）のように画面上における被写体のサイズが点線で示す目標サイズよりも大きくなってしまい、画面上における被写体の速度も上昇してしまう。
【００２９】
しかし、本実施例を適用した場合には、図５（ｂ）のように画面上における被写体の大きさを素早く目標サイズに収束させることが出来るため、被写体の画面上における速度上昇も抑えることが出来る。
【００３０】
このように、被写体が雲台１０に急接近した場合でも、被写体の画面上におけるサイズ変化を抑えることで、被写体の画面上における速度の上昇を低減し、被写体を見失うことなく追尾を続けることが出来る。
【００３１】
本実施例においては、被写体を認識する手法を画像認識としているが、他の認識手段、例えばレーダーを利用した被写体認識等を用いてもよい。また、被写体を認識する領域を長方形としたが、この形状は特に限定されるものではない。さらに、被写体の速度算出を被写体の画面上における大きさと雲台位置情報を用いて行うとしたが、別の手法によって算出してもよい。
【００３２】
また、追尾処理装置４０において、画像処理プロセッサ４３、雲台・操作器間通信部４６・４７と追尾処理装置ＣＰＵ４５を別のものとしているが、ひとつのＣＰＵで処理してもよいし、テンプレートメモリ４４については、ＣＰＵの内蔵メモリを用いてもよい。また、追尾処理装置４０の機能については、雲台１０内部に組み込んでもよいし、雲台ＣＰＵ１１に統合してもよい。
【００３３】
［実施例２］
以下、本発明の第２の実施例について説明する。
【００３４】
構成は図１に示す実施例１と同様である。追尾の基本処理についても図３に示すフローチャートと同様である。ただし、全体フローの中の追尾処理Ｓ１０６における追尾処理装置ＣＰＵ４５の処理が異なるため、実施例２における追尾処理装置ＣＰＵ４５の処理のフローチャートを図６に示す。
【００３５】
本実施例２においては、目標値算出部４５ｃは、被写体速度算出部が算出した接近・離脱速度に応じて雲台制御手法を切り替える。全体のフローは上記実施例１と同様である。
【００３６】
まず、実施例１と同様に被写体認識部４５ａは、被写体の情報を受信するとともに被写体位置を算出し（Ｓ３０１）、被写体が存在するかを判定する（Ｓ３０２）。被写体が存在する場合には、被写体速度算出部４５ｂが、被写体の雲台１０に対する接近・離脱速度を算出する（Ｓ３０３）。
【００３７】
そして、目標値決定部４５ｃは、接近・離脱速度に応じて画面内において被写体を制御すべきサイズの目標値を決定し（Ｓ３０４）、駆動速度決定部４５ｄが雲台１０の駆動速度vを決定する。画面内に被写体が存在しない場合には、追尾終了フラグを立て（Ｓ３０５）、雲台１０を停止させるようにv = 0とする（Ｓ３０６）。
【００３８】
最後に、決定した駆動速度で動作するように雲台１０へ操作信号を送信することで、自動追尾動作を行う（Ｓ３０７）。
【００３９】
Ｓ３０４において決定される目標値は、被写体が雲台１０に接近する速度が速いほどに小さく設定する。
【００４０】
以上のように、本実施例においては、被写体が雲台１０に接近しているときは、その接近速度に応じて被写体を制御すべき目標値を変更する。
【００４１】
図７は本実施例を用いた場合の効果を示している。
【００４２】
被写体が雲台１０に急接近する状況を想定すると、ズーム制御遅延を考慮しない従来の自動ズームでは、図７（ａ）のように画面上における被写体のサイズが点線で示す目標サイズよりも大きくなってしまい、被写体の画面上における速度も上昇してしまう。
【００４３】
しかし、本実施例を適用した場合には、図７（ｂ）のように目標サイズを前もって小さくしておくことで、ズーム制御遅延が発生しても画面上における被写体のサイズを目標サイズと同等に保つことが出来、被写体の画面上における速度上昇も抑えることが出来る。
【００４４】
このように、被写体が雲台１０に急接近した場合でも、被写体の画面上におけるサイズ変化を抑えることで、被写体の画面上における速度の上昇を低減し、被写体を見失うことなく追尾を続けることが出来る。
【００４５】
本実施例の派生するシステムは、実施例１に記載した派生するシステムと同様である。
【００４６】
［実施例３］
以下、本発明の第３の実施例について説明する。
【００４７】
実施例１・２と比較して追尾処理装置ＣＰＵ４５内の機能構成が異なるため、本実施例３の構成を図８に示す。追尾処理装置ＣＰＵ４５内の機能として、追尾動作禁止領域決定部４５ｅが追加されている。追尾の基本処理は図３に示すフローチャートと同様である。ただし、全体フローの中の追尾処理Ｓ１０６における追尾処理装置ＣＰＵ４５の処理が異なるため、実施例３における追尾処理装置ＣＰＵ４５の処理のフローチャートを図９に示す。全体のフローは上記実施例１と同様である。
【００４８】
本実施例３の自動追尾システムにおいては、被写体を撮影する画面内において、追尾動作禁止領域を設ける。追尾動作禁止領域とは、被写体の位置がカメラ２０の撮影する画面内の所定の範囲内にある場合には雲台１０の追尾動作を停止させる領域のことである。追尾動作禁止領域を設けることによって、被写体の微少な位置変化に対して過敏な追尾動作をしてしまうことを防ぎ、ハンチング動作の少ない安定した動作とすることが出来る。
【００４９】
以下に、図９のフローチャートを用いて実施例３における追尾処理装置ＣＰＵ４５の処理の流れを説明する。
【００５０】
まず、実施例１・２と同様に被写体認識部４５ａは、被写体の情報を受信するとともに被写体位置を算出し（Ｓ４０１）、被写体が存在するかを判定する（Ｓ４０２）。被写体が存在する場合には、被写体速度算出部４５ｂは被写体の雲台１０に対する接近・離脱速度を算出する（Ｓ４０３）。そして追尾動作禁止領域決定部４５ｅは、算出された接近・離脱速度に応じて画面内における追尾動作禁止領域を決定し（Ｓ４０４）、駆動速度決定部４５ｄが雲台１０の駆動速度vを決定する（Ｓ４０５）。画面内に被写体が存在しない場合には、追尾終了フラグを立て（Ｓ４０６）、雲台１０を停止させるようにv = 0とする（Ｓ４０７）。
【００５１】
最後に、決定した駆動速度で動作するように雲台１０へ操作信号を送信することで、自動追尾動作を行う（Ｓ４０８）。
【００５２】
Ｓ４０４において決定される追尾動作禁止領域は、被写体が雲台１０に接近する速度が速いほどに小さい範囲に設定する。
【００５３】
以上のように、本実施例においては、被写体が雲台１０に近づいているときは、その接近速度に応じて追尾動作禁止領域を変更する。
【００５４】
図１０は本実施例を用いた場合の効果を示している。
【００５５】
被写体が雲台１０に急接近する状況を想定すると、画面上における被写体のサイズと速度が上昇しているため、追尾動作禁止領域を変化させない従来の手法では図１０ａのように追尾動作開始が遅く、被写体の補足が間に合わなくなってしまう。
【００５６】
しかし、本実施例を適用した場合には、図１０ｂのように被写体の進行方向への動作に敏感に反応することが出来るため、被写体に遅れずに追尾することが出来る。
【００５７】
このように、画面内における被写体の速度が上昇してしまっている状況において、被写体の動きに対して素早く反応し、追尾動作を開始することが出来るようになるため、被写体を見失うことなく追尾を行うことが出来る。
【００５８】
本実施例においては、追尾動作禁止領域を画面中央に設けることを前提としているが、この領域の位置は撮影画面内であればどの位置に設定してもよい。また、本実施例の手法では、接近速度に応じて追尾動作禁止領域の大きさを変化させるとしたが、領域を画面中央以外に設定した場合には、大きさの代わりに領域の位置を画面中央に近づくように変化させることにしてもよい。上記以外の本実施例の派生するシステムは、実施例１に記載した派生するシステムと同様である。
【符号の説明】
【００５９】
１  操作器、１０  雲台、２０  カメラ、３０  レンズ、４０  追尾処理装置
【図１】
2017098723.tif 000003
【図２】
2017098723.tif 000004
【図３】
2017098723.tif 000005
【図４】
2017098723.tif 000006
【図５】
2017098723.tif 000007
【図６】
2017098723.tif 000008
【図７】
2017098723.tif 000009
【図８】
2017098723.tif 000010
【図９】
2017098723.tif 000011
【図１０】
2017098723.tif 000012