(57)【要約】【課題】  大きな映像変化をさせることなく所定の目標位置で追尾し、追尾中において追尾対象を識別する画像認識が不安定となった場合でも安定した追尾動作を行うことを可能とする。【解決手段】  自動追尾撮影システムは、被写体を撮影する撮影装置、撮影装置の撮影方向を変更する駆動手段、撮影装置による撮影画像内の追尾被写体を認識する認識手段、撮影画像内における追尾被写体の位置と撮影画像内の目標位置との差分に基づき駆動手段の速度を制御する制御手段を備え、制御手段は、認識手段が追尾被写体を最初に認識した後追尾被写体が撮影画像内の所定位置に到達するまでは初期モードで駆動手段の速度を制御し、追尾被写体が所定位置に到達した後は通常モードで駆動手段の速度を制御し、制御手段は、通常モードにおいて差分に基づいて駆動手段の速度を求める際のゲインが、初期モードのゲインよりも大きくなるように、駆動手段の速度を制御する。【選択図】  図１
2014143681.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影する撮影装置と、該撮影装置の撮影方向を変更する駆動手段と、前記撮影装置による撮影画像内の追尾被写体を認識する認識手段と、前記撮影画像内における前記追尾被写体の位置と前記撮影画像内の目標位置との差分に基づいて前記駆動手段の速度を制御する制御手段と、を備える自動追尾撮影システムであって、
前記制御手段は、前記認識手段が前記追尾被写体を最初に認識した後、前記追尾被写体が前記撮影画像内の所定位置に到達するまでは初期モードで前記駆動手段の速度を制御し、前記追尾被写体が前記所定位置に到達した後は通常モードで前記駆動手段の速度を制御しており、 
前記制御手段は、前記通常モードにおいて前記差分に基づいて前記駆動手段の速度を求める際のゲインが、前記初期モードのゲインよりも大きくなるように、前記駆動手段の速度を制御する、
ことを特徴とする自動追尾撮影システム。 
【請求項２】
前記制御手段は、前記撮影画像内における前記追尾被写体の位置と前記撮影画像内の前記目標位置との差分が大きいほど、前記初期モードでは遅く、前記通常モードでは速くなるように、前記駆動手段の速度を決定する、ことを特徴とする、請求項１に記載の自動追尾撮影システム。
【請求項３】
前記制御手段が使用する前記目標位置を算出する目標算出手段を有し、
前記目標算出手段は、前記初期モードでは前記目標位置を更新し、前記通常モードではあらかじめ設定された前記目標位置とする、
ことを特徴とする請求項１又は２に記載の自動追尾撮影システム。
【請求項４】
前記目標算出手段は、前記初期モードでは、前記追尾被写体を最初に撮影画像内で認識した位置と前記通常モードで使用する目標位置をもとに、目標位置を算出することを特徴とする請求項３に記載の自動追尾撮影システム。
【請求項５】
前記追尾被写体の移動速度を算出する移動速度算出手段を有し、
前記目標算出手段は、前記移動速度算出手段で算出される前記追尾被写体の移動速度をもとに目標位置を算出する、
ことを特徴とする請求項３又は４に記載の自動追尾撮影システム。
【請求項６】
前記撮影装置は、ズーム光学系を含み、
前記制御手段は、前記初期モードではズーム速度をゼロとし、前記通常モードでは前記追尾被写体の撮影画像内での大きさが一定になるようにズーム速度を決定する、
ことを特徴とする請求項１乃至５のいずれか１項に記載の自動追尾撮影システム。
【請求項７】
前記撮影装置は、ズーム光学系を含み、
前記制御手段は、前記初期モードでは前記追尾被写体を撮影画像内で認識した際の大きさを維持するようにズーム速度を決定し、前記通常モードでは撮影画像内で所定の大きさを維持するようにズーム速度を決定する、
ことを特徴とする請求項１乃至５のいずれか１項に記載の自動追尾撮影システム。
【請求項８】
被写体を撮影する撮影装置と、該撮影装置の撮影方向を変更する駆動手段と、前記撮影装置による撮影画像内の追尾被写体を認識する認識手段と、前記撮影画像内における前記追尾被写体の位置と前記撮影画像内の目標位置との差分に基づいて前記駆動手段の速度を制御する制御手段と、を備える自動追尾撮影システムであって、
前記制御手段は、前記認識手段が前記追尾被写体を最初に認識した後、前記追尾被写体が前記撮影画像内の所定位置に到達するまでは初期モードで前記駆動手段の速度を制御し、前記追尾被写体が前記所定位置に到達した後は通常モードで前記駆動手段の速度を制御しており、
前記制御手段は、前記追尾被写体の位置が同じ場合、前記通常モードにおける前記駆動手段の速度よりも、前記初期モードにおける前記駆動手段の速度の方が遅い、
ことを特徴とする自動追尾撮影システム。
【請求項９】
前記速度決定手段は、前記初期モードは前記通常モードよりも、前記駆動手段の駆動速度を算出する際のゲインが低い、ことを特徴とする請求項８に記載の自動追尾撮影システム。
【請求項１０】
前記制御手段は、前記撮影画像内における前記追尾被写体の位置と前記撮影画像内の前記目標位置との差分が大きいほど、前記初期モードでは遅く、前記通常モードでは速くなるように、前記駆動手段の速度を決定する、ことを特徴とする、請求項８又は９に記載の自動追尾撮影システム。
【請求項１１】
前記制御手段が使用する前記目標位置を算出する目標算出手段を有し、
前記目標算出手段は、前記初期モードでは前記目標位置を更新し、前記通常モードではあらかじめ設定された前記目標位置とする、
ことを特徴とする請求項８乃至１０のいずれか１項に記載の自動追尾撮影システム。
【請求項１２】
前記目標算出手段は、前記初期モードでは、前記追尾被写体を最初に撮影画像内で認識した位置と前記通常モードで使用する目標位置をもとに、目標位置を算出することを特徴とする請求項１１に記載の自動追尾撮影システム。
【請求項１３】
前記追尾被写体の移動速度を算出する移動速度算出手段を有し、
前記目標算出手段は、前記移動速度算出手段で算出される前記追尾被写体の移動速度をもとに目標位置を算出する、
ことを特徴とする請求項１１又は１２に記載の自動追尾撮影システム。
【請求項１４】
前記撮影装置は、ズーム光学系を含み、
前記制御手段は、前記初期モードではズーム速度をゼロとし、前記通常モードでは前記追尾被写体の撮影画像内での大きさが一定になるようにズーム速度を決定する、
ことを特徴とする請求項８乃至１３のいずれか１項に記載の自動追尾撮影システム。
【請求項１５】
前記撮影装置は、ズーム光学系を含み、
前記制御手段は、前記初期モードでは前記追尾被写体を撮影画像内で認識した際の大きさを維持するようにズーム速度を決定し、前記通常モードでは撮影画像内で所定の大きさを維持するようにズーム速度を決定する、
ことを特徴とする請求項８乃至１３のいずれか１項に記載の自動追尾撮影システム。
【請求項１６】
ズーム光学系を用いて被写体を撮影する撮影装置と、前記ズーム光学系の焦点距離を変更し、前記撮影装置による撮影画像内での前記被写体像の大きさを変更する駆動手段と、前記撮影装置による撮影画像内の追尾被写体を認識する認識手段と、前記撮影画像内における前記追尾被写体のサイズと目標サイズとの差分に基づいて前記ズーム光学系を制御する制御手段と、を備える自動追尾撮影システムであって、
前記制御手段は、前記認識手段が前記追尾被写体を最初に認識した後、前記追尾被写体のサイズが前記撮影画像内の所定サイズに到達するまでは初期モードで前記ズーム光学系のズーム速度を制御し、前記追尾被写体のサイズが前記所定サイズに到達した後は通常モードで前記ズーム光学系のズーム速度を制御しており、
前記制御手段は、前記通常モードにおいて前記差分に基づいて前記駆動手段の速度を求める際のゲインが、前記初期モードのゲインよりも大きくなるように、前記駆動手段によるズーム速度を制御する、
ことを特徴とする自動追尾撮影システム。
【請求項１７】
ズーム光学系を用いて被写体を撮影する撮影装置と、前記ズーム光学系の焦点距離を変更し、前記撮影装置による撮影画像内での前記被写体像の大きさを変更する駆動手段と、前記撮影装置による撮影画像内の追尾被写体を認識する認識手段と、前記撮影画像内における前記追尾被写体のサイズと目標サイズとの差分に基づいて前記ズーム光学系を制御する制御手段と、を備える自動追尾撮影システムであって、
前記制御手段は、前記認識手段が前記追尾被写体を最初に認識した後、前記追尾被写体のサイズが前記撮影画像内の所定サイズに到達するまでは初期モードで前記ズーム光学系のズーム速度を制御し、前記追尾被写体のサイズが前記所定サイズに到達した後は通常モードで前記ズーム光学系のズーム速度を制御しており、
前記制御手段は、前記追尾被写体のサイズが同じ場合、前記通常モードにおける前記駆動手段のズーム速度よりも、前記初期モードにおける前記駆動手段のズーム速度の方が遅い、
ことを特徴とする自動追尾撮影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、追尾対象物を自動で追尾する自動追尾撮影システムに関し、特に追尾対象物の動作に合わせて旋回を行う雲台を備える自動追尾撮影システムに関するものである。
【背景技術】
【０００２】
近年、画像認識技術を用いて被写体を認識し雲台カメラをズーム・パン・チルト制御することで、被写体を自動で追尾する自動追尾カメラシステムが提案されている。
【０００３】
従来この様なシステムにおいては、自動追尾を行う前に追尾対象を画面のどの位置に表示するかをあらかじめ設定する必要がある。設定方法として特許文献１ではオペレータが操作器から画面上に追尾被写体の目標位置を設定し、自動追尾時にはその位置に被写体を画面内において相対的に停止するように雲台を制御することが開示されている。また、特許文献２に開示された従来技術では、被写体が画面中央へ向かう間は雲台制御を停止し、被写体が画面外側へ向かう場合に追尾制御する制御手法を取っている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−７４２９６号公報
【特許文献２】特開２００２−１７１４３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１に開示された従来技術では、自動追尾開始時において、追尾すべき被写体が画面外側から進入してくると、設定された目標位置との位置が離れているため大きく急激な追尾動作を行うことになってしまう。また、追尾被写体が一定方向に移動する移動体である場合、画面進入直後に目標位置に捕捉制御すると、その追尾動作は移動方向と逆の不必要な動作となってしまう。特許文献２に開示された従来技術では、あらかじめ設定した画面中央の目標位置に被写体が到達するまで制御は行わないため急激で不必要な映像変化は生じない。しかし、被写体を追尾対象として識別する画像認識の乱れやズーム制御の影響によって、被写体と目標位置の相対的な位置関係が動いてしまうため、追尾動作が不安定になってしまうといったことがある。
【０００６】
そこで、本発明は、自動追尾開始時において追尾被写体の位置があらかじめ設定した目標位置と離れていても、急激で不必要な映像変化をさせないで所定の目標位置に追尾することを可能にすることを目的とする。また、追尾中において追尾対象を識別する画像認識の乱れやズーム制御によって取得する被写体の位置の値が不安定となった場合でも、安定した追尾動作を行うことが出来る自動追尾撮影システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の自動追尾撮影システムは、被写体を撮影する撮影装置と、該撮影装置の撮影方向を変更する駆動手段と、前記撮影装置による撮影画像内の追尾被写体を認識する認識手段と、前記撮影画像内における前記追尾被写体の位置と前記撮影画像内の目標位置との差分に基づいて前記駆動手段の速度を制御する制御手段と、を備え、前記制御手段は、前記認識手段が前記追尾被写体を最初に認識した後前記追尾被写体が前記撮影画像内の所定位置に到達するまでは初期モードで前記駆動手段の速度を制御し、前記追尾被写体が前記所定位置に到達した後は通常モードで前記駆動手段の速度を制御しており、前記制御手段は、前記通常モードにおいて前記差分に基づいて前記駆動手段の速度を求める際のゲインが、前記初期モードのゲインよりも大きくなるように、前記駆動手段の速度を制御する。
【発明の効果】
【０００８】
本発明に係る自動追尾撮影システムおよび自動追尾カメラの制御方法によれば、大きな映像変化をさせることなく所定の目標位置に追尾することを可能にする。また、追尾中において追尾対象を識別する画像認識の乱れやズーム制御によって取得する被写体の位置の値が不安定となった場合でも、安定した追尾動作を行うことが可能となる。
【図面の簡単な説明】
【０００９】
【図１】追尾システムの構成図である。
【図２】追尾対象と追尾位置を示したモニタ画面である。
【図３】実施例における追尾処理のフローチャートである。
【図４】実施例１における初期モード処理のフローチャートである。
【図５】実施例における通常モード処理のフローチャートである。
【図６】実施例２における初期モード処理のフローチャートである。
【図７】実施例２における追尾の状態を示した説明図である。
【図８】実施例３における追尾手法の手順を示した説明図である。
【図９】実施例３における初期モード処理のフローチャートである。
【図１０】追尾対象を認識した際の認識領域を示した図である。
【図１１】実施例４における被写体の認識サイズの時間推移を示した図である。
【図１２】実施例５における被写体の認識サイズの時間推移を示した図である。
【発明を実施するための形態】
【００１０】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の実施形態に関わる自動追尾撮影システムの構成図である。
【実施例１】
【００１１】
以下、図１を参照して、本発明の第１の実施例による構成について説明する。
本実施例の自動追尾撮影システムは、レンズ３０、カメラ２０、雲台（駆動手段）１０、自動追尾撮影システムを操作する操作機１、追尾処理装置４０から構成される。レンズ３０は、ズーム機能及びフォーカス機能を有する。カメラ２０は、レンズ３０からの被写体光を受光し被写体像を撮像する。雲台１０は、カメラ２０及びレンズ３０をパン駆動及びチルト駆動して撮影方向を変更する。
【００１２】
雲台１０は、雲台ＣＰＵ１１、追尾処理装置間通信部１２、パン制御部１３ａ、チルト制御部１３ｂ、パンモータ１４ａ、チルトモータ１４ｂ、ズーム制御部１５ａ、フォーカス制御部１５ｂ、カメラ２０を制御するカメラ制御部１６から構成される。追尾処理装置間通信部１２は、追尾処理装置４０との通信を行う。ズーム制御部１５ａはレンズ３０のズームを制御する。フォーカス制御部１５ｂはレンズ３０のフォーカスを制御する。
【００１３】
雲台１０は、まず追尾処理装置間通信部１２で追尾処理装置４０からの操作信号を受信する。受信した操作信号を雲台ＣＰＵ１１が解釈し、操作信号に適した動作を行う。操作信号がパン・チルトの駆動命令であった場合には、パン制御部１３ａ、チルト制御部１３ｂを制御することによって、パンモータ１４ａ、チルトモータ１４ｂを駆動する。ズーム・フォーカスの駆動命令であった場合には、ズーム制御部１５ａ、フォーカス制御部１５ｂを制御することによって、レンズ３０を駆動する。カメラ２０の各種制御命令であった場合には、カメラ制御部１６を制御し、カメラ２０を制御する。
【００１４】
追尾処理装置４０は、画像データ変換部４１、画像処理メモリ４２、画像処理プロセッサ４３、テンプレートメモリ４４、追尾処理装置ＣＰＵ４５、操作器間通信部４６、雲台間通信部４７から構成される。
【００１５】
追尾処理装置４０は、まずカメラ２０から受信した撮影画像の映像信号を画像データ変換部４１が１フレームごとの画像データに変換し画像処理メモリ４２に保存する。画像処理プロセッサ４３は、テンプレートメモリ４４に保存されている画像を基準画像とし、画像処理メモリ４２に保存されている画像に対して輝度パターンによるテンプレートマッチングを行うことで、追尾する被写体である追尾被写体の有無を判定する。画像処理メモリ４２の中の基準画像との類似度が、あらかじめ設定されている被写体認識の閾値THを上回る領域がある場合には、追尾被写体が存在すると判定する。追尾被写体が存在する場合にはその撮影画像内における被写体の重心座標(Xobj, Yobj)を計算し、これらの抽出した被写体情報を現在値として追尾処理装置ＣＰＵ４５に送る。一方、閾値THを超える領域が存在しない場合には、追尾被写体が存在しないものとし、その結果を追尾処理装置ＣＰＵ４５に送る。
【００１６】
例えば、図２は追尾被写体がカメラ２０の撮影する画角内に右側から進入し認識された直後のモニタ画面を示している。この場合には、追尾被写体が存在するという情報に加え、図２のように重心座標(Xobj, Yobj)をとり、追尾処理装置ＣＰＵ４５に送信する。追尾処理装置ＣＰＵ４５は、撮影画像内における追尾被写体の位置と撮影画像内での目標位置（最終的に被写体を表示させたい位置）との差分に基づいて駆動手段（パン、チルト、ズーム）の速度を制御する制御手段である。本実施例においては、追尾被写体が矢印のように移動し、Xobjが目標座標（所定位置）Xtgtに到達すると、その到達前と後で追尾処理のための雲台の駆動速度の決定手法を、目標座標（所定位置）への到達前を初期モード、到達後を通常モードとして切り替える。
【００１７】
以下に、追尾処理装置ＣＰＵ４５の処理の流れについて、図３のフローチャートをもとに説明する。
まず、操作器間通信部４６から操作器１からの操作命令があるかを判定し（Ｓ１０１）、操作命令がある場合には、雲台１０へ操作信号を送信する（Ｓ１０２）。次に、現在追尾中かどうかを判定し（Ｓ１０３）、追尾中でない場合には、追尾を開始するかの判定を行う（Ｓ１０４）。追尾開始条件を満たした場合には、カメラ２０、レンズ３０や雲台１０の位置を初期状態へ移行させる（Ｓ１０５）。追尾中ではなく、追尾開始条件も満たしていない場合には、Ｓ１０１の操作信号の受信処理に戻る。追尾中であった場合には、追尾処理のモードフラグを参照し、初期モードであるかどうかの判定を行う（Ｓ１０７）。初期モードであった場合は、後述の初期モード処理を行う（Ｓ１０６）。初期モードではなく通常モードであった場合には、後述の通常モード処理を行う（Ｓ１０８）。最後に追尾終了の判定を行い（Ｓ１０９）、操作器１から追尾終了命令を受信するか、または追尾すべき被写体が画面外に移動してしまった場合のように、追尾終了条件を満たした場合には、追尾停止中へ移行する（Ｓ１１０）。以上のＳ１０１〜Ｓ１１０の処理を繰り返すことで、追尾被写体の追尾動作を行う。
【００１８】
次に、初期モードＳ１０６の詳細について、図４のフローチャートをもとに説明する。
追尾処理装置ＣＰＵ４５は初期モードの追尾処理のはじめに、前述の画像処理プロセッサ４３から被写体情報を受信し、画面内に被写体が存在するか、存在する場合にはその位置情報を受信する（Ｓ２０１）。受信された被写体の情報から、画面内に被写体が存在するかの判定を行い（Ｓ２０２）、画面内に被写体が存在する場合には、さらに被写体が目標座標（所定位置）に到達したかの判定を行う（Ｓ２０３）。本実施例においては、目標座標とは、例えば、被写体の重心座標(Xobj, Yobj)のＸ座標値が、目標座標（所定位置）Xtgtに到達したか否かで判断することとするが、本発明はこれに限定されることはない。被写体が目標座標（所定位置）に到達した場合は、追尾処理のモードフラグを通常モードに切り替える（Ｓ２０４）。被写体が目標座標（所定位置）に到達していない場合は、処理を終了し、初期モードを継続する。Ｓ２０２において被写体が画面内に存在しない場合は、追尾終了フラグを立て（Ｓ２０５）、処理を終了する。
【００１９】
次に、通常モードＳ１０８の詳細について、図５のフローチャートをもとに説明する。
追尾処理装置ＣＰＵ４５は通常モードの追尾処理のはじめに、前述の画像処理プロセッサ４３から被写体情報（画面内に被写体が存在する場合にはその位置情報を含む被写体情報）を受信する（Ｓ３０１）。受信された被写体情報から、画面内に被写体が存在するかの判定を行い（Ｓ３０２）、画面内に被写体が存在する場合には、速度決定手段である追尾処理装置ＣＰＵ４５は、撮影画像内における被写体の位置と撮影画像内での目標位置との差分に基づいて雲台１０を追尾動作させる速度ｖを決定する（Ｓ３０３）。画面内に被写体が存在しない場合には、追尾終了フラグを立て（Ｓ３０４）、雲台１０を停止させるようにｖ＝０とする（Ｓ３０５）。最後に、決定した速度で動作するように雲台１０へ操作信号を送信することで、自動追尾動作を行う（Ｓ３０６）。
【００２０】
以上のように初期モード時においては雲台１０の制御を停止し、被写体が目標座標に到達後、通常の追尾制御を開始する。ここで、通常の追尾制御とは、所定の撮影画像内の位置或いは範囲内で、必要に応じて所定の撮影サイズで、撮影し続けるように、撮影画像内における被写体の位置と撮影画像内での目標位置（最終的に被写体を表示させたい位置、範囲、サイズ）との差分に基づいて駆動速度を決定して、雲台装置のパン、チルト、ズームを駆動することである。
追尾処理装置ＣＰＵ４５は、追尾被写体を最初に認識した後、追尾被写体が撮影画像内の所定位置に到達するまでは初期モードでパン、チルト、ズーム（駆動手段）の速度を制御し、追尾被写体が所定位置に到達した後は通常モードでパン、チルト、ズームの速度を制御する。
このことによって、追尾開始時における被写体を補足するための急激で不必要な動作を省き、被写体をスムーズに自動追尾することが出来る。
【実施例２】
【００２１】
以下、本発明の第２の実施例について説明する。
自動追尾撮影システムの構成は図１に示す実施例１と同様である。追尾の基本処理についても図３に示すフローチャートと同様である。ただし、初期モードの処理Ｓ１０６における追尾処理装置ＣＰＵ４５の処理が異なるため、実施例２の初期モードにおける追尾処理装置ＣＰＵ４５の処理のフローチャートを図６に示す。通常モードにおける追尾処理Ｓ１０８は上記実施例１と同様である。
【００２２】
まず、実施例１と同様に、被写体の認識情報を受信し（４０１）、被写体が存在するかを判定する（Ｓ４０２）。被写体が存在する場合には、追尾に適した速度ｖ（撮影画像内における被写体の位置と撮影画像内での目標位置（最終的に被写体を表示させたい位置、範囲、サイズ）との差分に基づく速度）を決定し（Ｓ４０３）、その速度ｖの操作信号を雲台１０へ送信する（Ｓ４０４）。次に被写体が目標座標（所定位置）に到達したかの判定を行い（Ｓ４０５）、目標座標へ到達した場合は、追尾処理のモードフラグを通常モードに切り替える（Ｓ４０６）。被写体が目標座標（所定位置）に到達していない場合は、処理を終了し、初期モードを継続する。また、Ｓ４０２の判定において被写体が存在しない場合は、追尾終了フラグを立て（Ｓ４０７）、速度ｖ＝０とし（Ｓ４０８）、雲台１０へ速度ｖの操作信号を送信した後（Ｓ４０９）、処理を終了する。Ｓ４０３において決定される速度ｖは、前述の通常モード処理におけるＳ３０３で決定される速度ｖと比較すると制御ゲインを下げ、低速となっている。すなわち、追尾処理装置ＣＰＵ４５は、通常モードにおいて撮影画像内における被写体の位置と撮影画像内での目標位置（最終的に被写体を表示させたい位置、範囲、サイズ）との差分に基づいてパン、チルトの速度を求める際のゲインが、初期モードのゲインよりも大きくなるように、パン、チルトの速度を制御する。または、被写体が撮影画像の外側（周辺側）の位置であるほど（撮影画像内の被写体の現在位置と目標位置との差分が大きいほど）低速で雲台１０を制御するようにしてもよい。すなわち、追尾処理装置ＣＰＵ４５は、追尾被写体の位置が同じ場合、通常モードにおけるパン、チルトの速度よりも、初期モードにおけるパン、チルトの速度の方が遅くなるように制御する。
【００２３】
以上のように、被写体が目標座標へ到達する前の初期モード時において、雲台１０を通常の追尾制御と比較して低速で動作させ被写体を追尾することで、撮影画像内に被写体を認識した直後に急激な雲台１０の動作を行うことなく被写体を目標座標へ捕捉することが出来る。
【００２４】
図７は被写体が画面右側から進入し、目標座標に到達する前に画面外は出てしまうことを示している。実施例１の処理手順では図７のように移動する被写体を追尾することは出来ないが、本実施例２では初期モード時において雲台１０を低速で動作させ追尾しているので、被写体を見失うことなく追尾することが出来る。
【実施例３】
【００２５】
以下、本発明の第３の実施例について説明する。
自動追尾撮影システムの構成は図１に示す実施例１と同様である。追尾の基本処理についても図３に示すフローチャートと同様である。ただし初期モードの処理Ｓ１０６における追尾処理装置ＣＰＵ４５の処理が異なる。本実施例は、初期モードにおいて、目標算出手段である追尾処理装置ＣＰＵ４５は、追尾対象である被写体を捉えるための目標座標（目標位置、目標位置範囲）を随時更新することを特徴としている。図８は、目標座標を更新しながら被写体を最終的な目標座標へ誘導する例を示している。被写体が画面内に進入し追尾を開始すると、まず被写体を小目標１の位置に捕捉するように雲台１０を動作させる。そして、順に小目標２、３…というように徐々に被写体を誘導し、最終的には通常モード時における目標座標へ被写体を留める。上記の目標座標の更新方法（小目標の設定方法）は２つの手法から選択する。一つ目の方法は、一定時間後に通常モードにおける目標座標へ到達するように更新する方法である（更新方法１）。二つ目の方法は、移動速度算出手段である追尾処理装置ＣＰＵ４５は、被写体の初期の移動ベクトルを検知し、その速度によって最適な時間で通常モードにおける目標座標へ到達するように更新する方法である（更新方法２）。通常モードにおける追尾処理Ｓ１０８は上記実施例１と同様である。
【００２６】
以下、実施例３の初期モードにおける追尾処理装置ＣＰＵ４５の処理を図９のフローチャートを用いて説明する。
まず、被写体を画面内に捉えるための目標座標の更新方法を決定する（Ｓ５０１）。そして実施例１、２と同様に、被写体の認識情報を受信し（Ｓ５０２）、被写体が存在するかを判定する（Ｓ５０３）。被写体が存在する場合には、Ｓ５０１で決定した目標座標の更新方法を判定し（Ｓ５０４）、上記更新方法２である場合のみ被写体の初期移動ベクトルを検知する（Ｓ５０５）。そして、目標値算出手段である追尾処理装置ＣＰＵ４５は、選択された更新方法に従って、目標座標を設定または更新する（Ｓ５０６）。次に、速度決定手段でもある追尾処理装置ＣＰＵ４５は、追尾に適した速度ｖを決定し（Ｓ５０７）、雲台１０へ速度ｖの操作信号を送信する（Ｓ５０８）。最後に被写体が目標座標に到達したか判定し（Ｓ５０９）、目標座標に到達した場合は、追尾処理のモードフラグを通常モードに切り替える（Ｓ５１０）。目標座標へ到達していない場合には、処理を終了し、初期モードを継続する。また、Ｓ５０３で被写体が存在しなかった場合は、追尾終了フラグを立て（Ｓ５１１）、速度ｖ＝０とし（Ｓ５１２）、雲台１０へ速度ｖの操作信号を送信した後（Ｓ５１３）、処理を終了する。
【００２７】
以上のように、被写体が目標座標へ到達する前の初期モード時において、目標座標を更新しながら追尾制御を行うことによって、追尾開始時において急激な動作を行うことなく被写体を目標座標に追尾制御することが出来る。また、通常モード時の目標座標に到達するまでの画面内における被写体の軌道を制御することで、良好な追尾映像を取得することが出来る。
【実施例４】
【００２８】
以下、本発明の第４の実施例について説明する。
自動追尾撮影システムの構成は図１に示す実施例１と同様である。
上記実施例１〜３においては、主にパン・チルトの旋回制御について述べてきたが、本実施例４においては、レンズ３０はズーム光学系を有し、パン・チルトの旋回制御に加えてズーム制御についての実施形態を示す。図１０は追尾すべき被写体と、追尾処理装置４０が認識する被写体の領域（Sx, Sy）（現在値）である。本実施例の通常モード時においては、撮影画像内における被写体サイズ（図１０における被写体領域の対角線長）をあらかじめ設定した一定の値（目標値、所定サイズ）を保つようにズーム光学系の焦点距離を変更するようズーム制御を行っている。
【００２９】
本実施例の追尾処理装置ＣＰＵ４５の処理は、目標座標に到達する前の初期モード時においては、ズーム制御を停止（ズーム速度をゼロに設定）することを特徴としている。図１１は本実施例における画面内における被写体サイズの値の時間推移を示している。この例における被写体は、遠方から徐々に近づく移動体を想定している。初期モード時においてはズーム制御を停止しているので、被写体が雲台１０に近づくにつれて徐々に画面内における被写体サイズが大きくなっている。通常モードに切り替わると、設定された一定の値に画面内における被写体サイズを合わせ、その後は画面内における被写体サイズを保つようにズーム制御を行っている。
【００３０】
以上のように、初期モード時においてズーム制御を停止することによって、画面内の被写体と目標座標の相対的な位置関係が固定されるため、簡便な処理で安定したパン・チルト制御を行うことが出来る。本実施例は、ズーム制御を停止している間に画面内における被写体サイズが大きく変化すると、画面上における被写体の相対的な移動速度が変化してしまうため、初期モード時に画面内における被写体サイズが大きく変化しない状況で用いられることが望ましい。
【実施例５】
【００３１】
以下、本発明の第５の実施例について説明する。
自動追尾撮影システムの構成は図１に示す実施例１と同様である。画面内における被写体サイズの定義、通常モード時の制御手法については実施例４と同様である。
【００３２】
本実施例の自動追尾撮影システムのレンズ３０はズーム光学系を有し、追尾処理装置ＣＰＵ４５の処理は、目標座標に到達する前の初期モード時においては、最初に被写体を認識した時点の撮影画像内における被写体サイズを維持するようにズーム制御を行うことを特徴としている。図１２は本実施例における画面内における被写体サイズの値の時間推移を示している。この例における被写体は、遠方から徐々に近づく移動体を想定している。初期モード時においては最初に被写体を認識した際の値を保ち、通常モードに切り替わると被写体の目標サイズをあらかじめ設定した目標値に切り替え、その目標値に撮影画像内における被写体サイズを合わせ、保つようにズーム光学系の焦点距離を変更するようズーム制御を行っている。
【００３３】
以上のように、初期モード時と通常モード時において使用される被写体の目標サイズ（目標値、所定サイズ）を切り替えてズーム制御を行うことによって、被写体の画面内における速度が被写体と雲台１０の距離の変化に影響されなくなるため、安定したパン・チルト制御を行うことが出来る。また同様に、画面内の速度が距離に影響されなくなることから、初期における被写体の移動ベクトルを利用できるため、本実施例の手法を実施例３の移動ベクトルを用いる目標座標の更新方法に適用することが出来る。本実施例は、初期モード時にズーム制御によって被写体の値を保つことによって画面内における被写体の相対的な速度変化を抑制しているため、初期モード時において画面内における被写体サイズの変化量が無視できないような状況でより効果を発揮する。
【００３４】
上記の実施例１乃至５においては、被写体を認識する手法を画像認識で実現した場合を例示したが、他の認識手段、例えばレーダーを利用した被写体認識を用いてもよい。また、被写体を補足するための目標座標を撮影画像内の横方向の座標Xtgtとしたが、縦方向の座標を設定してもよいし、一点の座標ではなく、ある程度の広さを持たせた目標範囲としてもよい。また、被写体の進行方向を右から左として説明しているが、被写体の進行方向は特に限定されるものではない。また、追尾処理装置４０において、画像処理プロセッサ４３、操作器間通信部４６、雲台間通信部４７と追尾処理装置ＣＰＵ４５を別のものとしているが、１つのＣＰＵで処理してもよいし、テンプレートメモリ４４については、ＣＰＵの内蔵メモリを用いてもよい。さらに、追尾処理装置４０の機能については、雲台１０内部に組み込んでもよいし、雲台ＣＰＵ１１に統合してもよい。
【００３５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００３６】
１０  雲台
２０  カメラ
３０  レンズ
４０  追尾処理装置
４５  追尾処理装置ＣＰＵ（速度決定手段、移動速度算出手段）
【図１】
2014143681.tif 000003
【図２】
2014143681.tif 000004
【図３】
2014143681.tif 000005
【図４】
2014143681.tif 000006
【図５】
2014143681.tif 000007
【図６】
2014143681.tif 000008
【図７】
2014143681.tif 000009
【図８】
2014143681.tif 000010
【図９】
2014143681.tif 000011
【図１０】
2014143681.tif 000012
【図１１】
2014143681.tif 000013
【図１２】
2014143681.tif 000014