(57)【要約】【課題】自動追尾撮影が可能なリモコン雲台カメラにおいて、被写体が航空機などの移動速度が速いものの場合、カメラが被写体に追従出来ない瞬間があると、誤って背景を被写体としてテンプレート化してしまう場合がある。一旦背景をテンプレート化してしまうと、そのテンプレートが被写体だと判断してしまうため、常に背景を追尾してしまうという問題が発生する。【解決手段】被写体の自動追尾撮影が可能なリモコン雲台カメラにおいて、記憶手段内のテンプレートマッチング用のテンプレートは、リモート雲台装置の旋回位置情報が関連付けられている。画像認識手段は記憶手段内のテンプレートから旋回位置情報に対応したテンプレートを使用し、テンプレートマッチングによる画像認識処理を行う。【選択図】図４
2016058986.tif 000002
【特許請求の範囲】
【請求項１】
遠隔制御で上下左右に撮影手段を旋回させるリモート雲台装置と、  
予め記録してあるテンプレートパターンを保存する記憶手段と、
該記憶手段に保存されているテンプレートパターンと被写体パターンとのマッチングを行うことによりパターン認識を行う画像認識手段と、
を有し、
前記画像認識手段により被写体の位置を検出し、その位置に基づいて前記リモート雲台装置を旋回させ、被写体の自動追尾撮影を行う自動追尾カメラシステムにおいて、  
前記記憶手段内のテンプレートは、前記リモート雲台装置の旋回位置情報が関連付けられており、
前記リモート雲台装置が旋回位置情報を出力し、
前記画像認識手段は前記旋回位置情報に対応したテンプレートを取得し、テンプレートマッチングによる画像認識処理を行い、
前記画像認識処理した情報に基づき、自動追尾撮影を行うことを特徴とする自動追尾カメラシステム。  
【請求項２】
前記記憶手段内の各テンプレートは、被写体の進行方向とも関連付けがされており、
テンプレート毎に被写体の進行方向が記録され、
前記リモート雲台装置が旋回している際に、その旋回方向を旋回方向情報として出力し、前記画像認識手段は前記記憶手段のテンプレートから前記旋回位置情報および前記旋回方向情報に対応したテンプレートを取得し、テンプレートマッチングによる画像認識処理マッチング処理を行うことを特徴とする請求項１に記載の自動追尾カメラシステム。
【請求項３】
前記リモート雲台装置がズーム位置をズーム位置情報として出力し、
前記被写体までの撮影距離を取得する撮影距離情報取得手段を有し、
前記画像認識手段は前記ズーム位置情報と前記撮影距離情報を基に、前記テンプレートパターンのサイズを固定することを特徴とする請求項２に記載の自動追尾カメラシステム。
【請求項４】
前記被写体が航空機であることを特徴とする請求項１乃至３の何れか一項に記載の自動追尾カメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影対象物を自動で追尾する自動追尾カメラシステムに関し、特に撮影対象物が航空機などの高速で移動するものに特化した自動追尾カメラシステムに関する。
【背景技術】
【０００２】
カメラにパン及びチルトの旋回動作が可能な電動雲台が取り付けられたリモート雲台カメラは、遠隔地から雲台制御およびカメラ制御を行うため、ケーブル又は無線を介して操作器と映像モニターが接続されている。操作者はカメラから送信されてくる映像をモニター画面で見ながら、この操作器を操作してリモート雲台カメラを制御している。
【０００３】
近年、リモート雲台カメラに画像認識技術を搭載して、映像内に映る被写体の認識を行い、被写体の動きに合わせて自動でパン・チルトを動作させ追尾する自動追尾カメラシステムが提案されている。これにより、操作者が雲台カメラの向きを変更しなくても、動きのある被写体を自動で撮影することが可能になる。
【０００４】
被写体の認識を行う画像認識技術の一つとして、特許文献１に示すようにテンプレートマッチング手段を用いた認識技術が知られている。テンプレートマッチングを用いた画像認識技術による自動追尾撮影の課題としては、被写体の移動により撮影される被写体のパターンが変化していくことにある。被写体のパターンが変化すると、最初に認識したテンプレートとの不一致部分が多くなり、最終的に被写体を認識できなくなる。
【０００５】
そこで、予め被写体の全方向から見たパターンのテンプレートを用意しておき、常にその複数テンプレートとマッチングを行うことが望ましい。しかしながら、現状ではマッチング速度が遅いため、被写体が航空機のような高速で移動するものの場合、複数のテンプレートに対してマッチングを行っている間に、被写体が撮影範囲から外れてしまう。従って、特許文献１では、被写体パターンとのマッチングが完了した段階で、次のマッチング処理に備えて、テンプレートを現在の被写体パターンに更新するということを行っている。テンプレートが随時更新されるため、常に被写体を認識できるようになる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−６４３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献に開示された従来技術は、被写体が航空機などの移動速度が速いものの場合、カメラが被写体に追従出来ない瞬間があると、誤って背景を被写体としてテンプレート化してしまう場合がある。一旦背景をテンプレート化してしまうと、そのテンプレートが被写体だと判断してしまうため、常に背景を追尾してしまうという問題が発生する。
【０００８】
そこで、本発明の目的は、テンプレートマッチングの処理を高速化し、自動追尾撮影時でも予め持っているテンプレートとマッチングを行うことにより、正確に追尾撮影を行うことが出来る自動追尾カメラシステムを提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明に係る自動追尾カメラシステムは、遠隔制御で上下左右に撮影手段を旋回させるリモート雲台装置と、予め記録してあるテンプレートパターンを保存する記憶手段と、該記憶手段に保存されているテンプレートパターンと被写体パターンとのマッチングを行うことによりパターン認識を行う画像認識手段と、を有し、前記画像認識手段により被写体の位置を検出し、その位置に基づいて前記リモート雲台装置を旋回させ、被写体の自動追尾撮影を行う自動追尾カメラシステムにおいて、前記記憶手段内のテンプレートは、前記リモート雲台装置の旋回位置情報が関連付けられており、前記リモート雲台装置が旋回位置情報を出力し、前記画像認識手段は前記旋回位置情報に対応したテンプレートを取得し、テンプレートマッチングによる画像認識処理を行い、前記画像認識処理した情報に基づき、自動追尾撮影を行うことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、リモート雲台装置の旋回位置に応じてテンプレートパターンを絞ることにより、テンプレートマッチングの速度を速くすることが出来る自動追尾カメラシステムの提供を実現できる。
【図面の簡単な説明】
【００１１】
【図１】第１、第２、第３の実施形態における自動追尾撮影を行うリモート雲台システムを示す図である。
【図２】第１、第２、第３の実施形態において被写体である航空機を目標座標へ移動させる方法を説明する図である。
【図３】第１の実施形態の雲台制御部２３を説明する図である。
【図４】第１の実施形態の映像処理部２２を説明する図である。
【図５】第１の実施形態の映像処理部２２が所有しているテンプレートパターンテーブルを示す図である。
【図６】第１の実施形態の映像処理部２２が所有しているテンプレートパターンテーブルを示す図である。
【図７】第２の実施形態の映像処理部２２を説明する図である。
【図８】第２の実施形態の映像処理部２２が所有しているテンプレートパターンテーブルを示す図である。
【図９】第２の実施形態の雲台制御部２３を説明する図である。
【図１０】第３の実施形態でズーム位置と焦点距離の関係を示す図である。
【図１１】第３の実施形態でＣＣＤに投影される被写体サイズを説明する図である。
【図１２】第３の実施形態の雲台制御部２３を説明する図である。
【図１３】第３の実施形態の映像処理部２２を説明する図である。
【図１４】第３の実施形態で航空機までの距離を求める図である。
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１３】
（第１の実施形態）
図１は、本発明の実施形態を示したシステム図である。図１において、１が遠隔操作される雲台カメラである。雲台カメラ１は、２のカメラハウジング、３の雲台ヘッド、４の台座で構成される。カメラハウジング２は、カメラズームレンズ５とボックスカメラ６を格納している。カメラズームレンズ５の制御線はコネクタ７を介して、雲台ヘッド３に送られる。ボックスカメラ６の映像信号はコネクタ８に接続され外部と接続されている。
【００１４】
本実施形態において、映像信号はＨＤ−ＳＤＩ信号が出力されている。雲台ヘッド３は、内部にＣＰＵ９、チルトモーター１０、パンモーター１１、チルトモータードライバー１２、パンモータードライバー１３、チルトポジションセンサー１４、パンポジションセンサー１５を装備している。パンモーター１１とチルトモーター１０のハウジング（不図示）が、雲台ヘッド３に固定されており、各モータのシャフト（不図示）はギヤ（不図示）を介し、台座４およびカメラハウジング２に接続されている。
【００１５】
そのため、各モータが回転すると、雲台ヘッド３を基準にして、台座４とカメラハウジング２が回転する。その結果、カメラの撮影方向が変更されることになる。コネクタ１６から入力されるパン、チルト、ズーム、フォーカスの制御信号をＣＰＵ９で取り込む。パン制御信号の場合はパンモータードライバー１３に、チルト制御信号の場合はチルトモータードライバー１２に、ズームおよびフォーカス制御信号の場合はコネクタ１７に各制御信号を送る。
【００１６】
パンモータードライバー１３ではパン制御信号に応じてパンモーター１１に電流を流し、パンモーター１１を回転させる。チルトモータードライバーも同様にチルト制御信号に応じてチルトモーター１０を回転させる。コネクタ１７から出力したズームおよびフォーカス制御信号は、コネクタ７を介しカメラズームレンズ５に送られ、制御信号に応じてズームとフォーカスが駆動する。チルトポジションセンサー１４およびパンポジションセンサー１５は本実施形態ではポテンショメーターを使用している。
【００１７】
各センサーは、各モータの回転軸に配置されており、モータが回るとポテンショメーターが回転し回転位置が電圧として出力される。各センサーから出力されたパン・チルトの電圧信号、コネクタ１７から出力したズームとフォーカスの位置信号は、ＣＰＵ９で位置信号にそれぞれ変換され、コネクタ１６から出力される。本実施形態でコネクタ１６から出力される信号はＲＳ−２３２Ｃ信号である。
【００１８】
２１は演算処理装置であり、本件ではＣＰＵ（不図示）やメモリ（不図示）などを装備したパーソナルコンピュータ（ＰＣ）を使用している。２２と２３は内部のソフト処理のブロックを示しており、２２は映像処理部と２３は雲台制御部である。映像処理部２２はテンプレートパターンを使用した画像認識処理を行う部分である。コネクタ８から出力された映像信号は、コネクタ２４から取り込まれ映像処理部２２で使用される。雲台制御部２３はリモート雲台装置との制御信号を送受信する部分である。
【００１９】
コネクタ１６から出力されたパン・チルト・ズーム・フォーカスの位置信号はコネクタ２５から取得され、ＰＣ内でＴＴＬ信号に変換された後、位置情報として雲台制御部２３に取り込まれる。映像処理部２２および雲台制御部２３の処理に関しては、後述する。
【００２０】
３１は操作器、３２はモニターである。これらは、遠隔地に配置されており、図のように配線されている。モニター３２には、雲台カメラ１が撮影した映像が映し出される。操作器３１には、パン・チルト・ズーム・フォーカスを操作するための操作キーおよび追尾（ＴＲＡＣＫＩＮＧ）のＯＮ／ＯＦＦキーが用意されている。追尾（ＴＲＡＣＫＩＮＧ）のＯＮ／ＯＦＦキーを押すと、演算処理装置２１内にある雲台制御部２３の追尾状態がＯＮ／ＯＦＦする。
【００２１】
パン・チルト・ズーム・フォーカスの各操作キーを動かすと雲台制御信号がコネクタ３３から出力され、演算処理装置２１内の雲台制御部２３へ送られる。雲台制御部２３の追尾状態がＯＮの場合、雲台制御信号は捨てられる。追尾状態がＯＦＦ場合、操作器３１からの雲台制御信号は雲台カメラ１へ送られるため、操作器３１から雲台カメラ１のパン・チルト・ズーム・フォーカスを操作することができる。
【００２２】
図２のような位置に被写体が撮影されていた場合を例に雲台制御部２３を説明する。１０１は被写体である航空機、１０２は被写体のサイズを矩形で示した被写体枠、１０３は画面サイズであり、本実施形態では横１９２０、縦１０８０である。１０４は被写体の目標位置座標、１０５、１０６は、被写体枠１０２の左上座標と右下座標であり、いずれも画面の左上を（０，０）とした座標系で表されている。本実施形態において目標位置座標１０４は画面の中心であり（９６０，５４０）に設定してある。映像処理部２２のテンプレートマッチング処理により１０５と１０６の座標が算出される。
【００２３】
次に図３を用いて実施形態１における雲台制御部２３での制御内容を説明する。２１５では、現在追尾状態かを判断し、追尾状態がＯＦＦならば処理を２１７へ移し、操作器３１からの雲台制御信号を雲台カメラ１へ送信してスタートに戻る。２１５で追尾状態がＯＮならば処理を２１６に移し、雲台カメラ１から送られてきたパン位置情報を映像処理部２２へ送信する。パン位置情報は角度で表された情報である。２０１では、映像処理部２２から出力された被写体枠の座標データ１０５、１０６から被写体の中心位置１０８を計算する。
【００２４】
２０２では、被写体の中心位置１０８と目標位置１０４と差分を取る。この差分は、パン座標の差分とチルト座標の差分があり、それぞれをパン位置差分、チルト位置差分と呼ぶことにする。２０３では、パン位置差分が０であったら、２０８に、０以外は２０４に進む。２０４では、パン位置差分がプラスだったら２０５、マイナスだったら２０６に進む。２０５では、パン位置差分の絶対値量に応じて、雲台カメラ１を右に動作させる制御信号を生成する。
【００２５】
同様に２０６では、左に動作させる制御信号を生成し、２０７に処理を移す。２０７では、生成した制御信号をパンの制御信号として、雲台カメラ１に送信する。２０８では、チルト位置差分が０だったら、スタートに戻る。０以外ならば２０９にてチルト位置差分がプラスかマイナスかを判定し、プラスだったら２１０、マイナスだったら２１１に処理を移す。２１０ではチルト位置差分の絶対値量に応じて、雲台カメラ１を上へ動作させる制御信号を生成する。
【００２６】
同様に２１１では下へ動作させる制御信号を生成し、処理を２１２に移す。２１２では、生成した制御信号をチルトの制御信号として、雲台カメラ１に送信する。本実施形態において２０３と２０８の処理が２０４、２０９に処理を移す条件として、位置差分が「０以外」という条件にしたが、位置差分の絶対値が例えば「２０以上の場合」という条件にして不感領域を設けても良い。以上のように雲台制御部２３を制御することにより、被写体の中心点である１０８が目標座標１０４と一致するように制御され、追尾が行われる。
【００２７】
ここで、本実施形態で最も重要な映像処理部２２を説明する。映像処理部２２では、図５に示すように、テンプレートパターンに雲台カメラ１の位置属性を付加したテーブルを保有している。この属性値およびテンプレートパターンのテーブルは滑走路と雲台カメラ１の距離に多少依存するため、本実施形態においては、滑走路からの設置距離が５００ｍを想定したテーブルにしてある。図４を例に図５のテーブルの使い方を説明する。図４は右方向から着陸してくる航空機を追尾撮影する様子を示した図である。
【００２８】
４０１の方向へ雲台カメラ１を向けた場合、着陸してくる航空機は、は４０４や４０５のような形状で映像に映ることはない。従って、映像処理部２２では図５のテンプレートテーブルから雲台制御部２３から提供されるパン位置信号を用いてテンプレートパターンを選択する。その後、選択されたテンプレートパターンでのみパターンマッチングを行う。
【００２９】
次に４０２の位置の航空機を撮影する場合は、４０７や４０９の形状であることはないので、４０１のときと同様に、図５のテンプレートテーブルから４０８のテンプレートパターンを選択し、パターンマッチングを行う。４０３の位置の場合も同様である。このように、映像処理部２２は雲台制御部２３からのパン位置信号を元に、テンプレートパターンを絞り込むことが可能になる。それにより、複数のテンプレートによるマッチング処理を行う必要が無くなるため、処理が高速化される。
【００３０】
さらにテンプレートの差し替えを行わず、予め持っているテンプレートとマッチングを行うことができるため、特許文献１よりも被写体の認識精度が向上する。映像処理部２２ではこの後、被写体の枠の座標を算出し、雲台制御部２３へ被写体の位置情報を送信している。本実施形態では、図５においてテンプレートパターンとパン位置座標を１対１のテーブルでもたせたが、図６のように、一つのテンプレートパターンにパン位置の範囲を持たせても良い。
【００３１】
また、この属性値およびテンプレートパターンのテーブルは滑走路から雲台カメラ１が設置された距離に応じて差し替えると、よりパターンマッチングの精度が高くなる。そのため、操作器３１に設置距離を入力できるようにし、その距離情報を映像処理部２２まで伝送しテーブルを切り替えても良い。
【００３２】
（第２の実施形態）
本実施形態の追尾カメラシステムの構成は実施形態１の演算処理装置２１以外はすべて同じであるため、演算処理装置２１以外の説明は省略する。図９は、本実施形態における雲台制御部２３での制御内容を示している。実施形態１の図３との相違点は、処理８１３と８１４が追加されたところである。それ以外は実施形態１と同等であるため、追加分のみ説明する。
【００３３】
８０４では被写体の進行方向を判断しているのと等価であるため、８１４と８１３では、その判断した情報を映像処理部２２へ送信する処理を行っている。本実施形態において、被写体の進行方向は、右か左かだけで表されており、チルト方向成分は入れていない。また、一回の判定で映像処理部２２へ情報を送信したが、ヒステリシスを持たせても良い。
【００３４】
ここで、本実施形態で最も重要な映像処理部２２を説明する。映像処理部２２では、図８に示すように、テンプレートパターンに雲台カメラ１の位置属性および被写体の進行方向属性を付加したテーブルを保有している。この属性値およびテンプレートパターンのテーブルは滑走路と雲台カメラ１の距離に多少依存する。本実施形態においては、滑走路からの設置距離が５００ｍを想定したテーブルにしてある。
【００３５】
図７を例に図８のテーブルの使い方を説明する。図７は右方向から着陸してくる航空機を追尾撮影する場合である。６０１の方向へ雲台カメラ１を向けた場合、着陸してくる航空機は、ほぼ正面を向いているため、実施形態１と変りはない。６０２の位置の航空機を撮影する場合は、パンの位置および被写体の進行方向から６０６のパターンのみパターンマッチングを行えばよい。
【００３６】
従って、映像処理部２２では雲台制御部２３から提供されるパン位置信号と被写体の進行方向情報をもとに図７のテンプレートテーブルからテンプレートパターンを選択し、選択されたテンプレートパターンのみのパターンマッチングを行う。実施形態１では、右からの着陸に固定していたが、実施形態２では左からの着陸にも対応できる。６０３の位置の場合も同様に６１３のみパターンマッチングを行えばよい。
【００３７】
従って、映像処理部２２が雲台制御部２３からのパン位置信号および被写体の進行方向情報を取得することにより、左右向きの複数のテンプレートパターンから特定のテンプレートパターンを絞り込むことが可能になる。それにより、左右複数のテンプレートによるマッチング処理を行う必要が無くなるため、処理が高速化される。さらにテンプレートの差し替えを行わず、予め持っているテンプレートと常にマッチングを行うことができるため、特許文献１よりも被写体の認識精度が向上する。
【００３８】
映像処理部２２ではこの後、被写体の枠の座標を算出し、雲台制御部２３へ被写体の位置情報を送信している。本実施形態では、図８においてテンプレートパターンとパン位置座標を１対１でもたせたが、図６と同様に、一つのテンプレートパターンにパン位置の範囲を持たせても良い。また、この属性値およびテンプレートパターンのテーブルは滑走路から雲台カメラ１が設置された距離に応じて差し替えると、よりパターンマッチングの精度が高くなる。そのため、操作器３１に設置距離を入力できるようにし、その距離情報を映像処理部２２まで伝送しテーブルを切り替えても良い。
【００３９】
（第３の実施形態）
本実施形態の追尾カメラシステムの構成は実施形態１の演算処理装置２１以外はすべて同じであるため、演算処理装置２１以外の説明は省略する。図１２は、実施形態３における雲台制御部２３での制御内容を示している。実施形態２の図９との相違点は、処理１２１６が変更になったところである。１２１６では、雲台カメラ１から送られてきたパン位置情報、ズーム位置情報を映像処理部２２へ送信する処理である。それ以外は同じであるため説明は省略する。
【００４０】
ここで、本実施形態で最も重要な映像処理部２２を説明する。本実施形態の映像処理部２２では、ズーム位置情報をもとにテンプレートパターンのサイズを絞り込むことを行う。図１３では図７と同様に航空機が着陸してくる際に、映像処理部２２がテンプレートパターンを選択している様子を示している。実施形態３は実施形態２の構成を包含しているため、パン位置情報と被写体の進行方向情報による形状の絞り込みは行ったものとして、サイズの絞り込みをする処理についてのみ表示している。
【００４１】
航空機が１３０２の位置にいるとき、まず被写体までの距離を求める。図１４に示す通り、滑走路と雲台カメラ１までの距離１４０１は実施形態１，２と同様に５００ｍである。角度情報であるパン位置情報１４０２が分かれば、三角関数を用いて被写体までの距離１４０３が求まる。次に、図１１を用いＣＣＤに投影される被写体の像のサイズを求める。図１１はカメラズームレンズ１１０１と被写体１１０２、ＣＣＤ１１０３、ＣＣＤ１１０３に投影される被写体の像１１０４の配置を模式的に示した図である。
【００４２】
図１１に示すように被写体までの距離１１０５と焦点距離１１０６、被写体のサイズからＣＣＤに投影される被写体の像１１０４のサイズを算出することができる。航空機のサイズは予め保存してあり、パン位置情報１１０７（角度）は１１０８と同じであるため、航空機のサイズと１１０８の角度から三角関数で１１０９の値を求めることができる。あとは相似により、１１０９と被写体までの距離１１０５と焦点距離１１０６から被写体の像１１０４のサイズを求めることができる。
【００４３】
ここで、焦点距離１１０６はズーム位置情報から求めることができる。映像処理部２２では、図１０に示すようにズーム位置と焦点距離を関係付けたテーブルを持っている。関係付けたテーブルは搭載しているカメラズームレンズに依存するものである。このズーム位置情報は図１のカメラズームレンズ５から出力され、雲台制御部２３により渡されため、映像処理部２２で取得可能である。
【００４４】
このようにして、映像処理部２２では、ズーム位置情報からＣＣＤ１１０３に投影される被写体の像１１０４のサイズを算出可能であり、このサイズのテンプレートパターンでのみマッチング処理を行えばよい。通常のテンプレートマッチングでは、画角内の被写体サイズが分からないため、テンプレートのパターンサイズを変更しながらマッチングを行っているが、本件ではサイズを特定してマッチングを行うことが出来る。従って、可変テンプレートマッチングと比較して高速にマッチングを行うことが可能になる。
【符号の説明】
【００４５】
４０１  着陸する航空機、４０４  テンプレートとして使用しないパターン、
４０６  テンプレートとして使用するパターン
【図２】
2016058986.tif 000003
【図５】
2016058986.tif 000004
【図６】
2016058986.tif 000005
【図８】
2016058986.tif 000006
【図１０】
2016058986.tif 000007
【図１】
2016058986.tif 000008
【図３】
2016058986.tif 000009
【図４】
2016058986.tif 000010
【図７】
2016058986.tif 000011
【図９】
2016058986.tif 000012
【図１１】
2016058986.tif 000013
【図１２】
2016058986.tif 000014
【図１３】
2016058986.tif 000015
【図１４】
2016058986.tif 000016