(57)【要約】【課題】自動追尾中にエクステンダーを使用しても、被写体を認識し続けることを可能にした自動追尾システムを提供すること。【解決手段】撮影した画像から追尾対象を画像認識し、追尾撮影を行う自動追尾装置であって、映像の倍率変更手段を有した撮像手段と、映像から追尾対象を認識する画像認識手段と、前記画像認識手段の前段に、映像サイズを変更する映像リサイズ手段と、前記撮像手段の前記倍率変更手段および前記映像リサイズ手段を制御する自動追尾制御手段を有し、前記撮像手段が前記倍率変更手段で映像を拡大した場合、前記映像リサイズ手段は前記倍率変更手段が拡大した割合と同じ割合で映像を縮小し、前記画像認識手段に入力することと、前記撮像手段が前記倍率変更手段で映像を縮小した場合、前記映像リサイズ手段は前記倍率変更手段が縮小した割合と同じ割合で映像を拡大し、前記画像認識手段に入力することを特徴とする。【選択図】図１
2017085441.tif 000002
【特許請求の範囲】
【請求項１】
撮影した画像から追尾対象を画像認識し、追尾撮影を行う自動追尾装置であって、
映像の倍率変更手段を有した撮像手段と、
映像から追尾対象を認識する画像認識手段と、
前記画像認識手段の前段に、映像サイズを変更する映像リサイズ手段と
前記撮像手段の前記倍率変更手段および前記映像リサイズ手段を制御する自動追尾制御手段を有し、
前記撮像手段が前記倍率変更手段で映像を拡大した場合、前記映像リサイズ手段は前記倍率変更手段が拡大した割合と同じ割合で映像を縮小し、前記画像認識手段に入力することと、
前記撮像手段が前記倍率変更手段で映像を縮小した場合、前記映像リサイズ手段は前記倍率変更手段が縮小した割合と同じ割合で映像を拡大し、前記画像認識手段に入力することを特徴とする自動追尾装置。
【請求項２】
前記倍率変更手段は、電子式の解像度変換手段であることを特徴とする請求項１に記載の自動追尾装置。
【請求項３】
前記倍率変更手段は、挿抜式の焦点距離変換光学系であることを特徴とする請求項１に記載の自動追尾装置。
【請求項４】
前記画像認識手段が、画像認識を一時停止した後、
前記撮像手段が前記倍率変更手段で映像を拡大し、
前記映像リサイズ手段は前記倍率変更手段が拡大した割合と同じ割合で映像を縮小し、
その映像を前記画像認識手段に入力し、
前記画像認識手段が、画像認識の一時停止解除することと、
前記画像認識手段が、画像認識を一時停止した後、
前記撮像手段が前記倍率変更手段で映像を縮小し、
前記映像リサイズ手段は前記倍率変更手段が縮小した割合と同じ割合で映像を拡大し、
その映像を前記画像認識手段に入力し、
前記画像認識手段が、画像認識の一時停止解除することを特徴とする請求項３に記載の自動追尾装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動追尾システムに関し、特に画像認識による自動追尾撮影装置に関する。
【背景技術】
【０００２】
従来からカメラにパン及びチルトの旋回動作が可能な電動雲台が取り付けられたリモート雲台カメラが提案されている。近年、このリモート雲台カメラに画像認識技術を搭載して、映像内に映る被写体を認識し、被写体の動きに合わせて自動でパン・チルトを動作させ追尾する自動追尾カメラシステムが提案されている。これにより、操作者がリモート雲台カメラの向きを変更しなくても、動きのある被写体を自動で撮影することが可能になる。
【０００３】
被写体の認識を行う画像認識技術の一つとして、テンプレートマッチング手段を用いた認識技術が知られている。この画像認識技術による自動追尾撮影では、被写体を映す角度が変化した場合、撮影される被写体のパターンが変化するため、比較するテンプレートを変更する必要がある。
【０００４】
従来では特許文献１に示すように、撮影した映像内の被写体パターンをテンプレートとして逐次差し替えていくことにより、被写体パターンが徐々に変化しても、被写体を認識できるようにしていた。つまり、特許文献１には、撮影した映像内の被写体をテンプレートとして逐次更新するアイディアが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４９６９２９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の特許文献１に開示された従来技術では、自動追尾中に撮影画像を拡大するエクステンダーを使用した場合が考慮されていない。本件におけるエクステンダーとは、焦点距離変換光学系を光軸に対して挿抜するタイプの光学エクステンダー、および映像の一部を切り出すタイプのデジタルエクステンダーの両方を意味している。エクステンダーを使用した場合、急激に被写体のサイズが拡大され、画面上の位置もずれてしまう。この様子について図３を用いて説明する。
【０００７】
図３の３０１はエクステンダーがOFFのときの映像、３０２はONした後の映像である。３０３と３０５が被写体のサイズ、３０４と３０６は画面の中心を原点とした場合の被写体の画面位置を示している。図３においてはエクステンダーの倍率を２倍としているので、３０５は３０３の２倍、３０６は３０４の２倍になっていることが分かる。つまり、エクステンダーをOFFからONに切り替えたとき、被写体の急激なサイズ変更が生じ、比較していたテンプレートと一致しない状態になるとともに、被写体の位置も急激に移動するため、被写体を認識できなくなってしまう。一方、エクステンダーをOFFした場合も同様に被写体のサイズおよび画面位置が急激に変化するため、被写体を認識できなくなってしまう。
【０００８】
そこで、本発明の目的は、自動追尾中にエクステンダーを使用しても、被写体を認識し続けることを可能にした自動追尾システムを提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明に係る自動追尾装置は、
撮影した画像から追尾対象を画像認識し、追尾撮影を行う自動追尾装置であって、
映像の倍率変更手段を有した撮像手段と、
映像から追尾対象を認識する画像認識手段と、
前記画像認識手段の前段に、映像サイズを変更する映像リサイズ手段と
前記撮像手段の前記倍率変更手段および前記映像リサイズ手段を制御する自動追尾制御手段を有し、
前記撮像手段が前記倍率変更手段で映像を拡大した場合、前記映像リサイズ手段は前記倍率変更手段が拡大した割合と同じ割合で映像を縮小し、前記画像認識手段に入力することと、
前記撮像手段が前記倍率変更手段で映像を縮小した場合、前記映像リサイズ手段は前記倍率変更手段が縮小した割合と同じ割合で映像を拡大し、前記画像認識手段に入力すること
を特徴とする。
【発明の効果】
【００１０】
本発明によれば、自動追尾中にエクステンダーを使用しても、被写体を認識し続けることを可能にした自動追尾システムを提供することができる。
【図面の簡単な説明】
【００１１】
【図１】自動追尾システムの全体ブロック図である。
【図２】画像認識部が被写体を認識した時の座標位置を説明する図である。
【図３】自動追尾により被写体を画面の中心に制御できることを説明する図である。
【図４】映像リサイズ手段の効果を説明する図である。
【図５】自動追尾制御部の制御の流れを説明する図である。
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１３】
図１を参照して、本発明の第1の実施例による、自動追尾システムについて説明する。図１は自動追尾システムの全体ブロック図である。
【００１４】
１は、パン及びチルトの旋回動作が可能なリモート雲台カメラである。リモート雲台カメラ１から出力された映像信号２は、映像信号３と映像信号４に分岐される。本実施例において映像信号２はHD-SDI信号を想定している。映像信号３は、遠隔地にいる操作者へ送られる映像である。映像信号４は、映像処理装置５に搭載されている縮小処理部６に入力される。縮小処理部６では、映像信号４を自動追尾制御部９からの指示された縮小率とタイミングで縮小し画像認識部７へ送る。縮小率とタイミングに関しては、自動追尾制御部９の処理の流れを説明部分で詳細を記述する。画像認識部７では入力された映像から、追尾すべき被写体が映像上のどの座標に撮影されているかを認識し、その座標を被写体座標８として出力する。
【００１５】
被写体座標８について図２を用いて説明する。
【００１６】
２０１は映像信号１１の映像を示している。２０１の映像信号には、被写体である航空機２０２が撮影されている。画像認識部７はこの航空機２０２を認識し、モニターの中心を(0,0)座標とした場合の航空機２０２の座標位置を出力する。例では、(-480,200)という座標位置が算出されているので、その値を被写体座標８として出力する。自動追尾制御部９は画面中心から航空機２０２までの距離を算出し、その距離が０になるようにパン・チルトを制御する。この動作を常時行うことにより、被写体が移動しても画面の中心に被写体を移すことができる。また、自動追尾制御部９は遠隔地に配備されている操作器10と通信が可能であり、例えばエクステンダーのON/OFFコマンドなどを受信できるようになっている。
【００１７】
ここで、自動追尾制御部９の処理の流れについて図５を用いて説明する。図５は自動追尾制御部９のエクステンダーコマンドの処理を示したものである。
【００１８】
自動追尾制御部９は起動後５０１でコマンド受信待ちになる。５０１でコマンドを受信すると、処理が５０２に移る。５０２では受信したコマンドがエクステンダーのOFFコマンドであるかを判断し、OFFコマンドならば５０３に移り、それ以外の場合は５０８に移る。
【００１９】
５０８では、受信したコマンドがエクステンダーのONコマンドかを判断し、エクステンダーのONコマンドならば５０９、それ以外ならば５０１へ処理を戻す。
【００２０】
５０９では現在のエクステンダーの状態を判断する。エクステンダーがONならば処理を５０１に戻す。OFFならば処理を５１０に移す。
【００２１】
５１０では画像認識部７に画像処理を一時停止させるコマンドを送り画像処理を一時停止させる。
【００２２】
５１１では、リモート雲台カメラ１へエクステンダーのONコマンドを送信し、エクステンダーをONする。
【００２３】
５１２では、縮小処理部６へ縮小処理の実行コマンドおよび縮小率のパラメータを送信し、縮小処理をONする。本実施例においてはエクステンダーの倍率が２倍であるため、縮小率を１／２としているが、エクステンダーの倍率が３倍のときは縮小処理部６の縮小率を１／３にすればよい。
【００２４】
５１３では追尾の一時停止を解除し、５０１に戻る。一方、５０２にてエクステンダーのOFFコマンドを受信したと判断した場合は、処理を５０３に移す。５０３で現在のエクステンダー状態を判断し、既にOFF状態であるならば５０１に処理を戻す。ON状態ならば、処理を５０４に移す。
【００２５】
５０４では画像認識部７に画像処理を一時停止させるコマンドを送り画像処理を一時停止させる。
【００２６】
５０５では、リモート雲台カメラ１へエクステンダーのOFFコマンドを送信し、エクステンダーをOFFする。
【００２７】
５０６では、縮小処理部６へ縮小処理の解除コマンドを送信し、縮小処理をOFFする。
【００２８】
５０７では追尾の一時停止を解除し、５０１に戻る。本実施例において、エクステンダーがデジタルエクステンダーで、エクステンダーのON処理５１１と縮小処理５１２が同時に実行できる場合は、５１０、５１３の一時停止と解除の処理は必要ない。同様にエクステンダーがデジタルエクステンダーで、エクステンダーのOFF処理５０５と縮小解除処理５０６が同時に実行できる場合は、５０４、５０７の一時停止と解除の処理は必要ない。
【００２９】
次に、自動追尾制御部９が操作器10からエクステンダーのONコマンドを受信した場合について説明する。
【００３０】
図４の４０１と４０２はエクステンダーがOFFのときの図1の映像信号４と映像信号１１であり、４０３と４０４はエクステンダーがONのときの映像信号４と映像信号１１である。４０４は４０３の映像を縮小処理部６で縮小したものであり、周りのグレー部分４０９は縮小処理部６で付加したものである。ここでの縮小率は前述と同様で１/２である。エクステンダーがOFFの場合は縮小処理部６もOFFであるため、図１の映像信号４と映像信号１１は、図４（A）の４０１，４０２のように被写体サイズおよび画面中心からの距離４０５と４０６は変らない。
【００３１】
次にエクステンダーをONするコマンドを自動追尾制御部９で受信すると、自動追尾制御部９はリモート雲台カメラ１のエクステンダーをONした後、縮小処理部６の縮小処理をONする。このとき、図１の映像信号４と映像信号１１は、図４（B）の４０３、４０４のようになる。映像信号４０３は、エクステンダーをONしたことにより、被写体サイズは映像信号４０１と比較し２倍になる。被写体の画面中心からの距離も、距離４０７は距離４０５の２倍である。したがって、エクステンダーをONの状態で、仮にこの映像信号４０３を画像認識部７に入力した場合、テンプレートと被写体のサイズが異なり、画面上の被写体の位置も移動するため、被写体を認識できなくなってしまう。
【００３２】
しかしながら、本実施例では図１の縮小処理部６で縮小処理を行っているため、画像認識部７には映像信号４０４のような信号が入力される。映像信号４０４は、被写体のサイズ及び画面上の位置は共にエクステンダーを入れる前の４０２と同じであるため、テンプレートのサイズ変更や位置の移動を行うことなく、被写体を追尾し続けることが可能になる。
【００３３】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００３４】
１  リモート雲台カメラ、６  縮小処理部、７  画像認識部、９  自動追尾制御部、
１０  操作器
【図１】
2017085441.tif 000003
【図２】
2017085441.tif 000004
【図３】
2017085441.tif 000005
【図４】
2017085441.tif 000006
【図５】
2017085441.tif 000007