(57)【要約】【課題】自動追尾中にエクステンダーを使用しても、被写体を認識し続けることを可能にした自動追尾システムを提供すること。【解決手段】撮影した画像から追尾対象を画像認識し、追尾撮影を行う自動追尾装置であって、映像の倍率変更手段を有した撮像手段と、映像から追尾対象を認識する画像認識手段と、自動追尾装置を操作する操作手段からの制御信号を受信し自動追尾装置を制御する自動追尾制御手段を有し、前記自動追尾制御手段は、前記倍率変更手段を拡大する制御信号を受信すると、前記画像認識手段に認識サイズの拡大と、認識位置の変更をするように制御することと、前記自動追尾制御手段は、前記倍率変更手段を縮小する制御信号を受信すると、前記画像認識手段に認識サイズの縮小と、認識位置の変更をするように制御することを特徴とする。【選択図】図１
2017216535.tif 000002
【特許請求の範囲】
【請求項１】
撮影した画像から追尾対象を画像認識し、追尾撮影を行う自動追尾装置であって、
映像の倍率変更手段を有した撮像手段と、
映像から追尾対象を認識する画像認識手段と、
自動追尾装置を操作する操作手段からの制御信号を受信し自動追尾装置を制御する自動追尾制御手段を有し、
前記自動追尾制御手段は、前記倍率変更手段を拡大する制御信号を受信すると、前記画像認識手段に認識サイズの拡大と、認識位置の変更をするように制御することと
前記自動追尾制御手段は、前記倍率変更手段を縮小する制御信号を受信すると、前記画像認識手段に認識サイズの縮小と、認識位置の変更をするように制御することを特徴とする自動追尾装置。
【請求項２】
前記倍率変更手段により拡大する際に追尾対象が画面からはみ出すか否かを判断する拡大前判断手段を有し、前記自動追尾制御手段が前記倍率変更手段を拡大する制御信号を受信したときに、追尾対象が画面からはみ出さないと拡大前判断手段が判断した場合に、倍率変更手段を制御することを特徴とする請求項１に記載の自動追尾装置。
【請求項３】
前記倍率変更手段は、電子式の解像度変換手段であることを特徴とする請求項２に記載の自動追尾装置。
【請求項４】
前記倍率変更手段は、挿抜式の焦点距離変換光学系であることを特徴とする請求項２に記載の自動追尾装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動追尾システムに関し、特に画像認識による自動追尾撮影装置に関する。
【背景技術】
【０００２】
従来からカメラにパン及びチルトの旋回動作が可能な電動雲台が取り付けられたリモート雲台カメラが提案されている。
【０００３】
近年、このリモート雲台カメラに画像認識技術を搭載して、映像内に映る被写体を認識し、被写体の動きに合わせて自動でパン・チルトを動作させ追尾する自動追尾カメラシステムが提案されている。これにより、操作者がリモート雲台カメラの向きを変更しなくても、動きのある被写体を自動で撮影することが可能になる。
【０００４】
被写体の認識を行う画像認識技術の一つとして、テンプレートマッチング手段を用いた認識技術が知られている。この画像認識技術による自動追尾撮影では、被写体を映す角度が変化した場合、撮影される被写体のパターンが変化するため、比較するテンプレートを変更する必要がある。
【０００５】
従来では特許文献１に示すように、撮影した映像内の被写体パターンをテンプレートとして逐次差し替えていくことにより、被写体パターンが徐々に変化しても、被写体を認識できるようにしていた。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第４９６９２９１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述の特許文献１に開示された従来技術では、自動追尾中に撮影画像を拡大するエクステンダーを使用した場合が考慮されていない。
【０００８】
本件におけるエクステンダーとは、焦点距離変換光学系を光軸に対して挿抜するタイプの光学エクステンダー、および映像の一部を切り出すタイプのデジタルエクステンダーの両方を意味している。エクステンダーを使用した場合、急激に被写体のサイズが拡大され、画面上の位置もずれてしまう。この様子について図３を用いて説明する。
【０００９】
図３の３０１はエクステンダーがＯＦＦのときの映像、３０２はＯＮした後の映像である。３０３と３０５が被写体のサイズ、３０４と３０６は画面の中心を原点とした場合の被写体の画面位置を示している。
【００１０】
図３においては、エクステンダーの倍率を２倍としているので、被写体サイズ３０５は３０３の２倍、画面位置３０６は３０４の２倍になっていることが分かる。つまり、エクステンダーをＯＦＦからＯＮに切り替えたとき、被写体の位置が急激に移動してしまうとともに、被写体のサイズも急激に変更するため、比較していたテンプレートと一致しない状態になる。そのため、被写体を認識できなくなってしまう。
【００１１】
一方、エクステンダーをＯＮからＯＦＦにした場合も同様に被写体のサイズおよび画面位置が急激に変化するため、被写体を認識できなくなってしまう。
【００１２】
そこで、本発明の目的は、自動追尾中にエクステンダーを使用しても、被写体を認識し続けることを可能にした自動追尾システムを提供することにある。
【課題を解決するための手段】
【００１３】
上記の目的を達成するために、本発明に係る自動追尾装置は、
撮影した画像から追尾対象を画像認識し、追尾撮影を行う自動追尾装置であって、
映像の倍率変更手段を有した撮像手段と、
映像から追尾対象を認識する画像認識手段と、
自動追尾装置を操作する操作手段からの制御信号を受信し自動追尾装置を制御する自動追尾制御手段を有し、
前記自動追尾制御手段は、前記倍率変更手段を拡大する制御信号を受信すると、前記画像認識手段に認識サイズの拡大と、認識位置の変更をするように制御することと
前記自動追尾制御手段は、前記倍率変更手段を縮小する制御信号を受信すると、前記画像認識手段に認識サイズの縮小と、認識位置の変更をするように制御すること
を特徴とする。
【発明の効果】
【００１４】
本発明によれば、自動追尾中にエクステンダーを使用しても、被写体を認識し続けることを可能にした自動追尾システムを提供することができる。
【図面の簡単な説明】
【００１５】
【図１】実施例１の自動追尾システムの全体ブロック図である。
【図２】画像認識部が被写体を認識した時の座標位置を説明する図である。
【図３】自動追尾により被写体を画面の中心に制御できることを説明する図である。
【図４】テンプレートマッチングサイズとテンプレートの比較位置を変更する方法を説明する図である。
【図５】実施例１の自動追尾制御部の制御の流れを説明する図である。
【図６】実施例２の自動追尾システムの全体ブロック図である。
【図７】拡大前判断手段の判断方法を説明する図である。
【図８】実施例２の自動追尾制御部の制御の流れを説明する図である。
【発明を実施するための形態】
【００１６】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【実施例１】
【００１７】
以下、図１を参照して、本発明の第１の実施例による、自動追尾システムについて説明する。
【００１８】
図１は自動追尾システムの全体ブロック図である。
【００１９】
１は、パン及びチルトの旋回動作が可能なリモート雲台カメラである。リモート雲台カメラ１にはデジタル式のエクステンダー機能が搭載されており、外部からの指令によりその機能をＯＮすることができる。本実施例で搭載されているエクステンダーは２倍であり、エクステンダーをＯＮすると図３を用いて説明した通り、画角が半分になり被写体サイズが２倍になる。本実施例においてはデジタルエクステンダーを例に上げたが、光学のエクステンダーでも構わない。
【００２０】
リモート雲台カメラ１から出力された映像信号２は、映像信号３と映像信号４に分岐される。本実施例において映像信号２はＨＤ−ＳＤＩ信号を想定している。
【００２１】
映像信号３は、遠隔地にいる操作者へ送られる映像である。映像信号４は、画像認識部７へ送られる。画像認識部７では入力された映像から、追尾すべき被写体が映像上のどの座標に撮影されているかを認識し、その座標を被写体座標８として出力する。
【００２２】
被写体座標８について、図２を用いて説明する。
【００２３】
図２の２０１は映像信号４の映像を示している。２０１の映像信号には、被写体である航空機２０２が撮影されている。画像認識部７はこの航空機２０２を認識し、モニターの中心を（０，０）座標とした場合の航空機２０２の座標位置を出力する。例では、（−４８０，２００）という座標位置が算出されているので、その値を被写体座標８として出力する。
【００２４】
図１に戻り、被写体座標８は自動追尾制御部９に入力される。自動追尾制御部９は被写体座標８が０になるようにパン・チルトを制御する。この動作を常時行うことにより、被写体が移動しても画面の中心に被写体を移すことができる。また、自動追尾制御部９は遠隔地に配備されている操作器１０と通信が可能であり、例えばエクステンダーのＯＮ／ＯＦＦコマンドなどを受信し、リモート雲台カメラを制御できるようになっている。
【００２５】
ここで、自動追尾制御部９の処理の流れについて図５を用いて説明する。
【００２６】
図５は自動追尾制御部９のエクステンダーコマンドの処理を示したものである。
【００２７】
自動追尾制御部９は起動後５０１でコマンド受信待ちになる。５０１でコマンドを受信すると、処理が５０２に移る。
【００２８】
５０２では受信したコマンドがエクステンダーのＯＦＦコマンドであるかを判断し、ＯＦＦコマンドならば５０３に移り、それ以外の場合は５０８に移る。
【００２９】
５０８では、受信したコマンドがエクステンダーのＯＮコマンドかを判断し、エクステンダーのＯＮコマンドならば５０９、それ以外ならば５０１へ処理を戻す。
【００３０】
５０９では現在のエクステンダーの状態を判断する。エクステンダーがＯＮならば処理を５０１に戻す。ＯＦＦならば処理を５１０に移す。
【００３１】
５０６ではエクステンダーが２倍であるという倍率情報を画像認識部７に対して送信する。
【００３２】
一方、５０２にてエクステンダーのＯＦＦコマンドを受信したと判断した場合は、処理を５０３に移す。
【００３３】
５０３で現在のエクステンダー状態を判断し、既にＯＦＦ状態であるならば５０１に処理を戻す。ＯＮ状態ならば、処理を５０４に移す。
【００３４】
５０４ではエクステンダーが１倍（ＯＦＦ）であるという倍率情報を送信する。このようにしてエクステンダーコマンドを受信した際に画像認識部へエクステンダーの倍率情報を送信している。
【００３５】
ここで、画像認識部７の自動追尾処理を説明する。画像認識部７は特許文献１と同様にテンプレートマッチング方式により被写体認識を行っている。
【００３６】
本実施例において、この方式による被写体認識技術の詳細は本質的な部分ではないため省略するが、特許文献１の方法に限定するものではない。
【００３７】
画像認識部７では自動追尾制御部９からのエクステンダー倍率情報６により、エクステンダーの倍率情報を取得できるようになっている。画像認識部７ではエクステンダー倍率情報６に基づき、テンプレートマッチングサイズとテンプレートの比較位置を変更する。テンプレートマッチングのサイズを変更する例を図４に示す。図４の４０１は、サイズ変更する前の図形、４０２はサイズ変更後の図形である。４０２の図形は、４０１の各ＤＯＴを式（１）のアフィン変換式を用いて拡大したものである。
【００３８】
【数１】
2017216535.tif 000003
【００３９】
本実施例においてはエクステンダーの倍率が２倍であるため、サイズ変換には単なるアフィン変換を用いたが、エクステンダーの倍率が整数倍でない場合は、Ｎｅａｒｅｓｔ  ｎｅｉｇｈｂｏｒ、Ｂｉｌｉｎｅａｒなどの手法を用いる必要がある。テンプレートの比較位置に関しては、図３の３０３と３０６のようにＸ座標とＹ座標をそれぞれ２倍すればよい。
【００４０】
このようにエクステンダーの倍率情報からテンプレートマッチングサイズとテンプレートの比較位置を算出し、変更することによりエクステンダーによる被写体の認識外れを防止することができる。
【実施例２】
【００４１】
以下、図６を参照して、本発明の第２の実施例による、自動追尾システムについて説明する。
【００４２】
第２の実施例は第１の実施例に対し、エクステンダーをＯＮした場合に被写体が画面からはみ出さないかを確認してからＯＮするという機能を追加したものである。
【００４３】
図６は第２の実施例の全体ブロック図である。
【００４４】
６０１は、パン及びチルトの旋回動作が可能なリモート雲台カメラである。リモート雲台カメラ６０１にはデジタル式のエクステンダー機能が搭載されており、外部からの指令によりその機能をＯＮすることができる。本実施例で搭載されているエクステンダーは２倍であり、エクステンダーをＯＮすると図３を用いて説明した通り、画角が半分になり被写体サイズが２倍になる。本実施例においてはデジタルエクステンダーを例に上げたが、光学のエクステンダーでも構わない。
【００４５】
リモート雲台カメラ６０１から出力された映像信号６０２は、映像信号６０３と映像信号６０４に分岐される。本実施例において映像信号６０２はＨＤ−ＳＤＩ信号を想定している。
【００４６】
映像信号６０３は、遠隔地にいる操作者へ送られる映像である。映像信号６０４は、画像認識部６０７へ送られる。
【００４７】
画像認識部６０７では入力された映像から、追尾すべき被写体が映像上のどの座標に撮影されているかを認識し、その座標を被写体座標６０８として出力する。被写体座標６０８については、実施例１と同様であるため、説明は省略する。被写体座標６０８は自動追尾制御部６０９に入力される。
【００４８】
自動追尾制御部６０９は被写体座標６０８が０になるようにパン・チルトを制御する。この動作を常時行うことにより、被写体が移動しても画面の中心に被写体を移すことができる。また、自動追尾制御部６０９は遠隔地に配備されている操作器６１０と通信が可能であり、例えばエクステンダーのＯＮ／ＯＦＦコマンドなどを受信し、リモート雲台カメラを制御できるようになっている。
【００４９】
図１と差異は画像認識部６０７から拡大前判断手段６１２に対して、被写体を認識した長方形の角座標６１１を送っていることである。拡大前判断手段６１２では、この角座標６１１を用い、エクステンダーがＯＮした場合に被写体が画面からはみ出すか否かを判定する。
【００５０】
図７はエクステンダーがＯＦＦ状態のときに、被写体を捉えた図である。
【００５１】
７０１は被写体であり、画像認識部６０７が実施例１と同様のパターンマッチング手法により被写体を認識した部分である。被写体の認識範囲は長方形であり、その４つの角は画面の中心を原点とする座標で表される。７０２は撮影画像の横の長さ、７０３は縦の長さである。本実施例の映像信号はＳＭＰＴＥ２９２で規定されているＨＤ−ＳＤＩの１０８０ｉであるため、７０２は１９２０ｄｏｔ、７０３は１０８０ｄｏｔである。７０４、７０５、７０６、７０７は撮影映像の角の座標であり、それぞれ（−９６０、＋５４０）（＋９６０、＋５４０）（＋９６０、−５４０）（−９６０、−５４０）である。本実施例のエクステンダー倍率は２倍であるため、エクステンダーをＯＮした場合に画面からはみ出るか否かを判定するには、外枠を７１０のように半分の大きさにすれば判定することが可能になる。７１０の横の長さ７０８は９６０ｄｏｔ、縦の長さ７０９は５４０ｄｏｔである。７１０の角である７１１，７１２，７１３，７１４の座標はそれぞれ（−４８０、＋２７０）（＋４８０、＋２７０）（＋４８０、−２７０）（−４８０、−２７０）である。今、被写体を認識している長方形における４つの角座標を（ｘ１，ｙ１）（ｘ２，ｙ２）（ｘ３，ｙ３）（ｘ４，ｙ４）とすると
−４８０≦ｘａ≦＋４８０、−２７０≦ｙａ≦＋２７０（ａは、１，２，３，４）
を満たすならば、エクステンダーをＯＮした後の被写体は画面からはみ出すことはない。
【００５２】
本実施例では外枠をエクステンダーの倍率分小さくして演算をおこなったが、演算方法は多数あるのでその限りではない。
【００５３】
このように画像認識部６０７からの角座標６１１を用い拡大前判断手段６１２では、エクステンダーがＯＮした場合に被写体が画面からはみ出すか否かを判定する。このようにして判定された判定信号６１３を自動追尾制御部６０９へ送る。
【００５４】
自動追尾制御部６０９は遠隔地に配備されている操作器６１０からエクステンダーのＯＮ／ＯＦＦコマンドを受信した場合、判定信号６１３によってコマンドを実行するかを判断する。そのフローを図８に示す。
【００５５】
図８は自動追尾制御部６０９のエクステンダーコマンドの処理を示したものである。
【００５６】
自動追尾制御部６０９は起動後８０１でコマンド受信待ちになる。
【００５７】
８０１でコマンドを受信すると、処理が８０２に移る。
【００５８】
８０２では受信したコマンドがエクステンダーのＯＦＦコマンドであるかを判断し、ＯＦＦコマンドならば８０３に移り、それ以外の場合は８０８に移る。
【００５９】
８０８では、受信したコマンドがエクステンダーのＯＮコマンドかを判断し、エクステンダーのＯＮコマンドならば８０９、それ以外ならば８０１へ処理を戻す。
【００６０】
８０９では現在のエクステンダーの状態を判断する。エクステンダーがＯＮならば処理を８０１に戻す。ＯＦＦならば処理を８０７に移す。
【００６１】
８０７ではエクステンダーをＯＮした際に画面からはみ出さないかを判断する部分である。判定信号６１３でＮＧ（はみ出していることを示す）ならば８０１へ、ＯＫ（はみ出さないことを示す）ならば８０６に処理を移す。
【００６２】
８０６ではエクステンダーが２倍であるという倍率情報を画像認識部６０７に対して送信する。一方、８０２にてエクステンダーのＯＦＦコマンドを受信したと判断した場合は、処理を８０３に移す。
【００６３】
８０３で現在のエクステンダー状態を判断し、既にＯＦＦ状態であるならば８０１に処理を戻す。ＯＮ状態ならば、処理を８０４に移す。
【００６４】
８０４ではエクステンダーが１倍（ＯＦＦ）であるという倍率情報を送信する。
【００６５】
このようにしてエクステンダーコマンドを受信した際に画像認識部６０７からの判定信号６１１を考慮にいれエクステンダーの倍率情報を送信している。
【００６６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６７】
１  リモート雲台カメラ、７  画像認識部、９  自動追尾制御部、１０  操作器
【図１】
2017216535.tif 000004
【図２】
2017216535.tif 000005
【図３】
2017216535.tif 000006
【図４】
2017216535.tif 000007
【図５】
2017216535.tif 000008
【図６】
2017216535.tif 000009
【図７】
2017216535.tif 000010
【図８】
2017216535.tif 000011