(57)【要約】【課題】追尾特性を改善する。【解決手段】画像データから、移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出する第１検出手段１７３と、第２回転手段１２１の姿勢を示す第２角度と、追尾誤差検出値と第１回転手段１１１の第１角度及び第２角度を使用して計算した第１回転手段の第１角速度及び第２回転手段の第２角速度とを使用して追尾誤差予測値を計算する第２計算手段１７１と、追尾誤差予測値と画像データの処理領域とを関連付けて記憶している記憶手段１７２と、記憶手段を参照して、第２計算手段が計算した追尾誤差予測値に対応する処理領域を設定する設定手段１７２と、設定された処理領域と追尾誤差検出値とを使用して追尾誤差検出値を補正した補正追尾誤差検出値を計算する第３計算手段１７４と、を具備し、第１検出手段１７３は、設定手段が設定した処理領域内で追尾誤差検出値を検出することを特徴とする。【選択図】図１
2009260564.tif 000002
【特許請求の範囲】
【請求項１】
垂直方向に向けられ回転自在に支持されるアジマス軸を中心に回転する第１回転手段と、
前記アジマス軸と直交する水平方向に設定され回転自在に支持されるエレベーション軸を中心に回転する第２回転手段と、
前記第１回転手段及び前記第２回転手段を個別に回転駆動する駆動手段と、
前記第２回転手段に支持され、移動体を撮影して画像データを取得する取得手段と、
前記画像データから、前記移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出する第１検出手段と、
前記第１回転手段の姿勢を示す第１角度を検出する第２検出手段と、
前記第２回転手段の姿勢を示す第２角度を検出する第３検出手段と、
前記追尾誤差検出値と前記第１角度及び前記第２角度とを使用して、前記第１回転手段の第１角速度及び前記第２回転手段の第２角速度を計算する第１計算手段と、
前記第１回転手段の第３角速度と前記第２回転手段の第４角速度とを検出する第４検出手段と、
前記第１角速度と前記第３角速度との差がなくなるように、かつ、前記第２角速度と前記第４角速度との差がなくなるように前記駆動手段を制御する制御手段と、
前記第２角度と前記第１角速度及び前記第２角速度とを使用して追尾誤差予測値を計算する第２計算手段と、
追尾誤差予測値と前記画像データの処理領域とを関連付けて記憶している記憶手段と、
前記記憶手段を参照して、前記第２計算手段が計算した前記追尾誤差予測値に対応する処理領域を設定する設定手段と、
前記設定手段が設定した前記処理領域と前記追尾誤差検出値とを使用して追尾誤差検出値を補正した補正追尾誤差検出値を計算する第３計算手段と、を具備し、
前記第１検出手段は、前記設定手段が設定した前記処理領域内で追尾誤差検出値を検出することを特徴とする移動体画像追尾装置。
【請求項２】
前記記憶手段は、前記画像データを予め複数の小領域に分割して、該小領域は前記処理領域に対応し該小領域と前記追尾誤差予測値とを関連付けて記憶していて、
前記設定手段は、前記追尾誤差予測値に対応する小領域を選択して前記処理領域を設定することを特徴とする請求項１に記載の移動体画像追尾装置。
【請求項３】
前記記憶手段は、前記小領域ごとが互いに隣接する小領域と重複するように前記小領域を設定して記憶していることを特徴とする請求項２に記載の移動体画像追尾装置。
【請求項４】
前記第２角度を参照して、天頂からの角度閾値内での範囲内に前記移動体が含まれているかどうかを判定する判定手段と、
前記第２計算手段は、前記移動体が前記範囲内に含まれていると判定された場合には最も近い過去に検出した追尾誤差検出値から前記追尾誤差検出値への変化率を使用して追尾誤差予測値を計算し、前記移動体が前記範囲内に含まれていないと判定された場合には前記第２角度と前記第１角速度及び前記第２角速度とを使用して追尾誤差予測値を計算することを特徴とする請求項１から請求項３のいずれか１項に記載の移動体画像追尾装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全方向に渡り移動する目標に対してカメラ等の目標認識センサを追尾させるための移動体画像追尾装置に関する。
【背景技術】
【０００２】
近年、空港やプラントなど大型施設、及び発電所や水道施設などのライフラインに関わる施設での保安設備、並びにＩＴＳなどの交通情報支援システムなどにおいて、ＩＴＶカメラ等を用いて対象物を追跡し、継続した監視や詳細な情報を入手するシステムが多く商品化されている。これらのシステムは、地上設置型だけでなく、プラットホームとして車両、船舶または航空機などを想定し、小型かつ耐振性を考慮した構造で、振動・動揺に対する外乱抑圧を行っている。更に、複数の対象物を順次、追尾できるように、旋回速度を高速化し、対象物への指向を短時間に行えることが重要になってきている。
【０００３】
このような移動体画像追尾システムは、カメラセンサで撮影した画像を用いて対象物の位置を検出して、カメラが搭載されたジンバル機構を駆動することで移動体の追尾を行う。このため、移動体をカメラセンサによって撮影した際の追尾誤差が視野内に収まらなければ、移動体を見失ってしまう。ここで、カメラセンサは、撮影画像から追尾誤差を抽出する画像処理を経るため、撮影間隔、つまりサンプリング時間の高速化が難しく、追尾遅れが生じてしまう。このため、移動体画像追尾システムでは、移動体の移動速度が速くなった場合には、カメラ視野外になってしまい、追尾不能になる可能性がある。また、ジンバル機構自体も瞬間的に高速に動く可能性があり、移動体速度が速くなった場合と同様に、カメラ視野外になってしまう可能性がある。
【０００４】
これに対して従来の画像位置検出装置では、画像中の対象物の位置を認識する際に、画像範囲を限定して演算処理を少なくすることで安定して対象物の位置を捕捉させようとしている（例えば、特許文献１参照）。
【特許文献１】特開２００４−２８６６９９公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このような従来技術では、対象物が移動する場合には、画像を取り込む時間間隔（すなわち、サンプリング時間間隔）をほぼ一定にし、微少時間内での対象物の移動速度がほぼ等速で次のサンプリング時間に対象物の中心が移動すると仮定して、サンプリング間の対象物の移動距離から、次のサンプリングのための限定する画像処理範囲を移動させている。このため、対象物の移動速度が速い場合には、次のサンプリング時間には設定した画像処理範囲外に移動してしまい、対象物を見失う可能性がある。また、ジンバル機構自体が瞬間的に高速に動いた場合にも、画像処理範囲が限定されていることから追尾誤差の検出範囲としては狭くなっているため、画像処理範囲外となってしまう可能性がある。このため、サンプリング間の対象物の移動距離から画像処理範囲を移動させる方法では、サンプリング時間が長い場合には、追尾誤差が適切に検出できない。高速な対象物の追尾を高精度に追尾するには短サンプリング時間が必要であるが、高速な場合ほど追尾誤差が大きくなる可能性があり、短サンプリング時間を実現するには追尾誤差検出範囲を狭くする必要があり、相反する要求を満たさなければならない課題が生じてしまう。
【０００６】
本発明は、上記に鑑みてなされたものであって、画像範囲を限定して演算処理を少なくしても、追尾誤差の検出範囲を適切に補正し、追尾特性を改善する移動体画像追尾装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するため、本発明の移動体画像追尾装置は、垂直方向に向けられ回転自在に支持されるアジマス軸を中心に回転する第１回転手段と、前記アジマス軸と直交する水平方向に設定され回転自在に支持されるエレベーション軸を中心に回転する第２回転手段と、前記第１回転手段及び前記第２回転手段を個別に回転駆動する駆動手段と、前記第２回転手段に支持され、移動体を撮影して画像データを取得する取得手段と、前記画像データから、前記移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出する第１検出手段と、前記第１回転手段の姿勢を示す第１角度を検出する第２検出手段と、前記第２回転手段の姿勢を示す第２角度を検出する第３検出手段と、前記追尾誤差検出値と前記第１角度及び前記第２角度とを使用して、前記第１回転手段の第１角速度及び前記第２回転手段の第２角速度を計算する第１計算手段と、前記第１回転手段の第３角速度と前記第２回転手段の第４角速度とを検出する第４検出手段と、前記第１角速度と前記第３角速度との差がなくなるように、かつ、前記第２角速度と前記第４角速度との差がなくなるように前記駆動手段を制御する制御手段と、前記第２角度と前記第１角速度及び前記第２角速度とを使用して追尾誤差予測値を計算する第２計算手段と、追尾誤差予測値と前記画像データの処理領域とを関連付けて記憶している記憶手段と、前記記憶手段を参照して、前記第２計算手段が計算した前記追尾誤差予測値に対応する処理領域を設定する設定手段と、前記設定手段が設定した前記処理領域と前記追尾誤差検出値とを使用して追尾誤差検出値を補正した補正追尾誤差検出値を計算する第３計算手段と、を具備し、前記第１検出手段は、前記設定手段が設定した前記処理領域内で追尾誤差検出値を検出することを特徴とする。
【発明の効果】
【０００８】
本発明の移動体画像追尾装置によれば、画像範囲を限定して演算処理を少なくしても、追尾誤差の検出範囲を適切に補正し、追尾特性を改善することを可能にできる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照しながら本発明の実施形態に係る移動体画像追尾装置について詳細に説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。  
実施形態の移動体画像追尾装置は、移動体画像追尾機構の制御システムを、画像トラッキングシステムに適用したものである。
【００１０】
（第１の実施形態）  
本実施形態の移動体画像追尾装置について図１を参照して説明する。
【００１１】
本実施形態の移動体画像追尾装置は、第１、第２のジンバル１１１，１２１、第１、第２駆動部１１２，１２２、第１、第２の角速度センサ１１３，１２３、第１、第２の角度センサ１１４，１２４、カメラセンサ１４０、角速度指令生成部１５０、駆動制御部１６０、追尾誤差予測部１７１、画像処理領域指定部１７２、追尾誤差検出部１７３、追尾誤差補正部１７４を含む。  
また、角速度指令生成部１５０は、第１の指令算出部１５１、第２の指令算出部１５２を含み、駆動制御部１６０は、第１のサーボ制御部１６１、第２のサーボ制御部１６２を含んでいる。
【００１２】
第１のジンバル１１１は、垂直方向に向けられ回転自由に支持されるアジマス軸として第１のジンバル軸１１０を中心に回転する。第２のジンバル１２１は、このアジマス軸と直交する水平方向に設けられ、回転自由に支持されるエレベーション軸として第２のジンバル軸１２０を中心に回転する。  
第１、第２の駆動部１１２，１２２は、それぞれ、第１、第２のジンバル１１１，１２１を回転駆動する。
【００１３】
第１の角速度センサ１１３は、第１のジンバル軸１１０を中心に回転する第１のジンバル１１１の角速度を検出する。第２の角速度センサ１２３は、第２のジンバル軸１２０を中心に回転する第２のジンバル１２１の角速度を検出する。
【００１４】
第１の角度センサ１１４は、第１のジンバル１１１のジンバル固定部に対する回転角度を検出する。第２の角度センサ１２４は、第２のジンバル１２１の第１のジンバル１１１に対する回転角度を検出する。  
カメラセンサ１４０は、第２のジンバル１２１に支持され、移動体を認識して画像データを得る。
【００１５】
追尾誤差検出部１７３は、画像処理領域指定部１７２により指定された領域で、カメラセンサ１４０から取得した画像データに画像処理を施して追尾誤差を検出する。追尾誤差検出部１７３は、一般的には２値化により白黒画像にし、移動体の特徴点を抽出することでカメラ視野内の位置が識別され、画像処理領域指定部１７２により指定された領域での視野中心からの２方向のずれ量（ΔＸＳ，ΔＹＳ）を追尾誤差検出値とする。これらの画像処理を含めた処理時間が追尾誤差検出値を得るサンプリング時間となる。追尾誤差検出値については後に図４、図１０を参照して説明する。
【００１６】
追尾誤差補正部１７４は、追尾誤差検出部１７３による追尾誤差検出値（ΔＸＳ，ΔＹＳ）と、画像処理領域指定部１７２による領域指定値とを入力し、全視野領域上の追尾誤差として補正した補正された追尾誤差検出値（ΔＸ，ΔＹ）を出力する。追尾誤差補正部１７４については後に図８、図１０を参照して説明する。
【００１７】
角速度指令生成部１５０は、追尾誤差補正部１７４から取得する２方向の補正された追尾誤差検出値（ΔＸ，ΔＹ）と、第１、第２の角度センサ１１４，１２４により検出されるジンバル姿勢を表す２軸の角度検出値（θ１，θ２）とにより、移動体を追尾するようジンバルを駆動する角速度指令値を生成する。この計算の詳細は後に図３を参照して説明する。
【００１８】
第１の指令算出部１５１は、追尾誤差補正部１７４から取得する２方向の補正された追尾誤差検出値（ΔＸ，ΔＹ）と、第１、第２の角度センサ１１４，１２４により検出した角度データとに基づき、目標の追従において、第１のジンバル１１１を駆動する第１の角速度指令値を計算する。第２の指令算出部１５２は、追尾誤差補正部１７４から取得する２方向の補正された追尾誤差検出値（ΔＸ，ΔＹ）と、第１、第２の角度センサにより検出した角度データとに基づき、目標の追従において、第２のジンバル１２１を駆動する第２の角速度指令値を計算する。
【００１９】
駆動制御部１６０は、角速度指令生成部１５０で生成された各角速度センサに対応する角速度指令値と、第１、第２の角速度センサ１１３，１２３で検出された角速度検出値との差を０にするように制御指令値を計算する。第１，第２のサーボ制御部１６１，１６２は、それぞれ第１、第２の角速度センサ１１３，１２３に対応し、それぞれ第１、第２の駆動部１１２，１２２に対応する制御指令値を出力する。
【００２０】
追尾誤差予測部１７１は、第１、第２の角度センサ１１４，１２４のそれぞれから角度と、駆動制御部１６０による制御指令値に含まれる角速度指令値とを入力することで、追尾誤差予測値（
【数１】
2009260564.tif 000003
【００２１】
）を得る。追尾誤差予測部１７１については後に図９、図１０を参照して説明する。
【００２２】
画像処理領域指定部１７２は、追尾誤差予測値を入力し、追尾誤差予測値が示す追尾誤差が画像上のどの位置に現れるかによって、画像処理を行う領域を判別し領域指定値を出力する。画像処理領域指定部１７２については後に図５、図６、図７、図８、図９、図１０を参照して説明する。
【００２３】
次に、本実施形態で使用するカメラセンサについて図２を参照して説明する。  
第１のジンバル軸１１０はアジマス軸（以下、単に「Ａｚ軸」という）、第２のジンバル軸１２０はエレベーション軸（以下、単に「ＥＬ軸」という）である。図１の移動体画像追尾装置は、これらのＡｚ軸、ＥＬ軸が一点において直交する２軸構造を備えた２軸旋回装置である。
【００２４】
次に、本実施形態の移動体画像追尾装置の補正制御系について図３を参照して説明する。図３は、Ａｚ軸、ＥＬ軸の２軸まとめて表した制御ブロック線図である。  
角速度指令生成部１５０は、追尾誤差補正部１７４から取得する２方向の補正された追尾誤差検出値（ΔＸ，ΔＹ）と、第１、第２の角度センサ１１４，１２４により検出されるジンバル姿勢を表す２軸の角度検出値（θ１，θ２）とにより、移動体を追尾するようにジンバルを駆動する角速度指令値
【数２】
2009260564.tif 000004
【００２５】
を生成する。２方向追尾誤差検出値（ΔＸ，ΔＹ）から２軸ジンバルの各軸へ角速度を分配する手法の一つとして、追尾誤差検出値と角度検出値に対する角速度指令値の関係式を表すと、次式のように表される。
【数３】
2009260564.tif 000005
【００２６】
ここで、secθは、θに関する正割関数であり、kは追尾ゲインである。
【００２７】
図３に示される補正制御系に含まれる追尾誤差検出部１７３、画像処理領域指定部１７２、追尾誤差補正部１７４、追尾誤差予測部１７１については以下それぞれ詳細に説明する。
【００２８】
次に、カメラセンサ１４０が取得した画像の視野と移動体の追尾誤差について図４を参照して説明する。  
図４は、本実施形態にかかるカメラ画像の視野と移動体の追尾誤差について概要を示した図である。移動体がカメラ視野内で捉えている場合には、カメラ中心からのずれ量として追尾誤差検出値（ΔＸ，ΔＹ）が得られる。一般的には、撮影したカメラ画像を２値化し、特徴点を抽出して画像中から特徴点の位置を検出する画像処理を行って、ずれ量を得ている。このような画像処理の遅延や、ジンバル機構系の応答の遅れ、そして電気回路系の遅れ等が存在しているため、追尾遅れが必ず生じ、この追尾誤差検出値はカメラ視野以上には許容でない。追尾誤差は小さいことが望ましいが、追尾誤差が大きくともカメラ視野内に入っている限り、２軸ジンバルを駆動して移動体を追尾することができる。
【００２９】
次に、カメラ画像に対する画像処理を適用する領域指定の概要について図５を参照して説明する。  
画像処理を行って追尾誤差の検出しているため、この画像処理の処理時間がジンバルを追尾駆動するための角速度指令値の更新時間を制約してしまっている。ジンバルの角速度指令の更新間隔が長い場合には、より大きな追尾誤差が発生してしまう可能性がある。そこで、画像処理の適用を制限した領域指定を行うことで処理演算負荷を低減し、画像処理時間を短縮することができる。例えば、図５では５１２×５１２画素の画像領域を持っており、全画素に対して画像処理をすると１２０Ｈｚの更新サンプリング周波数になる画像処理を行う追尾誤差検出部１７３の場合には、領域を２５６×２５６画素の領域に制限して画像処理をするように指定した場合、画像処理の量は半分になるので、更新サンプリング周波数を２４０Ｈｚと高くすることが可能となる。このようにすることで、ジンバルの角速度指令の更新間隔を短くすることができ、高速に移動する移動体の追尾が可能となる。
【００３０】
次に、画像処理領域指定部１７２が行うカメラ画像の処理領域指定について、図６、図７を参照して説明する。  
図６は、処理領域の分割の概要を表した図である。一例として５１２×５１２画素の画像領域のカメラセンサ１４０に対して、画像処理を行う領域を２５６×２５６画素に制限する場合をあげる。この場合、追尾誤差が検出できる範囲としては元のカメラ画像よりも狭いものとなっている。移動体が高速な場合やジンバルが高速に動く場合には、画像処理領域を制限し、高サンプリングにすることが望ましいが、追尾誤差の許容量は小さくなってしまっている。したがって、高速時に発生する可能性のある大きな追尾誤差を検出することができず、追尾不能となる可能性がある。そこで、本実施形態では、２５６×２５６画素の小領域が、隣接する小領域と重複するように、画像領域を小領域中心０から小領域中心８の９つの小領域中心を備える分割設定する。
【００３１】
図７（ａ）、（ｂ）は、画像処理を制限した小領域の概要を現した図である。小領域中心１を選択した場合には、図７（ａ）のような小領域が設定される。また、小領域中心５を選択した場合には、図７（ｂ）のような小領域が設定される。小領域中心１と小領域中心５とは隣接し、それぞれが互いに１／２の領域で重複している。また、図示はしていないが、小領域中心１と小領域中心２とは１／４の領域で重複している。すなわち、小領域中心間距離の近い上下左右で隣接する領域に対しては１／２の領域で重複し、小領域中心間距離の遠い斜めで隣接する領域に対しては１／４の領域で重複し、必ず小領域中心間の移動方向で重複する領域を備えている。したがって、対象物が小領域中心１から小領域中心５の方向へ移動した場合には、小領域中心５の小領域を選択することで必ず小領域内に捉えることが可能となる。
【００３２】
次に、画像処理領域指定部１７２と追尾誤差補正部１７４について図８を参照して説明する。  
図８は、選択された小領域で検出された対象物の追尾誤差補正の概要を表した図である。一例として、追尾誤差検出部１７３が画像処理領域指定部１７２から小領域中心１が選択されている領域指定値を受け取った場合を示していて、小領域中心１で形成される小領域内に対象物がある場合に、追尾誤差検出部１７３が、この領域に制限して画像処理を行うと、処理領域としての特徴点位置（ΔＸＳ，ΔＹＳ）を検出する。この値は処理領域内での位置として得られるため、どの小領域でも同じ範囲内の値となる。そこで、追尾誤差補正部１７４が画像処理領域指定部１７２から選択した小領域を示す領域指定値を受け取り選択された領域に応じて、オフセット値（Ｘｏｆｓ，Ｙｏｆｓ）を与えることで、カメラ画像全体を追尾誤差検出範囲とした追尾誤差検出値（ΔＸ，ΔＹ）に補正することができる。したがって、追尾誤差検出値（ΔＸ，ΔＹ）は、次式で表される。
【数４】
2009260564.tif 000006
【００３３】
このようにすることで、小領域に分割して画像処理を行っても、元来のカメラ画像全体として追尾誤差を検出することが可能となる。
【００３４】
次に、追尾誤差予測部１７１が行う追尾誤差予測に基づいて画像処理領域指定部１７２が行う画像処理領域指定について図９、図１０を参照して説明する。  
本実施形態では、追尾誤差予測部１７１が、ジンバル姿勢を表す角度を第１、第２の角度センサ１１４，１２４から取得し、移動体を追尾駆動する角速度指令値を駆動制御部１６０から取得し、角度と角速度指令値とから追尾誤差を予測し、追尾誤差予測値に応じて画像処理領域指定部１７２が画像処理領域を指定している。追尾誤差予測値（
【数５】
2009260564.tif 000007
【００３５】
）は、追尾誤差と角速度指令を生成する関係式から、逆の関係として次式が成り立つ。 
【数６】
2009260564.tif 000008
【００３６】
これは、現在のジンバル姿勢から角速度指令で理想的に駆動した際に変化する理想的な追尾誤差を表している。実際にはジンバル機構の応答遅れや電気系の遅れ等により追尾遅れが発生する。したがって、追尾誤差予測値は、常に追尾誤差検出値よりも先んじた値となり、追尾誤差を予測することが可能となる。
【００３７】
ここで、従来方法の一つである追尾誤差予測手法（画像差分による追尾誤差予測）と本実施形態の追尾誤差予測部１７１による追尾誤差予測手法とを比較する。従来の手法では、追尾誤差予測値は、次の関係式で表される。
【数７】
2009260564.tif 000009
【００３８】
これは、現在のサンプルの値と１サンプル前の値から変化率を求め、次サンプルでは現在のサンプルから変化率だけ追尾誤差が変化するという関係式である。この方法の場合、サンプリング時間が長い場合には、１サンプル間で移動体の移動速度が変化したり、ジンバル機構自体が急速に回転する場合には、予測誤差が大きくなってしまう。これに対して、本実施形態の追尾誤差予測手法では、ジンバル機構の動特性を含んだ予測方法であり、画像差分よりも正確で、滑らかな予測が可能である。
【００３９】
図９は、追尾誤差予測部１７１が算出した追尾誤差予測値と画像処理領域指定との関係を表す図である。５１２×５１２画素のカメラにて、５×５度の画角に対応する場合を示している。追尾誤差予測値が領域０の範囲である場合、画像処理領域０を指定する。この画像処理領域０は、カメラ画像中心座標系で、Ｘ方向で±１２８画素、Ｙ方向で±１２８画素の領域が指定され、この領域に制限して画像処理が行われる。移動体画像追尾装置では、追尾誤差をゼロとするようにジンバル機構が制御されるため、この領域０に位置することが安定した移動体追尾状態となる。また、追尾誤差予測値が領域１の範囲である場合、画像処理領域１を指定する。この画像処理領域１は、Ｘ方向で０〜２５６画素、Ｙ方向で±１２８画素の領域が指定される。その他の領域２から領域８に関しても同様である。
【００４０】
図１０は、図９の追尾誤差予測値と画像処理領域指定との関係、ならびに追尾誤差補正のオフセット値との関係を表で表したものである。予測値の範囲によって画像処理領域指定を選択している。この画角の場合、それぞれの指定領域において検出された特徴点位置（ΔＸＳ，ΔＹＳ）と指定領域でのオフセット値（Ｘｏｆｓ，Ｙｏｆｓ）から、補正された追尾誤差（ΔＸ，ΔＹ）は角度換算値として、次式のように表される。
【数８】
2009260564.tif 000010
【００４１】
画像処理領域指定部１７２は、図１０のテーブルを有していて、追尾誤差予測部１７１が予測した追尾誤差予測値に応じて画像処理を行う領域を指定する。そして、画像処理領域指定部１７２は、指定した領域を追尾誤差検出部１７３と追尾誤差補正部１７４に出力する。追尾誤差検出部１７３は、図１０のテーブルの一部（領域とＸ範囲指定とＹ範囲指定との対応表）を有していて、画像処理領域指定部１７２から受け取った領域指定値に示される領域からＸ範囲指定とＹ範囲指定を算出し、この範囲指定で指定される領域で追尾誤差検出値（ΔＸＳ，ΔＹＳ）を検出する。追尾誤差補正部１７４は、図１０のテーブルの一部（領域とＸｏｆｓとＹｏｆｓとの対応表）を有していて、画像処理領域指定部１７２から受け取った領域指定値に示される領域からＸｏｆｓとＹｏｆｓを算出し、上式によって補正された追尾誤差（ΔＸ，ΔＹ）を算出する。
【００４２】
これとは別の例として、追尾誤差検出部１７３と追尾誤差補正部１７４が図１０のテーブルの一部を有しておらず、画像処理領域指定部１７２が追尾誤差予測値から図１０のテーブルによってＸ範囲指定とＹ範囲指定を算出し追尾誤差検出部１７３にＸ範囲指定とＹ範囲指定とを渡し、画像処理領域指定部１７２が追尾誤差予測値から図１０のテーブルによってＸｏｆｓとＹｏｆｓを算出しＸｏｆｓとＹｏｆｓを渡してもよい。このとき、追尾誤差検出部１７３は受け取ったＸ範囲指定とＹ範囲指定とによって指定される領域で（ΔＸＳ，ΔＹＳ）を検出し、追尾誤差補正部１７４は受け取ったＸｏｆｓとＹｏｆｓを上式に代入して補正された（ΔＸ，ΔＹ）を算出する。
【００４３】
次に、移動体画像追尾装置の動作の一例について図１１を参照して説明する。  
角速度指令生成部１５０が、追尾誤差補正部１７４からの補正された追尾誤差検出値にしたがって、角速度指令値を生成する（ステップＳ１１０１）。この角速度指令値にしたがって、駆動制御部１６０、第１、第２の駆動部１１２，１２２によるジンバル駆動制御が行われる（ステップＳ１１０４）と同時に、追尾誤差予測部１７１にて追尾誤差の予測値が算出される（ステップＳ１１０２）。この追尾誤差予測値に応じて、画像処理領域指定部１７２により画像処理を行う小領域を指定する（ステップＳ１１０３）。ジンバル駆動制御（ステップＳ１１０４）によりジンバル機構と移動体との相対位置が変化しており（ステップＳ１１０５）、カメラセンサ１４０にて画像を撮影する（ステップＳ１１０６）。追尾誤差検出部１７３が、この撮影された画像に対して、指定された領域に制限して画像処理を行い、特徴点位置を算出し、追尾誤差を検出する（ステップＳ１１０７）。得られた追尾誤差と指定された領域の関係から、追尾誤差補正部１７４にて追尾誤差の補正を行う（ステップＳ１１０８）。この補正された追尾誤差を用いて、角速度指令生成部１５０が角速度指令の生成を行い、追尾を継続していく。
【００４４】
次に、移動体が真正面からずれた位置を正面側から天頂側に移動する場合に、本実施形態の移動体画像追尾装置による補正制御の一例について図１２、図１３、図１４を参照して説明する。
【００４５】
図１２は、移動体の軌跡の概要を表した図である。３次元の空間で表すと、２軸ジンバルにより半球状の全方向に渡って視軸を指向することができる。これに対して、典型的な一例として移動体は真正面からずれた位置を正面側から天頂側に移動する場合を考える。
【００４６】
図１３は、第１、第２のジンバル１１１，１２１それぞれに対して、駆動制御部１６０に与えられる角速度指令値を、それぞれ時間に対して図示したものである。第１のジンバル１１１がＡｚ（図１３（ａ））、第２のジンバル１２１がＥｌ（図１３（ｂ））に対応している。真正面からずれた位置の移動体を正面側から追尾する場合、ＥＬはほぼ一定な角速度で、ＡＺは天頂に近づくにつれ大きくなるような角速度指令で追尾している。
【００４７】
図１４では、このような角速度指令で追尾しているときの、追尾誤差予測値のＹ成分を示している。図１４（ａ）は、従来技術である画像差分による追尾誤差の予測、図１３（ｂ）は、本実施形態の角速度指令による追尾誤差の予測を図示したものである。追尾において早い角速度変化が生じると、画像差分に基づく方式では、急峻に変化する滑らかでない予測結果となっている。これに対して本実施形態の角速度指令に基づく方式では、ジンバル機構の動特性が反映されているため、滑らかな予測結果となることを示している。このことから、本実施形態は、画像処理領域指定の判定により適切であることがわかる。
【００４８】
以上の第１の実施形態によれば、画像処理範囲を限定して演算処理を少なくしても、追尾誤差予測にしたがって画像処理領域を適切に変えることで、追尾誤差の検出を適切に補正し、追尾特性を改善することが可能となる。なお、本実施形態では、小領域を９分割しているが、本提案はこの分割に限られるものではなく、より小さい領域に分割することが可能であることは容易に類推することができる。
【００４９】
（第２の実施形態）  
本実施形態の移動体画像追尾装置の補正制御系では、天頂付近では画像差分から追尾誤差を予測し、それ以外では角速度指令に基づいて追尾誤差を予測して、追尾誤差の補正を行う。
【００５０】
本実施形態の移動体画像追尾装置の動作の一例について図１５を参照して説明する。  
天頂付近で移動体を追尾する際には、ジンバルロックを回避するために、追尾誤差から角速度指令を生成する方法以外で計算された角速度指令を適用する場合がある。このような場合には、角速度指令から追尾誤差予測する関係式が成立していない。そこで、本実施形態では、追尾誤差予測部１７１が、第２の角度センサ１２４から取得した第２のジンバルの角度検出値（ステップＳ１５０１）によって天頂付近を指向しているかどうかを判定する（ステップＳ１５０２）。例えば追尾誤差予測部１７１が、天頂からのある角度閾値内での範囲内に前記移動体が含まれているかどうかを判定する。追尾誤差予測部１７１は、天頂付近であると判定した場合には、第１の実施形態で説明した画像差分による追尾誤差予測を行う（ステップＳ１５０３）。例えば、移動体がある角度閾値内での範囲内に含まれていると判定された場合には最も近い過去に検出した追尾誤差検出値から現在の追尾誤差検出値への変化率を使用して追尾誤差予測値を計算する。一方、天頂付近ではないと判定した場合（例えば、移動体がある角度閾値内での範囲内に含まれていないと判定された場合）には、第１の実施形態で示した角速度指令に基づく追尾誤差予測を行う（ステップＳ１５０４）。それぞれの追尾誤差予測にしたがって、第１の実施形態と同様に追尾誤差補正を行う。
【００５１】
以上の第２の実施形態によれば、補正制御を行うことで、天頂付近で過大な角速度指令が生成される場合には、画像差分によって追尾誤差を予測することで、全天に渡って追尾誤差の補正が可能となり、追従特性を改善することが可能となる。
【００５２】
以上のような実施形態の移動体画像追尾装置は、ＴＶカメラやカメラシーカー、そして自動測量器等を搭載したジンバル構造の移動体のカメラ追尾を行う機器において、高速な移動体に対しても追尾が可能であり、移動体に搭載される追尾カメラシステムにも有効である。
【００５３】
以上に示した実施形態によれば、画像処理範囲を限定して演算処理を少なくしても、追尾誤差予測にしたがって画像処理領域を適切に変えることで、追尾誤差の検出を適切に補正し、追尾特性を改善することが可能となる。
【００５４】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００５５】
【図１】実施形態の移動体画像追尾装置のブロック図。
【図２】図１の第１のジンバル、第２のジンバル、カメラセンサを示す模式図。
【図３】図１の補正制御系のブロック図。
【図４】図１のカメラセンサが取得するカメラ画像の視野と移動体追尾の概要を示した図。
【図５】画像領域の大きさとサンプリング周期との関係を説明するための図。
【図６】処理領域の分割の概要を示す図。
【図７】画像処理を制限した小領域の概要を示す図。
【図８】ある小領域で検出された対象物の追尾誤差補正について説明するための図。
【図９】図１の追尾誤差予測部が算出した追尾誤差予測値と画像処理領域指定との関係を示す図。
【図１０】図９の関係と追尾誤差補正のオフセット値との関係を表で示した図。
【図１１】図１の移動体画像追尾装置の動作の一例を示すフローチャート。
【図１２】移動体の軌跡の概要を示す図。
【図１３】図１の第１、第２のジンバルのそれぞれに対応する角速度指令値を示す図。
【図１４】図１の追尾誤差予測部が予測した追尾誤差予測値と従来技術による追尾誤差予測値とを示す図。
【図１５】第２の実施形態の移動体画像追尾装置の動作の一例を示すフローチャート。
【符号の説明】
【００５６】
１１０・・・第１のジンバル軸、１１１・・・第１のジンバル、１１２・・・第１の駆動部、１１３・・・第１の角速度センサ、１１４・・・第１の角度センサ、１２０・・・第２のジンバル軸、１２１・・・第２のジンバル、１２２・・・第２の駆動部、１２３・・・第２の角速度センサ、１２４・・・第２の角度センサ、１４０・・・カメラセンサ、１５０・・・角速度指令生成部、１５１・・・第１の指令算出部、１５２・・・第２の指令算出部、１６０・・・駆動制御部、１６１・・・第１のサーボ制御部、１６２・・・第２のサーボ制御部、１７１・・・追尾誤差予測部、１７２・・・画像処理領域指定部、１７３・・・追尾誤差検出部、１７４・・・追尾誤差補正部。
【図１】
2009260564.tif 000011
【図２】
2009260564.tif 000012
【図３】
2009260564.tif 000013
【図４】
2009260564.tif 000014
【図５】
2009260564.tif 000015
【図６】
2009260564.tif 000016
【図７】
2009260564.tif 000017
【図８】
2009260564.tif 000018
【図９】
2009260564.tif 000019
【図１０】
2009260564.tif 000020
【図１１】
2009260564.tif 000021
【図１２】
2009260564.tif 000022
【図１３】
2009260564.tif 000023
【図１４】
2009260564.tif 000024
【図１５】
2009260564.tif 000025