(57)【要約】      （修正有）【課題】ビューワ上でのスムーズな撮影を実現すると共に、空中移動体が突然方向転換した場合などに目標物追尾を可能な限り維持する機能の向上を実現する。【解決手段】座標指定方式の追尾機能と画像解析方式の追尾機能とを有する空中移動体からの自動追尾撮影装置であって、カメラから取り込まれた映像をビューワに表示する映像位置表示機能１２と、ビューワに表示された映像上で追尾対象物が指定されると作動する画像解析機能１９とを有し、目標物の位置座標が指定された場合は座標指定方式の追尾機能により自動追尾撮影を行い、ビューワに表示された映像上で追尾対象物が指定されると画像解析方式の追尾機能により自動追尾撮影を行い、画像解析方式の追尾機能による自動追尾撮影下で画像解析機能による画像解析により自動追尾が不可能となった場合は座標指定方式の追尾機能に切り替えて自動追尾撮影を行う。【選択図】図２
2010124398.tif 000002
【特許請求の範囲】
【請求項１】
座標指定方式の追尾機能と画像解析方式の追尾機能とを有する空中移動体からの自動追尾撮影装置であって、
カメラから取り込まれた映像をビューワに表示する映像位置表示機能と、ビューワに表示された映像上で追尾対象物が指定されると作動する画像解析機能とを有し、
目標物の位置座標が指定された場合は前記座標指定方式の追尾機能により自動追尾撮影を行い、
前記ビューワに表示された映像上で追尾対象物が指定されると前記画像解析方式の追尾機能により自動追尾撮影を行い、
前記画像解析方式の追尾機能による自動追尾撮影下で前記画像解析機能による画像解析により自動追尾が不可能となった場合は前記座標指定方式の追尾機能に切り替えて自動追尾撮影を行う
ことを特徴とする空中移動体からの自動追尾撮影装置。
【請求項２】
GPSとジャイロとからの情報により自機の姿勢を計算する自機姿勢演算機能と、
カメラからの映像を取り込む映像取込機能と、
カメラの撮影方向の情報を取り込むカメラ姿勢取込機能と、
カメラの撮影方向を制御するカメラ制御機能と、
撮影追尾対象物の位置を座標値で指定する座標指定機能と、
映像取込機能で取り込んだ画像をビューワに表示する映像位置表示機能と、
前記ビューワに表示された映像上で追尾対象物を指定するための映像位置特定機能と、
前記映像位置特定機能で指定した追尾対象物を元に、前記映像取込機能で取り込んだ画像を解析する画像解析機能と、
前記カメラ姿勢取込機能からのカメラ姿勢情報と、前記自機姿勢演算機能からの自機姿勢情報と、前記座標入力機能からの対象物座標値と、前記画像解析機能からの画像解析結果から、カメラ撮影方向を演算して前記カメラ制御機能に渡すカメラ方向演算機能と、
を有する空中移動体からの自動追尾撮影装置であり、
前記座標指定機能により目標物の位置座標が指定された場合には、自動的に座標指定による自動追尾撮影が行われ、
映像上で指定した場合には自動的に画像解析による自動追尾撮影に切り替わり、さらに、画像解析による自動追尾撮影が不可能となった場合には自動的に座標指定による自動追尾撮影に切り替わる
ことを特徴とする空中移動体からの自動追尾撮影装置。
【請求項３】
請求項１または請求項２に記載の空中移動体からの自動追尾撮影装置において、画像解析による自動追尾撮影下で、画像解析の結果及び自機姿勢情報及びカメラ姿勢情報から、対象物の座標を再計算する座標位置再計算機能により、対象物座標指定の精度を向上させることを特徴とする空中移動体からの自動追尾撮影装置。
【請求項４】
請求項３に記載の空中移動体からの自動追尾撮影装置において、ビューワ上に表示された対象物をポインティングデバイスで指定することにより、目標物の位置座標が事前にわかっていない場合においても、その対象物の画像解析による追尾撮影を可能とすることを特徴とする空中移動体からの自動追尾撮影装置。
【請求項５】
請求項１〜４の何れか一に記載の空中移動体からの自動追尾撮影装置において、自動追尾撮影下で、カメラが手動制御された場合、その動作を自動的に認識して、自動追尾処理を一時停止することを特徴とする空中移動体からの自動追尾撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は空中移動体に搭載される自動追尾撮影装置に関し、例えば航空機やヘリコプタなどの空中移動体を用いて災害対策や救難活動等を行う場合、空中移動体搭載のカメラによって目標物を撮影する際、その空中移動体の空中での位置や姿勢や動作にかかわりなく、指定した目標物を自動的に継続して撮影する場合等に使用される空中移動体からの自動追尾撮影装置に関するものである。
【背景技術】
【０００２】
空中移動体に搭載される従来の空中移動体からの自動追尾撮影装置は、撮影場所の緯度経度情報に基づく座標指定による追尾方式と、カメラ撮影映像の画像解析処理による追尾方式、の２つに分かれている。
前者の座標指定による追尾方式はあらかじめ撮影目標物の緯度経度情報を当該装置に登録しておき、１秒毎にGPSやジャイロなどで収集される空中移動体の空中での位置情報と
空中での姿勢情報を元に目標物の緯度経度にカメラを向ける方式である。
後者の画像解析処理による追尾方式は撮影した画像上の中心に目標物を捕捉することで目標物の形状を把握し、画像解析によって後に続く画像上からその形状を抽出することによってカメラ向きを調整する方式である。
前者の座標指定による追尾方式は主に遠距離からの自動撮影に、後者の画像解析処理による追尾方式は主に近距離での撮影に向いており、これらの２方式を組み合わせて、遠距離からの指定には座標指定方式を用い、目標物に近づくにしたがって画像解析方式に切り替える装置もある。
【０００３】
【特許文献１】特開２００６−１２１２６１号公報（図１及びその説明）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
前記座標指定の追尾方式では、従来は緯度経度情報のみの指定またはそれに加えて標高情報のみの指定が主であった。そのため、指定する座標と実際に撮影したい目標物の位置に誤差が生じる場合があり正しい追尾が難しいという問題があった。
また、たとえばビルの屋上、等の撮影場所の指定についてはその高さ情報を推定することは困難であった。
さらに空中移動体の位置情報は基本的に1秒毎に更新されるGPS情報を元にするため、カメラ方向の制御間隔も1秒毎となっており、撮影した映像は目標物がぶれて表示されてしまっていた。
【０００５】
前記の画像解析の追尾方式では、前記座標指定の追尾方式における前述の各課題の回避が可能であり、映像の中で対象物を指定することで、具体的な位置情報が不明確な目標物であっても追尾撮影が可能であった。
また画像解析によるカメラ制御間隔を1秒以内の周期とすることで、映像中の目標物のぶれを抑えることも可能であった。
しかしながら、画像解析処理性能の問題から目標物捕捉が困難となる場合、かつ空中移動体の急な方向転換が行われた場合などに、目標物がカメラから外れて追尾が不可能となる課題があった。
また、先に記載のとおり、指定した目標物の緯度経度情報には誤差が生じている可能性があるため、空中移動体の位置によっては正しく目標物をカメラで捉えられない状況も発生する。緯度経度情報による目標物位置の修正は一般には困難であり、他の方式、例えば画像解析方式と組み合わせた位置補正機能が求められる。
特許文献１では、目標物位置精度向上のために、手動でカメラ向きを変更する操作に応じて目標位置を修正する方式が提案されている。本方式はカメラ光軸線上にあり前回目標位置との最短距離をとる点を次の目標位置として指定する方式であるが、これは最初の目標位置がある程度の精度をもった位置情報として指定されていなければ正しい目標位置を捕捉することは難しい方式である。
また、ヘリコプター搭載カメラの運用上、目標位置の指定については、必ずしも緯度経度座標によるものでもなく、カメラで目標物を捉えた後に指定する場合も少なくない。この場合は画像解析方式の追尾になるが、最初の座標位置の指定がないため、前記の修正方式も利用できない。
【０００６】
この発明は、前述のような実情に鑑みてなされたもので、座標指定方式の追尾機能と画像解析方式の追尾機能とを組み合わせ、双方の方式を切り替えて使用することによって、ビューワ上でのスムーズな撮影を実現すると共に、空中移動体が突然方向転換した場合などに目標物追尾を可能な限り維持する機能の向上を実現することを目的とするものである。
【課題を解決するための手段】
【０００７】
この発明に係る空中移動体からの自動追尾撮影装置は、座標指定方式の追尾機能と画像解析方式の追尾機能とを有する空中移動体からの自動追尾撮影装置であって、カメラから取り込まれた映像をビューワに表示する映像位置表示機能と、ビューワに表示された映像上で追尾対象物が指定されると作動する画像解析機能とを有し、目標物の位置座標が指定された場合は前記座標指定方式の追尾機能により自動追尾撮影を行い、前記ビューワに表示された映像上で追尾対象物が指定されると前記画像解析方式の追尾機能により自動追尾撮影を行い、前記画像解析方式の追尾機能による自動追尾撮影下で前記画像解析機能による画像解析により自動追尾が不可能となった場合は前記座標指定方式の追尾機能に切り替えて自動追尾撮影を行うものである。
【発明の効果】
【０００８】
この発明は、座標指定方式の追尾機能と画像解析方式の追尾機能とを有する空中移動体からの自動追尾撮影装置であって、カメラから取り込まれた映像をビューワに表示する映像位置表示機能と、ビューワに表示された映像上で追尾対象物が指定されると作動する画像解析機能とを有し、目標物の位置座標が指定された場合は前記座標指定方式の追尾機能により自動追尾撮影を行い、前記ビューワに表示された映像上で追尾対象物が指定されると前記画像解析方式の追尾機能により自動追尾撮影を行い、前記画像解析方式の追尾機能による自動追尾撮影下で前記画像解析機能による画像解析により自動追尾が不可能となった場合は前記座標指定方式の追尾機能に切り替えて自動追尾撮影を行うので、座標指定方式の追尾機能と画像解析方式の追尾機能とを組み合わせ、双方の方式を切り替えて使用することによって、ビューワ上でのスムーズな撮影を実現すると共に、空中移動体が突然方向転換した場合などに目標物追尾を可能な限り維持する機能の向上を実現することができる効果がある。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
以下この発明の実施の形態１を図１〜図７により説明する。図１は自動追尾装置とその周辺機器との関係の事例を概略的示す図、図２は自動追尾装置の内部の機能および各機能の相関関係を図式的に例示する図、図３は全体の状態遷移を図式的に例示する図、図４は空中移動体が動きまわるワールド座標系を例示する図、図５は空中移動体のプラットフォーム座標系の定義と、そのピッチ、ロール、ヨーの考え方を例示する図、図６はカメラの座標系の考え方とパン角、チルト角を例示する図、図７は画像解析機能を例示する図である。
【００１０】
図１において、ヘリコプタ等の空中移動体100に搭載のカメラ１は、空中移動体がヘリコプタの場合はその先頭の下方などに艤装されている。以下、空中移動体100がヘリコプタ（以下、「ヘリ」と略記する）の場合を事例として説明する。
【００１１】
空中移動体であるヘリ100に搭載されている自動追尾装置２は、カメラ１から映像情報およびカメラ撮影方向角度情報（カメラ撮影の方向およびカメラ撮影の角度の情報（具体的には図６に例示のパン、図６に例示のチルト角度の情報）を受信するインタフェースを有し当該インタフェースによってカメラ１の前記各情報の出力端に接続されている。
また、自動追尾装置２は、カメラ１に対してカメラの撮影方向を制御するための信号を送信するインタフェースを有している。
さらに、自動追尾装置２は、ヘリ100に搭載のGPSアンテナ３およびヘリ100に搭載のジャイロ４に接続され、GPSアンテナ３からGPS情報を受信し、ジャイロ４からヘリ機体の空中での姿勢情報を受信する。
【００１２】
ヘリ100に搭載の映像表示装置５は、カメラ１で撮影した映像を表示するビューワである。
【００１３】
ポインティングデバイス６は、ビューワ５に表示されている映像上で追尾対象物を指し示すために用いられる。
【００１４】
ヘリ100に搭載のキーボード７は、目標物の位置座標を入力するために用いられる。
【００１５】
図２に例示してあるように、自動追尾装置２は、その主要機能として、映像取込機能１１、映像位置表示機能１２、カメラ姿勢取込機能１３、自機姿勢入力機能１４、座標入力機能１５、カメラ方向演算機能１６、カメラ制御機能１７、映像位置特定機能１８、および画像解析機能１９を有している。
【００１６】
映像取込機能１１は、カメラ１から送信される映像を映像位置表示機能１２に逐次送信する。
【００１７】
映像位置表示機能１２は、カメラ１から送信される映像をビューワ５に逐次表示する。
【００１８】
カメラ１の姿勢情報は、カメラ姿勢取込機能１３に送信される。カメラ１の姿勢情報は、具体的には、パン角α（図６参照）、チルト角β（図６参照）を指す。
【００１９】
自機姿勢入力機能１４は、GPSアンテナ３およびジャイロ４からの情報を取り込み、自
機の姿勢を算出する。GPSアンテナ３からの情報は、具体的には位置情報（緯度θ、経度
λ、高度H）からなり、ジャイロ４からの情報は、ヘリ機体100のピッチ角φ（図５参照）、ヘリ機体100のロール角ω（図５参照）、ヘリ機体100のヨー角κ（図５参照）からなる。
【００２０】
キーボード７により目標物座標(緯度、経度)が入力されると、座標指定方式自動追尾機能が開始される（図３の７１）。
【００２１】
座標入力機能１５は、キーボード７により入力された目標物座標（緯度、経度）を取得し、カメラ方向演算機能１６に渡す。
【００２２】
カメラ方向演算機能１６は、カメラ１の方向を指定された目標物座標に向けるために、カメラ姿勢取込機能１３および自機姿勢入力機能１４の各々の入力を元に新しいカメラ方向を計算し、その方向に向くようにカメラ制御機能１７を自動的に操作する。
【００２３】
カメラ制御機能１７は、カメラ１に対して信号を出し、カメラ１は、カメラ方向演算機能１６で導出された目標の方向にカメラを向けることになる。カメラ方向演算機能１６はカメラ姿勢取込機能１３および自機姿勢入力機能１４からの入力信号が届き次第、カメラ方向を再計算し、カメラ制御機能１７に対して制御情報を送信することで、カメラを継続して再導出された目標の方向に向けることが可能となる。
【００２４】
ヘリ100が目標物に近づくにつれ、映像で目標物を指定することが可能となる。ビューワ５で表示されている映像上でポインティングデバイス６を用いて目標物の映像を指定すると、その目標物のビューワ５上の座標位置の情報が映像位置特定機能１８に渡される。映像位置特定機能１８は渡された情報を画像解析機能１９に渡す。これをきっかけとして画像解析方式自動追尾機能が開始される（図３の７２）。それ以降、画像解析機能１９は映像取込機能１１から映像を受信しその映像を解析することで先に指定した目標物の画面内での場所を把握し、その場所情報をカメラ方向演算機能１６に渡す。カメラ方向演算機能１６はその場所情報を受けてカメラ制御機能１７に制御信号を送信することで、カメラ１が都度目標物の方向を向くことになる。
【００２５】
画像解析方式自動追尾機能により目標物の自動追尾が突然継続できなくなる場合がある。それは具体的には、目標物が映像上で小さくなりすぎて認識できなくなってしまった場合、または大きくなりすぎて解析するには長時間を要するようになってしまった場合、また突然の空中移動体の姿勢変更などで解析の前に映像上から消えてしまった場合、などがある。
【００２６】
こういった場合に、画像解析機能１９は解析継続不可の信号をカメラ方向演算機能１６に渡す。解析継続不可の信号を受けたカメラ方向演算機能１６は、自動的に座標指定方式自動追尾機能に切り替わる(図３の７３)。
【００２７】
座標指定方式自動追尾機能の詳細を示す。
【００２８】
空中移動体であるヘリが動きまわるワールド座標系を図４に例示してある。また、空中移動体のプラットフォーム座標系の定義と、そのピッチ、ロール、ヨーの考え方を図５に例示してある。また、カメラの座標系の考え方とパン角、チルト角を図６に例示してある。
【００２９】
空中移動体であるヘリ100の現在位置の緯度経度情報を(θ0, λ0, h0)であらわす。また座標指定方式で指定された目標物座標は(θ1, λ1, h1)とする。なおこれ以降の角度の単位はすべてラジアンとする。現在位置から目標物までの方向ベクトル(△x, △y, △ｈ)を求めるためには、緯度経度座標系から平面直角座標系に変換してやる必要がある。これには、http：//vldb.Gsi.go.jp/sokuchi/surveycalc/algorithm/bl2xy/bl2xy.htmに記載された方式があるが、近似的には、以下のような方法も可能である。
【００３０】
△x = a(λ1-λ0)cos(θ1) ・・・・・・・・・・・・(1-a)     但し、aは地球の半径。
△y = a(θ1-θ0) ・・・・・・・・・・・・・・・(1-b)
△z = h1 - h0 ・・・・・・・・・・・・・・・・ (1-c)
【００３１】
ワールド座標からプラットフォーム座標に変換するための回転行列は、ロール回転、ピッチ回転、ヨー回転、の３種類に対して、それぞれ、
【数１】
2010124398.tif 000003
【数２】
2010124398.tif 000004
【数３】
2010124398.tif 000005
であり、ワールド座標で示した前述の方向ベクトル(△x, △y, △h)のプラットフォーム座標(u,v,w)への変換は、逆回転をかければよいので、以下の式で可能である。
【数４】
2010124398.tif 000006
また、カメラのパン回転、チルト回転の回転行列は、
【数５】
2010124398.tif 000007
【数６】
2010124398.tif 000008
となる。カメラの基準方向を、ヘリ進行方向C0とすると、パン回転およびチルト回転によるカメラ方向ベクトルC1は、
【数７】
2010124398.tif 000009
であらわされる。このC1は（３）式の（u,v,w）に等しいため、これを用いて、方向ベクトル（u,v,w）にカメラを向けるためのパン角度、チルト角度は、
【数８】
2010124398.tif 000010
【数９】
2010124398.tif 000011
で基本的に計算可能である。
カメラ方向演算機能１６は、指定された目標物の位置座標と、自機姿勢入力機能１４から送られた現在位置情報およびジャイロ４から送られてきたヘリ機体姿勢情報を基にして、このα、βを算出し、カメラ制御機能１７に逐次送信することで制御を行う。
【００３２】
画像解析方式自動追尾機能の説明を記載する。
【００３３】
画像解析方式の開始の機能と、解析失敗による停止の機能を実現するために、画像解析機能１９は以下の２つのサブ機能として構成される。図７参照。
【００３４】
図７において、画像解析処理２１は、映像位置特定機能１８からの映像位置入力情報２７を受けて、画像解析を開始する。また、画像解析処理２１は、入力された映像２３を用いて指定された対象物の画像上の位置を識別する機能を持つ。具体的な画像解析処理に関しては、本明細では記載しない。
【００３５】
映像２３から識別された対象物の位置情報とカメラ角度情報２５とはカメラ方向演算機能１６に送信されカメラ制御に利用される。
【００３６】
画像解析処理２１は、映像２３の入力により処理を開始する前に、タイムアウト処理２２に対してタイマ値２４を設定する。
【００３７】
タイムアウト処理２２は設定された時間が来たら、時間切れメッセージ２６を画像解析処理２１に対して送信する。
【００３８】
時間切れメッセージ２６を受信した画像解析処理２１は、カメラ角度情報の代わりに解析失敗のメッセージ２５をカメラ方向演算機能１６に送信する。
【００３９】
解析失敗メッセージを受信したカメラ方向演算機能１６は、画像解析方式自動追尾機能を停止し、座標指定方式自動追尾機能に切り替える。
【００４０】
このように、本実施の形態１は、座標指定方式と画像解析方式を自動で切り替える機能を備え、ビューワ上でのスムーズな撮影の実現と、空中移動体が突然方向転換した場合などに目標物追尾を可能な限り維持する機能の向上が実現できる。
【００４１】
なお、本実施の形態１は、前述のように、概念的には、座標指定方式の追尾機能と画像解析方式の追尾機能とを有する空中移動体からの自動追尾撮影装置であって、カメラから取り込まれた映像をビューワに表示する映像位置表示機能と、ビューワに表示された映像上で追尾対象物が指定されると作動する画像解析機能とを有し、目標物の位置座標が指定された場合は前記座標指定方式の追尾機能により自動追尾撮影を行い、前記ビューワに表示された映像上で追尾対象物が指定されると前記画像解析方式の追尾機能により自動追尾撮影を行い、前記画像解析方式の追尾機能による自動追尾撮影下で前記画像解析機能による画像解析により自動追尾が不可能となった場合は前記座標指定方式の追尾機能に切り替えて自動追尾撮影を行うものである。
【００４２】
また、観点を変えると、本実施の形態１は、前述のように、GPSとジャイロからの情報より自機の姿勢を計算する自機姿勢演算機能部と、カメラからの映像を取り込みフレームごとの画像に変換する映像取込機能部と、カメラの撮影方向（パン・チルト・ズーム）の情報を取り込むカメラ姿勢取込機能部と、カメラの撮影方向を自由に制御するカメラ制御機能と、撮影追尾対象物の位置を座標値で指定するための座標指定機能部と、映像取込機能で取り込んだ画像をディスプレイに表示するための映像位置表示機能部と、ディスプレイに表示した映像上でポインティングデバイスにより追尾対象物を詳細に直接指定するための映像位置特定機能部と、映像位置特定機能部で指定した追尾対象物を元に映像取込機能部で取り込んだ画像を解析する画像解析機能部と、カメラ姿勢取込機能部からのカメラ姿勢情報と自機姿勢演算機能部からの自機姿勢情報と座標入力機能部からの対象物座標値と画像解析機能部からの画像解析結果からカメラ撮影方向を演算しカメラ制御機能部に渡すためのカメラ方向演算機能部と、からなる自動追尾装置であり、座標指定機能部により目標物位置座標が指定された場合には、自動的に座標指定による自動追尾が開始され、さらに、映像上でポインティングデバイスにより指定した場合には自動的に画像解析による自動追尾に切り替わり、さらに、画像解析による自動追尾が不可能となった場合には自動的に座標指定による自動追尾に切り替わる機能を有する自動追尾撮影装置である。
【００４３】
実施の形態２．
以下、この発明の実施の形態２を、図８〜図１０により説明する。図８は自動追尾装置システムの構成の他の事例を示す図、図９は空中移動体の位置と目標物の位置とを模式図として例示する図、図１０は座標再演算機能の具体的な処理内容をフローチャートで例示する図である。本実施の形態２は、画像解析による自動追尾実施時に、画像解析の結果及び自機姿勢情報及びカメラ姿勢情報から、対象物の座標を再計算する座標位置再計算機能により、対象物座標指定の精度を向上させる機能を有するものである。
【００４４】
前述の実施の形態１の方式では、画像解析方式失敗時に座標指定方式に切り替わった時の目標物の位置座標は、最初に座標入力機能１５によって設定された値であった。しかしながら実際には、本当の目標物の位置と指定した位置座標とは誤差がある場合が多い。そこで、本実施の形態２では、自動追尾装置２に、画像解析の結果によって目標物位置座標を自動修正する機能を設ける。
【００４５】
つまり、図８に例示のように、前述の図２に例示の自動追尾装置システム構成図に、座標再演算機能３１を追加している。座標再演算機能３１の機能は以下の通りである。
【００４６】
図９に空中移動体の位置と目標物の位置の模式図を例示してある。空中移動体100は位置S0に居る時に目標物４２の位置をT0と想定してカメラ２による追尾撮影を行っており、そのときのカメラ光軸ベクトルを４３で示す。
空中移動体100が位置S0から位置S1に移動したときに目標物４２とカメラ光軸ベクトル４３とのずれが発生するため、ポインティングデバイス６によって、目標物４２の位置をT0からT1に修正する。このときにカメラ光軸ベクトルは４４であらわされる。座標再演算機能３１は、新しい目標物の位置T1を、位置S0でのカメラ光軸ベクトル４３と位置S1でのカメラ光軸ベクトル４４との最短距離を示す線分４５と、位置S1でのカメラ光軸ベクトル４４との交点とする。
【００４７】
S0のワールド座標を(0, 0, 0)とし、T0のワールド座標を(Tx, Ty, Tz)とする。したがって、位置S0でのカメラ光軸ベクトル４３のベクトルは(dx, dy, dz)=(Tx, Ty, Tz)で示される。
また、空中移動体100が位置S1へ移動した後のワールド座標S1を(Sx, Sy, Sz)とする。
また、移動後の位置S1でのカメラ光軸ベクトル４４のワールド座標でのベクトルを、C=(Cx, Cy, Cz)とする。
【００４８】
位置S0でのカメラ光軸ベクトル４３を示す直線の方程式は、
【数１０】
2010124398.tif 000012
【００４９】
位置S1でのカメラ光軸ベクトル４４を示す直線の方程式は、
【数１１】
2010124398.tif 000013
【００５０】
したがって、線分４５は、
【数１２】
2010124398.tif 000014
であらわされる。線分４５と位置S0でのカメラ光軸ベクトル４３が直交することから、    
【数１３】
2010124398.tif 000015
同じく、線分４５と位置S1でのカメラ光軸ベクトル４４が直交することから、
【数１４】
2010124398.tif 000016
【００５１】
この２式を連立方程式とした時、そのqの値から目標物の位置T1の座標が求められる。
具体的には、
【数１５】
2010124398.tif 000017
【００５２】
座標再演算機能３１の具体的な処理内容をフローチャートで図１０に例示してある。
【００５３】
ステップＳＴ５１において、座標再演算機能３１は、自機姿勢入力機能１４からカメラ方向演算機能１６を経由して、空中移動体の位置情報と姿勢情報を取得する。
【００５４】
次にステップＳＴ５２において、カメラ姿勢取込機能１３からカメラ方向演算機能１６を経由して、カメラの姿勢情報を取得する。
【００５５】
次にステップＳＴ５３において、前回の値から今回の位置座標の値を計算する。
前回の計算時の位置S0の緯度・経度・高度(θ0, λ0, h0)は取得済みで、その位置をワールド座標系での原点とする。現在位置の緯度・経度・高度(θ1, λ1, h1)がわかると、位置S1のワールド座標(Sx, Sy, Sz)は前記(1-a), (1-b), (1-c)の式より、
Sx = △x = a(λ1-λ0)cos(θ1)       但し、aは地球の半径。
Sy = △y = a(θ1-θ0)
Sz = △z = h1 - h0
で計算できる。
【００５６】
次にステップＳＴ５４において、現在のカメラ角度からカメラ光軸ベクトルC=(Cx, Cy,Cz)を求める。
【００５７】
カメラの基準方向をヘリ進行方向C0とすると、その基準方向へのベクトルC0は(1, 0, 0)であらわされる。位置S1に移動した時のカメラのパン角、チルト角をそれぞれα、βとすると、カメラ方向を計算する回転行列は、
【数１６】
2010124398.tif 000018
であらわされる。
【００５８】
これにより、求める光軸ベクトルは、
【数１７】
2010124398.tif 000019
となる。これをワールド座標に変換して、
【数１８】
2010124398.tif 000020
となる。
【００５９】
次にステップＳＴ５５において、qを計算する。ステップＳＴ５３の結果およびステップＳＴ５４の結果から、前記の式(11)を用いて計算する。
【００６０】
次にステップＳＴ５６において、qの値と、式(9)から、目標物の位置T1の座標(x, y, z)を求める。
【００６１】
次にステップＳＴ５７において、目標物の位置T1の方向を明確にする。直線（カメラ光軸ベクトル（位置S0での位置想定時））４３と直線（カメラ光軸ベクトル（位置S1での位置修正後））４４との最短距離は、理論的にはカメラの逆方向の可能性もあるため、それを排除する必要がある。ここではqの値が正ならばカメラの向きと同じ方向と判断し、負の値ならば逆方向と判断できる。もし逆方向ならばその目標物の位置T1の座標は廃棄して、新しい位置から計算しなおしとする。正方向ならばステップＳＴ５８に進む。
ステップＳＴ５８ではT1を新しい目標物の座標としてカメラ方向演算機能１６に目標物の位置T1の値を渡す。
【００６２】
ステップＳＴ５９では、空中移動体100の位置S1と目標物の位置T1の各値を、次の計算のために保持する。
【００６３】
ステップＳＴ６０では、画像解析方式の処理が停止しているかどうかを確認する。もし停止していれば、本機能も停止する。停止していなければ、また最初に戻って座標再演算を実施する。
【００６４】
本機能の実現により、画像解析方式と組み合わせた目標位置座標の補正が可能になる。画像解析による自動追尾の結果として位置補正を行うため、ユーザを意識させることなく、より高い精度での追尾が可能となる。
【００６５】
実施の形態３．
以下、この発明の実施の形態３を説明する。本実施の形態３は、目標物の位置座標が事前にわかっていない場合においても、ビューワ上に表示された対象物をポインティングデバイスで指定することにより、その対象物の画像解析による追尾撮影を可能とし、かつ、画像解析による自動追尾処理中に、画像解析の結果および自機姿勢情報およびカメラ情報から、対象物の座標を再計算する機能を有するものである。
【００６６】
あらかじめ位置座標を指定することなく、最初の位置S0からビューワ５とポインティングデバイス６によって、ビューワ５に表示の映像上の対象物（目標物）を指定したとする。
画面解析方式による追尾が開始される（図３の７４）。
この時点では位置座標は未定である。
【００６７】
空中移動体100が別の位置S1に移動したときに、再度ビューワ５とポインティングデバイス６によって、ビューワ５に表示の映像上の対象物（目標物）を指定した場合、目標物４２の位置座標を以下の方式で計算することが可能である。
【００６８】
式(7)において、(tx, ty, tz)の値を、位置S0時点でのカメラ光軸の単位ベクトルC’=(C’x, C’y, C’z)とみなせるため、
【数１９】
2010124398.tif 000021
としても良い。
これにより、(11)式は、
【数２０】
2010124398.tif 000022
となる。
図１０のフローチャートのステップＳＴ５５において、(11)式の変わりに(13)式を用いることで目標物位置T1の座標の指定が可能となる。
【００６９】
以後は、図１０の処理に沿って実行することで、逐次修正が可能である。
【００７０】
実施の形態４．
以下、この発明の実施の形態４を図１１によって説明する。図１１は座標再演算機能の他の具体的な処理内容をフローチャートで例示する図である。
【００７１】
本実施の形態４は自動追尾実施時に、ユーザが意識的にカメラを手動制御した場合、その動作を自動的に認識して、自動追尾処理を一時停止する機能を有するものであり、その処理はカメラ方向演算機能１６が実施する。
【００７２】
図１１において、ステップＳＴ５１〜ステップＳＴ５９までは、前述の図１０におけるステップＳＴ５１〜ステップＳＴ５９と同一である。
【００７３】
ステップＳＴ６１において、再度カメラ角度情報を取得する。
【００７４】
ステップＳＴ６２において、ステップＳＴ６１で再度取得したカメラ角度情報が、ステップＳＴ５８で指定した方向と同一であるかどうか確認する。ステップＳＴ６２での確認結果、もし同一でなかった場合、手動でカメラ操作がなされたものと判断し、自動追尾処理は停止する。ステップＳＴ６２での確認結果、同一であった場合は、ステップＳＴ６０によって、停止の判断が行われる。
【００７５】
なお、各図中、同一符合は同一または相当部分を示す。
【図面の簡単な説明】
【００７６】
【図１】この発明の実施の形態１を示す図で、自動追尾装置とその周辺機器との関係の事例を概略的示す図である。
【図２】この発明の実施の形態１を示す図で、自動追尾装置の内部の機能および各機能の相関関係を図式的に例示するである。
【図３】この発明の実施の形態１を示す図で、全体の状態遷移を図式的に例示する図である。
【図４】この発明の実施の形態１を示す図で、空中移動体が動きまわるワールド座標系を例示する図である。
【図５】この発明の実施の形態１を示す図で、空中移動体のプラットフォーム座標系の定義と、そのピッチ、ロール、ヨーの考え方を例示する図である。
【図６】この発明の実施の形態１を示す図で、カメラの座標系の考え方とパン角、チルト角を例示する図である。
【図７】この発明の実施の形態１を示す図で、画像解析機能を例示する図である。
【図８】この発明の実施の形態２を示す図で、自動追尾装置システムの構成の他の事例を示す図である。
【図９】この発明の実施の形態２を示す図で、空中移動体の位置と目標物の位置とを模式図として例示する図である。
【図１０】この発明の実施の形態３を示す図で、座標再演算機能の具体的な処理内容をフローチャートで例示する図である。
【図１１】この発明の実施の形態４を示す図で、座標再演算機能の他の具体的な処理内容をフローチャートで例示する図である。
【符号の説明】
【００７７】
１    カメラ、
２    自動追尾装置、
３    GPSアンテナ、
４    ジャイロ、
５    ビューワ（映像表示装置）、
６    ポインティングデバイス、
７    キーボード、
１１    映像取込機能、
１２    映像位置表示機能、
１３    カメラ姿勢取込機能、
１４    自機姿勢入力機能、
１５    座標入力機能、
１６    カメラ方向演算機能、
１７    カメラ制御機能、
１８    映像位置特定機能、
１９    画像解析機能、
２１    画像解析処理、
２２    タイムアウト処理、
２３    映像、
２４    タイマ値、
２５    カメラ角度情報、
２６    時間切れメッセージ、
２７    映像位置入力情報、
３１    座標再演算機能、
４２    目標物、
４３    カメラ光軸ベクトル（位置S0での位置想定時）、
４４    カメラ光軸ベクトル（位置S1での位置修正後）、  ４５    線分、
100    空中移動体。
【図１】
2010124398.tif 000023
【図２】
2010124398.tif 000024
【図３】
2010124398.tif 000025
【図４】
2010124398.tif 000026
【図５】
2010124398.tif 000027
【図６】
2010124398.tif 000028
【図７】
2010124398.tif 000029
【図８】
2010124398.tif 000030
【図９】
2010124398.tif 000031
【図１０】
2010124398.tif 000032
【図１１】
2010124398.tif 000033