(57)【特許請求の範囲】
【請求項１】
撮像装置を一体に装着した飛行動体と、前記飛行動体の位置情報及び姿勢情報と前記撮像装置の姿勢情報と、前記撮像装置による撮影画像情報を受信するとともに、撮影領域の高度情報を有する地上制御装置とを備えた画像目標標定装置において、
前記地上制御装置は、前記位置情報及び姿勢情報と前記撮影画像情報に基づき、飛行動体から撮影画像中心への画像中心ベクトルと、飛行動体から前記撮影画像上で位置指定された目標物への方向ベクトルを算出し、前記高度情報と前記方向ベクトルの鉛直方向成分との比較に基づく前記方向ベクトルと地形断面との衝突判定および目標物位置標定処理を行うとともに、前記撮影画像上で複雑な運動を行う目標物又は瞬間表示される目標物を前記目標物として抽出する撮影画像指定位置決定手段を有することを特徴とする画像目標標定装置。
【請求項２】
請求項１に記載された画像目標標定装置において、前記飛行動体の位置情報及び姿勢情報は飛行動体位置と飛行動体姿勢角を有し、前記撮像装置の姿勢情報はカメラ姿勢角とカメラ視野角を有することを特徴とする画像目標標定装置。
【請求項３】
請求項１又は２に記載された画像目標標定装置において、前記地上制御装置は、前記飛行動体及び撮像装置の情報を処理する動体情報処理手段と、前記撮像装置の撮影画像及び画像サイズを含む撮影画像情報を処理して前記画像中心ベクトルを算出する画像中心ベクトル算出手段と、前記画像中心ベクトル算出手段と撮影画像指定位置決定手段から目標物方向ベクトルを算出する目標物方向ベクトル算出手段とを有することを特徴とする画像目標標定装置。
【請求項４】
請求項３に記載された画像目標標定装置において、前記地上制御装置は、算出された目標物の方向ベクトルの鉛直方向成分と前記高度情報との比較に基づく前記方向ベクトルと地形断面との衝突を判定して目標物位置を出力する衝突判定手段を有することを特徴とする画像目標標定装置。
【請求項５】
撮像装置を一体に装着した飛行動体と、前記飛行動体の位置情報及び姿勢情報と撮像装置の姿勢情報と、前記撮像装置による撮影画像情報を受信するとともに撮影領域の高度情報を有する地上制御装置とを備えた画像目標標定装置を用いた画像目標標定方法において、
前記飛行動体の位置情報及び姿勢情報と、撮像装置の姿勢情報と、前記撮像装置による撮影画像情報から、前記飛行動体から撮影画像の画像中心へ向かう画像中心ベクトルを算出し、
前記撮影画像上で複雑な運動を行う目標物又は瞬間表示される目標物を前記目標物として抽出し、
撮影画像における目標物を位置指定し、
前記画像中心ベクトルに基づいて前記飛行動体から位置指定された目標物への方向ベクトルを算出し、
前記方向ベクトルの鉛直方向成分と前記高度情報との比較に基づく前記方向ベクトルと地形断面との衝突判定を行い、
目標物の位置を標定し出力することを特徴とする画像目標標定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空中から地上目標物の位置を測定し決定する、画像目標標定装置および画像目標標定方法に関する。
【背景技術】
【０００２】
従来、飛行動体が、空中から識別確認可能な地上目標物の位置測定を行う場合は、異なる２点からの撮影による視差を利用した視差測定方法を用い、また超音波等を利用した測距を用いていた。
【０００３】
２点からの撮影による視差測定方法は、目標物を２台のカメラ等の撮像装置で撮影する必要があり撮像装置の実装コストが大きく、また地上目標物に焦点を合わせるための制御が難しいという問題があった。また超音波による測距は、超音波撮像装置の他に超音波発振装置等を飛行動体に実装する必要があるため、種々のハードウェア上の課題があった。
【０００４】
一方、特許文献１に記載された目標位置標定装置では、航空機に搭載された赤外線撮像装置の二次元画像から対象目標の方位角および伏角を取得し、標高地図から地形断面図を編集し、対象目標に標定線を引いて地表との交点を求めるものが開示されている。しかしながら、上記装置では、撮影される二次元画像から対象目標を適切に標定する方法については特に言及されていない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−１８１０５９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記従来技術では飛行動体へ搭載する装置が多く、それによる重量増加やコスト増加にも繋がっていた。また、対象目標の標定が難しい場合に、適切な解決策が得られていなかった。
【０００７】
本発明の目的は、１台の撮像装置による撮影画像から、撮影された目標物の位置を飛行動体の位置、姿勢情報、および撮影領域のＤＥＭ（Digital Elevation Model:数値標高モデル）情報すなわち高度情報を用いて、より精密に測定し標定する画像目標標定装置および画像目標標定方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明は、撮像装置を一体に装着した飛行動体と、前記飛行動体の位置情報及び姿勢情報と前記撮像装置の姿勢情報と、前記撮像装置による撮影画像情報を受信するとともに、撮影領域の高度情報を有する地上制御装置とを備えた画像目標標定装置において、地上制御装置は、位置情報及び姿勢情報と撮影画像情報に基づき、飛行動体から撮影画像中心への画像中心ベクトルと、飛行動体から位置指定された目標物への方向ベクトルを算出し、高度情報に基づく地形断面との衝突判定および目標物位置標定処理を行うことを特徴とする。
【０００９】
また、飛行動体の位置情報及び姿勢情報は飛行動体位置と飛行動体姿勢角を有し、前記撮像装置の姿勢情報はカメラ姿勢角とカメラ視野角を有することを特徴とする。
【００１０】
また、地上制御装置は、飛行動体及び撮像装置の情報を処理する動体情報処理手段と、撮像装置の撮影画像及び画像サイズを含む撮影画像情報を処理して画像中心ベクトルを算出する画像中心ベクトル算出手段と、撮影画像情報を処理して撮影画像の目標物位置を決定する撮影画像指定位置決定手段と、画像中心ベクトル算出手段と撮影画像指定位置決定手段から目標物方向ベクトルを算出する目標物方向ベクトル算出手段とを有することを特徴とする。
【００１１】
また、地上制御装置は、算出された目標物の方向ベクトルから地形断面との衝突を判定して目標物位置を出力する衝突判定手段を有することを特徴とする。
【００１２】
さらに、撮像装置を一体に装着した飛行動体と、前記飛行動体の位置情報及び姿勢情報と撮像装置の姿勢情報と、前記撮像装置による撮影画像情報を受信するとともに撮影領域の高度情報を有する地上制御装置とを備えた画像目標標定装置を用いた画像目標標定方法において、飛行動体の位置情報及び姿勢情報と、撮像装置の姿勢情報と、前記撮像装置による撮影画像情報から、前記飛行動体から撮影画像の画像中心へ向かう画像中心ベクトルを算出し、撮影画像における目標物を位置指定し、画像中心ベクトルに基づいて前記飛行動体から位置指定された目標物への方向ベクトルを算出し、方向ベクトルと高度情報による地形断面との衝突判定を行い、目標物の位置を標定し出力することを特徴とする。
【発明の効果】
【００１３】
本発明によれば、撮像装置を装着した飛行動体と、、前記飛行動体及び撮像装置の位置及び姿勢情報と撮影画像情報を受信するとともに、撮影領域の高度情報を有する地上制御装置とを備えた画像目標標定装置において、地上制御装置は、飛行動体から撮影画像中心への画像中心ベクトルと、飛行動体から目標物への方向ベクトルを算出し、前記高度情報に基づく地形断面との衝突判定および目標物位置標定処理を行うことにより、撮影画像における任意の１点を指定しその位置を標定することにより、撮影された画像上の目標物の位置を、目標物の複雑な運動や短い表示時間等にかかわらず、容易かつ精密に標定することが可能である。そのため、飛行動体からリアルタイムに情報受信を行う高性能な画像目標標定装置および標定方法が実現可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明における目標標定方法の基本概念を示すブロック図である。
【図２】本発明における目標標定方法の基本概念を示す模式図である。
【図３】本発明における地上制御装置の構成を示すブロック図である。
【図４】飛行動体の姿勢角を説明する模式図である。
【図５】飛行動体に装着した撮像装置の姿勢角を説明する模式図である。
【図６】撮像装置の姿勢角計算式に使用する姿勢角成分の説明図である。
【図７】撮像装置の視野角と撮影画像中心と目標物の関係を示す模式図である。
【図８】目標物の位置を指定し方向ベクトルを求める方法を示す模式図である。
【図９】方向ベクトルと地形断面図による目標物位置の標定方法を示す模式図である。
【発明を実施するための形態】
【００１５】
次に、図１〜図９を参照して、本発明による画像目標標定装置および画像目標標定方法の実施形態を説明する。
【００１６】
図１は本発明における目標標定方法のアルゴリズムを示すブロック図である。本実施形態は目標標定用の飛行動体１０１と地上制御装置１０２を有するシステムを備え、飛行動体１０１の飛行動体情報１０３（飛行動体位置、飛行動体姿勢角、カメラ姿勢角、カメラ視野角）、撮影画像情報１０６（撮影画像・サイズ情報）、地上制御装置１０２の指定位置情報１０４（撮影画像の目標物指定位置）、高度情報１０５を使用し、方向ベクトル算出処理１０７で方向ベクトルを求める。この方向ベクトルは図２に示すように、地上の目標物１１０と飛行動体１０１を直線で結んだ場合の、飛行動体から目標物に伸びる方向ベクトル１０９を指す。さらに、地上制御装置１０２で高度情報１０５により生成した地形断面と方向ベクトル１０９との衝突判定および目標物位置標定処理１０８を行い、目標物１１０の位置を標定する。
【００１７】
図３は、地上制御装置１０２の詳細を示すブロック図である。図３において、地上制御装置１０２は、飛行動体情報１０３から必要な情報を抽出する動体情報処理手段５００と、撮影画像情報１０６から画像中心ベクトルを算出する画像中心ベクトル算出手段５０１と、同じく撮影画像情報１０６に基づいて目標物位置を指定する撮影画像指定位置決定手段５０２と、画像中心ベクトル算出手段５０１および撮影画像指定位置決定手段５０２から最終的な目標物の方向ベクトルを算出する目標物方向ベクトル算出手段５０３とを有する。
【００１８】
算出された方向ベクトルは高度情報処理手段で生成した地表断面との衝突を、衝突判定手段５０４で判定し、目標物位置が決定され出力される。
【００１９】
図４は飛行動体２０１の飛行動体情報１０３における姿勢角を説明したものである。飛行動体２０１が真北に向かって水平飛行をしている場合を基準とし、飛行動体２０１の進行方向であるＸ軸の水平方向角度をヨー角２０３、Ｘ軸を中心とした回転角度をロール角２０４、飛行動体の進行方向と直交するＹ軸を中心とした回転角度をピッチ角２０５とする。
【００２０】
図５は撮像装置であるカメラ２０２の姿勢角を説明したものである。カメラ２０２は飛行動体２０１の下部に水平面内で回動可能に搭載され、飛行動体２０１とカメラ２０２の位置は常に一致している。従って、方向ベクトルの射出位置とカメラによる撮影画像の計算開始位置は同じである。また、カメラ２０２は飛行動体２０１の鉛直方向真下であるＺ軸方向を向いている場合を基準とし、飛行動体２０１の進行方向であるＸ軸を中心とした回転角度をカメラロール角２０６、進行方向と直交するＹ軸を中心とした回転角度をカメラピッチ角２０７とする。
【００２１】
図６は図４、図５の角度を使用して画像中心ベクトルを求める、方向ベクトル算出処理１０７の一部を行列式成分で示した説明図である。方向ベクトルの初期方向成分を３０１とし、これからヨー角成分３０２、ピッチ角成分３０３、ロール角成分３０４、撮像装置ロール角成分３０５、撮像装置ピッチ角成分３０６の順に積算して、飛行動体２０１から撮影画像中心への画像中心ベクトルを算出する。上記の計算により得られる画像中心ベクトルは撮影画像の中心座標を仮の目標物として算出する。
【００２２】
図７は図６で算出した画像中心ベクトル４００を、撮影画像Ｐの中心Ｏから撮影画像指定位置決定手段５０２で決定した目標物Ｔ（位置指定点）へ移動させて方向ベクトルを得る計算処理手順についての模式図、図８は図７を拡大した模式図である。撮影画像Ｐにおいて、中心Ｏ４０１からカメラ２０２の視野角（縦方向サイズ４０２、横方向サイズ４０３）を投影して計算に用いる。ここで、前述の地上制御装置１０２において、撮影画像Ｐに現れた複雑な運動をする目標物、又は瞬間的に表示された様な目標物を、予め設定された条件に基づいて撮影画像指定位置決定手段５０２で自動的に抽出し、目標物Ｔとして設定する。このように決定された位置が図１に示す撮影画像指定位置１０４である。
【００２３】
次に、撮影画像Ｐ内の目標物Ｔ（位置指定点）の画素が縦、横ともに何番目の画素であるかを撮影画像情報から取得し、最終的な目標物の方向ベクトル１０９を算出する。
【００２４】
図９は上記計算処理手順で算出した方向ベクトル１０９を用いた、図１の衝突判定および目標物位置標定処理１０８の処理手順を示す模式図である。飛行動体１０１から仮想的に射出された方向ベクトル１０９を一定間隔（約１０メートル程度）毎に地形断面と衝突するかを判定する。厳密には、１１１のように地形の高度を高度情報から取得した地形断面図を用いて方向ベクトル１０９のＺ方向成分（鉛直方向成分）との比較を行い、最初に地形の高度情報が方向ベクトル１０９のＺ方向成分と一致した地点を、目標物１１０の位置とする。
【００２５】
このように、１枚の撮影画像情報および飛行動体の位置、姿勢角、撮像装置の姿勢角、視野角情報を取得することにより、高度情報と組み合わせて撮影画像に映った目標物の位置を正確に標定することができる。
【００２６】
また、従来目標までの測距は主に超音波装置を用いて測るが、本発明では、目標物の位置と飛行動体の位置との三角関数から目標までの距離を割り出すことも可能である。
【符号の説明】
【００２７】
１０１：飛行動体
１０２：地上制御装置
１０３：飛行動体情報
１０４：指定位置情報
１０５：高度情報
１０６：撮影画像
１０７：方向ベクトル算出処理
１０８：衝突判定および目標物位置標定処理
１０９：方向ベクトル
１１０：目標物
２０２：カメラ
５００：動体情報処理手段
５０１：画像中心ベクトル算出手段
５０２：撮影画像指定位置決定手段
５０３：目標物方向ベクトル算出手段
５０４：衝突判定手段
５０５：高度情報処理手段
Ｐ：撮影画像
Ｏ：撮影画像の中心
Ｔ：撮影画像上の目標物（位置指定点）
【図１】
0005570287.tif 000002
【図２】
0005570287.tif 000003
【図３】
0005570287.tif 000004
【図４】
0005570287.tif 000005
【図５】
0005570287.tif 000006
【図６】
0005570287.tif 000007
【図７】
0005570287.tif 000008
【図８】
0005570287.tif 000009
【図９】
0005570287.tif 000010