(57)【特許請求の範囲】
【請求項１】
航空機に搭載され常に鉛直下方を撮影してテレビ画像情報を出力する赤外線テレビカメラと、
この航空機に搭載され前記赤外線テレビカメラの撮影に同期してこの航空機の高度、向きを含む位置情報を出力するＧＰＳと、
前記テレビ画像情報と前記位置情報を受信して前記テレビ画像の表示と、前記位置情報をもとにあらかじめ記憶している地図データから現在位置を含む地図データの選択、地図画像の表示とを行う画像表示手段とを有する画像上の位置判読装置であって、
赤外線画像上で高温部を識別し、その高温位置を指定入力する高温位置自動指定手段と、
前記テレビカメラの画角にもとづく前記地図画像上の画枠を計算し、前記地図画像上に前記指定入力された高温位置とともに、この画枠をリアルタイムに表示する画枠計算手段とを有することを特徴とする画像上の位置判読装置。
【請求項２】
航空機に搭載され常に鉛直下方を撮影してテレビ画像情報を出力するテレビカメラと、
この航空機に搭載され前記テレビカメラの撮影に同期してこの航空機の高度、向きを含む位置情報を出力するＧＰＳと、
前記テレビ画像情報と前記位置情報を受信して前記テレビ画像の表示と、前記位置情報をもとにあらかじめ記憶している地図データから現在位置を含む地図データの選択、地図画像の表示とを行う画像表示手段とを有する画像上の位置判読装置であって、
前記テレビ画像上で任意地点を指定する位置入力手段と、
前記テレビカメラの画角にもとづく前記地図画像上の画枠を前記航空機に搭載されているレーダ高度計、又はカメラの焦点距離計により求められたカメラの高度データに基づいて計算し、前記地図画像上に前記入力された任意地点とともに、この画枠をリアルタイムに表示する画枠計算手段とを有することを特徴とする画像上の位置判読装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、ヘリコプタなどの航空機に搭載したテレビカメラから取得した画像上で確認された災害地点を、同じく搭載したＧＰＳから取得した位置情報と組み合わせて、地図上にシンボル等を表示することで被害地点の特定を行う、画像上の位置判読システムに関するものである。
【０００２】
【従来の技術】
火災や交通事故等の災害の発生時に、これらの事象がどの地点で発生したのかを地図上で把握することは、災害の総括管理、例えば救援対策をたてるなどの上で必要不可欠なことである。
災害発生地点に関する最初の情報は、ヘリコプタに搭載したテレビカメラによって、もたらされる場合が多いので、この画像から、すみやかに地点を特定することが必要であり、かつ、それは寸秒を争う作業となる。
【０００３】
災害の例として、火災を自動監視するか再発見システムが特開平５−４６８８７号公報に示されている。しかし、これはカメラが地上に設置されているものであるから監視範囲は限定される。
また、特開平８−３２４４９９号公報にはヘリコプタに搭載した赤外線カメラにより確認した火災位置に確実に消化剤を投下するための消化剤投下装置が開示されている。
また、特開平４−３６３９８９号公報には、ヘリコプタ上のビデオカメラの信号を地上に伝送する技術が開示されている。
従来のヘリコプタ搭載の災害地点の特定システムとして、これら公知の技術を容易に組合わせし得る範囲で組合わせたものについて説明する。
【０００４】
図１１は災害発生時に、発生地点の特定を行う位置判読システムの基本構成を示した図である。図において、１は地上を撮影するカメラ２１とＧＰＳ２２を搭載したヘリコプタ、２はヘリコプタ１から無線電送２５によって送られてくる動画像３２と、一秒間毎の位置情報を含む静止画像３４（これら情報を合わせて情報２０という）を受信する装置、３は受信装置２から送られてきた情報２０を保管（記憶）する装置、４は動画像と静止画像の表示、及びそれらを撮影したヘリコプタ１の位置の地図上への表示を行い、また、災害発生位置の入力を、画像を見ながら人が行う被害情報判読装置である。なお、データ受信装置２以後の装置は地上に設置されている。
図１２は図１１のものの動作を説明するための図である。
図において３２はテレビカメラ２１が撮影した動画像（例えば上がヘリコプタの前方方向）、３４は静止画像、３４Ａは位置データ、３５は位置データ３４Ａをもとに図示しないＣＤＲＯＭデータから得られた地図画像でこれは上が北方向の図である。１３は災実発生例として説明のために火災を示すものである。
【０００５】
次に従来のシステムにおける動作について説明する。ヘリコプタ１が飛行することで、これに搭載されたカメラ２１によって撮影された動画像３２と、ＧＰＳ２２による位置情報を含んだ１秒間隔の静止画像３４からなる情報２０がデータ受信装置２、データ保管装置３を中継して位置判読システム４に送られてくる。  位置判読システム４では、画面上に受信した動画像３２をリアルタイムに表示し、それと同時に、静止画像３４に付加されたヘリコプタ１の位置情報をもとに、地図３５を表示するとともにこの地図３５上にヘリコプタ１の現在位置を表すシンボルを表示する。ユーザーは動画像３２を一通り見終わってから静止画像３４を一通りチェックするか、動画像３２を見ている間に発見した被害発生地点を周囲の風景等をもとに覚えておく等の方法によって、呼び出した被害発生地点の静止画像と、同地点周辺の地図とを見比べながらその上に図示しないマウスカーソル等によって被害発生地点をシンボル５３として登録する。
【０００６】
上記の従来例では、１人で作業するので、動画像３２を受信、表示し、これを見ている間は被害情報の入力を行うことは出来ない。動画像３２と地図３５とは方位も、縮尺も一致しているわけではないから、慣れていないと、動画像上の位置を地図上に求めることは、容易な作業ではない。
【０００７】
【発明が解決しようとする課題】
従来のヘリコプタ、テレビを用いた画像上の位置判読システムは以上のように構成され、動作しているため、被害位置を地図上に登録するためには、ヘリコプタから送られてくる情報を一通り全て受信し終るまで待つか、あるいはデータ保管装置（ビデオ再生装置）を使ってその都度一時停止させながら作業しなければならない。
ヘリコプタの飛行中にリアルタイムに受信、表示される動画像上で被害地点を発見した場合には、ユーザーがそれが地図上のどの辺りなのかということをある程度覚えておく必要がある。このため、情報をすべて受信し終わった後の被害位置登録の段階で被害地点を地図上に探し当てるためには、動画像を見た時に覚えておいた場所付近の静止画像を順次チェックしなければならず、必要以上数の静止画像をチェックする必要が生じて作業に時間がかかり、疲労がはげしいとか、チェック漏れが発生する可能性があるなどの問題があった。
【０００８】
災害発生時においては迅速な状況把握と対応が重要であり、以上のような問題は情報のリアルタイム性を損なっているという点、情報漏れが発生する可能性があるという点で見逃すことは出来ない。
【０００９】
この発明は上記のような問題点を解消するためになされたもので、ヘリコプタのカメラからの映像（動画像）を見ながら、リアルタイムに被害地点の判読登録ができ、状況が迅速に把握できる位置判読システムを得ることを目的とする。
【００１０】
【課題を解決するための手段】
この発明による画像上の位置判読装置は、航空機に搭載され常に鉛直下方を撮影してテレビ画像情報を出力する赤外線テレビカメラと、この航空機に搭載され前記赤外線テレビカメラの撮影に同期してこの航空機の高度、向きを含む位置情報を出力するＧＰＳと、前記テレビ画像情報と前記位置情報を受信して前記テレビ画像の表示と、前記位置情報をもとにあらかじめ記憶している地図データから現在位置を含む地図データの選択、地図画像の表示とを行う画像表示手段とを有する画像上の位置判読装置であって、赤外線画像上で高温部を識別し、その高温位置を指定入力する高温位置自動指定手段と、前記テレビカメラの画角にもとづく前記地図画像上の画枠を計算し、前記地図画像上に前記指定入力された高温位置とともに、この画枠をリアルタイムに表示する画枠計算手段とを有するものである。
【００１１】
また、航空機に搭載され常に鉛直下方を撮影してテレビ画像情報を出力するテレビカメラと、この航空機に搭載され前記テレビカメラの撮影に同期してこの航空機の高度、向きを含む位置情報を出力するＧＰＳと、前記テレビ画像情報と前記位置情報を受信して前記テレビ画像の表示と、前記位置情報をもとにあらかじめ記憶している地図データから現在位置を含む地図データの選択、地図画像の表示とを行う画像表示手段とを有する画像上の位置判読装置であって、前記テレビ画像上で任意地点を指定する位置入力手段と、前記テレビカメラの画角にもとづく前記地図画像上の画枠を前記航空機に搭載されているレーダ高度計、又はカメラの焦点距離計により求められたカメラの高度データに基づいて計算し、前記地図画像上に前記入力された任意地点とともに、この画枠をリアルタイムに表示する画枠計算手段とを有するものである。
【００１２】
以下、この発明の基礎となる画像上の位置判読システムについて、図１にその構成ブロック図を用いて、又、図２に画像を示す図を用いて説明する。
以下の図面に於て、従来の部分と同一又は相当する部分は、同符号を用いてその詳細な説明は省略する。
【００１３】
図１において、１は地上を撮影してテレビ画像情報を出力するテレビカメラ２１（以後カメラと言う）とＧＰＳ２２を搭載したヘリコプタ、２はヘリコプタ１から無線電送２５によって送られてくる動画像３２や、ＧＰＳ２２の位置情報（情報２０）を受信する受信装置、３は受信装置２から送られてきた情報２０を保管する装置、４１はこの発明による動画像と静止画像（動画像を一時停止したもの）の表示及び、それらを撮影したヘリコプタ１の位置の地図上への表示を行い、また、被害発生位置の情報の入力を行う被害情報判読装置であり、４７は画像表示手段、４３は画枠計算手段でそれらの詳細は後述する。
４８は地図データ（ＣＤＲＯＭ）、４９は位置入力手段でありオペレータ（人間）が行う主な作業内容を表している。
【００１４】
ここでカメラ２１はヘリコプタ１の姿勢や加速度に関係なく、常に鉛直下方を撮影できるように、ジャイロを内蔵するジンバル装置内に設置されている。
ただし、撮影した画面の上方は常にヘリコプタ１の前方に向いている。又、ＧＰＳ２２はこのヘリコプタ１の高度と向きを含む位置情報（経度、緯度）をカメラ２１の撮影する画面フレーム１枚毎に同期して出力するものである。
【００１５】
図２は図１の動作を説明するための図である。
図において３２は動画像、３２Ａはこれに対応する位置データ、３５は位置データ３２Ａをもとに地図データ（ＣＤＲＯＭデータ）４８から得られた地図画像である。
１２はカメラの撮影範囲（角度）を表した説明補助線、１３は災害発生例として説明のために火災を示すものである。３２はヘリコプタ１のカメラ２１で撮影された動画像を画面上に表示したイメージ、矢印４２はマウスカーソルである。３３はマウスカーソル４２で出火場所を指示（クリック）した時の、画枠内でのｘ座標、ｙ座標をそれぞれ点線で表し、画枠内での位置を説明の都合上わかりやすく示したものである。
【００１６】
３５はヘリコプタ１の位置を中心に、上が北として表示された地図、５１は３３のテレビ画面の画枠を地図３５の上に投影したもの、５２は３３の座標線を画枠５１内に投影したもの、５３は出火位置を示すシンボルである。以下の説明においてカメラ２１はヘリコプタ１の姿勢及び加速度がどうあろうとも常に鉛直下方を向いているものとする。
【００１７】
次に動作について説明する。
まず、ヘリコプタ１が飛行すると、画面上にはカメラ２１で撮影された地表面の動画像３２がリアルタイムに表示される。動画像３２上にて被害箇所が発見された場合、ユーザーはマウス４２によって動画像３２上でその部分１３をクリックする。このクリックしたポイントは画枠３３の中で３１の位置にあたる。動画３２に付加された位置データ３２Ａをもとに地図３５が刻々と更新表示されている。そしてヘリコプタ１の緯度・経度、高度、向き、カメラの画角から計算して、地図３５上にカメラ２１の画枠５１を表示する。
【００１８】
図３を用いて、ヘリコプタ１の緯度・経度、高度、向き、カメラの画角θから地図上に画枠を投影する方法について述べる。図３の２１はヘリコプタ１搭載のカメラ、５１はカメラの画枠、１３３は画枠５１の中心（映像の中心）、１３４は画枠５１の頂点の内、ヘリコプタ１の進行方向右前方（４５°）に位置するもの、１３５はヘリコプタの前向き方向、１３６は北の方角（地図を管理する上での基準となる方向）をそれぞれ表す。
【００１９】
地図３５上に画枠５１を投影するためには、画枠５１の４頂点の位置を知る必要がある。画枠５１の中心座標を（０，０）、ｙ軸の＋方向を北とし、画枠の頂点１３４の座標を（ｘ１，ｙ１）とする。
まず、画枠の中心１３３から頂点１３４までの距離をＬとすると、Ｌはヘリコプタの高度ｈとカメラの画角θを用いて、
Ｌ＝ｈ・ｔａｎθ
と表すことが出来る。次にｘ１とｙ１を、このＬと、北を０°として計ったヘリコプタ１の進行方向（方位角）θ２を用いてそれぞれ表すと、
ｘ１＝Ｌ・ｓｉｎ（θ２＋π／４）
ｙ１＝−Ｌ・ｃｏｓ（θ２＋π／４）
となる。同様にして他の３頂点を求めることで、地図３５上への画枠５１の投影が行える。上記の一連の動作は図１の画枠計算手段４３によって実行される。
【００２０】
ここで、動画像３２の画枠と地図３５上の画枠５１の位置は一致するので、これらの対比により地図３５上での被害地点（図２のポイント３１）を算出して、その位置に被害箇所を示すシンボル５３を表示することができる。
このように、ヘリコプタ搭載のカメラ２１の映像とＧＰＳ２２による位置情報から、動画像上の点と地図上の点との対応をリアルタイムに算出することによって、ヘリコプタの飛行中に動画像データを見ながら被害箇所のチェックがリアルタイムに行える。これにより、被害地点の特定、地図上への被害情報登録などの時間が大幅に短縮される。
上記作業を行う場合、地上のオペレータは地図３５を見る必要は全くなく、動画像３２さえ見ておれば作業ができる。
【００２１】
なお、上記説明ではＧＰＳ２２で得た高度ｈ（基本的に海抜高度）をそのまま用いるとして説明したが、地図情報に含まれている地表面の高さ（Ｈ）を減じて計算を行う方が正確であることは言うまでもない。
【００２２】
上記の形態説明では、リアルタイムに作業できるとはいうものの刻々と変る動画像３２をオペレータが注視し続けなければならず、見逃すことはゆるされないので、作業は苦痛をともなうものとなりかねない。
そこで、この点を改善するため図４に示すようにオペレータが特定のキー入力６２を行うことにより、動画３２を一時的に停止させ（データ保管装置３からのデータ出力を停止させ）災害の確認、位置入力を容易とすることもできる。動画の再スタートは、再度キー入力を行ってもよいし、一定時間後に自動的にスタートさせてもよい。
【００２３】
又、キー入力６２の代りに、例えば数秒間隔で静止するようにして、オペレータは静止画３４のみを見て作業するようにしてもよい。
あるいは又、動画像３２上にマーク４２を付した時のみ、確認のため静止画３４が得られるようにしてもよい。
【００２４】
【発明の実施の形態】
実施の形態１．
以下、この発明の実施の形態について説明する。上記の各形態説明では、動画像３２の表示中にユーザー（オペレータ）が画面を見ながら被害地点をマウスでクリックする必要があり、オペレータが必要な有人作業であった。この発明はこれを無人化するため災害が火災である場合には、ヘリコプタ１に赤外線カメラ６１を搭載し、その映像を用いて地表面の温度を監視し、高温部を被害（火災）発生地点であると自動判別することによって、自動的に位置入力を行い無人化するようにしたものである。
【００２５】
図５に実施の形態１の構成を示す。１は赤外線カメラ６１とＧＰＳ２２を搭載したヘリコプタ、４４は赤外線カメラ６１の画像情報中から高温（即ち火災が生じている点）部を自動的に抽出して、その画面上の位置データを画枠計算手段４３に伝える高温位置自動指定手段である。
【００２６】
図６は動作を説明するための画像図で、１２はカメラの撮影範囲（角度）を表した線、１３は出火した建物である。３６は赤外線カメラ６１によって撮影された映像のイメージである。６０は火災らしき高熱が確認された部分、６２は６０を通るｘ座標線、６３は６０を通るｙ座標線である。３５はヘリコプタ１の位置を中心にした地図、５１は画枠、５２は座標線６３に対応する座標線、５３は出火位置を示すシンボルである。
【００２７】
次に動作について説明する。ヘリコプタ１が飛行すると、画面上には赤外線カメラ６１で撮影された地表面の赤外線動画像３６がリアルタイムに表示され、それと同時に、高温位置指定手段４４によりこの赤外線映像３６の画面温度のチェックを行い、画面中に一定の温度よりも高温の部分６０が発見された場合には被害発生箇所と判断され、その座標値が取り出される。後は図１、図２と同様に地図３５上に投影され、被害地点にシンボルが描かれる。
このように、ユーザーが特に指示を与えなくても、自動的に被害地点のチェックとシンボルの登録が行われるため、無人化（少なくともオペレータ負担の軽減）を図ることが出来る。
【００２８】
実施の形態２．
前述の実施の形態１では、ヘリコプタ１の高度は、ＧＰＳから得られた海抜高度をそのまま利用するというように述べたが、ヘリコプタ搭載の高度計又は高度レーダ、あるいはカメラの焦点距離（いずれも図示していない）を利用することによって、ヘリコプタの地表からの高度を求める事ができる。これにより、より正確な画枠の位置を算出することができ、結果として、動画像上にてマウスでクリックした場所の地図上での位置をより正確に求める事ができる。
【００２９】
図７に実施の形態２の構成を示す。図７において静止画像３４の画枠を地図３５の中に投影する際に高度補正を行う。具体的には図８に示すように、ＧＰＳ２２から得られる海抜高度７１の代わりに、高度レーダの測定高度７２、すなわちカメラから地表面までの実際の距離を用いるわけである。この高度をｈ’として、上述した計算式に当てはめることで地図上の座標系に対応する画枠の位置をより正確に算出することが出来る。
【００３０】
ＧＰＳ２２から得られる高度の情報は海抜高度である。災害発生時に飛行するヘリコプタの海抜高度に対し、カメラで撮影される地上面の海抜高度は無視できる程低くはない。このように、ヘリコプタの高度としてＧＰＳ２２の情報の代わりに高度測定値を用いることで、より正確な被害地点の算出が可能となる。
【００３１】
上記の説明では画像上の位置判読装置の高度補正を行うものであるが、実施の形態１のものに同様の高度補正を行うことでより正確に被害箇所の自動判別を行うことが可能となる。
【００３２】
即ち、図９において赤外線映像３６の画枠を、地図３５の中に投影する際に補正を行う。具体的には、図８に示したように、ＧＰＳ２２から得られる海抜高度７１の代わりに、高度レーダによる測定７２、すなわちカメラから地表面までの実際の距離を用いるわけである。この高度をｈ’として、上述した計算式に当てはめることで地図上の座標系に対応する画枠５１の位置を、より正確に算出することが出来る。
【００３３】
このように赤外線映像と高度レーダ情報を用いることで、ユーザーの手をわずらわせることなく、自動で、かつ、より正確な被害地点の特定と、地図への情報の登録を行うことが出来る。
【００３４】
実施の形態３．
実施の形態１、２では、被害地点のチェックを手で行うか自動で行うかの違いはあるものの、シンボルの登録に関しては全て画枠５１内の比率計算から自動的に行っているが、従来のように人の判断により直接地図上にマークする方法も（例えば、火災と単なる焚火との区別が出来るなど）信頼性の点では優れている。そこで、図１０に示すような方法で、シンボルの登録をユーザーが行うようにすれば、従来と同様な信頼あるマーキングが、より容易に実行でき、正確な位置にシンボルを置くことが出来る。
【００３５】
図１０に実施の形態３の構成を示し、その動作について説明する。
ヘリコプタ１が飛行すると、画面上にはカメラ２１で撮影された地表面の動画像２がリアルタイムに表示される。ここで、画面上に被害地点が発見されたら、画面上の任意の点をマウスでクリックする（あるいはあらかじめ定めた適当なキー入力を行う）ことでその時点での静止画像がスナップショット７４としてＧＰＳデータとともに保存される。ヘリコプタ１の飛行あるいは撮影が終了した後、それまでに保存したスナップショット７４ならびにＧＰＳデータと、それに対応する位置の地図３５を順次呼び出して双方を見比べ、地図３５上の被害地点に当たる部分にシンボル５３を登録して行く。
【００３６】
このように、被害地点を発見した際に、その地点をチェックするのではなく、近傍の静止画像そのものを取り込むために、狭い区域に被害地点が点在する場合などにも対応可能であり、従来の場合のように画像と地図とが向きや縮尺の点ででたらめであると言うことがないので、作業は楽となり、シンボル登録部分を人間の判断に委ねることによって、シンボルの登録位置の信頼性が増す他、登録間違いの可能性も確実に減る等の効果が得られる。
【００３７】
ここで、実施の形態１に説明した技術を用いる、即ちカメラ２１の代りに赤外線カメラ６１を用いるようにし、スナップショット７４は赤外画像であるものとして、シンボルの登録作業を自動化することができる。更にＧＰＳ２２によって得た高度情報を地図情報で修正したり、あるいはヘリコプタ１に搭載した高度計の情報で修正することでより正確な画像位置の補正が行えることは言うまでもない。
【００３８】
上記説明では、航空機としてヘリコプタを用いるとして説明したが飛行機、飛行船、気球であっても同様効果が得られる。航空機は勿論模型のものでもカメラなどが積載できれば良い
特に低速飛行又は静止することができるヘリコプタ、飛行船、気球による場合は、より安定した位置の判読が可能となる。
又、地上設備として説明した部分が全て機上に設けられていてもよい。
テレビカメラの代りに電子式スチールカメラが利用できることは自明である。
【００３９】
【発明の効果】
以上のように、この発明によれば、災害発生時の災害位置の特定及び地図上へのシンボルの登録の際に、ユーザーがヘリコプタの飛行が終るまで待つ必要が無いため、位置の確定が素早く行えるとともに、オペレータの疲労が軽くなって、情報の見落しが減少し、情報漏れが発生することが少くなる。
【００４０】
又、赤外線カメラを用いた場合には、火災の発見とその位置の特定が全く無人で行えると言う効果が得られる。
【図面の簡単な説明】
【図１】この発明の基礎となる画像上の位置判読装置の構成図である。
【図２】図１の動作を説明するための図である。
【図３】図１画角の計算方法の説明図である。
【図４】他の形態による画像上の位置判読装置の動作説明図である。
【図５】この発明の実施の形態１による画像上の位置判読装置の構成図である。
【図６】図５の動作説明図である。
【図７】実施の形態２による画像上の位置判読装置の動作説明図である。
【図８】高度補正計算の説明図である。
【図９】実施の形態２の図７を変形した適用例である。
【図１０】実施の形態３の画像上の位置判読装置の動作説明図である。
【図１１】従来の災害地点の特定を行う位置判読装置の構成図である。
【図１２】図１１の動作を説明するための図である。
【符号の説明】
１  航空機（ヘリコプタ）、          ２１  テレビカメラ、
２２  ＧＰＳ、                      ３２  動画像、
３２Ａ、３４Ａ  位置情報、          ３４  静止画像、
３５  地図画像、                    ４３  画枠計算手段、
４４  高温位置自動指定手段、        ４７  画像表示手段、
４９  位置入力手段、                ５１  画枠、
θ  画角、                          ６１  赤外線カメラ、
【図１】
0003569627.tif 000002
【図２】
0003569627.tif 000003
【図３】
0003569627.tif 000004
【図４】
0003569627.tif 000005
【図５】
0003569627.tif 000006
【図６】
0003569627.tif 000007
【図７】
0003569627.tif 000008
【図８】
0003569627.tif 000009
【図９】
0003569627.tif 000010
【図１０】
0003569627.tif 000011
【図１１】
0003569627.tif 000012
【図１２】
0003569627.tif 000013