(57)【特許請求の範囲】
【請求項１】
航空機の位置情報に基づいて、蓄積されている地形/地物情報から地形上の境界線情報を計算機上に取り込むと共に、前記境界線情報を前記航空機に搭載した赤外線カメラの視角と一致する傾斜画像に変換するステップと、前記境界線情報と対比することにより、ディスプレイ画面上の着目/非着目エリアを識別するステップと、前記赤外線カメラから送られた前記非着目エリアの画像の輝度が前記着目エリアの輝度よりも高い場合には、その輝度を低くすると共に、前記着目エリアについては該エリアの温度状況に応じてコントラストを上げて映像の視認性を向上させるステップを踏むようにしたことを特徴とする赤外線映像の視認性向上方法。
【請求項２】
航空機の位置情報に基づいて、地形/地物情報を記憶蓄積している手段を備えた航空機において、前記得られた位置情報に基づいて、前記蓄積されている地形/地物情報から地形上の境界線情報を計算機上に取り込み、前記境界線情報を前記航空機に搭載した赤外線カメラの視角と一致する傾斜画像に変換する手段と、前記境界線情報と対比することにより、ディスプレイ画面上の着目/非着目エリアを識別する手段と、赤外線カメラから送られた前記非着目エリアの画像の輝度が前記着目エリアの輝度よりも高い場合には、その輝度を低くすると共に、前記着目エリアについては該エリアの温度状況に応じてコントラストを上げて映像の視認性を向上させる手段とを備えることにより、前記着目エリアの映像の視認性を向上させることを特徴とする赤外線映像の視認性向上機能を備えた装置。
【請求項３】
蓄積されている地形/地物情報としてＤＥＭ(Digital Elevation Map)を用いるものとした請求項２に記載の赤外線映像の視認性向上機能を備えた装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＤＥＭ(Digital Elevation Map)等の地形情報に基づいて、赤外線カメラ映像等の必要な部分を強調したり、不要な部分を表示しないようにすることにより、映像の視認性を向上させる技術、特に、航空機の操縦支援システムとして有効な画像表示技術に関するものである。
【背景技術】
【０００２】
赤外線カメラは夜間や低視程時に航空機の安全性や任務の達成性を向上させることから、多くの航空機に前方赤外線監視装置（ＦＬＩＲ：Foward Looking Infra Red）として搭載されるようになっている。この赤外線カメラの映像はコックピットの計器版やＨＵＤ(Head Up Display)、ＨＭＤ(Head Mounted Display)に表示される。ＨＵＤやＨＭＤに表示される場合には映像を透過して、外部視野と赤外線画像の両方を視認できることが大きな利点であるが、特に夜間などは、輝度やコントラストを適切に調整しないと明るすぎて外界が見えなくなるなどの運航上の弊害が生じる。すなわち、赤外線画像は被写体の温度差を輝度で表示するが、例えば、画像中の重要な着目部分（狭領域）の温度が極端に低く、それ以外の背景部分の温度が高い場合には、信号レベル差が大きくなる。そのままの画素信号を用い、着目部分の画像が見易いように輝度調整をすると、ディスプレイ画面のほとんどが白くなってしまう。これをＨＵＤやＨＭＤに表示すると画面全体が明るくなり、画像自体が見にくくなるだけでなくコックピット全体が明るくなってしまい外部の視認性が著しく低下する。かといって画面の輝度やコントラストを下げると重要な着目部分が見えなくなってしまうという問題がある。
【０００３】
赤外線画像において着目領域と他の領域との温度差が大きい場合、全体の輝度スパンに比べ着目領域の輝度変化が小さくなるため、着目領域の鮮明な画像が得られないと言う問題に対して、特許文献１では次のような技術を提示している。この発明は実環境での気体流の温度変化は背景との温度差よりも微小であるが、赤外線単素子もしくは１次元素子を備える赤外線カメラは、このような微小な温度変化を観測できる程の感度とフレーム速度を有していないので、完全なシミュレーションを行うことが困難であるという問題を解決し、特別な気体を用いることなく実環境に近いシミュレーションを行うことのできる気体流の可視化方法を提供することを課題としたものである。この目的を達成するため、当該発明の気体流の可視化方法は、図４に示されるように0.01℃程度の温度差を検知できる高感度赤外線２次元センサ（赤外線温度計測装置）イを備え、高速スキャン可能な赤外線カメラで気体流ロの熱画像を取得し、取得した熱画像から背景ハの成分を除去し、図示していないＴＶモニタに気体流を表示することを特徴とするものである。
【０００４】
この発明は、赤外線画像において着目領域と他の領域との温度差が大きいため、着目領域の鮮明な画像が得られないと言う点では、本明細書が従来技術の問題点としている事柄と共通するが、当該文献が問題としてる現象は温度差の大きい背景からの赤外線情報が着目領域の赤外線情報に重畳してしまうということであり、本発明の問題としている画像において着目領域と重ならない他の領域との温度差に起因する現象とは異なるものである。すなわち、特許文献１の技術は予め気体流（着目領域）が存在しない状態の背景画像を取得しておき、気体流が発生しているときの画像情報から背景画像成分を減算処理して気体流（着目領域）の画像を得ようというものであるから、本発明が課題とする着目領域以外の領域の信号レベルの影響の問題の解決には適用することは出来ない技術である。しかも、航空機のように広域を航行移動しながらの撮像であるから、予め背景画像を取得・蓄積しておくことが出来ないし、実時間処理の対応も出来ない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平７−２２５１５６号公報  「気体流の可視化方法」  平成７年８月２２日公開
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、赤外線カメラ映像の表示において、着目領域部分の画像信号と大きくレベルを異にする非着目領域がある場合に、非着目領域の信号レベルに影響されず赤外線カメラ映像の着目領域部分の映像の視認性を向上させる技術、特に、航空機の操縦支援システムとして有効な赤外線映像技術を提供することにある。
【課題を解決するための手段】
【０００７】
本発明の赤外線映像の視認性向上方法は、航空機の位置情報に基づいて、蓄積されている地形/地物情報から地形上の境界線情報を計算機上に取り込むと共に、前記境界線情報を前記航空機に搭載した赤外線カメラの視角と一致する傾斜画像に変換するステップと、前記境界線情報と対比することにより、ディスプレイ画面上の着目/非着目エリアを識別するステップと、前記赤外線カメラから送られた前記非着目エリアの画像の輝度が前記着目エリアの輝度よりも高い場合には、その輝度を低くすると共に、前記着目エリアについては該エリアの温度状況に応じてコントラストを上げて映像の視認性を向上させるステップを踏むようにした。
【０００８】
本発明の赤外線映像の視認性向上機能を備えた装置は、航空機の位置情報に基づいて、地形/地物情報を記憶蓄積している手段を備えた航空機において、前記得られた位置情報に基づいて、前記蓄積されている地形/地物情報から地形上の境界線情報を計算機上に取り込み、前記境界線情報を前記航空機に搭載した赤外線カメラの視角と一致する傾斜画像に変換する手段と、前記境界線情報と対比することにより、ディスプレイ画面上の着目/非着目エリアを識別する手段と、赤外線カメラから送られた前記非着目エリアの画像の輝度が前記着目エリアの輝度よりも高い場合には、その輝度を低くすると共に、前記着目エリアについては該エリアの温度状況に応じてコントラストを上げて映像の視認性を向上させる手段とを備えることにより、前記着目エリアの映像の視認性を向上させることを特徴とした。
また、上記の蓄積されている地形/地物情報としてＤＥＭ(Digital Elevation Map)を用いるものとした。
【発明の効果】
【０００９】
本発明の赤外線映像の視認性向上方法は、航空機の位置情報に基づいて、蓄積されている地形/地物情報から地形上の境界線情報を取り込み、前記地形/地物情報を赤外線カメラの視角と一致する傾斜画像に変換し、前記境界線情報と対比することにより、ディスプレイ画面上の着目/非着目エリアを識別し、前記赤外線カメラから送られた前記非着目エリアの画像の輝度を前記着目エリアの輝度よりも低く抑えることによって、前記非着目エリアの温度が前記着目エリアの温度に比較して極端に高い場合でも輝度レベルのレンジスパンを広くとる必要が無くなり、前記着目エリアの画像に対して十分なコントラストを取ることが可能となって、前記着目エリアの映像の視認性を向上させることができる。
また、そのことによってＨＵＤやＨＭＤに表示しても表示画面全体が明るくなりすぎ、外界の視認性が著しく低下し、パイロットの操縦に支障となるようなことがない。また、本発明の赤外線映像の視認性向上方法によれば、ＤＥＭ(Digital Elevation Map)等の地形/地物情報を記憶蓄積したデータベースを搭載しておくことにより、運航中にリアルタイムで赤外線映像を適正表示させることが可能である。
【図面の簡単な説明】
【００１０】
【図１】本発明の赤外線映像の視認性向上機能を備えた装置のシステム構成を示した図である。
【図２】陸地から10ｋｍの地点から撮影した赤外線映像であり、Ａは本発明の処理前画像、Ｂは処理した画像である。
【図３】陸地から２ｋｍの地点から撮影した赤外線映像であり、Ａは本発明の処理前画像、Ｂは処理した画像である。
【図４】赤外線画像において着目領域と他の領域との温度差が大きい場合の従来技術を説明する図である。
【発明を実施するための形態】
【００１１】
図１に本発明の赤外線映像の視認性向上機能を備えた装置のシステム構成を示す。航空機に搭載されている前方赤外線監視装置（ＦＬＩＲ）に本発明を実施するものとして図１を参照しながら説明する。システムとして、画像の信号処理を行う計算機１、地形/地物情報が蓄積されているデータベース２、航空機に取付けられた赤外線カメラ３、画像を表示するＨＵＤやＨＭＤ等のディスプレイ４が装備される。前記赤外線カメラ３から撮像した画像信号が得られる。従来はこの画像信号を直接ディスプレイ４に表示していた。本発明ではまず、航空機の位置を把握する。この位置情報は緯度・経度情報、高度情報、機体の姿勢角を含むが、これらの計測値を得る計器は航空機の通常装備であり、そのデータを用いることが出来る。機体の緯度・経度情報に基づき、地形/地物情報が蓄積されているデータベース２から、近傍の地形/地物情報を読み出す。読み出した近傍の地形/地物情報から表示画面上の着目エリア（例えば空港）の温度より高い温度の非着目エリア（例えば海面）を抽出するのであるが、海岸線が陸と海の境界となることから、図に示すように海岸線５を地形/地物情報から把握し、線情報として計算機上に取り込む。計算機上に取り込んだこの線情報は水平である海岸線を鉛直方向から捉えた線情報であることから、次に機体の姿勢角情報に基づいてこの水平面線情報を傾斜させ、機体から海岸線を見る視覚と一致するように加工する。この加工した線情報を赤外線カメラ３が捉えた前方画像に重ね合わせる。そして着目エリアである空港の温度より高い温度の非着目エリアである海面を画像情報において特定する。前記赤外線カメラ３が撮像した画像信号では海面領域は着目エリアである空港の温度より温度が高いため、ディスプレイ４の表示ではこの海面領域は輝度が高く画面全体が明るいものとなっている。したがって、パイロットは外界の視野が見にくくなると共に、着目エリアである空港の画像は不鮮明である。この元画像に対して海面である領域についてこの発明では画像信号のレベルを低く抑えて表示画面上で輝度を低くする。その結果、表示画面上での輝度スパンは狭くなり、着目エリアである空港の撮像領域のコントラストを強調してその画像を鮮明にすることが可能となる。表示画面上で海面の輝度を低くするようにレベルを低く抑える手法は、カメラ画像が被写体の距離に反比例した光量で受光されるものであることを勘案し、調整する。この様に処理することで、輝度が抑えられるが、その部分も自然な画像として映し出すことが出来る。
【００１２】
図２は陸地から10ｋｍの地点から撮影した赤外線映像であり、Ａは本発明の処理前画像、Ｂは海面の輝度を抑える処理した画像である。Ａに示した画像は海面に当たる下半分領域が真っ白になっており、陸上家屋の屋根は不鮮明であり判別できない。パイロットには画面が眩しい状態となっており、輝度を上げることが出来ない。Ｂに示した画像では海面領域の輝度が低く抑えられているので、陸地領域の画像のコントラストを強く調整することが可能となって、屋根が見えるように鮮明な画像を映すことが出来ている。海面領域を一様にマスクしてしまう処理をした場合、画像特に海岸線部分の画像がくっきりと区分されて表示されるため、若干の違和感があるが、海面の輝度を抑える処理した場合はこの様に自然な画像として表示される。航空機は時々刻々陸地に接近することになるが、その都度航空機の位置情報を更新し、その位置情報に基づいて近傍の地形/地物情報を更新して読み出し、海岸線５の把握、機体の姿勢角情報に基づいて線情報の傾斜加工、該線情報を赤外線カメラが捉えた前方画像に重ね合わせる作業を切り返す。このことによって、リアルタイムで赤外線映像を適正表示させることが可能となる。
【００１３】
図３は陸地から２ｋｍの地点から撮影した赤外線映像であり、Ａは本発明の処理前画像、Ｂは処理した画像である。陸地に接近しているため、着目エリアである陸上の地物の像が大きくなっており、Ａの画像では海面に当たる下半分領域が同様に真っ白になっており、この画像はパイロットには画面が眩しい状態となっており、輝度を上げることが出来ないので、陸上家屋の形状は判別できない。Ｂに示した画像では海面領域の輝度が低く抑えられているので、陸地領域の画像のコントラストを強く調整することが可能となって、陸地の風景が見えるようになって、建物の鮮明な画像を映すことが出来ている。
【産業上の利用可能性】
【００１４】
本発明が関わる前方赤外線監視装置（ＦＬＩＲ）は夜間や低視程時に航空機の安全性や任務の達成性を向上させることから、民事用、軍事用に限られず多くの航空機に搭載されるようになっている。特に、本発明はその視認性向上を図った技術であるから、夜間や視界の悪い状況下でも安全航行を支援するシステムとして防災や救助活動に威力を発揮することが出来る。
【符号の説明】
【００１５】
１  計算機                      ２  地形/地物情報が蓄積されたデータベース
３  赤外線カメラ                ４  ディスプレイ
５  海岸線
【図１】
0005867846.tif 000002
【図４】
0005867846.tif 000003
【図２】
0005867846.tif 000004
【図３】
0005867846.tif 000005