(57)【特許請求の範囲】
【請求項１】
同一の座標体系を持ったパンクロマチック映像と赤外線映像とを獲得する映像獲得部と、
前記パンクロマチック映像に低周波フィルタリングを実行して低周波パンクロマチック映像を製作し、前記パンクロマチック映像と前記低周波パンクロマチック映像とを差分することによって、高周波パンクロマチック映像を製作するフィルタリング実行部と、
信頼区間外の前記高周波パンクロマチック映像値を補正することによって、補正された高周波パンクロマチック映像を製作し、前記赤外線映像の平均値、標準偏差値と前記低周波パンクロマチック映像の平均値、標準偏差値から線形回帰式を構成し、構成された前記線形回帰式から補正された赤外線映像を製作する映像補正部と、
前記パンクロマチック映像と前記赤外線映像との融合比率を決定するスケーリングファクター決定部と、
前記補正された高周波パンクロマチック映像と前記決定されたスケーリングファクターとを利用して、前記補正された赤外線映像と合算して融合映像を製作する融合映像製作部と、を含むことを特徴とするパンクロマチック映像と赤外線映像との融合装置。
【請求項２】
前記フィルタリング実行部は、
下記の数式で前記高周波パンクロマチック映像を定義することを特徴とする請求項１に記載のパンクロマチック映像と赤外線映像との融合装置。
【数１】
0006506397.tif 000029
、
このとき、
0006506397.tif 000030
は、前記高周波パンクロマチック映像を示し、
0006506397.tif 000031
と
0006506397.tif 000032
は、それぞれピクセル方向とライン方向の映像座標を示し、
0006506397.tif 000033
は、前記パンクロマチック映像を示し、
0006506397.tif 000034
は、前記低周波パンクロマチック映像を示すものである。
【請求項３】
前記フィルタリング実行部は、
前記低周波フィルタリングを実行して、低周波成分のみを抽出した前記低周波パンクロマチック映像を製作する低周波パンクロマチック映像製作部及び、前記赤外線映像から前記低周波パンクロマチック映像を差分して前記高周波パンクロマチック映像を製作する高周波パンクロマチック映像製作部をさらに含むことを特徴とする請求項１に記載のパンクロマチック映像と赤外線映像との融合装置。
【請求項４】
前記映像補正部は、
下記の数式で前記補正された高周波パンクロマチック映像を定義することを特徴とする請求項１に記載のパンクロマチック映像と赤外線映像との融合装置。
【数２】
0006506397.tif 000035
このとき、
0006506397.tif 000036
は、前記補正された高周波パンクロマチック映像を示し、
0006506397.tif 000037
は、高周波パンクロマチック映像の標準偏差を示し、
0006506397.tif 000038
は、正規分布の
0006506397.tif 000039
値であって、一般的に活用される９５％及び９９％の信頼度で値を推定する場合、その値は、１．９６、２．５８の値を持つ。
【請求項５】
前記映像補正部は、
下記の数式で前記補正された赤外線映像を定義することを特徴とする請求項１に記載のパンクロマチック映像と赤外線映像との融合装置。
【数３】
0006506397.tif 000040
このとき、
0006506397.tif 000041
は、前記補正された赤外線映像を示し、
0006506397.tif 000042
は、補正される前の前記赤外線映像を示し、
0006506397.tif 000043
及び
0006506397.tif 000044
は、それぞれ前記赤外線映像の標準偏差及び前記低周波パンクロマチック映像の標準偏差を示し、
0006506397.tif 000045
及び
0006506397.tif 000046
は、それぞれ前記赤外線映像の平均及び前記低周波パンクロマチック映像の平均を示す。  
【請求項６】
前記映像補正部は、
前記信頼区間外の前記高周波パンクロマチック映像のピクセルを補正する高周波パンクロマチック映像補正部及び、前記赤外線映像及び前記低周波パンクロマチック映像が同一の標準正規分布を持つように前記赤外線映像の各ピクセル値を補正する赤外線映像補正部をさらに含むことを特徴とする請求項１に記載のパンクロマチック映像及び赤外線映像融合装置。
【請求項７】
前記融合映像製作部は、
下記の数式で最終前記融合映像を定義することを特徴とする請求項１に記載のパンクロマチック映像と赤外線映像との融合装置。
【数４】
0006506397.tif 000047
このとき、
0006506397.tif 000048
は、最終製作された前記融合映像を示し、
0006506397.tif 000049
は、前記映像補正部で製作された前記補正された赤外線映像を示し、
0006506397.tif 000050
は、前記スケーリングファクター決定部で決定された前記スケーリングファクターを示し、
0006506397.tif 000051
は、前記映像補正部で製作された前記補正された高周波パンクロマチック映像を示す。
【請求項８】
同一の座標体系を持ったパンクロマチック映像と赤外線映像とを獲得する映像獲得ステップと、
前記パンクロマチック映像に低周波フィルタリングを実行して低周波パンクロマチック映像を製作し、前記パンクロマチック映像と前記低周波パンクロマチック映像とを差分することによって、高周波パンクロマチック映像を製作するフィルタリング実行ステップと、
信頼区間外の前記高周波パンクロマチック映像値を補正することによって、補正された高周波パンクロマチック映像を製作し、前記赤外線映像の平均値、標準偏差値と前記低周波パンクロマチック映像の平均値、標準偏差値から線形回帰式を構成し、構成された前記線形回帰式から補正された赤外線映像を製作する映像補正ステップと、
前記パンクロマチック映像と前記赤外線映像との融合比率を決定するスケーリングファクター決定ステップと、
前記補正された高周波パンクロマチック映像と前記決定されたスケーリングファクターとを利用して乗算し、前記補正された赤外線映像と合算して融合映像を製作する融合映像製作ステップと、を含むことを特徴とするパンクロマチック映像と赤外線映像との融合方法。
【請求項９】
前記フィルタリング実行ステップは、
下記の数式で前記高周波パンクロマチック映像を定義することを特徴とする請求項８に記載のパンクロマチック映像と赤外線映像との融合方法。
【数５】
0006506397.tif 000052
このとき、
0006506397.tif 000053
は、前記高周波パンクロマチック映像を示し、
0006506397.tif 000054
と
0006506397.tif 000055
は、それぞれピクセル方向とライン方向の映像座標を示し、
0006506397.tif 000056
は、前記パンクロマチック映像を示し、
0006506397.tif 000057
は、前記低周波パンクロマチック映像を示すものである。
【請求項１０】
前記フィルタリング実行ステップは、
前記低周波フィルタリングを実行して、低周波成分のみを抽出した前記低周波パンクロマチック映像を製作する低周波パンクロマチック映像製作ステップ及び、前記赤外線映像から前記低周波パンクロマチック映像を差分して前記高周波パンクロマチック映像を製作する高周波パンクロマチック映像製作ステップをさらに含むことを特徴とする請求項８に記載のパンクロマチック映像と赤外線映像との融合方法。
【請求項１１】
前記映像補正ステップは、
下記の数式で前記補正された高周波パンクロマチック映像を定義することを特徴とする請求項８に記載のパンクロマチック映像と赤外線映像との融合方法。
【数６】
0006506397.tif 000058
このとき、
0006506397.tif 000059
は、前記補正された高周波パンクロマチック映像を示し、
0006506397.tif 000060
は、前記高周波パンクロマチック映像の標準偏差を示す。また、
0006506397.tif 000061
は、正規分布の
0006506397.tif 000062
値であって、一般的に活用される９５％及び９９％の信頼度で値を推定する場合、その値は、１．９６、２．５８の値を持つ。
【請求項１２】
前記映像補正ステップは、
下記の数式で前記補正された赤外線映像を定義することを特徴とする請求項８に記載のパンクロマチック映像と赤外線映像との融合方法。
【数７】
0006506397.tif 000063
このとき、
0006506397.tif 000064
は、前記補正された赤外線映像を示し、
0006506397.tif 000065
は、補正される前の前記赤外線映像を示し、
0006506397.tif 000066
及び
0006506397.tif 000067
は、それぞれ前記赤外線映像の標準偏差及び前記低周波パンクロマチック映像の標準偏差を示し、
0006506397.tif 000068
及び
0006506397.tif 000069
は、それぞれ前記赤外線映像の平均及び前記低周波パンクロマチック映像の平均を示す。
【請求項１３】
前記映像補正ステップは、
信頼区間外の高周波パンクロマチック映像のピクセルを補正する高周波パンクロマチック映像補正ステップ及び、赤外線映像及び低周波パンクロマチック映像が同一の標準正規分布を持つように赤外線映像の各ピクセル値を補正する赤外線映像補正ステップをさらに含むことを特徴とする請求項８に記載のパンクロマチック映像と赤外線映像との融合方法。 
【請求項１４】
前記融合映像製作ステップは、
下記の数式で最終前記融合映像を定義することを特徴とする請求項８に記載のパンクロマチック映像と赤外線映像との融合方法。
【数８】
0006506397.tif 000070
このとき、
0006506397.tif 000071
は、最終製作された前記融合映像を示し、
0006506397.tif 000072
は、前記映像補正ステップで製作された前記補正された赤外線映像を示し、
0006506397.tif 000073
は、前記スケーリングファクター決定ステップで決定された前記スケーリングファクターを示し、
0006506397.tif 000074
は、前記映像補正ステップで製作された前記補正された高周波パンクロマチック映像を示す。
【請求項１５】
請求項８〜１４のいずれか一項に記載の方法を実行するためのプログラムが記録されていることを特徴とするコンピューターで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パンクロマチック映像と赤外線映像との融合方法及びその装置に関し、より詳細には、パンクロマチック映像と赤外線映像とを融合して、高解像度赤外線映像を獲得することができるパンクロマチック映像と赤外線映像との融合方法及びその装置に関する。
【０００２】
本発明は、韓国の未来創造科学部及び韓国研究財団の宇宙核心技術開発事業の一環として遂行した研究から導出されたものである［課題固有番号：１７１１０１４３０７、課題名：異種映像の融合の前処理アルゴリズムの開発］。
【背景技術】
【０００３】
映像システムにおける映像融合技法（ｄａｔａ  ｆｕｓｉｏｎ）は、多重センサーから撮影されたそれぞれの映像情報を数学的に融合して１つの映像に製作することを意味し、これは、１つのセンサーで提供する映像情報の限界点を克服する技術であって、９０年代初めに地球観測衛星が活発に活用されることにより本格的に開発が始まり、各国の研究機関を通じて技術の発展を遂げてきており、韓国の多目的実用衛星２号及び３号に最適化された技術の開発及び地球科学分野に対する活用研究を遂行してきた。
【０００４】
一般的に、光学衛星は、高解像度パンクロマチック映像と低解像度多分光映像とを同時に提供し、パンクロマチック映像は、高解像度映像情報を提供することにより、個体抽出及び読み取りなどに容易であり、多分光映像は、分光解像度が高いので、個体の分光特性分析を通じた土地被覆分類などに強点が存在する。理想的な活用のためには、高解像度多分光映像を提供するのが効果的であるが、空間解像度と分光解像度とは、互いにトレードオフ関係にあるので、高解像度多分光映像を提供することは物理的に難しい実情である。これにより、初期の映像の融合技法は、同一の光学衛星で撮影した高解像度パンクロマチック映像と低解像度多分光映像とを数学的に融合して、強制的に解像度を高めた多分光映像を製作することを目標として開発されたし、これは韓国登録特許第１０−１１３２２７２号「映像の分光及び空間特性が反映された融合係数を利用して高解像度衛星映像を融合する方法」及び韓国登録特許第１０−１２９１２１９号「パンクロマチック映像と多分光映像との融合方法及びその装置」などを通じて技術的成果を成し遂げてきた。
【０００５】
しかし、前記光学衛星で提供するパンクロマチック映像及び多分光映像は、実世界の地形地物を人が眺めるものと類似するように撮影することによって、可視性・可読性に優れた長所を持つが、地表の温度、粗さ、水分率などのような地表特性を知ることができる情報に限界点を持ち、これは、両映像から製作した融合映像においても同じ限界点を持つ。これにより、最近では、互いに異なる衛星から提供する情報などを融合することによって、より高次元的な情報を提供することができる映像融合技法が開発されている。
【０００６】
特に、赤外線映像で提供する映像情報は、太陽輻射エネルギーではない地球輻射エネルギーを映像化したものであって、夜間でも撮影が可能であり、地球輻射エネルギーを温度に変換することができるので、金属／非金属の探知に優れることによって映像分類、標的探知、植生モニタリング、土壌水分量抽出をはじめとする客体認識など軍事分野をはじめとする民間分野にも多く活用され得るが、８〜１５μｍ波長帯域の地球輻射エネルギーは、太陽輻射エネルギーに比べて非常に不備なものであって、シュテファン−ボルツマンの法則（Ｓｔｅｆａｎ−Ｂｏｌｔｚｍａｎｎ  ｌａｗ）によると、０．４〜２．５μｍ波長帯域の太陽輻射エネルギーの２０４倍少ないため、高解像度赤外線映像を獲得することは不可能であり、これにより、高解像度パンクロマチック映像を活用した高解像度赤外線映像の融合技法の開発が必須に要求されている実情である。
【０００７】
一方、韓国登録特許第１０−１０５１７１６号「多重センサー映像融合方法」においては、同一の被写体地点を対象に撮影センサーを互いに異なりにして撮影した第１の映像及び第２の映像を獲得するステップ；ＦＡＣＥＴ基盤フィルターを利用して前記第１の映像から特徴点などを抽出し、Ｈａｒｒｉｓコーナー検出器を適用して前記第２の映像から特徴点などを抽出するステップ；前記第１の映像の特徴点を基準にする特定の領域と、第２の映像の特徴点を基準にする特定の領域との間の相互情報を比較して、閾値を超える特徴点の対を対応点として決定するステップ；前記第１の映像の座標単位を前記第２の映像の座標単位に変換し、このとき、変換されたピクセルの座標が整数ではない実数になった場合、整数形態の座標に変更するバイリニア補間法を適用するステップ；及び対応点の関係にある第１の映像の特徴点及び第２の映像の特徴点を同じ位置に置かれるようにして、第１の映像及び第２の映像が整合された単一の第３の映像を合成するステップを提示する。
【０００８】
前記先行技術は、多分光映像及び赤外線映像からそれぞれの特徴点を抽出した後、対応点の決定と単位座標の変更を通じて融合映像を製作するものであって、赤外線映像の映像情報と多分光映像の分光情報とを同時に示すことができる長所を持つが、高解像度赤外線映像を提供することに困難のある問題がある。
【０００９】
また、韓国登録特許第１０−１１０４１９９号「可視光線及び赤外線映像信号の融合装置及びその方法」においては、外部からの第１の入力映像をあらかじめ設定された整列パラメーターに基づいて、第１の映像整列部によって整合させるステップ；外部からの第２の入力映像をあらかじめ設定された整列パラメーターに基づいて、第２の映像整列部によって整合させるステップ；前記整合過程を経た第１の入力映像信号の利得及びオフセットを第１の利得／オフセット補正部によって補正するステップ；前記整合過程を経た第２の入力映像信号の利得及びオフセットを第２の利得／オフセット補正部によって補正するステップ；前記利得及びオフセットが補正された第１の入力映像信号に対して、第１のラプラシアンピラミッド（Ｌａｐｌａｃｉａｎ  Ｐｙｒａｍｉｄ）生成部によってラプラシアンピラミッドを生成するステップ；前記利得及びオフセットが補正された第２の入力映像信号に対して、第２のラプラシアンピラミッド生成部によってラプラシアンピラミッドを生成するステップ；前記第１及び第２のラプラシアンピラミッド生成部からそれぞれ生成されたラプラシアンピラミッドを低帯域通過フィルター部によって入力を受けて各ピラミッドステップ別に低帯域フィルタリングを実行するステップ；前記第１及び第２のラプラシアンピラミッド生成部からそれぞれ生成されたラプラシアンピラミッドを高帯域通過フィルター部によって入力を受けて各ピラミッドステップ別に高帯域フィルタリングを実行するステップ；及び前記低帯域通過フィルター部及び高帯域通過フィルター部によってフィルタリングされたピラミッドステップ別のラプラシアン映像及び各処理ステップ別の映像を利用して合成映像生成部によって融合映像を生成するステップを提示する。
【００１０】
前記先行技術は、ラプラシアンピラミッドを生成してパンクロマチック映像内に存在する高周波情報を抽出した後、これを赤外線映像に注入することによって融合映像を生成するものであって、赤外線映像情報を効果的に保存することができる長所が存在するが、処理速度が遅く、パンクロマチック映像の高周波情報によって映像内の客体などの境界が曖昧になり、にじみ（ｂｌｕｒｒｉｎｇ）現象が発生するようになって融合された映像の空間解像度がパンクロマチック映像の空間解像度よりも顕著に低い地域が発生することになる問題がある。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】韓国登録特許第１０−１１３２２７２号
【特許文献２】韓国登録特許第１０−１２９１２１９号
【特許文献３】韓国登録特許第１０−１０５１７１６号
【特許文献４】韓国登録特許第１０−１１０４１９９号
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は、低解像度赤外線映像と高解像度パンクロマチック映像とを融合して、パンクロマチック映像の空間解像度を保全する高解像度赤外線映像製作を目的とする。
【００１３】
本発明は、パンクロマチック映像の空間解像度と赤外線映像の赤外線情報とのトレードオフ（ｔｒａｄｅ−ｏｆｆ）関係を調節することができるスケーリングファクター（ｓｃａｌｉｎｇ  ｆａｃｔｏｒ）を開発することにより、ユーザーが自由に融合映像を製作することができることを目的とする。
【課題を解決するための手段】
【００１４】
このような目的を達成するために、本発明の一実施例によるパンクロマチック映像と赤外線映像との融合方法及びその装置は、映像獲得部と、フィルタリング実行部と、映像補正部と、スケーリングファクター決定部と、融合映像製作部と、を含む。
【００１５】
前記映像獲得部は、同一の座標体系を持ったパンクロマチック映像と赤外線映像とを獲得する。前記フィルタリング実行部は、パンクロマチック映像に低周波フィルタリングを実行して低周波パンクロマチック映像を製作し、前記パンクロマチック映像と前記低周波パンクロマチック映像とを差分することによって、高周波パンクロマチック映像を製作する。前記映像補正部は、信頼区間外の高周波パンクロマチック映像値を補正することによって、補正された高周波パンクロマチック映像を製作し、前記赤外線映像の平均値、標準偏差値及び前記低周波パンクロマチック映像の平均値、標準偏差値から線形回帰式を構成した後、構成された線形回帰式から補正された赤外線映像を製作する。前記スケーリングファクター決定部は、前記パンクロマチック映像と前記赤外線映像との融合比率を決定する。前記融合映像製作部は、前記補正された高周波パンクロマチック映像と前記決定されたスケーリングファクターとを乗算した後、前記補正された赤外線映像と合算して融合映像を製作する。
【発明の効果】
【００１６】
本発明は、高解像度赤外線映像を獲得することができる効果がある。
【００１７】
本発明は、パンクロマチック映像と赤外線映像とを融合することにより、最終的にパンクロマチック映像の高解像度特性を保存する赤外線映像を製作することができる効果がある。
【００１８】
本発明は、スケーリングファクターの調整を介してユーザーが自由にパンクロマチック映像と赤外線映像との融合比率を決定することができる効果がある。
【００１９】
本発明は、地表の情報を観測する様々の分野に全般的に活用が可能な技術であって、特に、金属／非金属探知に優れることによって映像分類、標的探知、植生モニタリング、土壌水分量抽出をはじめとする客体認識など軍事分野をはじめとする民間分野に適用され得る効果がある。
【００２０】
外国の商用映像処理ソフトウェアの中でパンクロマチック映像と多分光映像との融合技法がソフトウェアのモジュールとして搭載された事例があるところ、本発明の源泉技術も韓国で開発される衛星映像処理ソフトウェアに搭載されるとか、新しいパンクロマチック映像と赤外線映像とを融合する核心技術として活用可能な効果がある。従って、本発明は、源泉技術の商用化を介して衛星映像の活用増大及び国家衛星産業の拡大に貢献することができる効果がある。
【００２１】
本発明は、代表的な地球観測衛星であるＬａｎｄｓａｔ−５、Ｌａｎｄｓａｔ−７に適用可能であり、最近発射されて成功的に運用中であるＬａｎｄｓａｔ−８にも適用可能である。また、本発明は、今後発射される韓国最初の赤外線衛星である多目的実用衛星３Ａ号（ＫＯＭＰＳＡＴ−３Ａ）の活用度を極大化させることができる効果がある。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施例によるパンクロマチック映像と赤外線映像との融合装置に関する構成を概略的に示した図である。
【図２】本発明の一実施例によるパンクロマチック映像と赤外線映像との融合装置に関するフローチャートである。
【図３】本発明の一実施例によるパンクロマチック映像と赤外線映像との融合装置に関する流れをイメージで示したものである。
【図４】本発明の一実施例によるパンクロマチック映像と赤外線映像との融合方法を通じてパンクロマチック映像と赤外線映像との例を示したイメージである。
【図５】本発明の一実施例によるパンクロマチック映像と赤外線映像との融合方法を通じて決定されたスケーリングファクターによる映像融合の結果を示したイメージである。
【図６】本発明の一実施例によるパンクロマチック映像と赤外線映像との融合方法を通じた農耕地域のパンクロマチック映像と、赤外線映像と、高周波パンクロマチック映像と、最終的に製作された融合映像の例を示したイメージである。
【図７】本発明の一実施例によるパンクロマチック映像と赤外線映像との融合方法を通じた都心地域のパンクロマチック映像と、赤外線映像と、高周波パンクロマチック映像と、最終的に製作された融合映像の例を示したイメージである。
【発明を実施するための形態】
【００２３】
このような目的を達成するために、本発明の一実施例によるパンクロマチック映像と赤外線映像との融合方法及びその装置は、映像獲得部と、フィルタリング実行部と、映像補正部と、スケーリングファクター決定部と、融合映像製作部と、を含む。
【００２４】
前記映像獲得部は、同一の座標体系を持ったパンクロマチック映像と赤外線映像とを獲得する。前記フィルタリング実行部は、パンクロマチック映像に低周波フィルタリングを実行して低周波パンクロマチック映像を製作し、前記パンクロマチック映像と前記低周波パンクロマチック映像とを差分することによって、高周波パンクロマチック映像を製作する。前記映像補正部は、信頼区間外の高周波パンクロマチック映像値を補正することによって、補正された高周波パンクロマチック映像を製作し、前記赤外線映像の平均値、標準偏差値及び、前記低周波パンクロマチック映像の平均値、標準偏差値から線形回帰式を構成した後、構成された線形回帰式から補正された赤外線映像を製作する。前記スケーリングファクター決定部は、前記パンクロマチック映像と前記赤外線映像との融合比率を決定する。前記融合映像製作部は、前記補正された高周波パンクロマチック映像と前記決定されたスケーリングファクターとを乗算した後、前記補正された赤外線映像と合算して融合映像を製作する。
【００２５】
本明細書及び請求の範囲に使用された用語や単語は、通常的であるか、辞書的な意味に限定して解釈されてはならず、発明者は、彼自身の発明を最も最善の方法で説明するために、用語の概念を適切に定義することができるという原則に立脚して、本発明の技術的思想に符合する意味と概念に解釈されるべきである。
【００２６】
従って、本明細書に記載された実施例と図面に示された構成は、本発明の最も好ましい一実施例に過ぎないだけであり、本発明の技術的思想をすべて代弁するものではないので、本出願時点においてこれらを代替することができる様々な均等物と変形例などがあり得ることを理解すべきである。
【００２７】
本出願において使用した用語は、単に特定の実施例を説明するために使用されたものであるので、本発明を限定しようとする意図ではない。単数の表現は、文脈上明らかに異なるように意味しない限り複数の表現を含む。本出願において、“含む”または“持つ”などの用語は、明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品またはこれらの組み合わせたものが存在することを指定しようとするものであって、一つまたはその以上の他の特徴などや数字、ステップ、動作、構成要素、部品またはこれらを組み合わせたものなどの存在または付加可能性をあらかじめ排除しないものと理解されるべきである。
【００２８】
以下、本発明の好ましい実施例を添付された図面などを参照して詳細に説明する。本発明を説明することにおいて、関連した公知の構成または機能に対する具体的な説明が本発明の要旨を曖昧にすることができると判断される場合には、その詳細な説明は省略することにする。また、本発明の実施例などを説明することにおいて、具体的な数値は、実施例に過ぎない。
【００２９】
図１は、本発明の一実施例によるパンクロマチック映像と赤外線映像との融合装置に関する構成を概略的に示した図である。
【００３０】
図１を参照すると、本発明のパンクロマチック映像と赤外線映像との融合方法及びその装置は、映像獲得部１１０と、フィルタリング実行部１２０と、映像補正部１３０と、スケーリングファクター決定部１４０と、融合映像製作部１５０と、を含む。
【００３１】
映像獲得部１１０は、同一の座標体系を持ったパンクロマチック映像と赤外線映像とを獲得する。
【００３２】
すなわち、映像獲得部１１０は、特定の地域を撮影して得られた高解像度パンクロマチック映像と低解像度赤外線映像とをそれぞれ獲得する部分である。このとき、前記高解像度パンクロマチック映像と低解像度赤外線映像とは、同一の座標体系を持つことによって相互的に位置が一致しなければならない。このような映像整合（ｃｏ−ｒｅｇｉｓｔｒａｔｉｏｎ）は、パンクロマチック映像と赤外線映像が異なる搭載体によって撮影されることにより、地理座標が異なる場合に要求され、同一搭載体によって同時に撮影された場合には、同一地理座標を使用することによって一般的に要求されない。
【００３３】
その例として、現在運営されているＬａｎｄｓａｔ−５、Ｌａｎｄｓａｔ−７またはＬａｎｄｓａｔ−８によって同時に撮影されたパンクロマチック映像と赤外線映像との場合には、両映像は、ほぼ同一の位置を持っているので、一般的に整合過程が要求されない。
【００３４】
一方、互いに異なる搭載体によって互いに異なる時期に映像が撮影された場合には、例えば、Ｌａｎｄｓａｔ−５、Ｌａｎｄｓａｔ−７またはＬａｎｓａｔ−８で撮影された赤外線映像と、ＩＫＯＮＯＳ、ＱｕｉｃｋＢｉｒｄ、ＷｏｒｌｄＶｉｅｗ、ＫＯＭＰＳＡＴ−２またはＫＯＭＰＳＡＴ−３で撮影されたパンクロマチック映像との融合の場合には、互いに異なる両映像の位置整合が要求される。このような映像整合は、本発明が属する技術分野の既公知された技術であって、より具体的な説明は省略する。
【００３５】
一方、図４は、本発明の実施例であって、Ｌａｎｄｓａｔ−８で撮影されたパンクロマチック映像と赤外線映像とを示す。図４ａは、パンクロマチック映像であって、１５ｍの空間解像度を持つ。これにより、道路、ビルなどの地形地物が詳細に表現されていることを知ることができ、ほとんどの山と川は低い反射度を持つもので暗く表現される一方、ビルなどの都心は高い反射度を持つもので明るく表現されていることを確認することができる。図４ｂは、赤外線映像であって、１００ｍの空間解像度を持つ。これにより、低い解像度によって地形地物の情報を把握することが容易ではなく、ビルなどの都心は高い輻射エネルギーを放出するもので明るく表現されているが、明るく見える領域は、パンクロマチック映像と差があることを確認することができる。これは、パンクロマチック映像の場合には、地表から反射された太陽輻射エネルギーを映像化するもので、赤外線映像の場合には、地表から放出された（ｅｍｉｔｔｅｄ）地表輻射エネルギーを映像化するもので、両映像の映像化方法が異なることに起因する。
【００３６】
フィルタリング実行部１２０は、フィルタリングを経て低周波パンクロマチック映像と高周波パンクロマチック映像とを製作する。
【００３７】
より詳細に説明すると、フィルタリング実行部１２０は、パンクロマチック映像を対象に低周波フィルタリングを介して低周波パンクロマチック映像を製作する。ここで、低周波フィルタリングは、空間領域（ｓｐａｔｉａｌ  ｄｏｍａｉｎ）で実行するものであって、周波数帯域（ｆｒｅｑｕｅｎｃｙ  ｄｏｍａｉｎ）で実行することもできる。また、低周波フィルタリングを実行するとき、パンクロマチック映像の空間解像度と赤外線映像の空間解像度との大きさを考慮するために、（１）８×８大きさのウィンドウを適用することによってブロック平均（ｂｌｏｃｋ−ａｖｅｒａｇｉｎｇ）映像を製作し、（２）バイキュービック補間法（ｂｉｃｕｂｉｃ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）を活用して、ブロック平均映像を元のパンクロマチック映像の大きさに補間する。
【００３８】
ここで、ブロック平均映像を製作する過程（１）の場合、ウィンドウの大きさは、パンクロマチック映像の空間解像度と赤外線映像の空間解像度との比を考慮して決定される。
【００３９】
また、前記フィルタリング実行部１２０は、前記過程を介して製作された低周波パンクロマチック映像と元のパンクロマチック映像とを差分することによって、高周波パンクロマチック映像を製作する。
【００４０】
より詳細に説明すると、元のパンクロマチック映像は、低周波パンクロマチック映像と高周波パンクロマチック映像との和でなり、低周波フィルタリングを介して低周波パンクロマチック映像を製作し、元のパンクロマチック映像から低周波パンクロマチック映像を差分することによって高周波パンクロマチック映像を製作する。高周波パンクロマチック映像
0006506397.tif 000002
は、下記の数式１を介して得られる。
【００４１】
【数１】
0006506397.tif 000003
【００４２】
このとき、
0006506397.tif 000004
は、高周波パンクロマチック映像を示し、
0006506397.tif 000005
と
0006506397.tif 000006
は、それぞれピクセル方向とライン方向との映像座標を示す。また、
0006506397.tif 000007
は、元のパンクロマチック映像を示し、
0006506397.tif 000008
は、低周波パンクロマチック映像を示すものであって、低周波フィルタリングを介して製作することができる。
【００４３】
フィルタリング実行部１２０は、本発明のパンクロマチック映像と赤外線映像との融合方法における主要な技術であって、より詳細には、低周波パンクロマチック映像製作部１２２及び高周波パンクロマチック映像製作部１２４を含むことができる。
【００４４】
すなわち、フィルタリング実行部１２０は、低周波パンクロマチック映像製作部１２２及び高周波パンクロマチック映像製作部１２４を含むことができ、低周波パンクロマチック映像製作部１２２は、低周波フィルタリングを実行して、低周波成分のみを抽出した低周波パンクロマチック映像を製作し、高周波パンクロマチック映像製作部１２４は、元の赤外線映像から低周波パンクロマチック映像を差分して高周波パンクロマチック映像を製作する。
【００４５】
これにより、フィルタリング実行部１２０の低周波パンクロマチック映像製作部１２２及び高周波パンクロマチック映像製作部１２４を経て製作された低周波パンクロマチック映像及び高周波パンクロマチック映像は、それぞれが元のパンクロマチック映像の低周波成分と高周波成分を個別的に含むことを特徴とする。
【００４６】
映像補正部１３０は、フィルタリング実行部１２０で製作された高周波パンクロマチック映像と赤外線映像とを補正して、補正された高周波パンクロマチック映像と補正された赤外線映像とを製作する。
【００４７】
すなわち、映像補正部１３０は、高周波パンクロマチック映像で信頼区間外のピクセルの値を補正して、補正された高周波パンクロマチック映像を製作し、低周波パンクロマチック映像の平均、標準偏差と赤外線映像の平均、標準偏差とを利用して、補正された赤外線映像を製作する。
【００４８】
より詳細に説明すると、映像補正部１３０は、高周波パンクロマチック映像のそれぞれのピクセルが信頼区間の範囲に該当するか否かの検査を実行した後、信頼区間の範囲から外れる場合には、該当閾値に値を補正することによって最終的に製作された融合映像の空間解像度を保存することができる。
【００４９】
このとき、信頼区間の程度は、一般的に６８％、９５％及び９９％の信頼度で決定し、これは、それぞれ１、２、３の標準偏差を意味する。補正された高周波パンクロマチック映像
0006506397.tif 000009
は、下記の数式２を介して得られる。
【００５０】
【数２】
0006506397.tif 000010
【００５１】
このとき、
0006506397.tif 000011
は、補正された高周波パンクロマチック映像を示し、
0006506397.tif 000012
は、高周波パンクロマチック映像の標準偏差を示す。また、
0006506397.tif 000013
は、正規分布の
0006506397.tif 000014
値であって、一般的に活用される９５％及び９９％の信頼度で値を推定する場合、その値は、１．９６、２．５８の値を持つ。
【００５２】
例えば、高周波パンクロマチック映像の標準偏差が１であり、信頼区間を９５％にする場合、任意のピクセル値が−１．９６よりも小さいと、該当ピクセル値を−１．９６に補正し、１．９６よりも大きいと、該当ピクセル値を１．９６に補正を実行し、該当ピクセル値が−１．９６よりも大きく１．９６よりも小さい場合には、該当ピクセル値は補正せずに使用する。
【００５３】
また、映像補正部１３０は、赤外線映像の平均、標準偏差を計算し、低周波パンクロマチック映像の平均、標準偏差を計算した後、これらのパラメーターから線形回帰式を求めた後、線形回帰式を各ピクセルに適用することによって赤外線映像を補正する。これから、赤外線映像と低周波パンクロマチック映像とは、同一の標準正規分布に従うようになり、補正された赤外線映像
0006506397.tif 000015
は、下記の数式３を介して得られる。
【００５４】
【数３】
0006506397.tif 000016
【００５５】
このとき、
0006506397.tif 000017
は、補正された赤外線映像を示し、
0006506397.tif 000018
は、元の赤外線映像を示し、
0006506397.tif 000019
及び
0006506397.tif 000020
は、それぞれ赤外線映像の標準偏差及び低周波パンクロマチック映像の標準偏差を示し、
0006506397.tif 000021
及び
0006506397.tif 000022
は、それぞれ赤外線映像の平均及び低周波パンクロマチック映像の平均を示す。
【００５６】
映像補正部１３０は、本発明のパンクロマチック映像と赤外線映像との融合方法における核心となる技術であって、より詳細には、映像補正部１３０において高周波パンクロマチック映像を補正する高周波パンクロマチック映像補正部１３２及び赤外線映像を補正する赤外線映像補正部１３４を含むことができる。
【００５７】
すなわち、映像補正部１３０は、高周波パンクロマチック映像補正部１３２及び赤外線映像補正部１３４を含むことができ、高周波パンクロマチック映像補正部１３２は、信頼区間外の高周波パンクロマチック映像のピクセルを補正し、赤外線映像補正部１３４は、赤外線映像と低周波パンクロマチック映像が同一の標準正規分布を持つように赤外線映像の各ピクセル値を補正する。
【００５８】
スケーリングファクター決定部１４０は、パンクロマチック映像と赤外線映像との融合比率を決定する。
【００５９】
すなわち、スケーリングファクター決定部１４０は、パンクロマチック映像と赤外線映像との融合比率を決定するものであって、値の範囲は、０から１を持つ。スケーリングファクターが０である場合には、これは赤外線映像の情報をよく保全する反面に、パンクロマチック映像の空間解像度を反映しないことを意味し、スケーリングファクターが１である場合には、パンクロマチック映像の空間解像度を最大に反映するものであって、融合映像が高解像度を持つことができる反面に、赤外線映像の映像情報は、ほぼ反映することができないことを意味する。
【００６０】
より詳細に説明すると、スケーリングファクター決定部１４０は、互いにトレードオフ関係にある空間解像度と分光解像度とを調整できる因子として活用され得る。一般的に、空間解像度と分光解像度とは、互いにトレードオフ関係にあるので、空間解像度を増加させる場合には、赤外線映像の熱情報は、詳細になれず、空間解像度を減少させる場合には、赤外線映像の熱情報は、詳細に表現されるが、道路、ビルなどの物体の識別が容易できない欠点がある。
【００６１】
これにより、スケーリングファクターを決定することによって、パンクロマチック映像の空間解像度と赤外線映像の熱情報との融合比率を決定することができる。スケーリングファクターは、０から１の間の値を持ち、スケーリングファクターが０である場合には、パンクロマチック映像の空間解像度を反映しないものであって、最終融合映像は、赤外線映像の熱情報のみを反映して製作される。また、スケーリングファクターが１である場合には、パンクロマチック映像の空間解像度を全部反映するものであって、最終融合映像の空間解像度を上昇させることができるが、パンクロマチック映像において表れる反射度情報が融合映像に反映されて色相歪曲などの問題が表れることができる。
【００６２】
一方、スケーリングファクター決定部１４で決定するスケーリングファクターは、映像撮影地域の形態（都心、海岸、農耕地域など）に応じてユーザーが任意に決定することができる。
【００６３】
一方、図５は、本発明の実施例であって、スケーリングファクターに応じて変わる最終融合映像の形態を示す。図５ａは、スケーリングファクターを０．２５にしたときの最終融合映像であり、図５ｂは、スケーリングファクターを０．５にしたときの最終融合映像であり、図５ｃは、スケーリングファクターを０．７５にしたときの最終融合映像であり、図５ｄは、スケーリングファクターを１にしたときの最終融合映像を示す。
【００６４】
図５を参照すると、スケーリングファクターが高くなるほど最終融合映像の空間解像度が上昇することを確認することができ、山岳地域の境界、道路、建物などがより詳細に表現されることを確認することができる。一方に、スケーリングファクターが高くなるほど最終融合映像の熱情報が詳細に表現されていないことを確認することができる。すなわち、図５ａにおいて明るく示されている地域は、相対的に多くの地表輻射エネルギーを放出している地域であって、主に都心がこれに該当するが、図５ｄに行くほど暗く示されて、赤外線映像の熱情報伝達力が損失されていることを確認することができる。
【００６５】
融合映像製作部１５０は、映像補正部１３０で製作された補正された高周波パンクロマチック映像にスケーリングファクター決定部１４０で決定されたスケーリングファクターを乗算した後、映像補正部１３０で製作された補正された赤外線映像と合算して最終融合映像を製作する。
【００６６】
すなわち、融合映像製作部１５０は、映像補正部１３０で製作された補正された高周波パンクロマチック映像の各ピクセルにスケーリングファクター決定部１４０で決定されたスケーリングファクターを乗算した後、映像補正部１３０で製作された補正された赤外線映像の同一位置の各ピクセルを合算して最終融合映像を製作するものであって、最終製作された融合映像
0006506397.tif 000023
は、下記の数式４を介して得られる。
【００６７】
【数４】
0006506397.tif 000024
【００６８】
このとき、
0006506397.tif 000025
は、最終製作された融合映像を示し、
0006506397.tif 000026
は、映像補正部１３０で製作された補正された赤外線映像を示し、
0006506397.tif 000027
は、スケーリングファクター決定部１４０で決定されたスケーリングファクターを示し、
0006506397.tif 000028
は、映像補正部１３０で製作された補正された高周波パンクロマチック映像を示す。前記数式４を参照すると、スケーリングファクター決定部１４０で決定されたスケーリングファクターに応じて最終融合映像のピクセル値が変わるものであって、スケーリングファクターが高いほど高周波パンクロマチック映像がより多く反映されることを確認することができる。
【００６９】
一方、図６は、本発明の実施例であって、農耕地域における最終融合映像の形態を示す。図６ａは、パンクロマチック映像を示し、図６ｂは、赤外線映像を示し、図６ｃは、高周波パンクロマチック映像を示し、図６ｄは、スケーリングファクターを０．５にしたときの最終融合映像を示す。
【００７０】
図６を参照すると、図６ａは、パンクロマチック映像を示すものであって、高い空間解像度を持っていることを確認することができ、図６ｂは、赤外線映像を示すものであって、低い空間解像度を持つが、道路及びビルなど人工地表を明るく示していることを確認することができ、山岳地域と湖の場合は、暗く示していることを確認することができ、図６ｃは、元のパンクロマチック映像から低周波パンクロマチック映像を差分して製作した高周波パンクロマチック映像であって、農耕地境界、道路、水系などの情報を詳細に示していることを確認することができ、図６ｄは、図６ｂの赤外線映像及び図６ｃの高周波パンクロマチック映像を融合して製作された融合映像であって、図６ｂの赤外線映像において提供している熱情報をよく保全すると同時に、図６ｃの高周波パンクロマチック映像において提供している高い空間解像度も保全することによって高解像度赤外線映像を提供することができることを確認することができる。
【００７１】
一方、図７は、本発明の実施例であって、都心地域における最終融合映像の形態を示す。図７ａは、パンクロマチック映像を示し、図７ｂは、赤外線映像を示し、図７ｃは、高周波パンクロマチック映像を示し、図７ｄは、スケーリングファクターを０．５にしたときの最終融合映像を示す。
【００７２】
図７を参照すると、図７ａは、パンクロマチック映像を示すものであって、高い空間解像度を持っていることを確認することができ、ほとんどのビルを高い反射度で示す反面に山岳地域と公園などは暗く示すことを確認することができる。図７ｂは、赤外線映像を示すものであって、図７ａのパンクロマチック映像と類似した明るさパターンを示すが、低い空間解像度を持ち、図７ｂのＡ、Ｂ、Ｃ、Ｄの指標は、複合ショッピングモール、遊園地、水産市場及び空港を意味し、これを明るく示すものであって、図７ａのパンクロマチック映像と僅かの差を示すことを確認することができ、図７ｃは、元のパンクロマチック映像から低周波パンクロマチック映像を差分して製作した高周波パンクロマチック映像であって、道路の境界、建物、水系などの情報を詳細に示していることを確認することができ、図７ｄは、図７ｂの赤外線映像と図７ｃの高周波パンクロマチック映像とを融合して製作された融合映像であって、図７ｂの赤外線映像において提供している熱情報をよく保全すると同時に、図７ｃの高周波パンクロマチック映像において提供している高い空間解像度も保全することによって高解像度赤外線映像を提供することができることを確認することができ、特に、図７ｂにおいて高い熱情報を持ったＡ（複合ショッピングモール）、Ｂ（遊園地）、Ｃ（水産市場）、Ｄ（空港）の指標を明るく示していることを確認することができる。
【００７３】
従って、本発明の一実施例によるパンクロマチック映像と赤外線映像との融合方法及びその装置は、低解像度赤外線映像の空間解像度をパンクロマチック映像のレベルまで向上させることが可能であり、これにより、現在まで低精度によって活用が難しかった赤外線映像での映像分類、標的探知、及び客体認識などに適用することが可能である。
【００７４】
そして、スケーリングファクターを調整することによって最終融合映像の空間解像度及び熱情報の保存率を設定することができ、これから、映像撮影地域の形態に応じて要求される空間解像度を満たすことができるので、都心をはじめとする農耕地域、山岳地域などに適切に活用され得る。
【００７５】
以下では、前記に詳細に記述した内容に基づいて、本発明の一実施例によるパンクロマチック映像と赤外線映像との融合方法を簡単に説明する。
【００７６】
図２は、本発明の一実施例によるパンクロマチック映像と赤外線映像との融合方法に関するフローチャートである。
【００７７】
図３は、本発明の一実施例によるパンクロマチック映像と赤外線映像との融合装置に関する流れをイメージで示したものである。
【００７８】
図２を参照すると、まず、映像獲得部１１０で同一の座標体系を持ったパンクロマチック映像と赤外線映像とを獲得する（Ｓ２１０）。
【００７９】
すなわち、映像獲得部１１０では、特定の地域を撮影して得られた高解像度パンクロマチック映像と低解像度赤外線映像とをそれぞれ獲得する。このとき、前記高解像度パンクロマチック映像と低解像度赤外線映像とは、同一の座標体系を持つことによって相互的に位置が一致しなければならない。
【００８０】
このとき、それぞれの映像の座標体系を相互的に一致させる映像整合（ｃｏ−ｒｅｇｉｓｔｒａｔｉｏｎ）は、パンクロマチック映像と赤外線映像が異なる搭載体によって撮影されることによって地理座標が異なる場合に要求され、同一搭載体によって同時に撮影された場合には、同一地理座標を使用することによって一般的に要求されない。
【００８１】
その例として、現在運営されているＬａｎｄｓａｔ−５、Ｌａｎｄｓａｔ−７またはＬａｎｄｓａｔ−８によって同時に撮影されたパンクロマチック映像と赤外線映像との場合には、両映像は、ほぼ同一の位置を持っているので、一般的に整合過程が要求されない。
【００８２】
一方、互いに異なる搭載体による互いに異なる時期に映像が撮影された場合には、例えば、Ｌａｎｄｓａｔ−５、Ｌａｎｄｓａｔ−７またはＬａｎｓａｔ−８で撮影された赤外線映像と、ＩＫＯＮＯＳ、ＱｕｉｃｋＢｉｒｄ、ＷｏｒｌｄＶｉｅｗ、ＫＯＭＰＳＡＴ−２またはＫＯＭＰＳＡＴ−３で撮影されたパンクロマチック映像との融合の場合には、互いに異なる両映像の位置整合が要求される。このような映像整合は、本発明が属する技術分野の既公知された技術であって、より具体的な説明は省略する。
【００８３】
次に、フィルタリング実行部１２０でフィルタリングを経て低周波パンクロマチック映像及び高周波パンクロマチック映像を製作する（Ｓ２２０）。
【００８４】
より詳細に説明すると、フィルタリング実行部１２０は、パンクロマチック映像を対象に低周波フィルタリングを介して低周波パンクロマチック映像を製作する。ここで、低周波フィルタリングは、空間領域（ｓｐａｔｉａｌ  ｄｏｍａｉｎ）で実行するものであって、周波数帯域（ｆｒｅｑｕｅｎｃｙ  ｄｏｍａｉｎ）で実行することもできる。
【００８５】
また、フィルタリング実行部１２０は、次の一般的な手続きにしたがって、低周波パンクロマチック映像及び高周波パンクロマチック映像を製作することができる。
【００８６】
すなわち、フィルタリング実行部１２０は、低周波フィルタリングを実行するとき、（１）８×８大きさのウィンドウを適用することによってブロック平均（ｂｌｏｃｋ−ａｖｅｒａｇｉｎｇ）映像を製作し、（２）バイキュービック補間法（ｂｉｃｕｂｉｃ  ｉｎｔｅｒｐｏｌａｔｉｏｎ）を活用して、ブロック平均映像を元のパンクロマチック映像の大きさに補間する手続きを実行する。
【００８７】
ここで、ブロック平均映像を製作する過程（１）の場合、ウィンドウの大きさは、パンクロマチック映像の空間解像度と赤外線映像の空間解像度との比を考慮して決定することができる。
【００８８】
また、前記フィルタリング実行部１２０は、前記過程を介して製作された低周波パンクロマチック映像と元のパンクロマチック映像とを差分することによって高周波パンクロマチック映像を製作する。
【００８９】
より詳細に説明すると、元のパンクロマチック映像は、低周波パンクロマチック映像と高周波パンクロマチック映像との和でなり、低周波フィルタリングを介して低周波パンクロマチック映像を製作し、元のパンクロマチック映像から低周波パンクロマチック映像を差分することによって高周波パンクロマチック映像を製作する。
【００９０】
フィルタリング実行部１２０は、本発明のパンクロマチック映像と赤外線映像との融合方法における主要な技術であって、より詳細には、低周波パンクロマチック映像製作部１２２及び高周波パンクロマチック映像製作部１２４を含むことができる。
【００９１】
フィルタリングを実行するステップＳ２２０は、低周波パンクロマチック映像製作及び高周波パンクロマチック映像製作を含むことができ、低周波フィルタリングを実行して、低周波成分のみを抽出した低周波パンクロマチック映像を製作し、元の赤外線映像から低周波パンクロマチック映像を差分して高周波パンクロマチック映像を製作する。
【００９２】
これにより、フィルタリング実行ステップＳ２２０の低周波パンクロマチック映像製作ステップ及び高周波パンクロマチック映像製作ステップを経て製作された低周波パンクロマチック映像及び高周波パンクロマチック映像は、それぞれが元のパンクロマチック映像の低周波成分と高周波成分とを個別的に含むことを特徴とする。
【００９３】
一方、数式１は、フィルタリングされたパンクロマチック映像を製作する方法を示したものであって、これに対する詳細な説明は、前述したので、これを参照することにする。
【００９４】
次に、映像補正部１３０は、フィルタリング実行部１２０で製作された高周波パンクロマチック映像と赤外線映像とを補正して、補正された高周波パンクロマチック映像と補正された赤外線映像とを製作する（Ｓ２３０）。
【００９５】
すなわち、ステップＳ２３０において、映像補正部１３０は、高周波パンクロマチック映像で信頼区間外のピクセルの値を補正して、補正された高周波パンクロマチック映像を製作し、低周波パンクロマチック映像の平均、標準偏差と赤外線映像の平均、標準偏差とを利用して、補正された赤外線映像を製作する。
【００９６】
より詳細に説明すると、ステップＳ２３０において、映像補正部１３０は、高周波パンクロマチック映像のそれぞれのピクセルが信頼区間の範囲に該当するか否かの検査を実行した後、信頼区間の範囲から外れる場合には、該当閾値に値を補正することによって最終的に製作された融合映像の空間解像度を保存することができる。
【００９７】
このとき、信頼区間の程度は、一般的に６８％、９５％及び９９％の信頼度で決定し、これは、それぞれ１、２、３の標準偏差を意味する。
【００９８】
また、ステップＳ２３０において、映像補正部１３０は、赤外線映像の平均、標準偏差を計算し、低周波パンクロマチック映像の平均、標準偏差を計算した後、これらのパラメーターから線形回帰式を求めた後、線形回帰式を各ピクセルに適用することによって赤外線映像を補正する。
【００９９】
高周波パンクロマチック映像の補正及び赤外線映像を補正するステップＳ２３０は、本発明のパンクロマチック映像と赤外線映像との融合方法における核心となる技術であって、ステップＳ２３０は、高周波パンクロマチック映像を補正する高周波パンクロマチック映像補正ステップ及び赤外線映像を補正する赤外線映像補正ステップを含むことができる。
【０１００】
すなわち、ステップＳ２３０において、映像補正部１３０は、高周波パンクロマチック映像補正ステップ及び赤外線映像補正ステップを含むことができ、高周波パンクロマチック映像補正ステップは、信頼区間外の高周波パンクロマチック映像のピクセルを補正し、赤外線映像補正ステップは、赤外線映像と低周波パンクロマチック映像が同一の標準正規分布を持つように赤外線映像の各ピクセル値を補正する。
【０１０１】
一方、数式２及び数式３は、それぞれ、高周波パンクロマチック映像を補正する方法、及び赤外線映像を補正する方法を示したものであって、これに対する詳細な説明は、前述したので、これを参照することにする。
【０１０２】
次に、スケーリングファクター決定部１４０は、パンクロマチック映像と赤外線映像との融合比率を決定する（Ｓ２４０）。
【０１０３】
すなわち、ステップＳ２４０におけるスケーリングファクター決定部１４０は、パンクロマチック映像と赤外線映像との融合比率を決定するものであって、値の範囲は、０から１を持つ。スケーリングファクターが０である場合には、これは赤外線映像の情報をよく保全する反面に、パンクロマチック映像の空間解像度を反映しないことを意味し、スケーリングファクターが１である場合には、パンクロマチック映像の空間解像度を最大に反映するものであって、融合映像が高解像度を持つことができる反面に、赤外線映像の映像情報は、ほぼ反映することができないことを意味する。
【０１０４】
より詳細に説明すると、ステップＳ２４０におけるスケーリングファクター決定部１４０は、互いにトレードオフ関係にある空間解像度と分光解像度とを調整することができる因子として活用され得る。一般的に、空間解像度と分光解像度とは、互いにトレードオフ関係にあるので、空間解像度を増加させる場合には、赤外線映像の熱情報は、詳細になれず、空間解像度を減少させる場合には、赤外線映像の熱情報は、詳細に表現されるが、道路、ビルなどの物体の識別が容易できない欠点がある。
【０１０５】
これにより、スケーリングファクターを決定することによって、パンクロマチック映像の空間解像度と赤外線映像の熱情報との融合比率を決定することができる。スケーリングファクターは、０から１の間の値を持ち、スケーリングファクターが０である場合には、パンクロマチック映像の空間解像度を反映しないものであって、最終融合映像は、赤外線映像の熱情報のみを反映して製作される。また、スケーリングファクターが１である場合には、パンクロマチック映像の空間解像度を全部反映するものであって、最終融合映像の空間解像度を上昇させることができるが、パンクロマチック映像において表れる反射度情報が融合映像に反映されて色相歪曲などの問題が表れることができる。
【０１０６】
一方、ステップＳ２４０におけるスケーリングファクター決定部１４で決定するスケーリングファクターは、映像撮影地域の形態（都心、海岸、農耕地域など）に応じてユーザーが任意に決定することができる。
【０１０７】
次に、融合映像製作部１５０は、補正された高周波パンクロマチック映像にスケーリングファクターを乗算した後、赤外線映像と合算して最終融合映像を製作する（Ｓ２５０）。
【０１０８】
すなわち、融合映像を製作するステップＳ２５０は、ステップＳ２３０で製作された補正された高周波パンクロマチック映像の各ピクセルにステップＳ２４０で決定されたスケーリングファクターを乗算した後、ステップＳ２３０で製作された補正された赤外線映像の同一位置の各ピクセルを合算して最終融合映像を製作することができる。
【０１０９】
一方、数式４は、最終融合映像を製作する方法を示したものであって、これに対する詳細な説明は、前述したので、これを参照することにする。
【０１１０】
従って、本発明で提示するパンクロマチック映像と赤外線映像との融合方法は、低解像度赤外線映像の空間解像度をパンクロマチック映像のレベルまで向上させることが可能であり、これにより、現在まで低精度によって活用が難しかった赤外線映像での映像分類、標的探知、及び客体認識などに適用することが可能であり、スケーリングファクターを調整することによって最終融合映像の空間解像度及び熱情報の保存率を設定することができ、これから、映像撮影地域の形態に応じて要求される空間解像度を満たすことができるので、都心をはじめとする農耕地域、山岳地域などに適切に活用され得る効果がある。
【０１１１】
本発明の一実施例によるパンクロマチック映像と赤外線映像との融合方法は、様々なコンピューター手段を介して実行され得るプログラム命令形態に具現されてコンピューター読み取り可能媒体に記録され得る。前記コンピューター読み取り可能媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記媒体に記録されるプログラム命令は、本発明のために特別に設計されて構成されたものなど、またはコンピューターソフトウェア当業者に公知されて使用可能なものであることもできる。コンピューター読み取り可能記録媒体の例には、ハードディスク、プロッピィーディスク、及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ  ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ  ｍｅｄｉａ）、及びロム（ＲＯＭ）、ラム（ＲＡＭ）、フラッシュメモリーなどのようなプログラム  ａｕｄｆｕｄｄを保存して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラーによって作われるもののような機械語コードだけでなく、インタプリターなどを使用してコンピューターによって実行されることができる高級言語コードを含む。前記されたハードウェア装置は、本発明の動作を実行するために、１つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。
【０１１２】
以上のように、本発明においては、具体的な構成要素などのような特定の事項などと限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものであるだけであり、本発明は、前記の実施例に限定されるものではなく、本発明が属する分野における通常的な知識を有する者であれば、このような記載から様々な修正及び変形が可能である。
【０１１３】
従って、本発明の思想は、説明された実施例に限って決まってはならず、後述する特許請求の範囲のみならず、この特許請求の範囲と均等であるとか、等価的変形があるすべてのものなどは、本発明思想のカテゴリに属するとするだろう。
【産業上の利用可能性】
【０１１４】
本発明は、パンクロマチック映像と赤外線映像との融合方法及びその装置に関するものであって、より詳細には、高解像度のパンクロマチック映像と熱情報を含んだ赤外線映像とを融合することによって最終的に高解像度パンクロマチック映像を利用した赤外線映像の解像度を向上させる技術に関するものである。
【０１１５】
このような目的を達成するために、本発明の一実施例によるパンクロマチック映像と赤外線映像との融合装置は、映像獲得部と、フィルタリング実行部と、映像補正部と、スケーリングファクター決定部と、融合映像製作部と、を含む。
【図１】
0006506397.tif 000075
【図２】
0006506397.tif 000076
【図３】
0006506397.tif 000077
【図４】
0006506397.tif 000078
【図５】
0006506397.tif 000079
【図６】
0006506397.tif 000080
【図７】
0006506397.tif 000081