(57)【特許請求の範囲】
【請求項１】
大気後方散乱光によって部分的に不明瞭にされた風景の高められた画像を形成する方法において、
風景の画像を撮影し、
画像の画素の輝度と、画像が表現する視界の地点と画素によって表現される風景の中の地点との間の距離との関係を表現するようにモデルを形成し、
該モデルから、画像の各画素の輝度に対する後方散乱光の寄与の概算を計算し、
各画素に対して概算された寄与を当該画素の輝度から減じ、
当該画素の輝度をスケール（scale）して当該画素の修正輝度を形成し、
当該画素の修正輝度の関数である輝度を画像の各画素に割り当てることによって高められた画像を形成する方法。
【請求項２】
処理される撮影風景画像は、一連の風景画像をとらえ、平均又は時間濾波された画像を形成することによって形成し、
当該画像において各画素はある輝度を有し、
当該輝度は画素と同じ風景領域を表現する一連の撮影画像の部分の輝度の平均である、請求項１に記載の方法。
【請求項３】
前記風景の一連の高められた画像を形成し、
平均又は時間濾波された画像を形成し、
当該画像はある輝度を有し、
当該輝度は画素と同じ風景領域を表現する一連の高められた画像の部分の輝度の平均である、請求項１に記載の方法。
【請求項４】
画像の数、又は各画素に対して平均輝度値を形成するのに使用される一時的フィルタの帯域幅は、画素によって表現される風景の部分の画像面からの距離の関数として変化する請求項２又は３のいずれかに記載の方法。
【請求項５】
高められた画像の各要素は、画像コントラストを回復するためにスケールされた画素の修正輝度から計算される輝度を有する請求項１から４のいずれかに記載の方法。
【請求項６】
画像の各画素の輝度に対する風景からの光の寄与の概算をモデルから計算し、
各画素の修正輝度は、当該画素の対する風景からの概算された寄与で割り、定数を乗じて、再現画像の要素輝度を決定する請求項５に記載の方法。
【請求項７】
各画素の輝度値は、当該画素に対する立体角で割る請求項１から６のいずれかに記載の方法。
【請求項８】
大気後方散乱光によって部分的に不明瞭にされた風景の高められた画像を形成する装置において、
風景の画像を撮影する手段と、
画像の画素の輝度と、画像が表現する視界の地点と画素によって表現される風景の中の地点との間の距離との関係を表現するようにモデルを形成する手段と、
該モデルから、画像の各画素の輝度に対する後方散乱光の寄与の概算を計算する手段と、
各画素に対して概算された寄与を当該画像の画素の輝度から減じる手段と、
該減じた結果をスケールして当該画素の修正輝度を形成する手段と、
画像を復元して、当該画素の修正輝度の関数である輝度を有する高められた画像の各画素について、高められた画像を形成する手段とからなる装置。
【請求項９】
一連の風景画像を撮影し、平均画像を形成する手段を設け、
当該画像において各画素はある輝度を有し、
当該輝度は画素と同じ風景領域を表現する一連の撮影画像の部分の輝度の平均であり、
前記モデル形成手段は、輝度と平均画像の画素の輝度と距離の関係を表現するものである請求項８に記載の装置。
【請求項１０】
前記風景の一連の高められた画像を形成する手段と、平均画像を形成する手段とを設け、
当該画像はある輝度を有し、
当該輝度は画素と同じ風景領域を表現する一連の高められた画像の部分の輝度の平均である、請求項８に記載の装置。
【発明の詳細な説明】
本発明は、画像エンハンスメント、特に、大気後方散乱光によって部分的に不明瞭になった風景画像を高める（enhance）方法及び装置に関する。例えば大気からの後方散乱光によって不明瞭にされた風景画像を高めるための方法が種々知られている。例えば、カメラを飛行機に搭載して飛行機が飛行する地形の風景画像を得ることができる。この風景画像が霧や雲、その他の大気効果によって不明瞭になっていると仮定すると、風景画像に寄与（contribute）するこれらの地形の特徴からカメラに達する光の強度が減少する。地形から散乱される光がカメラに達する量は少ないが、霧や雲から散乱される光によって不明瞭になる。このような状況における画像のコントラストを高めるための方法が多く知られているが、画質の向上は次の３つのファクターによって制限される。
第１に、カメラや他のセンシング装置のゲインは、通常は自動ゲイン制御によって最大の画像輝度に設定される。散乱光成分が大きいとき、伝送される地形成分はセンサの量的ノイズに比較して小さくなる。
第２に、後方散乱光はランダムな成分を有し、これはノイズの原因であり、センサにより実行されるコントラスト・ストレッチング変換によって増幅される。
第３に、低光状態では、伝送される光束の統計変動は画像にポアッソンノイズを引き起こす。このノイズは、画像に存在するコントラストの範囲を増加する変換によって増幅される。
異なった位置からその状況を表わす一連の画像の形態で撮影される風景に関する情報を平均することによって、高められた風景画像を生成することが知られている。この技術は、高められた画像は輝度を当該高められた画像の各画素に割り当てることによって生成されるという風景の以前の知識に基づいている。その輝度は、高められた画像の画素と同じ風景部分を表わす一連の画像の部分の輝度の平均である。これには、一連の画像の各々が撮影された風景に対する位置と、地形の詳細の知識が必要であり、この結果、一連の画像が形成されると、飛行機の運動に対して補整を行なうことができる。地形の各画像が撮影される位置の知識と、一連の画像の各々によって表わされる視界が与えられると、これらの画像を適当な位置で重ねることができ、平均輝度値の計算が可能となる。デジタル地形高度（Digital Terrain Elevation；ＤＴＥ）は、多くの最新飛行機の機内ナビゲーションシステムからの瞬間的な飛行機の速度と姿勢に関する正確な情報とともに既に利用可能である。公知の運動補償型画像平均システム（motion−compensated−image averaging system）は、高センサーノイズ状態において画質の著しい向上を与える。
公知の運動補償型画像平均システムを使用して生成される高められた画像は、コントラスト・エンハンスメントによってさらに改良される。例えば、分散規格化（variance normalization）、ヒストグラム均等化（histogram equalization）等の種々のコントラスト・エンハンスメント・アルゴリズムが知られている。しかしながら、実際にはそのような公知のコントラスト・エンハンスメント・アルゴリズムは特に良い結果をもたらすものではなかった。
本発明の目的は、後方散乱光によって部分的に不明瞭になった風景画像を高める改良された方法及び装置を提供することにある。
本発明によると、大気後方散乱光によって部分的に不明瞭にされた風景の高められた画像を形成する方法において、
風景の画像を撮影し、
画像の画素の輝度と、画像が表現する視界の地点と画素によって表現される風景の中の地点との間の距離との関係を表現するようにモデルを形成し、
該モデルから、画像の各画素の輝度に対する後方散乱光の寄与の概算を計算し、各画素に対して概算された寄与を当該画素の輝度から減じ、
当該画素の輝度をスケール（scale）して当該画素の修正輝度を形成し、
当該画素の修正輝度の関数である輝度を画像の各画素に割り当てることによって高められた画像を形成する方法が提供されている。
好ましくは、処理する前に、一連の風景画像をとらえ、平均画像を形成する。当該画像において、各画素はある輝度を有し、当該輝度は画素と同じ風景領域を表現する一連の撮影画像の部分の輝度の平均である。次に、平均画素を処理する。代案として、一連の画像を別個に処理してから平均してもよい。
また、本発明は、大気後方散乱光によって部分的に不明瞭にされた風景の高められた画像を形成する装置において、
風景の画像を撮影する手段と、
画像の画素の輝度と、画像が表現する視界の地点と画素によって表現される風景の中の地点との間の距離との関係を表現するようにモデルを形成する手段と、
該モデルから、画像の各画素の輝度に対する後方散乱光の寄与の概算を計算する手段と、
各画素に対して概算された寄与を当該画像の画素の輝度から減じて、当該画素に対する修正輝度を形成する手段と、
画像を復元して、当該画素の修正輝度の関数である輝度を有する高められた画像の各画素について、高められた画像を形成する手段とからなる装置を提供している。
本発明は、例えば雲によって不明瞭にされた風景画像の中の平均後方散乱光束成分が、画像が撮影された地点と画像に表現された地形の地点との間の距離により変化するという知見に基づいている。視界のタイプに依存して、この距離（又は深度）は画像を横切って変化する。これは、地球の表面を横切ってほぼ水平に飛行する飛行機のケースである。本発明はこのような深度の画像面変化を考慮している結果、平均後方散乱の変化に強い。
モデルは、高められる個々の画像に対して深度／輝度関係のプロットを参照して形成してもよい。
高められた画像の各画素の輝度は、画像コントラストを回復するためにスケールされた当該画素の修正輝度から計算してもよい。例えば、モデルに基づき、画像の各画素の輝度に対する風景からの光の寄与を計算し、各画素に対する修正輝度を当該画素の対する風景からの概算された寄与で割り、定数を乗じて、再現画像の要素輝度を決定する。
以下、次の図面を参照して本発明の実施例を説明する。
図１は、飛行機のカメラによって撮影された１枚の未処理の光学画像である。
図２は、特定の強度を有する画像の多くの画素に対して強度をプロットした図１の画像のヒストグラムである。
図３は、図１に示すものと同じ風景の画像であるが、連続して撮影された１０フレームの平均を運動補償することによって得られた画像を表わしている。
図４は、図２に対応するが、図３の画像に関するヒストグラムである。
図５は、図１の画像の画素の深度対輝度の関係をプロットしている。
図６は、図３の画素の深度対輝度の関係をプロットしている。
図７は、本発明により図３の画像から引き出された画像である。
図８は、飛行機のカメラによって撮影された他の未処理の画像である。
図９と図１０は、それぞれ本発明の方法、従来の画像処理方法を使用して図８の画像から引き出された処理画像である。
図１１は、飛行機のカメラによって撮影されたさらに他の未処理の画像である。
図１２は、本発明により図１１の画像を含む一連の画像から引き出された画像である。
以下に説明する画像強化の方法は、３つのステップからなり、すなわち、画像平均（image averaging）、パラメータ概算（parameter estimation）、及びコントラスト変換（contrast transformation）である。使用される画像平均の方法は従来のものである。
以下に説明する画像は、標準のビデオカメラにより３０°の視界で得られた。カメラは水平に対して約１５°の角度で飛行機に搭載された。飛行機の現在位置、速度、及び方位に関する情報は、機内の慣性飛行システム（Inertial Navigation System；ＩＮＳ）から利用された。地形高度値のデータベースは機内コンピュータに記憶された。図１はカメラによって生成された１枚の未処理画像を示す。画像は、主要道路、道路を走る車両、道路を横切る橋、道路の両側にある種々の地形的特徴等を含む風景である。これらの風景の特徴は、低高度の雲によって不明瞭になっている。飛行機がイメージされた風景に対応して飛行するときに、カメラによって一連の１０枚の画像が撮影された。次に、運動補償平均が適用され、その平均は１０画像フレームにわたって計算された。画像平均は、カメラ運動を補正するための幾何学的変換を使用して、フレームＮで「平均」された画像が前の多数のフレームの合計から引き出されるように行われる。この結果、時間平均された画像が維持され、それは常に現在カメラ位置と方位を反映している。この平均画像の各画素は、画像に寄与する地形のいくつかの特定の地点に対応している。世界空間（地形）の共通座標（ｘ，ｙ，ｚ）を考えると、これは次式により合計として記載することができる。
0003898224.tif 000002
ここで、Ｍは平均処理に必要とされる画像の数、Ｉｋは入方画像フレームｋ、（ｘk，ｙk）はフレームｋにおける点（ｘ，ｙ，ｚ）の位置である。
式（１）によって記載される平均処理は次の２つの効果を有している。
１．センサノイズは約１／√Ｍのファクターによって減少される。
２．後方散乱成分における統計変動は同様のファクターによって減少される。
図２は、図１の画像に基づくヒストグラムであり、識別された強度を有する画像における画素数を示す。このヒストグラムは雲からの後方散乱光によって支配される。図３は１０フレームの運動補償平均から生じる画像を示し、図４は図２に対応するが、図３の画像に関するヒストグラムである。図４は平均灰色レベル回りの値の図２より狭い分布を示す。地形から反射された光束はこの比較的狭いピーク内に含まれ、コントラスト・エンハンスメントによって回復することができる。この目的のためには、分散規格化やヒストグラム均等化のような種々のコントラスト・エンハンスメント・アルゴリズムが適切である。使用することができる１つの簡単なアルゴリズムは、良好な画像コントラストを与えるように定数ｍを選択して変換ｙ＝ｍｘ＋ｃを画像灰色レベルに適用する。しかしながら、実際には、平均後方散乱束成分はカメラと地形の間の距離に従って変化する。視界のタイプに依存して、この距離（又は深度）は画像を横切って変化する。この結果、公知のコントラスト・エンハンスメント・アルゴリズムは、図３に表わされる画像の品質に著しい向上をもたらすことはない。しかしながら、本発明はこれらの画像面の深度の変化を考慮する結果、平均後方散乱の変化に強い。
本発明によると、後方散乱の寄与は画像の各画素において概算される。これは、平均画像の多くの画素の深度と輝度の関係を考慮することによって達成される。次に、数値データ適合アルゴリズムを使用して、パラメトリックモデルは深度／輝度データに適合される。次に、その結果のモデルパラメータは任意の画像画素における後方散乱を計算するのに使用される。この後方散乱概算の方法はさらにコントラスト・エンハンスメントのパラメータを与える。
図５は、図１の画像の画素の深度と輝度の関係をプロットしている。図６は図３に対して同様にプロットしている。予期されるように、図３の運動補償平均画像は散乱が少なく、したがって本発明の適用に対してより良い開始点を表わしている。
次に、本発明の１つの実施例におけるパラメータ概算とコントラスト変換のステップを説明する。
図３の画像の各画素における後方散乱寄与（backscatter contribution）ｂ＝ｂ（ｄ）に対する概算は、次式から得られる。
ｂ（ｄ）＝Ｃ（１−exp（−Ｋｄ））                        （２）
ここで、Ｃは照明とセンサー変換係数に依存する定数、Ｋは霧／ミスト／雲の粒子の散乱プロフィールを特徴づける吸光係数（extinction coefficient）、ｄは各画素における深度である。同様に、各画素における伝送地形寄与（transmitted terrain contribution）に対する概算は、次式で表わされる。
ｔ（ｄ）＝Ｔexp（−Ｋｄ）                                （３）
ここで、ＴはＣと地形風景の性質に依存する定数である。深度ベースのモデルによると、深度ｄを備えた画素における全体輝度ｐ（ｄ）は、後方散乱ｂ（ｄ）と地形ｔ（ｄ）から反射される光との合計、すなわち次式で表わされる。
ｐ（ｄ）＝ｂ（ｄ）＋ｔ（ｄ）
＝Ｃ（１−exp（−Ｋｄ））＋Ｔexp（−Ｋｄ）      （４）
パラメータＴ、Ｃ及びＫを概算するために、３つのパラメータモデルが図６の輝度／深度プロットに適合された。このモデルは次式によって定義される。
ｐ（ｄ）＝ｃ0＋ｃ1exp（−Ｋｄ）                        （５）
モデル適合は数値最適化アルゴリズムを使用して行われ、次式によって定義される全最小二乗誤差が最小になるように、ｃ0、ｃ1、及びＫに対する値が決定された。
0003898224.tif 000003
ここで、ｐ（ｉ，ｊ）は画素（ｉ，ｊ）における平均画像の輝度、（ｉ，ｊ）は対応する深度である。図６の破線はパラメトリックモデルである。ｃ0、ｃ1、及びＫに対する概算値は、それぞれ、２１７．５５、−１４５．６５、０．７７３である。
画素（ｉ，ｊ）における後方散乱概算ｂ（ｉ，ｊ）は、次式で与えられ、
ｂ（ｉ，ｊ）＝ｃ0（１−exp（−Ｋｄ（ｉ，ｊ）））              （７）
地形寄与ｔ（ｉ，ｊ）は、次式で与えられる。
ｔ（ｉ，ｊ）＝（ｃ0＋ｃ1）exp（−Ｋｄ（ｉ，ｊ））            （８）
ｔ（ｉ，ｊ）に対する概算は、散乱媒体による地形反射光の減少（attenuation）を考慮していることに注意すべきである。
次に、画素（ｉ，ｊ）における高められた画像ｅ（ｉ，ｊ）は、次式から生成される。
0003898224.tif 000004
ここで、ｂ（ｉ，ｊ）とｔ（ｉ，ｊ）は、それぞれ式（７）と（８）を使用して計算される。これは、後方散乱を減じること、フルコントラストを復帰させるためにスケーリングすることと均等である。画像が２５６灰色レベルに定量化（quantify）される。最終結果は図７に示されている。
前述の実験に続いて、画像データはエンコードされたガンマであること、すなわち、画素値は入射光束に比例するのではなく、パワー０．４５（約）に上昇した光束に比例することが分かった。この非線形エンコーディングが反転すると、パラメータｃ0、ｃ1、及びＫに対して異なる値が得られる。特に、図１に示す画像に対するKの値は著しく低く、約０．４ｋｍ-1である。ｃ0とｃ1の改正された値は、それぞれ１３５，０３２、−１２０，６１３である。
図８−図１０に示す画像は、従来のコントラスト・ストレッチ・アルゴリズム（ヒストグラム均等化）よりも、後方散乱概算と画像エンハンスメント・アルゴリズムによって与えられた画像強化が視覚的にかなり良好な状態で優越していることを示す。図８はミストによって少し薄くなった２つの滑走路を有する飛行場の原画像を示す。図９は前述のアルゴリズムを使用して処理された画像を示し、図１０はコントラスト・ストレッチ・アルゴリズムによて処理した後の画像を示す。図１０のコントラストが拡大された画像は人工的な外観を有しているのに対し、図９は自然的な外観を有している。
アレイを横切る個々の画素と対する立体角（solid angle）の変化を補償することによって、さらに洗練された画像強化プロセスを行なうことができる。これは著しい効果を有する。なぜなら、変化はわずか１０パーセントのオーダーであるが、散乱光寄与はこのファクターに比例し、地形寄与より大きいからである。立体角Ωkは、画像面のセンサー要素の位置に関係する固定幾何学的定数である。この立体角Ωkは、次式で計算することができる。
0003898224.tif 000005
ここで、Ａは単一のセンサー要素のアクティブ面積、ｆは焦点距離、ｘkとｙkは画像面の光学中心から画素ｋのｘオフセットとｙオフセットである。画像を横切る立体角の変化の補償は、各画素値を立体角で割ることによって達成される。
図１１は航空カメラで撮影された一連の３つの画像の１つであり、図１２はガンマエンコーディングをカメラにより反転して地形の輝度に比例した画素値を作成し、３つの画像を平均し、立体角の変化を補償することによって得られた高められた画像を示す。図１２に表されたものに対して同様に高められた画像が、３つの画像のそれぞれを個別に処理して高められた画像を平均することによって達成された。
いくつかの画像が信号対ノイズの比を向上するために違いに合計される平均処理に関する問題は、飛行機の位置の不確定性が平均された画像の前景にぼけを生じさせることである。このような装置において、非常に遠方の地形点（水平線の近傍）に関する画素が多数回平均されるのに対し、カメラに近接する地点（例えば画像の底部）に関する画素は２、３の画像が平均されるが、平均アルゴリズムによってバイパスされる。
この方法は特に有効である。なぜなら、高められた画像の信号対ノイズの比（SNR）は深度のストロング関数（strong function）であり、非常に遠方の地点に対して低くなる傾向にあるのに対し、低い深度におけるSNRはもっと大きいからである。
このタイプの可変平均を達成する１つの好都合な方法は、可変帯域幅を備えるデジタルフィルタを使用することである。１つの適切なフィルタは次の差分方程式によって記載される。
ｙ［ｎ］＝αｘ［ｎ］＋（１−α）ｙ［ｎ−１］            （１１）
ここでｘ［ｎ］はシーケンスのｎ番目の画像、ｙ［ｎ］はｘ［ｎ］の濾波バージョン（filtered version）、ｙ［ｎ−１］は（ｎ−１）番目の画像の濾波バージョンである。フィルタ（１１）のノイズ減少特性は定数αの選択に依存し、αの値が小さくなればなるほど、ノイズ減少特性は大きくなる。このフィルタのノイズファクターは√（（２−α）／α）である。これは、画像ノイズが連続するフレームに対して時間的に相関しないとすると、出力ｙ［ｎ］における標準偏差は入力ｘ［ｎ］のそれよりも少ない√（（２−α）／α）のファクターであることを意味する。このように、例えば１０の信号対ノイズ比（SNR）を維持するためには、αが
0003898224.tif 000006
となるように選択されなければならない。このため、要求されるαの値は、
α＝０．０２ＳＮＲav2                          （１３）
となる。
SNRは種々の方法で概算される。１つの利用可能な方法は、後方散乱のノイズが乗法ガウス（multiplicative Gaussian）であり、画像のノイズが後方散乱ノイズ及びセンサ自身に生成されるノイズであるという仮定に基づいている。深度の関数としてのSNRは次式で与えられる。
0003898224.tif 000007
ここで、σsはセンサノイズの変数、σsc2は後方散乱ノイズの変数である。
仮にαが１より大きいなら、これはフィルタが要求されないことを意味する。仮に背景が静的であれば、暫定平均が画像画素に直接加えられ、αの小さい値が使用される結果、濾波された画像が低ノイズレベルとなる。動的画像の場合には、カメラの運動が知られていれば、式（１１）に運動補償変化が適用される。これは、次式で与えられる。
ｙ［ｎ］＝αｘ［ｎ］＋（１−α）ｙ′［ｎ−１］            （１４）
ここで、ｙ′［ｎ−１］は（ｎ−１）番目の画像フレームにおけるｙ［ｎ］に相当する画素の値である。
本発明の上記実施例においては、画像平均ルーチンは、画像への後方散乱寄与の概算とコントラスト・エンハンスメントに先立って行われるが、後方散乱概算とコントラスト・エンハンスメントのルーチンは単一画像に適用され、その一連の画像から平均画像が連続して生成される。この順で処理をする行う１つの利点として、平均間隔にわたって著しく変化する特定の画素に対応する深度値によって引き起こされる画像低下（デグラデーション）の問題が回避される。
後方散乱概算と画像強化は、強化の前後いずれにも画像平均ルーチンを使用することなく、単一画像に適用することができる。
また、後方散乱寄与を概算する方法は他の方法を使用することができる。例えば、後方散乱寄与はローパスフィルタを平均画像に適用することによって概算することができる。しかしながら、この概算は地形信号中の低空間周波数成分（low spatial frequency components）によって低下される。さらに、フィルタ核（filter kernel）のサイズは深度の予期される変化に対して小さくなければならない。これは、フィルタから概算される後方散乱が概算方法とともに前述したランダム不確実性の大きな度合いに支配されることを意味する。
コントラスト変換に他のアルゴリズム、すなわち概算された後方散乱と変換された地形寄与から高められた画像の最終生成を適用することができる。
本発明の１つの可能な適用は画像分類である。処理画像の照明が均一であると仮定すると、式（８）から計算される地形寄与ｔ（ｉ，ｊ）は画像に含まれる要素の反射性についての情報を与える。異なる地形遮蔽物例えば草、木、水等の対応する反射率ファクターは固定されている。地形寄与ｔ（ｉ，ｊ）は、それが画素（ｉ，ｊ）に対する局地反射率ファクターに対する直接概算を与えるように、スケール（scale）される。単純なコンピュータプログラムはｔ（ｉ，ｊ）の計算値を記憶し、それを可能な地形特性に変換する。
本発明は可視光や赤外画像にも適用することができる。
【図１】
0003898224.tif 000008
【図２】
0003898224.tif 000009
【図３】
0003898224.tif 000010
【図４】
0003898224.tif 000011
【図５】
0003898224.tif 000012
【図６】
0003898224.tif 000013
【図７】
0003898224.tif 000014
【図８】
0003898224.tif 000015
【図９】
0003898224.tif 000016
【図１０】
0003898224.tif 000017
【図１１】
0003898224.tif 000018
【図１２】
0003898224.tif 000019