(57)【要約】【課題】  この発明は、環境の画像をディスプレイの視点に与えるシステムおよび方法を提供する。【解決手段】  システムおよび方法は、画像ソースおよびディスプレイ２８からの距離で、画像ソースの視界内における環境に近似するマッピング面６０を規定する。システムおよび方法は、画像ソース、ディスプレイ２８およびマッピング面６０の異なった幾何学的構造を互いに関連付けるモデルを規定する。このモデルおよびマッピング面６０を用いて、システムおよび方法は、画像ソースからの画像をタイリングし、画像をディスプレイ２８に相関付け、画像を表示する。２つの画像ソースがマッピング面６０上に部分的に重なった視界を有する場合、システムおよび方法は、画像を部分的に重ね、かつ、つなぎ合わせて、モザイク画像を形成する。２つの部分的に重なる画像ソースが各々、固有の特徴を備えた画像を有する場合、システムおよび方法は、画像を融合して複合画像にする。【選択図】        図１１
2004265413.tif 000002
【特許請求の範囲】
【請求項１】
環境の画像をディスプレイの視点に与えるためのシステムであって、
視界を有し、環境の画像を与える少なくとも１つの画像ソースと、
前記画像ソースおよびディスプレイと通信するプロセッサとを含み、前記プロセッサは、前記画像ソースおよびディスプレイからの距離で、前記画像ソースの視界内における環境に近似するマッピング面を規定し、前記プロセッサは、前記画像ソースの幾何学的構造、前記ディスプレイの幾何学的構造および前記マッピング面の幾何学的構造を互いに関連付けるモデルを規定する、システム。
【請求項２】
ディスプレイの視点に対する環境は幾何学的形状を含み、前記ディスプレイが幾何学的形状に近似すると、前記プロセッサは、幾何学的形状により綿密に近似するマッピング面を規定する、請求項１に記載のシステム。
【請求項３】
前記画像ソースおよびディスプレイのうち少なくとも１つは、それに関連付けられた光学的歪みを有し、前記プロセッサにより規定されるモデルは光学的歪みの原因となる、請求項１に記載のシステム。
【請求項４】
前記画像ソース、ディスプレイおよびマッピング面はすべて、異なる座標系を有し、前記プロセッサにより規定されるモデルは、前記画像ソース、ディスプレイおよびマッピング面を異なる座標系に変換するための変換を含む、請求項１に記載のシステム。
【請求項５】
前記画像ソースの視界内におけるマッピング面の選択された座標のために、モデルを用いる前記プロセッサは、マッピング面上の選択された座標に対応する前記画像ソースの座標を決定し、前記プロセッサはさらに、選択されたマッピング面座標を対応するディスプレイの座標に関連付け、ディスプレイ上において、対応する座標における画像ソースの決定された座標に関連付けられる画像データを表示する、請求項１に記載のシステム。
【請求項６】
前記プロセッサは、
中央プロセッサと、
グラフィックスプロセッサとを含み、
前記中央プロセッサは、複数の頂点ベクトルを含む３次元の空間であるマッピング面を規定し、この複数の頂点ベクトルの各々はマッピング空間の３次元の座標を表わし、前記画像ソースのディスプレイの領域内におけるマッピング空間の選択された頂点のために、前記中央プロセッサは、マッピング面の選択された頂点に対応する前記画像ソースによって与えられる画像のテクスチャベクトルを決定し、前記グラフィックスプロセッサにベクトルの集合を与え、前記集合は、マッピング面の選択された頂点と、画像の対応するベクトルと、色ベクトルとを含み、
前記グラフィックスプロセッサは、３Ｄ映像テクスチャの三角形としてベクトルの集合をレンダリングする、請求項１に記載のシステム。
【請求項７】
前記ソース、ディスプレイおよびマッピング空間のうち少なくとも２つは、異なる座標系を有し、前記プロセッサは、ベクトルを相関付けることができるように、前記ソース、ディスプレイおよびマッピング空間のうち前記２つのベクトルを基本の座標系に変換するための変換を算出する、請求項６に記載のシステム。
【請求項８】
前記画像ソースの視界は、マッピング空間に投影される画像を規定し、前記プロセッサは、マッピング面に投影される画像より小さなタイルを規定し、タイル内の画像のテクスチャベクトルすべては、マッピング面のそれぞれの頂点に関連付けられ、タイルの外側の位置にあるマッピング面に投影するテクスチャベクトルのすべてが、マッピング空間の頂
点に関連付けられるわけではない、請求項６に記載のシステム。
【請求項９】
少なくとも２つの画像ソースをさらに含み、この少なくとも２つの画像ソースは、前記画像ソースが、マッピング空間の同じ頂点に対応するテクスチャベクトルを有するそれぞれの画像を提供するように、マッピング空間上で互いに部分的に重なるそれぞれの視界を有し、前記プロセッサは、各画像ソースのために、マッピング空間の頂点とそれぞれの画像ソースのテクスチャベクトルとを、ディスプレイのためのグラフィックスプロセッサに与え、このため、前記ソースからの画像が前記ディスプレイ上で部分的に重なる、請求項６に記載のシステム。
【請求項１０】
前記プロセスは、前記２つの画像ソースの視界が部分的に重なる位置におけるマッピング面上の複数の頂点を表わす混合ゾーンを規定し、混合ゾーンにおける各頂点のために、前記プロセッサは、頂点色の強度値を変えて、これにより、部分的に重なるタイルの間にある継目を実質的になくす、請求項９に記載のシステム。
【請求項１１】
前記ソースからの画像が異なった輝度値を有する場合、前記プロセッサは、頂点において隣接する画像の相対的な輝度の比率に基づいたスケール係数により、混合ゾーンに位置するより明るい画像の頂点の色等級を減ずる、請求項９に記載のシステム。
【請求項１２】
少なくとも２つの画像ソースをさらに含み、この少なくとも２つの画像ソースは、前記画像ソースがマッピング空間の同じ頂点に対応するテクスチャベクトルを有するそれぞれの画像を与えるように、マッピング空間上において互いに部分的に重なるそれぞれの視界を有し、前記画像ソースの各々によって与えられるそれぞれの画像は固有の特徴を有し、前記プロセッサは、各画像ソースのために、マッピング空間の頂点とそれぞれの画像ソースのテクスチャベクトルとを、ディスプレイのためのグラフィックスプロセッサに与え、このため、前記ソースからの画像は前記ディスプレイ上で部分的に重なり、前記プロセッサは、画像を組合わせて、結果として各画像の固有の特徴を含む画像にする、請求項６に記載のシステム。
【請求項１３】
環境の画像をディスプレイの視点に与えるための方法であって、
視界を有し、環境の画像を与える少なくとも１つの画像ソースを提供するステップと、
画像ソースおよびディスプレイからの距離で、画像ソースの視界内における環境に近似するマッピング面を規定するステップと、
画像ソースの幾何学的構造、ディスプレイの幾何学的構造およびマッピング面の幾何学的構造を互いに関連付けるモデルを規定するステップとを含む、方法。
【請求項１４】
ディスプレイの視点に対する環境は幾何学的形状を含み、前記ディスプレイが幾何学的形状に近似すると、マッピング面を規定する前記ステップは、幾何学的形状により綿密に近似するマッピング面を規定する、請求項１３に記載の方法。
【請求項１５】
画像ソースおよびディスプレイのうち少なくとも１つは、それに関連付けられる光学的歪みを有し、前記規定するステップで規定されるモデルは、光学的歪みの原因となる、請求項１３に記載の方法。
【請求項１６】
前記画像ソース、ディスプレイおよびマッピング面はすべて、異なった座標系を有し、規定するステップによって規定されるモデルは、画像ソース、ディスプレイおよびマッピング面を異なる座標系に変換するための変換を含む、請求項１３に記載の方法。
【請求項１７】
画像ソースの視界内におけるマッピング面の選択された座標のために、前記方法はさらに、
モデルを用いて、マッピング面上の選択された座標に対応する画像ソースの座標を決定するステップと、
選択されたマッピング面座標を、ディスプレイの対応する座標に関連付けるステップと、
ディスプレイ上において、対応する座標における画像ソースの定められた座標に関連付けられた画像データを表示するステップとを含む、請求項１３に記載の方法。
【請求項１８】
環境の画像をディスプレイの視点に与えるためのシステムであって、
視界を有し、環境の画像を与える少なくとも１つの画像ソースと、
前記画像ソースおよびディスプレイと通信するプロセッサとを含み、前記プロセッサは、前記画像ソースからの距離でマッピング面を規定し、
前記画像ソースの視界は、マッピング面上に投影される画像を規定し、前記プロセッサは、前記画像ソースによりマッピング面上に投影される画像によって覆われる区域のサブセットを規定するタイルを規定する、システム。
【請求項１９】
マッピング空間上において互いに部分的に重なるそれぞれの視界を有する少なくとも２つの画像ソースを含み、前記プロセッサは、タイルが部分的に重なる領域を有するように、各画像のためのそれぞれのタイルを規定する、請求項１８に記載のシステム。
【請求項２０】
前記プロセッサは、部分的に重なる領域内のマッピング面上で混合ゾーンを規定し、混合ゾーンにおける画像の強度を調整して画像間の継目を隠す、請求項１９に記載のシステム。
【請求項２１】
前記画像ソースは、各々が少なくとも１つの固有の特徴を有する画像をそれぞれ与え、前記プロセッサは、画像を組合わせて、結果として各画像の固有の特徴を含む画像にする、請求項１９に記載のシステム。
【請求項２２】
環境の画像をディスプレイの視点に与えるための方法であって、
視界を有し、環境の画像を与える少なくとも１つの画像ソースを提供するステップと、
前記画像ソースからの距離でマッピング面を規定するステップとを含み、画像ソースの視界は、マッピング面上に投影される画像を規定し、前記方法はさらに、
前記画像ソースによりマッピング面上に投影される画像によって覆われる区域のサブセットを規定するタイルを規定するステップを含む、方法。
【請求項２３】
前記提供するステップは、マッピング空間上において互いに部分的に重なるそれぞれの視界を有する少なくとも２つの画像ソースを提供し、タイルを規定する前記ステップは、タイルが部分的に重なる領域を有するように、各画像に対してそれぞれのタイルを規定する、請求項２２に記載の方法。
【請求項２４】
部分的に重なる領域内におけるマッピング面上で混合ゾーンを規定するステップと、混合ゾーンにおける画像の強度を調整して画像間の継目を隠すステップとをさらに含む、請求項２３に記載の方法。
【請求項２５】
画像ソースは、各々が少なくとも１つの固有の特徴を有する画像をそれぞれ与え、前記方法は、画像を組合わせて、結果として各画像の固有の特徴を含む画像にするステップを含む、請求項２３に記載の方法。
【請求項２６】
環境の画像をディスプレイの視点に与えるためのシステムであって、
それぞれの視界を有し、環境の画像を与える少なくとも２つの画像ソースと、
前記画像ソースおよびディスプレイと通信するプロセッサとを含み、前記プロセッサは
、前記画像ソースからの距離でマッピング面を規定し、
前記画像ソースのそれぞれの視界は、マッピング面上に投影され、かつ部分的に重なる隣接した領域を有するそれぞれの画像を規定し、前記プロセッサは、部分的に重なる領域内におけるマッピング面上で混合ゾーンを規定し、混合ゾーンにおける画像の強度を調整して画像間の継目を隠す、システム。
【請求項２７】
混合ゾーンに位置する各画像の領域のために、前記プロセッサは、混合ゾーンの端縁における画像の或る点における画像の強度を、画像の外側の端縁へ漸減させる、請求項２６に記載のシステム。
【請求項２８】
環境の画像をディスプレイの視点に与えるための方法であって、
それぞれの視界を有し、環境の画像を与える少なくとも２つの画像ソースを提供するステップと、
前記画像ソースからの距離でマッピング面を規定するステップとを含み、前記画像ソースのそれぞれの視界は、マッピング面上に投影され、かつ部分的に重なる隣接した領域を有するそれぞれの画像を規定し、前記方法はさらに、
部分的に重なる領域内におけるマッピング面上で混合ゾーンを規定するステップと、
混合ゾーンにおける画像の強度を調整して、画像間の継目を隠すステップとを含む、方法。
【請求項２９】
混合ゾーンに位置する各画像の領域のために、調整する前記ステップは、混合ゾーンの端縁における画像の或る点における画像の強度を、画像の外側の端縁へ漸減させる、請求項２８に記載の方法。
【請求項３０】
環境の画像をディスプレイの視点に与えるためのシステムであって、
少なくとも部分的に重なるそれぞれの視界を有する少なくとも２つの画像ソースを含み、前記画像ソースは、各々が少なくとも１つの固有の特徴を有する画像をそれぞれ与え、前記システムはさらに、
前記画像ソースおよびディスプレイと通信するプロセッサを含み、前記プロセッサは、前記画像ソースからの距離でマッピング面を規定し、
前記画像ソースのそれぞれの視界は、マッピング面上に投影され、かつ部分的に重なる領域を有するそれぞれの画像を規定し、前記プロセッサは、画像を組合わせて、結果として各画像の固有の特徴を含む画像にする、システム。
【請求項３１】
前記プロセッサは、画像のうち、一方の画像に対して強度の高い他方の画像を表示して、これにより、結果として生じる画像を向上させる、請求項３０に記載のシステム。
【請求項３２】
前記プロセッサは、強度がより高い画素が、組合わされた画像において強化されるように、各画像の画素と重み画素とを、その関連付けられた強度に基づき評価する、請求項３０に記載のシステム。
【請求項３３】
環境の画像をディスプレイの視点に与えるための方法であって、
少なくとも部分的に重なるそれぞれの視界を有する少なくとも２つの画像ソースを提供するステップを含み、前記画像ソースは、各々が少なくとも１つの固有の特徴を有する画像をそれぞれ提供し、前記方法はさらに、
前記画像ソースからの距離でマッピング面を規定するステップを含み、前記画像ソースのそれぞれの視界は、マッピング面上に投影され、かつ部分的に重なる領域を有するそれぞれの画像を規定し、前記方法はさらに、
画像を組合わせて、結果として各画像の固有の特徴を含む画像にする、方法。
【請求項３４】
組合わせる前記ステップは、画像のうち、一方の画像に対して強度の高い他方の画像を表示して、これにより、結果として生じる画像を向上させる、請求項３３に記載の方法。
【請求項３５】
強度がより高い画素が、組合わされた画像において強化されるように、各画像の画素と重み画素とを、その関連付けられた強度に基づき評価するステップをさらに含む、請求項３３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、対象となる領域の視覚的な表示をユーザに提供するために使用される視覚ディスプレイシステムに関し、特に、複数のソースからの画像を組合せて対象となる領域の一貫した視野を提供するためのシステムおよび方法に関する。
【背景技術】
【０００２】
多くのフライトナビゲーション支援機器の出現にもかかわらず、航空機ナビゲーションの最も重要なツールの１つは、依然として視覚によるナビゲーションである。今日の航空機の多くは、機上レーダ、地上近接警告システム等の航空機周囲の空間についての付加的な情報をパイロットに与えるさまざまな安全性に関する機能を含む。これらシステムは、パイロットが視覚的に観測しているものをさらによく理解できるようにして飛行中の状況の認識を高める上でパイロットを支援する素晴らしい資源である。しかしながら、パイロットの視覚が妨げられる理由で、これらさまざまな機器がパイロットにとっての唯一の情報源となることがある。
【０００３】
視覚は、霧、雪または雨などの悪天候によって、または、夜、夜明けまたは夕暮れなどの一日のうちの時間帯によって妨げられることがある。さらに、航空機自身の視覚の限界によって視覚が妨げられることもある。多くの航空機のコックピットは、通常、視界が前方に面する区域に限られており、パイロットには航空機の側および後部は適切に見えず、垂直に航空機の上方および下方を適切に見ることもできない。
【０００４】
視覚が妨げられることは、航空機ナビゲーションにおいて安全性についての重要な懸念であり、コックピットからのパイロットの視野を拡大または強化するシステムを提供するために多大な努力がなされている。航空機上にある１つまたは複数のセンサを使用するシステムが開発されている。センサは選択された視界に向けられ、コックピット内のディスプレイシステムに画像を提供し、そこで画像がパイロットに表示される。センサは、ビデオカメラ、赤外線カメラ、レーダ等であってもよい。これらのシステムでは、パイロットが見るための画像の種類を選ぶことができる。たとえば、夜間の飛行または霧の状態では、パイロットは赤外線センサおよびレーダセンサからの画像を見ることを選び、晴天の状態では、パイロットはビデオカメラが送る画像を使用することがある。
【０００５】
このような１つのシステムが、ヘール（Hale）他による米国特許第５，３１７，３９４号に開示され、この明細書中に引用により援用される。このシステムでは、隣接するセンサが重なった視界を有するようにセンサは航空機の外部に位置付けられる。これらさまざまなセンサからの画像は航空機内のディスプレイシステムに提供され、そこでパイロットに表示される。画像は重ねられた構成で表示されるため、複合画像またはモザイク画像が得られる。
【０００６】
さらに発展したシステムが、「ヘルメット搭載ディスプレイを使用した外部航空機視覚システム（Exterior Aircraft Vision System Using a Helmet-Mounted Display）」と題される米国特許出願連続番号第０９／６０８，２３４号に開示され、ここにこれを引用により援用する。第０９／６０８，２３４号の出願は、航空機上にあるさまざまなセンサからの画像を表示するためのヘルメット搭載ディスプレイを含むシステムを開示している。重要なのは、このシステムがパイロットの頭部の動きを追跡するヘルメット追跡装置を含んでパイロットの現在の視線（ＬＯＳ：line of sight）および視界（ＦＯＶ：field of view）を判定する点である。これら方向情報を使用して、このシステムはパイロットが見ている視界を表わすセンサからの画像データを検索し、この画像をヘルメットのディスプ
レイに表示する。画像はパイロットが頭部を別の視線に移動するときに更新される。
【特許文献１】米国特許第５，３１７，３９４号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００７】
一般に、これらおよびその他の従来のシステムはかなり正確な視覚的な画像をパイロットに提供することでフライトの安全性を高める。しかしながら、これらのシステムには限界があり、パイロットに提供される画像の正確さが低下したり、またはパイロットに提供される画像に異常があってパイロットの視野が乱されることがある。たとえば、１つの問題は、センサの互いの間隔およびパイロットの位置に対する間隔に関し、記憶される合成データの場合、合成データとその他のセンサとパイロットの位置との間の遠近感の差に関する。互いに対するおよびコックピットに対するソースの間の物理的な距離は、パイロットに与えられる画像にゆがみを生じさせることがある。具体的には、この距離は、視差と称される画像内のゆがみを作り出す。視差は、新しい視線をもたらす観察位置の変化によって起こる対象物の方向での明らかな変化である。これら従来のシステムでは、センサおよび／または合成データソースは各々、パイロットの視線からみる景色に関して異なる視線を有する。そのため、センサの視点からの画像を見ると、パイロットには、それらの重なった視界の中で、航空機内のパイロットの位置に対する対象物の場所は正確に表現されない。
【０００８】
別の問題は、いくつかの画像をタイリングして複合画像を作ることに関する。多くの従来のシステムでは、隣接するカメラからの画像は互いに隣接して表示される。２つの画像の端縁はディスプレイ内で目に見える継目として現れる。これら継目は複合画像を見にくくし、パイロットが画像を全体として見るのを難しくする。この問題点を修正するため、先行技術のシステムには、隣接する画像の端縁を重ねて画像を混合しようとするものがある。この技術は、隣接する画像を当接させる従来の技術を改良したものであるが、依然として画像間に不連続性が見られることがある。
【０００９】
さらに別の問題は、ある所与の状況について最良の画像化を行なうための特定の種類のセンサの限界に関する。たとえば、たそがれの状態では、ビデオカメラは依然として認識可能な視覚画像を提供するが、低照度またはぼんやりした状態のために画像の詳細は劣化する。さらに、赤外線センサは熱検知に基づく画像化を提供するが、赤外線センサからの画像はたそがれ時の周囲の光を利用しない。多くの従来のシステムでは、これら画像から選択しなくてはならず、両方のセンサの利点を取入れた画像は利用可能でない。このため、パイロットは利用可能な最良の画像を見ることはできない。
【課題を解決するための手段】
【００１０】
この発明は強化された視覚システムで使用するためのシステムおよび方法を提供する。この発明のシステムおよび方法は、乗り物上または対象の区域内の異なる位置にある複数のセンサからの画像データを受取る。このシステムは、地形データベースなどのデータベースソースから合成画像データを受取ってもよい。システムおよび方法は、各ソースからの画像を同化して複合画像またはモザイク画像にする。この発明のシステムおよび方法は、システムのユーザの現在の視線（ＬＯＳ）を検出する。この視線に基づいて、システムおよび方法はユーザの現在の視界（ＦＯＶ）を表わす画像をユーザに表示する。
【００１１】
この発明のシステムおよび方法は、表示される画像内の視差に関する問題を低減する。具体的には、この発明のシステムおよび方法は、乗り物の前方または対象となる点において選択された距離に１つまたは複数の人工マッピング面を作る。人工マッピング面によって、異なるソースからのさまざまな画像を共通の基準のフレームによって互いに関連付けて、各ソースからのすべての画像を、所望の表領域適用可能範囲を表わすタイルの形態で
、マッピング面に投影させることができる。マッピング面は、観察者とソースとの間の距離の分離、ならびにさまざまなソース間の距離による観察者とソースとの間の対象となる対象物に対する視線の違いを関連付けるための基準のフレームを作る。
【００１２】
さらに、ソース、ディスプレイおよびマッピング面はすべて異なる座標系を有する。この発明のシステムおよび方法は、共通および基本の座標系を作り、これら成分の各々からの画像を共通および基本の座標系へと変換する。これによって、この発明のシステムおよび方法は、さまざまなソースからの画像を互いに関連付け、ビューワの基準のフレーム内でユーザにそれらを提供し、視差を低減および排除することができる。
【００１３】
視差に対する修正に加え、この発明のシステムおよび方法は、分散されたアパチャ画像をつなぎ合わせて継目のないモザイクにするための改良された方法も提供する。この発明のシステムおよび方法は、同じ種類のソースから受取られ、隣接するかまたは部分的に重なる視界を捉えたタイル画像の端縁を部分的に重ね合わせる。２つのタイル画像間の部分的に重なった領域においては、この発明のシステムおよび方法は、内側および外側の端縁を含む混合ゾーンを規定する。混合ゾーンにおいては、この発明のシステムおよび方法は、混合ゾーンで２つのタイル画像を一緒に混合するために、各タイル画像の個々の画素の強度を変える。混合ゾーンにおける左側の画像の画素は、混合ゾーンの左側端縁に隣接する画素に対する１の強度値から、混合ゾーンの右側端縁に隣接する画素に対する０の強度値へ漸減される。逆の態様では、混合ゾーンにおける右側の画像の画素は、混合ゾーンの左側端縁に隣接する画素に対する０の強度値から、混合ゾーンの右側端縁に隣接する画素に対する１の強度値へ漸増される。混合ゾーンにおける画素の強度値のこの変更によって、２つの画像間のつなぎ合わせを向上させる。同じ態様で上部および底部のつなぎ合わせが実行される。
【００１４】
この発明のシステムおよび方法は、異なる種類のセンサからの画像を重ね合わせるかまたは融合させるための方法も提供する。具体的には、この発明のシステムは、視界が同じかまたは重なっている異なる種類のセンサを含んでもよい。センサは、同じ視界の異なる画像を提供し、各センサは関連付けられる利点および欠点を有する。たとえば、１つのセンサはビデオカメラであってもよく、光の量または可視性によって影響される画像を提供し、他方のセンサは熱検知に基づく画像を提供する赤外線センサであってもよい。この発明のシステムおよび方法は、これらセンサからの画像を重ね合わせるかまたは融合させて強化された画像を提供するための方法を提供する。
【００１５】
システムおよび方法は、画像を融合するための２つの代替的な方法を含む。第１の代替例においては、この発明のシステムおよび方法は、強度に関する割合の値を、各タイル画像に割当てる。たとえば、１つのタイル画像は３０％の強度で、他方のタイル画像は７０％の強度で規定され得る。これら画像は、次いで、この強度の割合で合計され、これにより、ユーザに両方の画像の利点を提供する。第２の代替例においては、各タイル画像は、その内容に基づいて表示される。たとえば、可視および赤外線画像が類似の視界を覆うと仮定する場合、画像を画素レベルで組合わせることができ、この場合、その画素強度に基づいて赤外線画像に優先順位が与えられ得る。この場合、赤外線画素が最大７５％である場合、結果として生じる画素は、７５％のＩＲ画素強度および２５％の可視画素強度から構成されることとなる。
【００１６】
この発明のシステムおよび方法は、所与の表示される画像内の異常の数を低減するための方法もさらに含む。この発明のシステムおよび方法は、各画素に関連付けられる強度の値を評価する。画素または一連の画素の強度の値が近隣の画素と比較して過剰であれば、この発明のシステムおよび方法は、近隣の画素からの平均の強度の値に基づいて強度を減少させることができる。
【発明を実施するための最良の形態】
【００１７】
この発明を一般的に説明したので、ここからは添付の図面を参照する。添付の図面は必ずしも同じ縮尺で書かれていない。
【００１８】
この発明の好ましい実施例が示される添付の図面を参照して、この発明をさらに詳しく説明する。しかしながら、この発明は、多くのさまざまな形で実施可能であり、ここに記載される実施例に限定されると見なされるべきではない。これら実施例はこの開示を完全かつ完璧なものとするために提供されるものであり、当業者にこの発明の範囲を十分に伝えるものである。同様の参照番号は同様の要素を示す。
【００１９】
この発明は、強化された視覚ディスプレイで使用するためのシステムおよび方法を提供する。この発明のシステムおよび方法は、乗り物上または対象となる区域内の異なる位置にある複数のセンサからの画像データを受取る。システムおよび方法は、各ソースからの画像を同化して複合画像にする。システムにはデータソースからの合成データを設けてもよい。センサまたは合成データソースはともに、ここではソースと称される。この発明のシステムおよび方法は、システムのユーザの現在の視線（ＬＯＳ）を検出する。この視線に基づいて、システムおよび方法は、ユーザの現在の視界（ＦＯＶ）を表わす画像をユーザに表示する。
【００２０】
この発明のシステムおよび方法は、表示される画像内の視差に関する問題を低減する。具体的には、この発明のシステムおよび方法は、乗り物の前方または対象の点において選択された距離に１つまたは複数の人工マッピング面を作る。この人工マッピング面によって、異なるソースからのさまざまな画像を共通の基準のフレームによって互いに関連付け、各ソースからの画像のすべてをマッピング面に投影させることができる。マッピング面は、観察者とソースとの間の距離の分離およびソース自体間の距離による観察者とソースとの間の対象の対象物に対する視線の差を互いに関連付けるための基準のフレームを作る。
【００２１】
さらに、ソース、ディスプレイおよびマッピング面はすべて異なる座標系を有する。この発明のシステムおよび方法は、共通の座標系を作り、これら成分の各々からの画像を共通の座標系へと変換する。これによって、この発明のシステムおよび方法は、さまざまなソースからの画像を互いに関連付け、ビューワの基準枠内でそれらをユーザに提供して、視差を低減および排除することができる。
【００２２】
視差に対する修正に加え、この発明のシステムおよび方法は、さまざまなタイル画像をつなぎ合わせて複合画像にするための改良された方法も提供する。この発明のシステムおよび方法は、同じ種類のソースから受取られ、隣接するかまたは部分的に重なった視界を捉えたタイル画像の端縁を部分的に重ね合わせる。２つのタイル画像間における部分的に重なった領域においては、この発明のシステムおよび方法は、２つの垂直な端縁を有する混合ゾーンを規定する。混合ゾーンにおいては、この発明のシステムおよび方法は、２つのタイル画像を一緒に混合するために、各タイル画像の個々の画素の強度を変える。混合ゾーンにおける左側の画像の画素は、混合ゾーンの左側端縁に隣接する画素に対する１の強度値から、混合ゾーンの右側端縁に隣接する画素に対する０の強度値へ漸減される。逆の態様では、混合ゾーンにおける右側の画像の画素は、混合ゾーンの左側端縁に隣接する画素に対する０の強度値から、混合ゾーンの右側端縁に隣接する画素に対する１の強度値へ漸増される。混合ゾーンにおける画素強度値のこの変更によって、２つの画像間のつなぎ合わせを向上させる。同じ態様で上部および底部のつなぎ合わせが実行される。
【００２３】
この発明のシステムおよび方法は、異なる種類のセンサからの画像を重ね合わせるかま
たは融合するための方法も提供する。具体的には、この発明のシステムは、視界が同じかまたは重なっている異なる種類の２つのセンサを含んでもよい。センサは、同じ視界の異なる画像を提供し、各センサは関連付けられる利点および欠点を有する。たとえば、一方のセンサはビデオカメラであってもよく、光の量および可視性によって影響される画像を提供し、他方のセンサは、熱検知に基づいて画像を提供する赤外線センサであってもよい。この発明のシステムおよび方法は、これらセンサからの画像を重ね合わせるかまた融合させて強化された画像を提供するための方法を提供する。
【００２４】
システムおよび方法は、画像を融合するための２つの代替的な方法を含む。第１の代替例においては、この発明のシステムおよび方法は、強度に関する割合の値を各タイル画像に割当てる。たとえば、一方のタイル画像は３０％の強度で、他方は７０％の強度で規定され得る。これら画像は、次いで、この強度割合で合計され、これにより、ユーザに両方の画像の利点を提供する。第２の代替例においては、各タイル画像は、その内容に基づいて表示される。たとえば、類似の視界を覆う可視画像および赤外線画像では、画像を画素のレベルで組合せて、その画素の強度に基づいて赤外線画像に優先順位を与えてもよい。この場合、赤外線画素が最大７５％であれば、結果的な画素は７５％のＩＲ画素強度および２５％の可視画素強度から構成される。
【００２５】
この発明のシステムおよび方法は、所与の表示された画像内の異常を最小限にするための方法も含む。この発明のシステムおよび方法は、隣接する画像内の局所的な区域に関連付けられる強度の値を評価する。この発明のシステムおよび方法は、隣接および類似の視界画像のための局所的な輝度の不連続性の修正のための手段を提供する。
【００２６】
上述のように、この発明のシステムおよび方法は、強化された視覚システムを提供する。この発明のさまざまな局面を以下にさらに詳しく説明する。
【００２７】
まず第１に、この発明のシステムおよび方法は、航空機であれ、自動車であれ、または他の種類の乗物であれ、もしくは警戒区域または監視区域などの特定の場所または環境などの視覚的な状況の認識が関心事である環境で使用できることに注意されたい。以下の実施例では、システムおよび方法は航空機に関して開示されている。航空環境は動的な環境であり、このシステムのロバスト性を説明するのに役立つ。しかしながら、これはシステムおよび方法の使用の一例にすぎず、この発明の使用については幅広いさまざまな別の用途が考えられることを理解されたい。
【００２８】
図１（Ａ）および図１（Ｂ）は、この発明のシステムおよび方法を組込むことのできる航空機１０を示す。この実施例では、この発明のシステムは、航空機上のさまざまな位置にある複数のセンサ１２を含んでもよい。センサは異なる方向付けで航空機の前方にあり、さまざまな前方の視野１４、側の視野１６、上方の視野１８および下方の視野２０を提供する。さらに、実施例によっては、後部の視野２１のために航空機の後部にセンサがあってもよい。図示されていないが、さまざまなセンサが航空機の翼、上部および底部側にあってもよい。このシステムで使用される典型的なセンサは、たとえば、低照度ビデオカメラ、長波赤外線センサおよびミリメートル波レーダなどである。
【００２９】
図２（Ａ）に示されるように、さまざまなセンサ１２は航空機上にある画像プロセッサ２２に電気的に接続される。この発明の画像プロセッサは、センサからのさまざまな画像を同化させて表示する。航空機に関連する位置的な情報（すなわち、経度、緯度、ピッチ、ロール、ヨー等）を提供するためのナビゲーションシステム２４も画像プロセッサに接続される。ナビゲーションデータベース２６も合成ナビゲーションデータをシステムに与えるためにあってもよい。合成ナビゲーションデータは、通常、地理的な場所内の他の対象の点の地形をシミュレートする３Ｄグラフィックデータである。
【００３０】
重要なことには、ディスプレイ２８も画像プロセッサに接続される。この特定の実施例では、ディスプレイは、パイロットまたは他の見る人のヘルメットにあるヘルメット搭載のディスプレイである。ヘルメット追跡装置３０がヘルメットに関連付けられる。ヘルメット追跡装置は、乗り物に対するユーザの現在の視線に関する情報を画像プロセッサに提供する。図２（Ｂ）に示されるように、一連のセンサまたはリフレクタは、ユーザによって着用されるヘルメット３２上のさまざまな位置にある。追跡装置３０は、ヘルメットに対して或る位置にあり、センサの動きおよび方向付けを追跡して、乗り物に対するユーザの視線を判定する。そのような追跡装置は、カリフォルニア州サンタモニカのBAE Systemsなどの軍事業者、またはバーモント州ミルトンにある、Ascension Technology Corporationなどの商業者およびここに記載しないいくつかの他の業者から入手可能である。ヘルメット追跡装置はこの発明に必要でないことを理解されたい。そのような装置を使用する代わりに、乗り物自体またはジョイスティック制御等の方向付けを使用してユーザの視線を判定することができる。同様に、警備または監視場所の環境では、視線は対象の視野に向けられた固定された値であり得る。
【００３１】
図３は、画像プロセッサ２２の詳細な動作図を提供する。画像プロセッサは、中央プロセッサ３６およびグラフィックスアクセラレータ３８を含む。１つまたは一連のフレームグラバ４０がさまざまなセンサ１２（図示せず）に接続される。フレームグラバは、センサからの画像データを捉え、ＰＣＩバスを介してこれらの画像をプロセッサメモリ４２に記憶する。入出力インターフェイス４４が中央プロセッサに関連付けられて、さまざまなパイロット入力コマンドのみならず、ヘルメット追跡装置３０、ナビゲーションシステム２４、ナビゲーションデータベース２６から入力を受取る。グラフィックスアクセラレータ３８は、別個のメモリ装置４６と、グラフィックスプロセッサ４８と、ヘルメットにおけるディスプレイ（図示せず）に接続されるフレームバッファ５０とを含む。
【００３２】
図４には、画像プロセッサの動作が示される。図４に示される動作すべてが連続して起こるわけではないが、中央プロセッサおよびグラフィックスプロセッサは、ステップのうちいくつかを同時に実行する。概略すると、動作においては、フレームグラバ４０は、さまざまなセンサ１２から画像データを受取り、このデータをプロセッサメモリ４２に記憶する（ステップ２００を参照）。中央プロセッサ３６は、最初のステップとして、航空機からの選択された距離に位置する幾何学的マッピング面を作り出す（ステップ２１０を参照）。幾何学的面を用いて、各センサからのさまざまな画像を共通の基準フレーム上にタイリングする。幾何学的面を用いて、３Ｄ空間において画像タイルを記述する頂点メッシュを規定する。
【００３３】
中央プロセッサは、さまざまな画像ソースと、マッピング面と、ディスプレイ空間との間にベクトル変換を含む光線追跡モデルを設定する（ステップ２２０を参照）。各画像タイル頂点は、その関連付けられるソース画像にマッピングされ、テクスチャ座標を規定する。これらの頂点およびテクスチャ座標は、さらに説明される他の成分とともに、３Ｄ映像テクスチャの三角形としてこれらの記述をレンダリングするグラフィックスプロセッサに送られる（ステップ２６０）。
【００３４】
特に、この発明の一実施例の中央プロセッサは、オープンジーエル・アプリケーション・プログラミング・インターフェイス（OpenGL Application Programming Interface）を用いて、グラフィックスアクセラレータと通信する。マッピング面の各頂点については、中央プロセッサは、オープンジーエルのコマンド構造を用いて、グラフィックスプロセッサ３８に３つのベクトル値データセットを与える。中央プロセッサは、１）幾何学的マッピング空間上の３Ｄ座標点を表わす頂点ベクトルと、２）頂点に対応する関連付けられたテクスチャ画像位置を表わすテクスチャ座標ベクトルと、３）特定の色（赤、緑および青
）およびアルファ混合値を示す色ベクトルとを与え、これらすべてが用いられて、関連する画素をいかに表示すべきかが決定される。
【００３５】
この頂点、テクスチャおよび色情報は、三角形メッシュを記述する集合としてグラフィックスプロセッサに送られる。グラフィックスプロセッサは、これらの構成物を用いて、三角形メッシュをレンダリングし、個々のタイリングされた画像をそれぞれの端縁で一緒につなぎ合わせて複合画像を形成する（ステップ２４０を参照）。特に、各画像の端縁を、隣接するタイルと部分的に重ね合せる。これらの部分的に重なった領域におけるテクスチャ座標に関連付けられる頂点を処理して、隣接する画像の緊密な混合を確実にする。この手順を達成するために、中央プロセッサは、頂点情報がグラフィックスプロセッサに与えられる際に、頂点に対する色に関連付けられる強度α値を変更する。画像を一緒につなぎ合わせるための手順は、以下により十分に説明される。
【００３６】
開示された実施例のシステムおよび方法は、ＯＰＥＮ  ＧＬコマンド構造を用いてグラフィックスプロセッサと通信するが、他のコマンド構造を用いることができ、かつ、これをこの明細書中で企図することが理解されるべきである。
【００３７】
この発明のシステムおよび方法はまた、類似する視界の画像を一緒に融合する能力を提供する（ステップ２５０を参照）。特に、システムは、部分的に重なる視界を有する１つ以上の異なった種類のソースを含み得る。これらのソースは、ソースの特性に基づき、同じ視野の異なる画像を作り出す。グラフィックスプロセッサは、これらの画像を一緒に混合するので、両方の画像の利点が、表示された画像に組込まれる。画像を一緒に融合するための手順が、以下に、より十分に説明される。
【００３８】
各画像のテクスチャ座標を幾何学的マッピング面の頂点に相関付けるのに加えて、中央プロセッサはまた、頭部追跡装置３０から、ユーザの視線を判定する（ステップ２７０を参照）。中央プロセッサは、プロセッサメモリ４２に記憶され、現在の視線に対する視界内にあるそれらのタイル画像を、グラフィックスアクセラレータ３８のメモリ４６にロードする（ステップ２８０を参照）。頂点値の各集合が中央プロセッサから受取られると、グラフィックスプロセッサは、メモリ４６に記憶されたテクスチャ画像からのデータを、ユーザの視界にある幾何学的空間の各頂点に関連付け、画像データをディスプレイ空間にレンダリングする（ステップ２９０を参照）。次いで、レンダリングされたデータは、グラフィックスプロセッサ映像出力電子機器を介してディスプレイに与えられる（ステップ３００を参照）。このプロセスは、利用可能な最新の入力画像を用いて、ディスプレイ映像垂直フレーム率で連続して繰返される。
【００３９】
上述のように、視覚システムの大きな問題は、視差の現象であり、これは、見る人からのソースの物理的な分離ならびにソース自体の間の分離によって起こる。この分離によって、ある対象物に対するソースの遠近感はユーザの位置の遠近感とは異なる。これらの問題に対処するため、この発明のシステムおよび方法は、視差に関する問題を排除できないとしても低減させる２つの手順を提供する。具体的には、この発明のシステムおよび方法は、まず、さまざまなセンサからの画像を共通の空間にマッピングすることのできる幾何学的なマッピング空間を規定する。次に、この発明のシステムおよび方法は、共通の基準座標系を作り、ソース、マッピング面およびディスプレイを共通および基本の座標系へと変換する。
【００４０】
幾何学的なマッピング面に関して、この発明のシステムおよび方法は、センサによって画像化されている現実世界の環境の幾何学的構造を１つまた複数の連続するマッピング面を用いて近似する。ソースからの画像は、マッピング面にマッピングされ、次いで、ディスプレイにマッピングされる。このような態様で、ディスプレイおよびソースの各画素は
、見るために共通の基本の座標系へと相関付けられる。
【００４１】
図５を参照すると、幾何学的マッピング面は、３Ｄ空間において一連のメッシュ三角形として規定される。各三角形は、３つの頂点によって規定される。図５に図示されるように、幾何学的空間における各頂点に対して、中央プロセッサは、頂点を、関連する入力画像内の位置に対する座標に関連付けるテクスチャ座標を提供する（図４のステップ２３０を参照）。このようにして、頂点がマッピング面からソース画像へと光線追跡されて、レンダリングのために関連付けられたテクスチャ座標を決定する（ステップ２９０を参照）。次いで、画像がレンダリングされ、表示される。
【００４２】
図６Ａ〜図６Ｄを参照すると、幾何学的マッピング面が、各ソースに対するベクトル領域を決定するために選択される。言い換えれば、共通の外側の境界が、すべてのソースに対して選択される。次いで、各ソースからの画像が、幾何学的面にマッピングされ、次に、航空機を取囲む区域の整合のとれた画像のためにディスプレイにマッピングされる。ソースの位置に対する幾何学的面の位置の選択は、視差を含む問題を軽減するのに重要である。図６Ａには、センサＡおよびセンサＢの２つのセンサからの異なった距離の空間における２つの対象物（正方形の対象物５２および三角形の対象物５４）が示される。これらセンサは、センサの視界にさらに多くの部分的な重なりを作るために、互いに対して僅かに「トウイン」されている。（これは、典型的には、この理由のためにシステムのセンサ１２でなされる。）２つの対象物を正確にマッピングするために、マッピング面６０は、２つの対象物が観察者に適切に見えるように選択されるべきである。図６Ｂ〜図６Ｄには、マッピング面の位置の選択に伴う問題が示される。
【００４３】
具体的には、図６Ｂおよび図６Ｄは、正方形の対象物５２の場所に面６０を置くことに関する問題を示す。この場合、面が選ばれた後、正方形の対象物５２は、各センサについて面６０の同じ場所へと投影される。センサＡについては、三角形の対象物は位置５６ａにマッピングされ、センサＢについては、三角形の対象物は位置５６ｂで面にマッピングされる。図６Ｄに示されるように、２つのセンサからの画像が組合わさると、観察者には視界に２つの三角形があるように見える。
【００４４】
図６Ｂおよび図６Ｃを参照すると、類似の態様で、面６０が三角形の対象物５４の位置に選択されると、三角形の対象物５４は、各センサについて面６０の同じ場所へとマッピングされる。センサＡについて、正方形の対象物は位置５８ａにマッピングされ、センサＢについては、正方形の対象物は位置５８ｂで面にマッピングされる。図６Ｃに示されるように、この場合、２つの視野からのタイル画像が組合わさると、視界に２つの正方形があるように見える。
【００４５】
図６Ａ〜図６Ｄに示されるように、幾何学的なマッピング面の位置の選択は、視差の異常を低減する上で重要な問題である。たとえば、図６Ａ〜図６Ｄに示される場合では、適切なマッピング面の場所は、理論的には同じ光線に沿った異なる範囲にある対象物に対する中間である。言換えれば、マッピング面の場所は、視点の遠近感から表わされる相対的な３Ｄ幾何学的構造の関数であり、最良で不連続的であり、最悪で不定である。これは、画像化されている幾何学的構造を近似させて視差異常を最低限にする解決策が得られるように面が選ばれるためである。
【００４６】
航空機の場合、球を幾何学的なマッピング面として使用してもよい。かなりの高度では、視差異常はゼロに向かう傾向があり、幾何学的なマッピング面は何らかの理論的な最大距離に選ぶことができる。しかしながら、航空機が下降し地面に近づくと、航空機の場所と幾何学的なマッピング面との間の距離は、航空機と地形などのまわりの対象物との間の距離をより厳密に近似させるために減らさなければならない。したがって、低高度飛行、
着陸、およびタキシング、または地上の乗り物内もしくは地上の用途の場合、球とともにまたは球に対して平らな幾何学的な面を使用して、地上面を近似してもよい。計算の複雑さを犠牲にして、画像化されている幾何学的構造の演繹的知識に基づき、さらに特定的に近似することができる。
【００４７】
たとえば、何らかの合成ナビゲーションデータは、さまざまな地形の特徴を表わすために多角形を使用することによって３Ｄで表わされる地形データを含む。多角形をマッピング面に使用してもよい。この場合、システムはさまざまな幾何学的な面を含み、ディスプレイに最も近い面がマッピング面として使用される。航空機が移動するにつれ、幾何学的なマッピング面は、合成データからのそのときに最も近い幾何学的な面に変化する。
【００４８】
別の例では、システムは、地形およびその他の特徴への範囲を示すレンジング装置からのデータを受取ってもよい。この範囲データは、幾何学的なマッピング面を構築するために使用することができる。
【００４９】
幾何学的マッピング面が選択されると、ソース、マッピング面およびディスプレイの座標系間で変換するための共通または基本の座標系を作ることが重要である。図７は、ソース６１および対象物６２に対して選択された球状の幾何学的なマッピング面６０を示し、対象物は面の６２′へと投影されている。この図に示されるように、ソース６１は座標系６４を有し、ディスプレイは座標系６６を有し、マッピング面は座標系６８を有し、これらはすべて互いに異なる。対象物は基本の座標系を作り、これによってソース６１、幾何学的マッピング面およびディスプレイのベクトル空間の間でのマッピングが可能となる。ベクトル空間を介する面と座標系と幾何学的マッピングとのこの集合は、光線追跡モデルと称される。
【００５０】
光線追跡モデルは、典型的には乗物の座標に関連付けられるデカルト基準空間７０を用いる。正確な変換を確実に実行するために可能な限り多くの要因を考慮に入れることが重要である。特に、各ソースおよびディスプレイは、光学射出または入射瞳のｘ、ｙおよびｚ位置、ならびに外側の光学軸のピッチ、ロールおよびヨーの原因となる完全な６自由度の構成要素としてモデリングされる。さらに、各ソースに関連付けられる光学機器はまた、ソースが受取る画像の遠近感に影響を及ぼし、光学機器自体によって、またはソースもしくはディスプレイの画素分布（ラスタ）によってもたらされる歪みも発生し得る。このことを考慮して、変換は、光学的歪みおよびラスタ歪みに対する非線形変換による、完全な６自由度の構成要素としての、システムにおける各ソースおよびディスプレイのモデリングを含む。
【００５１】
ソースおよびディスプレイに対するこの変換プロセスが、図８に、より具体的に示される。特に、各ソースまたはディスプレイに対する基準座標は、６自由度の６ＤＯＦ基準によって規定される。各構成要素はまた、瞳空間において、錐台の形状のビューイングボリューム７４を有する。この錐台は、近い面７６ａおよび遠い面７６ｂ、ならびに左側部、右側部、上側部および下側部７６ｃ〜７６ｆによって規定され、これらは、構成要素に関連付けられる視線７８からは半分の角度である。視線は、構成要素の座標基準のｘ軸に沿って選択される。
【００５２】
センサ構成要素については、画像は、センサによって受取られると、センサの光学機器を通過し、これにより画像８０が歪められる。したがって、画像は、最初に、瞳空間から画像空間に変換されて（ｆoptic）、光学機器によるこれらの非線形変換の原因となる。この変換に続いて、画像がラスタ空間に変換され（ｆraster）、これにより、ラスタ８２上においてディスプレイのためにラスタ空間の原点および尺度が設定される。ディスプレイに対する変換は逆の順序である。特に、ラスタ空間は、最初に、画像空間（ｆ-1raster
）に変換され、これにより、瞳空間（ｆ-1optic）に変換される。これらの非線形変換はすべて、光線追跡モデル内で前方向および逆方向の両方に用いることができる。
【００５３】
幾何学的マッピング面交差点はまた、図７の基準座標空間７０に変換され得る。これは、面の特定の幾何学的形状に関する、幾何学的構造に基づく変換を用いて達成される。特に、図９に示されるように、所与の位置Ｐから、視線Ｕpが規定される。面交差点Ｓは、視線がマッピング面６０と交差するところに規定される。この点は、局所的なユークリッド空間に変換され、面ｆsurface（Ｕp，Ｖop）にマッピングされる。次いで、面交差点は、面ｆ-1surface（Ｕos，Ｖop）からマッピングされ、基準座標系に変換される。
【００５４】
ソース、マッピング面およびディスプレイのための上述の変換を用いて、各ソースによって捉えられる画像を適切に相関付け、これにより、画像を適切に整合および表示することができる。
【００５５】
上述のように、この発明の中央プロセッサは、各ソースからの各画像をマッピング面に関連付ける。この手順はタイリングと称される。各画像については、区域またはタイルは、マッピング面上で、典型的には一定の方位角の境界および一定の仰角の境界によって規定される。タイリングは、画像の境界を審美的に形作ることを可能にするだけでなく、グラフィックスプロセッサにより絶えずレンダリングされるマッピング面の各頂点に対する正確なつなぎ合わせおよび融合の混合係数定義を可能にする。
【００５６】
図１０には、このタイリング手順が示される。上述のように、マッピング面６０は、頂点８４の集合として規定される。中央プロセッサは、これらの頂点を、特定の画像に対するテクスチャ座標に関連付ける。特に、ソース１２からの画像８６は、マッピング面６０上に有効に投影される。頂点は、マッピング面座標系６８に対して位置決めされる。頂点は、投影された画像によって覆われる区域のサブセットであるタイル９０を規定する。次にレンダリングおよび表示されるのが、このタイル部分９０である。画像全体の寸法より小さいタイルを選択することにより、センサ光学機器または他の歪みのせいで、典型的には画像の縁にもたらされるフェーディングまたは他の劣化をタイル画像からなくす。上述のプロセスは、複合画像を表示するのに用いるための一連のタイルが作られるように、すべての画像に対して実行される。
【００５７】
図１１に図示されるのは、中央プロセッサによって用いられる変換であり、これにより、頂点および関連するテクスチャ座標がグラフィックスプロセッサに与えられて、画像をレンダリングおよび表示する。図１１に示されるように、ソース１２はそれ自体の座標系６４を有し、これには画像８６が含まれ、この画像８６は、画像に対応する頂点８４を有するマッピング面６０にマッピングされる。ディスプレイ２８は、関連付けられた座標系６６を有し、マッピング面の前方に配置される。さらに、ソース１２のラスタ空間９４と、ディスプレイのラスタ空間９６とが示される。タイル頂点は、ソースラスタ空間９４にマッピングされ、これにより２Ｄテクスチャ座標が設定される。
【００５８】
ディスプレイ２８が線形ディスプレイ光学機器を有する場合、タイルを規定する頂点８４は、３Ｄテクスチャの多角形としてレンダリングされて、これにより、ディスプレイ瞳空間からの遠近投影をディスプレイラスタ空間９６に与える。ディスプレイが非線形光学機器を有する場合、タイル頂点は、ディスプレイラスタ空間にマッピングされて、２Ｄ頂点座標を設定する。タイル頂点は、次いで、２Ｄテクスチャの多角形としてレンダリングされる。これは、ディスプレイ画像空間からディスプレイラスタ空間への正射投影である。
【００５９】
各画像を共通のマッピング面へ正確にマッピングすることと、画像、マッピング面およ
びディスプレイを共通の座標系に関連付けるために変換することとに加えて、この発明のシステムおよび方法は、表示される画像を向上させるための技術も提供する。先に述べたように、この発明のシステムおよび方法は、隣接する画像タイルを一緒につなぎ合わせて、複合画像を形成するための方法を提供する（図４のステップ２４０を参照）。図１２および図１３には、このつなぎ合わせプロセスが示される。
【００６０】
特に、図１２には、水平なモザイク画像配列１００を集合的に規定する一連の画像タイル９８ａ〜９８ｉが示される。これらのタイルの各々は、ソースで捉えられ、各タイルの隣接する端縁が同一の画像を含むように、互いに僅かに部分的に重なる。たとえば、タイル９８ｆの端縁部分１０２は、タイル９８ｅの端縁部分１０４に表示されるのと同じ視野を表示するものである。同じことが、各タイルの他の隣接する部分すべてに対して当てはまる。これは、２次元のモザイク配列にも適用され、この場合、垂直に隣接するタイルの上端部および下端部が混合される。
【００６１】
各タイルの端縁において画像が同じであると仮定すると、タイルは、画像の共通部分が互いに重なり合うように、その隣接する端縁が部分的に重ね合わされる。この関係は、中央プロセッサによって数学的に設定される。特に、中央プロセッサは、各タイルに対しては、同じマッピング面頂点を有するよう各タイルの端縁部分を規定する。たとえば、端縁部分１０２における画素１０２ａは、端縁部分１０４における画素１０４ａとして、指定された同じマッピング面頂点を有するだろう。より特定的には、中央プロセッサが、第１のタイル９８ｅをレンダリングするためにグラフィックスプロセッサに情報を送ると、それは、端縁部分１０４を表わす三角形ストリップのための頂点、テクスチャおよび色情報を送るだろう。中央プロセッサが、第２のタイル９８ｆをレンダリングするために情報を送ると、それは、端縁部分１０２を表わす三角形ストリップのための頂点、テクスチャおよび色情報を送るだろう。異なるタイルに対する２つの画素１０２ａおよび１０４ａが、独立しているが同一である頂点ストリップから決定されるので、グラフィックスプロセッサは、ディスプレイ上の同じ位置において２つの画素をレンダリングし、かつ表示するだろう。これは、隣接するタイル間に部分的な重なりを設けるために画像が同じである各隣接するタイルにおける各対応する画素に対してなされる。これが、図１２に示される隣接した端縁すべてに対してなされることに留意されたい。タイル９８ａ〜９８ｉを部分的に重ね合わせることにより、複合モザイク画像１００を表示することができる。
【００６２】
タイルの部分的に重なる隣接した端縁により、或る程度つなぎ合わされるが、単に部分的に重ねるだけでは、継目のない画像はもたらされない。このために、この発明のシステムおよび方法はさらに、画像を処理して隠れた継目を作り出す。図１３を参照すると、この発明のシステムおよび方法は、オープンジーエルのテクスチャ調整と画素混合能力とを活用して継目を隠す。特に、図１３に示されるように、一連の画像１０６ａ〜１０６ｄは、マッピング面６０上でレンダリングされて、複合画像１０８を形成する。この発明のシステムおよび方法は、マッピング面６０上において、画像が部分的に重なる位置に混合ゾーン１１０を規定する。各混合ゾーンは、マッピング面上において複数の頂点を規定する。
【００６３】
２つの画像を混合するために、この発明の中央プロセッサは、混合ゾーンにおける頂点の色の強度値を変更する。特に、先に述べられるように、各頂点に対しては、中央プロセッサは、頂点座標、テクスチャ座標および色を規定する。色に関連付けられるアルファ混合値が、グラフィックスプロセッサによって用いられて、現在レンダリングされる画素がいかにフレームバッファの内容に寄与するかを決定する。この発明の一実施例では、中央プロセッサは、グラフィックスプロセッサのテクスチャ調整および混合能力が、２つのタイル画像を一緒に混合するために混合ゾーンにおいて漸減する効果をもたらすように、頂点色を規定する。テクスチャ調整では、結果として生じる画素色は、関連する頂点から補
間される単色として始まるが、関連するテクスチャ画像内容でもってこの色を調整することにより、さらに変更される。たとえば、頂点がすべて赤の三角形は、通常、単色の赤の三角形としてレンダリングされるが、関連付けられるモノクロのテクスチャ画像によって調整される場合、結果として赤の三角形画像が現われることとなる。この調整は、赤、緑および青の画素値に対して独立して実行され、こうして、緑のテクスチャを有する青の三角形は、結果として黒の画素になる。
【００６４】
混合関数には、レンダリングされた画素とフレームバッファにおける既存の画素との重み付け総和が含まれ、赤、緑および青の構成要素に対して独立して実行される。第１の混合関数（f1blend()）は、画素に対して、補間された頂点アルファ値を用いて、以下のように重み付けを決定する。
【００６５】
Display=f1blend()=α*ImageA+(1-α)*ImageB.
第２の混合関数（f2blend()）は、ソース画素のImageAに対してのみ、補間されたアルファを用い、ImageBの重み付けに対して１を用いる。すなわち、以下のとおりである。
【００６６】
Display=f2blend()=α*ImageA+(1)*ImageB.
特定のモザイク端縁混合ゾーンの２つの三角形ストリップをレンダリングする場合、第１のストリップは、f1blend()を用いてレンダリングされ、次いで、第２のストリップは、f2blend()を用いてレンダリングされる。なんらかの基本演算では、フレームバッファが最初に画素値Display0を含むと仮定すると、結果として生じる画素値を以下のように示すことができる。
【００６７】
Display2=α*ColorB*ImageB+α*ColorA*ImageA+(1-α)*Display0
ColorAおよびColorBは、和が１になるように、混合ゾーンの色の漸減によって規定される。
【００６８】
ColorB=1-ColorA
Display2=α*(ImageB-ColorA*ImageB+ColorA*ImageA)+(1-α)*Display0
さらに、画像の位置合わせが完全であるか、または、ImageBとImageAとが等しいと仮定すると、結果は以下のとおりである。
【００６９】
Display2=α*ImageB+(1-α)*Display0
位置合わせの誤りによる画素値誤差を以下のように示すことができることもわかる。
【００７０】
DisplayError=α*ColorA*(ImageA-ImageB)
これは、混合ゾーン領域におけるすべてのディスプレイ画素に当てはまる。というのも、要因となる各ソース画像からの三角形のストリップは、同一の頂点位置と、和が１である色の変化度合いとで規定されるからである。
【００７１】
混合ゾーン定義は和が１となるよう指定されるが、隣接するソース画像間の輝度の不整合が、依然として、複合画像に不連続性を引起こすおそれがある。この不連続性は、より明るい画像の内側の混合ゾーン頂点の色等級を減ずることにより、最小限にされる。等級スケール係数は、問題となっている点における隣接する画像の相対的な輝度率の割合として算出される。局所的な区域の単純な平均値が、各ソース画像に対する各混合ゾーンテクスチャ座標で算出される。たとえば、図１４に示されるように、２つの画像が継目１１２で一緒につなぎ合わされる場合、画像間に輝度１１４の違いが生ずる可能性がある。これを軽減するために、より明るい画像に対する強度等級を相対的な強度率で減じることができ、結果として、より好ましい輝度整合１１６となり得る。
【００７２】
隣接するタイル端縁を混合するための方法を提供することに加えて、この発明は、異なる種類のソースからの画像を融合するための方法も提供する。画像融合により、ユーザには、要因となる各ソースによって提供される固有の利点を含む複合画像が見えるようになる。ビデオカメラおよび赤外線ソースからの画像を融合する例では、融合された画像は、カメラの視覚的特性および赤外線ソースの熱視覚化の恩恵を得る。
【００７３】
図１５は、融合を図示したものである。図示のとおり、中央プロセッサ３６は、同じかまたは類似の視界を有する２つの別個のソースから、別個の画像１１８ａおよび１１８ｂを受ける。動作においては、中央プロセッサは、モザイク画像タイルに類似する要因となる各画像に対する画像メッシュを規定するが、この場合、要因となる各タイルは、小さな混合ゾーンではなく、大きな区域において部分的に重なる傾向がある。一方の画像または他方の画像を強調するために、中央プロセッサは、タイル頂点のアルファ混合色値を用いる。たとえば、割合に基づいた方法では、中央プロセッサは、同じアルファ値を、特定のメッシュにおけるすべての頂点に割当てる。f1blend()関数を用いることにより、メッシュは、先に規定された重み付け和を用いてソース画素を現在のディスプレイ画素値と組合わせるように、レンダリングされる。
【００７４】
Display1=f1blend()=α*ImageA+(1-α)*Display0
割合に基づいた融合の代替例として、内容に基づいた融合を用い得る。この方法は、類似の割合の混合を含むが、タイル頂点に割当てられたアルファ（α）値を用いるのではなく、ソース画素強度から混合係数が決定される。これは、以下の式に記載される画素駆動のアルファと称される。
【００７５】
Display1=(ImageA/2N)*ImageA+(1-ImageA/2N)*Display0
Ｎ＝画素ビット深度
一例として、図１７には、一緒に融合された赤外線画像１２６ａおよびＣＣＤカメラ画像１２６ｂが示され、この場合、赤外線タイル頂点には赤色値が割当てられ、ＣＣＤタイル頂点には緑色値が割当てられる。これは、赤と緑との対抗する色のコントラストを利用することにより、各ソース画像のスペクトルの内容を強調する。たとえば、車のボンネット上の反射光１２８は可視画像から生じ、電柱上の電力変圧器１３０は赤外線画像によって強調される。
【００７６】
他の融合技術が、この発明で用いるために企図される。これらは、たとえば、算術演算、周波数領域処理、ならびに対象物識別および抽出を含む。
【００７７】
モザイク画像つなぎ合わせと画像融合とに加えて、画像タイリング能力はまた、視認可能な空間全体にわたって分散されるピクチャ・イン・ピクチャ仮想ディスプレイを表わす能力を提供する。たとえば、下方のディスプレイ区域に表わされる移動する地図を有することは、膝の上に紙の地図を有することと同様に望ましい場合がある。バックミラーと同様に、上方のディスプレイ区域において、タイルにマッピングされた後ろ向きのカメラを有することがさらに要望され得る。これらの概念が示される図１８には、乗物の前方視野におけるつなぎ合わされた水平な赤外線画像配列１３２、上方のバックミラータイル１３４、および下方の移動地図タイル１３６が示される。この画像は、さらに、乗物位置に相関付けられる頭部追跡３Ｄ地形レンダリングなどの合成画像ソースで向上され得る。
【００７８】
この場合、中央プロセッサは、ナビゲーションデータベースから３Ｄ地形およびグラフィックスを生成する合成視覚システムの出力を受ける。合成視覚画像は、マッピング面に変換され、画像融合機能を含む他のソース画像と同様にレンダリングされる。たとえば、図１９には、図１８の複合視野の中央区域と融合した合成画像が示される。
【００７９】
移動地図データに加えて、他の種類のディスプレイデータもまた、別個のタイルに表示され得るか、または画像と融合され得る。たとえば、航空機ＨＳＩおよびＡＤＩディスプレイ、高度計、対気速度などがタイルとしてディスプレイ上に表示されるか、または画像と融合されて、機器測定値をパイロットに見えるようにし、さらに航空機を囲む環境を見えるようにする統合された視野を提供し得る。
【００８０】
図示されないが、システムおよび方法はまた、ピクチャ・イン・ピクチャタイリング、ズーム、パンなどを提供する能力を含む。
【００８１】
「視覚画像化を提供するためのシステムおよび方法（“Systems and Methods for Providing Enhanced Vision Imaging with Decreased Latency”）」と題され、この明細書と同時に出願された米国特許出願連続番号第１０／３７７，４１２号は、フィールドプログラマブルゲートアレイまたは類似の並列処理装置を用いる画像ディスプレイシステムを記載し、その内容が、この明細書中に引用により援用される。
【００８２】
この発明の多くの変形例および他の実施例が上述の説明および添付の図面に表わされる教示の利点を有することが、この発明に関係する当業者に理解されるだろう。したがって、この発明が開示された特定の実施例に限定されず、変形例および他の実施例が、添付の特許請求の範囲内に含まれることを意図したものであることが理解されるべきである。特定の用語がこの明細書中に用いられるが、これらは、一般的および記述的な意味でのみ用いられ、限定するために用いられるのではない。
【図面の簡単な説明】
【００８３】
【図１】この発明のシステムおよび方法を実現し得る航空機の上面図および側面図である。
【図２】この発明の一実施例に従った高度な視覚システムを提供するためのシステムのブロック図、およびこの発明で用いるためのヘルメット追跡システムを備えた頭部装着ディスプレイを示す図である。
【図３】この発明の一実施例に従った高度な視覚システムを提供するために用いられる画像プロセッサのブロック図である。
【図４】この発明の一実施例に従った高度な視覚システムを提供するために実行される動作のブロック図である。
【図５】頂点メッシュへのテクスチャ画像のマッピングを示す図である。
【図６Ａ】マッピング面の異なる配置およびこれに関連する問題を示す図である。
【図６Ｂ】マッピング面の異なる配置およびこれに関連する問題を示す図である。
【図６Ｃ】マッピング面の異なる配置およびこれに関連する問題を示す図である。
【図６Ｄ】マッピング面の異なる配置およびこれに関連する問題を示す図である。
【図７】ソース、ディスプレイおよびマッピング面のための異なる座標系を示す図である。
【図８】異なる座標系間におけるソースおよびディスプレイの変換を示す図である。
【図９】異なる座標系間におけるマッピング面の変換を示す図である。
【図１０】マッピング面上への画像のタイリングを示す図である。
【図１１】マッピング面からディスプレイへの画像の変換およびレンダリングを示す図である。
【図１２】複合画像を形成するための、隣接するタイルのつなぎ合わせを示す図である。
【図１３】複合画像を形成するための、隣接するタイルのつなぎ合わせを示し、さらに混合ゾーンの使用を示す図である。
【図１４】隣接する画像間の接合部における異常の修正を示す図である。
【図１５】複合画像を形成するための、２つの画像を合わせる融合を示す図である。
【図１６】複合画像を形成するために２つの画像を割合に基づいて融合した結果を示す図である。
【図１７】複合画像を形成するために２つの画像を内容に基づいて融合した結果を示す図である。
【図１８】ディスプレイ内の異なる画像のタイリングを示す図である。
【図１９】合成データベース画像との赤外線画像の融合を示す図である。
【符号の説明】
【００８４】
１２  センサ、６０  マッピング面、６４  座標系、６６  座標系、６８  座標系、２８
ディスプレイ、８４  頂点、８６  画像、９０  タイル、９４  ラスタ空間、９６  ディスプレイラスタ空間。
【図１】
2004265413.tif 000003
【図２】
2004265413.tif 000004
【図３】
2004265413.tif 000005
【図４】
2004265413.tif 000006
【図６Ａ】
2004265413.tif 000007
【図６Ｂ】
2004265413.tif 000008
【図６Ｃ】
2004265413.tif 000009
【図６Ｄ】
2004265413.tif 000010
【図７】
2004265413.tif 000011
【図８】
2004265413.tif 000012
【図９】
2004265413.tif 000013
【図１０】
2004265413.tif 000014
【図１１】
2004265413.tif 000015
【図１２】
2004265413.tif 000016
【図１５】
2004265413.tif 000017
【図５】
2004265413.tif 000018
【図１３】
2004265413.tif 000019
【図１４】
2004265413.tif 000020
【図１６】
2004265413.tif 000021
【図１７】
2004265413.tif 000022
【図１８】
2004265413.tif 000023
【図１９】
2004265413.tif 000024