(57)【要約】【課題】  複数の画像ソースに基づく強化された視覚画像の表示のための画像プロセッサを提供する。【解決手段】  画像プロセッサはシリアルおよびパラレルプロセッサの両方を含む。シリアルプロセッサは画像表示のためにパラレルプロセッサによって必要とされる低データボリュームの計算を行なう。シリアルプロセッサは各ソースからのソースデータを基本の座標系に変換するのに必要な変換を事前に計算する。パラレルプロセッサはこれら変換を使用し、ソースデータを画素ごとにディスプレイと互いに関連付けるときにソースから各フレームが受取られるため、待ち時間を低減して表示できる。画像プロセッサは、視差の影響を低減し、１）異なる視界の画像をつなぎ合わせてモザイク画像を作り、２）異なる種類のソースからの同じ視界の画像を融合して融合画像にし、３）表示された画像内の異常を修正することができる。【選択図】        図８
2004265412.tif 000002
【特許請求の範囲】
【請求項１】
視覚画像化を提供するためのシステムであって、
複数の画素を有する少なくとも１つの画像ソースと、
前記画像ソースによって提供される画像を表示するための複数の画素を有する少なくとも１つのディスプレイとを有し、前記画像ソースの少なくとも１つの画像ソース画素は前記ディスプレイの画素に対応し、前記ディスプレイはディスプレイ座標系をさらに有し、前記システムはさらに、
前記ディスプレイと通信するシリアル処理要素を含み、前記シリアル処理要素は前記ディスプレイの座標を基本の座標系に関連させる前記ディスプレイのための変換を計算することができ、前記システムはさらに、
前記シリアル処理要素および前記ディスプレイと電気的に通信するパラレル処理要素を含み、前記パラレル処理要素は前記画像ソースからの画像データを受取りかつ前記シリアル処理要素によって計算された前記ディスプレイのための変換を使用して、前記ディスプレイ画素対応する前記画像ソース画素を前記ディスプレイ座標系に変換して前記ディスプレイ画素の場所に表示させることができる、視覚画像化を提供するためのシステム。
【請求項２】
前記画像ソースは画像ソース座標系を有し、シリアル処理要素は、前記画像ソースの前記座標を基本の座標系に関連させる前記画像ソースのための変換を計算することがさらにできる、請求項１に記載の視覚画像化を提供するためのシステム。
【請求項３】
前記パラレル処理要素は、前記シリアル処理要素によって計算された変換を使用して画像ソース画素を前記画像ソース座標系から前記基本の座標系へと変換しかつディスプレイ画素を前記ディスプレイ座標系から前記基本の座標系へと変換して、前記画像データを前記ディスプレイと互いに関連付ける、請求項２に記載の視覚画像化を提供するためのシステム。
【請求項４】
各ディスプレイ画素について、前記パラレル処理要素は、
第１のベクトルを前記ディスプレイ画素からマッピング面へと延ばし、
前記第１のベクトルが前記マッピング面に交差する点を判定し、
第２のベクトルを前記画像ソースから前記交点へと延ばし、
前記第２のベクトルを前記画像ソースの前記座標系へと変換し、
前記画像ソースのどの画素が前記変換された第２のベクトルに対応するかを判定する、請求項２に記載の視覚画像化を提供するためのシステム。
【請求項５】
前記変換された第２のベクトルが前記画像ソースの特定の画素に対応しない場合、前記パラレル処理要素は、前記第２の変換されたベクトルに近似するマッピング面へと延びる関連付けられるベクトルを有する前記画像ソースの画素を判定する、請求項４に記載の視覚画像化を提供するためのシステム。
【請求項６】
前記変換された第２のベクトルが前記画像ソースの特定の画素に対応しない場合、前記パラレル処理要素はさらに、
前記変換された第２のベクトルに対応すべき前記画像ソースの潜在的な画素を判定し、
各潜在的な画素について、
第３のベクトルを前記潜在的な画素から前記マッピング面へと延ばし、
前記第３のベクトルを前記変換された第２のベクトルと比較して視線ベクトル誤差を判定し、
視線ベクトル誤差が最も少ない画素を選択する、請求項４に記載の視覚画像化を提供するためのシステム。
【請求項７】
少なくとも２つの画像ソースは各々前記ディスプレイの画素に対応する画素を有し、各画像ソースについて、前記パラレルプロセッサ要素は、前記画像ソースのどの画素が前記ディスプレイ画素に対応するかを判定し、前記パラレル処理要素は、各画像ソースの画素を組合せて、前記ディスプレイ画素に表示するためのデータを形成する、請求項１に記載の視覚画像化を提供するためのシステム。
【請求項８】
前記パラレル処理要素は、前記ディスプレイ画素に対応する各画像ソースの画像ソース画素をそのそれぞれの画像ソースの視界内での前記画像ソース画素の場所に基づいて重み付けしかつ各画像ソースの前記画像ソース画素をそれらの関連付けられる重みに基づいて合計する、請求項７に記載の視覚画像化を提供するためのシステム。
【請求項９】
少なくとも２つの画像ソースは各々前記ディスプレイの画素に対応する画像ソース画素を有し、各画像ソースからの前記画像ソース画素は一意の特徴を有し、前記パラレル処理要素は前記画像ソースのどの画像ソース画素が前記ディスプレイ画素に対応するかを判定し、前記パラレル処理要素は、各画像ソースの前記画像ソース画素を組合せて、各画像ソース画素の一意の特徴を含む結果的な画素にする、請求項１に記載の視覚画像化を提供するためのシステム。
【請求項１０】
視覚画像化を提供するためのシステムであって、
複数のディスプレイ画素を有する少なくとも１つのディスプレイと、
複数の画像ソース画素を有する少なくとも１つの画像ソースとを含み、前記画像ソースはある視界からの画像を提供して前記ディスプレイに表示させ、前記システムはさらに、
前記ディスプレイおよび前記画像ソースと通信する画像プロセッサを含み、
前記画像プロセッサは、前記ディスプレイおよび前記画像ソースからある距離にマッピング面を規定して、前記ディスプレイおよび画像ソース画素がマッピング面に交差するそれぞれの視線を有するようにし、
ある所与のディスプレイ画素について、前記画像プロセッサは、前記画像ソース画素のどれが、前記ディスプレイ画素の前記視線が前記マッピング面に交差する場所に対応するかを判定する、視覚画像化を提供するためのシステム。
【請求項１１】
前記ディスプレイはディスプレイ座標系を有し、前記画像プロセッサは前記ディスプレイの前記座標を基本の座標系に関連させる前記ディスプレイのための変換を計算することができ、前記画像プロセッサは、前記画像ソースから画像データを受取りかつ前記ディスプレイのための前記変換を使用して前記画像ソース画素を前記ディスプレイ座標系へと変換して前記ディスプレイ画素の場所に表示させることがさらにできる、請求項１０に記載の視覚画像化を提供するためのシステム。
【請求項１２】
前記画像ソースは画像ソース座標系を有し、前記画像プロセッサは、前記画像ソースの前記座標を基本の座標系に関連させる前記画像ソースのための変換を計算することがさらにできる、請求項１１に記載の視覚画像化を提供するためのシステム。
【請求項１３】
前記画像プロセッサは、前記変換を使用して画像ソース画素を前記画像ソース座標系から前記基本の座標系へと変換しかつディスプレイ画素を前記ディスプレイ座標系から前記基本の座標系へと変換して前記画像データを前記ディスプレイと互いに関連付ける、請求項１２に記載の視覚画像化を提供するためのシステム。
【請求項１４】
各ディスプレイ画素について、前記画像プロセッサは、
第１のベクトルを前記ディスプレイ画素からマッピング面へと延ばし、
前記第１のベクトルが前記マッピング面に交差する点を判定し、
第２のベクトルを前記画像ソースから前記交点へと延ばし、
前記第２のベクトルを前記画像ソースの前記座標系へと変換し、
前記画像ソースのどの画素が前記変換された第２のベクトルに対応するかを判定する、請求項１２に記載の視覚画像化を提供するためのシステム。
【請求項１５】
前記変換された第２のベクトルが前記画像ソースの特定の画素に対応しない場合、前記画像プロセッサは、前記第２の変換されたベクトルに近似する前記マッピング面へと延びる関連付けられるベクトルを有する前記画像ソースの画素を判定する、請求項１４に記載の視覚画像化を提供するためのシステム。
【請求項１６】
前記変換された第２のベクトルが前記画像ソースの特定の画素に対応しない場合、前記画像プロセッサはさらに、
前記変換された第２のベクトルに対応すべき前記画像ソースの潜在的な画素を判定し、
各潜在的な画素について、
第３のベクトルを前記潜在的な画素から前記マッピング面へと延ばし、
前記第３のベクトルを前記変換された第２のベクトルと比較して視線ベクトル誤差を判定し、
視線ベクトル誤差が最も少ない画素を選択する、請求項１４に記載の視覚画像化を提供するためのシステム。
【請求項１７】
少なくとも２つの画像ソースは各々前記ディスプレイの画素に対応する画素を有し、各画像ソースについて、前記画像プロセッサは前記画像ソースのどの画素が前記ディスプレイ画素に対応するかを判定し、前記画像プロセッサは各画像ソースの前記画素を組合せて前記ディスプレイ画素に表示させるためのデータを形成する、請求項１１に記載の視覚画像化を提供するためのシステム。
【請求項１８】
前記画像プロセッサは、前記ディスプレイ画素に対応する各画像ソースの各画像ソース画素をそのそれぞれの画像ソースの視界内での前記画像ソース画素の場所に基づいて重み付けしかつ各画像ソースの前記画像ソース画素をそれらの関連付けられる重みに基づいて合計する、請求項１７に記載の視覚画像化を提供するためのシステム。
【請求項１９】
少なくとも２つの画像ソースは各々前記ディスプレイ画素に対応する画像ソース画素を有し、各画像ソースからの前記画像ソース画素は一意の特徴を有し、前記画像プロセッサは前記画像ソースのどの画像ソース画素が前記ディスプレイ画素に対応するかを判定し、前記画像プロセッサは各画像ソースの前記画像ソース画素を組合せて各画像ソース画素の前記一意の特徴を含む結果的な画素にする、請求項１１に記載の視覚画像化を提供するためのシステム。
【請求項２０】
視覚画像化を提供するための方法であって、
複数のディスプレイ画素を有する少なくとも１つのディスプレイおよび複数の画像ソース画素を有する少なくとも１つの画像ソースを設けるステップを含み、前記画像ソースはある視界からの画像を提供して前記ディスプレイに表示させ、前記方法はさらに、
前記ディスプレイおよび前記画像ソースからある距離にマッピング面を規定して、前記ディスプレイおよび画像ソースの画素が前記マッピング面に交差するそれぞれの視線を有するようにするステップと、
ある所与のディスプレイ画素について前記画像ソース画素のどれが前記ディスプレイ画素の前記視線が前記マッピング面に交差する場所に対応するかを判定するステップとを含む、視覚画像化を提供するための方法。
【請求項２１】
前記ディスプレイはディスプレイ座標系を有し、前記方法は、
前記ディスプレイの前記座標を基本の座標系に関連させる前記ディスプレイのための変
換を計算するステップと、
前記画像ソースからの画像データを受取るステップと、
前記変換を使用して前記画像ソース画素を前記ディスプレイ座標系へと変換して前記画像ソース画素を前記ディスプレイ画素の場所に表示するステップとをさらに含む、請求項２０に記載の視覚画像化を提供するための方法。
【請求項２２】
前記画像ソースは画像ソース座標系を有し、前記計算するステップは、前記画像ソースの前記座標を基本の座標系に関連させる前記画像ソースのための変換を計算する、請求項２１に記載の視覚画像化を提供するための方法。
【請求項２３】
前記変換するステップは、前記変換を使用して画像ソース画素を前記画像ソース座標系から前記基本の座標系へと変換しかつディスプレイ画素を前記ディスプレイ座標系から前記基本の座標系へと変換して、前記画像データを前記ディスプレイと互いに関連付ける、請求項２２に記載の視覚画像化を提供するための方法。
【請求項２４】
各ディスプレイ画素について、前記判定するステップは、
第１のベクトルを前記ディスプレイ画素からマッピング面へと延ばし、
前記ベクトルが前記マッピング面に交差する点を判定し、
第２のベクトルを前記画像ソースから前記交点へと延ばし、
前記第２のベクトルを前記画像ソースの前記座標系へと変換し、
前記画像ソースのどの画素が前記変換された第２のベクトルに対応するかを判定する、請求項２２に記載の視覚画像化を提供するための方法。
【請求項２５】
前記判定するステップにおいて、前記変換された第２のベクトルが前記画像ソースの特定の画素に対応しない場合、前記判定するステップは、前記第２の変換されたベクトルに近似する前記マッピング面へと延びる関連付けられるベクトルを有する前記画像ソースの画素を判定する、請求項２４に記載の視覚画像化を提供するための方法。
【請求項２６】
前記判定するステップにおいて、前記変換された第２のベクトルが前記画像ソースの特定の画素に対応しない場合、前記判定するステップはさらに、
前記変換された第２のベクトルに対応すべき前記画像ソースの潜在的な画素を判定し、
各潜在的な画素について、
第３のベクトルを前記潜在的な画素から前記マッピング面へと延ばし、
前記第３のベクトルを前記変換された第２のベクトルと比較して視線ベクトル誤差を判定し、
視線ベクトル誤差が最も少ない画素を選択する、請求項２４に記載の視覚画像化を提供するための方法。
【請求項２７】
少なくとも２つの画像ソースは各々前記ディスプレイの画素に対応する画素を有し、各画像ソースについて、前記判定するステップは、前記画像ソースのどの画素が前記ディスプレイ画素に対応するかを判定しかつ各画像ソースの前記画素を組合せて前記ディスプレイ画素に表示するためのデータを形成する、請求項２１に記載の視覚画像化を提供するための方法。
【請求項２８】
前記判定するステップは、前記ディスプレイ画素に対応する各画像ソースの各画像ソース画素をそのそれぞれの画像ソースの視界内での前記画像ソース画素の場所に基づいて重み付けしかつ各画像ソースの前記画像ソース画素をそれらの関連付けられる重みに基づいて合計する、請求項２７に記載の視覚画像化を提供するための方法。
【請求項２９】
少なくとも２つの画像ソースは各々前記ディスプレイの画素に対応する画像ソース画素
を有し、各画像ソースからの前記画像ソース画素は一意の特徴を有し、前記判定するステップは、前記画像ソースのどの画像ソース画素が前記ディスプレイ画素に対応するかを判定しかつ各画像ソースの前記画像ソース画素を組合せて各画像ソース画素の前記一意の特徴を含む結果的な画素にする、請求項２１に記載の視覚画像化を提供するための方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、対象となる領域の視覚的な表示をユーザに提供するために使用される視覚ディスプレイシステムに関し、特に、複数のソースからの画像を組合せて対象となる領域の一貫した視野を提供するためのシステムおよび方法に関する。
【背景技術】
【０００２】
多くのフライトナビゲーション支援機器の出現にもかかわらず、航空機ナビゲーションの最も重要なツールの１つは、依然として視覚によるナビゲーションである。今日の航空機の多くは、機上レーダ、地上近接警告システム等の航空機周囲の空間についての付加的な情報をパイロットに与えるさまざまな安全性に関する機能を含む。これらシステムは、パイロットが視覚的に観測しているものをさらによく理解できるようにして飛行中の状況の認識を高める上でパイロットを支援する素晴らしい資源である。しかしながら、パイロットの視覚が妨げられる理由で、これらさまざまな機器がパイロットにとっての唯一の情報源となることがある。
【０００３】
視覚は、霧、雪または雨などの悪天候によって、または、夜、夜明けまたは夕暮れなどの一日のうちの時間帯によって妨げられることがある。さらに、航空機自身の視覚の限界によって視覚が妨げられることもある。多くの航空機のコックピットは、通常、視界が前方に面する区域に限られており、パイロットには航空機の側および後部は適切に見えず、垂直に航空機の上方および下方を適切に見ることもできない。
【０００４】
視覚が妨げられることは、航空機ナビゲーションにおいて安全性についての重要な懸念であり、コックピットからのパイロットの視野を拡大または強化するシステムを提供するために多大な努力がなされている。航空機上にある１つまたは複数のセンサを使用するシステムが開発されている。センサは選択された視界に向けられ、コックピット内のディスプレイシステムに画像を提供し、そこで画像がパイロットに表示される。センサは、ビデオカメラ、赤外線カメラ、レーダ等であってもよい。これらのシステムでは、パイロットが見るための画像の種類を選ぶことができる。たとえば、夜間の飛行または霧の状態では、パイロットは赤外線センサおよびレーダセンサからの画像を見ることを選び、晴天の状態では、パイロットはビデオカメラが送る画像を使用することがある。
【０００５】
これらシステムは合成画像ソースを含んでもよい。具体的には、多くのシステムは、さまざまな地理的な特徴の合成図を含むマッピングデータベースを含む。これらマッピングデータベースは、航空機の実際の位置と協調させることができるため、合成画像を表示して、パイロットに航空機の範囲内の地形を合成的に視覚化することができる。
【０００６】
強化された視覚システムの一例がヘール（Hale）らに対する米国特許第５，３１７，３９４号に開示されており、これをここに引用により援用する。このシステムでは、隣接するセンサが重なった視界を有するようにセンサは航空機の外部に位置付けられる。これらさまざまなセンサからの画像は航空機内のディスプレイシステムに提供され、そこでパイロットに表示される。画像は重ねられた構成で表示されるため、複合画像またはモザイク画像が得られる。
【０００７】
さらに発展したシステムが、「ヘルメット搭載ディスプレイを使用した外部航空機視覚システム（Exterior Aircraft Vision System Using a Helmet-Mounted Display）」と題される米国特許出願連続番号第０９／６０８，２３４号に開示され、ここにこれを引用により援用する。第０９／６０８，２３４号の出願は、航空機上にあるさまざまなセンサか
らの画像を表示するためのヘルメット搭載ディスプレイを含むシステムを開示している。重要なのは、このシステムがパイロットの頭部の動きを追跡するヘルメット追跡装置を含んでパイロットの現在の視線（ＬＯＳ：line of sight）および視界（ＦＯＶ：field of view）を判定する点である。これら方向情報を使用して、このシステムはパイロットが見ている視界を表わすセンサからの画像データを検索し、この画像をヘルメットのディスプレイに表示する。画像はパイロットが頭部を別の視線に移動するときに更新される。
【特許文献１】米国特許第５，３１７，３９４号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００８】
一般に、これらおよびその他の従来のシステムはかなり正確な視覚的な画像をパイロットに提供することでフライトの安全性を高める。しかしながら、これらのシステムには限界があり、パイロットに提供される画像の正確さが低下したり、またはパイロットに提供される画像に異常があってパイロットの視野が乱されることがある。たとえば、１つの問題は、センサの互いの間隔およびパイロットの位置に対する間隔に関し、記憶される合成データの場合、合成データとその他のセンサとパイロットの位置との間の遠近感の差に関する。互いに対するおよびコックピットに対するソースの間の物理的な距離は、パイロットに与えられる画像にゆがみを生じさせることがある。具体的には、この距離は、視差と称される画像内のゆがみを作り出す。視差は、新しい視線をもたらす観察位置の変化によって起こる対象物の方向での明らかな変化である。これら従来のシステムでは、センサおよび／または合成データソースは各々、ある景色に関してパイロットの視線とは異なる視線を有する。そのため、センサの視点または合成データの視線からの画像を見ると、パイロットには、それらの重なった視界の中で、航空機内のパイロットの位置に対する対象物の場所は正確に表現されない。また、センサおよび／または合成データ間の視差効果は、ゴーストおよびその他の現象を起こし得る。
【０００９】
別の問題は、いくつかの画像をタイリングして複合画像を作ることに関する。多くの従来のシステムでは、隣接するカメラからの画像は互いに隣接して表示される。２つの画像の端縁はディスプレイ内で目に見える継目として現れる。これら継目は複合画像を見にくくし、パイロットが画像を全体として見るのを難しくする。この問題点を修正するため、先行技術のシステムには、隣接する画像の端縁を重ねて画像を混合しようとするものがある。この技術は、隣接する画像を当接させる従来の技術を改良したものであるが、依然として画像間に不連続性が見られることがある。
【００１０】
さらに別の問題は、ある所与の状況について最良の画像化を行なうための特定の種類のセンサの限界に関する。たとえば、たそがれの状態では、ビデオカメラは依然として認識可能な視覚画像を提供するが、低照度またはぼんやりした状態のために画像の詳細は劣化する。さらに、赤外線センサは熱検知に基づく画像化を提供するが、赤外線センサからの画像はたそがれ時の周囲の光を利用しない。多くの従来のシステムでは、これら画像から選択しなくてはならず、両方のセンサの利点を取入れた画像は利用可能でない。このため、パイロットは利用可能な最良の画像を見ることはできない。
【課題を解決するための手段】
【００１１】
この発明は強化された視覚システムで使用するためのシステムおよび方法を提供する。この発明のシステムおよび方法は、乗り物上または対象の区域内の異なる位置にある複数のセンサからの画像データを受取る。このシステムは、地形データベースなどのデータベースから合成画像データを受取ってもよい。センサまたは合成データソースは、ここではソースと称される。システムおよび方法は、各ソースからの画像を同化して複合画像またはモザイク画像にする。この発明のシステムおよび方法は、システムのユーザの現在の視線（ＬＯＳ）を検出する。この視線に基づいて、システムおよび方法はユーザの現在の視
界（ＦＯＶ）を表わす画像をユーザに表示する。
【００１２】
この発明のシステムおよび方法は、表示される画像内の視差に関する問題を低減する。具体的には、この発明のシステムおよび方法は、乗り物の前方または対象となる点において選択された距離に１つまたは複数の人工マッピング面を作る。人工マッピング面によって、異なるソースからのさまざまな画像を共通の基準のフレームによって互いに関連付けて、各ソースからのすべての画像をマッピング面に投影させることができる。マッピング面は、観察者とソースとの間の距離の分離、ならびにさまざまなソース間の距離による観察者とソースとの間の対象となる対象物に対する視線の違いを関連付けるための基準のフレームを作る。
【００１３】
さらに、ソースおよびディスプレイは異なる座標系を有する。この発明のシステムおよび方法は、共通の座標系を作り、これら成分の各々からの画像を共通の座標系へと変換する。これによって、この発明のシステムおよび方法は、さまざまなソースからの画像を互いに関連付け、ビューワの基準のフレーム内でユーザにそれらを提供し、視差を低減および排除することができる。
【００１４】
視差に対する修正に加え、この発明のシステムおよび方法は、分散されたアパチャ画像をつなぎ合わせて継目のないモザイクにするための改良された方法も提供する。具体的には、同じ種類の２つのソースの視界が重なっているとき、それらの画素は、ソースの重なりの区域内で本質的に互いに重なっている。重なっている異なるソースからの画素については、この発明のシステムおよび方法は、それぞれのソースの領域での各画素のそれぞれの場所に基づいて画素を重み付けし、それぞれのソースの視界の中央に近いところにある画素は、それぞれのソースの視界の端縁に近いところにある画素よりも大きく重み付けされる。２つの重なる画素は、この重み付けされた割合に基づいて表示される。
【００１５】
この発明のシステムおよび方法は、異なる種類のセンサからの画像を重ね合わせるかまたは融合させるための方法も提供する。具体的には、この発明のシステムは、視界が同じかまたは重なっている異なる種類のセンサを含んでもよい。センサは、同じ視界の異なる画像を提供し、各センサは関連付けられる利点および欠点を有する。たとえば、１つのセンサはビデオカメラであってもよく、光の量または可視性によって影響される画像を提供し、他方のセンサは熱検知に基づく画像を提供する赤外線センサであってもよい。この発明のシステムおよび方法は、これらセンサからの画像を重ね合わせるかまたは融合させて強化された画像を提供するための方法を提供する。
【００１６】
たとえば、この発明のシステムおよび方法は、１つのソースからのすべての画素にある割合の値を割当て、別のソースからのすべての画素に異なる割合の値を割当てる。１つのソースについての画素は３０％の強度で規定され、他方は７０％の強度で規定される。次に、画像はこの強度割合率で合計され、ユーザに両方の画像の利点が提供される。第２の代替の例では、各タイル画像がその内容に基づいて表示される。たとえば、類似の視界を覆う可視画像および赤外線画像では、画像を画素のレベルで組合わせ、その画素の強度に基づいて赤外線画像に優先順位を与えてもよい。この場合、赤外線画素が最大で７５％であれば、結果的な画素は、７５％のＩＲ画素強度および２５％の可視画素強度から構成される。
【００１７】
この発明のシステムおよび方法は、所与の表示される画像内の異常の数を低減するための方法もさらに含む。この発明のシステムおよび方法は、各画素に関連付けられる強度の値を評価する。画素または一連の画素の強度の値が近隣の画素と比較して過剰であれば、この発明のシステムおよび方法は、近隣の画素からの平均の強度の値に基づいて強度を減少させることができる。
【発明を実施するための最良の形態】
【００１８】
この発明を一般的に説明したので、ここからは添付の図面を参照する。添付の図面は必ずしも同じ縮尺で書かれていない。
【００１９】
この発明の好ましい実施例が示される添付の図面を参照して、この発明をさらに詳しく説明する。しかしながら、この発明は、多くのさまざまな形で実施可能であり、ここに記載される実施例に限定されると見なされるべきではない。これら実施例はこの開示を完全かつ完璧なものとするために提供されるものであり、当業者にこの発明の範囲を十分に伝えるものである。同様の参照番号は同様の要素を示す。
【００２０】
この発明は、強化された視覚ディスプレイで使用するためのシステムおよび方法を提供する。この発明のシステムおよび方法は、乗り物上または対象となる区域内の異なる位置にある複数のセンサからの画像データを受取る。システムには合成データを設けてもよい。センサまたは合成データソースは、ここではソースと称される。システムおよび方法は、各ソースからの画像を同化して複合画像にする。この発明のシステムおよび方法は、システムのユーザの現在の視線（ＬＯＳ）を検出する。この視線に基づいて、システムおよび方法は、ユーザの現在の視界（ＦＯＶ）を表わす画像をユーザに表示する。
【００２１】
この発明のシステムおよび方法は、表示される画像内の視差に関する問題を低減する。具体的には、この発明のシステムおよび方法は、乗り物の前方または対象の点において選択された距離に１つまたは複数の人工マッピング面を作る。この人工マッピング面によって、異なるソースからのさまざまな画像を共通の基準のフレームによって互いに関連付け、各ソースからの画像のすべてをマッピング面に投影させることができる。マッピング面は、観察者とソースとの間の距離の分離およびさまざまなソース間の距離による観察者とソースとの間の対象の対象物に対する視線の差を互いに関連付けるための基準のフレームを作る。
【００２２】
さらに、ソースおよびディスプレイは異なる座標系を有する。この発明のシステムおよび方法は、共通の座標系を作り、これら成分の各々からの画像を共通の座標系へと変換する。これによって、この発明のシステムおよび方法は、さまざまなソースからの画像を互いに関連付け、ビューワの基準枠内でそれらをユーザに提供して、視差を低減および排除することができる。
【００２３】
視差に対する修正に加え、この発明のシステムおよび方法は、さまざまなタイル画像をつなぎ合わせて複合画像にするための改良された方法も提供する。具体的には、同じ種類の２つのソースの視界が重なる場合、それらの画素は、ソースの重なりの区域内で互いに本質的に重なっている。重なっている異なるソースからの画素について、この発明のシステムおよび方法は、それぞれのソースの領域内での各画素のそれぞれの場所に基づいて画素を重み付けし、それぞれのソースの視界の中央に近いところにある画素は、それぞれのソースの視界の端縁に近いところにある画素よりも大きく重み付けされる。２つの重なっている画素は、この重み付けの割合に基づいて表示される。
【００２４】
この発明のシステムおよび方法は、異なる種類のセンサからの画像を重ね合わせるかまたは融合するための方法も提供する。具体的には、この発明のシステムは、視界が同じかまたは重なっている異なる種類の２つのセンサを含んでもよい。センサは、同じ視界の異なる画像を提供し、各センサは関連付けられる利点および欠点を有する。たとえば、一方のセンサはビデオカメラであってもよく、光の量および可視性によって影響される画像を提供し、他方のセンサは、熱検知に基づいて画像を提供する赤外線センサであってもよい。この発明のシステムおよび方法は、これらセンサからの画像を重ね合わせるかまた融合
させて強化された画像を提供するための方法を提供する。
【００２５】
たとえば、この発明のシステムおよび方法は、１つのソースからのすべての画素にある割合の値を割当て、別のソースからのすべての画素に異なる割合の値を与えることができる。１つのソースについての画素は３０％の強度で規定し、他方は７０％の強度で規定してもよい。次に、画像はこれら強度の割合率で合計され、両方の画像の利点がユーザに与えられる。第２の代替の例では、各タイル画像はその内容に基づいて表示される。たとえば、類似の視界を覆う可視画像および赤外線画像では、画像を画素のレベルで組合せて、その画素の強度に基づいて赤外線画像に優先順位を与えてもよい。この場合、赤外線画素が最大７５％であれば、結果的な画素は７５％のＩＲ画素強度および２５％の可視画素強度から構成される。
【００２６】
この発明のシステムおよび方法は、所与の表示された画像内の異常の数を低減するための方法も含む。この発明のシステムおよび方法は、隣接する画像内の局所的な区域に関連付けられる強度の値を評価する。この発明のシステムおよび方法は、隣接および類似の視界画像のための局所的な輝度の不連続性の修正のための手段を提供する。
【００２７】
上述のように、この発明のシステムおよび方法は、強化された視覚システムを提供する。この発明のさまざまな局面を以下にさらに詳しく説明する。
【００２８】
まず第１に、この発明のシステムおよび方法は、航空機であれ、自動車であれ、または他の種類の乗物であれ、もしくは警戒区域または監視区域などの特定の場所または環境などの視覚的な状況の認識が関心事である環境で使用できることに注意されたい。以下の実施例では、システムおよび方法は航空機に関して開示されている。航空環境は動的な環境であり、このシステムのロバスト性を説明するのに役立つ。しかしながら、これはシステムおよび方法の使用の一例にすぎず、この発明の使用については幅広いさまざまな別の用途が考えられることを理解されたい。
【００２９】
図１（Ａ）および図１（Ｂ）は、この発明のシステムおよび方法を組込むことのできる航空機１０を示す。この実施例では、この発明のシステムは、航空機上のさまざまな位置にある複数のセンサ１２を含んでもよい。センサは異なる方向付けで航空機の前方にあり、さまざまな前方の視野１４、側の視野１６、上方の視野１８および下方の視野２０を提供する。さらに、実施例によっては、後部の視野２１のために航空機の後部にセンサがあってもよい。図示されていないが、さまざまなセンサが航空機の翼、上部および底部側にあってもよい。このシステムで使用される典型的なセンサは、たとえば、低照度ビデオカメラ、長波赤外線センサおよびミリメートル波レーダなどである。
【００３０】
図２（Ａ）に示されるように、さまざまなセンサ１２は航空機上にある画像プロセッサ２２に電気的に接続される。この発明の画像プロセッサは、センサからのさまざまな画像を同化させて表示する。航空機に関連する位置的な情報（すなわち、経度、緯度、ピッチ、ロール、ヨー等）を提供するためのナビゲーションシステム２４も画像プロセッサに接続される。ナビゲーションデータベース２６も合成ナビゲーションデータをシステムに与えるためにあってもよい。合成ナビゲーションデータは、通常、地理的な場所内の他の対象の点の地形をシミュレートする３Ｄグラフィックデータである。
【００３１】
この発明のシステムおよび方法は、センサからのデータまたはナビゲーションデータベースからの合成グラフィックデータを受取ることができる。センサおよびナビゲーションデータベースからのデータは画像プロセッサによって同じように扱われる。このことを考慮して、以下の説明では、ソースという言葉は、センサまたはナビゲーションデータベースを意味するために使用される。
【００３２】
ディスプレイ２８も画像プロセッサに接続される。この特定の実施例では、ディスプレイは、パイロットまたは他の見る人のヘルメットにあるヘルメット搭載のディスプレイである。ヘルメット追跡装置３０がヘルメットに関連付けられる。ヘルメット追跡装置は、乗り物に対するユーザの現在の視線に関する情報を画像プロセッサに提供する。図２（Ｂ）に示されるように、一連のセンサまたはリフレクタは、ユーザによって着用されるヘルメット３２上のさまざまな位置にある。追跡装置３０は、ヘルメットに対してある既知の位置にあり、センサの動きおよび方向付けを追跡して、乗り物に対するユーザの視線を判定する。そのような追跡装置は、カリフォルニア州サンタモニカのBAE Systemsなどの軍事業者、またはバーモント州ミルトンにある、Ascension Technology Corporationおよびここに記載しないいくつかの他の業者から入手可能である。ヘルメット追跡装置はこの発明に必要でないことを理解されたい。そのような装置を使用する代わりに、乗り物自身またはジョイスティック制御等の方向付けを使用してユーザの視線を判定することができる。同様に、警備または監視場所の環境では、視線は対象の視野に向けられた固定された値であり得る。
【００３３】
図３は、画像プロセッサ２２の詳細な動作の図である。画像プロセッサはシリアルベースの中央プロセッサ３６、およびフィールドプログラマブルゲートアレイ（ＦＰＧＡ）３８などのパラレル処理装置を含む。ＦＰＧＡは、さまざまなソースに接続されるビデオ入力電子機器４０、およびディスプレイに接続されるビデオ出力電子機器４２を含む。ヘルメット追跡装置３０、ナビゲーションシステム２４、ナビゲーションデータベース２６からの入力およびさまざまなパイロット入力コマンドを受取るための入出力インターフェイス４６が中央プロセッサに関連付けられる。
【００３４】
図示のように、この発明の一実施例の画像プロセッサ２２は、中央プロセッサ３６およびＦＰＧＡ３８の両方を含む。この発明が成功している点は、ＦＰＧＡなどのパラレル処理装置とシリアルベースの中央プロセッサとの間で計算の作業負荷を慎重に分割しているところである。レートを制限する計算はＦＰＧＡに配分され、その他すべての計算は中央プロセッサに配分される。この作業負荷の配分によって、この発明のシステムおよび方法は待ち時間を低減して動作することができる。具体的には、さまざまなソースからの画像の表示に必要とされる計算の多くは、中央プロセッサによって事前に計算し、初期化の際に記憶しておくことができる。ソースからの画像データの処理およびこのデータのディスプレイとの相互の関連付けは、ＦＰＧＡなどのパラレル処理装置によって効率的に処理することができる。ＦＰＧＡは、画像データが画素ごとに受取られるときに画像データを処理することができ、システムの待ち時間を１つのフレームに低減することができる。具体的には、２つの種類の処理要素に配分することで、この発明のシステムおよび方法は１つの画像フレームの待ち時間で動作することができる。
【００３５】
シリアルベースの処理要素であればどのような種類でもここに記載される中央プロセッサの機能のために使用することができる。さらに、パラレル処理要素であればどのような種類でもＦＰＧＡに関してここに記載される機能を行なうために使用することができ、ＦＰＧＡはここで単なる例として使用されていることに注意されたい。
【００３６】
作業負荷の配分に関し、１つの配分は座標の変換に関するものである。図５を参照して後に説明するように、この発明は３つの基本の座標系を使用する。
【００３７】
１．通常航空機または乗り物もしくは施設の座標系に対応する、固定された座標系である基本の座標系
２．各ソースに関して固定された別の座標系である、ソース座標系
３．ディスプレイに関して固定された別の座標系である、ディスプレイ座標系。
【００３８】
これら特定の座標系の重要性は、画像のつなぎ合わせおよび融合の計算で使用される中間値の大きさがこれら座標系の少なくとも１つにおいて一定であるということである。データ要素が一定である座標系は、そのデータ要素に対する「固有の」座標系と呼ばれる。したがって、どの値もその固有の座標系で一度だけ計算すればよい。座標系から座標系への一時的な変換は依然として必要であるが、これらは、ＦＰＧＡ技術が優れる単純な多重累積動作に低減される。それらの固有の座標系において中間値を計算し、これは一般に一度だけ行なえばよく、次にＦＰＧＡを使用して座標系の間でのデータの遷移およびその他の関連する計算を行なうのが戦略である。
【００３９】
一貫した遠近感の正しいディスプレイを提供するためのこの発明のシステムおよび方法において、各ソース画像は、相対的な幾何学的構造に基づいて所望のディスプレイ画像空間にマッピングされる。具体的には、ディスプレイの各画素は、他のディスプレイ画素に関係なく別々に処理される。各ディスプレイ画素について、ディスプレイおよびソースの画素を共通のまたは基本の座標系にマッピングすることによって、ソースのどの画素がディスプレイ画素に対応するかを判定する。ディスプレイおよびソースの各画素は、ソースから共通のマッピング面へと突出する視線ベクトルを有する。ディスプレイ視線ベクトルと同じ場所かまたはその近くでマッピング面に交差するこれらソース視線ベクトルは、ディスプレイ視線ベクトルに対応する。したがって、これらソースの視線ベクトルに関連付けられるデータは、ディスプレイ視線ベクトルに対応するディスプレイ内で画素の場所に表示されるべきデータとして使用される。
【００４０】
計算性能に最も大きく影響する中間値は、ディスプレイおよびソース画素に対応する視線ベクトルである。これらはそれぞれの固有の座標系において一定である。たとえば、あるディスプレイ内の所与の画素は、ヘルメットに対して固定された視線に対応する。タイリング／つなぎ合わせ／融合の作業（後に詳しく説明する）で重要なのは、ヘルメットディスプレイの形状ではなく、ヘルメットに対して固定された座標系内のディスプレイの各画素についての視線である。この情報は、「ディスプレイの各画素がどこを見ているか」を一意的に判定する。この視線はヘルメットに対しては変化せず、このため、一旦わかれば再計算する必要はない。当然のことながら、他の座標系では、ヘルメットおよびディスプレイを着用している乗務員の頭部の動きとともにそれは変化するが、これは、ＦＰＧＡを使用して必要な座標の変換を行なうだけのことである。同様に、各ソースについての視線はその座標系に関して固定され、したがって、各ソースについての各視線ベクトルも事前に計算することができる。各ディスプレイおよびソースの各画素についての視線ベクトルを事前に計算することによって、ＦＰＧＡは、異なる座標系間でのこれらのベクトルの変換および関連する計算を行なって、どの視線ベクトルが同じ場所でマッピング面に交差するかを判定するだけよい。
【００４１】
上述のように、視覚システムの大きな問題は、視差の現象であり、これは、センサ自身の間の物理的な分離およびセンサと見る人との間の物理的な分離によって起こる。これは、合成データと見る人との遠近感の差によって起こることもある。この分離によって、ある対象物に対するソースの遠近感はユーザの位置の遠近感とは異なる。これらの問題に対処するため、この発明のシステムおよび方法は、視差に関する問題を排除できないとしても低減させる２つの手順を提供する。具体的には、この発明のシステムおよび方法は、まず、さまざまなセンサからの画像を共通の空間にマッピングすることのできる幾何学的なマッピング空間を規定する。次に、この発明のシステムおよび方法は、基本の基準座標系を作り、ソースおよびディスプレイを基本の座標系へと変換する。
【００４２】
幾何学的なマッピング面に関して、この発明のシステムおよび方法は、センサによって画像化されている現実世界の環境の幾何学的構造を１つまた複数の連続するマッピング面
を用いて近似する。後にさらに詳しく説明するように、ディスプレイの各画素は、画素の視線がマッピング面に交差するマッピング面上の場所にマッピングされる。次に、ディスプレイ画素の視線が交差するのと同じ場所かまたはその近くにマッピングする視線を有する画素を有するソースはどれかが判定される。そのソース画素は変換され、表示される。このような態様で、ディスプレイおよびソースの各画素は、見るために共通の基本の座標系へと変換される。
【００４３】
図４Ａ〜図４Ｄを参照すると、幾何学的なマッピング面は、ディスプレイおよびソースに対する共通な外側の境界として選択される。マッピング面は、ディスプレイの画素を対応するソース画素と互いに関連付けるために使用される。センサの位置に対する幾何学的な面の位置の選択は、視差の問題を低減する上で重要である。２つソースの視界内のある対象物は、画像に対する推定範囲が正しくない場合、つなぎ合わされた画像内で２回見える。これが「ゴースト」現象である。この問題を完全に克服するための唯一の方法は、センサの重なり領域内の各画素についての範囲を正確に知ることである。しかしながら、このアルゴリズムは、より単純な妥協解決策を用いて良好な結果を得ることができる。画像は、球および／または平面など、その範囲に荒く近似するためのある単純な幾何学的な面にマッピングされる。面のパラメータは、必要なときに手動で選んでもよいし、または機器の入力に基づく何らかの発見的アルゴリズムを使用して自動的に選んでもよい。正確に選ぶことによって、ゴーストおよび転位の影響は最小限になる。
【００４４】
図４Ａは、ディスプレイおよびソースから適切な距離に幾何学的な面を選択することに関する問題を示す。図４Ａは、２つのセンサ、センサＡおよびセンサＢから異なる距離にある空間の２つの対象物（正方形の対象物５２および三角形の対象物５４）を示す。センサは、センサの視界の重なりを増やすために互いに対してわずかに「トウイン」されている（この理由のため、通常、このシステムのセンサ１２についてトウインが行なわれる）。２つの対象物の正確なマッピングのため、マッピング面は、２つの対象物が観察者に適切に見えるように選ばなくてはならない。図４Ｂ〜図４Ｄは、マッピング面の場所を選ぶことに関する問題を示す。
【００４５】
具体的には、図４Ｂおよび図４Ｄは、正方形の対象物５２の場所に面６０を置くことに関する問題を示す。この場合、面が選ばれた後、正方形の対象物５２は、各センサについて面６０の同じ場所へと投影される。センサＡについては、三角形の対象物は位置５６ａにマッピングされ、センサＢについては、三角形の対象物は位置５６ｂで面にマッピングされる。図４Ｄに示されるように、２つのセンサからの画像が組合わさると、観察者には視界に２つの三角形があるように見える。
【００４６】
図４Ｂおよび図４Ｃを参照すると、類似の態様で、面６０が三角形の対象物５４の位置に選択されると、三角形の対象物５４は、各センサについて面６０の同じ場所へとマッピングされる。センサＡについて、正方形の対象物は位置５８ａにマッピングされ、センサＢについては、正方形の対象物は位置５８ｂで面にマッピングされる。図４Ｃに示されるように、この場合、２つの視野からのタイル画像が組合わさると、視界に２つの正方形があるように見える。
【００４７】
図４Ａ〜図４Ｄに示されるように、幾何学的なマッピング面の位置の選択は、視差の異常を低減する上で重要な問題である。たとえば、図４Ａ〜図４Ｄに示される場合では、適切なマッピング面の場所は、理論的には同じ光線に沿った異なる範囲にある対象物に対する中間である。言換えれば、マッピング面の場所は、視点の遠近感から表わされる相対的な３Ｄ幾何学的構造の関数であり、最良で不連続的であり、最悪で不定である。これは、画像化されている幾何学的構造を近似させて視差異常を最低限にする解決策が得られるように面が選ばれるためである。
【００４８】
航空機の場合、球を幾何学的なマッピング面として使用してもよい。かなりの高度では、視差異常はゼロに向かう傾向があり、幾何学的なマッピング面は何らかの理論的な最大距離に選ぶことができる。しかしながら、航空機が下降し地面に近づくと、航空機の場所と幾何学的なマッピング面との間の距離は、航空機と地形などのまわりの対象物との間の距離をより厳密に近似させるために減らさなければならない。したがって、低高度飛行、着陸、およびタキシング、または地上の乗り物内もしくは地上の用途の場合、球とともにまたは球に対して平らな幾何学的な面を使用して、地上面を近似してもよい。その他の幾何学的な形状も企図される。
【００４９】
たとえば、何らかの合成ナビゲーションデータは、さまざまな地形の特徴を表わすために多角形を使用することによって３Ｄで表わされる地形データを含む。多角形をマッピング面に使用してもよい。この場合、システムはさまざまな幾何学的な面を含み、ディスプレイに最も近い面がマッピング面として使用される。航空機が移動するにつれ、幾何学的なマッピング面は、合成データからのそのときに最も近い幾何学的な面に変化する。別の例では、システムは、地形およびその他の特徴への範囲を示すレンジング装置からのデータを受取ってもよい。この範囲データは、幾何学的なマッピング面を構築するために使用することができる。
【００５０】
幾何学的なマッピング面の選択に加え、ソースおよびディスプレイの座標系間で変換するための共通のまたは基本の座標系を作ることが重要である。図５は、ソース６１および対象物６２に対して選択された球状の幾何学的なマッピング面６０を示し、対象物は面の６２′へと投影されている。この図に示されるように、ソース６１は座標系６４を有し、ディスプレイは座標系６６を有し、マッピング面は座標系６８を有し、これらはすべて互いに異なる。対象物は基本の座標系を作り、これによってソース６１およびディスプレイのベクトル空間の間でのマッピングが可能となる。
【００５１】
この発明の一実施例では、基本の座標系は、マッピング面の座標系として選ばれ、これは、通常、乗り物の座標系に対応する。正確な変換を行なうために、できるだけ多くの要因を考慮することが重要である。具体的には、各ソースおよびディスプレイは、ｘ、ｙおよびｚの位置、ならびにロールおよびヨーを占める完全な６自由度の成分としてモデル化される。さらに、各センサに関連付けられる光学機器は、センサによって受取られる画像の遠近感に影響し、ディスプレイのラスター上に画像を表示することによって起こるひずみがあり得る。これを考慮して、変換は、光学機器およびラスター上のディスプレイ内の差に対する非線形の変換を用いてシステム内の各センサおよびディスプレイを完全な６自由度の成分としてモデル化することを含む。光学機器およびラスターの変換は、それらの固有の座標系内の画素視線ベクトルを判定するために使用されるため、これら計算は初期化の際に計算するだけでよい。ソースおよびディスプレイについての変換は、ディスプレイおよびソースの対応する画素を適切に互いに関連付けて、画像を適切に整列させ、表示させるために使用される。
【００５２】
図６〜８は、この発明のシステムおよび方法の動作を示す。図６は、ディスプレイ２８、および少なくとも２つのソース６１ａおよび６１ｂを示す。共通のマッピング面６０は、ディスプレイおよびソースの前方のある距離に規定される。対象物６２はマッピング面の外側の何らかの未知の距離にあるが、マッピング面にマッピングされるため、ディスプレイおよびセンサからの画素を互いに関連付けるための基準を提供する。ディスプレイ２８は、マッピング面へと投影する画素によって規定される視界７０を有する。ディスプレイの視界は、パイロットまたはユーザが対象物６２に対して頭部を移動させるにつれて変化する。このようにして、ディスプレイの視界がマッピング面に交差する場所は、パイロットが視線を変化させるにつれて変化する。
【００５３】
ソース６１ａおよび６１ｂも、それぞれの視界がマッピング面に投影されている。マッピング面の座標系は基本の座標系であり、これは、通常、この例では航空機と同じである。ソースは航空機に装着されているため、航空機に対する位置、したがって、その座標系は同じままである。図６は、ある瞬間を対象物６２に対するパイロットのある特定の視線および各ソースの視線について示す。
【００５４】
例示の目的のため、ディスプレイの２つの画素を選んでこの発明の動作を説明する。各画素は、視線ベクトル、それぞれ７２および７４を有し、これらはマッピング面の場所７２ａおよび７４ａへとそれぞれ延びる。図示のように、第１のベクトル７２のマッピング面での交差点７２ａはソース６１ａの視界内にあり、第２のベクトル７４の交差点７４ａはソースの両方の視界内のマッピング面上の場所にある。第１の視線ベクトル７２に関連付けられるディスプレイ画素について、この発明のシステムおよび方法は、ソース６１ａのどの画素がディスプレイ画素に対応するかを判定する。しかしながら、第２の視線ベクトル７４に関連付けられるディスプレイ画素について、システムおよび方法は、両方のソースからのどの画素がディスプレイ画素に対応するかを判定する。この場合、システムおよび方法は、２つのソースのそれぞれの画素についての値をつなぎ合わせるかまたは融合させて表示するための値を提供する。ソースが同じ種類であれば（すなわち、２つのＣＣＤカメラ）、システムおよび方法は、つなぎ合わせまたは混合プロセスを使用する。ソースが異なる種類であれば（すなわち、ＣＣＤカメラと赤外線センサ）、システムおよび方法は、融合プロセスを使用する。
【００５５】
どのデータを画素について表示するかを判定するために各ディスプレイ画素について行なわれる動作を以下に説明する。この説明に続いて、図６のディスプレイの第１および第２の画素についての動作の例を挙げる。
【００５６】
図７は図３に対応するブロック図である。図７は、ソース入力からの画像に基づいて表示を生成するために行なわれる動作を示す。図８は、この発明のシステムおよび方法の動作を詳しく示すフローチャートである。
【００５７】
図７に示されるように、高速ＲＡＭ４４は、ＦＰＧＡによって使用される事前に計算された値を含む。各ソースおよびディスプレイについて、以下の値が記憶される（別段の記載がない限り、値はそれぞれのソース／ディスプレイの座標系に表わされ、これは非スカラー量に対する固有の座標系である）。
【００５８】
１．ディスプレイまたはソースの各画素についての各視線ベクトル
２．水平および垂直の画素解像度
３．水平および垂直の視界
４．基本の座標系の原点からそれぞれのソース／ディスプレイ座標系の原点への、基本の座標でのオフセットベクトル。このオフセットは基本の座標系の原点からのディスプレイまたはソースの物理的な距離および方向である（すなわち、航空機のゼロ原点（０，０，０）に対するソースまたはセンサの場所）
５．所与のディスプレイまたソースについての適切な基本の座標系からソース座標系への、またはディスプレイ座標系から基本の座標系への変換。
【００５９】
各ディスプレイまたはソースについて記憶される情報に加え、ＲＡＭはマッピング面パラメータも記憶する。
【００６０】
これら記憶される値のうち、ディスプレイ座標系から基本の座標系への変換のみが連続的に更新される必要がある。パイロットが頭部を動かす際のパイロットの視線の変化を適
切に考慮する。変換は、３×３の回転行列および基本の座標原点（０，０，０）からのディスプレイのオフセット距離および方向に関連付けられるオフセットベクトルからなる。図７に示されるように、この計算は通常、中央プロセッサ３６によって扱われ、これは頭部追跡部データからの変換を必要なディスプレイフレームレートよりはるかに速く容易に計算することができる。マッピング面パラメータは、パイロットによって定期的に更新してもよいし、または計測機器の読取値から自動的に更新してもよい。すべての一定の中間値に関して、冗長を避けるため、これらはシステムの初期化の際に一度計算される。中央プロセッサはセンサの利得設定を調節し、パイロットの要求するズームおよびパン機能を扱うことができる。
【００６１】
図８を参照すると、次のデータおよびパラメータ、つまり、ディスプレイの各画素についての視線データ、各ソースの各画素についての視線データ、ディスプレイ座標を基本の座標に変換するための変換およびマッピング面パラメータがまずシステムに入力される（入力ブロック１００を参照）。連続的に中央プロセッサ３６は現在の視線を判定し、それをＦＰＧＡに提供する。中央プロセッサはセンサの利得およびその他の予備的な計算も調節する（ブロック１１０を参照）。
【００６２】
各ディスプレイ画素について（ブロック１２０を参照）、ＦＰＧＡ３８は、単純な３×３行列回転およびオフセットを使用して、画素に関連付けられる視線を基本の座標系へと変換する（ブロック１３０を参照）。
【００６３】
次に、ＦＰＧＡは、ディスプレイ画素の視線がマッピング面を遮るまでそれを延ばす（ブロック１４０を参照）。これは球についての単純な二次の計算であり、平面についての単純な線形計算である。その他の一般的な幾何学的な面も、アルゴリズムが容易に収容することのできる単純な分析的な解を有する。複数の面がある場合、ディスプレイにより近い交点が見られているものである。アルゴリズムに関して、ディスプレイ画素によって見られる対象物はマッピング面上の計算された交点にある。
【００６４】
ＦＰＧＡがディスプレイ画素に対応するマッピング面上の場所を判定した後、次にＦＰＧＡはどのソースのどの画素がディスプレイ画素に対応するかを判定する。各活性のソースについて、以下の動作が行なわれる。
【００６５】
１．ソース原点から、ディスプレイ画素ベクトルがマッピング面に交差するマッピング交点へのベクトルが基本の座標系において計算される（ブロック１５０を参照）。
【００６６】
２．計算されたベクトルをソースの座標系へと変換する。
【００６７】
３．単純なピンホール光学機器モデルを使用して、この計算された視線ベクトルに対応すべきソース画素格子座標が計算される。これが、これら座標についての実際の視線ベクトルと比較され、メモリに記憶される視線ベクトルから容易に補間することができる。この比較によって、視線ベクトル誤差が得られる。視線誤差が小さい場合、たとえば、ソースを正確にピンホール光学機器によって表わすことができる場合、ディスプレイ画素に対応するソース画素格子座標が見つかっている。そうでなければ、反復的な解決器を使用して視線誤差ベクトルを低減し、ソース画素格子座標を見つける。必要とされる反復の回数は、光学的なひずみの複雑さに依存するが、合理的なレベルのひずみに対してもともとの推量より２回より多く繰返しが必要とされる可能性は少ない（ブロック１６０を参照）。
【００６８】
この発明は、ソース画素の、最も近い近隣の、双一次のまたは双三次の補間を使用してもよい。
【００６９】
４．ソース画素格子座標がディスプレイ画素に対応している場合、正規化されない混合係数が計算される（ブロック１７０を参照）。この係数はつなぎ合わせおよび／または融合のために使用される。具体的には、１つまたは複数のソースの視界が、ディスプレイ画素がマッピング面上にある区域内で重なっている場合、両方がディスプレイ画素に対応する画素を有する。正規化されない混合係数は、ソース画素が同じディスプレイ画素に対応する他のソースの画素に対して表示されるべき割合を示す各ソース画素についての値を提供する。これによって、２つまたはそれ以上のソース画素をともにつなぎ合わせることができる。
【００７０】
正規化されない混合係数は、ソース画素がソースの視界内のどこにあるかに基づく値である。画素がソースの視界の中央の近くにある場合、正規化されない混合係数は１に近づく。中央から離れたところにある画素はゼロ（０）に近い値を有する。
【００７１】
一実施例の正規化されない混合係数は、次のように計算される。最も近い角からのソース画素格子座標の列の数をｘとし、ｘは、整数である必要はなく、ソース画素格子座標がソースの視界の外側にある場合はゼロであり、そうでなければ正であり、ソース格子座標が角の画素に対応する場合は１に等しい。同様に、最も近い角からのソース画素格子座標の列の数をｙとする。Ｎｘが水平のソース解像度であり、Ｎｙが垂直のソース解像度である場合、正規化されない混合係数は（４*ｘ*ｙ）／（Ｎｘ*Ｎｙ）である。この値は、視界の外側ではゼロであり、端縁近くでは小さく、角の近くでは非常に小さく、視界の中央では１である。
【００７２】
５．つなぎ合わせについては、ディスプレイ画素についてのソースの正規化されない混合係数は、各々を合計で割ることによって正規化される（ブロック１８０を参照）。正規化されない混合係数の計算は、この単純な正規化が、大きかれ小さかれ適切に相対的な重なりを占めるように設計されている。テストによって、実際には起こらないがセンサが傾斜角で重なっているときでもこれが十分働くことがわかっている。
【００７３】
融合については、ディスプレイ画素についてのソースの正規化されない混合係数は、ソースの本質および所望の融合の種類によって大きく変わる、より複雑な態様で正規化される。しかしながら、どの場合でも、この手順の要点は、それぞれのソースの出力空間の間に対応関係が確立され、この対応関係に関して混合係数が正規化されて、たとえば、割合に基づくかまたは内容に基づく融合が実現されることである。
【００７４】
ディスプレイからソースへの画素の対応関係および混合係数が計算されたところで、ソース画素の適切な配合をすべてのディスプレイ画素について計算することができる。
【００７５】
この発明の動作の一例として、ディスプレイ画素７２および７４についてのディスプレイの値を判定するためのステップを簡単に説明する。図６を参照すると、第１のディスプレイ画素７２についての視線は基本の座標系に変換される（ブロック１３０を参照）。次に、ディスプレイ画素の視線７２は、マッピング面交点７２ａを見つけるために延ばされる。ベクトル７２がマッピング面に交差するマッピング面上の点に対応する視界を有するのは１つのソース６１ａのみであるため、このソースのみがゼロでない混合係数を得る。具体的には、ソース原点からマッピング交点へのベクトル７３が基本の座標で計算される。ソースベクトル７３は、次に、基本の座標系からソース座標系へと変換され、この視線ベクトルに対応すべきソース画素格子座標が計算される。これが、これらソース画素についての実際の視線ベクトルと比較され、このことによって視線ベクトル誤差が得られる。誤差がごく小さい場合、ソース画素は見つかっている。そうでない場合、繰返しの手順を使用して正しいソース画素を見つける（ブロック１６０を参照）。
【００７６】
ソース画素が見つかった後、ソースの視界内での画素の場所に基づいて、正規化されない混合係数がソース画素について判定される（ブロック１７０を参照）。この場合、１つのソース６１ａのみがディスプレイ誤差画素に対応する画素を有するため、正規化のステップによってソース画素についての完全な値が得られる。正規化されない混合係数は、この場合１に等しい正規化されない混合係数の合計によって割られる。これら判定されたソース画素はディスプレイ内のディスプレイ画素の場所に表示される。
【００７７】
第２のディスプレイ画素７４についてのディスプレイデータの判定は幾分異なる。この場合、両方のソース６１ａおよび６１ｂは、画素７４のベクトルがマッピング面に交差する場所に重なる視界を有する。各ソースは、ディスプレイ画素ベクトル７４が場所７４ａでマッピング面に交差するマッピング面上の場所に対応するそれぞれの視線を有する画素または画素のグループを有する。ソース６１ａは視線ベクトル７３を有し、ソース６１ｂは視線ベクトル７７を有する。この場合、上述のステップが両方のソースについて繰返される。重要なのは、ディスプレイ画素に対応する各ソースについてのソース画素が、それぞれのソースの視界内のそれぞれの特定の画素の場所に基づいて適切に重み付けされることである。正規化の動作において（ブロック１８０を参照）、ディスプレイ画素７４について表示されるべきデータは、各ソース画素についての正規化されない混合係数を各ソースについての正規化されない混合係数の合計で割ることによって判定される。このような態様で、各ソースからのディスプレイデータは混合されるかまたはつなぎ合わされて継目のない表示が得られる。
【００７８】
上述のように、センサの視界が重なっている状態では、重なり領域内の各ソースについての画素は、重みプロセスを通じてつなぎ合わされるかまたは混合される（図８、ブロック１７０を参照）。このつなぎ合わせによって、ディスプレイ内の目に見える継目が排除されないにせよ、低減される。たとえば、図９は、互いに隣接しかつ視界が重なっているソースによって提供される画像タイル７６ａ〜７６ｄを示す。これら画像が処理されるとき、つなぎ合わされて複合画像７８になる。画像は混合ゾーン８０で重なる。混合ゾーンにおける各ソースからの対応する画素の正規化混合によって、複合画像は継目なく見える。
【００７９】
隣接するタイルの混合のための方法を提供することに加え、この発明は、異なる種類のセンサによってとられた同じ視界の２つの画像タイルを融合または重ね合わせるための方法も提供する。２つの画像の融合によって、ユーザは、両方のセンサによって提供される利点を含む複合画像を見ることができる。一例は、ビデオカメラおよび赤外線センサからの画像の融合であり、融合された画像はカメラの視覚的な特徴および赤外線センサの熱視覚化の利点を有する。
【００８０】
図１０は融合を表わす図である。図示のように、各センサはそれぞれの画像８２ａおよび８２ｂを捕捉する。この発明のシステムおよび方法は、２つの画像を画素ごとに処理して、個々の画素が２つの画像８２ａおよび８２ｂの２つの対応する画素の割合として規定されている複合画像８４を作る。融合は、正規化の動作においてＦＰＧＡ３８によって行なわれる（図８、ブロック１８０を参照）。
【００８１】
ソースは異なる種類の装置であるため、画像を組合せる前に調節しなくてはならない画像間の差がいくつかある場合がある。たとえば、センサの画素の値の尺度が異なることがあり、１つのソースが線形であり他方が非線形である、または１つは白黒であり他方がカラーであることなどがある。これを考慮して、ＦＰＧＡまたは中央プロセッサが互いに対して画像を調節して、共通のパラメータを有するようにする。
【００８２】
２つの画像のパラメータの調節に続いて、この発明のシステムおよび方法は、２つの画
像を融合するための代替の方法を提供する。たとえば、一方の画像または他方を強調するため、中央プロセッサは画像のうちの１つの画素の値を他方のものに対して重み付けすることができる。たとえば、割合に基づく方法では、この発明のシステムおよび方法は、１つの画像が、たとえば３０％である第１の値を有するように重み付けし、他方の画像の画素を７０％で重み付けして、第２の画像を強調することができる。一例として、図１１は、各々が５０％で寄与している長波赤外線画像８６ａとＣＣＤカメラ画像８６ｂとの融合８８を示す。
【００８３】
割合に基づく融合に代わるものとして、内容に基づく融合を使用してもよい。この方法は、類似の割合の率の混合を伴うが、同じ割合の重みをある画像のすべての画素に適用するのでなく、混合係数は入来する画素の強度から判定される。これは画素駆動融合と称される。一方の画像の画素の強度が他方の画像の画素の強度よりも大きい場合、強度の大きい画素がより大きく重み付けされる。これによって、画素がどの画像に対応するかにかかわりなく、強度の大きい画素がより目立って表示される。
【００８４】
たとえば、類似の視界を覆う可視画像および赤外線画像では、これらの画像を画素のレベルで組合せ、画素の強度に基づいて赤外線画像に優先順位を与えてもよい。この場合、赤外線画素が最大７５％であれが、結果的な画素は７５％のＩＲ画素の強度および２５％の可視画素強度から構成される。
【００８５】
図１２は、赤外線画像９０ａとＣＣＤカメラ画像９０ｂとの融合を示し、赤外線画像は赤で表示され、ＣＣＤ画像は緑で表示されている。これは各ソース画像のスペクトルの内容を強調する。たとえば、車のボンネット９２の反射光および電柱９４は赤外線画像によって強調されている。
【００８６】
他の融合技術もこの発明とともに使用することができる。これらは、たとえば、演算動作、周波数領域操作および対象物の認識および抽出を含む。
【００８７】
図７に示されるように、中央プロセッサは個々のセンサの利得を制御できる。センサの利得が適切に制御されない場合、ユーザに表示される画像の区域に明るい点があって、見る人を惑わせる場合がある。たとえば、２つのセンサが隣接しており、１つの利得が異なる場合、それぞれの画像がつなぎ合わされると、一方の画像が他方よりも明るくなることがある。この問題は、中央プロセッサにセンサの１つの利得を調節させるかまたは高い利得を有するセンサからのデータを負に重み付けさせて、隣接する画像が類似の利得を有するように表示することによって解決することができる。たとえば、図１３に示されるように、２つの画像が継目９６でつなぎ合わされると、画像間の輝度９８の差が生じ得る。これに対処するため、より明るい画像の強度の程度を低下させて、より満足のいく輝度の適合１００を得ることができる。
【００８８】
利得の問題は２つの画像間の差に限らないことがある。ソース内の異なるセンサ間に利得の差があることがある。これらの差はディスプレイ内に明るい点を生じさせ得る。これら利得の異常に対処するため、この発明のシステムおよび方法は、画素のグループ上で強度の統合を行なうことによって、これら画素の利得を調節することができる。この場合、システムおよび方法は、所望の強度を有する基準の画素を選択し、使用すべき中間の強度を計算してより高い強度の値を有する画素の強度を調節する。
【００８９】
モザイク画像のつなぎ合わせおよび画像の融合に加え、この発明のシステムおよび方法は、可視空間全体に分散されたピクチャインピクチャ仮想ディスプレイを提示する能力も提供する。たとえば、膝に紙の地図を広げるように、ディスプレイの下方区域に動く地図が提示されることが好ましい場合がある。また、バックミラーと同様に、ディスプレイの
上方区域のタイルに後部カメラがマッピングされているのが望ましい場合がある。これらの概念は図１４に示され、この図は、パイロットの視線に沿った画像ディスプレイ１０２、上方のバックミラータイル１０４および下方の動く地図タイル１０６を示す。この画像は、乗り物位置に互いに関連付けられる頭部追跡３Ｄ地形レンダリングなどの合成画像ソースを用いてさらに強化することができる。
【００９０】
この場合、中央プロセッサはナビゲーションデータベースから地形データを受取る。地形データは他のソースからの画像と同様に扱われる。具体的には、地形データは画素ごとに処理されて、データのどの画素が所与のディスプレイ画素に対応するかが確かめられる。合成データは他の種類のソースデータと同様に扱われるため、合成データは他の種類のデータと組合せることができる。たとえば、合成データは図１４に示されるようにそれ自身のタイルに表示してもよいし、またはセンサからの画像と噛み合せるかまたは融合させることができる。たとえば、図１５はセンサからの画像と融合された合成画像を示す。動く地図データに加え、他の種類のディスプレイデータを別のタイルに表示するかまたは画像に融合させることも可能である。たとえば、航空機ＨＳＩおよびＡＤＩディスプレイ、高度計、対気速度等はタイルとしてまたは画像と融合してディスプレイに表示させることができ、パイロットは計器の読取値を見ながら航空機の周囲の環境を見ることができる。図示されていないが、システムおよび方法は、ピクチャインピクチャタイリング、ズーム、パン等の能力も含む。
【００９１】
この出願と同時に出願され、「ディスプレイの視点に環境の画像を与えるためのシステムおよび方法（SYSTEMS AND METHOD FOR PROVIDING ENHANCED VISION IMAGING）」と題される、米国特許出願連続番号ＵＳ１０／３７９，４０９号は、別の画像ディスプレイシステムについて記載しており、この内容をここに引用により援用する。
【００９２】
この発明の多くの修正例およびその他の実施例が、上述の説明および関連する図面に示される教示の恩恵を受けるこの発明の属する分野の当業者に思い浮かぶであろう。したがって、この発明は開示された実施例に限定されるのではなく、修正例およびその他の実施例が特許請求の範囲内に含まれることを理解されたい。ここでは具体的な言葉を用いたが、それらは一般的かつ説明の意味で使用したものであり、限定のためのものではない。
【図面の簡単な説明】
【００９３】
【図１】この発明のシステムおよび方法を実現し得る航空機の上面図および側面図である。
【図２】この発明の一実施例に従った高度な視覚を提供するためのシステムのブロック図、およびこの発明で用いるためのヘルメット追跡システムを備えた頭部装着ディスプレイを示す図である。
【図３】この発明の一実施例による強化された視覚を提供するために使用される画像プロセッサのブロック図である。
【図４Ａ】マッピング面の異なる配置およびそれに関連する問題を示す図である。
【図４Ｂ】マッピング面の異なる配置およびそれに関連する問題を示す図である。
【図４Ｃ】マッピング面の異なる配置およびそれに関連する問題を示す図である。
【図４Ｄ】マッピング面の異なる配置およびそれに関連する問題を示す図である。
【図５】この発明で使用される、センサ、ディスプレイ、およびマッピング面のためのさまざまな座標系を示す図である。
【図６】ディスプレイ画素と対応するソース画素との互いの関係を示す図である。
【図７】この発明の一実施例による画像プロセッサのさまざまな構成要素間の情報の流れを示すブロック図である。
【図８】この発明の一実施例による強化された視覚システムを提供するために行なわれる動作のブロック図である。
【図９】隣接するタイルをつなぎ合わせて複合またはモザイク画像を形成することを示す図である。
【図１０】２つの画像を融合させて複合画像を形成することを示す図である。
【図１１】複合画像を形成するために２つの画像を割合に基づいて融合した結果を示す図である。
【図１２】複合画像を形成するために２つの画像を内容に基づいて融合した結果を示す図である。
【図１３】隣接する画像間の接合での異常の修正を示す図である。
【図１４】ディスプレイ内の異なる画像のタイリングを示す図である。
【図１５】合成データベース画像と赤外線画像との融合を示す図である。
【符号の説明】
【００９４】
２８  ディスプレイ、３６  中央プロセッサ、３８  ＦＰＧＡ、６１ａ、６１ｂ  ソース。
【図１】
2004265412.tif 000003
【図２】
2004265412.tif 000004
【図３】
2004265412.tif 000005
【図４Ａ】
2004265412.tif 000006
【図４Ｂ】
2004265412.tif 000007
【図４Ｃ】
2004265412.tif 000008
【図４Ｄ】
2004265412.tif 000009
【図５】
2004265412.tif 000010
【図６】
2004265412.tif 000011
【図７】
2004265412.tif 000012
【図８】
2004265412.tif 000013
【図１０】
2004265412.tif 000014
【図９】
2004265412.tif 000015
【図１１】
2004265412.tif 000016
【図１２】
2004265412.tif 000017
【図１３】
2004265412.tif 000018
【図１４】
2004265412.tif 000019
【図１５】
2004265412.tif 000020