(57)【要約】【解決手段】武器に搭載される画像センサと武器の回転方向を検出する方向センサとにより提供される、目標領域の回転方向を補正するシステムである。方向センサからの測定を使用して、画像センサから取得された画像データを所望の回転方向に変換する。変換された画像データを、垂直方向の広がりを有する物体がほぼ垂直に表示される方向で、ディスプレイ上に表示することができる。【選択図】図７
2010515876.tif 000002
【特許請求の範囲】
【請求項１】
武器と機械的に接続された画像センサであって、武器の発砲方向が画像センサの視野内となる画像軸を有し、武器の目標領域の一つ以上の画像または映像からなる画像データを提供する、画像センサと、
前記武器または前記画像センサと機械的に接続され、前記画像軸の回転方向を検知するように配置される第１方向センサと、
前記画像センサから画像データを受け取り、前記第１方向センサから回転方向データを受け取るように作動する一つ以上のプロセッサであって、受け取った回転方向データに基づき前記画像データの画像方向を補正して補正済画像データを提供するように構成される、一つ以上のプロセッサと、
前記補正済画像データをユーザに対して表示することによって、選択された座標系と実質的に等しい回転方向を持つ武器の目標領域を表示する回転方向補正がなされた武器の目標領域を、ユーザに対して表示するように構成されるディスプレイと、
を備える武器システム。
【請求項２】
前記ディスプレイは、ユーザの片目または両目の前方に配置可能なディスプレイを備え、
当該武器システムは、前記ディスプレイの回転方向を検出するように配置される第２方向センサをさらに備え、
前記一つ以上のプロセッサは、検出された前記ディスプレイの回転方向に基づき前記画像データの画像方向を補正することによって、前記ディスプレイの任意の傾きを補償する回転補正がなされた目標領域をユーザに表示するようさらに構成されることを特徴とする請求項１に記載の武器システム。
【請求項３】
前記選択された座標系はワールド座標系または主座標系であることを特徴とする請求項１に記載の武器システム。
【請求項４】
前記画像センサは、ＣＣＤカメラ、ＣＭＯＳカメラまたはブラウン管（tube）ベースのカメラであることを特徴とする請求項１に記載の武器システム。
【請求項５】
前記第１方向センサは、直立方向からの偏位を測定可能なセンサであることを特徴とする請求項１に記載の武器システム。
【請求項６】
前記センサは、傾斜計、ジャイロスコープ、磁力計またはその組合せであることを特徴とする請求項５に記載の武器システム。
【請求項７】
武器の目標領域が、前記ディスプレイに示されるより大きな絵の中のより小さな絵として表示されることを特徴とする請求項１に記載の武器システム。
【請求項８】
より小さな絵の中に描画された前記武器の目標領域が、より大きな絵の中の同様に描画された領域の上に実質的に重ねられることを特徴とする請求項７に記載の武器システム。
【請求項９】
前記画像センサが調節可能なまたは固定のズーム能力を有することを特徴とする請求項１に記載の武器システム。
【請求項１０】
武器に接続され武器の目標領域の一つ以上の画像または映像からなる画像データを提供するように方向付けられた画像センサから画像データを取得し、
前記画像センサの回転方向を測定し、
測定された回転方向に基づき前記画像データを補正し、
補正された画像データをユーザに対して表示することによって、選択された座標系と実質的に等しい回転方向を持つ武器の目標領域を表示する回転方向補正がなされた武器の目標領域をユーザに対して表示することを含む、武器の目標領域を観察する方法。
【請求項１１】
ディスプレイがユーザに取り外し可能に取り付けられており、
当該方法は、
前記ディスプレイの回転方向を測定し、
測定された前記ディスプレイの方向に基づき前記画像データを補正することによって、
ユーザによる任意の頭部の傾きを補償する回転補正がなされた目標領域をユーザに表示することをさらに含むことを特徴とする、請求項１０に記載の方法。
【請求項１２】
第１の搬送構造の方向を測定することが、重力に対する武器の方向および／または地球磁場に対する武器の方向を測定することを含む、請求項１０に記載の方法。
【請求項１３】
前記補正された画像データがより大きな絵の中により小さな絵として表示されることを特徴とする請求項１０に記載の方法。
【請求項１４】
より小さな絵の中に秒がされた目標領域が、より大きな絵の中の同様に描画された領域の上に実質的に重ねられることを特徴とする請求項１３に記載の方法。
【請求項１５】
測定された回転方向に基づき回転方向データを計算し、
補正された画像データのデジタル表現を取得し、
計算された回転方向データと補正された画像データのデジタル表現とを合成してデジタルデータストリームを提供することをさらに含む請求項１０に記載の方法。
【請求項１６】
前記デジタルデータストリームを一人以上の観察者に送信することをさらに含む請求項１５に記載の方法。
【請求項１７】
画像を撮像する手段と、
前記画像の方向を測定する手段と、
測定された方向に基づき画像の方向を補正して補正済画像データを提供する手段と、
を備えることを特徴とする画像補正システム。
【請求項１８】
前記画像の方向を測定する手段は、画像の画像軸周りでの回転方向を測定することを特徴とする請求項１７に記載の画像補正システム。
【請求項１９】
画像の補正方向が指定され、当該システムが前記補正済画像データを表示する手段をさらに含むことを特徴とする請求項１７に記載の画像補正システム。
【請求項２０】
搬送構造の方向を測定する手段をさらに含み、
前記補正する手段は、画像の測定方向および前記搬送構造の測定方向に基づき、補正済画像データを提供することを特徴とする請求項１７に記載の画像補正システム。
【請求項２１】
前記搬送構造に接続される表示手段をさらに含み、
前記搬送構造の方向を測定する手段は前記表示手段の方向を測定することを特徴とする請求項２０に記載の画像補正システム。
【発明の詳細な説明】
【技術分野】
【０００１】
（政府のライセンス権）
本発明は、契約番号ＮＢＣＨＣ０６００８３の下、合衆国政府のＤＡＲＰＡ／ＤＯＩから政府支援を受けてなされたものである。合衆国政府はこの特許における特定の権利を有する。
【０００２】
この開示は、表示される画像の方向を補正する分野に関する。
【背景技術】
【０００３】
個々の兵士の有効性を高めるための長期間の努力は、小型武器の精度、射距離、多用途性を中心として進められてきた。しかしながら、市街戦においては、敵軍と友軍とを分かつ空間は、野戦での数千メートルから、密集した建物、街路、裏通りからなる市街環境においてはわずか数十メートルまで圧縮される。さらに、たとえ市街環境では兵士が遮蔽物（cover）を見つけられる可能性が高まるとしても、兵士が複数方向からの武器の発砲にさらされることも増加しうる。それゆえ、市街戦においてこの遮蔽物を利用しつつ、さらに目標を検知し発砲することができれば望ましい。すなわち、兵士が応射にさらされることなく、目標を指定し発砲することができる能力を兵士に付与するという必要性が存在する。
【０００４】
兵士が検知し発砲する方法の一つは、武器搭載のカメラを用いることである。カメラは武器の射線（line of fire）内に画像を提供することができ、兵士はこれを頭部に装着したディスプレイなどのディスプレイ上で観察することができる。例えば、兵士は遮蔽物となる建物の角で自分の武器を保持する一方で、武器搭載カメラおよび頭部装着ディスプレイがその武器で狙える物体を表示することができる。典型的に、武器搭載カメラは、武器のポイント方向（すなわち、照準軸）が武器の射線のビュー内に位置するように武器に搭載される。
【０００５】
典型的に、カメラは直立画像を与えるように方向付けされる。すなわち、垂直方向の広がりを有する物体（電信柱、建物、樹木など）が概して重力と平行である方向に示され、水平方向の広がりを有する物体が概して地面と平行である方向に示される。例えば、デジタルカメラのユーザは、典型的にカメラを目の高さまで持ち上げ、例えば床、天井、扉の上下などの画面内の水平線とカメラの水平軸が概して平行になるように、また画面内の垂直線とカメラの垂直軸が概して平行になるように、カメラの向きを決める。これによりユーザは、垂直方向の広がりを有する画面内の物体をほぼ垂直方向に、水平方向の広がりを有する物体をほぼ水平方向に見ることができる。例えば図１を参照すると、標準の向きの画像が示されている。しかしながら、市街戦環境では、兵士は適切な向きの画像を取得することよりも目標の識別と戦闘に係わっていることが多いので、武器に搭載されたカメラは傾いていることがありそうである。最も重要なのは、武器搭載カメラから取得された任意の画像が標準の直立方向から回転しているように武器が保持されることが起こりそうなことである。例えば図２では、カメラにより撮像された画像１０が４５°だけ回転している。
【０００６】
人間の脳は、一枚の画像または一連の画像内の物体（特に移動物体）を、物体が直立方向に現れるとき、すなわち垂直方向の広がりを有するアイテムがほぼ垂直に現れ、水平方向の広がりを有するアイテムがほぼ水平に現れるときに、より容易に自然処理すると信じられている。例えば、非常に傾いた場面を描いた写真を人に渡すと、その人は、写真をより標準的な方向に傾けた後に、その場面が実際に何を描いたのかを判別しようと試みる。撮像された傾いた静止画像または動画像を見るとき、画像を傾いていない状態で観察したときよりも、画像内の重要なディテールに反応するのが遅くなることがある。脳は、画像をほぼ垂直方向に戻す追加の処理をした後に画像からディテールを取り出さなければならず、そのため画像の処理が遅れると信じられている。一般に、画像が非常に傾いていると、画像が傾いていない場合やそれほど傾いていない場合よりも、画像内のディテールに反応するのが遅くなる。それゆえ、観察者に提供される全ての画像を直立方向で提示することが好ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
照準のために武器を目の高さまで持ち上げることなく、また武器や兵士の位置を不必要に明かすことなく、小型武器で素早く目標を狙い発砲できるようにする照準システムが必要とされている。さらに、センサがその光軸周りに傾いておりセンサの方向とは異なる回転方向を有するディスプレイ上で画像が観察されるときに、光軸が照準軸と平行であるセンサからの画像の回転方向を補正する方法およびシステムが必要とされている。
【課題を解決するための手段】
【０００８】
添付の図面と共に以下の詳細な説明を参照することで、本発明の実施形態をより良く理解し、また本発明の目的、特徴および利点がより明らかになるだろう。
【図面の簡単な説明】
【０００９】
【図１】好ましい向きの画像を示す図である。
【図２】光軸の周りに４５°回転したカメラで撮像された画像を示す図である。
【図３】観察者、カメラおよびディスプレイで用いられる座標系を示す図である。
【図４】背景場面の拡大画像を表示するヘッドマウント型ディスプレイスクリーンを示す図である。
【図５】ヘッドマウント型ディスプレイが４５°回転した画像を受け取っているときの、図４のヘッドマウント型ディスプレイを示す図である。
【図６】ヘルメット搭載のカメラが武器の上に配置された制御マークを検出する本発明の一実施形態を示す図である。
【図７】図６に示す実施形態のヘルメット搭載ディスプレイを描いた図である。
【図８】回転方向センサが武器搭載カメラの回転方向に関するデータを提供する本発明の一実施形態を示す図である。
【図９】ヘッドマウント型ディスプレイを装着した兵士が見るシーンを描いた図である。
【図１０】十字線の代わりに発射線を用いる本発明の一実施形態によるディスプレイスクリーンを描いた図である。
【図１１】発射線が範囲情報を含む本発明の一実施形態によるディスプレイスクリーンを描いた図である。
【図１２】武器搭載カメラからの映像を含む、本発明の一実施形態によるディスプレイスクリーンを描いた図である。
【図１３】武器搭載カメラからの映像を含み、武器搭載ビデオの表示が発射線と位置合わせされた、本発明の一実施形態によるディスプレイスクリーンを描いた図である。
【図１４】武器搭載カメラからの映像を含み、武器搭載ビデオの表示が武器の照準点と位置合わせされた、本発明の一実施形態によるディスプレイスクリーンを描いた図である。
【図１５】回転補正システムを示す図である。
【図１６】回転補正システムのブロック図を示す図である。
【図１７】より大きな表示の内部に回転補正された画像が表示される様子を示す図である。
【図１８】兵士により使用される回転補正システムを示す図である。
【図１９】ディスプレイ内の画像が本発明の一実施形態にしたがって補正された図５のヘッドマウント型ディスプレイを示す図である。
【図２０】画像を提供するカメラの回転方向が補正されたが頭部の傾きについては画像が補正されていない、図１９のヘッドマウント型ディスプレイを示す図である。
【図２１】本発明の一実施形態にしたがってヘッドマウント型ディスプレイ内の画像がカメラの回転と頭部の傾きについて補正された、図２０のヘッドマウント型ディスプレイを示す図である。
【図２２】二次元画像について回転方向の補正処理をするために使用可能なステップのブロック図である。
【発明を実施するための形態】
【００１０】
開示を目的としておよび特許請求の範囲の解釈のために、以下の定義が採用される。「画像センサ」という用語は、検出されたエネルギーに基づいて表示される画像の形成に使用される、近赤外線、赤外線、可視光線、紫外線スペクトルでエネルギーを検出する装置のことを言う。また、「画像センサ」という用語は、マイクロ波、ミリ波およびテラヘルツ放射線を含むがこれらに限定されない光周波数を下回る無線周波数スペクトルのエネルギーを検出する装置のことを指してもよい。「画像センサ」という用語は、表示される画像を形成するために、例えばソナーなどの他のかたちでエネルギーを検出する装置のことを指してもよい。検出されたエネルギーを使用して、単一の静止画像、または動画を提供可能な一連の画像（ビデオカメラから得られるような）を形成してもよい。装置は、観察されるシーンの画像／映像、または複数の画像を生成する電荷結合素子（ＣＣＤ)またはＣＭＯＳカメラ、ブラウン管（tube）ベースのカメラまたは他の光学センサなどの従来の光学検出装置を備えてもよい。画像センサ内の検出デバイスは、二次元方向に平面構成で配置されてもよく、検出デバイス（例えば、検出画素）が行および列または水平線（例えば、アナログ映像の）を構成するとみなされてもよい。装置の出力は、一つ以上のアナログ信号または一つ以上のデジタル信号であってもよい。「カメラ」という用語が「画像センサ」という用語と同じ意味で使われてもよい。「イメージング軸」という用語は画像センサのポイント方向のことを指し、画像センサに関連する光学システムの光軸に対応する。典型的に、イメージング軸は画像センサ内のあらゆる検出デバイスの平面と垂直である。例えば、光画像センサにおいて、イメージング軸または光軸はセンサ内の光学検出器に対して垂直であるか、または光画像センサ上に光エネルギーの焦点を合わせるために使用される任意の光学レンズに対して垂直である。
【００１１】
センサから取得された一つの画像または一連の画像の回転方向を補正する方法および装置が以下で説明される。より詳細には、この詳細な説明は、画像または一連の画像を撮像したセンサのフレームとは異なる基準フレーム（方向）を有するシステムに画像または一連の画像が転送されるときに、画像または一連の画像の回転方向を補正することについて述べる。この開示を目的としておよび特許請求の範囲の解釈のために、「回転方向」という用語は、ワールド座標系または主座標系などの指定され共通に知覚された垂直方向および水平方向に対する、センサで記録された物体またはディスプレイ上に表示された物体の垂直部分または水平部分の角度方向のことを指す。本明細書で使用されるワールド座標系は、地球上の点または不動の目標に固定されるデカルト座標系である。
【００１２】
本発明の実施形態は、ヘッドマウント型ディスプレイに表示するために武器に搭載された画像センサから取得される画像または映像を表示することを含む。画像または映像は、画像センサおよび／またはヘッドマウント型ディスプレイの回転方向を補償するために補正される。ヘッドマウント型ディスプレイには、他の情報とともにデジタル照準点を表示するのに役立つシースルー（透視）能力を有していてもよく、また武器搭載のカメラからのピクチャ・イン・ピクチャのビデオ画像またはフルスクリーンのビデオ画像を含んでいてもよい。ヘッドマウント型ディスプレイによる視野の妨害は最小にすることが好ましい。この種のディスプレイにより、武器を発見するためにより単純な光学素子を使用することが可能になり、またヘッドマウント型ディスプレイに表示される武器搭載のカメラから取得された画像または映像の品質を維持する小型の光学システムの使用が可能になる。
【００１３】
一部の実施形態では、武器搭載の画像カメラから取得された画像または映像ストリームに加えて、武器上に回転方向センサを備える。他の実施形態では、武器上の方向センサとユーザの頭部に取り付けられる方向センサとを備える。これにより、ヘッドマウント型ディスプレイのデジタル照準点として武器の照準方向を表示することが可能になる。さらに他の実施形態は、武器上の回転方向センサと、武器搭載のカメラと、ユーザの頭部に装着される回転方向センサとを備える。これにより、ヘッドマウント型ディスプレイに表示される武器搭載の画像カメラから取得される画像または映像ストリームに加えて、ヘッドマウント型ディスプレイ上のデジタル照準点として武器の方向を表示することが可能になる。本発明のさらに他の実施形態では、チーム、グループまたは戦隊のデジタル照準点、並びに特定の方向および／または空間座標に関連付けられる他の情報を表示してもよく、また映像およびセンサ情報を記憶する能力を有していてもよい。
【００１４】
図３は、画像の撮像に画像センサを使用するときに登場する様々な座標系を示す。ワールド座標系ＸＷＹＷＺＷ５１はワールド座標系に基づいており、人間の観察者５８による物体５２の見方を表している。非回転のカメラ座標系Ｘｃ１Ｙｃ１Ｚｃ１５５は、Ｚｃ１軸により表されるカメラの光軸が物体５２の画像５４を撮像するカメラ５６の座標系を表している。カメラ５６が行方向と列方向を有する場合、軸Ｘｃ１は行方向と一致し、軸Ｙｃ１は列方向と一致する。回転したカメラ座標系Ｘｃ２Ｙｃ２Ｚｃ２６５は、光軸Ｚｃ２の周りで角度αだけカメラ５６が回転したときの座標系を表している。したがって、ワールド座標系ＸＷＹＷＺＷ５１に関して角度αだけ画像６４が回転される。よって、角度α＝０の画像は「直立画像」とみなされる。最後に、カメラ５６からの画像はディスプレイ６８に送られてもよい。画像は回転され、ユーザの頭部の角度に基づき傾きを有してもよく、ディスプレイ座標系ＸｄＹｄＺｄ６３を有する。ディスプレイ６８が行方向と列方向を有する場合、軸Ｘｄは行方向と一致し、軸Ｙｄは列方向と一致する。使用中にディスプレイ６８が回転してもよいし、ワールド座標系ＸｗＹｗＺｗ５１から角度βだけ傾いてもよい。そのため、ディスプレイの観察者５８がワールド座標系ＸｗＹｗＺｗ５１と同じ方向を向いており画像がワールド座標系方向に表示されるべき場合に、ディスプレイに表示される任意の画像は角度βだけ回転される。したがって、ワールド座標系の方向と概して等しい方向で画像がディスプレイ６８に表示される場合、表示された画像は「直立画像」であるとみなされなければならない。
【００１５】
たとえ人が自分の頭部を左右に傾けたとしてもアイテムの垂直または水平を依然として認識できるように、脳は場面を処理する。これは、脳が前庭系からの入力を処理するからである。すなわち、人が頭部を傾けても、その人の目で視覚される場面は傾くように見えない。しかしながら、ユーザに表示される画像が傾けられると、人は通常その画像が傾いたことを認識する。この文脈において、「傾き」という用語は画像の回転方向のことを指す。
【００１６】
ユーザが物理的に回転させることができないディスプレイ装置に場面を含む画像が転送されるときに、傾けられた場面の影響が最も深刻になる。拡大ビューなどの限られた場面内容が現れ、回転方向の手がかりが限られているか全くない場合、または場面が動いている場合には、特に深刻となる。例えば、手で運ぶ武器に取り付けられたデジタルカメラを用いて武器の照準点を撮像することがある。そして、デジタルカメラからの画像を、武器を運ぶ兵士の身につけるディスプレイに転送することができる。ディスプレイはヘッドマウント型でもよいし、または他の方法でユーザの体に取り付けられてもよい。ディスプレイは、シースルー型でも「ヘッドアップ型」ディスプレイでもよい。デジタルカメラの回転方向がヘッドマウント型ディスプレイの回転方向と一致する場合、デジタルカメラからの場面が拡大されていようと、兵士はワールド座標系の方向で両方の場面を見ることができる。図４を参照すると、シースルー型ディスプレイスクリーン３０に表示された背景画像１０と目標２００の拡大画像２０とが示されている。しかしながら、デジタルカメラがその光軸の周りで回転すると、デジタルカメラからの場面が回転する。図５を参照すると、４５°回転された目標２００の拡大画像が示されている。画像のこの回転のために、デジタルカメラからの場面内の重大な局面に対する兵士の反応時間が遅れる（認知的負荷が増大する）可能性がある。
【００１７】
本発明の実施形態では、ワールド座標系に対する観察者への画像（直立画像とも呼ばれる）の提示を可能にするために、光軸周りのカメラの回転方向の計算を利用することができる。これは、ワールド座標系との角度差を判定し、ワールド座標系内で画像データを表示するように画像データを処理することで達成される。図３に戻り、カメラ５６が角度αだけ回転されると、カメラはその角度だけ傾いた画像を提供する。観察者に提示するとき、画像６４は同じ角度αだけ逆に回転され、その結果、画像を見ている観察者への表示は、ワールド座標系と等しい回転方向に方向付けられる。すなわち、観察者は直立した画像６４’を見る。さらなる実施形態では、ディスプレイ６８がワールド座標系に対して角度βだけ回転されると、ディスプレイ６８上の画像６４は、αとβの差分だけ回転されることが好ましい。このようにして、ディスプレイを傾けるように観察者の頭部が傾けられた場合、その傾きは補正されて観察者は直立画像を見ることになる。これは、ワールド座標系に対するディスプレイの回転方向を検出するセンサの使用によって達成することができる。
【００１８】
本発明の一実施形態は、回転の検出および補正を利用して、兵士が照準方向および武器の照準点を検出し追跡することを支援する。武器搭載のカメラは武器の照準方向の画像を提供し、特に武器の照準点を描画してもよい。しかしながら、上述したように、武器から取得される画像が直立方向から回転するように武器が保持されてもよい。したがって、本発明の一実施形態は、武器の回転方向（したがって、武器搭載カメラの回転方向）を検出し、その回転方向に基づきカメラからの画像を補正し、補正された画像をヘッドマウント型ディスプレイに表示する。
【００１９】
発射体を発射する武器の一般的なケースでは、銃身または管の方向が照準点を決定し、銃身または管上の制御マークを用いてシーンに対するカメラの照準方向を計算する。カメラの軸は照準方向と平行であることが好ましいが、必ずしも必要ではない。処理システムで行われる計算で任意の既知の方向を考慮することができる。当然であるが、銃撃方向はカメラの視野内に収まらなければならない。図６は、カメラを用いて兵士の武器上の制御マークを追跡する実施形態を示す。図６は、ヘルメット６２０をかぶり武器６０１を持つ兵士６１０を表す。ヘルメット６２０は、その上に搭載されたカメラ６２２と、フルフェイスのヘルメット搭載ディスプレイシステム６２４とを有する。図６には二台のヘルメット搭載カメラ６２２を示しているが、本発明の他の実施形態は単一のカメラ６２２のみまたは三台以上のカメラ６２２を有していてもよい。制御マーク６１２は武器６０１上に配置される。図６では武器６０１上に二つの制御マーク６１２を表しているが、本発明の他の実施形態は、単一の制御マーク６１２のみ、または３つ以上の制御マーク６１２を有していてもよい。カメラ６３０は武器６０１に取り付けられ、武器６０１の軸に沿って方向付けされる。この武器搭載カメラ６３０は、武器６０１の照準点の画像を提供することが好ましい。
【００２０】
制御マーク６１２は、ヘルメット搭載カメラ６２２の視野内に位置するように武器上に配置されることが好ましい。ヘルメット搭載カメラ６２２は制御マーク６１２を含む画像を受け取る。続いて、これらの画像がデジタル処理され、ヘルメット搭載カメラ６２２に対する武器６０１の方向を決定する。その後、さらなる処理が実行され、ヘルメット搭載ディスプレイシステム６２４上で見られるかそれを通して見られる兵士の視野に対する武器６０１の照準点を決定する。この照準点は、ヘルメット搭載ディスプレイシステム６２４によって表示される。
【００２１】
図７は、ヘルメット搭載ディスプレイシステム６２４により提供される表示６７０を表す。ヘルメット搭載ディスプレイシステム６２４では、兵士がディスプレイ６７０の背後に現実の光景を見ることができる一方で、ディスプレイ６７０上に投影される画像も有する「シースルー」（「ヘッドアップ」ディスプレイと呼ばれることもある）システムであるのが好ましい。フルフェイスの透明スクリーン、小型のアイ・スクリーン、および当分野で既知の他のものなどのいくつかの種類のディスプレイを利用することができる。好ましくは、ディスプレイはユーザの視界に干渉してはならず、また、選択的にユーザの視界外に動かすことができる。ディスプレイ６７０は、背景場面６７８、標的６８０上に配置される標的用十字（クロスヘア）６７４を含み、好適な実施形態では、正確な照準十字６７５を持つ武器搭載カメラ６３０からの画像６７２を含む。背景場面表示６７８は、ヘルメット搭載ディスプレイ６７０を通したビューであってもよいし、またはヘルメット搭載ディスプレイ６７０上に投影された画像であってもよい。標的十字６７４はヘルメット搭載ディスプレイ６７０上に投影される。標的十字６７４の位置は、ヘルメット搭載カメラ６２２および武器６０１の照準点に対する武器６０１の方向の計算に基づいている。武器搭載カメラの画像６７２がヘルメット搭載ディスプレイ６７０上にも投影され、ディスプレイ６７０内の任意の場所に配置されてもよい。武器搭載カメラの画像６７２は、手動または自動制御されたズーム量の「ズーム」画像であってもよい。
【００２２】
制御マーク６１２は、例えばDataMatrix（データ・マトリクス）または「クイックリード」（ＱＲ）バーコードなどの二次元マトリックスバーコードであってもよい。武器６０１上に展開されるとき、制御マークには固有のメッセージが埋め込まれることが好ましい。これらの固有メッセージにより、固有物体の方向／対応点を識別することが可能になる。バーコードはメッセージ符号化のために特に適合されている。例えば、４つのバーコードメッセージからなる制御マーク６１２が武器６０１上に配置されてもよく、この場合、各メッセージは武器６０１上のバーコードの配置を示す（例えば、左正面、右正面、左背面、右背面）。さらに、画像の向き、動きまたは他の画像効果に起因する歪みなどによってかなり歪んだバーコードを読み取るための技術が当分野で知られている。バーコードは、例えば近赤外波長ペイントまたは紫外線感受性ペイントなどの、可視光スペクトルでは見えないペイントで武器６０１上に描かれることが好ましい。
【００２３】
画像データを処理して画像方向を決定するために、デジタル処理を用いてもよい。デジタル処理は、多数の場所に配置された一つ以上のプロセッサで実行されてもよい。例えば、プロセッサがヘルメット６２２、武器６０１内に配置されてもよいし、あるいはさらにスペースが必要であるなら、兵士の運ぶバックパック６５０内に配置されてもよい。カメラ６２２、６３０、プロセッサ、およびヘルメット搭載ディスプレイ６２４間は、有線または無線接続されてもよい。
【００２４】
本発明の一実施形態は、兵士の武器上の一つ以上の回転方向センサを備える。別の実施形態では、方向センサは兵士の頭部またはヘルメット上に配置されてもよい。処理システムは、武器搭載の回転センサと頭部に装着された回転センサの両方の出力を用いて傾き補正を計算するようにプログラムされているので、たとえ頭部が傾いていてもユーザに対して画像は直立に現れる。この手法は、較正手順によって除去可能である、ヘッドマウント型ディスプレイ対武器のシフトに関する調整を考慮する。兵士も、頭部装着またはヘルメット搭載のディスプレイを有する。
【００２５】
図８は、方向センサが使用される実施形態を示す。図８は、ヘルメット６２０をかぶり武器６０１を持つ兵士６１０を示す。ヘルメット６２０には、跳ね上げ式のヘルメット搭載ディスプレイシステム６２５とともに一つ以上の方向センサが搭載されている。図６に示すようなフルフェイスのディスプレイシステム６２４を、図８に全体を示す本発明の実施形態で使用してもよいことに注意する。同様に、跳ね上げ式ディスプレイ６２５を、図６に全体を示す本発明の実施形態で使用してもよい。一つ以上の方向センサ６２９も武器６０１上に配置される。カメラ６３０は武器６０１に取り付けられ、武器６０１の軸に沿って方向付けされる。この武器搭載カメラ６３０は、武器６０１の照準点の画像を提供する。
【００２６】
武器搭載カメラ６３０は、単純なコンパクトビデオカメラであってもよい。しかしながら、ELCAN社のデジタル・ハンター・ライフスコープ（Digital Hunter RifleScope）などのデジタルライフルスコープが好ましい。なぜなら、この種のスコープは典型的に、硬化（保護）ハウジングおよびマウント、専門のライフルターゲティング較正を有し、よりコンパクトなライフルベースのカメラの不備な点の多くを取り除いているからである。武器搭載カメラ６３０は、武器の照準点を表す画像データを提供する。武器搭載カメラ６３０も、武器の狙いをより正確に定められる自動または手動のズーム能力を有することが好ましい。武器搭載カメラ６３０は、処理システムにより生成される、武器６０１の照準点を示す十字を含む武器６０１の照準点のストリーミングビデオを提供することが好ましい。
【００２７】
頭部装着方向センサ６２７および武器搭載方向センサ６２９は、Polehmus追跡センサなどの局所磁場位置追跡センサであってもよい。このシステムは、兵士の頭部と武器の間の相対的な方向を追跡する能力を提供する。しかしながら、このようなシステムは、金属に影響を受ける可能性のある磁場を作り出し、システムが適切に動作するためにはセンサは一般に互いに２フィート以内に保たれなければならない。
【００２８】
頭部装着方向センサ６２７および武器搭載方向センサ６２９は、当分野で既知の直立からのずれを示す多数の回転方向センサまたは傾きセンサ（すなわち、傾斜計、ジャイロスコープおよび磁力計およびその組合せ）のうち任意のものを含んでもよい。スイス、HeerbruggのVectronix社製のデジタル磁気コンパス（Digital Magnetic Compass）および垂直角度センサ（Vertical Angle Sensor）（DMC-SX）、テキサス州、AllenのDLP Design社製のDLP-TILT傾きセンサ、あるいは、ヴァーモント州、WillistonのMicroStrain社製の三次元ピッチ、ヨー、ロールセンサなどの製品を、当分野で既知の他の製品とともに必要な回転方向センサとして用いてもよい。そのようなセンサは、典型的に３軸上の回転を検知し、したがって兵士の頭部と武器の回転方向のデータを提供することができる。しかしながら、一部の回転方向センサは鉄などの鉄材料に反応することがあり、一部のアプリケーションではその有用性が制限されることがある。好適な回転方向センサは、磁場の使用または検出に依存することなく回転方向データを提供する。
【００２９】
上述したように、武器搭載カメラ６３０はストリーミングビデオをヘッドマウント型ディスプレイ６２５に提供する。ヘッドマウント型ディスプレイ６２５は、兵士の右目または左目のみにあるスクリーン、両目で見ることのできる単一または複数のスクリーン、あるいはそれぞれの目で別々に見ることのできる（三次元視聴能力を提供するために使用可能である）スクリーンを備えてもよい。好ましくは、ストリーミングビデオは武器搭載カメラ６３０からの画像のフルスクリーンバージョンとしては提示されず、武器６０１の動きと一致するスクリーン上で動くより小さな画像として提示される。ストリーミングビデオは、武器搭載カメラ６３０から取得される全ての画像、またはその画像の一部のみで構成されてもよい。
【００３０】
図９は、ヘッドマウント型ディスプレイ６２５をかぶる兵士によって見られる典型的な場面を表す。見られた場面は実際の背景場面６７８を含む一方、画像６７９がヘッドマウント型ディスプレイ６２５のスクリーン６７７上に提示される。スクリーン６７７は、ディスプレイを通してディスプレイ背後の現実のシーン６７８を見られるようにする一方、スクリーン上へのディスプレイの投影も可能な「シースルー」スクリーンであってもよい。武器搭載カメラの画像６７９は、目的とする標的６８０の上に配置されるヘッドマウント型ディスプレイ６２５の上に現れる。武器搭載カメラの画像６２５は、照準点表示システムにより提供されるような武器６０１の照準点を示す十字または他の指標６７４を含んでもよい。
【００３１】
回転方向センサ６２７、６２９からのデータを用いて、武器６０１に対する兵士頭部の相対方向を計算する。さらに、相対方向を使用して、ヘッドマウント型ディスプレイスクリーン６７７内の小規模画像６７９の回転を決定することができる。武器６０１または兵士頭部のいずれかの方向が変化すると、ヘッドマウント型ディスプレイスクリーン６７７内の武器搭載カメラ画像６７９の位置が変化してもよい。武器搭載カメラ６３０により提供されるズーム能力は、ヘッドマウント型ディスプレイスクリーン６７７内の武器搭載カメラ画像６７９をズームする能力を提供することが好ましい。
【００３２】
武器搭載カメラ６３０およびディスプレイ６２５を設けることで、武器搭載カメラ６３０および武器６０１のみが見える状態で、完全にカバーされた脅威に対して狙いを付けて発砲することができる。例えば、兵士は建物の角で自分の武器を延ばして、ディスプレイ内の武器の目標領域を見ることができる。武器搭載カメラからの画像を観察することによって、兵士は目標を決めることができ、その後ディスプレイ上に設けられた照準点を用いて武器を動かし、目標に正確に狙いを定めることができる。そして、兵士は応射から守られたまま、武器を発砲することができる。接近環境（例えば、部屋の捜索時や都市環境）においては、遮蔽物（cover）は兵士にとって極めて重要である。本発明の実施形態により、兵士は、接近銃撃戦に携わっているとき、最大限の隠れ場所を維持することができる。さらに、兵士は遮蔽物を利用してライフルを安定させて、より正確な射撃をすることができる。
【００３３】
本発明の実施形態により、狙撃手が最大の遮蔽物を持つことが可能になる。本発明を使用して、狙撃手は自分の体から離して武器を置くことができる。狙撃手が武器搭載カメラを通して狙いを付けている場合、敵軍は、武器搭載カメラを見ると即座にその武器搭載カメラを目標とするだろう。敵が首尾よく武器搭載カメラを撃ったとしても、武器は兵士の体から離れており兵士は遮蔽物の下にいるので、兵士が重傷を負う可能性は低い。本発明の実施形態により、兵士は、完全な遮蔽物から敵を目標とすることができ、応射が成功したとしても武器搭載カメラのみが損傷することになる。
【００３４】
本発明の実施形態は、頭部またはヘルメット搭載ディスプレイに提示される情報を別のディスプレイ上に複製および／または記録できるので、トレーニング用途にも適している。この特徴は、兵士の銃撃方法およびスタイルの精密な解析に適している。例えば、照準と発射体経路との間の不一致を防ぐために、兵士は武器を水平にする（すなわち、左方向または右方向にいずれにも傾かない）よう訓練される。そのことに気づかずに習慣的に武器を傾ける兵士は、ヘルメットまたは頭部搭載ディスプレイの記録映像で自分の誤りを分析することができるだろう。インストラクターは、兵士の「目」を通してリアルタイムに見ることができるので、狙いや正確性についての他の問題をより良く分析できるだろう。
【００３５】
本発明の実施形態は、ディスプレイ上の単一の照準十字を、発射体の軌道の表示で置き換えることができる。図１０は、ヘッドマウント型シースルースクリーン６７７上の表示を示し、ここでは発射体ライン７５１が十字に置き換えられている。この発射体ライン７５１は、武器からの射線を示す。発射体ライン７５１の表示の計算は、上述したように、ディスプレイおよび武器の方向に基づいている。図１１に示すように、本発明の別の実施形態は、発射体ライン７５１の上部に十字７５２を提供する領域を含み、ユーザに対して追加の照準情報を提供してもよい。発射体ライン７５１および／または十字提供範囲７５２を三次元表現するために、立体視ヘッドアップディスプレイを使用してもよい。
【００３６】
本発明の他の実施形態は、武器搭載カメラからの通常の映像または拡大映像を挿入することで、ヘッドマウント型ディスプレイを補強することができる。図１２は、ヘッドマウント型ディスプレイのスクリーン６７７の中の、武器搭載カメラからの映像の小さな表示７６０を示す。この表示により武器の照準点の拡大画像が提供され、ユーザにさらなる照準の正確さを与える。この場合、小さな表示（すなわち、ピクチャ・イン・ピクチャ）は、ヘッドマウント型ディスプレイのスクリーン６７７内で同じ位置のままである。本発明の別の実施形態は、図１３に示すように、ヘッドマウント型ディスプレイ６７７内の武器搭載ビデオディスプレイ７６０を移動して、例えば武器の照準点に一致させる。発射体ライン７５１も表示される。武器搭載ビデオディスプレイ７６０は発射体ライン７５１と位置合わせされ、その結果、スコープの十字は、射線が標的６８０と交差する位置に現れるか、または射線に沿った所定の距離に現れる。発射体ライン７５１は、図１１に示すような範囲指定十字を含んでもよい。別の実施形態は、図１４に示すように、武器搭載ビデオディスプレイ７６０とともに射線の始まりを表す近視野マーク７５２のみをヘッドマウント型ディスプレイスクリーン６７７上に示し、発射体ラインを取り除いてもよい。
【００３７】
片目に一つずつ二台のディスプレイを使用して、立体写真としてユーザに発射体ラインおよび／または武器搭載カメラからのビデオ画像を提供してもよい。こうすると、観察者の前方に「浮かんで」見える照準情報の三次元画像が得られ、これによって奥行き感覚を含む照準情報を観察者に提供する。
【００３８】
ヘッドマウント型ディスプレイ上のビデオ画像に対する懸念は、ビデオ画像が「ワールドビュー方向」または「ワールド座標系」から回転しているかもしれないということである。すなわち、武器搭載カメラの回転によって、ヘッドマウント型ディスプレイに表示される武器搭載カメラからのあらゆる画像がワールドビュー方向から回転したように見えてしまう（すなわち、直立方向にない）ことがある。上述したように、これはディスプレイを見る兵士の反応時間を遅らせてしまうことがある。それゆえ、本発明の実施形態は、この回転を補正する装置を提供することが好ましい。この回転の補正は、画像センサが画像を撮像し画像センサとは異なる方向を持つディスプレイにその画像が送られる他の状況に適用されてもよいことに注意する。
【００３９】
本発明の一実施形態は、カメラまたは武器などのカメラを運ぶ構造に搭載される回転方向センサを持つデジタルカメラを含む。回転方向センサは、カメラおよび／またはそれを運ぶ構造の、カメラの光軸と平行な軸周りのあらゆる回転を検出し、その回転に関する情報をプロセッサに転送する。カメラおよび回転方向センサから受け取る画像ストリームのデジタル処理を用いて、カメラ画像のストリームを新しい回転方向に回転させる。好ましくは、画像ストリームの新しい回転方向は、垂直の広がりを持つ物体が概ね垂直方向に描かれるように、観察者の標準的な方向に構成される。すなわち、上述したように、表示される画像中の物体がワールド座標系すなわち直立方向に等しい方向に表示されることが好ましい。
【００４０】
図１５は、この実施形態を示す。図１５は、画像センサ１１０、レンズ１２０および回転方向センサ１３０を持つカメラ１００を示す。カメラ１００の光軸はＺ軸により示され、カメラ１００内の光学センサ１１０の平面はＸ軸とＹ軸で定義される平面上にある。回転方向センサ１３０は、光軸Ｚ周りのカメラ１００の任意の回転を検出する。
【００４１】
図１６は、図１５に描かれたシステムのブロック図である。光学センサ１１０は画像データを生成し、方向センサ１３０は方向データを生成する。両方のデータセットはプロセッサ１５０に転送され、プロセッサは、表示のために画像データを新しい好適な回転方向に回転させる計算を実行する。回転された画像データは、視聴のためにディスプレイ１６０に転送されてもよい。例えば、カメラ１００が４５°回転され、カメラ１００からの画像データが表示される前に回転の補正がなされていない場合、ディスプレイ１６０は図２で見たような画像を表示するだろう。しかしながら、４５°の回転補正がなされ、カメラからの画像が大画面２１内の小画面１１として表示される場合、ディスプレイ１６０は図１７に見られるような画像を表示することができる。すなわち、ディスプレイ１１は、上述したようなワールド座標系の好適な方向を持つ。
【００４２】
武器または兵士頭部の回転方向の決定に使用するために、回転方向センサ１３０は、上述したような当分野で既知の直立方向からのずれを示す多数の回転方向センサまたは傾斜センサ（例えば、傾斜計、ジャイロスコープおよび磁力計、およびそれらの組合せ）のうち任意のものであってもよい。スイス、HeerbruggのVectronix AG社製のデジタル磁気コンパス（Digital Magnetic Compass）および垂直角度センサ（Vertical Angle Sensor）、テキサス州、AllenのDLP Design社製のDLP-TILT傾きセンサ、またはヴァーモント州、WillistonのMicroStrain社製の三次元ピッチ、ヨー、ロールセンサなどの製品が、当分野で既知の他の製品とともに所望の方向センサとして機能することができる。この種の製品は、重力に対する、または地球磁場に対する、または当分野で既知の他の手段に対する方向を測定することによって動作することができる。必要な回転方向の検出は、カメラ自体からの画像を解析し、直立方向またはワールド座標系方向からカメラが回転された量またはカメラが傾けられた量を決定することによっても行うことができる。
【００４３】
図１６に示すように、画像データからの別個のストリームで方向データを提供してもよく、これはアナログデータまたはデジタルデータのいずれかで構成されてよい。他の実施形態では、提供すべき画像データと方向データとを組み合わせて単一ストリームとしてもよい。画像データがデジタルデータとして提供されている場合、画像データに方向データをデジタルデータとして埋め込むことができる。例えば、デジタルフォーマットの画像ストリームがカメラに提供される場合、各画像には、その画像の回転方向を示す方向データをタグ付けすることができる。回転方向は、重力ベクトルまたは他のいくつかの所与の開始方向からのカメラの回転に基づくことができる。
【００４４】
回転方向センサ１３０は、図１５に示すようにカメラ１００の本体に取り付けられる必要はない。カメラおよび回転方向センサの両方が、ある種の搬送構造（carrying structure）に取り付けられてもよい。この構造は、搬送構造が回転されるとカメラと回転方向センサの両方が回転するようなものである。カメラの回転方向を最も正確に決定できるように、回転方向センサがカメラ本体または搬送構造のいずれに配置されようと、回転方向センサからカメラの光軸までの距離が知られていることが好ましい。距離が十分に小さい場合はそれを無視することができ、回転センサからの出力を画像の回転として用いることができる。光軸のピッチ方向およびヨー方向を検出し、故に光学センサ平面の上下または左右のいずれかの傾きを検出するセンサ要素で回転方向センサ１３０を補助するか、または回転方向センサ１３０と統合することができる。これらの方向は、追加の画像補正を支援するためにプロセッサ１５０に渡されてもよい。しかしながら、画像の垂直方向（上下）または水平方向（左右）の変化は、画像の回転方向の変化よりも視聴される画像の理解に与える影響は小さいと信じられている。
【００４５】
本発明の別の実施形態は、カメラから受け取った画像の回転方向、およびカメラからの画像を提示しているディスプレイの回転方向を補正することができる。この場合、第２のセンサを使用してディスプレイの回転方向を決定してもよい。図１８は、本発明のこの実施形態の一例を示す。図１８は、ヘルメット３２０をかぶり武器３５０を持った兵士３１０を表す。ヘルメット３２０は、跳ね上げ式ヘルメット搭載ディスプレイシステム３２５とともに、ヘルメットに搭載された方向センサ３２３を有する。方向センサ３５３は武器３５０上にも配置される。カメラ３７０は武器３５０に取り付けられ、武器３５０の軸に沿って方向付けされる。この武器搭載のカメラ３７０は、武器３５０の照準点の画像を提供する。
【００４６】
武器搭載カメラ３７０は、武器の照準点を表す画像データを提供する、単純なコンパクトビデオカメラ、より複雑なデジタルスコープまたは他のイメージングセンサを備えてもよい。武器搭載の方向センサ３５３は、カメラの回転方向がその光軸に対して変化するときにカメラ３７０の回転方向を最も正確に反映する出力を提供するように、武器３５０に搭載されることが好ましい。ヘルメット搭載の方向センサ３２３は、兵士の頭部の回転方向が変化するとき、すなわち頭部が左または右に傾けられるときに検出を行う。
【００４７】
プロセッサ（図１８には図示せず）は、頭部装着方向センサ３２３および武器搭載方向センサ３５３からの方向データを組み合わせ、ヘルメット搭載ディスプレイ３２５上で表示するために、カメラ３７０からの画像に対してなすべき全体的な回転方向の補正を決定する。画像の回転方向は、垂直方向の広がりを有する物体が概して垂直に表示されるように、すなわち物体とワールド座標系との関係を示して表示されるように、補正されることが好ましい。図１９、２０および２１は、なしえる回転方向の補正を例示する。
【００４８】
図１９は図５と類似の画像を表しており、背景ビュー１０と、ヘルメット搭載ディスプレイ３２５からシースルーのディスプレイスクリーン３０に表示される目標２００の拡大画像２０とを示す。図１９において、兵士の頭部は傾けられていないが、武器搭載カメラ３７０は４５°だけ回転されている。それゆえ、補正をしないと目標は図５に示したように見える。しかしながら、拡大画像２０の回転方向は、ディスプレイスクリーン３０に現れる目標２００が背景場面１０内の他のアイテムと同じ一般的な方向で現れるように補正されている。当業者であれば、スクリーン３０に現れている目標２００を、図５に示したスクリーン３０に現れた目標よりも容易に理解できることが分かる。図１９において、ヘルメット搭載ディスプレイ３２５は着用者の一つの目の前に配置された単一のスクリーン３０を備えることに注意する。したがって、目標２００の拡大画像２０は、指示されたビューのシーンと調整されなくてもよい。他の実施形態では、背景画像１０がスクリーンに表示されてもよく、背景画像の全体を表示するスクリーン上で拡大画像２０の位置を目標２００の表示と調整してもよい。
【００４９】
図２０は、武器搭載カメラ３７０と兵士の頭部の両方が傾いたときの例を示すが、ここでは片目のディスプレイは兵士の頭部の傾きが補正されていない。図２０において、ディスプレイスクリーン３０が武器搭載カメラ３７０からの画像の４５°回転の補正を提示したとしても、兵士の頭部が傾いているために、スクリーン３０内の目標は依然として、背景場面１０内のアイテムとは異なる方向に現れていることが分かる。
【００５０】
図２１は、武器搭載カメラ３７０と兵士頭部の傾きとの両方の回転に対して補正がなされた例を示す。図２１において、拡大画像２０は画面３０内でさらに回転され、その結果目標は、背景場面内のアイテムと同じ一般的な方向で現れる。前に述べたように、この標準の方向を維持する画像は理解がしやすく、最速の反応時間が得られると信じられている。
【００５１】
図２２は、二次元画像の回転方向補正処理のために使用可能であるステップのブロック図である。図２２において、ブロック７０３は、武器搭載画像センサからのデータ（例えば、映像データ）、頭部の傾きを検出する頭部装着センサからのデータ、および武器搭載の画像センサの回転方向を検出する武器搭載センサからのデータを収集することを示している。ワールド座標系方向からの頭部装着センサの回転は、角度αによって示されてもよい。ワールド座標系からの武器搭載センサの回転は、角度βによって示されてもよい。ブロック７０５は、表示される画像に適用される回転補正（すなわち、角度γ）は、αからβを減ずることによって計算されてもよいことを示す。続いて、ブロック７０７は、表示された画像のそれぞれ（例えば、各ビデオフレーム）がγだけ回転されることを示す。転送先のピクセルごとに逆変換を計算することによって、画像の回転を実行してもよい。補間を用いて出力ピクセルを計算してもよい。補間の典型例は、バイリニア補間である。一度に一カラー平面を評価することによって、ＲＧＢ画像を計算してもよい。
【００５２】
図２２はまた、武器の方向、ヘッドマウント型ディスプレイの方向、またはその両方について補正された目標指標（上述の十字または発射体ラインなど）を表示するために使用可能な処理を示す。ブロック７０４は、頭部および／または武器の位置について３軸または３つの角度データ（例えば、ヨー、ピッチおよびロール）を提供するセンサからのデータの補正を示す。ブロック７０６は、ヘッドマウント型ディスプレイおよび／または武器の３つの角度方向に基づき、目標指標の補正された座標の計算を示す。ブロック７０６に示すように、目標指標は、（武器のヨー方向）−（ヘッドマウント型ディスプレイのヨー方向）に基づき、水平方向に再配置されてもよい。同様に、目標指標は、（武器のピッチ方向）−（ヘッドマウント型ディスプレイのピッチ方向）に基づき、垂直方向に再配置されてもよい。続いて、目標指標のこれらの新しい座標がヘッドマウント型ディスプレイに送られて表示される。
【００５３】
画像または一連の画像の回転方向を補正して、ワールド座標系方向と実質的に等しい方向、すなわち、直立画像として画像を表示する方向に画像または一連の画像を表示させるために、他の方法またはステップも用いることができることに注意する。例えば、特に画像（単数または複数）が三次元態様で表示される場合、マトリックス演算を使用して所望の補正を計算してもよい。
【００５４】
上記の説明から、本発明は多くの視聴プログラムに実装できることを理解できる。
【００５５】
あるプログラム（プログラム１）では、ユーザは注目シーンを視覚的に見る。「黒い」スクリーン、すなわちユーザにとって透明であるスクリーンを通して、スクリーンをシーンに割り込ませることができる。もちろんこのような場合、システムをオフにしたり、起動準備状態にしたりすることも可能である。
【００５６】
別のプログラム（プログラム２）では、画像センサからの全ての画像がスクリーン上で見られる。画像は直立の視聴方向に回転される。追加情報を提供する必要はない。この種の視聴は、ユーザが遮蔽物内におり、武器が潜在目標シーンを観察するよう配置されるときに、有用である。上述したように、このプログラムはさらなる選択肢の基準となり得る。
【００５７】
別のプログラム（プログラム３）では、上述した二つのプログラムのいずれかと組み合わせて、ピクチャ・イン・ピクチャオプションを利用することができる。最初の組合せ（プログラム１とプログラム３、プログラム３−１）では、ユーザは注目シーンの全体を視覚的に見て、システムは、画像センサからのシーンの大きさを変え回転した部分バージョンをスクリーン上に挿入する。部分画像は回転することができ、例えば拡大のように希望に応じて大きさを変えることができる。第２の組合せ（プログラム２とプログラム３、プログラム３−２）では、ユーザは、画像から切り取られ所望の大きさ（例えば拡大）でフル画像上に重畳されるシーンの部分とともに、画像センサからのシーンのフル画像を見る。
【００５８】
これらのオプションはユーザによって選択可能であり、上述のような特徴を実装することができる。例えば、プログラム１では、照準点をスクリーン上に表示することができる。プログラム２では、照準点をシーンの画像上に重畳することができる。上述のような様々なオプションをプログラム内に実装することができる。例えば、大きさの調整、傾きの制御、ピクチャ・イン・ピクチャのアプリケーションなどのための制御をユーザに提供することができる。
【００５９】
本発明の他の実施形態は、上述の装置および方法を取り込み、相対的な武器の射線または回転方向の補正を決定する他のシステムおよび方法を備えてもよい。例えば、戦士が武器を持つことは必須ではない。武器の方向を変化させる遠隔（例えばロボット的）手段が提供される場合、たとえユーザが武器から物理的に離れていても、上述のヘッドアップディスプレイを用いて照準情報を提供することができる。さらに、ヘッドアップディスプレイを用いることも必須ではないし、ユーザがシーンを直接見ることも必須ではない。例えば、任意の種類のディスプレイと、任意の種類の画像ソース（例えば、ビデオカメラ、ＩＲカメラ、合成開口レーダ（ＳＡＲ）、赤外線前方監視装置（ＦＬＩＲ）、イメージングレーダ、その他）とを仮想的に用いる遠隔のオペレータが、本発明の実施形態にしたがって武器の狙いを定めることができる。手動でまたはロボットで制御された武器の位置および方向を、上述したような制御マークまたは方向を用いて決定することができる。イメージング装置の視線が既知であり、また武器に対する画像ソースの位置が既知である場合、上述のように射線を表示することができる。一部のケースでは、イメージング装置の射線を演繹的に決定することができる。他のケースでは、制御マークまたは方向センサを持つ装置を取り付けることによって、上述のように決定することができる。
【００６０】
本発明の実施形態を、武器搭載カメラとヘルメット搭載ディスプレイの文脈で議論してきたが、当業者であれば、本発明の他の実施形態を他のアプリケーションで使用できることを理解する。これらの他のアプリケーションは、デジタルまたはアナログ光学センサ、携帯電話内に搭載されたカメラ、ウェブカメラ等を用いる商業写真または消費者写真を含むが、これらに限定されない。一般に、本発明の実施形態は、画像を撮像する装置とは異なる回転基準フレームを画像の観察者が有する状況のアプリケーションを発見することができる。
【００６１】
上述の例示的な好ましい実施形態の詳細な説明は、法律の要求に従った説明および開示を目的として提示されている。本発明を上述の正確な形態に包含することも限定することも意図されておらず、特定の使用または実装に適した本発明のやり方を当業者が理解できるようにすることのみが意図されている。修正および変更の可能性は当業者にとって明らかであろう。公差、特徴のある寸法、特定の作動条件、技術仕様等を含む例示的な実施形態の記載による限定は意図しておらず、実装態様の間で変化しまたは最新技術への変更を伴って変化しうる。また、それらからのいかなる限定も暗示されるべきではない。この開示は現在の最新技術に関してなされているが、進歩も熟考されており、将来の応用形態はその時点での最新技術にしたがって進歩を考慮に入れることができる。特許請求の範囲によって定義される本発明の範囲は、記載のものと、適用可能であればその等価物も含むように意図されている。さらに、この開示中のいかなる要素、部品、方法またはプロセスステップも、その要素、部品またはステップが特許請求の範囲において明確に使われていようといないとに係わらず、公衆に捧げることを意図されていない。本願の請求項のいずれの要素も、その要素が「means for」の句を用いて明確に引用されていない限り、合衆国法典第３５巻第１２章第６段落の条項の下で解釈されるべきではない。また、ステップが「comprising step(s) for」の句を用いて明確に引用されていない限り、本願の方法およびプロセスステップを上記の条項の下で解釈するべきではない。
【図１】
2010515876.tif 000003
【図２】
2010515876.tif 000004
【図３】
2010515876.tif 000005
【図４】
2010515876.tif 000006
【図５】
2010515876.tif 000007
【図６】
2010515876.tif 000008
【図７】
2010515876.tif 000009
【図８】
2010515876.tif 000010
【図９】
2010515876.tif 000011
【図１０】
2010515876.tif 000012
【図１１】
2010515876.tif 000013
【図１２】
2010515876.tif 000014
【図１３】
2010515876.tif 000015
【図１４】
2010515876.tif 000016
【図１５】
2010515876.tif 000017
【図１６】
2010515876.tif 000018
【図１７】
2010515876.tif 000019
【図１８】
2010515876.tif 000020
【図１９】
2010515876.tif 000021
【図２０】
2010515876.tif 000022
【図２１】
2010515876.tif 000023
【図２２】
2010515876.tif 000024
【国際調査報告】
2010515876.tif 000025