(57)【特許請求の範囲】
【請求項１】
光を放出する光源（１４）と、
前記光源（１４）からの光を反射する、ヘルメット（１３）上にある少なくとも３つの反射板（１２）の配置座（４５）と、
前記配置座（４５）から反射された光を検出するビデオカメラとを含むビデオメトリックトラッキングシステム（１０）において、
前記カメラ（１１）からのビデオ信号を受信して、前記の少なくとも３つの反射板の各々の重心を決定することによって、前記配置座（４５）の像面座標を画像のピクセル内に生成するサブ゛ピクセルスポット位置推定アルゴリズムプロセッサ（２９）と、
前記サブピクセルスポット位置推定アルゴリズムプロセッサ（２９）によって計算した像面座標を使用してヘルメット（１３）と視線（ＬＯＳ）の座標を決定するヘルメット（１３）３次元（３Ｄ）位置および視線（ＬＯＳ）計算アルゴリズムプロセッサ（３３）と、
前記３次元（３Ｄ）位置および視線（ＬＯＳ）計算アルゴリズムプロセッサ（３３）に接続され、前記配置座（４５）の位置をある程度の精度まで決定し、状態伝播によって実際の測定速度よりも速い速度でヘルメット（１３）３Ｄ位置とＬＯＳ座標を推定するフィルタ（１５）とを具備し、このフィルタはソフトウェアとして実現され、プロセッサによって実行されることを特徴とするシステム。
【発明の詳細な説明】
発明の背景
本発明は、ヘルメット取付型ディスプレイシステムに関し、特にヘルメットトラッキングシステムまたはヘッドトラッキングシステムに関する。
ヘルメット取付型ディスプレイシステムでは、ジンバル式センサと兵器の両方がパイロットの視線に追従しなければならない場合が多く、したがって正確なヘッドトラッキングが必要である。様々な種類の光ヘルメットトラッキングシステムおよび磁気ヘルメットトラッキングシステムがある。磁気トラッキングシステムは、現在最も正確かつ頑丈なシステムである。磁気ヘッドトラッカのいくつかの欠点は、飛行機の操縦室内の金属をマップする必要があること、および更新速度が制限されることである。磁気ヘッドトラッキングシステムは、金属構造の量が制限された領域内で動作する。そのようなシステムを戦闘用車両または戦車に応用することは、戦車または戦闘用車両の金属構造により磁気ヘッドトラッカが弱くなるので実現不可能である。さらに、閉込められた振動のある環境では、既存の光学システムが戦闘用車両または戦車のヘッドトラッキング問題を解決できない。
関連技術には、１９９０年９月２６日付けの欧州特許文書０３８８６１８Ａ３号がある。この文書は、反射板を有する物体をその物体に向かって放出された放射線により位置探査するシステムを開示している。物体上の反射板が放射線を反射し、これをビデオオプチックセンサによって受信し、得られた信号を処理して物体に関する位置情報を得る。
発明の分野
本発明は、傾斜反射板アレイ、剛体カルマンフィルタモーション予測アルゴリズムプロセッサ、および傾斜反射板アレイによって反射されたソース光を検知する低コストカメラを組み込んだ高速ビデオメトリックヘッドトラッキングシステムである。反射板は、強度勾配情報ならびに位置情報を含む。サブピクセルスポット位置推定アルゴリズムは、反射板からの勾配情報を使用して、反射板位置測定アルゴリズムの精度を高める。カルマンフィルタは、頭部の並進運動と回転運動の自然な結合を補償することによって、画像測定のみによって達成できるよりも高い精度でヘルメットの位置およびヘルメット視線を推定し、またシステムの雑音を小さくし、モーション予測アルゴリズムが測定（更新）速度よりも速い速度でヘルメットの位置および視線を推定する。
本発明は、正確かつ費用効率が高く、強い磁気環境の影響を受けず、複雑な光学系を使用しない。このシステムは、デジタル信号処理アルゴリズムによってマークに対するボアサイトを推定する。ヘルメットの回転および並進は、伝統的透視画像の原理を使用して計算する。
【図面の簡単な説明】
第１図は、トラッカシステムの基本構成要素のレイアウトである。
第２図ａおよび第２ｂ図は、傾斜反射板を示す図である。
第３図は、傾斜反射板の配置座を示す図である。
第４図は、頭、首、および胴の剛体構成図である。
第５図は、ヘッドトラッカボックスの構成図である。
第６図は、カメラおよび車両座標系の相対的位置を示す図である。
第７図は、サブピクセルスポット位置推定アルゴリズムおよびトラックポイント３Ｄ位置およびヘルメット視線計算のブロック図である。
第８図は、ハードウェアおよびトラッカの対応する機能を示す図である。
第９図は、ハードウェアおよびトラッカの対応する機能の別形を示す図である。
第１０図は、トラッカ用のカルマンフィルタの流れ図である。
好ましい実施形態の説明
第１図のビデオメトリックヘッドトラッカシステム１０は、ヘルメット１３上にある傾斜反射板１２からの反射を検知する紫外線（ＵＶ）感受性カメラ１１を有する。光源１４は、光源または光のスポット１２となるように傾斜反射板１２を照射する。カメラ１１の出力は、サブピクセルスポット位置アルゴリズム推定装置２９に進む。推定装置２９は、特徴または位置の推定値の誤差を平均して出力し、単一ピクセル以上の解像度、すなわちスポット１２の「サブピクセル」スポット位置を提供する。推定位置２９の出力は、５つの傾斜反射板（反射板の数は３つまたは４つでもよい）の構成の各傾斜反射板１２の重心の（第６図の）推定像面２８座標である。各傾斜反射板１２の推定像面２８座標は、トラックポイント３Ｄ位置およびヘルメット視線（ＬＯＳ）計算アルゴリズムプロセッサ３３に転送される。ＬＯＳは、ヘルメット１３の配向である。透視画像の方程式を使用して計算したトラックポイント３Ｄ位置およびヘルメット視線データは、剛体運動カルマンフィルタ／予測装置１５に進む。カルマンフィルタ／予測装置１５は、ヘルメット１３およびパイロットの頭の一般的な６自由度運動を表示するプロセッサである。推定状態は、外部力、特に重力およびパイロットの頭の筋肉が及ぼす力の関数として、位置、速度、角度、および剛体（ヘルメット）１３の角速度を含む。システム１０は、第２ａ図のグラフ１６によって示すような反射信号の強度が傾斜反射板１２の１つの軸に沿って変化する独自のスポット設計を使用して、スポット位置及び角度に対する像測定誤差をカルマンフィルタの誤差に関連づけている。スポット１２は、スポット位置の偏位が最も正確になるように、反射板構造の中央でピークとなる反対の勾配を有する。
サブピクセルスポット位置推定装置２９は、カメラ１１から、ＤＡＴＡＣＵＢＥ  ＭＡＸＶＩＤＥＯ  ２０プロセッサ内のアナログデジタル変換器からのＲＳ１７０フォーマットのアナログ直列画像２８のデータとともに動作する。変換器からのデジタル信号は、処理のためにＤＡＴＡＣＵＢＥカード５６、モデルＭＡＸＶＩＤＥＯ  ２０に達して、セクション４６（第７図参照）で９９．５パーセントレベルでしきい画像２８強度を決定し、セクション４７で、勾配パターン１６またはスポット１２のエッジを検出する像特徴検出用のカニーエッジオペレータを使用して、反射板１２の検出された勾配パターン１６のルーフエッジ７６に対する最大直交エッジ７７の位置を確立する。一度に動作するスポット１２はただ１つである。セクション４６からの出力は、オーストラリアの会社、Ｖｉｓｉｏｎ  Ｓｙｓｔｅｍｓ  Ｉｎｔｅｒｎａｔｉｏｎａｌ，Ｐｔｙ社製のモデルＡＰＡ５１２カードに進む。このＡＰＡ５１２カード５７を使用して、セクション４８で、反射板１２の勾配パターン１６のルーフエッジ７６の最小直交距離２乗誤差線を計算する。セクション４７および４８の出力は、インテルｉ８６０プロセッサカード５８のセクション４９に達して、最大平均勾配強度を有する線７８の平行な対を識別する。推定線８０を重畳する。セクション４９の出力は、決定セクション５０に達し、そこで出力は、そのような平行線７８の対が識別された場合に出力をセクション５２に送られ、そのような平行線の対が識別されない場合にセクション５１に送られる。線７９の対（第２図ｂ）は見つかるが、これらは、最大平均勾配を有する線の対ではないので誤検出である。平行線の対が見つかった場合、セクション５１は、カード５７のセクション４８で計算した最小直交距離線の交差点と、カード５６のセクション４７で確立した直交エッジ７７との間の中間で、像面位置として勾配パターン中心位置を確立する。平行線の対が見つからない場合は、セクション５２は、２値勾配パターン像の重心として従来の勾配パターン中心位置を確立する。セクション５１および５２からの出力は、セクション５３に達して、左端勾配パターンを見つけ、次いで左方向サーチによってコーナーポイントを識別する。セクション４９の他に、セクション５０、５１、５２および５３がインテルｉ８６０カード５８に組み込まれている。セクション５３の出力は、セクション３１に達して、ヘルメット１３の座標および視線を計算する。セクション３１は、トラックポイント３Ｄ位置およびヘルメット視線アルゴリズムプロセッサ３３の一部としてインテルｉ８６０カード５８に含まれている。視野、像面寸法、勾配パターン位置座寸法および焦点距離を含む、トラックポイント３Ｄ位置およびヘルメット視線アルゴリズムプロセッサ３３のアプリケーション依存パラメータは、セクション５４から出力され、セクション３１に入る。これらのアプリケーション依存パラメータは、カード５８のメモリに記憶される。配置座４５の、ユニークな基準３８の、およびヘルメット１３の配向の６つの基準座標（３つの座標と３つの視線配向座標）を計算する。装置３３のセクション３１の出力は、カルマンフィルタ予測装置１５に進む。フィルタ予��装置１５は、インテルｉ８６０カード５８の一部にマップされる。
３Ｍ１９８高反率射テープまたは再帰反射テープも再帰反射板１２に使用できる。再帰反射テープでは、ポリマー被覆のために紫外領域で吸収が起こる。異なる厚さのポリマー被覆を高反射率材料に塗布すると、その中心にポリマー被覆がなく、したがって最大反射率を有する対称傾斜反射板が得られる。パターンをセロファンなどの材料の上にプリントし、次いで樹脂回路板に接合する。反射板１２の両端間に適切な厚さの吸収ポリマー被覆を塗布すると、反射率が中心から直線的に低下すると考えられる。実際、反射板１２の１つの寸法に沿った反射の変化を示す曲線は、第２ａ図に示されるように、四角形１６を有するように見える。
第３図に示される５つのスポットまたは反射板１２の配置座４５の勾配パターンの位置を使用して、ヘルメット１３の３次元（３Ｄ）位置および配向を計算できる。３Ｄ位置および座標枠配向の推定を剛体カルマンフィルタ／予測装置１５に転送すると、パラメータデータのなめらかな最小２乗平均誤差推定値、換言すれば、パラメータデータの一時的または時間平均推定値が得られる。中心反射板１２の勾配パターンは、他の４つの反射板１２の勾配パターンと直交する。カメラ１１は、様々な種類のカメラのうちの１つでよい。システム１０は、紫外線（ＵＶ）（２５０〜４００ナノメートル（ｎｍ））に反応し、かつ標準的なＲＳ１７０表示出力を有する６０Ｈｚ非直交型ＣＣＤカメラに基づく。カメラ１１のシリコンレンズの代わりに、ＵＶ検出用の石英レンズを使用する。テキサスインスツルメンツ（ＴＩ）社製ＭＣ７８０ＰＨＵカメラが、システム１０の好ましいカメラ１１である。ＭＣ７８０ＰＨＵカメラは、５００線×３５０線の解像度を有する７５５×４８８活性フォトサイトを有する。メーカＴＩ社は、標準的なＣＣＤガラス窓の代わりに、必要な紫外線感度が得られる石英（融解ＳｉＯ2）窓を使用した。ＴＩ社製カメラ１１は、ＴＩ社製ＴＣ２４５フレーム転送電荷結合イメージセンサを使用した半導体モノクロームテレビジョンカメラである。ＭＣ７８０ＰＨＵカメラ１１は、２２０ｎｍにまで延びる２５％量子効率（ＱＥ）を有する。ＴＩ社製カメラ１１も、３６５ｎｍで２５％ＱＥに定格されており、後者の波長でも有用となっている。他の好ましい同様のカメラは、ＭＣ７８０ＰＨＵと同じ性能を有するが寸法の小さい遠隔ヘッドＭＣ７８０ＰＨＲである。
光源１４は、システム１０用の紫外線照射を行う。２５４ｎｍ光源と３６５ｎｍ光源の両方について検査した。３６５ｎｍ光源は、波長の短い方の光源に勝るいくつかの利点を有する。３６５ｎｍ光源は、第１に、人間への作用（すなわち、目および皮膚への照射）に対して実質上安全な波長を有し、第２に、レンズ設計が実現しやすくかつ２５４ｎｍ光源用のレンズシステムよりも安価であるので、光学系に対する要件が厳しくない。２５４ｎｍ波長システムには背景雑音が小さいという利点があるが、実験では、３６５ｎｍ波長システムが示す追加の特性に対して信号対雑音比特性が最小になることが分かる。光源１４として最良の３６５ｎｍランプは、長さ２〜１．８インチ、外直径３／８インチ、重さ２オンスの紫外線石英ペンシルランプである。このランプは、６インチで平方センチメートル当たり１８０マイクロワットを照射し、モノクロームモニタ上のターゲットを識別するのに十分な光を出す。代表的なランプは、５０００時間動作するように規格されている。融解石英エンベロープは、分離スペクトル線が強くかつよく分離されている、優れた紫外線伝送特性を有する。そのようなランプはまた、低温燃焼である。
標準的な戦闘車両の乗務員（ＣＶＣ）の拡散正反射率を集積球形アタッチメントを有するＣＡＲＹ分光光度計によって測定した。平均反射率は、紫外（２００〜４００ｎｍ）波長帯域で４．４％である。高度拡散反射板または反射率６０％の再帰反射板では、信号対雑音比が６０／４．４すなわち１３．６になる。サブピクセルスポット位置推定装置２９のスポット位置決めアルゴリズムには信号対雑音比１０で十分である。
次の表は、対角線８ｍｍ活性領域を有するＴＩ社製ＭＣ７８０ＰＨＵ（７５５×４８８）カメラ１１について、レンジ（Ｒ）（ｃｍ）、焦点距離（ｆＬ）（ｎｍ）、および視野角Ｔｈｅｒａ（度）の関数として計算したｆ数（ｆ対アパーチャ開口（ｍｍ））を示す。
0003875991.tif 000002
ヘルメット１３の位置および配向を確立する胴体軸または座標系は、第４図に示されるように、パイロットの首の付け根の肩の間の点１７にある。頭および首は、１次の近似では、ピボットジョイント１７によって首の付け根の胴に取り付けられた振り子２０と見なされる。第４図は、軌道ファイル計算に使用される頭、首および胴の剛体構成図である。頭および首は剛体となるように推定されているので、胴体軸座標系の位置および視線（ＬＯＳ）配向が分かれば、ヘルメット１３に適用された薄膜スポット１２の座標および配向は一意に確定する。胴１８の運動についての１次の近似は、胴１８がピボットジョイント１９によってヒップに取り付けられた剛体であり、かつシート安全抑制手段のためにヒップが車両の座標枠に対して静止していると仮定した場合の近似である。カルマンフィルタ／予測装置１５によって画像特徴位置測定値から軌道／配向を確立するのに使用される振り子１８および２０の半径寸法は、平均的な人間の骨格寸法の表から得られる。
男性の場合、ヒップから肩までの平均高さは５９センチメートルまたは１．９４フィートであり、ヒップから目の高さまでの平均高さは７９センチメートルまたは２．５９フィートである。ヘルメット１３は、それぞれ頭および首を表わす第２の振り子２０の端部にその中心５５がある半径１５センチメートル（５．９インチ）の球として近似する。
ヘッドトラッカボックス２６の構成を第５図に示す。寸法３４は１２インチであり、寸法３６は６インチである。カメラ１１は、光軸４０が位置３２の点［０，０，０］Tフィートと位置３８の点［０，０．２３，−０．５］Tフィートと交差するような位置にある。カメラ１１の俯角４４は−２５°である。
原点３２の車両の座標系（ｘr，ｙr，ｚr）に対する原点４３のカメラ１１の座標系（ｘc，ｙc，ｚc）の相対位置を第６図に図式的に示す。第６図は、カメラ１１の公称結像構成を示す。紫外線カメラ１１は、第５図のヘッドトラッカボックス２６の中心３８を見るように配向されている。カメラ１１の座標系の原点４３は像面２８の中心にあり、ｘc軸とｚc軸は像面２８の直交エッジと直角をなし、ｙc軸は光軸４０に平行である。距離４１は焦点距離である。カメラ１１の座標基準枠の原点４３は、基準座標系（ｘr，ｙr，ｚr）の原点３２からの距離４２のところにある。ただし、距離４２はユーザ指定パラメータである。距離６０は、原点３２と配置座４５の基準点３８との間の長さである。傾斜反射板１２の各頂点に対する像の座標（ｘc，ｙc，ｚc）は、透視画像の方程式を使用して計算する。
カメラ１１の座標系の３次元位置ｒic＝［ｘcｙcｚc］Tの像面２８の座標
0003875991.tif 000003
は、次式により得られる。
0003875991.tif 000004
ただし、
0003875991.tif 000005
は３次元座標ｒicの像のカメラ１１座標系のｘ座標、
0003875991.tif 000006
は３次元座標ｒicの像のカメラ１１座標系のｚ座標、ｘcは３次元座標のカメラ１１座標系のｘ座標、ｙcは３次元座標のカメラ１１座標系のｙ座標、ｚcは３次元座標のカメラ１１座標系のｚ座標、Ｆはカメラ１１の焦点距離、またベクトルの転置を添字Ｔによって示す。
検出器アレイ４５の中心４３は、光軸４０像面２８と交差する位置と符号したｘ方向およびｚ方向のアレイの中心にある。像面２８の検出器アレイのエッジは、カメラ１１の座標（ｘc，ｙc，ｚc）と直角をなす。
第７図は、サブピクセルスポット位置推定アルゴリズム２９およびトラックポイント３Ｄ位置およびヘルメット視線計算３３のブロック図である。推定装置２９の機能は、配置座４５の各スポット１２に個別に適用される。基線方法では、勾配パターン１６の一意に識別可能な属性を使用して、伝統的重心推定方法で可能なよりも高い精度および信頼性でそれらの位置を推定する。
第７図の特徴データ計算段３０に示される画像は、しきい演算段４６とエッジ検出段４７の２つの一般的すなわち習慣的または伝統的特徴検出段によって特徴（図像）データに変換される。しきい段４６の目的は、勾配パターンを背景雑音から分離することおよび勾配パターン１６の隆起線の配向についての１次の推定値を得ることである。演算４６は、各反射板１２からの場面の光強度の０．５パーセントを、画像のグレイスケール上の残りの９９．５パーセントの光を除く検出レベルで識別する。キャニーエッジ演算装置４７（画像階調度の推定装置）を使用して、各勾配パターン１６のルーフエッジ７６に対する急な直交エッジ７７を検出する。以下の理由から、これらの段から得られる特徴の集合を使用して、勾配パターン１６の画像を２値画像にマッピングし、かつこのようにして得られた領域の重心を従来通り計算することによって可能であるよりも高い精度で、勾配パターン１６の重心を計算することができる。結像システムはヘッドトラッカボックス２６全体が見えるように広い視野を有する必要があるので、透視画像の効果により勾配パターン１６の画像が歪む。透視画像システムによって正方形領域の画像を得た場合、その領域は、平行四辺形の形状に歪む。歪んだ勾配パターンについての重心推定値は、ピクセルの量子化および雑音のために、真の重心を推定することが保証されない。したがって、一意の信号対雑音比の高い勾配パターン１６の属性を識別する他の方法が必要である。
画像を特徴に変換する次の段４８では、勾配パターン１６の２値化画像についての最小２乗直交距離メートル線の像面２８の配向を計算する。直交距離メートルは、デジタル化または２値化画像の各量子化画像位置から、最小誤差線または最小直交距離誤差線までの垂直距離と定義される。画像上のこの近似線８０は、検出された反射板１２の位置および傾斜（すなわち配向）を与える。この線の傾斜および基準座標は、２値化領域の散乱行列（勾配パターン１６のルーフエッジまたは直交エッジの２値領域の空間分散の２乗誤差行列）を計算し、最大固有ベクトル（行列の主成分分解に対する固有ベクトルの混合比）に対応する散乱行列のその固有ベクトル（すなわち、行列の空間的領域または２値化領域の統計的挙動を表わす数学用語）として線の配向を確立することによって決定される。
古典的関係式では（Ｍ−Ｉλ）ν＝０が成立する。ただし、Ｍは行列、Ｉは単位行列、λは固有値、νは固有ベクトルである。線の基準座標は、常に２値化領域の重心である。誘導された像面配向が位置（量子化画像領域のｘ座標およびｚ座標）に対して不変であるので、傾斜反射板隆起線配向を推定するのにはこの方法が使用される。一方、線形回帰によって計算した近似は使用されない。
特徴検出の次のステップ４９では、例えば、カニーエッジオペレータ４７によって示される線の対７８および７９など、線のアレイのうちのどの線がルーフエッジ７６に直交する勾配パターン１６の急なエッジの平行な対であるのかを確立する。
これらの線を識別するのに使用される判定基準は、真の平行からの角度オフセットに関する制約、ルーフエッジ７６となす直角からの角度オフセットのずれに関する制約、および線の対の間の長さの差に関する制約である。境界エッジ７７は、誤検出がなくなるように最大エッジ強度を有する。
次のステップ５０では、平行線の対を見つけることができるは判定する。対７８（対７９は誤検出であるので）など、適用した特定の制約に適合する平行線の対が見つかった場合、ステップ５１で、ルーフエッジ近似線８０と線の対７８との交点の位置を計算する。ルーフエッジ７６の近似線８０に沿った交点の中間の像面として、勾配１６反射板１２の重心座標が得られる。
平行線の対が見つからない場合は、ステップ５２で、上で生成した勾配１６の情報のデータを使用しない従来の計算技法を使用して、勾配パターン１６の２値化成分の重心を使用する。
ステップ５３では、５つの勾配パターン１６の画像座標からアルゴリズムが使用するピラミッド構成へのマッピングは、そのｘ座標が５つの座標のうちの最小値である検出された勾配パターンについて、その勾配パターンの座標を走査することによって得られる。５つの勾配パターン構成は像面２８に対して０〜４５度の角度で配向しなければならないので、左端に示される勾配パターン８１は、（第３図の）配置座４５の底面のコーナーポイントにある必要がある。このコーナーポイントを使用して現在の枠を前の枠に関連させて、画像２８のそれぞれの枠の反射板１２（スポット）の位置を一致させる。第１のコーナーポイントから左方向サーチを実行することによって、残りの３つのコーナーポイントを識別する。コーナーポイントとして識別されない勾配パターンは、ピラミッドの頂点にある勾配パターン８２である。ピラミッドの勾配パターンは、勾配パターン１６によって画定される。左端パターン８１として指定される特定の勾配パターン１６は、別の枠内または時間における別の反射板１２であると考えられる。
ステップ３１では、ヘルメット１３の３次元座標および視線の計算に、ステップ５３からの情報およびソース５４からのパラメータを組み込む。推定したヘルメット１３の座標系変換およびＬＯＳは、各枠時間ごとに、浮動小数点数［ｘr，ｙr，ｚr、プサイ、シータ、ファイ］の直列リストとして出力される。ただし、ｒ＝［ｘr，ｙr，ｚr］、プサイ、シータ、ファイは、それぞれ基準座標枠系に対する胴体座標系の基準座標枠の座標、すなわちヨー、ピッチ、およびロールを表わす。
単一の枠で誘導した位置および角度をろ過して、ランダムな測定誤差の影響を小さくすると、カルマンフィルタ／予測装置１５によって表示枠間の位置および角度を推測することができる。
これらの推測した量を使用して、見かけの出力データを表示速度６０Ｈｚから約４００Ｈｚに増加させる。また、推測した量により、傾斜反射板１２の像面位置を過去の表示枠に基づいて正確に予測でき、したがって画像処理能力要件が小さくなる。
第８図は、本発明および対応するハードウェアに関連する本発明の装置を示す。アイテム５６は、ＤＡＴＡＣＵＢＥ  ＭＡＸＶＩＤＥＯ  ２０である。機能４７は、ガウス窓平滑化装置６１、ソベルオペレータ６２、ヒストグラムしきい値化装置６３、および特徴抽出装置６４を含む。ガウス窓平滑化装置は、画像をぶれさせて雑音を除去する。ソベルオペレータはエッジ検出器であり、ヒストグラムしきい値化装置は画像のグレイレベルの全分布の９９．５パーセントを決定する。ソベルオペレータ、ヒストグラムしきい値化装置および特徴抽出装置は、カニーエッジオペレータ８２を含む。機能４６はヒストグラムしきい値化装置を含む。第８図にＡＰＡ５１２0（添字を使用して同じ種類の多数のボードを区別する）で示されるアイテム５７は、スポット１２のルーフエッジを選出する特徴抽出装置４８を含むＶｉｓｉｏｎ  Ｓｙｓｔｅｍｓ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｐｔｙ社製ＡＰＡ５１２である。特徴抽出装置６４は、アイテム６５、ＡＰＡ５１２1によって実施する。アイテム５７および６５の出力は、装置５７からの情報から最小直交距離線係数を計算するブロック６６を含む装置５８に入る。機能６７は、装置６５からの情報から最小直交距離線係数を計算する。特徴抽出装置６４は反射板１２の直交エッジを与える。機能６６および６７は、特徴の２値化領域の画像座標をエッジ方程式または線表示に変換するか、または特徴を直線エッジ表示にマップする。機能６６および６７の出力はそれぞれボアサイト計算部分５１および５２に入る。機能５１および５２は各スポット１２の中心の角度座標を与える。ブロック５８は５つあり、各ブロックは別々のｉ８６０にマップされる。ただし、個々のハードウェア構成部品は、反射板１２の配置座４５の５つのスポットについて、第８図の各スポットの処理を示す添字によって区別される。出力は、ヘルメット１３の位置および配向およびヘルメットの視線を計算する機能３３に入る。アイテム３３の合計出力は、カルマンフィルタ１５に進む。ブロック３３およびカルマンフィルタ１５は、専用ｉ８６０によって実施する。システム１０の出力は、射撃統制コンピュータまたは結像システムサーボに入力を与えるカルマンフィルタ１５から得る。
第９図は、最小直交距離線係数６６、６７の計算およびボアサイト５１、５２の計算を各スポット１２について同じハードウェアによって実施する点を除いて第８図と同様である。また、ヘルメットの位置および視線を計算する機能３３、およびカルマンフィルタ１５は、モトローラ社製単一ボード６８０３０コンピュータである装置ＭＶＭＥ１４７の部分６８上にある。
第１０図はカルマンフィルタ１５プロセスの機能流れ図である。トラックポイント３Ｄ位置およびヘルメットＬＯＳ３３からのトリガ信号６９は、ブロック７０でカルマンフィルタ１５を初期設定する。出力は、そのシステムの時間状態を決定するか、又はブロック７２からの時間増分信号を受信する状態伝播ブロック７１に進む。ブロック７１の出力は、新しい表示枠が存在するかどうかを決定する決定記号７３に進む。ｎｏｔの場合およびブロック７２のｔがブロック７１への出力を有する次の時間状態に増加した場合、状態は前に伝播し、
0003875991.tif 000007
がブロック７１から出力される。答がｙｅｓの場合、信号は、測定処理ブロック７５への出力を有する共分散伝播ブロック７４に進む。状態伝播ブロック７１は、カルマンフィルタ１５の出力である位置推定値
0003875991.tif 000008
を出力することに留意されたい。ただし、推定が測定値に基づく場合は
0003875991.tif 000009
であり、推定が推定値に基づく場合は
0003875991.tif 000010
である。ブロック７５への他の入力には、トラックポイント３Ｄ位置およびヘルメットＬＯＳ３３からの測定信号
0003875991.tif 000011
がある。
第１０図では、添字「ｋ」は表示枠の時間状態を示すものである。添字「ｋ｜ｋ」は、現在測定の結果としての修正した推定値を示す。大文字は行列であり、小文字はブロック７２のｔ’、上付き文字および下付き文字を除いてベクトルである。上付き文字「−１」は逆行列を示し、上付き文字「Ｔ」は転置行列を示す。大文字Ｋはカルマンフィルタの利得係数である。記号「ｘ」または「ｙ」の上のカラット「＾」は、ｘまたはｙが推定値であることを意味する。「Ｈ」は観測行列である。下線付きの「ｘ」または「ｙ」は、その項が３Ｄ空間座標などの多次元ベクトルであることを意味する。添字「ＨＩ」は高電圧レベルを意味し、「ＬＯ」は低電圧レベルを意味する。
どのろ過用途でも、フィルタの帯域幅の選択は、ランダムな測定誤差が十分に減衰しない過小なろ過と、推定した量に過度の遅延が生じる過大なろ過との兼ね合いを表わす。カメラ１１のシステム１０の場合、フィルタ設計パラメータは、ろ過された出力に導入される遅延が０．１秒未満となるように選択する。６つの表示枠が０．１秒毎に収集されるとすると、枠毎にランダムに変動する測定誤差に対するろ過の効果は、誤差が
0003875991.tif 000012
のファクタ（factor）、すなわち約２．４のファクタだけ減少することである。枠ごとに相互に関連する誤差が受ける減衰は小さくなる。以下の表は、非ろ過方法およびろ過方法についての頭部重心位置およびオイラー角誤差（ｒｍｓ）を示す。
信号ろ過の２つの方法を評価した。これらの方法を「減結合」方法および「結合」方法と呼ぶ。減結合方法では、６つの入力（ｘ、ｙ、ｚ位置および３つのオイラー角、ロール、ピッチ、ヨー）のそれぞれについてランダム速度形式の２状態カルマンフィルタ推定器を使用した。結合フィルタ方法では、アルゴリズムが頭部の並進運動と回転運動の自然な結合を補償する。換言すれば、このモデルでは、並進運動の大部分が首の付け根を表わす点１７（第４図）のまわりの回転に帰属する。このフィルタ設計を表わすのに使用される力学モデルは、プロセスモデルおよび測定モデルである。カルマンフィルタ１５の基礎としてのプロセスモデルでは、推定値の関数として新しいデータ（推定値）を規定して、Фを確立する。カルマンフィルタ１５の基礎としての測定モデルでは、測定値の関数として新しいデータ（推定値）を規定して、Ｈを確立する。以下はこれらのモデルの展開式である。
プロセスモデル
0003875991.tif 000013
0003875991.tif 000014
ｘrは、基準座標または車両座標に対して測定した５つの傾斜反射板の構成の基準点のｘ座標である。
ｙrは、基準座標に対して測定した基準点のｙ座標である。
ｚrは、基準座標に対して測定した基準点のｚ座標である。
φは、基準座標に対して測定した胴体座標系のロールである。
θは、基準座標に対して測定した胴体座標系のピッチである。
ψは、基準座標に対して測定した胴体座標系のヨーである。
ｖxは、首の付け根１７の速度のｘ成分である。
ｖyは、首の付け根１７の速度のｙ成分である。
ｖzは、首の付け根１７の速度のｚ成分である。
ｗφは、基準座標に対して測定した胴体座標系の角度ロール速度である。
ｗθは、基準座標に対して測定した胴体座標系の角度ピッチ速度である。
ｗψは、基準座標に対して測定した胴体座標系の角度ヨー速度である。
状態ベクトル
0003875991.tif 000015
の新しい推定値は、現在時間推定値
0003875991.tif 000016
から、次の状態伝播方程式
0003875991.tif 000017
により計算する。
共分散行列Ｐk+1は、共分散伝播方程式
Ｐk+1＝ΦLOＰkΦLOT＋Ｑ
により計算する。
ただし、
0003875991.tif 000018
２つのフィルタ設計方法を評価するために、頭部下向き（計器のほうを向いている）と頭部上向き（外を向いている）との間の繰返し頭部遷移をシミュレートする試料軌道を使用する。期待検知誤差を真の軌道データに重畳して、ｙ位置およびｚ位置およびオイラー角θの測定値を得た。フィルタ設計では、この入力データを使用してこれら３つの量およびそれらの導関数を推定した。
以下の表は、結合フィルタ設計および減結合フィルタ設計により得た２乗平均推定誤差の結果の概要を示す。結合フィルタ設計は、首の付け根（ピボット点１７）と頭部上の基準点３８との間の距離が既知であることに依存するので、真のレバーアームとフィルタの仮定値との間の不整合の感度についても調べた。また、この表には、フィルタに入力として与えられる位置および角度の測定値に関する１シグマ誤差が記載されている。この表のデータに基づいていくつかの観測を行うことができる。第１に、結合フィルタは、特に並進速度推定値に関して、減結合設計よりも実質上優れている。第２に、結合フィルタは、仮定した首の付け根の基準点のレバーアーム２０の長さの誤差に対する感度がかなり高い。ただし、仮定値と真値との間の不整合が２０パーセントであっても、性能は減結合設計よりもかなり良かった。第３に、期待精度は、位置が０．５ｃｍ、角度が０．５度（１シグマ誤差）よりも良い。
0003875991.tif 000019
以下の記述は、カルマンフィルタ１５用のプログラムである。パートＩは、プログラムデータ割振りまたは記憶の詳細を示す。いくつかの用語の例としては、ｐｖ（ｎｓ）が状態ベクトル、ｐ（ｎｓ）がカルマンフィルタ状態の共分散の現在推定値、ｑ（ｎｓ）が測定分散、ｈ（ｎｓ）が観測行列、ｒｍ（ｎｍ）が測定する残りの推定値、およびｙｍ（ｎｍ）が実際の測定値である。パートＩＩは、種々の値を挿入する雑多な初期設定である。パートＩＩＩでは、カルマンフィルタの入出インタフェースを準備する。パートＩＶでは、シミュレーション用のセンサのデータ値を得る。パートＶでは、プロセスの各状態の様々な時間定数に対する値を得る。パートＶＩでは、カルマンフィルタの状態の初期設定および共分散行列が明らかになる。プロセス雑音共分散行列を固定の伝播時間ステップに対して設定し、不変要素を状態遷移行列に対して設定する。パートＶＩＩでは、カルマンフィルタ１５の初期状態を設定するために、雑音分散の初期推定を行う。時間ループをパートＶＩＩＩで開始し、測定データ（ｙｍ）および真データ８ｘｔ）を測定する。システムがシミュレートデータモードである場合、シミュレートした真データおよび測定データが発生する。システムがシミュレートデータモードでない場合は、実際のデータがこのパートで読まれる。パートＩＸでは、状態伝播を扱い、新しい測定を行わずに前の情報に基づいて新しい状態を計算する。パートＸでは、共分散伝播を準備する。パートＸＩでは、（表示速度での）測定処理を扱い、センサデータとシステム状態の実際の推定値との間の依存度を確立し、新しい観測行列を計算する。パートＸＩＩでは、予測した測定値の共分散行列を示す。パートＸＩＩＩでは、すでに行った計算を出力アレイを介して転送する。記号ｘｏｕｔは、予測した測定値であり、ヘルメット取付型反射板１２の像面座標を予測するのに使用できる量である。ｘｏｕｔは、アレイｈｏｕｔの一部である。ｈｘｏｕｔの他の要素は、真データ、真に対する誤差、およびプロセス雑音の推定値など、シミュレーションのみに関係する。
パートＸＩＶのサブパートでは、プログラムと呼ばれるサブルーチンを明らかにし、数学的方法を使用して雑音を生成する。サブパートＢは、正方行列に線ベクトルまたはデータの直線連鎖を掛ける数学行列ユーティリティである他のサブルーチンである。サブパートＣは、行列を掛け合わせる数学行列ユーティリティである。サブパートＤは、ある行列を転置し、次いでそれを他の行列と掛け合わせるサブルーチンである。サブパートＥは、ベクトルの点乗積を得るサブルーチンである。
0003875991.tif 000020
ＩＶ．シミュレートしたセンサデータパラメータ（ｘ／ｙ／ｚ／ファイ／シータ／プサイのシヌソイド）
（シミュレートしたランダム誤差１シグマ値ｃｍ、ラジアン）
0003875991.tif 000021
Ｖ．これらのプロセスおよび測定雑音の値では、１／６０秒毎に処理した測定値に対して約０．０２秒の遅延が生じる。
0003875991.tif 000022
これらのプロセスおよび測定雑音の値では、１／６０秒毎に処理した測定値に対して約０．５秒の遅延が生じる。
0003875991.tif 000023
これらのプロセスおよび測定雑音の値では、１／６０秒毎に処理した測定値に対して約０．１秒の遅延が生じる。
0003875991.tif 000024
ＶＩ．カルマンフィルタ状態ベクトル（ｘｖ）および共分散行列（ｐ）を初期設定する。
固定の伝播時間ステップのプロセス雑音共分散行列（ｑ）を設定する。状態遷移行列（高速度に対してファイ  ｈｉ、表示枠速度に対してファイ  ｌｏ）を規定する。
0003875991.tif 000025
0003875991.tif 000026
ＶＩＩ．測定雑音の共分散
0003875991.tif 000027
ＶＩＩＩ．開始時間ループ。読取り測定データ（ｙｍ）および真データ（ｘｔ）（シミュレートデータモードの場合、シミュレートした真データおよび測定データを発生させる）
0003875991.tif 000028
0003875991.tif 000029
ＩＸ．状態伝播（高速；この場合は４２０Ｈｚ）
0003875991.tif 000030
Ｘ．共分散伝播（表示更新速度でのみ行う）
（注。実時間アプリケーションを固定利得フィルタとして使用でき、スループット要件が相当節約できる。実時間アプリケーションを使用しない場合は、次の２つの改善点が考えられる。（１）ＵＤ機械化に変更して数値特性を改善できる。
（２）状態遷移行列のすべての希薄性を利用してスループット要件を小さくできる。）
0003875991.tif 000031
ＸＩ．（表示速度での）測定処理
0003875991.tif 000032
0003875991.tif 000033
0003875991.tif 000034
ＸＩＩ．予測測定値の共分散行列（ｐ＿ｏｕｔ＝ｃｃ*ｐ*ｃｃ’）
0003875991.tif 000035
ＸＩＩＩ．出力アレイ
（ｘ＿ｏｕｔは予測測定値であり、ヘルメット取付型反射板の像面座標を予測するのに使用できる量である。）
ｘ＿ｏｕｔはアレイｈｘｏｕｔの一部である。ｈｘｏｕｔの他の要素は、実際にはシミュレーション（すなわち、真データ、真に対する誤差など）のみに関係する。
0003875991.tif 000036
0003875991.tif 000037
ＸＩＶ．  ｍｏｒｍ
Ａ．  function morm()
この機能は、ＵＮＩＸ均一［０、１］乱数発生装置「ｒａｎｄ」を使用して、零平均単位分散無相関ガウス乱数を発生する。
0003875991.tif 000038
Ｂ．  subroutine mvau
0003875991.tif 000039
Ｃ．  subroutine mab
0003875991.tif 000040
Ｄ．  subroutine mabt
0003875991.tif 000041
Ｅ．  function dotuv
0003875991.tif 000042
【図１】
0003875991.tif 000043
【図２ａ】
0003875991.tif 000044
【図２ｂ】
0003875991.tif 000045
【図３】
0003875991.tif 000046
【図４】
0003875991.tif 000047
【図５】
0003875991.tif 000048
【図６】
0003875991.tif 000049
【図７】
0003875991.tif 000050
【図８】
0003875991.tif 000051
【図９】
0003875991.tif 000052
【図１０】
0003875991.tif 000053