電子航法研究所研究発表会（第2回 平成14年6月）

5.ジャイロを使用したEVS画像融合の基礎実験
電子航法開発部※住谷泰人

白川昌之 小瀬木滋

管制システム部

1. はじめに
視覚支援システムの一つであるEVS(Enhanced Vision System:エンハンストビジョン･システム)やSVS(Synthesized VisionSystem:シンセサイズド･ビジョン･システム)
は､様々なセンサから取得した映像や､コンピュータグラフィックス(以下､CG)を用いた自機の航法情報の表示画像のほか､それらの画像と自機周囲の景観を融合した画像をパイロットに提供できる ｡これらのシステムは､視程が悪い場合にはパイロットの負担を軽減し､周囲の状況把握等に役立つことから､安全性の向上や就航率の改善が期待されている｡
画像を融合する際には､周辺に位置する表示対象物を自機から見た正確な位置関係で表示するために､自機の位置や姿勢の情報とそれらの情報の取得時刻が必要である｡位置情報等の正確さは､ Differential GPS (D‑GPS)を用いた実2.2. 画像と姿勢情報の取得
図1に示す実験システムを用いて､一定距離離れた目標物に対し､可視光線センサとジャイロを搭載した台座の姿勢を変化させ､その時の画像と姿勢情報を取得した｡実験での姿勢変化は､ジャイロの各方向軸(ロール(x),ピッチ(y)､ヨー(z))を中心に､左右1回ずつ､最大約20〜40度でゆっくりと回転させた｡
画像はセンサで取得してビデオに録画し､ジャイロの姿勢情報はフルサンプルレートでコンピュータに記録した｡ジャイロの主な仕様を表1に示す｡この実験の目的は､過去の地上走行実験や飛行実験とは異なり､移動時の位置情報取得のためのGPS受信機やビーコン受信機､気象条件等による画像の認識向上のための赤外線センサは使用していない｡

験用EVSを使用し､自動車に搭載した走行実験(以下､地上走行実験)や､当研究所の実験用航空株に搭載した飛行実験で検討している。このシステムを搭載した航空機からの取得画像に基づく融合時には､特に旋回時の画像において､姿勢情報を必要とすることが飛行実験からも確認されている｡
本稿では､姿勢情報を反映できるようジャイロを用いた実験用EVSを構築し､そのシステムの一部を用いて､地上でジャイロと画像の追従を確認する基礎実験を行った結果を報告する｡
図1 画像と姿勢情報の取得方法
2. 実験概要
2.1. 実験の方法と目的
基礎実験は､画像と姿勢情報を同時に取得し､取得した姿勢情報をもとに作成したコンピュー
タグラフィックス画像(以下､ CG画像)と､取得した画像とを融合する方法で行った。この方法
により､姿勢情報を利用したCG画像と取得画像との融合時の問題点やジャイロと画像の追従状況を調査できる｡−21−

表1 ジャイロの主な仕様
U pdate rate

75H z 以上

O peration Tem p .

‑40 ℃〜7 1℃

O utp ut form at

R S‑232C

R an ge(A ngular rate)±100 °B ias(A ngu lar rate)±0.05°/sec 以下電子航法研究所研究発表会（第2回 平成14年6月）取得した画像(以下､ビデオ映像)とCG画像との画角を一致させ､正しく融合できるよう､実験システムの位置関係をもとに､ CGに反映させる画角を求めた｡また､投影位置による画像の歪みを求めるため､図1の十字上の複数の定点B､Cから求めた左右の中心位置や定点D､Eから求めた上下の中心位置と､実際の中心である定点Aのピクセル位置との差を調べた｡

横方向のほうが縦方向よりも1ピクセル当りの平均角度が大きく､全体に横方向に押しつぶされた画像になっていることがわかる｡
図4において青色の点は､図1における定点Aの位置を原点とした時の定点B､ Cから求めた中心位置とD､ Eから求めた中心位置をまとめて示している｡点の大きさはその位置における事象数である｡全290事象中､最大は30事象で(‑0.5, 0)の位置であった｡また､全体の平均位置は(‑0.0138, 0.219)､標準偏差は(0.592,0.864)であった｡この平均値と標準偏差は､姿勢情報に起因する画像融合の誤差成分になると考えられる｡

2.3. 画像の融合
図2に画像を融合する方法について示す｡ビ
デオ映像はプロジェクタを用いてスクリーンに投影され､姿勢情報から作成したCG画像は､HUD(ヘッド･アップ･ディスプレイ)上に投影される｡融合は､ HUD上のCG画像を通してスクリーン上のビデオ映像を見る方法である｡
この方法で融合した画像の一例を図3に示す｡
融合時のビデオ映像とCG画像の追従性をみるため､図3のビデオ映像における定点AとCG画像における定点A'(十字の白線の中心)とのピクセル位置と時間の関係を調べてみた｡

3.2. 画像の融合
図5の折れ線グラフは､図3の融合画像において､ビデオ映像における定点Aを原点とした時のCG画像の定点A'のピクセル位置のx座標､

3. 実験結果
3.1. 画角と画像の歪み
画角は､横方向が38.84度､縦方向は29.25度であった｡横方向は720ピクセル､縦方向は480ピクセルで画像取得しているので､横方向は平均約0.054度/ピクセル､縦方向は平均約0.061度/ピクセルである。また､センサの光軸の距離は横方向では約993ピクセル､縦方向では約920ピクセルであった｡これらのことから､

図3 融合画像の例

図2 画像融合の方法

図4 中心位置の分布−22−

電子航法研究所研究発表会（第2回 平成14年6月）

y座標である｡また棒グラフは､ビデオ映像とCG画像の定点の距離AA'である｡図5において､ (a)はロール角､ (b)はピッチ角､ (c)はヨー角が変化した際のピクセル位置を示している｡

また､図6は同様に回転したときのピクセル位置から求めた速度を各々示している｡
図5の(a)では､ピクセル位置の変化がCGとビデオ映像で逆である｡これは各方向軸の回転(a) ロール角(x)の変化(a) ロール角(x)の変化(b) ピッチ角(y)の変化(b) ピッチ角(y)の変化(c)ヨー角(z)の変化
図5 各変化によるピクセル位置(c)ヨー角(z)の変化
図6 ピクセル位置に基づく速度−23−電子航法研究所研究発表会（第2回 平成14年6月）ある｡
4. おわりに航空機の姿勢情報を取得できるよう構築したジャイロを用いた実験用EVSの一部で基礎実験を行った｡基礎実験では､ 3つの方向軸の各回転運動に基づく姿勢情報からCG画像を作成し､同時に取得したビデオ映像と融合する際に生ずるCG画像の歪みや追従性を調べた｡
この結果､姿勢情報に起因する画像融合の誤差成分が求められた｡また､融合時に少なくともピッチ角､ヨー角の変化でほぼ追従していることが確認された｡ロール角の変化の場合は､回転軸と投影方向の位置関係による問題であり､融合画像を一致するように調整できた｡また､2点の移動平均法による平滑化では､時間遅れはあるものの動きはほぼ一致していた｡しかし､画角を調整しているにもかかわらず､ CG画像はビデオ映像よりも位置座標の動きが小さい｡
今後はこれらの原因の追求を行うとともに､実際の環境で発生する姿勢変化等への追従状況を確認するため､複雑な姿勢変化の地上実験や飛行実験等を行う予定である｡

図7 位置の平滑化例
でジャイロとセンサの動きを一致させるよう､できる限り台座の軸中心付近に配置した際､ジャイロとセンサの間に回転軸の中心が位置していたために投影方向との位置関係で生じたものと考えられ､融合画像を調整した｡図6の(a)が横軸を中心にほぼ対称に変化しているのも同様の理由と考えられる｡図5の(b)､(c)をみると､ピッチ角やヨー角では時間遅れはあるものの追従している｡定点の距離AA'はどの場合においても､回転角が大きくなるとともに増加し､回転角が小さくなり初期位置に近づくと減少している｡､図6の(b)､ (c)からは､ピッチ角､ヨー角の変化による速度もほぼ追従していることがわかる｡
CG画像は､ビデオ映像よりもピクセル位置の変移が小さくなっている｡画角は調整しており､ CGとビデオ映像の大きさは一致しているので､現在この原因について調査中である｡また､ CG画像のほうが､急峻な動きが少ない｡
実験で使用したジャイロはロール角､ピッチ角も直接出力されることから､ジャイロのバイアス補正のための平滑化フィルタによる影響が考えられる｡[参考文献][1]Sweet B.T,Tiana C.:"Image processingand fusion for landing guidance",

SPIE

proceedings Vol.2736, Enhanced andSynthetic Vision 1996, SPIE

[2]住谷他:"EVS画像融合のための地上実験の解析",第32回電子航法研究所発表会,2000.6[3]住谷他:"実験用EVSを用いた地上予備実験の解析",2000年信学ソ大会,2000.10[4]住谷他:"GPSデータに基づく3次元画像と景観の照合実験",信学技報SANE,2001.4[5]住谷他:"GPSに基づく自機周囲の地形と景観の照合",第1回電子航法研究所発表会,

図7に､図5､6で変動の大きいピッチ角のy座標とヨー角のx座標の場合において､ 2点の位置座標を元に移動平均法を用いて平滑化してみた｡ピクセル位置の拡大縮小の問題や､時間遅れの問題は残るものの､動きはほぼ一致している｡今後､リアルタイム処理を行うためには時間遅れを防ぐための予測値が必要となるので､トラツカ等を用いた予測手法を考慮する必要が2001.6[6]住谷他:"GPSとジャイロに基づく3次元画像と景観の融合",2002年信学総合大会,2002.3[7]白川他:"赤外線センサ画像と可視光線セン
サ画像の融合",2002年信学総合大会,2002.3[謝辞]本研究にご協力頂いた関係各位に感謝申し上げます｡−24−