電己子航法研究所研究発表会（第1回 平成13年6月）

3．複数の画像を利用した運動パラメータの推定
電子航法評価部※矢田 士郎1．はじめに画像を利用して航法を支援するために、撮影した複数の画像から物体の抽出や運動の復元などを行う試みがいろいろ行われている。3次元
空間中の相対的な位置検出や姿勢推定を利用して着陸や障害物回避などの航法援助に応用が可能である。複数の画像としては時系列画像（動画像）、ステレオ画像（多視点画像）などがある。この場合の画像解析における基本的な要素としてはカメラ、物体、光源があり、このうちどれが動くかによって解析方法も異なってくる（
通常、運動の解析には特徴点などの画像間の対応付けが必要となるが、すでに参照画像または参照モデル（形状パラメータ）があれば、陰影などを補正してマッチングをとることによりカメラパラメータが既知の場合は単一の画像からでも位置や姿勢の推定が行える。画像間のマッチングには解像度を変化させて行うものや、ローカルサポートを利用して相関をとるものなど様々なものが提案されている。画像からの運動の復元の応用としては次のものがあげられる。
（a）移動体の航法
物体や光線などの環境が一定の状態のもとでカメラを搭載した移動体が動いていく場合で、環境との相対的な位置関係を画像から求め、運動パラメータを推定することにより航法に利用する。近接物体との奥行き（距離）推定により安全な航行を行う。
(b）移動体の追跡
カメラ画像内の物体が移動するのを追跡し相対的な位置や速度、方向などの検出を行う。
時間的または空間的に異なる複数の2次元画像からの3次元の運動の復元にはいろいろな困難がある。ここではエビポーラ拘束を利用した線型近似射影画像からの角度計算、因子分解法による運動復元およびオプティカルフローによる速度場について述べる。
2．カメラと射影法について−11−

図1 カメラモデル
まず、射影法については 3次元の物体を 2次元の画像平面に投影する際の変換は次のように表される。図1においてｃを光学中心、（u,v）
を画像面の点、それに対応する物体の座標を（X，Y,Z)する。画像面を焦点に対して反対の位置に移動して考えても同じなのでピンホール
カメラモデルの透視変換における変換式はカメラ座標系に基づいて次のように表される
ｕ=ｆX/Z、

v=ｆY/Z

ここでｆは焦点距離を表す。拡張ベクトルを用いて行列で表現するとここでmは画像座標の拡張ベクトル（u,v,1）、Mは物体座標の拡張ベクトル(X,Y,Z,1）でＰは射影行列である。またｓはスケールに相当するスカラーである。上付きのTは転置行列を示す。物体は空間に固定した世界座標系で取り扱うことも多い。そのためにカメラ座標系を回転させ、それを平行移動することにより世界座標系を得る。回転は3×3の行列Rで、並進は3×1のベクトルｔで表す。ある物体上の点のカメラ座標系における座標をＭ。、世界座標における座標をMwとすると
Mc=RMw+ｔと表せる。
中心射影は非線型であり計算するときの安定性などの問題があるので線型近似を行うことが多い。正規化カメラ（f=1）で考え、物体の電子航法研究所研究発表会（第1回 平成13年6月）

中心の座標まわりにテーラー展開すると第0次近似は（u、V）=（X，Y)/Zcとなる。ここでZeは中心のZ座標で、この場合を弱中心射影という。この特殊な場合が地図の投影などに用いられている直交投影（平行射影）となる。弱中心射影では光軸に平行な仮想平面に正射影し、それを画像面上に中心射影したものに相当している。さらに第1近似である
擬似中心射影を含めた射影を総称してアフィン射影としている。
射影行列はカメラの内部パラメータとカメラの運動に依存する外部パラメータで表せる。そのうち内部パラメータは画像中心座標（u，v）、直交性（角度θ）、縦軸と横軸のスケール（α、α ）、焦点距離ｆなどを用いて次のような行列式で示される。

ーラ拘束を利用することで1次元探索となる。2枚の画像間の対応点の関係を図2に示す。
空間中の点とカメラの中心がなす平面がエピポーラ平面で、これと画像面の交わる嫁がエピポーラ線である。物体上の点と2つのレンズ中心を結ぶ2つの線とレンズ中心を結ぶ線が同一平面上にあるという条件から次のエッピポーラ方程式が成り立つ
ここでPr、P は2つの画像面でのカメラ座標の拡張ベクトルを示す。[t]xはベクトル積を表す非対称行列である。[t]xRは外部パラメータのみできまる。またPr、P をピクセル座標の拡張ベクトルp 、p であらわすとこれを利用して線型近似射影の場合のオイラー角の復元問題を述べる。特徴点はあらかじめ対応がとれているものとする。オイラー角ははじめにz軸まわりにα回転し、その新しいｙ軸周

これはカメラ座標とピクセル座標との変換を示りにβ回転して最後に新しいz軸周りにγ回転するものとして得られる。回転行列Rはしている。また外部パラメータは回転行列R，並進移動ベクトルｔを使って表せる。よってカR=R(Z、α）R(Z，β）R(Z，γ）
cos α

メラパラメータを考慮した射影行列は‑sinα

sin α0P = A（R ｔ）のように表現できる。

cos α00110ββ 00 sincos ββ

cos γ ‑sinγ 0sin γ3．エビポーラ関係を利用したオイラー角復元
複数の画像点のあいだの対応関係は特徴点や領域の相関関係から求められるが2次元探索

00cosγ001

弱中心射影のときのピビポーラ方程式はとなり計算量がふえるので、次に述べるエビポ
物体点のように線型式となる。（x、ｙ）、（x'、ｙ ）はそれぞれ対応する特徴点の座標である。
α =0，θ=πの場合、物体の中心位置のZ座標をそれぞれZc，Zc'，とし、Rの成分を[ｒ]とし、ｔを「ｔ、ｔ、ｔ」、画像中心を(x、ｙ）、（x、ｙ）、焦点距離をｆ、ｆと、このエピポーラ方程式の係数ｇはｇ=（‑ｒ）Z/f
ｇ=ｒZ/ｆｇ=（‑ｒ）Zｇ=ｒZ

図2

エピポーラ/ｆ/ｆｇ=ｒx‑ｒｙ＋ｒx−12−とする

電子航法研究所研究発表会（第1回 平成13年6月）‑r y '+ r t ‑r tとなる｡β≠0の場合, α, γは
α=atan2(g ､‑g )γ=atan2(g , g )と表される｡
オイラー角の第2要素βは3枚の画像の回転行列の間の関係式

図5 模型建物のテスト画像3
これらの画像から、オイラー角を計算すると次のようになる。（単位：度）などを利用して求められる｡
ββ= atan2(c ,sqrt(1‑ c))= atan2(c ,sqrt(1‑ c))

β = atan2(c ,sqrt(1‑ cただし))

α=0.652

β=19.3γ=2.58α=2.49β=20.4γ=1.08=‑3.70

β=‑39.7

γ=‑3.42w=γ+ααw=γ+αw=γ+αこの結果よりβの変化は約20度になっていることがわかる。

この結果を利用して実際の画像に基づいて計算を行った｡テスト画像としては模型の建物の向きを20度ずつ回転させて撮影した3枚の画像を用いた｡ (図3,4,5)

4．因子分解法
相関法などで対応点があらかじめ求められた時系列画像から運動と形状の復元を行う方法として因子分解法がある。これは全特徴点を一様に処理し、数値計算で比較的安定な特性を示すことが知られている。ｊ番目の物体点（拡張ベクトルX ）のｉ番目の画像フレームにおける画像点を（u 、v ）として、ｉフレームの射影行列をP とすると次の関係が成り立つ
λ （u ，v ,1）=PiXj

ここでλ はスケールファクタに相当する射影的深さを表す。これを複数の点をまとめた行列で表現すると（ｉ=1，．．，ｎ；ｊ=1，．．．，m）
W=（P 、P ，…、Pn）（X ,X …、Xm）と表せる。Wは画像点より構成され、計測行列と呼ばれるものである。Wはカメラ運動を含む行列と物体の形状を表す行列の積で表され、ノイズが無い場合はWのランクは4となる。
計測行列よりPとXを求めるには特異値分解を利用してWを次のように表す。

図3 模型建物のテスト画像1

W=U∑V

ここでUは直交行列、Σは対角行列、Vは直交行列である。∑はWから求まる特異値を降順に対角線上にならべたものである。ところでWのランクを考慮すると、この式はUの最初の4列であるU'、4×4の対角行列∑ 、Ｖ の最初の4行である行列V の積で次のように近図4 模型建物のテスト画像2ー13−

電子航法研究所研究発表会（第1回 平成13年6月）

似的に表せる。

する場合を想定してカメラを建物の間を移動させて取得した画像である。オプティカルフロー

W=U'∑'V

これからひとつの分解結果として
M=U、S=∑V'、

W=MSが得られる。ただし任意の4行4列の正則行列
Cにより別の解が可能となるので、この分解は一意ではない。そこでさらにユークリッド復元のために拘束式が必要となる。ところでｉ番目のカメラの射影行列Piはとあらわせる。ここでKiはカメラの内部パラメータの行列、Riは回転行列、tiは並進運動を表すベクトルで、μ はスカラーである。回転行列の正規直交性を利用することにより拘束条件が得られる。よってこれから MおよびSが求められ、回転運動および並進運動が計算できる。
5．オプティカルフロー

を示す線の向きから、カメラは画面中心方向に動いていることがわかる。また線が長いものほどカメラとの距離が近いことを示している。このようにオプティカルフローを計算することにより物体との間の奥行きがわかる。
6．まとめ
複数画像を利用して航法のための応用についていくつかの手法と計算例を紹介した。画像から求められる値は必ずしも信頼性のあるものとは限らないので、その限界についておさえておく必要がある。また近接回避などでは正確な値はあまり必要でなく、むしろロバスト性が重要である。またこれらの手法を適用するにあたっては特徴点の抽出や対応も重要であるので、それらを含めた総合的な手法の融合と改良を行っていきたい。

動画像から直接的に速度場を求める方法としてはオプティカルフローによるものがある。ノイズやフレーム間の照明の変動等の影響を受けやすいが、直接的に速度ベクトルが求められる

参考文献（1）画像処理ハンドブック

メリットがある。動画像から求めたオプティカ
ルフローと動画像の1つのフレームを重ね合わせたたのが図6である。これは狭い地形を飛行（3）徐、辻 3次元ビジョン 共立出版
（4）蔵田 信学会総合大会，D‑12‑119、'97（2）T. Kanada CMU‑RI‑TR‑0 ‑09