全方位型マルチカメラシステムのキャリブレーション

A Calibration Method for an Omnidirectional Multi-Camera System
池田 聖

1. はじめにSei Ikeda

佐藤 智和

Tomokazu Sato

近年, 屋外環境の三次元モデル化やテレプレゼンスのように現実環境の映像を利用することで , 仮想空間内に現実感の高い仮想世界を再現する研究が行なわれている[1,2]. このような研究では大規模な実環境を取り扱うため, 複数のカメラを外向きに配置し 全方向を高解像度で撮影できる多眼の全方位型カメラが , 手間や解像度などの点で有利である. しかし , そのような多眼のカメラを利用して違和感のない仮想空間を構築するためには , 精度の高いカメラ間のキャリブレーションが必要となる.
多眼の全方位型カメラシステムに対するキャリブレーション手法はいくつか提案されているが , 多くの手法はカメラ全体を覆う没入型の大型スクリーンを用い, スクリーンに投影された繰り返しパターンを撮影することでカメラ間のキャリブレーションを行なっている [3,4]. しかし , スクリーンにマーカを投影する手法では, 各カメラに対して奥行き方向にマーカを配置することができないため, 精度の高いカメラ間のキャリブレーションが困難である. 棚橋らの手法 [4] では設計パラメータを用いてこれを回避しているが , 各カメラが高い精度で配置されている必要がある.
そこで本報告では, 上方を含む 6 台のカメラによって全方向を撮影可能な Point Grey Research 社製の全方位型カメラシステム Ladybug(図 1 左) を用い, 大規模な装置や設計パラメータなしにカメラ間の幾何学的及び光学的なキャリブレーションを行なう手法を提案する. 本手法
では, まず格子模様を印刷した板 (以下, マーカボード ) の奥行きを変えて複数回撮影し , そのマーカボード の三次元位置を三次元位置計測器 (トータルステーション ) により計測することで , 十分な数のマーカを仮想的に空間上に配置し , 幾何学的なキャリブレーションを行なう. 次に ,明度低下現象やカメラ間の色調について, 光学的なキャリブレーションを行なう. 実験では, 全天球画像を実際に作成することで , 正しいキャリブレーションが可能であることを示す.
全方位型カメラのキャリブレーション
Ladybug は図 1(左) に示すような水平方向に 5 個, 上方向に 1 個の CCD カメラを配置した小型カメラヘッドと図 1(右) に示すような HDD アレイによる蓄積ユニット

2.

横矢 直和

Naokazu Yokoya

図 2: マーカボードを用いることで , 全方向の約 75%以上を動画像として撮影できるシステムである. 本章では, 各カメラの位置 1 姿
勢と幾何学的歪みを補正する幾何学的キャリブレーショ
ン , 及び明度低下現象とカメラ間の色調を補正する光学的キャリブレーションについて述べる.
幾何学的キャリブレーション
各カメラの幾何学的なカメラパラメータである内部パラメータ (焦点距離, レンズ歪み, 歪み中心, アスペクト比) と外部パラメータ (カメラの位置, 姿勢) の推定を行なう.
これらを推定するためには Ladybug の全方向に三次元位置関係が既知のマーカを配置する必要がある. まず,マーカの配置方法について述べる. 本手法では, マーカとして図 2 に示すようなマーカボードに印刷された格子模様の交点を用いる. マーカの三次元位置は , マーカボードの 4 隅をトータルステーションで計測し線形補間して求める. これにより, 容易に多数のマーカの三次元位置を得ることができる. マーカボードは図 3 に示すように , 各カメラに対して奥行き方向に移動させ, その都度三次元位置の計測と, マーカボード の撮影を行なう. 全てのカメラでマーカボードを撮影し終わるまで, トータルステーションにより張られる世界座標系を統一することで, Ladybugの全方向にマーカを同時に配置するのと同等のデータを得ることが可能である.
次に , 各パラメータの推定方法について述べる. 内部
パラメータはあらかじめ各カメラについて Tsai[5] の手法を用いて推定しておく. 外部パラメータは世界座標系におけるカメラ c(c = 1; 2; :::; 6) の位置 Tc と姿勢 Rc を用いて, 世界座標系からカメラ座標系への変換行列 Mc として表わすことができる.

2.1

Mc =

図 1: Ladybug のカメラヘッド (左) と蓄積ユニット (右)奈良先端科学技術大学院大学

Nara Institute of Science and Technology (NAIST)

図 3: マーカボードの配置

Rc Tc01

Mc を求めるために, マーカ m の三次元位置 xm とカメ
ラ c の入力画像上での位置 um とを対応づけ , 出口の手法 [6] を用いて世界座標系からカメラ座標系への変換行列 Mc0 を計算する. しかし Mc0 の自由度は 12 となり Rcが回転行列とならない. そこで, 真のカメラ位置が推定された光軸上に存在するとして, 線型演算により 6 自由度に補正された変換行列 Mc を得る. 最後に, マーカの三次元位置を画像上に投影した座標 vm とマーカの入力画像

図 4: レンズ歪み補正前 (左) と補正後 (右)P

上での位置 um との二乗誤差 Ec = m jum 0 vm j2 を勾配法により最小化することで Mc を推定する.
光学的キャリブレーション
光学的なキャリブレーションには, 明度低下現象の補正とカメラ間の色調補正がある. 明度低下現象には , 広
角レンズ特有の cos4  現象と望遠レンズに特有の口径蝕現象とがあるが , Ladybug には広角レンズが使用されているため, レンズ径の実測値と焦点距離を使用して cos4 現象の補正 [7] を行う.
次に, カメラ間の色調の補正方法について述べる. 一
般的に撮像面上の放射照度 I は物体表面の放射輝度 L に対して線形的な関係 I = aL + b を持つとされており, 各カメラごとに a; b が異なるためカメラ間での色調の違いが発生する. 本手法では , 照明条件を固定した同じシーンを撮影することでカメラ c の係数 ac ; bc を推定する. 変換係数は, カメラ c の画像と基準カメラ c0 の画像の輝度
l に関する正規化ヒストグラム hc (l), hc0 (l) を一致させるように決定する. すなわち, 評価関数:

2.2e(ac ; bc ) =Xlhc0 (l) 01ac

hc

l 0 bc2acを定義し , これを勾配法を用いて最小化することで, 各カメラの ac ; bc を推定し , カメラ間の色調を補正する.
実験
提案手法の有効性を確認するために, 実際に Ladybugのキャリブレーションを行ない, 全天球画像を作成した.
カメラ間のキャリブレーションは , Ladybug を三脚に固定し , マーカボード をカメラの奥行き方向に約 1m 間隔で移動させ, 各カメラごとに 3 回撮影することで行なった. マーカは , 各カメラに合計約 500 個用い, マーカボー
ド の 4 隅の三次元位置を LEICA 社製のトータルステーション TCR1105 で計測した.
図 4 に , 1 つのカメラについて推定した内部パラメー
タを用いて入力画像の歪みを補正した結果を示す. 歪み補正結果 (図 4 右) において, 格子模様が直線に戻っていることから , 正し く内部パラメータが推定されていることが確認できる.
次に , 図 5 に示す 6 枚の入力画像から幾何学的及び光学的キャリブレーションの後, 6 枚の画像の張り合わせによって全天球画像 (図 6) を作成した. 全天球画像は垂直上方向と下方向をそれぞれ地球の北極と南極とみなし , メルカトル図法を用いて画像を平面に展開しており, 図の下部の黒い部分は , 入力画像の存在しない部分である. 図
6 から, 全天球画像での位置ずれや入力画像間の境界は目立ず, 幾何学的にも光学的にもおおむね正し くキャリブレーションが行なえていることが分かる.

3.

図 5: 入力画像 (上方向 (右下) と水平方向 (その他))

4. まとめ図 6: 全天球画像

本報告では , 多眼の全方位型マルチカメラシステム
Ladybug に対して , 大規模な装置や設計パラメータなしにカメラ間の幾何学的及び光学的なキャリブレーションを行なう方法を提案した. 提案方法では, トータルステーションとマーカボード を用いることで , 容易に十分な数のマーカを空間に配置し , 精度の良いキャリブレーションを行なうことが可能である.
実験では , 実際に Ladybug のキャリブレーションを行ない, 全天球画像を作成することで, 正しくキャリブレーションされていることを確認した. 今後は , キャリブレーションされた Ladybug を用いて, 実際に実環境を三次元復元する手法について検討する.
参考文献[1] 佐藤, 神原, 横矢, 竹村, \マルチベースラインステレオ法を利用した動画像からの屋外環境の三次元モデル化", 信学技報, PRMU2001233, 2002.
[2] 山澤, 尾上, 横矢, 竹村, \全方位画像からの視線追従型実時間画像生成によるテレプレゼンス", 電子情報通信学会論文誌 (D-II),Vol. J81-D-II, No. 5, pp. 880-887, 1998[3] 戎野, 山澤, 竹村, 横矢, \円筒パターンを用いた全周ステレオ画
像センサのキャリブレーション手法", 日本 VR 学会第 4 回大会
論文集, pp. 211 - 212, 1999.
[4] 棚橋, 佐藤, 王, 丹羽, 山本, \全方向ステレオシステム (SOS) のキャリブレーション手法", 映像情報メディア学会誌, Vol. 56, No.
4, pp. 603-610, 2002.
[5] R. Y. Tsai, \A versatile camera calibration technique forhigh-accuracy 3d machine vision metrology using o -theshelf TV cameras and lenses", IEEE Journal of Robotics
and Automation, Vol. RA-3, No. 4, pp. 323-344, 1987.
[6] 出口, \射影幾何学による PnP カメラ補正問題の統一的解法", 情報シンポジウム, Vol. 90, pp. 41-50, 1990.
[7] B. K. P. Horn, \Robot Vision", Mit Press, 1986.