応用論文

不可視マーカを用いた位置・姿勢推定のための環境構築とユーザ位置・姿勢推定システム
中里

祐介*1*2

神原

誠之*1

横矢

直和*1

A User Localization and Marker Initialization System Using Invisible Markers
Yusuke Nakazato*1*2 , Masayuki Kanbara*1 and Naokazu Yokoya*1
Abstract– A wearable augmented reality (AR) system has received a great deal ofattention as a new method for displaying location-based information in the real world.
In wearable AR, it is required to precisely measure position and orientation of a user for
merging the real and virtual worlds. This paper proposes a user localization system for
wearable AR in indoor environments. To realize a localization system, it is necessary toeasily construct environments for localization without producing undesirable visual effects. In the proposed system, wallpapers containing printed invisible markers are pasted
on ceilings or walls. To construct environments for localization, this system contains atool which calibrates the alignment of the markers from photos of the markers with digital still camera. The user’s position and orientation are estimated by recognizing themarkers using an infrared camera with infrared LEDs.

Keywords : invisible marker, localization, augmented reality, retro-reﬂector, infrared
camera, wearable computer

1

はじめに

ウェアラブル拡張現実感 (Augmented Reality: AR)
は，ユーザが装着したウェアラブルコンピュータやモ
バイル端末を用いて現実環境に仮想環境を重畳表示することにより，ユーザの位置に応じた情報などを直感的に提示可能な技術であり，ヒューマンナビゲーショ
ンなどの分野での実用化が期待されている．このウェ
アラブル拡張現実感では，現実世界と仮想世界の座標系の位置合せを行うためにユーザの正確な位置・姿勢計測が重要な課題となる．そこで本研究ではウェアラ
ブル拡張現実感を実際の環境で利用するために，屋内環境においてユーザの位置・姿勢を精度良く推定することが可能なシステムの実現を目的とする．
従来，ユーザの位置・姿勢を計測する手法として，
屋外では広範囲で位置の計測が可能な GPS と姿勢計測のためのジャイロセンサを組み合わせる手法がよく用いられている [1, 2, 3]．一方，屋内では GPS の利用が困難であるため，さまざまな位置計測手法が提案されている [4, 5]．代表的なものに，環境中に設置した赤外線ビーコンから信号を受信することにより絶対位置を計測する手法 [6, 7] がある．しかし，この手法では位置検出は安定に行えるが，電源を必要とする赤外*1 奈良先端科学技術大学院大学 情報科学研究科*2 現在，キヤノン株式会社*1 Graduate School of Information Science, Nara Institute of

Science and Technology*2 Presently with Canon Inc.

線ビーコンを環境中にインフラとして設置する必要がある．また，あらかじめ計測しておいた実環境の自然
特徴点の位置や 3 次元モデルなどを利用して，ユーザが装着したカメラで撮影した画像からユーザの位置・姿勢を計測する手法 [8, 9, 10] も提案されている．このような手法では実環境に手を加える必要が無く，ユー
ザが装着するセンサがカメラのみで済むという利点があるが，計算量が多く，見た目が似たパターンが多い
環境では安定して位置・姿勢を計測することが難しい．
そこで従来，実環境に位置・形状・色が既知の画像
マーカを多数配置し，それらをユーザが装着したカメラで撮影した映像からユーザの位置・姿勢を計測する
手法 [11, 12] がよく利用されている．この手法では安価な画像マーカを利用するために容易にインフラを設置することが可能であり，またマーカの検出が容易であるため安定した位置・姿勢の計測が可能である．しかしながら，画像マーカは検出が容易である反面，非常に目立つため，現実環境の景観を損ねてしまう．そこで肉眼では見ることのできない赤外線を用いた不可視マーカを利用する手法 [13, 14] や，景観に合わせてデザインしたマーカを利用する手法 [15, 16] が提案されている．
本研究では，実際の屋内環境で利用可能なユーザの位置・姿勢推定システムの実現を目指すため，我々が従来から提案している景観を損ねない半透明の再帰性反射材からなる不可視マーカ [14] を利用する．また実日本バーチャルリアリティ学会論文誌 Vol.13, No.2, 2008

環境構築
不可視マーカ壁紙を貼る

管理者

Ⅰ.不可視マーカの設置
Ⅱ. 不可視マーカの不可視マーカの撮影

キャリブレーション
キャリブレーションツールによるキャリブレーションツール
マーカ配置情報作成(a) 不可視マーカ (フラッシュ無 (b) 不可視マーカ (フラッシュ有
しで撮影)
りで撮影)
(a) Invisible markers without (b) Invisible markers with a

マーカ配置情報
マーカ配置情報 (各マーカの三次元位置・姿勢)

a ﬂash.

ﬂash.

図 2 天井に設置した不可視マーカ壁紙
Fig. 2 Invisible marker wallpaper on a ceiling.

ユーザのユーザの位置・
位置・姿勢推定
ユーザ
赤外光

ユーザ位置・姿勢推定
システムの実行

不可視マーカ
赤外線LED付き
赤外線カメラ

ユーザ位置
ユーザ位置・
位置・姿勢 (UDP or 共有メモリに出力)

図 1 不可視マーカと赤外線カメラを用いた位
置・姿勢推定システムの概要
Fig. 1 Overview of a user localization systemusing invisible markers.

図 3 不可視マーカのパターン
Fig. 3 Pattern of invisible marker.

勢を推定する．環境構築フェーズで多数の不可視マー
カが密に設置されているため，精度良くユーザの位置・際にユーザ位置・位置姿勢推定システムを利用する場

姿勢の計測が可能である．

合，そのためのインフラを容易に構築できることが望以下，2 節では，不可視マーカを用いた位置・姿勢

まれる．そのため提案システムは，図 1 に示すように，推定のための環境構築フェーズについて述べ，3 節で位置・姿勢推定のためのインフラ環境を容易に構築す

ユーザの位置・姿勢推定フェーズについて詳述する．

る環境構築のフェーズと，その環境の下でユーザの位

最後に 4 節で本研究のまとめと今後の課題を述べる．

置・姿勢推定を行うフェーズからなる．

2

前者の環境構築フェーズでは，不可視マーカのイン

位置・姿勢推定のための環境構築

フラ環境を容易に構築するために，壁紙と同色の再2.1

帰性反射材からなるマーカを印刷した壁紙を利用し，本研究ではマーカ設置の簡便化のために不可視マー

マーカのキャリブレーションを行うツールを提供する．

カを印刷した壁紙を利用する．図 2 にその不可視マー

マーカを用いて精度良くユーザの位置・姿勢を計測す

カ壁紙を設置した天井の様子を示す．不可視マーカ壁るためには，多くのマーカが密に配置されている方が紙は提案システムのために特注したもので (ユニチカ

よい．しかしながら，多数のマーカを一つ一つ貼るこ

スパークライト社)，通常の壁紙に壁紙と同色のの再とは多くの労力を必要とする．そこで，多数の不可視

帰性反射材からなるマーカが接着されている．そのた

マーカが印刷された壁紙を使用することにより，マーめ再帰性反射材の性質によりカメラのフラッシュなど

カ設置作業の労力の軽減を図る．インフラの管理者は，の光を当てながら撮影するとマーカを高輝度で撮像す不可視マーカ壁紙の各マーカが個別の ID パターンをることができる．

不可視マーカの設置持つように加工した後，それを環境中の天井等に貼る．

図 3 に示すように，各マーカの形状は正方形であ

そしてキャリブレーションツールに不可視マーカをデり，その枠の内部には N × N の格子状に点が配置さジタルカメラで撮影した画像とそのカメラの内部パラれている．ただし画像マーカの向きを一意に決定す

メータ，マーカの設計情報を入力し，マーカの 3 次元るために格子の 4 隅の内 1 つだけに常に点が配置さ

位置・姿勢が記述されたマーカ配置情報を得る．ここ

れ，残り 3 つには点は配置されない．この 4 隅を除で出力されたマーカ配置情報は後者のユーザの位置・いた格子点を 1 ビットとして端から順にビットコード

姿勢推定フェーズで利用される．

を割り当てる．さらにビットコードには CRC(Cyclic

ユーザ位置・姿勢推定のフェーズでは，環境構築
フェーズで得られたマーカの配置情報を利用し，ユー

Redundancy Check) による符号化がなされたコードを割り当て，マーカ認識処理において ID の誤り検出

ザが装着した赤外線 LED 付き赤外線カメラで不可視に利用する．したがって，CRC によるチェックビット

マーカを撮影・認識することにより，ユーザの位置・姿の数を C とすると，2N −4−C 通りの ID をマーカに
2

中里・神原・横矢 : 不可視マーカを用いた位置・姿勢推定のための環境構築とユーザ位置・姿勢推定システム
基準マーカの位置・姿勢，マーカ撮影画像，
カメラ内部パラメータ，マーカ設計情報
マーカ認識

カメラ位置・姿勢推定

マーカ位置・姿勢推定

マーカ設計情報の当てはめ

全体最適化
マーカ配置情報 (各マーカの3次元位置・姿勢)(a) マーカ設計情報入力画面(a) A form to input information of marker design.

図5

不可視マーカのキャリブレーション処理の流れ
Fig. 5 Flow diagram of marker calibration.

る．そこで提案システムではこの作業を容易にするために，マーカのキャリブレーションツールを提供する．
インフラの管理者は解像度の高いデジタルカメラで設置した不可視マーカの画像をフラッシュ撮影し，このツールを用いてマーカの配置情報を作成する．
ツールには，不可視マーカを撮影した画像とそのカメラの内部パラメータ，マーカ設計情報，および基準とするマーカの世界座標系における 3 次元位置・姿勢(b) マーカ撮影画像入力画面(b) A form to input markers’ images.

を入力する．マーカ設計情報は前述のパターン加工作
業で作成され，マーカの大きさ，間隔，格子点の大きさ，間隔，数，CRC チェックビット数，壁紙に加工し

図 4 不可視マーカのキャリブレーションツール
Fig. 4 Calibration tool for invisible marker.

割り当てることができる．
印刷工程上，マーカ印刷時に全てのマーカに固有のID を持たせることはできないため，壁紙には全ビットが 1 であるようなパターンが印刷されている．そのため，それらのパターンを各マーカが固有の ID を持つように加工する必要がある．提案システムにはパターン作成ツールが用意されており，マーカの大きさ・間隔，格子点の大きさ・間隔・数，CRC チェックビット数を入力すると，各マーカが固有の ID を持ったパター
ンの図とマーカ設計情報が出力される．パターンには全ての ID が出現するまで同じ ID が出現しないようにランダムな ID を持ったマーカが並べられる．マーカ
設計情報には，入力したマーカの大きさなどの情報と作成された ID パターンの並びが記述されており，後述のキャリブレーションツールで利用される．インフラの管理者は，作成された ID パターン図を見ながら電動やすり等を用いて 0 ビットに対応する格子点を削り取り，パターン加工された壁紙を天井等の壁面に通常の壁紙と同じように貼る．

2.2

不可視マーカのキャリブレーション

ユーザの位置・姿勢を推定するためには，マーカの3 次元位置・姿勢をあらかじめ計測しておく必要があた ID パターンの並びが記述されている．
キャリブレーションツールを操作する作業員は，まず図 4(a) に示すフォームにある Add ボタンを押してマーカ設計情報が定義されたファイルを入力する．
マーカ設計情報が入力されるとフォームの右側に IDパターンの並びが表示される．その中から基準とする
マーカの ID をダブルクリックして表示されるダイア
ログにそのマーカの世界座標系における 3 次元位置・
姿勢を入力する．このとき全てのマーカが同一平面上にあると仮定できる場合はチェックボックスにチェックを入れる．全ての基準マーカの入力を終えると，Next
ボタンを押し，図 4(b) に示すフォームに切り替える．
このフォームの Load ボタンを押してカメラの内部パ
ラメータを記述したファイルを読み込み，Add ボタ
ンを押してマーカ撮影画像を入力する．最後に Start

Calibration ボタンを押すとキャリブレーションが開始され，マーカの配置情報ファイルが出力される．このマーカの配置情報ファイルには，推定されたマーカの 3 次元位置・姿勢が記述されており，次のユーザ位
置・姿勢推定フェーズで利用される．

2.2.1

マーカキャリブレーションの処理概要

キャリブレーションツールにおける具体的な処理の流れを図 5 に示す．まず最初に入力された画像から，

日本バーチャルリアリティ学会論文誌 Vol.13, No.2, 2008

形状が四角形であるマーカ領域を探索し，ID を認識する．ID を構成するビットコードに対して CRC による誤り検出を行い，誤りの無かったマーカの 4 隅の点およびマーカ内部の格子点を特徴点として抽出する．
次に基準マーカの座標系を世界座標系とし，基準マーカを写したカメラの世界座標系における位置・姿勢を推定する．さらに位置・姿勢が推定されたカメラに写るマーカの世界座標系における位置・姿勢を推定し，そのマーカを写したカメラの位置・姿勢を推定する．
この処理を繰り返すことにより，全てのマーカの世界
座標系における位置・姿勢を推定する．その際，誤差の蓄積の軽減のため，マーカ設計情報を利用してマー
カの位置・姿勢を補正する．最後に，全ての入力画像

図 6 天井に設置した不可視マーカ (フラッシュ
撮影)
Fig. 6 Invisible markers on the ceiling. (Thisphoto was taken with a ﬂash.)

を通して再投影誤差が最小になるようにマーカとカメラの位置・姿勢を最適化し，得られたマーカの 3 次元

求める．

位置・姿勢をマーカの配置情報として出力する．以下

MM = MMC −1 · Mfにカメラ位置・姿勢推定とマーカ位置・姿勢推定の処

また，マーカ設計情報にはマーカ間の間隔やマーカ(3)

理について詳述する．

の並びが記述されているため，位置・姿勢が推定されカメラ位置・姿勢推定： マーカ撮影画像 f から検出たマーカに隣接するマーカの位置・姿勢も推定可能でしたマーカの特徴点 p の再投影誤差の和を表す誤差関ある．ただし，不可視マーカ壁紙が切断されて貼られ数 (式 (2)) を最小化することにより，カメラの外部パる場合があるため，上記のマーカ位置・姿勢推定処理

ラメータ行列 Mf ，すなわち世界座標系におけるカメで推定された位置・姿勢と隣接するマーカから設計情

ラの位置・姿勢を推定する．

報に基づいて計算された位置・姿勢の差がある閾値以

Rf p

=

Ef

=

∑
∑

|x̃f p − xf p |2

(1)

Rf p

(2)

下であれば，マーカ設計情報を元にした位置・姿勢の方が正しいとしてこれを利用する．このようにマーカ

p

ここで，x̃f p はマーカ撮影画像 f 上で検出された特徴

設計情報を利用することにより誤差の蓄積の軽減を
図る．

2.3

環境構築についての評価実験

点 p の 2 次元座標，xf p は特徴点 p の 3 次元座標を環境構築の手間や，キャリブレーションツールの精

Tsai の手法 [17] を用いてレンズ歪みを考慮して画像
f 上に投影した座標を表す．また，画像 f の外部パラ度を評価するため，実際の環境において不可視マーカ

メータ Mf の自由度は 6 とし，カメラ座標系の基底ベ

今回試作した不可視マーカ壁紙では，16cm 四方のクトルは単位直交条件を満たすものとする．本システ

マーカを約 24個/m2 の密度で配置し，そのパターン

ムでは出口らの手法 [18] を利用し，最小自乗法によっに格子行数 N = 5，CRC チェックビット数 C = 3 でて外部パラメータの初期値を線型演算によって推定し各マーカが固有の ID を持つパターンを割り当てた．

た後に，非線型最適化を行うことにより Mf を得る．

よって割り当てられる ID の数は 218 = 262144 通り

このとき全てのマーカが同一平面上にある場合はそので，約 10000m2 の範囲に固有の ID を持ったマーカを拘束条件を利用して外部パラメータを計算する．

配置することが可能である．このパターンはオフィス

マーカ位置・姿勢推定： マーカの大きさや格子点ののような 3m 程度の高さの天井にマーカを貼った場合

間隔などは入力したマーカ設計情報から与えられていに，人間の頭部に装着したカメラで多くのマーカが撮るため，マーカ座標系での特徴点 p の座標は既知であ

影でき，かつ ID の認識ができるように設計した．まる．よって，特徴点 p のマーカ座標系での 3 次元位置

た CRC のチェックビット数はマーカの誤認識率と IDと入力画像 f 上での 2 次元位置を用いて，前述のカメの数を考慮して決定した．

による位置・姿勢推定のための環境を構築した．

ラ位置・姿勢推定処理と同様の処理により，マーカ座

本実験では 310 × 4 個のマーカが印刷された壁紙を標系からカメラ座標系への変換行列 MMC を算出す

切断し，図 6 のように約 65m2 の本学廊下の天井にる．これを画像 f の外部パラメータ Mf を用いて以設置し，提案するキャリブレーションツールを用いて下の式により変換することで，マーカの世界座標系にマーカの 3 次元位置・姿勢を推定した． マーカの設おける位置・姿勢を表す外部パラメータ行列 MM を置に関する作業には，5 人でおよそ 20 時間程度必要

中里・神原・横矢 : 不可視マーカを用いた位置・姿勢推定のための環境構築とユーザ位置・姿勢推定システム

1.5
1

y[m]

0.5
0

-0.5
-1
-1.5
-2
-2.5
■マーカ推定位置
マーカ推定位置＋基準マーカ位置
マーカ位置(真値)×マーカ位置(真値)

-3
-3.5
-22

-20

-18

-16

-14

-12

-10

-8

-6

-4

-2

0

2

4

x[m]

図 7 マーカのキャリブレーション結果 (基準マーカが 1 つの場合)
Fig. 7 Result of marker calibration (1 reference marker is used).

1.5
1

y[m]

0.5
0

-0.5
-1
-1.5
-2
-2.5
■マーカ推定位置
マーカ推定位置＋基準マーカ位置
マーカ位置(真値)×マーカ位置(真値)

-3
-3.5
-22

-20

-18

-16

-14

-12

-10

-8

-6

-4

-2

0

2

4

x[m]

図 8 マーカのキャリブレーション結果 (基準マーカが 4 つの場合)
Fig. 8 Result of marker calibration (4 reference markers are used).

とした．その内訳はマーカのパターンを加工する作業

基準マーカが 4 つの場合は平均 11mm，標準偏差 7mmに 13 時間，壁紙を天井に設置する作業に 7 時間程度程度であった．

であった．経験上，同じ数のマーカを一つ一つ人手で3設置する場合と比較すると全体の作業時間は軽減され

ユーザ位置・姿勢推定

たが，マーカのパターン加工の作業時間が依然として

提案システムでは，前述したキャリブレーションツー多いため，今後この作業を自動化する必要がある．

ルで作成したマーカ配置情報と赤外線カメラの内部パ

本実験では全てのマーカが同一平面状にあるというラメータを利用し，天井などに貼った不可視マーカ壁

拘束条件を用いて，基準マーカを 1 つだけ与えた場合

紙をユーザが装着した赤外線 LED 付き赤外線カメラと 4 つ与えた場合のキャリブレーション実験を行った．

で撮影・認識することによりユーザの位置・姿勢を推図 7,8 にそれぞれで推定されたマーカの位置を示す．

定する．推定した位置・姿勢は計算機の共有メモリ内

この図において＋が基準マーカ，□がマーカの推定位に書き込まれ，拡張現実感システムなどの他のアプリ

置，×がその真値を表す．また点線で囲まれた四角形

ケーションから参照される．また，指定したネットワー

は各入力画像の撮影範囲を表す．キャリブレーション

ク上の計算機に UDP(User Datagram Protocol) を用

ツールに入力した画像は 100 枚 (3072 × 2304 画素) で，いて位置・姿勢推定結果を送信することも可能となっ使用したカメラは µ770SW(Olympus 製)，カメラの内ている．

部パラメータは Tsai の手法 [17] を用いて推定した．基以下では提案システムのために作成した赤外線カメ

準マーカおよびマーカの真値はトータルステーション

ラ，カメラ位置・姿勢推定処理の詳細，および推定精(トプコン製 GPT-9005A, 測距精度:±5mm) を用いて度の評価実験について述べる．

約 5m 間隔で 20 点計測した．このときの誤差は，基準
マーカが 1 つの場合平均約 13mm，標準偏差 12mm，

日本バーチャルリアリティ学会論文誌 Vol.13, No.2, 2008

マーカ配置情報，カメラ内部パラメータ

赤外線カメラからの画像取得

マーカ認識

カメラ位置・姿勢推定

カルマンフィルタの適用(a) 赤外線カメラ L(a) Infrared camera L.

(b) 赤外線カメラ S(b) Infrared camera S.
カメラ位置・姿勢

図 9 赤外線 LED 付き赤外線カメラ
Fig. 9 Infrared camera with infrared LEDs.

図 10 カメラ位置・姿勢推定処理の流れ
Fig. 10 Flow diagram of camera position estimation.

表 1 赤外線カメラの仕様
Table 1 Speciﬁcation of infrared camera.

外形寸法 [mm]
本体重量 [g]解像度 [画素]
水平画角 [度]LED 数
インタフェース
画像更新
速度 [fps]

赤外線
カメラ L

赤外線
カメラ S

75 × 55 × 47
1151024 × 768
110
12USB2.0 (×2)

25 × 20 × 10
20
640 × 48070
6USB2.029.12

30

テムではマーカの誤検出を減らすためにマーカの IDに冗長度を持たせて符号化し，推定した位置・姿勢の安定化のためにカルマンフィルタ [19] を適用する．
図 10 にカメラ位置・姿勢推定処理の流れを示す．まずマーカ領域を抽出するために，赤外線カメラで撮影した画像を 2 値化し，形状が四角形である領域を探索する．次に抽出したマーカ領域内のパターンを構成する格子点をビットコードに変換し，CRC による誤り検出を行い，マーカの ID を認識する．ID に誤りの無

3.1

赤外線 LED 付き赤外線カメラ

かったマーカの 4 隅の点およびマーカ内部の格子点の提案システムのために用途に応じて特性の異なる 2

画像上での座標を利用し，マーカのキャリブレーショ

種類の赤外線カメラを作成した．それらの外観を図 9ンの際の処理と同様に，認識した全マーカの特徴点のに，仕様を表 1 に示す．従来我々が提案した手法 [14]再投影誤差を最小化することにより，カメラの位置・で用いられている赤外線カメラと同様に，これらの赤姿勢を推定する．1 つのマーカは平面上にあると仮定

外線カメラのレンズ周辺には赤外線 LED が取り付けしているため，1 つ以上のマーカが認識されれば，位てあり，再帰性反射材からなる不可視マーカを高輝度

置・姿勢が推定可能である．

で撮影することが可能である．本カメラは取り扱いをユーザの位置・姿勢を AR で利用するためには，そ

容易にするため，両者のカメラともインタフェースにの値が滑らかに変化することが望ましい．そこで推定

USB 2.0 を採用している．

したカメラ位置・姿勢にカルマンフィルタ [19] の一

また 2 種類のカメラの内，一方の赤外線カメラは精種である SRCDKF(Square Root Central Diﬀerence

度良く位置・姿勢を推定するために，画角が広く解像度の高いカメラ (以降，赤外線カメラ L) となっていKalman ﬁlter)[20] を適用する．SRCDKF は非線型カ
ルマンフィルタであり，パラメータが少なく安定してる．この赤外線カメラ L にはビデオシースルー型拡張いるという特徴を持つ．
ユーザ位置・姿勢推定の評価実験

現実感システムなどで利用するための前方撮影用カメ

3.3

ラも内蔵さている．ユーザにとっては装着する機器は赤外線カメラの位置・姿勢推定精度の評価実験と，できるだけ小型・軽量である方が望ましい．そこでも実際の環境に設置した不可視マーカ壁紙の下でのユー

う一方のカメラ (以降，赤外線カメラ S) は，解像度やザの位置・姿勢の推定実験を行い，提案システムを検

赤外線 LED の明るさの代わりに，小型・軽量化に特

証した．

化した．

3.2

位置・姿勢推定処理概要

3.3.1

カメラ位置・姿勢推定精度の評価

本実験では，提案システムで利用する 2 種類の赤外

中里らの手法 [14] では赤外線 LED を点滅させその線カメラによる位置・姿勢推定精度を評価する．カメ

差分画像からマーカを認識していたが，位置・姿勢推

ラ位置・姿勢の真値を得るために，図 11 に示すよう

定の更新速度がカメラの更新速度の半分になってしまにロボットアームの先端に赤外線カメラを取り付け，

うため，本システムでは赤外線 LED を点灯して撮影

ロボットアームの正面にマーカが印刷された壁紙を設した画像のみからマーカの認識を行う．また，本シス置した．赤外線カメラの内部パラメータは Tsai の手

中里・神原・横矢 : 不可視マーカを用いた位置・姿勢推定のための環境構築とユーザ位置・姿勢推定システム

カメラL

40

カメラS

位置誤差[mm]

35
30
25
20
15
10
5
0
1.0

80

カメラL

カメラS

認識マーカ数

70
60

1.4

1.6

1.8
2.0
距離[m]

2.2

2.4

2.6

2.4

2.6

(a) 位置誤差(a) Errors in estimated position.

姿勢誤差[°]

図 11 不可視マーカとロボットアームにとりつけられた赤外線カメラ
Fig. 11 Invisible markers and an infrared
camera which is attached to robot
arm.

1.2

カメラL

1.0
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0.0

カメラS

50

1.0
40

1.2

1.4

1.6

1.8
2.0
距離[m]

2.2

30

(b) 姿勢誤差(b) Errors in estimated orientation.

20
10
0
1.0

1.2

1.4

1.6

1.8
2.0
距離[m]

2.2

2.4

2.6

図 12 カメラとマーカ面の間の距離を変化させたときの認識マーカ数
Fig. 12 Number of recognized markers withrespect to distance between a cameraand markers.

図 13 カメラとマーカ面の間の距離を変化させたときの位置・姿勢の誤差
Fig. 13 Errors in estimated position and orientation with respect to distance between a camera and markers.

マーカ数が少ない．逆にカメラとマーカ面が離れるとマーカパターンが認識できなくなり，かつマーカから

法 [17] を用いて推定し，赤外線カメラおよびマーカのの反射光が弱まるために，認識マーカ数が少なくなっ

位置関係はトータルステーション (トプコン製 GPT-ている．特に赤外線カメラ S は小型化し，赤外線 LED

9005A, 測距精度:±5mm) を用いて計測した．マーカには 2.3 節での実験にて使用した不可視マーカ壁紙との数が少ないため輝度が低くなり，カメラからマーカ

同じものを利用し，約 1.7m × 2.4m の範囲に縦 7, 横

かった．

面までの距離が 1.8m を超えるとマーカが認識できな

12 個の格子状に 16cm 四方のマーカを配置した．提案
システムの利用シーンを考えると，ユーザの装着した個以上認識できている 1.1m から 2.4m の間で位置に赤外線カメラと天井に設置したマーカは正対すること関しては約 5mm，姿勢に関しては約 0.2◦ でカメラ位が多い．そこで，本実験ではカメラとマーカ面までの置・姿勢が推定できていることが確認できる．その際距離と精度の関係を評価するため，カメラとマーカ面の標準偏差もそれぞれ約 2mm，0.05◦ と安定して推を正対させてその間の距離を 10cm ごと変化させ，各定できている．赤外線カメラ S は解像度が 640×480，

条件でカメラ L に関しては 10 回，カメラ S は 3 回の画角が 70 度であり，カメラ S よりも解像度も画角も試行を行った．なお本実験では時系列に依存しないカ

小さいために誤差が大きくなっており，位置，姿勢そメラの推定位置・姿勢精度を評価するため，カルマン

れぞれに関して約 15mm(標準偏差 2mm)，0.5◦ (標準フィルタは適用していない．

偏差 0.1◦ ) の誤差でカメラ位置・姿勢が推定されていまた図 13 より，赤外線カメラ L は，マーカが 30

図 12 にその際に認識したマーカの平均個数の変化

る．どちらのカメラもオフィスのような一般的な環境の様子を示す．また，図 13 に赤外線カメラ L,S につの天井にマーカを設置し，ユーザが頭部にカメラを装いてカメラとマーカ面の間の距離を変化させたときの着した際に想定されるカメラとマーカ面までの距離内

位置・姿勢の誤差の平均と各試行における分散の変化(1.2m ∼ 1.5m) で位置・姿勢が推定できている．

の様子を示す．
図 12 を見て分かる通り，カメラとマーカ面が近い場
合はカメラの画角内に入るマーカが少ないため，認識

3.3.2

実環境でのユーザ位置・姿勢推定

実環境での位置・姿勢推定精度の評価:

環境構築フェー

ズで構築した環境の下でのカメラ位置・姿勢推定精度

日本バーチャルリアリティ学会論文誌 Vol.13, No.2, 2008

推定位置(カメラL)

真値(カメラL)

推定位置(カメラS)

真値(カメラS)

1

y [m]

0

-1
マーカ設置範囲
-2

-3
-18

-17

-16

-15

-14

-13

-12

-11

-10

-9

-8
-7
x [m]

-6

-5

-4

-3

-2

-1

0

1

2

図 14 実環境での位置・姿勢推定結果 (基準マーカが 1 つの場合)
Fig. 14 Estimated position of 2 infrared cameras (1 reference markers are usedin marker calibration).

を評価するため実験を行った．本実験では 2.3 節で述
べた実験において構築した環境下で，2 種類の赤外線カメラを静止させてカメラ位置・姿勢を推定し，その表 2 実環境でのカメラ位置・姿勢推定精度
Table 2 Errors in estimated position and orientation under the invisible marker
wallpapers.

状態におけるカメラ位置・姿勢をトータルステーション (トプコン製 GPT-9005A, 測距精度:±5mm) を用いて計測した．マーカの配置情報として，2.3 節で示した基準マーカが 1 つの場合と 4 つの場合のキャリブ
レーション結果を利用し，赤外線カメラ L と S は台の上にほぼ鉛直上向きで固定した．台と各カメラ間の位

基準マーカ数
位置平均誤差 [mm]位置標準偏差 [mm]
姿勢平均誤差 [◦ ]姿勢標準偏差 [◦ ]

カメラ L
1
4

カメラ S
1
4

9
4
0.41
0.13

13
6
0.52
0.31

9
4
0.35
0.14

11
5
0.41
0.24

置・姿勢の関係は手動で計測し，トータルステーショ
ンを用いて台の位置・姿勢を計測した結果から各カメ

カメラ位置・姿勢推定の誤差が影響を与える，拡張

ラの位置・姿勢の真値を算出した．また，このときの現実感で提示する画像上での仮想物体の誤差 (ex , ey )カメラと天井との間の距離は約 1.2m であった．

は次式で表すことができる．

図 14 に基準マーカが 1 つの場合のキャリブレーショ(X ′ , Y ′ , Z ′ , 1)T

ン結果を用いて推定されたカメラ位置とその真値を 2次元上に投影した結果を示す．この図は環境を真上から見下ろした様子に相当する．また，基準マーカが 4= Mu M(X, Y, Z, 1)T(4)(Xn′ , Yn′ , Zn′ , 1)T

(5)

ex

=

(6)

ey

=

= Mu Mn (X, Y, Z, 1)T
X′
scrx
X′
( ′n − ′ )2 tan(θx /2) Zn
Z
′
Y′
scry
Y
( n′ − ′ )2 tan(θy /2) Zn
Zつの場合もほぼ同様の結果が得られた．カメラ位置・姿勢の計測は図 14 に示すように環境内の 18 箇所で行っており，このときのカメラ位置・姿勢推定の誤差(7)を表 2 に示す．誤差が平均約 13mm(標準偏差 12mm)

ここで仮想物体の世界座標系における 3 次元座標をであった基準マーカが 1 つの場合のキャリブレーショ(X, Y, Z)T ，カメラ推定位置に誤差が無い場合とある場

ン結果を利用した場合よりも，誤差が平均 11mm(標準偏差 7mm) であった基準マーカが 4 つの場合の方が精度良くカメラ位置・姿勢が推定できている．
一般に位置・姿勢推定に用いる特徴点の計測誤差が合の表示装置座標系における 3 次元座標を (X,′ Y ′ , Z ′ )T ，

(Xn ,′ Yn′ , Zn′ )T とする．また，行列 M，Mn は推定されたカメラ位置・姿勢に誤差が無い場合とある場合の赤外線カメラの外部パラメータ，Mu は赤外線カメラ

等方性を持つのであれば，特徴点の数が多く，かつ特の座標系から表示装置座標系への変換行列，scrx , scry

徴点とカメラ間の距離が近いほど，推定されるカメラ

は表示装置の解像度，θx , θy は表示装置の水平・垂直

位置・姿勢の精度は高くなる [21]．しかしながら本シス

画角をそれぞれ表す．よって，解像度 800×600，水平テムのキャリブレーションツールで得られるマーカ位

画角 60◦ ，垂直画角 45◦ の表示装置を用いて，5m 先

置は，蓄積誤差の影響により偏りを持ちやすく，キャの仮想物体を描画すると，赤外線カメラ L によって位

リブレーションの誤差がユーザ位置・姿勢推定の精度

置誤差 9mm，姿勢誤差 0.4◦ の誤差で位置・姿勢が推に与える影響は大きいと考えられる．そのため広い範定できた場合，合成画像上で最大で 4 画素程度の誤差

囲でキャリブレーションを行う場合は基準マーカを複が生じる可能性がある．同様にカメラ S を想定し，位数与える必要がある．

置誤差 13mm，姿勢誤差 0.5◦ の誤差で位置・姿勢が中里・神原・横矢 : 不可視マーカを用いた位置・姿勢推定のための環境構築とユーザ位置・姿勢推定システム
25[m]2.5[m]

x

不可視マーカ

2[m]

z

y

x

赤外線LED付き
赤外線カメラ

2.8
[m]

ユーザ

図 15 ユーザ位置・姿勢推定実験の環境
Fig. 15 Environment of user localization experiment.

図 16 ユーザ位置・姿勢推定結果
Fig. 16 Estimated position and orientation ofuser.

推定できた場合は，合成画像上で 5 画素程度の誤差が4生じる可能性がある．
実環境でのユーザ位置・姿勢推定の検証:

まとめ

実際のウェ

本論文では，屋内におけるウェアラブル拡張現実感

アラブルコンピュータユーザの位置・姿勢推定結果をの実利用を目指し，ウェアラブルコンピュータユーザ

確認するため，2.3 節で構築した環境下で，ウェアラの位置・姿勢を推定するシステムを構築した．提案シブル拡張現実感システムを構築して実験を行った．本

ステムはインフラ環境の構築を容易に行えるように支実験では，ウェアラブル拡張現実感の注釈合成画像を援する環境構築フェーズと，実時間で精度良くユーザ生成するため，ユーザはユーザ視点画像撮影用カメラの位置・姿勢推定を行うフェーズから構成される．

を内蔵する赤外線カメラ L を頭部に装着し，図 15 にユーザ位置・姿勢推定システムの実利用を目指す場

示す環境中の座標系の x 方向へ歩いて往復した．この合，そのためのインフラを容易に構築でき，かつ景観ときのカルマンフィルタのパラメータは経験的に決定を損ねずに精度良くユーザの位置・姿勢を計測できるした．また，計算機には ThinkPad X60 (lenovo 製，ことが望まれる．そこで提案システムでは，ユーザ位

CPU:Intel Core2Duo T7200 2GHz, メモリ:2GB) を使用した．このときのユーザの位置・姿勢推定結果を置・姿勢推定のためのインフラに再帰性反射材からな

図 16 に示す．この図において，座標系の原点はマーしたマーカをデジタルカメラで撮影してキャリブレー

カを貼った天井面にあり，黒色の四角錐および円がカションするツールを提供することで環境の構築の労力

ルマンフィルタ適用前のカメラ位置・姿勢，もう一方の軽減を図った．これにより景観を損ねることなく多の色の四角錐と円がカルマンフィルタ適用後のカメラ

数のマーカを密に設置することができ，ユーザが装着

位置・姿勢を表す．これらの結果より，推定した位置・した赤外線 LED 付き赤外線カメラを用いて精度良く姿勢に大きな外れ値がなく，提案システムによって安ユーザの位置・姿勢を推定することが可能となる．

定してユーザの位置・姿勢が推定できていることが確

また，本研究では特性の異なる 2 種類の赤外線 LED

認できる．

る不可視マーカを密に印刷した壁紙を利用し，設置付き赤外線カメラを作成し，その評価を行った．実環

提案するユーザ位置・姿勢推定システムは，赤外線境における実験において，解像度の高い赤外線カメラ

LED でマーカを照らしながら撮影するため，シャッL は位置 9mm，姿勢 0.4◦ ，小型・軽量のカメラ S の

ター速度を高速にすることができる．実験では 1/250

場合は位置 13mm，姿勢 0.5◦ 程度の平均誤差で安定

秒のシャッター速度で撮影したため，ユーザ視点画像

してユーザの位置・姿勢が推定できることを確認した．

にモーションブラーが発生するような動きに対しても，今後の課題としては，多くの作業時間を必要としてユーザの位置・姿勢が推定でき，正しい位置に注釈がいるマーカのパターンの加工を自動化やパターンの誤提示されていることが生成した注釈合成画像から確認

りを検出するツールの作成，ユーザ位置・姿勢推定処できた．ただし，カルマンフィルタ適用前の位置・姿理のハードウェア化などが挙げられる．

勢を用いて注釈提示画像を生成すると 2,3 画素程度のジッターが発生した．しかしながら，カルマンフィル

謝辞

タ適用後の位置・姿勢を用いた場合はジッターの発生

本研究の一部は，総務省・戦略的情報通信研究開発が抑えられることが確認できた．
この実験において位置・姿勢推定の更新頻度は約29fps(CPU 使用率:約 15%) であり，実時間で位置・姿勢が計測できることが確認できた．

推進制度 (SCOPE) の支援による．

日本バーチャルリアリティ学会論文誌 Vol.13, No.2, 2008

参考文献
[1] T. Höllerer, S. Feiner and J. Pavlik: “Situated documentaries: Embedding multimedia presentationsin the real world,” Proc. 3rd IEEE Int. Symp. on
Wearable Computers (ISWC’99), pp. 79–86, 1999.
[2] P. Dahne and J. N. Karigiannis: “ARCHEOGUIDE: System architectureof a mobile outdoor augmented reality system,” Proc. 1st IEEE/ACM
Int. Symp. on Mixed and Augmented Reality (ISMAR2002), pp. 263–264, 2002.
[3] 神原誠之, 横矢直和: “RTK-GPS と慣性航法装置を併用したハイブリッドセンサによる屋外型拡張現実感システム”, 画像の認識・理解シンポジウム (MIRU2005)
講演論文集, pp. 933–938, 2005.
[4] P. Bahl and V. N. Padmanabhan: “RADAR: An
in-building RF-based user location and tracking
system,” Proc. 19th Conf. of the IEEE Computerand Communications Societies (INFOCOM 2000),
pp. 775–784, 2000.
[5] M. Kourogi and T. Kurata: “Personal positioning
based on walking locomotion analysis with selfcontained sensors and wearable camera,” Proc.
2nd IEEE/ACM Int. Symp. on Mixed and Augmented Reality (ISMAR 03), pp. 103–112, 2003.
[6] G. Welch, G. Bishop, L. Vicci, S. Brumback,K. Keller and D. Colucci: “High-performancewide-area optical tracking -the hiball tracking system,” Presence: Teleoperators and Virtual Environments, Vol. 10, No. 1, pp. 1–21, 2001.
[7] D. Hallaway, T. Höllerer and S. Feiner: “Coarse,
inexpensive, infrared tracking for wearable computing,” Proc. 7th IEEE Int. Symp. on Wearable
Computers (ISWC’03), pp. 69–78, 2003.
[8] I. Skrypnyk and D. G. Lowe: “Scene modelling,
recognition and tracking with invariant image features,” Proc. 3rd IEEE/ACM Int. Symp. on Mixed
and Augmented Reality (ISMAR 04), pp. 110–119,
2004.
[9] L. Vacchetti, V. Lepetit and P. Fua: “Combiningedge and texture information for real-time accurate 3D camera tracking,” Proc. 3rd IEEE/ACM
Int. Symp. on Mixed and Augmented Reality (ISMAR 04), pp. 48–57, 2004.
[10] 大江統子, 佐藤智和, 横矢直和: “幾何学的位置合わせのための自然特徴点ランドマークデータベースを用いたカメラ位置・姿勢推定”, 日本バーチャルリアリ
ティ学会論文誌, Vol. 10, No. 3, pp. 285–294, 2005.
[11] B. Thomas, B. Close, J. Donoghue, J. Squires,
P. D. Bondi, M. Morris and W. Piekarski: “ARQuake: An outdoor/indoor augmented reality ﬁrst
person application,” Proc. 4th IEEE Int. Symp. on
Wearable Computers (ISWC2000), pp. 139–146,
2000.
[12] M. Kalkusch, T. Lidy, M. Knapp, G. Reitmayr,
H. Kaufmann and D. Schmalstieg: “Structured
visual markers for indoor pathﬁnding,” Proc. 1stIEEE Int. Augmented Reality Toolkit Workshop(ART’02), 2002.
[13] H. Park and ong Il Park: “Invisible marker tracking for AR,” Proc. 3rd IEEE/ACM Int. Symp.
on Mixed and Augmented Reality (ISMAR 04),
pp. 272–273, 2004.
[14] 中里祐介, 神原誠之, 横矢直和: “ウェアラブル拡張現実感のための不可視マーカと赤外線カメラを用いた
位置・姿勢推定”, 日本バーチャルリアリティ学会論文誌, Vol. 10, No. 3, pp. 295–304, 2005.
[15] 齊藤滋, 谷川智洋, 廣瀬通孝: “コード化した模様を

[16]

[17]

[18]

[19]
[20]

[21]

内装に施した室内における位置同定システム”, 電子
情報通信学会 技術研究報告, MVE2006-06, pp. 1–6,
2006.
吉田友祐, 天目隆平, 柴田史久, 木村朝子, 田村秀行: “
美観と頑健性を両立させた複合現実感用半人為的幾何
位置合わせマーカの研究（第１報）”, 電子情報通信学
会 技術研究報告, PRMU2006-195, pp. 7–12, 2007.
R. Y. Tsai: “An eﬃcient and accurate camera calibration technique for 3D machine vision,” Proc.
IEEE Conf. on Computer Vision and Pattern
Recognition, pp. 364–374, 1986.
出口光一郎: “射影幾何学による PnP カメラ補正問
題の統一的解法”, 情報処理学会「コンピュータビジョン’90〜ビジョンと環境理解〜シンポジウム」論文集,
Vol. 90, pp. 41–50, 1990.
G. Welch and G. Bishop: “An introduction to thekalman ﬁlter,” SIGGRAPH 2001 Course 8, 2001.
R. van der Merwe and E. A. Wan: “Sigma-point
kalman ﬁlters for integrated navigation,” Proc. the60th Annual Meeting of The Institute of Navigation, pp. 641–654, 2004.
佐藤智和: “複数の動画像を用いたカメラパラメータ推定に基づく屋外環境の三次元モデル化に関する研究”,奈良先端科学技術大学院大学 博士論文 NAIST-ISDT0161018, 2003.

(2007 年 12 月 10 日受付)

［著 者 紹 介］
中里 祐介 （正会員）
2008 年奈良先端科学技術大学院大学
博士後期課程修了．現在，キヤノン株式会社に勤務．複合現実感に関する研究に従事．博士 (工学)．日本バーチャルリア
リティ学会，電子情報通信学会，情報処
理学会，IEEE 各会員．

神原 誠之 （正会員）
2002 年奈良先端科学技術大学院大学博士後期課程修了．同年同大情報科学研究科助手，現在に至る．コンピュータビジョ
ン，複合現実感の研究に従事．博士 (工学)．1999 年電子情報通信学会学術奨励賞受賞．FIT2005 論文賞受賞．日本バーチャ
ルリアリティ学会，情報処理学会，IEEE
各会員．

横矢 直和 （正会員）
1974 年大阪大学基礎工学部情報工学科卒．1979 年同大大学院博士後期課程修了．工博．同年電子技術総合研究所入所．
以来，画像処理ソフトウェア，画像データ
ベース，コンピュータビジョンの研究に従事．1986〜87 年マッギル大・知能機械
研究センター客員教授．1992 年奈良先端科学技術大学院大学・情報科学センター教授．現在，同大情報科学研究科教授．1990
年,2007 年情報処理学会論文賞受賞．2005
年情報処理学会フェロー，電子情報通信学会フェロー．情報処理学会，人工知能学会，日本認知科学会，映像情報メディア学会，IEEE，ACM SIGGRAPH 各会員．