TVRSJ Vol.10 No.3, 2005

基礎論文

ウェアラブル拡張現実感のための不可視マーカと赤外線カメラを用いた位置・姿勢推定
中里

祐介*1

神原

誠之*1

横矢

直和*1

Localization System Using Invisible Visual Markers and IR Camera
for Wearable Augmented Reality
Yusuke Nakazato*1 , Masayuki Kanbara*1 and Naokazu Yokoya*1
Abstract – To realize an augmented reality (AR) system using a wearable computer,the exact position and orientation of a user are required. We propose a localization
method which is based on using an IR camera and invisible visual markers consistingof translucent retro-reﬂectors. In the method, to stably extract the regions of markers
from the captured images, the camera captures the reﬂection of IR LEDs that are ﬂashedon and oﬀ continuously. In experiments, we ﬁrst describe the quantitative evaluation incomputer simulation to decide the alignment of markers in real environments. We thencarry out the localization experiments in real environments in which markers are installedbased on the marker alignment decided by simulations. Finally, we develop a wearable
augmented reality system using the proposed localization system.

Keywords: invisible visual marker, localization, augmented reality, retro-reﬂector,
infrared camera, wearable computer

1

はじめに

近年，計算機の小型化，高性能化に伴い，ウェアラ
ブルコンピュータを装着したユーザのための様々なア
プリケーションが研究されている [1, 2]．その中でも，ユーザのいる場所に応じた情報を直感的に提供可能な
ウェアラブル型拡張現実感 (Augmented Reality:AR)
システムでは，現実世界と仮想世界の座標系の位置合わせを行う必要があるために，ユーザの正確な位置・姿勢計測が重要な課題となる．
従来，屋外においては，広範囲で位置を計測できる

GPS とジャイロセンサの組み合わせが一般的であるが[3, 4], 屋内では GPS が利用できないため，さまざまな位置計測手法が提案されている [5, 6, 7]．代表的なものに，環境中に設置した赤外線ビーコンから信号を受信することにより絶対位置を取得する手法 [8, 9, 10]がある．しかし，この手法では位置検出は安定に行えるが，電源を必要とする赤外線ビーコンを環境中にインフラとして設置する必要がある．また，実環境に位置・形状・色が既知の画像マーカを多数配置し，それらをユーザの頭部に取り付けたカメラで撮影した映像
からユーザの位置・姿勢を推定する手法が提案されている [11, 12]．一方，Naimark ら [13] は，円形のマー
カと加速度センサを融合することで，安定した位置推*1 奈良先端科学技術大学院大学 情報科学研究科*1 Graduate School of Information Science, Nara Institute of

Science and Technology

定が可能なシステムを開発した．このように画像マー
カを通常のカメラで撮影する手法は，安価でかつインフラに電源を必要としないという利点があるが，実環境の景観を損ねるため，実際の環境におけるウェアラ
ブル型拡張現実感システムに利用することが難しいという問題がある．
そこで本論文では，屋内環境を対象として，半透明の再帰性反射材からなる不可視の画像マーカに赤外光を照射し，その反射を赤外線カメラで撮影・認識することで，ユーザの位置・姿勢を推定する方法を提案する．その際，赤外光を連続的に点滅させ，それと同期
してマーカを撮影することでマーカからの反射光以外の赤外光の影響を軽減する．これにより安価で，かつ景観を損なうことなくユーザの位置・姿勢を推定できるため，実際の屋内環境の広範囲においてウェアラブル型拡張現実感システムの実現が可能となる．
また，そのような実環境において拡張現実感システ
ムを運用する場合，推定されるユーザの位置・姿勢の精度は重要である．従来，正方形マーカ 1 つに対する位置・姿勢の推定精度に関する研究は行われている[14, 15]．しかし，カメラを身につけたユーザが天井に設置した多数のマーカを映し続けるような場合に，どのようにマーカを配置すれば精度良く位置・姿勢が推定できるかはあまり検討されていない．多数のマーカを設置する場合，設置の手間が問題となるが，その解決のために，羽原ら [16] は，ごく一部のマーカの位

日本バーチャルリアリティ学会論文誌 Vol.10, No.3, 2005(a) 通常の画像マーカ(b) 不可視マーカ(c) 不可視マーカ (フラッシュ有り)(a) Standard visual markers.

(b) Invisible visual markers.

(c) Invisible visual markers with a ﬂash.

図 1 インフラに設置される画像マーカ
Fig. 1 Markers as positioning infrastructures.

置・姿勢を計測し，その他のマーカの位置・姿勢を周囲のマーカから相対的に求める手法を提案している．また，アプリケーションで必要なユーザの位置・姿勢の精度に応じて，場所によってマーカの配置密度を変更することも考えられる．そこで，本研究ではより精度良く位置・姿勢を推定するために，マーカを密に配置

図2

画像マーカのデザイン例 (N = 4)
(黒い部分が再帰性反射材)
Fig. 2 Instances of markers (N = 4) (theblack part illustrates a retro-reﬂector).

した際のマーカの配置パターンについて，シミュレー
ション実験を通して検討する．
以下 2 章では，本研究で利用した不可視マーカとそれらを用いた位置・姿勢の推定手法について詳述する．3 章では環境中に配置するマーカの密度と精度の関係を検証するために行ったシミュレーション実験，
実環境における実験，および提案する位置・姿勢推定
手法を利用したウェアラブル型拡張現実感システムについて述べる．最後に本研究のまとめと今後の課題を
述べる．

2
2.1

能となる．

2.2

マーカのパターン

本研究で利用した不可視マーカの例を図 2 に示す．
同図において黒色の部分が再帰性反射材に対応する．
マーカには ARToolKit[17] などでよく使われている正方形を用い，正方形の枠の内部に N × N の格子状に点を配置し，マーカパターンとして利用する．これら
不可視マーカを用いた位置・姿勢推定

不可視マーカ

本研究で用いる不可視マーカは半透明の再帰性反射材からなり，屋内環境において天井や壁などに設置することを想定する．再帰性反射材には光源方向に強く光を反射する特性がある．通常の画像マーカを天井に設置した場合，図 1(a) のように画像マーカによって景観が損なわれてしまう．しかし半透明の再帰性反射
材を画像マーカに用いると，図 1(b) が示すように肉眼での視認は困難であり，景観を損ねない．このマー
カにフラッシュを当てて撮影すれば，再帰性反射材の特性により，図 1(c) のようにマーカを鮮明に捕らえることができる．そこで，不可視の赤外光をマーカに照射し，その反射光を赤外線カメラで撮影することにより，景観を損ねることなくマーカを撮影することが可の点を 1 ビットとしてビットコードを割り当てる．ただし内部パターンは画像マーカの向きを一意に決定するために格子の 4 隅の内 1 つだけに常に点を配置し，残り 3 つには点を配置しない．したがって，マーカパ
2

ターンには 2N −4 通りの ID を割り当てられる．図 2の例のように N = 4 の場合は 212 (= 4096) 通りの IDが割り当て可能である．

2.3

位置・姿勢推定手法

位置・姿勢計測システムの概要を図 3 に，処理の流れを図 4 に示す．まず環境中の天井などに不可視マー
カを配置する．ユーザは赤外線カメラを上向きに装着
し，カメラの周囲に取りつけた赤外線 LED の反射光を撮影する．再帰性反射材は先に述べたように，照射された光を光源方向に反射するという性質を持つため，カメラ付近から発した赤外光を受けた再帰性反射材は高輝度で撮影することが可能である．しかし，撮影さ中里・神原・横矢 : ウェアラブル拡張現実感のための不可視マーカと赤外線カメラを用いた位置・姿勢推定

 

(
(

  ( M P -X P 7 3 1 0 [ V i c t o r ] )R S -2 3 2 C

図 5 シミュレーション画像例
Fig. 5 Examples of images used in simulation.

   ! " # ! $ % & '   
( N V -U T 2 0 0 [ N O V A C ] )

LED



            
 





図 3 システムの概要
Fig. 3 Overview of localization system.

LED 
          
LED

図6

シミュレーションにおけるカメラの移動経
路 (z=120[cm])Fig. 6 Camera
pathinsimulation(z=120cm).

3

実験

天井に配置するマーカの最適な大きさとその配置密度を検討するために，シミュレーション実験を行い，シミュレーションの結果を考慮してマーカを配置した

図 4 処理の流れ
Fig. 4 Flow diagram of capturing markers.

実環境において位置・姿勢の推定実験を行った．また，
ウェアラブル拡張現実感システムに提案手法を適用し，注釈提示実験を行った．
シミュレーション実験

れる画像にはマーカだけではなく環境中にある蛍光灯

3.1

や太陽光の照り返しなども含まれる．そこで，図 4 に3.1.1 シミュレーション実験環境示すように計算機により赤外線 LED を制御すること

シミュレーション実験では，天井に配置したマーカ

で連続的に点滅させ，それと同期してマーカを撮影すのみが撮影された理想的な画像を生成し，カメラの位

る．マーカは赤外光を照射したときのみ撮影されるた

置・姿勢推定を行った．マーカの抽出，および複数マー

め，赤外光を照射する前後の画像の差分を求め，マー

カからのカメラの位置・姿勢の推定には ARToolKit[17]カ以外の赤外光の影響を除去する．さらに，検出されを利用した．また，生成した画像には本研究で使用したマーカ候補から領域の大きさが一定の閾値内で，かている赤外線 LED 付き赤外線カメラ (画角 92.6◦ ) のつ形状が四角形であるものを選択し，マーカに割り当

内部パラメータを用いてレンズ歪みを加えた．図 5 にてた ID パターンを認識することにより，マーカ (すシミュレーションで使用した画像の例を示す．

なわち，マーカ配置位置) を同定する．また，大きさ

本実験では一般的なビル等の屋内環境においてユーが既知のマーカの正方形の 4 隅の点の座標を利用し，ザがカメラを頭部に装着することを想定し，マーカ

認識した全マーカの頂点の投影誤差を最小化することを配置した天井とカメラ間の距離を 120cm とし，隣によりマーカ座標系からカメラ座標系への変換行列をり合うマーカ間の距離が同じになるように配置した．

推定し，マーカに対するカメラの相対的な位置・姿勢

本実験におけるマーカは，外枠の幅 1cm，格子行数を求める [17]．マーカは平面上にあると仮定している

N = 4 とし，マーカパターンのビットコードに 1 ビッ

ため，1 つ以上のマーカが認識されれば，位置・姿勢

トのパリティビットを付加した．マーカの一辺の長さが推定可能である．

を 16cm から 40cm まで 4cm ずつ変化させた場合，お日本バーチャルリアリティ学会論文誌 Vol.10, No.3, 2005

           

 








位置ずれがあまり許されない仮想物体を提示するよう な場合には，マーカを密に配置する方がよい．
次にマーカの大きさとマーカ間の距離に対するカメラの推定位置・姿勢を表す各パラメータ (x, y, z, pitch,roll, yaw) の誤差の絶対値の平均を図 8 に示す．なお，
マーカ間隔が 100cm 以上の場合については，認識されたマーカの数が少ないため省略する．ここで，pitch,    

図 7 マーカの配置に対するマーカ認識可能フ
レームの割合Fig. 7 Ratio of marker-recognized frameswith respect to marker arrangements.

roll, yaw はそれぞれ x, y, z 軸に対するカメラの回転角度を表す．図 8 (f) より，yaw 角に関しては画像
マーカの特性により誤差 1◦ 以内で姿勢計測が可能であることが分かった．また，マーカ間隔が狭くなると多数のマーカが同時に撮影できるために，yaw 角の誤差が小さくなることが確認できる．ユーザの頭部にカメラを装着することを想定すると，yaw 角は左右を見回す行為に相当するため，拡張現実感を行う上で好まよび，マーカ間の間隔を 25cm から 135cm まで 9 段

しい性質であると考えられる．

階変化させた場合についてシミュレーションを行った．

図 8 (a) と (e) を比較すると，x 方向の位置推定誤差

なお，内部パターンとして配置する点 (正方形) の大と roll 角の推定誤差には相関関係があることが確認で

きさは 16cm のマーカでは 1cm 四方，40cm のマーカ

きる．同様に (b) と (d) を比較すると，y 方向の位置

では 3cm 四方というように相対的に変化させた．カ

推定誤差と pitch 角の推定誤差にも相関関係があるこ

メラは鉛直上向きに天井と正対して，図 6 で示すようとが確認できる．さらに図 9 を見るとその関係は明らな sin カーブを描く経路を 100 フレームで移動するもかで，pitch 角と y には正の相関が，roll 角と x にはのとした．同図において，マーカを設置する天井面が負の相関があることが分かる．同図は yaw 角が 0◦ か

x-y 平面，鉛直下向きが z 方向を表す．また，矢印はら 180◦ に連続的に変化した後，再び 0◦ に変化した際

z 軸に対するカメラの回転角度 (yaw) を表し，本システムを着用したユーザの視線方向に対応する．

である．これは，x 軸回りの回転角である pitch 角のの，撮影角度 (yaw 角) に対する位置・姿勢の推定誤差3.1.2 実験結果とマーカ配置に関する考察

誤差が大きくなれば，x 軸と直交する y 方向の誤差がまずマーカの大きさとマーカ間の距離を変化させた

大きくなるためである．roll 角と x 方向の誤差につい際に，カメラの位置・姿勢を推定することができたフても同様である．加えて同図より，pitch 角，roll 角の

レームの割合を図 7 に示す．マーカ間の距離を大きく誤差はマーカを撮影した角度 (yaw 角) に依存していすると，マーカが撮影画像内に出現しない場合が起こることが分かる．よって，どの角度から撮影しても安るため，位置・姿勢の推定ができないフレームが発生

定して位置を推定するためには，図 5 のように全てのする．ユーザの位置・姿勢を推定し続けるためには，

マーカを同じ向きに配置するのではなく，各マーカを最低 1 つのマーカが常に撮影画像内に映り続けなけれ異なる向きで配置することが望ましいと考えられる．

ばならない．マーカ認識可能なフレームの割合が 98%

位置・姿勢の推定精度は画像上でのマーカの大きさ以上であった際のマーカの辺の長さとマーカ間隔に注に依存する．そのため，マーカとカメラの距離が変化

目すると，両者の和が 90cm 以下であることが望ましした場合，画像上でのマーカが本シミュレーション実

いということが確認できた．使用したカメラの画角が験と同様の大きさに映るようにマーカの大きさを決定◦

92.6 ，天井とカメラ間の距離が 120cm であることを考えると，カメラの撮影領域は約 2.5 × 1.9m となる．

する必要がある．本シミュレーションではマーカとカメラの距離は 120cm であった．よって，想定する環

この範囲内に完全なマーカが最低 1 つ撮影されるため境でのマーカとカメラの距離を hcm とすると，おおには，マーカ辺の長さとマーカ間隔の和が約 95cm 以

よそ h/120 倍の大きさのマーカを使用すればよい．ま内である必要があるため，この結果は妥当であると考た，ユーザの頭部の動きに応じてマーカとカメラの距えられる．ただし，マーカパターンを誤認識する場合

離は動的に変化するため，画像上に映るマーカが小さもあるため，より安定してカメラの位置・姿勢を推定

すぎてマーカパターンが識別できない場合が発生する．

する必要がある場合には，画像内に多くのマーカが撮したがって，異なる大きさのマーカを組み合わせて使影されるように，多数のマーカを配置した方がよい．

用した方が安定して位置・姿勢を推定できると考えら

例えば，拡張現実感システムにおいて CG モデル等の

れる．







     
 

 





    





(a) 位置推定誤差 (x)(d) 姿勢推定誤差 (pitch)(a) Errors in estimated position(x)(d) Errors in estimated orientation(pitch)







     


   










 
      





 





   (b) 位置推定誤差 (y)(e) 姿勢推定誤差 (roll)(b) Errors in estimated position(y)(e) Errors in estimated orientation(roll)           

      

中里・神原・横矢 : ウェアラブル拡張現実感のための不可視マーカと赤外線カメラを用いた位置・姿勢推定








   







   (c) 位置推定誤差 (z)(f) 姿勢推定誤差 (yaw)(c) Errors in estimated position(z)(f) Errors in estimated orientation(yaw)

図 8 マーカの大きさとマーカ間の距離に対する位置・姿勢推定の絶対誤差
Fig. 8 Absolute errors in estimated position and orientation with respect tomarker size and interval in simulation.

3.2

マーカ配置の検証るために行ったシミュレーション実験について述べる．

前節ではマーカ配置に関して，図 5 のように全ての本実験では図 10 のように，一辺の長さ 16cm，内部

マーカを同じ向きに配置するのではなく，図 10 のようパターンとして配置する点の大きさが 1cm 四方のマーに各マーカを異なる向きで配置し，また，異なる大きカ，および一辺の長さ 28cm，内部パターンの点の大さのマーカを組み合わせて使用する方が望ましいと考

きさが 2cm 四方のマーカ 2 種類を，角度を 60◦ ずつ察した．本節ではそのマーカの配置の妥当性を検証す変えて天井に配置した．両者とも外枠の幅 1cm，格子      










 

 
                         

表1



日本バーチャルリアリティ学会論文誌 Vol.10, No.3, 2005

図 9 撮影角度に対する位置・姿勢推定誤差 (マーカ:16cm 四方， 間隔:25cm)
Fig. 9 Errors in position and orientation withrespect to captured angles (marker
size: 16cm, marker interval: 25cm).
-3 0

0

3 0

6 0

9 0 1 2 0

1 5 0 1 8 0

2 1 0 2 4 0

2 7 0 3 00

シミュレーションおよび実環境における実験でのカメラの位置・姿勢推定誤差の平均と標準偏差Table 1 Average and standard deviation of
positon and orientation errors insimulation and real environments.

シミュレー
ション実験
実環境に
おける実験

平均
標準偏差
平均
標準偏差

シミュレー
ション実験
実環境に
おける実験

平均
標準偏差
平均
標準偏差

x[cm]
7.9
5.7
7.7
5.0
pitch[◦ ]
1.2
1.1
4.9
4.5

y[cm]
2.6
2.2
9.2
6.7
roll[◦ ]
3.7
2.5
3.9
3.0

z[cm]
3.9
1.7
3.8
2.9
yaw[◦ ]
0.5
0.4
3.0
2.3

メラが図 6 で示すような sin カーブを描く経路を 100
フレームで移動するものとする．その際の撮影角度に

3 3 0 3 6 0

対する位置・姿勢推定誤差を図 11 に示す．この結果-1 04と，図 9 が示すマーカが全て同じ角度で配置されてい-5 2

る場合の結果を比べると，図 10 のように各マーカを0

異なる向きで配置した場合に，マーカの撮影角度による推定位置・姿勢の偏りが軽減されていること確認で

5 2

きる．

1 04
x [cm]

3.3

シミュレーション実験と実環境における実験の比較

図 10 シミュレーション結果に基づいたマーカの配置図
Fig. 10 Layout of markers based on results ofsimulations.

次に，実環境においてそのマーカ配置の妥当性を検証するため，シミュレーション環境と実環境において同じマーカ配置の下で実験を行った．前節と同様のマーカ配置において，鉛直上向きのカメラを開始点         










 

 
                          

(60, 20, 120) から終了点 (60, 280, 120) まで (単位 cm)
平行移動させた際の，シミュレーション実験，および
実環境における実験でのカメラの位置・姿勢の推定誤差を図 12(a) から図 12(d) にそれぞれ示す．また両者の誤差の絶対値の平均と標準偏差を表 1 に示す．なお，
実環境における実験ではカメラを電動車椅子に固定して移動させ，その移動は等速直線運動であったと仮定
し，真値は約 1cm の精度で手動で計測した．このとき認識されたマーカは各フレーム 4 個程度で，カメラの移動速度は約 2.3km/h であった．
この結果より，シミュレーションにおいても，実環

図 11 撮影角度に対する位置・姿勢推定誤差 (マーカ配置:図 10)
Fig. 11 Errors in position and orientation
with respect to captured angles(marker arrangement: Figure. 10).

境においても，マーカが正しく認識されれば位置に関しては平均 10cm，最大 20cm 程度，姿勢に関しては
平均 5◦ ，最大 10◦ 程度の誤差でカメラ位置を推定できることが分かった．
また，図 13 に実環境において天井に設置したマーカ

行数 N = 4 とし，マーカパターンのビットコードに 1を撮影した際のマーカ認識の様子を示す．マーカに赤

ビットのパリティビットを付加した．このようなマー

外光を照射せずに撮影すると，図 13(a) のように撮影

カ配置の下で，前節の実験と同様に，鉛直上向きのカ

画像にはマーカは映らない．しかし，赤外光を照射す中里・神原・横矢 : ウェアラブル拡張現実感のための不可視マーカと赤外線カメラを用いた位置・姿勢推定










 









 

     





(b) シミュレーション実験でのカメラ姿勢の推定誤差(a) Errors in position of camera in simulation environment.

(b) Errors in orientation of camera in simulation environment.

    






 





(a) シミュレーション実験でのカメラ位置の推定誤差











 





(c) 実環境における実験でのカメラ位置の推定誤差(d) 実環境における実験でのカメラ姿勢の推定誤差(c) Errors in position of camera in real environment.

(d) Errors in position of camera in real environment.

図 12

シミュレーション，および実環境における実験でのカメラ位置・姿勢の推定
誤差Fig. 12 Error of position and orientation of the camera in the simulation andreal environments.

ると図 13(b) のようにマーカは高輝度で撮影すること見てとれる．マーカを基準としたカメラの推定位置は，が可能となる．これらの画像の差分画像を利用し，図マーカ姿勢の推定角度の影響を大きく受けるため，カ13(c) で示すように提案手法によってマーカを認識しメラとマーカの間の距離が大きくなればなるほどそのID を取得することができた．また同時に画像上でのマーカの形状からカメラとマーカの相対的な位置姿勢影響が大きくなり，推定位置の誤差が大きくなる．

3.4

拡張現実感システムへの応用

関係を求めることができるため，本実験では図 13(c)提案手法を利用したウェアラブル型拡張現実感シスのように常に頂点が一定方向を指す矢印を重ねて描画

テムの構成を図 15 に示す．本システムは，光学シース

した．赤外光照射前後の 2 枚の画像を取得するため，

ルー型ディスプレイ (ND2000: MICROVISION)，おマーカの認識処理速度は約 15fps であった． 次に認識よび図 3 に示す位置・姿勢計測システムを構成する赤したマーカから推定したカメラの位置・姿勢推定結果

外線 LED 付き赤外線カメラと計算機 (MP-XP7310:

を図 14 に示す．図 14 において，四角形が天井に設置

JVC) から構成される．赤外線カメラはディスプレイ
が取り付けてある帽子の上に鉛直上向きに取り付けられており，天井に設置された不可視マーカを撮影する．

したマーカ，四角錘がカメラの位置・姿勢を表す．同図より，推定された位置・姿勢が振動していることが日本バーチャルリアリティ学会論文誌 Vol.10, No.3, 2005(a) 赤外光を照射しないときの撮影画像(b) 赤外光を照射したときの撮影画像(a) Captured images when infrared LEDs (b) Captured images when infrared LEDs
are switch-oﬀ.

(c) マーカ認識結果(c) Results of marker recognition.

are switch-on.

図 13 マーカ認識の様子
Fig. 13 Images obtained by infrared camera and results of marker recognition.



 
図 14 カメラ位置・姿勢推定結果
Fig. 14 Estimated camera position and orientation.
図 16 ウェアラブル型拡張現実感システムによる注釈提示
Fig. 16 Annotation overlay image.

     

LED


  

釈画像を図 16 に示す．また，このときの実験環境は，前節と同様に，大きさの異なる 2 種類のマーカを，角( N D2 0 0 0[M IC R O V IS IO N ])度を 60◦ ずつ変えて，図 17 のように実環境の天井約18m に等間隔に配置した．一方のマーカは一辺の長さを 16cm，内部パターンとして配置する点の大きさを  (MP-X P7 3 1 0 [ J V C ] )図 15 ウェアラブル型拡張現実感システム
Fig. 15 Wearable augmented reality system.

1cm 四方とし，もう一方は一辺の長さ 28cm，内部パ
ターンの点の大きさを 2cm 四方とした．両者とも外枠の幅は 1cm，格子行数 N = 4 とし，マーカパター
ンのビットコードに 1 ビットのパリティビットを付加した．同図において，x-y 平面が天井面を表し，z 軸

本システムは，位置・姿勢計測システムから得られたユーザの頭部の位置・姿勢情報と注釈情報の提示位置を用いて，ウェアラブルコンピュータとして利用している PC で注釈提示画像を生成し，ユーザに提示する．

は鉛直下向きに対応する．
本実験により，提案した位置・姿勢推定手法をウェ
アラブル型拡張現実感に利用できることを確認した．
しかし，推定された位置・姿勢が量子化誤差等の影響
により細かく振動しているため，仮想物体である注釈

本システムを運用した際に，ユーザに提示された注も振動することが確認された．本システムで得られる

中里・神原・横矢 : ウェアラブル拡張現実感のための不可視マーカと赤外線カメラを用いた位置・姿勢推定

0

0 6 0
3 0 1 2 0

6 0

2 1 0

3 6 0





7 2 0

1 08 0

1 4 4 0

1 8 00y [cm]

1 2 0
x [cm]
図 17 天井に設置したマーカの配置図
Fig. 17 Layout of markers on the ceiling.

ユーザの位置・姿勢の精度を考慮すると，5m 前方に，◦画角 50 ，640 × 480 のディスプレイに仮想物体を重謝辞
研究の一部は，科学技術振興機構 (JST) の戦略的創畳表示することを想定した場合，ディスプレイ上では造研究推進事業 (CREST) 「高度メディア社会の生活

約 40 ピクセルの誤差で仮想物体を提示することにな

情報技術」プログラムの支援による．

る．よって，推定する位置・姿勢を安定化し，仮想物体の振動を抑制する手法の適用が必要である．

4

まとめ

本論文では，不可視マーカと赤外線カメラを利用した位置・姿勢推定手法を提案し，マーカの配置パター
ンの検討，実証実験，および本手法を利用したウェア
ラブル型拡張現実感システムによる注釈提示実験の結果より，提案手法の有効性を確認した．提案手法では，半透明の再帰性反射材からなる不可視マーカに赤外光を点滅照射し，その反射光を撮影することによって位
置・姿勢推定を行う．その際，赤外光の点滅照射に同期してマーカを撮影することで，マーカからの反射光
以外の赤外光の影響を軽減している．実験を通して，
大がかりなインフラが必要なく，かつ景観を損なうことなく，ユーザの位置・姿勢を推定することができる
ことを確認した．シミュレーション実験より，一般的な屋内環境において本システムを運用する場合に，常にユーザの位置を推定し続けるためには，マーカの辺の長さとマーカ間の距離の和がおよそ 90cm 以内であることが望ましいことが分かった．加えて，カメラの位置・姿勢の推定精度は撮影される正方形マーカの角度に依存するため，天井に設置する際にマーカの方向が異なるように配置すべきであることが分かった．また，実環境における実験において提案手法を検証し，
拡張現実感への応用としてウェアラブル型拡張現実感
システムのプロトタイプを構築し，提案手法の有効性を確認した．
今後の課題としては，広域屋内環境における実験や画像上でのマーカの位置を考慮することによる位置・姿勢の推定精度の向上，推定した位置・姿勢情報の安定化などが挙げられる．

参考文献[1] Y. Kameda, T. Takemasa and Y. Ohta: “Outdoor see-through vision utilizing surveillance cameras,” Proc. 3rd IEEE/ACM Int. Symp. on Mixed
and Augmented Reality (ISMAR 04), pp. 151–160,
2004.
[2] J.
Newman,M.
Wagner,M.
Bauer,
A. MacWilliams, T. Pintaric, D. Beyer, D. Pustka,
F. Strasser, D. Schmalstieg and G. Klinker: “Ubiquitous tracking for augmented reality,” Proc. 3rdIEEE/ACM Int. Symp. on Mixed and Augmented
Reality (ISMAR 04), pp. 192–201, 2004.
[3] 小田島太郎, 神原誠之, 横矢直和: “拡張現実感技術を用いた屋外型ウェアラブル注釈提示システム”, 画像
電子学会誌, Vol. 32, No. 6, pp. 832–840, 2003.
[4] P. Daehne and J. Karigiannis: “ARCHEOGUIDE: System architecture of a mobile outdoor
augmented reality system,” Proc. 1st IEEE/ACM
Int. Symp. on Mixed and Augmented Reality (ISMAR2002), pp. 263–264, 2002.
[5] M. Kourogi and T. Kurata: “Personal positioning
based on walking locomotion analysis with selfcontained sensors and wearable camera,” Proc.
2nd IEEE/ACM Int. Symp. on Mixed and Augmented Reality (ISMAR 03), pp. 103–112, 2003.
[6] L. Vacchetti, V. Lepetit and P. Fua: “Combiningedge and texture information for real-time accurate 3D camera tracking,” Proc. 3rd IEEE/ACM
Int. Symp. on Mixed and Augmented Reality (ISMAR 04), pp. 48–57, 2004.
[7] 大江統子, 佐藤智和, 横矢直和: “画像特徴点によるランドマークデータベースを用いた動画像からのカメ
ラ位置・姿勢推定”, 電子情報通信学会 技術研究報告,
PRMU2004-157, pp. 19–24, 2005.
[8] R. Tenmoku, M. Kanbara and N. Yokoya: “A
wearable augmented reality system using positioning infrastructures and a pedometer,” Proc.
7th IEEE Int. Symp. on Wearable Computers(ISWC’03), pp. 110–117, 2003.
[9] D. Hallaway, T. Höllerer and S. Feiner: “Coarse,
inexpensive, infrared tracking for wearable computing,” Proc. 7th IEEE Int. Symp. on Wearable
Computers (ISWC’03), pp. 69–78, 2003.
[10] M. Maeda, T. Ogawa, K. Kiyokawa and H. Take-日本バーチャルリアリティ学会論文誌 Vol.10, No.3, 2005

[11]

[12]

[13]

[14]

[15]

[16]

[17]

mura: “Tracking of user position and orientation
by stereo measurement of infrared markers and orientation sensing,” Proc. 8th IEEE Int. Symp. on
Wearable Computers (ISWC’04), pp. 77–84, 2004.
B. Thomas, B. Close, J. Donoghue, J. Squires,
P. D. Bondi, M. Morris and W. Piekarski: “ARQuake: An outdoor/indoor augmented reality ﬁrst
person application,” Proc. 4th IEEE Int. Symp. on
Wearable Computers (ISWC2000), pp. 139–146,
2000.
M. Kalkusch, T. Lidy, M. Lnapp, G. Reitmayr,
H. Kaufmann and D. Schmalstieg: “Structured
visual markers for indoor pathﬁnding,” Proc. 1stIEEE Int. Augmented Reality Toolkit Workshop(ART’02), 2002.
L. Naimark and E. Foxlin: “Circular data matrix
ﬁducial system and robust image processing fora wearable vision-inertial self-tracker,” Proc. 1st
IEEE/ACM Int. Symp. on Mixed and Augmented
Reality (ISMAR2002), pp. 27–36, 2002.
P. Malbezin, W. Piekarski and B. H. Thomas:“Measuring ARToolKit accuracy in long distancetracking experiments,” Proc. 1st IEEE Int. Augmented Reality Toolkit Workshop (ART’02), 2002.
D. F. Abawi, J. Bienwald and R. Dörner: “Accuracy in optical tracking with ﬁducial markers:
An accuracy function for artoolkit,” Proc. 3rdIEEE/ACM Int. Symp. on Mixed and Augmented
Reality (ISMAR 04), pp. 260–261, 2004.
羽原寿和, 町田貴史, 清川清, 竹村治雄: “ウェアラブ
ルＰＣのための画像マーカを用いた広域屋内位置検出機構”, 電子情報通信学会 技術研究報告, ITS2003-76,
2004.
H. Kato and H. Billinghurst: “Marker tracking andhmd calibration for a video-based augmented reality conferencing system,” Proc. 2nd IEEE/ACM
Int. Workshop on Augmented Reality (IWAR’99),
pp. 85–94, 1999.

（2005 年 4 月 15 日受付)

［著 者 紹 介］
中里 祐介 （学生会員）
2005 年奈良先端科学技術大学院大学博士前期課程修了．現在，同大学博士後期課程に在学中．ウェアラブルコンピュータを用いた拡張現実感に関する研究に従事．修士 (工学)．電子情報通信学会，情報処理学会，IEEE 各会員．

神原 誠之 （正会員）
2002 年奈良先端科学技術大学院大学博士後期課程修了．同年同大情報科学研究科助手，現在に至る．コンピュータビジョ
ン，複合現実感の研究に従事．博士 (工学)．1999 年電子情報通信学会学術奨励賞受賞．電子情報通信学会，情報処理学会，IEEE 各会員．

横矢 直和 （正会員）
1979 年大阪大学大学院博士後期課程修了．同年電子技術総合研究所入所．以来，画像処理ソフトウェア，画像データベー
ス，コンピュータビジョンの研究に従事．
工学博士．1986〜1987 年マッギル大 知
能機械研究センター客員教授．1992 年奈
良先端科学技術大学院大学 情報科学セン
ター教授．現在，同大情報科学研究科教授．1990 年情報処理学会論文賞受賞．電子情報通信学会，情報処理学会，人工知能学会，日本認知科学会，映像情報メディア学会，IEEE 各会員．