NAIST-IS-DD0561024

博士論文

ウェアラブル拡張現実感のための不可視マーカと赤外線カメラを用いた
位置・姿勢推定システム

中里 祐介

2008 年 3 月 24 日

奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に博士 (工学) 授与の要件として提出した博士論文である．
中里 祐介

審査委員：
横矢 直和 教授

（主指導教員）木戸出 正繼 教授（副指導教員）山澤 一誠 准教授

（副指導教員）神原 誠之 助教（委員）

ウェアラブル拡張現実感のための不可視マーカと赤外線カメラを用いた
位置・姿勢推定システム∗
中里 祐介

内容梗概
ウェアラブル拡張現実感 (Augmented Reality: AR) とは，ユーザが装着したウェアラブルコンピュータやモバイル端末を用いて現実環境に仮想環境を重畳して提示する技術である．これによりユーザの位置に応じた情報を直感的に提示することが可能であり，ヒューマンナビゲーションなどの分野での実用化が期待されている．ウェアラブル拡張現実感では，現実世界と仮想世界の座標系の位置合せを行うためにユーザの正確な位置・姿勢を計測することが重要な課題である．
従来，屋内における位置・姿勢推定手法の一つとして，実環境に多数の画像マーカを配置し，それらをユーザの装着したカメラで撮影することで，ユーザの位置・姿勢を推定する手法が提案されている．このような手法は，安価でかつインフラに電源を必要としないという利点があるが，景観を損ねるために実際の環境におけるウェアラブル拡張現実感システムで利用することが難しいという問題がある．
そこで本研究ではこのような問題を解決し，屋内環境においてユーザの位置・姿勢を精度良く推定することが可能な位置・姿勢推定システムの実現を目的とす
る．ユーザ位置姿勢推定システムの実利用を考えた場合，環境の景観を損ねずにユーザ位置・姿勢推定のためのインフラを容易に構築可能であることが望まれる．
そのため提案システムでは，再帰性反射材からなる不可視マーカを印刷した壁∗奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 博士論文, NAIST-ISDD0561024, 2008 年 3 月 24 日.

i

紙を環境中に貼り，その不可視マーカをデジタルカメラで撮影してキャリブレー
ションするツールを提供することで環境構築の労力を軽減する．これにより多数のマーカを密に設置することができるため，ユーザが装着した赤外線 LED 付き
赤外線カメラでマーカを撮影・認識することにより，景観を損なうことなくユー
ザの位置・姿勢を実時間で精度良く推定することが可能となる．
本論文では，1 章でウェアラブル拡張現実感におけるユーザの位置・姿勢推定
における技術的な課題と従来研究を概観し，本研究の目的と意義を明確にする．

2 章では，不可視マーカと赤外線カメラを用いた位置・姿勢推定のために必要な環境の構築方法について述べ，3 章ではユーザの位置・姿勢推定手法について述べる．最後に 4 章で本研究を総括し，今後の展望について述べる．

キーワード
不可視マーカ, 赤外線カメラ, 位置・姿勢推定, 拡張現実感, ウェアラブルコン
ピュータ

ii

A User Localization System
Using Invisible Markers and Infrared Camera
for Wearable Augmented Reality∗
Yusuke Nakazato

Abstract
A wearable augmented reality (AR) system has received a great deal of attention as a new method for displaying location-based information in the real world.
In wearable AR, it is required to measure position and orientation of a user precisely for merging the real and virtual worlds. This dissertation proposes a user
localization system for wearable AR in indoor environments.
To realize a localization system in a real scene, it is necessary to easily construct
an environment for localization without producing undesirable visual eﬀects. In
the proposed system, wallpapers containing printed invisible markers which consist of translucent retro-reﬂectors are pasted on ceilings or walls. To construct theenvironment for localization, this system contains a tool which calibrates alignment of the markers from captured images of markers with a high-resolution stillcamera. A lot of markers are set up closely by the proposed system; therefore, theuser’s position and orientation are estimated exactly by recognizing the markers
using an infrared camera with infrared LEDs.
In this dissertation, Chapter 1 gives a perspective of the study on localization
methods for wearable augmented reality. Chapter 2 describes a process of constructing an environment for localization using invisible markers. In Chapter 3, a∗Doctoral Dissertation, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-DD0561024, March 24, 2008.

iii

method to estimate user’s position and orientation is described. Finally, Chapter
4 summarizes the present study.

Keywords:
invisible marker, infrared camera, localization, augmented reality, wearable computer

iv

目次
1. 序論

1

1.1 ウェアラブル拡張現実感技術の概観 . . . . . . . . . . . . . . . . .

1

1.1.1

拡張現実感 . . . . . . . . . . . . . . . . . . . . . . . . . .

1

1.1.2

ウェアラブル拡張現実感 . . . . . . . . . . . . . . . . . . .

4

1.2 ウェアラブル拡張現実感における位置・姿勢推定手法の概観 . . .

7

1.2.1

インフラを用いない位置・姿勢推定手法 . . . . . . . . . .

11

1.2.2

インフラを用いた位置・姿勢推定手法. . . . . . . . . . .

14

1.3 本研究の位置付けと方針 . . . . . . . . . . . . . . . . . . . . . . .

21

1.4 本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

2. 不可視マーカを用いた位置・姿勢推定のための環境構築

25

2.1 不可視マーカと赤外線カメラを用いた位置・姿勢推定システム . .

25

2.2 不可視マーカの準備と貼り付け . . . . . . . . . . . . . . . . . . .

27

2.3 不可視マーカのキャリブレーション . . . . . . . . . . . . . . . . .

29

2.3.1

不可視マーカのキャリブレーションツール . . . . . . . . .

29

2.3.2

マーカのキャリブレーション手法 . . . . . . . . . . . . . .

31

2.4 実験と考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

2.5 結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

40

3. 不可視マーカと赤外線カメラを用いた位置・姿勢推定
3.1 ユーザ位置・姿勢推定の概要

42. . . . . . . . . . . . . . . . . . . .

42

3.2 赤外線 LED 付き赤外線カメラ . . . . . . . . . . . . . . . . . . . .

43

3.3 位置・姿勢推定手法 . . . . . . . . . . . . . . . . . . . . . . . . .

43

3.3.1

カメラ位置・姿勢推定 . . . . . . . . . . . . . . . . . . . .

43

3.3.2

カルマンフィルタを用いた位置・姿勢の平滑化. . . . . .

48

3.4 精度評価実験と考察 . . . . . . . . . . . . . . . . . . . . . . . . .

49

3.4.1

静止状態での位置・姿勢推定精度の評価 . . . . . . . . . .

50

3.4.2

実環境でのユーザ位置・姿勢推定 . . . . . . . . . . . . . .

55v

3.5 ウェアラブル拡張現実感への適用 . . . . . . . . . . . . . . . . . .

61

3.6 結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

64

4. 結論

67

謝辞

71

参考文献

72

vi

図目次
1

手術支援の様子 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

人体内部の可視化 . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

3

拡張現実感を用いた工場設計支援システム . . . . . . . . . . . . .

2

4MIThril 2003 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

5QBIC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

6

WIA-100NB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

7

ZYPAD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

8

ARCHEOGUIDE . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

9

平城宮跡ナビ . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

10

ウェアラブルビジュアルインタフェース:Weavy . . . . . . . . . .

611表示装置の推定位置・姿勢の誤差が仮想物体の画像上での描画位置に与える影響 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

812

画像データベースを用いたカメラ位置・姿勢推定 . . . . . . . . .

1213

ランドマークデータベースを用いたカメラ位置・姿勢推定 . . . .

1314

自律計測による位置・姿勢推定システム . . . . . . . . . . . . . .

1515

三次元磁気センサと姿勢センサを用いたユーザの自己位置推定 . .

15

16

IS-600 Mark2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

17

AirLocationT M II . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

18

Hallaway らの赤外線受光体 . . . . . . . . . . . . . . . . . . . . .

17

19

神原らの赤外線受光体 . . . . . . . . . . . . . . . . . . . . . . . .

17

20

HiBall . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

21

Baratoﬀ らのマーカ配置 . . . . . . . . . . . . . . . . . . . . . . .

19

22

羽原らのマーカ . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

23

Naiamrk らのマーカ . . . . . . . . . . . . . . . . . . . . . . . . .

20

24

齊藤らのマーカ . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

25

吉田らのマーカ . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2126Park らの不可視マーカ . . . . . . . . . . . . . . . . . . . . . . . .

21

27

不可視マーカと赤外線カメラを用いた位置・姿勢推定システムの概要 26

vii

28

天井に貼った不可視マーカ壁紙 . . . . . . . . . . . . . . . . . . .

27

29

不可視マーカ壁紙 . . . . . . . . . . . . . . . . . . . . . . . . . . .

28

30

不可視マーカのキャリブレーションツール . . . . . . . . . . . . .

30

31

不可視マーカのキャリブレーション処理の流れ . . . . . . . . . . .

31

32

カメラ座標系と世界座標系の関係 . . . . . . . . . . . . . . . . . .

33

33

特徴点の再投影誤差. . . . . . . . . . . . . . . . . . . . . . . . .

36

34

不可視マーカ壁紙の大きさ . . . . . . . . . . . . . . . . . . . . . .

37

35

天井に貼った不可視マーカ壁紙 (フラッシュ撮影) . . . . . . . . .

38

36

キャリブレーションツールへの入力画像 . . . . . . . . . . . . . .

38

37

マーカのキャリブレーション結果 (基準マーカが 1 つの場合) . . .

39

38

マーカのキャリブレーション結果 (基準マーカが 4 つの場合) . . .

39

39

ユーザ位置・姿勢推定の概要. . . . . . . . . . . . . . . . . . . .

4240

赤外線 LED 付き赤外線カメラ . . . . . . . . . . . . . . . . . . . .

44

41

カメラ位置・姿勢推定処理の流れ . . . . . . . . . . . . . . . . . .

45

42

赤外線 LED 付き赤外線カメラによる不可視マーカ撮影画像 . . . .

45

43

マーカ認識処理の流れ . . . . . . . . . . . . . . . . . . . . . . . .

46

44

マーカ認識処理における途中結果 . . . . . . . . . . . . . . . . . .

47

45

不可視マーカおよびロボットアームにとりつけられた赤外線カメラ 50

46

カメラとマーカ面の間の距離を変化させたときの認識マーカ数 . .

47

カメラとマーカ面の間の距離を変化させたときの推定したカメラ

51

位置・姿勢の誤差 . . . . . . . . . . . . . . . . . . . . . . . . . . .

52

48

マーカの密度を変えた場合の赤外線カメラによるマーカ撮影画像 .

54

49

マーカの密度を変えた場合のカメラとマーカ間の距離に対するカメラ位置・姿勢推定結果 . . . . . . . . . . . . . . . . . . . . . . .

5650

マーカの密度に対する認識マーカ数とカメラ位置推定誤差の関係 .

57

51

実環境での位置・姿勢推定の精度評価実験の様子 . . . . . . . . .

58

52

実環境での位置・姿勢推定結果 . . . . . . . . . . . . . . . . . . .

59

53

ユーザ位置・姿勢推定実験の環境 . . . . . . . . . . . . . . . . . .

60

54

ユーザ位置・姿勢推定結果 . . . . . . . . . . . . . . . . . . . . . .

62

viii

55

推定されたユーザ位置・姿勢の様子 . . . . . . . . . . . . . . . . .

63

56

ウェアラブル拡張現実感システムを利用するユーザと環境の様子 .

64

57

ウェアラブル型拡張現実感システムによる注釈合成画像 . . . . . .

65

58

提案システムの利用例 . . . . . . . . . . . . . . . . . . . . . . . .

69

59

カメラの移動可能範囲の広いマーカパターン例 . . . . . . . . . . .

70

表目次
1

仮想物体の画像上での誤差に対して許容される位置・姿勢推定精度 102

屋内環境におけるユーザ位置・姿勢推定の従来手法 . . . . . . . .

22

3

カメラの内部・外部パラメータ . . . . . . . . . . . . . . . . . . .

32

4

キャリブレーションツールによるマーカの位置推定精度 . . . . . .

40

5

赤外線カメラの仕様. . . . . . . . . . . . . . . . . . . . . . . . .

44

6

カメラ位置・姿勢推定結果 . . . . . . . . . . . . . . . . . . . . . .

53

7

マーカの密度に対する認識マーカ数とカメラ位置推定誤差 . . . .

57

8

実環境でのカメラ位置・姿勢推定精度

59ix. . . . . . . . . . . . . . .

1. 序論
携帯電話やモバイルコンピュータに代表されるように，近年の計算機の小型化，高性能化は目覚しく，装着することで自由に移動しながら利用することができる
ウェアラブルコンピュータ [DSGP03, ALO+ 04] が現実の物となりつつある．一方，
コンピュータグラフィクスで描いた仮想物体などで構成される仮想環境を現実環境に重畳することにより情報を提示する拡張現実感 (Augmented Reality:AR) の研究もさかんに行われている [Azu97, 田村 98, ABB+ 01, 横矢 06b, 横矢 06a, HSHS05]．さらに，両者を組み合わせて利用することで，ユーザの位置に応じて直感的に情報を提供するウェアラブル拡張現実感システムも開発されており [TNA+ 04,

NWB+ 04]，ヒューマンナビゲーションなどの分野での実用化が期待されている．
このウェアラブル拡張現実感では，現実世界と仮想世界の座標系の位置合せを行うためにユーザの正確な位置・姿勢計測が重要な課題となる．そこで本研究ではウェアラブル拡張現実感を実際の環境で利用するために，屋内環境においてユー
ザの位置・姿勢を精度良く推定することが可能なシステムの実現を目的とする．
以下では，背景となるウェアラブル拡張現実感について概観し，それらにおける位置・姿勢推定手法についての従来研究について述べる．次に，従来手法の問
題点，本研究の位置づけと研究方針を明確にする．

1.1 ウェアラブル拡張現実感技術の概観
1.1.1 拡張現実感
拡張現実感 (AR: Augmented Reality) とは，現実環境に電子情報を重畳して人間に提示することによって，現実世界を強化・増強・拡張する技術である．拡張
現実感では，一般的にヘッドマウンテッドディスプレイ (HMD: Head Mounted

Display) やハンドヘルドディスプレイ (Hand-held Display)，プロジェクタなどの表示装置を用いて，コンピュータグラフィクス (CG: Computer Graphics) 等で表現された仮想環境と現実環境を合成した映像をユーザに提示することが多い．拡張現実感の応用としては，医療や産業，エンターテインメントなどの分野が挙げられる．例えば医療の分野では，図 1，2 に示すように，人体の表面に1

図 2 人体内部の可視化 [BWHN07]

図 1 手術支援の様子 [SLG+ 96]

図 3 拡張現実感を用いた工場設計支援システム [PBDM07]
超音波や MRI 等で撮影した人体内部の映像や，骨格モデル等の CG オブジェク
トを重畳表示することによって，診断や手術を支援するシステムが提案されている [LCN+ 93, SCT+ 94, SLG+ 96, BWHN07]．また，産業の分野では，図 3 に示すような工場や自動車などの設計を支援するシステム [大島 04, 清原 05, PBDM07]
や，プリンタ等の機器や工場の配管などのメンテナンス作業を支援するシステム[FMS93, Fri02, GSB+ 07] などが提案されている．さらにエンターテインメントへの応用例 [分部 05, HSHS05, Tho06] として代表的なものに，2005 年に開催された愛知万博における日立グループ館の MR アトラクション [分部 05] が挙げられる．
このシステムではライドに乗りながら，現実空間にあるジオラマと CG で生成した動物を，ユーザが持つビデオシースルー型のハンドヘルドディスプレイを通して合成し提示する．このように拡張現実感では，現実環境と仮想環境を違和感無2くシームレスに合成することによって，現実世界に付加した情報を直感的に理解することが可能な技術として実用化が期待されている．
拡張現実感を実現するためには，以下に示す現実環境と仮想環境の整合性に関する問題を解決する必要がある．
幾何学的整合性

拡張現実感では，現実環境と仮想環境との幾何学的位置合わせは特に重要な課題である．この問題は実時間でユーザ視点の位置・姿勢を計測する問題に帰着し，従来から様々なユーザ位置・姿勢計測手法が提案されている．
本研究もこのユーザ位置・姿勢計測に関する研究であり，これに関する従来研究は 1.2 節で詳述する．また，幾何学的整合性に関しては，位置合わせの問題だけでなく，現実環境にある実物体と仮想物体の隠蔽関係や衝突などの表現に関する問題も含まれる．これを解決するためには，実時間で実物体の位置と形状を計測する必要がある [KYO+ 96, 松原 96, 神原 99]．
光学的整合性

写実的な仮想物体を現実環境に合成する場合，現実環境と仮想環

境の照明条件が一致していないとユーザに違和感を与える．これを解決するためには，現実環境の照明環境を計測し，仮想環境に反映させる必要がある [佐藤 98,

SKT03, ALCS03, GCHH03, KY04, SSH06]．さらに，実物体と仮想物体の相互に影をつけるためには，実物体の位置と形状を計測する必要がある [神原 04a]．また，近年ではこのような陰影や照明条件に関する研究だけでなく，ユーザ視点に合わせて仮想物体にぼけを再現するような画質のずれに関する研究 [奥村 07] も行われている．
時間的整合性

現実環境の映像に仮想環境を重畳表示する際に時間ずれが発生

すると大きな違和感をユーザに与える．これは現実環境でのユーザ視点の計測にかかる時間遅延や仮想物体を描画する際に必要な時間遅延などが主な原因であり，これらを極力抑える必要がある．そのため，実時間でのユーザ視点の計測や仮想物体の描画は拡張現実感において重要な課題の一つであり，この時間遅延を計測する手法 [SSK+ 07] も提案されている．機器の制約上，時間遅延無く現実環境に仮想環境を直接重畳することは難しいが，カメラで撮影した実環境の画像

3

に仮想物体を重畳して提示するビデオシースルー型の拡張現実感の場合では，位置・姿勢の推定と提示する画像を同期させることで時間的整合性を実現した手法[BN95, SVT+ 00] が提案されている．

1.1.2 ウェアラブル拡張現実感
ウェアラブル拡張現実感とは，ユーザが装着したウェアラブルコンピュータを用いて，前述の拡張現実感を実現する技術であり，広範囲を移動するユーザの位置に応じた情報を現実空間に重畳してユーザに提示することが可能である．
ここで，ウェアラブルコンピュータとは，常時稼動し，服や腕時計のように身につけて利用するコンピュータを意味する．ウェアラブルコンピュータとして，従来，図 4,5 に示す MIThril[DSGP03] や QBIC[ALO+ 04] などが提案されている．また，このような研究段階のものだけでなく，図 6 に示す日立製作所のWIA-100NB[日立 a] や，図 7 に示す Eurotech の ZYPAD[Eur] などウェアラブル
コンピュータとして発売される製品も登場している．さらに，近年その発達が目覚しい携帯電話も広い意味でのウェアラブルコンピュータということができる．
このようなウェアラブルコンピュータ上で拡張現実感を実現するウェアラブル
拡張現実感システムでは，図 8,9,10 のように，ユーザの位置に応じた情報を直感的にユーザに提供する．このような特徴を生かし，ウェアラブル拡張現実感シス
テムはヒューマンナビゲーションや観光案内 [HFP99, SKC+ 01, KK03b, DK02,

TNA+ 04, 大隈 07]，エンターテインメント [TCD+ 00] などへの実用化が期待されている．例えば，図 8,9 に示す Dahne らの ARCHEOGUIDE[DK02] や天目らの平城宮跡ナビ [TNA+ 04] では，ヘッドマウンテッドディスプレイ (HMD: Head

Mounted Display) を装着したユーザに，かつて遺跡が実在した場所に復元した遺跡の三次元モデルを重畳表示する観光案内システムを実現している．また，興梠らの提案するヒューマンナビゲーションシステム Weavy[KK03b] では，図 10 で示すようにユーザが装着した HMD を用いて，その場所に応じた注釈をユーザ視
点画像に重畳表示することによりユーザのナビゲーションを行っている．
このようなウェアラブル拡張現実感システムを実現するには，ユーザの正確な位置・姿勢を実時間で常に計測し続ける必要がある．そこで次節ではウェアラブ4

図 5 QBIC [ALO+ 04]

図 4 MIThril 2003 [DSGP03]

図 7 ZYPAD (Eurotech) [Eur]
図 6 WIA-100NB (日立製作所) [日立 a]

5

仮想物体
（CGで復元された過去の建造物)

注釈情報

詳細情報

(a) 注釈提示の例(b) 仮想物体の重畳表示例

図 8 ARCHEOGUIDE [DK02]
図 9 平城宮跡ナビ [TNA+ 04](a) ユーザ視点画像(b) Weavy 外観

図 10 ウェアラブルビジュアルインタフェース:Weavy[KK03a]6

ル拡張現実感における位置・姿勢推定手法に関する従来研究について述べる．

1.2 ウェアラブル拡張現実感における位置・姿勢推定手法の概観
まず，拡張現実感を実現する際に要求されるユーザの位置・姿勢の計測精度について述べる．前述したような視覚に関する拡張現実感において出力されるのは現実環境に仮想環境を合成したユーザの視界画像である．そのため，このユーザ
視界画像上における仮想物体の誤差によって要求されるユーザの位置・姿勢計測
精度を決定することができる．ただし画像上での誤差はユーザの視点から仮想物体までの距離に応じて変わるため，ユーザ視点を基準とした座標系での仮想物体のずれを角度で表した角度誤差で計測精度を評価する場合もある．
ユーザが何らかの表示装置を装着し，その表示装置の世界座標系における位置・姿勢を推定して拡張現実感を実現している場合を想定すると，世界座標系における投影の様子は図 11(a) のように表せる．ここで Mwu , Mwun は推定した表示装
置の世界座標系における位置・姿勢から得られる世界座標系からユーザ視点座標系への変換行列で，前者は推定位置・姿勢に誤差が無い場合，後者は誤差がある
場合の変換行列である．よって世界座標系における三次元座標が x = (x, y, z)Tである仮想物体を考えた場合，推定した表示装置の位置・姿勢に誤差が無い場合とある場合のユーザ視点座標系における仮想物体の三次元座標 x′ = (x,′ y ′ , z ′ )T ，x′n (xn ,′ yn′ , zn′ )T は次式で表すことができる．
(x′ , y ′ , x′ , 1)T = Mwu (x, y, z, 1)T(1)(x′n , yn′ , zn′ , 1)T = Mwun (x, y, z, 1)T(2)

これをユーザ視点座標系を基準として考えると，仮想物体の投影は図 11(b) のよ
うに表すことができる．表示装置を表示装置の解像度 (scrx , scry ) と水平・垂直画
角 (θx , θy ) を用いてモデル化すると，画像上での仮想物体の座標 p = (u, v) は，x′
scrx
2 tan(θx /2) z ′
scry
y′
v = −
2 tan(θy /2) z ′

u = −

7

(3)
(4)

ユーザ視点座標系 (誤差あり)
世界座標系からユーザ視点座標系への変換行列 (誤差あり)：Mwun
Y

Z

Yn’
Zn’

X
Z’

世界座標系
世界座標系からユーザ視点座標系への変換行列 (誤差なし)：Mwu

仮想物体の画像面への投影座標（誤差あり）：pn = (un,vn)

Xn’

仮想物体の世界座標系
上での座標：x = (x,y,z)

Y’
X’

仮想物体
表示装置の
画像面

ユーザ視点座標系 (誤差なし)

仮想物体の画像面への投影座標（誤差なし）：p = (u,v)(a) 世界座標系における仮想物体の投影の様子
仮想物体の画像面への投影座標（誤差なし）：p = (u,v)

Z’
Zn ’

Y’
Yn
’

仮想物体のユーザ視点座標系
上での座標(誤差なし)：
x’’ = (x’,y’,z’)

X’
ユーザ視点座標系 X ’
n

仮想物体
表示装置の
画像面

仮想物体の角度誤差：er
仮想物体の画像上での誤差：e

仮想物体のユーザ視点座標系
上での座標(誤差あり)：
xn’ = (xn’,yn’,zn’)

仮想物体の画像面への投影座標（誤差あり）：pn = (un,vn)(b) ユーザ視点座標系における投影の様子

図 11 表示装置の推定位置・姿勢の誤差が仮想物体の画像上での描画位置に与える影響

8

となる．よって拡張現実感で提示する画像上での仮想物体の誤差 e は次式で表すことができる．

scrx
x′x′( ′n − ′ )2 tan(θx /2) zn
z
′
scry
y′
y
=
( n′ − ′ )2 tan(θy /2) zn z

ex =

(5)

ey

(6)

q

e =

ex 2 + ey 2

(7)

また，ユーザ視点座標系における仮想物体のずれを角度 er で表すと，
Ãx′ · x′ner = arccos|x′ ||x′n |

!

(8)

となる．
例えば，解像度 800×600，水平画角 60◦ ，垂直画角 45◦ の表示装置を用いて仮想物体を描画する場合を考えると，表示装置で表示される仮想物体の画像上で許容される誤差に対して要求される表示装置の位置・姿勢の推定精度は表 1 のようになる．ただし，ここで示す要求される位置・姿勢の推定精度は，位置誤差に関しては姿勢誤差が無い場合，姿勢誤差に関しては位置誤差が無い場合における要求精度である．
位置に関する提示画像上での許容誤差は仮想物体までの距離に比例して大きくなるため，要求される精度は想定する環境における仮想物体の配置とアプリケー
ションに依存する．例えば，仮想物体がユーザの近くに配置される場合が多い屋
内における拡張現実感では，ユーザの近くに仮想物体が配置される場合が少ない
屋外における拡張現実感よりも高い推定精度が要求される．また，どちらの方向に何があるかさえ理解できれば良い注釈提示システムのようなアプリケーション
よりも，実物体との隠蔽関係も考慮しなければならない景観シミュレーションシ
ステムのようなアプリケーションの方が高い推定精度が要求される．具体的なア
プリケーションの例を考えると，手術支援のような位置ずれが起こると問題となるようなアプリケーションでは，1 画素以内に納まる計測精度でユーザの位置・姿勢を計測する必要がある．また天目らの提案するウェアラブル注釈提示システム
では，注釈が指し示す対象がユーザに理解できれば良く，かつ注釈が環境中に疎

9

表 1

仮想物体の画像上での誤差に対して許容される位置・姿勢推定精度(解像度 800×600，水平・垂直画角 60◦ ,45◦ の表示装置を用いた場合)
仮想物体まで許容する画像上

の距離

での誤差

位置誤差

姿勢誤差

1 画素

8 mm

0.1 ◦

3 画素

26 mm

0.3 ◦

5 画素

44 mm

0.5 ◦

7 画素

61 mm

0.7 ◦

10 画素

87 mm

1.0 ◦

15 画素

131 mm

1.5 ◦

20 画素

175 mm

2.0 ◦

1 画素

17 mm

0.1 ◦

3 画素

52 mm

0.3 ◦

5 画素

88 mm

0.5 ◦

7 画素

122 mm

0.7 ◦

10 画素

174 mm

1.0 ◦

15 画素

262 mm

1.5 ◦

20 画素

350 mm

2.0 ◦

5m

10 m

要求精度

に配置された環境内を想定しているため，水平方向に 20◦ 程度の角度誤差以内でユーザの位置・姿勢が計測できれば良い [天目 06]．この場合，上記の例の表示装置 ( 解像度 800×600，水平・垂直画角 60◦ ,45◦ ) を用いるとすると，提示画像上でおよそ 260 画素以内で仮想物体を描画できれば良い．ただし，このような注釈提示システムでも，環境内が複雑で現実環境の物体と仮想物体の隠蔽関係を考慮しなければならない場合などでは，提示画像上で数画素程度の誤差に納まるように
位置・姿勢を計測する必要がある．本研究では，屋内でのウェアラブル拡張現実感において，提示画像上で表示装置の解像度の 1% 程度の誤差以内で仮想物体を描画する必要があるような場合を想定し，屋内の広い範囲で 1◦ 以下の角度誤差10でユーザの位置・姿勢が計測可能である位置・姿勢推定システムの実現を目指す．
次にユーザの位置・姿勢を計測する従来手法について概観する．従来，ユーザの位置・姿勢を計測する手法として，屋外では広範囲で位置の計測が可能な GPS(Global Positioning System) と姿勢計測のためのジャイロセンサを組み合わせる手法がよく用いられている [HFP99, DK02, 小田 03, 神原 05]. 一方，屋内ではGPS の利用が困難であるため，さまざまな位置・姿勢推定手法が提案されている．
屋内で利用可能な位置・姿勢計測手法を大別すると次の二つに分けることができる．一つは環境に特殊なインフラを設置することなくユーザの位置・姿勢を計測する手法，もう一方は環境中にマーカやセンサなどをインフラとして設置し，それらを利用してユーザの位置・姿勢を推定する手法である．以下，これらの手法についてそれぞれ詳述する．

1.2.1 インフラを用いない位置・姿勢推定手法
特殊なインフラを必要としないユーザ位置・姿勢の計測手法の代表的な例として，ユーザが装着したカメラで撮影された画像から自然特徴点などを認識してユーザの位置・姿勢を推定する手法がある．このようなユーザが装着したカメラの画像からの位置・姿勢推定手法は Inside-Out 方式と呼ばれ，環境の事前知識を用いる手法と環境の事前知識を用いない手法に大別できる．
前者には，環境の事前知識として，画像データベースを用いる手法 [KKS01,

KK03a, CRT04]，環境の三次元モデルや自然特徴点からなる三次元点群を用いる手法 [LVTF03, VLF04, SL04, 大江 05, 武富 08] などがある．画像データベースを用いる手法 [KKS01, KK03a, CRT04] では，図 12 に示すように，環境内を撮影した画像とその撮影位置・姿勢を登録したデータベースを事前に作成しておき，入力画像とデータベース中の画像を対応付けることでカメラの位置・姿勢を推定する．しかし，画像のみからでは正確なカメラ位置・姿勢を推定することは難しく，興梠ら [KKS01, KK03a] は，画像との位置合わせ結果から得られる絶対的な位置・姿勢情報と加速度計，およびジャイロセンサからの情報を組み合わせ
ることにより，より正確なユーザの位置・姿勢を推定している．また，環境の三次元モデルを用いる手法 [LVTF03, VLF04] では，入力画像中のエッジや自然特11

図 12 画像データベースを用いたカメラ位置・姿勢推定 [KKS01]

12

ランドマークデータベース

入力画像
自然特徴点抽出

ランドマーク選択
選択
ランドマーク

N個
個

対応付け
対応付け

F個
個

カメラ位置
カメラ位置・
位置・姿勢の
姿勢の推定

入力画像の
位置・姿勢
入力画像のカメラ位置
カメラ位置・

図 13 ランドマークデータベースを用いたカメラ位置・姿勢推定 [武富 08]

徴点などをあらかじめ作成しておいた三次元モデルと対応付けることによってカメラの位置・姿勢を推定している．自然特徴点からなる三次元点群を用いる手法[SL04, 大江 05, 武富 08] では，図 13 に示すように，あらかじめ計測した自然特徴
点の三次元位置と自然特徴点周辺の局所的な画像をランドマークとして登録したデータベースを事前に作成し，入力画像中の自然特徴点とデータベース中のランドマークを対応付けることでカメラの位置・姿勢を推定する．
後者の環境の事前知識を用いない手法 [DCK04, WKR07, KM07] では，主にロボットの自己位置推定に使われてきた SLAM(Simultaneous Localization and

Mapping)[TBF98, DPC+ 01] と呼ばれる分野の技術が一般的に用いられている．
これらの手法では入力画像中の自然特徴点を追跡することによりカメラの位置・姿勢推定と環境のモデル化を同時に行う．そのため，事前にデータベースを構築する手間を必要としないという利点があるが，広域な環境を対象とした場合にカメラ位置・姿勢の推定誤差が蓄積するという問題があり，利用できる範囲が限定

13

される．
このようなユーザが装着したカメラで撮影した画像を用いた位置・姿勢推定手法では実環境に手を加える必要がなく，ユーザが装着するセンサがカメラのみで済むという利点がある．しかしながら，計算量が多く，見た目が似たパターンが多い環境では安定して位置・姿勢を計測することが難しい．
またインフラを用いないユーザ位置計測手法の一つとして，加速度計や歩数計，ジャイロセンサなどを利用した自律計測手法 [LM02, 鵜沼 04, 佐川 04, Fox05,

HKY06, YKY07] が挙げられる．Lee ら [LM02] は図 14 に示すような地磁気センサや加速度センサ，角速度センサなどをユーザの腰部と脚部に装着して歩幅を推定することによりユーザの位置を推定する手法を提案している．Foxlin ら
は，両足に絶対姿勢を計測可能な姿勢センサを装着し，ユーザの位置を推定する

NavShoe[Fox05] を提案している．または，図 15 に示すようにユーザの靴に接地を感知するスイッチを取り付け，腰部と脚部に三次元磁気センサと絶対姿勢セン
サを装着し，ユーザの歩行動作と歩数を計測することによりユーザの位置を推定する手法も提案されている [YKY07]．しかしながらこのような手法では，センサのドリフト現象や地磁気の乱れなどのノイズの影響を受けやすく，またユーザ位
置の推定誤差が蓄積するという問題があるため，広域環境で安定してユーザ位置を計測し続ける場合には，GPS や赤外線ビーコンなどによる絶対位置計測と組み合わせる必要がある．

1.2.2 インフラを用いた位置・姿勢推定手法
環境中に設置した特殊なセンサを利用して位置・姿勢を計測する手法には，超音波 [WJH97, Inc, 古河] や赤外線カメラ [坂田 03, Vic]，電波 [BP00, LCC+ 05,
暦本 06, 河口 07] を利用した手法がある．例えば，図 16 に示す InterSence の IS-

600 Mark2[Inc] では，環境中に設置した複数の超音波センサで，ユーザが装着する超音波ビーコンから発せらる超音波の伝播時間を計測することによってユーザの位置を計測している．また，環境中に赤外線カメラを複数設置し，ユーザに装着したマーカを撮影・認識することにより，1mm 程度の精度でユーザの位置を計測するシステム Vicon MX (Vicon) [Vic] も開発されている．ただし，これらの手

14

絶対姿勢センサ
IertiaCube2(Intersense, Inc,)Linux-based PDA• Intel StrongArm1110• 320 × 240 TFT-LCD• 16-Mbyte RAM

腰部モジュール
腰部モジュール

３次元磁気センサ
patriot(Polhemus,Inc.)

脚部モジュール
脚部モジュール

トランスミッタ

地磁気センサ
地磁気センサ

角速度センサ
角速度センサマイクロスイッチ
レシーバ
マイクロコントローラ

加速度センサ
加速度センサ

図 14 自律計測による位置・姿勢推定シ
図 15 三次元磁気センサと姿勢センサを

ステム [LM02]

用いたユーザの自己位置推定 [YKY07]

図 17 AirLocationT M II (日立製作所 ワ
図 16 IS-600 Mark2 (InterSense) [Inc]

イヤレスインフォベンチャーカンパニー)[日立 b]

15

法で計測できるのはビーコンやマーカの位置のみであるため，計測対象の姿勢も計測する場合には複数のビーコンやマーカを計測対象に取り付ける必要がある．
このような環境側に設置したセンサでユーザの位置を計測する手法は Outside-In方式と呼ばれ，精度良くユーザの位置を計測可能であるが，インフラに電源が必要で高価な装置を設置する必要があるため広域での利用が難しい．また，実時間
でユーザの位置・姿勢情報を獲得する必要があるウェアラブル拡張現実感システ
ムへの利用では，環境中に設置した位置・姿勢計測システムとウェアラブルコン
ピュータの間で通信遅延等の問題が発生する場合があり，望ましくないと考えられる．
複数の無線 LAN 基地局からの電測情報 (MAC アドレスや電界強度などの情報) を利用して位置を計測する手法 [BP00, LCC+ 05, 暦本 06, 河口 07] では，無線

LAN を利用できる端末を用いて容易に位置を計測することが可能である．暦本らの提案する PlaceEngine[暦本 06] は，市街に氾濫する無線 LAN 基地局の電測情報とその位置の関係をあらかじめデータベースに登録し，その情報とユーザの持つ無線 LAN 機能を備えたモバイル端末やゲーム機が観測した電測情報から端末の位置を数 m∼100m 程度の精度で推定する．この手法では，未知の無線 LAN
基地局の電測情報と位置の関係をユーザの持つモバイル端末からユーザ自身で登録可能であり，利用者が多くなればデータベースもより充実したものとなる．また，図 17 に示す日立の AirLocationT M II[日立 b] では，複数の特殊な専用基地局と無線 LAN 端末の間を伝播する無線 LAN 信号を利用して三辺測量を行うことにより，1m∼3m 程度の精度で端末位置を検知する．このような無線 LAN の電測情報を利用する手法では，通信インフラを位置計測のためのインフラとして利用するため，手軽に位置が計測可能であるが，計測できるのは位置のみであり姿勢を計測するためのジャイロセンサ等を別途必要とする．また，拡張現実感で利用できるほどの位置計測精度は得られていない．
他にも，環境中に設置した赤外線 LED や，IrDA 等の赤外線信号を発信する赤
外線マーカから信号を受信することにより位置を計測する手法が提案されている．
赤外線マーカを利用した位置・姿勢推定手法では，環境中に設置した赤外線マー
カに位置 ID を対応付け，その信号を受信することにより絶対位置を取得する．天16

図 18 Hallaway ら [HHF03] の赤外線受 図 19 神原ら [神原 04b] の赤外線受光体
光体
目らはさらにコンパスと加速度センサを組み合わせることにより，マーカ位置からの相対的な移動量を推定し，ジャイロセンサで姿勢を計測している [TKY03]．
また Hallaway らは，複数の赤外線受光体を図 18 のように同一平面上に配置し，それを装着したユーザの二次元位置と方位角度の推定を行っている [HHF03]．神原らは図 19 のように，信号の受信範囲が半球をカバーするよう 10 個の赤外光
受光体を三次元的に配置することでユーザの三次元位置・姿勢を推定している[神原 04b]．前田らは赤外線マーカをユーザの頭部に装着したステレオカメラを用いて撮影し，同じく頭部に装着したジャイロセンサからの情報と組み合わせることにより，安定したユーザの位置・姿勢を推定している [MOKT04]．Welch らの

HiBall[WBV+ 01] では，図 20 に示すような 6 面のフォトダイオードからなるセン
サを用いて，環境に設置した多数の赤外線 LED を，その発光と同期して撮影することによって，精度の良いユーザ位置・姿勢の推定を可能としている．以上の手法では赤外線信号を受信するため安定した位置検出が行えるが，電源を必要とする赤外線マーカを環境中にインフラとして設置する必要があるため，広域な環境に多数のマーカを設置することが難しい．
そこで従来，実環境に位置・形状・色が既知の画像マーカを多数配置し，それらをユーザが装着したカメラで撮影した映像からユーザの位置・姿勢を計測する

17

図 20 HiBall [WBV+ 01]

Inside-Out 方式の手法 [TCD+ 00, KLK+ 02, WS03] がよく利用されている．この手法では安価な画像マーカを利用するために比較的容易に位置・姿勢推定のためのイ
ンフラを構築することが可能であり，またマーカの検出が容易であるため安定した
位置・姿勢の計測が可能である．Baratoﬀ ら [BNR02] や羽原ら [羽原 04] は図 21,22に示すように，正方形のマーカを実環境中に配置することによってユーザの位置推定を行っている．Baratoﬀ らの手法はマーカの検出と同定に ARToolKit[KB99]
を利用している．ARToolKit は画像マーカが撮影された際の形状の歪みから，カメラに対するマーカの相対的な位置を推定し，CG で描かれた仮想物体を撮影画
像に重畳表示するシステムを容易に構築できるライブラリである．この手法ではマーカの同定にパターンマッチングを行っているため，マーカの種類が増えると処理時間とマッチングの失敗率が共に増加するという問題がある．そこで羽原ら[羽原 04] はマーカのパターンから一意に ID を決定できるマーカを提案し，ユー
ザの位置・姿勢推定に利用している．また，Naimark ら [NF02] は，図 23 のような数万種類の ID が生成可能な円形のマーカを提案し，マーカを撮影画像から得られるユーザ位置・姿勢と加速度センサの出力を融合することで，安定して位置・姿勢を推定可能なシステムを開発した．

18

図 21 Baratoﬀ らのマーカ配置 [BNR02]

このような画像マーカを通常のカメラで撮影する手法は，安価でかつインフラに電源を必要せず，マーカの検出が容易であるため安定した位置・姿勢の計測が可能という利点があるが，図 21,22,23 からも明らかなように，実環境の景観を損ねてしまうという問題がある． そこで景観に合わせてデザインしたマーカを利用する手法 [齊藤 06, 吉田 07, 玉田 07] や肉眼では見ることのできない赤外線を利用したマーカを利用する手法 [PoIP04] が提案されている．齊藤ら [齊藤 06] は，図24 に示すように，図形を組み合わせて部屋の内装に適したマーカをを提案している．また吉田ら [吉田 07] は，図 25 に示すようなマーカを貼る物体の色に似た目立たないマーカを提案している．このように環境の景観に溶け込むようなマーカの工夫がなされているが，通常のカメラで撮影・認識する以上，人間に気付かれないようにマーカを貼ることは難しい．
それに対し Park ら [PoIP04] の手法では，赤外光を吸収するインクでマーカを描き，それを赤外線カメラで撮影・認識することによってカメラの位置・姿勢を推定する．赤外光は肉眼では見えないため，図 26 に示すように赤外線カメラにのみマーカが撮影される．しかしながら，赤外線カメラで撮影される不可視マー
カと背景物体の濃度差が少ないため，カメラとマーカの距離が離れるとマーカの認識が難しく，天井や壁などに貼ったマーカをユーザが装着したカメラで撮影・19

(b) 羽原らの正方形マーカ(a) 羽原らのマーカ配置

図 22 羽原らのマーカ [羽原 04](b) Naimark らの円形マーカ(a) Naiamrk らのマーカ配置

図 23 Naiamrk らのマーカ [NF02]

20

図 25
図 24 齊藤らのマーカ [齊藤 06](a) 通常のカメラで撮影

吉田らのマーカ[吉田 07](b) 赤外線カメラで撮影

図 26 Park らの不可視マーカ [PoIP04]

認識してユーザの位置・姿勢を推定する用途には適していないと考えられる．

1.3 本研究の位置付けと方針
前述した屋内環境におけるユーザ位置・姿勢推定の従来手法の特徴を表 2 に示し，本研究の位置付けについて述べる．加速度計やジャイロセンサ等を用いた自律計測手法（I) や，無線 LAN の電測情報 (MAC アドレスや電界強度などの情報)を利用する手法（III) は，本研究で想定するような屋内環境での拡張現実感に必
要な計測精度を満たしていない．次に環境にインフラとして設置したカメラやセンサを用いてユーザを観測することによって位置・姿勢を計測する Outside-In 方

21

表 2 屋内環境におけるユーザ位置・姿勢推定の従来手法

インフラ無しユーザ位置・姿
勢計測手法

計測精度

安定性

広域への拡張性

(I)
加速度計，
ジャイロ
センサ等

1m～

△
誤差が蓄積する△
絶対位置を計測する手法と組み合わる必要あり

(II)
カメラ
(Inside-Out)

5mm～1m△類似パターンに弱い△
環境の情報収集が必要

インフラ有り(III)
無線LANの電波+ ジャイロ
センサ等

1m～100m○○
既存の無線基地局
を利用

(IV)
カメラ
(Outside-In)1mm～1m○
カメラを多数設置した場合△高価なインフラが必要(V)
超音波センサ(Outside-In)5mm～1m○△
高価なインフラが必要(VI)
赤外線マーカ(Inside-Out)

1mm～3m○△
高価なインフラが必要

(VII)
画像マーカ
+ カメラ
(Inside-Out)

5mm～1m○
マーカを多数配置した場合△景観を損ねる22

式の手法 (IV,V) について考える．このような Outside-In 方式の手法は，ユーザが装着するマーカは安価であるが，環境に設置するセンサは高価であるため，狭い範囲に複数のユーザがいるような環境に適している．それに対し，ユーザが装着したカメラやセンサで環境の自然特徴点やマーカを撮影・認識して位置・姿勢を計測する Inside-Out 方式の手法 (II,VI,VII) は，ユーザが装着するカメラや計算機にかかるコストは Outside-In 方式よりも大きいが，環境構築に必要とするコ
ストは少ない．そのため，広い範囲でユーザの位置・姿勢を計測するためには，

Inside-Out 方式の手法の方が適している．
Inside-Out 方式の手法の一つであるユーザが装着したカメラを用いる手法には，環境中にマーカ等のインフラを必要とする手法 (VII) とインフラを必要としない
手法 (II) がある．後者の手法 (II) では現実環境の自然特徴点等の計測は必要であるが，環境にマーカ等のインフラを設置するコストは発生しない．しかし，植物などの自然物や類似パターンを持つ物体が多い環境で安定して位置・姿勢を推定することは難しい．それに対して，マーカ等のインフラを必要とする手法 (VII)は，インフラを設置するためのコストは必要であるが，認識の容易なマーカを利用するため安定して位置・姿勢を推定することができる．しかしながら，認識しやすいマーカは目立つために，景観を損ねてしまうという問題がある．
本研究では，実際の広い範囲の屋内環境において，安定して利用可能なユーザ
位置・姿勢推定システムの実現を目指す．そのため，画像マーカを環境中に設置し，それをユーザの装着したカメラで撮影する Inside-Out 方式のアプローチを採用する．しかし，画像マーカは景観を損ねるために実際の環境で利用することが難しい．そこで本研究では，景観を損ねない半透明の再帰性反射材からなる不可視マーカと赤外線カメラを利用する．提案する不可視マーカは半透明であるた
め肉眼での視認は難しいが，再帰性反射材の性質により，赤外光をカメラのレンズ付近から照射しながら撮影するとはっきりと不可視マーカを撮影することが可能である．本システムでは，この不可視マーカを天井等に貼り，それをユーザが装着した赤外線カメラで撮影・認識することによってユーザの位置・姿勢を推定する．
また実際にユーザ位置・位置姿勢推定システムを利用する場合，そのためのイン23

フラを容易に構築できることが望まれる．そのため提案システムは，不可視マー
カのインフラ環境を容易に構築するために，不可視マーカを印刷した壁紙を利用し，マーカのキャリブレーションを行うツールを提供する．マーカを用いて精度良くユーザの位置・姿勢を計測するためには，多くのマーカが密に配置されている方がよい．しかしながら，多数のマーカを一つ一つ貼ることは多くの労力を必要とする．そこで，多数の不可視マーカが印刷された壁紙を使用することにより，マーカ設置作業の労力の軽減を図る．さらに，ユーザの位置・姿勢を推定するた
めには，マーカの三次元位置・姿勢をあらかじめ計測しておく必要がある．本シ
ステムではこの作業を容易にするために，不可視マーカをデジタルカメラで撮影した画像からマーカの三次元位置・姿勢を推定するキャリブレーションツールを提供している．
本システムを用いることにより，容易に多数の不可視マーカが密に配置された環境を構築することができ，その環境下で精度良くユーザの位置・姿勢の推定が可能となる．

1.4 本論文の構成
本論文の構成は以下の通りである．提案するユーザ位置・姿勢推定システムは，
位置・姿勢推定のためのインフラ環境構築フェーズと実際にユーザの位置・姿勢推定を行うフェーズからなる．そこで 2 章では，提案するユーザ位置・姿勢推定シ
ステムの概略を述べた上で，インフラ環境構築フェーズの詳細とその評価実験について述べる．3 章では，インフラ環境構築フェーズで構築した環境の下でユー
ザの位置・姿勢を推定するユーザ位置・姿勢推定フェーズについて詳述する．さらに，ユーザ位置・姿勢の推定精度の評価実験を行い，提案システムの特徴と有用性について考察する．最後に 4 章で本研究を総括し，提案システムの今後の展
望について述べる．

24

2. 不可視マーカを用いた位置・姿勢推定のための環境構築
2.1 不可視マーカと赤外線カメラを用いた位置・姿勢推定システム
本研究では屋内環境で利用可能なユーザの位置・姿勢推定システムの実現を目指すため，景観を損ねない半透明の再帰性反射材からなる不可視マーカを利用する．実際にユーザ位置・位置姿勢推定システムを利用する場合，そのためのインフラを容易に構築できることが望まれる．そこで提案システムではインフラ環境の構築を支援するツールも提供する．図 27 に示すように，提案システムは位置・姿勢推定のためのインフラ環境を容易に構築する環境構築のフェーズと，その環境の下でユーザの位置・姿勢推定を行うフェーズからなる．
前者の環境構築フェーズでは，不可視マーカのインフラ環境を容易に構築する
ために，不可視マーカを印刷した壁紙を利用し，マーカのキャリブレーションを行うツールを用いてマーカの三次元位置を計測する．マーカを用いて精度良くユー
ザの位置・姿勢を計測するためには，多くのマーカが密に配置されている方がよい．しかしながら，多数のマーカを一つ一つ貼ることは多くの労力を必要とする．
そこで，多数の不可視マーカが印刷された壁紙を使用することにより，マーカを貼る作業の労力の軽減を図る．インフラの管理者は，不可視マーカ壁紙の各マー
カが個別の ID パターンを持つように加工した後，それを環境中の天井等に貼る．
またユーザの位置・姿勢を推定するためには，マーカの三次元位置・姿勢をあら
かじめ計測しておく必要がある．この作業を容易にするために，提案システムにはキャリブレーションツールが用意されている．インフラの管理者は，このツー
ルに不可視マーカをデジタルカメラで撮影した画像とそのカメラの内部パラメー
タ，マーカの設計情報を入力し，マーカの三次元位置・姿勢が記述されたマーカ
配置情報を得る．ここで出力されたマーカ配置情報は後者のユーザの位置・姿勢
推定フェーズで利用される．
ユーザの位置・姿勢推定フェーズでは，環境構築フェーズで得られたマーカの配
置情報を利用し，ユーザが装着した赤外線 LED 付き赤外線カメラで不可視マーカを撮影・認識することにより，ユーザの位置・姿勢を推定する．推定された位置・姿

25

環境構築
不可視マーカ壁紙を貼る

管理者

Ⅰ.不可視マーカの準備と貼り付けⅡ. 不可視マーカの不可視マーカの撮影

キャリブレーション
キャリブレーションツールによるキャリブレーションツール
マーカ配置情報作成
マーカ配置情報
マーカ配置情報 (各マーカの三次元位置・姿勢)

ユーザの
ユーザの位置・
位置・姿勢推定
ユーザ
赤外光

ユーザ位置・姿勢推定
システムの実行

不可視マーカ
赤外線LED付き
赤外線カメラ

ユーザ位置
ユーザ位置・
位置・姿勢 (UDP or 共有メモリに出力)

図 27 不可視マーカと赤外線カメラを用いた位置・姿勢推定システムの概要

26

(a) 不可視マーカ (フラッシュ無しで撮影)(b) 不可視マーカ (フラッシュ有りで撮影)

図 28 天井に貼った不可視マーカ壁紙

勢は計算機の共有メモリ内に書き込まれ，他のアプリケーションから参照することが可能である．また，指定したネットワーク上の計算機に UDP(User Datagram

Protocol) を用いて位置・姿勢推定結果を送信することも可能となっている．本シ
ステムでは環境構築フェーズで多数の不可視マーカが密に配置されているため，精度良くユーザの位置・姿勢の計測が可能である．

2.2 不可視マーカの準備と貼り付け
本研究ではマーカ設置の簡便化のために不可視マーカを印刷した壁紙を利用する．図 28 にその不可視マーカ壁紙を貼った天井の様子を示す．不可視マーカ壁紙
は通常の壁紙に半透明の再帰性反射材からなるマーカが接着されている．再帰性
反射材は照射された光を光源方向に反射するという性質を持った素材であり，観測者が光源に近いほど明るく見える．そのため，カメラ付近から発した光を受けた不可視マーカは高輝度で撮像される．不可視マーカ壁紙は，通常の壁紙と同様に，図 29(a) に示すようなロール状になっており，その表面には図 29(b) に示すような正方形の不可視マーカが印刷されている．正方形の枠の内部には N × N の格子状に点が配置され，これらの点を 1 ビットとしてビットコードが割り当てら27

(a) 不可視マーカ壁紙 (フラッシュ撮影)(b) 不可視マーカ壁紙のパターン(フラッシュ撮影)

図 29 不可視マーカ壁紙れる．ただし画像マーカの向きを一意に決定するために格子の 4 隅の内 1 つだけに常に点が配置され，残り 3 つには点は配置されない．さらにビットコードには

CRC(Cyclic Redundancy Check)[Wil93] による符号化がなされたコードを割り当て，マーカ認識処理において ID の誤り検出に利用する．したがって，CRC によるチェックビットの数を C とすると，2N −4−C 通りの ID をマーカに割り当てる
2

ことができる．
マーカ印刷時に全てのマーカに固有の ID を持たせることはできないため，壁紙には全ビットが 1 であるようなパターンが印刷されている．そのため，それらのパターンを各マーカが固有の ID を持つように加工する必要がある．提案シス
テムにはパターン作成ツールが用意されており，マーカの大きさ，間隔，格子点の大きさ，間隔，数，CRC チェックビット数を入力すると，各マーカが固有の IDを持ったパターンの図とマーカ設計情報が出力される．パターンには全ての IDが出現するまで同じ ID が出現しないようにランダムな ID を持ったマーカが並べられる．マーカ設計情報には，入力したマーカの大きさなどの情報と作成された

ID パターンの並びが記述されており，後述のキャリブレーションツールで利用さ28

れる．インフラの管理者は，作成された ID パターン図を見ながら電動やすり等を用いて 0 ビットに対応する格子点を削り取り，パターン加工された壁紙を天井等の壁面に通常の壁紙と同じように貼る．なお，全ての不可視マーカ壁紙を同一平面上に貼る必要はないが，一つ一つのマーカは平面に貼られることを前提としている．このように不可視マーカ壁紙を利用することにより，多数のマーカを天井等に密に貼る作業が，マーカを一つ一つ貼る場合よりも容易に行える．

2.3 不可視マーカのキャリブレーション
ユーザの位置・姿勢を推定するためには，マーカの三次元位置・姿勢をあらか
じめ計測しておく必要がある．そこで提案システムではこの作業を容易にするために，マーカのキャリブレーションツールを提供する．インフラの管理者は解像度の高いデジタルカメラで天井等に貼った不可視マーカの画像をフラッシュ撮影
し，このツールを用いてマーカの配置情報を作成する．

2.3.1 不可視マーカのキャリブレーションツール
ツールには，不可視マーカを撮影した画像とそのカメラの内部パラメータ，マーカ設計情報，および基準とするマーカの世界座標系における三次元位置・姿勢を入力する．マーカ設計情報は前述のパターン加工作業で作成され，マーカの大きさ，間隔，格子点の大きさ，間隔，数，CRC チェックビット数，壁紙に加工した

ID パターンの並びが記述されている．出力されるマーカの配置情報には，推定されたマーカの三次元位置・姿勢が記述されており，次のユーザ位置・姿勢推定
フェーズで利用される．
次にキャリブレーションツールの操作方法について説明する．キャリブレーショ
ンツールを操作する作業員は，まず図 30(a) に示すフォームにある Add ボタンを押してマーカ設計情報が定義されたファイルを入力する．マーカ設計情報が入力されるとフォームの右側に ID パターンの並びが表示される．その中から基準とするマーカの ID をダブルクリックして表示されるダイアログにそのマーカの世
界座標系における三次元位置・姿勢を入力する．このとき全てのマーカが同一平

29

(a) マーカ設計情報入力画面(b) マーカ撮影画像入力画面

図 30 不可視マーカのキャリブレーションツール

30

基準マーカの位置・姿勢，マーカ撮影画像，
カメラ内部パラメータ，マーカ設計情報
マーカ認識

カメラ位置・姿勢推定

マーカ位置・姿勢推定

マーカ設計情報の当てはめ

全体最適化

マーカ配置情報(各マーカの3次元位置・姿勢)

図 31 不可視マーカのキャリブレーション処理の流れ面上にあると仮定できる場合はチェックボックスにチェックを入れる．全ての基
準マーカの入力を終えると，Next ボタンを押し，図 30(b) に示すフォームに切り替える．このフォームの Load ボタンを押してカメラの内部パラメータを記述したファイルを読み込み，Add ボタンを押してマーカ撮影画像を入力する．最後に Start Calibration ボタンを押すとキャリブレーションが開始され，マーカの配置情報ファイルが出力される．
通常，世界座標系の原点などの適当な位置・姿勢を 1 つの基準マーカに与えてキャリブレーションを行う．ただし，より高精度なユーザ位置・姿勢推定を行いたい場合や環境が広範囲にわたる場合は，トータルステーションなどで位置を計測した基準マーカを複数与えて蓄積誤差の軽減を図る．

2.3.2 マーカのキャリブレーション手法
キャリブレーションツールにおける具体的な処理の流れを図 31 に示す．まず最初に入力された画像から，形状が四角形であるマーカ領域を探索し，ID を認識す31

表 3 カメラの内部・外部パラメータ
内部パラメータ
焦点距離 [mm]F

CCD のサイズ [mm]ccdx × ccdy

画像サイズ [画素]scrx × scry

投影中心座標 [画素](cx , cy )スケール係数sx

レンズ歪み係数 [mm−2 , mm−4 ]k1 , k2

外部パラメータ
姿勢成分 [radian](r1 , r2 , r3 )平行移動成分 [mm](t1 , t2 , t3 )る．ID を構成するビットコードに対して CRC による誤り検出を行い，誤りの無かったマーカの 4 隅の点およびマーカ内部の格子点を特徴点として抽出する．次に基準マーカの座標系を世界座標系とし，マーカの特徴点の再投影誤差 (画像上
での特徴点の座標と特徴点の三次元座標を画像上に投影した座標との距離の 2 乗
誤差) の和を最小化することにより，基準マーカを写したカメラの世界座標系における位置・姿勢を推定する．さらに位置・姿勢が推定されたカメラに写るマーカの世界座標系における位置・姿勢を推定し，そのマーカを写したカメラの位置・姿勢を推定する．この処理を繰り返すことにより，全てのマーカの世界座標系における位置・姿勢を推定する．その際，誤差の蓄積の軽減のため，マーカ設計情報を利用してマーカの位置・姿勢を補正する．最後に，全ての入力画像を通して再投影誤差が最小になるようにマーカとカメラの位置・姿勢を最適化し，得られたマーカの三次元位置・姿勢をマーカの配置情報として出力する．
以下にカメラ位置・姿勢推定とマーカ位置・姿勢推定の処理について詳述する．
カメラ位置・姿勢推定： まず，本システムにおけるカメラ座標系と世界座標系の関係について述べる．本システムではカメラの内部・外部パラメータとして表32

マーカ座標系からカメラ座標系への変換行列 MMC

マーカ座標系
マーカ座標系
Y’’

画像面
Y’

X’’

c
Z’’

X’

マーカ上の特徴点 p

Y

s

Z’
特徴点 pの画像面への投影座標 x = (x, y)

カメラ座標系
カメラ座標系

X

o
Z

世界座標系
世界座標系からカメラ座標系への変換行列 M

図 32 カメラ座標系と世界座標系の関係

3 に示す項目を利用する. カメラの内部パラメータである焦点距離 F , CCD のサ
イズ ccdx ,ccdy ，画像サイズ scrx ,scry ，投影中心座標 cx , cy , 画像スケール係数 sx ,およびレンズ歪み率 k1 , k2 は Tsai の手法 [Tsa86] を用いて, 事前に計測しておく．
カメラの位置・姿勢を表すカメラの外部パラメータは，図 32 に示すように，実世界に設定されている世界座標系からカメラ座標系への変換行列 M で表すことができる. 本システムでは, カメラ座標系の 3 軸に対する回転角 (r1 , r2 , r3 ) とカメラ座標系におけるカメラの平行移動成分である t = (t1 , t2 , t3 )T を用いて, カメラの外部パラメータ M を以下のように定義する.
 m11 m12 m13 m14 

M


 m21

= 
 m

31


0



m22 m23 m24 

m32 m33 m34 



0

0

1

33

(9)





c1 s3 −s2 c3 + s1 c2 s3 t1  c2 c3 + s1 s2 s3 −c2 s3 + s1 s2 c3 c1 c3
s2 s3 + s1 c2 c3 t2 



= 






c1 s2

−s1

c1 c2

t3 


0

0

0

1

(10)



ただし，

s1 = sin r1 , s2 = sin r2 , s3 = sin r3
c1 = cos r1 , c2 = cos r2 , c3 = cos r3(11)である．また, 図 32 に示すように，マーカ上の特徴点 p の世界座標系における三次元座標を s = (X, Y, Z)T ，カメラ座標系における三次元座標を c = (X ′ , Y ′ , Z ′ )Tとすると，世界座標系とカメラ座標系の変換は以下の式で表される．






′
 X 



 X 





 Y′ 
 Y 





 = M

 Z′ 
 Z 









1

(12)

1

レンズ歪みが無い場合の，マーカ上の特徴点 p の三次元座標 c の画像上への投影
座標 x̂ = (x̂, ŷ) は以下のように定義される．
Ãscry Y ′scrx X ′
s
+
c
,
−
F
F + cy(x̂, ŷ) = −xx
ccdx Z ′ccdy Z ′!

(13)

この x̂ を用いて，レンズ歪みを考慮した際のマーカ上の特徴点 p の三次元座標 cの画像上への投影座標 x = (x, y) は以下の式で定義される [Tsa86]．

(x, y) =r =³´(1 + k1 r2 + k2 r4 )(x̂ − cx ) + cx , (1 + k1 r2 + k2 r4 )(ŷ − cy ) + cy (14)v
uÃ
u ccdxt

scrx sx!2(x̂ − cx )

Ã

!2

ccdy
+
(ŷ − cy )
scry

(15)

次にカメラ位置・姿勢推定処理の詳細について述べる．本システムでは，マーカ撮影画像 f から検出したマーカの 4 隅の点およびマーカ内部の格子点の中心を特徴点 p として抽出し，三次元位置が推定されたマーカの特徴点の再投影誤差の34

和を表す誤差関数 (式 (17)) を最小化することにより，カメラの外部パラメータ

M，すなわちカメラの位置・姿勢を推定する．
Rf p =Ef =X
X|x̃f p − xf p |2

(16)

Rf p

(17)

p

ここで，図 33 に示すように，x̃f p は入力画像 f 上で検出された特徴点 p の二次元
座標，xf p は特徴点 p の三次元座標を画像 f 上に投影した座標を表す．また，画像f の外部パラメータ Mf の自由度は 6 とし，カメラ座標系の基底ベクトルは単位直交条件を満たすものとする．本システムでは出口らの手法 [出口 90] を利用し，最小自乗法によって外部パラメータの初期値を線型演算によって推定し，補正を行った後に，非線型最適化を行う．以下に外部パラメータの推定手順を示す．

1. 出口らの手法 [出口 90] を利用し，線型最小自乗法によってカメラの外部パ
ラメータの初期値を推定する．

2. ステップ 1 で推定された初期値を補正し，外部パラメータの自由度を 6 に補正する．

3. ステップ 2 で求まった外部パラメータを初期値とし，Levenberg-Marquardt
法 [Mor78] により Ef を最小化する．これにより，再投影誤差の和である Ef
を最小化する Mf を求める．

マーカ位置・姿勢推定： マーカの大きさやマーカの格子点の間隔などは入力した不可視マーカ壁紙の設計情報から与えられているため，マーカ座標系での特徴
点 p の座標は既知である．よって，マーカ上の特徴点 p のマーカ座標系での三次元位置と入力画像 f 上での二次元位置を用いて，前述のカメラ位置・姿勢推定処理と同様の処理により，マーカ座標系からカメラ座標系への変換行列 MMC を算出する．これを画像 f の外部パラメータ Mf を用いて以下の式により変換することで，マーカの位置・姿勢を表す外部パラメータ MM を求める．

MM = MMC −1 · Mf
35

(18)

特徴点 pの3次元位置を画像上へ投影した座標：xfp
画像面
マーカ上の特徴点 pの3次元座標： spc

特徴点 pの
x fp
画像上での座標 ： ~画像 f を撮影した
カメラの投影中心2
再投影誤差： R fp = ~x fp − x fp

図 33 特徴点の再投影誤差

マーカ設計情報にはマーカ間の間隔やマーカの並びが記述されているため，位置・姿勢が推定されたマーカに隣接するマーカの位置・姿勢も推定可能である．
ただし，不可視マーカ壁紙が切断されて貼られる場合があるため，上記のマーカ
位置・姿勢推定処理で推定された位置・姿勢と隣接するマーカから設計情報に基づいて計算された位置・姿勢の差がある閾値以下であれば，マーカ設計情報を元にした位置・姿勢の方が正しいとしてこれを利用する．このようにマーカ設計情報を利用することにより誤差の蓄積の軽減を図る．

2.4 実験と考察
環境構築の手間やキャリブレーションツールの精度を評価するため，実際の環境において不可視マーカによる位置・姿勢推定のための環境を構築した．本実験
では，図 34 に示すように，約 80cm 四方当たりに 16cm 四方のマーカを 16 個配置した不可視マーカ壁紙を使用した．そのパターンには格子行数 N = 5，CRC
チェックビット数 C = 3 でランダムに ID を割り当てた．割り当てられる ID の数
は 218 = 262144 通りで，約 10000m2 の範囲に固有の ID を持ったマーカを配置することが可能である．このパターンはオフィスのような 3m 程度の高さの天井に

36

16cm
16cm

80cm

80cm

図 34 不可視マーカ壁紙の大きさ

マーカを貼った場合に，人間の頭部に装着したカメラで多くのマーカが撮影でき，
かつ ID の認識ができるように設計した．また CRC のチェックビット数はマーカの誤認識率と ID の数を考慮し，不可視マーカの検出が容易なことから固有の IDを持つマーカの設置可能範囲を重視して決定した．実験では，310 × 4 個のマーカが印刷された壁紙を，図 35 のように約 65m2 の範囲の本学廊下の天井に貼り，提案するキャリブレーションツールを用いてマーカの三次元位置・姿勢を推定した．
まず，不可視マーカの準備と貼り付け作業について述べる．この作業には，5人でおよそ 20 時間程度必要とした．その内訳はマーカのパターンを加工する作業に 13 時間，壁紙を天井に貼る作業に 7 時間程度であった．経験上，同じ数のマーカを一つ一つ人手で貼る場合と比較すると全体の作業時間は軽減されたが，マーカのパターン加工の作業時間が依然として多いため，今後この作業を自動化する必要がある．
次に，不可視マーカのキャリブレーション実験について述べる．キャリブレー
ションツールに入力した画像は図 36 に示すような 100 枚 (3072 × 2304 画素) で，使用したカメラは µ770SW(Olympus 製)，カメラの内部パラメータは Tsai の手

37

図 35 天井に貼った不可視マーカ壁紙 (フラッシュ撮影)

図 36 キャリブレーションツールへの入力画像

38

1.5
1

y[m]

0.5
0

-0.5
-1
-1.5
-2
-2.5
■マーカ推定位置
マーカ推定位置＋基準マーカ位置
マーカ位置(真値)×マーカ位置(真値)

-3
-3.5
-22

-20

-18

-16

-14

-12

-10

-8

-6

-4

-2

0

2

4

x[m]

図 37 マーカのキャリブレーション結果 (基準マーカが 1 つの場合)
1.5
1

y[m]

0.5
0

-0.5
-1
-1.5
-2
-2.5
■マーカ推定位置
マーカ推定位置＋基準マーカ位置
マーカ位置(真値)×マーカ位置(真値)

-3
-3.5
-22

-20

-18

-16

-14

-12

-10

-8

-6

-4

-2

0

2

4

x[m]

図 38 マーカのキャリブレーション結果 (基準マーカが 4 つの場合)

法 [Tsa86] を用いて推定した．本実験では全てのマーカが同一平面状にあるという拘束条件を用いて，基準マーカとして 1 つのマーカの位置を世界座標系の原点に設定して与えた場合と，それに加えて 3 個のマーカの位置を計測して与えた場合についてマーカのキャリブレーション実験を行った．図 37 に基準マーカが 1 つの場合，図 38 に基準マーカが 4 つの場合のキャリブレーションツールで推定した
マーカの位置を示す．この図において＋が基準マーカの位置，□がマーカの推定
位置，×がその真値を表す．また点線で囲まれた四角形は各入力画像の撮影範囲を表す．基準マーカの位置，およびマーカの真値はトータルステーション (トプ
コン製 GPT-9005A, 測距精度:±5mm) を用いて約 5m 間隔で 20 点計測した．このときの誤差は，表 4 に示すように，基準マーカが 1 つの場合平均約 13mm，標39

表 4 キャリブレーションツールによるマーカの位置推定精度
基準マーカ数

1個

4個

平均位置誤差

13 mm

11 mm

標準偏差

12 mm

7 mm

準偏差 12mm，基準マーカが 4 つの場合は平均 11mm，標準偏差 7mm 程度であった．一般に位置・姿勢推定に用いる特徴点の計測誤差が等方性を持つのであれば，特徴点の数が多く，かつ特徴点とカメラ間の距離が近いほど，推定されるカメラ
位置・姿勢の精度は高くなる [佐藤 03]．しかしながら本システムのキャリブレー
ションツールで得られるマーカ位置は，蓄積誤差の影響により偏りを持ちやすく，
キャリブレーションの誤差がユーザ位置・姿勢推定の精度に与える影響は大きいと考えられる．そのため広い範囲でキャリブレーションを行う場合は基準マーカ
を複数与える必要がある．

2.5 結言本章では，提案するユーザ位置・姿勢推定システムにおけるインフラ環境構築
フェーズとその評価実験について述べた．提案システムでは，ユーザ位置・姿勢計測のためにインフラとして不可視マーカを環境中に貼り，その位置を計測しておく必要がる．そこで環境構築フェーズでは，多数の不可視マーカが印刷された壁紙を使用することによりマーカを貼る作業の労力の軽減を図り，マーカのキャ
リブレーションツールを提供することでマーカの三次元位置の計測作業を容易にする．環境構築実験により実際に労力が軽減されたことが確認できたが，依然としてマーカパターンの加工に多くの時間を必要としている．そのため，マーカパ
ターンを自動的に加工する装置の開発が今後の課題として挙げられる．
マーカのキャリブレーションの精度は基準マーカが 1 つの場合はおよそ 13mm，
基準マーカが 4 つの場合は 11mm 程度であった．提案するキャリブレーションツー
ルでは，マーカ間の間隔等が記述されたマーカ設計情報を利用しているため，基準マーカが 1 つの場合でも精度良くマーカの位置・姿勢が推定できている．しか40

しながら，より精度良くユーザの位置・姿勢を推定したい場合には，基準マーカの計測の手間はかかるが，複数の基準マーカを与える必要がある．

41

3. 不可視マーカと赤外線カメラを用いた位置・姿勢推定
3.1 ユーザ位置・姿勢推定の概要
ユーザ位置・姿勢推定の概略図を図 39 に示す．提案システムでは，前述した
キャリブレーションツールで作成したマーカ配置情報と赤外線カメラの内部パラメータを利用し，天井などに貼った不可視マーカ壁紙をユーザが装着した赤外線LED 付き赤外線カメラで撮影・認識することによりユーザの位置・姿勢を推定す
る．推定した位置・姿勢はその計測時刻と共に計算機の共有メモリ内に書き込まれ，拡張現実感システムなどの他のアプリケーションから参照される．また，指定したネットワーク上の計算機に UDP(User Datagram Protocol) を用いて位置・
姿勢推定結果を送信することも可能となっている．
以下では提案システムのために作成した赤外線カメラ，カメラ位置・姿勢推定

マーカ配置情報
マーカ配置情報，カメラ内部パラメータ
配置情報

赤外光

不可視マーカ

赤外線LED付き
赤外線カメラ

計算機

カメラ位置
カメラ位置・
位置・姿勢( UDP or 共有メモリに出力 )
図 39 ユーザ位置・姿勢推定の概要

42

処理の詳細，および推定精度の評価実験について述べる．

3.2 赤外線 LED 付き赤外線カメラ
提案システムのために用途に応じて特性の異なる 2 種類の赤外線カメラを作成した．それらの外観を図 40 に，仕様を表 5 に示す．これらの赤外線カメラのレンズ周辺には赤外線 LED が取り付けてあり，再帰性反射材からなる不可視マーカ
を高輝度で撮影することが可能である．これらのカメラは取り扱いを容易にする
ため，インタフェースに USB 2.0 を採用している．

2 種類カメラの内，一方の赤外線カメラは精度良く位置・姿勢を推定するために，画角が広く解像度の高いカメラ (以降，赤外線カメラ A) となっている．この
赤外線カメラ A にはビデオシースルー型のウェアラブル拡張現実感システムなどで利用するためのユーザ視界撮影用カメラも内蔵さている．そのため USB ケー
ブル 2 本で計算機と接続する必要がある．
ユーザにとっては装着する機器はできるだけ小型・軽量である方が良い．しかし，提案システムでユーザが装着する赤外線カメラの大きさと計測精度はトレードオフの関係にある．アプリケーションによっては，計測精度よりもユーザが機器を装着する際にかかる負担が少ないことが望まれる場合があるため，もう一方のカメラ (以降，赤外線カメラ B) は，小型・軽量であることを重視して作成した．
そのため赤外線カメラ B は，計測精度に関係する解像度や赤外線 LED の明るさ
は赤外線カメラ A よりも低いが，本体重量が約 20g と軽量なものとなっている．

3.3 位置・姿勢推定手法
3.3.1 カメラ位置・姿勢推定
本システムでは赤外線 LED で不可視マーカを照らしながら撮影した画像からマーカの認識を行う．また，本システムではマーカの誤検出を減らすためにマーカの ID に冗長度を持たせて符号化し，推定した位置・姿勢結果の安定化のためにカルマンフィルタ [WB01] を適用する．

43

(a) 赤外線カメラ A(b) 赤外線カメラ B

図 40 赤外線 LED 付き赤外線カメラ

表 5 赤外線カメラの仕様
赤外線カメラ A
外形寸法

赤外線カメラ B

75 mm × 55 mm × 47 mm 65 mm × 60 mm × 20 mm

本体重量

115 g

20 g

解像度

1024 × 768 画素

640 × 480 画素

水平画角

110 ◦

70 ◦

LED 数

12 個

6個

インタフェース

USB 2.0 (×2)

USB 2.0

画像更新速度

29.12 fps

30 fps

撮像素子

CCD

CMOS

44

マーカ配置情報，カメラ内部パラメータ(a) 赤外線カメラからの画像取得
(b)

マーカ認識

(c)

カメラ位置・姿勢推定(d) カルマンフィルタの適用

カメラ位置・姿勢

図 41 カメラ位置・姿勢推定処理の流れ(a) 赤外線カメラ A で撮影(b) 赤外線カメラ B で撮影

図 42 赤外線 LED 付き赤外線カメラによる不可視マーカ撮影画像

図 41 にカメラ位置・姿勢推定処理の流れを示し，以下でその詳細について述
べる．

(a) 赤外線カメラからの画像取得： 赤外線 LED 付き赤外線カメラを用いて再帰性反射材からなる不可視マーカを撮影する．再帰性反射材の性質により，赤外線カメラのレンズ付近から赤外光で照らしながら撮影した不可視マーカ

45

赤外線カメラからの入力画像

LoGフィルタ
2値化
膨張・収縮

判別分析法

マーカＩＤのマーカＩＤ
ＩＤの認識

マーカ領域候補
マーカ領域候補の領域候補の検出縮小画像の作成

2値化
輪郭抽出
多角形近似
四角形か？
yes
特徴点座標の検出

輪郭抽出

マーカ領域候補の座標

特徴点座標をビットコードへ変換
CRCによる誤り検出

マーカID，特徴点座標

図 43 マーカ認識処理の流れ

は，図 42 に示すように，はっきりと撮影することができる．

(b) マーカ認識： 図 43 にマーカ認識の処理手順を示す．本システムでは計算量の削減のために，赤外線カメラからの入力画像の縮小画像からマーカ領域の候補を抽出する．そして，その候補に対応する元画像からマーカの ID と
特徴点の座標を検出する．マーカ領域候補の抽出処理では，入力画像 (図44(a)) の縮小画像に LoG (Laplacian of Gaussian) フィルタを適用してエッジを抽出する．次にその画像に対して 2 値化，膨張・収縮処理を行った画像(図 44(b)) から，輪郭を抽出してマーカ領域候補とする．マーカ ID の認識処理では，検出したマーカ領域候補に対応する元画像の局所領域に判別分
析法 [大津 80] を適用して二値化を行い (図 44(c))，輪郭を抽出して多角形近似し，その形状が四角形である領域をマーカ領域として検出する．マーカ
領域から，マーカの外枠を構成する 4 点の座標とパターンを構成する格子46

(a) 入力画像(b) 縮小画像からのマーカ領域候補の抽出結果(c) 判別分析法による 2 値化結果

(d) マーカの検出結果

図 44 マーカ認識処理における途中結果

点の中心の座標を抽出する．抽出したマーカ外枠の 4 角の座標が一定の大きさの正方形になるように格子点の座標をアフィン変換する．その座標をマーカのパターンを構成する格子に当てはめることにより，ビットコードに変換する．最後に検出したビットコードに対して CRC による誤り検出を行い，マーカの ID を得る．このようにして検出されたマーカを図 44(d) に示す．この図で黄色の四角形で囲まれた領域が最終的に検出されたマーカ
である．

47

(c) カメラ位置・姿勢推定： 認識したマーカの 4 隅の点およびマーカ内部の格子点の画像上での座標を利用し，2.3.2 節で述べたマーカのキャリブレーショ
ンの際の処理と同様に，認識した全マーカの特徴点の再投影誤差を最小化することにより，カメラの位置・姿勢を推定する．1 つのマーカは平面上にあると仮定しているため，マーカが 1 つ以上認識されれば，位置・姿勢が推定可能である．

(d) カルマンフィルタの適用： 拡張現実感において重畳する仮想物体にジッターが起こると提示される注釈などに書かれている文字が読みにくくなるといった問題が発生する．そのため推定したユーザの位置・姿勢の値が滑らかに変化することが望まれる場合がある．そこで，カルマンフィルタ [WB01] を用いて位置・姿勢の平滑化を図る．なお，最終的に出力される推定結果には，カルマンフィルタを適用する前と適用後の値の両方が含まれる．詳細は次節で述べる．

3.3.2 カルマンフィルタを用いた位置・姿勢の平滑化
ユーザの位置・姿勢を平滑化するために，本システムでは推定したカメラ位置・
姿勢にカルマンフィルタ [WB01] の一種である SRCDKF (Square Root Central

Diﬀerence Kalman Filter)[vdMW04] を適用する．SRCDKF は非線型カルマンフィ
ルタであり，パラメータが少なく，同じく非線型カルマンフィルタの一つである
拡張カルマンフィルタ (Extended Kalman Filter)[WB01] よりも出力が安定しているという特徴を持つ．本システムでは，ユーザの装着したカメラの移動を速度一定の運動モデルで近似し，状態ベクトル xk と状態方程式を式 (19),(20) にのよ
うに定義する．
 Pk 

xk


 Rk =  P′ 
 k 



(19)

R′k

48





 Pk 

xk+1





′
 Pk   Rk   R′ 
Mk + Vk t
 

k 

t + 
+= 
 P′   0 Vk k  

 


R′k

(20)

0

ただし，

Pk = [xk , yk , zk ]T(21)

Rk = [rxk , ryk , rzk ]T(22)

P′k = [xk ′ , yk ′ , zk ′ ]T(23)

R′k = [rxk ′ , ryk ′ , rzk ′ ]T(24)

Mk = [mxk , my k , mz k , mrx k , mry k , mrz k ]T(25)

Vk = [vxk , vy k , vz k , vrx k , vry k , vrz k ]T(26)である．ここで，Pk ，Rk はそれぞれカメラ位置，姿勢を表し，P′k ，R′k は位置，姿勢に関する速度を表す．また，t は前回の位置計測時刻と現在の位置計測時刻との差分，Mk , Vk は位置・姿勢に関する外乱，位置・姿勢の速度に関する外乱をそれぞれ表す．また，観測ベクトル yk は推定した位置・姿勢に対応する 6 次元ベクトル (式 (27))，観測モデルは位置・姿勢 yk に外乱 Nk が加わったモデル (式(29)) とする．
yk = [yx k , yy k , yz k , yrx k , yry k , yrz k ]T(27)

Nk = [nxk , ny k , nz k , nrx k , nry k , nrz k ]T(28)

Yk = yk + Nk

(29)

3.4 精度評価実験と考察
赤外線カメラの位置・姿勢推定精度の評価実験と，実際の環境に不可視マーカを貼った環境の下でのユーザの位置・姿勢の推定実験を行い，提案システムを検
証した．

49

図 45 不可視マーカおよびロボットアームにとりつけられた赤外線カメラ

3.4.1 静止状態での位置・姿勢推定精度の評価
本実験では，提案システムで利用する 2 種類の赤外線カメラによる位置・姿勢
推定精度を評価する．カメラ位置・姿勢の真値を得るために，図 45 に示すように
ロボットアームの先端に赤外線カメラを取り付け，ロボットアームの正面に不可視マーカ壁紙を設置した．赤外線カメラの内部パラメータは Tsai の手法 [Tsa86]を用いて推定し，赤外線カメラおよびマーカの位置関係はトータルステーション(トプコン製 GPT-9005A, 測距精度:±5mm) を用いて計測した．マーカには 2.2 節
で述べた不可視マーカ壁紙を利用し，約 1.7m × 2.4m の範囲に縦 7, 横 12 個の格子状に 16cm 四方のマーカを配置した (マーカの密度：約 24個/m2 )．本実験ではカメラとマーカ面までの距離と精度の関係を評価するため，カメラとマーカ面を正対させてその間の距離を 10cm ごと変化させ，各条件でカメラ A に関しては 10
回，カメラ B は 3 回の試行を行った．なお本実験では時系列に依存しないカメラの推定位置・姿勢精度を評価するため，カルマンフィルタは適用していない．
図 46 にその際に認識したマーカの平均個数の変化の様子を示す．また，図 47に赤外線カメラ A,B についてカメラとマーカ面の間の距離を変化させたときの推

50

カメラA

80

カメラB

70
認識マーカ数

60
50
40
30
20
10
0
1.0

1.2

1.4

1.6

1.8
2.0
距離[m]

2.2

2.4

2.6

図 46 カメラとマーカ面の間の距離を変化させたときの認識マーカ数定したカメラ位置・姿勢の誤差の平均と各試行における分散の変化の様子を示す．
図 46 を見て分かる通り，カメラとマーカ面が近い場合はカメラの画角内に入るマーカが少ないため，認識マーカ数が少ない．逆にカメラとマーカ面が離れるとマーカパターンが潰れてしまう，かつマーカからの反射光が弱まるために，認識マーカ数が少なくなっている．特に赤外線カメラ B は小型化した反面，赤外線

LED の輝度が低いため，カメラからマーカ面までの距離が 1.8m を超えるとマーカが認識できなかった．よってカメラからマーカ面までの距離がさらに離れるよ
うな環境では，より大きなマーカを用い，赤外線 LED をより強力なものに変える必要がある．
また，図 47 より，赤外線カメラ A はマーカ面からカメラまでの距離が 1.1m から 2.4m，カメラ B では 1.0m から 1.8m の間でそれぞれ安定して位置・姿勢推定が可能であることが確認できた．どちらのカメラもオフィスのような一般的な環境の天井にマーカを貼り，ユーザが頭部にカメラを装着した際に想定されるカメ
ラとマーカ面までの距離内 (1.2m ∼ 1.5m) で位置・姿勢が推定できている．
表 6 に示すように，赤外線カメラ A に関してはマーカが 30 個以上認識できている 1.1m から 2.4m の間で位置に関しては約 5mm，姿勢に関しては約 0.2◦ でカメ

51

位置誤差(カメラA)40

位置誤差(カメラB)

位置誤差[mm]

35
30
25
20
15
10
5
0
1.0

1.2

1.4

1.6

1.8
2.0
距離[m]

2.2

2.4

2.6

2.4

2.6

姿勢誤差[°](a) 位置誤差

姿勢誤差(カメラA)

1.0
0.9
0.8
0.7
0.6
0.5
0.4
0.3
0.2
0.1
0.0
1.0

1.2

1.4

1.6

姿勢誤差(カメラB)

1.8
2.0
距離[m]

2.2

(b) 姿勢誤差

図 47 カメラとマーカ面の間の距離を変化させたときの推定したカメラ位置・姿
勢の誤差

52

表 6 カメラ位置・姿勢推定結果
赤外線カメラ A

赤外線カメラ B

解像度

1024 × 768 画素

648 × 480 画素

水平画角

110 ◦

70 ◦

カメラとマーカ間の距離の範囲

1.1∼ 2.4m

1.0∼ 1.8m

平均位置誤差

5 mm

15 mm

位置誤差の標準偏差

2 mm

2 mm

平均姿勢誤差

0.2 ◦

0.5 ◦

姿勢誤差の標準偏差0.05 ◦

0.1 ◦0.21 ◦

0.51 ◦

3 画素

7 画素

安定して位置・姿勢推定可能な

拡張現実感で仮想物体を提示する際の角度誤差
拡張現実感で 5m 先の仮想物体を提示する際の画像上での誤差(解像度:800×600，水平画角:60◦ ，◦

垂直画角:45 の表示装置を用いた場合)

53

(a) 密度:24個/m2(b) 密度:12個/m2(c) 密度:6個/m2(d) 密度:3個/m2

図 48 マーカの密度を変えた場合の赤外線カメラによるマーカ撮影画像

ラ位置・姿勢が推定できた．赤外線カメラ B は解像度が 640×480，画角が 70 度であり，カメラ A よりも解像度も画角も小さいために誤差が大きくなっており，位置，姿勢それぞれに関して約 15mm，0.5◦ の誤差でカメラ位置・姿勢が推定されている．よって，1.2 節で述べた拡張現実感のために要求される計測精度に関して考察すると，拡張現実感で重畳する仮想物体が赤外線カメラ A では最大で 0.21◦ ，
カメラ B では 0.51◦ の角度誤差で描画される可能性がある．また，5m 先の仮想物
体を解像度 800×600，水平・垂直画角 60◦ ,45◦ の表示装置に描画する場合，カメラ A では最大で 3 画素，カメラ B では 7 画素のずれで描画される可能性がある．
次に，不可視マーカ壁紙を利用することによりマーカを密に配置できたことが，54

位置・姿勢推定精度に与える影響を検証するために実験を行った．本実験では，前述の実験において各カメラで撮影したマーカ画像に対し，図 48 のように特定のマーカを間引いて塗りつぶし，マーカの密度が異なるマーカ撮影画像を作成した．これらの画像に対しカメラ位置・姿勢推定を行うことで，マーカの密度に関するカメラ位置・姿勢推定精度を評価する．前述の実験で用いた不可視マーカ壁
紙は約 1.7m × 2.4m の範囲に縦 7, 横 12 個の格子状に 16cm 四方のマーカを配置してあるため，マーカの密度は約 24個/m2 である．そこから，1 つおきにマーカを間引いてマーカの密度を約 12個/m2 とした場合，約 6個/m2 とした場合，約 3個/m2 とした場合についてマーカとカメラ間の距離に対する赤外線カメラ A,B の
位置・姿勢推定精度の変化の様子を図 49 に示す．この結果より，マーカ密度が最も大きい 24個/m2 の場合が，最も精度良くカメラの位置・姿勢を推定できており，
不可視マーカを密に印刷した壁紙を利用することの有効性が確認できた．
また，この結果を概観すると認識マーカ数が増えると推定精度が向上する傾向が見られた．そこで，認識マーカ数に対する位置推定誤差の変化の様子を図 50に示し，考察する．表 7 に示すように，この結果よりカメラ A に関しては認識
マーカ数 40 個以上で位置誤差 5mm 程度，20 個以上で 10mm 程度，10 個以上で20mm 程度，5 個以上で 40mm 程度であることが確認できた．またカメラ B に関しては，認識マーカ数 13 個以上で位置誤差 15mm 程度，5 個以上で 25mm 程度であることが確認できた．このことから，利用する環境におけるカメラの移動可能範囲 (カメラとマーカ間の距離) の上限と下限で認識できるマーカ数を考慮して，不可視マーカ壁紙上のマーカの大きさや密度を決定すればよい．例えば今回利用した不可視マーカ壁紙と赤外線カメラ A の組み合わせの場合，想定されるカ
メラの稼動範囲が，マーカからの距離が約 1.1m ∼2.4m となるような環境に適している．

3.4.2 実環境でのユーザ位置・姿勢推定
実環境での位置・姿勢推定精度の評価

前章で述べた環境構築フェーズで構築した環境の下でのカメラ位置・姿勢推定精度を評価するため，実験を行った．本実
験では，2.4 節で述べた実験において構築した環境下で，2 種類の赤外線カメラ

55

24

12

6

3

マーカ密度 [個/m^2]
80

70

70

60

60
位置誤差 [mm]

位置誤差 [mm]マーカ密度 [個/m^2]
80

50
40
30

6

3

40
30
20

10

10
0
1

1.5

2

1

2.5

1.2

(a) 位置誤差 (赤外線カメラ A)
マーカ密度 [個/m^2]

24

1.4

1.6

1.8

距離 [m]

距離 [m]

126(b) 位置誤差 (赤外線カメラ B)
マーカ密度 [個/m^2]

3

4

4

3.5

3.5

3

24

12

6

3

3
姿勢誤差 [°]

姿勢誤差 [°]

12

50

20

0

2.5
2
1.5

2.5
2
1.5

1

1

0.5

0.5
0

0
1

1.5

2

1

2.5

1.2

(c) 姿勢誤差 (赤外線カメラ A)
マーカ密度 [個/m^2]

1.4

1.6

1.8

距離 [m]

距離 [m]

24126(d) 姿勢誤差 (赤外線カメラ B)
マーカ密度 [個/m^2]

3

80

80

70

70

60

60

認識マーカ数 [個]

認識マーカ数 [個]

24

50
40
30

12

6

3

50
40
30

20

20

10

10

0

24

0
1

1.5

2

2.5

1

距離 [m]

1.2

1.4

1.6

1.8

距離 [m](e) 認識マーカ数 (赤外線カメラ A)(f) 認識マーカ数 (赤外線カメラ B)

図 49 マーカの密度を変えた場合のカメラとマーカ間の距離に対するカメラ位
置・姿勢推定結果

56

24

12

6

マーカ密度 [個/m^2]

3

80

70

70

60

60
位置誤差 [mm]

位置誤差 [mm]マーカ密度 [個/m^2]
80

50
40
30

24

12

6

3

50
40
30

20

20

10

10
0

0
0

20

40
認識マーカ数6080(a) 赤外線カメラ A

0

10

20
30
認識マーカ数40(b) 赤外線カメラ B

図 50 マーカの密度に対する認識マーカ数とカメラ位置推定誤差の関係

表 7 マーカの密度に対する認識マーカ数とカメラ位置推定誤差
マーカ認識数赤外線カメラ A

赤外線カメラ B

40 個以上

5 mm

15 mm

20 個以上

10 mm

15 mm

13 個以上

15 mm

15 mm

10 個以上

20 mm

20 mm

5 個以上

40 mm

25 mm

57

50

図 51 実環境での位置・姿勢推定の精度評価実験の様子を静止させてカメラ位置・姿勢を推定し，その状態におけるカメラ位置・姿勢を
トータルステーション (トプコン製 GPT-9005A, 測距精度:±5mm) を用いて計測した．マーカの配置情報として，2.4 節で示した基準マーカが 1 つの場合と 4 つの場合のキャリブレーション結果を利用し，赤外線カメラ A と B は図 51 のように，台の上にほぼ鉛直上向きで固定した．台と各カメラ間の位置・姿勢の関係は手動で計測し，トータルステーションを用いて台の位置・姿勢を計測した結果か
ら各カメラの位置・姿勢の真値を算出した．このときの世界座標系は 2.4 節で述
べた通り，ある 1 つの基準マーカを原点とし，マーカを貼った天井面が x-y 平面，
鉛直下向きが z 方向となっている．なお，このときのカメラと天井との間の距離は約 1.2m であった．
図 52 に基準マーカが 1 つの場合のキャリブレーション結果を用いて推定されたカメラ位置とその真値を二次元上に投影した結果を示す．この図は環境を真上から見下ろした様子に相当する．また，基準マーカが 4 つの場合もほぼ同様の結果が得られた．カメラ位置・姿勢の計測は図 52 に示すように環境内の 18 箇所で行っており，このときのカメラ位置・姿勢推定の誤差を表 8 に示す．

1.2 節で述べた拡張現実感のために要求される計測精度に関して考察すると，
拡張現実感で重畳する仮想物体が赤外線カメラ A では最大で 0.5◦ ，カメラ B では 0.7◦ の角度誤差で描画される可能性がある．また，5m 先の仮想物体を解像度

58推定位置(カメラA)

真値(カメラA)

推定位置(カメラB)

真値(カメラB)

1

y [m]

0

-1
マーカ設置範囲
-2

-3
-18

-17

-16

-15

-14

-13

-12

-11

-10

-9

-8
-7
x [m]

-6

-5

-4

-3

-2

-1

0

1

2

図 52 実環境での位置・姿勢推定結果

表 8 実環境でのカメラ位置・姿勢推定精度
カメラ A

カメラ B

基準マーカ数1

4

1

4

位置平均誤差

9 mm

9 mm

13 mm

11 mm

位置標準偏差

4 mm

4 mm

6 mm

5 mm

姿勢平均誤差0.41 ◦

0.35 ◦

0.52 ◦

0.41 ◦

姿勢標準偏差0.13 ◦

0.14 ◦

0.31 ◦

0.24 ◦

0.45 ◦

0.42 ◦

0.70 ◦

0.55 ◦

6 画素 5 画素， 9 画素

7 画素

拡張現実感で仮想物体を提示する際の角度誤差
拡張現実感で 5m 先の仮想物体を提示する際の画像上での誤差(解像度:800×600，水平画角:60◦ ，
垂直画角:45◦ の表示装置を用いた場合)

59

25[m]
2.5[m]

不可視マーカ

2[m]

y

z

x

赤外線LED付き
赤外線カメラ

2.8
[m]

ユーザ

図 53 ユーザ位置・姿勢推定実験の環境

800×600，水平・垂直画角 60◦ ,45◦ の表示装置に描画する場合，カメラ A では最大で 6 画素，カメラ B では 9 画素のずれで描画される可能性がある．また，マーカキャリブレーションの誤差が平均約 13mm(標準偏差 12mm) であった基準マー
カが 1 つの場合のキャリブレーション結果を利用した場合よりも，誤差が平均11mm(標準偏差 7mm) であった基準マーカが 4 つの場合の方が精度良くカメラ位
置・姿勢が推定できている．従って高精度な計測精度が必要な場合は複数の基準
マーカを与えることにより，3.4.1 節でのマーカキャリブレーションに誤差がない
場合の評価実験の結果 (カメラ A:位置 5mm, 姿勢 0.2◦ ，カメラ B:位置 15mm, 姿
勢 0.5◦ ) まで計測精度を高めることができると考えられる．
実環境でのユーザ位置・姿勢推定の検証

実際のウェアラブルコンピュータユーザの位置・姿勢推定結果を確認するため，2.4 節で述べた実験において構築した環境下で，ユーザの位置・姿勢を計測した．本実験では，ユーザはユーザ視点画像撮影
用カメラを内蔵する赤外線カメラ A を頭部に装着し，図 53 に示す環境中の座標系の x 方向へ歩いて往復した．このときのカルマンフィルタのパラメータは経験的に決定した．また，計算機には ThinkPad X60 (lenovo 製，CPU:Intel Core2Duo

T7200 2GHz, メモリ:2GB) を使用した．
60

このときのユーザの位置・姿勢推定結果を図 54，55 に示す．これらの図において，x, y, z がカルマンフィルタを適用しない場合の推定されたユーザ位置，x̃, ỹ, z̃がカルマンフィルタを適用した場合のユーザ位置である．同様に rx , ry , rz がカル
マンフィルタを適用しない場合の各軸に対するユーザの姿勢であり，r˜x , r˜y , r˜z がカルマンフィルタを適用した場合のユーザ姿勢である．図 55 において，座標系の原点はマーカを貼った天井面にあり，黒色の四角錐および円がカルマンフィル
タ適用前のカメラ位置・姿勢，もう一方の色の四角錐と円がカルマンフィルタ適用後のカメラ位置・姿勢を表す．これらの結果より，推定した位置・姿勢に大きな外れ値がなく，提案システムによって安定してユーザの位置・姿勢が推定できていることが確認できる．
この実験において位置・姿勢推定の更新頻度は約 29fps(CPU 使用率:約 20%) であり，実時間で位置・姿勢が計測できることが確認できた．

3.5 ウェアラブル拡張現実感への適用
実際にウェアラブル拡張現実感で提案システムの利用が可能か検証するために，
ウェアラブル拡張現実感システムを構築し，実験を行った．実験環境，およびユーザの動きは前節における実験と同様で，ウェアラブル拡張現実感の注釈合成画像を生成するため，ユーザは図 56 のように，単眼ビデオシースルー型の HMD(SV-6,

MicorOptical 製, 解像度 800×600) とユーザ視点画像撮影用カメラを内蔵する赤外線カメラ A を頭部に装着し，図 53 に示す環境中の座標系の x 方向へ歩いて往復した．
このときのウェアラブル拡張現実感システムによってユーザに提示された注釈
合成画像を図 57 に示す．ここでは事前に作成した環境の三次元モデルを利用して注釈の隠蔽関係を考慮して合成画像を生成した．図 57 より，隠蔽関係が正しく表現された画像が生成できていることから，ユーザ視界画像を撮影したカメラの正確な位置・姿勢が推定されていることが確認できた．また，この図 57 はカルマンフィルタ適用前のユーザの推定位置・姿勢を用いて生成した注釈合成画像
である．提案するユーザ位置・姿勢推定システムは，赤外線 LED でマーカを照らしながら撮影するため，高速なシャッター速度でマーカを撮影することができ61

x~(カルマンフィルタ適用後)xyy~(カルマンフィルタ適用後)zz~(カルマンフィルタ適用後)
1.4

0
-2
-4
位置(x,x~)[m]

-8
1.2

-10
-12
-14

位置(y,y~,z,z~)[m]

1.3
-6

1.1
-16
-18
-20

1.0
1

101

201

301

401

501

601
フレーム

701

801

901

1001

1101

(a) ユーザ位置推定結果

rx

rx~(カルマンフィルタ適用後)ryry~(カルマンフィルタ適用後)

rz

rz~(カルマンフィルタ適用後)
120

4

60
0
-2
0
-4
-6
-60
-8
-10

-120
1

101

201

301

401

501

601
フレーム

701

801

(b) ユーザ姿勢推定結果

図 54 ユーザ位置・姿勢推定結果

62

901

1001

1101

姿勢(rz,rz~)[°]

姿勢(rx,rx~,ry,ry~)[°]

2

y
x
z

x

図 55 推定されたユーザ位置・姿勢の様子63

図 56 ウェアラブル拡張現実感システムを利用するユーザと環境の様子

る．本実験では 1/250sec のシャッター速度でマーカを撮影しているため，図 57に見られるようにユーザ視点画像にモーションブラーが発生するような動きに対しても，ユーザの位置・姿勢が推定でき，正しい位置に注釈が提示されていることが生成した注釈合成画像から確認できた．カルマンフィルタ適用前の位置・姿勢を用いて注釈提示画像を生成すると 2,3 画素程度のジッターが発生した．しかしながら，カルマンフィルタ適用後の位置・姿勢を用いた場合はジッターの発生が抑えられることが確認できた．ただしユーザが激しく動くと，カルマンフィル
タを通した位置・姿勢が実際のユーザ位置・姿勢に追従しきれない場合があるため，アプリケーションによって両者を使い分ける必要がある．

3.6 結言本章では，提案するユーザ位置・姿勢推定システムにおける，ユーザ位置・姿勢
推定フェーズとその評価実験について述べた．前章のインフラ環境構築フェーズ
で多数のマーカを密に配置できているため，ユーザが装着した赤外線 LED 付き
赤外線カメラを用いて精度良くユーザの位置・姿勢を推定することが可能である．

64

図 57 ウェアラブル型拡張現実感システムによる注釈合成画像

65

本章では特性の異なる 2 種類の赤外線 LED 付き赤外線カメラを作成し，その評価を行った．解像度の高い赤外線カメラ A に関してはマーカ面とカメラ間の距離
が 1.1m から 2.4m の間で位置に関して約 5mm，姿勢に関して約 0.2◦ の誤差で計測が可能だった．小型・軽量の赤外線カメラ B に関しては 1.0m から 1.8m の間で
位置 15mm，姿勢 0.5◦ 程度の誤差で計測が可能であることを確認した．また，2.4
節で構築した環境で行った実環境における実験でも，カメラ A に関しては 9mm
程度，カメラ B に関しては 13mm 程度の誤差で，安定してユーザの位置・姿勢が推定できることを確認した．
本章では，提案システムがウェアラブル拡張現実感で利用可能であることを確認するために，ウェアラブル拡張現実感システムを構築し実験を行った．提案シ
ステムでは，マーカを赤外線 LED で照らしながら高速なシャッター速度で撮影しているため，ユーザ視界画像にモーションブラーが発生するような動きのときでもユーザの位置・姿勢が推定できることが確認できた．また提案システムをウェ
アラブル拡張現実感へ適用した場合，計測精度の標準偏差の値から考えると，5m先の仮想物体を重畳表示した際に提示画像上でカメラ A の場合は 2 画素，カメラ

B の場合は 4 画素程度のジッターが発生する可能性がある．実際にカメラ A を用
いてウェアラブル拡張現実感システムを構築した結果でも，提示画像上で数画素のジッターが確認された．しかし，カルマンフィルタを利用して位置・姿勢の平滑化を行った場合は，ジッターが取り除かれることが確認できた．

66

4. 結論
拡張現実感において，幾何学的整合性についての問題を解決することは重要な課題である．特にウェアラブル拡張現実感では移動範囲が広く，この問題の解決は重要である．そこで本論文では，屋内におけるウェアラブル拡張現実感の実利用を目指し，ウェアラブルコンピュータユーザの位置・姿勢を推定するシステムを構築した．ウェアラブル拡張現実感の実利用のためには，実環境の景観を損ねず，かつ容易に位置・姿勢推定のためのインフラを構築し，精度良くユーザの位置・姿勢を計測する必要がある．そのため，本研究では半透明の再帰性反射材からなる不可視マーカ壁紙を利用することで景観を損ねずに位置・姿勢を推定する
ための環境を実現した．従来よく用いられていた画像マーカは目立つため，実際の環境に多数のマーカを密に貼ることは難しかった．しかし，不可視マーカは肉眼では視認しにくいため，多数のマーカを密に貼ることによってユーザの位置・姿勢の推定精度の向上を図ることが可能である．
提案システムはインフラ環境の構築を容易に行えるように支援する環境構築
フェーズと，実時間で精度良くユーザの位置・姿勢推定を行うフェーズから構成される．

2 章では前者のインフラ環境構築フェーズについて述べた．ユーザ位置・姿勢推定のためのインフラに再帰性反射材からなる不可視マーカを密に印刷した壁紙を利用し，景観を損ねることなく貼ったマーカをデジタルカメラで撮影してキャ
リブレーションするツールを提供することで環境の構築の労力の軽減を図った．

3 章では 2 章で述べた環境構築フェーズによって構築されたインフラを用いて，ユーザ位置・姿勢を推定するフェーズについて述べた．環境構築フェーズにより多数のマーカを密に貼ることができているため，ユーザが装着した赤外線 LED付き赤外線カメラを用いて精度良くユーザの位置・姿勢を推定することが可能となる．本研究では特性の異なる 2 種類の赤外線 LED 付き赤外線カメラを作成し，その評価を行った．解像度の高い赤外線カメラ A に関してはマーカ面とカメラ間の距離が 1.1m から 2.4m の間で位置に関して約 5mm，姿勢に関して約 0.2◦ の誤差で計測が可能だった．小型・軽量の赤外線カメラ B に関しては 1.0m から 1.8mの間で位置 15mm，姿勢 0.5◦ 程度の誤差で計測が可能であることを確認した．ま67

た，実環境における実験でもカメラ A,B それぞれ約 9mm,13mm の誤差で位置が計測でき，安定してユーザの位置・姿勢が推定できることを確認した．従って赤外線カメラ A を用いた場合には，拡張現実感における提示画像上で 0.45◦ 以下の角度誤差で仮想物体を重畳表示することが可能である．カメラ B に関しては最大で0.7◦ 程度の角度誤差が発生すると可能性があるため，厳密な位置に重畳する必要のないような注釈情報などを提示するウェアラブル拡張現実感システムに利用できると考えられる．さらに提案システムではカルマンフィルタによって位置・姿勢推定結果の平滑化を行うことも可能であるため，重畳表示する仮想物体のジッターの影響がユーザに違和感を与えやすい拡張現実感システムに有効である．
本研究で提案した位置・姿勢推定システムは，人物などの移動体へ注釈付けを行うウェアラブル拡張現実感システム [MKY06, 牧田 07] や，ハンドヘルドプロ
ジェクション型 AR ナビゲーションシステム [永松 08] に利用されている．人物への注釈付けを行うウェアラブル拡張現実感システム [MKY06, 牧田 07] では，ユーザは頭部に赤外線カメラを装着し，提案システムによってその位置・姿勢を計測する．ユーザ同士は互いの位置・姿勢を無線ネットワークを通じて交換し合い，交換した位置・姿勢を用いて誰が何処にいるかを，図 58(a) に示すように，ユー
ザの視界に重畳して提示する．また，ハンドヘルドプロジェクション型 AR ナビ
ゲーションシステム [永松 08] では，赤外線カメラを取り付けたハンドヘルドプロ
ジェクタの位置・姿勢を提案システムによって計測する．ナビゲーションシステ
ムは計測したプロジェクタの位置・姿勢と環境の三次元形状を利用して，壁や床などに案内のポスターが貼られているかのように，投影面の正面から見て歪みな
く案内情報を投影する．このようにして，図 58(b) に示すように，屋内環境の壁や床などの様々な場所に案内情報を投影することによりユーザを案内する．提案
システムはこのようなウェアラブル拡張現実感での利用以外にも，屋内におけるロボットの自己位置同定に利用することも可能である．
最後に提案システムを本論文で行った実験環境とは異なる環境で用いる場合について考察する．3.4.2 節で述べたように，不可視マーカ壁紙上のマーカの大きさと間隔は，想定される環境でのマーカに対するユーザが装着したカメラの移動可
能範囲と使用するカメラの組み合わせによって決定される．例えば本論文で利用

68

(a) 人物への注釈付けを行うウェアラブル拡張
現実感システム [牧田 07](b) ハンドヘルドプロジェクション型 AR ナビ
ゲーションシステム [永松 08]

図 58 提案システムの利用例

した不可視マーカ壁紙と赤外線カメラ A の組み合わせの場合，想定されるカメラの移動可能範囲が，マーカからの距離が約 1.1m ∼2.4m となるような環境，赤外線カメラ B の場合は約 1.0m ∼ 1.8m となるような環境に適している．これはオ
フィス環境のような天井高 3m 程度の環境で人間が立ったりしゃがんだりする範囲に一致する．天井高が本論文での環境と異なる場合，基本的には本実験で利用した不可視マーカ壁紙のマーカの大きさ，間隔を，マーカとカメラ間の距離に比例して変化させれば良い．例えば天井高が 2 倍の 6m になった場合には，マーカの大きさも 2 倍の 32cm にすれば良い．ただし，天井高が高くなるほど相対的に位置・姿勢推定の分解能が低下し，カメラの移動可能範囲が広くなる．また，カメラとマーカ間の距離が離れれば，マーカからの反射光の減衰も大きくなるため，
赤外線カメラに取り付けてある赤外線 LED の出力を上げる必要がある．特にカメラ B の赤外線 LED の出力は低いため，天井高が 4m 以上になる場合は出力を上げなければならない．
また，天井高ではなくカメラの移動可能範囲を広げたい場合，図 59(a) のように，大きなマーカと小さなマーカを組み合わせたパターンや，図 59(b) に示す入れ子型マーカ [立野 06] のようなパターンの不可視マーカ壁紙を設計する必要が69

(a) 異なる大きさのマーカが混在した
マーカパターン例(b) 入れ子型マーカ [立野 06]

図 59 カメラの移動可能範囲の広いマーカパターン例

ある．
本研究に残された課題として，依然として多くの作業時間を必要としている
マーカのパターンの加工を自動化することが挙げられる．これはカッティングプ
ロッタのヘッドにマーカのパターンを削るためのルーターを取り付け，ランダムに ID が配置されたマーカパターンの図を入力して，再帰性反射材の部分を削り取ることで実現できると考えられる．また，ユーザ位置・姿勢推定の部分をハードウェア化し，ネットワーク等を通して推定した位置・姿勢を出力するようなユニットを開発し，より簡単に実環境でユーザの位置・姿勢を計測できるようにすることも課題として挙げられる．

70

謝辞
本研究の全過程を通して，御懇篤なる御指導，御鞭撻を賜わりました視覚情報
メディア講座 横矢直和 教授に心より深謝致します．特に，研究ミーティングや論文の添削などにおいて正鵠を得た御指摘を頂き，本研究をより良いものへ発展することができました．
本研究の遂行にあたり，副指導教官として有益なる御指摘，御助言を頂いた知能情報処理学講座 木戸出正繼 教授，ならびに視覚情報メディア講座 山澤一誠 准教授に厚く御礼申し上げます．
本研究に関して，機会有る毎に様々な御助言を頂いた，知能情報処理学講座 木戸出正繼教授をはじめとした，科学技術振興事業団（JST） 戦略的基礎研究推進
事業（CREST）: 高度メディア社会の生活情報技術「日常生活を拡張する着用
指向情報パートナーの開発」プロジェクトの基幹講座の諸先生方および参加メン
バーの皆様に心より御礼申し上げます．
奈良先端科学技術大学院大学 21 世紀 COE プログラム「ユビキタス統合メディアコンピューティング」研究拠点リーダー千原國宏教授をはじめ，本研究を進めるにあたり有益な御助言を頂いた同プログラムのコアリーダーおよび各研究グルー
プの諸先生方，事務補佐員の皆様，研究員の皆様に深く感謝いたします．
また，視覚情報メディア講座 神原誠之 助教には，研究の全過程を通じて直接懇切丁寧な御指導，御助言を賜わりました．神原助教に日々様々な御助言，御指摘を頂けたことで，本研究を円滑に進めることができました．ここに心より深謝申し上げます．
本研究に関する貴重な御助言や御指摘を頂きました視覚情報メディア講座 佐
藤智和 助教に深く感謝致します．日頃から多岐にわたる御支援を頂いた視覚情報
メディア講座の諸氏に感謝致します．特に同じ研究グループで実験への協力や助言を頂いた 牧田孝嗣 氏，奥村文洋 氏に感謝致します．最後に日々の研究活動を支えて頂いた，視覚情報メディア講座 事務補佐員 守屋知代 女史および 高橋美央 女史に深く感謝致します．

71

参考文献
[ABB+ 01] Ronald Azuma, Yohan Baillot, Reinhold Behringer, Steven Feiner,
Simon Julier and Blair MacIntyre, “Recent advances in augmented
reality,” IEEE Computer Graphics and Applications, Vol. 21, No. 6,
pp. 34-47, 2001.
[ALCS03] Kusuma Agusanto, Li Li, Zhu Chuangui and Ng Wan Sing, “Photorealistic rendering for augmented reality using environment illumination,” Proc. 2nd IEEE/ACM Int. Symp. on Mixed and Augmented
Reality (ISMAR 03), pp. 208-216, 2003.
[ALO+ 04] Oliver Amft, Michael Lauﬀer, Stijn Ossevoort, Fabrizio Macaluso,
Paul Lukowicz and Gerhard Tröster, “Design of the QBIC wearable
computing platform,” Proc. 15th IEEE Int. Conf. on Applicationspeciﬁc Systems, Architectures and Processors (ASAP 2004), pp. 398410, 2004.
[Azu97]

Ronald Azuma, “A survey of augmented reality,” Presence, Vol. 6,
No. 4, pp. 355-385, 1997.

[BN95]

Michael Bajura and Ulrich Neumann, “Dynamic registration correction in video-based augmented reality systems,” IEEE Computer
Graphics and Applications, Vol. 15, No. 5, pp. 52-60, 1995.

[BNR02]

Gregory Baratoﬀ, Alexander Neubeck and Holger Regenbrecht, “Interactive multi-marker calibration for augmented reality applications,” Proc. 1st IEEE/ACM Int. Symp. on Mixed and Augmented
Reality (ISMAR2002), pp. 107-116, 2002.

[BP00]

Paramvir Bahl and Venkata N. Padmanabhan, “RADAR: An inbuilding RF-based user location and tracking system,” Proc. 19th72

Conf. of the IEEE Computer and Communications Societies (INFOCOM 2000), pp. 775-784, 2000.
[BWHN07] Christoph Bichlmeier, Felix Wimmer, Sandro Michael Heining andNassir Navab, “Contextual anatomic mimesis: Hybrid in-situ visualization method for improving multi-sensory depth perception in medical augmented reality,” Proc. 6th IEEE/ACM Int. Symp. on Mixed
and Augmented Reality (ISMAR2007), pp. 129-138, 2007.
[CRT04]Roberto Cipolla, Duncan Robertson and Ben Tordoﬀ, “Image-based
localization,” Proc. 10th Int. Conf. on Virtual Systems and MultiMedia (VSMM 2004), pp. 22-29, 2004.

[DCK04]

Andrew J. Davison, Yolanda Gonzalez Cid and Nobuyuki Kita, “Realtime 3D SLAM with wide-angle vision,” Proc 5th IFAC/EURON
Symp. on Intelligent Autonomous Vehicles (IAV2004), 2004.

[DK02]

Patrick Dahne and John N. Karigiannis, “ARCHEOGUIDE: Systemarchitectureof a mobile outdoor augmented reality system,” Proc.
1st IEEE/ACM Int. Symp. on Mixed and Augmented Reality (ISMAR2002), pp. 263-264, 2002.

[DPC+ 01] M.W.M.G. Dissanayake, P.Newman, S. Clark, H.F. Durrant-Whyte
and M. Csorba, “A solution to the simultaneous localization and map
building (SLAM) problem,” IEEE Trans. on Robotics and Automation, Vol. 17, No. 3, pp. 229-241, 2001.
[DSGP03] Rich DeVaul, Michael Sung, Jonathan Gips and Alex Sandy Pentland,“Mithril 2003: Applications and architecture,” Proc. 7th IEEE Int.
Symp. on Wearable Computers (ISWC’03), pp. 4-11, 2003.
[Eur]

Eurotech, “ZYPAD,” http://www.zypad.com/zypad/home.aspx.

73

[FMS93]

Steven Feiner, Blair Macintyre and Doree Seligmann, “Knowledgebased augmented reality,” Communications of the ACM, Vol. 36,
No. 7, pp. 52-62, 1993.

[Fox05]

Eric Foxlin, “Pedestrian tracking with shoe-mounted inertial sensors,”
IEEE Computer Graphics and Applications, Vol. 25, No. 6, pp. 38-46,
2005.

[Fri02]

Wolfgang Friedrich, “ARVIKA - augmented reality for development,
production and service,” Proc. 1st IEEE/ACM Int. Symp. on Mixed
and Augmented Reality (ISMAR2002), pp. 3-4, 2002.

[GCHH03] Simon Gibson, Jon Cook, Toby Howard and Roger Hubbold, “Rapid
shadow generation in real-world lighting environments,” Proc. 14th
Eurographics workshop on Rendering, pp. 219-229, 2003.
[GSB+ 07] Pierre Georgel, Pierre Schroeder, Selim Benhimane, Stefan Hinterstoisser, Mirko Appel and Nassir Navab, “An industrial augmented
reality solution for discrepancy check,” Proc. 6th IEEE/ACM Int.
Symp. on Mixed and Augmented Reality (ISMAR2007), pp. 111-114,
2007.
[HFP99]Tobias Höllerer, Steven Feiner and John Pavlik, “Situated documentaries: Embedding multimedia presentations in the real world,” Proc.
3rd IEEE Int. Symp. on Wearable Computers (ISWC’99), pp. 79-86,
1999.

[HHF03]Drexel Hallaway, Tobias Höllerer and Steven Feiner, “Coarse, inexpensive, infrared tracking for wearable computing,” Proc. 7th IEEE
Int. Symp. on Wearable Computers (ISWC’03), pp. 69-78, 2003.

[HKY06]

Akihiro Hamaguchi, Masayuki Kanbara and Naokazu Yokoya, “Userlocalization using wearable electromagnetic tracker and orienta74

tion sensor,” Proc. 10th IEEE Int. Symp. on Wearable Computers(ISWC06), pp. 55-58, 2006.
[HSHS05] Charles E. Hughes, Christopher B. Stapleton, Darin E. Hughes andEileen M. Smith, “Mixed reality in education, entertainment, andtraining,” IEEE Computer Graphics and Applications, Vol. 25, No. 6,
pp. 24-30, 2005.
[Inc]

InterSense

Inc.,“INTER

SENSE

IS-600

Mark2,”

http://www.isense.com/products/prec/is600/.
[KB99]

Hirokazu Kato and Mark Billinghurst, “Marker tracking and hmd
calibration for a video-based augmented reality conferencing system,” Proc. 2nd IEEE/ACM Int. Workshop on Augmented Reality(IWAR’99), pp. 85-94, 1999.

[KK03a]Masakatsu Kourogi and Takeshi Kurata, “Personal positioning basedon walking locomotion analysis with self-contained sensors and wearable camera,” Proc. 2nd IEEE/ACM Int. Symp. on Mixed and Augmented Reality (ISMAR 03), pp. 103-112, 2003.

[KK03b]

Masakatsu Kourogi and Takeshi Kurata, “A wearable augmented reality system with personal positioning based on walking locomotion
analysis,” Proc. 2nd IEEE/ACM Int. Symp. on Mixed and Augmented
Reality (ISMAR 03), pp. 260-261, 2003.

[KKS01]

Masakatsu Kourogi, Takeshi Kurata and Katsuhiko Sakaue, “Apanorama-based method of personal positioning and orientation andits real-time applications for wearable computers,” Proc. 5th IEEE
Int. Symp. on Wearable Computers (ISWC 2001), pp. 107-114, 2001.

[KLK+ 02] Michael Kalkusch, Thomas Lidy, Michael Knapp, Gerhard Reitmayr,
Hannes Kaufmann and Dieter Schmalstieg, “Structured visual mark75

ers for indoor pathﬁnding,” Proc. 1st IEEE Int. Augmented Reality
Toolkit Workshop (ART’02), 2002.
[KM07]

Georg Klein and David Murray, “Parallel tracking and mapping forsmall AR workspaces,” Proc. 6th IEEE/ACM Int. Symp. on Mixed
and Augmented Reality (ISMAR2007), pp. 225-234, 2007.

[KY04]

Masayuki Kanbara and Naokazu Yokoya, “Real-time estimation oflight source environment for photorealistic augmented reality,” Proc.
17th IAPR Int. Conf. on Pattern Recognition (ICPR2004), pp. 911914, 2004.

[KYO+ 96] Takeo Kanade, Atsushi Yoshida, Kazuo Oda, Hiroshi Kano and
Masaya Tanaka, “A stereo machine for video-rate dense depth mapping and its new applications,” Proc. IEEE Computer Society Conf.
on Computer Vision and Pattern Recognition (CVPR’96), pp. 196202, 1996.
[LCC+ 05] Anthony LaMarca, Yatin Chawathe, Sunny Consolvo, Jeﬀrey Hightower, Ian Smith, James Scott, Tim Sohn, James Howard, Jeﬀ
Hughes, Fred Potter, Jason Tabert, Pauline Powledge, Gaetano Borriello and Bill Schilit, “Place Lab: Device positioning using radio
beacons in the wild,” Proc. 3rd Int. Conf. on Pervasive Computing(Pervasive 2005), pp. 116-133, 2005.
[LCN+ 93] William Lorensen, Harvey Cline, Christopher Naﬁs, Ron Kikinis,David Altobelli, Langham Gleason and Ferenc Jolesz, “Enhancing
reality in the operating room,” Proc. IEEE Visualization ’93, pp. 410–
415, 1993.
[LM02]

Seon-Woo Lee and Kenji Mase, “Activity and location recognition
using wearable sensors,” IEEE Pervasive Computing, Vol. 1, No. 3,
pp. 24-32, 2002.
76

[LVTF03] Vincent Lepetit, Luca Vacchetti, Daniel Thalmann and Pascal Fua,
“Fully automated and stable registration for augmented reality applications,” Proc. 2nd IEEE/ACM Int. Symp. on Mixed and Augmented
Reality (ISMAR 03), pp. 93-102, 2003.
[MKY06]

Koji Makita, Masayuki Kanbara and Naokazu Yokoya, “Personal information annotation on wearable computer users with hybrid peerto-peer communication,” Proc. 16th Int. Conf. on Artiﬁcial Reality
and Telexistence (ICAT 2006), pp. 217-227, 2006.

[MOKT04] Masaki Maeda, Takefumi Ogawa, Kiyoshi Kiyokawa and Haruo Takemura, “Tracking of user position and orientation by stereo measurement of infrared markers and orientation sensing,” Proc. 8th IEEE
Int. Symp. on Wearable Computers (ISWC’04), pp. 77-84, 2004.
[Mor78]Jorge J. Moré, “The levenberg-marquardt algorithm: Implementationand theory,” Numerical Analysis, Lecture Notes in Mathematics 630,
Springer Verlag, pp. 105-116, 1978.

[NF02]

Leonid Naimark and Eric Foxlin, “Circular data matrix ﬁducial system and robust image processing for a wearable vision-inertial selftracker,” Proc. 1st IEEE/ACM Int. Symp. on Mixed and Augmented
Reality (ISMAR2002), pp. 27-36, 2002.

[NWB+ 04] Joseph Newman, Martin Wagner, Martin Bauer, Asa MacWilliams,
Thomas Pintaric, Dagmar Beyer, Daniel Pustka, Franz Strasser, Dieter Schmalstieg and Gudrun Klinker, “Ubiquitous tracking for augmented reality,” Proc. 3rd IEEE/ACM Int. Symp. on Mixed and Augmented Reality (ISMAR 04), pp. 192-201, 2004.
[PBDM07] Katharina Pentenrieder, Christian Bade, Fabian Doil and Peter
Meier, “Augmented reality-based factory planning - an application77

tailored to industrial needs,” Proc. 6th IEEE/ACM Int. Symp. on
Mixed and Augmented Reality (ISMAR2007), pp. 31-39, 2007.
[PoIP04]

Hanhoon Park and ong Il Park, “Invisible marker tracking for AR,”
Proc. 3rd IEEE/ACM Int. Symp. on Mixed and Augmented Reality(ISMAR 04), pp. 272-273, 2004.

[SCT+ 94] Andrei State, David T. Chen, Chris Tector, Andrew Brandt, Hong
Chen, Ryutarou Ohbuchi, Mike Bajura and Henry Fuchs, “Casestudy: Observing a volume rendered fetus within a pregnant patient,”
Proc. IEEE Visualization ’93, pp. 364–368, 1994.
[SKC+ 01] Didier Stricker, John Karigiannis, Ioannis T. Christou, Tim Gleue
and Nikos Ioannidis, “Augmented reality for visitors of cultural heritage sites,” Proc. Int. Conf. on Cultural and Scientiﬁc Aspects ofExperimental Media Spaces, pp. 89-93, 2001.
[SKT03]Natsuki Sugano, Hirokazu Kato and Keihachiro Tachibana, “The effects of shadow representation of virtual objects in augmented reality,” Proc. 2nd IEEE/ACM Int. Symp. on Mixed and Augmented
Reality (ISMAR 03), pp. 76-83, 2003.

[SL04]

Iryna Skrypnyk and David G. Lowe, “Scene modelling, recognition
and tracking with invariant image features,” Proc. 3rd IEEE/ACM
Int. Symp. on Mixed and Augmented Reality (ISMAR 04), pp. 110119, 2004.

[SLG+ 96] Andrei State, Mark A. Livingston, William F. Garrett, Gentaro Hirota, Mary C. Whitton, Etta D. Pisano and Henry Fuchs, “Technologies for augmented reality systems: Realizing ultrasound-guided
needle biopsies,” Proc. 23rd Annual Conf. on Computer Graphics andInteractive Techniques (SIGGRAPH ’96), pp. 439-446, 1996.

78

[SSH06]

Peter Supan, Ines Stuppacher and Michael Hallern, “Image based
shadowing in real-time augmented reality,” International Journal of
Virtual Reality, Vol. 5, No. 3, pp. 1-7, 2006.

[SSK+ 07]

TTobias Sielhorst, Wu Sa, Ali Khamene, Frank Sauer and Nassir
Navab, “Measurement of absolute latency for video see through augmented reality,” Proc. 6th IEEE/ACM Int. Symp. on Mixed and Augmented Reality (ISMAR2007), pp. 215-218, 2007.

[SVT+ 00] Frank Sauer, Sebastian Vogt, Yiyang Tao, Yakup Genc and Ali BaniHashemi, “Augmented workspace: designing an ar testbed,” Proc. 1st
IEEE/ACM Int. Symp. on Augmented Reality (ISAR 2000), pp. 4753, 2000.
[TBF98]Sebastian Thruns, Wolfram Burgard and Dieter Fox, “A probabilistic
approach to concurrent mapping and localization for mobile robots,”
Autonomous Robots, Vol. 31, No. 3-4, pp. 253-271, 1998.

[TCD+ 00] Bruce Thomas, Ben Close, John Donoghue, John Squires, Phillip De
Bondi, Michael Morris and Wayne Piekarski, “ARQuake: An outdoor/indoor augmented reality ﬁrst person application,” Proc. 4thIEEE Int. Symp. on Wearable Computers (ISWC2000), pp. 139-146,
2000.
[Tho06]

Graham Thomas, “Mixed reality techniques for TV and their application for on-set/pre-visualisation in ﬁlm production,” Proc. Int.
Workshop on Mixed Reality Technology for Filmmaking, pp. 31-36,
2006.

[TKY03]Ryuhei Tenmoku, Masayuki Kanbara and Naokazu Yokoya, “A wearable augmented reality system using positioning infrastructures anda pedometer,” Proc. 7th IEEE Int. Symp. on Wearable Computers(ISWC’03), pp. 110-117, 2003.
79

[TNA+ 04] Ryuhei Tenmoku, Yusuke Nakazato, Atsushi Anabuki, Masayuki
Kanbara and Naokazu Yokoya, “Nara palace site navigator: Deviceindependent human navigation using a networked shared database,”Proc.10th Int. Conf. on Virtual Systems and Multimedia (VSMM
2004), pp. 1234-1242, 2004.
[Tsa86]

Roger Y. Tsai, “An eﬃcient and accurate camera calibration technique for 3D machine vision,” Proc. IEEE Conf. on Computer Vision
and Pattern Recognition, pp. 364-374, 1986.

[vdMW04] Rudolph van der Merwe and Eric A. Wan, “Sigma-point kalman ﬁlters
for integrated navigation,” Proc. the 60th Annual Meeting of The
Institute of Navigation, pp. 641-654, 2004.
[Vic]

Vicon, “Vicon MX,” http://www.vicon.com/.

[VLF04]

Luca Vacchetti, Vincent Lepetit and Pascal Fua, “Combining edge
and texture information for real-time accurate 3D camera tracking,”
Proc. 3rd IEEE/ACM Int. Symp. on Mixed and Augmented Reality(ISMAR 04), pp. 48-57, 2004.

[WB01]

Greg Welch and Gary Bishop, “An introduction to the kalman ﬁlter,”
SIGGRAPH 2001 Course 8, 2001.

[WBV+ 01] Greg Welch, Gary Bishop, Leandra Vicci, Stephen Brumback, Kurtis Keller and D’nardo Colucci, “High-performance wide-area opticaltracking -the hiball tracking system,” Presence: Teleoperators andVirtual Environments, Vol. 10, No. 1, pp. 1-21, 2001.
[Wil93]Ross N. Williams, “A painless guide to crc error detection algorithms,” http://www.ross.net/crc/crcpaper.html, 1993.

[WJH97]

Andy Warda, Alan Jones and Andy Hopper, “A new location technique for the active oﬃce,” IEEE Personal Communications, Vol. 4,
80No. 5, pp. 42-47, 1997.
[WKR07]

Brian Williams, Georg Klein and Ian Reid, “Real-time SLAM relocalisation,” Proc. 7th IEEE Int. Conf. on Computer Vision (ICCV2007), 2007.

[WS03]

Daniel Wagner and Dieter Schmalstieg, “First steps towards handheld augmented reality,” Proc. 7th IEEE Int. Symp. on Wearable
Computers (ISWC’03), pp. 127-135, 2003.

[YKY07]

Kazuki Yamanaka, Masayuki Kanbara and Naokazu Yokoya, “Localization of walking or running user with wearable 3d position sensor,” Proc. 17th Int. Conf. on Artiﬁcial Reality and Telexistence(ICAT2007), pp. 39-45, 2007.

[鵜沼 04]

鵜沼宗利, 倉田謙一郎, 外山敦也, 堀江武, “人の歩行動作認識技術を応用した自律的位置検出手法”, 電子情報通信学会論文誌（A), Vol.

J87-A, No. 1, pp. 78-86, 2004.
[大江 05]

大江統子, 佐藤智和, 横矢直和, “幾何学的位置合わせのための自然特
徴点ランドマークデータベースを用いたカメラ位置・姿勢推定”, 日本
バーチャルリアリティ学会論文誌, Vol. 10, No. 3, pp. 285-294, 2005.

[大隈 07]

大隈隆史, 興梠正克, 酒田信親, 蔵田武志, “屋内展示ナビと現地や遠隔地での追体験のための三次元インタフェース”, 電子情報通信学会 技術研究報告, MVE2007-44, pp. 43-48, 2007.

[大島 04]

大島登志一, 山本裕之, 田村秀行, “実体触知機能を重視した複合現実
感システム-自動車インテリア・デザイン検証への応用-”, 日本バーチャ
ルリアリティ学会論文誌, Vol. 9, No. 1, pp. 79-88, 2004.

[大津 80]大津展之, “判別および最小２乗基準に基づく自動しきい値選定法”,
電子通信学会論文誌, Vol. J63-D, No. 4, pp. 349-356, 1980.

81

[奥村 07]

奥村文洋, 神原誠之, 横矢直和, “焦点外れによるぼけとモーションブ
ラーの推定に基づく拡張現実感における光学的整合性の実現”, 電子
情報通信学会論文誌（D）, Vol. J90-D, No. 8, pp. 2126-2136, 2007.

[小田 03]

小田島太郎, 神原誠之, 横矢直和, “拡張現実感技術を用いた屋外型
ウェアラブル注釈提示システム”, 画像電子学会誌, Vol. 32, No. 6,

pp. 832-840, 2003.
[河口 07]

河口信夫, “Locky.jp: 無線 lan を用いた位置推定とその応用”, 電子情報通信学会技術研究報告. ITS, Vol. 107, No. 161, pp. 1-4, 2007.

[神原 99]

神原誠之, 大隈隆史, 竹村治雄, 横矢直和, “ビデオシースルー型拡張
現実感のための実時間ステレオ画像合成”, 電子情報通信学会論文誌（D-II), Vol. J82-D-II, No. 10, pp. 1775-1783, 1999.

[神原 04a] 神原誠之, 横矢直和, “現実環境の照明条件と奥行きの実時間推定による仮想物体の陰影表現が可能な拡張現実感”, 画像の認識・理解シンポ
ジウム (MIRU2004) 講演論文集, Vol. II, pp. 247-252, 2004.

[神原 04b] 神原誠之, 横矢直和, “複数の赤外線受光体を利用した位置姿勢センサの試作”, 2004 年電子情報通信学会総合大会講演論文集, No. A-16-7,

2004.
[神原 05]

神原誠之, 横矢直和, “RTK-GPS と慣性航法装置を併用したハイブリッ
ドセンサによる屋外型拡張現実感システム”, 画像の認識・理解シンポ
ジウム (MIRU2005) 講演論文集, pp. 933-938, 2005.

[清原 05]

清原博文, “自動車 HMI デザインの開発への MR 技術活用”, 日本バー
チャルリアリティ学会誌, Vol. 10, No. 3, pp. 154-157, 2005.

[齊藤 06]

齊藤滋, 檜山敦, 谷川智洋, 廣瀬通孝, “コード化した模様を内装に施した屋内における位置同定システム 第２報”, 日本バーチャルリアリ
ティ学会 第 11 回大会論文集, pp. 498-501, 2006.

82

[坂田 03]

坂田宗之, 安室喜弘, 井村誠孝, 眞鍋佳嗣, 大城理, 千原國宏, “ALTAIR:
アクティブ IR タグを用いた複数ユーザ位置同定システム”, 電気学会論文誌 E(センサ・マイクロマシン部門誌), Vol. 123, No. 8, pp. 279-284,

2003.
[佐川 04]

佐川貢一, 煤孫光俊, 大瀧保明, 猪岡光, “足爪先加速度積分による歩行経路の 3 次元無拘束計測”, 計測自動制御学会論文集, Vol. 40, No. 6,

pp. 635-641, 2004.
[佐藤 98]

佐藤いまり, 佐藤洋一, 池内克史, “全方位ステレオによる実光源環境の計測とそれにもとづく仮想物体の実画像への重ね込み”, 電子情報通信学会論文誌（D-II), Vol. J81-D-II, No. 5, pp. 861-871, 1998.

[佐藤 03]

佐藤智和, “複数の動画像を用いたカメラパラメータ推定に基づく屋
外環境の三次元モデル化に関する研究”, 奈良先端科学技術大学院大学[武富 08]

博士論文 NAIST-IS-DT0161018, 2003.

武富貴史, 佐藤智和, 横矢直和, “優先度情報を付加したランドマーク
データベースによる動画像からのカメラ位置・姿勢推定の高速化とロバスト性の向上”, 電子情報通信学会 技術研究報告, PRMU2007-202,

2008.
[立野 06]

立野圭祐, 北原格, 大田友一, “視点移動自由度の大きい拡張現実感のための入れ子型マーカ”, 電子情報通信学会技術研究報告, MVE2006-46,

pp. 19-24, 2006.
[玉田 07]

玉田裕貴, 西上彰人, 天目隆平, 柴田史久, 木村朝子, 田村秀行, “複合
現実感のためのポスタを利用した幾何位置合わせ”, 情報処理学会関西支部大会講演論文集, pp. 15-16, 2007.

[田村 98]

田村秀行, 大田友一, “複合現実感”, 映像情報メディア学会誌, Vol. 52,

No. 3, pp. 266-272, 1998.

83

[天目 06]

天目隆平, “ウェアラブル拡張現実感システムにおける位置依存情報の提示に関する研究”, 奈良先端科学技術大学院大学 博士論文 NAIST-

IS-DD0361023, 2006.
[出口 90]出口光一郎, “射影幾何学による PnP カメラ補正問題の統一的解法”,
情報処理学会「コンピュータビジョン’90〜ビジョンと環境理解〜シンポジウム」論文集, Vol. 90, pp. 41-50, 1990.

[永松 08]

永松明, 中里祐介, 神原誠之, 横矢直和, “屋内環境におけるハンドヘル
ドプロジェクション型 AR ナビゲーションシステム”, 日本バーチャル
リアリティ学会 サイバースペースと仮想都市研究会 研究報告, Vol. 13,

No. 1, pp. 15-20, 2008.
[羽原 04]

羽原寿和, 町田貴史, 清川清, 竹村治雄, “ウェアラブル PC のための画
像マーカを用いた広域屋内位置検出機構”, 電子情報通信学会 技術研究報告, ITS2003-76, pp. 77-82, 2004.

[日立 a]

日立製作所, “HITACHI:ウェアラブル・インターネット・アプライア
ンス”, http://www.hitachi.co.jp/Prod/vims/wia/.

[日立 b]

日立製作所

ワ イ ヤ レ ス イ ン フォベ ン チャー カ ン パ ニ ー,

“無 線

位置検知システム日立

LAN

AirLocationT M II”,

http://www.hitachi.co.jp/wirelessinfo/airlocation/.
[古河]

古河機械金属株式会社, “超音波３次元位置測位システム ZPS”,

http://www.furukawakk.jp/products/category 002.html.
[牧田 07]

牧田 孝嗣誠之, 横矢直和, “ウェアラブル AR のための対象の位置・形状を考慮した移動体への注釈のビューマネージメント”, 電子情報通信学会 技術研究報告, MVE2007-51, pp. 79-84, 2007.

[松原 96]

松原重徳, 岩佐英彦, 竹村治雄, 横矢直和, “ステレオ視による奥行き
推定に基づく実画像と仮想物体の合成”, 画像の認識・理解シンポジウ
ム (MIRU’96) 講演論文集, Vol. I, pp. 43-48, 1996.

84

[横矢 06a] 横矢直和, “現実世界と仮想世界を融合する複合現実感技術 – VI – 応
用事例”, システム/制御/情報, Vol. 50, No. 11, pp. 430-435, 2006.

[横矢 06b] 横矢直和, “現実世界と仮想世界を融合する複合現実感技術− V −拡張現実感”, システム/制御/情報, Vol. 50, No. 8, pp. 321-326, 2006.

[吉田 07]

吉田友祐, 天目隆平, 柴田史久, 木村朝子, 田村秀行, “美観と頑健性を両立させた複合現実感用半人為的幾何位置合わせマーカの研究（第１報）”, 電子情報通信学会 技術研究報告, PRMU2006-195, pp. 7-12,

2007.
[暦本 06]

暦本純一, 塩野崎敦, 末吉隆彦, 味八木崇, “PlaceEngine:実世界集合知に基づく WiFi 位置情報基盤”, インターネットコンファレンス 2006,

pp. 95-104, 2006.
[分部 05]

分部至郎, “万博における MR 展示-愛・地球博日立グループ館 MR ア
トラクション-”, 第 3 回複合現実感セミナー資料, pp. 29-35, 2005.

85

研究業績
学術論文誌
1. 中里 祐介, 神原 誠之, 横矢 直和, “ウェアラブル拡張現実感のための不可視
マーカと赤外線カメラを用いた位置・姿勢推定”, 日本バーチャルリアリティ
学会論文誌, Vol. 10, No. 3, pp. 295-304, 2005. (第 3 章に関連)

国際会議
1. Ryuhei Tenmoku, Yusuke Nakazato, Atsushi Anabuki, Masayuki Kanbara,
and Naokazu Yokoya, “Nara palace site navigator: Device-independent human navigation using a networked shared database”, Proc.10th Int. Conf.
on Virtual Systems and Multimedia (VSMM2004), pp. 1234-1242, 2004.
2. Yusuke Nakazato, Masayuki Kanbara, and Naokazu Yokoya, “Localizationof wearable users using invisible retro-reﬂective markers and an IR camera”,
Proc. SPIE Electronic Imaging, Vol. 5664, pp. 563-570, 2005. (第 3 章に関連)

3. Yusuke Nakazato, Masayuki Kanbara, and Naokazu Yokoya, “Discreet markers for user localization”, Proc. 8th IEEE Int. Symp. on Wearable Computers (ISWC’04), pp. 172-173, 2004. (第 3 章に関連)
4. Yusuke Nakazato, Masayuki Kanbara, and Naokazu Yokoya, “A localization system using invisible retro-reﬂective markers”, Proc. IAPR Conf. on
Machine Vision Applications (MVA2005), pp. 140-143, 2005. (第 3 章に関連)

5. Yusuke Nakazato, Masayuki Kanbara, and Naokazu Yokoya, “Wearable
augmented reality system using invisible visual markers and an IR camera”, Proc. 9th IEEE Int. Symp. on Wearable Computers (ISWC’05),
pp. 198-199, 2005. (第 3 章に関連)
86

6. Yusuke Nakazato, Masayuki Kanbara, and Naokazu Yokoya, “An initialization tool for installing visual markers in wearable augmented reality”,
Proc. 16th Int. Conf. on Artiﬁcial Reality and Telexistence (ICAT 2006),
pp. 228-238, 2006. (第 2 章に関連)

研究会・シンポジウム
1. 中里祐介, 神原誠之, 横矢直和, “再帰性反射マーカと赤外線カメラを用いたユーザの位置姿勢同定”, 電子情報通信学会 技術研究報告, IE2004-24 ,pp. 25-28, 2004. (第 3 章に関連)
2. 中里祐介, 神原誠之, 横矢直和, “再帰性反射マーカと赤外線カメラを用いた
位置同定システム”, 画像の認識・理解シンポジウム (MIRU2004) 講演論文
集, Vol. I, pp. 119-120, 2004. (第 3 章に関連)

3. 中里祐介, 神原誠之, 横矢直和, “不可視マーカを用いたウェアラブル AR
システムの実環境における実証実験”, 電子情報通信学会 技術研究報告,

PRMU2004-135, pp. 7-12, 2004. (第 3 章に関連)
4. 中里祐介, 神原誠之, 横矢直和, “不可視マーカを用いたウェアラブル AR システム”, 画像の認識・理解シンポジウム (MIRU2005) 講演論文集, pp. 1614-

1615, 2005. (第 3 章に関連)
5. 中里祐介, 神原誠之, 横矢直和, “不可視マーカを用いたウェアラブル AR
システムの現実環境における実証実験”, 画像の認識・理解シンポジウム(MIRU2005) 講演論文集, pp. 1420-1427, 2005. (第 3 章に関連)
6. 中里祐介, 神原誠之, 横矢直和, “画像マーカを用いた位置・姿勢推定のためのインフラ環境構築ツール”, 画像の認識・理解シンポジウム (MIRU2006)
講演論文集, pp. 658-663, 2006. (第 2 章に関連)

87

7. 中里祐介, 神原誠之, 横矢直和, “不可視マーカを用いた位置・姿勢推定シ
ステムの構築および評価”, 電子情報通信学会 技術研究報告, MVE2007-50,

pp. 73-78, 2007. (第 2，3 章に関連)
8. 永松明, 中里祐介, 神原誠之, 横矢直和, “屋内環境におけるハンドヘルドプ
ロジェクション型 AR ナビゲーションシステム”, 日本バーチャルリアリティ学会 サイバースペースと仮想都市研究会 研究報告, Vol. 13, No. 1, pp.

15-20, 2008.

全国大会
1. 中里祐介, 神原誠之, 横矢直和, “再帰性反射マーカと赤外線カメラを利用した
位置同定手法”, 2004 年電子情報通信学会総合大会講演論文集, No. D-12-138,

2004. (第 3 章に関連)
2. 中里祐介, 神原誠之, 横矢直和, “再帰性反射マーカと赤外線カメラを用いた
位置姿勢同定システム”, 情報科学技術フォーラム (FIT)

一般講演論文集, Vol. 3, pp. 461-462, 2004. (第 3 章に関連)
3. 中里祐介, 神原誠之, 横矢直和, “不可視マーカを用いた位置・姿勢同定システム”, 電子情報通信学会 2005 年総合大会 情報・システムソサイエティ 学生ポスターセッション, No. D-SP-7, 2005. (第 3 章に関連)

4. 永松明, 中里祐介, 神原誠之, 横矢直和, “屋内環境におけるハンドヘルド型
プロジェクション AR 案内システム”, 日本バーチャルリアリティ学会第 12
回大会論文集, pp. 23-26, 2007.

表彰
1. 電子情報通信学会 2005 総合大会 ISS 特別企画「学生ポスターセッション」
優秀ポスター賞, 2005.

88

マスメディア報道
1. “相手を見れば情報表示”, 日経産業新聞, 2007 年 12 月 3 日.

89