NAIST-IS-MT9851093

修士論文

拡張現実感のためのビジョンセンサとジャイロセンサの組合せによる位置合わせ藤井 博文

2000 年 2 月 14 日
奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
藤井 博文

審査委員：

横矢 直和 教授
千原 國宏 教授
竹村 治雄 助教授

拡張現実感のためのビジョンセンサとジャイロセンサの組合せによる位置合わせ3
藤井 博文

内容梗概
拡張現実感とは, 現実環境に対してコンピュータグラフィックス (CG: Computer

Graphics) などによって作成された仮想物体を合成することによって情報を付加する技術のことであるが , その実現のためには, 現実環境と仮想環境の位置合わせが重要な課題となる. 拡張現実感のための位置合わせ手法として , 様々な三次元
位置センサを用いた手法があるが , 特殊な装置を必要とするため, 計測範囲が装置周辺に制限されてしまうといった問題がある. 本研究は, 計測範囲の制限されないロバストな位置合わせ手法の実現を目的とし , ビジョンセンサとジャイロセ
ンサを組合わせた位置合わせ手法を提案する. 提案手法は , ビジョンセンサとしてステレオカメラを用い, ステレオカメラから得られるマーカの三次元位置情報とカメラに取り付けたジャイロセンサから得られるカメラの姿勢情報を利用してマーカの移動位置を予測し , ロバストなマーカの追跡を実現する. また, 位置合わ

せ範囲を拡大するために, マーカに加えて自然特徴点を併用する. この時, マーカと同様に自然特徴点に対しても移動位置予測手法を適用して探索範囲を限定する
ことにより, 自然特徴点の誤追跡を減らし , 追跡の高速化を試みる. 実際にジャイロセンサを組合わせたビデオシースルー拡張現実感システムを試作し , マーカの追跡実験とロバスト性の定量的な評価実験を行なった. その結果, 提案手法は, ビジョンセンサのみによる手法, ならびにカメラの平行移動成分を考慮していない

ビジョンセンサとジャイロセンサの組合せ手法と比較して , ロバストなマーカ追
3 奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文, NAIST-ISMT9851093, 2000

年 2 月 14 日.

i

跡を実現できていることを確認した. また, マーカと自然特徴点を併用することにより, 計測範囲が拡大できることを確認した.

キーワード
拡張現実感, 位置合わせ, 特徴点追跡, 自然特徴点, ステレオカメラ, ジャイロセンサii

A Registration Method with Vision andInertial Sensors for Augmented Reality
3

Hirofumi Fujii
Abstract
This paper proposes a registration method with stereo cameras and an inertial
sensor for augmented reality (AR). The registration between real and virtualenvironments is one of the most important problems in AR that enhances a realenvironment with computer graphics. The vision-based registration is achievedby estimating position and orientation of cameras which track markers in thereal environment. The proposed method realizes a robust tracking of markers
by estimating their positions in images using a camera orientation acquired froman inertial sensor. This paper also proposes a registration method using bothmarkers and natural features to extend a registration range. The feasibility ofthe proposed method has been successfully demonstrated with experiments using
a prototype system of video see-through augmented reality.

Keywords:
augmented reality, registration, marker tracking, natural feature, stereo cameras,
inertial sensor

3 Master's Thesis, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT9851093,

iii

February 14, 2000.

目 次

1. はじめに1

2. 関連研究：拡張現実感における位置合わせ問題

3

2.1 拡張現実感とその技術課題
2.2 幾何学的位置合わせに関する従来手法
2.2.1 三次元位置センサを用いた位置合わせ
2.2.2 ビジョンセンサを用いた位置合わせ
2.2.3 センサの組合せによる位置合わせ
2.3 本研究の位置付けと方針
2.3.1 ロバスト性の向上
2.3.2 位置合わせ範囲の拡大: : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : :: : : : : : : : : : :: : : : : : : : : : : : :: : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : :3. カメラの平行移動を考慮したマーカの移動位置予測と追跡

3.1 カメラの動きのモデル化
3.2 カメラの動き推定とマーカの移動位置予測
3.2.1 カメラの回転による移動位置予測−回転中心とレンズ中心: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : :が一致している場合−

3.2.2: : : : : : : : : : : : : : : : : : : :

13

13
15
15

カメラの回転による移動位置予測−回転中心とレンズ中心が一致していない場合− : : : : : : : : : : : : : : : : : : :

3.2.3

3
6
6
8
10
11
11
12

18

カメラの平行移動と回転による移動位置予測−回転中心とレンズ中心が一致していない場合− : : : : : : : : : : : : :3.3 移動位置予測に基づくマーカ追跡: : : : : : : : : : : : : : : : : :22

4. 自然特徴点を併用した計測範囲の拡大

4.1 自然特徴点の初期位置決定
4.2 移動位置予測に基づく自然特徴点の追跡
4.3 自然特徴点の信頼性評価
4.4 マーカと自然特徴点を併用した位置合わせ: : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :

iv

19
20

: : : : : : : : : : : : :

22
26
27
29

5. 拡張現実感システムの構築と実験

5.1 システム構成
5.2 移動位置予測手法を用いたマーカ追跡実験
5.3 移動位置予測手法のロバスト性の評価実験
5.4 自然特徴点を併用した計測範囲の拡大

30: : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : :: : : : : : : : : : : : :: : : : : : : : : : : : : : :

30
32
36
41

6. むすび

45

謝辞

46

参考文献

47

v

図 目 次

1
2
3
4
5
6
7

拡張現実感の応用例: : : : : : : : : : : : : : : : : : : : : : : : :三次元位置センサを用いた位置合わせ手法 : : : : : : : : : : : : :二次元マトリックスコード : : : : : : : : : : : : : : : : : : : : : :カメラの平行移動によるマーカの予測誤差 : : : : : : : : : : : : :マーカ追跡手順 : : : : : : : : : : : : : : : : : : : : : : : : : : : :カメラの動きモデル: : : : : : : : : : : : : : : : : : : : : : : : :回転中心とレンズ中心が一致する場合のカメラの回転によるマーカの移動 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :89

軸と回転方向の定義: : : : : : : : : : : : : : : : : : : : : : : : :

20
21
22
23
24
25

16
16

回転中心とレンズ中心が不一致の場合のカメラの回転によるマーカの移動 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

10
11
12
13
14
15
16
17
18
19

5
7
9
12
14
14

カメラの平行移動と回転によるマーカの移動 : : : : : : : : : : : :マーカの移動位置予測と探索: : : : : : : : : : : : : : : : : : : :自然特徴点追跡と位置合わせ手順 : : : : : : : : : : : : : : : : : :自然特徴点の抽出 : : : : : : : : : : : : : : : : : : : : : : : : : : :自然特徴点の抽出例: : : : : : : : : : : : : : : : : : : : : : : : :自然特徴点の初期位置決定 : : : : : : : : : : : : : : : : : : : : : :テンプレートと参照画像 : : : : : : : : : : : : : : : : : : : : : : :エピポーラ拘束 : : : : : : : : : : : : : : : : : : : : : : : : : : : :マーカと自然特徴点を併用した位置合わせ : : : : : : : : : : : : :

18
19
21
23
24
25
26
27
28
29

ジャイロセンサとステレオカメラを組み合わせたビデオシースルー
ステレオ HMD: : : : : : : : : : : : : : : : : : : : : : : : : : : :拡張現実感システムの構成 : : : : : : : : : : : : : : : : : : : : : :マーカ追跡結果 : : : : : : : : : : : : : : : : : : : : : : : : : : : :探索窓サイズの変化: : : : : : : : : : : : : : : : : : : : : : : : :フレームアウトへの対応 : : : : : : : : : : : : : : : : : : : : : : :
位置合わせ結果 : : : : : : : : : : : : : : : : : : : : : : : : : : : :カメラの平行移動成分の考慮の有無による予測位置比較 : : : : : :

vi

31
31
33
33
34
34
35

26
27
28

カメラの移動速度 : : : : : : : : : : : : : : : : : : : : : : : : : : :自然特徴点の初期位置決定 : : : : : : : : : : : : : : : : : : : : : :自然特徴点を用いた位置合わせ実験の結果 : : : : : : : : : : : : :

39
42
44

表 目 次

1
2
3
4
5
6
7

使用機器 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :追跡失敗率 (回転中心の平行移動なし )追跡失敗率 (回転中心の平行移動あり)
追跡失敗率 (HMD 搭載-通常速度): : : : : : : : : : : : : : :: : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : :追跡失敗率 (HMD 搭載-高速) : : : : : : : : : : : : : : : : : : : : :フレームレート (4CPU) : : : : : : : : : : : : : : : : : : : : : : :実験に用いたパラメータ : : : : : : : : : : : : : : : : : : : : : : :

vii

30
38
38
40
40
40
42

1. はじめに近年, 現実環境に仮想物体を合成することによって現実環境に情報を付加する

拡張現実感 (AR: Augmented Reality) が新たな情報提示・操作手法として注目されている [1]. 仮想物体があたかも現実環境の一部分であるかのような感覚を利用者に与える違和感のない拡張現実環境を構築するためには , 現実環境と仮想物体を正確に位置合わせする必要がある.

現実環境と仮想環境の位置合わせ手法には超音波センサなどの三次元位置センサを利用した手法 [2] があるが , 現実環境に超音波スピーカなどの特殊な装置を配置する必要があるため計測範囲が制限される. これに対し , ビジョンセンサを用いた手法は , カメラとユーザの視点の位置関係を既知として , 撮影された画像から

カメラ位置を推定し , 現実環境と仮想環境の位置合わせを行なう. この手法は , 現

実環境に特別な装置を用意する必要がなく, 本質的に計測範囲が制限されないという利点がある. ビジョンセンサを用いた従来手法 [3, 4] の多くは現実環境に配置したマーカを追跡し , 求まったマーカの画像上の位置情報を利用して位置合わせを行っている. カメラで撮影された画像から画像処理によりマーカを追跡するため, マーカの画像上での位置が急激に変化すると追跡に失敗し , 三次元位置センサを用いる方法に比べロバスト性に欠けるという問題点がある.

この問題を解決する手法として , ビジョンセンサとジャイロセンサを組合せた手法がある [5]. この手法は , カメラに取り付けたジャイロセンサから得られるカ

メラの姿勢情報により, 次の画像上でのマーカの移動位置を予測することによって, ビジョンセンサのみでは困難であった画面上で速く移動するマーカの追跡に対応可能である. さらに , これらのセンサを組み合わせた手法は , 計測機器による位置合わせ範囲の制限がないという利点がある. しかし , ジャイロセンサからの姿勢情報のみを予測に用いているため, カメラの平行移動による画像上でのマーカの移動位置の予測は行われておらず , カメラの平行移動成分が大きいと, ビジョ

ンセンサのみによる手法と同様にマーカの追跡に失敗するという問題がある.

そこで本論文では, ビジョンセンサとしてステレオカメラを用い, ステレオカメ

ラから得られるマーカの三次元位置情報とカメラに取り付けたジャイロセンサから得られるカメラの姿勢情報を利用してカメラの平行移動成分を考慮したマーカ

1

の移動位置を予測する手法を提案する.

また, ビジョンセンサを用いる従来手法 [4, 6] の多くは, 特徴点の追跡を容易にし , ロバストな位置合わせを実現するために , 現実環境中に特徴点としてマーカを配置している. しかし , 位置合わせを行なうためにはマーカがカメラにより撮影されている必要があり, 実際にはビジョンセンサを用いた位置合わせ手法の計測

範囲は制限されることになる. この制限を解決する手法として , マーカに加えて

現実環境中の自然特徴点を追跡して位置合わせする手法 [7] がある. この手法では , テンプレートマッチングにより自然特徴点の追跡を行なっているため, 近傍に類似した自然特徴点が存在した場合の誤追跡や, テンプレートマッチングの計算量などが問題となる. そこで, 本論文では, 提案するカメラの平行移動成分を考慮した特徴点の移動位置予測手法を用いて, 自然特徴点の探索範囲を限定することにより, 自然特徴点の誤追跡を減らし , 計算量を削減する手法についても述べる.

以下, 2章において, 拡張現実感とその技術課題について説明し , 従来研究の問

題点と本研究の方針を述べる. 3章ではカメラの平行移動成分を考慮した移動位

置予測に基づくマーカの追跡手法, 4章では自然特徴点を併用した計測範囲を拡大させる位置合わせ手法について説明する. 5章では , 提案手法を適用した拡張現実
感システムについて述べた後, 評価実験とその結果を報告し , 最後に 6章で本論文をまとめる.

2

2. 関連研究：拡張現実感における位置合わせ問題
2.1 拡張現実感とその技術課題
拡張現実感とは, 計算機で生成された仮想環境を現実環境に合成提示する技術であり, 現実環境に情報を付加することを可能とする. 従来研究されてきた仮想現実感 (VR: Virtual Reality) では , コンピュータグラフィックスのみで仮想空間を構築するため, 構築される仮想環境の写実性や臨場感には限界がある. そこで ,拡張現実感では , 現実環境に必要な仮想物体を合成することで , 臨場感の高い環境をユーザに提示することが可能となる. 拡張現実感の応用例を以下に挙げる.
組み立て・メンテナンス支援[2]

予備知識を必要とする機器の組み立てやメンテナンスなどにおいて, HMD(Head Mounted Display) を通して作業対象となる物体上に作業指示を提示したり, 作業の手順を提示することにより, 作業ミスを防止し効率化を図る.
図 1(a) は , カートリッジを重畳表示し , プリンタのメンテナンス作業を支援しいてる様子である.
注釈・情報提示[3, 8]

解説や注釈・案内板など , 個人の目的に応じたデータ・情報を現実環境の任意の位置に提示することで , 観察者に直観的に情報提示を提供する. 図 1(b)は , 小型の液晶画面を通して現実環境を見ることで, 解説文を重畳表示している. 図 1(c) では , HMD を使用して情報の重畳表示を行なっている.

[9, 10]
MRI(Magnetic Resonance Imaging)/CT(Computer Tomography) などから得られた臓器の三次元画像を, 手術中の患者のビデオ画像に合成して HMD
上に提示することにより, 患部の三次元位置を視覚的に確認しながら手術を行なえる. また, 手術のトレーニングとしても利用できる. 図 1(d) は , 超音波画像を患者の上に重畳表示し , 手術の支援を行なっている様子である.

手術シミュレーション

3

景観シミュレーション[11, 12]

現実環境上に仮想の建造物を重畳表示することにより, 建築前に建造物が景観に与える影響をシミュレーションすることができる. 図 1(e) は , 川に仮想の橋を架けている様子である.
ゲーム・アミューズメント[13, 14]

HMD を通してゲームのキャラクタなどを重畳表示することにより, プレ イ
ヤを取り囲む現実環境全体を舞台とした様々なアトラクションに応用可能である. 図 1(f) に例を示す.
以上のように , 拡張現実感技術の応用範囲は多岐に渡るが , 違和感のない拡張

現実環境を構築するためには , 現実環境と仮想環境の融合において, 以下に示す整合性問題を解決する必要がある [15].
幾何学的整合性問題
現実環境と仮想環境が空間的にずれた位置に融合されることにより, 違和感が生じる問題.

時間的整合性問題
観察者の視点位置を求め, 視点位置に応じた仮想環境を融合 (描画) するま

でに要する時間分だけ現実世界に対し時間遅延が生じるために, 違和感が生じる問題.

光学的整合性問題
仮想環境の画質 (コントラスト , 色調など ) や照明位置・陰影が現実環境と異なることにより, 融合時に違和感が生じる問題.

これらのうち, 仮想物体を重畳表示することにより現実環境に情報を付加する拡張現実感において, 幾何学的整合性問題は , 観察者に違和感を与える最大の要因である. また, 幾何学的整合性問題は, 他の整合性問題にも影響を与える問題であり,他の整合性問題を解決するためには , 幾何学的整合性が保たれていることが前提となる. そこで, 本論文では幾何学的位置合わせ手法について検討する.

4

(a) KARMA [2](b) NaviCam [3](c) 仮想カード 提示システム [8](d) 手術シミュレーション [10](e) 景観シミュレーション [12](f) RV-Border Guards [14]図 1 拡張現実感の応用例

52.2 幾何学的位置合わせに関する従来手法
幾何学的整合性問題を解決するためには , 現実環境と仮想環境を空間的に位置合わせする必要がある. この問題は, 観察者の視点位置に応じて適切に仮想環境を提示することと等価であり, 幾何学的位置合わせ問題は, 現実環境に対する観察者の視点の位置・方向を求める問題に帰着される. 従来の拡張現実感における観察者の視点の位置・方向を求める手法は, 以下のように分類できる.

 三次元位置センサを用いて視点の位置・方向を計測する手法
 ビジョンセンサを用いて視点の位置・方向を推定する手法
 複数のセンサを組み合わせて視点の位置・方向を推定する手法
以下, 3 つの手法についてそれぞれ述べる.

2.2.1 三次元位置センサを用いた位置合わせ
三次元位置センサを用いた一般的な位置合わせ手法としては , 磁気式, 超音波式, 機械式の三種類が挙げられる. ここでは , これらの手法を概説した後, 三次元
位置センサを拡張現実感の位置合わせに用いる場合の問題点について述べる.
磁気式[8, 16]

図 2(a) に示すように , 現実環境に磁界を発生させるソースを配置し , 磁界を用いて三次元位置方向を計測できるレシーバを観察者の頭部に取り付け , 視点の位置・方向を求める手法である. 安定して三次元位置方向を得られる

が , 周辺環境 (電磁波や金属物体など ) により, 計測精度が影響を受けやすい特性を持つ. また, ソースから離れるほど , 計測誤差が大きくなる.

超音波式

[2]

現実環境に超音波を発生させる超音波スピーカを配置し , 超音波により三次元位置を計測できる超音波マイクを観察者の頭部に取り付け , 視点の位置・方向を求める手法である. 視点方向を求めるためには , 3 個以上の超音波マ

6

関節

レシーバ

ソース

アーム

(a) 磁気式(b) 機械式
図 2 三次元位置センサを用いた位置合わせ手法
イクが必要となる. 安定して三次元位置方向を得られるが , 周辺環境 (温度や干渉など ) により, 計測精度が影響を受ける.
機械式[17, 18]

図 2(b) に示すように , 一端が現実環境に固定された多関節アームなどを用い, 他端を観察者の頭部に取り付け , 関節の角度情報から観察者の視点の位
置・方向を求める手法である. 現実環境と頭部を物理的に接続するため, 精

度良く視点の位置・方向を得られるが , 計測範囲がアームの稼働範囲に制限

される.

以上の手法は , 容易に三次元位置方向を計測できること, ロバストに三次元位置方向を計測できることなどが利点として挙げられる. しかし , 特殊な装置を必要とし , 計測範囲が装置周辺に制限されてしまうといった問題があり, 拡張現実感の応用範囲を限定することになる. また, 磁気式や超音波式を用いる手法は , 電磁波や金属物体・温度などの周辺環境の影響を受けやすく, 視点の位置・方向を精度良く計測するのは困難である. 拡張現実感のための位置合わせ手法として用いた場合に , 三次元位置方向の計測誤差は , 現実環境と仮想環境のずれとして観測されるため, 観察者に大きな違和感を与えることになる.

7

2.2.2 ビジョンセンサを用いた位置合わせ
ビジョンセンサを用いた位置合わせ手法とは, 現実環境をカメラで撮影した画像から , 画像処理によりカメラの位置方向を推定する手法である. 観察者の視点

付近にカメラを設置することで , 推定されたカメラの位置方向から観察者の視点の位置・方向を得ることができる. 現実環境を撮影した画像からカメラの位置方向を推定する従来手法は, 位置推定に用いるための画像からの特徴点抽出手法によって以下の 3 種類に大別される.
複数のマーカを用いる手法[4, 19, 20, 21]

現実環境に配置した位置が既知のマーカをカメラにより撮影し , マーカの画

像上での座標位置から計算によりカメラの位置方向を推定する. マーカを撮影するカメラ構成として , 単眼カメラを用いる手法とステレオカメラを用いる手法があり, カメラ構成により, カメラの位置方向推定に必要なマーカ
数や配置に関する制限が異なる.

【単眼カメラを用いる手法】 [19, 20, 21]

解析的な計算により一意に解を求めるためには , 位置が既知の 6 点のマーカか , 平面上に配置された位置が既知の 4 点のマーカが必要である. また, 位置が既知の 3 点のマーカからは , 4 つの解候補を求めることができ, これに時系列の情報を加えることにより解を決定する手法がある [20].

【ステレオカメラを用いる手法】 [4]ステレオカメラを用いると, 三角測量の原理に基づくステレオ法によりマーカの三次元位置を求めることができるため , 位置が既知の 3 点のマーカからカメラの位置方向を推定することができる. 単眼ビジョ

ンセンサを用いる手法に比べ, 位置合わせに必要なマーカ数や配置に関する制限が緩和される反面, 左右画像間でマーカの対応を求める必要が生じる.

8

図 3 二次元マトリックスコード
幾何形状マーカを用いる手法[22, 23]

マーカの幾何形状を利用してカメラの位置方向を推定する. 従来手法 [22, 23]

では , マーカ形状として正方形マーカを用いている. この手法では , マーカ
形状を利用して画像中からマーカを探索し , 正方形の 4 頂点を求め, カメラの位置方向を推定する. また, 図 3に示すように , 正方形マーカの内部をブ

ロックパターンに塗り分けた二次元マトリックスコード (二次元バーコード )にすることにより, 個別のマーカの識別を行なう.
自然特徴点を用いる手法[24]

マーカを用いる手法においては , 位置合わせを行ないたい場所にマーカが必要である. これを解決する手法に, 現実環境に存在するテクスチャやエッジなどの自然特徴点を利用してカメラの位置方向を推定する手法がある. テン

プレートマッチングを用いて, 時系列的に前後で撮影された画像上の自然特徴点を対応させることにより, 現フレームのカメラの位置方向を推定する.

しかし , テンプレートマッチングを用いるため, 計算量が多い.

以上のようなビジョンセンサを用いた位置合わせ手法は , 撮影された画像から視点の位置・方向を推定するため, 現実環境にカメラ以外の特別な装置が必要な

く, 本質的に計測範囲が制限されないという特徴がある. しかし , 現実環境にマーカを配置し , マーカを追跡することにより位置合わせを行なっている手法においては , カメラによりマーカが撮影されている必要があり, 現実的には計測範囲が制限されてしまう. マーカの配置による計測範囲の制限を解決する手法として, 現

実環境中に多数のマーカを配置する手法 [25, 26] がある. 佐藤ら [25] は位置が既9知の多数のマーカを配置し , 神原ら [26] はカメラのフレーム内に新しく現れる位置が未知のマーカを動的に探索することにより, 計測範囲の拡大を実現している.

また, Park ら [7] はマーカと自然特徴点を併用することで, 位置合わせ精度を落すことなく計測範囲の拡大を実現している.

ビジョンセンサを用いた位置合わせは , 最終的に観察者に提示される画像を直接利用して位置合わせを行なえるため, ビデオシースルー合成と相性がよく, 精度の高い位置合わせを実現できる. しかし , 画像処理によりカメラの位置方向を推定するため, ロバスト性に欠ける, 計算量が多いといった問題がある.

2.2.3 センサの組合せによる位置合わせ
単一のセンサによる位置合わせ手法の他に, 複数のセンサを組み合わせた位置合わせ手法が研究されている. センサを組合せた手法として , 先述の三次元位置センサとビジョンセンサを組合せた手法 [9, 10, 13, 14, 27] がある. Bajura ら [9]や State ら [10] は , 磁気センサとビジョンセンサを組合せているが , その組合せ手法は以下のように異なる.

 磁気センサにビジョンセンサを組み合わせる手法 [9]磁気センサの誤差により生じる位置合わせのずれを , ビジョンセンサを用いて修正することにより, 磁気センサの精度が低いという問題を解決している.

 ビジョンセンサに磁気センサを組み合わせる手法 [10]ビジョンセンサによる視点の位置・方向の推定の補助として磁気位置セン
サを用いることにより, ビジョンセンサのロバスト性の低さを補っている.
両手法とも, それぞれのセンサの欠点を互いに補うが , 両センサを組み合わせることにより, ビジョンセンサの長所であった計測範囲が制限されないといった特徴が失われる. 他の三次元位置センサとビジョンセンサの組合せについても, 同様に考えることができる.

計測範囲を制限することなく, ビジョンセンサのロバスト性を向上させた手法

として , You らの手法 [5] がある. この手法では , ビジョンセンサと同様に計測範囲に制限がないジャイロセンサを組み合わせている. カメラに取り付けられたジャ10

イロセンサから得られるカメラの姿勢情報を利用し , 追跡しているマーカの次フレームにおける移動位置を予測することにより, ロバストなマーカ追跡を実現している. これ以外に , 計測範囲が制限されないセンサの組合せとしては , 地磁気センサを用いてビジョンセンサを補助する手法 [28] や , GPS(Global Positioning

System) とジャイロセンサを組み合わせた手法 [29] などがある.

2.3 本研究の位置付けと方針
本研究は , 計測範囲の制限されないロバストで高精度な位置合わせ手法の実現を目的としている. 本論文では , 前節において従来手法を検討した結果から , 位置
合わせ手法としては , ハード ウェアによる計測範囲の制限がないビジョンセンサ

に注目し , この手法をロバスト性と位置合わせ範囲の二つの側面から改善する手法を提案する. 以下に , ビジョンセンサの計測範囲が制限されないという長所を失うことなく, 位置合わせのロバスト性を向上させる手法と , 自然特徴点を併用することにより, 位置合わせ範囲を拡大させる手法の概要について述べる.

2.3.1 ロバスト 性の向上
計測範囲を制限することなく, ビジョンセンサのロバスト性を向上させる手法

として , 先述の You らの手法 [5] がある. この手法では , カメラにジャイロセンサ

を組み合わせてマーカの移動位置を予測することにより, ロバストなマーカ追跡を実現している. しかし , ジャイロセンサではカメラの姿勢情報しか得られないため, カメラの動きに平行移動成分が含まれる場合に , マーカの移動位置を正確に予測できないといった問題がある. 具体的には, 図 4に示すように , カメラが平行移動を伴いながら回転するとき, カメラの平行移動成分を考慮せずに回転成分

1 のみからマーカの移動位置を予測すると, 予測されるマーカの位置は P' とな
り, 実際のマーカ位置からカメラの平行移動成分 T だけずれてしまう. このため,


マーカの追跡を継続するには探索窓のサイズを大きくする必要があるが , 探索窓

内に他のマーカが含まれることにより追跡が失敗する可能性が大きくなる.

そこで本研究では, ビジョンセンサとしてステレオカメラを用い, ステレオカメ

ラから得られるマーカの三次元位置情報とジャイロセンサから得られるカメラの

11

実際の
マーカ位置

予測位置

-T

Δθ:回転成分P’

T :平行移動成分

Pt
Δθ

Pt+Δt

Pt

Δθ
T
時刻 t+Δt

カメラ
時刻 t

図 4 カメラの平行移動によるマーカの予測誤差
姿勢情報を利用してカメラの平行移動成分を考慮したマーカの移動位置を予測す
る. それにより, 画像上での探索範囲を大きくすることなく, ロバストなマーカ追跡を実現する.

2.3.2 位置合わせ範囲の拡大
マーカの利用による計測範囲の制限を解決する手法として , 先述の自然特徴点

を併用する Park らの手法 [7] がある. この手法では , マーカに加え自然特徴点を追跡することで , 位置合わせ精度を落すことなく計測範囲の拡大を実現している.

これらの手法を含め, 自然特徴点の追跡は , 一般的にテンプレートマッチングにより行なっているため, 近傍に類似した自然特徴点が存在した場合に誤って追跡してしまうといった問題がある. また, テンプレートマッチングなどの画像処理を用いているため計算量が問題となる.

本研究では , 2.3.1で述べたカメラの平行移動成分を考慮した特徴点の移動位置予測手法を用いて自然特徴点の移動位置を予測し , 探索範囲を限定することにより, 自然特徴点の誤追跡の抑制と計算量の削減を行なう. そして , 追跡された自然特徴点を併用することにより, 位置合わせ範囲の拡大を試みる.

12

3. カメラの平行移動を考慮したマーカの移動位置予測と追跡
本章では , 2.3節の方針に基づき, カメラの平行移動成分を考慮したマーカの移動位置予測手法と移動位置予測に基づくマーカの追跡手法を提案する. 図 5に , 予測に基づくマーカ追跡の処理の全体像を示す. 提案手法では , まず , ジャイロセン

サから得られるカメラの姿勢情報を用いてカメラの回転成分によるマーカの移動
位置を予測 (図 5 A) し , 最も追跡が容易と考えられるカメラから最も遠いマーカをビジョンセンサにより追跡することにより平行移動成分を推定する (図 5 B). 最
後に , 推定されたカメラの平行移動成分を用いて残りのマーカの移動位置を予測

し , マーカを追跡する (図 5 C).

以降, 3.1節で拡張現実感におけるカメラの動きのモデル化について, 3.2節でカメラの回転・平行移動成分を考慮した移動位置予測手法について述べる. 3.3節では , 移動位置予測に基づくマーカの追跡手法について説明する.

3.1 カメラの動きのモデル化
本論文では, 視点付近に固定されたステレオカメラとジャイロセンサを用いてカメラの動きを推定することで , マーカの移動位置予測を行ないロバストなマー

カ追跡を実現する. カメラの動きは, 一般に回転成分と平行移動成分に分けて考えることができ, 提案手法では回転成分はジャイロセンサより求め, 平行移動成分

はステレオカメラにより得られるマーカの三次元位置情報を用いて 2 フレーム間のマーカの三次元空間内の動きから求める.

t t + 1t におけるステレオカメラの位置関係を示す. この時, ス
テレオカメラの動きは平行移動成分 T と回転成分 1 により表される. しかし ,図 6に , 時刻 と

拡張現実感において頭部に取り付けられたジャイロセンサから得られる回転成分

1 は人間の頭部の動きの特性から頭部を回転中心とした回転であると考えられるため, カメラの動きは頭部の回転中心における回転 1 と頭部の回転中心の平行移動 TT からなると考える必要がある. カメラの平行移動 T と頭部の回転中心




13

前フレームのマーカ
三次元位置情報
カメラ動き推定

姿勢情報(ジャイロセンサ)

A. 回転成分による画像上でのマーカの移動位置予測
ステレオ画像(ビジョンセンサ)
B. 最も遠いマーカの三次元位置による平行移動成分の推定

C. 他のマーカの画像上での移動位置の予測,探索

図 5 マーカ追跡手順

TT

TR
Δθ

T

時刻 t

Δθ
TT

時刻 t+Δt

頭部の回転中心

図 6 カメラの動きモデル

14

の平行移動TT との関係は, 式 (1) のように表される.
T = TT + TR

ここで ,

(1)

TR は頭部の回転中心とカメラの搭載位置がずれているために生じる, 頭部が回転する際のカメラの平行移動成分を表している. 提案手法では , カメラの1 , 頭部の回転により生じるカメラの平行移動 TR, ならびに頭部の回転中心の平行移動によるカメラの平行移動 TT に分離して扱い, それ
動きを, カメラの回転

ぞれの成分によるマーカの移動位置を予測することにより, カメラの回転・平行移動を考慮した移動位置予測手法を実現する.

3.2 カメラの動き推定とマーカの移動位置予測
本節では , マーカの移動位置予測手法を, カメラの動き成分の種類に応じて以下の 3 段階に分けて説明する.

 回転のみ (回転中心とレンズ中心が一致) 回転のみ (回転中心とレンズ中心が不一致)
 平行移動 + 回転 (回転中心とレンズ中心が不一致)
以下では , 各段階のカメラの動き成分の推定と, 推定されたカメラの動き成分を用t

いて時刻 でのマーカ位置

Pt から時刻 t + 1t におけるマーカの移動位置 Pt+1tを予測する手法について説明する.

3.2.1 カメラの回転による移動位置予測−回転中心とレンズ中心が一致している
場合−
図 7に示すように, 回転中心とカメラのレンズ中心が一致しながら回転するとき, カメラの動きはカメラの回転成分

1 のみからなり, これはジャイロセンサの

姿勢情報より求めることができる. ジャイロセンサから得られる姿勢情報は , roll

成分・pitch 成分・yaw 成分により表現され , 各成分の回転方向は図 8のように定

15

予想位置
マーカｉ
Pt+Δt

Δθ

Pt

Pt

回転 Δθ

Δθ

時刻 t+Δt

時刻 t

図 7 回転中心とレンズ中心が一致する場合のカメラの回転によるマーカの移動

y
roll
z
yaw
pitch
x
図 8 軸と回転方向の定義

16義される. カメラの回転成分

1 は, 式 (2) に示すように, 現フレームと前フレー

ムの姿勢情報の差分 (1r , 1p , 1y ) として求めることができる.

0
1 0
1 0 1
1
BB r CC BB t+1t;r CC BB t;r CC
BB 1 p CC = BB t+1t;p CC 0 BB t;p CC
@
A @
A @ A
1y
t+1t;y
t;y


















(2)

Pt が求まっているなら, 式(3) に示すように, カメラの回転成分 1 に対応した変換行列 R を用いて, 現フ
レームにおけるマーカの移動位置 Pt+1t を予測することができる.
Pt+1t = RPt(3)変換行列 R は , 現フレームのジャイロセンサの姿勢情報 ( +1 , +1 , +1 )カメラに対する前フレームのマーカの三次元位置


t

t;r

t

t;p

t

t;y

とカメラの回転成分 (1r , 1p , 1y ) から , 式 (4) により求めることができる.

R = Rz(0 +1 )Rx(0 +1 )Ry(1 )Rx( +1 + 1 )Rz( +1 + 1 ) (4)
ここで , R ( ) は 軸まわりに 度回転させる変換行列を表し , 式 (5) のように表
t

i j

t

t;r

t;p

i

y

t

p

t;p

t

t;r

r

j

される. このとき , 各軸まわりの回転方向は図 8のように定義し , 光軸は z 軸と一致している. t+1t;r , t+1t;p , t+1t;y 成分による変換は , 世界座標系を基準として得られた回転成分

1 をカメラ座標系に変換するために行なっている.


0
1
0 C
BB 1 0Rx( ) = BB@ 0 cos sin CCCA
0 0 sin cos
0
1
cos
0
sin
BB
CC
B
Ry( ) = B@ 0 1 0 CCA
0 sin 0 cos
1
0
cos
sin
0
CC
BB
B
Rz( ) = B@ 0 sin cos 0 CCA
0
0 1
























17







(5)

平行移動 - T R

実際の
マーカ位置

Pt+Δt
Pt

RPt
Δθ

TR

Pt

Δθ
時刻 t

時刻 t+ΔtPc
頭部の回転中心

図 9 回転中心とレンズ中心が不一致の場合のカメラの回転によるマーカの移動

3.2.2 カメラの回転による移動位置予測−回転中心とレンズ中心が一致していな
い場合−
図 9に示すように , 頭部の回転中心が固定されているとしても , 回転中心とカメラの搭載位置が一致しないために , 頭部の回転によりカメラの平行移動

TR が生

TR は, 頭部の回転中心とカメラの搭載位置の位置関係が固定であるため, 式 (6) を用いてカメラの回転成分 1 より求めることができる.
TR = RPc 0 Pc
(6)
ここで, Pc は頭部の回転中心からのカメラ搭載位置の相対的位置である. 頭部のじる. この平行移動成分



回転成分とカメラの回転成分は同じであるので, 変換行列は先に求めたカメラの回転成分

1 による変換行列 R と同様に表すことができる. 平行移動成分 TR は,

左右のカメラにより異なるので, 各々について求める.
カメラに対する前フレームのマーカの三次元位置

Pt が求まっているなら, 式(3) に示したカメラの回転成分 1 によるマーカの移動位置の予測に加え, 頭部の

TR によるマーカの移動を考慮すること
で , 現フレームにおけるマーカの移動位置 Pt+1t を予測することができ, 式 (7) で回転により生じるカメラの平行移動成分

表せる.

Pt+1t = RPt 0 TR
18(7)

予測位置 P ’
実際の
マーカ位置

- TT

Pb
Pa

Δθ

T
時刻 t+ΔtTT

頭部の回転中心時刻 t

図 10 カメラの平行移動と回転によるマーカの移動

3.2.3 カメラの平行移動と回転による移動位置予測−回転中心とレンズ中心が一致していない場合−

2 フレーム間で一つのマーカを追跡することにより, 頭部の平行移動によるカ
メラの平行移動成分 TT を推定する手法について述べる. カメラの動きは , カメラの回転成分 1 , 頭部の回転によるカメラの平行移動成分 TR , 頭部の平行移動によるカメラの平行移動成分 TT により構成される. したがって, 図 10に示すように , 式 (7) による Pa の移動予測位置 P' と実際のマーカの三次元位置 Pb とのずれを求めることにより, カメラの平行移動成分 TT を推定することができ, 式 (8)のように表せる.
TT = P 0 P b= RPa 0 TR 0 Pb
0

実際のマーカの三次元位置(8)

Pb は, ビジョンセンサを用いて左右画像上で対応するマーカを追跡し , 三角測量の原理に基づくステレオ法 [30] により求める. 本研

究では , カメラからの距離が遠いほど一般的にカメラの平行移動による画像上での見かけの動きが小さいことに注目し , 追跡が容易と考えられるカメラから最も遠いマーカを一つ追跡することによりカメラの平行移動成分

19

TT を推定する.

残りのマーカについては , 推定された平行移動成分
得られるカメラの回転成分

TT とジャイロセンサにより

1 の両方を用いて式 (9) により移動位置を予測する.


Pt+1t = RPt 0 TR 0 TT
ここで,

(9)

R はカメラの回転成分 1 による変換行列であり, 式 (4) により求める.


3.3 移動位置予測に基づくマーカ追跡
前節で述べたカメラの動きの各成分の推定により, 前フレームのマーカの三次

元位置情報から全てのマーカの現フレームでの三次元移動位置が予測できる. 以下, マーカの移動予測位置がカメラフレームの内側に収まる場合と外側に出る場
合とに分けてマーカ追跡手法を説明する.

予測されたマーカ移動位置がカメラのフレーム内に存在するときは , 図 11に示

すように , 予測されたマーカの三次元位置に対応したカメラ画像上の位置を求め探索窓を設定する. そして , ビジョンセンサで探索窓内を探索することによりマーカを追跡し , 左右画像のマーカ位置からステレオ法により三次元位置を求める. ビ

ジョンセンサによる探索は , マーカの色情報を利用して背景と分離し , 求めたマー
カ領域の重心をマーカの画像上の位置とする.

マーカの探索時に設定する探索窓の大きさは , 移動位置予測を行なっているた

め大きく設定する必要がなく, マーカの画像上の大きさに応じて大きさを設定する. 画像上のマーカの大きさは, 実際のマーカの大きさとステレオカメラから得られるマーカの三次元位置情報より求めることができる. ビジョンセンサによる正確なマーカ位置探索のためには , マーカの全体が探索窓内に含まれている必要がある. そこで, ジャイロセンサのド リフトなどによる予測誤差を考慮し , 探索窓の大きさには求まった画像上のマーカの大きさを定数倍した値に設定する.

予測されたマーカ移動位置がカメラのフレーム外に存在するときは , 予測された移動位置をマーカの位置として予測を継続する. これにより, マーカが再びカメラのフレーム内に戻ってきた時に追跡を再開することができ, マーカのフレーム
アウトに対応することが可能となる. これにより, マーカの配置によるビジョンセンサの計測範囲の制限を軽減することができる. ただし , 平行移動成分

20

TT の推定マーカ

探索窓

マーカ位置(時刻 t)

予測位置

マーカの探索(時刻 t+Δt)

図 11 マーカの移動位置予測と探索のためには 2 フレームにおける 1 つのマーカの三次元位置情報が必要なため , 最

低 1 つのマーカが左右のカメラ各々に撮影されている必要があり, 全てのマーカの移動予測位置がカメラのフレーム外となる場合は , 本手法の適用範囲外である.

また, カメラフレーム内において, オクルージョンなどによりマーカが消失する場合に対しても同様に , 予測位置をマーカ位置として予測を継続することにより,マーカが再び現れた時に追跡を再開することができる.

21

4. 自然特徴点を併用した計測範囲の拡大
マーカを用いたビジョンセンサによる位置合わせでは , カメラによりマーカが撮影されている必要があり, 現実的には計測範囲が制限される. この問題に対処するために , マーカに加えて自然特徴点を利用することで , 計測範囲の拡大を図る.

本章では, 3章で述べたマーカの移動位置予測手法を用いた自然特徴点の追跡と自然特徴点を併用した位置合わせについて述べる.

図 12に , マーカと自然特徴点を併用した位置合わせの処理手順を示す. まず, 初期化処理として画像中から追跡に適した自然特徴点を抽出し , 自然特徴点の初期位置を決定する (図 12 A). マーカと自然特徴点の追跡は , 3章のマーカ追跡と同様に移動位置予測手法を用いて行なう (図 12 B). しかし , 自然特徴点の追跡には誤追跡などの不確かさが含まれるため, 追跡された自然特徴点の信頼性を評価 (図12 C) し , 信頼性の高い自然特徴点とマーカの三次元位置情報を用いて位置合わせを行なう (図 12 D). ただし , 提案手法は対象として静的環境を想定しており, 自然特徴点の移動は考慮しておらず , カメラにより撮影される現実環境中に移動物体を含まないと仮定する. 以下, 各処理について説明する.
4.1 自然特徴点の初期位置決定
自然特徴点の初期位置は , Moravec のインタレスト・オペレータ [31] を用いて決定する. まず, 初期フレームにおいて左画像上でインタレスト・オペレータにより自然特徴点を抽出し , 右画像においてエピポーラ線上でステレオマッチングにより対応点を探索することにより自然特徴点の初期位置を決定する.

Moravec のインタレスト・オペレータは, 画像上の小領域における方向分散の最小値が極大になる点を選択する手法で , これはステレオカメラの左右画像において対応づけが容易なコーナーや孤立点を抽出することを意味する. Moravec のインタレスト・オペレータの定義を式 (10) に示す.
(

1

2

3

min dirval ; dirval ; dirval ; dirval

22

4)

(10)

初期化処理A. 自然特徴点の初期位置決定前フレームのマーカ,自然特徴点の三次元位置情報

姿勢情報(ジャイロセンサ)

追跡処理
ステレオ画像(ビジョンセンサ)
B. 移動位置予測に基づく
マーカ,自然特徴点の追跡
初期フレームのマーカ,自然特徴点の三次元位置情報
C. 自然特徴点の信頼性評価

D. マーカ,自然特徴点を用いた位置合わせ

図 12 自然特徴点追跡と位置合わせ手順

23

ウィンドウ小領域

図 13 自然特徴点の抽出
ただし ,dirvaldirvaldirvaldirval

1 =
2 =
3 =
4 =

XX
XX
x

y

XX
x

y

XX
x

y

x

y

( x;y 0 x+1;y )2
I

I

=n

( x;y 0 x+1;y+1 )2II( x;y 0 x;y+1 )2
I

I

=n

( x;y 0 x 1;y+1 )2
I

I

0

=n

=n

ここで , dirval は方向分散値を表し , ウィンドウ内の画素 Ix;y において 4 方向の隣接画素との二乗誤差を求め, ウィンド ウ内の全画素について方向毎に二乗誤差の平均を求める. ただし , n はウィンド ウ内の画素数とする. この 4 方向の方向分散値の最小値 min が , Moravec のインタレスト・オペレータの値となる. 図 13に示すように , 画像上の小領域内の各画素についてインタレスト・オペレータを適用

し , インタレスト・オペレータの値が極大となる画素を自然特徴点として抽出す

る. Moravec のインタレスト・オペレータを用いた, 二値画像に対する自然特徴

点の抽出例を図 14に示す. 右図は , 左の二値画像に 323 のウィンド ウサイズでインタレスト・オペレータを適用した結果であり, 丸のついた画素が自然特徴点として抽出される.

24

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

自然特徴点抽出0 0 1 1 0 0 0

0 0 0 1 1 1 1

0 0 1 2 0 0 0

0 0 0 1 1 1 1

0 0 0 0 0 0 0

0 0 0 1 1 1 1

0 0 0 0 0 0 0

オリジナル画像

インタレストオペレータの出力(a) コーナー
0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

自然特徴点抽出0 0 1 1 1 0 0

0 0 0 1 0 0 0

0 0 1 2 1 0 0

0 0 0 0 0 0 0

0 0 1 1 1 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

オリジナル画像

インタレストオペレータの出力(b) 孤立点
0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 1 1 1 0 0

0 0 0 1 0 0 0

自然特徴点抽出0 0 1 3 1 0 0

0 0 0 1 0 0 0

0 1 1 2 1 1 0

0 0 1 1 1 0 0

0 1 1 2 1 1 0

0 0 1 1 1 0 0

0 0 0 0 0 0 0

オリジナル画像

インタレストオペレータの出力(c) 突起の端点
図 14 自然特徴点の抽出例

25

1

2

M
1
2

N
左画像
図 15 自然特徴点の初期位置決定提案手法では , 自然特徴点を画像全体に一様に分布させるために, 図 15のように左画像を

M 2 N 個の小領域に分割し , 各領域において Moravec のインタレス

ト・オペレータにより自然特徴点を抽出する. 左画像の左端部分は, 右画像においてフレーム外となり対応点が求められないため, 小領域は右側に偏った位置に配置する.

4.2 移動位置予測に基づく自然特徴点の追跡

3章で述べた移動位置予測手法を用いて自然特徴点の移動位置を予測し , 予測移
動位置近傍でのみ自然特徴点の探索を行なう. 予測に用いる平行移動成分 TT の
推定には, 自然特徴点に比べ信頼性の高いマーカを用いる.
自然特徴点の探索は , 2 フレーム間の対応をテンプレートマッチングによって求めることにより行なう. テンプレートマッチングには , 図 16(a) に示すように,
前フレームの自然特徴点近傍をテンプレートに , また, 図 16(b) に示すように現フ
レームの自然特徴点の予測移動位置近傍を参照画像として用いる. まず , 二乗誤差を評価尺度とした残差逐次検定法 (SSDA)[32] により粗な探索を行なう. 粗な
探索には縮小画像を用い, 探索範囲についてもテンプレートマッチングを行なう
26

自然特徴点回転(a) テンプレート
自然特徴点
予測

(b) 参照画像
図 16 テンプレートと参照画像
間隔を大きくする. 次に , 最も相関が高くなった位置の近傍で正規化相互相関 [32]を用いて密な探索を行なうことにより自然特徴点の追跡を行なう.

テンプレートマッチングにおけるテンプレートの回転角度は , ジャイロセンサから得られるカメラの姿勢情報から決定する. フレーム間でのロール方向の回転

角度に基づきテンプレートを回転させ, テンプレートマッチングを行なう. 離散

画像においては , フレーム間での回転が小さいとき相関値への影響は小さいと考えられるため , フレーム間でロール方向に大きく回転したときのみ , 回転を考慮する.

4.3 自然特徴点の信頼性評価
追跡された自然特徴点には誤追跡など不確かさが含まれるため, 以下に述べる

3 種類の評価尺度により追跡された自然特徴点の信頼性を評価する. 以下の尺度を用いて, ひとつでも信頼性が低いと判断された自然特徴点については, 以降の追跡を中止する.
27

左画像
エピポーラ線
右画像

レンズ中心

図 17 エピポーラ拘束

フレーム間での相関による信頼性評価
フレーム間での誤追跡・オクルージョンなどによる自然特徴点の消失などを検証するために , フレーム間での相関により信頼性を評価する. 評価に用いる相関値は , 4.2節で述べた追跡時に求まっている正規化相互相関値を用
い, 一定のしきい値以下のとき信頼性が低いと判断する.

エピポーラ拘束による左右画像での位置ずれによる信頼性評価
図 17に示すように , 左右画像で対応する点は, 両カメラのレンズ中心とその点とで構成される平面と画像面との交線 (エピポーラ線) 上に存在する. このエピポーラ拘束 [32] を用いて, 左右画像で対応している自然特徴点の信頼性を検証する. 左右画像で対応づけられた自然特徴点において, 追跡により得られている自然特徴点の座標値からエピポーラ線のずれを求め, しきい値以上のとき信頼性が低いと判断する. しきい値は , カメラから自然特徴点までの距離に応じて設定し , カメラから近いほど大きな値に設定する.
三次元空間における位置ずれ距離による信頼性評価

自然特徴点の追跡における追跡誤差の蓄積を検証するために , 追跡により得られている自然特徴点の三次元位置情報による位置ずれの評価を行なう. 初期フレームにおいて記録した全ての自然特徴点とマーカの三次元位置情報と追跡により得られた自然特徴点の三次元位置関係とで各自然特徴点間のずれを求め, 一定のしきい値以上のとき信頼性が低いと判断する.

28

追跡により求めた特徴点記録した特徴点

対応

画像投影面

世界座標系
カメラ座標系(観察者視点)

位置合わせ

図 18 マーカと自然特徴点を併用した位置合わせ

4.4 マーカと自然特徴点を併用した位置合わせ

4.3節の信頼性評価において追跡が中止されなかった自然特徴点とマーカを用いて, 位置合わせを行なう. 4.1節の自然特徴点の初期位置決定法により初期フレー
ムで自然特徴点を抽出し , 求まった自然特徴点とマーカの三次元位置をステレオ法により計算し記録しておく. 図 18に示すように , この記録した初期フレームにおけるマーカと自然特徴点の三次元位置情報と, 追跡により得られた現フレームのマーカと自然特徴点の三次元位置情報を三次元的にマッチングさせることにより位置合わせを行なう.

特徴点の三次元的なマッチングは , 初期フレームにおける特徴点の三次元位置情報

P

init;i と現フレームの特徴点の三次元位置情報

P

now;i において対応する特徴

点間の距離の総和が最小となる位置を求めることにより行なう. 特徴点間の距離の総和計算においては, 式 (11) に示すように重み付けを行なう.

X
i

wi

P

j

now;i 0P

init;i j(11)

ここで , wi は重みを表し , 自然特徴点に比べて信頼性の高いマーカに対し大きな重み付けを行なっている.

29

5. 拡張現実感システムの構築と実験
ジャイロセンサとビジョンセンサを組み合わせたビデオシースルー拡張現実感システムを試作し , カメラの平行移動成分を考慮した移動位置予測手法の有効性の確認とロバスト性の評価実験を行なった. また, 計測範囲を拡大させる自然特徴
点を併用した位置合わせ手法の有効性の確認を行なった. 以下, 5.1節では構築したシステムの構成を説明する. 5.2節において作成システムのマーカ追跡実験, 5.3

節においてロバスト性の評価実験, 5.4節において自然特徴点を併用した計測範囲の拡大の検証実験について述べる.

5.1 システム構成
表 1の機器を使用し , ビデオシースルー拡張現実感システムを試作した. 図 19に示すように , HMD 上にビジョンセンサとして CCD カメラ 2 個を光軸を平行に 6.5cm の間隔で取り付けて標準ステレオ撮像系を構成し , ジャイロセンサを両カメラの光軸を含む平面上に配置した . CCD カメラは , 有効画素数 7682494 の

1/3 インチ CCD を搭載しており, シャッタースピードは 1/100 秒で使用している.
ジャイロセンサは , 最大角速度 1200 度/秒, 角度分解能 0.02 度, 動的計測精度 3 度の姿勢情報計測能力を持ち, 最大更新レートは 300MHz である.
試作した拡張現実感システムの構成を図 20に示す. CCD カメラによって撮影されたステレオ画像をビデオ入出力装置, ジャイロセンサからのカメラの姿勢情報をシリアルポート経由でグラフィックスワークステーションに入力し , 位置合わ

CCD カメラ
ジャイロセンサ

HMD
計算機
ビデオ入出力装置

表 1 使用機器

東芝 : IK-UM42 (1/3 インチ CCD)

InterSense : IS-300
オリンパス : mediamask
SGI : Onyx2 IR (16CPU MIPS R10000 195MHz)
SGI : DIVO
30

ジャイロセンサ

CCDカメラ
図 19 ジャイロセンサとステレオカメラを組み合わせたビデオシースルーステレ

オ HMD

ジャイロセンサ

Onyx2

姿勢情報
ステレオ画像HMD
CCDカメラ

合成
ステレオ画像

DIVO
ビデオ
入出力装置
グラフィックス
ワークステーション

図 20 拡張現実感システムの構成

31

せを行なう. 入力画像サイズは , フィールド 単位で処理するため 7202243 である.

グラフィックスワークステーションでは , 左右画像各々に視点位置に応じた仮想物体を合成し , ビデオ入出力装置を通して合成ステレオ画像を HMD に出力する.

5.2 移動位置予測手法を用いたマーカ追跡実験
作成した拡張現実感システムを用いて, 移動位置予測に基づくマーカ追跡実験を行なった. 追跡実験では , 同一平面上に 4 つの青色円形マーカを配置した. 移動
位置予測手法の有効性を確認するために行なった実験の結果を時系列順に上から並べたものを図 2125に示す.

図 2123中の破線の枠はビジョンセンサのみを用いた手法 [4] の探索窓を, 実

線の枠は移動位置予測に基づく提案手法の探索窓を示している. ビジョンセンサ

のみを用いた場合の探索窓の大きさは , 経験的な値として 1002100 に固定している. 図 21は , ビジョンセンサのみを用いた手法と提案手法のマーカ追跡結果である. ビジョンセンサのみを用いた手法の探索窓は , カメラの動きによるマーカ移動の後を追い, 探索窓から外れたマーカの追跡に失敗しているのに対し , 提案手法

は予測により探索窓の中央で追跡できている.

図 22はカメラとマーカの距離が大きく変化したときの結果であり, カメラからの距離に応じて探索窓の大きさが変化していることが確認できる. ビジョンセン

サのみを用いた手法では, 探索窓内に複数のマーカが入り追跡に失敗しているが ,距離に応じた探索窓を設定している提案手法では , 実験に用いている 5.1節で述べた基線長 6.5cm の標準ステレオ撮像系で安定してマーカの奥行き情報が得られる
範囲 (0.21.5m) において追跡を行なえた.

次に , マーカのフレームアウトへの対応を検証するための実験を行なった. 図23は, 2 個のマーカが一度画面外に出て, 再び画面内に戻る状況を表しているが ,ビジョンセンサのみを用いた手法は一度画面外に出たマーカに対する追跡に失敗しているのに対し , 提案手法はマーカの追跡に成功していることが確認できる.

図 24は , 提案手法により実際に追跡されたマーカの三次元位置情報を用いて, 従

来手法 [4] により位置合わせを行ない, 平面上に仮想物体 (酒樽) を合成した結果である. 視点位置の移動に応じて仮想物体が合成されていることが確認できる.

32

図 21 マーカ追跡結果

図 22 探索窓サイズの変化33

図 23 フレームアウトへの対応

図 24 位置合わせ結果

34

(a) カメラの平行移動なし(b) カメラの平行移動あり
図 25 カメラの平行移動成分の考慮の有無による予測位置比較35

図 25は , 平行移動成分の考慮の有無による移動予測位置の比較結果である. 破線の枠は平行移動成分を考慮しないビジョンセンサとジャイロセンサの組合せの予測位置を, 実線の枠は平行移動成分を考慮した提案手法の予測位置を示しており, ビジョンセンサによる追跡は行なわずに予測を継続した結果である. ただし ,提案手法では平行移動成分を推定するためにカメラから最も遠いマーカを一つだけ追跡している. 図 25(a) は回転中心が平行移動しない場合, 図 25(b) は回転中心が平行移動する場合の結果である. 回転中心が平行移動しない場合は , 両手法ともほぼ同じ位置に正確に予測を行なえているが , 回転中心が平行移動する場合においては , 平行移動成分の考慮の有無により異なる位置に予測している. 平行移動成分を考慮しない手法が , 実際のマーカ位置と大きく異なる位置に予測しているのに対し , 提案手法では, ほぼ正確に予測を継続できていることが確認できる.

5.3 移動位置予測手法のロバスト 性の評価実験試作した拡張現実感システムを用いて, 以下のマーカ追跡手法についてロバス

ト性の評価実験を行なった.

 ビジョンセンサのみによる手法 (文献 [4])
 カメラの平行移動成分を考慮しない組合せ手法
 カメラの平行移動成分を考慮した組合せ手法
以上の手法について, 全マーカに対して追跡に失敗したマーカの割合を求め, 比較を行なった. 実験では , 探索窓内にマーカが全く含まれない場合を, 追跡の失敗としている. 同じデータに対する各手法の結果を得るため, ビジョンセンサからのステレオ画像とジャイロセンサからの姿勢情報を記録し , それらを各手法への入力とし実験を行なった. また, 記録データを均等にサンプリングすることにより実

行倍率を上げ , 仮想的に速いカメラの移動を実現した . 表 2に回転中心が平行移動しない場合, 表 3に回転中心が平行移動する場合の実験結果を示す. 実験は , CCD
カメラとジャイロセンサを三脚に固定して行なった. また, 拡張現実感としての実使用における各手法の比較実験を行なった. 実験は , 拡張現実感の通常使用を36想定した首振りと激しい首振りにおいて比較を行なった. 各首振りおいてカメラで撮影された画像を図 26に, 各手法を比較した実験結果を表 4, 5に示す. 追跡失敗率は, 式 (12) で定義する. 実験には, 150 フレームの記録データを利用した .
追跡失敗率 =

追跡に失敗したマーカ数
フレーム数 2 マーカ個数(12)

表 2より, 回転中心が平行移動しない場合は , ジャイロセンサから得られるカメ

ラの姿勢情報により完全にマーカの移動位置を予測可能であることが確認できる.
また, 実行倍率が高くなるとビジョンセンサのみによる手法の追跡失敗率が悪くなるのに対し , 組合せ手法はジャイロセンサによりマーカの移動位置を予測することで , 実行倍率に影響されることなくマーカの追跡を行なえていることが確認できる. 回転中心が平行移動する場合 (表 3) は , 実行倍率が低いとき, 平行移動を考慮した提案手法が有効であることが確認できる. しかし , 実行倍率が高くなり

フレーム間のカメラの平行移動が大きくなると, 提案手法は最も遠いマーカを追跡できなくなり平行移動成分を予測できないため, 平行移動成分の考慮の有無によるマーカの追跡失敗率の差がなくなっている.

次に, 図 19に示すように CCD カメラとジャイロセンサを HMD に固定し , 実

際にビジョンベース拡張現実感システムとして利用した場合の結果を表 4, 5に示す. 表 4は, 通常の拡張現実感システム使用時を想定し , マーカの近辺を様々な角度から眺めた場合の結果であり, 図 26(a) に示す程度のカメラの動き速度に相当する. 図 26はカメラで撮影された連続フレームを時系列順に並べたもので , 1/6
秒間のカメラの動きを示す. 提案手法は , ビジョンセンサのみによる手法だけでなく, 平行移動成分を考慮しない組合せ手法と比較しても追跡失敗率が改善されており, 有効であることが確認できる. 表 5は , 激しく首を振った場合の結果であり, 図 26(b) に示す程度のカメラの動き速度に相当する. フレーム間での平行移動が大きく平行移動成分を推定できないため , 平行移動成分を考慮しない組合せ手法とほぼ同等の結果しか得られていない. しかし , 図 26(b) に示すように, 本実

験での激しい首の振りに対しては画像上にモーションブラーが発生しており, ビ

ジョンベース拡張現実感のための位置合わせ手法としての使用において想定外だと考えられる.

37

表 2 追跡失敗率 (回転中心の平行移動なし )
実行

ビジョン

倍率

センサ [%]

1
2
3
5
10
20
30
50

0
2.36
11.48
40.01
56.25
72.92
87.50
87.50

組合せ手法
平行移動予測なし [%]

0
0
0
0
0
0
0
0

平行移動予測あり [%]

0
0
0
0
0
0
0
0

表 3 追跡失敗率 (回転中心の平行移動あり)
実行

ビジョン

倍率

センサ [%]

1
2
3
4
5
10

1.43
16.39
27.04
40.97
46.55
56.25

組合せ手法
平行移動予測なし [%]

0.50
9.63
19.13
35.42
32.33
49.11

38

平行移動予測あり [%]

0
6.93
16.58
32.99
30.60
49.11

(a) 通常速度(b) 高速図 26 カメラの移動速度39表 4 追跡失敗率 (HMD 搭載-通常速度)
ビジョン
センサ [%]

7.47

組合せ手法
平行移動予測なし [%]1.26

平行移動予測あり [%]0.34

表 5 追跡失敗率 (HMD 搭載-高速)ビジョン
センサ [%]

18.37

組合せ手法
平行移動予測なし [%]14.43

平行移動予測あり [%]14.18

表 6 フレームレート (4CPU)
ビジョン
センサ [fps]

15.11

組合せ手法
平行移動予測なし [fps]

14.99

40

平行移動予測あり [fps]14.92
fps : frame per second

表 6に, グラフィックスワークステーション (Onyx2 IR 16CPU MIPS R10000

195MHz) でマーカの探索部分を 4CPU で並列処理した時のフレームレートを示す. ステレオカメラとジャイロセンサを利用してマーカの移動位置を予測し , マー
カの探索窓を大きくすることなくロバスト性を向上させているため, ビジョンセンサのみによる位置合わせ手法と同程度のフレームレートを実現できていることが確認できる.

以上の実験結果より, フレーム間での平行移動成分がそれほど大きくない場合

においては , 平行移動成分を考慮した提案手法が有効であることが確認できた. しかし , フレーム間での平行移動が大きく, 平行移動成分が推定できない場合においては , 平行移動成分を考慮しない組合せ手法との差がなくなっている. 平行移動
成分の推定に用いる最もカメラから遠いマーカの追跡においては , 提案手法では ,カメラの回転成分による移動予測位置近傍に探索窓を設定し , 探索を行なっており, 平行移動成分について全く考慮していない. この問題を解決するためには , カ

ルマンフィルタ [30] などの予測フィルタを用いる方法が考えられる. 例えば , 過去の推定された平行移動成分の時系列情報から予測フィルタにより平行移動成分を予測して最もカメラから遠いマーカの移動位置を予測し , ビジョンセンサにより追跡し推定を行なう.

5.4 自然特徴点を併用した計測範囲の拡大
試作した拡張現実感システムを用いて, 自然特徴点の併用による位置合わせ範囲の拡大について実験を行なった. 実験では , 自然特徴点の抽出を容易にするために , マーカに加えて様々な物体を現実環境中に配置した . 実験に用いたパラメー
タを表 7に示す.

図 27は , 初期フレームにおいて , Moravec のインタレスト・オペレータにより自然特徴点を抽出した結果である. 図 27(b) が , インタレスト・オペレータを用いて抽出した結果であり, 自然特徴点を黒い十字により示している. 図 15の自然
特徴点を抽出する各領域の中央に配置した図 27(a) に比べ, 自然特徴点に適したコーナーや孤立点が選択されていることが確認できる.

図 28(a) は , 自然特徴点の追跡結果であり, 黒い十字により追跡してる自然特徴

41

表 7 実験に用いたパラメータ323
自然特徴点追跡用テンプレートサイズ (粗な探索) 824(1/2 縮小画像)
自然特徴点追跡用探索範囲 (粗な探索)1025(1/2 縮小画像)
自然特徴点追跡用テンプレートサイズ (密な探索)
1628
自然特徴点追跡用探索範囲 (密な探索)
523
自然特徴点評価尺度 フレーム間相関0.8
自然特徴点評価尺度 エピポーラ拘束
25
自然特徴点評価尺度 空間的位置ずれ距離10
位置合わせ用特徴点重み付け係数
マーカ :自然特徴点 = 4:1
インタレスト・オペレータ用ウィンドウサイズ

pixel

pixel

pixel

pixel

pixel

pixel

pixel

w

(a) 格子状w(b) インタレスト・オペレータ

図 27 自然特徴点の初期位置決定

42

点の位置を示している. 4.3節で述べた自然特徴点の信頼性評価により, 信頼性の低い自然特徴点は追跡が中止され , 信頼性の高い自然特徴点のみ追跡されていることが確認できる.

図 28(b) は , 4 個のマーカ位置を直線で結び四角形で表示しており, 破線の四角

形が 3章の自然特徴点を用いていない移動位置予測による位置合わせ手法の結果

を , 実線が 4章の自然特徴点を併用した位置合わせ手法の結果を示している. 実験

では , マーカが画面外に出た時の両手法の位置合わせ精度を比較するために , 入
力画像の左半分を画面外と想定し , 右半分のみでビジョンセンサによる追跡を行なっている. 自然特徴点を用いていない位置合わせ手法では , 画面外に出たマーカの位置は移動位置予測手法により求めているため, ジャイロセンサのド リフトや予測の誤差の蓄積により, マーカに対して四角形の位置ずれが生じている. 一方, マーカに加えて自然特徴点を用いた手法では , 正確に位置合わせを行なえていることが確認できる. これは , 自然特徴点を用いることにより, ジャイロセンサのド リフトや予測の誤差を修正できているためであり, 自然特徴点を用いることにより精度を落すことなく, 計測範囲を拡大できていることが確認できる.

自然特徴点を併用した位置合わせを, 図 20のシステム上で 16CPU で並列処理した時, フレーム当たり約 130 ミリ秒で処理できている.

以上の実験結果より, 自然特徴点を併用した計測範囲の拡大手法は有効である

ことが確認できた. しかし , 現在は自然特徴点の動的な追加を行なっておらず, 自然特徴点の信頼性評価による追跡の中止しか行なっていないため, 初期フレーム

から自然特徴点数は減少する一方である. 特徴点を動的に追加し位置合わせを行なう手法として, 神原らの手法 [26] がある. この手法を自然特徴点に拡張することにより, 自然特徴点の動的な追加を実現できると考えられる.

43

(a) 自然特徴点追跡結果(b) 位置合わせ結果
図 28 自然特徴点を用いた位置合わせ実験の結果
44

6. むすび
本論文では , 計測範囲の制限されないロバストな位置合わせの実現を目的とし ,ビジョンセンサとジャイロセンサを組み合わせた位置合わせ手法を提案した. 提案手法は, ビジョンセンサとしてステレオカメラを用い, ステレオカメラから得られるマーカの三次元位置情報とジャイロセンサから得られるカメラの姿勢情報を用い, カメラの平行移動を考慮したマーカの移動位置予測を実現する. また, 移動
位置予測手法を用いてマーカに加えて自然特徴点を追跡し , マーカと自然特徴点を併用した計測範囲を拡大させる位置合わせ手法を提案した.

実際にビデオシースルー拡張現実感システムを試作し , 実験を行なった. マーカの追跡実験とロバスト性の評価実験では , 通常の拡張現実感としての使用において, ビジョンセンサのみによる手法及びカメラの平行移動成分を考慮していない

ビジョンセンサとジャイロセンサの組合せ手法に比べて, 提案手法はロバストなマーカ追跡を実現できた. さらに , 提案手法はマーカのフレームアウトにも対応できており, カメラの平行移動成分を考慮した移動位置予測手法が有効であることが確認できた. また, マーカと自然特徴点を併用した位置合わせ実験より, ジャ
イロセンサのド リフトや予測誤差の蓄積を修正し , 精度を落すことなく位置合わ

せでき, 計測範囲を拡大できていることが確認できた.

今後の課題としては , マーカを用いない自然特徴点の移動位置予測と動的な自然特徴点の追加などが挙げられる. そうすることで, 計測範囲の制限されない提案手法の利点を活かした拡張現実感が実現できると考えられる.

45

謝辞
本研究の全過程を通して , 懇切なる御指導, 御鞭撻を賜ったソフトウェア基礎講

座 横矢 直和教授 に心より深謝致します.

本研究の遂行にあたり, 御助言を頂いた像情報処理学講座 千原 國宏教授 に厚く御礼申し上げます.

本研究を進めるにあたり, 終始, 暖かい御指導をして頂いたソフトウェア基礎講

座 竹村 治雄助教授 に深く感謝致します.

そして本研究を通じて, 有益な御助言を頂いたソフトウェア基礎講座 岩佐 英彦

助手, ならびに山澤 一誠助手 に厚く感謝致します.

本研究の遂行に多大なる御助言, 御鞭撻を賜った神原 誠之氏 には厚く御礼申し上げます. また, 物心両面において常に暖かい御助言を頂いたソフトウェア基礎講座の諸氏に深く感謝致します. 最後に , ソフトウェア基礎講座 事務補佐員 福永
博美女史 に深く感謝致します.

46

参考文献

[1] R. T. Azuma: \A Survey of Augmented Reality," Presence, Vol. 6, No. 4,
pp. 355-385, 1997.
[2] S. Feiner, B. Maclntyre, and D. Seligmann: \Knowledge-based Augmented
Reality," Commun. of the ACM, Vol. 36, No. 7, pp. 52-62, 1993.
[3] J. Rekimoto and K. Nagao: \The World through the Computer: Computer
Augmented Interaction with Real World Environments," Proc. of the ACM
Symposium on User Interface Software and Technology, pp. 29-36, 1995.
[4] 神原 誠之, 大隈 隆史, 竹村 治雄, 横矢 直和: \ビデオシースルー型拡張現実感のための実時間ステレオ画像合成", 信学論 (D-II), Vol. J82-D-II, No. 10,
pp. 1775-1783, 1999.
[5] S. You, U. Neumann, and R. Azuma: \Hybrid Inertial and Vision Tracking
for Augmented Reality Registration," Proc. IEEE Virtual Reality'99, pp.
260-267, 1999.
[6] 藤井 博文, 神原 誠之, 岩佐 英彦, 竹村 治雄, 横矢 直和: \ジャイロセンサを用いたビジョンベースド AR のためのマーカ追跡手法", 信学技報, MVE99-59,
1999.
[7] J. Park, S. You, and U. Neumann: \Natural Feature Tracking for Extendible
Robust Augmented Realities," Proc. of the 1st IEEE Int. Workshop on Augmented Reality, 1998.
[8] 仲村 元亨, 大隈 隆史, 竹村 治雄, 横矢 直和: \AR 環境における情報の生成・管理手法の一考察", 情処研報, 98-HI-76, 1998.
[9] M. Bajura, H. Fuchs, and R. Ohbuchi: \Merging Virtual Objects with theReal World: Seeing Ultrasound Imagery within the Patient," Proc. SIGGRAPH'92, Vol. 26, No. 2, pp. 203-210, 1992.
47

[10] A. State, G. Hirota, D. T. Chen, W. F. Garrett, and M. A. Livingston: \Superior Augmented Reality Registration by Integrating Landmark Tracking
and Magnetic Tracking," Proc. SIGGRAPH'96, pp. 429-438, 1996.
[11] 横光 澄男, 大隈 隆史, 竹村 治雄, 横矢 直和: \多視点ステレオ実画像を用いた屋外環境構造の再構成", 信学技報, PRMU98-250, 1999.
[12] G. J. Klinker, K. H. Ahlers, D. E. Breen, P-Y. Chevalier, C. Crampton, D.
S. Greer, D. koller, A. Kramer, E. Rose, M. Tuceryan, and R. T. Whitaker:\Con uence of Computer Vision and Interactive Graphics for Augmented
Reality," Precense, Vol. 6, No. 4, pp. 433{451, 1997.
[13] T. Ohshima, K. Satoh, H. Yamamoto, and H. Tamura: \AR2 Hockey: A
Case Study of Collaborative Augmented Reality," Proc. 14th Int. Conf. on
Pattern Recognition, Vol. 2, pp. 1226-1229, 1998.
[14] 大島 登志一, 佐藤 清秀, 山本 裕之, 田村 秀行: \複合現実型アミューズメン
トのためのフレームワークと実装", 日本バーチャルリアリティ学会第 4 回大会論文集, pp. 267-270, 1999.
[15] 田村 秀行, 大田 友一: \複合現実感", 映像情報メディア学会誌, Vol. 52, pp.
266-272, 1998.
[16] 清川 清, 竹村 治雄, 横矢 直和: \仮想環境と拡張環境のシームレスな切替による協調作業支援手法", 日本バーチャルリアリティ学会論文誌, Vol. 4, No.
4, pp. 657-664, 1999.
[17] 大隈 隆史, 竹村 治雄, 岩佐 英彦, 片山 喜章, 横矢 直和: \Spiral Tree: 順序付
き階層構造の 3 次元視覚化手法", 信学論 (A), Vol. J81-A, No. 2, pp. 280-288,
1998.
[18] 小川 亮, 馬場 博巳, 乃万 司: \実世界指向インタフェースによる案内図シス
テムの実現", 情報処理学会第 59 回全国大会講演論文集 (4), pp. 37-38, 1998.
48

[19] 大隈 隆史, 竹村 治雄, 横矢 直和: \拡張現実感システムのための画像からの実時間カメラ位置姿勢推定", 信学論 (D-II), Vol. J82-D-II, No. 10, pp.
1784-1792, 1999.
[20] U. Neumann and Y. Cho: \A Self-tracking Augmented Reality System,"
Proc. of the ACM on Virtual Reality Software and Technology, pp. 109-115,
1996.
[21] 小林 俊広, 井上 剛毅, L. Quan, 大田 友一: \3 視点のアフィン画像を用いた線形的手法によるカメラ姿勢の推定", 信学技報, PRMU98-245, 1999.
[22] J. Rekimoto: \Matrix: A Realtime Object Identi cation and Registration
Method for Augmented Reality," Proc. 3rd Aisa Paci c Computer Human
Interaction, pp. 63-68, 1998.
[23] 加藤 博一, M. Billinghurst, 浅野 浩一, 橘 啓八郎: \マーカー追跡に基づく拡張現実感システムとそのキャリブレーション ", 日本バーチャルリアリティ学会論文誌, Vol. 4, No. 4, pp. 607-616, 1999.
[24] U. Neumann and S. You: \Natural Feature Tracking for Augmented Reality,"IEEE Trans. on Multimedia, Vol. 1, No. 1, pp. 53-64, 1999.
[25] 佐藤 清秀, 山本 裕之, 田村 秀行: \カメラと 3 次元センサの組合せによる現実空間と仮想空間の位置合わせ手法", 日本バーチャルリアリティ学会論文誌,
Vol. 4, No. 1, pp. 295-302, 1999.
[26] 神原 誠之, 岩佐 英彦, 竹村 治雄, 横矢 直和: \マーカ切替え追跡による広範囲見回し可能なビデオシースルー型拡張現実感", 信学技報, PRMU99-199,
2000.
[27] S. Gibbs, C. Arapis, C. Breiteneder, V. Laliotti, S. Mostafawy, and J. Speier\Virtual Stadio: An Overview," IEEE Multimedia, Vol. 5, No. 1, pp. 18-35,
1998.
49

[28] 中島 健, 伴 好弘, 眞鍋 佳嗣, 佐藤 宏介, 千原 國宏: \ウェアラブル拡張現実
感技術による星座観測支援システム", 日本バーチャルリアリティ学会第 4 回
大会論文集, pp. 417-418, 1999.
[29] S. Feiner, B. Maclntyre, T. Hollerer, and A. Webster: \A Touring Machine:
Prototyping 3D Mobile Augmented Reality Systems for Exploring the Urban
Environment," Personal Technologies, Vol. 1, No. 4, pp. 208-217, 1997.
[30] 画像処理ハンドブック編集委員会: \画像処理ハンドブック", 昭晃堂, 1987.
[31] H. P. Moravec: \Visual Mapping by a Robot Rover," Proc. of the 6th Int.
Joint Conference on Arti cial Intelligence, pp. 598-600, 1979.
[32] 高木 幹雄: \画像解析ハンドブック", 東京大学出版会, 1991.

50