NAIST-IS-DT9961010

博士論文

ステレオビデオシースルー型拡張現実感における幾何学的整合性に関する研究

神原 誠之

2002 年 3 月 22 日
奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に博士 (工学) 授与の要件として提出した博士論文である。

神原 誠之
審査委員：

横矢 直和 教授
千原 國宏 教授
木戸出 正継 教授
竹村 治雄 教授

ステレオビデオシースルー型拡張現実感における幾何学的整合性に関する研究3
神原 誠之

内容梗概
現実世界に仮想世界の情報をシームレスに重畳表示する技術は拡張現実感と呼ばれ，現実環境に情報を付加することが可能であることから新たな情報提示手法の 1 つとして注目されている．拡張現実環境をユーザに提示するには，現実環境と仮想環境の 3 次元的な位置合わせ問題である幾何学的整合性問題を実時間で解決する必要がある．本研究では，ビデオシースルー方式のヘッド マウントディス
プレ イに取り付けられたステレオカメラを利用し，拡張現実感における幾何学的整合性問題の解決を目的とする．まず 1 章では，拡張現実感における技術課題と従来研究を概観し，本研究の目的と意義を明確にする．2 章では，現実環境に配置したマーカをステレオカメラにより撮影した映像からユーザの視点位置を推定することで現実環境と仮想環境の位置合わせを行う手法について述べる．また，提案手法を利用して構築した拡張現実感システムを用いた実験により提案手法の有効性を確認する．3 章では，特徴点追跡のロバスト性を向上させるために，3 軸角度センサの併用による視点の移動予測に基づく位置合わせ手法を提案する．4
章では，マーカに加え自然特徴点を切替え追跡することによる位置合わせ範囲の拡大手法を提案する. 5 章では，撮影されたステレオ画像からの現実環境の奥行
き推定による現実物体と仮想物体の正確な奥行き隠蔽関係の表現手法について述べる．最後に，6 章で本研究を総括する．
キーワード
拡張現実感，幾何学的整合性，ステレオ視，ビデオシースルー
3 奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 博士論文, NAIST-ISDT9961010, 2002

年 3 月 22 日.

iGeometric Registration for
Stereo Video See-through Augmented Reality

3

Masayuki Kanbara
Abstract
This paper describes a new registration method for stereo video see-throughaugmented reality. In an augmented reality system, it is required to obtain theposition and orientation of the user's viewpoint to display a composed image
maintaining correct registration of real and virtual worlds and estimate the depthof real world to compose the image maintaining consistent occlusion between realand virtual objects. Chapter 1 gives a perspective of the study in the area ofaugmented reality. In Chapter 2, a stereoscopic video see-through augmented
reality system, which registers real and virtual worlds using three ducial markers, is proposed. In Chapter 3, a robust registration method is proposed by using
stereoscopic cameras and an inertial sensor. The method can register the real andvirtual worlds even when a user's head (view-point) moves rapidly. Chapter 4
describes a wide area registration method with marker and natural feature tracking. Chapter 5 describes a method which generates a composed stereo images
maintaining consistent occlusion between real and virtual objects by estimating the depth of real world from stereo images in real-time. Finally Chapter 6
summarizes the present study.

Keywords:
augmented reality, geometric registration, stereo vision, video see-through3 Doctor's Thesis, Department of Information Systems, Graduate School of Information Science, Nara Institute of Science and Technology, NAIST-IS-DT9961010,

ii

March 22, 2002.

目次

1. 序論

1.1 拡張現実感の概観
1.1.1 拡張現実感の技術課題
1.1.2 幾何学的整合性問題
1.1.3 仮想物体の重畳表示方式
1.1.4 幾何学的整合性問題への従来アプローチ
1.2 本研究の目的と方針
1.2.1 ユーザの視点と仮想物体の位置関係を求める問題
1.2.2 現実物体と仮想物体の位置関係を求める問題
1.3 本論文の構成

1: : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : :: : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : :2. マーカを用いた位置合わせによるステレオ画像合成

2.1 序言2.2 ステレオ画像からのマーカ追跡による位置合わせ
2.2.1 カメラパラメータの推定
2.2.2 マーカの抽出
2.2.3 マーカの 3 次元位置の推定
2.2.4 モデルビュー行列の推定
2.3 ステレオ画像合成
2.4 ビデオシースルー拡張現実感システムの構築
2.5 実験と考察
2.6 結言18: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :3. 3 軸角度センサを併用したマーカの移動予測によるロバスト 性の向上
3.1 序言3.2 カメラの動きのモデル化
3.3 カメラの平行移動成分を考慮したマーカの移動位置予測: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :

iii

1
2
2
7
8
13
14
16
17

: : : : : :

18
18
18
19
22
22
24
24
26
32

33

33
33
35

3.3.1

カメラの回転による移動位置 −回転中心とレンズ中心が一致している場合−

3.3.2: : : : : : : : : : : : : : : : : : : : :カメラの回転による移動位置予測 −回転中心とレンズ中心が一致していない場合− : : : : : : : : : : : : : : : : : : :

3.3.3

35
38

カメラの平行移動と回転による移動位置予測 −回転中心とレンズ中心が一致していない場合− : : : : : : : : : : : : :3.4 移動位置予測に基づくマーカ追跡
3.5 マーカの移動位置予測を用いた追跡:実験と考察
3.5.1 システム構成
3.5.2 移動位置予測手法を用いたマーカ追跡実験
3.5.3 マーカ追跡のロバスト性の評価実験
3.6 結言: : : : : : : : : : : : : : : : : :: : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : :: : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :4. マーカと自然特徴点の切替え追跡による位置合わせ範囲の拡大
4.1 序言4.2 基準マーカを用いた位置合わせ
4.2.1 マーカの追跡と 3 次元位置の推定
4.2.2 モデルビュー行列の計算
4.3 自然特徴点を併用した計測範囲の拡大
4.3.1 自然特徴点の初期位置決定
4.3.2 自然特徴点の追跡
4.3.3 自然特徴点の信頼性評価
4.4 新たな特徴点の検出・追跡による位置合わせ範囲の拡大
4.4.1 2 種類のマーカを用いた位置合わせ
4.4.2 新たなマーカの抽出と 3 次元位置の推定
4.5 マーカと自然特徴点を併用した位置合わせ
4.6 実験と考察
4.7 結言: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : :: : : : : : : : : : : : :: : : : : : : : : :: : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5. 現実物体と仮想物体の正確な奥行き表現
iv

39
40
41
41
43
44
51

52
52
53
53
55
55
55
58
59
60
60
62
63
64
69

70

5.1 序言
5.2 現実環境の奥行き推定
5.3 拡張現実感に特化した奥行き推定の高速化
5.3.1 探索範囲の縮小による計算量の削減
5.3.2 仮想物体の 3 次元位置を利用した視差候補の削減
5.3.3 時系列情報の利用
5.4 奥行き隠蔽関係を考慮したステレオ画像合成
5.5 実験と考察
5.6 結言: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : :: : : : : : : : : : : : :: : : : :: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

70
70
73
73
73
74
75
77
81

6. 結論

82

謝辞

85

参考文献

86

付録

101

A. ステレオ視の原理

101

v

図目次

1.1 複合現実感の技術体系
1
1.2 カメラ座標系と世界座標系の関係
3
5
1.3 現実環境と仮想環境の位置ずれ
1.4 センサ座標系と世界座標系の関係
6
1.5 現実環境と仮想環境の前後関係の矛盾
6
1.6 重畳表示方式
8
1.7 センサ座標系とカメラ座標系が異なる場合の各座標系の関係
12
1.8 センサ座標系とカメラ座標系が一致している場合の各座標系の関係 13
1.9 ステレオビデオシースルー型 HMD
14151.10 カメラの平行移動によるマーカの予測誤差
2.1 画像合成の処理の流れ
19
2.2 第 1 フレームの左右画像のマーカのラベル付け
2021
2.3 マーカ追跡の処理の流れ
2.4 カメラ座標系と世界座標系の関係
23
2.5 拡張現実感システムの構成
25
2.6 合成される仮想物体
25
2.7 位置合わせ実験に利用した現実環境の例
26
2.8 位置合わせ実験の様子
2729
2.9 マーカの追跡結果 1
2.10 マーカの追跡結果 2(マーカの隠蔽による追跡の失敗)
30
2.11 合成ステレオ画像
31
3.1 マーカ追跡手順
34
3.2 カメラの移動成分
35
3.3 回転中心とレンズ中心が一致する場合のカメラの回転によるマーカの移動
36
3.4 軸と回転方向の定義
37
3.5 回転中心とレンズ中心が不一致の場合のカメラの回転によるマー
カの移動
38: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : :: : : : : : : : : : : : : : : : :: : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :vi

3.6 カメラの平行移動と回転によるマーカの移動
39
3.7 マーカの移動位置予測と探索
41
3.8 ジャイロセンサとステレオカメラを組合わせたビデオシースルー
HMD
42
3.9 3 軸角度センサを併用した拡張現実感システムの構成
43
3.10 マーカ追跡結果 (実線: 移動予測を適用した場合，点線: ビジョン
45
センサのみ用いた場合)
3.11 探索窓サイズの変化
46
3.12 フレームアウトへの対応
46
3.13 カメラの平行移動成分の考慮の有無による予測位置比較
473.14 カメラの移動速度が異なる場合の撮影画像
50
54
4.1 自然特徴点追跡と位置合わせ手順
4.2 自然特徴点の抽出
56
4.3 二値画像に対する自然特徴点の抽出の図解
57
4.4 自然特徴点の初期位置決定
58
59
4.5 テンプレートと参照画像
4.6 マーカ座標系とカメラ座標系の関係
62
4.7 マーカと自然特徴点を併用した位置合わせ
64
65
4.8 特徴点の切替え追跡による位置合わせ実験の様子
67
4.9 マーカ切替え追跡による位置合わせ結果
4.10 マーカと自然特徴点を併用した位置合わせ実験結果
68
5.1 隠蔽関係を考慮した画像合成処理の流れ
71
72
5.2 奥行き推定の処理手順
5.3 奥行き推定領域の決定
74
76
5.4 画像合成処理の手順
5.5 現実環境の奥行き推定
79
5.6 隠蔽関係を考慮した合成ステレオ画像
80
A.1 標準ステレオ撮像系
102: : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :: : : : : :: : : : : : : : : : : : :: : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : :: : : : : : : : : : : : :: : : : : : : : :: : : : : : : : : : : : : :: : : : : : : :: : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : :

vii

表目次

2.1 位置合わせ実験環境
3.1 使用機器
3.2 回転中心が平行移動しない場合の追跡失敗率
3.3 回転中心が平行移動する場合の追跡失敗率
3.4 カメラが通常速度で移動した場合の追跡失敗率
3.5 カメラが高速で移動した場合の追跡失敗率
3.6 位置合わせ実験におけるフレームレート: : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :: : : : : : : : : : : :: : : : : : : : : : : : :: : : : : : : : : : :: : : : : : : : : : : : :: : : : : : : : : : : : : :

viii

24
42
48
49
51
51
51

1. 序論1.1 拡張現実感の概観
近年，計算機を用いて生成された仮想環境を現実環境に合成提示することで，現実環境に情報を付加することが可能な技術として拡張現実感 (AR: Augmented

Reality) が注目されている [Azu97, ABB+01, 田村 98, BN95]．AR が注目されている背景には以下のような理由が考えられる．従来研究されてきた仮想現実感(VR: Virtual Reality) は，現実環境ではできない体験を疑似的に体験することを可能にしたが，コンピュータグラフィクスのみから構築される VR 環境の写実性や臨場感には限界がある．特に，作業訓練や景観シミュレーション等を行なう場
合，仮想環境の写実性の低さは大きな問題となる．写実性を高めるためには，現実環境を正確に再現する必要があるため，計算機に現実環境の情報を入力するという繁雑な作業が伴う．そこで，現実環境はそのままユーザに提示し，そこに必要な仮想環境を合成することで，臨場感の高い合成環境をユーザに提示する ARへの要求が高まってきたと考えられる．

AR は，概念的には，Milgram ら [MK94] によって提唱された複合現実感 (MR:
Mixed Reality) の一部である．MR には，現実環境に仮想環境を取り込む AR と，
計算機内に構築された仮想環境内に，現実環境の情報を取り込むことで仮想環境の写実性を強化する Augmented Virtuality (AV) が含まれる．Milgram らは図1.1に示すように，AR と AV の間には明確な境界はなく，現実環境と仮想環境は連続であると提唱している．実際，MR の分野において共通の問題や技術が多く存在するが，AR の分野特有の問題も存在するとされている．
Mixed Reality (MR)Real
Environment

Augmented
Reality (AR)Augmented
Virtuality (AV)

図 1.1 複合現実感の技術体系

1

VirtualEnvironment

1.1.1 拡張現実感の技術課題
臨場感の高い AR 環境を構築するためには，現実環境と仮想環境との間における幾つかの整合性問題を解決する必要がある [OSY+ 98, 田村 97, TYK01]．主なものを以下に挙げる．
幾何学的整合性問題
現実環境，仮想環境，ユーザの視点の 3 次元空間における位置姿勢の関係を推定する問題．
時間的整合性問題
ユーザの移動，視線の変化，実環境の変化などによって生じる実世界に対する仮想物体の追従の時間遅れの問題．
光学的整合性問題
現実環境と仮想環境の画質のずれや陰影不整合の問題 [佐藤 98, 佐藤 00]．
上記の整合性問題の中で，幾何学的整合性問題は，他の整合性問題にも影響を与える問題であり，ユーザに違和感を与える最も大きな要因である，そこで，本論文では，幾何学的整合性問題について検討を行なう．幾何学的整合性における位置合わせ問題を解決しても，仮想環境と現実環境を重畳表示する際，合成方式
により幾何学的な整合性が正確に表現できない場合がある．そのため，幾何学的整合性問題を解決する手法と，現実環境と仮想物体の合成手法の組合せについて検討する必要がある．以降，1.1.2 節では，幾何学的整合性問題について，1.1.3

節では，現実環境と仮想環境との合成手法について説明する．その後，1.1.4 節において，幾何学的整合性の従来アプローチについて概観する．

1.1.2 幾何学的整合性問題
幾何学的整合性問題には，仮想環境と現実環境の位置ずれのない合成画像を提示するためにユーザの視点と仮想物体の位置関係を求める問題と，現実物体と仮想物体の前後関係を正確に表現するために現実物体と仮想物体の奥行き関係を求

2

仮想物体

B

世界座標系

C
現実物体

カメラ座標系(ユーザの視点)A

図 1.2 カメラ座標系と世界座標系の関係める問題が含まれる．これらの問題を整理するために，図 1.2 に示すように，基準となる世界座標系を設定して考える．この時，現実環境における世界座標系の位置姿勢と，世界座標系と仮想物体の 3 次元空間における位置関係 (図 1.2 B) は，ユーザが設定するため既知である．以下それぞれの問題について説明する．
【ユーザの視点と仮想物体の位置関係を求める問題】
この問題は，仮想物体がユーザにどのように見えるかを決定するものであり，図 1.2 に示したユーザの視点の位置姿勢を示すカメラ座標系における仮想物体の位置姿勢 (図 1.2 C) を求める問題である．図 1.3 に示すように，ユーザの視点と仮想物体の位置関係が正確に推定できなければ提示画像に位置ずれが生じ ，設定通りに合成されない．この問題は，世界座標系と仮想物体の関係 (図 1.2 B) が既知であるため，世界座標系とカメラ座標系の3 次元空間における位置関係 (図 1.2 A) を求める問題となる．この問題を解決するために現実環境におけるユーザの視点情報を獲得する手法は，以3

下の 2 つに大別される．

 磁気式，超音波式，多関節アーム型など ，特殊な装置を用いて視点情報を獲得する手法 [FMS93]

 カメラによって撮影された画像から視点情報を推定する手法 [Rek98,
井上 98]．

前者は，3 次元位置姿勢を比較的容易に獲得することができるが，特殊な装置が必要，計測範囲が限られてしまうなどの問題点がある．一方，後者は撮影された画像から視点情報を推定するため測定範囲は必ずしも限定されない．カメラと視点の位置関係が既知であれば，撮影された画像からカメラパラメータを求めることで視点情報を獲得できる．したがって，コン
ピュータビジョンの分野で研究されてきた手法を利用して視点情報を求めることができる [Azu93, KAB+ 97]．また，これらの手法を組み合わせることでお互いの欠点を補うことも可能である．
【現実物体と仮想物体の位置関係を求める問題】
この問題は，仮想物体と現実物体の奥行き関係 (図 1.4 A) を求める問題である．これが解決されなければ，図 1.5で示すように，実際は視点からの距離が仮想物体よりも近い現実物体上に仮想物体が上書されることで，仮想物体と現実物体の前後関係が矛盾する．世界座標系と仮想物体の関係 (図1.4 B) が既知であるため，この問題は，世界座標系と現実物体の 3 次元空間における位置関係 (図 1.4 C) を求める問題となる．

現実環境が静的な環境であれば，あらかじめ世界座標系における現実環境の 3 次元形状を計測し，それを記憶しておく，つまり図 1.4 C をユーザが設定しておくことで解決できる．しかし，AR で扱われるような動的な環

境に対応するには，世界座標系と現実物体の位置関係 (図 1.4 C) を連続して取得する必要がある．そのため問題を解決するために，世界座標系における位置関係 (図 1.4 D) が既知な実時間 3 次元計測装置を用いて奥行きを計測し，3 次元計測装置の位置姿勢を表すセンサ座標系における現実物体の

4

位置ずれ

仮想物体

ユーザ観察シーン

B

C

世界座標系

現実物体

A

カメラ座標系(ユーザの視点)

図 1.3 現実環境と仮想環境の位置ずれ
位置 (図 1.4E) を求めるものがある [大槻 00]．そうすることで，間接的に世界座標系と現実物体の 3 次元的位置関係 (図 1.4 C) を求めることができる．

5

センサ座標系
仮想物体
E
A

世界座標系

B
現実物体

C

D

図 1.4 センサ座標系と世界座標系の関係

前後関係
の矛盾

仮想物体

ユーザ観察シーン

B

世界座標系

C
現実物体

カメラ座標系

A

図 1.5 現実環境と仮想環境の前後関係の矛盾

6

1.1.3 仮想物体の重畳表示方式
現実環境と仮想物体を合成する方式には以下の 2 つがある．
【光学合成】
図 1.6 (a) に示すように，ハーフミラーなどを用いて，映り込む仮想環境と透過して見える現実環境を同時にユーザに提示する方式である．現実環境
が時間遅れなく提示できる反面，仮想環境を提示する際の計算時間などは，現実環境と仮想環境の同期ずれとなり，これが位置ずれとしてユーザに知覚される．ハーフミラーを用いているため現実環境が若干暗く見え，仮想物体は半透明に表示される．そのため，現実物体と仮想物体の前後関係を隠蔽により表現するのは一般的に困難である．また，仮想物体を置くこと
による光学的効果 (実物体への影など ) も表現できない．ただし，奥行き隠蔽関係に関しては，近年，光学合成方式において，特殊な表示デバイスを用いて隠蔽関係を表現する研究も行われている [清川 00, KKO+ 00, 野田 99]．
【ビデオ合成】
図 1.6(b) に示すように，カメラなどによって撮影された現実環境の画像上に，仮想物体を描画する方式である．ビデオシースルー方式の場合，ユー
ザの視線方向とカメラの光軸方向を一致させて撮影した現実環境の映像上に，仮想環境を合成して提示することで実現される．現実環境と仮想環境の同期をとって提示できるため，同期ずれによる両者の位置ずれは生じな
い．しかし，提示される環境全体が，仮想環境を重畳合成する際の計算時間などによって遅れて提示される [ERK93]．本方式では，現実物体と仮想物体の前後関係が分かれば，お互いを隠蔽でき，現実物体との前後関係を表現できる．

7

仮想環境

表示画面

ハーフミラーユーザ

現実環境(a) 光学式シースルー
仮想環境

計算機

画像合成

カメラ

ユーザ
表示装置

現実環境

(b) ビデオシースルー
図 1.6 重畳表示方式

1.1.4 幾何学的整合性問題への従来アプローチ
本節では，幾何学的整合性問題に対する従来研究を概観する．まず，ユーザの視点と仮想物体の位置関係を求める手法について，次に，現実物体と仮想物体の位置関係を求める手法について述べる．
ユーザの視点と仮想物体の位置関係を求め問題は，前述の通り，ユーザの視点

8

位置情報を推定する問題に帰着する．従来，ユーザの視点位置情報の獲得には，

VR で良く使用される磁気式 3 次元センサを用いた手法が多い．磁気式 3 次元センサは，磁気の歪みによって多少の計測誤差があるものの，3 次元位置の推定がロバストであるため現実環境の作業補助などに応用されている．その例として，プリンタのメンテナンスの手順を現実環境に重畳表示することで，作業補助を行
なうものなどがある [FMS93]．しかし，3 次元センサを用いる手法は，機器による制限から位置合わせ範囲が限定されるという欠点がある．
一方，ビジョンセンサを用いて視点位置を推定する手法 [SH00, SFZ00] は，ビデオ合成で用いる現実環境を撮影した画像から視点位置を推定することで現実環
境と仮想環境の同期ずれが原因となる位置ずれをなくすことができるため, ビデ
オシースルー合成と組み合わせることが多い．従来，現実環境中の特徴点を，単眼のカメラで撮影した画像から，カメラパラメータを推定する手法がいくつか提案されている [UK95, 中沢 97, 井上 98, OKT+ 98]．その一つに，現実環境中の特徴点として同一平面上の既知の 4 つのマーカをカメラにより撮影した画像から

実時間でカメラパラメータを求めることで拡張現実環境を提示する手法がある[OKT+98]．しかし，単眼のカメラを用いるとユーザの両眼に同じ画像を提示することになり，現実環境の奥行き感を提示することができない点や，現実物体と仮想物体の前後関係に矛盾のある合成画像になるという点が問題になっていた．
また，ビジョンセンサを用いた位置合わせ手法は , 撮影された画像から視点の

位置・方向を推定するため, 現実環境にカメラ以外の特別な装置が必要なく, 本質

的に計測範囲が制限されないという特徴がある. しかし , 現実環境にマーカを配置し , マーカを追跡することにより位置合わせを行なっている手法においては , カ
メラによりマーカが撮影されている必要があり, 実際には計測範囲が制限されてしまう問題がある. さらに , 画像処理によりカメラの位置・姿勢を推定するため,ロバスト性に欠ける, 計算量が多いといった問題がある.

単一のセンサによる位置合わせ手法の他に , 複数のセンサを組み合わせた位置合わせ手法が研究されている. センサを組合せた手法として，前述の三次元位

置センサとビジョンセンサを組合せた手法 [BFO92, SHC+ 96, OSY+ 98, 大島 99,

GAB+ 98] がある. Bajura ら [BFO92] や State ら [SHC+96] は, 磁気センサとビ
9

ジョンセンサを組合せているが , その組合せ手法は以下のように異なる.

 磁気センサにビジョンセンサを組み合わせる手法 [BFO92]

磁気センサの誤差により生じる位置合わせのずれを , ビジョンセンサを用いて修正することにより, 磁気センサの精度が低いという問題を解決している.

 ビジョンセンサに磁気センサを組み合わせる手法 [SHC+ 96]
ビジョンセンサによる視点の位置・方向の推定の補助として磁気位置セン
サを用いることにより, ビジョンセンサのロバスト性の低さを補っている.
両手法とも, それぞれのセンサの欠点を互いに補うが , 両センサを組み合わせることにより, ビジョンセンサの長所であった計測範囲が制限されないといった特徴が失われる. 他の三次元位置センサとビジョンセンサの組合せについても, 同様に考えることができる.

計測範囲を制限することなく, ビジョンセンサのロバスト性を向上させた手法として , You らの手法 [YNA99, YN01] がある. この手法では , ビジョンセンサと同様に計測範囲に制限がないジャイロセンサを組み合わせている. カメラに取り付けられたジャイロセンサから得られるカメラの姿勢情報を利用し , 追跡しているマー

カの次フレームにおける移動位置を予測することにより, ロバストなマーカ追跡を実現している. これ以外に , 計測範囲が制限されないセンサの組合せとしては ,地磁気センサを用いてビジョンセンサを補助する手法 [中島 99] や , GPS(Global

Positioning System) とジャイロセンサを組み合わせた手法 [FMH+97, SAY+01]などがある.
次に，現実物体と仮想物体の正確な前後関係を表現した AR の従来手法を以下に挙げる．現実環境が静的であれば，あらかじめ現実環境の 3 次元形状を計測し，記憶しておくことで解決することができる [SHC+ 96]．動的な現実環境に対応す
るには，実時間距離センサを用いて 3 次元形状を連続して獲得する必要がある．
その問題を解決する手法の一つに，3 次元形状計測センサを用いて推定した奥行
きを，現実環境の 3 次元形状とする手法がある．それらの手法は，3 次元形状の獲得に，コンピュータービジョンの分野において多くの研究がなされている実時
間奥行き推定の手法が利用されている．それらの多くは，多眼 (3 眼以上) ステレ

10オや特殊な処理装置が用いられている [KYO+ 96, 松原 96, 大槻 00]．これは，図1.7のように，カメラ座標系 (ユーザの視点) と現実環境の 3 次元形状を推定する
センサ座標系が異なる．一方，図 1.8のように，現実環境の 3 次元形状を獲得するセンサとユーザの視点を一致させている手法もある [WA95]．この手法では AR
環境に提示するための現実環境を撮影したステレオ画像対を現実環境の 3 次元形状の獲得に利用する．しかし，通常の計算機を利用してステレオ画像対から奥行きを推定すると，計算量が問題となり，実時間処理で拡張現実感で要求される解像度や精度を持った奥行き情報を推定することは困難とされている [WA95]．以
上のように，2 眼ステレオカメラを現実環境の 3 次元計測に用いた AR では，いかに奥行き推定の計算量を削減し，実時間処理を実現するかが問題となる．

11

センサ座標系
仮想物体
E
B
現実物体

世界座標系

C

D

カメラ座標系(ユーザの視点)A

図 1.7 センサ座標系とカメラ座標系が異なる場合の各座標系の関係

12

仮想物体

B
現実物体

世界座標系

C

D

カメラ座標系A(センサ座標系)

図 1.8 センサ座標系とカメラ座標系が一致している場合の各座標系の関係

1.2 本研究の目的と方針
本研究は，幾何学的整合性問題を解決した AR 環境の実現を目的としている．

前述の背景から，幾何学的整合性問題を解決した AR 環境をユーザに提示するために，現実環境を撮影した画像からユーザの視点位置を求めるビジョンセンサと，
ビジョンセンサと相性が良く各環境の隠蔽関係を表現可能なビデオ合成の組合せを用いる．そこで，本研究では図 1.9で示すビジョンセンサとしてステレオカメ
ラを利用したステレオビデオシースルー方式の HMD を考案する．これは，HMD
上にビジョンセンサとして CCD カメラ 2 個を光軸を平行に 6.5cm の間隔で取り

13図 1.9 ステレオビデオシースルー型 HMD
付けて標準ステレオ撮像系を構成したものであり, このステレオカメラで撮影されたステレオ画像を利用することで幾何学的整合性の解決を試みる．また，拡張現実環境は卓上に構築することを想定する．具体的には，前述の幾何学的整合性の 2 つの課題である，1) ユーザの視点と仮想物体の位置関係を求める問題，2) 現
実物体と仮想物体の位置関係を求める問題，の解決を目的とする．以下，各問題に対するアプローチを詳述する．

1.2.1 ユーザの視点と仮想物体の位置関係を求める問題
本研究では，ビデオ合成に使用する現実環境として，2 眼のステレオカメラから撮影された画像を使用し，仮想物体と合成した画像を左右のそれぞれの目に提示する．具体的には，現実環境に 3 次元位置関係の既知の 3 つのマーカを配置し，それをステレオカメラで撮影した画像から観測者の視点位置・姿勢を推定する．
また，ロバスト性の向上と位置合わせ範囲の拡大のため，以下のような拡張を行
なう．
位置合わせのロバスト 性の向上
本研究では，視点付近に取り付けられたステレオカメラで撮影された，特徴点

14

実際の
マーカ位置

予測位置

-T

θ:回転成分P’

T :平行移動成分

Pt
θ

Pt+Δt

Pt

θ
T
時刻 t+Δt

カメラ
時刻 t

図 1.10 カメラの平行移動によるマーカの予測誤差を追跡することで現実環境と仮想環境の位置合わせを行なう. そのため，本論文
では位置合わせのロバスト性は，ステレオ画像内での特徴点追跡のロバスト性を意味する．計測範囲を制限することなく, ビジョンセンサのロバスト性を向上させる手法に , 前述の You らの手法 [YNA99] がある. この手法では , カメラにジャイロセンサを組み合わせてマーカの移動位置を予測することにより, ロバストなマーカ追跡を実現している. しかし , ジャイロセンサではカメラの姿勢情報しか得られないため, カメラの動きに平行移動成分が含まれる場合に , マーカの移動位置を正確に予測できないといった問題がある. 具体的には , 図 1.10に示すように ,カメラが平行移動を伴いながら回転するとき, カメラの平行移動成分を考慮せずに回転成分  のみからマーカの移動位置を予測すると, 予測されるマーカの位置
はP' となり, 実際のマーカ位置からカメラの平行移動成分 T だけずれてしまう.

このため, マーカの追跡を継続するには探索窓のサイズを大きくする必要があるが , 探索窓内に他のマーカが含まれることにより追跡が失敗する可能性が大きくなる.

そこで本研究では , ビジョンセンサとしてステレオカメラを用い, ステレオカメ

ラから得られるマーカの三次元位置情報とジャイロセンサから得られるカメラの15姿勢情報を利用してカメラの平行移動成分を考慮したマーカの移動位置予測を行なう．それにより, 画像上での探索範囲を大きくすることなく, ロバストなマーカ
追跡を実現する.

位置合わせ範囲の拡大

マーカの利用により計測範囲が制限される問題を解決する手法として , 先述の自然特徴点を併用する Park らの手法 [PYN98] がある. この手法では , マーカに加え自然特徴点を追跡することで, 位置合わせ精度を落すことなく計測範囲の拡大を実現している. しかし，これらの手法を含め, 自然特徴点の追跡は , 一般的に

テンプレートマッチングにより行なっているため, 近傍に類似した自然特徴点が存在した場合に誤って追跡してしまうといった問題がある. また, テンプレート

マッチングなどの画像処理を用いているため計算量が問題となる.

本研究では , 前述のカメラの平行移動成分を考慮した特徴点の移動位置予測手法を用いて自然特徴点の移動位置を予測し , 探索範囲を限定することにより, 自然
特徴点の誤追跡の抑制と計算量の削減を行なう. そして , 追跡された自然特徴点

を併用することにより, 位置合わせ範囲の拡大を試みる.

1.2.2 現実物体と仮想物体の位置関係を求める問題
動的な現実環境における現実物体と仮想物体の位置関係を求めるためには，実時間で現実環境の 3 次元形状を獲得する必要がある [LB00, OSI+ 01]．1.1.4節で述

べた，図 1.7 のようにユーザの視点と異なった位置に現実環境を計測するセンサを設置した場合，3 次元計測センサは現実物体の表面形状 (2.5 次元) の計測しか行なえないため，センサから隠蔽されている領域の 3 次元形状は推定不可能である．そのため，センサの位置と異なるユーザの視点からの視野には，現実環境の3 次元形状の計測されていない領域が存在する場合がある．これを解決するためには，センサの位置とユーザの視点位置を一致させることが考えられる．そうすることで，センサから計測不能な領域は，ユーザの視点から見えない領域と一致するため，この領域の奥行きを求める必要が無くなる．しかし，ユーザの視点とセンサの位置を一致させるためには，視点の動きに応じてセンサを移動させなけ

16

ればならないため，センサを小型化する必要がある．そこで，本研究では，視点位置計測に用いた 2 眼のステレオカメラを，3 次元計測センサとして用いる．この場合，各座標系の関係は先に示した図 1.8 のようになる．センサ座標系とカメラ座標系を一致させることで，世界座標系におけるユーザの位置・姿勢 (図 1.8

A) とカメラ座標系おける現実環境の奥行き (図 1.8 D) をステレオカメラにより撮影された画像対から推定する．ここで問題になるのは，2 眼のステレオ画像対から現実環境の奥行きを実時間で推定しなければならないことである．1.1.4 節
でも述べた通り，2 眼のステレオ画像対から実時間奥行き推定は困難である．そこで，本研究では，ユーザの視点情報を先に求め，あらかじめカメラ座標系における仮想物体の位置を計算し，奥行き推定処理を仮想物体が画像上に投影される領域に限定し，計算量の削減を行なう．

1.3 本論文の構成
本論文の構成は以下の通りである．2 章では現実環境に配置したマーカをステ
レオカメラにより撮影した映像からユーザの視点位置を推定することで現実環境と仮想環境の位置合わせを行う拡張現実感システムを構築する．3 章では，位置合わせに用いる特徴点の追跡のロバスト性を向上させるために，3 軸角度センサの併用による視点の移動予測に基づく位置合わせ手法を提案する．4 章では，マーカに加え自然特徴点を切替え追跡することによる位置合わせ範囲の拡大手法を提案する. 5 章では，2 章で構築したシステムを改良することで，現実物体と仮想物
体の正確な隠蔽関係を表現する手法について述べる．最後に，6 章で本研究を総

括する．

17

2. マーカを用いた位置合わせによるステレオ画像合成
2.1 序言現実環境に配置したマーカを撮影したステレオ画像に，仮想物体を合成する手法について述べる．本研究では，ステレオカメラにより撮影した画像をユーザの両眼へ提示するため，人間の目のモデルと同様に図 A.1(付録 A 参照) に示すよ

うな標準ステレオ撮像系を用いる．具体的な処理は，3 次元位置関係が既知の同一直線上にない 3 つのマーカを撮影したステレオ画像から，マーカとカメラの 3

次元位置関係を推定し，現実環境を仮想環境の座標系の位置合わせを行なう．次に，現在の視点にあった仮想物体をコンピュータタグラフィクスで生成し撮影画像に合成する．また，実際にビデオシースルー拡張現実感システムを構築し，実験についても述べる．
本章で提案する現実環境と仮想環境のステレオ画像合成の処理手順を図 2.1に示す．入力されたステレオ画像対から視点位置情報を推定 (図 2.1 A) し，それらの結果を用いて画像合成を行なう (図 2.1 C)．

2.2 ステレオ画像からのマーカ追跡による位置合わせ

2.2.1 カメラパラメータの推定
カメラパラメータを推定するため以下の 3 段階の処理を行う．本論文では，簡単化のために特徴点として青色のマーカを用いる．

1. 入力された 2 枚の画像のそれぞれから青色領域を抽出しマーカの画像上の座標と左右画像間の対応関係を求める．

2. マーカの画像上の座標からステレオ視によりマーカの 3 次元座標を推定する．
3. マーカの 3 次元座標から，現実環境と仮想環境の位置関係を表すモデル
ビュー行列を計算する．
以降では，それぞれの段階について詳細を順に述べる．

18

左画像
右画像
入力

A. カメラパラメータの推定

ステレオカメラa. マーカの追跡(右画像)

a.マーカの追跡(左画像)

b. マーカの３次元位置推定
HMD
出力
左画像

c. モデルビュー行列の推定
右画像
C. 画像合成
C. 画像合成

図 2.1 画像合成の処理の流れ

2.2.2 マーカの抽出
毎フレーム全画面について青色領域を抽出すると処理に時間がかかる．そこで，
第 1 フレームにおいてのみ全画面について青色領域抽出を行い，第 2 フレーム以降は前フレームの情報をもとに青色領域を追跡する．抽出された領域を用いてマーカの画像上での座標を得る．
第 1 フレームでは以下の手順でマーカを抽出する．

1. 入力された 2 枚の画像に対して画像全体を走査して青色の領域を抽出する．
2. ノイズを除去し，それぞれの領域の重心をマーカの画像上の座標とする．
3. 左右の画像にそれぞれ 3 つのマーカの座標が求まれば，図 2.2 が示すように，エピポーラ拘束により左右画像のマーカのそれぞれ対応をとり，ラベ
ル付け (ラベル 1,2,3) を行う．標準ステレオ撮像系を用いているので，対応するマーカは同一スキャンライン上に存在する．

19

左画像

右画像
ラベル3
ラベル2

ラベル1
エピポーラライン: 抽出されたマーカの重心
図 2.2 第 1 フレームの左右画像のマーカのラベル付け

フレームの更新レートがビデオレートに近い場合，フレーム間でのマーカの画
像上の座標の変化は少ないと仮定できる．したがって，第 2 フレーム以降では以下の手順でマーカを抽出する．

1. 前フレームにおけるマーカの画像上の座標を中心にした探索窓を設定する．
2. それぞれの探索窓に対して青色領域の重心を求め，それをマーカの画像上の座標とする．左右画像のマーカの対応は第 1 フレームで求められたものを使用する．

3 組のマーカの対応が取れないときや青色領域が探索窓内から抽出できないときは，再度第 1 フレームと同様の処理からやり直す．以上の処理の流れを図 2.3
に示す．

20

左画像

第1 フレーム

右画像
全画面探索

マーカ
対応づけ
探索窓設定
第2フレーム探索窓内探索探索窓更新

第nフレーム探索窓内探索探索窓更新

図 2.3 マーカ追跡の処理の流れ

21

2.2.3 マーカの 3 次元位置の推定
前節で求めたマーカの左右の画像上の座標から各マーカの 3 次元位置を推定す

る．カメラの配置を図 A.1(付録 A 参照) に示す標準ステレオ撮像系を用いている

ため，カメラ座標系は，原点を左右のレンズ中心の中点，X ，Z 軸をそれぞれ基線，カメラの光軸方向で定義される座標系となる．ステレオ視の原理 (付録 A 参照) から，マーカの 3 次元位置 P (X; Y; Z ) は，式 (13)〜(15) で計算することができる．

2.2.4 モデルビュー行列の推定
仮想物体を画像に合成するためには，仮想物体の位置姿勢を定義している世界
座標系からカメラ座標系への変換行列 (モデルビュー行列
デルビュー行列
値をM) が必要になる．モ

M はある点の世界座標系での座標値 w，カメラ座標系での座標c とするときに，

c = Mwと変換する行列である．但し ，w と c は，同次座標系の 421 ベクトル，M は，424 行列である．また，M は回転成分 R と平行移動成分 T を用いて
2
66
6
M = 666
64

R

3
77
T 777
77
5

0 0 0 1と表せる．
ここで計算を簡略化するために，図 2.4に示すように世界座標系を以下のように定義する．

 原点はラベル 1 のマーカ (m1) の 3 次元位置．
 x 軸はラベル 1 (m1) とラベル 2 (m2) のマーカを結ぶ直線．
 x 0 y 平面は 3 つのマーカ (m1,m2,m3) の存在する平面．

22

カメラ座標系
Ym1,m2,m3: マーカ
Z

V3

m3

X

V1

z’n

y’n
x’n

m1

V2

m2

世界座標系
モデルビュー行列 M
図 2.4 カメラ座標系と世界座標系の関係

T は世界座標系の原点としたラベル 1 のマーカのカメラ座標値として求められる．また，回転成分 R は以下の手順で求めることができる．
1. 世界座標系の各軸の方向成分をカメラ座標系で表現し，これを xn ，yn ，znとする．ラベル 1,2,3 のマーカのカメラ座標系での位置を V1 V2 V3 とす
平行移動成分;;ると，

xn = V2 0 V1>
yn = (V3 0 V1) 0 xn (Vx>3 x0n V1) xn
nzn = xn 2 yn;;:

2. xn ，yn ，zn を正規化する．正規化した各軸の方向成分を x0n ，yn0 ，z0n とすると，

x0n = kxxnnk ， yn0 = kyynnk ， z0n = kzznnk
23

3. 以上で求めた x0n ，yn0 ，z0n を用いて以下の式で R を得る．

R = [x0n yn0 z0n]以上より，世界座標系とカメラ座標系の位置関係を表すモデルビュー行列を得ることができる．

2.3 ステレオ画像合成
前節で求めたモデルビュー行列を用いて現実環境を撮影した画像に CG を合成する．モデルビュー行列を用いて世界座標系に定義されている仮想物体を，カメラ座標系に変換する．それにより，ユーザの視点の位置・姿勢に応じた仮想物体
を現実環境の画像に合成する．また，左右それぞれの入力画像に対して合成処理を行なうことで両眼立体視が可能な合成画像の出力が可能である．

2.4 ビデオシースルー拡張現実感システムの構築
プロトタイプシステムの構築に使用した機器を表 2.1に示す．実験システムでは，先に示した図 1.9のように，HMD に 2 個の CCD カメラを取り付けたビデオ

シースルー型 HMD を用いた．カメラ間距離 (基線長) は 6.5 cm とし，光軸方向は，ユーザの視線方向と一致させた．
システムの構成を図 2.5に示す．カメラによって撮影された画像は，ビデオ入出力装置を用いてグラフィクスワークステーションに入力し画像合成の処理が行

表 2.1 位置合わせ実験環境
カメラ

HMD
ビデオボード計算機

東芝 1/3 インチ CCD カメラ IK-UM42

オリンパス mediamask

DIVO (入力画像サイズ 720 2 486 画素)
SGI Onyx2 IR: 16CPU MIPS R10000 195 Hz
24

Onyx2
ステレオ画像HMD
CCDカメラ

合成
ステレオ画像

DIVO
ビデオ
入出力装置
グラフィックス
ワークステーション

図 2.5 拡張現実感システムの構成

図 2.6 合成される仮想物体
なわれる．その後，再度ビデオ入出力装置を通して出力され，HMD の左右の目に左右それぞれの合成画像が映し出される．入力画像と提示画像は，720 × 486

画素である．実際の処理はフィールド 単位で行なうため，720 × 243 画素の画像で行なわれる．
合成される仮想物体は図 2.6に示すように，酒樽の CG(約 3700 ポリゴン ) を利用した．現実環境は，作業補助などへの応用で考えられる環境として，卓上を設定した (図 2.7)．また，図 2.8に，実験の様子を示す．ユーザは，ステレオカメラ

を取り付けた HMD を装着し，マーカはユーザの前にある卓上に配置されている．

25

図 2.7 位置合わせ実験に利用した現実環境の例

2.5 実験と考察
本節では，ステレオカメラを HMD に取り付けたステレオビデオシースルー

HMD を用いて構築した拡張現実感システムの有効性を確認するため，実際に本章で述べた手法を用いて実験を行なう．また，カメラパラメータの推定，画像合成，の各処理結果，処理時間について述べる．
【カメラパラメータの推定】
視点 (カメラ) の移動にともなうマーカの追跡結果は，図 2.9に示すように，
第 1 フレームに検出されたマーカが第 1 フレームで付けられたラベルを保ちながら追跡が行なわていることが確認できる．しかし，色情報をもとにマーカの追跡を行なっているので，図 2.10で示すような現実物体によるマーカの隠蔽や，画像上でのマーカの重複が生じると追跡を行なえないという点，照明などによるマーカの映り方の違いによって，マーカの画像上の座標が不安定になり，精度が悪くなる点が問題となった．ただし，作成したプロトタイプはカメラの基線長が眼間距離であるため，奥行き分解能の点から奥行き情報の得られる範囲が制限される．具体的には，画像上の視差1 画素が 3 m 先であれば約 30 cm，1 m 先であれば約 3 cm の奥行きの幅をもつため，ユーザに比較的近い所にマーカが存在する必要がある．

26

ステレオカメラ
HMD

マーカ

図 2.8 位置合わせ実験の様子【ステレオ画像合成】
図 2.11は机の上の 3 点のマーカから求めたカメラパラメータを用いて実画像と仮想物体を合成した画像である．3 次元位置が未知の 3 点のマーカから，カメラとマーカの位置関係を求め，合成画像を提示できていることが確認できる．また，HMD に左右のそれぞれの画像を提示することで，背景や仮想物体に立体感を与え，合成画像を提示できている．しかし，マーカの追跡が行えなかった場合，図 2.11の様に仮想物体を合成することはできない．
【処理時間】
画像更新レートは，実験で用いた仮想物体 (約 3700 ポリゴン ) を合成し，図2.11の例で平均 15 フレーム/秒 (約 66 ミリ秒) である．カメラパラメータの推定に約 20 ミリ秒，CG の合成に約 20 ミリ秒，残りは画像の入力に費や27

されている．ビデオシースルー HMD を用いているため，現実環境と仮想環境との時間的なずれはない．その反面，合成画像が出力されてからユー
ザに提示されるまでに約 1 フレームの遅延が生じるため，ユーザには全体

で約 3 フレーム (約 100 ミリ秒) 時間の遅延をともなって合成画像が提示される．

2 眼のステレオカメラによって撮影された画像から，ユーザの視点位置を推定することで幾何学的整合性問題の解決した AR 環境の構築を試みた．その結果，提案したステレオ画像合成手法によって，ビデオシースルー型 AR 環境を構築することが可能であることを確認した．よって，提案手法は現実環境での作業補助や実時間型の景観シミュレーションに応用可能である．実験で明かになった現状
での問題点をカメラパラメータの推定に関して以下に挙げる．

1. マーカの追跡が照明環境の変化や現実物体によるマーカの隠蔽によって妨げられる問題．

2. 撮影されたマーカの重心をマーカの画像上の座標とするため画像上の特徴
点の位置を正確に推定できない問題．

3. 3 つのマーカがカメラに撮影されていなければならないためユーザが移動や見回しを自由に行なうことができない問題．

28

3

3
2

2

1

1

(1)

3

3

2

2

1

1
(2)

2

3

3

1

2
1

(3)

2

2

3

3
1

左画像

1

(4)

図 2.9 マーカの追跡結果 1

29

右画像

3
2

2
1

3
1

(1)

3

3

2

2
1

1

(2)

(3)

3

2

1

1

左画像

3

2

(4)

右画像

図 2.10 マーカの追跡結果 2(マーカの隠蔽による追跡の失敗)

30

(1)

(2)

(3)

左画像

(4)

図 2.11 合成ステレオ画像

31

右画像

2.6 結言
本章では，AR 環境構築の際に，ユーザに違和感を与える大きな要因であると考えられる幾何学的整合性問題の一つである，現実環境と仮想環境の位置合わせを，視点付近に取り付けられたステレオカメラによって撮影された画像からマーカを抽出・追跡することで実現した．また，提案手法の有効性を確認するため，同期ずれによる両者の位置ずれが生じにくいビデオシースルー型 AR システムを実際に構築して実験を行なった．その結果，3 つのマーカが撮影されていれば現実環境と仮想環境の位置関係が推定でき，違和感のない AR 環境を生成できることを確認した．したがって，現実環境における組み立て作業や機械のメンテナン
スの補助を行なう AR システムに応用可能であると考えられる．
しかし，問題点として以下の 3 つが挙げられる．

1. 特徴点追跡のロバスト性が欠ける点
2. マーカが視野内になければらないため，位置合わせ範囲が制限される点
3. 現実物体と仮想物体の正確な前後関係が表現できていないため，違和感のある合成画像が生成されることがある点
以下，3 章では 1. の問題点を解決するために計測範囲の制限されない 3 軸角度センサを用いて特徴点の移動位置予測を行なうことで特徴点追跡のロバスト性の向上を試みる．さらに 4 章では，2．の問題を解決するために視野内にあるマー

カのみでなく現実環境に存在する特徴点 (自然特徴点) を検出・追跡することで位置合わせに利用する手法を述べる．その際，特徴点追跡のロバスト性を上げるた
めに 3 章で提案する移動位置予測手法も適用する．また 5 章では，3. の問題点を解決するために，本章で述べたシステムを改良し，現実・仮想物体の正確な前後関係を表現する手法について述べる．

32

3. 3 軸角度センサを併用したマーカの移動予測によるロバスト 性の向上
3.1 序言本章では , ステレオカメラに加え 3 軸角度センサを用いて，現フレームでのマーカの画像上での位置を予測することにより，マーカ追跡のロバスト性の向上を図る．本研究では，ロバスト性向上のために，カメラの平行移動成分を考慮したマー
カの移動位置予測手法と移動位置予測に基づくマーカの追跡手法を提案する. 図

3.1に, 予測に基づくマーカ追跡の処理の全体像を示す. 提案手法では, まず, ジャ
イロセンサから得られるカメラの姿勢情報を用いてカメラの回転成分によるマー

カの移動位置を予測 (図 3.1 A) し , 最も追跡が容易と考えられるカメラから最も遠いマーカをビジョンセンサにより追跡することにより平行移動成分を推定する(図 3.1 B). 最後に, 推定されたカメラの平行移動成分を用いて残りのマーカの移動位置を予測し , マーカを追跡する (図 3.1 C).
以降, 3.2節で拡張現実感におけるカメラの動きのモデル化について, 3.3節でカメラの回転・平行移動成分を考慮した移動位置予測手法について述べる. 3.4節では , 移動位置予測に基づくマーカの追跡手法について説明する
3.2 カメラの動きのモデル化提案手法では，ステレオカメラとジャイロセンサを用いて視点付近に固定されたカメラの動きを推定することで，マーカと自然特徴点の移動位置を予測し追跡

t t + 1t におけるステレオカメラの位置関係を示す．時刻 t から t + 1t までのカメラの位置・姿勢の変化量は，一般に平行移動成分 T と回転成分 1 に分けて考えることができる．この時，1 は，時刻 t から t + 1tする．図 3.2に，時刻 と

までのカメラの姿勢の変化量であるため，現フレームでのカメラの姿勢を t+1t ，

1 = t+1t 0 t で表現できる．

前フレームのカメラの姿勢を t で表した場合，







しかし，拡張現実感において，頭部に取り付けられたジャイロセンサから得られる回転成分

1 は人間の頭部の動きの特性から頭部を回転中心とした回転である

33

前フレームのマーカ
三次元位置情報
姿勢情報(ジャイロセンサ)

カメラ動き推定A. 回転成分による画像上でのマーカの移動位置予測
ステレオ画像(ビジョンセンサ)
B. 最も遠いマーカの三次元位置による平行移動成分の推定

C. 他のマーカの画像上での移動位置の予測,探索

図 3.1 マーカ追跡手順

1 と頭部の回
転中心の平行移動 TT からなると考える必要がある．カメラの平行移動 T と頭部の回転中心の平行移動 TT との関係は，式 (1) のように表される．

と考えられるため，カメラの動きは頭部の回転中心における回転T = TT + TR



(1)

T

ここで， R は頭部の回転中心とカメラの搭載位置がずれているために生じる，頭部が回転する際のカメラの平行移動成分を表している．提案手法では，カメラの1 , 頭部の回転により生じるカメラの平行移動 TR, ならびに頭部の回転中心の平行移動によるカメラの平行移動 TT に分離して扱い，そ動きを，カメラの回転

れぞれの成分による特徴点の移動位置を予測することにより，移動位置予測を実
現する．

34

TT

TR
Δθ

T

時刻 t

Δθ
TT

時刻 t+Δt

頭部の回転中心

図 3.2 カメラの移動成分

3.3 カメラの平行移動成分を考慮したマーカの移動位置予測
本節では , マーカの移動位置予測手法を, カメラの動き成分の種類に応じて以下の 3 段階に分けて説明する.

 回転のみ (回転中心とレンズ中心が一致) 回転のみ (回転中心とレンズ中心が不一致)
 平行移動 + 回転 (回転中心とレンズ中心が不一致)
以下では , 各段階のカメラの動き成分の推定と, 推定されたカメラの動き成分を用t

いて時刻 でのマーカ位置

Pt から時刻 t + 1t におけるマーカの移動位置 Pt+1tを予測する方法について説明する.

3.3.1 カメラの回転による移動位置 −回転中心とレンズ中心が一致している
場合−
図 3.3に示すように , 回転中心とカメラのレンズ中心が一致しながら回転する

とき, カメラの動きはカメラの回転成分

1 のみからなり, これはジャイロセン


サの姿勢情報より求めることができる. ジャイロセンサから得られる姿勢情報は ,ロール成分・ピッチ成分・ヨー成分により表現され , 各成分の回転方向は図 3.4のように定義される. カメラの回転成分

1 は, 式 (2) に示すように, 現フレームで


35

予想位置
マーカｉ
Pt+Δt
Pt

Δθ

Pt

回転 Δθ

Δθ

時刻 t+Δt

時刻 t

図 3.3 回転中心とレンズ中心が一致する場合のカメラの回転によるマーカの移動のカメラの姿勢を t+1t ，前フレームのカメラの姿勢を t とすると姿勢情報の差
分 (1r , 1p , 1y ) として求めることができる.

0
1 0
1 0
1
1r C B t+1t;r C B t;r C
B
B
C
C
C
B
C B
B
C B
B
C
1
p C = B t+1t;p C 0 B t;p C
B
@
A @
A @
A
1y
t+1t;yt;y(2)Pt が求まっているなら, 式(3) に示すように, カメラの回転成分 1 に対応した変換行列 R を用いて, 現フ
レームにおけるマーカの移動位置 Pt+1t を予測することができる.
Pt+1t = RPt(3)変換行列 R は , 現フレームのジャイロセンサの姿勢情報 ( +1 , +1 , +1 )カメラに対する前フレームのマーカの三次元位置


t

t;r

t

t;p

t

t;y

とカメラの回転成分 (1r , 1p , 1y ) から , 式 (4) により求めることができる.

R = Rz(0 +1 )Rx(0 +1 )Ry(1 )Rx( +1 + 1 )Rz( +1 + 1 ) (4)
ここで , R ( ) は 軸まわりに 度回転させる変換行列を表し , 式 (5) のように表
t

i j

t;r

i

t

t;p

y

t

t;p

p

t

t;r

r

j

される. このとき, 各軸まわりの回転方向は図 3.4のように定義し , 光軸は z 軸と

36

y
roll
z
yaw
pitch
x
図 3.4 軸と回転方向の定義
一致している. t+1t;r , t+1t;p , t+1t;y 成分による変換は , 世界座標系を基準として得られた回転成分

1 をカメラ座標系に変換するために行なっている.
Rx ( ) =

Ry ( ) =Rz ( ) =


0
1
B
B
B
0
B
@
0
B
B
B
B
@

0
cos
0 0 sin



cos
0
0 sin





0
cos 
B
B
B
0 sin 
B
@

0

37



1
0 C
C
sin  CCA

cos

0 sin
1 0
0 cos
sin
cos
0








1
C
C
C
C
A



1

0C
C
0 CCA
1

(5)

平行移動 - T R

実際の
マーカ位置

Pt+Δt
Pt

RPt
Δθ

TR

Pt

Δθ
時刻 t

時刻 t+ΔtPc
頭部の回転中心

図 3.5 回転中心とレンズ中心が不一致の場合のカメラの回転によるマーカの移動

3.3.2 カメラの回転による移動位置予測 −回転中心とレンズ中心が一致していない場合−
図 3.5に示すように , 頭部の回転中心が固定されているとしても, 回転中心とカメラの搭載位置が一致しないために , 頭部の回転によりカメラの平行移動

TR がTR は, 頭部の回転中心とカメラの搭載位置の位置関係が固定であるため, 式 (6) を用いてカメラの回転成分 1 より求めることがで生じる. この平行移動成分



きる.

ここで,

TR = RPc 0 Pc

(6)

Pc は頭部の回転中心からのカメラ搭載位置の相対的位置である. 頭部の回転成分とカメラの回転成分は同じであるので , 変換行列は先に求めたカメラの回転成分

1 による変換行列 R と同様に表すことができる. 平行移動成分 TR は,

左右のカメラにより異なるので , 各々について求める.
カメラに対する前フレームのマーカの三次元位置

Pt が求まっているなら, 式(3) に示したカメラの回転成分 1 によるマーカの移動位置の予測に加え, 頭部の

TR によるマーカの移動を考慮すること
で , 現フレームにおけるマーカの移動位置 Pt+1t を予測することができ, 式 (7) で回転により生じるカメラの平行移動成分38

予測位置 P ’
実際の
マーカ位置

- TT

Pb
Pa

Δθ

T
時刻 t+ΔtTT

頭部の回転中心

時刻 t

図 3.6 カメラの平行移動と回転によるマーカの移動
表せる.

Pt+1t = RPt 0 TR

(7)

3.3.3 カメラの平行移動と回転による移動位置予測 −回転中心とレンズ中心が一致していない場合−

2 フレーム間で一つのマーカを追跡することにより頭部の平行移動によるカメラの平行移動成分 TT を推定する手法について述べる. カメラの動きは , カメラの回転成分 1 , 頭部の回転によるカメラの平行移動成分 TR , 頭部の平行移動によるカメラの平行移動成分 TT により構成される. したがって, 図 3.6に示すように , 式 (7) による Pa の移動予測位置 P' と実際のマーカの三次元位置 Pb とのずれを求めることにより, カメラの平行移動成分 TT を推定することができ, 式 (8)のように表せる.
TT = P0 0 Pb
= RPa 0 TR 0 Pb
実際のマーカの三次元位置(8)

Pb は, ビジョンセンサを用いて左右画像上で対応するマーカを追跡し , 三角測量の原理により求める. 本研究では , カメラからの距離

39

が遠いほど一般的にカメラの平行移動による画像上での見かけの動きが小さいことに注目し , 追跡が容易と考えられるカメラから最も遠いマーカを一つ追跡する
ことによりカメラの平行移動成分

TT を推定する.

残りのマーカについては , 推定された平行移動成分
得られるカメラの回転成分

TT とジャイロセンサにより

1 の両方を用いて式 (9) により移動位置を予測する.


Pt+1t = RPt 0 TR 0 TT
ここで ,

(9)

R はカメラの回転成分 1 による変換行列であり, 式 (4) により求める.


3.4 移動位置予測に基づくマーカ追跡
前節で述べたカメラの動きの各成分の推定により, 前フレームのマーカの三次

元位置情報から全てのマーカの現フレームでの三次元移動位置が予測できる. 以下, マーカの移動予測位置がカメラフレームの内側に収まる場合と外側に出る場

合とに分けてマーカ追跡手法を説明する.

予測されたマーカ移動位置がカメラのフレーム内に存在するときは , 図 3.7に示すように , 予測されたマーカの三次元位置に対応したカメラ画像上の位置を求め探索窓を設定する. そして , ビジョンセンサで探索窓内を探索することによりマーカを追跡し , 左右画像のマーカ位置からステレオ法により三次元位置を求める. ビジョンセンサによる探索は , マーカの色情報を利用して背景と分離し , 求めたマーカ領域の重心をマーカの画像上の位置とする.

マーカの探索時に設定する探索窓の大きさは , 移動位置予測を行なっているた

め大きく設定する必要がなく, マーカの画像上の大きさに応じて大きさを設定する. 画像上のマーカの大きさは , 実際のマーカの大きさとステレオカメラから得られるマーカの三次元位置情報より求めることができる. ビジョンセンサによる正確なマーカ位置探索のためには , マーカの全体が探索窓内に含まれている必要がある. そこで , ジャイロセンサのド リフトなどによる予測誤差を考慮し , 探索窓の大きさには求まった画像上のマーカの大きさを定数倍した値に設定する.

予測されたマーカ移動位置がカメラのフレーム外に存在するときは , 予測された移動位置をマーカの位置として予測を継続する. これにより, マーカが再びカメ

40

マーカ

探索窓

マーカ位置(時刻 t)

予測位置

マーカの探索(時刻 t+Δt)

図 3.7 マーカの移動位置予測と探索
ラのフレーム内に戻ってきた時に追跡を再開することができ, マーカのフレーム

アウトに対応することが可能となる. これにより, マーカの配置によるビジョン
センサの計測範囲の制限を軽減することができる. ただし , 平行移動成分

TT を推定するためには 2 フレームにおける 1 つのマーカの三次元位置情報が必要なため,

最低 1 つのマーカが左右のカメラ各々に撮影されている必要があり, 全てのマー
カの移動予測位置がカメラのフレーム外となる場合は , 本手法は適用できない.

また, カメラフレーム内において, オクルージョンなどによりマーカが消失する場合に対しても同様に , 予測位置をマーカ位置として予測を継続することにより,マーカが再び現れた時に追跡を再開することができる.

3.5 マーカの移動位置予測を用いた追跡:実験と考察
ジャイロセンサとビジョンセンサを組み合わせたビデオシースルー拡張現実感システムを試作し，カメラの平行移動成分を考慮した移動位置予測手法を行なった．以下，3.5.1では構築したシステムの構成を説明する．3.5.2において移動位置予測手法の有効性の検証のために行なったマーカ追跡実験，3.5.3では本手法のロバスト性の評価実験について述べる．

3.5.1 システム構成
表 3.1の機器を使用し , ビデオシースルー拡張現実感システムを試作した. 図41

ジャイロセンサ

CCDカメラ
図 3.8 ジャイロセンサとステレオカメラを組合わせたビデオシースルー HMD

3.8に示すように, HMD 上にビジョンセンサとして CCD カメラ 2 個を光軸を平行に 6.5cm の間隔で取り付けて標準ステレオ撮像系を構成し , ジャイロセンサを両カメラの光軸を含む平面上に配置した . CCD カメラは , 画素数 7202486 の 1/3 イ
ンチ CCD を搭載しており, シャッタースピードは 1/100 秒で使用している. ジャイロセンサは , 最大角速度 1200 度/秒, 角度分解能 0.02 度, 動的計測精度 3 度の姿勢情報計測能力を持ち, 最大更新レートは 300MHz である.
構築した拡張現実感システムの構成を図 3.9に示す. CCD カメラによって撮影されたステレオ画像をビデオ入出力装置, ジャイロセンサからのカメラの姿勢情報をシリアルポート経由でグラフィックスワークステーションに入力し , 位置合わ

カメラ

HMD
ジャイロセンサ
ビデオボード計算機

表 3.1 使用機器
東芝 1/3 インチ CCD カメラ IK-UM42

オリンパス mediamask

InterSense : IS-300
DIVO (入力画像サイズ 720 2 486 画素)
SGI Onyx2 IR: 16CPU MIPS R10000 195 Hz
42

ジャイロセンサ

Onyx2

姿勢情報
ステレオ画像HMD
CCDカメラ

合成
ステレオ画像

DIVO
ビデオ
入出力装置
グラフィックス
ワークステーション

図 3.9 3 軸角度センサを併用した拡張現実感システムの構成せを行なう. 入力画像サイズは , フィールド 単位で処理するため 7202243 である.

グラフィックスワークステーションでは , 左右画像各々に視点位置に応じた仮想物体を合成し , ビデオ入出力装置を通して合成ステレオ画像を HMD に出力する.

3.5.2 移動位置予測手法を用いたマーカ追跡実験
作成した拡張現実感システムを用いて, 移動位置予測に基づくマーカ追跡実験を行なった. 追跡実験では , 同一平面上に 4 つの青色円形マーカを配置した. 移動
位置予測手法の有効性を確認するために行なった実験の結果を時系列順に上から並べたものを図 3.103.13に示す.

図 3.103.12中の破線の枠はビジョンセンサのみを用いた手法の探索窓を, 実

線の枠は移動位置予測に基づく提案手法の探索窓を示している. ビジョンセンサ

のみを用いた場合の探索窓の大きさは , 経験的な値として 1002100 に固定している. 図 3.10は , ビジョンセンサのみを用いた手法と提案手法のマーカ追跡結果である. ビジョンセンサのみを用いた手法の探索窓は , カメラの動きによるマーカ

移動の後を追い, 探索窓から外れたマーカの追跡に失敗しているのに対し , 提案手法は予測により探索窓の中央で追跡できている.

図 3.11はカメラとマーカの距離が大きく変化したときの結果であり, カメラか43

らの距離に応じて探索窓の大きさが変化していることが確認できる. ビジョンセンサのみを用いた手法では , 探索窓内に複数のマーカが入り追跡に失敗しているが , 距離に応じた探索窓を設定している提案手法では , 基線長 6.5cm の標準ステ

レオ撮像系で安定してマーカの奥行き情報が得られる範囲 (0.21.5m) において追跡を行なえた .

次に , マーカのフレームアウトへの対応を検証するための実験を行なった. 図

3.12は, 2 個のマーカが一度画面外に出て, 再び画面内に戻る状況を表しているが ,ビジョンセンサのみを用いた手法は一度画面外に出たマーカに対する追跡に失敗しているのに対し , 提案手法はマーカの追跡に成功していることが確認できる.

図 3.13は , 平行移動成分の考慮の有無による移動予測位置の比較結果である. 破線の枠は平行移動成分を考慮しないビジョンセンサとジャイロセンサの組合せの予測位置を, 実線の枠は平行移動成分を考慮した提案手法の予測位置を示した結果である. ただし , 提案手法では平行移動成分を推定するためにカメラから最も遠いマーカを一つだけ追跡している. 図 3.13(a) は回転中心が平行移動しない場

合, 図 3.13(b) は回転中心が平行移動する場合の結果である. 回転中心が平行移動しない場合は , 両手法ともほぼ同じ位置に正確に予測を行なえているが , 回転中心が平行移動する場合においては , 平行移動成分の考慮の有無により異なる位置に予測している. 平行移動成分を考慮しない手法が , 実際のマーカ位置と大きく異なる位置に予測しているのに対し , 提案手法では , ほぼ正確に予測を継続できていることが確認できる.

3.5.3 マーカ追跡のロバスト 性の評価実験試作した拡張現実感システムを用いて, 以下のマーカ追跡手法についてロバス

ト性の評価実験を行なった.

 ビジョンセンサのみによる手法
 カメラの平行移動成分を考慮しない組合せ手法
 カメラの平行移動成分を考慮した組合せ手法

44

図 3.10 マーカ追跡結果 (実線: 移動予測を適用した場

合，点線: ビジョンセンサのみ用いた場合)

45

図 3.11 探索窓サイズの変化

図 3.12 フレームアウトへの対応

46

(a) カメラの平行移動なし(b) カメラの平行移動あり
図 3.13 カメラの平行移動成分の考慮の有無による予測位置比較
47表 3.2 回転中心が平行移動しない場合の追跡失敗率
実行 ビジョン
組合せ手法
倍率

センサ

平行移動

平行移動

1
2
3

[%]
0
2.36
11.48

予測なし [%]

予測あり [%]

0
0
0

0
0
0

以上の手法について, 全マーカに対して追跡を失敗したマーカの割合を求め, 結果の比較を行なった. 同じデータに対する各手法の結果を比較するため , ビジョン

センサからのステレオ画像とジャイロセンサからの姿勢情報を記録し , それらをシステムへの入力として各手法について実験を行なった. また, 記録データを均等にサンプリングすることにより実行倍率を上げ , 仮想的に速いカメラの移動を実現して実験を行なった結果を表 3.2, 3.3に示す. 表 3.2は回転中心が平行移動しない場合, 表 3.3は回転中心が平行移動する場合の追跡失敗率である. 実験は ,CCD

カメラとジャイロセンサを三脚に固定することにより実現した. 追跡失敗率は , 式(10) で定義する. 実験には,150 フレームの記録データを利用した.
追跡失敗率 =

追跡に失敗したマーカ数
フレーム数 2 マーカ個数(10)

回転中心が平行移動しない場合 (表 3.2) は , ジャイロセンサから得られるカメ

ラの姿勢情報により完全にマーカの移動位置を予測可能である. 表 3.2から , ジャ
イロセンサの姿勢情報よりマーカの移動位置が予測できる組合せ手法は, 追跡に失敗することなく正確に予測できていることが確認できる. また, 実行倍率が高くなるとビジョンセンサのみによる手法の追跡失敗率が悪くなるのに対し , ジャ
イロセンサによるマーカの移動位置を予測することで, マーカの追跡を行なえていることが確認できる. 回転中心が平行移動する場合，表 3.3に示すように , 視点の平行移動を考慮しない場合より約 3%程度，平行移動を考慮した予測が有効で48

表 3.3 回転中心が平行移動する場合の追跡失敗率
実行 ビジョン
組合せ手法
倍率

センサ

平行移動

平行移動

1
2
3

[%]
1.43
16.39
27.04

予測なし [%]

予測あり [%]

0.50
9.63
19.13

0
6.93
16.58

あることが確認できる.

次に，実際に図 3.8に示すように CCD カメラとジャイロセンサを HMD に固定

し , ビジョンベースド 拡張現実感システムとして利用した場合の結果を表 3.4, 3.5に示す. 表は ,150 フレームにおける追跡失敗率である. 表 3.4は , 通常の拡張現実
感システム使用時を想定し , マーカの近辺を様々な角度から眺めた場合の結果である. 提案手法は , ビジョンセンサのみによる手法だけでなく, 平行移動成分の予測を行なわない組合せ手法と比較しても追跡失敗率が改善されており, 有効であることが確認できる. 表 3.5は , 激しく首を振った場合の結果である. 平行移動成
分が大きく，予測が行なえないため, 平行移動成分を予測しない組合せ手法とほぼ同等の結果しか得られていない. しかし 、これ程激しい首の振りに対しては図3.14に見られるように画像上にモーションブラーが発生しており, ビジョンベー
スド 拡張現実感のための位置合わせ手法としての使用において想定外だと考えら

れる.

表 3.6に , グラフィックスワークステーション (Onyx2 IR 16CPU MIPS R10000

195MHz:SGI) でマーカの探索部分を 4CPU で並列処理した時のフレームレートを示す. ステレオカメラとジャイロセンサを利用してマーカの移動位置を予測し ,マーカの探索窓を大きくすることなくロバスト性を向上させているため, ビジョ
ンセンサのみによる位置合わせ手法と同程度のフレームレートを実現できていることが確認できる.

49

(a) 通常速度(b) 高速移動時
図 3.14 カメラの移動速度が異なる場合の撮影画像
50

表 3.4 カメラが通常速度で移動した場合の追跡失敗率
ビジョン
組合せ手法
センサ

平行移動予測なし

平行移動予測あり

[%]
7.47

[%]
1.26

[%]
0.34

表 3.5 カメラが高速で移動した場合の追跡失敗率
ビジョン
組合せ手法
センサ

平行移動予測なし

平行移動予測あり

[%]
18.37

[%]
14.43

[%]
14.18

表 3.6 位置合わせ実験におけるフレームレート
ビジョン
組合せ手法
センサ

平行移動予測なし

平行移動予測あり

[fps]
15.11

[fps]
14.99

[fps]
14.92

3.6 結言ビジョンセンサとジャイロセンサの組合せによる移動位置予測に基づく，マーカ追跡のロバスト性の向上手法を提案した．提案手法では，ステレオカメラから得られるマーカの三次元位置情報とジャイロセンサから得られるカメラの姿勢情報を用い，カメラの平行移動を考慮したマーカのの移動位置の予測を行ない，予
測位置近傍でのみマーカの探索を行なっている．実際に拡張現実感システムを試作し，マーカの追跡実験を行なうことにより，ビジョンセンサのみによる手法及びカメラの平行移動成分を考慮していないビジョンセンサとジャイロセンサの組合せ手法に比べて，カメラの平行移動成分を考慮した移動位置予測手法が有効であることを確認した．

51

4. マーカと自然特徴点の切替え追跡による位置合わせ
範囲の拡大
4.1 序言ユーザの視点との位置関係が既知のカメラによって撮影された画像から，カメラの位置姿勢，すなわちユーザの視点を推定するビジョンセンサを用いた手法[神原 99, 井上 98, 大隈 99, UK95] は，カメラによって撮影された画像からカメラの位置姿勢を推定するため，カメラ以外の装置が必要なく本質的には計測範囲は制限されないという特徴がある．しかし，ビジョンセンサを用いた手法のほとん
どは，現実環境に配置したマーカを撮影した画像からカメラの位置姿勢を推定するため，マーカがカメラに撮影されている必要があり，実際には計測範囲が制限されるという問題点がある．また，現実環境内に多数のマーカを配置し，それらを切替えて利用することで，計測範囲を拡大する手法 [佐藤 99, WAB+ 92] があるが，配置されたマーカの 3 次元位置が既知である必要があるため，広範囲における位置合わせを行なうことは困難である．

2 章で提案したビジョンセンサとしてステレオカメラを用いたビデオシースルー型拡張現実感システムでは，現実環境に配置した 3 つのマーカを撮影したステレ
オ画像対を用いて位置合わせを行なうため，マーカ全てが常に視野内に存在する
必要があり位置合わせが可能な範囲が制限されていた．そこで，本章では 2 章で述べた AR システムの拡張を行ない，位置合わせ可能範囲を拡張する手法を提案する．本研究では，仮想物体の位置を示す世界座標系を一意に定義するための 3

つのマーカ (基準マーカ) に加えて，3 次元位置関係が未知の複数のマーカを利用する．まず，基準マーカを撮影した画像から位置合わせを行い，以降では，撮影されたマーカから位置合わせを行うと同時に，ユーザの視点の移動によって新たに視野内に現れたマーカを検出し，マーカと世界座標系との位置関係を推定し，以降これらのマーカを位置合わせに利用する．基準マーカ以外のマーカの 3 次元
位置をあらかじめ知る必要がないため，広範囲における位置合わせを容易に行なうことができる．
マーカを用いたビジョンセンサによる位置合わせでは , カメラによりマーカが52

撮影されている必要があり, 現実的には計測範囲が制限される. この問題に対処するために , マーカに加えて自然特徴点を利用することで , 計測範囲の拡大を図る.

本章では , 3章で述べたマーカの移動位置予測手法を用いた自然特徴点の追跡と自然特徴点を併用した位置合わせについて述べる.

図 4.1に , マーカと自然特徴点を併用した位置合わせの処理手順を示す. まず,

初期化処理として画像中から追跡に適した自然特徴点を抽出し , 自然特徴点の初期位置を決定する (図 4.1 A). マーカと自然特徴点の追跡は , 3章のマーカ追跡と同様に移動位置予測手法を用いて行なう (図 4.1 B). しかし , 自然特徴点の追跡には誤追跡などの不確かさが含まれるため, 追跡された自然特徴点の信頼性を評価(図 4.1 C) し , 信頼性の高い自然特徴点とマーカの三次元位置情報を用いて位置合わせを行なう (図 4.1 D). 最後に，追跡されている特徴点が減少した場合，現在のステレオ画像から新たな特徴点の検出を試みる (図 4.1 E)．ただし , 提案手法は対象として静的環境を想定しており, 自然特徴点の移動は考慮しておらず , カメラにより撮影される現実環境中に移動物体を含まないと仮定する. 以下, 各処理について説明する.
4.2 基準マーカを用いた位置合わせ
マーカを撮影したステレオ画像対を用いて，世界座標系からカメラ座標系への変換行列 (モデルビュー行列) を求めることで，現実環境と仮想環境の位置合わせを行う．基準マーカの 3 次元位置は仮想物体の位置を示す世界座標系を一意に決定するために既知であるとし，それぞれの基準マーカ間の距離が異なるように配置することでマーカを識別する．また，位置合わせを行うには，世界座標系が定義されている必要があるため，第 1 フレームには同一直線上にない 3 つの基準
マーカが同時に撮影される必要がある．

4.2.1 マーカの追跡と 3 次元位置の推定
第 1 フレームでは，まず，入力されたステレオ画像に対して画像全体を走査して色情報に基づきマーカ領域を抽出する．次に，それぞれの領域の重心の位置を
マーカの画像上の座標とし，エピポーラ拘束により左右画像のマーカの対応づけ

53

初期処理
A. 基準マーカと自然特徴点の検出

前フレームのマーカ,自然特徴点の三次元位置情報

姿勢情報(ジャイロセンサ)

追跡処理
ステレオ画像(ビジョンセンサ)
B. 移動位置予測に基づく
マーカ,自然特徴点の追跡
初期フレームのマーカ,自然特徴点の三次元位置情報
C. 自然特徴点の信頼性評価

D. マーカ,自然特徴点を用いた位置合わせ

E. 新たなマーカ,
自然特徴点の検出

図 4.1 自然特徴点追跡と位置合わせ手順

54

を行なう．最後に，既知であるマーカの 3 次元位置関係からラベル付け (ラベル

1,2,3) を行う．

4.2.2 モデルビュー行列の計算
現実環境を撮影した画像に CG オブジェクトを合成するためには，CG オブ

ジェクトの形状を定義している世界座標系からカメラ座標系への変換行列 (モデM) が必要になる．すなわち，モデルビュー行列 M はある点の世界座
1)，カメラ座標系での座標値を c = (1)
標系での座標値を w= (ルビュー行列w x ; wy ; wz ;とするときに，cx ; cy ; cz ;c = Mw

M は回転成分 R と平行移動成分 T を用いてと変換する行列である．なお，

2
66
6
M = 666
64

R

3
77
T 777
77
5

0 0 0 1と表せる．

4.3 自然特徴点を併用した計測範囲の拡大

4.3.1 自然特徴点の初期位置決定
自然特徴点の初期位置は , Moravec のインタレスト・オペレータ [Mor79] を用いて決定する. まず , 初期フレームにおいて左画像上でインタレスト・オペレー
タにより自然特徴点を抽出し , 右画像においてエピポーラ線上でステレオマッチ

ングにより対応点を探索することにより自然特徴点の初期位置を決定する.

Moravec のインタレスト・オペレータは, 画像上の小領域における方向分散の最小値が極大になる点を選択する手法で, これはステレオカメラの左右画像において対応づけが容易なコーナーや孤立点を抽出することを意味する. Moravec のインタレスト・オペレータの定義を式 (11) に示す.
(

1

2

3

min dirval ; dirval ; dirval ; dirval

55

4)

(11)

ウィンドウ小領域

図 4.2 自然特徴点の抽出
ただし ,dirvaldirvaldirvaldirval

1 =
2 =
3 =
4 =

XX
x

y

XX
x

y

XX
x

y

XX
x

y

(

Ix;y

0 Ix+1;y )2 =n

(

Ix;y

0 Ix+1;y +1 )2 =n

(

Ix;y

0 Ix;y +1 )2 =n(0 Ix01;y +1 )2 =n

Ix;y

ここで , dirval は方向分散値を表し , ウィンド ウ内の画素 Ix;y において 4 方向の隣接画素との二乗誤差を求め, ウィンド ウ内の全画素について方向毎に二乗誤差の平均を求める. ただし , n はウィンド ウ内の画素数とする. この 4 方向の方向分
散値の最小値 min が , Moravec のインタレスト・オペレータの出力値となる. 図

4.2に示すように, 画像上の小領域内の各画素についてインタレスト・オペレータを適用し , インタレスト・オペレータの値が極大となる画素を自然特徴点として抽出する. Moravec のインタレスト・オペレータを用いた, 二値画像に対する自然特徴点の抽出例を図 4.3に示す. 右図は , 左の二値画像に 323 のウィンド ウサ
イズでインタレスト・オペレータを適用した結果であり, 丸のついた画素が自然特徴点として抽出される.
提案手法では , 自然特徴点を画像全体に一様に分布させるために , 図 4.4のよう
56

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

自然特徴点抽出0 0 1 1 0 0 0

0 0 0 1 1 1 1

0 0 1 2 0 0 0

0 0 0 1 1 1 1

0 0 0 0 0 0 0

0 0 0 1 1 1 1

0 0 0 0 0 0 0

オリジナル画像

インタレストオペレータの出力(a) コーナー
0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

自然特徴点抽出0 0 1 1 1 0 0

0 0 0 1 0 0 0

0 0 1 2 1 0 0

0 0 0 0 0 0 0

0 0 1 1 1 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

オリジナル画像

インタレストオペレータの出力(b) 孤立点
0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 0 0 0 0 0

0 0 1 1 1 0 0

0 0 0 1 0 0 0

自然特徴点抽出0 0 1 3 1 0 0

0 0 0 1 0 0 0

0 1 1 2 1 1 0

0 0 1 1 1 0 0

0 1 1 2 1 1 0

0 0 1 1 1 0 0

0 0 0 0 0 0 0

オリジナル画像

インタレストオペレータの出力(c) 突起の端点
図 4.3 二値画像に対する自然特徴点の抽出の図解

57

1

2

M
1
2

N
左画像
図 4.4 自然特徴点の初期位置決定に左画像を

M 2 N 個の小領域に分割し , 各領域において Moravec のインタレス

ト・オペレータにより自然特徴点を抽出する. 左画像の左端部分は , 右画像においてフレーム外となり対応点が求められないため , 小領域は右側に偏った位置に配置する.

4.3.2 自然特徴点の追跡
3章で述べた移動位置手法を用いて自然特徴点の移動位置を予測し , 予測移動位
置近傍でのみ自然特徴点の探索を行なう. 予測に用いる平行移動成分 TT の推定には , 自然特徴点に比べ信頼性の高いマーカを用いる.
自然特徴点の探索は , 2 フレーム間の対応をテンプレートマッチングによって求めることにより行なう. テンプレートマッチングには , 図 4.5(a) に示すように ,前フレームの自然特徴点近傍をテンプレートに , また, 図 4.5(b) に示すように現フレームの自然特徴点の予測移動位置近傍を参照画像として用いる. まず , 二乗誤差を評価尺度とした残差逐次検定法 (SSDA)[高木 93] により粗な探索を行なう.
粗な探索には縮小画像を用い, 探索範囲についてもテンプレートマッチングを行
なう間隔を大きくする. 次に , 最も相関が高くなった位置の近傍で正規化相互相
関 [高木 93] を用いて密な探索を行なうことにより自然特徴点の追跡を行なう.
58

自然特徴点回転(a) テンプレート
自然特徴点
予測

(b) 参照画像
図 4.5 テンプレートと参照画像
テンプレートマッチングにおけるテンプレートの回転角度は , ジャイロセンサから得られるカメラの姿勢情報から決定する. フレーム間でのロール方向の回転
角度に基づきテンプレートを回転させ, テンプレートマッチングを行なう. 離散

画像においては , フレーム間での回転が小さいとき相関値への影響は小さいと考えられるため, フレーム間でロール方向に大きく回転したときのみ, 回転を考慮する.

4.3.3 自然特徴点の信頼性評価
追跡された自然特徴点には誤追跡など 不確かさが含まれるため, 以下に述べる

3 種類の評価尺度により追跡された自然特徴点の信頼性を評価する. 以下の尺度を用いて，いずれかの尺度で信頼性が低いと判断された自然特徴点については ,以降の追跡を中止する.

59

フレーム間での相関による信頼性評価
フレーム間での誤追跡・オクルージョンなどによる自然特徴点の消失などを検証するために , フレーム間での相関により信頼性を評価する. 評価に用いる相関値は , 4.3.2節で述べた追跡時に求まっている正規化相互相関値を用
い, 一定のしきい値以下のとき信頼性が低いと判断する.

エピポーラ拘束による左右画像での位置ずれによる信頼性評価
左右画像で対応する点は , 両カメラのレンズ中心とその点とで構成される

平面と画像面との交線 (エピポーラ線) 上に存在する. このエピポーラ拘束[高木 93] を用いて, 左右画像で対応している自然特徴点の信頼性を検証する. 左右画像で対応づけられた自然特徴点において, 追跡により得られている自然特徴点の座標値からエピポーラ線のずれを求め, しきい値以上のとき信頼性が低いと判断する. しきい値は , カメラから自然特徴点までの距離に応じて設定し , カメラから近いほど 大きな値に設定する.
三次元空間における位置ずれ距離による信頼性評価

自然特徴点の追跡における追跡誤差の蓄積を検証するために , 追跡により得られている自然特徴点の三次元位置情報による位置ずれの評価を行なう. 初期フレームにおいて記録した全ての自然特徴点とマーカの三次元位置情報と追跡により得られた自然特徴点の三次元位置関係とで各自然特徴点間のずれを求め, 一定のしきい値以上のとき信頼性が低いと判断する.

4.4 新たな特徴点の検出・追跡による位置合わせ範囲の拡大

4.4.1 2 種類のマーカを用いた位置合わせ
毎フレームで入力画像の全領域に色情報をもとにマーカ領域抽出処理を適用す
ると処理時間がかかるため，第 2 フレーム以降においては前フレームのマーカの位置情報をもとにマーカを追跡する．前フレームにおけるマーカの画像上の座標をもとに探索窓を設定し，それぞれの探索窓に対してマーカ領域の重心を求めそれをマーカの画像上の座標とする．カメラ座標系におけるマーカの 3 次元位置は60

2.2 節と同様に，ステレオ視を用いて推定する．この処理は，前フレームで画面内に存在した全てのマーカに対して行なう．
第 2 フレーム以降では，第 1 フレームで検出した基準マーカがユーザの視点移動によりフレーム内から消失することが考えられる．その場合，視点移動により新たにフレーム内に現れたマーカの内，選択された 3 点を用いて位置合わせを行

m1,m2,m3) と，現在撮影されているマーカのうち選択された 3 つのマーカ (m m m )，ならびにカメラ座標系の位置関係を図 4.6に示す．
なう．基準マーカの (
i

;

j

;

k

Vci Vcj Vck は，撮影されているマーカのカメラ座標系における 3 次
元位置を表し，2.2.3 節と同様に求めることができる．Vwi Vwj Vwk は，撮影さ図 4.6中の

;

;

;

;

れているマーカの世界座標系における 3 次元位置を表し，これらは，それぞれのマーカが新たに視野内に現れた時に求められたものである．推定手法は 4.4.2 節で述べる．この時，基準マーカによって定義される世界座標系での座標値

c

w の，

カメラ座標系での座標値 への変換は以下の式で表せる．

c = M2M1w
M1 は世界座標系から現在撮影されているマーカの内，選択されている

ここで，3 つのマーカによって定義される座標系 (マーカ座標系) への変換行列である．ここで，マーカ座標系は，2.2.4 節と同様に 3 点のマーカから座標系を定義するため，選択される 3 点のマーカは平面を定義しなければならない．そのため，3 次
元空間内で 3 点が直線上に存在しないようにマーカを選択する必要がある．また，マーカの消失と追加によって選択するマーカが切替わるたびに，マーカ座標系は

M2 は，マーカ座標系からカメラ座標系への変換

異なった座標系が定義される．

行列であり，以下のように表される．

266
6M1 = 666
64

R01 1
0

0

61

0

3
77
0Vwi 777
77
5

1

マーカ座標系

M2
mk

mi

Vck
Y

Vci

Z
X カメラ座標系

mj

Vwi

Vcj

M1

Vwk
z’n
m1

Vwj

m3

y’n
x’n

m2

世界座標系
図 4.6 マーカ座標系とカメラ座標系の関係

266
6
M2 = 666
64

R2

3
77
Vci 777
77
5

0 0 0 1
それぞれの回転成分 R1 R2 は，2.2.4 節において回転成分 R を求めた式中の，;V1 ，V2 ，V3 をそれぞれ，R1 では Vwi，Vwj ，Vwk に，R2 では Vci ，Vcj ，Vckに置き換えることで求めることができる．

4.4.2 新たなマーカの抽出と 3 次元位置の推定
次に，ユーザの視点の変化によってマーカが新たに視野に現れた場合の処理を説明する．新たに現れるマーカは前フレームでの視野外に存在すると考えられる

62

ため，前フレームの視野を表すビューボリュームを現在のフレームに投影し，それが投影されない領域についてマーカの探索を行う．マーカの探索は，既知である色情報を用いて行い，左右の画像から新たなマーカが検出できれば，2.2.3 節と同様に，ステレオ視によりカメラ座標系における 3 次元位置

Vc を求める．次Vc を以下の式を用いて世界座標系に変換することで，マーカの世界座標系における 3 次元位置 Vw を求める．

に，求めたマーカの 3 次元位置

Vw = M01 1M02 1Vc
M1 M2 は，前節で求めた M1 M2 を利用する．この時，求まった世界

ここで，

;

;

座標系における座標付近に既に検出されたマーカがある場合，座標間の距離が一定閾値以下であれば同一マーカとする．この時，検出されたマーカの世界座標系
における座標は，更新せずに既に求まっている値を利用することで，マーカ追跡
誤差の蓄積を抑える．

4.5 マーカと自然特徴点を併用した位置合わせ

4.3.3の信頼性評価において追跡が中止されなかった自然特徴点とマーカを用いて，位置合わせを行なう．4.3.1の自然特徴点の初期位置決定法により初期フレー
ムで自然特徴点を抽出し，求まった自然特徴点とマーカの三次元位置をステレオ法により計算し記録しておく．図 4.7に示すように，この記録した初期フレーム
におけるマーカと自然特徴点の三次元位置情報と，追跡により得られた現フレー
ムのマーカと自然特徴点の三次元位置情報を三次元的にマッチングさせることにより位置合わせを行なう．
特徴点の三次元的なマッチングは，初期フレームにおける特徴点の三次元位置情報

P

init;iと現フレームの特徴点の三次元位置情報

P

now;i

において対応する特徴

点間の距離の総和が最小となる位置を求めることにより行なう．特徴点間の距離の総和計算においては，初期フレームにおける特徴点の三次元位置情報
現フレームの特徴点の三次元位置情報

P

now;i

P

init;iとにおいて対応する特徴点間の距離の総和が最小となる位置を求めることにより行なう．特徴点間の距離の総和計算に63

追跡により求めた特徴点対応

記録した特徴点

画像投影面

世界座標系
カメラ座標系(観察者視点)

位置合わせ

図 4.7 マーカと自然特徴点を併用した位置合わせ
おいては，式 (12) に示すように重み付けを行なう．

X
i

wi

j

P

now;i

0

P

init;ij(12)

ここで，wi は重みを表し，4.3.3 で述べた信頼性評価基準を用いて決定している．
また，自然特徴点に比べて信頼性の高いマーカに対し大きな重み付けを行なっている．

4.6 実験と考察
提案手法の有効性を示すため, ビジョンベース拡張現実感システムを試作し実験を行った．試作システムでは，HMD(mediamask :オリンパス) に 2 個の CCD

カメラ (IK-UM42:東芝) を取り付けたビデオシースルー型 HMD を用いた．カメラ間距離 (基線長B) は 6.5cm とし，光軸はユーザの視線方向と一致させ，カメラの焦点距離 f は 5.5mm に固定した．カメラによって撮影された画像は，ビデオ入出力装置 (DIVO) を用いてグラフィクスワークステーション (SGI Onyx2 IR2:

MIPS R10000, 195MHz, 16 CPU) に入力され，位置合わせと画像合成処理を行う．作成された左右のそれぞれの視点からの合成画像は，DIVO を通して HMDに出力される．基準マーカには，3 次元位置関係が既知の 3 つの青色マーカを，64

図 4.8 特徴点の切替え追跡による位置合わせ実験の様子

その他は赤色マーカを適当な間隔に配置した．また，実験用の指標として机と前面のパネルに黒線を引いた．実験の様子を図 4.8に示す．基準マーカを机上に配置し，その他のマーカをパネル面に配置している．
まずマーカのみを用い，ユーザの視点移動に伴いマーカの出現・消失が起こる
環境において，マーカの切替え追跡により位置合わせが行なわれているか確認す
るため実験を行なった．マーカの切替え追跡により位置合わせを行なった結果を時系列で上から順に並べたものを図 4.9に示す．図 4.9(a) は，現実環境に配置した基準となる指標 (黒線) と同様の形状の仮想物体 (白線) を位置合わせした結果である．この時，仮想物体 (白線) は基準マーカによって 3 次元位置があらかじめ定義されている．図中でマーカに枠が表示されているものは，そのマーカが検出され，追跡されていることを表している．この結果から，新たに視野内に現れたマーカの抽出を行ない，追跡できていることが確認できる. また，第 1 フレー
ムで撮影されている基準マーカが，視点の変化に伴って画面外に消失した場合でも，新たに抽出したマーカを利用することで連続して位置合わせを行なえている
ことが確認できる．図 4.9(b) は，追跡されたマーカから実際に位置合わせを行な65

い，木の仮想物体を合成した結果である．更新レートは，図 4.9(b) で用いた仮想物体 (約 3200 ポリゴン ) を合成し，マーカを 3〜5 個を追跡している場合，平均10 フレーム/秒である．出力画像は画像合成に費される時間に加え，合成画像が出力されてから HMD に提示されるまでに遅延が生じるため，約 4〜5 フレーム
時間 (約 133〜166 ミリ秒) の遅延をともなって提示される．
実験より，第 1 フレームにおいて 3 次元位置関係が既知である基準マーカから
位置合わせを行ない，視点の変化によって基準マーカが画面外に消失した場合でも，新たに視野内に現れるマーカを抽出しそれを利用することで，位置合わせ範囲の拡大が行なえていることが確認できる．
図 4.10(a) は，マーカと自然特徴点の検出・追跡結果である．図中の□印がマー

カ，+ 印が自然特徴点の位置を示している．実験結果より，新たに視野に現れたマーカと自然特徴点を自動検出し，追跡が行われていることが確認できる．図4.10(b) は合成画像であり，仮想物体として壁に時計を配置した．視点の大きな変化に対しても仮想物体が正しく合成されていることが確認できる．図 4.10のよ
うに，マーカを約 3 個，自然特徴点を約 5 個の追跡を行った場合，更新レートは
約 10 フレーム毎秒であった．

66

(a) 位置合わせ結果 (b) 仮想物体合成結果
図 4.9 マーカ切替え追跡による位置合わせ結果

67

(b) 合成結果(a) 特徴点の追跡結果
図 4.10 マーカと自然特徴点を併用した位置合わせ実験結果

684.7 結言
本章では，現実環境に多数のマーカを配置し，ユーザの視点変化により新たに視野に現れたマーカと自然特徴点を自動的に抽出し，それをステレオカメラにより追跡することで，位置合わせ可能な範囲の拡大を行なう手法を提案した．実際に，2 章で構築したビジョンベース拡張現実感システムを改良し，実験を行うことで，本手法の有効性を確認した．また，本手法の利点として，基準マーカ以外のマーカは自然特徴点と同様に 3 次元位置が既知である必要がない点が挙げられ
る．拡張現実環境を観察しながらインタラクティブに仮想物体を配置する様なア
プリケーションでは , 基準マーカの 3 次元位置も既知である必要はない．一方，基準マーカから離れるにしたがってマーカの 3 次元位置の計測誤差が蓄積し，位置合わせの精度が低下するという問題点がある．そのため，同一のマーカが，再度，視野内に表れた際，異なるマーカと認識される問題が生じる．今後の課題として，
これらの問題を解決するための位置合わせ精度の向上や自然特徴点の利用などが挙げられる．

69

5. 現実物体と仮想物体の正確な奥行き表現
5.1 序言前述の手法を用いて位置合わせを行った際，現実環境と仮想環境の正確な隠蔽関係を表現する手法について述べる．ステレオカメラで撮影した現実環境をステ
レオ視より奥行き推定し，その結果をもとに現実物体と仮想物体の前後関係を判定し合成画像を生成する．
本章で提案する現実環境と仮想環境のステレオ画像合成の処理手順を図 5.1に示す．まず，入力されたステレオ画像対から視点位置情報を推定 (図 5.1 A) し ，次に，現実物体と仮想物体の前後関係を正確に表現するために現実環境の奥行き情報を獲得する (図 5.1 B)．最後に，それらの結果を用いて画像合成を行なう (図5.1 C)．

5.2 現実環境の奥行き推定
本研究では，ステレオの対応点探索にブロックマッチング [奥富 96] を用いる．

ステレオの対応点探索手法の手順を以下に述べる．また，その手順を図 5.2に示す．

1. 左右画像に対して sobel フィルター [尾上 87] を適用しエッジを検出する．
2. 左画像を基準画像とし右画像とのマッチングを行なう．この際，マッチン
グは基準画像のエッジの検出された画素に対して行い，探索窓は 5 × 5 画
素，マッチングの評価基準として SAD(sum of absolute di erences) を用いた．SAD は以下の式で表せる．
( ) = P P ( j ( + + + ) 0 ( + + )j+j ( + + + ) 0 ( + + )j+j ( + + + ) 0 ( + + )j)

S AD d

i

j

IrR x

d

i; y

j

IsR x

i; y

j

IrG x

d

i; y

j

IsG x

i; y

j

IrB x

d

i; y

j

IsB x

i; y

j

但し ，I (x; y ) は，座標 (x; y ) における輝度値を示し ，Ir ; Is は，それぞれ，
基準画像と参照画像を，IR ; IG ; IB は，それぞれ，赤，緑，青成分を表す．

70

A. カメラパラメータの推定
a. マーカの追跡

左画像

右画像

a.マーカの追跡

b. マーカの３次元位置推定

入力
c. モデルビュー行列の推定
ステレオカメラ

B. 現実環境の奥行き推定
d. 推定領域の決定

d. 推定領域の決定

HMD
出力
左画像

右画像

e. 奥行きの推定

e. 奥行きの推定

C. 画像合成
C. 画像合成

図 5.1 隠蔽関係を考慮した画像合成処理の流れ

3. ステップ 2 と同様に，右画像を基準画像として左画像とのマッチングを行
なう．

4. 左画像から右画像への対応 (ステップ 2) と右画像から左画像への対応 (ステップ 3) が一致しない場合，誤対応とみなし取り除く．
5. エッジ間を値の低い方で補間する．この際，誤った補間をなくすため，一定値より広いエッジ間の補間は行なわない．
以上の処理により，左右の視差画像を求める．

71

(1) sobel フィルタを用いてエッジ検出
マッチング(2)左画像を基準に対応点探索
マッチング(3)右画像を基準に対応点探索(4)誤対応の除去(5)エッジ間の値の補間

図 5.2 奥行き推定の処理手順

72

5.3 拡張現実感に特化した奥行き推定の高速化
ステレオ画像全体の奥行き推定を実時間で行なうことは計算量の点で困難である．そこで，本研究では，ステレオ画像対からの奥行き推定を拡張現実感に特化することで計算量の削減を試みる．本手法では，高速化を図るため，以下の点に関して手法の改良を行なう．

1. 探索範囲の縮小による計算量の削減
2. 仮想物体の 3 次元位置を利用した視差候補の削減
3. 時系列情報の利用による視差候補の限定
それぞれの改良点に関して以下に述べる．

5.3.1 探索範囲の縮小による計算量の削減
仮想物体のカメラ座標系における位置が既知であれば，仮想物体との前後関係を考慮する必要のある現実物体が存在する領域が限定できる．前述の手法で求めたモデルビュー行列を用いてカメラ座標系に変換された仮想物体の外接直方体を画像上に投影することで，奥行き推定を行なう領域を決定する (図 5.3)．以下に
現実環境の奥行きを求める手順を示す．

1. 図 5.3A が示すように，世界座標系で表されている仮想物体の外接直方体
を，モデルビュー行列を用いて，カメラ座標系に変換する．

2. 図 5.3B が示すように，CG の 外接直方体を画像上に投影し，その外接長方形を奥行き推定を行なう領域とする．
これによって，実画像上の必要な領域のみ奥行きを推定し，計算量を削減する．

5.3.2 仮想物体の 3 次元位置を利用した視差候補の削減
拡張現実感における奥行き推定は，詳細な奥行きは必要なく仮想物体と現実物
体の前後関係のみが判定できればよい．そのため，先に推定されるユーザの視点73奥行き推定領域
仮想物体

撮影画像

左画像

B
外接直方体

左レンズ中心

カメラ座標系

右レンズ中心A

世界座標系

図 5.3 奥行き推定領域の決定

位置から求まる現実環境における仮想物体の位置を用いることで，奥行き推定の際の視差候補の削減を行なう．具体的には，各画素について，仮想物体の存在する距離付近は密に，それ以外は疎に視差候補を設定する．

5.3.3 時系列情報の利用
ビデオレートに近い更新レートであれば，ステレオ画像の各画素における奥行
きの値の変化は少ないと仮定し，各画素の前フレームにおける奥行きの値を利用して現在の奥行きを推定する．具体的には，前フレームにおける奥行きの値 (視差) を初期値にし，その付近のブロックマッチングを行ない一定閾値より相関値が高ければ，現在と前フレームの奥行きの変化が少ないとして探索を打ち切りる
ことで計算量を削減する．相関値が閾値を超えなかった場合，現実物体の移動などによりその画素における現実物体の奥行きが大幅に変化したと考え，通常の視74

差候補範囲においてマッチングを行なう．

5.4 奥行き隠蔽関係を考慮したステレオ画像合成
前述の手法で求めたモデルビュー行列と現実環境の奥行き情報を用いて現実環境を撮影した画像に CG を重畳合成する．現実物体が仮想物体より手前にある領域には，透明な仮想物体をあらかじめ描画し CG が描画されないようにすること

で，現実物体による CG 像の隠蔽を表現する．処理の手順を図 5.4に示す．最初に，カメラによって撮影された現実環境の画像 (図 5.4(a)) 上に，現実環境の奥行き情報 (図 5.4(b)) をもとに透明な物体を描画する (図 5.4(c))．そして，モデル

ビュー行列を用いて生成した CG を描画する (図 5.4(d,e))．この処理を，左右それぞれの入力画像に対して行なう．以上の処理によって，両眼立体視が可能な合成画像を出力することができる．

75

(a) 入力画像(b) 奥行き推定(c) 奥行き情報をもとに透明な仮想物体を描画(d) モデルビュー行列を用いて仮想物体をレンダリング(e) 合成画像

図 5.4 画像合成処理の手順

765.5 実験と考察
ステレオ画像合成手法の有効性を確認するため，ビデオシースルー型拡張現実
感システムを試作し，実験を行った．プロトタイプシステムの構築に使用した機器は 2 章と同様であり表 2.1に示す．実験システムでは，図 1.9のように，HMDに 2 個の CCD カメラを取り付けたビデオシースルー型 HMD を用いた．カメラ

間距離 (基線長) は 6.5 cm とし，光軸方向は，ユーザの視線方向と一致させた．
システムの構成を図 2.5に示す．カメラによって撮影された画像は，ビデオ入出力装置を用いてグラフィクスワークステーションに入力し画像合成の処理が行なわれる．計算機では，16 CPU を用いた並列処理を行う．その後，再度ビデオ入出力装置を通して出力され，HMD の左右の目に左右それぞれの合成画像が映し出される．入力画像と提示画像は，720 × 486 画素である．実際の処理はフィー

ルド 単位で行なうため，720 × 243 画素の画像で行なわれる．

仮想物体は図 2.6に示した酒樽の CG(約 3700 ポリゴン ) を利用した．現実環境

は，作業補助などへの応用で考えられる環境として，卓上を設定した．また，図2.8と同様に，ユーザは，ステレオカメラを取り付けた HMD を装着し，マーカ
はユーザの前にある卓上に配置されている．
【奥行き推定】図 5.5に視点の移動にともなった奥行き推定結果を視差画像で示す．視点の移動によって仮想物体が描画される領域が変化し，それに応じて奥行き推定を行なう領域が決定されていることが確認できる．図 5.5で見られる奥行
き推定領域の場合，現実環境の奥行き推定の計算量は，推定領域を限定する
ことで 5.3 に述べた計算量の削減手法により，約 10〜20 % に削減された．
【ステレオ画像合成】
図 5.6は机の上の 3 点のマーカから求めたカメラパラメータを用いて実画像と仮想物体を合成した画像である．3 次元位置が未知の 3 点のマーカから，カメラとマーカの位置関係を求め，合成画像を提示できていることが確認できる．また，手前へ移動する実物体のボールペンが仮想物体より手前に存在する時は，現実物体によって仮想物体が隠蔽されており，仮想物

77

体と現実物体の前後関係が矛盾なく表現されていることが確認できる．また，HMD に左右のそれぞれの画像を提示することで，背景や仮想物体に立体感を与え，合成画像を提示できている．

78

(1)

(2)

(3)

左画像

(4)

図 5.5 現実環境の奥行き推定

79

右画像

(1)

(2)

(3)

左画像

(4)

右画像

図 5.6 隠蔽関係を考慮した合成ステレオ画像

80

5.6 結言
ビデオシースルー型 HMD に取り付けられたステレオカメラで撮影されたステ
レオ画像対から，現実環境の奥行きを実時間で推定することで，拡張現実感における現実物体と仮想物体の正確な前後関係の表現手法を提案した．提案手法では
現実環境の奥行き推定を拡張現実感に特化することで，1) 探索範囲の縮小による計算量の削減，2) 仮想物体の 3 次元位置を利用した視差候補の削減，3) 時系列情報の利用による視差候補の限定，の 3 点に関して改良を行った．また，拡張現実
感システムを用いた実験により，現実環境の奥行き推定の計算量は，推定領域を限定することで約 10〜20 % に削減されたことを確認した．

81

6. 結論
本論文では，AR 環境構築の際に解決しなければならない整合性問題のうち，特に，ユーザに違和感を与える大きな要因であると考えられる幾何学的整合性問
題を解決する手法を提案した．本研究では，視点付近に取り付けられたステレオ
カメラによって撮影された画像から現実環境と仮想環境を位置合わせし，同時に現実環境の奥行きの実時間推定を行なうことで，両者の正確な前後関係を表現する手法を提案した．さらに，3 軸角度センサを利用した位置合わせのロバスト性の向上と，マーカと自然特徴点の切替え追跡による位置合わせ範囲の拡大を行なう手法についても述べた．提案手法の有効性を確認するため，同期ずれによる両者の位置ずれが生じにくいビデオシースルー型 AR システムを実際に構築して実験を行なった．

2 章では，現実環境に配置したマーカを撮影したステレオ画像に，仮想物体を合成する手法について述べた．3 次元位置関係が既知の 3 つのマーカを撮影したステレオ画像を用いて，マーカを検出・追跡することでマーカとカメラの 3 次元
位置関係を推定し，現在の視点にあった仮想物体をコンピュータタグラフィクス
で生成し撮影画像に合成する．実際に，ヘッド マウントディスプレ イの視点付近にステレオカメラを取り付け，そのステレオカメラで撮影された画像から位置合
わせを行なうビデオシースルー拡張現実感システムを構築した．実験により，3つのマーカがステレオ画像に撮影されていれば，現実環境と仮想環境の位置合わせができることを確認した．

3 章では，画像上のマーカ追跡のロバスト性の向上を図るために，ステレオカ
メラで撮影した画像に加え, 3 軸角度センサを用いることで，現フレームでのマーカの画像上での位置を予測する．本手法では，3 軸角度センサから得られる視線の角度情報とステレオカメラから得られるマーカの 3 次元位置情報から，視点の平行移動成分も推定しマーカの予測精度の向上を試みた．2 章で構築したシステ
ムを改良し，3 軸角度センサを用いたマーカの移動予測に基づいたマーカの追跡
実験を行なった．その結果，ビジョンセンサのみを用いた手法に比べロバストにマーカ追跡が行なえていることが確認できた．

4 章では，現実環境に 3 点の基準マーカ以外に 3 次元位置が未知のマーカを配82

置し，視点の変化によって新たに視界に現れたマーカを検出・追跡することで位置合わせ範囲の拡大を行なう手法を提案した．さらに，ユーザの見回しにより新たに視野に現れる自然特徴点を，検出・追跡し位置合わせに利用することで位置合わせ範囲の拡大を行った．実際に，2 章で構築したビジョンベース拡張現実感システムを改良し，実験を行うことで，本手法の有効性を確認した．また，本手法の利点として，基準マーカ以外のマーカは自然特徴点と同様に 3 次元位置が既知である必要がない点が挙げられる．

5 章では，ビデオシースルー型 HMD により撮影されたステレオ画像対から，現実環境の奥行きを実時間で推定することで，拡張現実感における現実物体と仮想物体の正確な前後関係を表現する手法を提案した．提案手法では現実環境の奥行
き推定を拡張現実感に特化することで，1) 探索範囲の縮小による計算量の削減，

2) 仮想物体の 3 次元位置を利用した視差候補の削減，3) 時系列情報の利用による視差候補の限定，の 3 点に関して改良を行った．また拡張現実感システムを用いた実験から，現実環境の奥行き推定の計算量は，推定領域を限定することで約10〜20 % に削減された．
以上，2 章で提案したステレオビデオシースルー型の拡張現実感システムに，
3,4,5 章で述べた拡張を適用することにより，拡張現実感技術をより多くのアプ
リケーションへ応用できると期待できる．具体的には，3,4 章で述べた現実環境と仮想環境の位置合わせにおける，位置合わせ範囲の拡大，位置合わせのロバス
ト性の向上手法は，作業支援などの応用を考えた際，マーカの配置作業の軽減に
より拡張現実環境の構築を簡単化できると考えられる．また，5 章で述べた，仮想物体の正確な隠蔽関係の表現の実現は，家具の配置シミュレーションやデスクトップデザイン等のように，仮想物体に現実物体と同様の写実性が要求されるア
プリケーション [BFA+ 95, KBP+ 00, DS01] へ応用した際，仮想物体の写実性を大きく向上させることが可能である．
本研究に残された課題として，基準マーカから離れるにしたがって新たに現れた特徴点の 3 次元位置の計測誤差が蓄積し，位置合わせの精度が低下するという問題点がある．そのため，同一のマーカが，再度視野内に表れた際，異なるマー
カと認識される問題が生じる．この問題を解決するためには位置合わせ精度の向83

上や自然特徴点の利用などが挙げられる．また本手法では，自然特徴点を追跡し位置合わせを行なう際，視野内に，動物体が存在した場合に位置合わせが正しく行なえないといった問題が存在する．この問題に対応するには，追跡されている
自然特徴点の 3 次元位置が世界座標系に対し静止または移動しているかを判定するなどして，動物体を追跡している点とそうでないものにグループ分けして位置
合わせに利用する特徴点を選択する必要がある．

84

謝辞
本研究の全過程を通して，懇切なる御指導，御鞭撻を賜ったソフトウェア基礎講座 横矢 直和教授 に心より深謝致します．
本研究の遂行にあたり，有益な御助言と御鞭撻を賜った像情報処理学講座 千原國宏教授に厚く御礼申し上げます．
本研究に関して有益な御助言，御指導を頂いた知能情報処理学講座 木戸出 正
継 教授 に深謝します．
本研究を進めるにあたり，終始，暖かい御指導をして頂いたソフトウェア基礎講座 竹村 治雄助教授 (現，大阪大学サイバーメディアセンター教授) に深く感謝致します．
そして本研究を通じて，有益な御助言を頂いたソフトウェア基礎講座 岩佐 英
彦助手 (現，(株) ネットシステムズ)，並びに山澤 一誠助手に厚く感謝致します．
本研究の遂行に多大なる御助言，御鞭撻を賜った大隈 隆史博士 (現，産業技術総合研究所 知能システム研究部門)，清川 清博士 (現，通信総合研究所 情報通信部
門) には厚く御礼申し上げます．また，物心両面において常に暖かい御支援を頂いたソフトウェア基礎講座の諸氏に深く感謝致します．
また，物心両面において常に温かい御支援を頂いた，ソフトウェア基礎講座事務補佐員 北川 知代女史，元ソフトウェア基礎講座事務補佐員 福永 博美女史に深く感謝します．

85

参考文献

[ABB+01] R. T. Azuma, Y. Baillot ,R. Behringer ,S. Feiner, S. Julier and B.
MacIntyre, \Recent advances in augmented reality", IEEE Computer
Graphics and Application, Vol. 21, No. 6, pp. 34{47, 2001.
[Azu93] R. T. Azuma, \Tracking requirements for augmented reality", Communications of the ACM, Vol. 36, No. 7, pp. 50{51, 1993.
[Azu97] R. T. Azuma, \A survey of augmented reality", Presence, Vol. 6, No.
4, pp. 355{385, 1997.
[BFA+95] F. Betting, J. Feldar, N. Ayache and F. Devernay, \A new framework for fusing stereo images with volumetric medical images", Proc.
Conference on Computer Vision, Virtual Reality and Robotics in, pp. 13{22, 1995.

Medicine(CVRMed'95)[BFO92] M. Bajura, H. Fuchs and R. Ohbuchi, \Merging virtual objects withthe real world: Seeing ultrasound imagery within the patient", Proc.
SIGGRAPH 92, pp. 203{210, 1992.
[BN95] M. Bajura, and U. Neumann, \Dynamic registration correction invideo-based augmented reality systems", IEEE Computer Graphics andApplications, Vol. 15, No. 5, pp. 52{60, 1995.
[DS01] K. Dorfmuller-Ulhaas, and D. Schmalstieg, \Finger tracking for instruction in augmented environments", Proc. IEEE/ACM Int. Sympo. on
Augmented Reality (ISAR2001), pp. 55{64, 2001.
[ERK93] E. K. Edwards, J. P. Rolland and K. P. Keller, \Video see-throughdesign for merging of real and virtual environments", Proc. IEEE Virtual Reality Annual International Symposium (VRAIS'93), pp. 197{
204, 1993.
86

[FMH+97] S. Feiner, B. Maclntyre, T. Hollerer and A. Webster, \A touring machine: Prototyping 3d mobile augmented reality systems for exploring
the urban environment", Personal Technologies, Vol. 1, No. 4, pp. 208{
217, 1997.
[FMS93] S. Feiner, B. Maclntyr and D. Seligmann, \Knowledge-based augmented
reality", Commun. of the ACM, Vol. 36, No. 7, pp. 52{62, 1993.
[GAB+98] S. Gibbs, C. Arapis, C. Breiteneder, V. Lalioti, S. Mostafawy andSpeier, J., \Virtual stadio: An overview", IEEE Multimedia, Vol. 5,
No. 1, pp. 18{35, 1998.
[KAB+97] G. J. Klinker, K. H. Ahlers, D. E. Breen, P. Y. Chevalier, C. Crampton, D. S. Greer, D. Koller, A. Kramer, E. Rose, M. Tuceryan and R.
T. Whitaker, \Con uence of computer vision and interactive graphics
for augmented reality", Precense, Vol. 6, No. 4, pp. 433{451, 1997.
[KBP+00] H. Kato, M. Billinghurst, I. Poupyrev, K. Imamoto, K. Tachibana,\Virtual object manipulation on a table-top AR environment ", Proc.
IEEE/ACM Int. Sympo. on Augmented Reality (ISAR2000), pp. 111{
119, 2000.
[KFT+00] M. Kanbara, T. Fujii, H. Takemura, and N. Yokoya, \A Stereo Visionbased Mixed Reality System with Natural Feature Point Tracking",
Proc. 2nd Int. Sympo. on Mixed Reality (ISMR2001), pp. 56{63, 2001.
[KIT+00] M. Kanbara, H. Iwasa, H. Takemura, and N. Yokoya, \A Stereo Visionbased Augmented Reality System with a Wide Range Registration ",Proc. 15th IAPR Int. Conf. on Pattern Recognition (ICPR2000), Vol.
4, pp. 147{151, 2000.
[KKO+00] K. Kiyokawa, Y. Kurata and H. Ohta, \An optical see-through display for mutual occlusion of real and virtual environments", Proc.
87

, pp. 60-

IEEE/ACM Int. Sympo. on Augmented Reality (ISAR2000)

67, 2000.

[KOT+00] M. Kanbara, T. Okuma, H. Takemura, and N. Yokoya, \A Stereoscopic Video See-through Augmented Reality System Based on Realtime Vision-based Registration", Proc. IEEE Virtual Reality 2000(VR2000), pp. 255{262, 2000.
[KYO+96] T. Kanade, A. Yoshida, K. Oda, H. Kano and M. Tanaka, \Stereo
machine for video-rate dense depth mapping and its new application",
Proc. IEEE Computer Society Conf. on Computer Vision and Pattern
Recognition (CVPR'96), pp. 196{202, 1996.

[KYT+00] M. Kanbara, N. Yokoya, and H. Takemura, \Stereo Vision-based Augmented Reality Registration with Extendible Tracking of Markers andNatural Features", Proc. IEEE Computer Society Conf. on Computer
Vision and Pattern Recognition(CVPR2001), 2001.
[LB00] V. Lepetit and M. Berger, \Handing occlusion in augmented reality
systems: A semi-automatic method", Proc. IEEE/ACM Int. Sympo.
on Augmented Reality (ISAR2000), pp. 137{146, 2000.
[MK94] P. Milgram and F. Kishino, \A taxonomy of mixed reality visual display", IEICE Trans. Inf. and Syst．, Vol. E77-D, No. 12, pp. 1321{1329,
1994.
[Mor79] H. P. Moravec, \Visual mapping by a robot rover", Proc. 6th IJCAI,
pp. 598{600, 1979.
[OKT+98] T. Okuma, K. Kiyokawa, H. Takemura and N. Yokoya, \An augmented reality system using a real-time vision based registration",
Proc. 14th IAPR Int. Conf. on Pattern Recognition(ICPR'98), Vol. 2,
pp. 1226{1229, 1998.
88

[OSI+01] Y. Ohta, Y. Sugaya, H. Igarashi, T. Ohtsuki and K. Taguchi, \ShareZ: Client/server depth sensing for see-through head-mounted displays",
Proc. 2nd Int. Sympo. on Mixed Reality (ISMR2001), pp. 64{72, 2001.
[OSY+98] T. Ohshima, K. Satoh, H. Yamamoto and H. Tamura, \AR2 hockey:
A case study of collaborative augmented reality", Proc. IEEE Virtual
Reality Annual International Symposium (VRAIS'98), pp. 14{18, 1998.
[PYN98] J. Park, S. You and U. Neumann, \Natural feature tracking for extendible robust augmented realities", Proc. Int. Workshop on Augmented Reality, 1998.
[Rek98] J. Rekimoto, \Matrix: A realitime object identi cation and registration
method for augmented reality", Proc. APCHI, pp. 63{68, 1998.
[RS01] G. Reitmayr, and D. Schmalstieg, \Mobile collaborative augmented reality", Proc. IEEE/ACM Int. Sympo. on Augmented Reality(ISAR2001), pp. 67{76, 2001.
[SAY+01] K. Satoh, M. Anabuki, H. Yamamoto and H. Tamura, \A hybrid registration method for outdoor augmented reality", Proc. IEEE/ACM Int.
Sympo. on Augmented Reality (ISAR2001), pp. 67{76, 2001.
[SFZ00] G. Simon, A. W. Fitzgibbon and A. Zisserman, \Markerless tracking
using planar structures in the scene", Proc. IEEE/ACM Int. Sympo.
on Augmented Reality (ISAR2000), pp. 120{128, 2000.
[SH00] Y. Seo and K. Hong, \Weakly calibrated video-based augmented reality:
Embedding and rendering through virtual camera", Proc. IEEE/ACM
Int. Sympo. on Augmented Reality (ISAR2000), pp. 129{136, 2000.
[SHC+96] A. State, G. Hirota, D. T. Chen, W. F. Garrett and A. Livingston, \Superior augmented reality registration by integrating landmark tracking
and magnetic tracking", Proc. SIGGRAPH 96, pp. 429{438, 1996.
89

[SKB+01] F. Sauer, A. Khamene, B. Bascle, L. Schimmang, F. Wenzel and S.
Vogt, \Augmented reality visualization of ultrasound images: Systemdescription, calibration, and features", Proc. IEEE/ACM Int. Sympo.
on Augmented Reality (ISAR2001), pp. 30{39, 2001.
[SON01] K. Sawada, M. Okihara and S. Nakamura, \A wearable attitude measurement system using a ber optic gyroscope", Proc. 2nd Int. Sympo.
on Mixed Reality (ISMR2001), pp. 35{39, 2001.
[TYK01] H. Tamura, H. Yamamoto and A. Katayama, \Mixed reality: Future
dreams seen at the border between real and virtual worlds", IEEE Computer Graphics and Application, Vol. 21, No. 6, pp. 64{70, 2001.
[UK95] M. Uenohara and T. Kanade, \Vision-based object registration for realtime image overlay", Proc. Conference on Computer Vision, Virtual
Reality and Robotics in Medicine(CVRMed'95), pp. 13{22, 1995.
[WA95] M. M. Wloka and B. G. Anderson, \Resolving occlusion in augmented
reality", Proc. 1995 ACM Sympo. on Interactive 3D Graphics, pp. 5{12,1995.
[WAB+92] M. Ward, R. T. Azuma, R. Bennett, S. Gottschalk and H. Fuchs, \Ademonstrated optical tracker with scalable work area for head-mounted
display systems", Proc. Sympo. on Interactive 3D Graphics, pp. 43{53,1992.
[YN01] S. You and U. Neumann, \Fusion of vision and gyro tracking forrobust augmented reality registration", Proc. IEEE Virtual Reality
2001(VR2001), pp. 71-78, 2001.
[YNA99] S. You, U. Neumann and R. T. Azuma, \Hybrid inertial and vision
tracking for augmented reality registration", Proc. IEEE Virtual Reality'99(VR'99), pp. 260{267, 1999.
90

[YSY00] Y. Yokokohji, Y. Sugawara and T. Yoshikawa, \Accurate image overlay on see-through head-mounted displays using vision and accelerometers", Proc. IEEE Virtual Reality 2000(VR2000), pp. 247{254, 2000.
[井上 98] 井上 剛毅, 小林 俊広, L. Quan, 大田 友一, \3 視点のアフィン画像からの線形的手法による形状と動きの推定を用いた仮想物体の融合", 画像の認識・理解シンポジウム (MIRU 98) 講演論文集, Vol. I, pp. 13{18,1998.
[大島 99] 大島 登志一, 佐藤 清秀, 山本 裕之, 田村 秀行, \複合現実型アミューズ
メントのためのフレームワークと実装", 日本バーチャルリアリティ学会第 4 回大会論文集, pp. 267{270, 1999.
[大槻 00] 大槻 俊和, 五十嵐 浩樹, 菅谷 保之, 大田 友一, \Share-Z: 複合現実感のための観察者視点の奥行き獲得法", 電子情報通信学会 パターン認識・
メディア理解研究会技術報告, PRMU99-193, 2000.
[大隈 99] 大隈 隆史, 竹村 治雄, 横矢 直和, \拡張現実感システムのための画像からの実時間カメラ位置姿勢推定", 電子情報通信学会論文誌 (D-II), Vol.
J82-D-II, No. 10, pp. 1784{1792, 1999.
[奥富 96] 奥富 正敏, \CVCV-WG 特別報告:コンピュータビジョンにおける技術
評論と将来展望 (x) - ステレオ視 (stereo vision)-", 情報処理学会研究報
告, 96-CVIM-102, 1996.
[尾上 87] 尾上 守夫, \画像処理ハンドブック", 昭晃堂, 1987.
[神原 99] 神原 誠之, 大隈 隆史, 竹村 治雄, 横矢 直和, \ビデオシースルー型拡張現実感のための実時間ステレオ画像合成", 電子情報通信学会論文誌(D-II), Vol. J82-D-II, No. 10, pp. 1775{1783, 1999.
[清川 00] 清川 清, 倉田 義則, 大野 浩之, \実環境と仮想環境の遮蔽矛盾を解決す
る光学透過型ディスプレ イ", 電子情報通信学会 マルチメディア・仮想
環境基礎研究会技術報告, MVE99-72, 2000.
91

[興梠 01] 興梠 正克, 蔵田 武志, 坂上 勝彦, 村岡 洋一, \パノラマ画像群を位置合せに用いたライブ映像上への注釈提示とその実時間システム", 電子情報通信学会論文誌 (D-II), Vol. J84-D-II, No. 10, pp. 2293-2301, 2001.
[佐藤 98] 佐藤 いまり, 佐藤 洋一, 池内 克史, \実世界型媒介空間のための光源環
境の構築：ソフトシャドウからの光源分布の推定", 画像の認識・理解シンポジウム (MIRU 98) 講演論文集, Vol. I, pp. 287{294, 1998.
[佐藤 99] 佐藤 清秀, 山本 裕之, 田村 秀行, \カメラと 3 次元センサの組み合わせによる現実空間と仮想空間の位置合わせ手法", 日本バーチャルリアリ
ティー学会論文誌, Vol. 4, No. 1, pp. 295{302, 1999.
[佐藤 00] 佐藤 いまり, 林田 守宏, 甲斐 郁代, 佐藤 洋一, 池内 克史, \複合現実感
における光学的性合成の実現: 基礎画像の線形和による高速レンダリン
グ手法", 画像の認識・理解シンポジウム (MIRU2000) 講演論文集, Vol.
I, pp. 107{112, 2000.
[高木 93] 高木 幹雄, 下田 陽久, \画像解析ハンドブック", 東京大学出版会, pp. 485{
491, 1993.
[田村 97] 田村 秀行, \複合現実感研究プロジェクト ", 1997 年電子情報通信学会総合大会講演論文集, No. ISS-1-4, pp. 455{466, 1997.
[田村 98] 田村 秀行, 大田 友一, \複合現実感", 映像情報メディア学会学会誌, Vol.
52, No. 3, pp. 266{272, 1998.
[中沢 97] 中沢 裕二, 中野 誠巳, 小松 隆, 斎藤 隆弘, \画像中の特徴点に基づく実写画像と cg 画像との動画合成システム", 映像情報メディア学会学会誌,
Vol. 51, No. 7, pp. 1086{1095, 1997.
[中島 99] 中島 健, 伴 好弘, 眞鍋 佳嗣, 佐藤 宏介, 千原 國宏, \ウェアラブル拡張
現実感技術による星座観測支援システム", 日本バーチャルリアリティ学会第 4 回大会論文集, pp. 417{418, 1999.
92

[野田 99] 野田 真一, 伴 好弘, 佐藤 宏介, 千原 國宏, \実時間計測と動的パターン
照明による光学シースルー型複合現実感ディスプレ イ", 日本バーチャ
ルリアリティ学会論文誌, Vol. 4, No. 4, pp. 665{670, 1999.
[松原 96] 松原 重徳, 岩佐 英彦, 竹村 治雄, 横矢 直和, \ステレオ視による奥行き
推定に基づく実画像と仮想物体の合成", 画像の認識・理解シンポジウ
ム (MIRU 96) 講演論文集, Vol. I, pp. 43{48, 1996.

93

研究業績
学術論文誌

1. N. Yokoya, T. Shakunaga, and M. Kanbara, \Passive Range Sensing Techniques: Depth from Images", IEICE Trans. Information and Systems, Vol.
E82-D, No. 3, pp. 523{533, March 1999.
2. 神原 誠之, 大隈 隆史, 竹村 治雄, 横矢 直和, \ビデオシースルー型拡張現実感のための実時間ステレオ画像合成", 電子情報通信学会論文誌 (D-II), Vol.
J82-D-II, No. 10, pp. 1775{1783, October 1999. (第 2, 5 章に関連)
3. T. Sato, M. Kanbara, N. Yokoya, and H. Takemura, \Dense 3-D Reconstruction of an Outdoor Scene by Hundreds-baseline Stereo Using a Hand-held
Video Camera ", Int. Journal of Computer Vision. (to appear)
4. M. Kanbara, T. Okuma, H. Takemura, and N. Yokoya, \Real-time Composition of Stereo Images for Video See-through Augmented Reality", Journalof Virtual Reality. (to appear) (第 2, 5 章に関連)
国際会議

1. N. Yokoya, H. Takemura, T. Okuma, and M. Kanbara, \Stereo Vision Based
Video See-through Mixed Reality", in Mixed Reality - Merging Real and
Virtual Worlds, Ohmsha & Springer-Verlag, pp. 131{145, March 1999. (第2, 5 章に関連)
2. M. Kanbara, T. Okuma, H. Takemura, and N. Yokoya, \Real-time Composition of Stereo Images for Video See-through Augmented Reality ", Proc.
IEEE Int. Conf. on Multimedia Computing and Systems (ICMCS'99), Vol.
I, pp. 213{219, June 1999. (第 2, 5 章に関連)
3. M. Kanbara, T. Okuma, H. Takemura, and N. Yokoya, \A Stereoscopic
Video See-through Augmented Reality System Based on Real-time Vision94

based Registration", Proc. IEEE Virtual Reality 2000(VR 2000), pp. 255{
262, March 2000. (第 2, 5 章に関連)
4. M. Kanbara, H. Iwasa, H. Takemura, and N. Yokoya, \A Stereo Visionbased Augmented Reality System with a Wide Range Registration ", Proc.
15th IAPR Int. Conf. on Pattern Recognition (ICPR2000), Vol. 4, pp.
147{151, September 2000. (第 4 章に関連)
5. M. Kanbara, H. Fujii, H. Takemura, and N. Yokoya, \A Stereo Vision-based
Augmented Reality System with an Inertial Sensor", Proc. IEEE/ACM Int.
Sympo. on Augmented Reality (ISAR2000), pp. 97{100, October 2000. (第3 章に関連)6. M. Kanbara, T. Fujii, H. Takemura, and N. Yokoya, \A Stereo Vision-based
Mixed Reality System with Natural Feature Point Tracking", Proc. 2nd Int.
Sympo. on Mixed Reality (ISMR2001), pp. 56{63, March 2001. (第 3, 4 章に関連)
7. M. Kanbara, T. Fujii, H. Takemura, and N. Yokoya, \Whack Them Out!
{ A Whack-a-Mole Game Using Video See-through MR", Proc. 2nd Int.
Sympo. on Mixed Reality (ISMR2001), Demonstration, p. 198, March 2001.
8. T. Sato, M. Kanbara, H. Takemura, and N. Yokoya, \3-D Reconstruction
from a Monocular Image Sequence by Tracking Markers and Natural Features", Proc. 14th Int. Conf. on Vision Interface 2001 (VI2001), pp.
157{154, June 2001.
9. M. Kanbara, N. Yokoya, and H. Takemura, \A Stereo Vision-based Augmented Reality System with Marker and Natural Feature Tracking", Proc.
7th Int. Conf. on Virtual Systems and MultiMedia(VSMM2001), pp. 455{
461, October 2001. (第 4 章に関連)

9510. T. Sato, M. Kanbara, N. Yokoya, and H. Takemura, \Dense 3-D Reconstruction of an Outdoor Scene by Hundreds-baseline Stereo Using a Handheld Video Camera", Proc. IEEE Workshop on Stereo and Multi-Baseline
Vision, December 2001.
11. M. Kanbara, N. Yokoya, and H. Takemura, \Stereo Vision-based Augmented Reality Registration with Extendible Tracking of Markers and Natural Features", Proc. IEEE Computer Society Conf. on Computer Vision
and Pattern Recognition(CVPR2001), Technical Sketches, December 2001.
(第 4 章に関連)
12. T. Sato, M. Kanbara, N. Yokoya, and H. Takemura, \Dense 3-D Reconstruction from a Monocular Image Sequence by Estimating Camera Motion
Parameters", Proc. IEEE Computer Society Conf. on Computer Vision
and Pattern Recognition (CVPR2001), Technical Sketches, December 2001.
研究会・シンポジウム

1. 神原 誠之, 大隈 隆史, 竹村 治雄, 横矢 直和, \複合現実感のための実時間ス
テレオ画像合成", 映像情報メディア学会 ヒューマンインフォメーション研
究会, Vol. 22, No. 33, pp. 31{36, June 1998. (第 2, 5 章に関連)
2. 大隈 隆史, 神原 誠之, 竹村 治雄, 横矢 直和, \実時間位置合わせによるビデ
オシースルー型複合現実", 日本バーチャルリアリティー学会 複合現実感技術研究会, September 1998.
3. 神原 誠之, 大隈 隆史, 竹村 治雄, 横矢 直和, \ビデオシースルー型拡張現実感のためのステレオ画像合成", 電子情報通信学会 パターン認識・メディア理解研究会技術報告, PRMU98-246, March 1999. (第 2, 5 章に関連)
4. 藤井 博文, 神原 誠之, 岩佐 英彦, 竹村 治雄, 横矢 直和, \ジャイロセンサを用いたビジョンベースド AR のためのマーカ追跡手法", 電子情報通信学会 マルチメディア・仮想環境基礎研究会技術報告, MVE99-59, December
1999. (第 3 章に関連)
96

5. 藤井 博文, 神原 誠之, 岩佐 英彦, 竹村 治雄, 横矢 直和, \拡張現実のためのジャイロセンサを併用したステレオカメラによる位置合わせ", 電子情報通信学会 パターン認識・メディア理解研究会技術報告, PRMU99-192, January
2000. (第 3 章に関連)
6. 神原 誠之, 岩佐 英彦, 竹村 治雄, 横矢 直和, \マーカの切替え追跡による広範囲位置合わせ可能なビデオシースルー型拡張現実感", 電子情報通信学会
パターン認識・メディア理解研究会技術報告, PRMU99-199, January 2000.
(第 4 章に関連)
7. 松川 昌洋, 神原 誠之, 山澤 一誠, 竹村 治雄, 横矢 直和, \GPS と三軸角度センサを用いた多視点ステレオによる屋外環境構造モデルの作成", 電子
情報通信学会 パターン認識・メディア理解研究会技術報告, PRMU99-266,
March 2000.
8. 神原 誠之, 岩佐 英彦, 竹村 治雄, 横矢 直和, \ビデオシースルー型拡張現実感のためのマーカ切替えによる位置合わせ範囲の拡大", 画像の認識理解シンポジウム (MIRU2000), Vol. I, pp. 481-485, July 2000. (第 4 章に関連)
9. 佐藤 智和, 神原 誠之, 竹村 治雄, 横矢 直和, \単眼動画像からのマーカと自然特徴点の追跡による三次元復元", 画像電子学会第 182 回研究会講演予稿,
pp. 29{34, November 2000.
10. 佐藤 智和, 神原 誠之, 竹村 治雄, 横矢 直和, \単眼動画像からのマーカと自然特徴点の自動追跡による三次元復元", 電子情報通信学会 パターン認識・
メディア理解研究会技術報告, PRMU2000-144, December 2000.
11. 佐藤 智和, 神原 誠之, 竹村 治雄, 横矢 直和, \マーカと自然特徴点の追跡を用いた単眼動画像からの三次元復元", 日本バーチャルリアリティー学会 サ
イバースペースと仮想都市研究会, Vol. 5, No. 2, pp. 5{10, January 2001.
12. 佐藤 智和, 神原 誠之, 横矢 直和, \視点位置推定による動画像からの屋外環境の三次元モデル化", 画像電子学会第 190 回研究会講演予稿, November
2001.
97

13. 寺田 智裕, 神原 誠之, 横矢 直和, `拡張現実感を用いた車載型アノテーショ
ンシステムの構築 `", 電子情報通信学会 マルチメディア・仮想環境基礎研
究会技術報告，CQ2001-103，February 2002.
14. 神原 誠之, 横矢 直和, 竹村 治雄, \マーカと自然特徴点を併用した広範囲
見回し可能なステレオビデオシースルー拡張現実感", 電子情報通信学会 パ
ターン認識・メディア理解研究会技術報告，PRMU2001-229，February 2002.
(第 4 章に関連)
15. 佐藤 智和，神原 誠之， 横矢 直和， 竹村 治雄, \マルチベースラインステレオ法を利用した動画像からの屋外環境の三次元モデル化", 電子情報通信学会 パターン認識・メディア理解研究会技術報告，PRMU2001-223，February
2002.
16. S. Vallerand, M. Kanbara, and N. Yokoya, \Video See-through Augmented
Reality with Tracking Regions", 電子情報通信学会 パターン認識・メディ
ア理解研究会技術報告，PRMU2001-228, February 2002.．
全国大会

1. 神原 誠之, 大隈 隆史, 竹村 治雄, 横矢 直和, \実時間ステレオ画像合成を用いた複合現実感システムの試作", 電子情報通信学会 情報・システムソサイ
エティ大会, No. D-12-74, September 1998. (第 2, 5 章に関連)
2. 藤井 博文, 神原 誠之, 岩佐 英彦, 竹村 治雄, 横矢 直和, \拡張現実のためのビジョンセンサとジャイロセンサの組合せによる位置合わせ", 情報処理学会第 59 回全国大会, No. 3ZA-1, September 1999. (第 3 章に関連)
3. 神原 誠之, 岩佐 英彦, 竹村 治雄, 横矢 直和, \広範囲が見回し可能なジョン
ベースド 拡張現実環境の構築", 日本バーチャルリアリティ学会第 4 回大会
論文集, pp. 257{262, September 1999. (第 4 章に関連)
4. 横矢 直和, 竹村 治雄, 神原 誠之，\ビデオシースルー型ステレオ HMD { 現実世界と仮想世界の実時間融合 { "，平成 11 年電気関係学会関西支部連合
大会講演論文集，No. S9-1, November 1999.
98

5. 神原 誠之, 藤井 博文, 松川 昌洋, \拡張現実感技術のカーナビゲーションへの応用", 2000 年電子情報通信学会総合大会講演論文集, No. D-12-142,
March 2000.
6. 佐藤 智和, 神原 誠之, 竹村 治雄, 横矢 直和, \透視投影モデルにおける単眼動画像からの三次元復元", 2000 年電子情報通信学会情報ソサイエティ大会
講演論文集 , No. D-12-49, September 2000.
7. 棚瀬 篤史, 神原 誠之, 竹村 治雄, 横矢 直和, \人形型インターフェイスを用いた共有仮想環境におけるコミュニケーションの実現", 日本バーチャルリ
アリティ学会第 5 回大会論文集, pp. 331{332, September 2000.
8. 神原 誠之, 竹村 治雄, 横矢 直和, \拡張現実感における正確な隠蔽関係の表
現のための奥行き推定手法", 日本バーチャルリアリティ学会第 5 回大会論文集, pp. 463{464, September 2000. (第 5 章に関連)
9. 神原 誠之，竹村 治雄，横矢 直和，\拡張現実感における正確な奥行き隠蔽関係の表現"，平成 12 年電気関係学会関西支部連合大会講演論文集，No.
G15-18, November 2000. (第 5 章に関連)
10. 寺田 智裕, 神原 誠之, 竹村 治雄, 横矢 直和, \カーナビゲーションのための注釈付き画像の実時間生成", 2001 年電子情報通信学会総合大会講演論文集,
No. D-12-149, March 2001.
11. 神原 誠之, 横矢 直和, 竹村 治雄, \マーカと自然特徴点を併用した広範囲見
回し可能なビジョンベース拡張現実感", 日本バーチャルリアリティ学会第6 回大会論文集, pp. 281{282, September 2001. (第 4 章に関連)
12. S. Vallerand, M. Kanbara, and N. Yokoya, \Video See-through Augmented
Reality System With Tracking Regions", 日本バーチャルリアリティ学会第6 回大会論文集, pp. 465{468, September 2001.
13. 佐藤 智和，神原 誠之，横矢 直和，竹村 治雄，\視点位置推定に基づく動画像からの屋外環境の密な三次元復元"，2001 年電子情報通信学会情報ソ
99

サイエティ大会講演論文集，No. D-12-43, September 2001.

14. 神原 誠之，横矢 直和，竹村 治雄，\マーカと自然特徴点を併用した広範囲
見回し可能なビジョンベース拡張現実感システム"，平成 13 年電気関係学会関西支部連合大会講演論文集，No. G15-9, November 2001. (第 4 章に関連)
15. 佐藤 智和，神原 誠之，横矢 直和，竹村 治雄，\視点位置推定に基づく動画像からの密な屋外シーンの再構築"，平成 13 年電気関係学会関西支部連
合大会講演論文集，No. G17-16, November 2001.
16. 天目 隆平, 神原 誠之, 横矢 直和, \拡張現実感技術を用いたウェアラブル型
注釈提示システム", 2002 年電子情報通信学会総合大会講演論文集．(発表予定)
表彰

1. 電子情報通信学会, パターン認識・メディア理解研究会 第 1 回アルゴ リズ
ムコンテスト優秀賞．1997 年 9 月
2. 電子情報通信学会, 平成 10 年度学術奨励賞. 1999 年 3 月
3. 情報処理学会, 平成 13 年度情報処理学会関西支部学生奨励賞. 2002 年 1 月

100

付録

A. ステレオ視の原理
ステレオ視とは，カメラなどの視覚センサを異なる位置に配置し，それぞれから観測された画像から奥行き情報を獲得する手法であり三角測量法に基づいている．人間の目も同様の原理により，現実環境の奥行き情報や 3 次元構造の把握を行なっている．このため，計算機による画像からの奥行き情報の獲得手法として，古くから注目され多くの研究が行なわれてきた [奥富 96]．

ステレオ視のもっとも標準的な構成は図 A.1 に示されるように，まったく同じ

カメラ 2 台が，光軸が平行で，各画像面が同一平面上にのるように配置される場合である．原点を 2 つのカメラのレンズ中心の中点，X; Z 軸をそれぞれ基線，光軸方向に一致させたカメラ座標系の点 P (X; Y; Z ) が，各画像の中心が原点である
左右画像上のそれぞれ Pl (xl ; yl ); Pr (xr ; yr ) に投影されたとすると以下の関係式が
成立する．
X

Y

Z

= 2(( 0+ ))= 2(( 0+ ))

(13)

=

(15)

B xl

xr

xl

xr

B yl

yr

xl

xr

fB
xl

0 xr

(14)

但し，f は焦点距離，B は基線長，xl 0 xr は視差である．したがって，f ，Bが既知のもとでは，マーカの左右の画像上の座標から，3 次元位置 (X; Y; Z ) が計算される．
さらに，図 A.1 のようなカメラ配置では，常に yl = yr が成立する．つまり，左右の投影点の y 座標は常に等しくなるため，対応点を見つける際，同一スキャ
ンライン上を探索すればよいことになる．一般的なカメラ配置においても，3 次
元空間中の点 P の一方の画像上への投影点の対応点は，その点の 3 次元空間中の位置に関わらず，両カメラのレンズ中心と 3 次元空間の点 P が構成する平面と画像面の交線 (エピポーラ線) 上に存在する．これはエピポーラ拘束と呼ばれ，対応

点探索の際，2 次元の探索から 1 次元の探索に簡単化するができるため，ステレ

101

左画像

f

P(X,Y,Z)Pl (xl ,yl )Y

左レンズ中心右画像

Z

BX

Pr (x r, yr )f
右レンズ中心図 A.1 標準ステレオ撮像系

オ視にとって，重要な意味を持つ．本論文では，ステレオカメラにより撮影した画像をユーザの両眼へ提示するため，人間の目のモデルと同様に図 A.1に示す標
準ステレオ撮像系を用いる．

102