NAIST-IS-MT1251002

修士論文

実シーンの照明環境の変化を考慮した
事前生成型拡張現実感

赤熊高行2014 年 3 月 13 日

奈良先端科学技術大学院大学
情報科学研究科 情報科学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
赤熊

高行

審査委員：
横矢

直和 教授

（主指導教員）

加藤博一 教授（副指導教員）佐藤智和 准教授（副指導教員）実シーンの照明環境の変化を考慮した
事前生成型拡張現実感 ∗
赤熊

高行

内容梗概
スマートフォンやタブレット等のモバイル端末を用いたモバイル拡張現実感（Augmented Reality：AR）は，史跡において過去の景観を仮想体験するシステム
をはじめ，様々な目的で利用されている．近年，新たなモバイル AR の実現手法
として，事前に撮影した全方位画像にあらかじめ高品位に仮想物体を重畳合成しておき，ユーザの利用時には，事前生成した画像からユーザの向きに応じた適切な方向を切り出して画像提示を行う事前生成型 AR システムが提案されている．
事前生成型 AR システムは，リアルタイムに撮影された現在のシーンを用いる従来のモバイル AR システムと比較し，(1) 撮影画像と仮想物体の間でジッタ・ドリ
フトが生じない，(2) 比較的計算コストの高い高品位な光学的整合性問題の解決手法を適用できる，(3) モバイル端末で行うオンライン処理が軽量である，という特徴をもつ．一方，事前生成型 AR システムでは，事前に撮影した環境とユーザが利用する環境の季節や天候の違いによって撮影画像と現実世界間の照明環境が異なり臨場感が損なわれるという問題が生じる．
本論文では，事前撮影された景観と実際の現実世界の見えとの間に生じる，天候や光源位置の違いなどの照明環境の変化を考慮した事前生成型 AR システムを提案する．具体的には，事前に様々な日時で撮影した全方位画像群をデータベースとして保持し，ユーザに提示する際にはデータベースの中からその場の照明条
件に近いものを選択する．提案手法の有効性を検証するために，様々な時期・天∗

奈良先端科学技術大学院大学 情報科学研究科 情報科学専攻 修士論文, NAIST-IS-MT1251002,
2014 年 3 月 13 日.

i

候下で撮影した全方位画像データベースを作成し，被験者実験を行った．実験により，照明条件を考慮しない事前生成型 AR システムと比べ，AR システムとしての違和感を持たないことを確認した．また，提案手法の応用例として東大寺を舞台にバーチャル歴史体験システムを構築し，一般公開実験を通じて，バーチャ
ル歴史体験における提案システムの有用性を検証した．

キーワード
モバイル拡張現実感， 事前生成型 AR， 幾何学的整合性， 光学的整合性， 全方位画像iiAugmented Reality Using Pre-captured Images
Considering Change of Real-world Illumination ∗Takayuki Akaguma

Abstract
Augmented Reality (AR) using mobile devices (e.g., smartphones and tablets)
can be used for various applications such as the visualization of lost buildings
at cultural heritage sites. Recently, a novel type of mobile AR, a pre-captured
AR system, has been proposed. In the pre-captured AR, omnidirectional images
are captured at a number of ﬁxed points and virtual objects are rendered withhigh quality in an oﬄine process. In the online process, the system shows user
perspective images generated from omnidirectional AR images based on the estimated pose of the mobile device. Unlike conventional AR systems that register
CG and captured images in real time, the pre-captured AR system achieves: (1)geometric registration without any perceptible misalignment between captured
images and virtual objects, (2) high-quality photometric registration by oﬄine
rendering for virtual objects, and (3) online process with low computational coston the mobile device. One problem of naive pre-captured AR system is the reduction of the reality in an AR experience due to the diﬀerence in illumination
environments between the pre-captured image and the real world, which is causedby the diﬀerence of the weather and light position between them.
In this thesis, we propose a novel pre-captured AR system considering thechange of real-world illumination. First, omnidirectional images are preliminarily∗

Master’s Thesis, Department of Information Science, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT1251002, March 13, 2014.

iii

captured under various illumination environments. In the online-stage, one ofpre-captured images that is similar with respect to the illumination of the scene
to the image captured in real-time is then selected and is displayed to the user.
In order to investigate the validity of our proposed system, we have carried out
an experiment using an omnidirectional image database captured under a variety
of weather and time. The result of the experiment has demonstrated that the
proposed system can improve the reality in comparison with a conventional precaptured AR system, which does not consider real-world illumination. We also
have developed an application for a virtual history experience in Todaiji, and haveinvestigated the validity of the proposed method through the public experiment.

Keywords:
mobile augmented reality， pre-captured AR， geometric consistency, photometric consistency, omnidirectional imageiv

目次
1. はじめに1

2. 関連研究と本研究の位置づけ

3

リアルタイム撮影画像を用いたモバイル AR . . . . . . . . . . . .

3

2.1.1

幾何学的整合性問題の解決 . . . . . . . . . . . . . . . . . .

4

2.1.2

光学的整合性問題の解決 . . . . . . . . . . . . . . . . . . .

7

2.2

事前生成画像を用いたモバイル AR . . . . . . . . . . . . . . . . .

9

2.3

本研究の位置づけと概要 . . . . . . . . . . . . . . . . . . . . . . .

12

2.1

3. 実シーンの照明環境の変化を考慮した事前生成型 AR システム

16

3.1

提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

3.2

オフライン処理 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

3.2.1

事前撮影画像内の動物体除去 . . . . . . . . . . . . . . . .

17

3.2.2

AR シーンのレンダリング . . . . . . . . . . . . . . . . . .

19

3.2.3

重畳画像と RGB ヒストグラムのデータベースへの登録 . .

20

オンライン処理 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

3.3.1

データベースからの照明環境が類似した全方位画像の探索

21

3.3.2

全方位画像からの切り出し提示 . . . . . . . . . . . . . . .

24

3.3

4. 実験
4.1

4.2

26
照明変化を考慮しない事前生成型 AR を用いた一般公開実験 . . .

26

4.1.1

バーチャル歴史体験アプリケーション. . . . . . . . . . .

26

4.1.2

実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

4.1.3

評価実験の結果と考察 . . . . . . . . . . . . . . . . . . . .

29

照明環境の変化を考慮した事前生成型 AR を用いた一般公開実験 .

31

4.2.1

試作システム . . . . . . . . . . . . . . . . . . . . . . . . .

31

4.2.2

実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

4.2.3

評価実験の結果と考察 . . . . . . . . . . . . . . . . . . . .

35

v

4.3

様々な天候日時で撮影した事前生成画像を用いた提案システムの評価実験 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

38

4.3.1

試作システム . . . . . . . . . . . . . . . . . . . . . . . . .

38

4.3.2

実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

38

4.3.3

評価実験の結果と考察 . . . . . . . . . . . . . . . . . . . .

40

5. まとめ

49

謝辞

51

参考文献

52

vi

図目次
1

Visual-SLAM による拡張現実感環境の構築 [9] . . . . . . . . . . .

2

モバイル端末で実時間に動作するビジョンベースの位置合わせ手
法 (PTAM on iPhone [4])3

. . . . . . . . . . . . . . . . . . . . . .

56

仮想物体の船に対する陰影表現（左：陰影処理無し，右：陰影処理有り） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

84

仮想物体のグラスに対する反射表現 [20] . . . . . . . . . . . . . .

85

モバイル端末で動作する拡張現実感のためのグローバルイルミネー
ション [22] . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

69事前生成型 AR の位置ずれ比較（左側：理想重畳画像，中央：センサベース AR，右：事前生成型モバイル AR） [23] . . . . . . . . .

107

モバイル端末付属カメラの撮影インタフェース . . . . . . . . . . .

118

時々刻々と変化する歩行者などの動物体が写り込んだ全方位画像 .

149

数時間毎に変化する天候の違い . . . . . . . . . . . . . . . . . . .

1410

数ヶ月毎に変化する季節の違い . . . . . . . . . . . . . . . . . . .

1511

事前生成型モバイル AR . . . . . . . . . . . . . . . . . . . . . . .

16

12

提案システムの流れ. . . . . . . . . . . . . . . . . . . . . . . . .

17

13

時々刻々と変化する歩行者などの動物体が写り込んだ全方位画像 .

18

14

歩行者などの動物体を削除した結果画像 . . . . . . . . . . . . . .

1815

仮想物体を重畳した画像 . . . . . . . . . . . . . . . . . . . . . . .

19

16

動物体除去画像に対する色情報の抽出

20

17

モバイル端末付属カメラで撮影した画像と対応する全方位画像から切り出した画像の青色ヒストグラム

18. . . . . . . . . . . . . . .
. . . . . . . . . . . . . . .

モバイル端末とデータベースに登録されている格子領域との対応
付け . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

22
23

相違度計算のためのスケールパラメータ s の探索（0.5 < s < 1.5,

0.1 ごとに探索する場合） . . . . . . . . . . . . . . . . . . . . . .

23

20バーチャル歴史体験アプリケーション画面 . . . . . . . . . . . . .

28

21

大仏殿内外における提示コンテンツ . . . . . . . . . . . . . . . . .

28

vii

22

システムの有用性に関するアンケート結果（Q1） . . . . . . . . .

30

23

技術要素に関するアンケート結果（Q2-Q4） . . . . . . . . . . . .

30

24

創建時の大仏殿・東塔・西塔を重畳した様子 . . . . . . . . . . . .

32

25

キャリブレーション時の様子. . . . . . . . . . . . . . . . . . . .

33

26

Q3 及び Q4 で考慮する比較対象図 . . . . . . . . . . . . . . . . . .

34

27

一般公開実験におけるシステム有用性の検証結果 (Q1) . . . . . .

3628

提案手法による AR システムとしての違和感の検証結果 (Q2) . . .

36

29

撮影画像と仮想物体との照明環境に関する検証結果 (Q3) . . . . .

3730

実画像と事前生成画像との照明環境に関する検証結果 (Q4) . . . .

3731

提案手法によって選択される全方位画像の例 . . . . . . . . . . . .

39

32

データベースに登録した重畳画像群（29 枚）. . . . . . . . . . .

3933

提案手法による AR システムとしての違和感の検証結果 (Q1) . . .

42

34

実際の景観と画面を通して見る景観との照明条件の比較結果 (Q2)4235

提案手法による相違度とユーザ評価の関係 (Q1) . . . . . . . . . .

4336

2013 年 12 月 25 日に行った各被験者の回答と相違度の関係 . . . .

44

37

2014 年 01 月 28 日 1 回目に行った各被験者の回答と相違度の関係

45

38

2014 年 01 月 28 日 2 回目に行った各被験者の回答と相違度の関係

46

39

2014 年 02 月 21 日に行った各被験者の回答と相違度の関係 . . . .

47

40

2014 年 02 月 26 日に行った各被験者の回答と相違度の関係 . . . .

48

表目次
1

撮影した日時とユーザが利用する日時が異なることで生じる景観の違い . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

132

実験で使用した機器一覧 . . . . . . . . . . . . . . . . . . . . . . .

26

3

回答者の年代層 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

4

回答者の年代層（未回答 4 名除く） . . . . . . . . . . . . . . . . .

34

5

実験環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

40

viii

1. はじめにスマートフォンやタブレット等のモバイル端末を用いたモバイル拡張現実感(Augmented Reality: AR) は，史跡において過去の景観を仮想体験するシステム
をはじめ，様々な目的で利用されている．臨場感の高い AR システムを実現する
ためには，現実世界と仮想物体間の位置合わせ問題である幾何学的整合性と，陰影表現をはじめとする見えに関する光学的整合性問題を解決する必要がある．従来，モバイル AR における幾何学的整合を実現する手法として，端末に搭載された GPS，ジャイロセンサ，加速度センサ等を用いて位置合わせを行う手法や，撮影画像を用いてカメラの位置・姿勢を推定することにより，位置合わせを実現する手法が提案されてきた．しかし，これら従来の位置合わせ手法では，カメラの位置・姿勢の推定誤差に起因して，撮影画像と仮想物体との間にジッタやドリフトなどの位置ずれが生じ，臨場感が損なわれるという問題がある．一方，光学的整合を実現するためには，撮影画像に対応する光源環境を推定し仮想物体に反映させる必要がある．現在までに，光学的整合性の問題を扱う様々な提案がなされているが，高品位に光学的整合性問題を解決する手法は一般に計算コストが高く，
モバイル端末上での実現が困難である．
新たなモバイル AR の実現手法として，事前に撮影した全方位画像にあらかじめ高品位に仮想物体を重畳合成しておき，ユーザの利用時には，事前生成した画像からユーザの向きに応じた適切な方向を切り出して画像提示を行う事前生成型

AR システムが提案されている．事前生成型 AR システムは，リアルタイムに撮影された現在のシーンを用いる従来の AR システムと比較し，

1. 撮影画像と仮想物体の間でジッタ・ドリフトが生じない
2. 比較的計算コストの高い高品位な光学的整合性問題の解決手法を適用できる
3. モバイル端末で行うオンライン処理が軽量であるという特徴をもつ．しかし，事前生成型 AR システムでは，撮影した日時とユーザが利用する日時が異なることによって，景観に違いが生じ臨場感が損なわれる

1という，従来の AR にはない問題が生じる．撮影した日時とユーザが利用する日時が異なることで生じる景観の違いは，その変化にかかる時間によって，

1. 時々刻々と位置・形状が変化する動物体
2. 数時間毎に変化する天候や光源位置等による照明条件
3. 数ヶ月毎の季節の移り変わりによる自然の景観等に大別できる．
本研究では，数ヶ月毎の変化にはデータベースを再度構築することで対応するものとし，本論文では取り扱わない．時々刻々と変化する歩行者などの動物体は全方位画像から除去する．天候等の照明条件の変化には，事前に様々な日時で撮影した全方位画像群をデータベースとして保持し，ユーザに提示する際にはデー
タベースの中からその場の照明条件に近いものを選択する．本論文では，3 つの要因のうち特に事前撮影された景観と実際の現実世界の見えとの間に生じる，天候や光源位置の違いなどの照明環境に着目し，実シーンの照明環境の変化を考慮した事前生成型 AR システムを提案する．
本論文では，2 章でリアルタイム撮影画像を用いたモバイル AR に関する従来研究および事前生成画像を用いたモバイル AR に関する従来研究を概観し，本研究の位置づけと方針を述べる．次に 3 章で実シーンの照明環境の変化を考慮した
事前生成型 AR システムにおける，オフライン処理，オンライン処理について記述する．4 章では，照明変化を考慮しない事前生成型 AR を用いた一般公開実験，
照明環境の変化を考慮した事前生成型 AR を用いた一般公開実験，様々な天候日時で撮影した事前生成画像を用いた提案システムの評価実験について，それぞれ
概要とその結果を述べる．最後に 5 章でまとめおよび今後の展望を述べる．

2

2. 関連研究と本研究の位置づけ
本章では，まずリアルタイム撮影画像を用いたモバイル AR に関する従来研究について概観し，次に本研究で用いる事前生成画像を用いたモバイル AR に関する従来研究を紹介する．最後に関連研究に対する本研究の位置づけを述べる．

2.1 リアルタイム撮影画像を用いたモバイル AR
本研究は，スマートフォンやタブレット等のモバイル端末を用いた拡張現実感(Augmented Reality: AR) を対象とする．従来 AR の研究において広く用いられてきた HMD ではなく，モバイル端末を用いることの利点は，限定された施設内だけでなく，屋外でも手軽に AR を体験できることである．これらモバイル端末を用いた AR アプリケーションとして，史跡に赴いて当時の様子をモバイル端末
を通して体験するシステム [1] や，都市計画において未建設の建物をモバイル端末を通して見ることができるシステム [2] などが開発されている．これらのシス
テムでは，現場で手軽に AR 体験ができる一方，モバイル端末の計算リソースが限られているため，計算コストの大きい処理を行うことができず，以下に挙げる
項目において，十分な品質を保つことが難しい．
すなわち，臨場感の高い AR システムを実現するための技術課題として，以下の 3 点が挙げられる．

1. 位置合わせ等の幾何学的整合性問題の解決
2. 陰影処理等の光学的整合性問題の解決
3. モバイル端末上における実時間での画像提示の実現
幾何学的整合性および光学的整合性の実現は，仮想物体を実環境の景観に違和感なく重畳するために必要である．また，それらの整合がとれた画像を，計算リソー
スの少ないモバイル端末上に，実時間で提示する必要がある．本節では，幾何学的整合性および光学的整合性の技術課題に対する従来研究を概説し，本研究における技術課題解決の方針を示す．

3

2.1.1 幾何学的整合性問題の解決
従来，モバイル AR における幾何学的整合性問題を解決する手法として，端末に搭載されたセンサを用いて位置合わせを行う手法 [2] [3]，撮影画像を用いてカ
メラの位置・姿勢を推定することにより位置合わせを実現する手法 [4] [5] が提案されてきた．センサを用いる手法は計算コストが非常に小さいため，モバイル端末で軽快に動作し，Layer1 ，Wikitude2 ，Junaio3 等多くのソフトウェア開発キットが公開されている．一方で，センサを用いる手法は，センサとカメラのキャリ
ブレーション誤差や計測誤差に起因して，画素単位での位置合わせが難しいという問題がある．そのため，近年は，撮影画像を用いてカメラの位置・姿勢を推定するビジョンベースの手法が多く提案されている．
ビジョンベースの手法は，利用環境に関する事前知識を用いない手法 [4] と，用いる手法 [5] に大別できる．事前知識を用いずにカメラの位置姿勢を推定する手法
として，Visual-SLAM(Simulataneous Localization and Mapping) を用いた手法が多く提案されている [4] [6] [7]．これらは，入力画像中の自然特徴点を追跡することにより，図 1 に示すようなカメラ位置・姿勢の推定と，環境の三次元構造の取得を同時に行い，事前知識なしに拡張現実感環境を構築する．このアプローチ
では，一般に，自然特徴点の追跡，カメラ位置・姿勢の推定，自然特徴点の三次元
位置の推定・更新，を繰り返すことでシーンの三次元構造を随時更新していくた
め，実時間処理で多くの自然特徴点を扱うには，計算機に高い能力が必要とされてきた．これに対して，Klein ら [4] はカメラ位置・姿勢推定処理と環境の三次元復元処理を並列化し，非同期に実行することで，環境の三次元復元の最適化処理にかかる計算時間が特徴点追跡処理のフレームレートに影響することを防いでいる．さらに Klein ら [4] は，KLT [8] を用いた特徴点の抽出処理において，多重解像度を用いて特徴点抽出領域の限定を行うことで，モバイル端末で Visual-SLAM
を実時間動作させることに成功している（図 2）．ただし，Visual-SLAM による
カメラ位置・姿勢の推定手法には，広域な環境を対象とした場合，カメラ位置・姿
勢の推定誤差が蓄積するという問題があり，利用できる範囲が限定される．また，
1

www.layer.com
www.wikitude.org
3
www.junaio.org
24

(a) 入力画像(b) 推定されたカメラ位置と自然特徴点の三次元位置

図 1 Visual-SLAM による拡張現実感環境の構築 [9]SLAM による手法単体では実環境に対する絶対的なカメラ位置・姿勢やスケール情報を取得できないという問題がある．
事前知識を用いる手法では，人工的なマーカ，三次元モデル，自然特徴点デー
タベースなどを事前知識として用い，撮影された画像中に存在するこれらの特徴
を事前知識データと対応付けることでカメラの位置・姿勢を推定する．人工的なマーカを用いる手法 [10] [11] は，マーカが画像内に撮像されていれば，安定かつ精度よくカメラの位置・姿勢を推定することができる．そのため，モバイル端末上5

図 2 モバイル端末で実時間に動作するビジョンベースの位置合わせ手法 (PTAMon iPhone [4])で動作する多くのソフトウェア開発キット 4 5 6 が公開されている．ただし，広範
囲を移動するカメラの位置・姿勢を推定するためには，人工的なマーカを広範囲に多数配置する必要があり，マーカの設置に多くの人的コストがかかるという問
題や，マーカによって景観が損なわれるという問題がある．このような問題を解決するために，物体の三次元モデルを人工的なマーカの代わりに用いる手法 [12]が提案されている．Lepetit ら [12] は対象とする物体や環境の三次元モデルと特徴点情報を用いて三次元モデルと入力画像の対応関係を求めることで，カメラ位
置・姿勢を推定する手法を提案している．この手法では，三次元モデルと前フレー
ムのカメラ位置・姿勢情報を用いることで，物体の見え方の変化やオクルージョ
ンにロバストなカメラ位置・姿勢推定を実現しているが，対象となる物体の三次元モデルを事前に人手で作成しておく必要があるため，自然物を対象とした場合や広範囲な環境での利用は難しいという問題がある．大江ら [13] は，三次元位置が既知の少数の基準点と自然特徴点を併用する Structure from Motion 法によ4

http://www.artoolworks.com/products/mobile/
http://dev.metaio.com/
6
http://www.poweredbystring.com/
5

6

る三次元復元 [14] をオフラインで行うことでランドマークデータベースを構築
し，オンラインではこれらを入力画像中の自然特徴点と対応付けることでカメラ
位置・姿勢を推定する手法を提案している．さらに，Taketomi ら [5] は大江らの手法 [13] をもとに，連続フレーム間でのランドマークの追跡とランドマークへの優先度情報の付加により，対応付けの候補となるランドマークと自然特徴点の数を削減することで対応付け処理の計算コストを低減し，実時間でのカメラ位置・
姿勢推定処理を実現した．しかし，初期フレームのカメラ位置・姿勢推定処理の計算コストが大きいため，一度位置合わせに失敗すると，復帰までに時間を要するという問題がある．またランドマークデータベースに対応する入力画像のテクスチャがない場合や，モバイル端末をすばやく動かした場合には，カメラ位置・姿勢の推定に失敗するという問題がある．
画素単位の位置合わせを行うためにはビジョンベースの手法が適しているが，安定性に欠け，計算コストも大きいため，正確な位置合わせを行う必要が無い場
合には，頑健なカメラ位置・姿勢の推定が実現できるセンサベースの手法を用いることが多い．

2.1.2 光学的整合性問題の解決
光学的整合性問題における技術課題の一つは，実物体と仮想物体の陰影表現の統一である．拡張現実感システムにおいて，実物体と仮想物体の陰影表現を統一するためには， 一般に，実環境の光源環境を取得し陰影のレンダリングを行う必要がある．仮想物体重畳のために用いる陰影のレンダリング手法として，ローカ
ルイルミネーションを表現する手法とグローバルイルミネーション [15] を表現する手法が挙げられる．ローカルイルミネーションは局所照明とも呼ばれ，光源から直接入射する光のみを考慮してレンダリングを行う手法である．グローバルイ
ルミネーションは大域照明とも呼ばれ，物体間の相互反射を考慮してレンダリン
グを行う．ローカルイルミネーションと比較し，グローバルイルミネーションは写実性の高いシーンを表現可能である．ただし，グローバルイルミネーションは，計算負荷が大きく，モバイル端末上では実時間で処理できないという問題がある．
実環境に仮想物体を重畳する最初期の研究では，Fournier ら [16] が実環境の大ま7

図 3 仮想物体の船に対する陰影表現（左：陰影処理無し，右：陰影処理有り）

図 4 仮想物体のグラスに対する反射表現 [20]かな三次元モデルを用いて，実物体と仮想物体間の陰影付けをプログレッシブ・
リファインメント・ラジオシティ法 [17] により実現した．近年では，Kinect [18]を用いて三次元形状を取得し，球面調和関数をもとに光源情報を推定することで，
図 3 に示すような比較的複雑な景観への陰影処理を行う手法 [19] や，レイトレー
シング法によって図 4 に示すような透明な物体の陰影処理を行う手法 [20] が提案されている．また，ユーザ利用時の日時から計算した太陽の位置と実環境の陰
影領域の形状から，実環境に沿った陰影を仮想物体に反映する手法も提案されている [21]．これらは，GPU が搭載された高性能な計算機では実時間で動作する
が，計算リソースの少ないモバイル端末では実時間で処理できないという課題が8

(a) 86.8 秒でレンダリングした場合(b) 5 ミリ秒でレンダリングした場合

図 5 モバイル端末で動作する拡張現実感のためのグローバルイルミネーショ
ン [22]
ある．Csongei ら [22] は，計算コストの大きい処理をサーバ側で行うことで，モ
バイル端末上で実時間でグローバルイルミネーションを実現する手法を提案している．しかし，計算サーバとモバイル端末間で一度に送受信できる情報量は限られるため，図 5 に示すように，実時間では品質が落ちるという課題がある．

2.2 事前生成画像を用いたモバイル AR
臨場感のあるモバイル AR を実現する上で，合成画像の品質と処理速度はト
レードオフの関係にあるが，Wither ら [23] は，いくつかの制限の中で，合成画像の品質と処理速度を両立する新たなモバイル AR 手法を提案している．具体的には，リアルタイムに撮影した画像にレンダリング処理を行うのではなく，事前に全方位画像を撮影しレンダリング処理を行う．ユーザによるシステム利用時には，事前にレンダリングした全方位画像を，センサ等により得られるモバイル端末の姿勢に応じて切り出して提示する．本論文ではこの手法を事前生成型 AR と呼ぶ．事前に実環境を撮影することで，幾何学的・光学的整合を実現するための9

図 6 事前生成型 AR の位置ずれ比較（左側：理想重畳画像，中央：センサベース

AR，右：事前生成型モバイル AR） [23]

処理を十分に時間をかけて高品質に行うことができる．事前生成型モバイル ARと従来のモバイル AR との比較を図 6 に示す．同図中には，実環境として白い建物が存在し，モバイル端末を通して建物の外郭が重畳されている．図 6 左は，リ
アルタイムに取得した画像に建物の外郭を誤差無く位置合わせした理想重畳画像である．図 6 中央は，従来のセンサベース AR による重畳画像であり，実環境の建物と重畳する外郭に 20 画素程度の誤差が生じている．図 6 右は，事前生成型
モバイル AR による重畳画像である．事前撮影画像と重畳する外郭に誤差は生じないが，事前撮影画像の建物とリアルタイムに撮影した実環境の建物との間に 20画素に相当する位置ずれが生じている．ここで，ユーザは図 6 右のような実環境と撮影画像の位置ずれについては，違和感を感じにくいことが文献 [23] で言及されている．これは，一般的なモバイル端末付属カメラで撮影する場合にも同様のずれが生じており，ユーザはそのようなインタフェースに慣れているためである．
例えば，図 7 に示すように置物をタブレットで撮影する場合でも，ユーザの視点
位置とカメラの視点位置は離れており，ユーザの視点から見る実環境と撮影画像との間には視野角やディスプレイの明度などの違いが生じる．しかし，多くの人は，この不整合に関して違和感を持たない．他方，事前生成型モバイル AR は事前に時間をかけて処理を行うことができるため，位置合わせ・陰影処理を高品質に行うことが可能であり，オクルージョンに対しても画像処理で対応することができる．よって，事前生成型モバイル AR の方が従来のモバイル AR より高品位
な重畳画像を提示することができる．事前生成型モバイル AR を用いた応用例として，史跡の観光案内 [24] や建設現場でのシミュレーション [25] があり，システ

10࣮ࣘࢨどⅬ࣓࢝ࣛどⅬ
図 7 モバイル端末付属カメラの撮影インタフェース

ムの頑健性の観点からも事前生成型モバイル AR は主に屋外における AR 体験において大きなアドバンテージがある．
一方，事前に撮影を行うことで生じる問題もいくつか存在する．すなわち，事前に撮影したカメラの位置とユーザが体験する位置の差異や，事前に撮影した日時とユーザが体験する日時の違いに起因する違和感である．Wither ら [23] は，事前撮影時と類似する時間・天候下で被験者実験を行い，事前撮影時のカメラ位置とユーザ位置が，重畳対象地点とユーザ位置との距離の 10%以内であれば，実環
境と撮影画像との位置ずれに対してユーザは違和感を持たないことを明らかにしている．また，事前撮影した地点において，事前撮影時と類似する時間・天候下で AR を体験した場合，従来の AR 手法より事前生成型 AR 手法の方が，ユーザにとって有用であることを明らかにしている．ただし，事前撮影時と類似しない
時間・天候では，空のテクスチャや建物の影などが実環境と撮影画像で異なることで，臨場感が低下するという問題がある．

11

2.3 本研究の位置づけと概要
本研究では，事前生成型 AR システムを用いたモバイル AR に着目する．2.2 で述べた Wither ら [23] の事前生成型 AR システムは，計算リソースの少ないモバ
イル端末で軽量に動作し，高品質な重畳画像が表示されるという利点がある一方で，撮影した日時とユーザが利用する日時が異なることによって，景観に違いが生じ臨場感が損なわれるという，従来の AR にはない問題が生じている．撮影した日時とユーザが利用する日時が異なることで生じる景観の違いは，その変化にかかる時間によって，

1. 時々刻々と位置・形状が変化する動物体
2. 数時間毎に変化する天候や光源位置等による照明条件
3. 数ヶ月毎の季節の移り変わりによる自然の景観等に大別できる．これらの例を図 8〜図 10 に示す．図 8 では，撮影時とユーザ利用時で異なる動物体（歩行者等）が写り込むことによって景観が変化する (1)．図 9
では，事前撮影時とユーザ利用時の天候が異なる場合，照明条件の違いが空の色やテクスチャ，実物体の明るさや陰影を変化させる (2)．図 10 では，8 月に撮影した事前撮影全方位画像から切り出した画像と 12 月のユーザ利用時に撮影した画像の比較である．夏に撮影した時は緑に生い茂っていた木々の葉が，冬に撮影した時には全て枯れ葉になり画像中での色・形状ともに変化している (3)．
本論文では，表 1 に示す手法でこれらの問題に対応する．数ヶ月ごとの変化にはデータベースを再度構築することで対応するものとし，本報告では取り扱わな
い．時々刻々と変形する歩行者などの動物体は全方位画像から除去する．天候等の照明条件の変化には，事前に様々な日時で撮影した全方位画像群をデータベースとして保持し，ユーザに提示する際にはデータベースの中からその場の照明条
件に近いものを選択する．
本研究では，3 つの要因のうち特に事前撮影された景観と実際の現実世界の見えとの間に生じる，天候や光源位置の違いなどの照明環境に着目する．まず，予備実験として，時々刻々と変形する歩行者などの動物体を全方位画像から除去す12

表 1 撮影した日時とユーザが利用する日時が異なることで生じる景観の違い
臨場感低下の要因

対応手法

実時間

動物体

事前撮影画像から動物体を除去

数時間毎

天候・照明条件など

事前にデータベースに登録し，適切な
画像を選択

数ヶ月毎

季節の変化による木々の色合

データベースを再構築（本報告では取いなどり扱わない）

る手法を取り入れた事前生成型 AR システムを用いて，天候や光源位置の違いな
どの照明環境の変化に関して生じる問題点を確認する．次に，得られた結果を参考に，天候等の照明環境の変化を考慮したシステムを試作し，被験者実験を通して，本研究の有用性を検証する．

13

図 8 時々刻々と変化する歩行者などの動物体が写り込んだ全方位画像

ᬕࢀ

᭎ࡾ

ኳೃࡢ㐪࠸

ᐇ㦂୰ࡢኳೃ

⏬㠃ෆࡢኳೃ

図 9 数時間毎に変化する天候の違い

14஦๓᧜ᙳ඲᪉఩⏬ീ㸦᭶᧜ᙳ㸧࣮ࣘࢨయ㦂᫬ࡢ⏬ീ㸦᭶᧜ᙳ㸧ษࡾฟࡋ⏬ീ㸦᭶᧜ᙳ㸧

図 10 数ヶ月毎に変化する季節の違い

15

3. 実シーンの照明環境の変化を考慮した事前生成型 AR
システム
3.1 提案手法の概要
事前生成型 AR では，全ての処理をリアルタイムで行うのではなく，図 11 に示すように，処理をオフライン処理とオンライン処理に分割する．図 12 にシス
テムの処理の流れを示す．オフライン処理では，定点に設置した全方位カメラを用いて様々な日時に現実世界を撮影し，全方位画像を光源マップとする光源環境が反映された仮想物体を重畳合成する．その後重畳合成した全方位画像と，撮影した各全方位画像の RGB ヒストグラムをデータベースに登録する．オンライン処理では，モバイル端末付属のカメラで撮影した画像から算出した RGB ヒスト
グラムと，データベースに登録した RGB ヒストグラムとで相違度を求め，現在の照明環境に適した全方位画像を探索する．次に，モバイル端末の姿勢に基づき，事前生成された全方位 AR 画像から適切な方向の平面透視投影画像を生成しユー
ザに提示する．以下に，各処理の詳細を述べる．

事前撮影画像オンライン処理による整合

実環境

オフライン処理
による整合

仮想物体

図 11 事前生成型モバイル AR

16࢜ࣇࣛ࢖ࣥฎ⌮␗࡞ࡿኳೃୗ࡛ᩘ᫬㛫ẖ࡟ᐃⅬ࡛඲᪉఩⏬ീࢆ᧜ᙳ
ື≀య㝖ཤ࠾ࡼࡧ௬᝿≀యࡢ㔜␚඲᪉఩⏬ീ 5*% ࣄࢫࢺࢢ࣒ࣛࡢ⟬ฟ࢜ࣥࣛ࢖ࣥฎ⌮ࢹ࣮ࢱ࣮࣋ࢫ࠿ࡽࡢ↷᫂᮲௳ࡀ㢮ఝࡋࡓ඲᪉఩⏬ീࡢ᥈⣴࣮ࣘࢨࡢጼໃ࡟ᛂࡌࡓ඲᪉఩⏬ീ࠿ࡽࡢษࡾฟࡋᥦ♧

図 12 提案システムの流れ

3.2 オフライン処理
3.2.1 事前撮影画像内の動物体除去
オフライン処理では，ユーザへの画像提示を行う地点で事前に様々な日時で撮影した全方位画像（事前撮影画像）に仮想物体を重畳合成する．事前撮影画像には，ユーザ利用時と異なる歩行者等の動物体が写り込んでいる（図 13 参照）．このような動物体を事前生成型 AR で再現することは難しいが，観光やナビゲーションを目的とした場合においては，これらをあえて再現せず，除去することにより，注目対象となるシーンへの遮蔽をなくすことができるという利点が生じる．そのため本研究では，新井らによる手法 [26] を用いて，事前撮影画像に含まれる動物
体を除去する．具体的には，定点で撮影した動画像を入力とし，時間方向の画素
値の中央値を用いて大まかに動物体の除去を行い，その後，残存した動物体領域
に対して画像修復手法 [27] を適用することにより人物領域の除去を行う．人物領
域除去の結果を図 14 に示す．

17

図 13 時々刻々と変化する歩行者などの動物体が写り込んだ全方位画像

図 14 歩行者などの動物体を削除した結果画像18

図 15 仮想物体を重畳した画像

3.2.2 AR シーンのレンダリング
人物が除去された事前撮影画像に対して，仮想物体を重畳合成する．本研究では，Autodesk 社製 3ds Max など市販のレンダリングソフトウェアを用いる．まず，ソフトウェア内に三次元空間を構成，背景として事前撮影全方位画像を設定する．次に，三次元空間中の原点にカメラを設置し，重畳したい仮想物体と，事前撮影全方位画像の位置合わせを撮影地点の測量結果などに基づき手動または自動で行う．さらに，事前撮影画像を光源マップに用いてイメージベースドライティ
ング（IBL） [28] を適用したグローバルイルミネーションにより，相互反射等を考慮したレンダリングを行い，全方位 AR シーンを生成する．本処理はオフラインで行うため，現実物体による仮想物体のオクルージョンをマスク処理により再現することも可能である．図 14 に示した動物体除去を行った画像を背景として用い，仮想物体を重畳した結果の例を図 15 に示す．ここでは，画像の中央に大きい建造物を重畳し，左右に塔をそれぞれ重畳している．以上の処理を，事前に撮影した全ての全方位画像に対して行う．

19

S[࣭࣭࣭࣭࣭࣭S[
図 16 動物体除去画像に対する色情報の抽出

3.2.3 重畳画像と RGB ヒストグラムのデータベースへの登録
本研究では，データベースに登録した事前撮影画像の中から，現在の照明環境と類似した画像を探索する．提案手法では，事前撮影時のカメラ位置とリアルタイムに撮影した時のモバイル端末付属のカメラ位置とで誤差が生じるため，画素単位の位置合わせを行うことができない．そのため，画素単位の位置合わせを行
わなくても，相違度を評価することができるヒストグラムを評価尺度として採用する．また，RGB についてそれぞれ独立にヒストグラムを作成し，相違度を評価することで，ホワイトバランスの違いによる影響を考慮する．さらに，オンライ
ン処理における照明環境類似画像の探索処理の計算コストを低減させるため，事前撮影画像の RGB ヒストグラムをオフライン処理で求め，事前に生成した重畳合成画像と関連づけてデータベースに登録する．
以下に具体的な処理を示す．まず，保存するデータ量を削減するため，図 16 に示すように事前撮影画像を 100 × 100 画素を要素とする格子状に分割する．次に分割した各画素領域について，RGB を各 16 階調に変換し，RGB ヒストグラムを作成する．このとき，全方位画像の下部分には全方位カメラの仕様による欠損が生じているため，対象から除外する．最後に，算出した 100 × 100 画素毎のヒス
トグラム群を，1 つのファイルに書き出しデータベースに登録する．オンライン処理で使用する時は，位置合わせした領域に含まれる 100 × 100 画素のヒストグ
ラム群を全て足し合わせることで，その領域に対応するヒストグラムを求める．

20

3.3 オンライン処理
オンライン処理では，まずモバイル端末付属のカメラで撮影した画像の RGB
ヒストグラムとデータベースに登録した RGB ヒストグラムとの相違度に基づき，現在の照明環境に最も適した全方位画像を選択する．次に，地磁気センサ，加速度
センサ，ジャイロセンサから取得されたモバイル端末の姿勢情報を利用して，事前に仮想物体が重畳された全方位画像から，モバイル端末の姿勢に対応する平面
透視投影画像をリアルタイムに生成し，ユーザが持つディスプレイ上に提示する．

3.3.1 データベースからの照明環境が類似した全方位画像の探索
本研究では，ユーザがシステムを利用する前にモバイル端末を周囲 360◦ の方向にかざし，多方向の画像を取得することで照明環境のキャリブレーションを行うことを想定している．周囲 360◦ に端末をかざすことで，太陽光源の位置や間接光の影響が強い場所等，日時によって方向が変化する要因に対応する．ここで得られた画像群と撮影時のモバイル端末の姿勢情報を入力として，データベースからユーザが利用する照明環境と最も類似した画像を探索する．ただし，本研究では異なる 2 つのカメラで撮影した画像の相違度を求めるため，図 17 に示すように同じ場所を撮影した画像でもヒストグラムの分布をそのまま比較することはできない．ここでは，スケールパラメータ s を用いて，カメラによって生じる差異を補正する．まず，図 18 に示すように，モバイル端末の姿勢に基づき，モバイル
端末上の提示領域をデータベースに登録されている格子領域に対応付ける．次に，データベースに格納された事前生成全方位画像の ID を i としたとき，決定した対応領域全体の RGB ヒストグラム Hidb を事前に算出してある各格子のヒストグラ
ムから求める．また，モバイル端末付属のカメラで様々な方向で撮影した画像群のうち，方向 θ の画像に対応する RGB ヒストグラム Hθmob を作成する．これらのヒストグラムを用い，各方向 θ に対応するモバイル画像ごとに独立に算出された相違度を足し合わせることで，データベース中の類似画像を決定する．具体的には，i 番目のデータベース画像と多方向のモバイル画像群の間において，図 19 に∑示すように s を変化させながら θ diﬀ c (i, θ, s) を求め，ある色成分 c ∈ (R, G, B)

21ࣔࣂ࢖ࣝ➃ᮎ௜ᒓ࣓࢝ࣛ࡟ࡼࡿ᧜ᙳ⏬ീ⿵ṇ๓ s=1.0⿵ṇᚋ s=1.2඲᪉఩⏬ീ࠿ࡽࡢษࡾฟࡋ⏬ീ

図 17 モバイル端末付属カメラで撮影した画像と対応する全方位画像から切り出した画像の青色ヒストグラム

22ࣔࣂ࢖ࣝ➃ᮎ௜ᒓࡢࢭࣥࢧ
᝟ሗ࡟ࡼࡿ఩⨨ྜࢃࡏ࣭࣭࣭ࣔࣂ࢖ࣝ➃ᮎ௜ᒓ࣓࡛࢝ࣛ
᧜ᙳࡋࡓ⏬ീ⩌[ ⏬⣲࡛༊ษࡽࢀ
ࡓ᱁Ꮚ㡿ᇦ

図 18 モバイル端末とデータベースに登録されている格子領域との対応付け

θ=1

θ=2

θ = 12࣭࣭࣭diff (i, 1, 0.6)

diff (i, 2, 0.6) ࣭࣭࣭ diff (i, 12, 0.6)

5.36

s = 0.7

diff (i, 1, 0.7)

diff (i, 2, 0.7) ࣭࣭࣭ diff (i, 12, 0.7)

3.45

s = 1.5

diff (i, 1, 1.5)

diff (i, 2, 1.5) ࣭࣭࣭ diff (i, 12, 1.5)࣭࣭࣭

s = 0.6

࣭࣭࣭

8.12

࣭࣭࣭

diff (i, 2, 0.5) ࣭࣭࣭ diff (i, 12, 0.5)࣭࣭࣭diff (i, 1, 0.5)

࣭࣭࣭s = 0.5

7.89┦㐪ᗘ Dc (i)図 19 相違度計算のためのスケールパラメータ s の探索（0.5 < s < 1.5, 0.1 ごとに探索する場合）

23

の相違度 Dc (i) を以下のように算出する．

Dc (i) = mins∑

diﬀ c (i, θ, s).

(1)θ

ここで，s は全方位カメラとモバイル端末付属カメラとの間の明るさ・ホワイト
バランスの差を補正するためのスケールパラメータである．本研究において，モ
バイル端末付属のカメラの明るさ・ホワイトバランスは動的に変化することを前提としているため，s は未知であるとして扱われる．そのため，各モバイル画像とデータベースの対応領域間の相違度 diﬀ c (i, θ, s) の和が最小となる s を探索し決定する．本研究では，事前に s の定義域を設定し，その範囲で s を微小に変化∑させながら θ diﬀ c (i, θ, s) を求め，最小値となる s を決定する（図 19 参照）．

diﬀ c (i, θ, s) は，各ビン値の差の二乗和に基づき以下のように算出される．
m(θ,s) ( mob∑ H (j) H db (sj) )2
1
θ
diﬀ c (i, θ, s) =
− dbi
mob
m(θ, s) j=0nn (i, θ)(2)

nmob および ndb (i, θ) はモバイル端末で撮影された画像，データベースの対応領域
それぞれの画素数を示し，各画素数の違いを正規化するために用いられる．m は，相違度計算に用いるヒストグラムのビン数であり，s ≥ 1 の時 m = (Hθmob のビン()
数)，s < 1 の時 m = s ∗ (Hθmob のビン数) で定義される．モバイル端末付属カメラで撮影した画素数と，対応付けを行った全方位画像中の画素数は s に依存して変化するため，各ビン値の差の二乗和は m により正規化される．
最後に，RGB 成分それぞれ独立に求められた Dc (i) を足し合わせた，i 番目のデータベース画像とモバイル画像群間の相違度 D(i) をデータベースに登録されている全ての画像に対して同様に求め，最も値の小さい事前生成全方位画像をユー
ザへの提示提示とする．

3.3.2 全方位画像からの切り出し提示
事前生成全方位画像の適切な部位を切り出して提示するために，モバイル端末に内蔵された地磁気センサ，加速度センサ，ジャイロセンサを用いて端末の姿勢を取得する．センサから得られた姿勢情報を利用して，3.3.1 で選択された事前生

24

成全方位画像から，ユーザが持つモバイル端末の姿勢に対応する平面透視投影画
像をリアルタイムに生成し，ディスプレイ上に提示する．

25

4. 実験
4.1 照明変化を考慮しない事前生成型 AR を用いた一般公開実験
予備実験として，照明環境を考慮しない事前生成型 AR システムを用いて，天候や光源位置の違いなどの照明環境の変化に関して生じる問題点を確認する．本
試作システムでは，時々刻々と変形する歩行者などの動物体を 3.2.1 項で述べた手法により全方位画像から除去した．また，本実験では，試作システム上に提示するコンテンツとして，東大寺を舞台としたバーチャル歴史体験アプリケーショ
ン “東大寺時巡り” を KMD1 チームと作成し，用いた．実験は，2013 年 3 月 27 日に東大寺で行われた「革新的デジタルメディア研究コア」シンポジウム 2 において，一般参加者を対象として実施した．

4.1.1 バーチャル歴史体験アプリケーション
本アプリケーションでは，タブレット端末を「時空を超える窓」と捉え，端末をかざしながら大仏殿内外を歩いて回ることで，失われた建物や景観などを視覚的に再現し，あたかも当時，その場所にいるかのような体験を得ることができる．
実験で使用した機器を表 2 に示す． 開発したアプリケーションは 2 つの機能を備える（図 20 参照）．1 つは地図が表示されたナビゲーション機能（図 20（a））
であり，もう 1 つは提案システムである過去の景観を表示する機能（図 20（b））
表 2 実験で使用した機器一覧
目的

使用機器

モバイル機器iPad2 , iPad mini and iPad 4th generation(Apple Inc.)
Ladybug3 (Point Grey Research Inc.)
3ds Max (Autodesk, Inc.)

全方位カメラレンダリングソフトウェア

12

慶應義塾大学大学院メディアデザイン研究科
http://ypcex.naist.jp/NAIST KMD SYMPO2013/26

である．ナビゲーション機能では，図 20（a）に表示される大仏殿の俯瞰地図において，GPS により現在のおおよその位置を知ることができる．予め撮影されている地点に到達すると，体験者はその地点での過去の景観を見ることができる．
バーチャル歴史体験では図 21 に示す 5 つの地点において，それぞれ異なる景観が提示される．以下に，今回の実験に用いた提示コンテンツについて概説する．
創建時の大仏殿：現在より大きいとされている天平時代の大仏殿が現在の大仏殿の位置に重畳合成される．
東塔のある眺め：大仏殿内に展示されている創建時の東大寺模型に基づいて作成した東塔の 3 次元モデル 7 が，現在東塔跡であると考えられている場所に重畳合成される．
大仏様との出会い：創建時の大仏様の様子は諸説あるが，ここでは信貴山縁起絵巻を基に現在の大仏様を黄金に彩色した様子が重畳合成される．
連弁と蓮華蔵世界：大仏蓮弁線刻画復原図に基づいて描かれた連弁が，現在レプリカの連弁が展示されている場所に重畳合成される．
蓮華蔵世界と大仏様：信貴山縁起絵巻に基づいて，大仏様が鎮座していたといわれている蓮華座と大仏様が重畳合成される．

4.1.2 実験環境
被験者は，表 3 に示す構成の一般参加者 46 名であり，全地点での体験終了後にアンケート形式でアプリケーションの評価を依頼した．本実験では，事前に全方位撮影を行った地点からおおよそ 2〜3m 以内でアプリケーションを体験できるよ
表 3 回答者の年代層
年代

〜10 代

20 代

30 代

40 代

50 代

60 代

70 代〜

人数

0人

5人

4人

6人

12 人

12 人

7人

7

復元した三次元モデルは，大仏殿内に展示されている模型を参考に，建築学的検証について
は広島工業大学福田由美子教授，古色表現の検証については広島市立大学中嶋健明教授監修のもと制作された．

27

(a) 体験場所の地図を表示(b) 過去の景観を表示

図 20 バーチャル歴史体験アプリケーション画面

ⶈᘚ࡜ⶈ⳹ⶶୡ⏺

4

3

5

ⶈ⳹ⶶୡ⏺࡜኱௖ᵝ኱௖ᵝ࡜ࡢฟ఍࠸

2ᮾሪࡢ࠶ࡿ═ࡵ๰ᘓ᫬ࡢ኱௖Ẋ 1

図 21 大仏殿内外における提示コンテンツ28

う，案内人が被験者を誘導した．体験時間は 15:00〜17:00 の 2 時間で，事前撮影
時の天候は晴れ，実験を行った時の天候は曇りである．
本実験で開発した歴史体験アプリケーションにおいては，コンテンツとしての完成度を高めるために，手動による画像の修正や演出の追加を行っている．被験者に対する設問内容は，以下の 4 項目とし，それぞれを 5 段階の尺度で評価するものとした．

Q1) 東大寺時巡りは，天平時代の大仏殿や大仏様の様子を理解する上で役立つと感じたか？

Q2) CG と画面の中の景色の位置ずれ（建物が浮いているように感じるなど）は気になったか？

Q3) 東大寺時巡りの画面と実際の景色のずれは気になったか？
Q4) 東大寺時巡りの画面と実際の景色の色の違い（天気の違い，全体的な色味の違い）は気になったか？

Q1 はアプリケーション全体の有用性を評価する設問であり，Q2 は事前撮影画像と仮想物体間の整合性に関する設問，Q3 および Q4 は実環境と仮想物体間の整合性に関する設問である．

4.1.3 評価実験の結果と考察
アプリケーションの有用性を検証する設問である Q1 の結果を図 22 に示す．9割程度の被験者が「とても役に立つ」または「役に立つ」と回答し，事前生成型
モバイル AR システムに基づくアプリケーションが，歴史体験の用途に有用であることが示唆された．
本研究の技術要素についての設問である Q2〜Q4 の結果を図 23 に示す．これ
ら技術要素に関する設問のなかで，幾何学的整合性に関する設問である，仮想物
体と事前撮影画像間の整合性に関する設問（Q2），事前撮影画像と現実世界間の整合性に関する設問（Q3）では，これらのずれが「あまり気にならなかった」，「気にならなかった」という回答が 7 割以上の被験者から得られた．これにより，29

まったく役にた立たない1

とても役に立つ

2

3

4

5

Q1
0%

50%

100%

回答者の割合図 22 システムの有用性に関するアンケート結果（Q1）
気になった

気にならなかった

1

2

3

4

5

Q2
Q3
Q4
0%

50%

100%

回答者の割合図 23 技術要素に関するアンケート結果（Q2-Q4）

事前撮影したカメラ位置とアプリケーション体験時の端末位置が大きく異ならない環境（今回の実験においてはおおよそ 2〜3m 以内）では，ユーザは幾何学的なずれを感じにくいことが示唆された．3 つの評価項目のうち，光学的整合性を評価する設問（Q4）に対しては，「気になった」，「少し気になった」と 4 割程度の被験者が回答したことから，事前撮影画像と現実世界の光学的な整合性を高めることの必要性が確認できた．

30

4.2 照明環境の変化を考慮した事前生成型 AR を用いた一般公開
実験
本節では，天候や光源位置の違いなどの照明環境の変化を考慮した提案システ
ムの有用性を確認するための実験について述べる．本実験は，照明環境の変化を考慮した提案手法を実装した試作システムを用い，2013 年 12 月 11 日に東大寺で開催されたバーチャル歴史体験に関する公開実験において，一般参加者を対象に実験を実施した．

4.2.1 試作システム
本実験では，創建時の大仏殿・東塔・西塔 8 が重畳された景観を体験できる
バーチャル歴史体験システムを試作した．創建時の大仏殿 (図 24(a)) が iPad のディスプレイを通して表示され，被験者は現在の大仏殿と創建時の大仏殿を見比べることができる．また，現在は焼失により跡地のみとなっている創建時に造立された西塔 (図 24(b))・東塔 (図 24(c)) についても，iPad を通して見ることができる．バーチャル歴史体験システムで使用した機器は 4.1 の実験と同一のものである．本実験では，試作システムで体験を行う前に， 3.3.1 項で述べたとおり，デー
タベースから照明環境が類似した全方位画像の探索を行う．そのため，本実験で用いる試作システムは，多方向の画像を取得することで照明環境のキャリブレー
ションを行う機能を持つ（図 25 参照）．また，試作システムは，以下の 3 つの全方位重畳画像を切り替えて提示する機能を持つ．

1. 提案手法による相違度の最も小さい場合の画像提示
2. データベース内全方位重畳画像のランダム提示
3. 提案手法による相違度の最も大きい場合の画像提示

8

復元した三次元モデルは，大仏殿内に展示されている模型を参考に，建築学的検証について
は広島工業大学福田由美子教授，古色表現の検証については広島市立大学中嶋健明教授監修のもと制作された．

31

(a) 大仏殿(b) 西塔(c) 東塔図 24 創建時の大仏殿・東塔・西塔を重畳した様子

32

図 25 キャリブレーション時の様子(1) はユーザ体験時の照明環境に最も類似した画像，(3) は逆にユーザ体験時の照明環境に最も類似しない画像である．また，(2) では照明環境を考慮しない従来手法を想定し，データベース内の全方位重畳画像をランダムに提示する．

4.2.2 実験環境
被験者は表 4 に示す年代の一般参加者 88 名であり，体験終了後にアンケート形式でアプリケーションを評価した． 4.1 節で述べた実験と同様，実験中は事前に全方位撮影を行った地点からおよそ 2〜3m 以内でアプリケーションを体験できるよう，案内人が被験者を誘導した．被験者に対する設問内容は，以下の項目とし，それぞれを 7 段階の尺度で評価するものとした．

Q1) バーチャル歴史体験システムは，創建時の大仏殿や塔の様子を理解する上で役立つと感じるか？

Q2) 現存しない過去の大仏殿・東塔・西塔が，違和感なくそこにあるように見
えたか？

33

ᬒほ

&*

⏬㠃ࢆ㏻ࡋ࡚ぢࡿᬒほᐇ㝿ࡢᬒほ(a) Q3 における比較対象(b) Q4 における比較対象

図 26 Q3 及び Q4 で考慮する比較対象図

Q3) 画面の中の CG と景観（CG 以外の部分：図 26(a)）では，光のあたり方（明るさ，影のつき方など）が異なっているように感じたか？

Q4) 実際の景観と画面を通して見る景観（右図 26(b)）では，光のあたり方（明るさ，影のつき方など）が異なっているように感じたか？

Q1 は体験システム全体に関する評価であり，「全く役立たない」から「とても役立つ」までを 7 段階で評価した．Q2 は 4.2.1 項で述べた，(1) から (3) の画像提示に対して「見えない」から「見える」までを 7 段階で評価した．また，Q3，Q4も同様に 4.2.1 項で述べた，(1) から (3) の画像提示に対して「全く異なる」から「全く同じ」までを 7 段階で評価した．本実験で事前に撮影した画像は，快晴の日に撮影した朝 9 時から夕方 16 時までの 1 時間毎の画像 8 枚と，曇りの日に撮影した画像 1 枚であり，偏りが存在する．一般公開実験時の天候は晴れまたは曇りであった．実験は朝 8 時半から夕方 16 時半まで行った．
表 4 回答者の年代層（未回答 4 名除く）
年代

〜10 代

20 代

30 代

40 代

50 代

60 代

70 代〜

人数

1

6人

6人

8人

19 人

25 人

19 人

34

4.2.3 評価実験の結果と考察
体験システム全体に関する評価（Q1）は，図 27 の結果から肯定的な評価として最も高い 7 を回答した人の割合は 46%で，比較的肯定的な 5,6 を含めると 94%の回答を得た．このことから，本研究で提案する実シーンの照明環境を考慮した事
前生成型拡張現実感システムが，歴史体験の用途に有用であることが示唆された．

Q2 から Q4 の結果をボンフェローニ法を用いた多重比較検定により算出された有意差の有無とともに図 28 から図 30 に示す．Q2 は，図 28 示すように，提案手法で選択した重畳画像を提示した場合の方が，仮想物体が違和感なく存在しているように見えるという結果が得られた．また，Q3 に関する仮想物体と撮影画像との照明環境に関する検証結果を図 29，Q4 に関する実画像と事前生成画像との照明環境に関する検証結果を図 30 に示す．それぞれの関係に着目した照明環境
においても，提案手法で選択した重畳画像を提示した方が，実環境と類似していることが示唆された．一方，本実験ではユーザに提示する重畳画像の明るさを考慮していなかったため，太陽光による反射が強く，コンテンツが見づらいという回答が多く得られた．そのため，今後ディスプレイの特性を考慮し重畳画像の明るさを調節する手法の必要性が示唆された．また，本実験ではデータベースに登録した全方位画像が，快晴の日に撮影した朝 9 時から夕方 16 時までの 1 時間毎の画像 8 枚と，曇りの日に撮影した画像 1 枚であり，偏りが存在した．提案手法
をより正確に検証するために，次節で様々な天候・日時で撮影したデータベース
を用いて再度検証を行った結果を示す．

35

඲ࡃᙺ❧ࡓ࡞࠸
࡜࡚ࡶᙺ❧ࡘ



















ᅇ⟅⪅ࡢ๭ྜ

図 27 一般公開実験におけるシステム有用性の検証結果 (Q1)

㸨
ぢ࠼ࡿ

㸨



㸨


࣮ࣘࢨホ౯್ࡢᖹᆒ㸸ᶆ‽೫ᕪ㸨㸸 ከ㔜ẚ㍑᳨ᐃ࡟ࡼࡿ᭷ពᕪ
p < 0.05








ぢ࠼࡞࠸

ᥦ᱌ᡭἲ

ᚑ᮶ᡭἲ

┦㐪ᗘ᭱኱ࡢ⏬ീࢆᥦ♧ࡋࡓሙྜ

図 28 提案手法による AR システムとしての違和感の検証結果 (Q2)

36

㸨
඲ࡃྠࡌ

㸨

7

㸸ᶆ‽೫ᕪ

࣮ࣘࢨホ౯್ࡢᖹᆒ

6㸨㸸 ከ㔜ẚ㍑᳨ᐃ࡟ࡼࡿ᭷ពᕪ
p < 0.05

5
4
3
2
1
0

඲ࡃ␗࡞ࡿ

ᥦ᱌ᡭἲ

ᚑ᮶ᡭἲ

┦㐪ᗘ᭱኱ࡢ⏬ീࢆᥦ♧ࡋࡓሙྜ

図 29 撮影画像と仮想物体との照明環境に関する検証結果 (Q3)

㸨
඲ࡃྠࡌ

㸨

7

㸸ᶆ‽೫ᕪ
㸨㸸 ከ㔜ẚ㍑᳨ᐃ࡟ࡼࡿ᭷ពᕪ
p < 0.05

࣮ࣘࢨホ౯್ࡢᖹᆒ

6

5

4

3

2

1

0

඲ࡃ␗࡞ࡿ

ᥦ᱌ᡭἲ

ᚑ᮶ᡭἲ

┦㐪ᗘ᭱኱ࡢ⏬ീࢆᥦ♧ࡋࡓሙྜ

図 30 実画像と事前生成画像との照明環境に関する検証結果 (Q4)37

4.3 様々な天候日時で撮影した事前生成画像を用いた提案システムの評価実験
東大寺で行った一般公開実験（4.2 節）ではデータベースに偏りが存在し，加えて重畳画像の明度が低いためコンテンツが見づらいという問題があった．そのため，再度，様々な天候・日時で撮影したデータベースを作成し，事前撮影画像とモバイル端末による撮影画像のガンマ特性を一致させた上で，天候・光源位置の違いなどの環境変化を考慮した事前生成型 AR システムの追実験を行った．なお，本実験は本学情報棟前の広場で行った．

4.3.1 試作システム
本実験を行うために，仮想物体として図 31 示すような塔が重畳された景観を体験することができる試作システムを開発した．評価システムは，4.1 節，4.2 節と同様，表 2 に示した機器を使用した．また，4.2 節の実験と同様，データベース
から照明環境が類似した全方位画像の探索を行うため，モバイル端末を周囲 360◦の方向にかざし，多方向の画像を取得することで照明環境のキャリブレーションを行う機能を持つ．東大寺で行った一般公開実験ではディスプレイの明るさに関する課題が挙げられたため，本実験では，事前撮影画像と iPad による撮影画像のガンマ特性を一致させた．具体的には，iPad による撮影画像のガンマを 2.2 と仮定して補正を行った．なお，本実験においては，歩行者などの動物体がいない環境で撮影を行ったため，動物体除去の処理は適用していない．

4.3.2 実験環境
被験者は，体験中にモバイル端末を操作することにより，体験と並行してアンケート形式で実験の評価を行う．実験開始前に体験地点を指定し，事前撮影地点の 2〜3m 以内に被験者を誘導する．データベース中の画像は，2013 年 8 月から2013 年 12 月までの期間，様々な天候・時間において撮影された 29 枚の全方位画
像に，仮想物体として塔を重畳したものである（図 32 参照）.

38

図 31 提案手法によって選択される全方位画像の例

図 32 データベースに登録した重畳画像群（29 枚）

39

被験者に対する設問内容は，以下の項目とし，それぞれを 7 段階の尺度で評価するものとした．

Q1) 実在しない塔があたかも存在しているかのように見えるか？
Q2) 実際の景観と画面を通して見る景観では，照明条件（天候，影の付き方，撮影日時など）が異なっているように感じるか？
本実験では，データベースに登録された全ての重畳画像に対して，Q1 から Q2 の回答を被験者に依頼した．Q1 は「見えない」から「見える」までの 7 段階，Q2
は「全く異なる」から「全く同じ」までを 7 段階で評価する．集計した結果を，提案手法，従来手法，相違度最大の画像を提示した場合で評価値の平均を比較す
る．実験は 4 日間で計 5 回行った．実験環境の詳細を表 5 に示す．

4.3.3 評価実験の結果と考察
提案手法，データベース中の全画像を提示した場合，相違度の最大画像を提示した場合に対する Q1，Q2 の結果をボンフェローニ法を用いた多重比較検定により算出された有意差の有無とともに図 33，図 34 に示す．図 33 に示すように，提案手法によって選択された重畳画像を提示した場合の方が，実在しない塔があたかも存在しているかのように見えるという結果が得られた．これにより，4.2.3 項で述べた仮想物体が違和感なく存在しているように見えるという結果（図 28）は，様々な天候・日時で撮影したデータベースにおいても，同様に言えることが確認できた．また，図 34 に示すように，提案手法で選択した重畳画像を提示した方
表 5 実験環境
日時

被験者数

天候

1 回目

2013 年 12 月 25 日 15 時頃

5人

晴れ

2 回目

2014 年 01 月 28 日 11 時頃

5人

晴れ

3 回目

2014 年 01 月 28 日 13 時頃

4人

晴れ

4 回目

2014 年 02 月 21 日 14 時頃

5人

曇り

5 回目

2014 年 02 月 26 日 17 時頃

5人

曇り

40

が多くのユーザにとって，実際の景観と画面を通してみる景観における照明環境が類似していることが示唆された．
他方，図 35 に，Q1 におけるユーザ評価と相違度の関係をヒートマップ図で示す．この時，相違度は式（2）に示すように 2 乗されているため，横軸に相違度の平方根を使用する．提案手法が正しい場合，相違度の平方根の値とユーザ評価には負の相関がある．図 35 に示すように，相違度の平方根の値が小さく，ユー
ザ評価の大きい部分に多くの回答が得られた．しかし，図 35 では，分布のばらつきが大きい．図 35 の分布をより詳細に調査するために，図 36 から図 40 に，被験者それぞれの Q1 におけるユーザ評価と相違度の関係をヒートマップ図で示す．図 36(a) や図 37(d) のように負の相関をもつ結果がある一方で，図 36(e) や図 37(c) のように相関が見られない結果が得られた．
以上から，提案手法を用いて選択した重畳画像を提示することで，従来手法より AR システムとしての違和感を持たないことが確認できたが，ユーザに与える

AR システムとしての違和感をより正確に反映するためには，本手法で用いた相違度以外の要因も考慮する必要があることが示唆された．現在の相違度では RGB
ヒストグラムによる，全方位画像と実環境との色合いの違いを考慮しているが，草や花々など季節によって変化する実環境の部分的な色合いの変化もユーザに与える AR システムとしての違和感に影響していると考えられる．また，仮想物体を重畳する難易度が照明環境によって異なるため，仮想物体の重畳精度にばらつきが生じたことも，ユーザに与える AR システムとしての違和感に影響したのではないかと考えられる．

41

㸨
ぢ࠼ࡿ

㸨

7

㸸ᶆ‽೫ᕪ
㸨㸸 ከ㔜ẚ㍑᳨ᐃ࡟ࡼࡿ᭷ពᕪ
p < 0.05

࣮ࣘࢨホ౯್ࡢᖹᆒ

6
5
4
3
2
1
ぢ࠼࡞࠸

ᥦ᱌ᡭἲ

┦㐪ᗘ᭱኱ࡢ⏬ീࢆᥦ♧ࡋࡓሙྜ

ᚑ᮶ᡭἲ

図 33 提案手法による AR システムとしての違和感の検証結果 (Q1)

㸨
඲ࡃྠࡌ

㸨

7

㸸ᶆ‽೫ᕪ

࣮ࣘࢨホ౯್ࡢᖹᆒ

6㸨㸸 ከ㔜ẚ㍑᳨ᐃ࡟ࡼࡿ᭷ពᕪ
p < 0.05

5
4
3
2
1

඲ࡃ␗࡞ࡿ

ᥦ᱌ᡭἲ

┦㐪ᗘ᭱኱ࡢ⏬ീࢆᥦ♧ࡋࡓሙྜ

ᚑ᮶ᡭἲ

図 34 実際の景観と画面を通して見る景観との照明条件の比較結果 (Q2)42࣮ࣘࢨホ౯್

ᅇ⟅⪅ᩘҀ┦㐪ᗘ
図 35 提案手法による相違度とユーザ評価の関係 (Q1)43

(a) 相関係数：−0.528(b) 相関係数：0.514(c) 相関係数：−0.249(d) 相関係数：0.151(e) 相関係数：0.309

図 36 2013 年 12 月 25 日に行った各被験者の回答と相違度の関係

44

(a) 相関係数：−0.359(b) 相関係数：−0.427(c) 相関係数：0.329(d) 相関係数：−0.658(e) 相関係数：−0.408

図 37 2014 年 01 月 28 日 1 回目に行った各被験者の回答と相違度の関係

45

(a) 相関係数：0.037(b) 相関係数：−0.290(c) 相関係数：−0.575(d) 相関係数：−0.229

図 38 2014 年 01 月 28 日 2 回目に行った各被験者の回答と相違度の関係

46

(a) 相関係数：0.016(b) 相関係数：0.015(c) 相関係数：−0.442(d) 相関係数：−0.124(e) 相関係数：−0.440

図 39 2014 年 02 月 21 日に行った各被験者の回答と相違度の関係

47

(a) 相関係数：−0.776(b) 相関係数：0.052(c) 相関係数：0.184(d) 相関係数：0.312(e) 相関係数：−0.737

図 40 2014 年 02 月 26 日に行った各被験者の回答と相違度の関係

48

5. まとめ
事前生成型 AR システムでは，撮影した日時とユーザが利用する日時が異なる
ことによって，景観に違いが生じ臨場感が損なわれるという，従来の AR にはな
い問題が存在する．本論文では，3 つの要因（表 1 参照）に対し，それぞれ以下のように対応する手法を提案した．(1) 数ヶ月ごとの変化にはデータベースを再度構築することで対応するものとし，本報告では取り扱わない．(2) 時々刻々と変形する歩行者などの動物体は全方位画像から除去する．(3) 天候等の照明条件の変化には，事前に様々な日時で撮影した全方位画像群をデータベースとして保持し，ユーザに提示する際にはデータベースの中からその場の照明条件に近いものを選択する．本論文では，3 つの要因のうち特に事前撮影された景観と実際の現実世界の見えとの間に生じる，天候や光源位置の違いなどの照明環境に着目し実験を行った．まず，予備実験として，照明環境を考慮しない事前生成型 AR シ
ステムを用いて，天候や光源位置の違いなどの照明環境の変化に関して生じる問
題点を確認した．次に，照明環境を考慮した事前生成型 AR システムを用いて一般公開実験を行い，提案手法を用いた場合，照明条件を考慮しない場合よりも，AR システムとしての違和感を持たないことを確認した．ただし，この公開実験
ではデータベースに登録した全方位画像に偏りが存在したため，様々な天候・日時で撮影したデータベースを用いて再度検証を行い，提案手法の有用性を検証した．その結果，様々な天候下においても，提案手法を用いれば，従来手法よりも体験者は AR システムとしての違和感を持たないことが確認できた．また，東大寺で行った一般公開実験におけるアンケート結果から，アプリケーションの応用
例として，提案手法に基づくバーチャル歴史体験システムが実用可能な品質を有していることが示唆された．
提案手法を含めた事前生成型 AR は，事前に撮影した離散的な地点の画像を提示するため，ユーザの移動に伴う運動視差は再現されないという制約が存在する．
今後の展望として，離散地点で撮影した全方位画像から自由視点画像を生成する
ことで，これらを再現するシステムが考えられる．また，本研究では実環境の照
明条件を考慮した事前生成画像を提示するシステムを開発したが，公開実験を通して，実環境の好ましい時節の景観を見たいといった要望も多く得られた．例え49

ば，本研究のバーチャル歴史体験アプリケーションにおいて，体験時が冬の時期であっても，紅葉で彩られた木々の中で過去の大仏殿や塔を見ることができるといったものである．そのため，太陽などの光源位置は現実の環境に合わせるが，提示する画像は時代・季節を自由に変更できるインタフェースを提供するなどの応用も考えられる．

50

謝辞
本研究を進めるに当たり，終始暖かくご指導，ご鞭撻頂いた視覚情報メディア研究室 横矢直和 教授に心より感謝申し上げます．また，本学での研究におけるあらゆる面で，多大なご助言，ご協力を賜りましたことを深く感謝致します．そして，本研究の遂行にあたり，有益な御助言，御鞭撻を頂いたインタラクティブ
メディア設計学研究室 加藤博一 教授に厚く御礼申し上げます．さらに，本研究を進めるに当たり，終始細やかなご指導，ご助言頂いた視覚情報メディア研究室
佐藤智和 准教授に厚く御礼申し上げます．
本研究へのご助言，ご協力を頂いた視覚情報メディア研究室 河合紀彦 助教，
中島悠太 助教に深く感謝致します．また，研究室での生活を支えて頂いた視覚情報メディア研究室 石谷由美 女史に心より感謝いたします．あらゆる面において，多大なるご助言を頂いた視覚情報メディア研究室 大倉史生氏に深く感謝いたします．本研究の遂行にご助言をくださり，実験等にご協力して頂きました，粂秀行氏， 青砥隆仁氏に心より感謝申し上げます．また，お忙しい中被験者として協力してくださいました方々に深く感謝致します．
本研究で作成したコンテンツに関する助言および，撮影や実験の場所の提供など，ご協力を頂いた華厳宗大本山東大寺の方々に厚く御礼申し上げます．そして，本研究で行った公開実験を施行する上で，多大なるご協力を頂いた NAIST・KMD
共同研究プロジェクトに関わった全ての方々に深く感謝致します．最後に，暖かく見守ってくださいました両親に心より感謝の意を表します．

51

参考文献
[1] M Zoellner, J Keil, T Drevensek, and H Wuest. Cultural Heritage Layers:
Integrating Historic Media in Augmented Reality. In Proc. Int’l Conf. on
Virtual Systems and Multimedia (VSMM’09), pp. 193–196, 2009.
[2] G A Lee and M Billinghurst. CityViewAR : A Mobile Outdoor AR Application for City Visualization. In Proc. IEEE Int’l Symp. on Mixed andAugmented Reality (ISMAR’12) - Arts, Media, and Humanities Proceedings,
pp. 57–64, 2012.
[3] R Azuma. A Survey of Augmented Reality. Presence: Teleoperators andVirtual Environments, Vol. 6, No. 4, pp. 355–385, 1997.
[4] G Klein and D Murray. Parallel Tracking and Mapping on a Camera Phone.
In Proc. IEEE Int’l Symp. on Mixed and Augmented Reality (ISMAR’09),
pp. 83–86, 2009.
[5] T Taketomi, T Sato, and N Yokoya. Real-time and Accurate Extrinsic Camera Parameter Estimation Using Feature Landmark Database for Augmented
Reality. Int’l Journal of Computers and Graphics, Vol. 35, No. 4, pp. 768–
777, 2011.
[6] E Eade and T Drummond. Scalable Monocular SLAM. In Proc. IEEE
Computer Society Conf. on Computer Vision and Pattern Recognition(CVPR’06), pp. 469–476, 2006.
[7] A J Davison, W W Mayol, and D W Murray. Real-time Localisation and
Mapping with Wearable Active Vision. In Proc. IEEE Int’l Symp. on Mixed
and Augmented Reality (ISMAR’03), pp. 18–27, 2003.
[8] J Shi and C Tomasi. Good Features to Track. In Proc. IEEE Computer
Society Conf. on Computer Vision and Pattern Recognition (CVPR’94), pp.
593–600, 1994.
52

[9] G Klein and D Murray.

Parallel Tracking and Mapping for Small AR

Workspaces. In Proc. IEEE Int’l Symp. on Mixed and Augmented Reality(ISMAR’07), pp. 225–234, 2007.
[10] H Kato and M Billinghurst. Marker Tracking and HMD Calibration for a
Video-based Augmented Reality Conferencing System. In Proc. IEEE andACM Int’l Workshop on Augmented Reality (IWAR’99), pp. 85–94, 1999.
[11] L Naimark and E Foxlin. Circular Data Matrix Fiducial System and Robust
Image Processing for a Wearable Vision-inertial Self-tracker. In Proc. IEEE
Int’l Symp. on Mixed and Augmented Reality (ISMAR’02), pp. 27–36, 2002.
[12] V Lepetit, L Vacchetti, D Thalmann, and P Fua. Fully Automated andStable Registration for Augmented Reality Applications. In Proc. IEEE Int’l
Symp. on Mixed and Augmented Reality (ISMAR’02), pp. 93–102, 2002.
[13] 大江統子, 佐藤智和, 横矢直和. 幾何学的位置合わせのための自然特徴点ランドマークデータベースを用いたカメラ位置・姿勢推定. 日本バーチャルリア
リティ学会論文誌, Vol. 10, No. 3, pp. 285–294, 2005.

[14] 佐藤智和, 池田聖, 横矢直和. 複数動画像からの全方位型マルチカメラシス
テムの位置・姿勢パラメータの推定. 電子情報通信学会論文誌（D-II), Vol.

J88-D-II, No. 2, pp. 347–357, 2005.
[15] H W Jensen. Global Illumination Using Photon Maps. In Proc. Eurographics
Workshop on Rendering (EGWR’96), pp. 21–30, 1996.
[16] A Fournier, Atjeng S. G, and Chris R. Common Illumination between Realand Computer Generated Scenes. In Proc. Graphics Interface (GI’93), pp.
254–262, 1993.
[17] M F Cohen, S E Chen, J R Wallace, and D P Greenberg. A Progressive
Reﬁnement Approach to Fast Radiosity Image Generation. In Proc. ACM
SIGGRAPH’88, pp. 75–84, 1988.
53

[18] R A Newcombe, A J Davison, S Izadi, P Kohli, O Hilliges, J Shotton,
D Molyneaux, S Hodges, D Kim, and A Fitzgibbon. KinectFusion: Realtime Dense Surface Mapping and Tracking. In Proc. IEEE Int’l Symp. on
Mixed and Augmented Reality (ISMAR’11), pp. 127–136, 2011.
[19] L Gruber, T Richter-Trummer, and D Schmalstieg. Real-time Photometric
Registration from Arbitrary Geometry. In Proc. IEEE Int’l Symp. on Mixed
and Augmented Reality (ISMAR’12), pp. 91–97, 2012.
[20] P Kán and H Kaufmann. High-quality Reﬂections, Refractions, and Caustics
in Augmented Reality and Their Contribution to Visual Coherence. In Proc.
IEEE Int’l Symp. on Mixed and Augmented Reality (ISMAR’12), pp. 99–108,
2012.
[21] C B Madsen and M Nielsen.

Towards Probe-less Augmented Real-ity. In Proc. Int’l Conf. on Computer Graphics Theory and Applications(GRAPP’08), pp. 255–261, 2008.
[22] M Csongei, L Hoang, C Sandor, and Y Lee. Global Illumination for Augmented Reality on Mobile Phones. In Proc. IEEE Virtual Reality (VR’14),
2 pages, 2014.
[23] J Wither, Y-T Tsai, and R Azuma. Indirect Augmented Reality. Int’l
Journal of Computers and Graphics, Vol. 35, No. 4, pp. 810–822, 2011.
[24] G Liestø l and A Morrison. Views , Alignment and I ncongruity in Indirect
Augmented Reality. In Proc. IEEE Int’l Symp. on Mixed and Augmented
Reality (ISMAR’13), pp. 23–28, 2013.
[25] S Côté, P Trudel, M-A Desbiens, M Giguère, B Systems, and R Snyder. Live
Mobile Panoramic High Accuracy Augmented Reality for Engineering andConstruction. In Proc. Int’l Conf. on Construction Applications of Virtual
Reality (CONVR’13), pp. 30–31, 2013.
54

[26] I Arai, M Hori, N Kawai, Y Abe, M Ichikawa, Y Satonaka, T Nitta, H Fujii, M Mukai, and Others. Pano Umechika: A Crowded Underground City
Panoramic View System. In Proc. Int’l Symp. on Distributed Computing and
Artiﬁcial Intelligence (DCAI’10), pp. 173–180. 2010.
[27] N Kawai, T Sato, and N Yokoya. Image Inpainting Considering Brightness
Change and Spatial Locality of Textures and Its Evaluation. In Proc. PaciﬁcRim Symp. on Image and Video Technology (PSIVT’09), pp. 271–282, 2009.
[28] P Debevec. Rendering Synthetic Objects into Real Scenes: Bridging Traditional and Image-based Graphics with Global Illumination and High Dynamic Range Photography. In Proc. ACM SIGGRAPH’98, pp. 189–198,
1998.

55