NAIST-IS-DD0761025

博士論文

立体映像の生成と慣性力の再現によるテレプレゼンスにおける臨場感の向上に関する研究

堀 磨伊也

2011 年 6 月 17 日

奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に博士 (工学) 授与の要件として提出した博士論文である。
堀 磨伊也

審査委員：
横矢 直和 教授

（主指導教員）加藤 博一 教授

（副指導教員）神原 誠之 准教授

（副指導教員）千原 國宏 教授

（大阪電気通信大学）

立体映像の生成と慣性力の再現によるテレプレゼンスにおける臨場感の向上に関する研究∗
堀 磨伊也

内容梗概
実画像を用いて遠隔地の情景を提示し，その場にいるような没入感を与えるテレプレゼンスはビデオ会議をはじめとして，医療，教育，エンターテインメントなどの分野に応用が期待されている．テレプレゼンスを実現する際に全方位カメラで撮影された動画像を用いることで自由な視線変更を実現することが可能であるが，臨場感を現実環境に近づけるためには更なる工夫が求められている．本研
究では，テレプレゼンスにおける臨場感の向上を目的とし，提示映像の立体視化
および撮影時の運動再現を可能にする．本論文では，自由な視線変更と立体視を同時に実現するために，色調が統一された動物体の存在しない全天球画像データ
ベースの作成手法および任意視点のステレオ画像の生成手法を提案し，次に，撮影時の運動再現として回転のみの低自由度モーションベースと没入型ディスプレイを用いた慣性力の再現手法を提案する．1 章ではテレプレゼンスシステムにおける臨場感の向上に必要な技術的課題と従来研究を概観し，本研究の位置づけと方針を明らかにする．2 章では本研究の入力として必要な，色調が統一された動物体の存在しない全天球画像データベースの作成手法について述べる．3 章では実環境で取得された全天球画像データベースを入力とし，自由視点画像生成技術
を両眼に適用することにより任意視点のステレオ画像を生成する手法について述べる．4 章ではモーションベースの傾斜による重力の分力と没入型ディスプレイ
に提示する映像による自己運動感覚によりテレプレゼンス体験時における慣性力∗

奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 博士論文, NAIST-ISDD0761025, 2011 年 6 月 17 日.

iを擬似的に再現する手法について述べる．最後に，5 章で全体を総括し，今後の展望について述べる．

キーワード
テレプレゼンス，臨場感，複合現実感，全天球画像，立体視，慣性力

iiImmersive Telepresenceby Generating Stereoscopic Images andInertial Force Sensation∗
Maiya Hori

Abstract
This thesis describes a method for improving reality of telepresence using mixed
reality techniques. A telepresence system using omnidirectional images can reproduce a ﬁeld of view depending on the change of position and direction of user’sview. To improve reality of telepresence, additional information such as depth
perception and motion perception can play an important role. In this study, thedepth perception can be given by presenting stereoscopic images generated with
an image-based rendering approach from omnidirectional image database. As amotion perception, inertial force sensation is generated using a motion base andan immersive display. Chapter 1 gives a perspective of the study for improving
reality of telepresence. Chapter 2 describes a method for generating omnidirectional image database which can be used for input of the telepresence system.
Chapter 3 describes a method for generating arbitrary stereoscopic views frommultiple omnidirectional image sequences. Chapter 4 describes a prototype telepresence system which can provide a user with an inertial force sensation using a
motion base with limited degrees of freedom and an immersive display. Finally,
Chapter 5 summarizes the present study.
∗

Doctoral Dissertation, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-DD0761025, June 17, 2011.

iii

Keywords:
telepresence, reality, mixed reality, omnidirectional image, stereoscopic view, inertial force

iv

目次
1. 序論

1

1.1

テレプレゼンスにおける臨場感の向上に関する研究 . . . . . . . .

1

1.2

画像中の動物体除去と画像間の色調統一に関する研究 . . . . . . .

3

1.3

自由視点画像生成に関する研究 . . . . . . . . . . . . . . . . . . .

10

1.4

情景提示時の運動再現に関する研究 . . . . . . . . . . . . . . . . .

23

1.5

本研究の位置づけと方針 . . . . . . . . . . . . . . . . . . . . . . .

27

1.6

本論文の構成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

2. 全天球画像データベース作成のための動物体除去と色調統一

30

2.1

緒言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

2.2

前処理: 非線形濃度変換領域の除去 . . . . . . . . . . . . . . . . .

32

2.3

反復処理: 動物体候補領域の推定と線形濃度変換パラメータの推定

32

2.3.1

色調統一のための線形濃度変換パラメータの推定 . . . . .

33

2.3.2

ロバスト推定に基づく色調変換 . . . . . . . . . . . . . . .

34

2.3.3

動物体候補領域の推定 . . . . . . . . . . . . . . . . . . . .

35

2.3.4

処理対象領域の分割 . . . . . . . . . . . . . . . . . . . . .

36

2.4

後処理: 動物体領域の補間 . . . . . . . . . . . . . . . . . . . . . .

37

2.5

屋外環境で撮影された全天球画像を入力とした実験 . . . . . . . .

39

2.5.1

全天球画像の撮影環境 . . . . . . . . . . . . . . . . . . . .

39

2.5.2

実験結果と考察 . . . . . . . . . . . . . . . . . . . . . . . .

42

結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

46

2.6

3. 全天球画像データベースを用いた任意視点のステレオ画像生成

47

3.1

緒言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

47

3.2

全天球動画像の取得. . . . . . . . . . . . . . . . . . . . . . . . .

47

3.3

両眼視点位置の設定およびペナルティ関数を用いたステレオ画像

3.4

生成に用いる光線の選択 . . . . . . . . . . . . . . . . . . . . . . .

48

奥行き情報を考慮した任意視点画像生成 . . . . . . . . . . . . . .

52

v

3.5

3.6

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

3.5.1

実画像を用いたステレオ画像生成 . . . . . . . . . . . . . .

53

3.5.2

立体視を可能とするテレプレゼンスシステムの構築 . . . .

60

結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

62

実験と考察

4. 回転のみの低自由度モーションベースと没入型ディスプレイを用いた慣性
力の再現

63

4.1

緒言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

63

4.2

重力の分力とベクションによる慣性力の再現 . . . . . . . . . . . .

64

4.2.1

全天球動画像撮影時の慣性力の推定 . . . . . . . . . . . . .

65

4.2.2

重力の分力による慣性力の再現 . . . . . . . . . . . . . . .

68

4.2.3

ベクションによる慣性力の再現 . . . . . . . . . . . . . . .

70. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

71

4.3

4.4

実験と考察

4.3.1

ユーザが違和感を覚えるモーションベースの角加速度の計測 72

4.3.2

走行車両から撮影された全天球動画像を用いた慣性力の再現 74

4.3.3

アンケート評価による提案手法の評価. . . . . . . . . . .

84

結言 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

86

5. 結論

87

5.1

本論文のまとめ . . . . . . . . . . . . . . . . . . . . . . . . . . . .

87

5.2

今後の展望

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

88

謝辞

89

参考文献

90

vi

図目次
1

没入型ディスプレイを用いたテレプレゼンスシステム [池田 03] . .

2

2

MoG を用いた背景抽出 [Lee05] . . . . . . . . . . . . . . . . . . . .

43

光源色の違いを利用した色調統一 [川上 05] . . . . . . . . . . . . .

84

ホワイトバランスを利用した画像補正 [HMP+ 08] . . . . . . . . . .

95

三次元復元モデルの例 (バイヨン寺院) [BMOI08]. . . . . . . . .

11

6

光線の記述方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

7Street Slide のパノラマ画像 [KCSC10] . . . . . . . . . . . . . . .

168Photo Tourism [SSR06] . . . . . . . . . . . . . . . . . . . . . . . .

179

画像閲覧時における最適な視点移動経路の作成 [SGSS08] . . . . .

18

10

IBR と MBR を併用した自由視点画像生成 [OOK+ 05] . . . . . . .

19

11

山口らのステレオ画像生成原理 [山口 01] . . . . . . . . . . . . . .

20

12

山口らによるステレオ画像生成結果 [山口 01] . . . . . . . . . . . .

21

13Structure from Motion 法と IBR によるステレオ画像生成 [KKS07]22

14

6 自由度モーションベースの例 (日本ムーグ) . . . . . . . . . . . .

24

15

重力の分力で慣性力を再現する手法の概念図 . . . . . . . . . . . .

25

16

重力の分力で再現できない慣性力の例. . . . . . . . . . . . . . .

25

17

Wash Out を用いた高自由度ドライビングシミュレータの例 (トヨタ自動車) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

18

Shih らによる VR 技術を用いた運動シミュレーション [SJH00] . .

27

19

動物体除去と色調統一の処理手順 . . . . . . . . . . . . . . . . . .

31

20

LMedS 法を用いた分割小領域に対する線形濃度変換パラメータの推定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

21

動物体候補領域の占める割合に依存した処理対象領域の分割 . . .

37

22

色調統一された画像群を用いた動物体領域の補間 . . . . . . . . .

38

23

屋外環境で移動撮影するための車載全方位カメラ . . . . . . . . .

39

24

色調基準画像および照明条件が異なり動物体が存在する入力画像

25の一例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

41

非線形濃度変換領域 (空領域と撮影車両) の除去結果例 . . . . . . .

42

vii

26

入力画像 A に対して繰り返し色調変換した結果画像 . . . . . . . .

27

図 24 の入力画像群に対して提案手法を用いて動物体除去と色調統43一を行った結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4428

任意視点のステレオ画像生成の処理手順 . . . . . . . . . . . . . .

48

29

入力となる全天球画像の例 . . . . . . . . . . . . . . . . . . . . . .

49

30

ステレオ画像を生成する視点位置の例. . . . . . . . . . . . . . .

50

31

複数の画像から新視点画像を生成する原理 . . . . . . . . . . . . .

50

32

ペナルティ項の概要. . . . . . . . . . . . . . . . . . . . . . . . .

52

33

奥行きを考慮しない場合とした場合の生成画像例 . . . . . . . . .

53

34

カメラ位置・姿勢計測用ハイブリッドセンサ . . . . . . . . . . . .

54

35

全天球画像の取得位置 (上面図) . . . . . . . . . . . . . . . . . . .

55

36

各視点位置におけるペナルティ合計値の分布 (上面図) . . . . . . .

56

37

見回しを行った場合の両眼ステレオ画像と視差画像例 (左：右眼画像，中：左眼画像，右：視差画像)

38. . . . . . . . . . . . . . . . .

58

移動を行った際の両眼ステレオ画像と視差画像例 (左：右眼画像，
中：左眼画像，右：視差画像) . . . . . . . . . . . . . . . . . . . .

59

39

ドームディスプレイを用いたテレプレゼンスシステムの機器構成 .

60

40

ドームディスプレイを用いたテレプレゼンスの様子 . . . . . . . .

61

41

テレプレゼンス体験時のユーザの様子. . . . . . . . . . . . . . .

6142

提案手法で用いる低自由度モーションベース . . . . . . . . . . . .

64

43

SfM 法で用いられる複数のカメラに写る特徴点. . . . . . . . . .

66

44

画像特徴点の追跡例. . . . . . . . . . . . . . . . . . . . . . . . .

66

45

合成ベクトルからのモーションベースに与える傾斜角の算出 . . .

69

46

擬似的に慣性力を与えるための提示映像の例 . . . . . . . . . . . .

71

47

慣性力再現を行うテレプレゼンスシステムの外観 . . . . . . . . .

72

48

カメラパスの推定結果 (加速時) . . . . . . . . . . . . . . . . . . .

74

49

回転の制限を行わない場合と行った場合 (提案手法) のモーション

50

ベースの傾斜角 (加速時) . . . . . . . . . . . . . . . . . . . . . . .

76

慣性力の不足量 (加速時) . . . . . . . . . . . . . . . . . . . . . . .

77

viii

51

慣性力の不足を補うために提示映像に与える視点移動量 (加速時)7752

カメラパスの推定結果 (減速後停止時) . . . . . . . . . . . . . . .

78

53

回転の制限を行わない場合と行った場合 (提案手法) のモーション
ベースの傾斜角 (減速後停止時) . . . . . . . . . . . . . . . . . . .

79

54

慣性力の不足量 (減速後停止時) . . . . . . . . . . . . . . . . . . .

8055

慣性力の不足を補うために提示映像に与える視点移動量 (減速後停止時) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

80

56

カメラパスの推定結果例 (左旋回時) . . . . . . . . . . . . . . . . .

81

57

回転の制限を行わない場合と行った場合 (提案手法) のモーション
ベースの傾斜角 (左旋回時) . . . . . . . . . . . . . . . . . . . . . .

82

58

慣性力の不足量 (左旋回時) . . . . . . . . . . . . . . . . . . . . . .

8359

慣性力の不足を補うために提示映像に与える視点移動量 (左旋回時) 83

表目次
1

動物体の除去手法の比較 . . . . . . . . . . . . . . . . . . . . . . .

62

色調補正手法の比較. . . . . . . . . . . . . . . . . . . . . . . . .

93

光線の表現に用いる関数の次元と視点位置の制約 . . . . . . . . .

164入力となる全天球画像 . . . . . . . . . . . . . . . . . . . . . . . .

40

5

色調基準画像とのヒストグラムの類似度 (1 に近い方が類似度が高い) 45

6ハイブリッドセンサの性能 . . . . . . . . . . . . . . . . . . . . . .

54

7

立体視を行うためのテレプレゼンスシステムの機器構成 . . . . . .

60

8

使用したモーションベースの性能 . . . . . . . . . . . . . . . . . .

72

9モーションベースの回転による角加速度に対するユーザの評価 . .

73

10

慣性力の臨場感に関する評価. . . . . . . . . . . . . . . . . . . .

85

ix

1. 序論1.1 テレプレゼンスにおける臨場感の向上に関する研究
遠隔地の情景を利用者に提示し，あたかもその場にいるような没入感を与える
仮想現実感技術はテレプレゼンス [Moe97] と呼ばれ，盛んに研究が行われている．
テレプレゼンスは，ビデオ会議をはじめとして，医療，教育，エンターテインメ
ントなどの分野に応用が期待されている [KJJ+ 05, WFC+ 05]．特に屋外環境をテ
レプレゼンス対象とした場合には，車載カメラなどで移動撮影された映像を一度蓄積した後に提示する蓄積型のテレプレゼンスシステムが存在する．屋外環境を対象とした蓄積型のテレプレゼンスとして，Google ストリートビュー [Vin07] やMicrosoft の Bing Maps Streetside などに代表されるアプリケーションでは，あらかじめさまざまな地点で撮影を行うことで，遠隔地のシーンを Web 上で閲覧可
能である．これらのアプリケーションは全方向の映像を同時に取得可能な全方位カメラで撮影することや，複数のカメラで様々な方向の映像を取得し，重複領域をつなぎ合わせてパノラマ画像を生成すること [Che95] により，撮影地点においてユーザの視線方向に応じた画像を提示可能となり臨場感の向上を図っている．
また池田ら [池田 03] は同様にして撮影された動画像を入力とし，ユーザの要求する視線方向の映像を図 1 に示す没入型ディスプレイに提示することにより臨場感の向上を図っている．
以上の研究に代表される蓄積型のテレプレゼンスでは，さまざまな地点の映像を取得することにより広域な環境に応用することが可能であるが，対象を屋外環境とした場合には，さまざまな問題が発生する．撮影日時が異なった場合に隣接する地点において照明条件が変わり見え方が大きく変化する問題やプライバシー対策のために人物や車両などの動物体にぼかしを入れた場合に対象が見えづらくなる問題など，臨場感が損なわれる可能性がある．そこで蓄積型のテレプレゼン
スの入力として色調が統一された動物体が存在しない画像データベースが必要となる．このような画像は広域な屋外環境で取得することは困難であるため，撮影された画像群から動物体を除去する手法および画像間の色調を統一する手法が要
求される．

1

図 1 没入型ディスプレイを用いたテレプレゼンスシステム [池田 03]
また仮に色調が統一された動物体が存在しない画像データベースを用いたとしても，画像処理技術を用いた提示映像の改良やドライブシミュレータやフライトシミュレータなどに代表される運動の再現を行うことにより更なる臨場感の向上が期待できる．本研究では，提示映像の改良として，撮影地点以外の視点画像を生成する自由視点画像生成と呼ばれる技術に，撮影時の運動再現としてモーショ
ンベースと呼ばれるデバイスなどを用いることにより，傾きや慣性力といった力
覚刺激を与える技術にそれぞれ注目する．
本章では，まず臨場感の高いテレプレゼンスシステムを構築するために用いられている従来手法として，1.2 では入力画像において画像中の動物体を除去する
研究と画像間の色調統一を行う研究について，1.3 では，提示映像の改良として撮影地点以外の視点画像を生成する自由視点画像生成に関する研究について，1.4
では，情景提示時の運動再現に関する研究について概観し，最後に 1.5 で本研究の位置づけと方針を明らかにする．

2

1.2 画像中の動物体除去と画像間の色調統一に関する研究撮影された映像を一度蓄積した後に提示する蓄積型のテレプレゼンスは， 遠隔地に存在しながら現地の映像を閲覧することが可能なため有用性が高いが，提示に用いる映像は異なる地点・時刻で撮影されるため，撮影時の照明条件の変化や動物体の存在が問題となる．例えば，Google ストリートビューでは，入力画像の色調が大きく異なる場合には隣接する地点で見え方が大きく変化する問題があり，人物や車両の動物体が存在する場所では，プライバシーの問題やオクルージョン
で対象が見えにくくなる問題がある．これらの問題を解決するためには，動物体が存在せず，かつ色調が統一された画像データベースが必要とされる．画像群から動物体を除去する手法および画像間の色調を統一する手法を概観する．
画像中の動物体除去
動物体の検出を行う代表的な手法として差分画像を用いた手法，オプティカル
フローを用いた手法，時空間画像を用いた手法，距離画像を用いた手法が挙げられる．以下，これらの手法について詳しく述べる．

[差分画像を用いた動物体検出]
背景差分法とは，動物体が存在しない状態の画像を固定カメラで撮影し背景画像として取り込み，動物体が存在する入力画像との輝度値の差分を得る手法である．
これらの手法は検出対象の物体に対して事前知識を必要としない点や，複数の動物体を同時に検出することができる点が利点として挙げられる．しかし，背景と近い輝度値を持つ動物体の検出が困難な点が問題として挙げられる．また，実世界環境下では，照明の変化などにより常に背景が変動し続ける場合があるため，それに柔軟に対応する必要がある．フレーム間差分法は，時間的に連続する 2 フ
レームの対応画素における輝度値の差分を算出することによって，フレーム間で変化した領域を検出する手法である．フレーム間差分を用いる手法では，背景画像を生成する必要がないために移動物体の速度が高速な場合や，照明の変化や影の映り込みがある画像に対しても動物体検出が可能である．しかし，樹木の揺れのような微小な運動に対するノイズに弱いため屋外での適用は難しく，物体形状

3

(a) 入力画像(b) 結果画像

図 2 MoG を用いた背景抽出 [Lee05]の検出も行いにくいという問題点がある．
以上述べた単純な手法は，背景物体が微小に運動する，または太陽の位置や雲の動きにより照明条件が変化するといった環境にそのまま適用することは困難である．このような問題に対しては Mixture of Gaussian Distribution(MoG) を用いた背景のモデル化などによる対処 [Lee05, 島田 07] が挙げられる．図 2 に MoGを用いた背景抽出の例を示す．MoG は新たに観測された画像を用いて逐次的に背景モデルを更新することから，太陽の位置の変化のようなゆっくりとした照明
環境の変化にも対処できる．ただし，雲間が晴れた場合のような急激な照明環境の変化には対処が難しく，別途対処する必要がある．

[オプティカルフローを用いた動物体検出]
異なる時刻に撮影された 2 枚の画像間で同じ対象の対応づけを行い，その移動量をベクトルデータとしてあらわしたものをオプティカルフローと呼ぶ．オプティ
カルフローを用いた動物体検出は一般的に計算量が多く，対象の大きさが時間的に変化する場合や入力画像に樹木の揺れなどのノイズが多い場合は処理が複雑になる問題がある．オプティカルフローの推定方法は大きく分けて勾配法とブロッ
クマッチング法に分類される [三池 08]．勾配法とは，オプティカルフロー拘束方4

程式と呼ばれる輝度の時間・空間的微分の拘束方程式を用いて，これに制約条件を付加することでフローを求める手法である．勾配法では各画素の局所的な演算でオプティカルフローが求まるので，処理が簡便で高速である．また勾配法の拘束方程式を拡張すること (一般化勾配法)[ZSM99] で照明条件の変化に対応することも可能である．しかし，基本的に勾配法では微小な動きを前提としているため，移動量が多い場合には正しくオプティカルフローを求めることが困難となる．一方，ブロックマッチング法は画像を一定の大きさのブロックに分割し，それぞれのブロックの動きベクトルを求める手法である．この手法は画像中のオプティカ
ルフロー速度の大きな画像解析に適するが，誤対応などの本質的な問題を抱えている．誤対応の問題解決には，階層化手法 [Ter86] やベースラインを可変とする手法 [奥富 92] などがあるが，照明条件が変化した場合などには精度が下がる問題がある．

[時空間画像を用いた動物体検出]
時空間画像を用いる手法は，画像を時間方向に重ねたデータとして見ることで，静止物体と動物体を分類することが可能である [福地 08, 仲西 94]．画像を時間方向に重ねた際，静止した背景に動物体が存在すれば動物体の軌跡が柱状にあらわれる．福地ら [福地 08] はカメラに映った水滴を除去するために時空間画像を入力とし，時空間画像上でカメラのレンズに映った水滴と被写体との間における軌跡の違いに着目することで水滴領域を検出・除去する手法を提案している．また，上條ら [上条 04] は時空間画像を車両および歩行者の検出に利用し，オクルージョン問題を解決する手法を提案している．ただし，これら手法は固定撮影を対象としており移動撮影には適用できない．

[距離画像を用いた動物体検出]
距離画像を用いて動物体を推定する手法はカメラから被写体までの距離情報を利用することで，影や照明の変動の影響を受けにくいという特徴を持つ．日浦ら[日浦 97] は動物体の追跡に濃淡画像に加え距離画像を用いることで，より計測速度を向上させて動物体を検出している．しかし，距離画像を精度良く取得可能な

5

表 1 動物体の除去手法の比較
手法
照明条件の変化 移動撮影
差分画像

△

△

オプティカルフロー

△

△

時空間画像

×

×

距離画像

〇

△

装置が必要となるだけでなく，広域環境を想定した場合には計測を効率良く行う
ことは困難である．
以上の各手法の特徴をまとめたものを表 1 に示す．広域屋外環境を撮影することを想定した場合には，照明条件の変化にロバストなことや移動撮影に対応可能であることが求められる．差分画像を用いる手法 [Lee05, 島田 07]，オプティカル
フローを用いる手法 [ZSM99]，時空間画像を用いる手法 [上条 04]，いずれの手法も大きく照明条件が変化する場合の動物体検出は困難である．また移動撮影に関しても，カメラ自体を固定する必要や対応領域のマッチングを精度良く行う必要などがある．一方，距離画像を用いる手法 [日浦 97] は照明条件にはロバストに動物体を検出できると考えられるが，屋外環境で移動撮影を効率良く行うことは困難である．
画像間の色調補正
色調補正を行う代表的な手法として線形濃度変換を利用した手法，光源色の変化を利用した方法，物体の反射特性を利用した手法，ホワイトバランスを利用した手法が挙げられる．以下，これらの手法について詳しく述べる．

[線形濃度変換を利用した手法]
異なるカメラで撮影された画像間での色調補正を線形濃度変換によって実現する
方法 [池田 03, 山本 05] が提案されている．[池田 03] では異なるカメラで撮影さ6れた画像を合成して一つの画像を作る際に，カメラ間での色調が異なると繋ぎ目が目立つため，異なるカメラで撮影された画像間での色ヒストグラムが近づくよう，それぞれの色に対して線形濃度変換を行うことで違和感の軽減を行っている．

[山本 05] ではまず分光放射輝度計を用いて，ある照明下でカラーチャート各色の分光放射輝度を調べ，各色の輝度値をあらかじめ測定する．次にカメラにより撮影された画像の輝度値を求め，これらの差が最小となるように変換行列を用いて色調統一を行っている．しかし，提案されている手法では分光放射輝度計やカラー
チャートなどの機器が必要である点が問題として挙げられる．

[光源色の変化を利用した手法]
画像間での色調を補正する手法として光源色の変化を利用して物体色の推定を行う手法 [KTI04, 川上 05] が挙げられる．画像間での色調が異なっている場合，物体の表面を網羅して撮影し，複数の画像を使って三次元モデルの作成を行う際，撮影条件として光源環境を一定に保つことが必要とされる．しかし，屋外の物体をモデリングする場合，光源色の統一は困難である．そこで [川上 05] は異なる光
源色のもとで同一物体を撮影した画像から光源色を推定し，光源色の影響を取り除くことで色調統一を行う手法を提案している．具体的には，屋外において撮影された同一物体の影の領域と日照下の領域を利用している．図 3 に影の領域と日照下の領域を含む入力画像と色調統一した結果を示す．この手法では単一画像からの色調補正が可能であるが，入力画像中に同一物体の影の領域と日照下の領域が含まれていなければならないという問題がある．

[物体の反射特性を利用した手法]
一般的に照明条件が異なる複数の画像を用いて，単純にテクスチャマッピングを行うとテクスチャの繋ぎ目が目立つ．これらの影響を除去するために，得られた複数枚の画像間の色調を補正する手法として物体の反射特性を求めて物体の色を補正する手法 [運天 05] が挙げられる．[運天 05] では，固定された物体の周りをカ
メラ，光源を動かしながら計測した画像の色調補正を行う．この手法では物体の反射率が既知であるという前提条件があるため，屋外環境での適用は困難である．

7

(a) 入力画像(b) 結果画像

図 3 光源色の違いを利用した色調統一 [川上 05]
一方，画像の取得時の光源環境を推定し色調を補正する手法 [MG97] が挙げられる．[MG97] では複数の画像をある共通の光源環境にリライティングすることにより色調補正を行う手法を提案しているが，対象物体の三次元モデルが必要となるため，屋外環境のように複雑な形状を持つ対象が多数存在する場合に適用することが困難である．

[ホワイトバランスを利用した手法]
ホワイトバランスとは本来は白いものが実際に白く写るように色の補正を行う機能のことである．[HMP+ 08] では色温度の異なる光源が二つ存在する状況下で撮影された一枚の画像を入力として，色調補正を行っている．図 4 にホワイトバラ
ンスを利用し色調補正を行った結果画像を示す．この例のように，一枚の画像から色調補正が可能であるが，光源を推定するためにいくつかのユーザの入力が必要である．さらに，さまざまな物体色が存在する屋外環境での適用が困難である．

8

(a) 入力画像(b) 結果画像

図 4 ホワイトバランスを利用した画像補正 [HMP+ 08]

表 2 色調補正手法の比較
手法

動物体の存在

複雑な対象(屋外環境) への対応

線形濃度変換△○

光源色の変化△○

物体の反射特性××

ホワイトバランス○×以上の色調補正手法についてまとめたものを表 2 に示す．広域屋外環境を撮影することを想定した場合には動物体の存在にロバストで複雑な形状を持つ対象に対応できることが求められる．線形濃度変換を利用した方法，光源色の変化を利用した方法，物体の反射特性を利用した手法において，入力画像の前提条件として対象領域に動物体が存在しないことが挙げられている．またこれらの手法では，色調を合わせる際の制約条件が多く，適用できる環境が限定されているという問題点がある．物体の反射特性を利用した手法，ホワイトバランスを利用した手法
は屋外環境のような複雑な形状を持つ対象に対応することが困難である．

9

動物体除去と色調補正の併用
屋外環境を撮影した映像から動物体の抽出を行う場合には，日照条件や木の揺れ，光の乱反射など環境の変動に起因する誤検出が多くみられる．そこで [土田 04]
では照明条件の変化など複雑な環境に対応した物体の検出法を提案している．色調補正を行うことで複数の背景画像をあらかじめ生成し，その中から最も輝度値の差分が少ない画像の選択を行う．また，[霧生 07] では，照明変動を考慮して動物体・影の検出を行っている．まず，オプティカルフローにより動物体・静止物
体およびそれぞれの影を判別し，次にエッジ，テクスチャ，物体と影の連結情報を用いて一時的に静止している物体や照明変動の判別を行う手法を提案している．
これらの研究では照明の変化に対応した動物体検出を行っているが，屋外環境において照明が大きく変化する場合には対応できないという問題点が挙げられる．

1.3 自由視点画像生成に関する研究
テレプレゼンスで提示する映像として，撮影地点だけでなく，その周辺における視点映像を生成して提示する研究が多くみられるようになってきた．撮影地点
以外の視点画像を生成する手法には，代表的な技術として多地点で撮影された画像群から三次元復元によって仮想環境を提示する Model-Based Rendering(MBR)と撮影環境を明示的に三次元復元することなく画像の変形・合成により仮想環境を提示する Image-Based Rendering(IBR) の 2 つのアプローチがある．これらに関する研究をそれぞれ概観し，それらの技術に基づいた応用について述べる．

Model-Based Rendering (MBR)
MBR では，明示的に形状モデルを持つことにより視点を変えた映像を提示することが容易である．以下に MBR 法を用いた能動的，受動的な三次元復元手法について述べる．

[能動的な三次元復元手法]
能動的な三次元復元手法として，スリット光投影法などのアクティブステレオ法
や光レーザによる計測手法が提案されている．スリット光投影法は，プロジェク

10

図 5 三次元復元モデルの例 (バイヨン寺院) [BMOI08]
タ等によってスリット光を対象に照射し，近接する位置に設置したカメラでスリッ
ト光の位置を検出し，三角測量の原理によって対象環境の三次元形状を取得する手法である [佐藤 93]．三角測量による計測では，スリット光を照射するプロジェ
クタとカメラの間のベースラインと対象までの距離の比によって計測精度が決定するため，対象が小規模環境のときは高精度な計測が可能である．しかし，屋外環境などの広域環境では，ベースラインを十分に確保することが難しく，さらに日照条件によってはスリット光の観測が困難となる．そのため，広域屋外環境ではスリット光投影法を適用することは難しい．一方，レーザを照射することによって，レーザが反射して計測されるまでの時間から対象のレンジデータを取得する
手法が屋外環境では用いられている．この計測方法ではレーザを 2 次元操作する
ことで，レンジデータを奥行き画像として取得することが可能である．この計測方法を用いて文化遺産をデジタルアーカイブ化する試みが行われている [BMOI08]．
この手法では地上からだけでなく，上空から計測されたレンジデータなどを統合することにより図 5 に示すような高精度な三次元モデルを復元している．しかし，一般的なレンジファインダでは各地点の計測において数分程度の計測時間が必要となり，計測コストを考慮すると計測地点を密にすることは難しい．このため，

11

オクルージョンが発生しやすい複雑な環境では，計測漏れが発生しやすくモデルの欠損が生じてしまうという問題が挙げられる．

[受動的な三次元復元手法]
受動的に三次元復元する手法としてステレオ法が挙げられる．ステレオ法は，位置・姿勢が既知の 2 台のカメラによって撮影された画像中の対応点から三角測量の原理により奥行きを推定する手法である．さらに推定精度の向上のために 3 台のカメラを用いることで，対応点の曖昧さを減少させる三眼ステレオ法 [MK85, AL87]
や，多数の画像を同時に利用するマルチベースラインステレオ法 [佐藤 07] が提案されている．一般的に，ステレオ法では各カメラの位置関係が既知である必要があり，動画像を入力として三次元復元を行う場合には撮影時のカメラ位置・姿勢を推定する必要がある．そこで Structure from Motion 法 [TK92] と呼ばれる手法がある．これは複数の静止画像または動画像を入力とし，画像上の特徴点を複数の画像間で対応づけることによって，カメラの位置・姿勢に加えて，特徴点の三次元位置の推定を行う．ただし，動画像上の特徴点のみを用いる手法では，撮影に用いたカメラと特徴点の相対的な位置関係のみが推定され，絶対的な位置・姿
勢情報を取得するためには何らかの外部情報が必要となる．そこで，GPS やジャイロセンサなどを利用する手法 [MO99] や三次元位置が既知の基準点を用いる手法 [佐藤 05] が提案されている．このように，画像中の特徴点を利用する手法は，対象環境の撮影カメラの位置・姿勢に対する制約が少なく，自由に移動するカメラの位置・姿勢を推定するのには適しているが，三次元情報が疎にしか得られないという問題がある．このため，受動的に三次元復元を行う手法においても能動的な手法と同様にモデルの欠損が生じてしまう問題が発生する．
以上，能動的・受動的な MBR 手法を概観したが，いずれの場合も計測に人的コストをかける必要があり，欠損のない三次元モデルを生成することは困難である．
そこで，この問題を解決するために，生成した三次元モデルの欠損領域を修復する技術が必要である．都市環境では，同様の構造で構成される人工物が多いため，
ルールベースで三次元モデルの復元を行うこと [PMW+ 08, JTP+ 09, CLP10] によ

12

り欠損のない三次元モデルを生成する試みが行われている．ただし屋外環境のすべての対象に，これらの手法を適用できるわけではないため，ユーザによるイン
タラクティブな入力により精度の良いモデルを構築する手法が存在する．ユーザ
によるインタラクティブなモデル生成を行う手法として都市環境の建物を対象とした手法 [NSZ+ 10] や形状が複雑な樹木を対象とした手法 [CNX+ 08] などがある．
これらの手法はユーザによる修正は必要であるが，半自動的に三次元モデルを生成することが可能である．しかし広域な屋外環境を対象とした場合には，ユーザ入力による人的コストの増大は避けられないため，すべての対象が自動的に生成可能であることが望まれる．MBR では，明示的に形状モデルを持つことにより物体の操作が行うことが容易であるが，複雑な形状を持つ物体の表現や忠実な質感の再現を自動的に行うことが困難である．

Image-Based Rendering (IBR)
実画像を用いて新たな視点の画像を生成する IBR は，対象物体の形状を考慮する必要がないため，モデル化の困難な物体に対しても適用することができる．このため，複雑な形状を持つ物体が多数存在する屋外環境を対象とするテレプレゼ
ンスでは，写実性の高い IBR を用いた試みが多く行われている．以下，IBR を用いた自由視点画像生成に関する従来研究について述べる．

[画像の補間によりシーンを再現する手法]
撮影時に蓄積された画像群から自由視点画像を生成する手法として，蓄積画像をワーピングやモーフィングにより変換する手法 [CL93, KN95, SD96] が提案されている．しかし，これらの手法では蓄積された画像間で各特徴点の対応が必要であるため，高速に自由視点画像を生成することは困難である．
稲本ら [稲本 02] は対象をサッカーシーンに限定することにより，画像から得られる情報のみを用いて視点の内挿を行う手法を提案している．この手法は，モーフィングにより異なる地点で撮影された画像間の視点画像を生成しており，対象シーンを射影幾何的な性質に応じてフィールド領域，遠景領域，動物体領域の 3つの領域に分割し，各領域に適した対応点の探索手法を適用することで中間視点

13

でのシーンの見え方を精度良く再現している．

[光線情報を用いてシーンを再現する手法]
光線情報を用いて自由視点画像を生成する手法として Adelson らにより Plenoptic

Function[AB91] が提案されている．これは物体をある方向から見た場合の視線画
像は，その物体が存在する空間内において物体表面から視点位置に到達する光線の束により構成されるという考え方に基づいている．Plenoptic Function では，空間中に存在する光線は視点の座標 (x, y, z)，光線の向き (θ, φ)，波長 λ および時間

t の 7 次元関数 f (x, y, z, θ, φ, λ, t) で空間中のすべての光線を記述している．三次元空間内のすべての光線情報を記述することで，物体の幾何形状モデルを持たずに自由視点画像を生成することができる．しかし，一方でこのような Plenoptic

Function に基づく手法では，原理的に対象物体をあらゆる方向から撮影した画像が必要となり，入力画像が膨大となるため，現実的には自由視点画像を生成する
ことは困難である．そこで光線分布を効率良く記述するための研究が盛んに行われている．

McMillan により提案された Plenoptic Modeling[MB95] では，1 本の光線は同じ色を持ち，時間により変化しないとすることで波長 λ と時間 t を除いた 5 次元の関数で 3 次元空間内を伝搬する光線を表現した．しかし，実環境への適用では入力画像が限られ，すべての光線情報を取得することは困難であるため，画像間の対応づけを行い，光線情報の得られない部分を補間しなければならない問題が生じる．
一方，光が空間内を伝搬することにより伴う干渉や減衰などの変化を無視することで関数を 5 次元から 4 次元に射影した手法が提案されている．図 6 に示すよ
うに，Light Field Rendering[LH96] は，光線を 2 つの平面を通る点の位置 (s, t) と(u, v) により記述し，光線空間法 [藤井 95, NTMH97] は，1 つの平面を通る点の位置 (P, Q) と方向 (θ, φ) により光線を記述するが，原理的には等価である．またLumigraph[GGSC96] では，基本原理として Light Field Rendering を採用し，自由視点画像を生成するシステムを構築した．これらの手法では新しい視点の画像に必要な光線と同等の光線を含む画像群を取得すれば，すべての光線の記述を求

14v

L ( s, t , u , v )tQf ( P, Q, θ , φ )uPs(a) Light Field Rendering [LH96](b) 光線空間法 [藤井 95, NTMH97]

図 6 光線の記述方法
めることなく，新しい視点の画像を生成することができる．しかし，自由視点画像の生成には多数の画像を必要とするためにデータ量が膨大となる問題がある．

Concentric Mosaics[SH99] では，新しい視点位置を 2 次元平面上の円内に制限することで光線を 3 次元関数 f (x, y, ρ) で記述する．この記述により平面の円内から出るすべての光は，ある半径の円周上のある点から接線方向へ出る光線と同等とすることができる．必要な光線を取得するために円周に沿ってカメラを移動させて得られた画像から Manifold Mosaic と呼ばれるパノラマ画像を生成する．このパノラマ画像により，円周上の点から接線方向への光線を得ることができる．
同様の方法で生成された同心円のパノラマ画像を複数枚用いることで，異なる半径の円周からの光線を取得する．視点位置を 2 次元平面上の円内に制限すること
により，Light Field Rendering などと比較して必要なデータ量が少なくなる．この手法を用いれば，2 次元平面上の円内に位置する任意視点画像を生成することは可能であるが，カメラを回転させて得られた画像から生成するパノラマ画像が複数枚必要となるため，あらかじめ画像の取得を行う必要がある．
以上，光線情報を用いてシーンを再現する手法を概観したが，光線の表現に用いる関数の次元と視点位置の制約を表 3 に示す．光線の表現に用いる関数の次元が高いほど視点の制約は少なくなるが，自由視点画像を生成するためには大量の15

表 3 光線の表現に用いる関数の次元と視点位置の制約
手法
次元
視点の制約

Plenoptic Function [AB91]

7

制約なし

Plenoptic Modeling [MB95]
Light Field Rendering [LH96],
光線空間法 [藤井 95, NTMH97],
Lumigraph [GGSC96]

5

制約なし

4

3 次元空間中の直方体外部

Concentric Mosaics [SH99]

3

2 次元平面上の円内

図 7 Street Slide のパノラマ画像 [KCSC10]
光線情報が必要になるため，現実的には光線の近似を用いた手法が必要となる．
広域な屋外環境において光線情報を用いてシーンを再現した応用例として Street

Slide[KCSC10] が挙げられる．Street Slide は Google ストリートビューや Bing
Maps Streetside の改良として実現されたシームレスな地図表示ナビゲーションである．Google ストリートビューは撮影地点から視線を変更して周囲を見回すことができるが，移動が離散的にしかできない問題がある．Street Slide では，この問題に対し，図 7 に示すように，光線情報を用いて通りを真横から見た映像を擬似的に生成することでシームレスな視点移動を実現している．

MBR と IBR を組み合わせた手法
Depth-Image-Based Rendering (DIBR)[Feh04, MFY+ 09] は，あらかじめ推定しておいた奥行き画像を用いて 3D ワーピングにより自由視点画像生成を行う手

16

(a) 三次元点群およびカメラ位置姿勢
推定結果(b) 閲覧アプリケーション

図 8 Photo Tourism [SSR06]
法である．これらの手法を用いて精度の良い自由視点画像生成を行うためには，精度の良い奥行き画像をあらかじめ用意する必要がある．レンジファインダに代表されるセンサベースの手法 [BMOI08] や Structure from Motion 法 [TK92] に代表されるビジョンベースの手法などにより奥行き画像を取得することは可能であるが，いずれの場合も密に奥行き情報を取得することが難しい．そのため精度の良い奥行き情報が得られない場合には，これらの手法を用いることができない．

Photo Tourism[SSR06] は Flickr[Yah] などの画像共有サイトに存在する対象を様々な方向から撮影した画像を用いて，画像閲覧を可能としている．これは，画像間を遷移する際に物体の形状を考慮することにより幾何的位置を直感的に理解しやすい閲覧アプリケーションとなっている．さまざまな位置で撮影された画像群の位置合わせは，Structure from Motion 法を用いて三次元点群とカメラ位置
姿勢を推定することによって行っている．閲覧アプリケーションにおける画像間の移動は，IBR のモーフィング技術を用いることにより複雑な形状を持つ対象に適応している．図 8 に Photo Tourism における三次元点群およびカメラ位置姿勢の推定結果と閲覧アプリケーションを示す．ここでは膨大なデータを扱うために構築の計算コストが問題となるが，多段階のパイプライン処理をすることにより計算の並列化，高速化を図った研究 [ASS+ 09] も存在する．

17

図 9 画像閲覧時における最適な視点移動経路の作成 [SGSS08]
また画像閲覧部分の改良として Snavely ら [SGSS08] は，画像間の視点移動にエ
ネルギー関数を導入し，撮影された画像群から図 9 に示すように最適な視点移動
経路を生成している．図 9 に最適な視点移動経路作成の結果を示す．ここで示す
四角錘は画像を撮影したカメラの位置・姿勢を，赤線は生成した画像の視線方向をそれぞれあらわす．移動経路周辺で撮影された複数の画像を用いることによりシームレスな視点移動を実現している．
高度道路交通システム (ITS) 分野においても自由視点画像生成技術が用いられている．高橋ら [高橋 01] は移動車両から撮影された全方位動画像を用いて，IBR
により屋外環境において自由視点画像を生成する手法を提案している．IBR で必要となるカメラの位置情報は，GPS を用いて取得する．生成原理は，Light Field

Rendering に基づくが，生成する画像を縦の短冊に分割することにより，さらに少ないデータ量で画像生成を可能としている．ただしデータ量を削減している
ために，生成画像に歪みが生じる問題がある．この問題を軽減するために奥行き情報を用いてレンダリングを行っているが，奥行き情報の推定に Epipolar Plane

Image (EPI)[BBM87] を用いているため，撮影時にカメラ速度が一定である必要
18

図 10 IBR と MBR を併用した自由視点画像生成 [OOK+ 05]
がある．また奥行きの推定精度が低いために生成画像にノイズが生じることがあ
る．Ono ら [OOK+ 05] は，高橋らと同様に移動車両から撮影された全方位動画像を用いて自由視点画像を生成しているが，図 10 に示すように複雑な形状を持つ
遠景は IBR で，比較的単純な形状である近景の道路領域は MBR で生成することにより，近景でのノイズを軽減し，道路内で自由な視点移動を実現している．
自由視点画像生成技術の応用による立体視の実現
テレプレゼンスにおいて臨場感を向上させる技術として提示映像の立体視化が挙げられる．ユーザが立体視を行うためには左右の眼に視差のあるステレオ画像を提示する必要がある．ステレオ画像を取得するために，ステレオカメラやステ
レオ画像を生成可能な特殊なカメラ [PBEP01] を用いることが考えられるが，これらの方法では撮影地点でしか立体視が行えないため，ユーザが移動した場合に様々な視点位置で立体視を行うためには，膨大なデータを蓄積する必要がある．
一方，自由視点画像生成技術を応用して両眼の視点位置の画像を提示すること
により立体視を行う試みが行われている．MBR や DIBR などの奥行き情報を用いる手法では欠損のない三次元モデルや密な奥行き情報が必要となり，大規模環境を

19

O1

O3

O2

O4

撮影経路

視点位置
画像投影面
O1

O3

O2

O4

生成画像
図 11 山口らのステレオ画像生成原理 [山口 01]
自動的に構築することは困難である．明示的に三次元復元する必要がない IBR に基づく手法では，生成する視点位置を限定することで両眼の視点画像 (ステレオ画像) を生成し，立体視を実現することが可能である [山口 01, VH06, KKS07, 堀 07]．
あらかじめ決められた位置で撮影された画像を入力とし，光線情報に基づく手法
により任意方向のステレオ画像を生成する研究 [山口 01, VH06] が存在する．山
口ら [山口 01] のステレオ画像生成原理を図 11 に，生成結果を図 12 に示す．図 11に示されるように，あらかじめ決められた位置で撮影された全方位画像群から，光線情報に基づく再構成を行うことで両眼の視点映像を生成する． ただし，これらの手法は撮影位置が既知であるという入力の制限のため，広域な屋外環境でそ20

図 12 山口らによるステレオ画像生成結果 [山口 01]のまま適用することは困難である．
そこで，入力となる画像の撮影時のカメラ位置・姿勢情報を Structure from

Motion などの画像ベースの手法や高精度な位置・姿勢センサにより取得することによりステレオ画像を生成する手法が存在する [KKS07, 堀 07]．図 13 に Knorr
ら [KKS07] が用いている撮影時のカメラ位置・姿勢情報と新視点のカメラ位置・姿勢の設定を示す．この例で示されるように，IBR では入力として多数の光線情報が必要であり，精度の良いステレオ画像を生成するためには密な位置で撮影を行わなければならない．この例では生成可能な視点位置・視線方向が密な光線情報が取得されている場所に限定される問題があった．広域な屋外環境を対象とした場合には，効率良く密な光線情報を取得することが要求される．

21

図 13 Structure from Motion 法と IBR によるステレオ画像生成 [KKS07]22

1.4 情景提示時の運動再現に関する研究
テレプレゼンスにおいて臨場感を向上させるための一要素として映像撮影時の運動を再現することが挙げられる．以下に遠隔地の運動を再現する手法を概観す
る．
力覚フィードバックを提示する研究
仮想空間内の物体に触れたときの感覚を再現するデバイスはハプティックデバイ
スと呼ばれ代表的なものとして PHANTOM[Tec] が挙げられる．手術シミュレー
タや医学教育，遠隔手術支援などの医用バーチャルリアリティへの応用が期待されている．Bouguila らは，6 自由度の SPIDAR[BIS00] と呼ばれるワイヤ駆動方式のハプティックデバイスの開発を行っている．この研究ではワイヤの張力によってユーザに力覚を提示している．スケールの変更によっても系の特性が大きく変化しない特徴を持つことから卓上から等身大スケールまでのデバイスに応用されている．これらの研究は，主にユーザの手に対する力覚フィードバックを実現している．
一方，足に対して力覚フィードバックを与えるデバイスとして歩行感覚を再現するデバイスの開発が行われている．歩行感覚を再現する代表的なものとしてトレッドミル型のデバイス [野間 99] やフットペダル型が挙げられる．トレッドミル
型は，ユーザの動きに連動してベルト機構を動作させることによりユーザの歩行感覚の再現を行っている．これらの多くは 2 方向ベルトを構成することで 2 次元平面の任意方向の移動を実現可能である [DCC97, 岩田 00a]．またフットペダル
型としてターンテーブル上に 2 台のモーションプラットフォームを設置し，その上を両足で運動することにより平面上だけではなく凹凸面の運動感覚の提示を可能とした研究 [岩田 00b, SHK05] も行われている．
慣性力の再現を行う研究
力覚フィードバックを提示する研究に対し，ドライブシミュレータやフライトシミュレータなどへの応用に代表されるように，ユーザに対して乗り物の傾きや加速度を与えることにより，臨場感の向上を図る研究が行われている．モーショ

23

図 14 6 自由度モーションベースの例 (日本ムーグ)
ンベースは運動している乗り物のシミュレーションにおいて有用であるが，実際に移動時と同様の感覚を得るためには高い自由度と広い可動範囲を持つモーションベースが必要である．高い自由度を持つモーションベースの一例として図14 に示されるような Stewart platform[Ste65] と呼ばれる 6 自由度のモーション
ベースがドライブシミュレータやフライトシミュレータなどで利用されている[COB93, 田所 01, 荻野 04]．高自由度のモーションベースでは，長い直線経路での加速時や長時間の旋回時など継続して働く慣性力を重力の分力を用いて擬似的に再現している [三木 92]．重力の分力を用いて擬似的な慣性力を与える概念を図15 に示す．現実環境において図 15(a) に示すような慣性力とユーザ自身の重力が働いた場合，テレプレゼンス環境では，図 15(b) に示すようにモーションベース
を傾けることにより慣性力をユーザの重力から擬似的に生成する．ユーザには現
実のモーションベースの傾きを知覚させないようにするために没入型のディスプレイなどで映像を提示する．ただし重力の分力を用いてユーザに慣性力を与える
際には，モーションベースの回転による加速度が生じると体感する慣性力に違和感が生じるため，ユーザに知覚させないようにモーションベースを回転させる必要がある [三木 92, 高桑 09]．そのため慣性力が時間とともに変化する場合，図 16に示すようにモーションベースの回転の制限から重力の分力だけでは目標とする
慣性力を再現できない問題が生じる．

24

テレプレゼンス環境

現実環境

回転

慣性力

Finertia

重力

擬似的な
重力

ユーザが体感する力
Fsummg

擬似的な慣性力
ユーザの重力mg(a) 現実環境においてユーザが体感する力(b) テレプレゼンス環境においてユー
ザが体感する力図 15 重力の分力で慣性力を再現する手法の概念図

慣性力の大きさ

再現したい慣性力
重力の分力による慣性力
不足する慣性力時間

図 16 重力の分力で再現できない慣性力の例

25

図 17 Wash Out を用いた高自由度ドライビングシミュレータの例 (トヨタ自動車)
この問題に対し，図 17 に示されるような高自由度のモーションベースでは，Wash Out[SJK03] と呼ばれる技術を用いて重力の分力の不足分を補うことが可能である．Wash Out では，まずモーションベースの並進運動により重力の分力では不足する慣性力を再現する．そのままモーションベースが並進運動を続ければ可動範囲の限界を超えてしまうため，並進運動を徐々に止め，逆に次の動作に備
えてゆっくりとモーションベースを初期の位置に戻す．一方，この運動に並行してモーションベースをゆっくりと傾け，重力の分力成分を用いて擬似的に慣性力を発生させる．これによりモーションベースの回転によってユーザに違和感を与えずに慣性力を与えることが可能である．しかし，高自由度のモーションベース
は機器本体が高価であるため，汎用的に用いることが困難である．
そこで回転のみの低自由度のモーションベースを用いて比較的安価に運動の再現を行うことが要求される．Shih ら [SJH00] はバーチャルリアリティ(VR) 技術を応用して，図 18 に示すような環境を用いて運動シミュレーションを行っている
が，走行車両の傾斜の再現は行っているものの慣性力の再現を行わず，また提示
映像が CG であるため臨場感が損なわれる問題があった．従来の高自由度のモー
ションベースで用いられていた手法と同様にモーションベースの傾斜によりユー
ザの重力の分力から擬似的な慣性力を再現する手法を試みると，時間とともに変26

図 18 Shih らによる VR 技術を用いた運動シミュレーション [SJH00]
化する慣性力を再現する場合には，モーションベースの回転による加速度をユー
ザに体感させないように回転に制限を設ける必要があり，それにより慣性力が不足する問題があった．高自由度のモーションベースでは並進運動により，この不足を補っていたが，回転の自由度しか持たないモーションベースで，この方法を採ることは困難である．

1.5 本研究の位置づけと方針
本研究では広域な屋外環境を対象とする蓄積再生型テレプレゼンスにおける臨場感の向上を目的とし，まず入力となる全天球画像データベースの作成を行う．
更なる臨場感の向上として作成された全天球画像データベースを用い，情景提示する映像の改良として映像の立体視化を，情景提示時の運動再現として撮影時の慣性力の再現を行う．
本研究では蓄積型のテレプレゼンスの対象として屋外環境を想定し，車載の全方位カメラで同様の経路を異なる日時に撮影した画像群を入力とする．入力となる全天球画像データベースは色調が統一された動物体が存在しないことが要求さ

27

れる．色調変換方法として複雑な対象に対応可能な線形濃度変換に基づく手法を，動物体除去手法として対象の移動に対応可能な背景差分に基づく手法を用いる．
ただし，これらの手法を逐次的に用いても精度の良い結果は得られないため，本研究ではこれら二つの処理を交互に繰り返すことで色調の異なる画像間から動物体領域の絞り込みを行い，動物体領域の除去かつ色調の一貫性を持つ画像の生成を行う．
また，この画像データベースは Google ストリートビューのようなビューアで臨場感の向上が期待されるだけでなく，映像の立体視化と情景提示時の慣性力の再現を実現するためにも必要となる．例えば，立体視を行う際には，両眼の画像にコントラストの違い，明るさの違い，動物体の有無がある場合には両眼間でダイナミックな知覚交替が生じ，刺激強度の強い刺激は弱い刺激に比較して知覚される時間が長くなる．これは，両眼視野闘争 [松宮 02] と呼ばれ，ユーザが立体視を行うときの妨げになり，精度の良い立体視を実現するためには入力として色調が統一された動物体が存在しない画像群が必要となる．
本研究では更なる臨場感の向上として映像の立体視化を行う．屋外環境にはモデル化が困難な複雑な形状の対象が含まれるため，本研究では写実性の高い IBRを用いて両眼視点画像を生成し，映像の立体視化を実現する．提案手法は，全天球画像群とそれらと同時に取得されたカメラ位置・姿勢情報を入力とし，自由な見回
しと立体視を同時に実現するために光線情報を用いる IBR 法に基づき任意視点のステレオ画像を生成する．ただし，光線情報を用いる従来手法 [KKS07, 堀 07] では，光線情報を密に取得するために撮影時の画像取得間隔を短く設定する必要があったが，提案手法では，複数経路で撮影された全天球動画像を入力とすること
で，光線情報を密に取得し画像取得時の移動速度の制限を取り除く．また生成時には取得した全天球画像群から選択される光線の尤もらしさに基づくペナルティ関数を用いることで生成に必要な光線情報を適切に選択することにより，広範囲
で任意視点のステレオ画像の生成を行う．
また本研究では情景提示時の運動再現として低コストで汎用的な回転のみの低
自由度のモーションベースを用いて慣性力の再現を行う．ただし，従来の高自由度のモーションベースで用いられていた手法 [三木 92] と同様にモーションベース

28

の傾斜によりユーザの重力の分力から擬似的な慣性力を再現する手法を試みると，時間とともに変化する慣性力を再現する場合には，モーションベースの回転による加速度をユーザに体感させないように回転に制限を設ける必要があり，それにより図 16 に示すように慣性力が不足する問題があった．高自由度のモーション
ベースでは並進運動によりこの不足を補っていたが，回転の自由度しか持たない
モーションベースでは，この方法を採ることは困難である．本研究ではモーショ
ンベースの回転の制限による慣性力の不足をユーザに提示する映像で擬似的に補う．映像による擬似的な慣性力は，特定方向に移動する映像を提示することであたかも自身が映像の移動方向とは逆方向に相対的に移動感覚が引き起こされてしまうベクションと呼ばれる人間の特性 [妹尾 09] に注目し，慣性力が働く方向とは逆方向に一時的に移動する映像を提示することで擬似的な慣性力を与える．

1.6 本論文の構成
本論文の構成は以下の通りである．2 章ではテレプレゼンスシステムの提示用の映像として，またテレプレゼンス用の提示画像を IBR などの画像処理で生成するための入力画像として適した，動物体が除去され色調の統一された全天球画像
データベースを生成する手法を述べる．3 章では，テレプレゼンス体験時に提示する映像を立体視化する方法として，屋外環境の複数の任意経路で撮影された全天球画像群からの任意視点のステレオ画像を生成する手法について述べ，実験にて立体視が実現可能であることを示す．4 章ではテレプレゼンス体験時の運動として，回転のみの低自由度モーションベースと没入型ディスプレイを用いて慣性力を再現する手法について述べ，実験にてユーザの主観評価によりテレプレゼン
スの臨場感が向上可能であることを示す．5 章では本論文のまとめと今後の展望について述べる．

29

2. 全天球画像データベース作成のための動物体除去と色調統一
2.1 緒言本研究では，テレプレゼンスの入力画像として，またテレプレゼンス用の提示画像を生成するための入力画像として適した画像データベースを生成する．本章
では，すべての方向の光線情報を同時に取得可能な全方位カメラで屋外環境にて撮影された全天球画像を対象とし，画像中に動物体が存在しない，かつ全体で色調が統一されたデータベースの作成手法を提案する．
ここで提案手法の概観を示す．本研究では，動物体候補領域の推定処理と線形濃度変換パラメータの推定処理を繰り返すことで，段階的な色調統一と動物体候補
領域の絞り込みを行い，動物体の除去かつ色調統一された全天球画像データベースの作成を試みる．屋外環境で異なる日時に近接地点で撮影された全天球画像群を入力とする．提案手法の処理手順を図 19 に示す．本手法は大きく分けて前処
理，反復処理，後処理の三つの処理で構成される．前処理では色調の基準となる画像（以下，色調基準画像）を入力画像群の中から 1 枚選択し，入力画像全てに対して空領域など線形濃度変換では色調変換できない領域を事前に取り除く (図19(A))．反復処理 (図 19(B)〜(D)) では動物体候補領域の推定処理と線形濃度変換パラメータの推定処理を交互に繰り返し行う．まずロバスト推定のアプローチ
を用いて，動物体候補領域を外れ値として排除した領域に対して線形濃度変換パラメータを推定する (図 19(B))．次に推定された線形濃度変換パラメータを用いて色調変換された画像と色調基準画像の輝度値の差分を求めることで動物体候補領域を推定する (図 19(C))．処理対象済みの領域における動物体候補領域の割合が一定閾値以上ならば分割小領域の一部に動物体が存在すると考え，領域を分割
処理 (図 19(D)) し，その分割された各領域に対し再度反復処理を行う．領域分割
しながらこの反復処理 (図 19(B)〜(D)) を再帰的に繰り返すことで動物体候補領域の絞り込みと段階的な色調統一を実現する．後処理では反復処理で動物体候補として推定された領域を色調統一された入力画像群を用いて補間 (図 19(E)) する．

30

カメラ位置・姿勢が既知で動物体が存在し，かつ色調の異なる全天球画像群
前処理(A) 非線形濃度変換領域の除去

反復処理：
動物体候補領域の推定と色調統一のための線形濃度変換パラメータの推定(B) ロバスト推定に基づく線形濃度変換パラメータの推定(C) 動物体候補領域の推定
動物体候補領域が一定割合以下 or
繰り返し回数が一定回数以上

Yes

No(D) 処理対象領域の分割

後処理(E) 動物体領域の補間

カメラ位置・姿勢情報付きの動物体除去かつ色調統一が行われた全天球画像データベース

図 19 動物体除去と色調統一の処理手順

31以下，本章では，まず提案手法の概要を述べ，前処理にあたる非線形濃度変換
領域の除去手法を述べる．次に動物体候補領域の推定と線形濃度変換パラメータの推定を行う反復処理を述べ，動物体候補領域の補間を行う後処理について述べる．最後に屋外環境で撮影された実画像を用いて実験を行い，提案手法の有効性を示す．

2.2 前処理: 非線形濃度変換領域の除去
本研究では色調統一を行う際の仮定として，動物体以外の領域において物体の色調は線形濃度変換によって補正することができるものとする．ただし屋外環境を
全方位カメラで撮影した場合に映り込む空領域は，表現できる輝度値の最大値を超える場合や動物体である雲の存在があるため，線形濃度変換によって正しい色調に変換することができない可能性がある．本手法では空領域は，GrabCut[RKB04]に代表される領域分割手法を用いて，事前に検出・除去できるものとする．また，
本研究で用いる全天球画像中には，移動撮影時に環境以外の領域，例えば撮影した際の車両の一部などが映っている．これらの領域は，画像データベースを作成する際に不必要な領域のため，手動で事前に除去する．

2.3 反復処理: 動物体候補領域の推定と線形濃度変換パラメータの推定
本節では動物体候補の推定処理と線形濃度変換パラメータの推定処理を交互に行うことで動物体以外の領域において色調統一を行う手法について述べる．まず2.3.1 と 2.3.2 では色調統一のための線形濃度変換パラメータの推定処理とそれを用いて色調統一を行う手法をそれぞれ述べる．2.3.3 では色調変換された画像と色調基準画像の輝度値の差分から動物体候補領域を推定する処理について詳述する．最後に 2.3.4 では処理対象領域における動物体候補領域の割合を求め，一定割合以上ならば領域の一部に動物体が存在すると判断し，領域の分割処理を行う
手法について述べる．2.3.1〜2.3.4 で述べる処理を繰り返すことで動物体以外の領域で色調統一を行う．以下に各処理の詳細について述べる．

32

2.3.1 色調統一のための線形濃度変換パラメータの推定
一般に屋外環境で大量に画像の取得を行う場合，各地点における撮影時刻が異なるため，天候や日照条件の変化により撮影画像の色調は統一されない．上述のような色調が異なる画像間では，背景差分などの手法では一般的に動物体を検出・除去することはできない．本項では，画像中から背景差分によって動物体候補領域を検出するために，入力画像の中から選択された色調基準画像と色調統一を行う手法について述べる．また，ここで用いる色調基準画像は，IBR などの画像処理に用いる際に適切と思われる画像を手動で選択する．以下に色調基準画像に用いられる理想的な条件を示す．

• 動物体が存在しない．
• コントラストが高い．
• 白とびや黒つぶれがない．
線形濃度変換パラメータの推定を行う際に車載全方位カメラで移動撮影された画像を入力として用いると，色調基準画像と入力画像の撮影位置には，ずれが存在するため，画素ごとに線形濃度変換パラメータの推定を行うことはできない．
そこで本研究では線形濃度変換パラメータの推定を行う際に，位置ずれの影響を軽減するために色調基準画像と入力画像において色調変換の対象となる領域ごとにヒストグラムを作成し，互いのヒストグラムの類似度が最大となるように線形
濃度変換パラメータの推定を行う．以下に，照明条件が異なる任意の 2 つの領域の全天球画像の輝度値を線形変換することで，基準画像の色調に統一する処理について詳述する．
本手法では照明条件の変化による見え方の違いに対する色調変換は線形変換
によって補正することができると仮定し，入力画像の輝度値を色調変換するパラメータを pa , pb とした場合，輝度値の変換式 (1) を以下に示す．

I  (x, y) = pa I(x, y) + pb ,(1)

ここで I  (x, y) は画素位置 (x, y) における色調変換後の輝度値，I(x, y) は画素位置(x, y) における色調変換前の輝度値を表す．入力画像と色調基準画像間で輝度値
33

のヒストグラムの類似度が最大となるように線形濃度変換パラメータの推定を行う．本手法では以下の式 (2) に示す Bhattacharyya 係数を用いて色調基準画像と入力画像とのヒストグラムの類似度 γ を算出する．ここで用いる Bhattacharyya
係数は内積を使うことで外れ値の影響を受けにくいという利点がある．
255

hB (i)hA (i)· 255
,
γ=
255
h
(j)
h
(k)
A
B
j=0
k=0
i=0

(2)

ここで hA (i) は入力画像における輝度値 i の頻度を，hB (i) は色調基準画像の輝度
値 i の頻度を表す．γ は二つのヒストグラムが類似するほど大きな値になり，完全に一致すると γ = 1 となる．ヒストグラムの類似度が最大となる線形濃度変換
パラメータ (pa , pb ) を求めるには計算量を要するため，(pa , pb ) をある範囲内で離散的に変化させたときの γ が最大になるときの (pa , pb ) を解とする．推定した線
形濃度変換パラメータ (pa , pb ) を用いて式 (1) に基づき入力画像の R, G, B を独立に変換する．

2.3.2 ロバスト推定に基づく色調変換
線形濃度変換によって正しく色調変換することができない領域として 2.2 で述べた領域以外に動物体領域も含まれる．一般的に動物体領域が存在する状態で 2.3.1
で述べた線形濃度変換パラメータの推定処理を試みると，その領域では正しく線形濃度変換パラメータが推定できない．そこで，動物体領域を除去して色調変換を行うことが望まれるが，動物体領域は空領域などとは異なり一枚の入力画像や異なる色調の画像群から推定することは困難である．本研究では，ロバスト推定法として LMedS 法 [MKRL86] に基づき動物体の候補領域を排除して濃度変換パラメータを求めることにより処理対象領域に対する線形濃度変換パラメータの推定を行う．
動物体領域の影響を排除して線形濃度変換パラメータの推定を行うためのロバ
スト推定法について図 20 に概略を示す．ここでは LMedS 法に基づく線形濃度変換パラメータの算出条件として，動物体候補領域が分割小領域の画素数の半分以下であることが必要である．入力画像中の動物体候補領域が半分以下であるなら，

34

ランダムサンプリングを繰り返し行うことで，動物体の影響を排除し線形濃度変換パラメータの推定が可能である．
具体的には，まず図 20(i) に示すように，ランダムサンプリングされた領域ごとにヒストグラムの類似度を求める評価関数を用いて線形濃度変換パラメータ(pan , pbn ) を推定する．動物体が存在しない場合には各領域で同様の線形濃度変換
パラメータを推定することが可能である．その後，図 20(ii) に示すように領域ごとに算出された線形濃度変換パラメータをそれぞれ他の領域に適用する．ここで線形濃度変換パラメータ (pai , pbi ) を領域 rj に適用させた場合の色調基準画像との類似度を γrj (pai , pbi ) と表す．もし，適用する領域内に動物体が存在しない場合には色調変換後のヒストグラムと色調基準画像のヒストグラムの類似度が高くなる．逆に，線形濃度変換パラメータを適用する領域に動物体が存在する場合，色調変換後のヒストグラムと色調基準画像のヒストグラムの類似度が低くなる．動物体が存在しない領域が半数以上あれば，以下の式 (3) に示すように領域ごとに算出された類似度の中央値を選択することで動物体が存在しない領域に対して色調変換した場合の類似度の算出が可能である．

γrmi (pai , pbi ) = median(γr0 (pai , pbi ), γr1 (pai , pbi ), · · ·, γrn (pai , pbi ))(3)

最後に図 20(iv) に示すように，それぞれの領域 rmi で求められたヒストグラムの類似度を比較し，類似度が最も 1 に近づく (pa , pb ) を線形濃度変換パラメータとし，入力画像中で 2.2 で事前除去した領域以外に適用し色調変換を行う．この結果，動物体が含まれる領域を排除した色調統一が可能である．

2.3.3 動物体候補領域の推定
2.3.2 でロバスト推定法を用いて色調変換処理された画像と色調基準画像との輝度値の差分を計算することで動物体候補領域の推定を行う．本研究では移動カ
メラで撮影された画像を入力としているため，入力画像間に位置ずれが存在している．そのため輝度値の差分を計算する際，小領域ごとにテンプレートマッチングを行い，画像間の位置ずれを考慮して動物体候補領域の推定を行う．ここでは35

( pa0 , pb0 ) ( pa3 , pb3 ) ( pa5 , pb5 ) ( pa7 , pb7 ) ( pa9 , pb9 )(i) ランダムに取得した点を中心とする領域を作成 (赤枠内は動物体を含む)(ii) 領域ごとに変換パラメータ( p a , p b ) ～ ( p a , p b ) を推定
0

0

n

n

( p a n , p bn )( pa0 , pb0 ) ( pa3 , pb3 ) ( pa5 , pb5 ) ( pa7 , pb7 ) ( pa9 , pb9 )(iii) 変換パラメータを各領域に適用しヒストグラムの類似度の中央値を選択(これをすべての変換パラメータで実行)(iv) 選択された類似度の中で最も高い類似度の変換パラメータ(青枠)を取得

図 20 LMedS 法を用いた分割小領域に対する線形濃度変換パラメータの推定推定された動物体候補領域に対しマスク処理を行い，次節で行う領域分割処理に用いる．

2.3.4 処理対象領域の分割
本研究では，さらに精度の高い色調統一を行うために，各々の処理対象領域において，動物体候補領域の占める割合を計算し，一定割合以上であった場合，処理対象領域には変換パラメータの異なる物体が存在していると判断し，処理対象
領域を分割し，再び線形濃度変換パラメータの推定を行う．図 21 に入力画像が再分割されている様子を示す．これにより線形濃度変換パラメータの異なる物体に対して，領域ごとに過半数を占める物体の線形濃度変換パラメータを適用することができる．
これらの処理を繰り返し行うことで，動物体以外の領域を精度良く色調統一す

36

入力画像
動物体候補領域
分割

終了

分割

終了

分割

終了

終了

図 21 動物体候補領域の占める割合に依存した処理対象領域の分割ることができる．さらに，繰り返し処理において処理対象領域の分割を再帰的に行う際，領域の大きさを一定以上に保つことで位置ずれの影響にロバストな線形
濃度変換パラメータの推定が可能である．

2.4 後処理: 動物体領域の補間2.3 で推定された線形濃度変換パラメータを画像に適用したとしても，入力画像に存在する動物体領域は色調変換処理を繰り返すだけでは除去することはできない．そこで，近隣地点で撮影された全天球画像群を用いて動物体候補として推定された領域の補間を行う．ここでは色調変換された入力画像群の中に動物体領域の背景が存在するという仮定のもとで動物体領域の補間を行う．動物体領域を補間する方法を図 22 に示す．本研究では動物体候補領域の補間を行う際，画像間の位置ずれを考慮するために入力画像において動物体領域と推定される領域に対応する領域を色調の補正された入力画像群から探索し補間を行う．以下に処理手順を述べる．

37

色調統一された画像群

地点 A

補間用画像

地点 B

地点 C

図 22 色調統一された画像群を用いた動物体領域の補間

1. 分割小領域ごとに動物体と推定される領域を除いてテンプレートの作成を行う．

2. テンプレートと対応する領域をパターン類似度として Sum of Squared Differences (SSD) を利用することで色調変換された画像群から探索する．
3. 色調変換された画像群は動物体が存在しない領域では同様の色調という仮定のもと，対応する領域をそれぞれの画像群から取り出し，各画素の中央値を求めることで動物体領域を補間する．

38

図 23 屋外環境で移動撮影するための車載全方位カメラ

2.5 屋外環境で撮影された全天球画像を入力とした実験
2.5.1 全天球画像の撮影環境
本実験では車載全方位カメラで撮影された入力画像群を用いて色調の統一と動物体や陰の除去を行った．撮影には全方位マルチカメラシステム (Point Grey

Research 社製の Ladybug2) を用い，屋外環境での撮影を行った．Ladybug2 は水平方向に 5 個，上方向に 1 個の CCD カメラが外向きに配置されており，各カメ
ラは 768 × 1024 画素の解像度の画像を取得可能である．それぞれのカメラにおけるキャリブレーションはあらかじめ行い，カメラ間の色調の違いは取り除かれているものとする．実験では図 23 に示すように車載全方位マルチカメラシステ
ムを用いて移動しながら撮影することで，異なる日時に異なる照明条件のもとで画像群の取得を行った．ただし，本研究では IBR などの画像処理に必要とされるカメラの位置・姿勢情報を，GPS やジャイロセンサを用いて取得する方法 [堀 07]
や，Structure from Motion 法 [BAM97] などのビジョンベースの方法 [佐藤 03] であらかじめ取得されているものとする．
本実験では，撮影された全天球画像群の中から画像中に動物体が存在せず，かつ陰領域が少ない曇りの日に撮影された画像を色調基準画像として一枚選択し，実験を行った．色調基準画像が撮影された地点から半径 1m 以内で撮影された 5

39

表 4 入力となる全天球画像
撮影時の天候

撮影時刻

色調基準画像との輝度の差異

色調基準画像

曇り

12 時

-

なし

画像 A

晴れ

10 時

明

あり

画像 B

曇り

17 時

暗

あり

画像 C

曇り

16 時

暗

あり

画像 D

晴れ

13 時

明

なし

画像 E

晴れ

16 時

暗

あり

動物体

地点の全天球画像を撮影された全天球画像群から選択し，入力画像とした．入力
画像を図 24 に，入力画像の詳細を表 4 に示す． ここでは，各入力画像には動物体が存在し，照明条件の変化より色調が大きく変化していることが分かる．

40

(a) 色調基準画像(b) 画像 A(c) 画像 B(d) 画像 C(e) 画像 D(f) 画像 E

図 24 色調基準画像および照明条件が異なり動物体が存在する入力画像の一例

41

(a) 入力画像(b) 除去結果 (緑色領域は除去した領域)

図 25 非線形濃度変換領域 (空領域と撮影車両) の除去結果例

2.5.2 実験結果と考察
まず図 24(b)〜図 24(f) に示す入力画像に対し，空領域と推定される領域と撮影
車両の領域を事前に除去した．空領域は画像の上部に存在する高輝度値の領域と仮定し，検出・除去した．また色調変換時に不必要な撮影車両の領域は手動でマ
スク画像を生成し除去した．空領域と撮影車両領域を検出・除去した結果画像の例を図 25 に示す．図 25 では画像右部に存在する建物上部が空領域と誤検出されてしまっているが，これは光源の影響で輝度値が飽和しているためであると考えられる．
次に入力画像 A に対して色調変換した途中結果を図 26 に示す．図 26(a) はLMedS 法を用いて画像全体で色調変換した結果を示す．ここでは画像全体で一組の変換パラメータを推定し入力画像に対して適用しているため，全体的に色調が近づくような結果となっていることが分かる．色調変換後の画像と色調基準画像の輝度値の差分を算出し，輝度値の差分が大きい部分を赤色にマスク処理を施した画像を図 26(b) に示す．図 26(b) 中の一部の道路に見られるように，同一の反射特性を持つ物体であっても正しく色調変換されている場所とされていない場所が混在していることが分かる．この結果から，入力画像に対して一組の変換パラメータだけで色調変換を行うことは困難で，小領域に分けてそれぞれの領域で線形濃度変換パラメータを推定しなければならないことが分かる．次に動物体候補と推定された処理対象領域の分割を行い繰り返しロバスト推定に基づく線形濃度

42(a) 画像全体で色調変換した画像(b) 画像全体での色調変換後の動物体候補
領域の推定 (赤色領域が動物体と推定された領域)(c) 繰り返し処理を行い色調統一した画像(d) 繰り返し処理後の動物体候補領域の推
定 (赤色領域が動物体と推定された領域)

図 26 入力画像 A に対して繰り返し色調変換した結果画像

変換パラメータの推定し，色調変換を行った結果を図 26(c) に示す．これらの画像から，ロバスト推定に基づき動物体を排除して繰り返し処理を行うことで動物
体周辺の領域で画像の色調が近づいていることが確認される．図 26(d) には，繰り返し処理の結果画像と色調基準画像との輝度値の差分が大きい領域をマスク処理した画像を示す．これらの結果より，領域を分割して繰り返し色調変換することで精度の良い色調統一と動物体候補領域の検出が行われていることが分かる．
次に，色調変換された画像を用いて各入力画像の動物体候補領域を補間した結果を図 27 に示す．図 27(b) では，色調基準画像に比べ全体的に輝度値の高い画像が低く補正され，入力画像の中央部に存在する移動車両が除去されていることが分かる。また，図 27(c) では，全体的に輝度値の低かった画像が補正され，移動車両の領域が正しく補間されていることが分かる．

43

(a) 色調基準画像(b) 画像 A(c) 画像 B(d) 画像 C(e) 画像 D(f) 画像 E

図 27 図 24 の入力画像群に対して提案手法を用いて動物体除去と色調統一を行った結果

44

表 5 色調基準画像とのヒストグラムの類似度 (1 に近い方が類似度が高い)

画像 A
画像 B
画像 C
画像 D
画像 E

R 成分

G 成分

B 成分

変換前

0.84290.89960.8877

変換後

0.99450.99250.9916

変換前

0.95850.97030.9669

変換後

0.99430.9921

0.9918

変換前

0.97170.97400.9697

変換後

0.99550.99350.9934

変換前

0.9036

0.92650.9251

変換後

0.99440.99090.9920変換前

0.92030.93460.9306

変換後

0.99130.98170.9856

最後に本研究の有効性を示すための評価を行った．評価方法として以下の式 (4)に従い，色調基準画像と変換前の入力画像および変換後の入力画像とのヒストグ
ラムの類似度を算出した．

γc =



i∈Ω

hr (i)
ht (i)·,j∈Ω ht (j)k∈Ω hr (k)(4)

ここで ht (i)，hr (i) は画素値 i の頻度を示す．ヒストグラムの類似度は Bhattacharyya
係数を用い，2.2 で示した非線形濃度変換領域を除いた Ω 領域内でそれぞれの類
似度の計算を行った．表 5 に各入力画像と色調基準画像のヒストグラムと，各出
力画像と色調基準画像とのヒストグラムの類似度を示す．表 5 に示すように入力
画像と色調基準画像の類似度に比べ，出力画像と色調基準画像のヒストグラムの類似度の方が全てにおいて改善されていることが確認できた．

45

2.6 結言
本章では，テレプレゼンスシステムの提示用の映像として，またテレプレゼン
ス用の提示画像を IBR などの画像処理で生成するための入力画像として適した，動物体が除去され色調の統一された全天球画像データベースを生成する手法を提案した．提案手法では線形濃度変換パラメータの推定処理と動物体候補領域の推定処理の二つの処理を交互に繰り返し行うことで，高精度な動物体除去かつ動物体に影響を受けない色調統一を実現した．実験から，画像全体で色調変換する手法に対して，動物体候補領域と推定された処理対象領域を繰り返し分割を行い線形濃度変換パラメータの推定と動物体候補領域を推定することで，より色調基準
画像に近い色調に補正することが可能であることが分かった．これは，動物体候
補領域と推定された処理対象領域には線形濃度変換パラメータの異なる領域が多く含まれているためである．
今後の課題として，Google ストリートビューに代表されるような大規模な画像データベースを構築することが挙げられる．本研究では色調基準画像を撮影された画像群から手動で選択する必要があったが，今後は撮影された画像群から色調基準画像を自動的に選択する手法の開発が必要だと考えられる．また，ハイダ
イナミックレンジ画像生成 [DM97] などを行うことにより屋外環境においても白
とび黒つぶれのない画像を生成することが可能である．このような画像を色調基準画像に設定することにより，さらに IBR の入力に適したデータベースを生成することが可能であると考えられる．さらに，分割小領域での色調統一を反射特性の同じ物体に色調変換処理を行うことで，より正確な色調統一が可能だと考えら
れる．

46

3. 全天球画像データベースを用いた任意視点のステレ
オ画像生成
3.1 緒言テレプレゼンスでは臨場感を向上させる一要素として提示映像を立体視化することが挙げられる．本研究では，撮影された画像群を用いて IBR 法により左右両眼の視点画像を生成することにより，提示映像を立体視化する．本章では，複数の任意経路で撮影された全天球動画像を用いて，任意視点の両眼ステレオ画像を生成する手法を提案する．ただし，ここで入力となる全天球動画像は，第 2 章で述べた手法により，すでに動物体が除去され，色調が統一されているものとする．

IBR 法により両眼ステレオ画像を生成する手法の処理手順を図 28 に示す．まず屋外環境の複数の任意経路において全天球動画像およびカメラ位置・姿勢情報の取得 (A) を行う．次にステレオ画像の生成を行う視点位置の設定 (B) および立体視を行うための光線の尤もらしさに基づくペナルティ関数を用いて生成に用いる光線の選択 (C) を行う．最後に被写体までの奥行き情報の推定を行い，奥行き情報を考慮して視点画像生成を行う (D) ことにより，両眼ステレオ画像の生成を行う．次節以降にそれぞれの処理の詳細を述べる．

3.2 全天球動画像の取得
本研究は広域屋外環境のテレプレゼンスを行うことを目的としているため，ス
テレオ画像生成に必要な光線情報を大量に得る必要がある．提案手法では，ステレオ画像生成に必要な光線情報を得るために全方位カメラを車両に固定して移動しながら撮影を行う．ここではカメラの移動はある平面上で行われるものと仮定
し，生成する視点位置も同一平面上に限定することにより生成に必要な光線情報を減らす．全方位カメラを 2 台車両に固定して撮影することにより一度の撮影により大量の光線情報を取得可能である．さらに車両を移動しながら撮影する際に同様の経路を複数回にわたり移動撮影するが，以前に撮影された地点を避けて撮影することにより，より多くの光線情報を取得することが可能である．取得する

47

(A) 全天球動画像およびカメラ位置・姿勢情報の取得(B) 両眼視点位置の設定(C) ペナルティ関数を用いたステレオ画像生成に用いる光線の選択(D) 奥行き情報を考慮した任意視点画像生成
任意視点のステレオ画像

図 28 任意視点のステレオ画像生成の処理手順
全天球画像の例を図 29 に示す．本研究では IBR 法を用いてステレオ画像を生成するため，入力画像において移動物体が存在しないという仮定と画像間で照明条件が大きく変化しないという仮定が必要である．これらは，すでに 2 章で述べた手法により実現されているものとする．なお，ステレオ画像を生成する際には精度の良いカメラの位置・姿勢情報が必要となるため，本研究では 3.5.1 で詳述するセンサによって撮影時に同時に取得する．

3.3 両眼視点位置の設定およびペナルティ関数を用いたステレオ画
像生成に用いる光線の選択
全天球画像が撮影された同一平面上に左右の視点位置を定め，それぞれの視点位置において IBR 法を用いて撮影されていない視点位置の画像の生成を行う．本
研究では図 30 のように，眼間距離をベースラインとする平行ステレオの視点画像を生成する．たとえ 2 台の全方位カメラを用いて光線情報を密に取得したとしても，ほとんどの場合において左右それぞれの視点画像が撮影時の画像群に存在しないために，撮影された画像群から生成を行う必要がある．従来手法 [堀 07] では，撮影時の画像を見回し時の前方方向の視点画像として用いたため，生成する
視点位置があらかじめ撮影された画像の撮影地点に依存する問題があった．また48

図 29 入力となる全天球画像の例
光線情報の不足のためステレオ画像の生成が困難な視点位置が存在し，撮影時の進行方向以外の視点移動が困難であった．本手法では，異なる経路で撮影された全天球画像群を用いることにより光線情報の不足を補い，撮影された画像群から適切な光線情報を選択することにより両眼ステレオ画像の生成を行う．これにより従来手法よりも広範囲で両眼ステレオ画像の生成が可能である．
本研究では撮影されていない位置の視点画像を生成するために IBR の一手法である Light Field Rendering[LH96] に基づいた生成に必要な光線の選択を行う．この手法は，光は伝搬により減衰がないという仮定に基づいており，画像が取得された位置と新視点位置の両方を通過する光線は同じ情報を持つという原理を利用している．この原理に基づき新視点の画像を撮影された複数の全天球画像群から再構成する．再構成する際，撮影および画像を生成する視点位置を同一平面上に限定することで，生成する画像を縦のスリットごとに扱うことが可能である．ただし現実問題として画像の撮影地点が離散的であるため，正確には光線が存在しない場合や複数の光線が存在する場合が存在する．それらの場合には光線の補間や選択が必要となる．図 31 に新視点の画像を撮影された複数の全天球画像群

49

カメラパス OC

カメラパス OB

左眼

右眼

視点位置
: 全天球画像の撮影位置

カメラパス O A

図 30 ステレオ画像を生成する視点位置の例

OB2
カメラパス OB

OB1

OB2
OA3

O A2

OB3
カメラパス OA

O A1

O A2

OA3

OA4

生成視点位置

OA2

OB2

生成画像

図 31 複数の画像から新視点画像を生成する原理

50

O A3

から再構成する例を示す．ここでは，光線の補間を行うことにより結果的に 3 枚の全天球画像を用いて新視点画像生成を行っている．本研究では，精度の良い立体視を実現するために光線の尤もらしさに基づくペナルティ関数を定義し，そのペナルティ関数が最も小さくなるように画像を選択し生成を行う．以下にそれぞれの手法の詳細を述べる．
本研究ではステレオ画像の生成に用いる光線の選択手法として，以下の式 (5)に示す光線の尤もらしさに基づくペナルティ関数を用いることにより適切な光線情報の選択を行い，視点画像の生成精度の向上を図る．

P = Pang + wPpos ,(5)

このペナルティ関数は，次に示すパラメータ項を持つ．

1. 生成に必要な光線 ax + by + c = 0 と生成に用いる画像が取得された位置(oxi , oyi ) との最短距離を表すペナルティPang
Pang =|aoxi + boyi + c|√,
a2 + b 2(6)

2. 画像の生成を行う視点位置 (vx , vy ) と生成に用いる画像が取得された位置(oxi , oyi ) との距離を表すペナルティPpos
Ppos = (oxi − vx )2 + (oyi − vy )2 ,(7)

それぞれのペナルティ項を図 32 に示す．ここでペナルティPang は，光線情報が存在しない場合に可能な限り生成に必要な光線と近い光線を選択することで生成精度の向上を図る目的がある．ペナルティPpos は，画像を生成する視点位置と近い位置で撮影された全天球画像を用いることで生成画像の解像度の均一化を図る目的がある．この 2 つのペナルティを用いることにより，生成画像においてスリット間の不連続を回避しつつ，高精度なステレオ画像生成を試みる．w は各ペ
ナルティの大きさを決定する重みを表す．各視点画像の各スリットにおいてこのペナルティ関数の値 P を最小とする光線情報を持つ全天球画像を生成に用いることにより，両眼ステレオ画像の生成を行い，立体視を実現する．

51

(Ox 1 , O y1 )

Pang

生成視点
(Nx , N y )

生成に
必要な光線
(O x 0 , O y 0 )

生成視点(Nx , N y )(Ox 1 , O y1 )(O x 2 , O y 2 )(a) ペナルティ項 Pang

生成に
必要な光線

Ppos

(Ox 0 , O y0 )(Ox 2 , O y2 )(b) ペナルティ項 Ppos

図 32 ペナルティ項の概要

3.4 奥行き情報を考慮した任意視点画像生成
前項の手法により選択された光線を用いて視点画像を生成する際に，視点位置からの被写体までの距離を一定として視点生成した場合には，図 33(a) に示すよ
うに生成画像の隣り合うスリット間において歪みが生じることがある．これは，各スリット間で生成に用いる全天球画像の取得位置が異なるために生じる視差の影響である．
そこで本手法では，奥行き情報を考慮して視点画像生成することにより図 33(b)に示すように歪みを軽減した画像を生成する．本研究では，スリット間の歪みを取り除くためだけに奥行き情報を用いるため MBR などで必要な密な奥行き情報は必要としない．本手法では，生成画像の隣り合うスリット間で観測される対象物体の奥行きの推定を行う．生成に用いる画像の取得位置が隣り合うスリット間で変化する場合のみ縦のスリットで奥行き情報の推定を行う．図 31 の例では

OA2 , OA3 , OB2 の 3 地点で撮影された全天球画像を用いて新視点画像は構成され，生成に用いる画像が異なる 2 箇所のスリット間で奥行き推定を行う．奥行き推定を行う位置は縦のスリット上でエッジが検出された位置のみとし，その他の位置は算出された奥行き情報を用いて線形補間により算出する．歪みの影響が最も大きい画像の取得位置が変化するスリット位置で奥行きの推定を行うことにより写実性を保ちつつ，生成画像における歪みの影響を軽減する．
奥行き推定は，撮影位置が異なり，同等な光線情報を持つ 2 枚の画像において

52

(a) 奥行き情報を考慮しない場合(b) 奥行き情報を考慮した場合

図 33 奥行きを考慮しない場合とした場合の生成画像例
パターン類似度を用いたステレオマッチングにより同等の光線情報を持つ画素を対応付け，センサから得られる撮影位置情報を用いることにより行う．撮影位置が異なり同等な光線情報を持つ画像として，式 (5) で定義したペナルティ関数 Pの値が最も小さい地点の画像とその次に小さい地点の画像を用いる．推定された
奥行き情報を用いて，生成する視点位置から対象物体を通る光線が，画像面に投影される位置を算出する．奥行き情報を考慮して視点画像生成することにより歪みの影響を軽減する．

3.5 実験と考察
3.5.1 実画像を用いたステレオ画像生成
屋外環境において曲線経路を含む自由経路で撮影した全天球動画像を用いてステレオ画像を生成し，自由な見回しと立体視が可能であるか検証を行った．実画像を用いた実験として本研究では車両に搭載された全方位カメラを用いて動画像の取得を行った．実験では全方位型マルチカメラシステムと位置姿勢センサを搭載した車両を任意経路で複数回移動させながら全天球動画像と撮影位置・姿勢情報を取得した．全方位型マルチカメラシステムは，Point Grey Research 社製の53

(a) RTK-GPS(b) INS

図 34 カメラ位置・姿勢計測用ハイブリッドセンサ

Ladybug2 を 2 台用い，車両に固定しながら撮影を行った．また，カメラの位置・姿勢計測には複数のカメラパスに共通して高い精度が要求されるため，図 34 に示
すリアルタイムキネマティック GPS (RTK-GPS) と小型慣性航法装置 (INS) を統合したハイブリッドセンサを用いた．RTK-GPS は Nikon-Trimble 社製 LogPakII
を用い，INS は東京計器株式会社製 TISS-5-40 を用いた．このハイブリッドセンサ
は GPS の欠点である計測周期の低さと INS の欠点である計測誤差の蓄積をお互いに補うことにより表 6 に示すように高精度で高レートな計測 (位置誤差 3.3cm，
計測レート 50Hz) を行うことが可能である [神原 05]． なお，撮影は屋外環境の表 6 ハイブリッドセンサの性能
位置・姿勢計測
方位角

±2°

経度

± 3.3cm (± 3.0cm)

緯度± 3.3cm (± 3.0cm)

計測レート50Hz (1Hz)() は RTK-GPS 単体使用時

54

[m]

1.0
1
0.8
0.8

A

C

B

D

0.6
0.6
0.4
0.4
0.2
0.2

[m]
-8.0
-8

-7.5
-7.5

-6.5
-6.5

-7.0
-7

-6.0
-6

0.0
0

図 35 全天球画像の取得位置 (上面図)曲線を含む任意経路で複数回行った．ハイブリッドセンサにより得られた全天球画像の取得経路の一部を図 35 に示す．複数の撮影経路で撮影することにより画像取得位置が広域になり光線が密に取得されていることが分かる．このようにして撮影された動画像に対して 2 章で述べた手法を適用することにより動物体の存在しない色調が統一された入力画像群の生成を行った．線形濃度変換が困難な空領域は色調を統一するために白色で塗りつぶしたものを利用した．
ステレオ画像生成に関して，本手法では生成画像の各スリットにおいてペナル
ティ関数 P を最小値とする位置の画像を用いて生成を行うが，生成された画像における各スリットで算出されるペナルティ値の合計値 Psum をその画像の生成精度の指標として算出する．

Psum =width

Pslit ,

(8)

slit=0

ここで Pslit は各スリットでのペナルティ関数の最小値，width はスリット数をそれぞれ表す．本実験では眼間距離を 6.5cm に設定して画角 75 度のステレオ画像を生成した．視線方向をある一方向に固定し，ステレオ画像を生成する場合に算出される各視点位置でのペナルティ合計値 Psum をプロットした様子を図 36 に示す．ここではペナルティ関数の重みを w = 0.3 とした．この重みは環境に依存して変化すると考えられるが，本実験では，筆者が立体視を行った場合に最も精度の良い立体視が可能であったこのパラメータを経験的に用いた．生成位置周辺で

55

[m]

1.0
0.8
0.6
0.4
0.2

[m]

-8.0

-7.5

-7.0

-6.5

-6.0

0.0

図 36 各視点位置におけるペナルティ合計値の分布 (上面図)
光線情報が密に取得されている場合にはペナルティ合計値 Psum が小さいことがわかる．それとは対照的に，撮影経路の外の領域では光線情報が疎にしか取得されていないために，ペナルティ合計値 Psum が高くなっている様子がわかる．本
実験ではこのペナルティ合計値 Psum が小さい場合には精度の良いステレオ画像の生成が可能だという仮定のもと，Psum がある一定値以下の領域で両眼ステレ
オ画像の生成を行う．まず任意視点画像生成が精度良く行われているかの確認を行った．ペナルティ合計値 Psum が小さい領域の中であらかじめ画像が撮影されている地点において，その地点での撮影画像を使用せずに画像生成を行い，生成画
像と撮影画像とで Peak Signal-to-Noise Ratio (PSNR) による定量的品質評価を行った．PSNR は映像品質の客観的な画像評価指数であり，画像間の類似度が高ければ値は大きくなる．一般的に，PSNR が 40[dB] で原画との見分けが難しく，

20[dB] 付近になると見るに耐えない画質と言われている．画像生成はランダムに地点と視線方向を設定した 50 地点で行ったそれぞれの地点で算出した PSNR の平均値は 32.75[dB] (標準偏差 2.92) であった．このことから提案手法により，十分な精度の任意視点画像生成が実現されていることが分かる．
ただし，これだけでは立体視が正しく行われるかどうかが不明であるため，次にステレオ画像の精度を確認するための実験を行った．ペナルティ合計値 Psum

56

が小さい地点の例として地点 A，地点 B，地点 C，地点 D で両眼ステレオ画像を生成した結果例を図 37，38 に示す．図 37 は，地点 A において視線方向を変更して見回しを行った結果である．ここでは左側に右眼画像を中央に左眼画像を配置
しているため交差法にて立体視が可能である．右側には生成されたステレオ画像から生成した視差画像を示す．これらはセグメンテーション手法を用いたグラフ
カットステレオマッチング [BG05] により算出した．それぞれの画像において輝度値は奥行きを表し，輝度値が高いほうが距離が近いことを意味する．それぞれ
視線方向を変更した場合も左右視点画像に視差が存在することが分かる．
次に図 38 は地点 D から地点 C，地点 B，地点 A に移動を行った際のステレオ画像の生成例を示す．これらは視線方向を同方向に固定して移動を行っているた
め，近景を観察すると移動している様子が分かる．ここで道路上に奥行きが正し
く求まっていない領域が存在するが，これは道路が単調なテクスチャであったため，ステレオマッチングが精度良く行われなかったことが原因として挙げられる．

57

(a) 地点 A(b) (a) の視線方向に対して 30 度左回転した方向(c) (a) の視線方向に対して 90 度左回転した方向(d) (a) の視線方向に対して 270 度左回転した方向
図 37 見回しを行った場合の両眼ステレオ画像と視差画像例 (左：右眼画像，中：左眼画像，右：視差画像)

58

(a) 地点 D でのステレオ画像(b) 地点 C (地点 D から 0.33m 移動) でのステレオ画像(c) 地点 B (地点 D から 0.67m 移動) でのステレオ画像(d) 地点 A (地点 D から 1.0m 移動) でのステレオ画像
図 38 移動を行った際の両眼ステレオ画像と視差画像例 (左：右眼画像，中：左
眼画像，右：視差画像)59

プロジェクタユーザ

液晶シャッタ眼鏡

同期信号

没入型ディスプレイ

コントローラPC

図 39 ドームディスプレイを用いたテレプレゼンスシステムの機器構成

3.5.2 立体視を可能とするテレプレゼンスシステムの構築
生成されたステレオ画像を用いて自由に自由な見回しが可能なテレプレゼンス
システムの構築を行った．テレプレゼンスシステムの構成図を図 39，機器構成の詳細を表 7 に示す．臨場感の高いテレプレゼンスを行うために，本手法で生成したステレオ画像を図 40 で示す没入型ディスプレイに提示した．テレプレゼンス
中のユーザの外観を図 41 に示す．ユーザは，液晶シャッタ眼鏡を通して生成されたステレオ画像を見ることで自由な見回しと立体視が可能である．

表 7 立体視を行うためのテレプレゼンスシステムの機器構成
ディスプレイ 直径:4m, 画角:水平 114 °, 垂直 77 °プロジェクタ

解像度: 1280x102460

図 40 ドームディスプレイを用いたテレプレゼンスの様子

図 41 テレプレゼンス体験時のユーザの様子

61

3.6 結言
本章では，屋外環境において任意経路で複数回にわたり入力画像の取得を行い，全天球画像データベースを用いて IBR 法により任意視点の両眼ステレオ画像を生成する手法を提案した．実験において複数の任意経路で撮影された全天球画像群を用いることにより，生成に用いることができる光線情報が増大し，光線の尤も
らしさに基づくペナルティ関数を用いて適切な光線情報を生成に用いることで，任意視点でステレオ画像の生成を行った．またプロトタイプのテレプレゼンスシ
ステムを構築し，立体視と自由な視線変更が可能なことを確認した．
ただし，本研究ではマルチカメラシステムで撮影された画像をあらかじめ統合
した全天球パノラマ画像を入力としているため，正確には各カメラの光学中心のずれが数 cm 存在する．また RTK-GPS の位置精度誤差も数 cm 存在するため，今後はこれらの誤差を考慮する必要がある．さらに提案手法を広域環境に適用させた場合に入力データ量が膨大となる問題が発生するが，今後の課題として立体視の精度を保ちつつデータ量を節約する画像取得方法を考案する必要がある．

62

4. 回転のみの低自由度モーションベースと没入型ディスプレイを用いた慣性力の再現
4.1 緒言テレプレゼンスにおいて臨場感を向上させるための一要素として映像撮影時の運動を再現することが挙げられる．本章では，回転のみの低自由度のモーション
ベースと没入型ディスプレイを用いて，ユーザに慣性力を体感させるシステムの構築手法について述べる．本手法では，従来の高自由度のモーションベースで用いられていた手法と同様にモーションベースの傾斜によりユーザの重力の分力から擬似的な慣性力を再現する．ただし時間とともに変化する慣性力を再現する場
合には，図 16 に示すようにモーションベースの回転による加速度をユーザに体感させないように回転に制限を設ける必要があり，それにより不足してしまう慣
性力を補う必要がある．高自由度のモーションベースでは並進運動によりこの不足を補っていたが，本研究のように回転の自由度しか持たないモーションベース
ではこの方法は採れないため，本研究ではその慣性力の不足をユーザに提示する映像で擬似的に補う．映像による擬似的な慣性力は，特定方向に移動する映像を提示することであたかも自身が映像の移動方向とは逆方向に相対的に移動感覚が引き起こされてしまうベクションと呼ばれる人間の特性 [妹尾 09] に注目し，慣性力が働く方向とは逆方向に一時的に移動する映像を提示することで擬似的な慣性力を与える．ユーザに提示する映像として実環境で撮影された全天球動画像を用い，3 章で述べた自由視点画像生成手法を適用することにより一時的に視点移動する映像を生成し擬似的な慣性力を実現する．
提案手法で必要となるモーションベースに与える傾斜角および提示映像の移動
量は，現実環境においてユーザが体感する慣性力と重力に基づき算出する．慣性力は加速度が働く運動時に，加速度が働く方向とは逆方向に働く見かけ上の力であるため，ユーザに与える慣性力の大きさと方向は移動時の加速度から求める．
加速度は GPS や加速度センサなどのセンサから推定することが可能であるが，本研究では，連続する画像シーケンスを入力としているため，移動時に撮影された
全天球動画像のみから自動的に加速度を推定可能である．ここで入力動画像とし

63

ピッチ軸

ロール軸

図 42 提案手法で用いる低自由度モーションベース
て全天球動画像を用いることにより，単眼カメラで撮影された動画像から推定する手法 [BZM97] に対して精度の高いカメラ外部パラメータの推定が可能である．
推定されたカメラ外部パラメータから現実環境での慣性力を推定し，ユーザへの提示の際に回転のみの低自由度モーションベースで再現する．

4.2 重力の分力とベクションによる慣性力の再現
本研究では，低自由度のモーションベースとして図 42 に示すようなロール軸・ピッチ軸の 2 軸の回転軸を持つモーションベースを想定して，加速度が働く運動時にユーザが体感する慣性力の再現を行う．まず慣性力をモーションベースの傾斜によるユーザの重力の分力から再現するが，慣性力が時間とともに変化した場
合に，モーションベースの回転の制限から傾斜量が不足する場合には，提示映像の移動による映像効果から擬似的な感覚を生成することで臨場感の向上を図る．
なお，現実環境においてユーザが体感する慣性力の方向および大きさは，加速度が働く運動時に撮影された動画像から推定する．以下に，各処理の詳細を述べる．

64

4.2.1 全天球動画像撮影時の慣性力の推定
本節では，テレプレゼンス環境において，現実環境と同様の慣性力を再現するために，実環境で発生する慣性力の方向および大きさの推定方法について述べる．
慣性力は加速度が働く運動時に加速度が働く方向とは逆方向に働く見かけ上の力であり，以下の式 (9) で表現される．

F ine = −ma,(9)

ここで F ine は慣性力のベクトル，m はユーザの質量，a は移動体の加速度のベ
クトルをそれぞれ表す．本研究では，加速度が働く移動体に取り付けられたカメラによって撮影された全天球動画像を用いて移動時のカメラの位置・姿勢情報を表す外部パラメータを推定する．それにより撮影時の動画像の各フレームにおける加速度ベクトルを推定することで移動体の慣性力を推定する．
本研究では，カメラ外部パラメータの推定手法としてユーザ提示用に全方位型
マルチカメラで撮影された動画像を利用する手法 [SIY04] を用いる．この手法は，画像情報のみからカメラの位置・姿勢を推定する Structure from Motion(SfM) 法[TK92] に基づき，複数の投影中心を持つマルチカメラシステムに対応するように拡張した手法となっている．SfM 法は図 43 に示すように画像中の特徴点を追跡することにより対象の 3 次元位置とカメラの位置・姿勢を同時に推定する手法である．画像特徴点は，コーナー検出手法である Harris オペレータ [HS88] により追跡の容易な画像特徴を検出して特徴点の候補位置とし，ロバスト推定によって誤追跡を検出しながら自動的に追跡する．画像特徴点の追跡例を図 44 に示す．
ここで図中の×印は，追跡された特徴点を示す． 正確なカメラ外部パラメータを推定するために画像特徴点の候補は，特徴点の信頼度やテンプレート間の誤差な
どの複数の指標を用いて追加・削除を行い，自動的に追跡される．各カメラにおいて特徴点が十分に存在しない場合に，単眼カメラの映像のみではカメラ外部パ
ラメータの推定精度が低くなる問題があるが，本手法では全天球動画像を用いる
ことにより，この問題を解決しカメラ外部パラメータの推定精度の向上を図る．

65

特徴点

f-1 フレーム
f フレームf+1 フレーム

図 43 SfM 法で用いられる複数のカメラに写る特徴点

図 44 画像特徴点の追跡例

66

ここでマルチカメラシステムの内部パラメータ（各カメラユニット間の位置・姿勢関係および各カメラユニットの内部パラメータ）は校正済みで既知とする．
本研究では全カメラユニット中で移動時の進行方向が撮影された映像をユーザの視線映像とし，このカメラの外部パラメータを用いてユーザが体感する慣性力の大きさと方向の算出を行う．
まず各フレームにおける 3 次元位置の変化量から移動速度の推定を行う．世界
座標系における各基底ベクトル方向に対する速度を用いて各フレームにおける速度ベクトルの算出を行う．このとき f フレームにおけるカメラの 3 次元位置 P f
は，推定誤差と撮影時のカメラの高周波振動による影響を含んでおり，本研究で目的とする慣性力の再現には不必要なため，これらの影響を取り除く必要がある．
本手法では，推定誤差と撮影時のカメラの高周波振動による影響がない場合には，速度が滑らかに変化するという仮定に基づき，式 (10) に示すように移動速度を算出したいカメラ位置の前後 a フレームにおいて推定された移動速度を平均化した値を各フレームにおけるカメラの移動速度とする．
aP f +i+1 − P f +i
V f = i=−a2a(tf +1 − tf )(10)

ここで P f 地点で画像が取得された時刻を tf とする．その後，式 (11) に示すように推定された各フレームにおける速度ベクトル V f の微分により加速度ベクトルの算出を行う．

Af =V f +1 − V f
tf +1 − tf

(11)

推定された加速度ベクトル Af の逆方向に働く力として，式 (9) に従い慣性力の大きさと方向の算出を行う．
慣性力の再現には各フレームにおけるユーザ座標系の慣性力ベクトルが必要であるが，ここで算出される慣性力は世界座標系におけるベクトル量のため，座標変換が必要である．本手法ではユーザの視線映像が撮影されたカメラの外部パラメータがすでに推定済みであるため，各フレームにおける外部パラメータから算出される座標変換行列を用いてユーザ座標系における慣性力ベクトルを算出する．

67

4.2.2 重力の分力による慣性力の再現
テレプレゼンス環境におけるモーションベースの傾斜角は，現実環境においてユーザが体感する慣性力と重力の大きさおよび方向から算出される．本研究では，
図 15 に示すように，前節で算出された慣性力およびユーザの重力の合成力をテ
レプレゼンス環境におけるユーザの重力で代用する．ユーザが現実環境において体感する合成ベクトル F sum は，以下の式 (12) で表現される．

F sum = F ine + mg,(12)

ここで g は重力加速度のベクトルを表す．現実環境においてユーザが体感する慣性力と重力の合成ベクトル F sum の方向とテレプレゼンス環境におけるユーザの重力方向を一致させることにより，図 15(b) に示すように擬似的な慣性力をユーザに体感させる．ここでは，テレプレゼンス環境におけるユーザの重力は鉛直下向きで一定の力であるため，ユーザ座標系における合成ベクトルの方向が現実環
境とテレプレゼンス環境で同様になるようにモーションベースに傾斜を与えることにより，ユーザが体感できる力の方向を変化させる．図 45 にユーザ座標系における合成ベクトル F sum = (Fx , Fy , Fz ) からモーションベースに与える傾斜角を算出する方法を示す．モーションベースのロール軸の傾斜角は式 (13)，ピッチ
軸の傾斜角は式 (14) で表される．


Rr = arctan
Rp = arctan

Fx
Fz
Fy
Fz


,

(13)

,

(14)



ここでユーザ座標系における合成ベクトルの Fx はユーザの左右方向，Fy はユー
ザの前後方向，Fz はユーザの体軸方向の慣性力を示す．また現実環境においてユーザが体感する合成力およびテレプレゼンス環境で慣性力の実現に用いるユー
ザの重力は，共にユーザの質量 m のパラメータが含まれるため，実現されるモー
ションベースの傾斜角にユーザの質量は依存しない．
ただし時間とともに変化する慣性力を再現する際には，モーションベースの回
転による加速度をユーザに体感させないように回転に制限を設ける．具体的には，

68

Y

X

ピッチ軸周りロール軸周り合成ベクトルFz

Fsum = ( Fx , Fy , Fz )ZZ(a) ユーザ座標系における合成
ベクトル

Fx

Fz

X

Rr
Fsum

Z

Fy

Rp

Y

Fsum

(b) モーションベースに与える傾斜角

図 45 合成ベクトルからのモーションベースに与える傾斜角の算出
以下の条件式 (15) のもとで式 (16) における D 値を最小とするようにモーション
ベースを傾斜させることによりモーションベースの動作に回転の制限を与える．
⎧
δ 2 Rc (t)
⎨
≤ k,
δt2
(15)
⎩ |Ri (t) − Rc (t)| ≥ 0,

D=

n


|Ri (t) − Rc (t)| ,

(16)

t=0

ここで Rc (t) は時間 t における実現するモーションベースの傾斜角を，Ri (t) は回転の制限を設けず重力の分力のみで慣性力を再現した場合に必要とされるモー
ションベースの傾斜角を示す．式 (15) の上式の k はモーションベースの回転によりユーザが違和感を覚える角加速度を表し，式 (15) の下式は提案手法で再現する
モーションベースの傾斜が回転の制限を考慮しない場合の傾斜を上回らないという条件を表す．また，時間とともに変化する慣性力を実現するときにこれらの条件が原因でモーションベースの傾斜角が目標値に達しない場合には，映像効果により擬似的な慣性力を生成し不足分を補う．次節では，提示映像による慣性力の実現方法について述べる．

69

4.2.3 ベクションによる慣性力の再現
テレプレゼンス環境において，前節で述べたように重力の分力を用いてユーザに擬似的な慣性力を体感させるためには，現実環境におけるユーザ自身の傾斜をユーザに認識させないようにする必要がある．本研究では，この目的を達成する
ための没入型ディスプレイとしてヘッドマウントディスプレイ (HMD) を用いる．
映像提示に HMD を用いることにより簡易的に実現できるだけでなく，ユーザの姿勢に連動して提示座標系の姿勢も変化するため，CAVE[CnSD93] などの環境に固定された装置を提示に用いた場合とは異なり，モーションベースの傾きに連動した映像の回転が不必要である．
本節では，重力の分力による慣性力の再現に際して，回転による加速度の制限
によりモーションベースの傾斜が目標値に達しない場合に，提示映像により擬似的な慣性力を与える手法について述べる．本研究では，特定方向に移動する映像を提示することであたかも自身が映像の移動方向とは逆方向に相対的に移動感覚が引き起こされてしまうベクション [妹尾 09] と呼ばれる人間の特性に注目し，慣性力を与えたい方向とは逆方向に移動する映像を IBR 法により生成し提示することにより，映像による擬似的な慣性力を与える．図 46 に運動感覚を与えるための提示映像の例を示す．図 46(a) では被写体が視点位置に近づくように視点移動した映像によって運動感覚を発生させ，前方に対する慣性力の不足を補う．図 46(b)では右方向に対する慣性力の不足を左方向に映像を移動させること，すなわち視点位置を擬似的に右方向に移動させることによって体感する運動感覚で補う．
本研究では入力となる動画として全天球動画像を用い，3 章で述べた自由視点画像生成手法を用いることにより視点移動した際の画像の生成を行う．ここで移動視点画像の生成に必要なカメラ位置・姿勢情報は 4.2.1 節で Structure from Motion
法により算出されたパラメータを用いる．モーションベースの傾斜により再現される慣性力だけでは不足する力に対して，ユーザ座標系の X，Y，Z の各軸に対する分力をそれぞれ算出し，不足量に比例した視点移動を X，Y，Z 軸それぞれに対して擬似的に行うことによりユーザに慣性力を与える．不足する慣性力が発生している方向に視点位置を擬似的に移動させることにより擬似的な慣性力を与えモーションベースの回転の制限のために実現されなかった慣性力の不足分を補

70

元画像

後方移動

(a) 前方向に対する運動感覚

元画像

左移動

(b) 右方向に対する運動感覚

図 46 擬似的に慣性力を与えるための提示映像の例う．ただし移動映像による運動効果の大きさを定量的に示すことは困難であることが分かっている [妹尾 09] ため，方向と相対的な大きさは不足量から決定するが，絶対的な大きさに関しては筆者が事前実験により算出したパラメータを使用して決定する．

4.3 実験と考察
提案手法の有効性を示すために車載カメラで撮影された実写動画を用いて実験を行った．図 47 に試作テレプレゼンスシステムの外観を示す．本実験では映像
提示には HMD(Daeyang, i-visor FX601) を，回転のみの自由度を持つモーション
ベースとして先に図 42 で示した 2 軸の可動軸を持つモーションベース (川田工業,

JoyChair) を用いた．使用したモーションベースの性能を表 8 に示す．このモーションベースはロールとピッチの 2 軸の回転軸を持ち，それぞれの可動範囲は ±15度である．このシステムでは 3 章と同様にして撮影された全天球動画像から生成71

図 47 慣性力再現を行うテレプレゼンスシステムの外観
された視点画像を入力として用いる．
以下，4.3.1 節では提案システムを構築するために必要なモーションベースの回転に対して与える制限を算出する実験について述べ，4.3.2 節では，算出された角加速度と水平な地面上を走行する車両から撮影された全天球動画像を用いて加速・減速・旋回の基本的な運動時にユーザが体感する慣性力の再現結果を示す．
最後の 4.3.3 節では，ユーザの主観評価実験を行うことにより提案手法の有効性を示す．

4.3.1 ユーザが違和感を覚えるモーションベースの角加速度の計測
提案手法を実現するために，まず式 (15) で示したユーザがモーションベース
の回転時に加速度により違和感を覚えなくなる k の値をユーザの評価実験により

表 8 使用したモーションベースの性能
可動軸
ロール・ピッチ
最大可動範囲

±15°

最大角速度

40 °/秒

本体サイズ

W70 × D90 × H125 cm

72

表 9 モーションベースの回転による角加速度に対するユーザの評価
角加速度 各方向に対して回転により違和感が生じると判断したユーザ(deg/s2 )

左 (人)

右 (人)

前 (人)

後 (人)

0.005

0

0

0

0

0

0.010

1

2

0

0

6.3

0.015

1

2

1

0

8.3

0.020

6

9

7

5

56.3

0.025

5

7

5

7

50.0

合計割合 (%)

決定する．本実験では，ユーザに垂直真下の重力のみが働いている状態から一定
角加速度で加速・減速し元の状態に戻す動作を行い，動作開始時または停止時にユーザが回転による加速度を体感するかどうかの確認を行った．0.005deg/s2 から 0.025deg/s2 まで段階的に角加速度を変化させ，5 段階の大きさ，4 方向の動作
を 20 代の男性 12 人を被験者として体感させ，主観評価実験を行った．また提示映像による誤知覚を防ぐためにユーザ視界を覆い隠した状態で実験を行った．各角加速度に対するユーザが回転の加速度が大きく，テレプレゼンス環境では違和感が生じると判断した割合を表 9 に示す．
ここでは，角加速度が 0.005deg/s2 のときには回転による違和感が生じないものとし，0.025deg/s2 のときには回転による違和感が生じるものと仮定する．4 方向それぞれの結果に大きな差異は生じなかった．これらの情報を用いて有意水準 5%を設定した Dunnett 検定 [Dun64] により他の場合の結果に有意差があるかを判定することで回転により違和感が生じない最大の角加速度 k を求めた．0.005deg/s2 のときとの有意差があったのは 0.020deg/s2 以上で，0.025deg/s2 のときとの有意差があったのは 0.015deg/s2 以下であった．そのため回転による違和感が生じない
最大の角加速度と判断される k = 0.015 を用いて以後のプロトタイプシステムの構築を行うこととする．

73

Start

図 48 カメラパスの推定結果 (加速時)4.3.2 走行車両から撮影された全天球動画像を用いた慣性力の再現
本節では水平な地面を走行する車両から撮影された全天球動画像を用いて加速・減速・旋回運動時にユーザが体感する慣性力の再現結果を示す．

(1) 直線経路における加速・減速時
車両が停止状態から加速運動を開始した場合にカメラの外部パラメータの推定を行った結果を図 48 に示す． ここで，図中の各四角錘はカメラの位置・姿勢を表し，車両の加速度運動の開始に伴いカメラ間の距離が広がっていく様子が分かる．重力の分力から慣性力を再現する際に回転の制限を行わない場合と行った場
合 (提案手法) のモーションベースの傾斜角を図 49 に示す．ここでピッチ軸の回転はユーザの前後方向に対する傾斜を示し，ロール軸の回転はユーザの左右方向の傾斜を表す．直線に近い経路を加速しているために，ユーザの左右方向には大きな慣性力が働かずロール軸の傾斜角には大きな変化がなかった．加速により働く慣性力はモーションベースを後方に傾斜させることにより与えた．ただし図 49のピッチ軸の傾斜角に示されるようにモーションベースの回転による加速度の制限からモーションベースの傾斜角は目標値に達しなかった時間があった．そこで

74

提案手法では提示映像によって擬似的な慣性力を与えることにより現実環境に近い慣性力の再現を試みた．テレプレゼンス環境において，ユーザ座標系の X，Y，Z 各軸に対するユーザが体感する慣性力の不足量を図 50 に示す．この不足量から算出した提示映像に与える視点の移動量を図 51 に示す．ここでは各時刻で不足している慣性力に比例する量を視点の移動量として用いることで，慣性力が不足した場合に視点移動によりベクションを発生させるようにした．なお視点移動量のスケールに関しては，筆者がスケールをさまざまに変化させて行った事前実験により算出したパラメータを用いて行った．
次に，車両が減速して停止した場合にカメラ外部パラメータの推定を行った結果を図 52 に示す．ここで，走行車両が停止位置に近づくにしたがってカメラ間の距離が短くなる様子が分かる．重力の分力から慣性力を再現する際に回転の制限を行わない場合と行った場合 (提案手法) のモーションベースの傾斜角を図 53 に示す．加速時と同様に直線に近い経路を減速しているために，ユーザの左右方向には大きな慣性力が働かずロール軸の傾斜角には大きな変化がなかった．減速により働く慣性力はモーションベースをピッチ軸に傾斜させることにより与えた．
ただし，図 53 のピッチ軸の傾斜角に示されるようにモーションベースの回転の制限から傾斜が目標値に達しなかった場合には加速時と同様に提示映像によって擬似的な慣性力を与えることにより現実環境に近い慣性力の再現を試みた．ユー
ザ座標系の X，Y，Z 軸それぞれに対する慣性力の不足量を図 54 に示す．加速時と同様に不足量から算出した提示映像に与える視点の移動量を図 55 に示す．

75

時間 [s]モーションベースの傾斜角 [deg]

3.0
0

1.0

2.0

3.0

4.0

5.0

6.0

7.0

8.0

-3.0
-6.0
-9.0

-12.0
-15.0

回転の制限なし
回転の制限あり-18.0(a) ピッチ軸

モーションベースの傾斜角 [deg]18.0

回転の制限なし
回転の制限あり

15.0
12.0
9.0
6.0
3.0
0
-3.0

1.0

2.0

3.0

4.0

5.0

6.0

7.0

8.0

時間 [s](b) ロール軸

図 49 回転の制限を行わない場合と行った場合 (提案手法) のモーションベースの
傾斜角 (加速時)76

時間 [s]0.2

1.0

慣性力の不足量 [m/s2]

0

2.0

3.0

4.0

5.0

6.0

7.0

8.0

-0.2
-0.4
-0.6
-0.8
-1.0

Ｘ軸
Ｙ軸
Ｚ軸

-1.2
-1.4

図 50 慣性力の不足量 (加速時)

時間 [s]

視点の移動量 [m]

0

1.0

2.0

3.0

4.0

5.0

6.0

7.0

8.0

-1.0

-2.0
Ｘ軸
Ｙ軸
Ｚ軸

-3.0

図 51 慣性力の不足を補うために提示映像に与える視点移動量 (加速時)

77

Stop

図 52 カメラパスの推定結果 (減速後停止時)

78

モーションベースの傾斜角 [deg]18.0

回転の制限なし
回転の制限あり

15.0
12.0
9.0
6.0
3.0
0

1.0

2.0

3.0

-3.0

4.0

5.0

6.0

7.0

8.0

5.0

6.0

7.0

8.0

時間 [s](a) ピッチ軸
時間 [s]

モーションベースの傾斜角 [deg]

3.0
0

1.0

2.0

3.0

4.0

-3.0
-6.0
-9.0

-12.0
-15.0

回転の制限なし
回転の制限あり-18.0(b) ロール軸

図 53 回転の制限を行わない場合と行った場合 (提案手法) のモーションベースの
傾斜角 (減速後停止時)

79

1.4

Ｘ軸
Ｙ軸
Ｚ軸

慣性力の不足量 [m/s2]

1.2
1.0
0.8
0.6
0.4
0.2
0
-0.2

1.0

2.0

3.0

4.0

5.0

6.0

7.0

8.0

時間 [s]

図 54 慣性力の不足量 (減速後停止時)

視点の移動量 [m]

3.0

Ｘ軸
Ｙ軸
Ｚ軸

2.0

1.0

0

1.0

2.0

3.0

4.0

時間 [s]

5.0

6.0

7.0

8.0

図 55 慣性力の不足を補うために提示映像に与える視点移動量 (減速後停止時)

80

図 56 カメラパスの推定結果例 (左旋回時)(2) 曲線経路における旋回時
次に，曲線経路に対して車両が旋回して移動した場合に，走行車両から撮影された全天球動画像を用いて慣性力の再現を行った．図 56 に推定されたカメラ外部パラメータを用いて描画したカメラパスを示す．推定されたカメラパスから左方向に大きく湾曲しながら移動していることが分かる．重力の分力から慣性力を再現する際に回転の制限を行わない場合と行った場合 (提案手法) のモーションベー
スの傾斜角を図 57 に示す．旋回時に回転中心に対して外向きに慣性力が働いているために，ロール軸に対して慣性力の大きさに比例してモーションベースが傾いていることが分かる．また慣性力の大きさが急激に変化する場合にはモーショ
ンベースの傾斜角が目標値に達しなかったことが分かる．図 58 に示すような回転の制限による慣性力の不足分を提示映像から擬似的に生成する慣性力を用いて補う．加速・減速時と同様に慣性力の不足量から算出した提示映像に与える視点の移動量を図 59 に示す．

81

モーションベースの傾斜角 [deg]12.0

回転の制限なし
回転の制限あり

9.0
6.0
3.0
0

1.0

2.0

3.0

4.0

5.0

-3.0
-6.0
-9.0

時間 [s](a) ピッチ軸

モーションベースの傾斜角 [deg]18.0

回転の制限なし
回転の制限あり

15.0
12.0
9.0
6.0
3.0
0
-3.0

1.0

2.0

3.0

4.0

5.0

時間 [s](b) ロール軸

図 57 回転の制限を行わない場合と行った場合 (提案手法) のモーションベースの
傾斜角 (左旋回時)

82

1.0

Ｘ軸
Ｙ軸
Ｚ軸

慣性力の不足量 [m/s2]

0.8
0.6
0.4
0.2
0

1.0

2.0

3.0

4.0

5.0

-0.2
-0.4
-0.6

時間 [s]

図 58 慣性力の不足量 (左旋回時)

視点の移動量 [m]

3.0

Ｘ軸
Ｙ軸
Ｚ軸

2.0

1.0

0

1.0

2.0

3.0

4.0

5.0

時間 [s]

図 59 慣性力の不足を補うために提示映像に与える視点移動量 (左旋回時)

83

4.3.3 アンケート評価による提案手法の評価
提案手法の有効性を示すために，以下の 4 手法に対してアンケート評価に基づく主観評価実験を行った．
提案手法: 重力の分力とベクションの両方を付与
手法 A: 重力の分力のみを付与
手法 B: ベクションのみを付与
手法 C: どちらもなし
被験者にはアンケート評価のために加速時，減速時，左旋回時に体感できる慣性力を再現した．本実験では運転経験のある 20 代の男性 12 名を被験者として手法

A・手法 B・手法 C・提案手法をランダムな順序で体感させて，各実験がどの手法による再現であるのかを知らせなかった．アンケート項目として各実験に対して実現された慣性力の臨場感について 5 段階の評価を行った．臨場感が低く現実
環境とはまったく異なる場合を 1 点，臨場感が高く現実環境に近い場合を 5 点という回答基準で採点してもらった．
表 10 に実現された慣性力の臨場感に関する評価結果を示す．それぞれのスコアは上述の基準で採点した平均点を示す．また各手法に対する評価点を基に有意水準 5%を設定した Dunnett 検定 [Dun64] により比較した結果，提案手法と手法

A，B，C を比較した結果，加速，減速，旋回のすべての場合に手法 A，B，C に対して有意差が見られた．またベクションのみで慣性力を与えた手法 B は効果を付加しなかった手法 C に対して加速・減速・左旋回いずれの場合も有意差がなかった．このためベクションだけでは大きな臨場感の向上が見られないことが分かった．重力の分力のみで再現した手法 A の評価は手法 B，C の結果に対して有意差があったが，手法 A にベクションを付加した提案手法の結果にも有意差があり，重力の分力による不足分をベクションで補う提案手法が臨場感の向上に有効であることが示された．
以上の実験により，重力の分力とベクションを組み合わせることで，それぞれ

84

表 10 慣性力の臨場感に関する評価
加速時 減速時 左旋回時
提案手法
(重力の分力+ベクション)
4.00
4.17
4.17
手法 A (重力の分力のみ)

3.25

3.50

3.33

手法 B (ベクションのみ)

1.58

1.92

1.42

手法 C (どちらもなし)

1.17

1.42

1.25

単独で再現した手法に対して慣性力による臨場感の向上が見られた．これにより，時間とともに変化する慣性力に対して重力の分力のみでの再現が困難であるときに，慣性力の不足量を映像効果により補うことができることが分かった．ただし，今回実装した映像効果は慣性力の不足する量に比例する移動量を与えただけに過ぎず映像による慣性力の効果の詳細は不明であるため，今後の課題として映像効
果による慣性力の大きさを定量的に計測することが挙げられる．また提案手法では，慣性力を映像効果で補うたびにユーザの視点位置が本来あるべき視点位置からずれるため，ユーザに知覚されない範囲で視点位置を戻す処理が必要だと考えられる．また，視覚刺激による映像効果には様々な手法が存在する [岡野 09, IF03]
ことや映像効果により重心動揺が引き起こされる [鶴原 06] ことも分かっているた
め，重力の分力と合わせた際に最適な効果を与える視覚刺激を考察する必要があると考えられる．

85

4.4 結言
本章では，加速度が働く運動時に回転のみの低自由度モーションベースを用いてユーザに慣性力を再現するテレプレゼンシステムの構築を行った．モーション
ベースの傾斜によって与えられる重力の分力とベクションによる効果を合わせる
ことにより慣性力を擬似的に生成する手法を提案した．モーションベースによってユーザに与えられる慣性力の大きさは，撮影された全天球動画像から自動的に決定した．実験では，まずユーザが回転により違和感を覚えるモーションベース
の角加速度の算出を行い，次に算出された角加速度以下でモーションベースが動作させることでプロトタイプのテレプレゼンスシステムを構築した．またユーザの主観に基づく評価実験を行うことにより重力の分力とベクションを組み合わせ
ることにより慣性力の臨場感を向上できることを示した．
本研究では実験により提案手法の有用性は示すことができたが，映像による
慣性力の効果の詳細は不明であるため，今後の課題として映像効果による慣性力の大きさを主観評価実験などで計測することが挙げられる．また本研究では平面上を走行する車両に限定し慣性力の再現を行ったが，さらに複雑な運動，例えばジェットコースターなどの乗り物に対応することが挙げられる．

86

5. 結論5.1 本論文のまとめ
本論文では，テレプレゼンスにおいて臨場感を向上させるための複合現実感技術として，以下に挙げる提示映像を改良する手法と運動感覚を与える手法をそれぞれ提案した．

• 全天球画像データベース作成のための動物体除去と色調統一• 全天球画像データベースを用いた任意視点のステレオ画像生成• 低自由度モーションベースと没入型ディスプレイを用いた慣性力の再現
まず 2 章では，テレプレゼンスシステムの入力や IBR などの画像処理用の入力映像として用いることが可能な，動物体が除去され色調の統一された全天球画像
データベースを生成する手法を提案した．実験では線形濃度変換パラメータの推定処理と動物体候補領域の推定処理の二つの処理を交互に繰り返し行うことで，高精度な動物体除去かつ動物体に影響を受けない色調統一を実現した．
次に 3 章では，テレプレゼンス体験時に提示する映像を立体視化する方法として，屋外環境の複数の任意経路で撮影された全天球画像データベースからステレ
オ画像を生成する手法を提案した．実験において複数の任意経路で撮影された全天球画像データベースを用いることにより，生成に用いることができる光線情報が増大し，光線の尤もらしさに基づくペナルティ関数を用いて適切な光線情報を選択することで任意視点のステレオ画像を生成し，立体視と自由な視線変更を実現した．
最後に 4 章では，テレプレゼンス体験時の運動として，低自由度モーションベー
スと没入型ディスプレイを用いて慣性力を再現する手法を提案した．あらかじめ撮影された全天球動画像から撮影時の運動を自動的に推定することにより，撮影時の慣性力を推定し，モーションベースに与える傾斜角を算出した．モーション
ベースに傾斜を与える際には，ユーザがモーションベースの回転運動により加速度を体感しないように工夫し，重力の分力から擬似的に慣性力を与えた．モーショ

87

ンベースに傾斜を与える際には，ユーザがモーションベースの回転運動により加速度を体感しないように工夫し，重力の分力から擬似的に慣性力を与えた．モーションベースの傾斜だけでは不足する慣性力は，提示される映像により運動感覚を覚えるベクションと呼ばれる効果を用いて与えた．ユーザの主観に基づく評価
実験では重力の分力とベクションを組み合わせることにより慣性力の臨場感を向上できることを示した．

5.2 今後の展望
今後の展望として，大規模な全天球画像データベースの作成が挙げられる．提案手法により作成された全天球画像データベースを大規模に拡張することにより，Google ストリートビューのような画像ビューアでは，プライバシーの保護，時刻を変化させた場合の映像の提示，立体視の実現が可能であると考えられる．また，観光地などのデジタルアーカイビングも可能となり，提案手法を用いて慣性力の再現を行うことにより，遊園地などのアトラクションの再現や上空から撮影された動画像を用いた空中散歩などのテレプレゼンスで臨場感の向上が期待される．

88

謝辞
本研究の全過程において，懇切なる御指導，御鞭撻を賜りました視覚情報メディア講座 横矢直和教授に厚く御礼申し上げます．博士前期，後期課程を通して国内
外数多くの発表の機会を与えていただき，心より感謝いたします．博士前期，後期課程を通して主に学内発表において有益な御助言，御指導を頂きました像情報処理学講座 千原國宏教授 (現 大阪電気通信大学教授) に心より感謝いたします．
また副指導教員として，貴重な御助言，御指導を頂きましたインタラクティブメ
ディア設計学講座 加藤博一教授に厚く御礼申し上げます．そして，研究および学
生生活全般を通じて，懇切なる御指導，御助言をいただきました環境知能学講座
神原誠之准教授に深く御礼申し上げます．日々様々な御助言，御指摘を頂けたことで，本研究を円滑に進めることができました．ここに心より深謝申し上げます．
本研究を進めるにあたり，科学研究費補助金 (基盤研究 A)「全方位移動撮影に基づく広域屋外環境の自由視点画像生成に関する研究」および大学院教育改革支援プログラム「創造力と国際競争力を育む情報科学教育コア」のご支援を頂きました．ここに厚く御礼申し上げます．
また，研究ミーティングや学外発表の練習の場において適切な御助言を頂きました視覚情報メディア講座 山澤一誠准教授 (現 福岡工業大学教授)，佐藤智和准教授，インタラクティブメディア設計学講座 池田聖助教に心より感謝いたします．本研究の実験を幾度となくお手伝い頂いた視覚情報メディア講座 河合紀彦
助教，株式会社日立製作所 高橋英之氏に深く感謝いたします．日々の研究活動を支えて頂いた視覚情報メディア講座 元事務補佐員 守屋知代女史，高橋美央女史，
事務補佐員 中村美奈女史，情報科学研究科 教務職員 足立敏美女史に厚く御礼申し上げます．最後に，研究活動だけでなく日々の生活においても大変お世話になりました視覚情報メディア講座の諸氏に深く感謝いたします．

89

参考文献
[AB91]

E. Adelson and J. Bergen, “The plenoptic function and the elementsof early vision,” Computer Models of Visual Processing, MIT Press,
pp. 3–20, 1991.

[AL87]

N. Ayache and F. Lustman, “Fast and reliable passive trinocularstereo vision,” Proc. of Int. Conf. on Computer Vision, Vol. 1,
pp. 422-426, 1987.

[ASS+ 09]

S. Agarwal, N. Snavely, I. Simon, S. M. Seitz and R. Szeliski, “Building rome in a day,” Proc. of Int. Conf. on Computer Vision, pp. 72-79,
2009.

[BAM97]

P. Beardsley, A.Zisserman and D. Murray, “Sequential updating of
projective and aﬃne structure from motion,” Int. Jour. of Computer
Vision, Vol. 23, No. 3, pp. 235-259, 1997.

[BBM87]

R. Bolles, H. Baker and D. Marimont, “Epipolar-plane image analysis: an approach to determining structure from motion,” Int. Jour.
of Computer Vision, Vol. 1, No. 1, pp. 7–55, 1987.

[BG05]

M. Bleyer and M. Gelautz, “Graph-based Surface Reconstruction
from Stereo Pairs using Image Segmentation,” In Proc. of SPIE, Vol.
5665, pp. 288-299, 2005.

[BIS00]L. Bouguila, M. Ishii and M. Sato, “Multi-modal haptic device forlarge-scale virtual environment,” Proc. of ACM Int. Conf. on Multimedia, pp. 277-283, 2000.

[BMOI08] A. Banno, T. Masuda, T. Oishi and K. Ikeuchi, “Flying laser range
sensor for large-scale site-modeling and its applications in Bayon digital archival project,” Int. Jour. of Computer Vision, Vol. 78, No.
2-3, pp. 207-222, 2008.
90

[BZM97]

P. Beardsley, A. Zisserman and D. Murray, “Sequential updating of
projective and aﬃne structure from motion,” Int. Jour. of Computer
Vision, Vol. 23, No. 3, pp. 235–259, 1997.

[Che95]

E. Chen, “QuickTime VR -an image-based approach to virtual environment navigation,” Proc. of SIGGRAPH’95, pp. 29–38, 1995.

[CL93]

S. Chen and L.Williams, “View interpolation for image synthesis,”
Proc. of SIGGRAPH’93, pp. 279–288, 1993.

[CLP10]A. Chauve, P. Labatut and J. Pons, “Robust piecewise-planar 3D
reconstruction and completion from large-scale unstructured point
data,” IEEE Conf. on Computer Vision and Pattern Recognition,
pp. 1261-1268, 2010.

[CnSD93]

C. Cruz-neira, D. Sandin and T. Defanti, “Surround-screen
projection-based virtual reality: the design and implementation of
the cave,” Proc. of the conf. on Computer Graphics and Interactive
Techniques, Vol. 17, No. 2, pp. 135–142, 1993.

[CNX+ 08] X. Chen, B. Neubert, Y. Xu, O. Deussen and S. Kang, “Sketchbased tree modeling using Markov Random Field,” ACM Trans. on
Graphics (Proc. of SIGGRAPH Asia2008), Vol. 27, No. 5, pp. 109:19, 2008.
[COB93]

K. Cheok, J. Overholt and R. Beck, “Exact methods for determining
the kinematics of a stewart platform using additional displacement
sensors,” Jour. of Robotic Systems, Vol. 10, No. 5, pp. 689-707, 1993.

[DCC97]

R. Darken, W. Cockayne and D. Carmein, “The omni-directionaltreadmill: a locomotion device for virtual worlds,” Proc. of ACM
Symp. on User Interface Software and Technology, pp. 213-221, 1997.

91

[DM97]

P. Debevec and J. Malik, “Recovering high dynamic range radiancemaps from photographs,” ACM Trans. on Graphics (Proc. of SIGGRAPH’97), pp. 369-378, 1997.

[Dun64]

C. Dunnett, “New tables for multiple comparisons with a control,”Biometrics, Vol. 20, No. 3, pp. 482-491, 1964.

[Feh04]

C. Fehn, “Depth-image-based rendering (DIBR), compression andtransmission for a new approach on 3D-TV,” Proc. of SPIE, Vol.
5291, pp. 93-104, 2004.

[GGSC96] S. Gortler, R. Grzeszczuk, R. Szeliski and M. Cohen, “The lumigraph,” Proc. of SIGGRAPH’96, pp. 43–54, 1996.
[HMP+ 08] E. Hsu, T. Mertens, S. Paris, S. Avidan and F. Durand, “Light mixture estimation for spatially varying white balance,” ACM Trans. on
Graphics (Proc. of SIGGRAPH2008), Vol. 27, No. 3, pp. 1-7, 2008.
[HS88]

C. Harris and M. Stephens, “A combined corner and edge detector,”
Proc. of Alvey Vision Conf., pp. 147–151, 1988.

[IF03]

H. Ito and C. Fujimoto, “Compound self-motion perception inducedby two kinds of optical motion,” Perception & Psychophysics, Vol. 65,
No. 6, pp. 874-887, 2003.

[JTP+ 09]

X. Jianxiong, F. Tian, Z. Peng, L. Maxime and Q. Long, “Imagebased street-side city modeling,” ACM Trans. on Graphics (Proc. of
SIGGRAPH Asia2009), Vol. 28, No. 5, pp. 1-12, 2009.

[KCSC10] J. Kopf, B. Chen, R. Szeliski and M. Cohen, “Street Slide: browsing street level imagery,” ACM Trans. on Graphics (Proc. of SIGGRAPH2010), Vol. 29, No. 4, pp. 96:1 – 96:8, 2010.

92

[KJJ+ 05]

Y. Kim, J. Jung, S. Jeon, S. Lee and G. Kim, “Telepresence meets
racing games,” Proc. of Int. Conf. on Advances in Computer Entertainment Technology, pp. 381-382, 2005.

[KKS07]

S. Knorr, M. Kunter and T. Sikora, “Super-resolution stereo- andmulti-view synthesis from monocular video sequences,” Proc. of Int.
Conf. on 3-D Digital Imaging and Modeling (3DIM), pp. 55-64, 2007.

[KN95]

M. Kato and H. Noyama, “Interactive visual simulation in a quasithree-dimensional world based on the structuralization of images,”
Proc. of Int. Conf. on Artificial Reality and Telexistence, pp. 101–
110, 1995.

[KTI04]

R. Kawakami, R. Tan and K. Ikeuchi, “A robust framework to estimate surface color from changing illumination,” Proc. of Asian Conf.
on Computer Vision, Vol. 2, pp. 1026-1031, 2004.

[Lee05]

D.-S. Lee, “Eﬀective Gaussian mixture learning for video backgroundsubtraction,” IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 27, No. 5, pp. 827-832, 2005.

[LH96]

M. Levoy and P. Hanrahan, “Light ﬁeld rendering,” Proc. of SIGGRAPH’96, pp. 31–42, 1996.

[MB95]

L. McMillan and J. Bergen, “Plenoptic modeling: an image-based
rendering system,” Proc. of SIGGRAPH’95, pp. 39–46, 1995.

[MFY+ 09] Y. Mori, N. Fukushima, T. Yendo, T. Fujii and M. Tanimoto, “Viewgeneration with 3D warping using depth information for FTV,” Signal Processing: Image Communication, Vol. 24, No. 1-2, pp. 65-72,
2009.
[MG97]

S. Marschner and D. Greenberg, “Inverse lighting for photography,”Proc. of IS&T/SID Color Imaging Conf., pp. 262-265, 1997.
93

[MK85]

V. Milenkovic and T. Kanade, “Trinocular vision using photometricand edge orientation constraints,” Proc. of DARPA Image Understanding Workshop, pp. 163-175, 1985.

[MKRL86] D. Massart, L. Kaufman, P. Rousseeuw and A. Leroy, “Least median of squares: a robust method for outlier and model error detection in regression and calibration,” Analytica Chimica Acta, Vol. 187,
pp. 171-179, 1986.
[MO99]

T. Mukai and N. Ohnishi, “The recovery of object shape and camera motion using a sensing system with a video camera and a gyro
sensor,” Proc. of Int. Conf. on Computer Vision, Vol. 1, pp. 411-417,
1999.

[Moe97]

S. Moezzi, “Special issue on immersive telepresence,” IEEE MultiMedia, Vol. 4, No. 1, pp. 17-56, 1997.

[NSZ+ 10]

L. Nan, A. Sharf, H. Zhang, D. Cohen-Or and B. Chen, “SmartBoxes for interactive urban reconstruction,” ACM Trans. on Graphics (Proc. of SIGGRAPH2010), Vol. 29, No. 4, pp. 93:1–93:10, 2010.

[NTMH97] T. Naemura, T.Takano, M.Kaneko and H. Harashima, “Ray-based
creation of photo-realistic virtual world,” Proc. of Int. Conf. on Virtual Systems and MultiMedia, pp. 59–68, 1997.
[OOK+ 05] S. Ono, K. Ogawara, M. Kagesawa, H. Kawasaki, M. Onuki,
K. Honda and K. Ikeuchi, “Driving view simulation synthesizing virtual geometry and real images in an experimental mixed-reality traﬃcspace,” Proc. of IEEE and ACM Int. Symp. on Mixed and Augmented
Reality, pp. 214–215, 2005.
[PBEP01] S. Peleg, M. Ben-Ezra and Y. Pritch, “Omnistereo: panoramic stereo
imaging,” IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 23, No. 3, pp. 279-290, 2001.
94

[PMW+ 08] M. Pauly, N. Mitra, J. Wallner, H. Pottmann and L. Guibas, “Discovering structural regularity in 3D geometry,” ACM Trans. on Graphics(Proc. of SIGGRAPH2008), Vol. 27, No. 3, pp. 1-11, 2008.
[RKB04]

C. Rother, V. Kolmogorov and A. Blake, “”GrabCut” - interactive
foreground extraction using iterated graph cuts,” ACM Trans. on
Graphics (Proc. of SIGGRAPH2004), Vol. 23, No. 3, pp. 309-314,
2004.

[SD96]

S. Seitz and C. Dyer, “View morphing,” Proc. of SIGGRAPH’96,
pp. 21–30, 1996.

[SGSS08]

N. Snavely, R. Garg, S. M. Seitz and R. Szeliski, “Finding paths
through the world’s photos,” ACM Trans. on Graphics (Proc. of SIGGRAPH 2008), Vol. 27, No. 3, pp. 11-21, 2008.

[SH99]

H. Shum and L. He, “Rendering with concentric mosaics,” Proc. of
SIGGRAPH’99, pp. 299–306, 1999.

[SHK05]

H. Schmidt, S. Hesse and R. Bernhardt J. Krüger, “HapticWalker-a
novel haptic foot device,” ACM Trans. on Applied Perception, Vol. 2,
No. 2, pp. 166-180, 2005.

[SIY04]

T. Sato, S. Ikeda and N. Yokoya, “Extrinsic camera parameter recovery from multiple image sequences captured by an omni-directional
multi-camera system,” Proc. of European Conference on Computer
Vision, Vol. 2, pp. 326-340, 2004.

[SJH00]Z. Shih, Y. Jaw and M. Hsu, “Virtual roller coaster,” Proc. of IEEE
Virtual Reality, pp. 225-232, 2000.

[SJK03]

J. Song, U. Jung and H. Ko, “Washout algorithm with fuzzy-basedtuning for a motion simulator,” Jour. of Mechanical Science andTechnology, Vol. 17, No. 2, pp. 221-229, 2003.
95

[SSR06]

S. Snavely, S. Seitz and S. Richard, “Photo tourism: exploring
photo collections in 3D,” ACM Trans. on Graphics (Proc. of SIGGRAPH2006), Vol. 25, No. 3, 2006.

[Ste65]

D. Stewart, “A platform with six degrees of freedom,” Proc. of theInstitution of Mechanical Engineers, Vol. 180, No. 15, pp. 371-386,
1965.

[Tec]

SensAble Technologies, “PHANTOM,” http://www.sensable.com/.

[Ter86]

D. Terzopoulos, “Image analysis using multigrid relaxation methods,” IEEE Trans. on Pattern Analysis and Machine Intelligence,Vol. PAMI-8, No. 2, pp. 129-139, 1986.

[TK92]

C. Tomasi and T. Kanade, “Shape and motion from image streams
under orthography: a factorization method,” Int. Jour. of Computer
Vision, Vol. 9, No. 2, pp. 137-154, 1992.

[VH06]

V. Vanijja and S. Horiguchi, “Omni-directional stereoscopic images
from one omni-directional camera,” Jour. of VLSI Signal Processing
Systems, Vol. 42, No. 1, pp. 91-101, 2006.

[Vin07]

L. Vincent, “Taking online maps down to street level,” Computer,Vol. 40, No. 12, pp. 118 - 120, 2007.

[WFC+ 05] G. Welch, H. Fuchs, B. Cairns, K. Mayer-Patel, D. H. Sonnenwald,
R. Yang, A. State, H. Towles, A. Ilie, M. Noland, V. Noel and
H. Yang, “Improving, expanding and extending 3D telepresence,”
Proc. of Int. Workshop on Advanced Information Processing for Ubiquitous Networks, 2005.
[Yah]

Yahoo!, “Flickr,” http://www.flickr.com/.

96

[ZSM99]

L. Zhang, T. Sakurai and H. Miike, “Detection of motion ﬁelds under
spatio-temporal non-uniform illumination,” Image and Vision Computing, Vol. 17, No. 3-4, pp. 309-320, 1999.

[池田 03]

池田聖, 佐藤智和, 横矢直和, “全方位型マルチカメラシステムを用いた高解像度な全天球パノラマ動画像の生成とテレプレゼンスへの応用”, 日本バーチャルリアリティ学会論文誌, Vol. 8, No. 4, pp. 443–450,
2003.
[稲本 02]

稲本奈穂, 斎藤英雄, “サッカーシーンにおける自由視点映像生成のための視点内挿法”, 日本バーチャルリアリティ学会論文誌, Vol. 7,

No. 4, pp. 513-520, 2002.
[岩田 00a]

岩田洋夫, “全方向無限平面を用いたロコモーションインタフェース”,
日本バーチャルリアリティ学会論文誌, Vol. 5, No. 2, pp. 853-862,

2000.
[岩田 00b] 岩田洋夫, 中泉文孝, “凹凸面を呈示するロコモーションインターフェー
ス GaitMaster”, 日本バーチャルリアリティ学会論文誌, Vol. 5, No. 2,

pp. 863-866, 2000.
[運天 05]

運天弘樹, 池内克史, “テクスチャマッピングにおける擬似 albedo に基づく色調補正手法 ―点光源下の画像及び一般光源環境での画像への拡張 ―”, 電子情報通信学会論文誌 (D-II), Vol. J87-D-II, No. 12,

pp. 2156-2164, 2005.
[岡野 09]

岡野裕, 橋本悠希, 梶本裕之, 野嶋琢也, “周辺視野選択的な運動知覚を実現する視覚刺激の提案”, 日本バーチャルリアリティ学会大会論文集, 2009.

[荻野 04]

荻野雅敏, 瀧剛志, 北島章雄, 尾倉芳昌, 宮崎慎也, 長谷川純一, “モーションベースと大型多面スクリーンによるボブスレー体感シミュレー
ター (VR と可視化)(仮想空間内の人物モデル制御)”, 電子情報通信学

97

会技術研究報告, マルチメディア・仮想環境基礎, Vol. 104, No. 390,

pp. 31-35, 2004.
[奥富 92]

奥富正敏, 金出武雄, “複数の基線長を利用したステレオマッチング”,
電子通信学会論文誌, Vol. J-75-D-II, No. 8, pp. 1317-1327, 1992.

[上条 04]

上条俊介, 坂内正夫, “時空間 MRF モデルに基づく車両と歩行者の統
一的トラッキング”, 情報処理学会論文誌, CVIM, Vol. 45, No. SIG13,

pp. 54-63, 2004.
[川上 05]

川上玲, R. Tan, 池内克史, “光源色の違いを利用した単画像からのロバストな物体色推定”, 画像の認識・理解シンポジウム (MIRU2005)
講演論文集, pp. 228-234, 2005.

[神原 05]

神原誠之, 横矢直和, “RTK-GPS と慣性航法装置を併用したハイブ
リッドセンサによる屋外型拡張現実感システム”, 画像の認識・理解
シンポジウム (MIRU) 講演論文集, pp. 933–938, 2005.

[霧生 07]

霧生要一, 北澤仁志, “移動物体抽出における一時静止物体・ゴース
ト・影の統一的処理手法”, 電子情報通信学会技術研究報告, SIP, Vol.

107, No. 22, pp. 7-12, 2007.
[佐藤 93]

佐藤宏介, 井口征士, “空間コード化による距離画像入力”, 電子情報通信学会論文誌 (D), Vol. J68-D, No. 3, pp. 369-375, 1993.

[佐藤 03]

佐藤智和, 神原誠之, 横矢直和, 竹村治雄, “マーカと自然特徴点の追跡による動画像からのカメラ移動パラメータの復元”, 電子情報通信学会論文誌 (D-II), Vol. J86-D-II, No. 10, pp. 1431-1440, 2003.

[佐藤 05]

佐藤智和, 池田聖, 横矢直和, “複数動画像からの全方位型マルチカメ
ラシステムの位置・姿勢パラメータの推定”, 電子情報通信学会論文
誌 (D-II), Vol. J88-D-II, No. 2, pp. 347-357, 2005.

98

[佐藤 07]

佐藤智和, 横矢直和, “画像特徴点の数え上げに基づくマルチベースラ
インステレオ”, 情報処理学会論文誌, Vol. 48, No. SIG16 (CVIM19),

pp. 25-37, 2007.
[島田 07]

島田敬士, 有田大作, 谷口倫一郎, “適応的な分布数の増減法を利用した混合ガウス分布による高速な動的背景モデル構築”, 電子情報通信学会論文誌 (D), Vol. J90-D, No. 9, pp. 2606-2614, 2007.

[妹尾 09]

妹尾武治, “効率的なベクション駆動に関する知見と脳イメージング研
究から得られたベクションの知見の VR コンテンツへの活用可能性”,
日本バーチャルリアリティ学会論文誌, Vol. 14, No. 4, pp. 481-490,

2009.
[高桑 09]

高桑義直, 粟屋伊智郎, 後藤真弘, 久保壮, 岡田卓三, 岡田幸一郎, “シミュレータ酔い低減を目指したドライビングシミュレータの開発”, 三菱重工技法, Vol. 46, No. 3, pp. 38-42, 2009.

[高橋 01]

高橋拓二, 川崎洋, 池内克史, 坂内正夫, “全方位画像を用いた広域環境の自由視点レンダリング”, 情報処理学会論文誌, Vol. 42, No.

SIG13(CVIM3), pp. 99–109, 2001.
[田所 01]

田所諭, 村田理絵, 松島俊之, 村尾良男, 甲川秀明, M. Hiller, “パラレルケーブル駆動アーキテクチャによるモーションベースの提案”, 日
本バーチャルリアリティ学会論文誌, Vol. 6, No. 1, pp. 57–63, 2001.

[土田 04]

土田勝, 川西隆仁, 村瀬洋, 高木茂, “背景差分法による物体検出を目的とした逐次モンテカルロ法による背景推定”, 電子情報通信学会論
文誌 (D-II), Vol. J87-D-II, No. 5, pp. 1062-1070, 2004.

[鶴原 06]

鶴原亜紀, 金子寛彦, “姿勢制御と知覚に対する広視野刺激の傾きの影
響”, VISION, Vol. 18, No. 2, pp. 81-90, 2006.

[仲西 94]

仲西正, 塩昭夫, 石井健一郎, “時空間画像処理による走行車両像自動抽出法”, 電子情報通信学会論文誌 (D-II), Vol. J77-D-II, No. 9,99pp. 1716-1726, 1994.
[野間 99]

野間春生, 宮里勉, 中津良平, “能動的歩行動作に対応した歩行感覚提示装置の開発”, 日本バーチャルリアリティ学会論文誌, Vol. 4, No. 2,

pp. 407-415, 1999.
[日浦 97]

日浦慎作, 山口証, 佐藤宏介, 井口征士, “動距離画像の計測と生成による任意形状物体の実時間追跡”, 電子情報通信学会論文誌 (D-II), Vol.

J80-D-II, No. 6, pp. 1539-1546, 1997.
[福地 08]

福地功, 山下淳, 金子透, 三浦憲二郎, “時空間画像処理による雨天時
画像からの視野妨害ノイズ除去”, 映像情報メディア学会誌, Vol. 62,

No. 5, pp. 771-777, 2008.
[藤井 95]藤井俊彰, 木藤英二, 金子正秀, 原島博, “3 次元統合画像通信を目指したホログラムと光線空間の相互変換”, 3 次元画像コンファレンス 講
演論文集, pp. 220–225, 1995.

[堀 07]

堀磨伊也, 神原誠之, 横矢直和, “被写体距離を考慮した Image-Based

Rendering による広域屋外環境のステレオ画像生成”, 電子情報通信学
会技術研究報告, Vol. PRMU2006-185, , 2007.

[松宮 02]

松宮一道, “両眼視野闘争研究の進展”, VISION, Vol. 14, No. 4,

pp. 151-164, 2002.
[三池 08]

三池秀敏, 長篤志, 三浦一幸, 杉村敦彦, “一般化勾配法によるオプティ
カルフローの検出: 不均一照明下での物体運動の計測”, 情報処理学
会論文誌, CVIM, Vol. 49, No. SIG6 (CVIM20), pp. 1-12, 2008.

[三木 92]

三木一生, “ドライビングシミュレータにおける加速度感覚模擬技術”,
日本ロボット学会誌, Vol. 10, No. 7, pp. 878-884, 1992.

[山口 01]

山口晃一郎, 山澤一誠, 竹村治雄, 横矢直和, “全方位動画像を用いた両眼ステレオ画像の実時間生成によるテレプレゼンス”, 電子情報通信学会論文誌 (D-II), Vol. J84-D-II, No. 9, pp. 2048–2057, 2001.

100

[山本 05]

山本治由, 塚田正人, 北原格, 亀田能成, 大田友一, “屋外型複合現実感システムにおけるカメラ間の色補正”, 電子情報通信学会技術研究報
告, MVE, Vol. 105, No. 256, pp. 49-54, 2005.

101

研究業績
学術論文誌
1. 堀磨伊也, 神原誠之, 横矢直和, “低自由度モーションベースと没入型ディスプレイを用いた慣性力の再現によるテレプレゼンスシステムの構築”, 日本
バーチャルリアリティ学会論文誌, Vol.16 No.2, 2011 (第 4 章に関連)

国際会議
1. M. Hori, M. Kanbara, and N. Yokoya, “Novel stereoscopic view generation
by image-based rendering coordinated with depth information”, Proc. of
Scandinavian Conf. on Image Analysis (SCIA2007), pp. 193-202, 2007. (第3 章に関連)2. M. Hori, M. Kanbara, and N. Yokoya, “Telepresence system with inertial
force sensation using omnidirectional video and motion chair”, Proc. of
Korea-Japan Workshop on Mixed Reality (KJMR2008), 2008. (第 4 章に関連)

3. M. Hori, M. Kanbara, and N. Yokoya, “Telepresence system for outdoor
scene with glassless stereoscopic display”, Proc. of Paciﬁc-Rim Symposium
on Image and Video Technology (PSIVT2009), Demonstration, 2009. (第 3章に関連)

4. M. Hori, M. Kanbara, and N. Yokoya, “MR telepresence system with inertial
force sensation using a motion platform and an immersive display”, Proc.
of IEEE Symposium on 3D User Interfaces (3DUI2009), pp. 133-134, 2009.
(第 4 章に関連)
5. M. Hori, M. Kanbara, and N. Yokoya, “A mixed reality telepresence systemwith limited DOF motion base and immersive display”, Proc. of Int. Conf.

102

on Advances in Computer Entertainment Technology (ACE2009), 2009. (第4 章に関連)6. M. Hori, M. Kanbara, and N. Yokoya, “Arbitrary stereoscopic view generation using multiple omnidirectional image sequences”, Proc. of IAPR Int.
Conf. on Pattern Recognition (ICPR2010), 2010. (第 3 章に関連)
7. I. Arai, M. Hori, N. Kawai, Y. Abe, M. Ichikawa, Y. Satonaka, T. Nitta, T.
Nitta, H. Fujii, M. Mukai, S. Horimi, K. Makita, M. Kanbara, N. Nishio, andN. Yokoya, “Pano UMECHIKA: A crowded underground city panoramicview system”, Proc. of Int. Symp. on Distributed Computing and Artificial
Intelligence (DCAI2010), 2010.
8. M. Hori, H.Takahashi, M. Kanbara, and N. Yokoya, “Removal of moving objects and inconsistencies in color tone for an omnidirectional image
database”, Proc. of ACCV2010 Workshop on Application of Computer Vision for Mixed and Augmented Reality (ACVMAR2010), 2010. (第 2 章に関連)研究会・シンポジウム
1. 堀磨伊也, 神原誠之, 横矢直和, “被写体距離を考慮した Image-Based Rendering による広域屋外環境のステレオ画像生成”, 電子情報通信学会 技術研究報告, PRMU2006-185, 2007. (第 3 章に関連)

2. 堀磨伊也, 神原誠之, 横矢直和, “Image-Based Rendering による広域屋外環
境のステレオ画像提示”, 画像の認識・理解シンポジウム (MIRU2007) 講演
論文集, pp. 451-452, 2007. (第 3 章に関連)

3. 堀磨伊也, 神原誠之, 横矢直和, “被写体距離を考慮した Image-Based Rendering による広域屋外環境の両眼ステレオ画像生成”, 画像の認識・理解シンポジウム (MIRU2007) 講演論文集, pp. 303-309, 2007. (第 3 章に関連)

103

4. 堀磨伊也, 神原誠之, 横矢直和, “裸眼立体視ディスプレイによる屋外環境の
全周立体映像提示”, 画像の認識・理解シンポジウム (MIRU2008) 講演論文集, pp. 1680-1681, 2008. (第 3 章に関連)

5. 堀磨伊也, 神原誠之, 横矢直和, “テレプレゼンスにおけるモーションベース
と没入型ディスプレイを用いた慣性力の再現”, 電子情報通信学会 技術研究
報告, PRMU2008-190, 2009. (第 4 章に関連)

6. 堀磨伊也, 神原誠之, 横矢直和, “複数経路で撮影された全方位動画像を用いた全周ステレオ画像生成”, 画像の認識・理解シンポジウム (MIRU2009) 講
演論文集, 2009. (第 3 章に関連)

7. 高橋英之, 堀磨伊也, 神原誠之, 横矢直和, “全天球画像データベース作成のための色調統一と動物体の除去”, 電子情報通信学会 技術研究報告, MVE2009-40, 2009. (第 2 章に関連)
8. 新井イスマイル, 堀磨伊也, 河合紀彦, 安部陽平, 市川昌宏, 里中祐輔, 新田
竜規, 新田知之, 藤井陽光, 向井政貴, 堀見宗一郎, 牧田孝嗣, 神原誠之, 西尾信彦, 横矢直和, “人が消える地下街パノラマビューアの開発”, マルチメディ
ア、分散、協調とモバイルシンポジウム (DICOMO2010) 講演論文集, 2010.

9. 高橋英之, 堀磨伊也, 神原誠之, 横矢直和, “全天球画像データベース作成のための動物体除去と色調統一”, 画像の認識・理解シンポジウム (MIRU2010)
講演論文集, 2010. (第 2 章に関連)

10. 堀磨伊也, 河合紀彦, 神原誠之, 新井イスマイル, 西尾信彦, 横矢直和, “パノラマビューシステムのためのプライバシー保護を考慮した全天球画像生成”,
情報処理学会 研究報告 CVIM173-6, 2010.

全国大会
1. 堀磨伊也, 神原誠之, 横矢直和, “任意経路で撮影された全方位画像群からのステレオ画像生成”, 情報科学技術フォーラム (FIT)104

一般講演論文集,

Vol. 3, pp. 5-6, 2006. (第 3 章に関連)
2. 堀磨伊也, 神原誠之, 横矢直和, “複数の任意経路で撮影された全方位画像群
からのステレオ画像生成”, 情報科学技術フォーラム (FIT)

一般講演論文集, Vol. 3, pp. 171-174, 2007. (第 3 章に関連)

3. 堀磨伊也, 神原誠之, 横矢直和, “モーションチェアと没入型ディスプレイを用いたテレプレゼンスのための慣性力の再現”, 日本バーチャルリアリティ学会第 13 回大会論文集, pp. 152-155, 2008. (第 4 章に関連)

4. 高橋英之, 堀磨伊也, 神原誠之, 横矢直和, “全天球画像データベース作成のための照明条件の統一と動物体の除去”, 情報科学技術フォーラム (FIT)
一般講演論文集, Vol. 3, pp. 175-178, 2009. (第 2 章に関連)

表彰
1. マルチメディア、分散、協調とモバイルシンポジウム (DICOMO2010) 優秀
論文賞．2010 年 8 月

105