NAIST-IS-MT1151081

修士論文

視覚的な自然さを考慮した
カメラ位置指示機能を有する実物体のインタラクティブ仮想化システム

野口 悠2014 年 3 月 13 日

奈良先端科学技術大学院大学
情報科学研究科 情報科学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
野口 悠

審査委員：
横矢 直和 教授

（主指導教員）加藤 博一 教授

（副指導教員）佐藤 智和 准教授

（副指導教員）中島 悠太 助教

（副指導教員）視覚的な自然さを考慮した
カメラ位置指示機能を有する実物体のインタラクティブ仮想化システム ∗
野口 悠

内容梗概
近年，Web 上で 3 次元モデルを用いて商品を紹介する 3D カタログや，部屋の間取りに合わせて家具を自由に配置する家具配置シミュレーションなど，実物体の 3 次元モデルを用いた様々な拡張現実感技術のアプリケーションが提案されている．これに伴い，専門知識を持たない一般のユーザでも手軽に実物体の仮想化を実現できる手法が求められている．これに対して，実物体を撮影した複数の静止画像や動画像から実物体を仮想化する手法が広く研究されている．しかし，これらの手法は，仮想化の結果が撮影位置に大きく依存する場合が多い一方で，どの位置から撮影すると視覚的に自然な仮想化実物体が得られるのかが直感的に分かりにくいという問題がある．また，植物や毛髪などの微細な形状を含む実物体の自然な仮想化は困難である．本研究では，これらの微細な形状を含む実物体を視覚的に自然な画像として仮想空間内に再現することを目指し，ハンドヘルドカ
メラによって対象を撮影することで一般ユーザでも手軽に物体を仮想化できるイ
ンタラクティブ仮想化システムを提案する．提案システムは，生成される自由視
点画像の自然さに関する指標を撮影された複数の画像間の整合性に基づいて定義
し，どこを撮影したらより視覚的に自然な画像が得られるかを，リアルタイムでユーザに提示することで，手軽な仮想化を実現する．また，物体形状を視点方向∗

奈良先端科学技術大学院大学 情報科学研究科 情報科学専攻 修士論文, NAIST-IS-MT1151081,
2014 年 3 月 13 日.

iに依存して方向の変化する微小平面の集合で近似し，撮影画像をテクスチャとして貼り付けることにより，微細な形状の自然な仮想化を実現する．本論文では，
主観的評価実験を行うことで，システムの有用性を検証する．

キーワード
インタラクティブ仮想化システム，拡張現実感, 仮想化実物体，自由視点画像生成，視体積交差法ii

An Interactive System for Virtualizing
a Real Object with Camera Position
Suggestion Considering Visual Naturalness∗
Yu Noguchi

Abstract
Recently, applications of the augmented reality (AR) technology that use 3Dmodels of real objects have become popular. Such AR applications include AR
catalogues that showcase products by their 3D models and virtual furniture arrangement that can virtually arrange pieces of furniture freely in a room. These
applications strongly motivate ordinary users to virtualize real objects without
any special skills of 3D modeling. To this end, methods have been proposed that
virtualize a real object automatically from multiple images capturing it. In thesemethods, the resulting quality of virtualized real objects largely depends on thecamera positions where the images are captured. However, it is diﬃcult for users
to find camera positions that give a visually natural virtualization. Also, it ishard to virtualize fine shapes such as plants and hairs with these methods. In
this work, aiming to virtualize an object with fine shape so that its rendered
images can be visually natural, we propose an interactive system for virtualizinga real object by capturing it with a hand-held camera. To gain visually naturalvirtualization, we define a metric of the visual naturalness of rendered images
based on the consistency among captured images. The proposed system suggests
the user the camera position that improves the visual naturalness in real-time∗

Master’s Thesis, Department of Information Science, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT1151081, March 13, 2014.

iii

based on the metric. In addition, fine shapes are approximated using small facetsthat change their directions depending on the viewpoint, which enables us to render fine shapes naturally by mapping textures to the facets. We experimentallydemonstrate the usefulness of the proposed system based on subjective evaluation.

Keywords:
Interactive virtualizing system, Augmented reality, Virtualized real object, Freeviewpoint image generation, Shape from silhouetteiv

目次
1. はじめに1

2. 関連研究4

実物体の仮想化手法に関する研究 . . . . . . . . . . . . . . . . . .

4

2.1.1

3 次元モデル構築手法 . . . . . . . . . . . . . . . . . . . . .

4

2.1.2

イメージベースによる実物体の仮想化手法 . . . . . . . . .

7

2.2

インタラクティブな仮想化システムの関連研究 . . . . . . . . . . .

11

2.3

本研究の位置付けと方針 . . . . . . . . . . . . . . . . . . . . . . .

12

2.1

3. カメラ位置指示機能を有する実物体のインタラクティブ仮想化システム 143.1

提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

3.2

カメラ位置・姿勢推定 . . . . . . . . . . . . . . . . . . . . . . . .

15

3.3

前景領域抽出 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

3.4

視体積交差法による 3 次元ボクセルモデルの更新 . . . . . . . . .

21

3.5

生成される画像の自然さに関する指標の計算 . . . . . . . . . . . .

23

3.6

任意視点画像のプレビュー表示とカメラ位置指示 . . . . . . . . .

26

4. 実験

30

4.1

実験環境と概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

4.2

仮想化結果

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

4.3

考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

46

5. 被験者による主観的評価実験と考察

49

5.1

評価方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

49

5.2

評価結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

5.3

考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

55

6. まとめ

56

参考文献

58

v

図目次
1

レーザレンジファインダによる 3 次元復元 [14] の例 . . . . . . . .

5

2

マルチビューステレオ法 [3] により生成された 3 次元モデルの例 .

6

3

GrabCut [15] による前景抽出の例 . . . . . . . . . . . . . . . . . .

6

4

変型ビルボードによる協調作業システム [25] . . . . . . . . . . . .

95

視点依存テクスチャ法 [8]. . . . . . . . . . . . . . . . . . . . . .

10

6

Prince ら [29] の手法 . . . . . . . . . . . . . . . . . . . . . . . . .

11

7

不殿らのシステム [7] のモデリング例 . . . . . . . . . . . . . . . .

12

8

Bastian ら [6] の手法 . . . . . . . . . . . . . . . . . . . . . . . . .

139

提案手法の概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

10

提案システムで用いるマーカベースのカメラ位置・姿勢推定のためのマーカ（上）と対象物体の設置例（下） . . . . . . . . . . . .

18

11

マーカ上のサンプル点 . . . . . . . . . . . . . . . . . . . . . . . .

19

12

前景領域抽出の例 . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

13

シルエット制約 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

14

ボクセルモデルの推定 . . . . . . . . . . . . . . . . . . . . . . . .

23

15

点 p̂k に対する画像 In を撮影したカメラ Cn の選択基準 . . . . . .

24

16

撮影指示位置の候補. . . . . . . . . . . . . . . . . . . . . . . . .

26

17

マーカの回転 (i) . . . . . . . . . . . . . . . . . . . . . . . . . . . .

28

18

カメラの上下移動 (ii) . . . . . . . . . . . . . . . . . . . . . . . . .

2819

経度方向の指示 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2920

緯度方向の指示 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

29

21

モデリングシステムの画像 . . . . . . . . . . . . . . . . . . . . . .

29

22

利用環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

23

対象物体 A. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

24

対象物体 B . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

25

対象物体 C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

26

対象物体 D. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

27

対象物体 E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

vi

28

対象物体 A に対するカメラパス (上) と視点依存テクスチャのために取得された画像 (下)(180 秒間撮影時) . . . . . . . . . . . . . . .

29

対象物体 B に対するカメラパス (上) と視点依存テクスチャのために取得された画像 (下) . . . . . . . . . . . . . . . . . . . . . . . .

30

36

対象物体 D に対するカメラパス (上) と視点依存テクスチャのために取得された画像 (下)(180 秒間撮影時) . . . . . . . . . . . . . . .

3235

対象物体 C に対するカメラパス (上) と視点依存テクスチャのために取得された画像 (下) . . . . . . . . . . . . . . . . . . . . . . . .

31

34

37

対象物体 E に対するカメラパス (上) と視点依存テクスチャのために取得された画像 (下) . . . . . . . . . . . . . . . . . . . . . . . .

38

33

対象物体 A の仮想化結果 (180 秒間撮影時) . . . . . . . . . . . . .

39

34

対象物体 B の仮想化結果 . . . . . . . . . . . . . . . . . . . . . . .

39

35

対象物体 C の仮想化結果 . . . . . . . . . . . . . . . . . . . . . . .

4036

対象物体 D の仮想化結果 (180 秒間撮影時) . . . . . . . . . . . . .

4037

対象物体 E の仮想化結果 . . . . . . . . . . . . . . . . . . . . . . .

41

38

対象物体 A に対するカメラパス (上) と視点依存テクスチャのために取得された画像 (下)(画像 30 枚取得時) . . . . . . . . . . . . . .

39

43

対象物体 D に対するカメラパス (上) と視点依存テクスチャのために取得された画像 (下)(画像 30 枚取得時) . . . . . . . . . . . . . .

4440

対象物体 A の仮想化結果 (画像 30 枚取得時) . . . . . . . . . . . .

45

41

対象物体 D の仮想化結果 (画像 30 枚取得時) . . . . . . . . . . . .

4542

物体 A に対する任意視点画像のぼけの例 . . . . . . . . . . . . . .

46

43

物体 B に対する任意視点画像のぼけの例 . . . . . . . . . . . . . .

4644

色が付与されない例. . . . . . . . . . . . . . . . . . . . . . . . .

47

45

物体 C の黒領域が削除される例 . . . . . . . . . . . . . . . . . . .

47

46

物体 D の黒領域が削除される例 . . . . . . . . . . . . . . . . . . .

47

47

物体 E の白領域が削除される例 . . . . . . . . . . . . . . . . . . .

48

48

実験の説明

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

50

49

評価アンケート用紙 1 枚目 . . . . . . . . . . . . . . . . . . . . . .

51

vii

50

評価アンケート用紙 2 枚目 . . . . . . . . . . . . . . . . . . . . . .

52

51

アンケート結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

52

撮影結果に対する満足度の平均・標準偏差 (左) と撮影時間の平均・標準偏差 (右) . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

viii

54

表目次
1

実験に用いた PC の仕様 . . . . . . . . . . . . . . . . . . . . . . .

30

2

実験で用いたパラメータ . . . . . . . . . . . . . . . . . . . . . . .

31ix

1. はじめに
近年，Web 上で 3 次元モデルを用いて商品を紹介する 3D カタログ [1] や，拡張現実感技術を利用して部屋の間取りに合わせて家具を自由に配置する家具配置
シミュレーション [2] など，実物体の 3 次元モデルを用いた様々なアプリケーションが提案されている．多くの場合，利用される 3 次元モデルは関連する知識や技術を持つ熟練者によって手作業で作成される．しかし，これらのアプリケーションが広く普及するに伴い，専門知識を持たない一般のユーザでも実物体を手軽に，高品質に仮想化することで，視覚的に自然な任意視点画像を生成する手法に対する需要が高まっている．
実物体の仮想化手法として，カメラで撮影した複数の画像から 3 次元モデルを作成する手法が提案されている [3–5]．これらの手法は一般のユーザでも利用可
能ではあるが，全ての画像を撮影したのちに 3 次元モデルをバッチ処理により構築するため，どこから撮影したらより正確な 3 次元モデルが得られるかをユーザに対してフィードバックすることができない．このため，多数の画像の撮影や再撮影が必要となるなどの問題から，一般のユーザが手軽に実物体を仮想化できるとは言い難い．
この問題に対して，画像を撮影する際に，3 次元モデルをリアルタイムで逐次的に構築し，ユーザに対してフィードバックを与えることにより，適切な枚数の画像を再撮影なく仮想化するインタラクティブシステムが提案されている [6, 7]．

Bastian らは，撮影時点での 3 次元モデルをユーザにフィードバックとして提示
するシステムを提案した [6]．不殿らのシステムでは，Bastian らのシステムと同様に撮影時点での 3 次元モデルをプレビューとしてユーザに提示するとともに，ユーザが持つカメラを未撮影位置まで明示的に誘導する手法を導入した [7]．
これらのインタラクティブ仮想化システムでは，リアルタイムで逐次的な 3 次
元モデル構築のために視体積交差法が利用される．この手法は実物体の Visual

Hull を求めるものであり，詳細な形状を取得することができない．このため，既存のシステムでは得られた 3 次元モデルに対してテクスチャを付与することにより詳細な形状を表現する．不殿らのシステムでは，対象をボクセルモデルとして復元し，各ボクセルの色を撮影画像上の対応する色の平均色とすることで，テク1

スチャを付与している．しかし，この場合，高精度な形状復元が難しい．微細な形状や複雑な形状については，正しいテクスチャを再現できない．Bastian らのシステムでは，視点依存テクスチャ[8] を利用することにより，視点移動に対しても視覚的に自然な任意視点画像が生成可能である．
本論文では，視点依存テクスチャを利用した任意視点画像の生成のための実物体のインタラクティブ仮想化システムを提案する．提案システムは，不殿らのシステムと同様に，ユーザの持つカメラを明示的に誘導することにより，手軽に高品質な仮想化を目指す．提案システムの課題として以下の二点が挙げられる．

1. 仮想化結果のプレビューは，生成される任意視点画像の品質を確認するために不可欠であるが，既存のシステムでは，撮影時点において詳細なテクス
チャを付与したものが提示されないため，実物体の仮想化結果のプレビュー
としては不十分である．提案システムでは，視点依存テクスチャを利用した任意視点画像を撮影時点での仮想化結果のプレビューとして提示する必要がある．

2. 視点依存テクスチャを利用する場合には，生成される任意視点画像の視覚的な自然さは，対象となる実物体の形状とテクスチャとして利用される画像の撮影位置に依存すると考えられることから，カメラ位置を明示的に誘導する際の基準として不殿らのシステムで利用される評価基準は不十分である．
提案システムでは，1. の課題に対して微小平面を利用したレンダリング手法 [9] を利用することにより，撮影時点での仮想化結果をリアルタイムで生成する．これにより，プレビューの提示を可能にするとともに，毛髪などの微細な形状を含む
実物体の高品質な仮想化が期待される．また，2. の課題については，テクスチャに基づいて生成される任意視点画像の視覚的自然さに関する基準を定義すること
により，視点依存テクスチャの利用に適したカメラ位置の誘導を実現する．
以下，2 章では，実物体の仮想化に関する従来手法とその問題点について述べ，本研究の方針を述べる．3 章では，提案するインタラクティブ仮想化システムの概要とシステムの各処理について詳述する．4 章では，提案システムを用いた実2

物体の仮想化について実験的に考察する．5 章では，一般利用者による提案シス
テムを用いた仮想化実験を行い，システムの有用性を確認する．最後に 6 章で，
本論文のまとめと今後の課題について述べる．

3

2. 関連研究
本章では，実物体の仮想化手法に関する従来研究を概観するとともに，特にインタラクティブな仮想化システムの従来研究について述べたうえで，本研究の位置付けを明確にする．

2.1 実物体の仮想化手法に関する研究
実物体の仮想化手法として，対象の 3 次元モデルを構築し，このモデルのみに基づいて対象の任意視点画像を生成するモデルベース手法と，対象を撮影した多数の画像のみを利用して任意視点画像を生成するイメージベース手法が提案されている．さらに，イメージベース手法を基に対象の 3 次元形状を利用することにより，モデルベース手法とイメージベース手法の利点を併せ持つ手法が近年広く研究されている．ここでは，モデルベース手法，および 3 次元形状を利用したイ
メージベース手法において必要となる 3 次元モデルの構築手法について述べ，続いてイメージベース手法について紹介する．

2.1.1 3 次元モデル構築手法
拡張現実感技術 (AR) や仮想現実感技術 (VR) への応用を想定した場合，熟練した専門家による手作業での 3 次元モデル構築が広く採用されている [10,11]．これは専門的な技術が要求されるものであることから，本節では特に自動，もしくは半自動で 3 次元モデルの構築が可能な手法について述べる．このような 3 次元
モデル構築手法は，対象に光や電波などを照射してその反射から形状を計測する
能動的な手法と，対象を撮影した画像から形状を推定する受動的な手法がある．
能動的な手法を用いれば，比較的高精度な 3 次元モデルを獲得可能であるが，光や電波を照射するための特殊な機材が必要である．一方，受動的な手法では，現在広く普及しているデジタルカメラやビデオカメラを利用して対象の実物体を撮影することにより手軽に 3 次元モデリングが可能である．以下では，これらの手法の特徴と問題点について詳述する．

4

図 1: レーザレンジファインダによる 3 次元復元 [14] の例
能動的な 3 次元モデル構築手法として，プロジェクタ等を用いたアクティブス
テレオ法 [12, 13] や，レーザレンジファインダを用いた手法 [14] が提案されている．塚本らは，プロジェクタ等によってスリット光を対象に照射し，近接する位置に設置したカメラでスリット光の位置を検出して三角測量の原理によって対象の 3 次元形状を奥行き画像として取得する手法を提案した [12]．この手法は，ス
リット光の照射位置を変更しながら計測するため，実物体全体の 3 次元モデルの構築には時間を要する．これに対して Kawasaki らの手法では，投影方向を特定するために特定のパターン光をプロジェクタから対象に対して照射することにより，一回の投影で広範囲の 3 次元形状を計測可能である [13]．レーザレンジファイン
ダを用いた手法では，対象に対してレーザ光を照射し，反射光が装置に到達するまでの時間を計測することにより，対象物体までの距離を測定する [14]．レーザ
光を 2 次元走査することで，対象物体までの距離を表す奥行き画像を生成し，これに基づいて対象の 3 次元モデルを作成する（図 1）．これらの手法は，物体の形状を高精度に取得可能である反面，プロジェクタやレーザレンジファインダ等が必要なため，一般のユーザにとって手軽な手法とは言い難い．
一般に普及したカメラを利用した受動的な 3 次元モデル構築手法として，ステ
レオ法や視体積交差法が提案されている [3–5]．ステレオ法は，異なる位置から撮影された複数の画像から形状を推定し，3 次元モデルを構築する手法である．利用する画像が 3 枚以上の場合は特にマルチビューステレオ法と呼ばれる [3]（図 2）．

5図 2: マルチビューステレオ法 [3] により生成された 3 次元モデルの例

図 3: GrabCut [15] による前景抽出の例
ステレオ法に基づく手法は，三角測量の原理に基づいて画像上の点の奥行き値を求めるため，それぞれの画像を撮影したカメラの位置，および画像間の対応点の探索が必要である．カメラ位置については，複数の画像からカメラパラメータを推定する Structure-from-Motion (SfM) 法を利用することにより与えられる [4]．
一方で，画像間の対応点の探索は，特徴的なテクスチャの無い領域では困難であることから，推定される 3 次元形状には誤差が多く含まれるという問題がある．
視体積交差法は，2 次元のシルエット画像から対象の 3 次元モデルを構築する手法である [5]．これは，任意の視点におけるシルエットを実空間に投影した視体積中に対象が含まれる，というシルエット制約に基づくものである．複数の撮影位置で取得した画像から対象のシルエットを抽出し，それぞれの視体積の共通部分を求めることにより，物体の 3 次元モデルを推定する．視体積の共通部分はVisual Hull と呼ばれ，対象を囲む凸な形状のみを表現可能である．このため，対象の微細な凹凸を再現できない．シルエットの抽出には，背景モデルに基づく背景差分法や GrabCut [15] などのインタラクティブな手法が利用される（図 3）．

6これらの手法により得られる 3 次元モデルは，モデルベースな実物体の仮想化で利用可能である．前述のように，能動的な手法は一般ユーザにとって手軽なものとは言い難い．一方で，受動的な手法によって得られる 3 次元モデルは，実際の形状やテクスチャからの誤差が含まれるため，視覚的に自然な任意視点画像生成が困難である．

2.1.2 イメージベースによる実物体の仮想化手法
イメージベースの手法は，対象の 3 次元形状を明示的に復元することなく，物体やシーンを撮影した入力画像群を変形・合成することにより任意視点画像を生成する．この手法では，対象物体の形状などを直接的に利用しないため，モデル
ベースの手法では正確な 3 次元形状の推定が難しい複雑な形状を持つ物体に対しても，写実的な任意視点画像を生成可能である．以下では，イメージベースの手法を，画像群を直接変形・合成することで任意視点画像を生成するアプローチと，光線情報を用いるアプローチに大別し，それぞれの手法の特徴を述べた上で，本研究で想定するアプリケーションである AR や仮想現実感技術 (VR) への応用例を紹介する．
画像群を直接変形・合成することで任意視点画像を生成するアプローチとして，ワーピングやモーフィングと呼ばれる手法 [16, 17] が提案されている．これらの手法は，入力となる複数の画像間で対応点を与え，仮想視点位置において対応点
がどの位置に表れるかを計算し，入力画像を変形させることで任意視点画像を生成する．冨手ら [18] は，複数の全方位画像からの自由視点画像をモーフィングによって生成し，ウォークスルー環境を構築した．稲本ら [19] は，事前に多視点カ
メラから撮影したサッカーシーンに対して自然特徴点の対応付けによるモーフィ
ングで任意視点画像を生成している．これらの手法は，手動で対応点を与えるだ
けで簡単に任意視点画像を生成できるという特徴があるが，3 次元形状に関する情報を用いないため，物体の隠蔽関係を正しく再現することが困難である．また，

3 次元形状を用いない入力画像の変形により，自由視点画像を生成するため，視点移動に伴って生成画像上で幾何学的な歪みが発生しやすい．
光線情報を用いるアプローチとして，Plenoptic Function [20]，光線空間法 [21]，7Light Field Rendering [22]，Lumigraph [23] 等の手法が提案されている．これらの手法は，空間中を伝搬する光線を記録し，任意の視点位置において視界画像面
を通過する光線をリサンプリングすることで画像を生成する．Adelson らの提案した Plenoptic Function [20] は，視点の座標，光線の向き，波長，および時間から構成される 7 次元のデータを用いることで空間中の全ての光線を記述する．ただし，7 次元のデータを取得するためには膨大な量の画像が必要となり，現実的に全てのデータを収集することは難しい．これに対して Naemura らは，より低い次元の情報で空間を記述することで任意視点の画像を効率的に再構築する光線空間法と呼ばれる手法を提案した [21]．光線空間法は，空間を伝搬する光線は減衰・変移しないと仮定し，Plenoptic Function の 7 次元の光線情報から奥行き方
向，波長，および時間を減らし，各光線を 4 次元の関数で表現することで取得すべき画像の量を大幅に削減した．Levoy ら，および Gortler らは，同時期に Light

Field Rendering [22]，および Lumigraph [23] という手法をそれぞれ提案した．光線空間法が任意の平面上の位置と向きにより決定される光線を記述したのに対して，これらの手法は 2 つの平行した平面上の点の組み合わせにより光線を表現することで効率的なレンダリングを可能にした．光線情報を用いるアプローチは，
基本的には撮影された環境全体を対象として任意視点画像を生成可能である．
これら光線情報を用いるアプローチの応用として，撮影された環境内の特定の物体の自由視点画像を生成する Image-Based Visual Hull が提案されている [24]．
この手法はある視点における画像面の各画素に対して，任意視点画像を生成するための仮想カメラの光学中心とその画素を結ぶ直線が対象物体の Visual Hull を貫通するか否かを判定することにより任意視点画像を生成する．
これらの光線情報を用いるアプローチを AR へ応用した例として，南谷らの変型ビルボードを幾何形状に用いたイメージベースドレンダリングによる，遠隔地の人物との協調作業システムが挙げられる [25]（図 4）．この手法では，相手の映像をビルボード上にマッピングすることで，ユーザの視点位置にある程度の制
約はあるものの，写実的な任意視点画像を提示可能である．光線情報を用いるア
プローチにおいては一般に，高品位な自由視点画像を生成するためには大量の画像が必要であり，そうでない場合には視点移動に伴って任意視点画像中に歪みが8

図 4: 変型ビルボードによる協調作業システム [25]生じるという問題が存在する．
この問題に対して，イメージベースの手法を基に，対象の 3 次元形状を利用することで，歪を低減させる手法が広く研究されている．Debevec らは，図 5 に示すように事前に生成した簡易的な 3 次元モデルに対して，実環境の画像から仮想視点に近い見え方の画像を選択してテクスチャマッピングを行う視点依存テクス
チャ法を提案した [8]．山崎らは，物体の 3 次元形状を視線方向に依存して方向が変化する微小平面の集合で近似し，実画像をテクスチャとして貼り付けることにより，複雑な形状の物体の任意視点画像を写実的に，かつ高速に生成する手法を提案した [9]．また，高橋らは，固定された二次元カメラアレイを用いて取得した多眼画像を元に，対象環境の奥行き値を複数枚の平面で仮定した奥行きレイヤ
モデルを用いて推定することで，自由視点画像の実時間生成が可能な手法を提案
した [26]．この手法は，オフラインでの事前準備を伴わず，動的なシーンを扱うことができる．伊吹らは，オフライン処理で全方位の映像と奥行き値を算出・蓄積しておき，オンライン処理で 3 次元モデルの時間的・空間的な連続性とテクス
チャの幾何学的・光学的な連続性を考慮した 3 次元モデルの生成とテクスチャの選択を行うことで，自由視点画像上に生じるテクスチャの不連続な変形や位置ずれに起因する歪みを低減した [27]．これらの手法は，視点移動に伴う歪みが少ない任意視点画像が生成可能である．Chaurasia らは，3 次元モデルの自動構築手

9

(a) 3 次元モデル(b) レンダリング結果

図 5: 視点依存テクスチャ法 [8]法 [3] を用いて対象の 3 次元形状を取得したうえで，3 次元形状の推定が不十分な領域を補完したのち入力画像をワーピングすることにより，3 次元モデルの自動構築手法の誤差の影響を低減する手法を提案した [28]．

3 次元形状を利用したイメージベースの仮想化手法を AR へ応用した研究として，Prince らは複数のビデオカメラから人物を撮影し，ユーザの視点位置の近傍のカメラによる Visual Hull と Photo-Consistency を計算した上で，任意視点での拡張現実画像の生成を実現した [29]（図 6）．
本節で紹介した，特に 3 次元形状を利用したイメージベースの実物体仮想化手法は，モデルベースの手法と比較して生成される任意視点画像の画質の点で優れている．さらに，3 次元形状を利用しないイメージベース手法と比べて，要求される画像数が少ないため，一般のユーザにとっても負担の少ないものであると考えられる．一方で，対象の 3 次元形状と必要な画像群が入力されたのちに任意視点画像が生成されるため，画像の撮影時点ではどのような任意視点画像が生成されるかがわからず，十分な品質が得られない場合には，画像の再撮影などの手間が必要となる．特に，任意視点画像の生成に利用される 3 次元形状が対象の実際の形状を十分に表していない領域に対して視覚的に自然な任意視点画像を得るた
めには，その領域を撮影する画像が多数必要となる．

10

図 6: Prince ら [29] の手法

2.2 インタラクティブな仮想化システムの関連研究
対象物体の撮影指示を行うインタラクティブな仮想化システムに関する従来研究について述べる．不殿らは，手持ちカメラにより撮影された動画像を入力とした実物体のリアルタイム 3 次元モデリングシステムを提案した [7]．このシステム
では，撮影時点での 3 次元モデルをプレビューとしてユーザに提示するとともに，ユーザが持つカメラを未観測のボクセルが最も多く観測される撮影位置まで明示的に誘導することで，視体積交差法に基づいて短時間で良好なモデルを作成することが可能となる (図 7)．しかし，視体積交差法に起因する問題点として，対象の凹な形状の部分，および植物や毛髪などの微細な形状については，正しい 3 次
元形状が得られない．不殿らのシステムでは，後処理でボクセルを高解像度化することによりこの問題を緩和しているが，視点に依存しないテクスチャを利用しており，微細な形状や凹部分の見えの変化は再現できない．

Bastian らは AR によるユーザインターフェイスを用いたインタラクティブな実物体の仮想化システムを提案した [6]．このシステムでは，GrabCut [15] による前景抽出のために，撮影画像中の対象領域をユーザがインタラクティブに指定し，抽出された対象のシルエットに基づいて視体積交差法を用いて実物体の 3 次元モデルを構築する．このインターフェイスでは，撮影時点での 3 次元モデルをシルエットが撮影された画像に重畳表示することにより，ユーザへ 3 次元モデルに関するフィードバックを与える (図 8)．このシステムでは，視点依存テクスチャ[8]を利用することにより，視点移動に対しても視覚的に自然な任意視点画像を生成

11

(a) モデリング環境(b) 作成された 3 次元モデル

図 7: 不殿らのシステム [7] のモデリング例
可能である．しかし、Basitan らの提案するインターフェイス上では，仮想化結果のプレビューが導入されておらず，視点依存テクスチャによって生成された画像の画質を撮影時点で確認することができない．また視覚的により自然な生成結果が得るために必要な画像を撮影するためのカメラ位置をユーザに対して明示的に指示しないため，不慣れなユーザにとって視覚的に自然な仮想化結果を得るのは困難であると考えられる．

2.3 本研究の位置付けと方針
本研究は，専門知識等を持たない一般のユーザでも実物体を手軽に高品質に仮想化可能なインタラクティブシステムの構築を目的とする．実物体の仮想化のための技術として，先に述べたとおり，モデルベースの手法やイメージベースの手法，3 次元形状を併用するイメージベースの手法が提案されている．提案システ
ムでは，特殊な機材を必要とせず，撮影時のユーザの負担が軽い 3 次元形状を併用するイメージベースの手法を用いる．
第 1 章で述べたとおり，提案システムにおける課題は，1. 撮影時にユーザに対

12

(a) インタラクティブな前景抽出(b) 復元した 3 次元モデルの重畳

図 8: Bastian ら [6] の手法
してプレビューを提示することにより，仮想化結果を直感的にフィードバックする，2. ユーザに対して視点依存テクスチャの利用を考慮した撮影位置指示を提供する，の 2 点である．提案システムでは，逐次的に実行可能な視体積交差法を利用
して 3 次元モデルを構築しつつ，山崎らの微小平面を用いた手法に基づくイメー
ジベースの仮想化手法 [9] を用いることにより，撮影時点における仮想化結果を基に実時間で任意視点画像を生成し，プレビューとしてユーザに提示する．また，
課題 2. については，任意視点画像の生成手法に基づいて視覚的な自然さの基準を定義することにより，ユーザへの明示的なカメラ位置の指示を実現する．

13

3. カメラ位置指示機能を有する実物体のインタラクティ
ブ仮想化システム
本章では，実物体の仮想化に関する知識を持たない一般のユーザのためのインタラクティブ仮想化システムの設計方針，および提案する仮想化システムの概要について述べる．続いて提案システムを構成する各処理について詳述する．

3.1 提案手法の概要
提案システムは，専門的な技術等を持たない一般のユーザでも，実物体を手軽に，かつ高品質に仮想化可能なインタラクティブシステムを構築することを目的とする．このようなインタラクティブ仮想化システムの要件として，不殿らは以下を挙げている [7]．

(1) 市販の安価な機材によるリアルタイムでの実物体の仮想化(2) ユーザに対する撮影時点での仮想化結果のプレビュー提示(3) 良好な仮想化結果を得るためのリアルタイムでのユーザ支援
本研究では，この要件に倣い提案システムを設計する．
具体的には，要件 (1) のために，視体積交差法により仮想化対象の実物体（以下，対象物体と呼ぶ）の 3 次元モデルを構築する．第 2 章で述べたように，視体積交差法は物体表面の微細な形状や，凹な領域を得ることができない．この問題に対して，提案システムでは視点依存テクスチャを利用することにより，精度の低い 3 次元モデルから視覚的に自然な仮想化結果を得る．
要件 (2) は，第 1 章で述べた提案システムにおける課題 1. に対応するものであり，本研究では視点依存テクスチャの利用を想定し，山崎ら [9] の提案するリアル
タイムで処理可能な微小平面を利用した任意視点画像生成手法を用いる．視体積交差法により得られた 3 次元形状のボクセルモデルに対して視点依存テクスチャを適用し，実際の仮想化結果に即したプレビュー表示をする．

14

要件 (3) は課題 2. に対応する．提案手法では，微小平面を利用して生成される
任意視点画像に対して視覚的な自然さに関する指標を定義し，その指標に基づいてユーザへの明示的なカメラ位置の誘導を実現するとともに，撮影された画像を
視点依存テクスチャとして利用するかどうかを決定する．これにより，短時間で良好な仮想化結果を得ることが可能となる．
図 9 に提案システムの概要を示す．提案システムではまず，ユーザが仮想化対
象をマーカベースのカメラ位置・姿勢推定のためのマーカ上に設置し，市販のカ
メラ CU を利用して対象物体とマーカを画像 IU として撮影する．提案システムは，
画像中のマーカを利用してユーザが持つカメラの位置・姿勢をリアルタイムで推定する．続いて，画像 IU 中の対象物体を前景として，前景抽出手法により対象
物体のシルエットを取得し，視体積交差法を利用して対象物体のボクセルモデルを更新する．最後に，定義した任意視点画像の視覚的自然さに関する指標を，画像 IU を撮影したカメラ CU の位置，および事前に与えられた複数のカメラ位置について算出する．カメラ CU の位置に対して計算された指標は，そのカメラ位置における仮想化結果の良好さを示しており，これが不十分な場合には画像 IU を
視点依存テクスチャとして利用することで視覚的自然さを向上させることができる．また，事前に与えられた複数のカメラ位置について算出された指標に基づいて，ユーザの持つカメラをどのように動かすかに関する指示を決定する．最後に，撮影した画像 IU のカメラ位置・姿勢における任意視点画像を生成してフィード
バックして提示するとともに，ユーザにカメラの動かし方に関する指示を提示す
る．ユーザは以上のプロセスを，良好な仮想化結果が得られるまで繰り返す．

3.2 カメラ位置・姿勢推定
提案システムでは，視体積交差法によるリアルタイムでのボクセルモデルの更新，および視点依存テクスチャの利用のために，リアルタイムでユーザの持つカメラの位置・姿勢を推定する．リアルタイムのカメラ位置・姿勢推定として，現在までに自然特徴点ベースの手法 [30, 31] やマーカベースの手法 [32] が提案されている．ここでは，前景領域抽出における背景モデルの獲得を考慮し，既知のマーカを利用するマーカベースの手法 [32] を用いる．図 10(上) に提案システムで用い15

図 9: 提案手法の概要

16

るマーカを示す．対象物体は同図 (下) のようにマーカの中心付近に設置される．
マーカベースのカメラ位置・姿勢推定手法では，マーカを基準として任意に設定された座標系を利用する．推定されたユーザの持つカメラ CU の位置・姿勢を，カメラの外部パラメータ行列 MU により表記する．ただし，


RU tU

MU = 
0
1(1)であり，RU は 3 次元の回転を表す行列，tU は平行移動を表す列ベクトルである．
また，カメラ CU 内部パラメータは事前にキャリブレーションされたものとし，

3 × 4 の内部パラメータ行列を KU とする．

3.3 前景領域抽出
提案システムで用いる視体積交差法は，対象物体のシルエットに基づいて 3 次
元形状を取得するため，対象物体を前景として前景領域抽出を用いる．前景領域抽出において画像中のどの領域が前景かを自動的に判別することは困難であることから，ユーザが前景領域を荒く指定する手法 [15] や，前景，もしくは背景に関する事前知識を用いる手法（例えば [33]）等が提案されている．提案システムでは，カメラ位置・姿勢推定において既知のマーカを用いる．これを背景領域についての事前知識として利用することにより，対象物体を前景として抽出する．
図 10 に示すマーカは，白領域と黒領域により構成される．そこで，撮影された画像 IU からそれぞれの領域における撮影された色のサンプルを抽出し，このサンプルに基づいて背景のモデルを構築する．図 11 上に示す赤点は，マーカ上に事前に設定されたサンプル点である．これらの点は，マーカを基準とした座標系上で指定されており，j 番目のサンプルの 3 次元点の同次座標表示を sj とすると，IU 上での対応する 2 次元点の同次座標表示 s′j は，

s′j = KU MU sj
により与えられる．

17(2)

図 10: 提案システムで用いるマーカベースのカメラ位置・姿勢推定のためのマーカ（上）と対象物体の設置例（下）18図 11: マーカ上のサンプル点

19

画像 IU 上の点 s′j の色は，対応する 3 次元点 sj が対象物体によって遮蔽される
場合に，白領域，もしくは黒領域の色とは異なる．そこで，対象物体の色が白領
域，および黒領域の色とは異なると仮定し，点 s′j における IU の色の HSV 表色系
での彩度（S）と明度（V）の値について，それぞれの領域の色に対する閾値を用い，白領域，もしくは黒領域の色ではないと考えられる点については，サンプルから取り除くことで，前景領域の色が背景とされる誤りを低減する．具体的には，

IU の点 s′j の彩度，明度をそれぞれ IUS (s′j )，IUV (s′j ) とすると，{

IUS (s′j ) < T S(3)

IUV (s′j ) > TwVを満たす場合に白領域，{

IUS (s′j ) < T S(4)

IUV (s′j ) < TbVの場合に黒領域と判定する．

提案システムは，得られた白領域のサンプルと黒領域のサンプルの，彩度，明度それぞれの平均値を I¯S と I¯V (白領域)，および I¯S と I¯V (黒領域) とし，p を画
w

w

b

b

像上の任意の点として，対象物体のシルエット画像 l(p) を次式により求める．

{
l(p) =

1 ; Dw (p) > TwD

かつ

Db (p) > TbD

0 ; 上記以外(5)

ただし，Dw (p) と Db (p) はそれぞれ白領域，黒領域のサンプルの平均 (I¯wS ,I¯wV )，(I¯S ,I¯V ) からの距離を表しており，次式により与えられる．
bb√
Dw (p) =Db (p) =√(IUS (p) − ĪwS )2 + (IUV (p) − ĪwV )2(6)(IUS (p) − ĪbS )2 + (IUV (p) − ĪbV )2

(7)

20

(a) 撮影画像(b) シルエット画像

図 12: 前景領域抽出の例

また，l(p) = 1 は前景領域，l(p) = 0 は背景領域を表す．図 12 に撮影画像例とそのシルエット画像を示す．

3.4 視体積交差法による 3 次元ボクセルモデルの更新
続いて，推定したカメラ位置・姿勢 MU とシルエット画像 l(p) から視体積交差法により対象の 3 次元形状を求める．視体積交差法は，シルエット制約に基づいて 2 次元シルエット画像から対象物体の 3 次元形状を推定する手法である [5]．シ
ルエット制約とは，図 13 に示すように，シルエットを実空間に投影した視体積の中に対象物体が含まれるという制約である．複数の撮影位置から得られる視体積の共通部分は Visual Hull と呼ばれ，様々な撮影位置から対象を撮影することで，Visual Hull の形状を対象物体の 3 次元形状に近づけることができる．視体積交差法で利用される 3 次元形状の表現方法として，ボクセルモデルが挙げられる．ボ
クセルモデルとは，3 次元形状をボクセルと呼ばれる小さな立方体によって近似するものである．ボクセルモデルを用いた視体積交差法では，最初に図 14(a) のように 3 次元空間中の対象物体を包含するにボクセルを設定し，与えられたシル21

図 13: シルエット制約
エット画像に対応する視体積外のボクセルを，図 14(b) に示すように削除していく [34]．
提案システムではまず，前景領域の抽出により得られたシルエット画像 l(p) が
図 12 に示すようにノイズを含むことを考慮し，シルエット画像に対してモルフォ
ロジー演算などを適用することによりノイズの影響を低減する．ここでは，l(p)に対してガウシアンフィルタを適用したのちに 2 値化処理を施す．これにより，
図 12 中の画像に見られる微細なノイズを効率的に除去可能である．得られたシルエット画像を l′ (p) とする．
続いて，シルエット画像 l′ (p) に基づいてボクセルモデル V を更新する．提案システムでは，初期ボクセルモデルとして，対象物体を内包する直方体を設定し，シルエット画像が与えられるたびにボクセルモデルを更新する．撮影時点でのボ
クセルモデルの i 番目のボクセルの中心の同時座標を vi とすると，この点を画像

IU に投影した点 vi′ は，カメラの外部・内部パラメータを用いて，次式により与えられる．

vi′ = KU MU vi(8)

この点におけるシルエット画像の値 l′ (vi′ ) が 1 の場合，そのボクセルは視体積内に含まれるが，0 の場合は視体積外に存在するため，vi に対応するボクセルを削除する．実際には，シルエット画像に含まれるノイズやカメラの位置・姿勢推定の誤差があるため，各ボクセルに対してボクセルの有無に対応する実数 ρi (ただ22図 14: ボクセルモデルの推定
し，ρi ∈ [0, 1]) を定義し，l′ (vi′ ) = 0 の場合にこの実数から定数を減じることで，ノイズや誤差の影響を低減する．プレビューなどの生成では，ρi > 0.5 となるボ
クセルを利用する．

3.5 生成される画像の自然さに関する指標の計算
提案システムでは，前述のように山崎らの微小平面を用いた手法に基づくイメージベースの手法 [9] を用いることにより，撮影時点における仮想化結果を基にリアルタイムで任意視点画像を生成する．本節ではまず，山崎らの手法 [9] について概説したのち，この手法に基づく任意視点画像の生成について述べ，任意
視点画像生成プロセスを考慮した生成画像の視覚的自然さに関する指標の算出について詳述する．
山崎らの手法 [9] では，視体積交差法によって得られたボクセルモデル V のそ
れぞれのボクセルに対して，カメラ中心とボクセルの中心を結ぶ光線に対して垂直な微小平面をボクセル中心に配置することにより，物体の 3 次元形状を近似する．これは，ボクセルモデルによる形状表現の直接的な利用に比べ，各ボクセルが単一の面として扱われるため高速な描画が期待でき，提案システムのようにリアルタイムでの描画が要求される場合に有用であると考えられる．また，各微小

23

図 15: 点 p̂k に対する画像 In を撮影したカメラ Cn の選択基準平面に対して視点依存テクスチャを適用するため，3 次元形状の近似による生成
画像の劣化を低減可能である．
提案システムでは，この手法に基づく任意視点画像生成を行う．まず，任意の視点に対応するカメラ C の外部パラメータ M と内部パラメータ K が与えられた
とき，その視点に対応する画像上の点 p に対する奥行値 d(p) を算出する．奥行
値 d(p) から，M と K を用いることにより，カメラ C から可視な微小平面上の 3次元点位置を復元可能である．復元された k 番目の 3 次元点の座標を p̂k とする．
ここで，視点依存テクスチャとして利用するために取得された画像とその画像を撮影したカメラの外部パラメータの集合を S = {(In , Mn , Kn )|n = 1, 2, . . . } とする．カメラ C に対する視点依存テクスチャでは，図 15 に示すようにカメラ Cの位置 c (M−1 の第 4 列目) と点 p̂k ，および In に対応するカメラ Cn の位置 cn(M−1
n の第 4 列目) と点 p̂k によって決定される直線のなす角 θnk が小さいものを，点 p̂k に対して適用するテクスチャとする．これにより決定された単一のテクス
チャを利用すると，選択される画像の切り替わりによる生成画像の劣化が顕著であることから，提案システムでは，次式に従って各画像の対応する点における色24の重み付き和 gk を算出し，生成される任意視点画像上の点 pk の色とする．

∑
1g(pk ) = ∑ wnk
wnk gn (Mn Kn p̂k )
n

(9)

n

ただし，g(·) は生成される画像上の指定された点における色を，gn (·) は In 上の指定された点における色を表しており，重み wnk は，

wnk = e−βθn′ k(10)

によって与えられる．ただし，β は事前に決定されたパラメータである．
提案システムでは，この任意画像生成手法に対して生成される画像の視覚的な自然さに関する指標を提案する．式 (9) は S に含まれる各画像上の対応する点における色の平均値であり，3 次元形状とカメラ位置・姿勢推定の誤り，点の遮蔽，照明条件の変化が無い場合は対応する点における色は完全に一致すると考えられる．しかし、多くの場合これらの要因により対応する点における色は一致しない．
そこで，視覚的な自然さに関する指標の基本的な考え方として，生成画像上の点

pk に対応する点における色の分散 σk2 を考える．
σk2 = ∑∑
1wnk [gn (Mn Kn p̂k ) − g(pk )]⊤ [gn (Mn Kn p̂k ) − g(pk )]w
n nk n(11)

これは，点 pk に対応する In 上の点の色の差が大きい場合に大きく値をとる．しかし，wnk のある n を除いてすべて小さいなどの場合，つまり色を決定する際に1 枚の画像のみしか利用していない場合には，0 に近い値をとる．そこで，重み
wnk の和を利用し，生成画像全体に対する視覚的自然さ Γ を次式により経験的に
定義する．


αK
Γ = exp − ∑ 2 − α
kσ

(

∑∑
n

)2 
wnk 

(12)

k

ただし，α は視覚的自然さの値を調整するためのパラメータであり，K は視点依存テクスチャを適用する画素数である．この指標は，分散の和が大きい，重みの和が小さい時に小さな値をとる．従って，Γ が大きいときにより視覚的自然であると考えられる．

25

図 16: 撮影指示位置の候補

3.6 任意視点画像のプレビュー表示とカメラ位置指示
提案システムでは，任意視点画像のプレビュー表示のために，前節で述べた任意視点画像生成手法を利用してユーザの持つカメラ CU の外部パラメータ MU と内部パラメータ KU を利用して任意視点画像を生成し，ユーザに提示する．加えて，前節で定義した生成画像の視覚的自然さに関する指標を，事前に設定したカメラ位置・姿勢に対して算出し，ユーザに対してカメラ位置を指示する．本節では，カメラ位置指示の手法について詳述する．
提案システムでは，カメラ位置指示のために，図 16 に示すような測地ドーム(Geodesic Dome) の頂点の部分集合を用いる．測地ドームは三角形で構成される半球体で，各三角形の頂点間の距離がほぼ一定であるという特徴を持つ．各指示
候補位置のカメラ姿勢は初期ボクセルモデルの中心を向いているものとする．また，半球体の半径は撮影画角内に初期ボクセルモデルの全てが収まるように設定
する．
画像 IU においてマーカが認識できているとき，測地ドームの各頂点に対応するカメラ位置・姿勢に対して前節で定義した生成画像の視覚的自然さに関する指標を算出し，その最小値を与えるカメラ Cmin の位置・姿勢を求める．続いて，現26

在のカメラ位置からどのようにカメラを動かせばよいかをユーザに対して指示す
る．具体的な指示内容としては，(i) マーカと共に対象物体を回転させる指示 (図17)，(ii) カメラを上下に動かす指示 (図 18)，の 2 つの方法でである．
提案システムはまず，カメラ CU と Cmin の位置を初期ボクセルモデルの中心に設定した点に関する球面座標系に変換し，この経度・緯度方向によりカメラの位置を表す．これに従い，まず図 19 に示すいずれかの指示を提示してのマーカの回転によって経度を一致させ (i)，続いて図 20 に示すいずれかの指示によって緯度を一致させる (ii)．CU が Cmin の位置に近づくと，前節で述べた視点依存テク
スチャで利用する画像の取得プロセスにより，自動的に画像が S に追加され，指示が更新される．
視点依存テクスチャで利用される画像については，ユーザが持つカメラの外部パラメータ MU と内部パラメータ KU に対して Γ の値を算出し，(i) 事前に設定された閾値 TΓ を下回った場合，もしくは (ii) 測地ドームの各頂点に対して算出された視覚的自然さに関する指標の最小値の γ 倍を下回った場合に，画像 IU を外部・内部パラメータとともに S に追加する．
提案システムでは，ユーザが良好な仮想化結果が得られたと感じるまでこのプ
ロセスを繰り返す．図 21 に提案システムのインターフェイスを示す．この例では，左側の画面では撮影時点での仮想化結果のプレビューを提示し，右側の画面
では画像 IU 上に重畳された撮影位置を指示している．

27

図 17: マーカの回転 (i)図 18: カメラの上下移動 (ii)28

図 19: 経度方向の指示

図 20: 緯度方向の指示

図 21: モデリングシステムの画像

29

4. 実験
本章では提案システムのプロトタイプを利用して実物体の仮想化を行った結果について考察する．

4.1 実験環境と概要
本実験は，提案システムによって視覚的に自然な実物体の仮想化が可能であるかを確認することを目的とする．図 22 に本実験で用いる利用環境を示す．仮想化対象の実物体の下にはマーカを印刷した用紙が設置されている．マーカを置く
机の表面は用紙を回しやすい滑らかな材質であり，白色の単一色である．
実験に使用した計算機を表 1 に示す．仮想化対象の実物体として，図 23，図 24に示すセラミック製の物体 A，物体 B，図 25 に示すプラスチック製の物体 C，図26 に示す細かい毛に覆われた物体 D，図 27 に示す鏡面反射のある物体 E を用いた．また，対象物体 A〜E を包含し，かつ使用した計算機上においてリアルタイ
ムで処理可能な初期ボクセルモデルとして，横方向 240 mm × 高さ方向 300 mm

× 奥行き方向 240 mm の空間内に一辺の長さ 2 mm のボクセルを配置した．これは，ボクセル数では横方向 120 × 高さ方向 150 × 奥行き方向 120 個に対応するものである．実験で利用したパラメータを表 2 にまとめる．ただし，IUV と IUS ，および利用される画像の画素 g の RGB 成分はそれぞれ [0,255] の範囲の整数である．
表 1: 実験に用いた PC の仕様

項目

詳細

CPU

Intel Corei7-870 2.93GHz

メモリ

RAM 8.0GB

GPU

NVIDIA GeForce GTX 460

OS

Windows 7 64bit

グラフィック API

OpenGL30

図 22: 利用環境

表 2: 実験で用いたパラメータ
パラメータ

値

白領域，黒領域の彩度に対するしきい値:T S

50

白領域の明度に対するしきい値:TwV

150

黒領域の明度に対するしきい値:TbV

100

白領域のサンプルの平均からの距離に対するしきい値:TwD60

黒領域のサンプルの平均からの距離に対するしきい値:TbD

100

ある点に対する視覚的自然さに対するしきい値:TΓ

0.1

生成画像全体に対する視覚的自然さに対する係数:γ

1.2

視覚的自然さの値を調整するためのパラメータ:α0.025

重み wnk を求めるために事前に決定されたパラメータ:β40

31

4.2 仮想化結果
提案システムによる仮想化結果を示すために，物体 A〜物体 E について約 180
秒間，提案システムの指示に従い撮影を行った．このときそれぞれの物体に対するカメラパスを図 28(上)〜図 32(上) に示す．図中の赤線は，推定されたカメラ

CU の位置を，緑色の点は視点依存テクスチャとしての利用のために提案システ
ムによって画像が取得されたカメラ位置を示しており，緑色の点に対応する数字は取得された画像の番号である．また，青色の点は提案システムによって得られた物体のボクセルモデルである．緑色の点の番号に対応する画像を図 28(下)〜図32(下) に示す．180 秒間に取得された画像は物体 A が 29 枚，物体 B が 30 枚，物
体 C が 24 枚，物体 D が 21 枚，物体 E が 31 枚であった．図 33〜図 37 に物体 A〜
物体 E に対する仮想化結果を示す．

32

図 23: 対象物体 A

図 24: 対象物体 B

図 25: 対象物体 C

図 26: 対象物体 D

図 27: 対象物体 E33

図 28: 対象物体 A に対するカメラパス (上) と視点依存テクスチャのために取得された画像 (下)(180 秒間撮影時)34

図 29: 対象物体 B に対するカメラパス (上) と視点依存テクスチャのために取得された画像 (下)35

図 30: 対象物体 C に対するカメラパス (上) と視点依存テクスチャのために取得された画像 (下)36

図 31: 対象物体 D に対するカメラパス (上) と視点依存テクスチャのために取得された画像 (下)(180 秒間撮影時)

37

図 32: 対象物体 E に対するカメラパス (上) と視点依存テクスチャのために取得された画像 (下)38

図 33: 対象物体 A の仮想化結果 (180 秒間撮影時)

図 34: 対象物体 B の仮想化結果

39

図 35: 対象物体 C の仮想化結果

図 36: 対象物体 D の仮想化結果 (180 秒間撮影時)

40

図 37: 対象物体 E の仮想化結果

41

同様に，視点依存テクスチャとして利用する画像が 30 枚取得されるまでモデリング作業を行った場合の物体 A と物体 D のカメラパス，画像取得位置，及びボ
クセルモデルを図 38(上) と図 39(上) に，取得された画像をそれぞれ図 38(下) と図 39(下) に示す．また，物体 A の仮想化結果を図 40 に，物体 D の仮想化結果を
図 41 に示す．画像を 30 枚取得するまでに要した時間は A が 193 秒，D が 253 秒
であった．

42

図 38: 対象物体 A に対するカメラパス (上) と視点依存テクスチャのために取得された画像 (下)(画像 30 枚取得時)

43

図 39: 対象物体 D に対するカメラパス (上) と視点依存テクスチャのために取得された画像 (下)(画像 30 枚取得時)44

図 40: 対象物体 A の仮想化結果 (画像 30 枚取得時)

図 41: 対象物体 D の仮想化結果 (画像 30 枚取得時)45

図 42: 物体 A に対する任意視点画像の 図 43: 物体 B に対する任意視点画像の
ぼけの例

ぼけの例

4.3 考察前節の仮想化結果で示したように，提案システムは約 180 秒の撮影で視点依存
テクスチャとして利用される画像を，物体 A に対して 29 枚，物体 B に対して 30枚取得し，物体 A，物体 B 両者とも良好な仮想化結果が得られた．しかし，図 42と図 43 に示すように，任意視点画像がぼけて見える現象が確認された．この問
題は，3 次元形状の誤差，もしくは視点依存テクスチャの画像を撮影したカメラの位置・姿勢推定の誤差に起因するものである．提案システムにおいては，式 (9)よって，任意視点画像上の各画素の色を決定する．この際，3 次元形状の誤差とカメラ位置・姿勢の誤差により，視点依存テクスチャに利用される画像内の物体上の異なる点から色を取得したため，ぼけのような歪みが生じる．このような歪みは，式 (12) で定義される画像の視覚的な自然さの基準においても第 1 項で色の分散として考慮されている．しかし，これは任意視点画像の全画素における平均値であり，歪みに対応する部分は任意視点画像の一部であることから，視覚的な自然さの基準に十分に反映されなかったものと考えられる．自然さの基準で考慮する値として，分散の平均値ではなく，最大値を用いるなども考えられるが，この場合，同じ時間で取得される画像数を増大させるという問題も生じる．

46

図 44: 色が付与されない 図 45: 物体 C の黒領域が 図 46: 物体 D の黒領域が削除される例

例

削除される例

マーカに対して比較的大きな空間を占める物体 C，物体 D については，カメラ
位置・姿勢推定に失敗する画像が多かった．提案システムでは，カメラ位置・姿
勢推定に失敗した場合，視点依存テクスチャ用の画像を取得しないため，取得された画像は物体 C で 24 枚，物体 D で 21 枚であった．このとき，式 (9) のそれぞれの画像に対する重みが 0 に近くなるため，画像が取得されていない領域での任意視点画像を生成すると，図 44 に示すように微小平面に対して色が付与されずに背景の黒色がそのまま表示される．また，提案システムの視体積交差法の実装の問題として，シルエット画像取得のためにマーカの色に関する仮定を利用する
ため，物体 C の黒領域 (目の部分) や物体 D の黒領域 (鼻の部分) に対応する視体
積のボクセルが削除される (図 45，図 46)．この問題の緩和のためには，領域の連続性などを考慮した GrabCut [15] 等の前景抽出手法の利用が必要である．
鏡面反射のある物体 E については，取得された画像は 31 枚であった．物体 C，
物体 D の黒領域に対応する視体積のボクセルが削除される問題と同様に，提案シ
ステムではシルエット画像取得のために背景を白色と仮定しているため，物体 Eの白領域 (蛍光灯による鏡面反射の部分) に対応する視体積のボクセルが削除される (図 47)．

30 枚の画像を取得する条件で撮影を続けた場合，物体 A に対して物体 D のほうが撮影完了までに長い時間を要した．これは，先に述べたようにカメラ位置・姿勢推定に失敗するためである．30 枚の画像を取得した場合には，物体 A と物体

D どちらについても，背景がそのまま表示される問題は生じなかった．図 38 と47

図 47: 物体 E の白領域が削除される例
図 39 より，取得された画像の位置は均一に配置されているという傾向が見られ，また，物体 D については，複雑な形状を持つ正面付近で比較的多くの画像を取得していることからも視覚的自然さに関する指標の有用性が示されたと考える．
生成された任意視点画像の問題点として，ボクセルモデルが実際の対象物体より大きい場合には，視点依存テクスチャのために取得された画像の背景部分が提示されるという問題が生じる．この問題は，宇野らの提案する手法 [35] のように，
提案システムでの画像取得後にそれぞれの画像中の対象物体を切り出し，さらにボクセルモデルをリアルタイムに視点に適したものに変形することにより解決可
能である．

48

5. 被験者による主観的評価実験と考察
複数の被験者による主観評価実験を行った．本実験は，提案システムによる撮影指示機能の有用性，仮想化結果に対する満足度を主観的に評価することを目的とする．撮影指示機能の有用性を確認するため，指示機能ありで対象を撮影し仮想化する実験と，指示機能機能を無効にした状態で対象を撮影し仮想化する実験の 2 種類を各被験者が行う．なお，本実験では，撮影指示インターフェースの有用性を主に評価するため，4 章の実験で比較的良好な結果が得られた対象物体 A
を用いる．また，実験に用いた機材や環境は 4 章の実験と同一である．

5.1 評価方法
6 人の被験者による仮想化実験を行う．被験者は，提案システムの指示内容，撮影に関する注意点について書かれた用紙 (図 48) を見てから実験を行う．仮想化実
験は，被験者が撮影方法を学習することによる評価の変動を防ぐため，はじめに撮影指示なしで自由に対象を撮影してもらい，その後にシステムの指示に従いながら撮影を行う実験グループ A と，逆に，先にシステムの指示に従いながら撮影し，その後に撮影指示なしで自由に撮影する実験グループ B に被験者を分ける．
被験者の内 3 人をグループ A，残りの 3 人をグループ B とした．撮影の終了は被験者が判断する．また，本実験では撮影のやり直しを認める．撮影の後，被験者は仮想化結果を見回し，撮影労力や各指示方法，結果に対する満足度について評価する．評価アンケートを図 49 と図 50 に示す．

49

࠾ᛁࡋ࠸୰㸪ᐇ㦂࡟ࡈ༠ຊࡋ࡚࠸ࡓࡔࡁ࠶ࡾࡀ࡜࠺ࡈࡊ࠸ࡲࡍ㸬ᮏࢩࢫࢸ࣒࡛సᡂࡉࢀࡿ 3 ḟඖࣔࢹࣝࡣ㸪࢖ࣥࢱ࣮ࢿࢵࢺ࣮࢜ࢡࢩࣙࣥࡢࡓࡵࡢ 3 ḟඖၟရ࢝ࢱࣟࢢࡸ㸪WEB ࣮࣌ࢪࡸᐙල㓄⨨ࢩ࣑࣮ࣗࣞࢩࣙࣥ࡞࡝࡟Ⓩሙࡉࡏࡿ 3 ḟඖ࢜ࣈࢪ࢙ࢡࢺ࡬ࡢ฼⏝ࢆ᝿ᐃࡋ࡚࠸ࡲࡍ㸬௬᝿໬⤖ᯝࡀୖグ┠ⓗ࡟࡜ࡗ࡚༑ศ࡞⢭ᗘ࡛࠶ࡿ࠿㸪௬᝿໬సᴗ࡟ࡘ࠸࡚チᐜࡉࢀࡿປຊࡀ࡝ࡢ⛬ᗘ࠿ࢆㄪᰝࡍࡿࡇ࡜ࢆ୺┠ⓗ࡜ࡋ࡚࠸ࡲࡍ㸬ᮏᐇ㦂࡛ࡣ㸪▮༳࡟ࡼࡿᣦ♧࠶ࡾ㸪ᣦ♧࡞ࡋࡢ 2 ✀㢮ࡢ௬᝿໬ᐇ㦂ࢆ࠾ࡇ࡞࠸㸪ࡑࡢᚋ࢔ࣥࢣ࣮ࢺ࡟⟅࠼࡚࠸ࡓࡔࡁࡲࡍ㸬ᮏࢩࢫࢸ࣒ࡢ౑࠸᪉࡟ࡘ࠸࡚ㄝ᫂ࡋࡲࡍ㸬ึᮇ࣎ࢡࢭࣝࣔࢹࣝࢆ๐ࡿࡓࡵ࡟㸪ึࡵࡣୖࡢ࡯࠺࠿ࡽ᧜ᙳࡋ࡚ୗࡉ࠸(࣐࣮࢝඲యࡀ᧜ᙳࡉࢀࡿ⛬ᗘ)㸬ึᮇ࣎ࢡࢭࣝࣔࢹࣝࡀ࠶ࡿ⛬ᗘ๐ࡽࢀࡿ࡜㸪ࣉࣞࣅ࣮ࣗࡀ⾲♧ࡉࢀࡲࡍ㸬ࡑࡢᚋࡣ㸪▮༳࡟ࡼࡿᣦ♧࡟ᚑࡗ࡚࣐࣮࢝㸪ࡲࡓࡣ࣓࢝ࣛࢆື࠿ࡋ࡚ࡃࡔࡉ࠸㸬ᣦ♧ࡣ 4 ✀㢮࠶ࡾࡲࡍ㸬ලయⓗ࡞ື࠿ࡋ᪉࡟ࡘ࠸࡚ㄝ᫂ࡋࡲࡍ㸬 ୖᅗࡢࡼ࠺࡞ᣦ♧ࡀ⾲♧ࡉࢀࡓሙྜ㸪▮༳ࡢ᪉ྥ࡟࣐࣮࢝⏝⣬ࢆᅇ㌿ࡉࡏ࡚ࡃࡔࡉ࠸㸬ୖᅗࡢࡼ࠺࡞ᣦ♧ࡀ⾲♧ࡉࢀࡓሙྜ㸪▮༳ࡢ᪉ྥ࡟࣓࢝ࣛࢆୖୗ⛣ືࡉࡏ࡚ࡃࡔࡉ࠸㸬௬᝿໬⤖ᯝࡀ༑ศ࡜ᛮࡗࡓࡽ㸪࠾⏦ࡋฟࡃࡔࡉ࠸㸬ࡲࡓ㸪᧜ᙳࡢࡸࡾ┤ࡋࢆ࠾ࡇ࡞࠺
ࡇ࡜ࡶ࡛ࡁࡲࡍ㸬

図 48: 実験の説明

50࢔ࣥࢣ࣮ࢺ                         Ặྡ㸦           㸧                            ᐇ㦂␒ྕ㸦           㸧                       ᧜ᙳ᫬㛫㸸ᣦ♧࡞ࡋ      ศ    ⛊                           㸸ᣦ♧࠶ࡾ      ศ    ⛊࠾ࡘ࠿ࢀࡉࡲ࡛ࡋࡓ㸬௬᝿໬ᐇ㦂⤖ᯝ࡟ࡘ࠸࡚㸪௨ୗࡢ࢔ࣥࢣ࣮ࢺ࡟࠾⟅࠼ࡃࡔࡉ࠸㸬࡞࠾㸪ᮏࢩࢫࢸ࣒࡛సᡂࡉࢀࡿ 3 ḟඖࣔࢹࣝࡣ㸪࢖ࣥࢱ࣮ࢿࢵࢺ࣮࢜ࢡࢩࣙࣥࡢࡓࡵࡢ 3 ḟඖၟရ࢝ࢱࣟࢢ
ࡸ㸪WEB ࣮࣌ࢪࡸᐙල㓄⨨ࢩ࣑࣮ࣗࣞࢩࣙࣥ࡞࡝࡟Ⓩሙࡉࡏࡿ 3 ḟඖ࢜ࣈࢪ࢙ࢡࢺ࡬ࡢ฼⏝ࢆ᝿ᐃࡋ࡚࠸ࡲࡍ㸬ࡑࡢࡇ࡜ࢆᛕ㢌࡟⨨࠸࡚㸪࢔ࣥࢣ࣮ࢺࡢグ㏙ࢆ࠾㢪࠸ࡋࡲࡍ㸬

1. ᧜ᙳປຊ࡟ࡘ࠸࡚
1.1 ᧜ᙳᣦ♧࡞ࡋࡢ࡜ࡁ
 [1.኱ኚẼ࡟࡞ࡿ 2.ࡸࡸẼ࡟࡞ࡿ 3.࡝ࡕࡽ࡜ࡶᛮࢃ࡞࠸ 4.Ẽ࡟࡞ࡽ࡞࠸ 5.඲ࡃẼ࡟࡞ࡽ࡞࠸]㸦                                      㸧

1.1 ᧜ᙳᣦ♧࠶ࡾࡢ࡜ࡁ
 [1.኱ኚẼ࡟࡞ࡿ 2.ࡸࡸẼ࡟࡞ࡿ 3.࡝ࡕࡽ࡜ࡶᛮࢃ࡞࠸ 4.Ẽ࡟࡞ࡽ࡞࠸ 5.඲ࡃẼ࡟࡞ࡽ࡞࠸]㸦                                      㸧

2. ྛᶵ⬟࡟ࡘ࠸࡚
2.1 ࣉࣞࣅ࣮ࣗ⾲♧࡟ࡘ࠸࡚⾲♧᪉ἲ㸸[1.⾲♧ෆᐜࡀศ࠿ࡽ࡞࠸ 2.ືసࡀ☜ㄆ࡛ࡁࡿ 3.ࡸࡸཧ⪃࡟࡞ࡿ 4.ཧ⪃࡟࡞ࡿ]ᚲせᛶ  㸸[1.ᚲせ࡞࠸ 2.࡞ࡃ࡚ࡶࡼ࠸ 3.࠶ࡗࡓ࡯࠺ࡀࡼ࠸ 4.ᚲせ࡛࠶ࡿ]㸦                                      㸧

2.2 ⏝⣬ᅇ㌿ࡢᣦ♧▮༳࡟ࡘ࠸࡚
⾲♧᪉ἲ㸸[1.ᣦ♧ࡀ࡞࠿ࡗࡓ 2.⾲♧ෆᐜࡀศ࠿ࡽ࡞࠸ 3.ືసࡀ☜ㄆ࡛ࡁࡿ 4.ࡸࡸཧ⪃࡟࡞ࡿ 5.ཧ⪃࡟࡞ࡿ]⾲♧᪉ἲ࡛ 2.㹼5.࡟ᅇ⟅᫬ࡢࡳグධᚲせᛶ  㸸[1.ᚲせ࡞࠸ 2.࡞ࡃ࡚ࡶࡼ࠸ 3.࠶ࡗࡓ࡯࠺ࡀࡼ࠸ 4.ᚲせ࡛࠶ࡿ]㸦                                      㸧

2.3 ࣓࢝ࣛࡢୖୗ⛣ືࡢᣦ♧▮༳࡟ࡘ࠸࡚
⾲♧᪉ἲ㸸[1.ᣦ♧ࡀ࡞࠿ࡗࡓ 2.⾲♧ෆᐜࡀศ࠿ࡽ࡞࠸ 3.ືసࡀ☜ㄆ࡛ࡁࡿ 4.ࡸࡸཧ⪃࡟࡞ࡿ 5.ཧ⪃࡟࡞ࡿ]⾲♧᪉ἲ࡛ 2.㹼5.࡟ᅇ⟅᫬ࡢࡳグධᚲせᛶ  㸸[1.ᚲせ࡞࠸ 2.࡞ࡃ࡚ࡶࡼ࠸ 3.࠶ࡗࡓ࡯࠺ࡀࡼ࠸ 4.ᚲせ࡛࠶ࡿ]㸦                                      㸧

図 49: 評価アンケート用紙 1 枚目

51

3. ௬᝿໬⤖ᯝ࡟ࡘ࠸࡚
3.1 ᧜ᙳᣦ♧࡞ࡋࡢ࡜ࡁ
[1.኱ኚ୙‶࡛࠶ࡿ 2.୙‶࡛࠶ࡿ 3.࡝ࡕࡽ࡜ࡶ࠸࠼࡞࠸ 4.‶㊊࡛࠶ࡿ 5.኱ኚ‶㊊࡛࠶ࡿ]㸦                                      㸧

3.2 ᧜ᙳᣦ♧࠶ࡾࡢ࡜ࡁ
[1.኱ኚ୙‶࡛࠶ࡿ 2.୙‶࡛࠶ࡿ 3.࡝ࡕࡽ࡜ࡶ࠸࠼࡞࠸ 4.‶㊊࡛࠶ࡿ 5.኱ኚ‶㊊࡛࠶ࡿ]㸦                                      㸧ࡑࡢ௚㸪ពぢ࡞࡝௨ୖ࡛ᐇ㦂ࡣ⤊ࢃࡾ࡛ࡍ㸬ࡈ༠ຊ࠶ࡾࡀ࡜࠺ࡈࡊ࠸ࡲࡋࡓ㸬

図 50: 評価アンケート用紙 2 枚目52

図 51: アンケート結果

5.2 評価結果
アンケート結果をグラフにしたものを図 51 に示す．また，撮影結果に対する満足度と撮影時間をグラフにしたものを図 52 に示す．アンケート項目は全て，数値が高いほど質問に対する肯定的な回答である．結果として，3 分程度の撮影時間で良好な仮想化結果を得ることができることを確認した．また，撮影指示ありの方が撮影指示なしよりも撮影時間が長く，撮影労力と仮想化結果に対する満足度が高いことを確認した．プレビューと指示矢印の表示方法については，やや参考になる，参考になる，という評価が多くを占めた．

53

5.0

350.0
300.0

4.0

250.0
3.0

200.0
150.0

2.0

100.0
1.0

50.0
0.0

0.0

図 52: 撮影結果に対する満足度の平均・標準偏差 (左) と撮影時間の平均・標準偏
差 (右)

54

5.3 考察システムが提供する機能について，用紙回転の指示に比べ，カメラの上下移動の指示が表示方法，必要性ともに低い結果となった．これは，カメラの上下移動の指示において，移動方法が分かりにくいという意見があり，低評価に繋がったと考える．また，指示矢印について，現在の位置から指示位置までの距離が近い
遠いに関わらず表示が変化しないため，カメラや用紙をどの程度移動されてばよ
いか分からないという意見があった．そのため，指示位置までの移動量に応じて指示矢印の表示を変更することや，カメラの上下移動の指示方法の改善が今後必要である．
指示あり，指示なしでの撮影時間について，グループ A，グルーブ B 両者とも，
指示ありの方が長い時間を要した．この理由として，指示がない場合は，仮想化
対象の周りを 1，2 周する程度で撮影を終了するのに対し，指示がある場合は，指示を意識し，自由に撮影できないため，撮影時間が延びたと考えられる．また，グループ A 指示なしとグループ B 指示なしの撮影時間を比較すると，グループ B
指示なしの方が長い時間を要したことが分かる．これは，先に指示ありでどの程度撮影すれば良好な結果を得ることができるのか，ということを経験したことにより，指示がない場合でもどの程度撮影すればよいのか理解したためと考えられる．グループ A，グループ B 両者とも，指示ありの方が仮想化結果に対する満足度が高かったことから，提案システムの有用性が確認できたと考える．

55

6. まとめ本研究では，実物体の視覚的に自然な仮想化のためのインタラクティブシステ
ムを提案した．提案システムでは，微小平面を利用したリアルタイムで実行可能
な視点依存テクスチャに基づく任意視点画像生成手法を利用することにより，撮影時点での仮想化結果のプレビュー表示を可能にした．さらに，この任意視点画像生成手法を考慮して生成された画像の視覚的自然さに関する基準を経験的に設定し，これに基づいてユーザに対してカメラ位置を指示することにより，効率的な仮想化の実現を目指した．提案システムは，仮想現実感技術や拡張現実感技術のコンテンツ作成の際に必要になる実物体の任意視点画像生成を，広く一般のユー
ザでも手軽に行えるようにするものであり，これらの技術の幅広い利用に大いに貢献すると考える．
実物体の仮想化の実験により，提案システムは視覚的に自然な任意視点画像を生成可能であることを示した．提案システムは，不殿らが提案するインタラクティ
ブ仮想化システムと異なり，視点依存テクスチャを利用するため，写実的な仮想化が可能であるといえる．また，視覚的な自然さに関する指標に基づく画像取得とユーザに対するカメラ位置の指示により，物体の全周の画像をもれなく取得可能であることを確認した．これは，全画像の取得後にバッチ処理により仮想化を行う従来の視点依存テクスチャに基づく仮想化手法に対して大きな利点と考える．
今後の課題として，画像取得に要する時間等に関する既存研究 [6, 7] との定量的な比較や，生成される画像についての主観評価が挙げられる．また，シルエッ
ト画像の取得において GrabCut [15] の利用によるボクセルモデル更新の誤りの低減や，仮想化結果の利用時に宇野らの手法 [35] を用いることでさらに生成画像の画質を向上を図る．

56

謝辞
本研究の全過程を通して，細やかな御指導，御鞭撻を賜った視覚情報メディア研究室 横矢 直和 教授に心より感謝いたします．本研究の遂行にあたり有益な御助言，御指導を頂いたインタラクティブメディア設計学研究室 加藤 博一 教授に厚く御礼申し上げます．さらに，本研究の全過程を通して，始終温かい御指導をして頂いた視覚情報メディア研究室 佐藤 智和 准教授に深く感謝申し上げます．
また，研究に関して的確な御助言を頂いた視覚情報メディア研究室 河合 紀彦 助
教と 中島 悠太 助教に厚く御礼申し上げます．また，研究室での生活を支えていただいた視覚情報メディア研究室 石谷 由美 女史に心より感謝いたします．さらに，研究活動だけでなく日々の生活においても大変お世話になった視覚情報メ
ディア研究室の皆様に深く感謝いたします．最後に，始終暖かく見守ってくださいました両親に熱く感謝の意を表します．

57

参考文献
[1] 株式会社富士通. Web3D カタログ. http://www.fmworld.net/product/phone/3dweb/.
[2] SnapShop. 家具配置シミュレーション. http://www.snapshopinc.com/.
[3] Yasutaka Furukawa, Brian Curless, Steven M Seitz, and Richard Szeliski.
Towards internet-scale multi-view stereo. In Proc. of IEEE Conf. on Computer Vision and Pattern Recognition, pp. 1434–1441, 2010.
[4] Noah Snavely, Steven M Seitz, and Richard Szeliski. Modeling the worldfrom internet photo collections. Int’l Journal of Computer Vision, Vol. 80,
No. 2, pp. 189–210, 2008.
[5] Harlyn Baker. Three-dimensional modelling. In Proc. of Int’l Joint Conf.
on Artificial Intelligence, pp. 649–655, 1977.
[6] J. W. Bastian, B. Ward, R. Hill, A. V. D. Hengel, and A. R. Dick. Interactivemodelling for AR applications. In Proc. of IEEE Int’l. Symposium on Mixed
and Augmented Reality, pp. 199–205, 2010.
[7] 不殿健治, 佐藤智和, 横矢直和. ハンドヘルドビデオカメラを用いた撮影支援
インタフェースを有するインタラクティブ三次元モデリングシステム. 日本
バーチャルリアリティ学会論文誌, Vol. 10, No. 4, pp. 599–608, 2005.

[8] P. Debevec, Y. Yu, and G. Borshukov. Eﬃcient view-dependent imagebased rendering with projective texture-mapping. In Proc. of Eurographics
Rendering Workshop, 13pages, 1998.
[9] Shuntaro Yamazaki, Ryusuke Sagawa, Hiroshi Kawasaki, Katsushi Ikeuchi,
and Masao Sakauchi. Microfacet billboarding. In Proc. of Eurographics
Rendering Workshop, pp. 169–180, 2002.

58

[10] オートデスク.

AutoCAD.

http://www.autodesk.co.jp/products/

autodesk-autocad/overview.
[11] 株式会社イーフロンティア.

Shade 3D.

http://www.autodesk.co.jp/

products/autodesk-autocad/overview.
[12] 塚本壮輔, 呉本尭, 古賀和利, 三池秀敏. 階層化位相シフト法による高精度な奥行き計測. 電子情報通信学会論文誌. D-II, Vol. 83, No. 9, pp. 1962–1965,

2000.
[13] Hiroshi Kawasaki, Yutaka Ohsawa, Ryo Furukawa, and Yasuaki Nakamura.
Dense 3D reconstruction with an uncalibrated active stereo system. In Proc.
of Asian Conf. on Computer Vision, pp. 882–891, 2006.
[14] 浅井俊弘, 神原誠之, 横矢直和. 全方位距離画像と全方位カラー画像の統合による屋外環境の三次元モデル化. 画像電子学会誌, Vol. 34, No. 5, pp. 529–538,

2005.
[15] Grabcut: Interactive foreground extraction using iterated graph cuts, Vol. 23,
2004.
[16] Shenchang Eric Chen and Lance Williams. View interpolation for image
synthesis. In Proc. of ACM Conf. on Computer Graphics and Interactive
Techniques, pp. 279–288, 1993.
[17] Steven M Seitz and Charles R Dyer. View morphing: Uniquely predicting scene appearance from basis images. In Proc. of Image Understanding
Workshop, pp. 881–887, 1997.
[18] 冨手要, 山澤一誠, 横矢直和. 複数の全方位画像を用いた広範囲な任意視点画像の生成. 電子情報通信学会技術研究報告. IE, 画像工学, Vol. 101, No. 627,

pp. 65–70, 2002.

59

[19] 稲本奈穂, 斎藤英雄. 多視点スポーツ映像からの自由視点映像合成と提示 (映像メディア処理, 画像の認識・理解論文). 電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理, Vol. 88, No. 8, pp. 1693–1701, 2005.

[20] Edward H Adelson and James R Bergen. The plenoptic function and theelements of early vision. Computational Models of Visual Processing, Vol. 91,
No. 1, pp. 3–20, 1991.
[21] Takeshi Naemura, Takahide Takano, Masahide Kaneko, and Hiroshi Harashima. Ray-based creation of photo-realistic virtual world. In Proc. ofInt’l Conf. on Virtual Systems and MultiMedia, pp. 59–68, 1997.
[22] Marc Levoy and Pat Hanrahan. Light field rendering. In Proc. of ACM
Conf. on Computer Graphics and Interactive Techniques, pp. 31–42, 1996.
[23] Steven J Gortler, Radek Grzeszczuk, Richard Szeliski, and Michael F Cohen. The lumigraph. In Proc. of ACM Conf. on Computer Graphics andInteractive Techniques, pp. 43–54, 1996.
[24] Wojciech Matusik, Chris Buehler, Ramesh Raskar, Steven J Gortler, andLeonard McMillan. Image-based visual hulls. In Proc. of ACM Conf. on
Computer Graphics and Interactive Techniques, pp. 369–374, 2000.
[25] 南谷真哉, 北原格, 亀田能成, 大田友一. 変形ビルボードを用いた人物像の提示による複合現実感卓上作業の遠隔共有 (「テレイマージョン」 特集). 日本
バーチャルリアリティ学会論文誌, Vol. 13, No. 3, pp. 363–373, 2008.

[26] 高橋桂太, 苗村健. 視点依存奥行きマップの実時間推定に基づく多眼画像からの自由視点画像合成. 映像情報メディア学会誌, Vol. 60, No. 10, pp.

1611–1622, 2006.
[27] 伊吹拓也, 佐藤智和, 松下康之, 横矢直和. 視点位置に依存して変形する三次
元メッシュモデルを利用した自由視点画像生成における違和感の低減. 電子

60

情報通信学会技術研究報告. PRMU, パターン認識・メディア理解, Vol. 109,

No. 470, pp. 437–442, 2010.
[28] Gaurav Chaurasia, Sylvain Duchene, Olga Sorkine-Hornung, and George
Drettakis. Depth synthesis and local warps for plausible image-based navigation. ACM Transactions on Graphics, Vol. 32, No. 3, p. 30, 2013.
[29] Simon Prince, Adrian David Cheok, Farzam Farbiz, Todd Williamson, Nikolas Johnson, Mark Billinghurst, and Hirokazu Kato. 3D live: Real time captured content for mixed reality. In Proc. of Int’l. Symposium on Mixed andAugmented Reality, pp. 7–317, 2002.
[30] Georg Klein and David Murray. Parallel tracking and mapping for small arworkspaces. In Proc. of IEEE Int’l Symposium on Mixed and Augmented
Reality, pp. 225–234, 2007.
[31] Robert.O Castle and David.W Murray. Object recognition and localization
while tracking and mapping. In Proc. of IEEE Int’l Symposium on Mixed
and Augmented Reality, pp. 179–180, 2009.
[32] Hirokazu Kato and Mark Billinghurst. Marker tracking and HMD calibration
for a video-based augmented reality conferencing system. In Proc. of IEEEand ACM Int’l Workshop on Augmented Reality, pp. 85–94, 1999.
[33] Ahmed Elgammal, David Harwood, and Larry Davis. Non-parametric model
for background subtraction. In Proc. of European Conf. on Computer Vision,
pp. 751–767, 2000.
[34] Yasemin Kuzu and Volker Rodehorst. Volumetric modeling using shape fromsilhouette. In Proc. of Turkish-German Joint Geodetic Days, pp. 469–476,
2001.
[35] 宇野祐介, 中島悠太, 河合紀彦, 佐藤智和, 横矢直和. 拡張現実感のための視点依存テクスチャ・ジオメトリに基づく仮想化実物体の提示. 電子情報通信

61

学会技術研究報告. MVE, 2013.

62