NAIST-IS-MT0351109

修士論文

ハンドヘルドビデオカメラを用いた
撮影位置指示インターフェースを有する
インタラクティブ３次元モデリングシステム

不殿 健治

2005 年 3 月 10 日

奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に修士 (工学) 授与の要件として提出した修士論文である。
不殿 健治

審査委員：

横矢 直和 教授
千原 國宏 教授
山澤 一誠 助教授

ハンドヘルドビデオカメラを用いた
撮影位置指示インターフェースを有する
インタラクティブ３次元モデリングシステム∗
不殿 健治

内容梗概
近年，計算機の高性能化によって，標準的な PC においても高品位な 3 次元グ
ラフィックを表示することが可能となってきた．これに伴って，個人が製作する

Web ページやゲーム等に，現実環境中に存在する実物体の３次元モデルを利用したいという要求が高まっている．そのため，モデル生成に関する特殊な技能や機器を持たない一般の利用者による実物体の簡便な３次元モデリング手法の開発が求められている．これに対して，コンピュータビジョンの分野において従来から，
実物体を撮影した静止画像や動画像から 3 次元モデルを自動生成する手法に関する研究が行われている．しかしながら，撮影方法によって 3 次元モデルの推定精度が変化するため，良好な 3 次元モデルを獲得するには，対象物体の撮影方法の習熟が必要であった．また，計算コストが大きいために，対象の撮影からモデルが生成されるまでに時間を要し，利用者は効率よく撮影方法を習得することが困難であった．そこで本研究では，一般の利用者が実物体の 3 次元モデルを効率よく獲得するための撮影指示機能とプレビュー機能を備えたインタラクティブ 3 次
元モデリングシステムを提案する．利用者は，システムの指示に従って対象物体を撮影することで 3 次元モデルを獲得でき，撮影に関する特別な練習を必要としない．また，利用者は撮影と同時に，生成されるモデルの形状を確認することが∗奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 修士論文, NAIST-ISMT0351109, 2005 年 3 月 10 日.

iでき，短時間で良好なモデルを作成することが可能となる．本論文では，一般の利用者による主観的評価実験を行うことで，システムが提供するユーザインター
フェースの有効性を検証する．

キーワード
インタラクティブ３次元モデリング, ユーザインタフェース, ハンドヘルドビデオ
カメラ, 3 次元形状復元, 視体積交差法ii

Interactive 3-D Modeling Systemwith Capturing Support Interface
Using a Hand-held Video Camera∗
Kenji Fudono

Abstract
Recently, high-quality 3-D graphics have become available even on a standard
PC. Such a situation has caused an increased demand to import 3-D models of
real objects to personal web pages, games and so on. For this purpose, simple
3-D modeling methods for real objects are necessary for users who have no special skills and devices. To satisfy the demand, several methods for automatic
3-D modeling from images have been developed. However, the accuracy of reconstructed 3-D models depends on camera positions and postures with which
the images are obtained. In most of conventional methods, some skills for adequately controlling the camera movement are needed for users to obtain a good
3-D model. Moreover, it is difficult for users to efficiently learn how to move thecamera, because it takes a long time to reconstruct the model due to expensive
computational cost. In this study, we propose an interactive 3-D modeling system by which users can obtain the model efficiently. The proposed system realizes
new two functions: “indication of camera movement” and “real-time preview ofreconstruction result”. Users without special skills can easily obtain 3D models
by following the indication from the system. Users can also get a good 3-D model∗

Master’s Thesis, Department of Information Systems, Graduate School of Information
Science, Nara Institute of Science and Technology, NAIST-IS-MT0351109, March 10, 2005.

iii

in a short time owing to a real-time preview of reconstructing a model. In experiments for subjective evaluation, we verify the usefulness of the proposed 3Dmodeling interfaces.

Keywords:
interactive 3-D modeling, user interface, hand-held video camera, 3D shape reconstruction, shape from silhouetteiv

目次
1. はじめに2

2. 実物体の３次元モデリングにおける従来手法の問題点と本研究の方針

42.1

能動的計測に基づく実物体の 3 次元モデリング . . . . . . . . . . .

4

2.2

カメラを用いた実物体の 3 次元モデリング . . . . . . . . . . . . .

6

2.3

本研究の方針 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

3. カメラの撮影位置・姿勢指示に基づくインタラクティブモデリングシステ
10

ム

3.1

システムの設計方針と概要 . . . . . . . . . . . . . . . . . . . . . .

10

3.2

マーカを用いたカメラ位置・姿勢の推定 . . . . . . . . . . . . . .

13

3.3

シルエット画像の生成 . . . . . . . . . . . . . . . . . . . . . . . .

15

3.4

視体積交差法によるボクセルモデルの生成 . . . . . . . . . . . . .

16

3.5

ボクセルモデルのプレビュー表示 . . . . . . . . . . . . . . . . . .

18

3.6

撮影すべきカメラ位置・姿勢の提示 . . . . . . . . . . . . . . . . .

18

3.6.1

初期位置合わせの指示 . . . . . . . . . . . . . . . . . . . .

19

3.6.2

物体中央注目の指示 . . . . . . . . . . . . . . . . . . . . .

19

3.6.3

撮影位置の移動指示 . . . . . . . . . . . . . . . . . . . . .

21

3.7

カメラ位置・姿勢の到達判定. . . . . . . . . . . . . . . . . . . .

23

3.8

ボクセルモデルに対する簡易テクスチャマッピング . . . . . . . .

26

3.9

撮影指示に用いるカメラ位置・姿勢の算出 . . . . . . . . . . . . .

28

3.10 詳細モデリング . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

3.11 ボクセルモデルに対する詳細テクスチャマッピング . . . . . . . .

32

4. モデリング実験

34

4.1

モデリング環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

35

4.2

モデリング結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

35

4.3

考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

44v

5. 被験者による主観的評価実験と考察

48

5.1

評価方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

5.2

評価結果 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

5.3

考察 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

53

6. まとめ

60

謝辞

61

参考文献

62

vi

図目次
1

提案システムの利用形態 . . . . . . . . . . . . . . . . . . . . . . .

112

システムの処理の流れ . . . . . . . . . . . . . . . . . . . . . . . .

12

3

マーカ用紙

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

4

円形マーカ

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

5

シルエット制約 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

6

ボクセルモデルの推定 . . . . . . . . . . . . . . . . . . . . . . . .

177

詳細描画モード . . . . . . . . . . . . . . . . . . . . . . . . . . . .

198

簡易描画モード . . . . . . . . . . . . . . . . . . . . . . . . . . . .

199

初期位置合わせの指示 1 . . . . . . . . . . . . . . . . . . . . . . .

20

10

初期位置合わせの指示 2 . . . . . . . . . . . . . . . . . . . . . . .

2011

物体中央注目の指示. . . . . . . . . . . . . . . . . . . . . . . . .

21

12

用紙と対象の回転 . . . . . . . . . . . . . . . . . . . . . . . . . . .

22

13

カメラの上下移動 . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

14

回転方向の指示 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

24

15

移動方向の指示 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

25

16

6 近傍ボクセル . . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

17

視点とボクセルを結ぶ線分 . . . . . . . . . . . . . . . . . . . . . .

27

18

色決定不能なボクセル . . . . . . . . . . . . . . . . . . . . . . . .

28

19

撮影指示位置の候補 (一部) . . . . . . . . . . . . . . . . . . . . . .

29

20

初期ボクセル形状 . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

21

推定可能な空間解像度 . . . . . . . . . . . . . . . . . . . . . . . .

31

22

単位ボクセルサイズ. . . . . . . . . . . . . . . . . . . . . . . . .

32

23

投影領域 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

24

モデリングシステムの画面 . . . . . . . . . . . . . . . . . . . . . .

34

25

モデリング環境 . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

26

対象物体 A. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

27

対象物体 B . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

37

28

対象物体 A に対するカメラパス . . . . . . . . . . . . . . . . . . .

39

vii

29

対象物体 A に対する撮影指示位置・姿勢 . . . . . . . . . . . . . .

3930

対象物体 A のモデリング過程 . . . . . . . . . . . . . . . . . . . .

4031

対象物体 A の詳細モデリング結果 . . . . . . . . . . . . . . . . . .

41

32

対象物体 B に対するカメラパス . . . . . . . . . . . . . . . . . . .

41

33

対象物体 B に対する撮影指示位置・姿勢 . . . . . . . . . . . . . .

4234

対象物体 B のモデリング過程 . . . . . . . . . . . . . . . . . . . .

4335

対象物体 B の詳細モデリング結果 . . . . . . . . . . . . . . . . . .

4436

対象物体 B の凹部分 . . . . . . . . . . . . . . . . . . . . . . . . .

45

37

対象物体 B におけるモデリングとテクスチャマッピングの失敗 . .

46

38

対象物体 A の首周りのモデリング結果 . . . . . . . . . . . . . . .

47

39

真横から撮影した対象物体 A . . . . . . . . . . . . . . . . . . . . .

47

40

事前アンケート用紙 1 枚目 . . . . . . . . . . . . . . . . . . . . . .

49

41

事前アンケート用紙 2 枚目 . . . . . . . . . . . . . . . . . . . . . .

50

42

事後アンケート用紙 1 枚目 . . . . . . . . . . . . . . . . . . . . . .

51

43

事後アンケート用紙 2 枚目 . . . . . . . . . . . . . . . . . . . . . .

52

44

カメラの上下移動指示 . . . . . . . . . . . . . . . . . . . . . . . .

59

表目次
1

対象物体 A の処理時間 . . . . . . . . . . . . . . . . . . . . . . . .

38

2

事前アンケート結果. . . . . . . . . . . . . . . . . . . . . . . . .

54

3

モデリング実験結果. . . . . . . . . . . . . . . . . . . . . . . . .

54

4

事後アンケート結果 (実物体のモデリングを未経験な被験者のみ)

55

5

事後アンケート結果 (全体) . . . . . . . . . . . . . . . . . . . . . .

56

6

主なコメント . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

1

1. はじめに現実環境中に存在する実物体の３次元モデルは，エンターテイメントやデザイ
ン，商品広告等，様々な分野において利用することが可能である．従来，このような実物体の３次元モデルの作成は，主にモデル生成に関する専門知識を持つ熟練者によって行われてきた．一方，高性能なグラフィックチップの普及により，計算機や，家庭用ゲーム機，携帯電話等，一般に広く普及している機器上で実物体の３次元モデルを目にする機会が増えている．これにより，近年，モデル生成に関する知識や機材を持たない一般の利用者が実物体の３次元モデルを作成し，自ら製作する Web ページやゲーム等のコンテンツ，個人が出品するインターネット
オークションのための商品紹介に利用したいという需要が高まっている．そのため，モデル生成に関する専門知識を持たない一般の利用者による実物体の簡便な３次元モデリング手法の開発が求められている．
実物体の 3 次元モデルを半自動で作成する方法としては，従来からビデオカメラを用いる手法 [1][2]，レーザ測距装置を用いる手法 [3]，スリット光照射装置を用いる手法 [4] などがある．しかしながら，利用者による計測機器の動かし方によって 3 次元モデルの推定精度が変化するため，良好な 3 次元モデルを獲得するには，
物体測定方法の習熟が必要であった．これに対して，形状の推定結果に基づき，モデリングシステムが利用者に対象物体の測定方法を提示することで，利用者が効率的に 3 次元モデルを獲得する手法に関する研究が行われている [5][6][7]．一方，実物体を撮影した静止画像や動画像のみから，3 次元モデルを自動生成する手法に関する研究も行われている [1][2][8][9][10]．これらの手法は，形状計測に必要な機器がビデオカメラやデジタルカメラのみでよく，手軽にモデリングを行えるという利点がある．しかし，ビデオカメラでのリアルタイムモデリングに基づいて対象物体の撮影方法を指示するシステムが従来存在せず，加えてモデルが生成されるまでに時間を要するため，利用者が効率よく撮影方法を習得することは困難であった．
そこで本論文では，ハンドヘルドビデオカメラにより撮影された動画像を入力とする実物体のリアルタイム 3 次元モデリングを実現し，加えて，一般の利用者
が実物体の 3 次元モデルを効率よく獲得するための撮影指示機能と推定されたモ

2

デルのプレビュー機能を提供するインタラクティブ 3 次元モデリングシステムを提案する．利用者は，システムの指示に従って対象物体を撮影することで容易に

3 次元モデルを獲得できるため，撮影に関する特別な練習を必要としない．加えて，利用者は撮影と同時に，生成されるモデルの形状を確認することができ，短時間で良好なモデルを作成することが可能となる．またシステムは撮影終了後に，それまでに撮影された動画像を用いてより詳細な 3 次元モデルを生成する．
以下，2 章では，実物体の 3 次元モデリングに関する従来手法とその問題点について述べ，本研究の方針を述べる．3 章では，提案するインタラクティブモデ
リングシステムの設計方針とシステムの各処理について詳述する．4 章では，提案システムを用いた実物体のモデリング実験について述べ，モデリング精度について考察する．5 章では，一般利用者による提案システムを用いたモデリング実
験を行い，システムの有用性を確認する．最後に 6 章で，本論文のまとめと今後の課題について述べる．

3

2. 実物体の３次元モデリングにおける従来手法の問題
点と本研究の方針
実物体の 3 次元モデルを半自動で作成する方法として，対象物体へ何らかのエネルギーを照射しその反射から物体形状を推定する能動的なモデル推定手法と，対象を撮影した画像のみから物体形状を推定する受動的なモデル推定手法がある．
一般に能動的な手法は，受動的な手法と比べて良好なモデルが得られるため，映画やゲーム [11][12][13]，自動車等の工業製品のデザイン [14] 等の高精度な 3 次元形状が必要とされる分野において広く利用されている．このような分野では，測定機器の取り扱いや，計測に関する知識，複数の計測データの統合処理など，専門的な知識や経験を伴う作業が必要であり，これらは実物体の 3 次元モデリングに関する専門知識を有する専門家によって行われてきた．一方，受動的な手法は，一般に広く普及しているデジタルカメラやビデオカメラのみで形状の測定が行えるため，手軽に利用できることから，個人向けのモデリングソフトとして販売されている [1][2]．本章では，これら能動的，受動的なモデル推定手法について概説する．また，実物体の 3 次元モデリングに関する特別な知識や機材を持たない利用者が，それぞれの手法を利用する際の測定機器や測定作業に関する問題点をあげ，本研究の方針を明確にする．

2.1 能動的計測に基づく実物体の 3 次元モデリング
一般的に実物体の 3 次元モデルを作成する専門家は，比較的高精度なモデルが獲得できる能動的な手法を用いることが多い．能動的な手法は主に，レーザー光
測距装置を用いた手法とスリット光照射装置を用いた手法に大別できる．これらの手法は，双方ともに一度の計測で取得できるモデルの形状が，対象全体の一部分となるため，対象の全周囲モデルを作成するためには複数回の計測が必要である．以下に各手法について説明する．

4

レーザ光測距装置によるモデル生成手法
レーザ光測距装置は対象物体に対してレーザ光を照射し，反射光が装置に到達するまでの時間から，装置から対象物体への距離を測定する機器である．このとき，反射光がある程度の強度を持っていれば，比較的高精度に距離を測定することができる．このレーザ光を 2 次元走査することで，照射装置から対象物体までの距離を記録した奥行き画像を生成し，奥行き画
像を基に対象物体の 3 次元モデルを作成する [3]．ただし，レーザ光が照射されない部位はモデルを生成することができないため，異なる位置からの再計測が必要となる．この計測位置によって，生成される 3 次元モデルの精度が変化するため，良好なモデリングを行うには計測位置の決定に関する十分な知識と経験が利用者に必要である．加えて，計測洩れが無いように利用者は注意しなくてはならない．これに対して，生成された対象物体の部分モデルに基づき，次に計測が必要な箇所，および装置の設置場所をモデリングシステムが利用者に指示する手法に関する研究が行われている[15]．これにより利用者は，特別な知識や経験なしに効率的に 3 次元モデルを獲得することができる．しかし，レーザ光測距装置が非常に高価であり，一般の利用者がこれらの手法を用いることは現状では難しい．
スリット光照射装置を用いたモデル生成手法
スリット光照射装置を用いる手法は，スリット光照射装置とカメラの位置関係を既知とし，スリット光を対象物体に照射しカメラを用いてスリットの光の照射位置を計測することで三角測量の原理によって対象の奥行き画像を算出する [16]．これは後述する 2 眼ステレオ法の一方のカメラをスリッ
ト光照射装置に置き換えた物と見なすことができるが，2 眼ステレオ法における対応点探索のあいまいさが無く，安定して奥行き画像を生成できるという特徴がある．このスリット光を走査することで，対象物体の部分モデ
ルを生成する．スリット光としては，レーザ光を用いるもの，ビデオプロ
ジェクタを用いるものがあり，前者は，小物体を対象とした物体形状の計測装置として販売されている [4][17]．後者は，複数のスリット光を同時に照射することができるため，スリット光の走査に伴う時間を短縮し，短時間5

で 3 次元モデルが生成できるという特徴がある [6][7][18]．スリット光によるモデリング手法は，レーザ光測距装置と同様に，一度の計測では物体全周のモデルが生成できないため，計測方法や計測洩れについて利用者が注意する必要がある．これに対して，Rusinkiewicz らは対象の計測と同時に得られた部分形状を逐次的に統合することで，計測洩れを随時確認可能なシ
ステムを提案している [18]．また芳賀らは，推定された 3 次元モデルから，
次に計測が必要な対象の部位をビデオプロジェクタで計測対象上に照射し，利用者に提示することで効率よく対象物体のモデルを生成できる手法を提案している [6]．また松本らは，生成されたモデルを基に，精度が低い可能性がある部位を算出し再計測を利用者に促すことで，良好な 3 次元モデルを作成できるシステムを提案している [7]．このように，システム側から利用者に対して計測方法の指示や生成した 3 次元モデルを随時提示する手法
を用いれば，一般の利用者が特別な練習なしに良好なモデルを作成することができるため，多くの研究がなされている．しかしながら，スリット光照
射装置とカメラの位置関係を正確に求める必要があり，またシステム構成が複雑なことから，一般の利用者が容易に利用する段階には至っていない．
上述のように，能動的なモデル推定手法を用いれば高精度な実物体の 3 次元モデルを作成できるものの，計測装置が高価であり，またシステム構成が複雑なため，現状では一般の利用者には不向きである．

2.2 カメラを用いた実物体の 3 次元モデリング
受動的なモデル推定手法で生成された 3 次元モデルは能動的な手法と比べて精度が低いものの，必要な機材が広く普及しているデジタルカメラやビデオカメラ
でよく，手軽にモデリングを行えるという利点がある．受動的な手法は主に，陰影による手法，レンズ焦点法，ステレオ法，視体積交差法，などがある．能動的な手法と同様に，一度の計測で獲得できる形状が限られているため，複数回の計測が必要となる．以下に各手法について概説する．

6

陰影による手法
陰影による 3 次元モデリングは，対象撮影によって得られた陰影画像，および対象物体の反射特性，光源情報を用いて奥行き画像を生成し，モデルを生成する手法である [19]．この手法は，光源情報と反射特性，および物体中の任意の 1 点の奥行き値を既知として，1 枚の陰影画像から奥行き画像を生成する [20]．さらに，この手法を拡張し，光源情報を既知とし複数の陰影画像から反射特性と奥行き画像を同時に推定する照度差ステレオ法と呼ばれる手法がある [21][22]．これらの手法では，対象物体の表面が滑らかであるという仮定を設けることで，精度の良いモデル生成が実現できる．しかし，陰影による手法は光源状況が既知な環境が必要であり，このような環境を用意するのは一般の利用者にとって困難と考えられる．
レンズ焦点法
レンズ焦点法は，カメラの被写界深度の範囲外に映る対象物体が画像上でボケて撮像されるという光学的特徴を利用し，奥行きを求める手法である[23][24][25]．この手法は，レンズの焦点深度を変化させた複数の画像のみか
ら奥行き画像を作成できるため，計測環境に対する事前知識や制約条件が必要ないという特徴をもつ．しかし，目立ったテクスチャのない滑らかな形状のようにエッジを含まない領域は，画像中のボケを検出することが難
しく，奥行きを求めることが困難である．
ステレオ法
ステレオ法は，位置が異なる複数のカメラで対象物体を撮影し，三角測量の原理を用いて 3 次元モデルを生成する手法である．基本的な手法である 2
眼ステレオ法は，位置姿勢が既知の 2 台のカメラを用いて対象物体を撮影
し，2 つの撮影画像上の各画素の対応を決定することで，三角測量の原理から奥行き画像を生成する手法である．また，2 眼ステレオの発展として，3台のカメラを用いる 3 眼ステレオ法 [26][27] や，3 台以上のカメラを用いる
マルチベースラインステレオ法 [28] といった手法が提案され，より高精度な奥行き画像の推定が可能となっている．しかし，画像間の対応点探索に

7あいまいさが存在するために，安定して奥行き画像を推定することは困難である．
視体積交差法
視体積交差法は，2 次元シルエット画像から対象の 3 次元モデルを生成する手法である．これは，「対象物体は任意の視点から得られるシルエットを実空間に投影した視体積の中に含まれる」というシルエット制約に基づくものであり，複数の撮影視点から得られた視体積の共通部分を対象物体の 3 次
元モデルとして推定する [29]．この視体積の共通部分を Visual Hull と呼ぶ．
この手法はカメラの撮影位置・姿勢とシルエット画像が良好に得られれば，安定して対象物体の 3 次元モデルを生成できるという特徴を持つ．カメラの撮影位置・姿勢の獲得方法として，カメラを固定し制御可能な回転台の上に対象物体を乗せ撮影する手法がある [30][31]．また，任意のカメラの位
置，姿勢に対応するため，カメラに搭載されたジャイロセンサから得られる情報を手がかりとする手法 [32] や，同時に撮影されたマーカから位置姿勢を推定する手法 [1][2] などが提案されている．以上の手法は，対象物体の背景の大半を単一色とすることで，シルエット画像を良好に生成し，精度の良い 3 次元モデルを獲得する．一方で，対象物体を固定し，その全周を撮影した画像から対象物体の 3 次元モデルとシルエット画像を同時に推定することで複雑な未知背景から良好な 3 次元モデルを生成する手法に関する研究も行われている [33]．
視体積交差法は，シルエット画像上に現れない物体の凹み部分などの 3 次元
モデルは生成できない．これに対して，視体積交差法により生成した 3 次
元モデルを対象物体の概形とし，後処理としてステレオ法により凹み部分の形状を推定することで，凹み部分を含む高精度な対象物体の 3 次元モデ
ルを推定する手法が提案されている [9][10][30]．
カメラを用いた受動的なモデル推定手法は，能動的な手法と比べて必要な機材が少なく，手軽に利用できることから一般の利用者に適した手法といえる．しかし，能動的なモデル計測手法と異なりシステム側から対象物体の撮影方法を指示

8

するシステムが従来存在しないため，対象物体の撮影洩れや撮影不足による精度低下について，推定された 3 次元モデルを用いて利用者が逐一確認しなければならないという問題がある．加えて，受動的な手法は計算コストが大きく 3 次元モデルの推定に時間を要するため，利用者は効率よく撮影方法を習得することが困難という問題が存在する．

2.3 本研究の方針
以上のように，実物体の 3 次元モデリングに関する特別な知識や機材を持たない利用者のためのモデリング手法として，高価なレーザ光照射装置や正確な設置作業が必要な能動的モデル推定手法は適していない．一方，受動的な手法では対象物体の計測方法を指示するシステムが存在せず，良好なモデル生成には多くの時間と撮影方法の練習が必要という問題がある．そこで本論文では，ハンドヘル
ドビデオカメラにより撮影された動画像を入力とする実物体のリアルタイム 3 次
元モデリングを実現し，加えて，一般の利用者が実物体の 3 次元モデルを効率よく獲得するための撮影指示機能と推定されたモデルのプレビュー機能を提供する
インタラクティブ 3 次元モデリングシステムを提案する．利用者は，システムの指示に従って対象物体を撮影することで容易に 3 次元モデルを獲得できるため，撮影に関する特別な練習を必要としない．また，利用者は撮影と同時に，生成されるモデルの形状を確認することができ，短時間で良好なモデルを作成することが可能となる．本システムでは，安定して対象の 3 次元モデルが推定可能な視体
積交差法を用いる．ただし，カメラの撮影位置・姿勢を正確に求めるために，対象物体の下にはマーカを印刷した用紙を敷き，カメラの内部パラメータはキャリ
ブレーション済みとする．また，シルエット画像生成処理における精度を上げる
ため，マーカ用紙は単色の机の上に置かれ，物体撮影と同時に映る壁面も同色とする．

9

3. カメラの撮影位置・姿勢指示に基づくインタラクティ
ブモデリングシステム
本章では，まず，モデリングに関する特殊な機器や知識を持たない一般利用者のための，モデリングシステムの設計方針と実際に構築したシステムについて述べる．次にモデリングシステムの各処理について順に詳述する．

3.1 システムの設計方針と概要
本研究では，実物体の 3 次元モデリングに関する特殊な知識や機材を持たない利用者が，短時間で良好なモデルを作成可能なシステムの実現を目的とする．このような目的を実現するためには，(a) 市販の安価な機材によるリアルタイム物体形状計測の実現(b) 良好なモデル作成のためのリアルタイム計測支援の実現(c) 利用者に対する形状計測状況の提示手段の実現の 3 つの要件を満たさなくてはならない．本研究では，これらの要件を満たすシ
ステムを構築するために，図 1 に示すように，マーカ用紙の上にモデリング対象を置き，利用者が計算機の画面を確認しながらハンドヘルドビデオカメラを操作するという利用形態を想定する．なおマーカ用紙は，広く普及している計算機用のプリンタを用いて作成する．そして，本システムでは以下の機能を実現する．

(1) ハンドヘルドビデオカメラを用いたリアルタイム形状推定
一般的なハンドヘルドビデオカメラを用いて物体を撮影し，視体積交差法によって対象の 3 次元形状をリアルタイムに推定する．これは要件 (a) に対応する．

(2) 撮影方法の指示
システムは，良好なモデル生成のために必要な撮影カメラ位置・姿勢を算出し，指示位置までのカメラの動かし方を計算機のディスプレイを通して利用者に随時提示する．利用者は提示された指示に従うことで容易にモデリングを行うことができる．これは要件 (b) に対応する．

10

システムによる撮影指示
利用者
モデリング対象

ハンドヘルドビデオカメラマーカ用紙
図 1 提案システムの利用形態(3) モデルのプレビュー表示
対象物体の 3 次元モデルは，物体の撮影と同時に更新され，利用者は待ち時間なしにモデルの生成状況を確認できる．これは要件 (c) に対応する．
システムの処理手順を図 2 に示す．システムは，フレーム毎に実行するフェーズ

A，カメラが撮影指示位置に到達したときのみ実行されるフェーズ B，撮影終了後に実行されるフェーズ C，で構成される．フェーズ A では，フレーム毎に物体の形状をリアルタイムで推定・更新する．はじめに，撮影された画像中のマーカを認識することで，利用者が持つビデオカメラの位置・姿勢を推定する (A-1)．次に，
入力画像を背景領域と対象物体領域に分け，シルエット画像を作成する (A-2)．作
成したシルエット画像と推定したカメラ位置・姿勢から，視体積交差法によって対象物体の 3 次元ボクセルモデルを推定する (A-3)．推定されたボクセルモデル
をプレビュー表示し (A-4)，最後に，ビデオカメラの位置・姿勢から，システムが指示する撮影カメラ位置・姿勢までのカメラの動かし方を撮影画像上に重畳表示することで，利用者に対してビデオカメラの移動を促す (A-5)．フェーズ B では，フレーム毎にリアルタイム処理することが困難な処理を間欠的に実行する．ここではまず，推定形状への簡易的なテクスチャマッピング処理を行い (B-1)，次に，
新たな指示撮影位置を算出する (B-2)．以上のフェーズ A，B を，利用者が対象

11

開始

[フェーズA](A-1) 対象の撮影とカメラ位置・姿勢の推定(A-2) シルエット画像生成(A-3) 視体積交差法によるボクセルモデル生成(A-4) 推定ボクセルモデルのプレビュー表示(A-5) 撮影すべきカメラ位置姿勢の提示

yes
指示カメラ位置に到達[フェーズB]no(B-1) 簡易テクスチャマッピング(B-2) 指示カメラ位置姿勢の算出

未了

利用者による撮影の終了判断

終了[フェーズC](C-1) 詳細モデリング(C-2) 詳細テクスチャマッピング終了

図 2 システムの処理の流れ

12

物体の 3 次元形状が良好に推定されたと判断するまで繰り返し実行する．フェーズ C では，撮影された全てのフレームの画像を用いて，より空間解像度の高い詳細モデルを推定する (C-1)．また，処理 (B-1) よりも精度の高いテクスチャマッピ
ングを行い (C-2)，処理を終了する．以降，各処理について詳述する．

3.2 マーカを用いたカメラ位置・姿勢の推定
処理 (A-1) において，対象物体と同時に撮影されるマーカを用いて，カメラ位
置・姿勢を推定する．ここでは，まず入力画像からマーカ領域を抽出し，マーカに付加されたコードを認識する．次に，抽出したマーカの画面座標値，およびコードから得られたマーカの実空間座標値に基づき，カメラの位置・姿勢を推定する．
マーカの切り出し・認識
本システムが用いるマーカ用紙を図 3 に示す．マーカ用紙には，Naimark らが提案する図 4 の円形マーカ [34] が複数印刷されている．この円形マーカは，照明条件の変化に強く，画像からのマーカ抽出，およびマーカコードの認識を高速に行えるという特徴を持つ．個々のマーカには 6bit の id が割り当てられており，idから一意にマーカを識別することができる．さらに，一つのマーカからは図 4 に示す中心点，および 2 つのコード基準点の計 3 点の実空間座標値が識別できる．
システムは，入力画像中の複数のマーカを切り出し，個々の id を認識することで，画像から一意に識別可能な点群を取得する．なお，各マーカの位置関係，用紙の大きさについては既知とする．
マーカの切り出しおよび認識処理は Naimark らが提案する手法 [34] を用いる．
以下に処理手順を記す．

(マーカ領域切り出し処理)
1. 切り出し処理の高速化のため，入力画像を縮小する
2. 縮小画像からグレイスケール画像を生成し，Sobel フィルタを用いてエッジ
画像を作成する13

図 3 マーカ用紙

コード基準点A

中心点

コード基準点B
図 4 円形マーカ

14

3. エッジ領域で囲まれた閉領域を塗りつぶし，塗りつぶした領域の面積と周囲長から円形度を算出する

4. 算出した円形度，および閉領域の大きさが一定のしきい値範囲内となるものを選択し，マーカ領域を決定する

5. 縮小画像中のマーカ領域に対応する領域を入力画像から複数切り出す(マーカコード認識処理)
1. 切り出された各マーカ領域をグレイスケール化し，判別分析法を用いた 2値化処理を行う

2. 2 値画像中の白色・黒色領域の面積と位置関係から中心点，およびコード基
準点 A,B を検出する

3. 2 値画像を検出した中心点を原点とした極座標系の画像と見なし，直交座標系に展開する4. 展開画像から，マーカ中の 6bit コードを認識し，中心点およびコード基準
点 A,B に実空間座標値を与える
カメラ位置・姿勢の推定
マーカの切り出し・認識処理によって得られた 4 点以上の画像上のマーカ点群の実空間座標値と，その画像上の座標から，平面上の PnP 問題を解くことで，撮影したカメラの外部パラメータである位置・姿勢を推定する．これにより，カメラの位置 (x, y, z)，およびカメラの姿勢であるピッチ角，ロール角，ヨー角の計 6
つのパラメータを算出する．

3.3 シルエット画像の生成
処理 (A-2) では，次節で述べる視体積交差法による 3 次元形状推定 (A-3) の前処理として，入力画像を物体領域と背景領域に分けたシルエット画像を生成する．
ここでは，まず前節の処理 (A-1) で推定されたカメラ位置・姿勢情報を基に背景

15

領域の色を抽出する．次に，抽出した色から対象物体領域を検出し，シルエット
画像を生成する．
背景色の抽出
背景領域は，マーカを印刷した用紙領域，用紙が置かれている机面領域，そして物体背後に存在する壁面領域で構成される．本研究では，マーカ領域を除く紙面，机面，および壁面は基本的に同色としているが，材質等の違いにより多少色合いが異なる場合がある．そこで，まず処理 (A-1) により認識されたマーカ領域の周囲の画素を抽出することで，紙面の色を取得する．次に，推定されたカメラの位置・姿勢より，紙面外領域である机面領域を検出し，机面の色を取得する．
ここでは，取得した紙面，および机面の色を背景色とする．
対象物体領域の検出
入力画像中の紙面領域について，紙面から抽出した背景色を基に，明度差，彩度差による 2 値化処理を行い，背景領域と物体領域に分ける．同様に，入力画像
中の机面領域と壁面領域について，机面から抽出した背景色を基に物体領域を抽出し，先に得られている物体領域との共通部分をシルエット画像とする．

3.4 視体積交差法によるボクセルモデルの生成
処理 (A-3) では，推定したカメラ位置・姿勢とシルエット画像を用いて視体積交差法による対象物体のボクセル形状を推定する．本節では，まず視体積交差法
について概説し，続いて対象物体のボクセルモデルの推定手法を述べる．
視体積交差法
視体積交差法は，シルエット制約に基づいて，2 次元シルエット画像から対象の3 次元形状を推定する手法である [29]．シルエット制約とは，図 5 に示すように，
シルエットを実空間に投影した視体積の中に対象物体が含まれるという制約である．複数の撮影位置から得られる視体積の共通部分を Visual Hull とよび，様々な撮影位置から対象を撮影することで，Visual Hull の形状を対象物体の 3 次元形状に近づけることができる．

16

カメラ位置姿勢

シルエット

撮影画像面
視体積
対象物体
Visual Hull

図 5 シルエット制約

カメラ位置姿勢

対象物体(a)初期ボクセルモデル(b)視体積外を削除

図 6 ボクセルモデルの推定

シルエット制約に基づくボクセルモデル推定
視体積交差法によるボクセルモデル推定手法の一つとして，図 6 に示すように
対象物体を包含する直方体を事前にボクセル空間上に設定 (a) し，視体積外のボ
クセルを削除 (b) していく手法 [31] がある．本研究では，事前に設定した対象物体を包含する直方体を初期ボクセルモデルとする．また，視体積の構築手法として
ウらが提案する平面間投影に基づく視体積交差法 [35] を用い，高速に Visual Hullのボクセルモデルを推定する．

17

3.5 ボクセルモデルのプレビュー表示
処理 (A-4) では，推定されたボクセルモデルの各ボクセルをレンダリングする．
前節の処理 (A-3) によりボクセルモデルが生成されるたびにレンダリングすることで，利用者はモデリング状況を随時確認することができる．なお，後述するテクスチャマッピング (B-1) 処理が 1 度以上実行され，ボクセルに色が割り当てられている場合は対応する色でレンダリングし，色が割り当てられてないボクセル
はシステムが予め定めた色でボクセルをレンダリングする．本システムでは，ボ
クセルモデルのレンダリング方法として，ボクセルを直方体として描く詳細描画
モード (図 7)，大きさが一定の 2 次元矩形として描画する簡易描画モード (図 8)，の 2 つのモードを用意する．詳細描画モードでは，ボクセルモデルを正確に表現できる利点があるが，一つのボクセルにつき 6 頂点の透視変換計算と面の描画を行う必要があり，計算量が大きい．一方，簡易描画モードはボクセル中心 1 点の透視変換計算と，１回の矩形描画でよく計算量が少ない．リアルタイムモデリン
グ中 (フェーズ A) は，撮影レートの低下を防ぐために基本的に簡易描画モードでのボクセルのレンダリングを行う．ただし，利用者は随時，詳細描画モードに切り替えることができ，マウス操作を使って自由に見回すことで，モデリング状況を確認することができる．

3.6 撮影すべきカメラ位置・姿勢の提示
処理 (A-5) では，対象物体を撮影すべきカメラの次の位置・姿勢を利用者に提示するため，撮影画像上にカメラの移動方法を重畳表示する．本システムでは，
入力画像から認識できたマーカ数や，推定したカメラの位置・姿勢を基に，初期位置合わせの指示，物体中央注目の指示，撮影位置の移動指示の 3 種類の指示を行う．なお，システムが指示するカメラの位置・姿勢の算出方法については 3.9
節 (B-2) にて後述する．

18

ボクセル

画像平面

図 7 詳細描画モード

図 8 簡易描画モード

3.6.1 初期位置合わせの指示
処理 (A-1) で認識できたマーカ数が少ない場合，カメラの位置・姿勢を精度良く求めることが困難であり，特に 4 点以上の点が取得できないときはカメラ位置・姿勢を推定することができない．このとき，システムが具体的なカメラの動かし方を利用者に正しく提示することが不可能となる．そこで，この場合には利用者に対してより多くのマーカが入力画像内に映るように指示を行う．指示方法として，図 9 に示すように，画面右上に撮影例の画像，画面下部に認識できているマー
カ数を表すインジケータを表示する．撮影例として表示する画像は予めシステム
が保持しており，マーカが多く認識できる位置・姿勢で撮影した画像の一例である．併せて，指示内容を表すテキストを表示し，カメラの位置・姿勢推定が可能な箇所までの移動を利用者に促す．図 10 に示すように認識されるマーカの数が増え，インジケータのゲージが上昇すれば，初期位置合わせの指示を終了する．

3.6.2 物体中央注目の指示
利用者のカメラの姿勢が対象物体の中心を向いていないとき，カメラの光軸方向が対象の中心を向くように利用者に指示する．これは，本システムでは予め設定した初期ボクセルモデルの中心を対象物体の中心と見なし，初期ボクセルモデ

19図 9 初期位置合わせの指示 1

図 10 初期位置合わせの指示 220

図 11 物体中央注目の指示

ルの中心を向くカメラ位置・姿勢が，利用者に指示する撮影位置姿勢として，後述する処理 (B-2) で算出されるためである．利用者のカメラの光軸方向と初期ボ
クセルモデルの中心点の距離が一定値以上の時，図 11 のような指示画面を表示
する．指示画面は，初期ボクセルモデルの中心点を＋マークのカーソルで，また撮影画像の中心を破線の円で表示している．利用者はカメラの位置や姿勢を調整
し，＋マークが破線円内に入るようにすることで，光軸方向を初期ボクセルモデ
ルの中心に向けることができる．＋マークが破線円内に入れば，物体中央注目の指示を終了とする．

3.6.3 撮影位置の移動指示
入力画像から一定数以上のマーカが認識でき，かつ推定したカメラの光軸方向が概ね初期ボクセルモデルの中心を向いているとき，利用者に対してビデオカメ
ラの移動またはマーカ用紙の回転を促す指示を行う．本システムでは，カメラの位置合わせに関して，(1) マーカ用紙と共に対象物体を回転させる指示，(2) カメ

21

利用者がもつカメラ

指示カメラ位置仮想球

図 12 用紙と対象の回転

ラを上下に動かす指示，の 2 つの方法で指示する．指示位置とビデオカメラの位
置を，マーカ用紙を中心とする仮想球の経度・緯度で表現し，図 12 に示すように
マーカ用紙と共に対象物体を回転させることで，指示カメラ位置とビデオカメラの経度を一致させる．続いて，図 13 に示すようにカメラを上下に動かし，指示
カメラ位置とビデオカメラの緯度を一致させることで，指示カメラ位置と利用者
手持ちのビデオカメラの位置合わせを行う．なお，各指示 (1)，(2) は同時に指示
せず，始めに (1) の指示を行い，移動が完了次第，(2) の指示を行う．指示の切り替えは，各指示に対応する移動が終了したときのみ行う．以下，指示 (1)，(2) について順に詳述する．

(1) マーカ用紙と共に対象物体を回転させる指示システムは，指示カメラ位置と手持ちビデオカメラの経度が一致する最短の回転方向を求め，図 14 に示すように，紙面上に回転方向を表す矢印を重畳表示す
る．また，必要な回転角度量を矢印の色，および画面下部のインジケータで表現
する．図中 (a)，(b)，(c) は，徐々に指示カメラ位置とビデオカメラの経度差が小さくなる様子を表しており，経度差が小さいほど矢印の色は赤色から緑色に変化する．指示カメラ位置とビデオカメラの経度の差がしきい値以下になれば，経度22

利用者がもつカメラ

指示カメラ位置仮想球
図 13 カメラの上下移動

方向の調整を完了とする．

(2) カメラを上下に動かす指示
指示方法 (1) と同様に，指示カメラ位置までの移動方向と移動距離を矢印の向きと色で表現し，撮影画像上に図 15 に示すように重畳表示する．また，図中 (a)，(b)，(c) は指示カメラ位置とビデオカメラの緯度の差が小さくなる様子を表して
おり，緯度の差が小さいほど矢印の色は赤色から緑色に変化する．指示カメラ位
置とビデオカメラの緯度の差がしきい値以下になれば，緯度方向の調整を完了とする．

3.7 カメラ位置・姿勢の到達判定
利用者のカメラの位置・姿勢がシステムが指示するカメラ位置・姿勢に到達したか否かを判定する．判定基準として，利用者のカメラと指示カメラ位置の仮想球上での経度差・緯度差を用い，両者がしきい値以下となったとき，利用者のカ
メラ位置・姿勢がシステムが指示する位置・姿勢に到達したと判断し，以降に述23

(a) 必要回転量 大(b) 必要回転量 中(c) 必要回転量 小
図 14 回転方向の指示
24

(a) 必要移動量 大(b) 必要移動量 中(c) 必要移動量 小
図 15 移動方向の指示
25

べるフェーズ B の処理を行う．到達していなければ，再びフェーズ A の処理を行う．

3.8 ボクセルモデルに対する簡易テクスチャマッピング
処理 (B-1) では，フェーズ A で推定されたボクセルモデルの各ボクセルに色を付けることでテクスチャマッピングを行う．これにより利用者はプレビュー表示
で，推定された 3 次元モデルの形状とテクスチャの両方を確認することができる．
ボクセルの色は，それまでに撮影されたハンドヘルドビデオカメラの画像面に各ボクセルを投影することで決定する．本研究では，ボクセルの可視判定を簡易的に行い計算量を減らすことで，テクスチャマッピング処理を高速に行い，システ
ムの待ち時間を抑える．以下に処理手順を示す．
表面ボクセルの検出推定されたボクセルモデルの表面以外のボクセルは，対象物体の内部とみなせるため，テクスチャマッピング処理は表面ボクセルに対してのみ行う．ここでは，
図 16 に示すように，ある注目ボクセルの前後上下左右の 6 近傍の中で一つでもボクセルが存在しない注目ボクセルを表面ボクセルとし，推定されたボクセルモ
デルの全ての表面ボクセル Vi (i = 0, ..., 表面ボクセル数 − 1) を検出する．
可視判定
入力動画像の撮影位置 Cj (j = 0, ..., 入力動画像フレーム数 − 1) から各表面ボ
クセル Vi が見えるか否かを判定する．まず，撮影位置 Cj をボクセル空間上の点

Cvj と見なし，図 17 に示す Cvj と Vi を結ぶボクセル空間上の線分を Bresenhamの線分描画アルゴリズム [36] を用いて求める．このとき，線分上に他のボクセルが存在しない場合，表面ボクセル Vi は Cj から可視とする．この処理を，全ての表面ボクセルと全ての撮影位置に対して行う．
ボクセルの色づけ
表面ボクセル Vi が可視とされた撮影位置 Cj の画像平面に Vi を投影し，投影された画像面上の画素をボクセルの色として決定する．ただし，Vi が複数のカメラ
位置から見える場合は，投影された各画素の平均色を用いる．

26

凡例
6近傍ボクセル

注目ボクセル

図 16 6 近傍ボクセル

撮影位置 Cj
Cvj

Vi

ボクセル空間上の撮影位置 Cvj
Vi と Cvj を結ぶ線分
図 17 視点とボクセルを結ぶ線分

27

凡例
カメラ位置姿勢

色決定不能
色決定可能

カメラパス

図 18 色決定不能なボクセル

3.9 撮影指示に用いるカメラ位置・姿勢の算出
処理 (B-2) では，テクスチャマッピング処理 (B-1) の結果に基づき，利用者に指示する撮影位置・姿勢を算出する．ビデオカメラの移動方法によっては，図 18のように，一度も撮影されず，色が決定できない表面ボクセルが存在する．そこ
で，これらのボクセルの色が決定できる撮影位置・姿勢を利用者に指示し，撮影させることで，効率よく良好なモデルを生成することが可能となる．本システム
では，色が決定していないボクセルが最も多く映るカメラ位置・姿勢を利用者に提示する．ここでは，まず計算量を削減するために予め指示位置の候補を列挙しておき，次に，候補の中から利用者に指示するカメラ位置・姿勢を決定する．
指示するカメラ位置・姿勢候補の決定
色が決定していないボクセルが最も多く映るカメラ位置・姿勢を正しく算出するためには，カメラ位置・姿勢を網羅的に走査し，全ての位置・姿勢について，色が決定していないボクセルが見える個数をカウントする必要がある．しかし，このような網羅的な走査は計算コストが大きいため，本手法では，指示するカメラ

28

Geodesic Dome

初期ボクセル形状
撮影位置
撮影姿勢

図 19 撮影指示位置の候補 (一部)

位置・姿勢の候補を予め決定しておき，それらの候補の中で，色が決定していな
いボクセルが最も多く映る位置・姿勢を利用者に指示する．本システムでは，撮影指示位置の候補として図 19 に示す測地ドーム (Geodesic Dome) の頂点を用いる．測地ドームは三角形で構成される半球体で，各三角形の頂点間の距離はほぼ一定という特徴を持つ．各指示候補位置のカメラ姿勢は初期ボクセルモデルの中心を向いているものとする．また，半球体の半径は撮影画角内に初期ボクセルモ
デルの全てが収まるように設定する．なお，利用者により既に候補に近い位置・姿勢から撮影されている頂点は，指示候補から除外する．
撮影指示に用いるカメラ位置・姿勢の算出
指示候補とする全てのカメラ位置・姿勢に対して，色が決定していないボクセ
ルが見える個数をカウントし，色が決定していないボクセルが最も多く映るカメラの位置姿勢を利用者に指示する．なお，全ての表面ボクセルの色が決定している場合は，撮影指示を終了する．

29

3.10 詳細モデリング
利用者がプレビュー表示から良好なボクセルモデルが推定されたと判断すれば，撮影を終了し，オフライン処理であるフェーズ C に移行する．フェーズ C では，
リアルタイムモデリング処理では不可能な，より空間解像度の高い詳細モデリン
グ処理を行う．処理 (C-1) では，はじめにフェーズ A で推定されたボクセルモデ
ルと各撮影位置から，詳細モデリングのための初期ボクセルモデルと単位ボクセ
ルサイズを決定する．次に，決定した初期ボクセルモデルを用いて改めて視体積交差法による対象物体のボクセルモデル生成を行う．
初期ボクセルモデルの決定
リアルタイムモデリングで推定されたボクセルモデルから，詳細モデリングに用いる初期ボクセルモデルの大きさと位置を決定する．はじめに，フェーズ A，

B で得られた簡易ボクセルモデルに対してラベリング処理を行い，体積が一定量未満の孤立した領域を削除する．次に，詳細モデリングに用いる初期ボクセルモ
デルを図 20 に示すように簡易ボクセルモデルの 3 次元的な外接矩形に設定する．
これにより，対象物体が存在しない空間のモデリング処理を省くことができ，計算量を抑えることができる．
単位ボクセルサイズの決定撮影されたカメラパスとリアルタイムモデリングで推定したボクセルモデルを用いて，形状推定可能な最大空間解像度を算出し，初期ボクセルモデルの単位ボ
クセルサイズとする．視体積交差法によって推定可能な 3 次元モデルの空間解像度は図 21 に示すように，カメラの 1 画素の大きさとカメラの投影中心から対象物体までの距離によって決定され，対象がカメラの投影中心に近いほど推定可能なモデルの空間解像度は高くなる．フェーズ A，B で推定した簡易ボクセルモデル
において，撮影されたカメラの位置に最も接近するボクセルを探索し，図 22 のようにカメラ 1 画素の幅をボクセル中心に逆投影する．逆投影した時の幅 N を単位ボクセルサイズとすることで，形状推定可能な最大空間解像度でのモデリン
グ処理を行うことができる．
詳細モデリング
撮影された全ての入力画像を用いて，視体積交差法によるモデリングを再度行

30

フェーズCで用いる初期ボクセルモデル

簡易ボ
クセルモ
フェーズ
デル
Aで用い
た初期ボ
クセルモ
デル

図 20 初期ボクセル形状

視体積外推定可能な空間解像度

視体積外を削除

1画素幅

投影中心
図 21 推定可能な空間解像度

31

1画素幅
新しい単位ボクセルサイズ N

図 22 単位ボクセルサイズ

う．なお詳細モデリングでは，平面間投影に伴う量子化誤差を防ぐため，リアル
タイムモデリング処理 (A-3) において用いたウらの高速化手法は用いない．各ボ
クセルを撮影画像平面に直接投影することで，視体積の内外であるかを判定する．

3.11 ボクセルモデルに対する詳細テクスチャマッピング
処理 (C-2) では，フェーズ B における処理 (B-1) よりも精度の高いテクスチャマッピング処理を行う．一般に，撮影動画像にボクセルを投影して色を決定する
際，ある注目ボクセルは複数の撮影位置姿勢から可視となる．また注目ボクセルは，図 23 のように各画像面に領域として投影される．このとき，投影される領域の面積が大きい画像面ほどボクセルの色決定に用いる情報量が多く，投影面積が小さい画像面よりも正確にボクセルの色を決定することができる．そこで本節では，ボクセルの投影面積毎に重みを変化させたテクスチャマッピング処理を行う．処理手順として，まず，詳細ボクセルモデルの表面ボクセル Vi (i = 0, ..., 表32

撮影カメラ位置

凡例
注目ボクセル

図 23 投影領域

面ボクセル数 − 1) を検出する．次に，入力動画像の撮影位置 Cj (j = 0, ..., 入力
動画像フレーム数 − 1) を視点として，詳細ボクセルモデルのレンダリングを行う．レンダリング結果画像中で表面ボクセル Vi の描画領域を検出し，撮影位置

Cj の画像面と対応する領域を切り出す．この時，切り出された領域の画素数は図23 に示す投影領域と同等と見なすことができる．他の撮影位置姿勢についてもレンダリングを行い，表面ボクセル Vi が見える全ての領域を切り出し，切り出された全画素の平均色を表面ボクセル Vi の色とする．以上の処理を全ての表面ボ
クセルに対して行う．抽出された領域の全画素の平均色を用いることで，投影面積が大きい画像平面上の色の重みが大きくなり，より精度の高いテクスチャマッ
ピング処理が行われる．

33

図 24 モデリングシステムの画面

4. モデリング実験
提案システムを用いたモデリング実験を行った．本実験は，システム中のモデリング手法やテクスチャマッピング手法を用いて良好な 3 次元モデルを生成可能であるかを確認することを目的とする．提案システムの画面構成を図 24 に示す．
画面左側には，ハンドヘルドビデオカメラの撮影画面と撮影指示が重畳表示されている．また，右側は撮影と同時にフェーズ A，B で推定された 3 次元モデルが表示されている．本実験を行った利用者は，視体積交差法やハンドヘルドビデオ
カメラの動かし方，またシステムの操作方法について熟知している．

34

4.1 モデリング環境
モデリング環境を図 25 に示す．モデリング対象の下には，マーカを印刷した用紙が敷かれている．マーカ用紙を置く机の表面は用紙を回しやすい滑らかな材質であり，白色の単一色である．壁面は，A4 用紙を貼り合わせて作成した横840 × 縦 594 mm の白色の用紙を張っている．実験に使用した機材は，計算機にPC (pentium4 3.2 GHz，Memory 2.00 GByte，ビデオカード RADEON9800PRO
128MB)，ハンドヘルドビデオカメラに APLUX 社製 C104T (撮影解像度 640×480
画素, 撮影フレームレート 30 fps) を利用した．カメラの内部パラメータは事前に Tsai の手法 [37] により算出した．マーカ用紙は A3 用紙上に Fuji Xerox 社製

DocuStation DP300(印刷解像度 600 dpi) のレーザプリンタを用いて印刷した．
モデリング対象物体として，図 26 に示す表面色のコントラストが明瞭であり凹部分が少ない物体 A と，図 27 に示す複雑な表面色や細かい毛が付着している物
体 B を用いた．また，対象物体 A,B を包含し，かつ使用した計算機でフェーズ Aの処理をビデオレートで実行可能なボクセル空間として，横方向 200 × 高さ方
向 250 × 奥行き方向 200 mm の大きさのボクセル空間，一辺の長さ 3.125mm の単位ボクセルサイズ (空間中のボクセル数:横方向 64 × 高さ方向 80× 奥行き方向

64 個) を手動で設定した．

4.2 モデリング結果
対象物体 A において，システムの指示に従いながら撮影した利用者のカメラパ
スを図 28 に示す．図中の四角錐はマーカが認識できたフレームの内，20 フレー
ム置きの撮影位置・姿勢を表し，数値はフレーム番号である．また，フェーズ Bで算出したカメラの撮影指示位置・姿勢を図 29 に示す．図中の数字は指示回数を表している．各処理に要した平均時間を表 1 に示す．フェーズ A は平均 7.6 fpsで処理され，対象撮影に対して平均 132 ms の遅延があった．フェーズ A のモデ
リング過程の様子を図 30 に示す．フェーズ C で算出された詳細モデリング用の
初期ボクセルモデルの大きさは 140 × 206 × 150 mm であり，単位ボクセルサイ
ズの一辺の長さは 0.36 mm であった．詳細モデリング時のボクセル空間は，算出

35

図 25 モデリング環境36

図 26 対象物体 A

図 27 対象物体 B
した初期ボクセルモデルと同じ 140 × 206 × 150 mm の空間サイズ，単位ボクセ
ルサイズは 0.36 mm(空間中のボクセル数:横方向 390 × 高さ方向 576 × 奥行き
方向 419 個) とした．図 31 にフェーズ C によって生成された詳細モデルを示す．
対象物体 B において，システムの指示に従いながら撮影した利用者のカメラパ
スを図 32 に示す．図中の四角錐はマーカが認識できたフレームの内，20 フレー
ム置きの撮影位置・姿勢を表し，数値はフレーム番号である．また，フェーズ Bで算出したカメラの撮影指示位置・姿勢を図 33 に示す．図中の数字は指示回数を表している．フェーズ A のモデリング過程の様子を図 34 に示す．フェーズ C で算出された詳細モデリング用の初期ボクセルモデルの大きさは 160 × 231 × 139

mm であり，単位ボクセルサイズの一辺の長さは 0.29 mm であった．詳細モデリ
ング時のボクセル空間は，算出した初期ボクセルモデルと同じ 160 × 231 × 139

37

表 1 対象物体 A の処理時間
処理時間 [ミリ秒]

処理内容

2.7

対象の撮影
マーカを用いたカメラ位置・姿勢の推定

(A-1)

42.6

シルエット画像の生成

(A-2)

35.0

視体積交差法によるボクセルモデルの生成

(A-3)

17.1

ボクセルモデルのプレビュー表示

(A-4)

4.2

撮影すべきカメラ位置・姿勢の提示

(A-5)

15.9

簡易テクスチャマッピング

(B-1)

291.1

撮影指示に用いるカメラ位置・姿勢の算出

(B-2)

97.9
処理時間 [秒]処理内容
詳細モデリング

(C-1)

2446

詳細テクスチャマッピング

(C-2)

1151

mm の空間サイズ，単位ボクセルサイズは 0.29 mm(空間中のボクセル数:横方向
551 × 高さ方向 796 × 奥行き方向 479 個) とした．図 35 にフェーズ C によって生成された詳細モデルを示す．
対象物体 A の撮影に要した時間は 72 秒であり，カメラの位置・姿勢が推定できた画像は計 259 フレームであった．また対象物体 B の撮影に要した時間は 121秒であり，カメラの位置・姿勢が推定できた画像は計 423 フレームであった．生成された詳細モデルを確認した結果，対象物体 A は概ね良好な 3 次元モデルが生成された．一方，対象物体 B は図 35 からも分かるように形状およびテクスチャが不良な部位が多く見られた．

38

60
80

100

40

180
220

200

240
160
0
120

20

140

図 28 対象物体 A に対するカメラパス

3
6
8
4
2

7

1

図 29 対象物体 A に対する撮影指示位置・姿勢

39

5

1 フレーム目

10 フレーム目

20 フレーム目

30 フレーム目

40 フレーム目

50 フレーム目

160 フレーム目

260 フレーム目

図 30 対象物体 A のモデリング過程40

図 31 対象物体 A の詳細モデリング結果

360400

120

140
160

380

180

340

320
40

420
100
200

300
20
60

80

280

220
0

240
260

図 32 対象物体 B に対するカメラパス

41

9

3

10
4

8
2

7
1

6

5

図 33 対象物体 B に対する撮影指示位置・姿勢

42

50 フレーム目

100 フレーム目

150 フレーム目

200 フレーム目

250 フレーム目

300 フレーム目

350 フレーム目

400 フレーム目

図 34 対象物体 B のモデリング過程43

図 35 対象物体 B の詳細モデリング結果

4.3 考察実験の結果，対象物体 B は対象物体 A と比べて良好なモデリング結果を得る
ことができなかった．これは，用いた 3 次元モデリング手法，テクスチャマッピ
ング手法の特性が原因と考えられる．一方，物体 A は概ね良好なモデルが生成され，個人が作成するホームページ等への利用といった目的に対しては十分な精度だと言えるものの，一部に適切でない形状が見られた．これは，本システムが想定したモデリング環境が原因と考えられる．以下にそれぞれの問題について考察する．
モデリング・テクスチャマッピング手法に伴う問題
本システムでは視体積交差法による対象物体のモデル推定処理を行うため，手法の制約上，凹部分は正しくモデルを推定することができない．この制約は，図36 に示す対象物体 B の顔の部分に顕著に表れ，形状を正しく生成することができなかった．また，テクスチャマッピング処理は対象物体の形状が正確に推定されていることを前提としており，対象の凹部分や，撮影不足によりモデルが正しく生成されていない部位は正しくテクスチャマッピング処理が行われなかった．こ44

図 36 対象物体 B の凹部分の問題を解決するには，視体積交差法とは異なるモデル推定手法の取り入れが必要と考えられる．
対象の 3 次元モデルが良好に生成されなかった他の部位として，物体 B の図 37に示す毛の部分があった．毛の部分が正しくモデリングされず，また本来存在しない白色のテクスチャが見られた．これは，毛の部分は，通常の視体積交差法ではモデル推定が困難な非常に複雑な形状をしているのが原因である．また白色のテクスチャについては，撮影画像中において毛は背景である机面やマーカ用紙が透けて見えるため，背景色が混ざった色がボクセルに割り当てられてしまったことが原因である．この問題を解決する方法として，毛のように見かけ上半透明な物体を表現可能な Opacity Hull[38] の導入が有効であると考えられる．
カメラ位置姿勢推定に伴う問題
対象物体 A で良好に形状が生成されなかった部位として，足下や図 38 に示す
首周りといった部位がある．このような部位は完全な凹部分でなく，図 39 のように真横から撮影することで，視体積交差法により良好にモデルを推定することが可能である．一方，本システムはカメラ位置・姿勢推定手法として対象物体の下45

図 37 対象物体 B におけるモデリングとテクスチャマッピングの失敗に敷かれたマーカ用紙を用いている．マーカは，カメラと用紙が正対しているとき認識率が高く，傾くにつれて認識率は低下する．このため，図 39 のような撮影
位置姿勢ではマーカの認識が困難となり，カメラ位置・姿勢が推定できず，正しくモデルを推定することができなかった．

46

図 38 対象物体 A の首周りのモデリング結果

図 39 真横から撮影した対象物体 A

47

5. 被験者による主観的評価実験と考察
提案システムを用いた複数の被験者によるモデリング評価実験を行った．本実験は，システムによる撮影指示の有用性，モデリング作業の簡便性，生成されたモデルの満足度を複数の被験者により主観的に評価してもらうことを目的とする．
撮影指示の有用性を確認するため，指示機能ありで対象を撮影しモデリングする
実験と，指示機能を無効にした状態で対象を撮影しモデリングする実験の 2 種類を各被験者が行う．なお，本実験では，モデリングインターフェースの有用性に主眼を置いて評価してもらうため，4 章のモデリング実験の結果，比較的良好な
モデルが生成された対象物体 A を用いた．そのほか，実験に用いた機材や環境は

4 章の実験と同じである．

5.1 評価方法
被験者には，実験前に 3 次元モデリングやハンドヘルドビデオカメラの操作に関する知識や経験を訪ねる事前アンケートを行った．事前アンケート用紙を図 40，41 に示す．事前アンケートの後，提案システムが想定するモデルの利用方法やシステムの使い方，撮影に関する注意点について 5 分ほど口頭により説明した．モ
デリング実験は，被験者が撮影方法を学習することによる評価の変動を防ぐため，
はじめに，利用者に自由に対象を撮影してもらい，その後にシステムの指示に従いながら撮影を行う実験グループ A と，逆に，先にシステムの指示に従いながら撮影し，次に指示機能なしで自由に撮影する実験グループ B に被験者を分け，実験を行った．撮影の終了は被験者に判断してもらい，本実験では撮影のやり直しを認める．なお，計算機のメモリ容量の制限から，カメラの位置・姿勢推定が可能なフレーム数が 999 フレームを超えた場合，撮影はその場で終了とした．また，実験時間の制約から，フェーズ C で行う詳細モデリング処理に用いる初期ボクセ
ルモデルは 150×150×150 個のボクセルとした．撮影の後，フェーズ C で出力した詳細モデルをマウス操作により見回し，生成されたモデルの精度や，撮影労力，
各指示方法について評価してもらう事後アンケートを行った．事後アンケート用紙を図 42，43 に示す．

48

事前アンケート 講座()
氏名(アカウント(
実験日

年 月
時 分～ 時
実験番号（

)
)
日
分
）

お忙しい中，実験にご協力していただきありがとうございます．
本実験は，ユーザの 3 次元グラフィックスやモデリング等に関する知識を調査する事前アンケート，モデリング実験，事後アンケートの 3 部から成ります．
本システムで作成される３次元モデルは，インターネットオークションのための３次元商品カ
タログや，ゲームや WEB ページなどに登場させる３次元オブジェクトとして利用することを想定しています．生成された３次元モデルが，上記目的にとって十分な精度であるか，モデリング作業について許容される労力がどの程度かを調査することを主目的としています．
以下は，3 次元グラフィックスやモデリング等に関するアンケート(事前アンケート)です．
以下の質問について，実験を行う前にお答えください．

３次元グラフィックス次元グラフィックス(グラフィックス(コンピュータグラフィックス)コンピュータグラフィックス)について

1.

[1.全く知らない 2.言葉は聞いたことがある 3.時々見る 4.よく見る
5. 3 次元 CG ゲーム等で遊んだことがある 6. 3 次元 CG ゲーム等でよく遊ぶ]

３次元モデル
各種作成方法次元モデルのモデルの各種作成
作成方法について方法について2.

a. CAD ソフトウェアの利用 (例：Shade，3Dmax，LightWave3D など)[1.全く知らない 2.聞いたことがある 3.使ったことがある 4.よく使う 5.専門的に使用している]
2.～5.回答時に記入(具体名：)b. お絵かきモデリングソフトの利用 (例：Teddy，PlayStation2 用ソフト"名作劇場 ラクガキ王国”，など)[1.全く知らない 2.聞いたことがある 3.使ったことがある 4.よく使う 5.専門的に使用している]
2.～5.回答時に記入(具体名：)c. 画像からの自動生成ソフトウェアの利用[1.全く知らない 2.聞いたことがある 3.使ったことがある 4.よく使う 5.専門的に使用している]
2.～5.回答時に記入(具体名：)d. レーザレンジフィンダ等，形状測定装置の利用[1.全く知らない 2.聞いたことがある 3.使ったことがある 4.よく使う 5.専門的に使用している]
2.～5.回答時に記入(具体名：)

図 40 事前アンケート用紙 1 枚目
49e.

その他（具体名：）

全く知らない 2.聞いたことがある 3.使ったことがある 4.よく使う 5.専門的に使用している][1.

3.「視体積交差法(
視体積交差法(Shape from Silhouette)」について

全く知らない 2.聞いたことがある 3.原理を知っている 4.プログラムによる実装を行った][1.

4. ビデオカメラやビデオカメラや携帯電話内蔵ビデオカ
ディスプレイ装置を
携帯電話内蔵ビデオカメ
ビデオカメラなど，など，ディスプレイ装置
装置を内蔵する
内蔵するカ
するカ

メラの
メラの使用経験
使用経験について全く使わない 2.使ったことがある 3.ときどき使う 4.頻繁に利用している][1.

5. WEB カメラなど
カメラなど，など，ディスプレイ装置
ディスプレイ装置を装置を内蔵しない
内蔵しないカメラしないカメラのカメラの使用経験
使用経験について全く使わない 2.使ったことがある 3.ときどき使う 4.頻繁に利用している][1.

ありがとうございました．続いてモデリング実験を行います．
図 41 事前アンケート用紙 2 枚目
50

事後アンケート

氏名
実験番号
(

)

(

)

ご苦労様でした．モデリング実験結果について，以下のアンケートにお答えください．なお，本システムで作成される３次元モデルは，インターネットオークションのWEB

ための３次元商品カタログや，ゲームやページなどに登場させる３次元オブジ
ェクトへの利用を想定していることを念頭に置いて，以下のアンケートに記述をお願
いします．
1.

利用についてできあがったモデル
できあがったモデルのモデルの利用について
撮影指示なしで撮影指示なしで作成作成したモデル
したモデル
なしで作成した

1.1.

利用に耐えない 2.大幅な修正作業が必要である 3.若干の手直しが必要である 4.直接利用できる]

1.

[

（

）

撮影指示ありで撮影指示ありで作成
ありで作成した
作成したモデル
したモデル

1.2.

利用に耐えない 2.大幅な修正作業が必要である 3.若干の手直しが必要である 4.直接利用できる]

[1.

2.

（

撮影労力
労力について撮影
労力について

2.1.

2.2.

撮影指示なし撮影指示なし時
なし時

大変気になる 2.やや気になる 3.どちらとも思わない 4.気にならない 5.全く気にならない]

[1.

（

）

撮影指示あり
あり時
撮影指示
あり時

大変気になる 2.やや気になる 3.どちらとも思わない 4.気にならない 5.全く気にならない]

[1.

3.

）

（

）

各機能について各機能についてプレビュー表示
表示について(参照)
プレビュー表示についてについて(別紙 1 図 1 を参照)
表示方法 表示内容がわからない 動作が確認できる やや参考になる 参考になる
必要性 必要ない なくてもよい あったほうがよい 必要である
（
）

3.1.

:[1.

2.

:[1.

2.

3.

3.

4.

4.

]

]

初期位置合わせの初期位置合わせの指示
わせの指示について指示について(について(別紙 1 図 2,図 3 を参照)
参照)
表示方法 指示がでなかった 表示内容がわからない 動作が確認できる やや参考になる 参考になる
表示方法で ～ に回答時のみ記入
必要性 必要ない なくてもよい あったほうがよい 必要である
（
）

3.2.

:[1.

2.

:[1.

2.

3.

4.

5.

5.

2.

3.

4.

図 42 事後アンケート用紙 1 枚目
51

]

]

物体中央注目の物体中央注目の指示について
指示について(について(別紙 2 図 4,図 5 を参照)
参照)
表示方法 指示がでなかった 表示内容がわからない 動作が確認できる やや参考になる 参考になる
表示方法で ～ に回答時のみ記入
必要性 必要ない なくてもよい あったほうがよい 必要である
）
（

3.3.

:[1.

2.

2.

3.

4.

5.

]

5.

:[1.

2.

3.

4.

]

用紙回転の
用紙回転の指示矢印につい指示矢印についてについて(別紙 2 図 6,図 7 を参照)
参照)
表示方法 指示がでなかった 表示内容がわからない 動作が確認できる やや参考になる 参考になる
表示方法で ～ に回答時のみ記入
必要性 必要ない なくてもよい あったほうがよい 必要である
（
）

3.4.

:[1.

2.

2.

3.

4.

5.

]

5.

:[1.

2.

3.

4.

]

カメラの上下移動指示矢印について
カメラの上下移動指示矢印について(参照)
について(別紙 3 図 8,図 9 を参照)
表示方法 指示がでなかった 表示内容がわからない 動作が確認できる やや参考になる 参考になる
表示方法で ～ に回答時のみ記入
必要性 必要ない なくてもよい あったほうがよい 必要である
（
）

3.5.

:[1.

2.

2.

3.

4.

5.

]

5.

:[1.

2.

3.

4.

高解像度モデリング
モデリングについて
高解像度モデリングについて
処理速度 遅すぎる 遅い 妥当な速さである 速い
必要性 必要ない なくてもよい あったほうがよい 必要である
（

]

3.6.

4.

:[1.

2.

:[1.

2.

3.

4.

]

3.

4.

]

）

総合評価（
総合評価（作業労力に
作業労力に対するモデリングするモデリング結果について）モデリング結果について結果について）4.1.

撮影指示なし
なし時
撮影指示
なし時

実用に耐えない 労力に見合ってない どちらともいえない 労力に見合った結果 労力以上の結果

[1.

4.2.

（

2.

3.

4.

5.

）

撮影指示あり撮影指示あり時あり時実用に耐えない 労力に見合ってない どちらともいえない 労力に見合った結果 労力以上の結果

[1.

]

（

2.

3.

4.

5.

]

）

その他
その他，意見など
意見など

以上で実験は終わりです．ご協力ありがとうございました． 視覚情報メディア講座 不殿 健治
図 43 事後アンケート用紙 2 枚目
52

5.2 評価結果
22 人の被験者によるモデリング実験を行った．実験では，被験者の内 9 人を実験グループ A，残りの 13 人を実験グループ B として行った．各被験者の 3 次元モデリングに関する知識や経験等を訪ねた事前アンケートの主な結果を表 2 に示す．
表中の角括弧内の数字は，各設問の回答範囲である．なお，回答者がいなかった
設問 2.e. については省略している．本実験では，事前アンケートの設問 2.a. から

2.e. にかけて，項目 3 から 5 の回答が一つ以上ある被験者を，3 次元モデリング経験を有する者とした．事前アンケートの結果，実験グループ A のうち，3 次元モデリングが未経験な被験者は 5 人，実験グループ B では 8 人となった．モデリ
ング作業において，各被験者の撮影に要した時間やカメラの位置・姿勢が推定できた撮影フレーム数，詳細モデリング処理に要した処理時間を表 3 に示す．モデリング作業後の事後アンケート結果について，モデリング経験のない被験者の結果を表 4 に，全体の結果を表 5 に示す．また，事後アンケートに記入された主なコメントを表 6 に記す．アンケート項目は全て，数値が高いほど質問に対する肯定的な回答である．結果として，実物体の 3 次元モデリング経験の無い被験者でも，3 分程度の撮影時間で良好なモデルを作成できることを確認した．また，モデルの精度や撮影労力に関する設問 1.1.，1.2.，2.1.，2.2.，4.1.，4.2. に対して，3次元モデリングが未経験な被験者から，指示機能の提供により精度や労力が改善されたという回答が得られ，指示機能の有用性を確認できた．一方でモデリング経験者も含めた被験者全体では，指示機能による改善幅は小さく，有用性を確認するには至らなかった．各機能の必要性については，指示することが少なかった「物体中央注目の指示」を除き，平均 3 ポイント以上の高評価となった．

5.3 考察
被験者全体の実験結果として，「指示機能あり」，「指示機能なし」で生成されたモデルの精度や撮影労力について，「指示機能あり」の方が良好な結果が得られた
ものの，大きな差違は見られなかった．この理由として，後述する各機能の表示方法に問題があったことが原因と考えられる．システムが提供する機能の必要性

53

表 2 事前アンケート結果
設問内容 [回答範囲]

回答 (平均)1.

３次元グラフィックスについて

[1〜6]

4.6

2.a.

CAD ソフトウェアの利用経験について

[1〜5]

2.2

2.b.

お絵かきモデリングソフトの利用経験について

[1〜5]

1.6

2.c.

画像からの 3 次元モデル生成ソフトの利用経験について

[1〜5]

1.4

2.d.

レーザレンジフィンダ等の利用経験について

[1〜5]

1.7

3.

「視体積交差法 (Shape from Silhouette)」について

[1〜4]

2.0

4.

ビデオカメラ等の使用経験について

[1〜4]

3.0

5.

WEB カメラ等の使用経験について

[1〜4]

2.4

表 3 モデリング実験結果
モデリング未経験者のみ
実験グループ

A

B

撮影回数

1.2
156.2
515.4
271.4

1.0
183.3
626.0
346.4

1.0
194.6
745.8
342.6

1.0
149.3
634.4
369.9

指示

撮影時間 [秒]なし

撮影フレーム数
フェーズ C 処理時間 [秒]
撮影回数

指示

撮影時間 [秒]あり

撮影フレーム数
フェーズ C 処理時間 [秒]

54

A+B

全体

A

B

A+B

1.1
172.8
583.5
317.5

1.0
154.4
506.9
269.1

1.0
156.8
619.0
335.3

1.1
155.8
573.1
308.2

1.0
166.7
677.2
359.4

1.0
214.4
831.0
408.0

1.0
147.1
660.2
366.2

1.0
174.6
730.0
383.3

表 4 事後アンケート結果 (実物体のモデリングを未経験な被験者のみ)

設問内容 [回答範囲]

グループ A

グループ B全体

回答 (平均)回答 (平均)

(平均)

1.1.

生成モデルの精度 (指示なし)

[1〜4]

3.0

2.8

2.8

1.2.

生成モデルの精度 (指示あり)

[1〜4]

3.8

3.3

3.5

2.1.

撮影労力 (指示なし)

[1〜5]

3.0

2.1

2.5

2.2.

撮影労力 (指示あり)

[1〜5]

3.6

3.1

3.3

3.1.

プレビューの表示方法

[1〜4]

3.6

3.8

3.7

3.1.

プレビューの必要性

[1〜4]

4.0

3.6

3.8

3.2.

初期位置合わせの指示の表示方法

[1〜5]

4.2

4.5

4.4

3.2.

初期位置合わせの指示の必要性

[1〜4]

3.4

3.3

3.3

3.3.

物体中央注目の指示の表示方法

[1〜5]

4.0

3.0

3.5

3.3.

物体中央注目の指示の必要性

[1〜4]

3.0

2.0

2.5

3.4.

用紙回転の指示矢印の表示方法

[1〜5]

4.2

4.5

4.4

3.4.

用紙回転の指示矢印の必要性

[1〜4]

3.8

3.6

3.7

3.5.

上下移動指示矢印の表示方法

[1〜5]

3.6

4.1

3.9

3.5.

上下移動指示矢印の必要性

[1〜4]

3.6

3.5

3.5

3.6.

詳細モデリングの処理速度

[1〜4]

2.2

2.6

2.5

3.6.

詳細モデリングの必要性

[1〜4]

3.6

3.5

3.5

4.1.

総合評価 (指示なし)

[1〜5]

3.8

3.3

3.5

4.2.

総合評価 (指示あり)

[1〜5]

4.2

4.0

4.1

55

表 5 事後アンケート結果 (全体)

設問内容 [回答範囲]

グループ A

グループ B全体

回答 (平均)回答 (平均)

(平均)

1.1.

生成モデルの精度 (指示なし)

[1〜4]

3.2

3.0

3.0

1.2.

生成モデルの精度 (指示あり)

[1〜4]

3.4

3.2

3.3

2.1.

撮影労力 (指示なし)

[1〜5]

3.4

2.6

3.0

2.2.

撮影労力 (指示あり)

[1〜5]

3.1

3.4

3.3

3.1.

プレビューの表示方法

[1〜4]

3.6

3.5

3.5

3.1.

プレビューの必要性

[1〜4]

4.0

3.6

3.8

3.2.

初期位置合わせの指示の表示方法

[1〜5]

3.6

4.5

4.1

3.2.

初期位置合わせの指示の必要性

[1〜4]

3.1

3.2

3.2

3.3.

物体中央注目の指示の表示方法

[1〜5]

3.0

3.5

3.3

3.3.

物体中央注目の指示の必要性

[1〜4]

2.5

2.5

2.5

3.4.

用紙回転の指示矢印の表示方法

[1〜5]

4.1

4.6

4.4

3.4.

用紙回転の指示矢印の必要性

[1〜4]

3.2

3.5

3.4

3.5.

上下移動指示矢印の表示方法

[1〜5]

3.1

4.1

3.7

3.5.

上下移動指示矢印の必要性

[1〜4]

3.1

3.5

3.3

3.6.

詳細モデリングの処理速度

[1〜4]

2.2

2.5

2.4

3.6.

詳細モデリングの必要性

[1〜4]

3.8

3.5

3.6

4.1.

総合評価 (指示なし)

[1〜5]

4.1

3.7

3.8

4.2.

総合評価 (指示あり)

[1〜5]

3.9

3.9

3.9

56

表 6 主なコメント
設問

コメント

1.1

撮影できていないことに気づいていなかった部分があった
首周りが削れてなかった

1.2「指示無し」よりは手直しの量は少ない
指示の意味の理解に時間がかかり，うまく作れなかった

2.1

手が疲れる
きれいに撮影するにはどのくらい動かしてよいかわからなかった

2.2

比較的無駄が少ないように思った
下という指示の意味が分かりにくかった
指示ありの場合は指示画面を見る必要があり，労力はます

3.1

どこが撮れているか，直接確認できる
プレビューを見ると，カメラに意識がいかず動いてしまう
回転が自動なのでどのアングルから狙えばよいかわかりにくかった

3.2

適切な指示ならば便利だと思う
具体的にどこに移動さすのかがほしい

3.4

わかりやすかった
どのくらいゆっくりと動かしてよいか分からなかった

3.5

下の意味がわからなかった
カメラを上下に移動するとすぐに指示矢印に変わったので何か不安

3.6

遅いけど必要4.1

手作業でモデル作るよりは楽チン
同じところばっかりを撮影していた気がした
マーカがどの程度映っていればよいのか分からなかった

4.2

プレビュー表示を見なくてもきれいなモデルができた
プレビュー画面を見なくて良くなったので撮影指示は合った方がよいと思う
指示に振り回されて，しんどかった
時間の割には欠損が多かった

その他

自分の写したい部分が写せなくて，もどかしい感じがした
モデルの細かいところをどうとればいいかよく分からなかった

57

について，「モデルのプレビュー」，「用紙回転の指示」，「詳細モデリング」に対する評価は平均値が 3 ポイントを超え，各機能の必要性が確認された．しかし，表示方法については，「初期位置合わせの指示」，「カメラを上下に動かす指示」，および必要性において評価が高かった「モデルのプレビュー」の各機能に対する評価が低く，今後の改善が必要である．特にカメラの上下移動の指示について，本シ
ステムでは図 44(a) に示すようにハンドヘルドビデオカメラ座標系における上下方向を想定しているのに対して，利用者の多くが (b) に示すマーカ座標系における上下方向と解釈したため，指示位置の到達に時間を要し，低い評価結果となった．また，上下方向の指示が分かりにくいというコメントが複数あった．そのため，カメラの上下移動の指示方法の改善が今後必要である．この他としては，「カ
メラの移動速度および用紙の回転速度がわからない」といったコメントがあり，システムが想定する理想的な移動速度の提示を行う必要があると考えられる．
また撮影終了のタイミングについて，撮影フレーム数が 800 フレームを超え，形状がほぼ推定されているにもかかわらず撮影を続行した者が「指示機能なし」の実験で 4 人．一方「指示機能あり」の実験では 11 人と「指示機能なし」の実験よりも増加した．これは，「指示機能あり」の実験では，利用者は指示が表示される撮影画面のみを注目しプレビュー表示の確認が疎かとなったため，適切な終了判断ができなかったことが原因と考えられる．この問題を解決するために，利用者が撮影終了を明確に判断できる何らかの指標を利用者に対して提示する必要があると考えられる．最後に，詳細なモデルを生成したい部位を利用者が指示し，そのために必要な撮影方法をシステムが提示する機能が必要というコメントが複数得られた．今後は利用者からの入力インターフェースの導入について検討する必要がある．

58

利用者がもつカメラ
指示カメラ位置仮想球(a) カメラ座標系での移動利用者がもつカメラ

実際の移動位置(b) マーカ座標系での移動
図 44 カメラの上下移動指示

59

6. まとめ
本論文では，実物体の 3 次元モデリングに関する知識や経験，機器を持たない
一般の利用者が手軽に 3 次元モデルを作成できるインタラクティブ 3 次元モデリ
ングシステムを提案し，構築システムによるモデリング実験とその有用性を確認する被験者実験を行い，その結果について述べた．
従来，実物体の 3 次元モデリング手法としては，レーザ光測距装置といった特殊な装置を用いて形状を計測する手法が提案されていたが，機器の取り扱いや装置の価格から一般の利用者にとって適した手法ではなかった．一方，一般に広く普及しているビデオカメラで撮影した動画像から形状推定する手法が従来提案されているが，撮影方法に習熟が必要であることと，モデリング状況を随時確認す
ることが不可能なため，利用者は手軽にモデリングを行うことができなかった．
そこで本研究では，一般的なハンドヘルドビデオカメラを用い，利用者に対して撮影方法の指示を行うシステムを提案した．本システムでは，撮影と同時に推定された対象の 3 次元モデルを表示することで，随時モデリング状況を確認する
ことができ，一般の利用者は手軽に実物体の 3 次元モデリングを行うことができる．モデリング実験の結果，形状の輪郭がはっきりしている対象物体では良好にモデリングが行えるものの，システムが用いた 3 次元復元手法，およびテクスチャマッピング手法から，凹部分のある物体や，毛などの細かい部位がある対象では良好な結果が得られなかった．被験者実験の結果，3 次元モデリング経験のない被験者が，短時間で良好な 3 次元モデルを生成できることを確認し，また，撮影指示機能により撮影に関する労力や生成されたモデル精度の改善が見られ，撮影方法の指示機能の有用性を確認することができた．一方で，被験者全体に対しては，一部の撮影指示の方法に問題があったため，指示機能の有用性を確認するには至らなかった．今後は，異なる 3 次元復元手法やテクスチャマッピング処理の追加によるモデリング精度の向上や，各機能の表示方法等に関するインターフェース
面での改善を行う必要がある．また，生成されたボクセルモデルを手軽に利用できるよう，生成結果のポリゴンモデルへの変換処理の導入が必要である．

60

謝辞
本研究の全過程を通して，懇切なる御指導，御鞭撻を賜った視覚情報メディア講座 横矢直和教授に心より感謝いたします．
本研究を進めるにあたり，有益な御助言，御指導を頂いた像情報処理学講座 千原國宏教授に厚く御礼申し上げます．
本研究を通じて，温かい御指導をして頂いた視覚情報メディア講座 山澤一誠
助教授に深く感謝いたします．そして，本研究の遂行に適切な御助言を頂きました視覚情報メディア講座 神原誠之助手に深く御礼申し上げます．また，本研究を行うにあたり，多大なる御助言，御鞭撻を賜った視覚情報メディア講座 佐藤智和
助手に心より感謝いたします．研究室において物心両面において常に温かい御支援を頂いた，視覚情報メディア講座 守屋知代女史に厚く御礼申し上げます．最後に，研究活動だけでなく日々の生活においても大変お世話になった視覚情報メディア講座の諸氏に深く感謝いたします．

61

参考文献
[1] 株式会社ＮＴＴデータ三洋システム:“Cyber modeler handy light,”

http://www.nttd-sanyo.co.jp/, 2002.
[2] UZR GmbH & Co KG: “imodeller 3D,” http://www.imodeller.com/en/,
2001.
[3] Leica Geosystems HDS LLC: “Hds2500,” http://hds.leica-geosystems.com/,
2000.
[4] コニカミノルタ株式会社: “Vivid 910,” http://konicaminolta.jp/, 2002.
[5] J. E. Banta, L. M. Wong, C. Dumont and M. A. Abidi: “A next-best-view
system for autonomous 3D object reconstruction,” IEEE Trans. Systems,
Man and Cybernetics, Vol. 3, No. 5, pp. 589–598, 2000.
[6] 芳賀浩嗣, 佐藤宏介: “ハンドプロジェクタによる支援光を用いた形状計測”,
第 9 回パターン計測シンポジウム 資料, pp. 35–38, 2004.

[7] 松本道和, 井村誠孝, 安室喜弘, 眞鍋佳嗣, 千原國宏: “遺物の形状計測のための点群の解析及び支援手法”, 第 3 回情報科学技術フォーラム (FIT2004) 講演
論文集, Vol. 4, pp. 295–296, 2004.

[8] L. Zhang, B. Curless, A. Hertzmann and S. M. Seitz: “Photometric methodfor determining surface orientation from multiple images,” Proc. the 9thIEEE Int. Conf. on Computer Vision (ICCV), Vol. 1, pp. 618–625, 2003.
[9] G. G. Slabaugh, W. B. Culbertson, T. Malzbender, M. R. Stevens and R. W.
Schafer: “Methods for volumetric reconstruction of visual scenes,” Int. Journal on Computer Vision (IJCV), Vol. 57, No. 3, pp. 179–199, 2004.
[10] H. Kim and I. Kweon: “Optimal photo hull recovery for the image-basedmodeling,” Proc. the 6th Asian Conf. on Computer Vision (ACCV), Vol. 1,
pp. 384–389, 2004.
62

[11] 株式会社カプコン: “鬼武者”, http://www.capcom.co.jp/onimusha/, 2001.
[12] エ レ ク ト ロ ニック・ア ー ツ 株 式 会 社:

“007nightfire,”

http://www.japan.ea.com/007/home.html, 2004.
[13] MMV

New

Line

Productions:

“the

lord

of

the

rings,”

http://www.lordoftherings.net/, 2001.
[14] マツダ株式会社: “ロードスタークーペ”, http://www.mazda.co.jp/, 2004.
[15] N. A. Massiosy and R. B. Fisher: “A best next view selection algorithm incorporating a quality criterion,” Proc. the 9th British Machine Vision Conference (BMVC), pp. 780–790, 1998.
[16] 井口征士, 佐藤宏介: “三次元画像計測”, 昭晃堂, 1990.
[17] Cyberware: “Cyberware 3030 rgb,” http://www.cyberware.com/, 1993.
[18] S. Rusinkiewicz, O. Hall-Holt and M. Levoy: “Real-time 3D model acquisition,” Proc. ACM SIGGRAPH, pp. 35–38, 2002.
[19] B. K. P. Horn: “Obtaining shape from shading information,” In the Psychology of Computer Vision, pp. 115–155, 1975.
[20] B. K. P. Horn: Robot Vision, The MIT Press, 1986.
[21] R. J. Woodham: “Photometric method for determining surface orientation from multiple images,” Journal of Optical Engineering, Vol. 19, No. 1,
pp. 115–155, 1975.
[22] K. Ikeuchi: “Determing surface orientation of specular surfaces by using thephotometric stereo method,” IEEE Trans. Pattern Analysis and MachineIntelligence (PAMI), Vol. 3, No. 6, pp. 661–669, 1981.

63

[23] S. K. Nayar: “Shape from focus system,” Proc. IEEE Computer Society
Conf. on Computer Vision and Pattern Recognition (CVPR), pp. 302–308,
1992.
[24] H. N. Nair and C. V. Stewart: “Robust focus ranging,” Proc. IEEE Computer Society Conf. on Computer Vision and Pattern Recognition (CVPR),
pp. 309–314, 1992.
[25] S. K. Nayar and Y. Nakagawa: “Shape from focus,” IEEE Trans. PatternAnalysis and Machine Intelligence (PAMI), Vol. 16, No. 8, pp. 824–831, 1994.
[26] V. J. Milenkovic and T. Kanade: “Trinocular vision using photometricand edge orientation constraints,” Proc. IEEE Defense Advanced Research
Projects Angency (DARPA) Image Understanding Workshop, pp. 163–175,
1985.
[27] N. Ayache and F. Lustman: “Fast and reliable passive trinocular stereo
vision,” Proc. the 1st IEEE Int. Conf. on Computer Vision (ICCV), pp. 422–
426, 1987.
[28] M. Okutomi and T. Kanade: “A multiple-baseline stereo,” IEEE Trans.
Pattern Analysis and Machine Intelligence (PAMI), Vol. 15, No. 4, pp. 353–
363, 1993.
[29] H. Baker: “Three-dimensional modeling,” Proc. the 5th Int. Joint Conf. on
Artificial Intelligence (IJCAI), Vol. 2, pp. 649–655, 1977.
[30] A. Y. Mülayim, U. Yılmaz and V. Atalay: “Silhouette-based 3D model reconstruction from multiple images,” Proc. the 1st Int. Conf. on Recent Advancesin 3-D Digital Imaging and Modeling, pp. 173–180, 1997.
[31] Y. Kuzu and V. Rodehorst: “Volumetric modeling using shape from silhouette,” Proc. the 4th Turkish-German Joint Geodetic Days, pp. 469–476,
2001.
64

[32] 岡谷貴之, 出口光一郎: “視点の位置が不明な画像系列における物体の輪郭形状の重ね合わせ”, 第 5 回画像の認識・理解シンポジウム (MIRU 2000) 講演
論文集, Vol. II, pp. 49–54, 2000.

[33] G. Zeng and L. Quan: “Silhouette extraction from multiple images of an
unknown background,” Proc. the 6th Asian Conf. on Computer Vision(ACCV), Vol. 2, pp. 628–633, 2004.
[34] L. Naimark and E. Foxlin: “Circular data matrix fiducial system and robust
image processing for a wearable vision-inertial self-tracker,” Proc. the 1st
IEEE/ACM Int. Symp. on Mixed and Augmented Reality (ISMAR), pp. 27–
36, 2002.
[35] ウ小軍, 和田俊和, 東海彰吾, 松山隆司: “平面間透視投影を用いた並列視体積交差法”, 情報処理学会論文誌:コンピュータビジョンとイメージメディア,

Vol. 42, No.SIG6(CVIM2), pp. 33–43, 2001.
[36] J. E. Bresenham: “Algorithm for computer control of a digital plotter,” IBM
Systems Journal, Vol. 4, No. 1, pp. 25–30, 1965.
[37] R. Y. Tsai: “An efficient and accurate camera calibration technique for 3D
machine vision,” Proc. Computer Society Conf. on Computer Vision and
Pattern Recognition (CVPR), pp. 364–374, 1986.
[38] W. Matusik, H. Pfister, A. Ngan, P. Beardsley and R. Ziegler: “Image-based
3D photography using opacity hulls,” Proc. ACM SIGGRAPH, pp. 427–437,
2002.

65