TVRSJ Vol.10 No.4, 2005

応用論文

ハンドヘルドビデオカメラを用いた撮影支援インタフェースを有するインタラクティブ三次元モデリングシステム∗

不殿 健治 1

佐藤

∗

智和 1

横矢 直和*1

Interactive 3-D Modeling System with Capturing Support Interface
Using a Hand-held Video Camera∗∗

Kenji Fudono 1 , Tomokazu Sato 1 and Naokazu Yokoya*1
Abstract – Recently, a number of methods for 3-D modeling from images have beendeveloped. However, the accuracy of a reconstructed model depends on camera positions
and postures with which the images are obtained. In most of conventional methods, someskills for adequately controlling the camera movement are needed for users to obtain agood 3-D model. In this study, we propose an interactive 3-D modeling interface in which
special skills are not required. This interface consists of “indication of camera movement”
and “preview of reconstruction result.” In experiments, we have confirmed this interface
makes it possible for users to obtain a good 3-D model easily without a special training.
Keywords :from silhouette1interactive 3-D modeling, user interface, hand-held video camera, shape

はじめに

近年，高性能で安価なグラフィクスチップが普及し，一般的に広く利用されている PC や家庭用ゲーム機においても高品位な三次元 CG を表示することが可能となっている．また，エンターテイメントやインターネッ
ト広告の分野では，これら三次元 CG のコンテンツとして実物体の三次元モデルが用いられ始めている．これら実物体の三次元モデルを Web ページやインター
ネットオークションに用いれば，二次元の写真では分からない物体の詳細形状や質感といったものを比較的容易に表現できるため，一般的な PC の利用者においても実物体の三次元モデル利用に対する需要が高まっている．しかし，現在，このような実物体の三次元モデルの作成は，主に三次元モデルの計測に関する専門
知識や専門機材を持つ熟練者によって行われており，専門知識や機材を持たない一般の利用者が実物体の三次元モデルを作成することは困難である．そこで本論
文では，一般の利用者が用いることができるような実物体の簡便な三次元モデリング手法を開発することを目的とする．
ここではまず，従来の三次元モデリング手法について概説し，問題点を明らかにする．実物体の三次元モ
デル計測の従来手法は，レーザ距離計測装置 [1, 2] やプロジェクタなどを用いて対象にレーザやスリット光*1 奈良先端科学技術大学院大学

情報科学研究科*1 Graduate School of Information Science, Nara Institute of
Science and Technology

を照射し，それらを観測することで対象の三次元形状を計測する能動的な計測手法 [3, 4, 5] と，ビデオカメ
ラやデジタルカメラなどで撮影される画像のみを用いて画像解析によって三次元計測を行う受動的な計測手
法 [6, 7, 8, 9, 10] に大別できる．
一般に，能動的計測手法では，受動的な手法に比べて良好なモデルを得ることができるため，映画やゲー
ム，工業製品のデザイン等の高精度な三次元計測を必要とする分野で用いられている．また，これら能動的計測手法においては，モデリングシステムが利用者に対象物体の推奨測定位置を提示することで，効率的な三次元モデルの獲得を支援する手法が複数提案されている [3, 4, 5] ．しかし，比較的高価な特殊機材を必要とすることや，計測機器の取り扱い，データの統合等に特殊な専門知識を必要とするため，専門知識を持たない一般の利用者がこれらの手法を用いることは困難
である．
一方，受動的な手法では，計測機器として一般に広く普及しているデジタルカメラやビデオカメラを用いることができ，特殊な機材を必要としないことから近年盛んに研究されている [6, 7, 8] ．また，個人向けのモデリングツールとして販売されているものも存在す
る [9, 10] ．これらの手法では，安価にシステムを構成できるという特長があるが，カメラや対象の動かし方
によって三次元モデルの推定精度が変化するため，撮影方法の習熟が必要とされる．しかし，三次元復元処
理に長い計算時間を要するために，対象物体の撮影中

日本バーチャルリアリティ学会論文誌

Vol.10, No.4, 2005

システムによる撮影指示や撮影直後に三次元計測結果を確認することができず，物体の撮影方法を効率的に学習できないという問題が利用者ある．加えて，これら受動的な計測手法においては，

モデリング対象

計測結果のプレビュー表示の有効性や，一般的な利用者のための計測の支援方法については検討されて来なかった．
そこで本論文では，ハンドヘルドビデオカメラにより撮影された動画像を入力とする実物体のリアルタイ

ハンドヘルドビデオカメラム三次元モデリングを実現し，加えて，一般の利用者

マーカ用紙

図 1 提案システムの利用形態
Fig. 1 Conﬁguration of proposed system.

が実物体の三次元モデルを効率よく獲得するための撮影支援機能と推定されたモデルのプレビュー機能を提供するインタラクティブ三次元モデリングシステムを

リング対象を置き，利用者が計算機の画面を確認しな提案する．また，これら計測支援機能の有用性についがらハンドヘルドビデオカメラを操作するという利用て実験により評価を行う．利用者は，システムの指示形態を想定する．また，本システムでは，先の要件 (a)に従って対象物体を撮影することで容易に三次元モデ〜(c) に対応した以下の機能を実現する．

ルを獲得できるため，撮影に関する特別な練習や三次元計測に関する専門知識を必要としない．また，利用者は撮影と同時に生成されるモデルの形状を確認する
ことができ，短時間で良好なモデルを作成することが可能となる．

(1) ビデオカメラによるリアルタイム形状推定：一般的なハンドヘルドビデオカメラを用いて物体を撮影し，比較的高速に三次元形状を推定可能な
視体積交差法によって，対象の三次元形状をリ
アルタイムで推定する．これは要件 (a) に対応

以下，2 章では提案するインタラクティブモデリン

する．

グシステムの設計方針とシステムの各処理について説
明し，3 章では試作システムを用いたモデリング結果を示す．4 章では専門知識を持たない一般の利用者に(2) 撮影方法の指示： システムは，良好なモデルを生成するために必要なカメラの撮影位置を算出

よる被験者実験を行い，提案手法の有効性を検証する．

し，その撮影位置までのカメラの動かし方を計

最後に，5 章でまとめと今後の課題について述べる．

算機のディスプレイを通して利用者に逐次提示

2する．利用者は提示された指示に従うことで容撮影支援による三次元モデリングシステム

易にモデリングを行うことができる．これは要本章では，まず，モデリングに関する特殊な機器や知識を持たない一般利用者のためのモデリングシステ
ムの設計方針と，実際に構築したシステムの概要について述べる．次にモデリングシステムの処理手順につ件 (b) に対応する．

(3) モデルのプレビュー表示： 対象物体の三次元モ
デルは，物体の撮影と同時に更新され，利用者
は待ち時間なしにモデルの生成状況を確認でき

いて順に詳述する．

る．これは要件 (c) に対応する．

2.1 システムの設計方針
本研究では，実物体の三次元モデリングに関する特殊な知識や機材を持たない利用者が，短時間で良好なラメータはキャリブレーション済みで既知とする．まモデルを作成できるモデリングシステムを構築するこた，シルエット画像生成処理における精度を上げるたとを目的とする．このような目的を達成するためには，め，マーカ用紙は単色の表面を持つ机の上に置かれ，以下に示す 3 つの要件を満たさなくてはならない．

物体の背後に設置される壁面は机面または紙面と同色(a) 市販の安価な機材によるリアルタイム物体形状計
測の実現

とする．

なお，本システムでは撮影に用いるカメラの内部パ

2.2

提案システムの処理の概要

提案するシステムの処理手順を図 2 に示す．また，シ(b) 良好なモデル作成のためのリアルタイム計測支援の実現(c) 利用者に対する形状計測状況提示の実現

ステムによって提示される撮影指示およびプレビュー
表示のインタフェース画面を図 3 に示す．利用者はまず，図 3 に示すモデリングインタフェース画面内の撮影開始ボタンをマウスでクリックし，対象の撮影を本研究では，これらの要件を満たすシステムを構築す開始する．モデリングが開始されると，システムはフるために，図 1 に示すように，マーカ用紙の上にモデ

レーム毎にフェーズ A の処理を実行し，三次元復元処

不殿・佐藤・横矢 : ハンドヘルドビデオカメラを用いた撮影支援インタフェースを有するインタラクティブ三次元モデリングシステム
開始[フェーズA](A-1) 対象の撮影とカメラ位置・姿勢の推定(A-2) シルエット画像生成(A-3) 視体積交差法によるボクセルモデル生成(A-4) 推定ボクセルモデルのプレビュー表示(A-5) 撮影すべきカメラ位置姿勢の提示
yes

指示カメラ位置に到達[フェーズB]no(B-1) 簡易テクスチャマッピング(B-2) 指示カメラ位置姿勢の算出

未了

利用者による撮影の終了判断

終了[フェーズC]

図 3 撮影指示およびプレビュー表示のインタ
フェース
Fig. 3 Interface of indication of camera movement and preview.

詳細モデリング・詳細テクスチャマッピング終了

図 2 提案システムの処理の流れ
Fig. 2 Flow diagram of proposed system.

理，生成されるモデルのプレビュー表示，カメラの移動指示の表示を行う．利用者によってカメラが目的の位置まで動かされると，システムはフェーズ B の処理を実行する．フェーズ B では，フレーム毎に実行することが困難なテクスチャマッピング処理と，次に撮影
すべきカメラ位置の算出を行う．提案システムでは，

図 4 マーカ用紙
Fig. 4 Marker paper.

これらフェーズ A, B の処理を繰り返すことで，利用者による対象物体のモデリングを行う．利用者が対象
物体の三次元形状が良好に得られたと判断すれば，モ

下では各処理について詳述する．

デリングインタフェース画面内の撮影終了ボタンをク(A-1) 対象の撮影とカメラ位置・姿勢の推定
画像内に撮影されたマーカ群を用いて，利用者の持
つカメラの位置・姿勢を推定する．本システムで用いる

リックし，利用者による対象物体の撮影を完了する．
最後に，システムはフェーズ C として，撮影された全てのフレームの画像を用いて空間解像度の高い詳細モ

マーカ用紙を図 4 に示す．マーカ用紙には，Naimark

デルの推定をオフライン処理で行う．以降，各フェー

ら [11] が提案する円形マーカが複数印刷されている．

ズの処理について述べる．

この円形マーカは，照明条件の変化に強く，画像から

2.3 フェーズ A: フレーム毎の処理フェーズ A では，三次元復元処理，プレビュー表示のマーカ抽出，およびマーカコードの認識を高速に行および撮影すべきカメラ位置の指示をリアルタイムでが割り当てられており，id から一意にマーカを識別す行う．システムはまず，利用者が持つカメラによってることができる．さらに，一つのマーカから計 3 点の撮影された画像からマーカを検出し，マーカ座標系に

実空間座標値が識別できる．システムは，まず入力画おけるカメラの位置・姿勢を推定する (A-1)．次に，入像中の複数のマーカを画像中から探索し，個々の id を

力画像から対象物体のシルエットを抽出し (A-2)，視体

認識することで画像から一意に識別可能な点群を取得

積交差法によって対象の三次元形状を推定する (A-3)．

する．次に，得られた 4 点以上の画像上のマーカ点群

最後に，現在までに得られているボクセルモデルによの実空間座標値と，その画像上の座標から，平面上のえるという特徴を持つ．個々のマーカには 6bit の id

る三次元復元形状のプレビュー表示 (A-4) および，利PnP 問題 [12] を解くことで，マーカによって張られ用者が撮影すべきカメラ位置の指示を行う (A-5)．以る実空間座標系に対するカメラの位置・姿勢パラメー

日本バーチャルリアリティ学会論文誌

タを推定する．なお，提案システムはマーカ用紙をプ
リンタに出力する機能を備えており，各マーカの位置

Vol.10, No.4, 2005
カメラ
シルエット

関係，用紙の大きさについてはマーカ印刷時の情報により既知とする．また，カメラの内部パラメータは事前にキャリブレーション済みとする．

(A-2) シルエット画像の生成
視体積交差法による三次元形状推定の前処理として，
画像上での対象物体領域を表すシルエット画像を生成する．ここでは，まず処理 (A-1) で推定されたカメラ

視体積

撮影画像面

対象物体
Visual Hull

図 5 シルエット制約
Fig. 5 Silhouette constraint.

の位置・姿勢情報に基づき，個々のマーカ周辺に存在する画素の色を平均化することで用紙の色を取得し，また，用紙周辺に存在する画素の色を平均化することで机面領域の色を抽出する．次に，入力画像中から用紙と机面領域の色およびマーカとして検出された領域を排除することで，物体領域のシルエット画像を生成
する．

(A-3) 視体積交差法によるボクセルモデルの生成推定したカメラ位置・姿勢とシルエット画像から，
視体積交差法を用いて対象物体のボクセル形状を推定する．図 5 に示すように，視体積交差法では，シル図 6 マーカ用紙の回転による撮影位置の移動
Fig. 6 Rotation of marker sheet.

エットを実空間に投影した視体積の中に対象物体が含まれるというシルエット制約に基づき，視体積領域の積である Visual Hull を対象の三次元形状として推定する [13] ．本研究では，モデリング対象物体を包含す
る直方体領域内のボクセルを初期ボクセルとして空間上に配置しておき，フレーム毎に視体積外のボクセルを削除していくことで，逐次的な三次元復元処理を行う [14] ．ここでは，ウら [15] によって提案されている
平面間投影に基づく Visual Hull の算出手法を用いる
ことで，視体積外のボクセルを高速に排除し，リアル

図 7 カメラの上下移動による撮影位置の移動
Fig. 7 Up-and-down movement of camera.

タイム処理を実現する．本システムでは，マーカ用紙
上に置くことが可能な小型のモデリング対象を想定し，だし，利用者はプレビュー表示におけるボクセルの描

あらかじめ初期ボクセルの空間サイズや解像度をシス

画を随時立方体による正確なレンダリングに切り替え

テム内に保持しているが，モデリング対象がシステムることができ，またマウスによりモデルを自由に見回の初期値より大きい場合や，計算機の能力不足で処理すことでモデリング状況を確認することができる．プが重い場合には，モデリングインタフェース内のダイ

レビュー表示によって良好なモデルが生成されたと利

アログを通してボクセルの空間サイズおよび解像度を用者が判断すれば，モデリングインタフェース画面内調整することができる．

の撮影終了ボタンをクリックすることで，いつでも撮(A-4) 推定形状のプレビュー表示
視体積交差法によって生成されたボクセルモデルをレンダリングし，モデリング中の物体をディスプレイ
上に常時プレビュー表示する．本システムでは，ボク影作業を完了することができる．

セルの高速なレンダリングを実現するために，各ボク上に，動かすべきカメラの方向を CG で重畳合成し，セルを大きさが一定の二次元矩形として近似的に描画

利用者に提示する．これにより，利用者にとって直感する．一般的に行われているボクセルの立方体描画に的な撮影方法の指示を実現する．また，本システムで比べてレンダリングにおける正確さは若干低下するが，は図 6, 7 に示すように，対象撮影位置の移動指示を描画すべき面の数が 6 分の 1 となり，リアルタイム処

マーカ用紙・物体の回転による回転移動とカメラの上理における実行レートの低下を防ぐことができる．た

下移動に分離し，利用者に指示する．これにより，三(A-5) 撮影すべきカメラ位置の提示
本手法では，一般的に拡張現実感 (AR) の分野で行われているように，ビデオカメラで撮影された実画像

不殿・佐藤・横矢 : ハンドヘルドビデオカメラを用いた撮影支援インタフェースを有するインタラクティブ三次元モデリングシステム

次元モデリングやビデオ撮影の経験が無い一般の利用者においても，比較的簡単に撮影指示に従うことができる．物体の回転およびカメラの上下移動に対応する
指示画像の例をそれぞれ図 8, 9 に示す．図中の矢印は，マーカの回転方向とカメラの移動方向を表しており，
図中下部のインジケータおよび矢印の色は，撮影すべきカメラ位置までのカメラの移動量を示している．本システムでは，目標カメラ位置までの距離が小さいほど矢印の色が赤色から緑色に変化する．なお，撮影開始時等，マーカが画面に写っていない場合には，カメラの位置・姿勢が推定できず，撮影すべきカメラの位
置・姿勢の提示が困難となるため，図 10 に示すように，例示画像の提示とともにカメラの初期位置合わせの指示を行い，マーカが画像内に撮像されるようにカメラの移動を促す．

2.4

図 8 撮影対象の回転指示の例
Fig. 8 Example of indicating object rotation.

フェーズ B: 間欠的なモデリング処理

フェーズ A において利用者のカメラの位置がシス
テムが指示するカメラ位置に到達した場合，システム
は間欠的な処理であるフェーズ B を実行する．フェー
ズ B では，フレーム毎に実行することが困難なテクス
チャマッピング処理および次の撮影指示位置の算出を行う．以下では，フェーズ B における各処理について詳述する．

(B-1) テクスチャマッピング
フェーズ A で推定されたボクセルモデルの各ボク
セルに色を付けることでテクスチャマッピングを行う．
ボクセルの色は，それまでに撮影された入力画像上に各ボクセルを投影し，平均色を算出することで決定する．本システムでは，物体表面のボクセルを検出し，表面ボクセルのみに色づけを行うことで計算量を削減する．また，Bresenham の線分描画アルゴリズム [16]図 9 カメラの上下移動指示の例
Fig. 9 Example of indicating up-down camera movement.

を用いて各入力画像におけるボクセルの可視判定を高速に行い，可視となるボクセルのみを用いて色づけを行うことで，遮蔽を考慮した色づけを行う．

(B-2) 撮影指示に用いるカメラ位置の算出
テクスチャマッピング処理の結果に基づき，利用者に指示する撮影位置を算出する．本モデリング手法においては，図 11 に示すように，入力画像上に一度も撮像されないために色が決定できない表面ボクセルが存在する．そこで，本手法では最も多くのボクセルの色を新たに決定できるカメラ位置を算出し，利用者に提示する撮影指示位置として用いる．これにより，利用者が撮影指示に従うことで，色を決定不可能なボクセ
ル数が徐々に減少し，最終的に大多数のボクセルの色が決定された良好な三次元モデルを生成することができる．ただし，一般に，色が決定していないボクセル
が最も多く映るカメラ位置・姿勢を算出するためには，
カメラ位置・姿勢の網羅的な走査が必要となり，計算

図 10 初期位置合わせの指示の例
Fig. 10 Example of indicating initial camera
adjustment.

日本バーチャルリアリティ学会論文誌

色決定不能
色決定可能

Vol.10, No.4, 2005

カメラ

カメラパス

図 11 色を決定不可能なボクセル
Fig. 11 Voxels whose colors cannot be determined.
Geodesic Dome

図 13 モデリング環境
Fig. 13 Appearance of interactive modelingsystem.

初期ボクセル形状
撮影姿勢

図 12

撮影指示位置の候補 (一部)(a) 物体 A

コストの問題が発生する．本研究では，この問題を回避するため，撮影指示位置の候補として，図 12 に示す測地ドーム (Geodesic Dome) の頂点を用い，各指示候補位置のカメラ姿勢は初期ボクセルモデルの中心方向に設定する．また，半球体の半径は撮影画角内に初期ボクセルモデルが収まるように設定する．なお，利用者による撮影が既に完了している頂点については，
その頂点位置を指示候補から除外する．

2.5(b) 物体 B

フェーズ C: オフライン詳細モデリング

図 14 モデリング対象
Fig. 14 Modeling targets.

利用者がプレビュー表示から良好なボクセルモデルが推定されたと判断すれば撮影を終了し，オフライン処理であるフェーズ C に移行する．フェーズ C では，システムの出力とする．フェーズ C においては，最終リアルタイムモデリング処理では不可能な，より空間的なボクセル出力までに長い待ち時間が発生するが，解像度の高い詳細モデリング処理を行い，その後，詳システムが利用者に何らかの入力操作を要求すること

細なボクセル形状モデルに対して再度テクスチャマッ

はないため，利用者が処理中に拘束されることは無い．

ピング処理を行う．ここではまず，フェーズ A，B で推定した簡易ボクセルモデルにおいて，撮影されたカ

3

試作システムによるモデリング実験

メラの位置に最も接近するボクセルを探索し，そのボ本章では，試作システムを用いた実際のモデリング

クセルに対してカメラの 1 画素の幅を逆投影する．逆例を示す．本実験では，図 13 に示すように，モデリ投影した 1 画素の空間中での幅を，新たに単位ボクセ

ング対象の下にマーカを印刷した用紙を敷き，本シス

ルサイズとすることで，視体積交差法によって推定可テムによるモデリング手法を熟知した利用者によって能な最大空間解像度でモデリング処理を行う．次に，モデリングを行った．モデリング対象物体として，図得られた空間解像度の高いボクセルモデルに対して，

14(a) に示す凹部分が少なく形状が単純な物体 A と，
同図 (b) に示す複雑な形状の物体 B を用いた．
試作システムは表 1 に示す機器から成る．カメラの遮蔽を考慮したテクスチャマッピング処理を行う．これによって得られる詳細なボクセルモデルを最終的な不殿・佐藤・横矢 : ハンドヘルドビデオカメラを用いた撮影支援インタフェースを有するインタラクティブ三次元モデリングシステム
60
80

360400

100

140

120

160
380

180

340

40
320
40

420

180
200

100
220

300

200

240

20
60

160

80

0
280
20

220
0

120

240
260

140

図 15 撮影時のカメラパス (物体 A)
Fig. 15 Camera path for modeling (object A).

図 16 モデリング結果 (物体 A)
Fig. 16 Result of modeling (object A).

内部パラメータは事前に Tsai の手法 [17] により算出した．また，表 1 に示した計算機でフェーズ A をリア
ルタイム処理可能なボクセル解像度として，W64 ×

H80 × D64 個 (W200 × H250 × D200mm) のボクセ
ル空間を初期ボクセルとして設定した．
まず物体 A を対象として，システムの指示に従うことでモデリングを行った．システムの指示に従いながら撮影した利用者のカメラパスを図 15 に示す．図中の四角錐は 20 フレーム毎の撮影姿勢を，数値はフレーム番号を表す．同図から，撮影対象を中心として，様々な位置からの撮影が行われていることが分かる．
本実験において，フェーズ A でカメラの位置・姿勢が推定され，モデリングに用いられた入力画像枚数は
表 1 試作システムの機器構成
Table 1 Speciﬁcations of interactive modeling system.

PC
CPU
Pentium-4 3.2GHz
Memory2GBGraphic card
RADEON9800PRO 128MB
IEEE1394 camera: Aplux C104T
Resolution
640×480 pixels
View angle
31.7◦ × 24.1◦
Maximum frame rate
15 frames/sec

図 17 撮影時のカメラパス (物体 B)
Fig. 17 Camera path for modeling (object B).

図 18 モデリング結果 (物体 B)
Fig. 18 Result of modeling (object B).

合計 259 枚であり，各フレームは平均 132 ミリ秒 (7.6fps) で処理された．またフェーズ B の処理に要した時間は平均 360 ミリ秒であった．利用者が撮影開始ボ
タンをクリックしてから撮影完了ボタンをクリックするまでの時間は 72 秒 (マウス操作による推定形状の確認時間を含む) であり，この間フェーズ B の処理は 8回実行された．フェーズ C では，初期ボクセルサイズが自動的に W390 × H576 × D419 個 (W140 × H206

× D150 mm) に設定され，最終的なモデルの出力には58 分を要した．図 16 にフェーズ C によって生成された詳細モデルを示す．同図から，比較的単純な対象物
体 A については良好な結果が得られていることが確認できる．
同様に，物体 B を対象としてモデリングを行った．
利用者が操作したカメラのパスを図 17 に示す．本実験において，モデリングに用いられたフレーム数は合
計 423 枚であり，撮影完了までに要した時間は 121 秒であった．また，フェーズ B の処理は 10 回実行された．フェーズ C において設定された初期ボクセルサ
イズは W551 × H796 × D479 個 (W160 × H231 ×

D139 mm) であり，最終的なモデルの出力には 84 分を要した．図 18 に生成された詳細モデルを示す．対
象物体 B においては，形状が凹状になっている人形

日本バーチャルリアリティ学会論文誌

Vol.10, No.4, 2005の顔と腕の間部分，および髪の毛の部分でテクスチャ

C に移行するものとした．また，実験時間短縮のため，が不鮮明となり，良好な結果が得られなかった．これフェーズ C で行う詳細モデリング処理に用いるボクセ

は，本システムが用いている視体積交差法が (1) 原理

ルの解像度を W150 × H150 × D150 個の比較的粗い

的に凹形状を正しく推定できないこと，および (2) 背設定に固定した．この場合のフェーズ C に対する待ち景が透けるような細かな形状には対応できないこと，

時間は，およそ 6 分程度に短縮される．

に起因している．これらの問題に対応するためには，モデリング実験における被験者ごとのモデリング時

今後フェーズ C において，ステレオ法やスペースカー

間，撮影フレーム数と, アンケート評価による主観的

ビング法 [18] などの凹物体に対応可能な三次元形状推なモデルの生成精度, 撮影労力について図 19 に示す．

定手法を組み合わせることや，物体の透過度を表すア

また, これらの平均値について表 2 に示す．ここで, モ

ルファ値を考慮した視体積交差法である Opacity Hull

デリング時間は被験者が撮影開始ボタンをクリックしによる推定手法 [19] を用いることが必要であると考えてから撮影終了ボタンをクリックするまでの時間であられる．

り, マウス操作による物体のプレビュー確認時等，カメラを対象に向けていない時間も含まれる．一方，撮影

4

被験者実験による評価

フレーム数は, 画像内のマーカをシステムが検出する

提案システムを用いて複数の被験者によるモデリン

ことによってカメラ位置・姿勢が推定されたフレーム

グ実験を行った．被験者は，20 歳代，30 歳代の男女

枚数を表し，カメラがマーカを撮像していないフレー

10 名であり，全員コンピュータを日常的に扱っているが，3 次元モデリングの経験は持たない．本実験では，

ムはカウントしない．ここではまず，生成されたモデシステムによる撮影指示の有用性を，モデリング作業について，10 名中 7 名の被験者が撮影指示機能を有の簡便性，生成されたモデルの満足度を基に複数の被効にすることで無効の場合よりも結果が改善するといルの精度について考察する．生成されたモデルの精度

験者により主観的に評価してもらうことを目的とする．

う回答を行った．特に，本研究が目的としている Web

実験に用いた機材や環境は，前章で示したものと同一

等での三次元オブジェクトへの利用について，指示なであり，また，モデリング対象物体として図 14(a) にしでは「4. 直接利用できる」と回答した被験者が 1 名示した物体 A を用いた．

であったのに対して，指示ありでは 6 名が直接利用で本実験では，システムを利用してもらう前に，提案きると回答している．逆に，モデルの精度が提案手法

システムの利用方法や撮影に関する注意点について

によって悪化したと答えた被験者は 1 名 (被験者 B-2)

5 分ほど口頭により説明した．実験では，撮影指示の有用性を確認するため，各被験者に対して指示機能を有効にした状態でのモデリング (指示あり) と，指示であった．この被験者は，実験アンケートに “カメラ機能を無効にした状態の自由撮影よるモデリング (指対象を常に画像の中心付近に捉えることが困難な様子

示なし) を行ってもらい，フェーズ C での詳細モデリであった．これは，一般的なデジタルカメラ等のプレング終了後にアンケート評価を行った．アンケートでビュー画像と異なり，本システムにおいてカメラの撮は，生成されたモデルの精度について，インターネッ

影画像が離れた場所にあるディスプレイに表示される

トオークションのための三次元商品カタログや，ゲー

ことに起因していると考えられ，利用者がこのような

ムや WEB ページなどに登場させる三次元オブジェク

撮影操作に不慣れな場合に起こる問題である．一方，トへの利用を前提に，[1. 利用に耐えない 2. 大幅な修撮影労力については 10 名中 6 名で改善が見られ，指正作業が必要である 3. 若干の手直しが必要である 4.

示ありの撮影方法で労力が「4. 気にならない」と回答

直接利用できる] の中から 1 つを選択させた．また撮した被験者は 7 名であった．これらの結果から，多数

影労力については，[1. 大変気になる 2. やや気になるの被験者においては提案システム (指示あり) を用い

3. どちらとも思わない 4. 気にならない 5. 全く気になることで，容易に高品位の三次元モデルを生成できてらない] の中から 1 つを選択させた．なお，被験者がいることが分かる．

の操作に不慣れなために操作が難しかった” とコメントしており，先に行った “指示あり” の実験では撮影

撮影方法を学習することによって発生する評価の変動モデリング時間・撮影フレーム数に関しては，多くを防ぐため，指示なし，指示ありの順でモデリング実の被験者において指示ありが指示なしを上回っている．

験を行うグループ A(5 名) と，逆に，指示あり，指示

これは，被験者がモデリング時間の大半を撮影指示のなしの順で実験を行うグループ B(5 名) に被験者を分確認・実行に費やしたためであり，プレビュー表示のけ，評価を行った．ただし，計算機のメモリ容量の制確認による適切な終了判断を行わなかったことが原因

限から，計算機に蓄積される画像枚数の上限を 999 フであると考えられる．加えて，本システムの撮影候補

レームとし，上限に達した場合には強制的にフェーズ位置までの移動指示手法では移動経路上に存在する撮

不殿・佐藤・横矢 : ハンドヘルドビデオカメラを用いた撮影支援インタフェースを有するインタラクティブ三次元モデリングシステム

モデリング時間[秒]

指示なし

指示あり

表 2 モデリング時間，撮影フレーム数とアンケート結果の平均
Table 2 Averages of modeling time, captured
frame, and questionnaire scores.

400
350
300
250
200
150
100
50
0

A-1

A-2

A-3

A-4

A-5

B-1

B-2

B-3

B-4

B-5

モデリング時間[ 秒]
撮影フレーム数[ 枚]
モデリング精度[1:不良 - 4:良]
撮影労力
[1:大 - 5:小]グループ A
156.2
194.6
515.4
745.8
3.0
3.8
3.0
3.6

指示
なし
あり
なし
あり
なし
あり
なし
あり

グループ B
159.4
177.0
772.4
757.0
2.6
3.2
2.2
3.2

全体
157.8
185.8
643.9
751.4
2.8
3.5
2.6
3.4

被験者番号

(a) モデリング時間
影済みのカメラ位置を考慮していないために，指示あ

撮影フレーム数[枚]

指示なし
1000
900
800
700
600
500
400
300
200
100
0

指示あり

た冗長な撮影が発生しているものと考えられる．指示なしの場合には，被験者が直感的に撮影済みの箇所を避けて撮影することがあり，結果としてモデリング時間が短くなる場合が見られた．今後，モデリング時間の短縮を実現するためには，最適な撮影指示経路の探索および利用者が撮影終了を明確に判断できる何らか
A-1

A-2

A-3

A-4

A-5

B-1

B-2

B-3

B-4

B-5

被験者番号

の指標の提示が必要である．
また，被験者自身が最終的な終了判定を行わず，撮(b) 撮影フレーム数

モデル精度[1:不良～4:良]りの場合には，撮影済みの箇所を再度撮影するといっ影フレーム数が設定した上限の 999 枚に達した被験者

指示なし

指示あり

4

が 2 名 (B-2 指示あり・なし, B-4 指示なし) 見られた．
これらの被験者は，先に述べたカメラの操作や，複数のタスク (カメラの操作，撮影画像・指示の確認，プ

3.5
3

レビューの確認等) の同時実行という行為に不慣れな

2.5
2

被験者であり，本システムを用いて効率的にモデリン

1.5グを行うためには多少の習得期間が必要であると考え

1

られる．ただし，本システムはリアルタイムでモデリ

0.5
0

A-1

A-2

A-3

A-4

A-5

B-1

B-2

B-3

B-4

B-5

被験者番号

ング結果を確認することができるため，短い習得期間で効率的にシステムの操作を学習することができる．
また，これらの考察から，今回の実験上の制約とした(c) 生成モデルの精度撮影フレーム数の上限 999 枚については，上限枚数を
撮影労力[1:大～5:小]

指示なし
5
4.5
4
3.5
3
2.5
2
1.5
1
0.5
0

指示あり

さらに増加させてもモデルの生成精度は向上せず，撮影労力のみが増加したものと考えられる．

5

まとめ

本論文では，対象物体の撮影方法の指示と推定された三次元形状のプレビュー表示によって支援を行うことで，一般的な利用者が特別な練習なしに実物体の三
A-1

A-2

A-3

A-4

A-5

B-1

B-2

B-3

B-4

B-5

被験者番号

(d) 撮影労力
図 19

個々の被験者に対するモデリング時間，撮影フレーム数とアンケート結果
Fig. 19 Modeling time, captured frame, andquestionnaire scores for each subject.

次元モデルを作成できるインタラクティブモデリング
システムを提案した．実験では，三次元モデリングの経験を持たない一般の利用者によるモデリング実験を行うことで，本システムが専門知識を持たない一般利用者にとって有用であることを確認した．カメラの操作や複数タスクの実行について不慣れな利用者に対しては，システムの操作に関する習熟の必要性が認めら日本バーチャルリアリティ学会論文誌

れたが，このような利用者についても，本システムが提供する支援機能によって効率の良い撮影方法の学習が可能であると考えられる．また今後，複雑な形状に対応するためには，ステレオ法やスペースカービング法の導入が必要であり，加えて，生成した三次元モデ
ルを手軽に利用するためにはボクセルモデルからポリ
ゴンモデルへの変換が必要である．

参考文献[1] Leica Geosystems HDS LLC: “Hds2500,”
http://hds.leica-geosystems.com/, 2000.
[2] コ ニ カ ミ ノ ル タ 株 式 会 社:
“Vivid 910,”
http://konicaminolta.jp/, 2002.
[3] J. E. Banta, L. M. Wong, C. Dumont and M. A.
Abidi: “A next-best-view system for autonomous
3D object reconstruction,” IEEE Trans. Systems,
Man and Cybernetics, Vol. 3, No. 5, pp. 589–598,
2000.
[4] M. Matsumoto, M. Imura, Y. Yasumuro, Y. Manabe and K. Chihara: “Support system for measurement of relics based on analysis of point
clouds,” Proc. Int. Conf. on Virtual Systems andMultimedia, p. 195, 2004.
[5] 芳賀浩嗣, 佐藤宏介: “ハンドプロジェクタによる支援光を用いた形状計測”, 第 9 回パターン計測シンポジウム 資料, pp. 35–38, 2004.
[6] L. Zhang, B. Curless, A. Hertzmann and S. M.
Seitz: “Photometric method for determining surface orientation from multiple images,” Proc.
IEEE Int. Conf. on Computer Vision, Vol. 1,
pp. 618–625, 2003.
[7] G. G. Slabaugh, W. B. Culbertson, T. Malzbender,
M. R. Stevens and R. W. Schafer: “Methods forvolumetric reconstruction of visual scenes,” Int. J.
on Computer Vision, Vol. 57, No. 3, pp. 179–199,
2004.
[8] H. Kim and I. Kweon: “Optimal photo hull recovery for the image-based modeling,” Proc. Asian
Conf. on Computer Vision, Vol. 1, pp. 384–389,
2004.
[9] 株式会社ＮＴＴデータ三洋システム: “Cyber modeler handy light,” http://www.nttd–sanyo.co.jp/,
2002.
[10] UZR GmbH & Co KG: “imodeller 3D,”
http://www.imodeller.com/en/, 2001.
[11] L. Naimark and E. Foxlin: “Circular data matrix ﬁducial system and robust image processing
for a wearable vision-inertial self-tracker,” Proc.
IEEE/ACM Int. Symp. on Mixed and Augmented
Reality, pp. 27–36, 2002.
[12] R. Klette, K. Schluns and A. koschan Eds.: Computer Vision: Three-dimensional Data from Image, Springer, 1998.
[13] H. Baker: “Three-dimensional modeling,” Proc.
Int. Joint Conf. on Artiﬁcial Intelligence, Vol. 2,
pp. 649–655, 1977.
[14] Y. Kuzu and V. Rodehorst: “Volumetric modeling using shape from silhouette,” Proc. TurkishGerman Joint Geodetic Days, pp. 469–476, 2001.
[15] ウ小軍, 和田俊和, 東海彰吾, 松山隆司: “平面間透視投影を用いた並列視体積交差法”, 情報処理学会論
文誌:コンピュータビジョンとイメージメディア, Vol.
42, No. SIG6(CVIM2), pp. 33–43, 2001.

Vol.10, No.4, 2005[16] J. E. Bresenham: “Algorithm for computer control
of a digital plotter,” IBM Systems J., Vol. 4, No.
1, pp. 25–30, 1965.
[17] R. Y. Tsai: “An eﬃcient and accurate camera calibration technique for 3D machine vision,” Proc.
IEEE Conf. on Computer Vision and Pattern
Recognition, pp. 364–374, 1986.
[18] K. N. Kutulakos and S. M. Seitz: “A theory ofshape by space carving,” Int. J. of Computer Vision, Vol. 38, No. 3, pp. 199–218, 2000.
[19] W. Matusik, H. Pﬁster, A. Ngan, P. Beardsley andR. Ziegler: “Image-based 3D photography using
opacity hulls,” Proc. ACM SIGGRAPH, pp. 427–
437, 2002.
(2005 年 6 月 14 日受付)

［著 者 紹 介］
不殿 健治
2003 年奈良工業高等専門学校専攻科電子情報工学専攻修了．2005 年奈良先端科
学技術大学院大学情報科学研究科修了．
修士 (工学). 現在, 日本ビクター株式会
社勤務.

佐藤 智和
1999 年大阪府立大学工学部情報工学科卒．2003 年奈良先端科学技術大学院大学
情報科学研究科博士後期課程修了．現在，
同大情報科学研究科助手．コンピュータ
ビジョンの研究に従事．2001 年電子情報通信学会学術奨励賞受賞．電子情報通信学会，情報処理学会，IEEE 各会員．

横矢 直和 （正会員）
1974 年大阪大学基礎工学部情報工学科卒．1979 年同大大学院博士後期課程了．
同年電子技術総合研究所入所．以来，画像処理ソフトウェア，画像データベース，コンピュータビジョンの研究に従事．1986〜
87 年マッギル大・知能機械研究センター客員教授．1992 年奈良先端科学技術大学院
大学・情報科学センター教授．現在，同大情報科学研究科教授．1990 年情報処理学会論文賞受賞．2005 年情報処理学会フェロー，電子情報通信学会フェロー．工博.
電子情報通信学会，情報処理学会，人工知能学会，日本認知科学会，映像情報メディア学会，IEEE 各会員.