論 文
全周パノラマステレオ画像と複合現実環境の構築

CG モデルの合成によるConstruction of a Mixed Environment Using Panoramic Stereo Images andComputer Graphics Models
島 村潤 y，山 澤 一 誠 y， 正会員

竹 村 治 雄 y， 正会員 横 矢 直 和 y

Jun Shimamuray, Kazumasa Yamazaway, Haruo Takemuray and Naokazu Yokoyay
Abstract Recently virtual reality (VR) systems have been incorporating rich information available in the real world
into VR environments in order to improve their reality. This stream has created the eld of mixed reality which seamlessly
integrates real and virtual worlds. This paper describes a novel approach to the construction of a mixed environment. The
approach is based on capturing the dynamic real world by using a video-rate omnidirectional stereo image sensor. The mixed
environment is constructed of two di erent types of models: (1) texture-mapped cylindrical model of dynamic real scenesand (2) computer graphics (CG) model. The cylindrical scene model is generated from full panoramic stereo images obtainedby the omnidirectional sensor. A prototype system has been developed to con rm the feasibility of the proposed method, inwhich panoramic binocular stereo images of the mixed environment are projected on a cylindrical immersive display dependingon user's viewpoint in real time.
キーワード：複合現実環境，ウォークスルー，奥行き隠蔽関係，仮想物体操作，全周実環境モデル，高分解能全方位ステレオ画像センサ1.

まえ

不可能となる．そこで多視点で撮像した実写画像を利用が きし，近似的に三次元空間を表現する様々な手法が提案され

近年，複合現実感技術 1)2) により，現実環境の情報を用いて写実性の高い仮想環境の構築がなされつつある

3)〜7)

．ている．
実写画像に基づき利用者の全周方向を取り囲む仮想環を対象として仮想環境の構築を行なうことは，都市景観のChen らによる QuickTime
VR が挙げられる．この手法ではあらかじめ円筒パノラ評価や環境設計など様々な応用が考えられる．このような

マ画像を作成しておき，利用者の視線方向に合わせて平面目的を実現するためには構築される複合現実環境では（ ）透視投影画像を生成することによって，上下・左右任意の任意視点からの情景を観察（ウォークスルー）可能である方向の見回しを可能としている．しかし，円筒パノラマ画こと，（ ）仮想物体の合成を正確に行なうため現実環境の像はカメラを回転して撮影した複数のスチル写真の繋ぎ合奥行き隠蔽関係が再現されていることが重要となる．また，わせで構成されるため，現実環境の奥行き隠蔽関係の再現現実環境が忠実に再現されるには，現実環境内で数多く発や動的な現実環境を表現することは困難である．

その中でも，都市や自然環境など広域かつ複雑な現実環境

12

生する動的なイベントが仮想環境内で表現されることが必

境の構築を実現した手法として
3)

広域でかつ動的な現実環境を対象として仮想環境の構築を行った手法としては，回転カメラを用いた要となる．

VirtualDome

4)

実写画像に基づき仮想環境の構築を行うにはイメージや双曲面ミラーを用いた全方位画像センサの利用による実ベーストレンダリング手法が利用されることが多く，利用

時間テレプレゼンスシステム 5) が挙げられる．これらの手者に任意視点の映像を提供することが可能である．しかし

法では利用者を取り囲む任意方向に関して現実環境内での都市や自然環境など，広域かつ複雑な現実環境の構築を行動的なイベントの表現が可能であるが，うには膨大な画像枚数が必要となり，その実現は本質的に画像の更新レートが遅いことが，双曲面ミラーを用いた全VirtualDome では

方位画像センサを利用する手法では，現実環境内の奥行き
y 奈良先端科学技術大学院大学

隠蔽関係の再現が困難であることや利用者への提示画像の（奈良県生駒市高山町 8916-5）

y Graduate School of Information Science, Nara Institute of Scienceand Technology

解像度の低さが問題となる．
以上の問題に対して本論文では，広域でかつ動的な現実(8916-5 Takayama, Ikoma, Nara 633-0101, Japan)

映像情報メディア学会誌 Vol. 52, No. 1, pp. 1〜7(1998)

(1)

1

CCD
camera

環境を対象としてステレオ撮像が可能な全方位画像センサで撮像・蓄積した全周パノラマ動画像から，動的なイベン=係の再現が可能な複合現実環境の構築手法を提案する．提Center of Lens

12 台のカメラと六角錐ミラーを用いた高分解案手法では，

能全周ステレオ画像センサ

8)=トの表現と任意視点映像の生成，現実環境の奥行き隠蔽関==Upper Part

Pyramidal Mirrors

により得られる全周パノラマ

Lower
Part

ステレオ動画像から，奥行き情報を保持した全周実環境モデルの構築を行うため，現実環境との奥行き隠蔽関係を考慮した仮想物体の合成が容易であり，構築される複合現実

View from the side（a）

環境内で利用者は視点移動に伴う運動視差の効果や両眼立体視の知覚が可能である．また，動画像系列から静止環境画像と動的なイベントの発生個所を示す動物体領域の抽出を行い，これらを別々に三次元モデル化することによって動的な現実環境の表現が可能となるといった特徴を持つ．

同様の目的を持つ研究としては Kanade らの Virtualized
Room や Hirose らによる方法 が挙げられるが，Virtualized Room では動的なイベントをカメラで取り囲むことによってその三次元モデル化を図っているため，対象環境（b）

図 1 高分解能全周ステレオ画像センサの構成（a）と概観（b）

Geometry (a) and exterior (b) of omnidirectional stereo
imaging sensor.

3（ ） 高分解能な撮像が可能であること．

7)

6)View from the top

全周実環境モデルの写実性はテクスチャ画像の分解能に大きく依存する．このため入力用の画像セン
サは高解像度の画像を撮像できる必要がある．

Hirose ら

全周の画像を取り込む方法としては，複数の撮像画像をの方法ではオプティカルフローによる奥行き推定を行うた組み合わせて全周画像を生成する方法と一台のカメラで全め動的なイベントが存在する現実環境への対応が困難で周の画像を一度に取り込む方法に分類される．前者の入力あった．これに対して提案手法では全周ステレオ画像セン

センサには回転カメラやスチル写真が挙げられ，後者にはサを使用することにより広域な環境の表現を可能とし，ス魚眼レンズやミラーの反射像を用いて つのテレオ撮像を行うことによって現実環境内での動的なイベから全周画像を取得するセンサが挙げられる．しかし前者ントの表現を実現した．の入力センサでは画像の更新レートの点で問題があり，後が屋内に制限されるといった問題がある．また，

2

以下， 章では本研究で現実環境の情報を取得するため

3
では 2章で得られる全周パノラマステレオ動画像からの 2.5に用いた高分解能全周ステレオ画像センサの紹介を， 章

1CCD カメラ者ではセンサの分解能に制限があった．
そこで本研究では現実環境の取得センサとして上記の3つの要求を満たし，かつビデオレートでの撮像が可能な高次元全周実環境モデルの作成手法について述べ，実際に屋分解能全周ステレオ画像センサ 8) を使用する．本研究で用外環境で撮像した全周パノラマステレオ動画像を用いたモいる全周ステレオ画像センサは全周画像を取得するために，デル生成の実験と結果について示す． 章では構築した複上部構造では鉛直上向きの六角錐ミラーとその上に鉛直下合現実環境と，その提示のため実際に試作したプロトタイ向きに配置した 台のプシステムについて述べる．最後に 章で本手法の特徴とる．六角錐ミラーは底面が正六角形，側面が合同な二等辺有用性について述べ，本論文のまとめを行う．

三角形である．また，底面と側面は角度が45

全周パノラマステレオ画像の取得

2.

6NTSC CCD カメラで構成されてい6うに設計されている． 台の45 度になるよCCD カメラは六角錐ミラーの各側面に映った外界の鏡像を撮像できるように配置する．

本研究では写実性の高い全周実環境モデルを生成するた

各カメラの位置は，同一視点での透視投影画像を得るためめに，画像センサを用いて撮像された現実環境の画像からにカメラのレンズ中心の虚像が一点に重なることが必要での情報を用いる．この目的のために使用される画像センサある．またステレオ撮像を行なうために上下対称に装置がには以下のような要求があげられる．

設置されている．図 1 に高分解能全周ステレオ画像センサ（ ） 同一視点からの全周画像が得られること．の構成と外観を示す．全1

全周実環境モデルは利用者の全周を取り囲むデータとして生成される必要がある．このため，入力用の画像センサも視点回りの全周の情報を獲得できる

2.

必要がある

（ ） ステレオ撮像が可能であること．

2

間的な同期を取って12 台のカメラによる撮像画像は時12 台のビデオデッキに並列的に記録される．
高分解能全周ステレオ画像センサにより得られる各々のカメラからの映像は広角レンズに特有の大きな樽型歪みがTsai のキャリブレーション法生じるため，

11)

6を用い幾何全周実環境モデルの生成のためには，奥行き情報学的歪み補正を行なう．次に同時刻の上下各 枚の画像をを獲得する必要がある．このため画像センサはステつなぎ合わせ，円筒面に再投影することにより縦の視差をレオ撮像が可能であることが望ましい．

持つ全周パノラマステレオ動画像を生成する（詳細につい(2)

映像情報メディア学会誌 Vol. 52, No. 1(1998)

図 2 全周パノラマステレオ画像

A pair of computed panoramic stereo images.

図 3 全周パノラマステレオ静止環境画像

A pair of panoramic stereo images of a static scene without moving objects.

図 4

全周パノラマステレオ画像内での動物体の領域

Extracted moving object regions in the upper panoramic image.ては文献 9)10) 参照）．図 2 に全周ステレオ画像センサを車モデルといった異なる二種類の三次元モデルを，レイヤ構両に搭載して平城宮跡地に復元された朱雀門前（奈良市）造として配置することにより仮想環境内での表現を行う．

で取得したカメラ画像に対して幾何学的歪み補正後に合成

全周パノラマ動画像からの静止環境画像の生成と動物体領した全周パノラマステレオ動画像のうち，ある時刻におけ域の抽出はそれぞれ以下の手法により実現する．

る上下の全周パノラマステレオ画像を示す．なお，生成された各々の全周パノラマ画像のサイズは3006330（画素）であった．
3.

全周実環境モデルの構築

・静止環境画像の生成
カメラ固定で撮像された動画像において，全ての画素に対して時系列の画素値のヒストグラムを作成すると，そのピーク値はそれぞれ現実環境での背景値を示すこととなる．

画像センサから得た実写画像を背景画像として仮想環境

これを上下のパノラマステレオ動画像にそれぞれ適用する内にテクスチャマッピングすることにより，写実性の高いことによって静止環境画像のステレオペアの生成を行う．

仮想環境を構築することができる．しかし，仮想環境内で

図 3 に動的なイベントを含む現実環境を撮像した全周パ2 を含む）から作成した全周パノラの背景として平面もしくは円筒面にテクスチャマッピング

ノラマ動画像系列（図を行った場合，仮想環境内での運動視差や物体同士の奥行マステレオ静止環境画像を示す．全周パノラマ静止環境画

き隠蔽関係の再現が困難となるといった問題がある．本章

像上に図 で存在していた歩行人物と移動車両の領域を白では高分解能全周ステレオ画像センサにより得られる全周い枠で囲った．これから生成された全周パノラマ静止環境

パノラマステレオ動画像から，現実環境内での動的なイベ画像では，現実環境内での動的なイベントが除去されていントと奥行き隠蔽関係を表現可能な全周実環境モデルの作ることが確認される．

成法について述べる．
動的環境の表現提案手法では動的な現実環境を，静的なモデルと動的な3. 1

2・動物体領域の抽出撮像された画像からの動物体領域の抽出には画像同士の論 文 □ 全周パノラマステレオ画像と CG モデルの合成による複合現実環境の構築

(3)

3

AB

Upper Panoramic Image

Acquire Panoramic
Stereo Images

Lower Image

Upper Image

apply the Sobel filter( y direction )Edge Imagef

apply the Sobel filter( y direction )Edge Image
stereo matchingOb

Depth on Edgelinear interpolation

Depth Image

Upper Edge Imageftriangulation of sampling points

CTriangular Patch Imageof 2 Dimensions

Epipolar Line

Lower Panoramic Image

append depth information

Cylindrical World Coordinate System

Triangular Patch Imageof 3 Dimensions: Direction
図 6 パノラマステレオ画像におけるステレオ投影系

convert to uneven columnarand put texture image

Stereo geometry of cylindrical panoramic images.

Full Panoramic Scene Model

図 5

周実環境モデル構築の詳細について述べる．
全周実環境モデル構築の処理手順

Flow diagram of constructing a 2.5-D scene model

全周パノラマステレオ画像からの距離画像生成

3. 2

本節では前節で得た静止環境画像，動物体領域から三次元モデル生成の際に利用する距離画像の作成手法について差分を行うことにより実現する．この際，屋外環境下での微小な照明条件の変化によるノイズの発生を避けるため，背景差分ではなくフレーム間差分を採用する．

2

図 4 に図 で示した上部のパノラマ画像から動物体の領域を抽出した

2 値画像を示す．これより動きのある人物や車両領域では領域の抽出が正確に行えていることがわかる．
しかし遠方に存在する電車領域に関しては正確な抽出が行えていない．これは電車領域内での階調値が一定であることに起因する．より正確な動物体領域の抽出は，背景差分との併用や，動的輪郭モデル

Snakes12)等の利用により実現されると考えられる．
上述の手法により生成した静止環境画像と動物体領域か述べる．以下ではまず，全周パノラマステレオ画像におけるステレオ撮像系について述べ，次に本手法における奥行き推定処理について述べる．

1（ ） ステレオ投影系
高分解能全周ステレオ画像センサから得られる上下の全周ステレオ画像上の点を図 6 のような縦方向の基線を持ったステレオ座標系で表現する．また，各々の全周画像上の点は円筒面画像座標系で，実世界はワールド円筒座標系でそれぞれ表現する．
ここで仮想カメラの焦点距離を f ，基線長を b とし，ワー(; H; D) が上下の円筒面画像座標系の座標 pu(u ，hu ), pd (d ，hd ) にそれぞれ現れたとすると

ルド円筒座標系の点 P
エピポーラ拘束によりuら，それぞれ三次元モデルを作成しレイヤ構造として配置することにより奥行き隠蔽関係の再現がなされ，かつ動的な現実環境の表現が可能な全周実環境モデルの構築が行える．静止環境画像から作成する全周実環境モデル構築の処が成立し，点 P5 A），取得した上下のステレオ画像対から，全周実環境モデルに奥行き情報を持たせるための全周パノラ5 B）．最後に作成した全周パ

hd

ノラマ距離画像から全周実環境モデルを生成し，これにテクスチャ画像をマッピングする（図5 C）．動物体領域に関しても同様の処理手順である．以降，距離画像の生成，全4(4)(; H; D) の座標は画像座標を用いてそれ

 = u = db  (hu + hd )H =2 (hd hu)bf
D =レオ動画像から静止環境画像と動物体領域の抽出を行なっマ距離画像を作成する（図(1)

ぞれ次のように表すことができる．

理手順を図 5 に示す．まず，撮像された全周パノラマステておき（図= dhu(2)(3)(4)

4式（ ）よ り，f; b が 固 定 で あ れ ば 奥 行 き は 視 差 dhd

hu にのみ依存することがわかる．すなわち，視差 d が映像情報メディア学会誌 Vol. 52, No. 1(1998)



推定されたならば実世界中の点 P の三次元位置（ ; H; D）を画素値として表現したものであり，奥行きが小さいほが一意に決まる．

ど明るく，大きいほど暗く表現されている．視差画像生成（ ） 奥行き推定処理の際，ステレオマッチングのウィンドウサイズは現実環境の奥行き推定のための視差推定を行う際，パノ素），正規化相互相関のしきい値には299（画0.9 を，メディアン
53（画素）をそれぞれラマ画像全体について視差を求めると，画像上のノイズなフィルタのウィンドウサイズにはどの影響のため誤対応が生じ，三次元モデルを構築した際設定した．また，探索領域の x 方向の範囲は高分解能全周にノイズが多く，利用者に違和感を与えてしまう．そこでステレオ画像センサの各カメラの位置づれを考慮し，左右本研究では，ノイズの少ない三次元モデル構築のため，対応点の決定が容易でかつ信頼性の高いエッジ部分についてのみ視差の推定を行い，他の領域は得られるエッジ部分の3 画素広く設定した.
3. 3

現実環境の三次元モデル化

3.2節により得られる距離画像は，補間された視差から作成したものであるため精度の高い距離情報こそ持ち得な視差情報から補間する方法をとる．
ステレオ視において一般的に，エピポーラ線に直交するいが，物体形状や視点からの奥行き関係を表現するには十エッジ上では対応点の決定が容易であり，かつマッチング分な情報を保持している．本手法では距離画像の情報を利の信頼性が高いことが知られている．そこで本手法ではま用し，実環境モデルに奥行き情報を付加することにより利ず，上下両方の全周パノラマ画像に y 方向の用者の視点移動による運動視差の効果や物体同士の奥行きSobel フィル

タを適用し，縦のエピポーラ線に交差するエッジ部分のみを抽出し，二値化を行なう．続いて上部パノラマ画像を基隠蔽関係を近似的に表現する．
以下に3.2節で得られた距離画像から静的なモデルと動準画像とし，基準画像上のエッジ点が下部の全周パノラマ的なモデルを含む全周実環境モデルを生成する際の各段階画像上のどのエッジ部分に対応するかを，画像の輝度値をでのアルゴリズムを示す．

特徴量としたテンプレートマッチング法により求める．そ（ ） 上部画像に1の際，マッチングの評価尺度には正規化相互相関を用いる．

2

Sobel フィルタを適用することにより得るエッジ画像を一定画素ごとにサンプリングする.

本手法では正規化相互相関値にしきい値を設け，類似性評（ ） 構築される三次元モデルの歪みを軽減するため，価の高い対応画素のみを採用することとした．以上の手順

距離画像を x，y 軸方向にそれぞれ一定画素ごとににより上部パノラマ画像内でのエッジ上での注目画素に対サンプリングし，これらの点とステップした点をする下部パノラマ画像の対応画素を探索することにより，視差 d を求めることができる．同様に下部パノラマ画像を基準画像として上部パノラマ画像とのマッチングを行ない，3する．

（ ） ステップ

1. で抽出を用いて接続

2. で生成された三角形の頂点の奥行き値を距離画像から読み込み，三次元三角形パッチモデ

上部画像から下部画像への対応と下部画像からの上部画像への対応が一致しない場合，誤対応として取り除く．
以上のようにして得た上部エッジ画像上での視差画像は，Delaunay の三角形分割法

13)4

正規化相互相関値にしきい値を設けることにより対応点の5.
3. で得られた三次元三角形パッチモデル

ルを作成する（ ） ステップ

をワールド円筒座標系へと変換する．

相関値が大きく，また，上部・下部画像双方のマッチング（ ） 最後に三次元座標値を持つ三角形パッチモデルのをとることにより誤対応の可能性が低い，信頼性の高いも各頂点に，上部画像をテクスチャ画像としてマッピのが得られる．しかしその反面，しきい値以下の相関値のングする

場合は視差画像に含めないため上部エッジ画像上で視差が.

以上の処理を静止環境画像と，撮像した全フレームにおいて抽出された動物体領域に施すことにより三次元のモデ求まらない点が多く存在する．
そこで，エピポーラ線に直交するエッジ上では決定されルをそれぞれ生成する．現実環境内での動的なイベントのた対応点の信頼性が高いことを考慮し，本来エッジである表現には，静止環境画像から構築される静的なモデルに対部分に横長のメディアンフィルタをかけることにより視差して動物体領域から構築される動的なモデルをレイヤ配置

7

情報の欠落している点を近傍の視差の中央値で埋める処理することにより実現される．図 8 に図 を利用して構築しを施す．続いて得られた上部エッジ画像上での視差画像をた静的な三次元モデルに，図 の上部画像をテクスチャマッy 方向に線形補間することにより密な視差画像を作成する．

ピングした全周実環境モデルの鳥瞰図を示す．現実環境の線形補間の際，大半の屋外画像の上部領域には空が写って三次元モデル化の際には，エッジ画像のサンプリング間隔いる性質を利用し，y 方向のスキャンライン上で最初に出を 画素，距離画像のサンプリング間隔を現した視差情報から線形補間を行うこととする．の時のポリゴン数は4最後に得られた各々の画素の視差情報を式（ ）に代入することにより距離画像を得る．

332

4.

31 画素とし，こ13400 ポリゴンであった．

複合現実環境の構築と提示

3

図 7 に図 で示した全周パノラマステレオ静止環境画像

本章では 章で構築した全周実環境モデルを利用した複から作成される全周パノラマ視差画像を示す．図 は視差合現実環境と，その提示のため実際に試作したプロトタイ

7

論 文 □ 全周パノラマステレオ画像と CG モデルの合成による複合現実環境の構築(5)5図 7 全周パノラマ視差画像

Panoramic depth map generated from panoramic stereo images.のプロジェク タにより投影する大型 円筒面スクリーンCYLINDRAを使用した．プロトタイプシステムでは構築した複合現実環境から人間が立体視することのできる横方向視差を有する両眼ステレオ画像を生成しており，これSB300/Solidray）を通して観察するを液晶シャッタ眼鏡（ことによって，利用者は視点移動に伴う運動視差に加えて環境の三次元的な知覚が可能となっている．また，複合現実環境内での視点移動，視線方向の変更はジョイスティッ

SideWinder Precision Pro/Microsoft）を用いること

ク（により実現している．
複合現実環境提示システムにおける提示画像の更新速度

図 8 全周実環境モデルの鳥瞰図Bird's-eye view of texture-mapped full panoramic scenemodel.

プシステムについて述べる．
4. 1

全周実環境モデルへの CG モデルの合成による複合現実環境の構築

CG

全周実環境モデルは奥行き情報を保持しているため，モデルで表現される仮想物体の合成は現実環境との奥行き隠蔽関係を考慮して正確に行うことが可能である．

CG

奥行き情報を保持する全周実環境モデルに対して，

Alias/WaveFront）を用いて作成した三次元形状を持つ樹木の CG モデルを合成することにより構築した複合現実環境の様子を図 9 に示す．また，図 9 は複合現作成ツール（6144768（画素）の画像サイズの両眼ステレオ画像を2CPU を用いて描画した際，約 13frame/sec であった．また，静的な複合現実環境全体のポリゴン数は 54740 ポリゴン（全周実環境モデル：13400 ポリゴン，CG モデル：41340ポリゴン）であった．構築した複合現実環境を CYLINDRA

は，へ表示し，利用者がウォークスルーを行っている様子を図12 に示す．

実験により，提案手法を適用して構築した複合現実環境
内では利用者は高い臨場感のもとで実時間性の高いウォークスルーが行えることが確認された．構築した複合現実環
境内においては，現実環境との奥行き隠蔽関係を考慮した仮想物体の操作が可能であり，また，視点移動に伴う運動視差の効果や両眼立体視の知覚が可能であることが確認された．

実環境内でウォークスルーを行なった様子（視線方向は不変）を示しており，利用者の視点移動に伴って車両と建築物などの画像上での位置関係から運動視差の効果が表現されていることが確認される．また，図 10 は静的な全周実環境モデルに対して異なる時刻での動的なイベントをレイヤ構造として配置した様子を，視点位置が撮像位置と一致している時の画像（上図）と新しい視点位置での画像（下図）の両方について示したものである．
4. 2

複合現実環境提示システムの構築構築した複合現実環境内で，利用者に高い臨場感と操作性を与えることを目的として実際に試作した複合現実環
境提示システムについて述べる．複合現実環境提示シス
テムの構成を図 11 に示す．全周実環境モデルの構築には

SGI Onyx2（In niteReality22，8CPUs MIPS R10000,250MHz）を使用し，仮想物体の作成には CG 作成ツール（Alias/WaveFront）を用いた．複合現実環境の提示デバ
イスには直径 6m，高さ 2.4m，視野角 330 °の映像を 6 台
6(6)

5.

おわり に

本論文では，都市や自然環境など広域な現実環境の仮想環境内での表現を目的として，高分解能全周ステレオ画像センサから得られる全周パノラマステレオ動画像からの奥行き情報を保持する全周実環境モデルとCG モデルを合成する複合現実環境の構築について述べた．全周実環境モデ
ル構築の際には，現実環境内での奥行き関係を再現するため，全周パノラマステレオ動画像から静止環境画像と動的なイベントの抽出を行い，それぞれに対して距離画像の生成を行う．これらをもとに奥行き情報の記述された全周実環境モデルを構築する方法を提案した．
提案手法の適用により構築される複合現実環境内では，

1（ ）任意視点からの情景を観察（ウォークスルー）可能で Cylindrical Yard with Large，Immersive and Novel Display forReality Applications.

映像情報メディア学会誌 Vol. 52, No. 1(1998)

forward

leftrightback

図 9

任意視点からの複合現実環境の様子（中央：撮像地点からの様子）

Mixed environment observed from di erent viewpoints (center: original viewpoint of sensor).

図 10 静的な全周実環境モデルへ動物体領域を配置した様子（上：撮像地点からの様子，下：異なる視点からの様子）

Superimposing dynamic event layers onto a static scene layer with virtual objects (top: original viewpoint;bottom: new higher viewpoint).

論 文 □ 全周パノラマステレオ画像と CG モデルの合成による複合現実環境の構築

(7)

7

RGB
cable
Onyx2
shutter-glasses
user

joysticknote PCCYLINDRA system
図 11graphics
board
serialcable

graphics workstation

複合現実環境提示システムの構成

Hardware con guration of immersive mixed reality system.
図 12 CYLINDRA への複合現実環境の提示
User's apperarance in mixed environment using CYLINDRA system.

2あること，（ ）仮想物体の合成を正確に行なうため現実環

3境の奥行き隠蔽関係が再現されていることと，（ ）現実環境内での動的なイベントが表現されていることが確認された．また，試作した複合現実環境提示システムを用いた実験を行い，実時間性の高いウォークスルーが可能であること，及び利用者の視点移動に伴う運動視差の効果や両眼立体視の知覚が可能であることが確認され，結果的に構築した複合現実環境で利用者は高い臨場感を得れることを示した．提案手法・システムの利用により，現実環境との対応を考慮した都市景観評価や環境設計など様々な応用が可能になると期待される．
提案手法により構築される複合現実環境では，撮像地点位置近傍でのウォークスルーは違和感なく行えるが，視点

virtual spaces using photographic images", Proc. VRAIS'99,
pp. 234{241 (1998).
8）山澤, 岩佐, 竹村, 横矢, \ピラミッド型ミラーを用いた高分解能全方位ステレオ画像センサ", 信学総大, D-12-146 (1997).
9）川西, 山澤, 岩佐, 竹村, 横矢, \六角錘ミラーを用いた全方位ステレオ画像センサによる高解像度ステレオパノラマ動画像の作成", 信学技報,
PRMU97-118 (1997).
10）T. Kawanishi, K. Yamazawa, H. Iwasa, H. Takemura, andN. Yokoya, \Generation of high-resolution stereo panoramic images by omnidirectional imaging sensor using hexagonal pyramidal mirrors", Proc. 14th IAPR Int. Conf. on Pattern Recognition, I, pp. 485{489 (1998).
11）R. Y. Tsai, \A versatile camera calibration technique for highaccuracy 3D machine vision metrology using o -the-shelf tv cameras and lenses", IEEE Journal of Robotics and Automation,
RA-3, 4, pp. 323{344 (1987).
12）M. Kass, A. Witikin, and D. Terzopoulos \SNAKES: Active contour models", Proc. of 1st ICCV, pp. 259{268 (1987).
13）P. Heckbert, Eds. Graphics Gems IV. Academic Press Professional, Boston (1994).

位置が撮像地点から大きく離れると三次元情報・テクスチャ情報を持たない部分が目立ち違和感が生じることがあった．
今後の課題として，複数の全周パノラマステレオ画像を利用し，構築される複数の全周実環境モデルにおいて利用者

しま むらじゅん

潤 平 10 阪大・工・情報システム卒．同年奈良先端科学技術大学院大学情報科学研究科博士前期課程入学，現在に至る．画像処理，コンピュータビジョンの研究に従事．電子情報通信学会会員．
島村の視点が変化した時に滑らかにモデルを切替える手法への拡張が必要であると考えられる．

dやま ざわ

本研究の一部は通信・放送機構からの受託研究 実環境

cと仮想環境を融合した協調作業通信環境に関する研究 の.

補助による〔文献〕

1）P. Milgram and F. Kishino, \A taxonomy of mixed reality visualdisplay", IEICE Trans. on Information and Systems, E77-D,
12, pp. 1321{1329 (1995).
2）Y. Ohta and H. Tamura, Eds. Mixed Reality |Merging real andvirtual worlds., Ohmsha & Springer-Verlag, Tokyo (1999).
3）S. E. Chen, \QuickTime VR |An image-based approach to virtual environment navigation", Proc. SIGGRAPH'95, pp. 29{38,1995.
4）廣瀬, 佐藤, \人工現実感技術を用いた臨場感の合成とその伝達", 第 9回ヒューマンインタフェースシンポジウム論文集, pp. 111{116, 1993.
5）Y. Onoe, K. Yamazawa, H. Takemura, and N. Yokoya, \Telepresence by real-time view-dependent image generation from omnidirectional video stereams", Computer Vision and Image Understanding, 71, 2, pp. 154{165 (1998).
6）T. Kanade, P. Rander, and P. J. Narayanan, \Virtualized reality:
Constructing virtual worlds from real scenes", IEEE MultiMedia,
4, 1, pp. 34{47 (1997).
7）M. Hirose, S. Watanabe, and T. Endo, \Generation of wide-range
8(8)

山澤

かず まさ

一誠 平 4 阪大・基礎工・情報卒．平 6 同大学

院基礎工学研究科制御工学博士前期課程了．平 8 同大博
士後期課程中退．同年奈良先端科学技術大学院大学情報科学研究科助手，現在に至る．ロボットビジョン，仮想現実の研究に従事．工博．日本ロボット学会，日本 VR学会，電子情報通信学会各会員．
たけ むら

竹村

はる お

治雄 昭 57 阪大・基礎工・情報卒．昭 62 同大学院基礎工学研究科博士後期課程単位取得退学．同年（株）ATR 入社．3 次元ユーザインタフェース，CSCW，仮想現実などの研究に従事．平 6 奈良先端科学技術大学
院大学・情報科学研究科助教授，現在に至る．平 10〜11
カナダ・トロント大・客員助教授．工博．IEEE，ACM，HFES，情報処理学会，ヒューマンインターフェース学会，日本 VR 学会，電子情報通信学会各会員．
よこ や横矢なお かず

直和 昭 49 阪大・基礎工・情報卒．昭 54 同大学院基礎工学研究科博士後期課程了．同年電子技術総合研究所入所．以来，画像処理ソフトウェア，画像データベース，コンピュータビジョンの研究に従事．昭 61〜62
カナダ・マッギル大・知能機械研究センター客員教授．
平 4 奈良先端科学技術大学院大学・情報科学センター教授．現在，同大情報科学研究科教授．平 1 情報処理学会
論文賞受賞．工博．IEEE，情報処理学会，人工知能学会，日本認知科学会，日本 VR 学会，電子情報通信学会各会員．

映像情報メディア学会誌 Vol. 52, No. 1(1998)