論文

ビデオシースルー型拡張現実感のための実時間ステレオ画像合成
神原誠之y

大隈 隆史yy

竹村 治雄y横矢 直和yReal-time Composition of Stereo Images for Video See-through Augmented Reality

Masayuki KANBARAy, Takashi OKUMAyy, Haruo TAKEMURAy, and Naokazu
YOKOYAy

あらまし 現実環境と仮想環境を融合する技術は拡張現実感と呼ばれ，現実環境に情報を付加することが可能であることから新たな情報提示手法の一つとして注目されている．拡張現実環境をユーザに提示するには，現実
環境と仮想環境の正確な位置合せ，画像合成，及びユーザへの提示を実時間で行う必要がある．本論文では，現実環境と仮想環境の時間的な同期がとれることから，両者の位置ずれが生じないという特徴をもつ，ビジョンセ
ンサとビデオシースルーの組合せを用いる拡張現実感のための画像合成手法を提案する．本手法では，現実環境に取り付けた 眼のステレオカメラで撮影し，この画像から位置合せに必要なカ中に配置されたマーカをメラパラメータを推定する．同時に，現実物体と仮想物体の正確な前後関係を表現するために，現実環境の奥行
情報を実時間で取得する．その際，奥行推定を拡張現実感に特化することで計算量を削減し，実時間処理を可能
にした．

HMD

キーワード

2

拡張現実感，ステレオ，実時間処理，ビデオシースルー

前後関係を判定する問題がある．前者は，現実環境に

1. ま え が き

対するユーザ視点の位置姿勢を求める問題ととらえる

計算機によって管理されコンピュータグラフィックことができ，この問題を解決する手法としては，例えス (CG) を用いて提示される仮想物体を現実環境に合ば，磁気式，超音波式などの 3 次元位置センサを用い成し，HMD(head mounted display) などの表示デバて視点 (頭部) の位置姿勢を求める手法が挙げられる．

イスを用いてユーザに提示する技術は拡張現実感と呼後者は，現実環境が静的な環境であれば，あらかじめばれる．拡張現実感は，現実環境に情報を付加するこ

現実環境の 3 次元情報を厳密に測定し，記憶しておくとが可能であることから，新たな情報提示手法としてことで解決できる．しかし，拡張現実環境で一般に扱注目され，現実環境における作業補助などに応用されわれる動的な環境に対応するには，現実環境の奥行情ている [1] 〜 [4]．拡張現実感によりユーザに提示され報を実時間で取得する必要がある．
更に，幾何学的整合性問題を解決しても，重畳表示る環境を拡張現実環境と呼ぶ．
拡張現実環境を構築するためには，現実環境と仮想手法により現実物体と仮想物体の前後関係を正確に表

環境との間におけるいくつかの整合性問題を解決する

現できない場合がある．そのため，幾何学的整合性問必要がある [4]．特に，現実世界と仮想世界の幾何学的題を解決する手法と現実環境と仮想物体を重畳表示す

整合性の欠如は，ユーザに違和感を与える最も大きなる手法の組合せについて検討する必要がある．以下，要因であると考えられている．

それぞれについて主な手法を概観する．

幾何学的整合性の問題には，現実環境と仮想環境の幾何学的整合性問題のうち，現実環境におけるユー

座標系を一致させる問題と仮想物体と現実物体の奥行

ザの視点情報を獲得する問題を解決する手法として，
以下の二つが挙げられる．

y 奈良先端科学技術大学院大学 情報科学研究科，生駒市

 磁気式，超音波式，多関節アーム型など ，特殊Graduate School of Information Science, Nara Institute of
Science and Technology, Ikoma-shi, 630-0101 Japanな装置を用いて視点情報を獲得する手法 [3]．

Machine Understanding Division, Electrotechnical Laboratory, Tsukuba-shi, 305-8568 Japan推定するビジョンセンサを用いる手法 [5] 〜 [7]．

yy 電子技術総合研究所 知能情報部，つくば市

電子情報通信学会論文誌

 カメラによって撮影された画像から視点情報を

D{II Vol. J82{D{II No. 10 pp. 1{9 1999 年 10 月

1

電子情報通信学会論文誌'99/10 Vol. J82{D{II No. 10

前者は，3 次元の位置姿勢を比較的容易に獲得するこ問題を解決する従来手法と問題点を挙げ，本研究の方とができるが，特殊な装置が必要，計測範囲が限られ針について述べる．

るなどの欠点がある．一方，後者は撮影された画像か

仮想環境と現実環境の位置合せ問題は，ユーザの視ら視点情報を推定するため測定範囲は必ずしも限定さ点を推定する問題と等価である．ビジョンセンサを用れない．カメラと視点の位置関係が既知であれば，撮いた場合，HMD に取り付けられたカメラのレンズ中影された画像からカメラパラメータを求めることで視心とユーザの視点が一致していると仮定することで，点情報を獲得できる [8]．

カメラパラメータを視点情報として利用することが可

一方，現実環境と仮想物体を重畳表示する方式には
以下の二つがある．

能である．従来，現実環境中の特徴点を単眼のカメラで撮影した画像からカメラパラメータを推定する手法

 ハーフミラーなどを用いて，映り込む仮想環境

がいくつか提案されている [6], [7], [9]．筆者らはこれと透過して見える現実環境を同時にユーザに提示するまでに，現実環境中に特徴点として同一平面上に 3 次

光学式シースルー方式．

元位置が既知の四つのマーカを配置し，これをカメラ

 ユーザの視線方向とカメラの光軸を一致させてにより撮影した画像から実時間でカメラパラメータを撮影した現実環境の映像上に仮想環境を合成して提示求めることで拡張現実環境を提示するシステムを作するビデオシースルー方式．

成した [10]．しかし，単眼のカメラを用いているため光学式シースルーの場合，現実環境が時間遅れなく

ユーザの両眼に同じ画像を提示することになり，現実提示される反面，ハーフミラーを用いているため仮想環境の奥行感を提示することができない，現実物体と物体が半透明に描画される．そのため，仮想物体によ

仮想物体の前後関係に矛盾のある合成画像が生成される現実物体の隠ぺいを表現するのは一般的に困難である，などの問題点が存在する．

る．また，現実環境が時間遅れなく提示されるため，本論文では，現実環境を撮影するカメラに 2 眼のス

仮想環境を提示する際の計算時間などは現実環境と仮テレオカメラを用いることで，これらの問題の解決を

想環境の同期ずれの原因となり，これが位置ずれとし試みる．従来，他のセンサとステレオカメラを組み合てユーザに知覚される．

わせた手法 [11], [12] が 提案されているが上記の問題

これに対して，ビデオシースルーでは現実環境と仮を解決したものはない．2 眼のステレオカメラを用い

想環境の同期をとって提示できるため，同期ずれによることで，現実環境中に配置された位置関係が未知のる両者の位置ずれは原理的に生じない．しかし，提示

マーカ 3 点を撮影した画像からマーカとカメラの位置される環境全体が，仮想環境を合成する際の計算時間関係を表すカメラパラメータを推定可能である．また，などによって遅れて提示され，見回し遅延としてユー

仮想物体と現実物体の正確な前後関係を表現するため

ザに知覚される．

には，現実環境の視点位置からの奥行を実時間で獲得

本論文では，前述の背景をもとに，ビジョンセンサ

する必要がある．奥行の推定は, コンピュータービジョとビデオシースルーを組み合わせた拡張現実感を採用

ンの分野において多くの研究がなされている [13], [14]．

し ，現実環境と仮想環境の画像合成手法を提案する．

近年，実時間奥行推定がいくつか報告されているが，この組合せは，ユーザに提示するために現実環境を撮

その多くは，3 眼以上の多眼ステレオや特殊なハード

影した画像を幾何学的整合性問題の解決に使用するこ

ウェアを用いており [15], [16]，ユーザに提示される視とで，現実環境と仮想物体の提示の同期をとり両者の点位置からの撮影画像に適用するのは困難である．本

位置ずれをなくすことが可能である．

研究では，2 眼ステレオと汎用計算機の組合せで，奥以降，2. では関連研究と本研究の方針，3. では現行推定問題を拡張現実感に特化し，奥行推定領域を限実環境と仮想環境のステレオ画像合成手法について説定することで計算量を削減し，現実環境の視点からの明する．4. では，提案手法を用いたプロトタイプシス

実時間奥行推定を実現する．

テムの構築と画像合成実験について述べ，試作システ
ムの特徴と現状での問題点について考察する．

2. 関連研究と本研究の方針
本章では，ビジョンセンサを用いて幾何学的整合性

2

本論文では，ビジョンセンサとして 2 眼のステレオ
カメラを用い，仮想環境と現実環境との位置合せ，現
実環境の奥行推定を行うことで，幾何学的整合性問題を解決する画像合成法を提案する．

論文／ビデオシースルー型拡張現実感のための実時間ステレオ画像合成

left image

A. camera parameter
estimation
tracking
trackingof markers
of markers

right image

input

determination of 3D
position of markers

stereo cameras

calculation of model-view matrix

B. depth estimation
limitation of depth limitation of depth
estimation region estimation region

HMD
outputleft image

right image
C. composition ofreal and virtual images

depth
computation

depth
computation

C. composition ofreal and virtual images
図 1 ステレオ画像合成によるビデオシースルー拡張現実の処理手順
Fig. 1 Flow diagram of stereoscopic video see-through augmented reality.

（ 3 ） マーカの 3 次元座標から，現実環境と仮想環

3. 現実環境と仮想環境のステレオ画像合成

境の座標系の位置関係を表すモデルビュー行列を計算

本章では，現実環境と仮想環境のステレオ画像合成

する．

手法について述べる．ステレオ画像合成によるビデオ
シースルー拡張現実の処理手順を図 1に示す．まず，入以降では，それぞれの段階について詳細を述べる．

3. 1. 1 マーカの追跡

力されたステレオ画像対からカメラパラメータを推定

毎フレームで入力画像の全領域に青色領域抽出処理

し (図 1A)，次に，現実物体と仮想物体の前後関係をを適用すると時間がかかる．そこで，第 1 フレームに正確に表現するために現実環境の奥行情報を獲得する

おいてのみ全領域に対して青色領域抽出を行い，第 2(図 1B)．最後に，それらの結果を用いて画像合成を行

フレーム以降は前フレームの情報をもとに青色領域をう (図 1C)．
以降 3.1 ではカメラパラメータの推定，3.2 では現

実環境の奥行推定，3.3 で実画像と CG の合成について述べる．

3. 1 カメラパラメータ推定による現実環境と仮想環境の位置合せ
カメラパラメータを推定するために以下の 3 段階の追跡する．抽出された領域を用いてマーカの画像上での座標を得る．
第 1 フレームでは以下の手順でマーカを抽出する．
（ 1 ） 入力された 2 枚の画像に対して画像全体を走査して青色の領域を抽出する．
（ 2 ） ノイズを除去し，それぞれの領域の重心の位置をマーカの画像上の座標とする．

処理を行う．ここでは，簡単化のために特徴点として（ 3 ） 左右の画像にそれぞれ三つのマーカの座標が青色のマーカを用いる．

求まれば，エピポーラ拘束により左右画像のマーカの（ 1 ） 入力された 2 枚の画像のそれぞれから青色領対応をとり，画像座標系における y 座標の値が大きい域を抽出しマーカの画像上の座標と左右画像間の対応

マーカからラベル付け (ラベル 1,2,3) を行う．

関係を求める．

フレームの更新レートがビデオレートに近い場合，（ 2 ） マーカの画像上の座標からステレオ視によりフレーム間でのマーカの画像上の座標の変化は小さい

マーカの 3 次元座標を計算する．

と仮定できる．したがって，第 2 フレーム以降では以3電子情報通信学会論文誌'99/10 Vol. J82{D{II No. 10

したがって，f , B が既知のもとでは，マーカの左右下の手順でマーカを抽出する．
（ 1 ） 前フレームにおけるマーカの画像上の座標をの画像上の座標から，3 次元位置 (X ,Y ,Z ) が計算さもとに探索窓を決定する．

れる．

（ 2 ） それぞれの探索窓に対して青色領域の重心を

3. 1. 3 モデルビュー行列の計算

求めそれをマーカの画像上の座標とする．左右画像の現実環境を撮影した画像に CG オブジェクトを合

マーカの対応は第 1 フレームで求められたものを使用成するためには ，CG オブジェクトの形状を 定義しする．

ている世界座標系からカメラ座標系への変換行列 (モ

3 組のマーカの対応がとれないときや青色領域が探索

デルビュー行列 M) が 必要になる．すなわち，モデ

窓内から抽出できないときは，再度第 1 フレームと同ルビュー行列 M はある点の世界座標系での 座標値

を w= (wx ; wy ; wz ; 1)，カメラ座標系での座標値を c様の処理からやり直す．

3. 1. 2 マーカの 3 次元位置の推定= (cx ; cy ; cz ; 1) とするときに，前項で求めたマーカの左右の画像上の座標から各マーカの 3 次元位置を推定する．本研究で想定するス
テレオカメラ系とマーカの位置関係を図 2に示す．ス
テレオカメラ系には，二つの同じカメラを光軸方向を一致させ各画像面が同一平面にのるように配置したものを使用する．原点を左右のレンズ中心の中点，X ,Z
軸をそれぞれ基線，カメラの光軸方向で定義する座標
系をカメラ座標系とする．3 次元位置 P (X ,Y ,Z ) の

c = Mwと変換する行列である．また，M は回転成分 R と平行移動成分 T を用いて

2
6
M=6
64

0

マーカが，各画像の中心を原点とした左右画像座標系の Pl (xl ,yl ); Pr (xr ,yr ) に投影されたとすると，以下の関係式が成立する [13]．

R
0

0

3
T 7
77
5
1

と表せる．
ここで計算を簡略化するために，図 3で示すように

B (xl + xr )X =2(xl 0 xr )世界座標系を以下で定義する．

 原点はラベル 1 のマーカの 3 次元位置．
 x 軸はラベル 1 とラベル 2 を結ぶ直線．
 x 0 y 平面は三つのマーカの存在する平面．

B (yl + yr )Y =2(xl 0 xr )fB
Z =xl 0 xr

平行移動成分 T は世界座標系の原点としたラベル

ただし ，f はカメラの焦点距離，B は基線長である．
markerleft
image

1 のマーカのカメラ座標系での座標値として求められY

camera coordinate
systemm1,m2,m3: markers

P(X,Y,Z)Z

V3f

Pl (xl ,yl )Ycenterof left lens

right
image

Z
B

cameraX
coordinate system

V1

Pr (x r, y r)

z’n
m1

V2

y’n

m2

x’n

world coordinate systemfcenter of right lens

図 2 2 眼ステレオの構成
Fig. 2 Geometry of stereoscopic projection of amarker.

4

m3

X

model-view
matrix M
図 3 世界座標系とカメラ座標系の関係
Fig. 3 Relationship between world and camera coordinates.

論文／ビデオシースルー型拡張現実感のための実時間ステレオ画像合成
region of depth
estimation

投影される領域を限定できる．したがって，前節で求めたモデルビュー行列を用いてカメラ座標系に変換した仮想物体のバウンディングボックスを画像上に投影することで，奥行推定を行う必要のある領域を決定する．以下に現実環境の奥行を求める手順を示す．

left image plane（ 1 ） 世界座標系で定義されている仮想物体を，モCG objectcenter ofleft lensbounding box

デルビュー行列を用いてカメラ座標系に変換する．
（ 2 ） 図 4 に示すように，仮想物体のバウンディン
グボックスを左画像上に投影し，投影された領域の外

cameracoordinate system

接長方形を奥行推定を行う領域とする．右画像に対しcenter ofright lensても同様に処理を行う．

図 4 奥行推定領域の決定
Fig. 4 Determination of depth estimation region.

（ 3 ） 左右画像の奥行推定領域に対して sobel フィ
ルターを用いてエッジを検出する．
（ 4 ） 左画像を基準画像とし右画像とのマッチング

る．また，回転成分 R は以下の手順で求めることがでを行う．この際，マッチングは基準画像のエッジの検きる．

出された画素に 対して行い，探索窓は 5 × 5 画素，（ 1 ） 世界座標系の各軸の方向成分をカメラ座標座

マッチングの評価基準とし て SAD(sum of absolute

標系で表現し ，これを xn ，yn ，zn とする．ラベル

di erences) [17] を用いる．

1,2,3 のカメラ座標系での位置を V1 ，V2 ，V3 とす

ると，とのマッチングを行う．
（ 6 ） 両方向マッチングの対応をもとに誤対応を取

xn = V2 0 V1 ;yn = (V3 0 V1 ) 0
zn = xn× yn ，

xn 1 (V3 0 V1 )xn ;xn 1 xn

り除く．
（ 7 ） 同一スキャンライン上の 2 点のエッジ間を小さい方の視差で補間する [16]．
以上より，仮想物体との奥行判定が必要な画像上の領域の奥行が求まる．

が成り立つ．
（ 2 ） xn ，yn ，zn を正規化する．正規化した各軸000の方向成分を xn ，yn ，zn とすると，

x
yn
zn
0
0
x0n = n ， yn=
， zn =
kxn k
kyn k
kzn k

となる．
0
（ 3 ） 以上で求めた x0n ，yn，z0n を用いて以下の式で R を得る．
0（ 5 ） (4) と同様に，右画像を基準画像とし左画像

03. 3 実画像と CG 画像のステレオ合成
前節で求めたモデルビュー行列と現実環境の奥行情報を用いて，現実環境を撮影した画像に CG を合成す
る．現実物体が仮想物体より手前にある領域には，透明な物体をあらかじめ描画し CG が描画されないようにすることで，現実物体によって CG が隠蔽されているかのように表現する．具体例とともに処理の手順を
図 5に示す．最初に，カメラによって撮影された現実

0

R = [xn yn zn ]．
以上より，世界座標系とカメラ座標系の位置関係を表すモデルビュー行列を得ることができる．

3. 2 画像合成領域における実物体の奥行推定
本節では，仮想物体と現実環境の正確な前後関係を表現するために，ステレオ画像対から現実環境の奥行を推定する手法について述べる．図 4に示すように仮想物体のカメラ座標系における位置が既知であれば ，
仮想物体と前後関係を考慮する必要のある現実物体が環境の画像 (図 5(a)) 上に，現実環境の奥行情報 (図5(b)) をもとに透明な物体を描画する (図 5(c))．そして，投影パラメータとして CCD カメラの撮像面の大きさや焦点距離を設定し，3.1.3 で求めたモデルビュー
行列を用いて CG をレンダ リングする (図 5(d),(e))．
この処理を，左右それぞれの入力画像に対して行うことによって，ステレオ画像合成を実現する．

4. ビデオシースルー型拡張現実感システム
3.で述べたステレオ画像合成手法の有効性を確認す5

電子情報通信学会論文誌(b) depth estimation result(d) rendered virtual object(c) transparent object
generated from depth map(a) real scene image'99/10 Vol. J82{D{II No. 10(e) composed image

図 5 画像合成処理の手順
Fig. 5 Process of image composition.

stereo cameras

IK-UM42

input

mediamask

outputHMD

DIVO

Onyx2 IRgraphics board

graphics workstation

図 6 プロトタイプシステムの構成
Fig. 6 Hardware con guration of prototype system.

るため，ビデオシースルー型拡張現実感システムを試

図 7 ビデオシースルー型 HMD
Fig. 7 Appearance of stereoscopic video see-through
HMD.

作し，実験を行った．以降，4.1 ではプロトタイプシ

ステムの構成，4.2 では実験結果について述べ，4.3(DIVO) を用いてグラフィックスワークステーション

では本手法について考察する．

(Onyx2 IR MIPS R10000 195MHz 16 CPU : SGI)

4. 1 プロト タイプシステムの構築に入力され 画像合成処理を行う．作成された左右のプ ロト タ イプ シ ステムの 構成を 図 6に示す．本シそれぞれの視点からの合成画像は，DIVO を通してステムでは，HMD(mediamask :オリンパス) に 2 個

HMD に出力される．

の CCD カメラ (IK-UM42:東芝) を取り付けたビデオ

4. 2 実 験 結 果

シースルー型 HMD を用いた．試作したビデオシース

実験に用いる現実環境は作業補助などへの応用を想

ルー型 HMD の外観を図 7に示す．カメラ間距離 (基定し，卓上にマーカを配置した．提案手法により，実線長 B) は 6.5cm とし，光軸はユーザの視線方向と一

画像に CG を合成したステレオ画像を図 8に示す．同致させ，カメラの焦点距離 f は 5.5mm に固定した．

図 (a)，(b) は，机の上の 3 点のマーカから求めたカメ

カメラによって撮影された画像は，ビデオ入出力装置

ラパラメータを用いて実画像と仮想物体を合成した画

6

論文／ビデオシースルー型拡張現実感のための実時間ステレオ画像合成

(a)

(b)

(c)

(d)

Left image

Fuse
wall-eyed

Right image

Fusecross-eyed

Left image

図 8 合成ステレオ画像の例
Fig. 8 Examples of composed stereo images.

像である．3 点のマーカからカメラとマーカの位置関ある．実際の処理はフィールド 単位で行うため，360

係を求め，合成画像を提示できていることが確認でき

× 243 画素の画像で行われる．図 8に示した合成画像

る．(c)，(d) は，仮想物体より手前に現実物体が存在の場合，現実環境の奥行推定の計算量は，奥行推定領する場合に，現実物体によって仮想物体の一部が隠ぺ

域を限定することで約 10 〜 20 % に削減が行えた．

いされており，仮想物体と現実物体の前後関係が矛盾

画像更新レートは，実験で用いた仮想物体 (約 3700 ポなく表現されていることが確認できる．また，HMD

リゴン ) を合成し ，奥行推定領域が 360 画素 × 243に左右のそれぞれの画像を提示することで，背景と仮

画素 × 32 段階（ 注 1 ）から約 100 画素× 100 画素× 32

想物体の両方に立体感を与え，合成画像を提示できて段階 (約 11%) に限定された場合で平均 10 フレーム/いる．

秒 (更新間隔約 100 ミリ秒) である．カメラパラメー

入力画像と提示画像の大きさは 720 × 486 画素 で1

（注 ）
：画像幅 × 画像高 × 奥行.

7

電子情報通信学会論文誌'99/10 Vol. J82{D{II No. 10タの推定に約 20 ミリ秒，現実環境の奥行推定に約 40既知としてシステムに与えることで、世界座標系におミリ秒，CG の合成に約 20 ミリ秒，残りは画像の入力

けるカメラの位置と姿勢を取得する。本手法を従来手に費やされている．ビデオシースルー HMD を用いて法の応用例，例えば，作業支援システム，美術館・博いるため，現実環境と仮想環境との時間的なずれはな

物館における案内システム等に適応する場合、あらかい．その反面，画像合成に費やされる時間に加え，合じめ現実環境に設定された世界座標系での座標値を用

成画像が出力されてから HMD に提示されるまでに遅いて表示すべき仮想物体を定義しておく必要があるた延が生じるため，合成画像全体が 4 〜 5 フレーム時間

め 、絶対座標系でのマーカの 3 次元位置が必要とな(約 133 〜 166 ミリ秒) の遅延を伴って提示される．

4. 3 考察る．すなわち，マーカによって定義される世界座標系
を一意に定める必要があるが，色や形状の異なるマー

HMD に取り付けたステレオカメラを用いて，1) カ

カの利用や個々のマーカを識別可能な配置とすること

メラパラメータ推定による現実環境と仮想環境の位置で，この問題は容易に解決できる．また，複数のマー

合せ，2) 現実環境の奥行推定による現実物体と仮想物

カを利用可能に拡張した場合，初期フレームにおいて体の前後関係の判定を行うことで，現実物体と仮想物

最低三つの個々を識別可能なマーカが存在すれば，一体の前後関係の表現が可能なビデオシースルー型拡張

意に世界座標系を定義できるため，それ以外のマーカ

現実感を構築した．プロトタイプシステムでは，ビデは個々の識別は不要で，3 次元位置が既知である必要

オレートに近い実時間処理を実現することによって，はない．

提示環境の両眼立体視と運動立体視が可能である.
ただし，作成したプロトタイプはカメラの基線長が5. む す び

眼間距離であるため，奥行分解能の点から奥行情報の本論文では，拡張現実感における現実世界と仮想世得られる範囲が制限される．具体的には，画像上の視界の幾何学的整合問題を解決するステレオ画像合成手差 1 画素が 3 m 先であれば約 30 cm，1 m 先であれ

法を提案した．HMD に取り付けられたステレオカメ

ば約 3 cm の奥行の幅をもつため，ユーザに比較的近ラによって撮影された画像から，1) カメラパラメータ

いところにマーカが存在する必要がある．

推定による現実環境と仮想環境の位置合せ，2) 現実環

本システムの現在の問題点を以下に挙げる．

境の奥行推定による現実物体と仮想物体の前後関係の（ 1 ） マーカ 3 点のうち一つでも実物体に隠される判定を実時間で行うことで現実物体と仮想物体の前後と，モデルビュー行列が計算できない．

関係の表現を可能にするビデオシースルー拡張現実感（ 2 ） 仮想物体の位置や大きさによって計算時間がシステムを構築した．本システムでは，現実環境の奥異なる．

行推定問題を拡張現実感に特化することによる計算量(1) は，複数のマーカを配置し ，そのうちカメラに撮削減により，ビデオレートに近い実時間処理を実現す影されたものだけを用いてカメラパラメータを推定することで提示環境の両眼立体視と運動立体視を可能にることで改善できる．(2) は，仮想物体の位置や大きした点が大きな特徴である．

さに応じて，奥行を推定する領域の解像度を変化させるなどの検討が必要である．
本手法は 3 次元位置が未知のマーカ 3 点を用いて、ある世界座標系を定義し 、この世界座標系に対するカメラの位置と姿勢を取得する。そのため，システムの初期状態では仮想物体が存在せず、ユーザが対話的に仮想物体を操作して情報を付加していくタイプのシステムに応用可能である．このタイプの応用システムとしては，現実物体と仮想物体を組み合わせることが可能な卓上でのモデリングシステムなどが考えられる。
これに対して従来手法のように既知のマーカを用いる
手法では、現実環境にあらかじめ基準となる座標系を設定しておき、この座標系におけるマーカの座標値を

8

今後の課題として，幾何学的位置合せの精度評価，多数のマーカを用いることによるロバストなマーカ追跡，カメラパラメータ推定と奥行推定の高精度化などが挙げられる．
謝辞 本研究の一部は文部省 1 科研費補助金 (課題番号 09480068) による．
文

献[1] R. T. Azuma, \A survey of augmented reality," Presence, vol. 6, no. 4, pp. 355{385, 1997.
[2] M. Bajura, H. Fuchs, and R. Ohbuchi, \Merging virtual objects with the real world: Seeing ultrasoundimagery within the patient," Proc. SIGGRAPH'92,
vol. 26, no. 2, pp. 203{210, 1992.
[3] S. Feiner, B. Maclntyre, and D. Seligmann,論文／ビデオシースルー型拡張現実感のための実時間ステレオ画像合成

[4]

[5]

[6]

[7]

[8]

[9]

\Knowledge-based augmented reality," Commun. of
the ACM, vol. 36, no. 7, pp. 52{62, 1993.
T. Ohshima, K. Satoh, H. Yamamoto, and H.
Tamura, \AR2 hockey: A case study of collaborative augmented reality," Proc. VRAIS'98, pp. 14{18,1998.
T. Okuma, K. Kiyokawa, H. Takemura, and N.
Yokoya, \An augmented reality system using a realtime vision based registration," Proc. ICPR'98, vol.
2, pp. 1226{1229, 1998.
M. Uenohara and T. Kanade, \Vision-based object registration for real-time image overlay," Proc.
CVRMed'95, pp. 13{22, 1995.
中沢 裕二, 中野 誠巳, 小松 隆, 斎藤 隆弘, \画像中の特徴点に基づく実写画像と CG 画像との動画合成システム,"
映情学誌, vol. 51, no. 7, pp. 1086{1095, 1997.
G. J. Klinker, K. H. Ahlers, D. E. Breen, P-Y. Chevalier, C. Crampton, D. S. Greer, D. Koller, A. Kramer,
E. Rose, M. Tuceryan, and R. T. Whitaker, \Con uence of computer vision and interactive graphics foraugmented reality," Precense, vol. 6, no. 4, pp. 433{
451, 1997.
井上 剛毅, 小林 俊広, L. Quan, 大田 友一, \3 視点のアフィン画像からの線形的手法による形状と動きの推定を用いた仮想物体の融合," 画像の認識・理解シンポジウム(MIRU'98) 講演論文集, vol. I, pp. 13{18, 1998.
[10] 大隈 隆史, 清川 清, 竹村 治雄, 横矢 直和, \ビデオシース
ルー型拡張現実のための実画像からのカメラパラメータの実時間推定," 信学技報, PRMU97-113, 1997.
[11] 佐藤 清秀, 山本 裕之, 田村 秀行, \現実空間と仮想空間の位置合わせ手法 − ステレオカメラと 3 次元センサの組合
せ," 画像の認識・理解シンポジウム (MIRU'98) 講演論文集, vol. I, pp. 7{12, 1998.

[12] A. State, G. Hirota, D. T. Chen, W. F. Garrett, and
A. Livingston, \Superior augmented reality registration by integrating landmark tracking and magnetic
tracking," Proc. SIGGRAPH'96, pp. 429{438, 1996.
[13] 奥富 正敏, \CVCV-WG 特別報告:コンピュータビジョン
における技術評論と将来展望 (X) −ステレオ視 (Stereo
Vision)," 情処研報, 96-CVIM-102, 1996.
[14] N. Yokoya, T. Shakunaga, and M. Kanbara, \Passive range sensing techniques: Depth from images,"
IEICE Trans. Inf. & Syst., vol. E82-D, no. 3, pp. 523{
533, 1999.
[15] T. Kanade, A. Yoshida, K. Oda, H. Kano, and M.
Tanaka, \Stereo machine for video-rate dense depth
mapping and its new application," Proc. CVPR'96,
pp. 196{202, 1996.
[16] 松原 重徳, 岩佐 英彦, 竹村 治雄, 横矢 直和, \ステレオ視による奥行き推定に基づく実画像と仮想物体の合成," 画像の認識・理解シンポジウム (MIRU'96) 講演論文集, vol.
I, pp. 43{48, 1996.
[17] 尾上 守夫, 画像処理ハンドブック, 昭晃堂, 1987.

神原 誠之 （ 学生員）
平 9 岡山大・工・情報卒．平 11 奈良先端科学技術大学院大学博士前期課程了．現
在，同大博士後期課程在学中．コンピュー
タビジョン，拡張現実感の研究に従事．平10 電子情報通信学会学術奨励賞受賞．日本
VR 学会会員．

大隈 隆史 （ 正員）
平 6 阪大・基礎工・情報中退．平 11 奈良
先端科学技術大学院大学博士後期課程了．
同年電子技術総合研究所入所，現在に至る．
情報視覚化，3 次元ユーザインタフェース，
拡張現実感の研究に従事．博 (工)．情報処
理学会，日本 VR 学会各会員．

竹村 治雄 （ 正員）
昭 57 阪大・基礎工・情報卒．昭 62 同大大学院博士後期課程単位取得退学．同年（株）ATR 入社．3 次元ユーザインタフェー
ス，CSCW，仮想現実の研究に従事．平 6
奈良先端科学技術大学院大学・情報科学研
究科助教授．工博．情報処理学会，IEEE，
ACM，HFES， 日本 VR 学会，映像情報メディア学会，ヒューマンインターフェース学会各会員．

横矢 直和 （ 正員）
昭 49 阪大・基礎工・情報卒．昭 54 同大
大学院博士後期課程了．同年電子技術総合研究所入所．以来，画像処理ソフトウェア，
画像データベース，コンピュータビジョンの研究に従事．昭 61 〜 62 マッギル大・知能機械研究センター客員教授．平 4 奈良先端科学技術大学院大学・情報科学センター教授．現在，同大情報科学研究科教授．平 1 情報処理学会論文賞受賞．工博．情報処理学会，人工知能学会，日本認知科学会，映像情報メディア
学会，IEEE 各会員．

（ 平成 11 年 3 月 1 日受付，年 6 月 24 日再受付）

9