総論：特集ÎÊ»ÅÊ のための画像計測
藤 智 和＊ 横 矢 直 和＊

佐＊奈良先端科学技術大学院大学，奈良県生駒市高山町 ＊               ＊ !" ! # $  $%

º­キーワード：画像計測 バーチャルリアリティ，複合現実感
 


はじめにバーチャルリアリティ  

とは，コンピュータグラフィクス  などを用いて実際には存在しない仮想的な世界を構築する技術の総称であり，ゲーム，映画などの分野を中心に広く活用され，一般に広く認知されている．近年，このような  の発展・進化形として，従来から  で用いられてきた  などで構築される仮想世

図  拡張現実感の利用イメージ 観光案内の例

界の映像と，ビデオカメラなどで撮影される現実世界の映像を，融合してユーザに提示する複合現実感   と呼ばれる技術に注目が集まっている．図  に示

すように， によって構築される世界は，現実世界と仮想世界の間に存在する連続的な概念であるが，技術的には仮想世界の情報を用いて実世界を補強・増強する拡張現実感
    と，実世界の情報を用いて仮想世界を構築する仮想化現実      に大別できる．本解説では，このような現実世界と仮想空間の融合による  環境の構築に欠かすことのできない，現実世界の三次元計測手法について，画像計測による手法を中心に紹介する．

 º 拡張現実感  のための画像計測
拡張現実感  は，ユーザが見ている現実世界の視覚情報に対して， などで表現される仮想物体や注釈情報をリアルタイムで合成することで，様々な付加情報を提示する技術である．図  は  を観光案内に利用したシーンの一例を表したイメージ図である．ユーザはカメラが設置されたヘッドマウントディスプレイ  を装着しており，カメラはユーザの視点位置からの画像を撮影している．
ここでは，平城宮跡にいるユーザの視点から撮影された現Mixed Reality (MR) (複合現実世界)

実環境の画像と，現実には存在していない大極殿の  が合成され， を通してユーザに提示されている． はユーザの視点位置に応じてリアルタイムで更新され，あたかもそこに実際の大極殿があるかのように提示される．また，提示画像中には大極殿に関する注釈情報が付加されている． は，このような観光案内や景観シミュレーションの他に，映画・ゲームなどのエンタテイメント分野や医療分野でも用いられつつある．これらの分野で用いられる
 において，現実感の高い仮想空間をユーザに提示するためには，実画像と仮想物体を双方の継ぎ目が分からないように違和感なく合成する必要があり，そのためには特に，現実環境と仮想環境の間の幾何学的整合性と光学的整合性を確保する必要がある．以下では，画像計測を用いたこれらの整合性問題の解決手法を紹介する．

 幾何学的整合性
 における幾何学的整合性とは，仮想物体と現実物体の位置関係や隠蔽関係のような，物体間の幾何学的な関係に関する整合性を指す．このような幾何学的整合性問題を解決するためには，  現実世界と仮想世界の幾何学的な位置合わせ，  現実物体と仮想物体の奥行きの隠蔽関係の再現，が必要である．以下では，これら二つの課題に対するいくつかのアプローチを紹介する．
（  ） 幾何学的位置合わせ では，ユーザの視点位置がリアルタイムで変化するため，ユーザの視点位置・視線方向に応じた仮想世界 の描画を行う必要がある．このためには，現実世界と仮想
Real
Environment()

Augmented
Reality (AR)
()

現実世界

拡張現実

図

Augmented
Virtuality (AV)
()

仮想化現実

複合現実感が作り出す世界

計測と制御 第  巻 第  号  年  月号

VirtualEnvironment()

仮想世界世界の座標系を一致させた上で  を描画することが必要であり，この問題は，現実環境に対するカメラの撮影パラメータを推定する問題に帰着する．
ただし， の利用シーンにおいては，カメラの内部パ 実画像図

 全方位カメラと撮影画像

 ランドマークの三次元位置

 検出されたランドマーク

 幾何学的位置合わせの結果  画像

拡張現実感に用いられるマーカと画像合成例

再投影誤差

カメラ投影中心

画像面へ投影

入力画像

マーカ

図

自然特徴点ランドマークデータベースを用いた幾何学的位置合わせ

図  再投影誤差の最小化によるカメラ位置・姿勢の推定がかかり，また景観を損ねるという問題がある．
ラメータ 焦点距離，アスペクト比，レンズ歪みなど は撮

これに対して，マーカの代わりに環境中の自然特徴をラ影中変化しないことが多いため，内部パラメータはあらかンドマークとして利用する手法が提案されている．図 # は，じめオフラインで計測しておき，外部パラメータ カメラ

環境の事前知識として自然特徴点の三次元位置と画像テンの位置・姿勢 のみをリアルタイムで推定することが一般的

プレートをデータベース化しておき，これを用いて幾何学である．比較的初期の  研究では，カメラ位置・姿勢推的位置合わせを行った例である ．この手法では，図 #定のために，屋内では磁気センサを，屋外では  と姿示す全方位カメラを用いて環境内を移動しながら撮影したに勢センサを用いることが一般的であった．しかし，センサ上で，動画像中の自然特徴点を自動追跡し，後述する $%&によって利用可能な範囲が限定されることや，装置が複雑

 '  法によって同図 " に示すような自然特になるという問題があり，近年は画像計測によるアプロー

徴点の三次元位置と全方位カメラの移動パラメータを推定

チが多数提案されている．

する．これにより得られる自然特徴点をランドマークとし，画像計測に基づくカメラ位置・姿勢推定において，現在その三次元位置と画像テンプレートをデータベース化する．

最も広く用いられているのは，形状が既知の人工的なマー

実際の利用シーンでは，ユーザが装着したカメラから撮影カを用いる手法であり，なかでも    と呼ばれるされる画像上の自然特徴点をデータベース内のランドマー矩形マーカを用いる手法 が世界的に有名である．これら

クと照合し 同図 % ，マーカを用いる手法と同様に，ラに示すようンドマークの三次元位置と自然特徴点の画像座標を用いてなマーカを環境中にあらかじめ配置しておき，これを画像定義される再投影誤差を最小化することでカメラの位置・中から抽出することで，マーカによって張られる座標系に姿勢を推定する 同図  ．

対するカメラの位置・姿勢を推定する．基本的には，マー（ ） 奥行き隠蔽関係の再現形状が既知のマーカを用いる手法では，図カの四隅の点に対する既知の三次元位置と対応する画像座

現実物体と仮想物体の前後関係を再現することも幾何学

標の組を複数用いて，図 ! に示すような再投影誤差の総和的整合性問題の重要なテーマである．図 (を最小とするカメラ位置・姿勢を求め，マーカ座標系とカに，本来仮想物体を遮蔽するはずの指先が仮想物体によりメラ座標系の間の幾何変換パラメータを算出する．推定さ遮蔽されてしまうと，これらの前後関係が正しく再現されれたパラメータに基づいて  をレンダリングすることで，ず，違和感のある画像となってしまう．このような問題の" のような合成画像を生成できる．このようなマーカ解決法としてはいくつかの手法が提案されているが，撮影を用いた手法は，カメラ位置・姿勢推定のロバスト性が高

対象を静的シーンに限れば，あらかじめ環境の三次元モデく，計算処理コストも低いため扱いやすいという利点があ

ルを作成しておき，これを用いて仮想物体の描画をマスクり，また，仮想物体を描画したい位置にマーカを置くだけすることで隠蔽関係を再現できる．また動的シーンにおいで簡単に扱えるという分かりやすさも手伝って広く利用さても，実時間でのステレオ画像解析により奥行き画像を推れている．しかし，屋外などの広域な環境での利用を前提定し，仮想物体と実環境の前後関係を画素ごとに判定するとした場合には，マーカの設置と計測に多大な人的コスト手法が提案されている．シーンを限定すれば比較的容易

図に示すよう計測と制御 第 &' 巻 第  号 ()) 年  月号

いる 図 )  ．光源マップを用いて仮想物体を描画することで，同図 " に示すように，物体表面の陰影や現実環境に落す影を再現することができる．物体の影を正しく再現するためには，現実環境の三次元的な形状情報が必要となるが，この例では仮想物体が平面上に設置されていることを想定した影の描画となっている．
 隠蔽関係の考慮なし

 隠蔽関係の考慮あり

図  奥行き隠蔽関係の再現

光学的整合性として，仮想物体の陰影や影を再現するだ
けでは不十分な場合もあり，更に写実性を高めるためには，仮想物体と実物体の間の相互の写りこみや影付けを考慮する必要がある．また，この場合には，光源環境の測定や現実環境の三次元計測に加えて現実環境の表面反射特性の推定が必要となる．

 º 仮想化現実  のための画像計測
仮想化現実  は，現実環境の情報を用いて仮想環境を構築することで，従来用いられてきた  のみで表現さ  画像

影なし

  画像

影ありれる仮想空間に対して，より写実的な仮想空間を構築する技術である．現在ゲームなどで用いられている仮想空間や映画で利用される  モデルには，物体表面のテクスチャとして実写画像を用いることで写実性を高める工夫が行われているが，これは最も簡単な部類の  であるといえる．
 による仮想環境の表現手法は，幾何モデルを用いてシーンを描画するモデルベースドレンダリング * と，幾何モデルを直接用いずにシーンを描画するイメージベース
 鏡面球内蔵マーカ

図 光源環境マップ

鏡面球を用いた光源環境の推定と影の再現

ドレンダリング +* に大別できる．以下ではこれらのレンダリング手法と，それを実現するための画像計測手法について解説する．に問題を解決できる場合もある．すなわち，図 ( " では，手は常に  の手前に存在するという仮定をおき，肌色領 モデルベースドレンダリング * は，現実世界の三次元形状や光学的特性をモデル域の検出によって抽出された手領域をマスクして仮想物体化し，これに基づいて仮想世界の描画を行う手法である．

を描画することで，隠蔽関係を再現している．

* では，現実環境の三次元形状を用いるため，通常の と同様に任意の視点によるモデルの描画が容易であり，光学的整合性
 において，描画する  の画質が現実環境と一致しない場合には，画像上での画質の不連続から現実感が著しく損なわれることがある．例えば，図 )

また光学的特性をモデル化した場合には，任意の照明条件による描画も可能となる．に示すように，現実環境の三次元形状をモデル化する手法は，レーザレ

仮想物体と現実環境の幾何学的な整合性が保たれていたとンジファインダなどを用いる能動的な手法と，画像によるしても，仮想物体が現実環境に落とす影が存在しないだけ計測を行う受動的な手法に大別できる．本解説では，画像で，仮想物体が浮き上がったように見え，違和感が生じる．

計測に基づく後者の手法を主に紹介するが，画像計測に基このような照明条件の不一致などに起因する画質の不連続づく手法には，比較的簡単な機器構成で計測を行うことがを解消するためには，現実環境の光源環境を測定し，仮想でき，また多くのデータを短時間 少ない人的コスト で収物体の描画時にそれを再現する必要がある．特に， で集できるという特長がある．以下では，代表的な手法につは，リアルタイムで仮想物体と実物体の位置関係が変化すいて，計測原理を紹介する．

るため，光源環境の測定もリアルタイム性が要求される場（  ） ステレオ法

合が多い．

画像に基づく三次元計測手法として最も基本的な手法で図 ) は，鏡面球を用いることで光源環境を計測し，陰影ある．ステレオ法では，異なる位置に設置された複数台のを再現した例である ．この手法では，幾何学的整合性の解カメラで現実環境を撮影し，画像間における対応点を探索

決に用いられるマーカの中心に鏡面球を埋め込み 図 ) % ，することで，三角測量の原理により注目画素のカメラから鏡面球に写りこんだ画像から環境の光源マップを推定しての奥行きを推定する．多数の画像を同時に用いた奥行き推

計測と制御 第  巻 第  号  年  月号



カメラ
シルエット

撮影画像面

視体積対象物体
Visual Hull 入力画像をパノラマ展開した画像

図

視体積交差法で用いられるシルエット制約

 推定された奥行き画像をパノラマ展開した画像

図

マルチベースラインステレオ法による奥行画像推定
 対象物体

定法としては，マルチベースラインステレオ法  が有名で60ある．ステレオ法では，三角測量を行うためにカメラの位80100

置・姿勢の関係をあらかじめ測定 校正 しておく必要があり，カメラの校正には形状が既知のマーカなどが用いら40れることが多い．しかし，屋外環境のような広域環境では，マーカを用いてカメラの校正を行うことは容易ではないため，現実環境を動画像として移動撮影し， $% '

180
220200240

 , 法によってカメラの位置関係を校正する手法が用いられる．図 - は，図 #1600に示した全方位カメラを用いて現実環境を移動撮影し，, 法によってカメラの校20正を行った後に，得られた画像列からマルチベースライン

120140ステレオ法で奥行画像を生成した例である．同図 " は，
 対象撮影時のカメラ位置・姿勢推定された奥行き値を輝度値に変換した画像である．移動
撮影によって入力画像を取得する手法は，現実環境が静的シーンであることを前提とするが，基本的には奥行画像を多数の視点から作成し，それらを統合することで環境の三次元モデルを作成することができる．
（ ） 視体積交差法
視体積交差法は，物体のシルエットから得られる幾何学的な制約を用いて撮影対象の三次元形状を推定する手法である．すなわち，図 . に示すように，撮影位置の異なる多 推定された三次元モデル数の画像上で対象物体のシルエット形状を抽出し，各画像上で得られたシルエットを空間中に投影した視体積の交差部分 $

図

視体積交差法による三次元モデリングを抽出することで，対象形状を推定する．この手法では，シルエットを正確に切りだすために単体を形状が既知のマーカの上に置き，マーカを用いて 0

色の背景が用いられることが多く，また様々な方向からので紹介した手法によってカメラ位置・姿勢を推定している．

撮影画像が必要となるため，撮影対象は小物体に限定され

図 / " は，推定されたカメラ位置・姿勢に基づき，カメることが多い．図 / は視体積交差法を用いて三次元モデラの移動経路を図示したものである．また，同図 % は，抽ルを推定した例である ．ここでは，同図出された $

に示す対象物に対して，各撮影画像から得られる計測と制御 第 &' 巻 第  号 ()) 年  月号

 推定されたカメラパスと特徴点の三次元位置図

全方位映像と歩行装置による仮想化現実空間的輪郭法を用いることで面を構成した屋外環境の三次元復元結果である ．



イメージベースドレンダリング * では，幾何形状が計測されれば任意の視点での描画が可能となる一方，複雑なシーンに対して正しく幾何形状を得ることは容易ではなく，写実的な画像を生成することが難しいという問題がある．イメージベースドレンダリ
 生成された三次元モデル

   と動的輪郭法による屋図

外環境の三次元モデル化

ングは，このような幾何形状を用いず，現実環境を撮影した画像から直接仮想環境を描画する手法であり，写実性の高い仮想空間を構築できるという特徴を持つ．以下では，
 に用いられる +* の手法について紹介する．

（  ） 全方位動画像による画像提示テクスチャを張り付けたものである．視体積交差法は，そ写実的な仮想環境を構築するための最も簡単な方法は，れ単体では原理的に凹物体を復元できないため，復元され動画像として撮影された現実環境の映像を加工なしにそのる三次元物体上のテクスチャと画像上の輝度値の整合性をままユーザに提示することである．しかし，単に一般的な用いたスペースカービング法と呼ばれる形状推定手法を組

ビデオカメラで撮影された映像をディスプレイ上に再生すみ合わせることで，凹物体にも対応可能な手法が提案されるだけでは，視点・視線をユーザが制御できず，仮想世界をている ．

体験しているとは言えない．これに対して，全方位カメラ（）      法を用いて環境の映像を移動撮影しておき，撮影経路上にお, 法は，現実環境を移動撮影することで得られる複数

ける視点位置 観測フレーム と視線方向をユーザの要求にの画像に対して，特徴点の動き情報を抽出することで，特応じて変更し提示すれば，視点位置に対して  自由度，視徴点の三次元位置とカメラパラメータを推定する手法であ線方向に対してる．入力としては，自動で対応点探索を実現することが比る．ユーザに提示される画像は，現実空間を撮影した画像較的容易な動画像が用いられることが多いが，複数の静止そのものであるため，当然写実性は高い．図  の例では，自由度の仮想環境を構築することができ画像を用いた場合でも対応点が与えられれば , 法によ観測者を中心としてる復元が可能である．, 法によって得られる三次元情報スクリーンには全方位カメラで撮影された画像が提示されは比較的疎であるが，後処理としてマルチベースラインスている ．このシステムでは，ユーザは任意の視線方向をテレオ法を用いることで，より密な三次元形状を得ること観察することができ，またユーザの足元に設置されているが可能である．また，計測時のカメラ位置・姿勢が同時に歩行装置によってユーザの歩行を計測することで，ユーザ面のスクリーンが設置されており，推定されるという特徴から，様々な画像計測手法の前処理の要求に応じた視点位置の切り替えを実現している．

として用いられる．図 （ ） 視点補間

は，空撮動画像に対して ,法を適用し，カメラパラメータと特徴点の三次元位置を推上記の手法では，視点位置の変更が  自由度に限られて定した結果である．同図 " は，空撮データから推定されしまうという問題がある．これを解決するためには，画像た特徴点の三次元位置に対して，地上からレンジファイン取得時には撮影されなかった新たな視点位置での画像を生ダを用いて計測した三次元点群データを位置合わせし，動成する必要がある．基礎的な手法として従来から用いられ計測と制御 第  巻 第  号  年  月号



の自然特徴点ランドマークデータベースを用いたカメラ位置・姿勢推定 日本バーチャルリアリティ学会論文誌 -   るのは，離散的な視点位置で撮影された画像に対して画像間をモーフィング処理で補間する手法である．この手法では， 枚の画像 1* 間で多数の対応点を与え，生成する画 55 6 87 8）

神原 誠之 大隈 隆史 竹村 治雄 横矢 直和 ビデオシースルー型拡張現実感のための実時間ステレオ画像合成 電子情報通信学会論文誌（* 11 -  96 * 11   55 :: :6）神原 誠之 横矢 直和 現実環境の照明条件と奥行きの実時
間推定による仮想物体の陰影表現が可能な拡張現実感 画像の認識・理解シンポジウム &1;8 講演論文集 -  11

像の視点位置に応じて，対応点の位置を  から * の間で移動させる．同時に対応点周辺の画像を  と * の間で適切に変形・合成することで中間視点の画像を生成する．こ777

れにより，視点位置の変更の自由度を高めることができるが，離散的な撮影位置で取得された画像群に対して，自動55 8:  8

で対応点探索を行うことは難しく，人手で対応点を与える） & <'#.  ) (  &# 5 ( %( ( ($( 場合には人的コストが大きいという問題がある．また，対1222 )$% 0($  /%%  &"( 1( !((応点間で二次元的な補間を行う単純な手法では，中間視点で生成される画像が歪みやすいという問題があり，この問題を回避するためには画像を密に取得しておく必要がある．
（  ） 光線空間法
光線空間法は，画像を光線情報の集合として捉え，光線を観測位置と方向によってモデル化することで，任意視点・視線の画像を再現する手法である．この手法では，新た-   8 55  佐藤 智和 横矢 直和 画像特徴点の数え上げによるマルチベース
ラインステレオ法 画像の認識・理解シンポジウム &1;
講演論文集 55 67 7 6） 不殿 健治 佐藤 智和 横矢 直和 ハンドヘルドビデオカメラを用いた撮影支援インタフェースを有するインタラクティブ三次元モデリングシステム 日本バーチャルリアリティ学会論文
誌 -    8 55 77 6 7） = >#$#'?  9 0( +$@( -%# # % ,$ 1.!(%( &( !  0$ 2#$5( +,  +.5#($ -な画像を生成する視点位置に仮想的なカメラを設定し，仮想カメラから投影される光線に最も近い光線を観測データから収集することで画像を生成する．必要な光線情報を画像としてあらかじめ収集しておくことで，任意視点・視線方向の画像を生成することができるが，生成される画像の品質はあらかじめ収集された光線の量に依存する．従って，写実性の高い画像を生成するためには，あらかじめ多数の視点位置において画像を撮影しておく必要がある．

77

:）

% 2++- 55 8 :: 北市 泰寛 佐藤 智和 横矢 直和 屋外環境の異種計測データを対象とした動的輪郭法による三次元モデル生成 計測自動制
御学会 第 : 回パターン計測部会研究会 55  6 :） 和田 浩明 池田 聖 佐藤 智和 横矢 直和 複数経路上を歩行移動可能なテレプレゼンスシステムにおける違和感の低減に関する検討 日本バーチャルリアリティ学会 サイバースペース
55 7 8 と仮想都市研究会研究報告 - ） 苗村 健 実写と +A の融合 映像情報メディア学会誌 - ）  : 55 7 7 º むすび777

［著 者 紹 介］

本解説では， の進化・発展形である複合現実感 佐藤 智和について，技術的要素を解説するとともに，画像計測の応

777 年阪府大・工・情報工卒． 年奈良先端科学技術大学院大学情報科学研究科博士後期課
程修了．現在，同大情報科学研究科助教．動画像からの三次元復元，奥行き画像推定，ビデオモザイキングの研究に従事．博士（工）．電子情報通信学会，情報処理学会，1222 各会員．

用事例を紹介した． では，現実環境と仮想環境の継ぎ目を無くすために現実世界を計測することが必須であり，
2 実現のための画像計測の重要性は非常に高い．の研究分野は，他の分野に比べて研究の歴史が浅く，各手法ともにまだまだ改良の余地が残されている．このため，現在でも研究が精力的に行われており，今後の発展が期待される．また，カメラ付き携帯電話のような身近な機器を用いた  研究も行われ始めており， は今後より身近な存在になると考えられる．
（参考年 月 日受付）

文 献） 天目 隆平 神原 誠之 横矢 直和 「平城宮跡ナビ」マルチメディアコンテンツを利用したモバイル型観光案内システム
第 回デジタルコンテンツシンポジウム講演予稿集   ）      !"#$% &$'($ )$'!  &*

横矢 直和
7:8 年阪大・基礎工・情報工卒． 7:7 年同大大学院博士後期課程了．同年電子技術総合研究所入所．以来，画像処理ソフトウェア，画像データベース，コンピュータビジョンの研究に従事． 76〜
6: 年マッギル大・知能機械研究センター客員教
授． 77 年奈良先端科学技術大学院大学・情報科学センター教授．現在，同大情報科学研究科教授．電子情報通信学会・情報処理学会フェロー．
工博．電子情報通信学会，情報処理学会，日本バーチャルリアリティ学会，人工知能学会，日本認知科学会，映像情報メディア学会，1222
+& 1AA0 各会員．

+ $ ,$  -( %( #!.(( ( / +,($(! /%(.  0$ 12223+& 1 4$'%"5  #!
.(( ( / 55 6 78）

777

大江 統子 佐藤 智和 横矢 直和 幾何学的位置合わせのため計測と制御 第 &' 巻 第  号 ()) 年  月号