論 文

論文小特集 ■ コンピュータグラフィックス

複数の全方位動画像を用いた自由視点テレプレゼンス         学生会員

石 川 智 也Ý ，

山 澤 一 誠Ý ， 正会員 横 矢 直 和Ý   Ý     Ý      Ý                    
                                                  !                                                 "                     #             !         #       "            $                    %                                    &                                  %       &                       
キーワード：自由視点 テレプレゼンス 全方位画像 イメージベーストレンダリング ネットワーク ライブ映像



ま え が

ンターネットを介した全方位映像の伝送により，遠隔地のラき

近年のネットワークの高速化や  の高性能化に伴って，イブ映像を自由な視線方向で観賞することも可能である  ．
これまでのテレビ放送のように，カメラマンが撮影した方利用者に対し時空間的に隔たった場所に実際に居るかのよ

向の映像のみを見るのではなく，利用者が自由に見る方向

うな，没入感覚を与える技術であるテレプレゼンスの研究を変えることができることから，これらのシステムは通信が盛んに行われている．テレプゼンスでは，遠隔地の現実と放送が融合する時代におけるネットワークメディアとし環境を撮影した画像から仮想環境を構築するため，

て有望視されている．本研究では，より高臨場感のテレプ

オブジェクトを用いて構築した環境に比べ，利用者に与えレゼンスの実現のために，動的実環境およびライブ映像にる没入感が高いといった特徴がある．そのため，仮想旅行

対応した視線方向と視点位置を自由に変更可能なテレプレ

やゲーム等のエンターテイメント分野のみならず，教育・

ゼンスシステムの実現を目的とする．特に，利用者に没入

医療分野でのデジタルコンテンツとしても利用可能であり，感覚を与えるために，環境中に配置されたカメラ群の内側

その応用範囲は広い．

の仮想化のみならず外側の仮想化にも同時に対応し，撮影

これまで我々は，テレプレゼンスの臨場感を高めるため

環境全体の仮想化を実現する．このシステムにより，遠隔に，利用者が提示されている映像の視線方向を自由に変更の観光地に居るような感覚でその空間を自由に歩行するよ〜

うな仮想観光アプリケーションや，さらにその遠隔地に存可能な全方位動画像を用いたシステムを提案してきた．

これらのシステムでは，周囲  度を一度に撮影可能な全在する人と対話可能なアプリケーションへの応用が可能と方位カメラや全方位型マルチカメラシステムを用いて環境なる．また本研究では，このようなアプリケーションへのを撮影し，利用者の視線方向に応じた画像を提示すること

応用を想定し，以下に従来研究について述べる．

で，高臨場感のテレプレゼンスを実現している．さらに，イ



関連研究

テレプレゼンスにおいて，最も有名なシステムの一つに月  日受付，  年  月  日再受付，  年  月  日採録
Ý 奈良先端科学技術大学院大学 情報科学研究科

 によって提案された   がある．この（〒システムは，カメラを回転させることで得られる複数の画 年 奈良県生駒市高山町  ，   ）                   

Ý 

映像情報メディア学会誌

   

 〜



像を繋ぎ合わせることでパノラマ画像を生成し，その画像を仮想環境中のカメラ位置を中心とした円筒面にマッピングすることで，利用者に写実的な仮想環境の提示を行っている．このように環境を明示的に  次元復元することなく，撮影画像の変形・合成により仮想環境を構築・提示する技
術は 

 !" # と呼ばれ，計算コストの低さや写実性の高さから現在のテレプレゼンスの研究で広く利用されている．

一方，多地点で撮影された画像から環境を  次元復元することで仮想環境を構築・提示する技術は，$%



図

!"$ # と呼ばれる．&  と呼ばれる多          !  "  #     ! "$数のカメラが配置された室内環境で，動的イベントを仮想 ら  や斎藤ら  の研究はその代表例である．これら $  を用いた手法では，複数のカメラ映像から  次元復元を行うため，非常に多くの計算コストがかかる．そのため，ライブ映像の提示は困難となる．また， 次

通常のカメラ（左）と全方位カメラ（右）を用いて仮想化される領域

化する

らの手法



は，各カメラについて距離画像を生成し，距離が類似した物体をレイヤー化し，利用者の自由視点位置における画像面に各レイヤーを投影することで画像を生成す

元復元の精度が提示画像の品質に大きく影響することから，る．この手法では，距離画像生成の際にオフライン処理がなるべく多くのカメラが同じ領域を撮影するようにカメラ必要になるので，ライブ映像への適用は困難である．

を配置するため，実際に提示可能な仮想環境は配置された



本研究のアプローチ

カメラの内側のごく僅かな範囲に限られる．テレプレゼン

本論文では，利用者が遠隔地の動的環境中をライブかつ自スにおいて，利用者の視線方向・視点位置以外の仮想環境

由な視線方向や視点位置で観賞可能な高臨場感テレプレゼを提示する必要はないことや，撮影環境全体の仮想化を考ンスを提案する．そのためには，以下の機能が要求される．

慮すると $下では  よりも   が適している．したがって，以 による関連研究に焦点をあて従来研究を概観する．

'((% ら

は，全方位型マルチカメラシステムを用いて，利用者が視線方向や視点位置を変更可能なシステ






動的な撮影環境全体に対応
遠隔地映像の伝送
ライブ映像からの自由視点画像生成
利用者の動作に応じた画像提示

本研究では，"+# 通常のカメラを用いて仮想化されるカメ

ムを提案した．このシステムでは，利用者がジョイパッド

ラ群の内側の領域（図による操作でインタラクティブに視線方向や視点位置が変の動的領域にも対応するために，多地点に配置した全方位左）のみならず，カメラ群の外側

更可能である．しかし，変更可能な視点位置は撮影経路上

カメラにより環境を撮影する（図 . 右）．さらに，取得したに制限されている．

全方位画像を静的領域と動的領域に分離し，ネットワーク

視点位置を自由に変更するための  手法も様々提案さンの特徴を利用することで，自由な視点位置での画像提示# 遠隔地へ各領域の画像を伝送する．伝送されたそれぞれの領域に対して，  に基づいた自由視点画像生成手法を適用することで "# ライブ映像から高速を可能にしている．

に自由視点画像を生成する．また，利用者は位置・姿勢セ

れている

〜



．

 ら



や稲本ら



はサッカーシー らの手法  は，利用者の視点を介することで "位置とサッカープレイヤは離れているという仮定に基づき，ンサ付き )$ を装着することで，"# 利用者の動作に応

平面にプレイヤの画像をマッピングし，近似的に自由な視じた画像提示を可能とする．

は，サッカーフィー

要求機能 "+#〜"# を満たすテレプレゼンスのための自ルドやゴールポストは複数の平面で構成されていることや由視点画像生成手法を提案し，その生成画像の品質をシミュ

遠景は平面と見做せることを利用し，サッカーフィールドとレーション環境を用いて定量的に評価する．さらに，実験

点での画像を提示する．稲本らの手法



ゴールポストに対しては )!*，遠景に対してはモ

では実際にプロトタイプシステムを構築し，動的環境を撮

ザイキングと領域切り出しを行い，それらの画像を合成す影したライブ映像からの利用者の動作に応じた自由視点テることで自由視点画像を生成する．これらの手法は，撮影環

レプレゼンスが可能であることを確認する．

境が複数の平面で構成されていることや平面で近似できる必要があるため，サッカーシーンやそれに類似したシーン
以外への適用は困難である．+% と !%,



は，全以下，/ 節では本研究で用いる全方位カメラ )*!0& の光学系とそのキャリブレーションについて述べる． 節では，多地点全方位画像からの自由視点画像生成

方位カメラにより撮影環境中の光線情報をデータベース化

手法について述べる．1 節では，シミュレーション画像をし，利用者の視線方向・視点位置における画像面を通過す

用いて自由視点画像を生成し，生成画像の定量的な評価をる光線を，データベースからリサンプリングすることで自行う．2 節では，構築したプロトタイプシステムについて

由視点画像を生成した．この手法では，静止環境を密に撮

述べ，実験として動的環境を撮影したライブ映像をネット影する必要があり動的環境への対応は困難である．-(

ワークを介して伝送し，その映像から自由視点テレプレゼ
映像情報メディア学会誌

   ンスを行う．最後に  節で，まとめと今後の課題についてミラーの焦点述べる．



双曲面ミラー

全方位カメラ

本研究で用いる全方位カメラ )*!0



には以下に示す特徴がある．
・

光学特性が透視投影 ： 全方位画像から平面透視投影
画像に変換が可能．

・

一度に全方位の画像を取得可能 ： 継ぎ目のない全方

画像面

位画像を使用することにより仮想環境を利用者に提示

カメラのレンズ中心した際の違和感を低減可能．
・

ビデオレートでの撮影が可能 ： カメラ部分には一般的

図  &' () の光学系*     &' ()$なビデオカメラが使用できるため，映像のビデオレー
ト取り込みが可能．
これらの特徴は，目標とするテレプレゼンスシステムに適したものであるので，本研究では )*!0 を採用する．また，この全方位カメラを多地点に配置することで，環境中に配置されたカメラ群の内側と外側の領域を同時に仮想化することが可能となる．以下に )*!0
の光学系と自由視点画像生成に必要なカメラパラメータの位カメラの各パラメータ（

 ， ， ， ， ， ， ， ， ）を推定する．その際，ミラーの内側の焦点はカメラ部の光軸上であり，カメラ部はミラーの外側の焦点

 に配置されていると仮定する．そして，ミラーの形状パラメー



光学系

図  に )*!0 の光学系を示す．ミラー部の曲面は回転二葉双曲面を用いており，図 / に示すように二  を持ち，  にカメラ部の光学中心が位置するようにミラーをカメラ部に取り付ける．参考文献 ./#より， 軸を鉛直軸とする  次元世界座標系 "   # をつの焦点

考えると，双曲面ミラーの面，ミラー焦点

本研究では，根岸ら  と同様のアプローチにより，全方

タ ， ， は既知とする．この仮定の下で， 次元位置が既知

キャリブレーションについて説明する．

るため，精度良く推定する必要がある．

，およびカのマーカの再投影誤差を最小化するアプローチにより，全方位カメラの焦点距離と世界座標系に対する位置・姿勢を推定する．

まず，画像中心 " ， # を画像上に投影されたミラーの縁を利用することで推定する．根岸らはキャプチャボー
ドの影響による画像のアスペクト比の変化に対応するために，ミラーの縁と楕円方程式をフィッティングすることで

 は式 ".# で表せる "   は双曲面の 画像中心を推定している．これに対し，本研究では )*!&
形状を定義する定数#．
0 のカメラ部にアスペクト比が .7 のディジタ 4  5 .
ルカメラを使用しているため，画像中心推定には円方程式
ミラー曲面 3
を用いる．この場合，ミラーの縁上の点を " ， #" 5 .
ミラー焦点
3 "  4#".# ，・・・， #， を円の半径とすると，これらの点と円方程式
カメラ部の光学中心  3 "  #" 5  4  # の誤差関数  は以下の式で定義できる．
 に光学中心を置いたカメラ部（焦点距離  ）で全方

5
"#

位画像を撮影すると，双曲面の特性により， 次元空間中+,

の点 "   # と全方位画像上の写像点 "  # の間には

5
"
# 
# 4 "
式 "/# の関係が成立する（文献 .# 参照）．
式 "# の最小化によって "  ， # を推定する．
5 ! % "! " !  "% %! "
次に，上で推定した画像中心 "  ， # と暫定的に設定し"/#5 ! % "! "  !  "% %! "
た 8 パラメータ（ ， ， ， ， ， ， ）で  次元位置が既知のマーカが式 "/# により投影される画像上の点と，実  キャリブレーション
際に画像上で検出された点との / 乗誤差を最小化すること
環境中の  次元位置が既知の基準点（以下，マーカと呼で，全方位カメラの焦点距離と位置・姿勢を推定する．こぶ）を用いてカメラ部の画像中心 "  ， # と焦点距離  ， のとき，. 枚のキャリブレーションボードを用いて推定を
世界座標系に対する位置  " ， ， #・姿勢 " ， ， #行った場合，全方位画像中の特定方向にしかマーカが写らの 6 パラメータを推定する．ここで推定した位置・姿勢情ないため，推定結果に偏りを生じる．さらに，同一平面にメラ部の光学中心

報は，後述の自由視点画像の生成結果に大きな影響を与え
論 文 □ 複数の全方位動画像を用いた自由視点テレプレゼンス

しかマーカを配置できないため，精度の良い推定が困難と

多地点全方位画像を取得
カメラ

静的領域と動的領域を分離

静的領域

動的領域

画像間の対応付け 動的領域の位置推定

世界座標系原点

自由視点位置を設定

静的領域

動的領域

Morphingによる Visual Hullによる
自由視点画像生成 自由視点画像生成
図  環境中のマーカと推定されたカメラの位置・姿勢-.   

静的領域と動的領域の画像を合成  '   '  $自由視点全方位画像

なる．そこで，環境中の特徴的な点（建物や机の角等）を，

 次元位置計測器（トータルステーション）により偏りな/

図  自由視点画像生成処理の流れ       $く計測することで，空間的に全方向に分布したマーカ集合
を得る．これにより，推定結果の偏りを防止し，さらに精度の良い推定が可能となる．図に，環境中のマーカと推定されたカメラの位置・姿勢の例を示す．図中の点がキャリブレーションに使用したマーカの位置，錘台が全方位カメラの位置・姿勢を示している．



多地点全方位画像からの自由視点画像生成概生成する．動的領域に対する自由視点画像生成には %)%% を用いる．一般に，% )%% はボクセルによって表現されることが多いが，撮影される空間が広い場合には計算量とデータ量が膨大となる．そこで本研究では，&, % )%%  による % )%% の計算を行う．さらに，動物体の位置推定を併用することで高速な処理を実現する．

要

環境中に配置された多地点の全方位カメラから得られる，
全方位画像からの自由視点画像生成手法について述べる．
提案手法では，多地点に配置されたカメラのうち，自由視
点位置を取り囲むような三角形を成すことができる三つのそれぞれの領域の自由視点画像生成の後，それらを合成することで最終的な自由視点画像とする．以下では，各処理について説明する．



静的領域と動的領域の分離

 地点の全方位カメラで取得された画像それぞれに対しカメラを選択する．これは，後述する $!* に基づくて，静的領域と動的領域を分離する．この処理のための基

自由視点画像生成の際に，平面的な視点移動を可能にする

本的な戦略としては，予め動的領域の存在しない背景画像

ことや，生成した自由視点画像の品質を高くするためであを撮影しておき，背景画像と入力された画像との差によっる．また，撮影環境の大部分は静止環境であり，動物体はて動的領域を検出し，分離することが考えられる．ただし，全方位画像中の小領域であると仮定する．加えて，各全方

この戦略では，照明変化やノイズに弱く，長時間にわたっ

位カメラは固定して設置されており，同期済みであるとすて動的領域を検出するのは困難である．そこで本研究では，る．その固定された各全方位カメラの位置・姿勢は / 章で述べた方法により推定する．
図に自由視点画像生成の処理の流れを示す．まず，

蛍光灯やディスプレイのフリッカー，緩やかな照明変化，カ
メラに依存したノイズ等を考慮した背景画像の更新を伴う
背景差分手法  を用いる．

地点に配置した全方位カメラから同時刻の全方位画像を取

この手法は，時系列的に入力される画像の各画素につい得する．取得した各全方位画像に対し背景差分処理を行い，て輝度の平均値や標準偏差値を保持し，現フレームの輝度

画像を静的領域と動的領域に分離する．静的領域と動的領値が与えられた背景画素の輝度値のモデルの範囲内であれ域を分離することで，時間的に変化の少ない静的領域に適ば背景と見做し，それ以外の場合は動的領域と見做す．画した高速な自由視点画像生成手法を適用可能にする．また，像中の各背景画素の輝度

背景差分処理には長時間にわたって背景差分処理を続けられるよう，緩やかな照明変化や短い周期の輝度変化を考慮
した背景差分手法  を用いる．
静的領域と動的領域の分離後，それぞれの領域に対して
自由視点画像生成を行う．まず，静的領域に対しては，画像間の対応点に基づいた $!*  により自由視点画像を は式 "1# でモデル化される．
 5  4  "/# 4 
"1#
 は輝度の時間平均， は輝度の振幅， は輝度の周波数， は .〜4. の値をとる係数， はカメラのみに依存した雑音を表す． "/# の項は蛍光灯や  ディスプ
レイ等のフリッカー，木々の揺らぎなどの影響を表し，
映像情報メディア学会誌

   



対応点

の項はカメラに依存するノイズを表す．このとき背景画素

 は以下の範囲をとり得る．
  
"2#5 
5 44 と  は，時系列に入力される画像の輝度の平均値と標準偏差値として計算でき， は動物体が全く存在しない環境

の輝度値

×

全方位画像２を撮影したときの標準偏差値で計算できる．入力画像の各×画素の輝度値が式 "2# の範囲内であればその画素は静的領×域と見做し，そうでなければ動的領域と見做す．また，入力画像の 値それぞれに対して，動的領域の判定処理を行い， 色中 . 色でも動的領域と判断されれば，その画

全方位画像１素は動的領域と判定する．それぞれの領域は，以降の処理のために別々の画像として保持しておく．



自由視点画像×
全方位画像３図  対応点の自由視点画像への投影

静的領域に対する自由視点画像生成

01     '  '       $

前項で生成された静的領域のみが含まれる画像に対して，$!* を用いた自由視点画像生成手法  を適用する．
この手法は，複数の全方位画像間の対応点を必要とするが，を立方体で区切ったボクセルを用いて表現されることが多環境中の静的領域は長時間変化することがないので，予めい 

対応点を与えておくことができる．

象とするように撮影対象の空間が広くなるとそのデータ量．しかし，ボクセルを用いた表現では，本研究で対多地点全方位画像間の対応を与えることにより環境の疎と計算量が膨大となる．そこで本研究では，% )%% を '(）の機能を利用した $!* により高速な自由の手法は，自由視点における画像面の各画素について，そな３次元形状を復元し，さらに '（!* !&

表現する手法に &, % )%%  を用いる．こ視点画像生成を行う．以下にその処理の概要を示す．なお，の画素と自由視点位置とを結ぶ直線が，% )%% を貫全方位カメラの位置・姿勢および入力画像間の対応点はあ

通するか否かを判定することにより自由視点画像を生成す

らかじめ与えられているものとする．

与えられた各対応点について，それらの点の  る．以下に &, % )%%  の処理の概要を示

す．本研究では，全方位画像を用いて % )%% を計算

次元位置を全方位ステレオにより計算する．

しているが，ここでは説明を簡単にするために通常のカメラを用いた場合について述べる．

9(*. で得られた  次元点を式 "/# の計算により自由視点画像上に投影する（図  参照）．

 

 

自由視点画像面のある画素について，その画素投影された自由視点画像上の点群に対してドロと自由視点を結ぶ直線を各実カメラの画像面上に投影

ネーの三角分割法  により三角形パッチを生成する．

する．各実カメラの画像面上に投影された自由視点が 

エピポール，投影直線がエピポーラ線となる．

9(* で得た三角形パッチに対応する三角形の画像を各入力画像から切り出し，各実カメラから自由

視点位置へのベクトルの重み付け線形和が自由視点位

領域と交差する線分を調べ，すべてのエピポーラ線で置となるような重みを用いてブレンドし，自由視点位

動的領域と交差する線分があるならば，自由視点から置における全方位画像とする．
実装上の工夫として，三角形パッチ内部の画素に対するブレンディング処理については，0*: を用いて '
による高速な計算を行う．また，0*: による計算で生成された自由視点全方位画像は ' のフレームバッファ

上に存在するので，後述する合成処理のために  のメイ

ンメモリ上に戻さず ' のフレームバッファ上に保持し

ておく．



動的領域に対する自由視点画像生成

7 / 項で生成された動的領域に対して，% )%% を用いた自由視点画像生成を行う．% )%% とは，多視 中の物体のシルエット  とカ
 の積集合空間  5  ¾  を指す．一般に，% )%% は空間
点から撮影された画像群

メラの光学中心によって形成される錐体論 文 □ 複数の全方位動画像を用いた自由視点テレプレゼンス

各実カメラに投影されたエピポーラ線上で動的の直線は % )%% を貫通する．交差線分がないならば % )%% を貫通しないと判断できる（図  参照）．

 

自由視点からの直線が % )%% を貫通する

画素については，その画素の色を決定するために，交差線分の最も自由視点位置に近い点への各実カメラからのベクトルと自由視点からのベクトルとを比較し，最もベクトルの向きが近い実カメラの画素の色を対象としている画素の色とする．

 9(*.〜 の処理を自由視点画像面上のすべての画素に対して行う．
以上の処理により動的領域の全方位の自由視点画像を生成可能である．しかし，自由視点画像上の全画素について&, % )%%  の計算を行うと計算量が多く，実時間での画像生成は困難となる．そこで，計算量削減の




動物体

交差線分

実視点１

実視点２

動的領域

静的領域の
自由視点画像動的領域の
自由視点画像合成

自由視点

図  )  &  の貫通の判定
2    '        $

合成後の
自由視点画像図  静的領域と動的領域の自由視点画像の合成         $静的領域と動的領域の自由視点画像の合成

7 ，7 1 項の処理により，自由視点位置における静的領
域と動的領域の全方位画像が得られる．この二つの自由視
点画像を合成し，最終的な自由視点画像とする（図  参照）．
実装上の工夫として，合成処理についても ' の機能を利用した高速な処理を行う．具体的には，フレームバッ
ファに保持されている静的領域の自由視点画像の上に，アルファ値（非透過度）が設定された動的領域の自由視点画
像を，テクスチャとした長方形の平面をレンダリングし，重ね合わせる．



自由視点画像の定量的品質評価

本節では，シミュレーション画像を用いた自由視点画像の図  推定された動物体の存在領域

2 

31 

4   $定量的品質評価を行う．提案した自由視点画像生成手法は，全方向に物体が存在する観光地のような環境と，その環境中で人が自由視点位置から対話可能な距離に存在するような環境での使用を想定している．このような環境を ために予め動物体の環境中での存在領域を推定し，その推定した領域を基に % )%% の計算が必要な自由視点画
像上の画素を限定する．
本研究では，森田らの手法  を用いて動物体が存在す

オブジェクトにより構築し，この環境中の  地点で描画した全方位画像を入力とし，ある自由視点における全方位画像を生成する．この自由視点全方位画像と実際にその視点位置で描画した全方位画像とで 9"9%&(&

る領域を推定する．推定の過程で動物体が存在する領域を(# による定量的品質評価を行う．以下に，評価実験の構成する直線の交点（図  参照）が求まる．この交点を式

条件と評価結果について述べる．

"/# を用いて自由視点画像面上に投影し，投影された交点が存在する方位角範囲の画素についてのみ % )%% の計算を行う．さらに，自由視点からの直線が % )%% をの  地点で取得する．各シミュレーション画像は， オ

貫通するか否かを評価する際，エピポーラ線上の推定されブジェクトにより構成された環境を描画し生成されているた動物体の存在領域以外では % )%% の評価を省略する（図 8 参照）．

条 件

評価実験で用いる全方位画像はシミュレーション環境中

ので，全方位カメラの内部・外部パラメータは真値として用いることができる．全方位カメラの内部パラメータとして，上に保持されている．後の合成処理を高速に行うために，自 を 67 画素，ミラーの形状パラメータ ，，
をそれぞれ /7/，2716，117.2 とした．これ

由視点画像上で動的領域が存在しない画素についてはアル

らの値は，後述の実験で用いる全方位カメラのパラメータ

実装上，動的領域の自由視点画像は  のメインメモリー

ファ値（非透過度）として  を設定する．




焦点距離

とほぼ同等である．外部パラメータについては，環境中の映像情報メディア学会誌

   図  シミュレーション環境中のカメラ配置と自由視点位置*  '    $  #'     

地面と平行な面を ; 座標，高さ方向を - 座標とし，図 に示すような正三角形の頂点にカメラ "図中の大きな丸印）を配置した．図中の小さな点は自由視点位置を示し，動物体として手を広げた人物を配置した．本実験では，自由視
点位置は入力画像が撮影された  地点からなる三角形内の.<1 箇所とし，各視点位置で自由視点全方位画像とその真値となる全方位画像を生成した．その際，各入力全方位画
像の解像度は 2./ × 2./ とし，出力全方位画像も同様の解像度とした．図 に，自由視点画像生成のために入力した全方位画像と対応点を示す．図 . 上段は静的領域のみが含まれる全方位画像であり，その図中の×印は対応点を示している．ここでは手動で約 / 点の対応点を与えた．図. 下段は動的領域のみが含まれる全方位画像である．

本実験では，定量的品質評価の指標として先に述べたよ

うに 9 を用いる．各自由視点位置で自由視点全方位画

像とその真値となる全方位画像から 9 を計算し，画像

図が真値からどの程度劣化しているかを評価する．

図

評価実験に用いた静的領域の画像とその対応点（上段）および動的領域の全方位画像（下段）'     5 ! '"           '  '   !3 "   #     $品質評価に，各自由視点位置における 9 の値を輝度マップとして示す．図中の濃度値はその位置で生成された自由 に生成した自由視点全方位画像

視点画像の品質を表し，明るいほど生成された自由視点画が低くなっている．図

像の品質が高く，暗いほど自由視点画像の品質が低いことを（左）とそれに対応する真値の全方位画像（右）の例を示す．

表す．9 の最大値は 17=

>，最小値は .67/= >，
平均値は /.7= > であった．図 .. から，自由視点位置

本研究で想定するアプリケーションでは，自由な視点位
置で全方位を観賞可能であることを要求しており，本評価が入力画像が撮影された位置に近いほど高品質の画像が生結果からその要求を満たす画像が生成できていると言える．

成できていることがわかる．特に，自由視点位置が入力画

ただし，環境中の動物体については，その動物体が複雑な像が撮影された位置と同じ場合には，それぞれの画像の差形状であり % )%% で表現が困難な場合には提示画像はほとんど感じることはできなかった．生成画像の品質がの品質は低くなる．

低い位置は，動物体の付近に集中している．これは，自由視点画像上の動物体の表現に % )%% を使用している



自由視点テレプレゼンスシステム

ため，動物体の本来の形状と % )%% による形状の差 節で述べた自由視点画像生成手法により，利用者に自が原因となっている．この形状の差は，自由視点位置が動由視点画像を実時間提示可能なテレプレゼンスシステムの物体に近づくにつれて画像上に大きく現れるため，9
論 文 □ 複数の全方位動画像を用いた自由視点テレプレゼンス

プロトタイプを構築した．本システムは，遠隔地で撮影さ遠隔地側 利用者側
トランスミッタ
多地点全方位カメラ

レシーバ付HMD

磁気センサ

利用者

ネットワーク
自由視点画像生成クライアント
ライブ映像サーバ図

プロトタイプシステムの構成*9    '  '  $表0 6 の輝度マップ表示
7  '  0 6   $図

プロトタイプシステムの機器構成*'    '  '  $
全方位カメラ

解像度：4，
最大フレームレート：,'，
画角：水平 8 度，垂直  度

ライブ映像サーバ*0:：-;   < %，メモリー： =自由視点画像生成クライアント *0:：  0    8$ &，
メモリー： =，
0:：)   / 

は，遠隔地に配置した全方位カメラの画像を送信する !8  ,"（ライブ映像サーバ）と，利用者側で映像を受信し提示画像を生成する （自由視点画像生成クライアント）からなるサーバ・クライアント型システムである．以下に遠隔地側と利用者側のシステム構成を詳述する．

ライブ映像サーバの構成

???.61 で接続可能な全方位カメラ（末陰産業製 9009
22&） 台を設置し，それらをすべてライブ映像サーバに接続する．ライブ映像サーバと自由視点画像生成クライ
アントは，ネットワーク（.,*）で接続されている．ラ!,  ,"イブ映像サーバは， 台の全方位カメラからの全方位画像と背景差分処理によって得られる動的領域のマスク画像を
自由視点画像生成クライアントに送信する．

自由視点画像生成クライアントの構成
自由視点画像生成クライアントは，三つの全方位画像とそれらに対応する三つのマスク画像（/ 値画像）を受信し，自由視点画像を生成する．その際，自由視点画像生成クライ

アントに接続された磁気センサ（% 社製 9+?

!,  ,"図

生成した自由視点全方位画像（左）と真値の全方位画像（右）24'      5 !  "       ! "     $ @+9 + ）からの利用者の視線方向・視点位置情報を基に自由視点画像を生成する．利用者の視点位置を比較的広い範囲で計測するために，磁気トランスミッタにはロングレンジャー（図左）を使用する．システムの利用者は，れた複数の全方位ライブ映像をネットワークを介して伝送

図 .1 右に示す磁気レシーバ付き )$（オリンパス光学製@$&8）を装着し，遠隔地にいるかのように視線方向・し，利用者はそのライブ映像から生成された自由視点映像

視点位置を変え，提示画像を観賞する．

を臨場感高く観賞可能である．以下に，システムの構成と処理の流れおよび実験結果について詳述する．

表に使用した全方位カメラとライブ映像サーバ・自由

視点画像生成クライアントの詳細を示す．



システム構成 

図にプロトタイプシステムの構成を示す．本システム

本システムでは，ライブ映像サーバと自由視点画像生成





処理の流れ

映像情報メディア学会誌

   ライブ映像サーバ

オフライン処理・カメラパラメータ推定
・処理対象マスク画像生成
・背景画像生成オンライン処理多地点全方位画像を取得
背景差分処理図全方位画像・
動的領域マスク画像の送信

磁気センサ（左）と磁気レシーバ付き &-;（右）-    !  "       &-; ! "$自由視点画像生成クライアント

オフライン処理・静的領域の対応点入力
・処理対象マスク画像生成
・光線ベクトル計算
オンライン処理
全方位画像・
動的領域マスク画像
を受信
自由視点位置設定

静的領域の自由視点全方位画像生成
動的領域の自由視点全方位画像生成

クライアントの両方で，事前に計算可能なデータを生成しておくオフライン処理を行うことで，オンライン処理を効

自由視点全方位画像の合成

率的に行う．さらに，ライブ映像サーバにおいて利用者の視点位置に依存しない背景差分処理を行うことで，自由視点画像生成クライアントの負荷を軽減させる．図 に，本平面透視投影画像の提示システムの処理の流れを示す．また，以下にオフライン・オンライン処理について図 .2 に従って説明する．

まず，予め計算可能な以下のオフライン処理をしておく．

図ライブ映像サーバ
・

環境中に複数配置された全方位カメラのキャリブレー

・

全方位画像中の画像の 1 隅付近や画像上に投影された・

7 / 項で述べた背景差分処理により背景画像を生成する．

も伝送データ量の削減が可能である．

自由視点画像生成クライアント
・

全方位画像と動的領域のマスク画像を受信し，磁気センサから利用者の視線方向・視点位置を取得した後，

節で述べた自由視点画像生成処理を行う．この際，7 1

自由視点画像生成クライアント
・7  項で述べた静的領域の自由視点画像生成に必要な項で述べた動物体の存在領域推定に基づく計算量削減に加え，利用者の視線方向の画素のみを % )%%対応点を予め手動で与える．
・

7 1 項で述べた動的領域の自由視点画像生成の際に，自由視点画像中のある画素と自由視点位置を結ぶ直線のの計算対象とする．
・

自由視点全方位画像を生成後，平面透視投影変換を行う．この際，フレームバッファ上の自由視点全方位画ベクトル（光線ベクトル）が必要になるので，このベ像をそのままテクスチャ画像として利用し，' のクトルは予め自由視点画像上の画素と対応づく状態で機能と式 "/# を利用した高速な変換処理  を行う．

計算・保持する．
・

ライブ映像サーバと同様に処理する必要のない無駄な領域を計算しないためのマスク画像を生成する．
オンライン処理では，時々刻々と取得する全方位動画像生成された平面透視投影画像を利用者が装着した )$

・に提示する．

以上の処理を繰り返し行い，. 節で述べた "+#〜"# の機能を満たしたテレプレゼンスを実現する．

から実時間での自由視点画像生成処理を行う．

ライブ映像サーバ

図・

 '  '  $

的領域と動的領域が分離されたカラー画像を送るより

カメラ部は処理する必要のない無駄な領域なので，こ
値画像）を生成する．

プロトタイプシステムの処理の流れ域のマスク画像（/ 値画像）である．これにより，静ションを /7 / 項で述べた方法により行う．

れらの領域が処理対象にされないようにマスク画像（/0  >

実験結果

 上に示すように，室内環境の  地点に全方位カメ

多地点全方位画像を取得し，背景差分処理を行い，そのラを配置して，テレプレゼンス実験を行った．オフライン

結果を自由視点画像生成クライアントに送信する．こ処理で推定されたカメラパラメータを基に，各カメラの位こでライブ映像サーバが送信するのは，取得した全方
位画像そのものと背景差分処理の結果得られた動的領論 文 □ 複数の全方位動画像を用いた自由視点テレプレゼンス

置関係を図 . 下に示す．また，各カメラのパラメータの詳細を表  に示す．本実験では，全方位画像中の静的領域の全方位カメラまでの時間遅延は約 / であった．その内訳は，ライブ
映像サーバでの撮影からその画像の伝送開始までの待機時
間（自由視点画像生成クライアントでの画像受信以降の処理時間）が約 ./，自由視点画像生成クライアントが画像を受信開始してから画像を提示するまでの処理時間が約/ となっていた．

利用者に提示された画像は，評価実験と同様に，利用者の自由視点位置がカメラに近いほど，良好な結果となった．
しかし，本実験では動物体がほぼ直立状態であったため，評

価実験のような実際の物体の形状と % )%% の形状の差が表れにくくなっており，自由視点位置が動物体に近い場合にも違和感を感じることはなかった．評価実験の静的環境は，撮影対象とカメラとの距離が長いため各カメラの画像上で同様に映る部分が多く，自由視点画像を生成した
際にも大きな歪みは見られなかったが，本実験環境では撮影対象とカメラとの距離が短く，各カメラで同様に撮影できない部分がいくつか存在し，対応点が与えられない部分があった．その影響で，自由視点位置がカメラから離れた場
合に，対応点が与えられていない部分に大きな歪みが発生
図

していた（図
カメラ配置と推定されたカメラ位置*      ' $表  実験に用いたカメラパラメータ*  '$

ミラーの形状（各カメラ共通）  + $ ?@3 + 8$A?@

カメラ ,

カメラ

カメラ 8

位置（#A8B，#,A，, ）?@姿勢（#$ ，$ ，#$）?度@
焦点距離 ?'4 @
位置（#,，# ，,B ）?@姿勢（# $ ，#$,，#B$A）?度@
焦点距離 B?'4 @
位置（A8，#,A,，,8）?@姿勢（#$，#8$ AA，#B$A8 ）?度@
焦点距離 A?'4 @

 左参照）．また，相互のカメラが各全方位画像中に映っているため，自由視点位置において半透明なカメラが設置されているように見えることがあった（図 .<右参照）．これは，$!* の際の画像のブレンディング

による影響であるが，別のカメラが映っている領域に対しては，ブレンディングの比率を変更することで，この映りこみは減少させられると考える．また，静的領域と動的領
域を別々に生成し合成された自由視点画像であるが，静的領域と動的領域間で位置のずれはほとんど感じられなかった．これは，本手法で用いている自由視点画像生成手法が  に基づいていながら，幾何学的な情報も持ち合わせているからであると考えられる．



む す

び

本論文では，利用者が遠隔地の動的環境中をライブかつ対応点を 8< 点手動で与えた．
図 に，実験環境の様子と自由視点における生成画像を示す．利用者の視点位置・視線方向に応じた画像が生成

自由な視線方向・視点位置で観賞可能なテレプレゼンスを提案した．そのために，以下の要求機能 "+#〜"# を実現
した，



内側・外側の動的な環境全体を多地点の全方位カメラ

できていることが確認できる．また，動的領域に対してはによって撮影することにより実現．

利用者が見ている範囲のみを計算対象とするため，自由視
点全方位画像中には視線方向にいる人物以外は映っていな

全方位画像とマスク画像の受信に約 <，静的領域の自



した 

に約 . となっていた．それに伴い，利用者の視線方 

 に基づく自由視点画像生成手法を用い，さらに計算量削減手法を併用することで高速に自由視点画

向・視点位置の取得からその視線・視点に対応する画像がブ映像サーバでの全方位画像取得から利用者への画像提示

ライブ映像からの自由視点画像生成： 全方位画像中の静的領域と動的領域を分離し，それぞれの領域に適由視点画像生成に約 /，動的領域の自由視点画像生成

提示されるまでの時間遅延は約 ./ となる．また，ライ

遠隔地映像の伝送： 多地点全方位画像をネットワー
クを介して伝送することで実現．

いことが確認できる．このとき，利用者に提示される映像の各フレームは約 /（約 2A*）で生成された．内訳は，動的な撮影環境全体に対応： 配置されたカメラ群の

像を生成．



利用者の動作に応じた画像提示： 位置・姿勢センサと )$ を用いて実現．

映像情報メディア学会誌

   !" 遠隔地の様子
図

!3" 利用者の様子!" 自由視点全方位画像! " 平面透視投影画像

テレプレゼンスの様子と生成された自由視点画像

6      

論 文 □ 複数の全方位動画像を用いた自由視点テレプレゼンス

 '   

4'      $



図



対応点が与えられていない部分の歪み（左）と半透明に映りこむカメラ（右）;     3   '  '  !  "        ! "$生成画像の定量的な品質評価として，シミュレーション

画像を用いて自由視点画像生成を行い，その画像の 9を算出した．実際にプロトタイプシステムを構築し，遠隔地の動的環境を撮影した全方位ライブ映像をネットワーク
を介して伝送し，その映像から利用者に提示する自由視点
画像を生成した．利用者は，遠隔地に居るかのように環境中を実際に動き，その動作に応じた画像を観賞することで高い没入感覚を与えられた．このことから，提案したテレプレゼンスは，観光地の多地点に全方位カメラを配置し，その環境を遠隔地で体験するような仮想旅行のようなアプリ
ケーションに応用できると考える．ただし，位置・姿勢セ
ンサ付き )$ を装着した状態で広範囲を歩き回るのは現実的ではないので，ジョイスティック等のインタフェースの利用も検討すべきである．また，遠隔監視やビデオ会議
システム等に応用することで，遠隔地の状況を空間的に把握することも可能となる．
今後の課題としては，自由視点画像生成の品質向上やより広範囲をウォークスルー可能なシステムへの拡張などが考えられる．自由視点画像の品質改善のためには，静的領域!,AA"）$ D ，0$ 6 ， 0$ G$ ： )    5*              ，222 -   ，，,，''$8#B !,AAB"）&$  ， $ =3， $ D ： ''  #3             '    8#; ，222 $  -   ，，8，''$88#8, ! 8"B）-$ :    ，$ *， $ =$ D， $ E ，6$  .
 6$ &  ：  #3    4'    #    ，222 *'  '  '' ，，8，''$ #8 ! "）$ D，$ D ， C$ ( ： 7 4 #   8;         ，0$  222 H *-  $ '$ -4    
6   ! -68"，''$,B#,B ! 8"A）稲本奈穂，斎藤英雄： 視点位置の内挿に基づく 8 次元サッカー映像の自由視点観賞システム ，映情学誌，，，''$ A#8A ! ",）;$ $   $ *3： 0 '    5  3        8;    .   ，0$ 60& ,，''$8#, ! ,",,）*$ 7$ I .， $ =$ D，-$ :    ， $ E ， 6$ .： &#J      '     
 '     ，*- $  '，，8，''$#! ", ）山澤一誠，八木康史，谷内田正彦： 移動ロボットのナビゲーションのための全方位視覚系 &' ( ) の提案 ，信学論， ，，''$A#BB !,AA",8）根岸善朗，子安大士，三浦純，白井良明： 移動ロボットのための全方
位ステレオのキャリブレーション ，  年ロボティクス・メカトロニ
クス講演会， 0 #7,#A，! ",）D$ C   $ C.： ;    31   #       3   '  3.  ，0$  ,  222  $ *$   0  !*0 8"，，''$A8#A ! 8",）冨手要，山澤一誠，横矢直和： 複数の全方位画像を用いた広範囲なウォー
クスルーの実現 ，画像の認識・理解シンポジウム !-6:  " 講演
論文集， ，''$88#8 !  ",）E$ - .，*$ =  ，6$ 6.， $ G$   ， 7$ --#：  #3    ，0$  60& ，''$8A#8B ! ",B）森田真司，山澤一誠，寺沢征彦，横矢直和： 全方位画像センサを用いたネットワーク対応型遠隔監視システム ，信学論， ，，''$#B ! ",）0$ & .3  2 $： '   ) ，  0 ，''$B#A!,AA",A）ウ小軍，和田俊和，東海彰吾，松山隆司： 平面間透視投影を用いた並列視体積交差法 ，情処学論：コンピュータビジョンとイメージメディ
ア，， !*)- "，''$88#8 ! ,"）上田恵，有田大作，谷口倫一郎： 多視点動画像処理による 8 次元モデ
ル復元に基づく自由視点画像生成のオンライン化 #0* クラスタを用いた実現法# ，情処学論，，,,，''$ B# BB ! "の対応点を密に与える方法の検討の他，前節で述べた相互のカメラの映りこみを軽減する方法の適用を検討する．また，高解像度の全方位カメラを用いることで，品質の向上が可能である．プロトタイプシステムをより広範囲をウォー

い しか わとも や8 年，岡山理科大学・工学部・情報工学科卒業．  年，奈良先端科学技術大学院大学情報科学研究科博士前期課程修了．現在，同大博士後期課程に在学中．複合現実感の研究に従事．学生会員．

石川 智也

クスルー可能なシステムへ拡張するためには，自由視点位
置に応じて使用するカメラを動的に変化させ，使用するカ
メラが切り替わる際の違和感を低減する必要があると考えや まざ わられる．

学科卒業．,AA 年，同大大学院博士後期課程中退．同年，
奈良先端科学技術大学院大学情報科学研究科助手． 
年，同大助教授，現在に至る．コンピュータビジョン，複合現実の研究に従事．博士（工学）．

〔文献〕,）C$ ( ，D$ C ，&$ .  ， $ C.：   ' # 3  #   # '         #        ，*'  )   : #  ， ， ，''$,#, !,AA"）池田聖，佐藤智和，横矢直和： 全方位型マルチカメラシステムを用いた高解像度な全天球パノラマ動画像の生成とテレプレゼンスへの応用 ，
日本バーチャルリアリティ学論，，，''$8# ! 8"8）山澤一誠，石川智也，中村豊，藤川和利，横矢直和，砂原秀樹： E 3
ブラウザと全方位動画像を用いたテレプレゼンスシステム ，信学論，
，，''$,B#,B8 ! "） $ 2$ * ： F .  )65   #3 ''       ，0$  60& A，''$ A#8か ずま さ山澤 一誠 ,AA 年，大阪大学・基礎工学部・情報

よこ や

な おか ず

横矢 直和 ,AB 年，大阪大学・基礎工学部・情報工学科卒業．,ABA 年，同大大学院博士後期課程修了．同年，電子技術総合研究所入所．以来，画像処理ソフトウェ
ア，画像データベース，コンピュータビジョンの研究に従事．,A〜B 年，マッギル大学・知能機械研究セン
ター客員教授．,AA 年，奈良先端科学技術大学院大学教授．工学博士．正会員．

映像情報メディア学会誌

   