

博士論文

全方位映像のマルチキャストによる
実時間ネットワークテレプレゼンスに関する研究石川 智也

 年  月日

奈良先端科学技術大学院大学
情報科学研究科 情報システム学専攻

本論文は奈良先端科学技術大学院大学情報科学研究科に博士 工学 授与の要件として提出した博士論文である。
石川 智也

審査委員：
横矢 直和 教授

（主指導教員）小笠原 司 教授

（副指導教員）砂原 秀樹 教授（委員）

山澤 一誠 准教授

（副指導教員）全方位映像のマルチキャストによる
実時間ネットワークテレプレゼンスに関する研究
石川 智也

内容梗概
遠隔地の情景を高臨場感で提示することでその場に居るかのような感覚を再現する技術はテレプレゼンスと呼ばれる．近年の計算機の高性能化やネットワークの高速化により，環境の撮影から映像提示までを実時間で実行可能な環境が整いつつあり，放送と通信の融合による次世代ネットワークメディアとして実時間ネッ
トワークテレプレゼンスが注目されている．本研究では，遠隔地の情景を自由な視線方向でインタラクティブに観賞可能な全方位映像を用いたテレプレゼンスに焦点を当て，実時間ネットワークテレプレゼンスにおける利用者数の増加に対す
るスケーラビリティの実現，及び高臨場感なテレプレゼンスのための視線方向のみならず視点位置も自由に変更可能な画像提示技術の実現を目的とする．まず第章では，テレプレゼンスにおける臨場感実現のための要素技術と，従来研究を概観し，技術的課題を述べる．そして，その課題に対する従来研究での取り組みを述べ，本研究の位置付けと目的を明確にする．第 章では，利用者の増加に対応
可能なスケーラビリティを有する実時間ネットワークテレプレゼンスシステムを提案する．提案システムでは，配信する全方位映像は利用者の視線方向に非依存である特徴と，ネットワーク上で同報通信を可能にするマルチキャストプロトコ
ルを利用することでハイスケーラビリティを実現する．第  章では，第 章で提案したシステムを基に自由に視点位置を変更可能な自由視点テレプレゼンスシス
テムを提案する．多地点に配置した複数の全方位カメラからの画像を用いて実時
 奈良先端科学技術大学院大学 情報科学研究科 情報システム学専攻 博士論文






年  月  日

間で自由視点画像を生成する手法を提案し，その手法を用いたプロトタイプシス
テムを構築する．そして，実験により生成された自由視点画像の定量的画質評価
および提案システムの有効性の確認を行う．最後に第 章で，本研究を総括する．

キーワード
テレプレゼンス 全方位映像 ネットワーク マルチキャスト，自由視点画像 実
時間処理



                
      ! "  #$ % "  & &'     (!   #%)$  *  "  %
 &   $ $!     " +$  #$ %     '   " + $ (! 
( $ $ " +  %    *  %$! & %   % $  #$   ( %      #!*  %  &  %$!   )  ( 
!   %    %( & % $   # #" 
!   " %     !  #"$  (%   #"  &!* ,! - # # &  %$ &  )  $  #   !* -     (  " +$  ! &  %    %( &%*  )  (!    $ ! + $# & #"$$ & $  #$  $ &  $ #$ %  %    * -       (  #
#"  ! ($   !   $  - * # #"  $   &  % $   %$ $.   *    ! &  # #"  !  $($*      


!" #  

 "   ! #$ 

%#  /%! & $ $   # #"   #%$ $ #$! &  !  %&%! $ $ (!  '* ,!
- %)   %$!*



 

 $  #$  " +，%， # #"  
  

#

目次

 序論
*
*


実時間ネットワークテレプレゼンスの概観
インタラクティブな映像提示によるテレプレゼンスの従来研究****

全方位映像によるインタラクティブテレプレゼンス

0

自由視点画像生成によるテレプレゼンス* 本研究の位置付けと方針* 本論文の構成

 全方位映像のマルチキャストによる実時間ネットワークテレプレゼンス **

序言
全方位画像の平面透視投影変換によるテレプレゼンス方式****

全方位視覚センサ 2!3 4 
ハードウェア機能を用いた平面透視投影画像生成* マルチキャストプロトコルによる全方位映像の配信* マルチキャストプロトコルを用いた実時間ネットワークテレプレ
ゼンスシステム** * システムの設計方針と概要* * 全方位映像コンテンツ* * 5( ブラウザを用いた全方位映像ビューア

1






0

ネットワークテレプレゼンス実験****

高解像度な蓄積型全方位映像を用いたテレプレゼンス



車載全方位カメラからの全方位ライブ映像を用いたテレプ
レゼンス

*

結言

 多視点全方位映像を用いたハイスケーラブル自由視点テレプレゼンス
*
*



序言



想定するシステムの利用環境#

* 全方位カメラの内部・外部パラメータのキャリブレーション
* 多視点全方位映像からの実時間自由視点画像生成
0
* * 背景差分処理による静的領域と動的領域の分離
1
* * 動的領域の存在領域推定
* * 静的領域に対する 6  による自由視点画像生成
* * 動的領域に対する 4% 2% 推定による自由視点画像生成
* * 静的領域と動的領域の自由視点画像の統合
0* シミュレーションによる定量的画質評価に基づくカメラ配置の検討 
* * 実験目的と条件* * 定量的画質評価結果とカメラ配置に関する考察0
* * 視差に基づくカメラ配置の定量的評価指標と最適なカメラ

配置の推定* ハイスケーラブル自由視点テレプレゼンスシステム
1
* * システムの設計方針と概要
1
* * サーバ・クライアントの処理内容
1
*0 複数の利用者による実時間自由視点テレプレゼンス実験1
*0* システムの構成と実験環境
1
*0* システムの機能実証
1
*0* 主観評価による有効性の検証
1
* 結言

 結論
*
*


本論文のまとめ
今後の検討課題

謝辞



参考文献



#

図目次
アクティブカメラの例（左：3::2-6  ）7 製 840，右：9  製

アクティブカメラの遠隔操作によるネットワークテレプレゼンス



システム



全方位映像を用いたネットワークテレプレゼンスシステム（上段：基本構成，下段：複数の利用者への対応）
姿勢センサ付き 26 による視線追従型テレプレゼンスシステム;3771<森田らのシステム構成 ;森田  <0池田らのテレプレゼンスシステムの外観 ;池田 <

9 4 のシステム構成 ;7 <1


視点位置に応じた画像の選択的提示によるシステム（左：

6 #6 ;=<，右：>!$ らのシステム ;>-?@ <）1 レーザーレンジファインダの例（左：= 社製 -A  BA，右：A 社製 =6C ）  A  と  次元形状復元した動物体 ;:?<セグメンテーションベースドステレオにより推定された奥行き（左）と自由視点画像例（右） ;C?>@ <4" 6  ;1 < :$ 4% 2% ;6:A@<

稲本らの自由視点画像生成手法の概要 ;稲本  <稲本らの手法により生成された自由視点画像 ;稲本  <ビルボーディング技術を用いた自由視点画像生成 ;??3<

0 平面の集合によって近似的に三次元形状を復元する手法 ;?3< 環境の * 次元モデルと自由視点画像 ;77<
1 全方位自由視点画像と平面透視投影画像 ;冨手  < 2!3 4  の概観（左）と光学系（右）全方位画像（右）と平面透視投影画像（左）

#

0
1









入力全方位画像（左）と  次元空間中の変換座標（右）全方位映像のマルチキャスト配信
ネットワークテレプレゼンスシステムの概要
全方位マルチカメラシステム =$!(%

0

1







0

1


池田らの手法 ;池田 < により生成された全方位画像







全方位映像ビューアの構造
観賞用 9- の 5( ブラウザ画面

ジャイロセンサを取り付けた 26


1
1



ライブ型映像のマルチキャスト配信実験のシステム構成
全方位映像取得車両の外観
全方位映像取得車両の内部
利用者それぞれの全方位映像ビューアの画面例
カメラ配置別の仮想化可能な空間範囲
システムの利用環境
世界座標系と推定する全方位カメラの内部・外部パラメータの関係0

環境中のマーカと推定されたカメラの位置・姿勢
多視点全方位映像から自由視点画像生成処理の流れ
極座標変換によるヒストグラムの作成推定される存在領域
直線の媒介変数 
対応点の自由視点画像への投影



空間直線の 4% 2% の貫通判定
動物体の存在領域推定による処理の削減
静的領域と動的領域の自由視点画像の合成
観光地を想定したシミュレーション環境

0

シミュレーション環境中の撮影対象（人物）とカメラ配置（赤丸）0及び自由視点位置（青点）

0

基準パターンにおける静的領域の画像とその対応点（上段）および動的領域の全方位画像（下段）

#

0

0

1


基準パターンにおける 9

A カラーマップ

生成した自由視点全方位画像（左）と真値の全方位画像（右）00

撮影対象（動物体）とカメラ間の距離を変化させた場合の動物体・

0

カメラの位置関係
撮影対象（動物体）とカメラ群重心との距離を変化させた場合の

9 A のカラーマップと平均・最大・最小値（上段：約 * ，中段：約 *，下段：約 * ）00

カメラ配置（各カメラの位置・カメラ間の距離）を変化させた場合のカメラの位置関係（赤丸：基準パターンと同じカメラ配置，緑
丸：カメラ間距離が ｍのカメラ配置，青丸：カメラ間距離が ｍ

0のカメラ配置）
カメラ配置（各カメラの位置・カメラ間の距離）を変化させた場
合の 9

A のカラーマップと平均・最大・最小値（上段：カメラ
間距離 ，中段：カメラ間距離 ，下段：カメラ間距離 ）01

動物体を含まずカメラ配置（各カメラの位置・カメラ間の距離）を変化させた場合の 9

0

A のカラーマップと平均・最大・最小値（上段：カメラ間距離 ，中段：カメラ間距離 ，下段：カメラ間
距離 ）
カメラの解像度を変化させた場合の 9 A のカラーマップと平均・画素，中段：0   0  画素，下最大・最小値（上段：
段：    画素）
エッジ周辺での画質劣化例（上段：真値の全方位画像，下段：自由
視点全方位画像）
1

カメラの数を変化させた場合の 9

A のカラーマップと平均・最大・最小値（上段： 台，下段： 台）
カメラ位置



の拘束（左：カメラを配置不可能な領域への移動，

右： を包含しないカメラ配置への更新）







室内を模した環境 ，自由視点位置の移動可能範囲  とカメラ配



置

'

非線形最小化処理によるカメラ配置の変化（左：初期状態，中央：繰り返し回数 0 回，右：繰り返し回数 0 回）



非線形最小化処理による  の変化
ハイスケーラブル自由視点テレプレゼンスシステムの構成
プロトタイプシステムの処理の流れ

1
1
1
1

ライブ映像サーバでのタイムコード付加と自由視点画像生成クライアントでの受信処理

0

電磁気センサ（左）と電磁気レシーバ付き 26（右）実験環境（左）と推定されたカメラ位置（右）自由視点テレプレゼンスにおける遠隔地（）と利用者 の様子（(）

1
1
1

及び利用者 の位置・姿勢情報を基に生成された自由視点全方位画

1像（）と平面透視投影画像（$）

自由視点テレプレゼンスにおける遠隔地（）と利用者 の様子（(）


0 ライブ映像サーバの動作開始後のネットワーク負荷
0 複数のライブ映像サーバによる多視点画像配信で発生する時間遅延 
0 実験時に被験者に提示された映像が取得された環境（本学ミレニ
0
アムホール前）及び利用者

 の視界画像（，$）表目次
蓄積型映像観賞用 9- の詳細

0

画像取得車両のシステム構成



推定する全方位カメラの内部・外部パラメータ
プロトタイプシステムの機器構成
自由視点画像生成クライアントでの処理時間の詳細
名の被験者による評価結果（単位：人）

'

10
11


 序論遠隔地の情景を高臨場感で提示することで，その場に居るかのような感覚を再現する技術はテレプレゼンス（）;6 10< と呼ばれる．テレプレゼン

スを最初に提唱したとされる 6（6% %

&   !）の6# 6+! も，ロボットの遠隔操縦において，遠隔地の情報をフィードバッ
クシステムによって利用者に提示することで，そこにいるかのような感覚を与える技術をテレプレゼンスと呼んだ ;6<．テレプレゼンスとして，システムの利用者に与える感覚は定義されておらず，視覚・聴覚・触覚・味覚・嗅覚のどの情報を用いるシステムにおいても，遠隔にその情報を伝送し再現する技術はテレプレゼンスと呼ばれることが多い．本研究では，それらの感覚の中でも人が外界から得る情報として特に重要とされる視覚情報に焦点を当てる．以下，本論文中
でのテレプレゼンスとは，視覚情報の提示により時空間的に隔たった場所の感覚を再現する技術を指す．
本章では，実時間ネットワークテレプレゼンスに関する従来研究を概観し，遠隔情景の観賞を目的とするシステムに関しては全方位映像を用いたインタラクティ
ブなテレプレゼンスシステムが適していることを説明する．次に，その全方位映像を用いたインタラクティブなテレプレゼンスシステムの従来研究及び，テレプ
レゼンスシステムのさらなるインタラクティブ性向上のための自由視点画像生成技術について述べ，自由視点画像生成技術の従来研究を概観する．そして，従来研究の問題点を踏まえ，本研究の位置付けと目的を明確にする．



実時間ネットワークテレプレゼンスの概観

近年の計算機の高性能化やネットワークの高速化に伴い，遠隔地の環境撮影
からその映像の提示までを実時間で実行可能な環境が整いつつあり，これまで困難とされていた実時間ネットワークテレプレゼンスの研究が急速に進んでいる;山碕  <．このような実時間ネットワークテレプレゼンスは，放送と通信の融合
による次世代ネットワークメディアとして注目されており，エンターテインメン
ト・遠隔コミュニケーション・医療・教育等様々な分野への応用が期待されてい図アクティブカメラの例（左：3

2-6  ）

7 製 840，右：9  製 ::

る ;川西   小野   田中  <．
それらの応用分野の中でも，観光地や名所の風景をインターネットを介して観賞可能なテレプレゼンスシステム ;9 81  北海 11< はとりわけ人気が高く，現在でも広くサービスが行われている．これらのシステムの多くは，遠隔地にパン・チルト・ズーム機構を有するアクティブカメラ（図 参照）を設置し，そのカメラの映像をインターネット経由で利用者に送信し提示する．利用者は，単に提示されている映像を観賞するだけでなく，自分が興味のある方向にカメラを向けたり，より詳細に見たい部分をズームアップする等の指示をシステムに与えることができる．従来の 4 放送などでは，放送局から送信されるカメラマンの意
図した映像を観賞するのみであったが，ネットワークテレプレゼンスでは，情報の双方向通信が可能となるため，視聴者は自らの希望を反映した映像を観賞することが可能となる．
しかし，これらアクティブカメラの遠隔操作によるテレプレゼンスには，そのシステムの構造上，利用者の要求する映像が利用者に提示されるまでには時間遅延が発生する．その様子を図 の模式図に示す．利用者はまず，5( ブラウザ上のコントロールや専用のプログラムにより，見たい方向に対応するカメラの制御
信号をシステムに入力する．システムはその制御信号をネットワークを介して，アクティブカメラに伝送する（図中に対応）．アクティブカメラは伝送された
 に対制御信号をもとに，パン・チルト・ズームのパラメータを制御する（図中応）．カメラの制御が完了した後，利用者の要求した映像が映像提示用システム

②カメラ制御
アクティブカメラ
図

ネ
ット
ワー
ク

③映像伝送
①制御信号伝送利用者

アクティブカメラの遠隔操作によるネットワークテレプレゼンスシステム

 に対応）
 のそれぞれの処理にに伝送され，利用者に提示される（図中．〜 で生じる時間遅延はアクティブカメラと映像提
おいて時間遅延が発生し，と で生じる時間遅延は，
示用システム間の距離やネットワークの状態に依存し，

アクティブカメラの性能や目標とするカメラパラメータと現在のカメラパラメー
タとの差に依存する．極端な例としては，火星探査機にアクティブカメラを取り付け，アクティブカメラを制御しつつ火星の映像を観賞するような場合には，これらの時間遅延は無視できないものとなり，利用者に提示されている映像と制御
信号の時間差からシステムの利用は困難となる．
また，このようなテレプレゼンスシステムには操作権の問題がある．アクティ
ブカメラを操作可能な利用者は常に一人であり，複数の利用者がシステムにアクセスした場合には操作権が回ってくるまで待つ必要がある．その間，操作権を取得している利用者以外には各利用者の希望と異なる映像が提示される．
これに対し，信号や映像の時間遅延による影響やシステムを複数の利用者が同時に使用する場合にも操作権の問題が発生しない，全方位映像を用いたテレプレ
ゼンスシステム ;エヌ   山澤  < が提案されている．これらのシステムでは，周囲   度の情景を一度に撮影することが可能な全方位カメラ ;-32  7

71 

山澤 1  ?7 1 棚橋   池田 < により全方位映像を取得するため，アクティ
ブカメラのようにパンやチルトの操作を行う必要がなく，全方位映像の一部を切り出し，変換することで利用者の要求する視界画像を提示することが可能となる．
全方位映像を用いたテレプレゼンスシステムの基本的な構成を図  上段に示す．

遠隔の全方位カメラは撮影した全方位映像を画像変換用 9- に送り続け，画像変



ネ
ット
全方位映像 ワーク
全方位カメラネット
全方位映像 ワーク
全方位カメラ

平面透視投影映像
視線情報
画像変換PC
利用者
視界画像・視線情報
画像変換PC

複数の利用者図  全方位映像を用いたネットワークテレプレゼンスシステム（上段：基本構成，下段：複数の利用者への対応）
換用 9- は受信した全方位映像と利用者からの視線情報を基に一般的なカメラで撮影したような平面透視投影画像を生成し利用者に提示する．全方位カメラによる撮影と利用者に対する映像提示の間には距離に依存する時間遅延が発生するが，その遅延は利用者の視線情報に対応した視界画像の生成には影響しないため，見回しに関しては時間遅延を殆ど感じないインタラクティブな観賞を行うことができる．また，全方位画像から平面透視投影画像への変換処理を高速に行うことで，複数の利用者それぞれの要求する視界画像を提示可能である（図  下段参照）．
このような全方位映像を用いて任意の視線方向の画像を瞬時に生成し提示するテレプレゼンスは，利用者の動作に追従した映像提示を行うことで高いインタ
ラクティブ性と臨場感を実現している ;3771 森田  <．これらのシステムでは，利用者は 262$6 %$ ! と頭部の姿勢を計測するためのセン

提示画像
図

姿勢センサ付きHMDを装着した利用者

姿勢センサ付き 26 による視線追従型テレプレゼンスシステム ;3771<

サを装着し，センサからの姿勢情報を基に生成された視界画像を観賞する（図参照）．頭部の姿勢に追従した映像が提示されるため，利用者にあたかも遠隔地に存在し，環境を見回しているかのような感覚を与えることできる．同様の映像
提示方式は，アクティブカメラを用いたテレプレゼンスシステム ;-:間での映像提示システム ;%< や 4A 空< として古くから研究が成されていたが，先に述べた時間遅延や遠隔への情報伝送の問題から，遠隔の実環境を撮影対象とするテレプレゼンスには適用が困難であった．
以上で述べたように，遠隔地の情景を観賞する実時間ネットワークテレプレゼ
ンスにおいて，全方位映像を用いたシステムはインタラクティブ性や複数の利用者への映像提示に関して優位であると言える．本研究では，これらの優位性を有する全方位映像を用いたテレプレゼンスシステムに焦点を当てる．以下では，観光地や名所の風景をインターネットを介して観賞可能な実時間ネットワークテレ
プレゼンスシステムへの応用を想定し，従来の全方位映像を用いたインタラクティ
ブな映像提示によるテレプレゼンスシステムの研究を概観し，それらのシステムの実時間ネットワークテレプレゼンスへの適用可能性について述べる．

 インタラクティブな映像提示によるテレプレゼンスの従来研究
観光地や名所の風景をインターネットを介してインタラクティブに観賞するようなアプリケーションを想定した場合に，実時間ネットワークテレプレゼンスシ
ステムに要求される機能について考察する．
まず前節で述べたように，利用者の動作に応じてインタラクティブに遠隔地の映像を提示することで，遠隔地で実際に風景を観賞している時に与えられる視覚
情報の再現が可能となり，高臨場感のテレプレゼンスに繋がる．風景の観賞といった用途を想定した場合には，この機能は特に重要であると考えられる．また，そのような利用者の動作に追従した映像提示には，アクティブカメラを用いたテレプレゼンスシステムのように必要とされる映像の取得に時間遅延が伴う構成ではなく，常に利用者に提示する可能性のある視界範囲を撮影し，利用者の動作から必要とされる領域を遅延を感じさせることなく提示可能な構成であるべきである．
よって，利用者の動作に応じたインタラクティブな映像提示を行うシステムは，環境の広視野を一度に撮影可能な全方位カメラを用いる必要がある．そして，撮影する風景には静的な物体だけでなく，動的な物体も存在することが想定されるため，動的環境においても動作可能なシステムであることが望まれる．
遠隔地で撮影された映像は，インターネット等のネットワークを介して実時間で利用者に伝送する必要がある．その際，想定するようなアプリケーションでは，映像を送信するシステムと利用者数が常に一対一となることは考え難いため，複数の利用者が同時に遠隔の映像を観賞可能な構成であることが望ましい．
上で述べた実時間ネットワークテレプレゼンスシステムに必要とされる機能をまとめると，以下のようになる．

 全方位の動的環境の仮想化：これにより利用者の動作に応じたインタラクティ
ブな映像提示を可能にする．本論文では，現実環境を撮影し計算機により再現可能な状態にすることから，『仮想化』という用語を用いる．

 映像の実時間ネットワーク伝送：これにより遠隔地で撮影された映像を利用者が観賞可能にする．

 利用者の動作に応じたインタラクティブな映像提示：これにより利用者に遠隔地に居るような感覚を再現する．

 利用者数に対するスケーラビリティ：これにより多数の利用者が同時にシステムを利用し，遠隔を観賞可能にする．
これらの機能を満たすことで，想定するアプリケーションに対して有効な実時間
ネットワークテレプレゼンスシステムが実現される．また，高解像度映像の取得や提示，広視野映像提示等も重要な機能と考えられるが，これらの機能は撮像素子の進歩や計算機の高性能化，ネットワークの高速化，表示機器の進歩によって実現されるため，本研究では取り扱わない．
以下では上記の要求機能を踏まえ，全方位動画像を用いたインタラクティブな
テレプレゼンスシステムの従来研究を概観する．そして，利用者の動作に対するインタラクティブ性の向上を実現する自由視点画像生成技術について述べ，それらの実時間ネットワークテレプレゼンスへの適用可能性を考察する．

 全方位映像によるインタラクティブテレプレゼンス
本節では，上記の実時間ネットワークテレプレゼンスに要求される機能を踏まえ，全方位映像を用いたインタラクティブなテレプレゼンスシステムの従来研究を概観する．
現在存在する全方位映像を用いたシステムは，全方位画像を用いてインタラク
ティブに視線方向の変更を可能とした D%+4A;-1 < を基礎としている．

D%+4A はカメラを回転させることで得られる複数の画像を繋ぎ合せることで全方位画像を生成し，その画像を仮想環境中のカメラ位置を中心とした円筒面にマッピングする．利用者はその円筒面内で自由に視線方向を変更することで，その視線方向に対応した情景の観賞が可能となる．このように，環境を撮影した
画像をカメラ位置を中心とした円筒面・立方体・球面にマッピングし，視界画像に入射される光線をその環境マップから取得するという方式は，多くのシステムに用いられている．また，D%+4A は 5( ブラウザ上で動作する等，インターネットを介して誰もが簡単に利用できるシステムとなっているが，全方位画像の生成にカメラを回転させて画像を繋ぎ合せる処理を必要とするため，全方位0の動的環境の撮影は困難であった．

3  らのシステム ;3771< は D%+4A の課題であった全方位映像の取得を全方位カメラを用いて解決し，利用者の視線方向に追従した映像提示を行
うための高速な画像変換方式を提案した．このシステムは双曲面ミラーを用いた
全方位カメラ ;山澤 1 < によって全方位動画像を取得し，26 と電磁気センサを組み合わせて利用者の視線方向の変化に合わせた画像提示を行う臨場感の高いシステムである．しかし，全方位カメラと画像提示用 9- は直接接続または，近距離無線通信により接続されておりネットワークを介した実装には到っていなかった．そのため，遠隔地の情景の提示や複数の利用者が同時にシステムを使用することは困難であった．
森田らのシステム ;森田  < は，3  らのシステムを基に，ネットワークを介した全方位映像の伝送機構を備えたテレプレゼンスシステムである．実時間での全方位映像のネットワーク伝送により，遠隔監視システムへの応用も可能であることを実証している．このシステムでは全方位カメラで取得した全方位動画像を

4（ 4$   !）を用いてネットワーク伝送する．3 らのシステムと同様に双曲面ミラーを用いた全方位カメラ使用したシステムであるが，カメラ部分に 4 カメラを使用することで，高い処理コストを要求される映像の圧縮符号化をハードウェア的に実行する構成となっている．ただし，9 9 接続によって映像伝送を行うため，複数の 9- が同時に映像を受信するのは困難である．そこでこのシステムは 台の 9- で映像を受信し，その 9- で複数人に対しそれぞれの利用者の視線方向の映像を生成している（図 参照）．画像の提示には 3  らのシステム同様，26 と電磁気センサを組み合わせたものを使用している．
魚眼レンズやミラーによる全方位カメラでは，通常のカメラの画角より大幅に広い画角を撮影することになるため，全方位画像の各画素の角度分解能が低くなることが問題とされてきた．これに対し，通常のカメラとほぼ同等の角度分解能を実現する全方位撮像系として，全方位型マルチカメラシステム ;池田 < がある．この全方位型マルチカメラシステムは，複数のカメラが放射状外向きに配置されており，それぞれが同時に撮影を行うことで，全方位の環境が撮影可能となDV

レコーダ Sケーブル

透視投影画像×４
ダウンコンバータ×４

全方位画像センサ
IEEE1394
計算機

ネットワーク

計算機

送信側 受信側
図

磁気トラッカー

視線方向×４

森田らのシステム構成 ;森田  <る．池田らはこの全方位型マルチカメラシステムにより高解像度の全方位動画像を取得し，その画像を利用者の視野を覆う球面ディスプレイに投影するシステム;池田 < を提案している．このシステムでは，予め全方位型マルチカメラシステ
ムを光学的・幾何学的にキャリブレーションしておき，その情報を基にオフライン処理で高解像度な全方位映像を生成・蓄積する．システムの利用者は，球面ディスプレイに投影される映像の視線方向をゲームパッドによって自由に変更することができる．図 にシステムの外観を示す．高解像度な全方位画像を使用するため，投影面の広いディスプレイに表示しても画像の粗さを感じ難いというメリットがあるが，環境撮影中の映像をディスクアレイに保持し，撮影後にオフライン
処理でモザイキングを行う必要があるため，予め撮影しておいた映像を再生する
ような用途に使用が限定されている．
全方位型マルチカメラシステムから得られた全方位動画像を用いた実時間ネッ
トワークテレプレゼンスシステムに 9 4 ;7 < や =#928A8;ビュ< がある．9 4 のシステム構成を図 0 に示す．9 4 は広角な 台のカメラを 1 度毎に配置した全方位型マルチカメラシステムにより全周を撮影する．そして撮影された つの画像を一つの画像にまとめ，圧縮符号化後ネットワークを通して遠隔地へ伝送する．伝送時はまだパノラマ画像にはなっておらず つの画像が単純に

1

図

池田らのテレプレゼンスシステムの外観 ;池田 <

並べてあるだけである．伝送された動画像をクライアント 9- の E9>（E

9  >）機能を用いて立方体にテクスチャマッピングすることによりモザイキングを行う．そして，テクスチャマッピングされた立方体内から任意の方
向を見ることによって全周を見回すことができる．映像送信側で複数の全方位映像をモザイキングせず，処理を高圧縮率の映像符号化に集中させることで，高解像度全方位映像の実時間ネットワーク伝送を可能としている．

=#928A8 は，池田らと同様の全方位型マルチカメラシステムを用い，9 4
と同様の E9> 機能を利用した全方位映像のモザイキング処理を行う．ただし，ネッ
トワークで伝送するのは，システムの利用者から伝送された視線情報を基に生成した視界画像である．利用者の必要としている部分の画像のみを伝送することで，高解像度全方位映像全体の伝送を回避している．しかし，視線情報の変更に映像
送信側と利用者間の距離に依存した時間遅延が生じることや，利用者数が増加することによるネットワーク負荷や視界画像生成処理の負荷が増大することが問題となる．

9 4 と =#928A8 は全方位動画像の取得からネットワーク伝送・提示まで
図 0 9 4 のシステム構成 ;7 <を実時間で行うことができるシステムであるが，利用者が増加すると伝送に必要なネットワーク帯域や処理が増加するといった点において解決すべき課題が残る．
以上に挙げた全方位画像及び映像を用いたインタラクティブな映像提示によるテレプレゼンスシステムは，共通して利用者数に対するスケーラビリティに関して問題を有する．ネットワークを用いたテレプレゼンスシステムでは，映像送信
側は利用者それぞれに対して独立な処理を行うのではなく，単一の処理により複数の利用者に映像を伝送できる，利用者数に依存しない機構を有するべきである．
これら全方位映像を用いたテレプレゼンスシステムでは，利用者は視線方向を自由に変更可能となり，26 と頭部の姿勢を計測するセンサを用いた場合には視線に追従した映像観賞が可能となる．しかし，利用者の動作に応じた映像提示を行うためには，視線方向だけでなく視点位置にも対応した映像提示が必要である．
次節では，視点位置を自由に変更し遠隔の映像を観賞可能なテレプレゼンスシ
ステムの従来研究および，コンピュータビジョンによる自由視点画像生成技術とそのテレプレゼンスシステムへの実装例について述べる．

 自由視点画像生成によるテレプレゼンス
遠隔地の情景をその場にいるような感覚で観賞可能とするためには，利用者の頭部の動きに伴う視線方向・視点位置に対応した映像を提示することが望まれる．
インタラクティブに視点位置を変更するための方法として，予め視点位置が移図  視点位置に応じた画像の選択的提示によるシステム（左： 6 #6;=<，右：>!$ らのシステム ;>-?@ <）動するあらゆる場所において映像を記録しておき，利用者の視点位置に応じて選択的に画像を提示する方法が古くから用いられている．その代表的な研究は，

 6 #6;=< である．このシステムでは全方位カメラを車に搭載し，市街地の様々な経路を走行しながら映像を光ディスクに記録する．そして，利用者
は車に乗っているような感覚で経路の選択や視線方向の変更ができる（図  左参照）．同様のシステムには，>!$ ら ;>-?  < や ! ;! < のシステ

ムがあり，全方位カメラにより撮影した全方位映像を基に，2A2!

A 画像生成や映像の安定化，%%& 6   による経路の自動生成等，提示映像の高画質化や有用性の向上のための研究が成されている．これらのシステムは，映像を提示する必要のある利用者の視点位置が予め分かっている場
合には有効であるが，視点の切り替わりに不連続が生じることや，提示画像の時
間的な連続性が考慮されていないため環境中の動物体が正しく表現できないことが問題とされている．また，映像を取得する必要のある範囲が分かっていたとしても，その範囲が広い場合には画像のデータ量や撮影のためのコストが膨大となる．
これらの問題に対して，近年，現実環境を複数の視点で撮影した画像群から，それらの視点位置とは異なる位置における視界画像を生成する自由視点画像生成技術が盛んに研究されている．自由視点画像生成技術は，任意の視点位置の

視界画像を生成するため，利用者の視点位置の変化に対して連続的な映像提示が可能であることや，選択的に画像を切り替える方法に比べ密な環境の撮影が不要といった利点がある．この自由視点画像生成手法は，画像生成の際に環境の幾何学的情報を明示的に算出するか否かにより， つの手法に分類できる．環境を撮影した多視点画像からその環境の  次元形状を復元することにより自由な視点の視界画像を生成するモデルベースドレンダリング（6:A：6 $:$A$）;:? ? A10 6  1 C?>   高橋  <，環境の  次元形

状を明示的に復元することなく画像を生成するイメージベースドレンダリング（:AF:$ A$）;-51  1  遠藤   7  =21  EE-1 
山口   岡  6:A  2 ,5C  稲本  <，モデルベースドレンダリン

グとイメージベースドレンダリングを組み合わせたハイブリッドレンダリング;??3 ?3 7?   77 77 < の  つである．以下では，これら つの手法について，その特徴や従来研究について概観する．

モデルベースドレンダリング

モデルベースドレンダリングでは，自由視点画像の生成のために環境の  次元

形状を復元する．環境の形状を用いるため，視点移動に関する自由度や視点移動に伴う物体の隠蔽関係の表現に優れる．また仮想化された環境にさらに仮想物体を配置することや，仮想化された物体の移動が容易に行える．しかし，モデルベー
スドレンダリングの多くはマルチベースラインステレオ法 ;3?1< や視体積交差

法 ;:+00< により環境の形状を推定するため，自然景観のように複雑な形状を持

つ環境や物体はその復元が困難とされる．また，一般的に環境の  次元形状を復元するには膨大な計算コストが掛かる．

環境の  次元形状を取得するために，レーザーレンジファインダ（図 1 参照）

を使用する方法 ;浅井  < も提案されているが，物体の形状を高精度に取得可能である反面，形状の計測に時間がかかるため動的環境を実時間で仮想化するような用途には不向きである．
コンピュータビジョンの技術を用いて多視点画像から動的環境を仮想化する研究の代表例に，?$ らによる 4%)$ A! プロジェクト ;?



A10 :?<図 1 レーザーレンジファインダの例（左：= 社製 -A

製 =6C ） BA，右：A 社がある．これらの研究では，位置・姿勢が既知のカメラを複数配置した  A 参照）において，それらのカメラで同時に撮影された動画像を用いて室内の動物体の  次元復元を行った．?$ ら ;? A10< はマ
ルチベースラインステレオ法により各画像の奥行き値を計算し，それらを  次元
モデルとして統合した． ら ;:?< はステレオ法による誤差をシルエット
制約を加えることにより防止し，物体のテクスチャを 6  により合成すると呼ばれる室内環境（図ことで視点の移動に伴うテクスチャの切り替わりの違和感を低減した．動的環境の仮想化後，あらゆる視点位置からその環境を観賞することが可能となる．
同様のカメラ配置では，視体積交差法により対象物体の近似的な  次元形状を得る手法が用いられることが多い．視体積交差法は撮影空間をボクセルと呼ばれる立方体の集合として表現し，そのボクセル空間内で多地点でのカメラの光学中心とシルエット画像から成る視体積の積集合空間（4% 2%）を計算する．

4% 2% は，対象物体を様々な方向から撮影したシルエット画像の量を増やす
ことによって対象物体の真の  次元形状に近づく性質がある．ステレオ法に基づく手法と異なり対応点探索の問題が無く，ボクセル空間の解像度や使用する画像数にも依るが，処理速度はステレオ法による  次元形状復元と比較すると高速で図  A  と  次元形状復元した動物体 ;:?<ある．ただし，対象物体に凹な部分が存在する場合には，その部分は正しい  次

元形状が得られないという制約がある．6%! らは ;6 <，各カメラのシ
ルエット画像を視体積の内外判定が高速に行われるよう射影変換し，9- クラス

タによって実時間での撮影対象の  次元復元を行った．) ら ;1< は，ボクセ

ル空間内の各ボクセルを各カメラに投影した時にシルエットの内外を判定するのではなく色の一致（9   !）を評価することで， 次元復元を行った．
この 9   ! により得られた形状は，4% 2% に対して 9 

2%と呼ばれる．これら視体積交差法に類する手法は ?$ ら ;? A10< や  ら;:?< の手法同様に，対象物体の詳細な  次元形状を得ることを目的としており，特定の領域を集中して撮影する必要があるため，環境の仮想化が可能な範囲が限定されやすい．遠隔の情景を観賞するような目的でのこれらの手法の適用は，広範囲の撮影空間に対応するための計算量やデータ量の多さから非常に困難と言える．
遠隔の情景をインタラクティブに観賞するテレプレゼンスの用途に適した手法
としては，C+ ら ;C?>  < や高橋ら ;高橋  < の研究がある．C+ らはカ
メラアレイにより蓄積した多視点映像を基に，セグメンテーションベースドステ
レオによる奥行き推定を行い，各カメラの奥行き画像を蓄積する．映像提示の際は，自由視点位置に隣接した二つのカメラの奥行き画像から二つの* 次元モデ

ルを生成し，それらを自由視点画像面に投影することで自由視点画像を生成する．

図

セグメンテーションベースドステレオにより推定された奥行き（左）と自由視点画像例（右） ;C?>@ <環境の平面集合仮定によりテクスチャの少ない環境においても安定した奥行き推定を行い，自由視点画像のレンダリングの際には，アーティファクトを防止するために奥行き値が大きく変動する領域に平滑化処理を施すことで高品質な自由視
点映像を観賞可能としている（図参照）．しかし，セグメンテーションベース

ドステレオの計算コストの高さから映像の取得から提示までを実時間で行うには至っていない．高橋らの手法は，自由視点画像面に正対する焦点面（,  ）を設定し，その焦点面を奥行き方向に変化させ，各奥行きにおける焦点面上の色の一致度を測ることで環境の奥行きを推定する．焦点面には多視点画像を投影す
るが，その処理を近年高性能化が進む E9> を用いることで高速に行い，映像の撮影から提示までを実時間で行う．実時間ネットワークテレプレゼンスへの適用可能性が高い手法ではあるが，安定した奥行き推定にはカメラ間の距離を十分に短くする必要があるため，自由視点の移動可能な範囲はごく狭い領域に限られる．

イメージベースドレンダリング

イメージベースドレンダリングは，環境の  次元形状を明示的に復元することなく，撮影画像の変形・合成により自由視点画像生成を行う．環境の  次元形状を持たないため，自由視点画像を生成するための処理は環境の複雑さに依存せず，多くの手法ではモデルベースドレンダリング手法に比べ高速にレンダリングが可能である．しかし，環境の形状に関する情報を持たないため，物体の隠蔽関係の図4" 6  ;1 <表現は不得意であり，そのような領域では画像にぼけやアーティファクトが発生することが多い．
イメージベースドレンダリングの代表的な手法は，5 や 6  によって自由視点画像のレンダリングをする手法 ;-51  1  遠藤   7 < である．
これらの手法の基本的な戦略は， 枚以上の入力画像間の対応点を与え，中間視点位置において対応点がどの位置に現れるかを計算し，さらにその中間視点における対応点の色を入力画像の色をブレンディングすることによって決めるというものである（図参照）．これらの手法は対応点が与えられているなら高速に

自由視点画像生成が可能であるが，モデルベースドレンダリング同様，対応点を自動的にかつ正確に与えることは困難である．7)+ らの手法 ;7 < は，入力画像に関する知識なしに自動的に対応点を与えることを可能にしている．しかし，対応の計算に多くの計算コストが必要となる．
対応点を必要としないイメージベースドレンダリングに，空間中を伝播する光線を記録し，自由視点位置において視界画像面を通過する光線をリサンプリング0することで自由視点画像生成を行う手法がある ;=21  EE-1  山口   岡 <．

=# ! ら ;=21 < や E  ら ;EE-1 < は，= G$ $ と =% という名の手法をほぼ同時期に発表し，空間中を伝播する光線は 次元パラメータで表現可能であることを示した．山口ら ;山口  < は，= G$ $ の考えを応用し，全方位カメラによる効率的な光線情報の取得及び，視線方向も変更
可能な自由視点画像生成手法を提案した．岡ら ;岡 < は，89 による光線情報の補間法とベクトル量子化による効率的な光線情報の圧縮法を提案した．これらの手法は，他の手法に比べ環境を密に撮影する必要があることや，撮影時のカメラの位置・姿勢情報が必要であること等の制約はあるが，撮影環境に関する情報は一切必要なく，自由視点画像生成も高速に行うことが可能である．
自由視点画像面を通過する光線をリサンプリングする = G$ $ に対し，自由視点からその画像面を通過する光線を設定し，その光線の色を撮影画像から計算する A! による手法が提案されている．6%+ ら ;6:A <
は入力シルエット画像とエピポーラ拘束を基に，4% 2% が自由視点画像上にどのように投影されるかを計算する手法を提案した（図  参照．ただし，図右の

人物以外の周辺環境は予め作成された -E である）．この手法により計算される自由視点画像は，視体積交差法によるそれとほぼ同等であるが，ボクセルを用いないためボクセル空間の空間分解能を決定する必要がないという利点がある．
また，6%+ らはこの手法を用いて実時間自由視点画像生成が可能なシステムを構築しており，高速な処理が可能であることを示している．
同様のアプローチにより，シルエット制約に依らず自由視点画像を生成する手法が  ら ;2< や ,)((  ら ;,5C < によって提案されている． ら
は，自由視点からの光線を設定し，その光線上の点を多視点画像に投影した時，最も色が一致する点を探索する．そして，その最も色が一致した点の色をその光線の色として，自由視点画像にレンダリングする．この処理は，ステレオ法によって奥行き値を評価する処理とほぼ同等と言える．,)((  らは  らの手法を改良し，入力多視点画像上に存在しないようなテクスチャパターンが自由視点
画像上に発生することを防止するエネルギー関数を定義した．明示的に環境の 
次元形状を復元するわけではないが，本質的にはステレオ法と同等であり，そのReference 1

Desired図

Reference 2

 :$ 4% 2% ;6:A@<

計算コストは高い．
稲本ら ;稲本  < は，複数のイメージベースドレンダリング手法を組み合わせる
ことによりサッカーシーンに適した自由視点画像生成手法およびその手法を用いたシステムを提案している．この手法の概要を図に示す．まず，撮影された画像を背景差分処理により動的領域と静的領域に分離する．動的領域としてサッカープレイヤやボール，静的領域としてサッカーフィールドやゴールポスト，背景が得られる．サッカーシーンにおいて，サッカーフィールドやゴールポスト，遠景
は一つの平面又は複数の平面の集合と見なす事ができる．そのサッカーフィール
ドやゴールポストの平面に対しては 2  ! を用いて自由視点位置における画像を生成する．遠景に関してはモザイキングと自由視点から見えている領域の切り出し処理により自由視点画像とする．サッカープレイヤやボールはエピポー
ラ拘束を用いた対応付けを行い 6  によって自由視点画像生成を行う．最終的にそれら生成された自由視点画像を統合することにより提示画像とする（図参照）．サッカーシーンに特化することで高品質な自由視点画像を生成することが可能であることを示している．

ハイブリッドレンダリング
モデルベースドレンダリングとイメージベースドレンダリングとを組み合わせた
ハイブリッドレンダリングによる手法も様々提案されている．? ! ら ;??3<

1

図

図

稲本らの自由視点画像生成手法の概要 ;稲本  <稲本らの手法により生成された自由視点画像 ;稲本  <図

ビルボーディング技術を用いた自由視点画像生成 ;??3<は，サッカーシーンを自由視点で観賞することを目的とし，ビルボーディング技術を利用した自由視点画像生成手法や，その手法を利用してサッカーのライブ映
像を自由な視点で観賞可能なシステムを提案している．サッカーシーンにおいて，観客席からサッカープレイヤまでの距離はある程度離れており，サッカープレイ
ヤの形状を正確に得る必要はないと考えられる．そこでこの手法は，推定したプレイヤの位置に平面のオブジェクトを描き，入力画像から得られるサッカープレイヤの画像をテクスチャマッピングし，視点位置に応じてその平面の向きを変化させる簡易なプレイヤモデルによる自由視点画像生成を行った．プレイヤ以外の物体に関しては，予め -E で作成したものを配置している．また，この手法を利用したライブ映像配信が可能なネットワークテレプレゼンスシステム実現しており，インタラクティブにサッカー観賞が可能であることを実証している（図参照）．しかし，このシステムは利用者の視点・視線情報をサーバに送信し，その情報を基にサーバは利用者に必要なデータを送信する方式をとっているため，利用者数に対するスケーラビリティに欠ける．

? ! ら ;??3< と同様に，? ら ;?3< は平面の集合によって近似的に対象物体の  次元形状を表現することで自由視点画像を生成する手法を提案

図

0 平面の集合によって近似的に三次元形状を復元する手法 ;?3<している（図0 参照）．ボクセル空間等により物体を表現するより計算コストが少なく高速に処理が可能である．また，大規模空間で自由視点画像を生成する際に，対象物体と視点位置との位置関係により近似的な  次元形状の空間解像度を変化させ  次元形状復元の冗長性を減少させている．サッカー場のような上方からの映像が取得できる環境でなければ，対象物体の位置が安定して正しく推定できないため，多視点画像を射影変換するコストが増加することが考えられる．

% らの手法 ;77< は全周ステレオパノラマ画像を用いてカメラから物体までの奥行きを求め， * 次元モデルによって全方位の環境を表現する（図 参照）．この手法で用いられているカメラは全周ステレオパノラマ動画像を撮影可能であり動的環境にも対応できる．しかし，この手法では つの視点位置から得られた全周ステレオパノラマ画像を用いるため，生成する画像の視点位置が撮影位置から離れるにつれて画像に歪みが生じる．
冨手らの手法 ;冨手  < は多地点で全方位画像を撮影し，それらの画像に対応点を与えることで環境の疎な  次元形状を復元し，その形状に対するテクスチャを 6  することよって生成する（図1 参照）．対応が既知な点の三次元位置の計算と 6  によって自由視点全方位画像を生成可能するため，ビデオ

図 環境の * 次元モデルと自由視点画像 ;77<

図

1 全方位自由視点画像と平面透視投影画像 ;冨手  <レートでのレンダリングが可能である．しかし，予め対応点を与える必要がある
ため，動的環境に適用するのは困難である．
以上のように，自由視点画像生成手法は多種存在し，その特徴も様々である．
次節では，実時間ネットワークテレプレゼンスシステムへの自由視点画像生成手法の適用可能性を考察し，本研究の位置づけ及び研究方針について述べる．

 本研究の位置付けと方針
前節では，実時間ネットワークテレプレゼンスシステムに必要となる機能を以下のように定義し，これらの機能を踏まえた上で，全方位映像を用いたテレプレ
ゼンスシステムの従来研究及び，よりインタラクティブな映像提示を可能にする
自由視点画像生成技術の従来研究を概観した．

 全方位の動的環境の仮想化
 映像の実時間ネットワーク伝送
 利用者の動作に応じたインタラクティブな映像提示 利用者数に対するスケーラビリティ
本節ではこれらの機能を持つテレプレゼンスシステムの実現のための方針を従来研究から得られる知見を基に述べ，本研究の位置づけを述べる．
まず，全方位の現実環境を撮影するにはこれまで述べてきた通り全方位カメラ;-32  7 71  山澤 1  ?7 1 棚橋   池田 < を使用する方法が有効であると考えられる．全方位カメラを使用することにより，視線方向の自由度を持つ
ため，インタラクティブな画像提示が可能になり，複数の利用者に対する画像提示も行うことができる．映像のネットワーク伝送の方法や全方位カメラの種類による実時間映像処理の適性に議論の余地があるが，全方位カメラを使用することによるメリットは大きい．従来提案されているシステムでは，要求機能 : そして - の視線方向に関して対応している森田らのシステム ;森田  < が最も要求機能を多く満たすシステムと言える．9 4;7 < は，ほぼ森田らのシステムと同等の機能を有しているが，森田らのシステムは利用者の動作に応じた映像提示を行うためのインタフェースとして 26 と姿勢センサを用いている点で優れている．=#928A8;ビュ< は，映像送信側で利用者それぞれに対する処理を行うため，利用者数に対するスケーラビリティに欠けることに加え，利用者数が増加すると負荷の増大によりインタラクティブ性が低下することも考えられる．また，? ! らのシステム ;??3< は，サッカーシーンにおいては 〜- の機能を満たしていると言えるが，本研究で想定する遠隔の風景を観賞するようなアプリケーションに対しては，予め周辺の環境を -E で作成するようなことが困難であるため，動物体に関する映像提示のみに限定される．以上から，森田らのシステムを基礎として，利用者の視点位置に応じた映像提示及び，利用者数に対するスケーラビリティを確保することができれば要求機能を全て満たすシステムが実現できると考えられる．
利用者の視点位置に応じた映像提示には自由視点画像生成技術を用いる必要がある．しかし，自由視点画像生成技術を導入することによりその他の機能が制限されることがないようにしなければらない．前節において自由視点画像生成技術
を大きく  つに分類し，それらの手法について述べた．ここでは，さらにそれぞれの手法が実時間ネットワークテレプレゼンスシステムに適用可能かどうかを考察する．
まず，モデルベースドレンダリングについて考える．レーザーレンジファイン
ダを用いる手法 ;浅井  < は三次元形状の計測に時間がかかるため動的環境に適用できない．コンピュータビジョンによる手法のうち，ステレオ法による距離推定を行う手法 ;?

A10 :? C?>  < は計算コストや対応点探索の問題から実時間処理は難しい．ボクセル空間において 4% 2% や 9  2% を評価する
手法 ;6  1< はボクセル数を少なくすることで実時間処理を可能にできるが，想定するアプリケーションでは撮影する空間は広範囲のためボクセル数は膨大となり，実時間処理は困難となる．高橋らの手法は ;高橋  <，カメラの相互投影の問題から全方位カメラを用いたシステムには適していない．よって，モデル
ベースドレンダリングは実時間ネットワークテレプレゼンスシステムには適用困難である．
次に，イメージベースドレンダリングについて考える．5 や 6  による手法は ;-51  1  遠藤  < 処理は高速に行えるが対応点が必要であり動的環境への適用が難しい．対応点を自動で与える手法 ;7 < は計算コストがかかり実時間での処理は難しい．空間を伝播する光線を記録する手法 ;=21  EE-1 
山口   岡 < は密に画像を取得する必要があり，同時刻の多視点画像を必要とする動的環境の対応は困難である．6%+ らの手法 ;6:A < は，シルエット

画像を基に 4% 2% の自由視点画像上への投影を計算するため，4% 2%以外の環境については対応できない． ら ;2< や ,)((  ら ;,5C <の手法は，本質的にステレオ法と同等であり，計算コストの問題から実時間処理は困難である．稲本らの手法 ;稲本  < はサッカーシーンに特化されており他の環境に適用するのは難しい．よって，イメージベースドレンダリングも実時間ネッ
トワークテレプレゼンスシステムに適用困難である．
次に，ハイブリッドレンダリングについて考える．? ! らの手法 ;??3<は視点位置と対象物体が離れていることを仮定しているため，システムの利用環
境が限定されることや，動物体以外の環境への対応がなされていない．?
らの手法 ;?3< は，? ! らの手法同様，動物体以外の環境への対応は考慮されていない．% らの手法 ;77< は，仮想環境の構築に時間がかかり実時間でのテレプレゼンスは難しい．冨手らの手法 ;冨手  < は，環境が静的であることを仮定しているため動的環境に適用困難である．よって，これらの手法
も実時間ネットワークテレプレゼンスシステムには適用困難である．以上の考察から，これまで提案されてきた手法を単純に用いるだけでは目標とするテレプレ
ゼンスシステムは実現困難であることが分かる．
そこで，撮影環境中の静的領域と動的領域を分離し，それぞれの領域に適した手法を適用することを考える．また，オフラインで静的領域の自由視点画像生成に必要な処理を行っておき，動的領域のみを実時間で処理する方法も考慮する．
これらを考慮すると，撮影環境中の動的領域については 6%+ ら ;6:A < の手法を，静的領域については冨手らの手法 ;冨手  < を用いてそれぞれ自由視点画
像生成を行い合成することで環境全体の自由視点画像が生成できると考えられる．
しかし，これらの手法は広帯域なバス上の映像や予め撮影された静止画像に対して用いられており，実時間ネットワークテレプレゼンスシステムに適用するには，
ネットワーク伝送に要するオーバーヘッドや各手法の処理時間を考慮して，より高速な画像生成処理を行う必要がある．
本研究では，遠隔の観光地や名所の風景をインターネットを介してインタラク
ティブに観賞するアプリケーションへの応用を想定した時に要求される機能 〜 を全て満たす実時間ネットワークテレプレゼンスシステムの実現を目的とす
る．目標のテレプレゼンスシステム実現のため，それぞれの機能に対し以下のアプローチをとる．

 全方位の動的環境の仮想化
多地点に配置した全方位カメラにより環境全体を同期撮影

 映像の実時間ネットワーク伝送
多視点画像の圧縮符号化及び実時間ネットワーク伝送

 利用者の動作に応じたインタラクティブな映像提示
多視点全方位映像からの実時間自由視点画像生成

 利用者数に対するスケーラビリティ
マルチキャストプロトコルによるネットワークを介した多地点同報通信
本研究ではまず，3  らのテレプレゼンス方式 ;3771< を基礎とし，マルチ
キャストプロトコルを用いた映像伝送により，利用者数が増加したとしてもネッ
トワーク負荷やサーバの計算コストの増加しないハイスケーラブルな実時間ネッ
トワークテレプレゼンスシステムを構築する．また，システム単体としても従来の全方位映像を用いたテレプレゼンスシステムよりユーザビリティに優れるシス
テムとする．そして，そのハイスケーラブルな実時間ネットワークテレプレゼンスシステムを基に，多視点全方位画像からの実時間自由視点画像生成処理を加え，要求機能 〜 を全て満たす実時間ネットワークテレプレゼンスシステムを実現する．

0 本論文の構成
本論文の構成は以下のとおりである．第 章では，利用者の増加に対応可能な
スケーラビリティを有する実時間ネットワークテレプレゼンスシステムを提案す
る．配信する全方位映像は利用者の視線方向に非依存である特徴と，ネットワー
ク上で同報通信を可能にするマルチキャストプロトコルを利用することでハイス
ケーラビリティを実現可能であることを示す．第  章では，第 章で提案したシステムを基に自由に視点位置を変更可能な自由視点テレプレゼンスシステムを提案する．多地点に配置した全方位カメラからの画像を用いて実時間で自由視点画像を生成する手法を提案し，実際にプロトタイプシステムを構築する．そして，実験により生成された自由視点画像の定量的画質評価および提案システムの有効性の確認を行う．最後に第 章で，本研究を総括する．

 全方位映像のマルチキャストによる実時間ネットワー
クテレプレゼンス

序言

本章では，マルチキャストプロトコルによって映像を伝送し，多地点で複数人が同時にインタラクティブ観賞可能な実時間ネットワークテレプレゼンスシステ
ムについて述べる．従来の全方位映像を用いたテレプレゼンスシステム ;-1 

3771 森田   池田  7  ビュ< は，蓄積または実時間で伝送された全方位映像中から利用者の視線方向に対応する領域を切り出し，変換することで視線方向に対してインタラクティブな映像提示を実現している．遠隔地の全方位映像をネットワークで実時間伝送し，視界画像の生成処理を高速に行うことで，同一地点の複数人でそれぞれが別々の方向を観賞することが可能なシステムも提案されている ;森田  <．しかしこれらのシステムは，遠隔への映像伝送の際にサーバ側で利用者の視界画像を生成・伝送する機構 ;ビュ< や 9 9 接続による映像伝

送機構 ;7  森田  < を用いているため，多地点の複数人がシステムを同時に使用することは，サーバの処理コストやネットワーク負荷の面から困難であった．
また，これらのシステムは一般にはあまり用いられないような研究用の機材による映像提示を行っており，実用的とは言えなかった．
本研究では，映像を配信するサーバ側では利用者数や利用者の視線方向に依存する処理を排除し，ネットワーク上で一対多の同報通信を可能とするマルチキャ
ストプロトコルによる全方位映像の配信を行うことで，従来システムのスケーラ
ビリティの問題を解決する．また，システムのユーザビリティについても改善を行い，5( ブラウザによる全方位映像の提示を行うことで，誰でも簡単にテレプ
レゼンスを体験できるシステムを提案する．
以下では，本研究で提案する実時間ネットワークテレプレゼンスシステムの基礎となるテレプレゼンス方式である 3  らのシステム ;3771< について述べ，
マルチキャストプロトコルによる映像伝送方式について概説する．そして，提案システムの詳細な説明の後，実験によりその機能を実証する．

1

 全方位画像の平面透視投影変換によるテレプレゼンス方式
本節では，全方位画像を高速に平面透視投影変換することにより，利用者の視線方向に追従した映像提示を可能とした 3  らのテレプレゼンス方式 ;3771<について概説する．このテレプレゼンス方式は，現存する多くのシステムで同様の方式が用いられており，計算機の高性能化が著しい今日においてもその重要性に変わりはない．本研究においても，3  らの方式を基にしたシステムを提案する．以下ではまず，3  らのテレプレゼンスシステムで用いられる全方位カメラ 2!3 4  について述べる．そして，2!3 4  により得られる全方位画像からのハードウェア機能を利用した平面透視投影画像の実時間生成手法について述べる．

 全方位視覚センサ    !  
本節では，全方位視覚センサ 2!3 4 ;山澤 1 < について述べる．2!

3 4  は，鉛直下向きの双曲面ミラーと鉛直上向きのカメラから構成さ
れ，周囲   度の画像を一度に取得できる．図  に 2!3 4  の外観とその光学系を示す．ミラー部の曲面は回転二葉双曲面を用いる．図  に示すよ
うに二つの焦点    を持ち， にカメラのレンズ中心が位置するようにミラーをカメラに取り付ける． 軸を鉛直軸とする三次元世界座標系 





を

考えると，双曲面ミラーの面，ミラー焦点  ，およびカメラのレンズ中心 
は式   で表せる    は双曲面の形状を定義する定数．

@ 

F


 H
ミラー焦点  F   @ 
 @ 
レンズ中心  F  H


ミラー曲面










また，ミラー内側の焦点  に集まる像は双曲面ミラーに反射して，外側の焦点  に集まる．ここで， にレンズ中心を置いた焦点距離  のカメラで全方位画像を撮影すると，双曲面の特性により，三次元空間中の点  

位画像上の写像点    の間には式   の関係が成立する．







 と全方







OM

双曲面ミラー

c b

Y

O
X
x

カメラ

c

y

f OC

P  

 2!3 4  の概観（左）と光学系（右）

図





H
H

   
 @  @   
  @        @      @  @   式   より，焦点  で撮影された全方位画像上の点が，焦点  から見て  次

元空間中のどの方向に対応するかが分かるため，全方位画像を  次元空間中の平面に再投影することにより平面透視投影画像を生成可能である．
図に 2!3 4  で撮影された全方位画像とその全方位画像の一部を平面透視投影変換した画像を示す．撮影された全方位画像は円状に歪んでいるが，それを平面透視投影変換した画像には歪みがなく一般的なカメラで撮影されたかのような画像となっている．2!3 4  はその構成上，一つの撮像素子で全方位の画像を得るため，画角あたりの解像度は低くなってしまう．しかし，ビデオカメラを用いることにより容易に全方位映像が得られるという利点が
ある．



図

全方位画像（右）と平面透視投影画像（左） ハードウェア機能を用いた平面透視投影画像生成
2!3 4  により撮影された全方位画像をハードウェア機能を用いて高速に平面透視投影画像に変換する手法について述べる．近年の計算機の性能向上は著しく，数年前では実時間で実行不可能だった処理が，現在では実時間で実行可能といったことがよくある．しかし，テレプレゼンスシステムにおいては撮像系の進歩による画像の高解像度化も進むため，画像処理に必要とされる計算コストも増加し続けている．増加し続ける画像処理コストに対して，3  らは-9>（- 9  >）のみで計算を行うのではなく，画像処理に適した E9>（E 9  >）を用いて高速に画像変換を行う方式を提案
した．E9> は -9> とは構造的に異なり，画像処理のようなデータ並列の計算を複数の計算ユニットによって同時に処理可能な超並列ベクトルプロセッサとして動作する．ただし，E9> は 3E= や B 等のグラフィックス命令を介して計算を実行させる必要がある．

3  らは，平面透視投影画像と全方位画像間の対応計算（式  ）を各画素に対して行うのは計算コストが高いことから，生成する平面透視投影画像上に格子を設け，その各格子点に対応する全方位画像上の点の座標のみ -9> で計算し，各格子の中は E9> に計算させることで高速な変換処理を実現した．各格子内の画素に対応する全方位画像上の点の座標は，E9> のテクスチャマッピング機能による線形補間によって計算されるため，全画素の対応を -9> によって計算する

方式に比べ近似的であると言える．以下にその画像変換処理の内容を示す．
全方位画像座標   ，平面透視投影画像座標   ， 次元座標 





 を図

のように定め，平面透視投影画像上の格子数を    ，変換画像のサイズを  ，視点と変換画像の間の焦点距離を  とする．

"  任意の方向を表す回転行列 を得る．


任意の方向を（方位角 ，仰角  ，ロール角  ）で表した場合，回転行列 は以下の式で表される．

  
H  

















 



     
 














           








"  変換画像上の格子点と全方位画像上の座標の対応を計算する．
変換画像上の各格子点    に対して，以下の 〜4 の処理を実行する．ただし，     ，     ．

# 格子点の変換画像上の座標を計算する．
H ¢Ü  H  ¢Ý  ## 変換画像上の格子点の座標を保存する．
  ! 

H

 



### 変換画像上の格子点の方向を表す  次元座標 





#! 式   に 









 H


















 を計算する．






 を代入して全方位画像上の格子点の座標 

 

める．

! 全方位画像上の格子点の座標を保存する．
"# 

H

 



 を求

図

入力全方位画像（左）と  次元空間中の変換座標（右）"  E9> のテクスチャマッピング機能を用いた 5 を実行する．

各格子点    について，全方位画像上の "#  ，"#  ，"#  ，"#   で囲まれる領域を変換画像上の   !  ，  !  ，  !  ，  !   で囲まれる領域に E9> のテクスチャマッピング機能を用いて5 する．

以上の処理により，E9> の機能を用いて高速に全方位画像から平面透視投影

画像への変換を行うことができる．3  らは，格子点数    に対する平面
透視投影画像上での幾何学的歪みの関係を示し，生成する平面透視投影画像の大きさが 0    の場合には，格子数は程度で十分であるとしている．また，システムの利用者の視線方向を，26 に取り付けた姿勢センサにより計測
し，上記回転行列  を計算することで，その視線方向に追従した平面透視投影映

像の提示を行っている．
本節で述べた画像変換方式は，全方位画像と平面透視投影画像間の対応が与えられれば，全方位カメラの種類に依らず適用可能である．本研究では，全方位映像から平面透視投影画像への変換の際には，本節で述べた変換方式を利用する．

 マルチキャストプロトコルによる全方位映像の配信
本節では，ネットワーク上で一対多の同報通信を可能にするマルチキャストプ
ロトコルによる全方位映像の配信について述べる．マルチキャストプロトコルは，

-9I9 ネットワーク上で複数の相手に対して一斉に同じデータ送信するための
9 の追加仕様である 9 マルチキャストを行うためのプロトコルである．近年，ブロードバンド回線の普及や映像などの大容量コンテンツの人気によりネットワー
クの帯域は増加の一途をたどっており，効率的なデータ配信技術として 9 マル
チキャストは注目を集めている．
ネットワークテレプレゼンスシステムでは，通常図  に示すようなサーバ・ク
ライアント型のシステム構成をとる．ある映像コンテンツを配信するサーバと，
そのコンテンツを観賞するクライアントは一対多となることが想定される．従来のテレプレゼンスシステムで用いられているユニキャストプロトコルにより，データレート $ ;6(< の映像コンテンツを  台のクライアントに伝送する場合，サーバは各クライアントそれぞれに対して $ ;6(< の映像を送信する必要がある．よって，サーバに必要とされるネットワーク帯域は $ ;6(< となる．対して，マルチキャストプロトコルによって映像を伝送した場合，サーバからパケット化され配信された映像はルータやスイッチングハブによって自動的に複製され，各クライアントに到達する．このため，サーバは 台分の映像を配信すればよい
ため，必要とされるネットワーク帯域は $ ;6(< となり，ユニキャストプロトコ
ルより効率的な映像の伝送が実現される．ただし，各クライアントに配信される映像は同一でなければ，マルチキャストプロトコルは有効ではない．全方位映像を用いたテレプレゼンスシステムでは，同一の全方位映像からあらゆる視線方向の視界画像を生成できるため，各クライアントにマルチキャストプロトコルを用いた効率的な映像伝送を行うことができる．また，サーバの処理コストの面でもクライアント 台分のコストですべてのクライアントに対応可能である．
全方位映像の利用者の視線方向に依存しない特徴は，マルチキャストプロトコ
ルによる映像伝送方式と親和性が高く，利用者数の増加に対応可能なスケーラビ
リティが実現可能である．

図

 全方位映像のマルチキャスト配信

 マルチキャストプロトコルを用いた実時間ネットワークテレプ
レゼンスシステム システムの設計方針と概要
本節では，全方位映像のマルチキャスト配信による実時間ネットワークテレプ
レゼンスシステムの設計方針とその概要について述べる．本章で提案する実時間
ネットワークテレプレゼンスシステムは，従来の全方位映像を用いたテレプレゼ
ンスシステムの問題であった利用者数の増加に対応可能なスケーラビリティの実
現及び，誰でも簡単に利用可能なユーザビリティの改善を目的とする．またこれらの改善により，従来のシステムで実現されていた機能が損なわれることがないよう提案システムは以下の機能にも対応する．

 ライブ型映像と蓄積型映像への対応
実時間で取得される全方位映像だけでなく，予め蓄積しておいた全方位映像にも対応する．

 視線追従型映像提示とビューアによる映像提示への対応

26（2$6 %$ !）や姿勢センサがある場合には高臨場感なイ
ンタラクティブ観賞を可能とし，それらの機器がない場合には，容易に利用可能なビューアによるインタラクティブ観賞を実現する．

 複数の種類の全方位カメラに対応
用途や映像コンテンツに適した全方位カメラを選択可能とする．
本章で提案するネットワークテレプレゼンスシステムの概要を図に示す．本システムでは，全方位カメラにより撮影された全方位映像を扱う．システムの利
用者は，全方位カメラからの映像を実時間で配信するサーバからの全方位ビデオ
ストリームを，5( ブラウザより起動される全方位映像ビューアにより取得する．あるいは，ネットワーク越しのサーバや 9- 内に格納されている全方位映像

を，同様のビューアによって取得する．この際，全方位カメラから得られた全方
位映像をマルチキャストプロトコルを用いて伝送することにより，複数の利用者がシステムを利用する場合でもネットワークの負荷は増加することはない．5(

ブラウザにより起動される全方位映像ビューアは， * * 節で述べた E9> の機能を利用した高速な平面透視投影変換処理により視界画像を生成する．これにより，利用者は 5( ブラウザ上でマウスまたはキーボード操作により全方位映像コン

テンツを簡単かつインタラクティブに観賞することができる．さらに，26 とジャイロセンサを組み合わせた視線追従型の臨場感の高い画像提示も可能である．
平面透視投影変換には，複数の全方位カメラの種類に対応できるよう，全方位映
像と平面透視投影画像間の対応計算を複数用意した．
以下， * * 節では，提案システムで扱う全方位映像の種類とその用途について述べる． * * 節では，全方位映像から平面透視投影画像を生成し，利用者に提示するために用いる全方位映像ビューアについて述べる．そして， * 節で提案シ
ステムによる機能実証実験について述べ， * 節で本章で提案した全方位映像のマルチキャストによる実時間ネットワークテレプレゼンスシステムについてまとめる．

 全方位映像コンテンツ
本節では，提案システムで扱うライブ型映像と蓄積型映像について述べる．全方位映像は，ライブ中継のように実時間で映像を圧縮符号化・配信するライブ型

0

全方位映像 ネットワーク
サーバ
全方位映像
ローカルファイル
コンテンツプロバイダ側 利用者側
図

ネットワークテレプレゼンスシステムの概要

映像と，あらかじめ圧縮符号化しネットワーク越しのサーバや 9- 内に保存しておく蓄積型映像に分けられる．提案システムではその両方の全方位映像を扱う．
ライブ型映像は，4 放送のように同時に複数人が同じコンテンツを楽しむ場
合に用いる．全方位カメラにより撮影された画像を瞬時に符号化・伝送し，鑑賞することができる．また，マルチキャストプロトコルを用いることによりネットワー
クに負荷をかけることなく多地点の複数人が同時に観賞することが可能である．
蓄積型映像は，見たいシーンを見たい時刻に見るといったオンデマンドサービ
スを提供する場合に用いる．また，実時間で映像を圧縮符号化し，伝送する必要がないため，圧縮符号化に時間を要する高解像度の全方位映像を扱うことが可能である．蓄積型映像では利用者それぞれが別々の映像を観賞するため，マルチキャ
ストプロトコルによる効率的な映像伝送は行えないことに注意する必要がある．
全方位映像を撮影可能な全方位カメラには，魚眼レンズ ;-32 < や曲面ミラー;7 71  山澤 1 < によって一般的なカメラで全方位の撮影を可能にするものや，
複数のカメラを外向きに配置し同時に撮影することで広視野を撮影する全方位型マルチカメラシステム ;?7 1 棚橋   池田 < 等がある．これらの全方位カメラは，撮影対象や用途によって適切に選択する必要がある．本研究では，これら全方位カメラシステムの中でも，ミラーを用いた全方位カメラ 2!3

4 ;山澤 1 < と，複数のカメラを外向きに配置した全方位型マルチカメラシス
テム =$!(%;池田 < を使用する．これらのカメラをテレプレゼンスの用途に応じて使い分ける．

全方位カメラ   !  * * 節で述べたように，2!3 4  は鉛直下向きの双曲面ミラーと鉛直上向きのカメラから構成され，周囲   度の画像を一度に取得できる全方位カメラである．カメラ部に一般的なビデオカメラを使用することで容易に全方位映像が取得可能であり，4E（  ）程度の解像度の映像であれば実時間で圧縮符号化を行い，遠隔に伝送することが可能である．そのため，ライブ型映像を撮影するのに適したカメラと言える．

全方位型マルチカメラシステム$ %&=$!(% は複数のカメラを外向きに配置した全方位型マルチカメラシステムである．図 にその外観を示す．=$!(% は画像を撮影する部分であるカメラヘッド（図 左）とカメラヘッドにより撮影された画像を蓄積する 2 アレイ（図右）から成る．カメラヘッドは水平方向に 個，上方向に 個の計 個の --
カメラを外向きに配置した構成になっており，一つの -- カメラは横 0  画素，
縦  画素の高解像度な画像を撮影可能である．カメラヘッドの 個のカメラを同期して撮影させることにより，下方向を除く全天球の約 0 ％の画像を &で取得できる．カメラヘッドで撮影された画像は 2 アレイに送られ，約  分
間の映像を蓄積できる．本研究では，池田らの手法 ;池田 < により生成された全方位映像を用いる．図に池田らの手法により生成された全方位画像の例を示

す．=$!(% の構成上，画像を撮影した後にオフライン処理で全方位映像を生成するため，ライブ型映像への適用はできないが，上方向を含む広範囲の高解像度映像が取得可能である．

1

図

図

全方位マルチカメラシステム =$!(%

池田らの手法 ;池田 < により生成された全方位画像 '  ブラウザを用いた全方位映像ビューア
本節では，提案システムにおいて利用者に対して提示する視界画像の生成や，全方位映像の受信・読み込み等の処理を行う全方位映像ビューアについて述べる．
ネットワーク環境下で誰もが利用するアプリケーションに 5( ブラウザがある．

特に，5$ " に標準で搭載されている 5( ブラウザである  8' は J4 アプレットや #B によるプログラムを実行可能で，利用者に対し5( サイト上でインタラクティブなコンテンツを提供することを可能にしている．
また，J4 アプレットや #B プログラムは自動インストール機能により利用者に負荷をかけることなく提供可能という特徴がある．
図 0 に本システムで用いる全方位映像ビューアの構造を示す．全方位映像ビュー

アはグラフィックスカード上の E9> の機能を使用するため，#B プログラムとして実装を行う．全方位映像ビューアは 5( ブラウザにより起動され，全方位映像を平面透視投影画像に変換した後，5( サイト上にその画像を提示する．以下にその処理手順を述べる．

"  利用者が全方位映像コンテンツを提供している 5( サイトにアクセスすると，5( ブラウザにより全方位映像ビューアが起動される．全方位映像
ビューアは，受信する全方位映像のファイルパスやその全方位映像を撮影した全方位カメラの内部パラメータ等の情報を，自身が起動される 5( サイトから読み取る．このビューアに必要なパラメータはコンテンツプロバ
イダが作成しておけばよいので，利用者はパラメータを意識することなくコンテンツを観賞可能となる．

"  ビューアは  " の機能を使用し，ビューアに入力された全方位映
像のファイルパスの情報を基にサーバにアクセスし，全方位映像の受信を開始する．全方位映像が利用者の 9- 内に格納されているのであれば，その 9- 内から読み出しを始める．映像の入力に  " を使用している

ため，4 や 698E，564 等様々なファイルフォーマットに対応できる．
そして，入力される全方位映像から フレームずつ全方位画像を取得する．

"  順次取得される全方位画像を 3E= の機能を使用してグラフィックス

又全
は全 方
方 位ビ
位デ
映 オス
像ト
ファ リ
イル ー
ム
利
用
者
の視
線
情
報

HTMLファイルに埋め込まれたビューアのパラメータWeb browser

ビューアのパラメータ (ファイルパス, カメラの種類等)
全方位映像ビューア（ActiveXプログラム）
DirectShow• 全方位映像の読み込み• フレームの取得

全方位画像

OpenGL• 球状のオブジェクトにテクスチャマッピング
図0 全方位映像ビューアの構造

カードのテクスチャメモリへ転送する．そして， * * 節で述べた高速な平面透視投影変換処理により，利用者に提示する視界画像を生成する．画像生成の際の視線方向はマウスやキーボード，ジャイロセンサにより得られる情報により設定される．

"  最後に，レンダリングされた視界画像を 5( サイト上に表示する．また，利用者が 26 を使用して全方位映像を観賞するときには，26= ファイ

ルにフルスクリーンで画像提示を行うパラメータを記述しておくことで，全方位映像がフルスクリーンで提示される．

 ネットワークテレプレゼンス実験
以上に述べたネットワークテレプレゼンスシステムを実装し，蓄積型映像とラ
イブ型映像を用いた機能実証実験を行った．蓄積型映像を用いた実験では，提案

システムのオンデマンドサービスへの適用を想定し，全方位型マルチカメラシス
テムにより撮影された高解像度の全方位映像をネットワークを介してインタラク
ティブに観賞することを目的とした．一方，ライブ型映像を用いた実験では，提案システムの 4 中継への適用を想定し，全方位カメラ等を搭載した車両の走行中の全方位ライブ映像を車両から直接マルチキャスト配信することによって複数人が同時に映像を観賞することを目的とした．また本システムで用いる全方位映
像ビューアにより，5( ブラウザ上でマウス操作により全方位映像をインタラク

ティブに観賞できることと，26 と姿勢センサを組み合わせた視線追従型映像
提示による高臨場感の映像観賞が可能であることを確認する．

 高解像度な蓄積型全方位映像を用いたテレプレゼンス
本実験では，提案システムを全方位映像のオンデマンドサービスへ適用した場合にも利用可能であることを確認する．先に述べたように，オンデマンドサービ
スでは実時間で全方位映像の圧縮符号化を行う必要がないため，高解像度の全方
位映像を予め圧縮符号化しておくことが可能である．本実験では，全方位型マルチカメラシステム =$!(% により得られた全方位映像を予め圧縮符号化してネッ

トワーク（ 6(）内の全方位映像サーバに格納しておき，その全方位映像を利用者がオンデマンドで観賞する．利用者は観賞用 9-（表 参照）で，コンテ
ンツプロバイダが用意した 5( サイトにアクセスすることで，映像の観賞ができる．実験に使用する全方位映像は，観賞用 9- の性能の制約からその解像度を

0 に，フレームレートを &（ & の映像の各フレームを 回提示）に設定した．また映像のフォーマットは，映像部には復号化処理が高速である理由から 698E を，音声部には 698E

=! を用いた．利用者は全方位映像

コンテンツを 5( ブラウザや 26 により観賞する．
図

 に観賞用 9- の 5( ブラウザ画面を示す．マウスで画面上をドラッグ操

作することにより自由に視線方向を変更でき，簡単に全方位映像コンテンツを観賞可能であることを確認した．高解像度の全方位映像であるが，本システムで用いる全方位映像ビューアの高速な平面透視投影変換処理により，& でのインタ
ラクティブな映像観賞が可能であった．また，映像と音声は全方位映像ビューア

表

蓄積型映像観賞用 9- の詳細-9>9% E2)メモリ6:グラフィックスカード  A83 10
3
5$ "B9内の  " 機能により同期して再生された．利用者の一人が映像観賞中，別の利用者が映像を始めから観賞し始めたが，システムは問題なく動作した．ただし，ユニキャストプロトコルによる映像伝送のため，利用者が多数になるとサーバの負荷が増加し，フレームが欠落する現象が発生した．
より臨場感の高い観賞方法として，図1 に示すような 26 に利用者の視線方向を検出するためのジャイロセンサを取り付けた視線追従型の画像提示も行った．使用したジャイロセンサは 8A8 8 社の ' である．このジャ
2) で取得可能である．マウス操作に
イロセンサは姿勢に関する情報を最大よる観賞を行う場合と同様に，視線追従型映像提示用の 5( サイトにアクセス
すると，26= に記述されているパラメータにより，26 で表示するために映像がフルスクリーンで提示されるモードでビューアが動作する．姿勢センサ付き

26 を装着し観賞を行い，視線方向の変更からその方向の画像が提示されるまでの時間遅延は約 0 であり，視線方向を自由に変えることができた．本実験により，提案システムがオンデマンドサービスへの適用が可能であることを示した．また，マウス操作による簡易な全方位映像観賞と 26 による視線追従型映
像観賞の両方が利用可能であることを確認した．

図

 観賞用 9- の 5( ブラウザ画面

ジャイロセンサ
HMD

図1 ジャイロセンサを取り付けた 26

 車載全方位カメラからの全方位ライブ映像を用いたテレプレゼンス
本実験では，提案システムの 4 中継への適用を想定し，全方位カメラ等を搭載した車両の走行中の全方位ライブ映像を車両から直接マルチキャスト配信する
ことによって複数人が同時に映像を観賞可能であることを確認する．図  に示

すように，全方位カメラ 2!3 4  を搭載した車両，全方位映像を取得・

圧縮符号化・マルチキャスト配信する 9-，全方位映像ビューア，またそれらをつなぐ無線・有線ネットワークからなるシステムを構築した．全方位カメラを搭載した車両は，本学屋外の道路を走行しながら全方位カメラで周囲   度を撮影し，

*=+ で車内の画像取得圧縮符号化・マルチキャスト配信用 9- に全方位映像を送る．画像取得圧縮符号化・マルチキャスト配信用 9- では，全方位映像（解像度F   ，フレームレートF &）を 5$ "6$8 $;-  < によって
5$ "6$ 形式（ビットレートF ?(）に実時間で圧縮符号化する．符号化された全方位映像は，マルチキャストプロトコルによって無線ネットワークに配信される．表 及び図   に画像取得車両システムの構成と外観を示す．ネッ
トワークに配信された全方位映像は観賞用 9- 上で動作する全方位映像ビューア

を用いて観賞することができる．ユニキャストではなくマルチキャストで配信することにより受信するシステムが多数あったとしてもネットワークの負荷は増加
しない．ネットワークがマルチキャストプロトコルに対応していれば，多数の利表

画像取得車両のシステム構成

3 7 -AA41 @全方位カメラアコウル 双曲面ミラー

9% * E2)
6 ! E:
5$ "B9888 * 
日産 8=EA 

画像取得圧縮符号化・
マルチキャスト配信用 9無線ネットワーク
車両

用者がビューアにより全方位映像を受信することが可能である．
本実験では， 台の観賞用 9- で同時に全方位映像の観賞を行い，全ての観賞用 9- でそれぞれ任意の方向を観賞することが可能であることを確認した．それらの 9- の全方位映像ビューアの画面例を図  に示す．5( ブラウザ上の映像& で提示され，全方位カメラによる環境の撮
影とその映像が提示されるまでには約  秒の時間遅延があった．この時間遅延は送信した全方位映像と同様のの主な原因は，全方位カメラからの映像を圧縮符号化するためのバッファリングによるものと，全方位映像ビューアが圧縮符号化された全方位映像を復号化するためのバッファリングによるものである．また，ネットワーク負荷は  ?( で一定であり，映像を受信する観賞用 9- の数が増えてもネットワークの負荷が増加しないことを確認した．無線ネットワークは有線のそれに比べ，利用可能な帯
域が狭く不安定でありユニキャストによる映像配信では複数の利用者が同時に映像を観賞することは困難であるが，映像のマルチキャスト配信により観賞用 9が複数であった場合にも安定して観賞を行うことができた．

0

全方位映像ビューア

・・・

全方位画像
マルチキャスト
全方位カメラ
(

全方位画像(i.Link)

全方位画像
マルチキャスト(

画像取得圧縮符号化・
マルチキャスト配信用

PC)

全方位映像取得車両
図  ライブ型映像のマルチキャスト配信実験のシステム構成



)

図

全方位映像取得車両の外観

図

全方位映像取得車両の内部

1

図  利用者それぞれの全方位映像ビューアの画面例 結言
本章では，全方位映像のマルチキャストによって，複数の利用者がシステムを同時に使用する場合にも対応可能なハイスケーラビリティを有する実時間ネット
ワークテレプレゼンスシステムを提案した．また，ユーザビリティを考慮した全方位映像ビューアにより，利用者が 5( ブラウザ上で簡単に全方位映像コンテン

ツを観賞可能とした．さらに，4 中継のように実時間配信されたライブ映像のみならず，オンデマンドで映像を提示するテレプレゼンスにも対応可能である．
蓄積型映像を用いた実験では，利用者はオンデマンドで高解像度な全方位映像
コンテンツを観賞することが可能であることを確認した．観賞用 9- の性能による制約から全方位映像の解像度を 0 に落とす必要があったが，=$!(%から池田らの手法により得られる全方位映像の最大解像度は   

1  であり，

今後計算機の性能向上によりこのような高解像度の全方位映像も扱えるようになると考える．
ライブ型映像を用いた実験では，多数の利用者が実時間でマルチキャスト配信
される全方位ライブ映像を同時に観賞し，利用者数が増加した場合にもネットワー
クの負荷は一定であることを確認した．全方位映像の取得に用いた全方位カメラ

- 程度の解像度であったため，平面透視投影変換した画像に粗さが目立っていた．今後計算機の高性能化により，=$!(% の映像そのものや，2 カメラ
を用いた 2!3 4  の映像を実時間で圧縮符号化可能になり，ライブ型

が映像においても高解像度の映像観賞が可能になると考える．また，ライブ型映像の実験では，全方位カメラによる撮影からその映像の提示までに約 秒の時間遅延があった．しかし，この時間遅延は利用者のインタラクティブな映像観賞には影響を与えない．時間遅延の主な原因は映像圧縮符号・復号化の際のバッファ
リングによるものであり，本システムを遠隔地の相手とのコミュニケーション等の用途に適用する場合には，より時間遅延の少ない映像圧縮符号化方式の利用も検討する必要がある．

 多視点全方位映像を用いたハイスケーラブル自由視
点テレプレゼンス

序言

本章では，前章で提案したハイスケーラブルな実時間ネットワークテレプレゼ
ンスシステムを基に，多視点全方位映像からの実時間自由視点画像生成処理を加え， * 節で述べた要求機能 〜 を全て満たす実時間ネットワークテレプレゼ
ンスシステムを提案する．
前章での全方位映像のマルチキャスト配信による実時間ネットワークテレプレ
ゼンスシステムの実現により，要求機能 : 及び - の視線追従機能を満たす
ことができた．このテレプレゼンスシステムに，自由視点画像生成機能を追加することで要求機能の全てを満たすシステムが実現できる．前章のシステムに自由視点画像生成機能を追加するには，全方位の動的環境に対応可能かつ，実時間での画像生成が可能な手法を用いる必要がある．しかし， * 節で述べた通り，従来の自由視点画像生成手法をそのまま適用することはできない．そこで本研究では，多地点に配置した全方位カメラからの多視点全方位映像を用いて実時間で自由視点画像を生成する手法を提案する．提案手法では，撮影環境を静的領域と動的領域に分離し，それぞれの領域に適した自由視点画像生成手法を用いる．その際，計算コストの高い動的領域の自由視点画像生成に対しては，動物体の存在領域推定を併用した高速な画像生成処理を行う．そして，静的領域と動的領域の自由視点画像を合成することで最終的な自由視点全方位画像を得る．
以下では，想定する提案システムの利用環境と，環境に配置された全方位カメラの内部・外部パラメータのキャリブレーション法について述べ，本章で提案する自由視点画像生成手法について詳述し，シミュレーションによる画質評価により全方位カメラの配置について検討する．そして，その自由視点画像生成処理を用いたハイスケーラブル自由視点テレプレゼンスシステムを提案する．実験により，要求機能 〜 の機能を全て満たすことを確認し，被験者による主観評価により提案システムの有効性を確認する．

図

カメラ配置別の仮想化可能な空間範囲

 想定するシステムの利用環境
本節では，本研究で想定するテレプレゼンスシステムの利用環境について述べる．本研究では，遠隔の観光地や名所の風景をインターネットを介してインタラク
ティブに観賞するようなアプリケーションを想定し，その用途に適したシステムの構築を目指している．このような用途に対しては，?$ ら ;?

A10< や ら ;:?< が採用している通常のカメラ群が特定領域を集中して撮影するようなカメラ配置（図  左参照）ではなく，複数の全方位カメラによって遠隔の環境全体を撮影するような配置が望ましい（図  右参照）．複数の全方位カメラにより環境全体を撮影することで，全方位に対応した自由視点画像生成が可能になる．
提案システムでは，環境撮影用のカメラ群をその観光地や名所での主要な観賞スポットに配置し，利用者はそのスポット単位での観賞を行うことを想定する（図 参照）．利用者は，遠隔の室内環境中で 26 と位置・姿勢センサを装着し，視点・視線に追従した映像観賞を行う．そのため，スポット内での利用者の移動
可能範囲は約 四方程度とする．この利用者の自由視点位置を包含する多角形

位置にある複数の全方位カメラからの画像を利用して自由視点画像を生成し提示する．以下，本研究では二次元的な視点移動を可能にするために最低必要な  台の全方位カメラを利用することを想定し，提案する自由視点画像生成手法とシス
テムについて述べる．また，本研究は各観賞スポットにおけるインタラクティブな映像提示技術に焦点を当て，各観賞スポット間の移動は，従来の蓄積再生型の映像提示手法等の利用により行われることを想定する．

図

システムの利用環境

 全方位カメラの内部・外部パラメータのキャリブレーション
本節では，環境中に配置した全方位カメラの内部・外部パラメータの推定方法について述べる．提案する自由視点画像生成手法は，撮影環境（世界座標系）に対する各全方位カメラの位置・姿勢情報（外部パラメータ）と，撮影環境中の点の全方位画像上への投影変換に必要な内部パラメータを要する．本研究では図  に示
すように，環境中の  次元位置が既知の基準点

H;< H ，・・・， （以下，マーカと呼ぶ）を用いて全方位画像上の主点座標（9  ） H ;， < と焦点距離 ，世界座標系に対するカメラ座標系の位置   H ;  ， ， <・姿
勢  H ;  ， ，  < の 1 パラメータ（表  参照）を推定する．ここで推定した内






%







&

&

&

部・外部パラメータは後述の自由視点画像の生成結果に大きな影響を与えるため，精度良く推定する必要がある．
本研究では，根岸ら ;根岸  < と同様のアプローチにより，全方位カメラの各パ

ラメータ（       ）を推定する．その際，ミラーの内側の焦点はカメラ部の光軸上であり，カメラ部の投影中心はミラーの外側の焦点と一致すると仮定す

る．また，ミラーの形状パラメータ ，， は既知かつ誤差が含まれないものとす図

世界座標系と推定する全方位カメラの内部・外部パラメータの関係
表  推定する全方位カメラの内部・外部パラメータ
全方位画像上の主点座標
 H ; ， <カメラの焦点距離
カメラ座標系の位置
カメラ座標系の姿勢

  H ; ， ， < H ; ， ， <&&&る．この仮定の下で， 次元位置が既知のマーカの再投影誤差を最小化するアプ
ローチにより，全方位カメラの各パラメータを推定する．
まず，主点座標  を画像上に投影されたミラーの縁を利用することで推定する．根岸らはキャプチャボードの影響による画像のアスペクト比の変化に対応するために，ミラーの縁と楕円方程式をフィッティングすることで  を推定している．本研究では 2!3 4  のカメラ部にアスペクト比が* のデジタル

カメラを使用することを想定し， の推定には円方程式を用いる．この場合，ミ・・， ，' を円の半径とすると，これらラーの縁上の点を  H ; ， <# H ，・の点と円方程式の誤差関数  は以下の式で定義できる．そして， の非線形最小化処理によって  を推定する．

H      






'



次に，上で推定した主点座標  と暫定的に設定した 0 パラメータ（ ，    ）で  次元位置が既知のマーカが式   により投影される画像上の点  と，実際に画像上で検出された点  との二乗誤差  （式 ）を非線形最小化すること

で，全方位カメラの焦点距離と位置・姿勢を推定する．このとき， 枚のキャリ
ブレーションボードを用いて推定を行った場合，全方位画像中の特定方向にしかマーカが写らないため，推定結果に偏りを生じる．さらに，同一平面にしかマーカを配置できないため，精度の良い推定が困難となる．そこで，環境中の特徴的な点（建物や机の角等）を， 次元位置計測器（トータルステーション）により偏りなく計測することで，空間的に全方向に分布したマーカ集合を得る．これにより，推定結果の偏りを防止し，さらに精度の良い推定が可能となる．図 0 に，
環境中のマーカと推定されたカメラの位置・姿勢の例を示す．図中の点がキャリ
ブレーションに使用したマーカの位置，錘台が全方位カメラの位置・姿勢を示し
ている．



H

    






カメラ
世界座標系原点

図 0 環境中のマーカと推定されたカメラの位置・姿勢

 多視点全方位映像からの実時間自由視点画像生成
本節では，環境中に配置された複数の全方位カメラから得られる全方位画像か
らの自由視点画像生成手法について述べる．提案手法では，多地点に配置された
カメラのうち，自由視点位置を取り囲むような三角形をなすことができる三つのカメラを選択する．これは，後述する 6  に基づく自由視点画像生成の際に， 次元平面的な視点移動を行うために最低限必要なカメラ台数である．そして，その  台のカメラから成る三角形内部の平面上を自由視点位置の移動可能範囲とする．また，撮影環境の大部分は静的であり，動的領域は全方位画像中の小領域であると仮定する．加えて，各全方位カメラは環境に固定され，互いに環境を重複して撮影できるよう設置されており，同期済みであるとする．その環境に設置された各全方位カメラの位置・姿勢は * 節で述べた方法により推定する．

図  に自由視点画像生成手法の処理の流れを示す．まず， 地点に配置した全方位カメラからの同時刻の全方位画像を取得する．取得した各全方位画像に対し背景差分処理を行い，画像を静的領域と動的領域に分離する．静的領域と動的領域を分離することで，時間的に変化の少ない静的領域に適した高速な自由視点画

0

多視点全方位画像を取得
静的領域と動的領域を分離

静的領域

動的領域

画像間の対応付け 動的領域の存在領域推定
自由視点位置の設定

静的領域

動的領域

による Visual Hullによる
自由視点画像生成 自由視点画像生成
Morphing

静的領域

動的領域

静的領域と動的領域の画像を合成
自由視点全方位画像を出力
図  多視点全方位映像から自由視点画像生成処理の流れ
像生成手法を適用可能にする．また，背景差分処理には長時間にわたって背景差分処理を続けられるよう，緩やかな照明変化や短い周期の輝度変化を考慮した背景差分手法 ;77< を用いる．
静的領域と動的領域の分離後，それぞれの領域に対して自由視点画像生成を行う．まず，静的領域に対しては，画像間の対応点に基づいた 6 ;冨手  <により自由視点画像を生成する．動的領域に対する自由視点画像生成には 4%

2% を用いる．一般に 4% 2% はボクセルによって表現されることが多いが，撮影される空間が広い場合には計算量とデータ量が膨大となる．そこで本研究では，($ 4% 2%;6:A < による 4% 2% の計算を行う．さらに，動的領域の存在領域推定を併用することで高速な処理を実現する．それぞれの領域の自由視点画像を生成後，それらを合成することで最終的な自由視点画像とする．以下では，各処理について詳述する．

 背景差分処理による静的領域と動的領域の分離
 地点の全方位カメラで取得された画像それぞれに対して，静的領域と動的領域を分離する．この処理のための基本的な戦略としては，予め動的領域の存在しない背景画像を撮影しておき，背景画像と入力された画像との差分によって動的領域を検出し，分離することが考えられる．ただし，この戦略では，照明変化やノイズに弱く，長時間にわたって動的領域を検出するには困難である．そこで本
研究では，蛍光灯やディスプレイのフリッカー，緩やかな照明変化，カメラに依存したノイズ等を考慮した背景画像の更新を伴う背景差分手法 ;77< を用いる．
この手法は，時系列的に入力される画像の各画素について輝度の平均値や標準偏差値を保持し，現フレームの輝度値が与えられた背景画素の輝度値のモデルの範囲内であれば背景と見做し，それ以外の場合には動的領域と見做す．画像中の各背景画素の輝度 % は式   でモデル化される．
%

%

H

%

@ 
(

@

)*&



+,

は輝度の時間平均，( は輝度の振幅，* は輝度の周波数，+ は  〜@ の値をとる係数，, はカメラのみに依存した雑音を表す．(  )*& の項は蛍光灯や-A ディスプレイ等のフリッカー，木々の揺らぎなどの影響を表し，

+,

の項は

カメラに依存するノイズを表す．このとき背景画素の輝度値 % は以下の範囲をと
り得る．
%

%

(, % % @(@,

と ( は，時系列に入力される画像の輝度の平均値と標準偏差値として計算で

き，, は動物体が全く存在しない環境を撮影したときの標準偏差値で計算できる．
入力画像の各画素の輝度値が式   の範囲内であればその画素は静的領域と見做し，そうでなければ動的領域と見做す．また，入力画像の AE: 値それぞれに対して，動的領域の判定処理を行い， 色中 色でも動的領域と判断されれば，その画素は動的領域と判定する．それぞれの領域は，以降の処理のために別々の画像として保持しておく．

1

画素数 θ θ θ θ θ θθ1 ( 11 , 12 )

2 ( 21 ,

22 )

r

動的領域

θ

0
図 1 極座標変換によるヒストグラムの作成 動的領域の存在領域推定
本節では，動的領域のみが含まれる全方位画像を基に，動的領域の存在領域を推定する処理について述べる．この処理によって算出された存在領域は，後述する ($ 4% 2% の高速化に使用される．存在領域の推定には，森田らの手法 ;森田  < を用いる．以下に，その処理を概説する．

動的領域のみが含まれる全方位画像に対して直交座標から画像の中心を原点とする極座標   -  に変換し，- 軸方向に作成したヒストグラムから連続したある閾

値より大きい値を持つ部分の画素領域の方位角範囲 - -  -  を求める（図 1参照）．この際，ノイズ除去処理として，一定以上の幅を持たない方位角範囲は除去する．
得られた方位角範囲から動的領域の存在領域を推定する．図 より，動的領

域の存在領域は方位角範囲 - -  -  の各ベクトルの交点から計算できる．各ベ
クトルの交点座標は，世界座標系でのカメラの位置ベクトルと方位角範囲の両端の角度に対応する単位ベクトル及び媒介変数を用いて以下の式で求めることができる．

交点座標）＝（カメラの座標値）＋（単位ベクトル）×（媒介変数）
よって つの直線の交点座標は，直線を延ばしたカメラの位置ベクトルをそれぞれ. .  . ，. .  . ，直線の単位ベクトルをそれぞれ     ，    ，
媒介変数をそれぞれ  ， とすると，以下の式で表せる．

交点の 座標 H  @ ×
H  @ ×交点の 座標 H  @  ×
H  @ ×






.





.





.





.





0








式 0 より，各媒介変数は以下の式で求めることができる（図

H



参照）．

    ×        × 
.

.



.

.



 ×    × 
.  . ×   .  .  ×  H
 ×    ×  

動的領域の存在領域は，交点座標の組として保持し，以降の処理に用いる．

存在領域

全方位カメラ図 推定される存在領域

交点

媒介変数

M

媒介変数

M

1

r

r

V1

カメラ１

2

V2
r

r

S1

原点
図

S2

直線の媒介変数 

カメラ２ 静的領域に対する ( ) & による自由視点画像生成
* * 節で生成された静的領域のみが含まれる画像に対して，6  を用いた自由視点画像生成手法 ;冨手  < を適用する．この手法は，複数の全方位画像間の対応点を必要とするが，環境中の静的領域は長時間変化することがないと仮定
し，予め対応点を与えておく．
多地点全方位画像間の対応を与えることにより環境の疎な  次元形状を復元し，さらに E9>（E 9  >）の機能を利用した 6  により高速な自由視点画像生成を行う．以下にその処理の概要を示す．なお，全方位カメラの位置・姿勢および入力画像間の対応点はあらかじめ与えられているものとする．

"  与えられた各対応点について，それらの点の  次元位置を全方位ステレ
オにより計算する．

"   で得られた  次元点を式   の計算により自由視点画像上に投影す
る（図

参照）．

"  投影された自由視点画像上の点群に対してドロネーの三角分割法 ;21 <により三角形パッチを生成する．

"   で得た三角形パッチに対応する三角形の画像を各入力画像から切り出し，各実カメラから自由視点位置へのベクトルの重み付け線形和が自由視点位置となるような重みを用いてブレンドし，自由視点位置における全方位画像とする．三角形パッチ内部の画素に対するブレンディング処理については，3E= を用いて E9> による高速な計算を行う．



対応点

×
全方位画像2××
自由視点画像全方位画像3全方位画像1
図×

対応点の自由視点画像への投影 動的領域に対する ! %* %** 推定による自由視点画像生成
* * 節で生成された動的領域に対して，4% 2% を用いた自由視点画像生成を行う．4% 2% とは，多視点から撮影された画像群 中の物体のシルエット とカメラの光学中心によって形成される錐体  の積集合空間  H ¾  を指す．一般に，4% 2% は空間を立方体で区切ったボクセルを用いて表現されることが多い ;ウ   上田  <．しかし，ボクセルを用いた表現では，本研究で対象と


'

!

'

'

するように撮影対象の空間が広くなるとそのデータ量と計算量が膨大となる．そこで本研究では，4% 2% を表現する手法に ($ 4% 2%;6:A <を用いる．この手法は，自由視点における画像面の各画素について，その画素と自由視点位置とを結ぶ空間直線が，4% 2% を貫通するか否かを判定することにより自由視点画像を生成する．以下に ($ 4% 2%;6:A < の処理の概要を示す．本研究では，全方位画像を用いて 4% 2% を計算しているが，ここでは説明を簡単にするために通常のカメラを用いた場合について述べる．

"  自由視点画像面のある画素について，その画素と自由視点を結ぶ空間直線を各実カメラの画像面上に投影する．各実カメラの画像面上に投影された自由視点がエピポール，投影直線がエピポーラ線となる．

"  各実カメラに投影されたエピポーラ線上で動的領域と交差する線分を調べ，すべてのエピポーラ線で動的領域と交差する線分があるならば，自由視点からの空間直線は 4% 2% を貫通する．交差線分がないならば空間

直線は 4% 2% を貫通しないと判断できる（図 参照）．

"  自由視点からの直線が 4% 2% を貫通する画素については，その画素の色を決定するために，交差線分の最も自由視点位置に近い点への各実カ
メラからのベクトルと自由視点からのベクトルとを比較し，それらのベク
トルの成す角が最も小さい実カメラの画素の色を処理対象としている画素の色とする．

"   〜 の処理を自由視点画像面上のすべての画素に対して行う．
以上の処理により動的領域の全方位の自由視点画像を生成可能である．しかし，自由視点画像上の全画素について ($ 4% 2%;6:A < の計算を行うと計算量が多く，実時間での画像生成は困難となる．そこで計算量削減のために，* * 節で推定した動的領域の存在領域を基に 4% 2% の計算が必要な自由視点画像上の画素を限定する．存在領域推定処理によって計算された直線の交点を式   を用いて自由視点画像面上に投影し，投影された交点が存在する方位

角範囲の画素についてのみ 4% 2% の計算を行う．さらに，自由視点からの空間直線が 4% 2% を貫通するか否かを評価する際，エピポーラ線上の推定された動的領域の存在領域以外では 4% 2% の評価を省略する（図

参照）．

動物体

交差線分

実視点1

実視点2

動的領域
図

図

自由視点
 空間直線の 4% 2% の貫通判定

動物体の存在領域推定による処理の削減静的領域の自由視点画像合成

動的領域の
自由視点画像

合成後の自由視点画像図

静的領域と動的領域の自由視点画像の合成 静的領域と動的領域の自由視点画像の統合
* *，* * 節の処理により，自由視点位置における静的領域と動的領域の全方位画像が得られる．この二つの自由視点画像を合成し，最終的な自由視点画像とする（図参照）．合成処理は静的領域の自由視点画像の上に動的領域の自由視

点画像を重ね合わせる（上書きする）簡単な処理である．ただし，動的領域の自由視点画像上の 4% 2% が投影されなかった画素は合成処理を行わない．

0 シミュレーションによる定量的画質評価に基づくカメラ配置の検討
本節では提案する自由視点画像生成手法において，全方位カメラの配置や撮影
環境，カメラの解像度等の要因が生成する自由視点画像の画質に与える影響を，
シミュレーション環境を用いた定量的画質評価により検証する．そして，それらの結果から想定する撮影環境に対して，システムの利用者の要求を満たすためにはどのようにカメラを配置するべきかを考察する．また検証結果に基づき，撮影
環境と自由視点位置の移動可能範囲の関係から，カメラ配置の定量的評価指標を示す．
提案した自由視点画像生成手法は，全方向に物体が存在する観光地のような環境での使用を想定している．シミュレーションではこのような環境を -E オブジェクトにより構築し，この環境中で描画した全方位画像を入力としてある自由
視点位置における自由視点全方位画像を生成する．この自由視点全方位画像とその自由視点位置で描画した全方位画像とで 9A9+    A  による定量的画質評価を行う．以下に，定量的画質評価実験の目的と条件，画質評
価結果とその結果に基づくカメラ配置の検討について述べる．

 実験目的と条件提案手法により生成される自由視点画像の画質に影響を与える要因とその影響を明らかにすることは，システムの設計や撮影環境に対するカメラ配置の決定を行う上で重要である．本実験では，画質に影響を与える要因とそれらの要因による影響を明らかにすることを目的とする．そして，それらの結果に基づきシステ
ムの利用者が撮影環境にカメラを配置する際，どのようにカメラを配置するべきかを検討するための指標を示す．
提案手法により生成される自由視点画像の画質に影響を与える要因として以下のものが考えられる．

 撮影環境の形状 撮影環境のテクスチャ
 撮影対象とカメラ群との距離 カメラ配置（各カメラの位置・カメラ間の距離） カメラの解像度
 カメラの数 自由視点位置
本実験では，定量的な画質評価指標である 9

A により上記の要因が自由視点

画像の画質に与える影響を検証する．しかし，上記要因のうち撮影環境の形状とテクスチャについてはそれらを定量的に評価することが困難であるため，シミュ
レーションでは提案した自由視点画像生成手法の使用が想定されるような環境を構築し実験を行う．-E オブジェクトにより構築したシミュレーション環境をに示す．この環境中で，その他の要因のパラメータを以下のように変化さ図せ画質の評価を行う．
（ ）撮影対象とカメラ群との距離

動物体の位置をカメラ群の重心位置から，約 *， *， *  の距離に配置する．

（ ）カメラ配置（各カメラの位置・カメラ間の距離）

カメラ群の重心位置を固定してカメラ間の距離を， ， ，  とする．

（ ）カメラの解像度

，0   0 ， 画素とする．

（ ）カメラの数 台または 台とする．

+（ ）自由視点位置
カメラ群から成る三角形内の格子点位置とする．

1ただし，各要因を変化させる際には基準となる各要因のパラメータパターン（以下，基準パターン）から各要因のパラメータを変化させる．基準パターンとして各要因のパラメータを以下のように設定する．
（ ）撮影対象とカメラ群との距離：約*（）カメラの解像度：画素（）カメラの数： 台（+）自由視点位置：カメラ群から成る三角形内の格子点位置（ ）カメラ配置（各カメラの位置・カメラ間の距離）： 

基準パターンにおける撮影対象・カメラ位置・自由視点位置の関係を図 0 に示す．

0 中赤丸で示した点に配置しており，その座標は環境中の地面と平行な面を B7 座標面，高さ方向を C 軸としている．また，本実験でカメラ群は
カメラは，図正三角形状に配置する．これはあるカメラ間の距離に対して自由視点位置が移動可能な面積が最大となるカメラ配置であることや，カメラ間の距離の差が画質へ与える影響を排除するためである．自由視点位置については基準パターンに限らず，B 座標，7 座標それぞれについてカメラ間の距離を  等分したときの格子点位置とする（図0 中の青点）．また，動物体として手を広げた人物を配置した．

各要因のパラメータに関わらず共通のパラメータとして，ミラーの形状パラ
メータ ，， をそれぞれ* ， * 1， *  とする．これらの値は，

* 節の実験で用いる全方位カメラのパラメータとほぼ同等である．全方位カメラの焦点距離は，カメラの画角が解像度によって変化しないよう設定する．また，各入力全方位画像の解像度と出力自由視点全方位画像の解像度は同じとする．図 に，基準パターンにおける入力全方位画像と静的領域の対応点を示す．図 
上段は静的領域のみが含まれる全方位画像であり，その図中の×印は対応点を示している．ここでは手動で約 点の対応点を与えている．ただし，静的領域の対応点はカメラ配置やカメラ数が異なる場合には，その都度新たに対応点を与えている．図 下段は動的領域のみが含まれる全方位画像である．
0

図

図

観光地を想定したシミュレーション環境

0 シミュレーション環境中の撮影対象（人物）とカメラ配置（赤丸）及び自由視点位置（青点）

0

図 基準パターンにおける静的領域の画像とその対応点（上段）および動的領域の全方位画像（下段）0本実験では，定量的画質評価の指標として先に述べたように 9

A を用いる．

9 A は以下の式で定義され，自由視点全方位画像とその真値となる全方位画像の一致度を評価する．


6B
9 A H    681
6B は画像の最大輝度値（各チャネル ( の画像の場合 ），68（6/%$ 8 ）は自由視点全方位画像と真値の全方位画像の平均二乗誤差である．9 A が大きな値となるほど両者に差が少なく，生成された自由視点全方位
画像は高画質と言える．以下では，基準パターンから各要因を変化させたときの9 A による評価結果を示す．そして，その評価結果を考察する．

 定量的画質評価結果とカメラ配置に関する考察
まず，基準パターンにおける画質評価結果を示す．図における 9

1 に，各自由視点位置

A の値をカラーマップとして示す．図中の色はその位置で生成された自由視点画像の画質を表し，暖色系の色であるほど画質が高く，寒色系の色であるほど画質が低いことを表す．このとき 9
は* ;$:<，平均値はA の最大値は 0* 1;$:<，最小値* ;$:< であった．図 1 から，自由視点位置が入力画像が撮影された位置に近いほど高品質の画像が生成できていることがわかる．特に，自由視点位置が配置されたカメラの位置にある場合には，生成された自由視
点画像と真値の画像の差を視認することはできなかった．生成画像の画質が低い
位置は，動物体の付近に集中している．これは，自由視点画像上の動物体の表現に 4% 2% を使用しているため，動物体の本来の形状と 4% 2% による形状の差が原因となっている．この形状の差は，自由視点位置が動物体に近づくにつれて画像上に大きく現れるため，9

A が低くなっている．しかし，図 0 に示すカメラ  と動物体を結ぶ直線上の自由視点位置では，カメラ  からの入力画
像と自由視点画像との視差が小さく，形状の差が少なくなるためその他の視点位置に比べ若干画質が良い結果となっている．図 に生成した自由視点全方位画

像（左）とそれに対応する真値の全方位画像（右）の例を示す．以下では，要因（）〜（8）のパラメータを変化させた場合の結果について述べる．

0図1 基準パターンにおける 9 A カラーマップ

要因（ ）：撮影対象とカメラ群との距離を変化させた場合
動物体位置とカメラ群の重心位置との距離を約 *， *， *  と変化させた

とき，生成した自由視点画像の画質がどのように変化するかを検証する．図に，動物体とカメラの位置関係を示す．動物体位置  のとき，動物体とカメラ群の重心位置との距離は約 * であり，基準パターンと同じ環境となる．動物体位

置 ， のとき，動物体とカメラ群の重心位置との距離はそれぞれ約 *

， * 

である．
要因（）の各パラメータにおける画質評価結果を図

に示す．図

上段が

動物体位置 ，中段が基準パターンと同様の動物体位置 ，下段が動物体位置 における 9

A のカラーマップと平均・最大・最小値である．動物体がカメラ群の重心位置から離れるに従い画質が上がっていることが確認できる．また，基準パターンでの画質評価の場合と同様にカメラ位置から自由視点位置が離れると画質が低下している．動物体とカメラ群重心との距離が約 * のとき，9 A の最* 1;$:< となっており真値と大きく異なる画像となっていた．これは，動物体の真の形状と 4% 2% の形状との差が自由視点画像上に大きく投影されるためである．動物体がカメラ群から離れると動物体の形状と 4% 2% の形
小値が状の差があった場合でも，その差は自由視点画像上では小さく投影されるため画質に与える影響は少ない．

0 1 ：9 A * ;$:<

   ：9 A *0;$:<   ：9 A 0* 1;$:<
図 生成した自由視点全方位画像（左）と真値の全方位画像（右）0動物体位置カメラ

2(-2400, 1623)

1(0, 1732)

動物体位置
動物体位置
0

(-1200, 1100)

1(-600, 839)

カメラ重心
(0, 577)

カメラ

カメラ

0

(-1000, 0)

図2(1000, 0)

撮影対象（動物体）とカメラ間の距離を変化させた場合の動物体・カメラの位置関係

要因（）：カメラ配置（各カメラの位置・カメラ間の距離）を変化させた場合
カメラ群の重心位置を固定してカメラ間の距離を， ， ，  と変化させたとき生成される自由視点画像の画質がどのように変化するかを調べる．図  に，カメラ配置を変化させた場合のカメラの位置関係を示す．図中赤丸で示すカメラ配 であり，基準パターンと同様である．図中緑丸はカメラ間の距離を  とした場合のカメラ配置，青丸はカメラ間の距離を  とした

置はカメラ間の距離が場合のカメラ配置を示す．また，環境中の動物体の位置は全てのカメラ配置において基準パターンと同様である．
要因（:）の各パラメータにおける画質評価結果を図

に示す．図

上段が

，中段が基準パターンと同様のカメラ間距離 ，下段がカメ
ラ間距離が  の場合の 9 A のカラーマップと平均・最大・最小値である．カ
メラ間距離が短いほど画質が高くなる傾向が確認できる．これは要因（）を変

カメラ間距離が化させた場合と同様に，カメラ間距離が短くなることで自由視点画像と入力画像間の視差が小さくなるからだと考えられる．カメラ間を とした場合，9 A

* 0;$:< となっており大きな画質の劣化が確認できる．これは自由視点位置と動物体の距離が非常に近くなり，要因（）の結果と同様に大きく画の最小値が質が劣化するためである．また，動物体が含まれない場合の画質評価も実施した

0

9 A：平均値 *;$:<，最大値 * ;$:<，最小値 * 1;$:<

9 A：平均値 * ;$:<，最大値 0* 1;$:<，最小値 * ;$:<

9 A：平均値 *0 ;$:<，最大値 *;$:<，最小値 * ;$:<
図

撮影対象（動物体）とカメラ群重心との距離を変化させた場合の 9

カラーマップと平均・最大・最小値（上段：約 *

* ）

00

Aの

，中段：約 *，下段：約4m(-2000, 1732)(2000, 1732)

1m(-500, 866)

(500, 866)

(0, 0)

2m(0, -1732)

 カメラ配置（各カメラの位置・カメラ間の距離）を変化させた場合のカメ

図ラの位置関係（赤丸：基準パターンと同じカメラ配置，緑丸：カメラ間距離がｍのカメラ配置，青丸：カメラ間距離が ｍのカメラ配置）（図参照）．動物体が含まれる場合同様に，カメラ間の距離が短いほど画質が高くなる傾向が確認できた．

要因（）：カメラの解像度を変化させた場合
カメラの解像度を，0   0 ， 画素に変化させたとき生成される自由視点画像の画質がどのように変化するかを調べる．動物体とカメラの位置関係は基準パターンと同様である．また，自由視点画像の解像度は入力
全方位画像の解像度を同じとする．
要因（-）の各パラメータにおける画質評価結果を図
像度を画素，中段が 0   0  画素，下段が

に示す．図



 

上段が解

画素の場合の9 A のカラーマップと平均・最大・最小値である．カメラの解像度を高くするに従い画質が向上する傾向にあることが分かる．これは図 0 に示すように，自由視点画像と真値の全方位画像間で誤差が生じる領域が自由視点画像上のエッジ周辺であるのに対して，解像度が高くなることでエッジ以外の領域の割合が増加し，

0

9 A：平均値 * ;$:<，最大値 *0;$:<，最小値 * 0;$:<9 A：平均値 * ;$:<，最大値 0* 1;$:<，最小値 * ;$:<

9 A：平均値 * 0;$:<，最大値 * ;$:<，最小値 * 0;$:<図

カメラ配置（各カメラの位置・カメラ間の距離）を変化させた場合の 9

のカラーマップと平均・最大・最小値（上段：カメラ間距離
距離，下段：カメラ間距離 ）01

A，中段：カメラ間9 A：平均値 * ;$:<，最大値 * 0;$:<，最小値 * 0;$:<9 A：平均値 * ;$:<，最大値 * ;$:<，最小値 * ;$:<

9 A：平均値 * ;$:<，最大値 * ;$:<，最小値 *;$:<図

動物体を含まずカメラ配置（各カメラの位置・カメラ間の距離）を変化させた場合の 9A のカラーマップと平均・最大・最小値（上段：カメラ間距離 ，
中段：カメラ間距離 ，下段：カメラ間距離 ）画像全体での画質が向上したと考えられる．一方，解像度を高くすることで計算コストが増加する．特に自由視点画像生成処理において ($ 4% 2%は計算コストの大部分を占め，解像度に対して線形に計算コストが増加する．

要因（）：カメラの数を変化させた場合

自由視点画像生成に用いるカメラの数を  台から 台に変化させたとき生成される自由視点画像の画質がどのように変化するかを検証する．要因（）の各パ

 に示す．図  上段がカメラ数が  台，下段が 台の場合の 9 A のカラーマップと平均・最大・最小値である．図  下

ラメータにおける画質評価結果を図

段中の青丸が基準パターンに対して追加したカメラ位置を示している．カメラ数を増加させた場合，若干の画質が向上が確認できるもののほとんど変化がなかった．この原因としては，動物体を撮影する視点数が増加したことで 4% 2% がより真の形状に近づくが，自由視点位置と追加されたカメラ間の距離が離れている場合には，6  処理（* * 節）において追加したカメラの重みが小さくなるため， 台のカメラを使用した場合と比較して画質の差が生じにくかったことが考えられる．また，カメラ数が増加することで自由視点画像生成に必要な計算コストが増加する．カメラ台数が  台から 台に増加した場合，計算コストの増加は約  ％である．

画質評価結果に関する考察
以上の画質評価結果から，次のことが確認できた．
（ ）撮影対象とカメラ群との距離
撮影対象（動物体）がカメラ群から離れた位置に存在する場合，撮影対象の真の形状と 4% 2% により推定された形状の差が自由視点画像上で顕著となり難いため，画質に与える影響は小さくなる．

（ ）カメラ配置（各カメラの位置・カメラ間の距離）
カメラ間の距離を短くするほど，入力全方位画像と自由視点全方位画像間の視差が小さくなるため，画質が向上する．

（ ）カメラの解像度

9 A：平均値 * ;$:<，最大値 0* 1;$:<，最小値 * ;$:<

9 A：平均値 * ;$:<，最大値 * 1;$:<，最小値 * ;$:<

9 A：平均値 *01;$:<，最大値 0* ;$:<，最小値 * ;$:<
図

カメラの解像度を変化させた場合の 9

最小値（上段：

A のカラーマップと平均・最大・
画素，中段：0   0  画素，下段：    画素）

0 エッジ周辺での画質劣化例（上段：真値の全方位画像，下段：自由視点全

図

方位画像）
カメラの解像度を高くすることで，誤差の生じ易いエッジ領域に比べそれ以外領域の割合が増加するため画質が向上する．ただし，計算コストは解像度に対して線形に増加する．

（ ）カメラの数
カメラ数を増加させることで，若干の画質向上があるものの，ほとんど変化がない．また，計算コストはカメラ台数の増加に従い増加する．

+（ ）自由視点位置
自由視点位置がカメラに近いほど，入力全方位画像と自由視点全方位画像
間の視差が小さいため画質の高い自由視点画像が生成される．
これらの各要因と画質の関係から，システムの利用者は環境にカメラを配置する
際に，あるカメラ配置に対してより画質を高くする必要がある場合には，撮影対9 A：平均値 * ;$:<，最大値 0* 1;$:<，最小値 * ;$:<

9 A：平均値 * ;$:<，最大値 * ;$:<，最小値 * ;$:<
 カメラの数を変化させた場合の 9 A のカラーマップと平均・最大・最小値（上段： 台，下段： 台）図

象とカメラ群の距離を離すこと，カメラ間の距離を短くすること，カメラの解像度を高くすることで自由視点画像の画質を高めることが可能である．ただし，撮影対象とカメラ群を離すことで入力画像と自由視点画像間の視差が小さくなるた
め，画像を観賞する際に視点を移動している感覚が減少することが考えられる．
また，カメラ間の距離を短くすることで同じカメラ数では視点移動範囲が狭くなるため，視点移動範囲を保つためにはカメラの台数を増やす必要がある．カメラの解像度を高めることについては計算コストの増加に繋がるため，インタラクティ
ブな映像提示を行うためには十分に高性能な計算機を利用する必要がある．
システムの利用者がより広い範囲を視点移動可能にしたい場合には，カメラ間の距離を離すこと，カメラ数を増やすことで対応可能である．ただし，カメラ間の距離を離すことで画質が低下するため，画質を保持するためには撮影対象とカ
メラ群の距離を長くすることやカメラの解像度を高くことによる対応が必要である．また，カメラ数を増やすことによって，計算コストが増加するためそれに対応可能な高性能な計算機を利用する必要がある．自由視点画像の画質や視点移動
可能範囲の要求に対しては上記のように対応することができる．
撮影環境によっては利用者が想定するようなカメラ配置が困難であることが考えられる．このような場合，本実験のようにカメラ群を正三角形状に配置できるとは限らない．しかし，カメラ群による三角形がどのような形状であっても，上に挙げた各要因と画質の関係から画質の変化が予測可能である．例えば，想定したカメラ配置が正三角形状であったが，カメラ設置の都合上視点移動可能な面積を縮小し，カメラ配置を変更する必要がある場合，想定していたカメラ配置に比べカメラ間の距離が短くなるため画質が向上すると考えられる．
・（:）
・（8）は入力画像と自由視点画像
各要因について考察すると，要因（）間の視差に関するパラメータと言える．要因（-）は撮影環境のテクスチャに依存するパラメータ，要因（）は 4% 2% の形状に関するパラメータと言える．

・（:）
・（8）による 9
画質評価結果から，要因（）A の変動は * 〜 * 0;$:<，
要因（-）による変動は * ;$:< 以下，要因（）による変動は * ;$:< となって

おり，入力画像と自由視点画像間の視差が最も画質に影響を与える要因であることが分かる．そして，その視差が大きいほど画質が低下し，小さいほど画質が高くなる傾向が確認できる．そこで本研究では，撮影環境に対してどのようにカメラを配置するかを決定するための入力画像と自由視点画像間の視差に基づく定量
的評価指標を提案する．次節に，提案するカメラ配置の定量的評価指標とその評
価指標による最適なカメラ配置の推定について述べる．

 視差に基づくカメラ配置の定量的評価指標と最適なカメラ配置の推定
前節での画質評価結果から入力画像と自由視点画像間の視差が画質に最も影響を与える要因であることが分かり，視差が小さいほど画質が高くなる傾向となることが分かった．本節では，入力画像と自由視点画像間の視差に基づき撮影環境に対して最適なカメラ配置を決定するための評価指標について述べる．そして，
その評価指標による最適なカメラ配置の推定方法と模擬環境における推定例について述べる．

視差に基づくカメラ配置の定量的評価指標
ある撮影環境  に対して設定された自由視点の移動可能範囲  において，自



由視点画像

 



の画質を最も高くするカメラ群 / の配置

以下の評価指標  の非線形最小化により得られる．


ここで  H

H  


¾

 



  ¾ Ú ¾

* $は画像上の座標， H











/




は，

 

   は  に投影される環境
は  次元空間中の座標を示す．そして， は * *
中の三次元点， H
節で述べた各カメラへの重み係数，   は視差を計算する関数である．
と   はそれぞれ以下の式で与えられる．



 



$







*

$

*















 

 


 

*  H
*






 
H
 





*
*



*





*












 
H
 


*
*









*

$
















 

ただし，/  H     H          

は，自由視点画像上の視差の平均を視点移動可能範囲内の自由視点数で平均化した評価指標であり，これが小さいほど視差が小さくなり画質の高い自由視点画像が得られる．次に， の非線形最小化処理について述べる．



の最小化による最適なカメラ配置の推定

撮影環境の形状  と自由視点の移動可能範囲  が与えられたとき， が最小となるカメラ配置

を非線形最小化処理により推定する．以下に非線形最小化の処理手順を示す．

"  自由視点の移動可能範囲

を取り囲むように初期カメラ配置

 を設定

する．

"  番カメラついて

が小さくなる位置にを微小距離だけ移動する．ただし，カメラを配置不可能な領域や，カメラ群からなる三角形が を包含しないような位置にはカメラは移動させないよう拘束を加える（図1 参照）．

"  カメラ番号を順に変更する．
" 
の変化がなくなるまで   を繰り返す．


以上の最適なカメラ配置の推定処理を室内を模した -E 環境に適用したカメ

，奥行き ，高さ  の室内を模した
環境 （図  中緑線）であり，その環境内の   の範囲（図  中青い領域）
を自由視点の移動可能範囲 とした．また，図  中の青い点は，  の評
ラ配置の推定例を示す．撮影環境は幅価を行う自由視点位置  である．

0

1 カメラ位置

図の拘束（左：カメラを配置不可能な領域への移動，右：

を包含しないカメラ配置への更新）

視点移動可能範囲V

カメラ位置P図図c

 室内を模した環境 ，自由視点位置の移動可能範囲

，に  の最小化処理によるカメラ配置

とカメラ配置の変化の様子と，最小化処理の繰り返し回数に対する  の変化を示す． の最小化処理が進むにつれ，カメラ間の距離が短くなっていることがわかる．また，この環境と初期カメラ配置では 0 回の繰り返し処理で  が最小となった．しかし，非線形最小化処理であるため推定されたカメラ配置は初期カメラ配置に依存する．
本節で提案したカメラ配置の評価指標は，入力画像と自由視点画像間の視差のみを考慮した指標であり，撮影環境のテクスチャ等は考慮していない．現実環境に図

非線形最小化処理によるカメラ配置の変化（左：初期状態，中央：繰

り返し回数 0 回，右：繰り返し回数 0 回）
0.35
0.3
0.25
xa
ll
a
ra
p

0.2

E 0.15
0.1
0.05
0
1

5

図

9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73

繰り返し回数 [回]

非線形最小化処理による  の変化

おいて，より利用者の要求に応じたカメラ配置を行うためには，本節で提案した評価指標により推定したカメラ配置からさらに，前節での考察を基にしたカメラ
位置の調整を行う必要がある．

1

遠隔地側 利用者側
全方位カメラ
動物体

ライブ映像サーバ

トラッカ付き位置・姿勢センサ

トランスミッタ

自由視点画像生成
クライアントRouter/Hub

自由視点画像生成
クライアント
図

HMD

利用者

利用者

 ハイスケーラブル自由視点テレプレゼンスシステムの構成

 ハイスケーラブル自由視点テレプレゼンスシステム

, システムの設計方針と概要
* 節で述べた多視点全方位映像からの自由視点画像生成手法を用い，複数の利用者に自由視点画像を実時間提示可能なハイスケーラブル自由視点テレプレゼ
ンスシステムを提案する．提案システムは，遠隔地で撮影された複数の全方位ライブ映像をネットワーク上でマルチキャスト配信し，利用者はそのライブ映像から生成された自由視点映像を遠隔にいるかのように歩行・見回しをしつつ，高臨
場感で観賞可能である．
図 に，提案システムの構成を示す．本システムは遠隔で撮影された全方位映像群を配信するライブ映像サーバと配信された全方位映像群から実時間で自由視点画像を生成し，利用者に提示する自由視点画像生成クライアントからなる．
ライブ映像サーバは，接続された全方位カメラからの映像をマルチキャストプロ
トコルを用いてネットワークに配信する．これにより，利用者が増加してもネッ
トワークの負荷が増加しないハイスケーラビリティが実現される．システムの利
用者は，26 と位置姿勢センサからなる視線追従型の映像観賞やマウスやキー
ボードによるインタラクティブな映像観賞が可能である．

1

自由視点画像生成クライアント
オフライン処理
静的領域の対応点入力
オンライン処理
全方位画像とマスク画像の受信
全方位画像の復号化
視点・視線情報の取得
自由視点全方位画像生成
平面透視投影画像の提示

ライブ映像サーバ

オフライン処理全方位カメラのキャリブレーション
オンライン処理
全方位画像の取得
静的領域と動的領域の分離
全方位画像の圧縮符号化
全方位画像とマスク画像のマルチキャスト配信
図

プロトタイプシステムの処理の流れ

, サーバ・クライアントの処理内容
本システムでは，ライブ映像サーバと自由視点画像生成クライアントの両方で，事前に計算可能なデータを生成しておくオフライン処理を行うことで，オンライン処理を効率的に行う．さらに，ライブ映像サーバにおいて利用者の視点位置に依存しない背景差分処理を行うことで，自由視点画像生成クライアントの負荷を軽減させる．図に，本システムの処理の流れを示す．また，以下にオフライ

ン・オンライン処理について図に従って説明する．

（ ）オフライン処理
まず，予め計算可能な以下のオフライン処理をしておく．

ライブ映像サーバ

・ 環境中の多地点に配置された各全方位カメラの内部・外部パラメータのキャリ
ブレーションを * 節で述べた方法により行う．
・ 全方位画像中の 隅付近や画像上に投影されたカメラ部は処理する必要のない

1

無駄な領域なので，これらの領域が処理対象にされないようにマスク画像（ 値画像）を生成する．
・ * * 節で述べた背景差分処理により背景画像を生成する．

自由視点画像生成クライアント
・ * * 節で述べた静的領域の自由視点画像生成に必要な対応点を予め手動で与える．
・ * * 節で述べた動的領域の自由視点画像生成の際に，自由視点画像中のある画素と自由視点位置を結ぶ直線のベクトル（空間直線ベクトル）が必要になるので，このベクトルは予め自由視点画像上の画素と対応づく状態で計算・保持する．
・ ライブ映像サーバと同様に処理する必要のない無駄な領域を計算しないためのマスク画像を生成する．

（ ）オンライン処理
オンライン処理では，時々刻々と取得する全方位動画像から実時間での自由視点画像生成処理を行う．

ライブ映像サーバ
．多視点全方位画像を取得し，背景差分処理により動的領域のマスク画像（ 値画像）を生成する．

．多視点全方位画像を J98E に圧縮符号化する．
．圧縮符号化した多視点全方位画像と動的領域のマスク画像に画像撮影時時刻
をタイムコードとして付加したものをパケット化し，マルチキャスト配信する．

自由視点画像生成クライアント
1．圧縮符号化された全方位画像と動的領域のマスク画像を受信し，それらに付加されたタイムコードが多視点画像の全てで一致した場合以下の処理を行う．ただし，図に示すようにクライアントの受信バッファに異なる時刻のタイムコードの画像が入力された場合，古いタイムコードの画像は破棄
して新たに多視点画像の受信を待つ．

．圧縮符号化された全方位画像を復号化する．
．磁気センサやマウス・キーボードから利用者の視線方向・視点位置の情報を取得する．

．利用者の視線・視点情報を基に * 節で述べた自由視点画像生成処理を行う．実

装上の工夫として，静的領域の自由視点画像生成（* * 節）の際，三角形パッ
チ内部の画素に対する画素値のブレンディング処理については，3E= を用いて E9> による高速な計算を行う．また，3E= による計算で生成された自由視点全方位画像は E9> のフレームバッファ上に存在するので，後の合成処理を高速に行うために 9- のメインメモリに戻さず E9> のフレー

ムバッファ上に保持しておく．
動的領域の自由視点画像生成については，* * 節で述べた動物体の存在領域推定に基づく計算量削減に加え，利用者の視線方向の画素のみを 4%

2% の計算対象とする．動的領域の自由視点画像は 9- のメインメモリ上に保持されている．後の合成処理を高速に行うため，自由視点画像上で動的領域が存在しない画素についてはアルファ値（不透過度）として  を設定する．
静的領域と動的領域の合成処理についても E9> の機能を利用した高速な処理を行う．具体的には，フレームバッファ上に保持されている静的領域の自由視点画像上に，アルファ値（不透過度）が設定された動的領域の自由視
点画像をテクスチャとした長方形の平面をレンダリングし，重ね合わせる．

．自由視点全方位画像を生成後，生成された全方位画像を平面透視投影変換する．
この際，フレームバッファ上の自由視点全方位画像をそのままテクスチャ画

1

図

ライブ映像サーバでのタイムコード付加と自由視点画像生成クライアント

での受信処理像として利用し，E9> の機能と式   を利用した高速な変換処理 ;3771<を行う．

,．生成された平面透視投影画像を利用者が装着した 26 やモニタに表示する．
以上の処理を繰り返し行い， * 節で述べた 〜 の機能を満たしたテレプレゼ
ンスを実現する．

1

 複数の利用者による実時間自由視点テレプレゼンス実験
本節では，前節で提案したハイスケーラブル自由視点テレプレゼンスシステムの機能実証実験及び，複数の被験者による主観評価実験について述べる．以下ではまず，提案システムの詳細な機器構成を説明する．次に，提案システムが要求
機能 〜 を満たすことを実証するための機能実証実験について述べる．そして，
提案システムの有効性を被験者の主観評価により確認する．

- システムの構成と実験環境
図 に示したハイスケーラブル自由視点テレプレゼンスシステムを実装したプロトタイプシステムについて述べる．本システムは，遠隔地に配置した全方位カメラの画像をマルチキャスト配信する 9-（ライブ映像サーバ）と，利用者側で映像を受信し自由視点画像を生成する 9-（自由視点画像生成クライアント）からなるサーバ・クライアント型システムである．以下に遠隔地側と利用者側の機器構成を詳述する．

ライブ映像サーバの構成888 1 で接続可能な全方位カメラ（末陰産業製 33 ） 台を設置し，それらをすべてライブ映像サーバに接続する．ライブ映像サーバと自由視点画像生成クライアントは，ネットワーク（ E(）で接続されている．ライブ

映像サーバは， 台の全方位カメラからの全方位画像と背景差分処理によって得られる動的領域のマスク画像を自由視点画像生成クライアントにマルチキャスト
配信する．

自由視点画像生成クライアントの構成

自由視点画像生成クライアントは， 視点の全方位画像とそれらに対応する 

つのマスク画像（ 値画像）を受信し，自由視点画像を生成する．その際，自由視点画像生成クライアントに接続された電磁気センサ（9 % 社製 9-81図電磁気センサ（左）と電磁気レシーバ付き 26（右）,A?）やマウス・キーボードからの利用者の視線方向・視点位置情報を基に自由視点画像を生成する．利用者の視点位置を比較的広い範囲で計測するために，
電磁気トランスミッタにはロングレンジャ（図用者は，図左）を使用する．システムの利

右に示す電磁気レシーバ付き 26（オリンパス光学製 ,60）を装着し，遠隔地にいるかのように視線方向・視点位置を変え，提示画像を観賞する．表 に使用した全方位カメラとライブ映像サーバ・自由視点画像生成クラ
イアントの詳細を示す．

- システムの機能実証
プロトタイプシステムにより，ハイスケーラブル自由視点テレプレゼンスの機能実証実験を行った．本実験では，提案システムが実時間ネットワークテレプレ
ゼンスシステムに要求される機能 〜 のすべてを満たすことができることを確認する．そのために，動的環境下で撮影される全方位ライブ映像を用いて複数の利用者が同時に自由視点テレプレゼンスを行い，ネットワークの負荷が増加しないことを確認する．

1

表

プロトタイプシステムの機器構成

全方位カメラ

ライブ映像サーバ
自由視点画像生成クライアント

自由視点画像生成クライアントA % F
' ;画素<
6'* & F;&<,$ & #"F2 ) F ;度<4F ;度<-9>F 9% * E2)-9>F 9% 1 
E9>F
4$ E, 0E
-9>F 9% * E2)
E9>F
4$ E,  Eシステムの利用者は二人とし，一人は 26 と位置・姿勢センサの組み合わせた視線追従型映像提示により遠隔地に居るかのように環境を歩行し，観賞を行う．
この利用者を利用者 とする．もう一人は液晶モニタにより提示される映像を観賞し，視点位置の変更をキーボードの矢印キーで，視線方向の変更をマウスのドラッグ操作で行うことができる．この利用者を利用者 とする．本実験の環境は0 左に示す室内環境であり， つの全方位カメラを配置している．撮影環境中の動物体として，二人の人物に動き回ってもらった．* 節で述べた全方位カメ

図ラの内部・外部パラメータのキャリブレーション手法により推定された各全方位
カメラの位置・姿勢を図 0 右に示す．図中の黒い点はレーザレンジファインダで計測したマーカであり，錐体が推定されたカメラの位置・姿勢を表している．そ10

全方位カメラ図

0 実験環境（左）と推定されたカメラ位置（右）れぞれのカメラが概ね正しく推定されていることが分かる．各カメラ間の距離は

 程度とし，静的領域の対応点は予め 0 点手動で与えた．またライブ映像サー
バは，計算機の性能の制限から & でデータを送信するよう設定した．
図  1 に遠隔地と利用者 の様子，そして自由視点画像生成クライアントが生成した自由視点全方位画像と各利用者の視線情報を基に平面透視投影変換を

 は動物体を含まず，図 1 は動物体が環境に存在する時の提示画像を示している．利用者  共に遠隔の動的環境をインタラクティ

行った視界画像を示す．図

ブに観賞することができることを確認した．このとき，各利用者に提示される視界画像の計算には フレームにつき約

〜  必要であった．その内訳は，マルチキャスト配信された全方位画像と動的領域のマスク画像の取得及び復号化処理に約 ，静的領域の自由視点画像生成に約
生成に約，動的領域の自由視点画像 となっている（表 参照）．ただし，動的領域の自由視点画像生

成は，自由視点画像上に投影されれる動物体の面積によって大きく処理時間が変動する．図 0 に実験時，ライブ映像サーバがネットワークに送信していたデータの帯域を示す．ライブ映像サーバは，図中の時刻  に全方位画像とマスク画像の配信を開始した．その 秒後利用者 が，

秒後利用者 がテレプレゼンスを開始した．複数の利用者がシステムを利用しているにもかかわらずサーバが送信するデータ量は一定であり，利用者数の増加に対するスケーラビリティを有していることが確認できた．これらの結果から，要求機能 〜 のすべての機能が満1

表

自由視点画像生成クライアントでの処理時間の詳細
全方位画像とマスク画像の受信 約 
全方位画像の復号化
視点・視線情報の取得
静的領域の自由視点画像生成
動的領域の自由視点画像生成
平面透視投影変換

約 
約 
約 
約 
約

たされていることを確認した．
本実験では，観賞スポットに  台のカメラのみが配置されており，それらのカメラを必ず使用するためシステムの利用者が二人以上になるとネットワーク負荷に関してユニキャストプロトコルよりマルチキャストプロトコルが優位と言える．
しかし，観賞スポットに 台以上のカメラが配置されていた場合，そのうち  台のカメラしか使用されない場合も考えられる．このような場合， 台以上のカメラが常に画像をマルチキャストで送信し続けるのはネットワーク帯域の無駄であり，使用するカメラの画像のみを送信するユニキャストの方が優位になる．マルチキャストプロトコルにより画像を配信する場合，使用されていないカメラからは画像を配信するのを停止させる機能を追加することで無駄を解消できると考えられる．
提案システムでは利用者の視点位置・視線方向に追従した視界画像の提示を実現したが，そのフレームレートは約 〜0& であり滑らかに映像が提示されているとは言い難い．視点・視線に追従した映像を滑らかに提示するには，最低でも& で自由視点画像を生成する必要がある．そのためには，全体の処理時間を約半分にしなければならない．提案した自由視点画像生成手法のうち最も処理時間を要するのは動的領域に対する ($ 4% 2% である．この処理は，処理対象画素数に比例した計算コストを要する．プロトタイプシステムでは，デュアルコアプロセッサによる並列処理を行っているが，近年普及を始めているクアッドコアプロセッサを利用することでこの処理時間は約半分にすることが可能と考11

えられる．また J98E の復号化処理は現在シングルスレッドで行っているため，この処理についても並列で行うことで，高速化が可能である．静的領域の自由視 は，主に多視点画像を E9> のビデオメモリに転送する際にかかる時間である．9- のメインメモリとビデオメモリ間のバスの帯域は現在広帯域化が進んでいるため，近い将来  以内での転送が可能にな

点画像生成手法に要する約ると考えられる．以上のことから，計算機の性能向上により自由視点画像生成を& 以上で行うことは近い将来達成可能であると考えられる．
サーバ・クライアント間のネットワーク環境も自由視点画像生成のフレームレー
トに影響を及ぼす．ネットワークの帯域がシステムに及ぼす影響には，全方位画
像とマスク画像の送受信に要する時間と全方位画像の圧縮率の二点が考えられる．
全方位画像とマスク画像の送受信に要する時間とネットワーク帯域の関係は次式で表される．
送受信時間 H

送受信データ量ネットワーク帯域

 

ネットワーク帯域が広いほど送受信時間は短くなり，帯域が狭いほど送受信時間は長くなる．プロトタイプシステムにおいて，サーバ・クライアント間の実効デー
タ転送レートは約  6( であり，自由視点画像 フレームを生成するために必要な多視点画像とマスク画像（約 ?:）を伝送するのに要する時間は  未満であった．ネットワーク帯域が本実験環境の半分の 0 6( に制限されていた場
合，送受信時間はそれぞれ 以上必要となり，フレームレートが低下を招くことになる．ネットワーク帯域が狭い場合にフレームレートの低下を防止するためには，送受信データ量を少なくする必要がある．提案システムでは，ライブ映
像サーバは全方位画像とマスク画像を送信するが，マスク画像については J98E
等の画像圧縮符号化を行うと動物体の検出結果に誤差が生じるため画像圧縮符号化は行わない．全方位画像に対しては J98E による画像圧縮符号化を行っているため，この画像圧縮符号化の圧縮率を高めることで送受信データ量を減少させることが可能である．ただし，圧縮率を上げることで画質が劣化するため，システ
ムの利用者は送受信時間とデータ量のバランスを適切に調整する必要がある．
また，データ伝送のジッタ（時間遅延のゆらぎ）や時間遅延，データのロストもフレームレートに影響を及ぼす要因である．プロトタイプシステムでは，* * 節

で述べたようにタイムコードが一致する多視点画像とマスク画像を受信するまでは以降の自由視点画像生成処理を行わない．そして，同一のタイムコードが付加された多視点画像とマスク画像が全て到達する前に，別の時刻のタイムコードが付加された画像が到達するとそれまでに受信した画像群は破棄し，新たに同一のタイムコードが付加された画像群が到達するまで受信待ちを行う．そのため，ネッ
トワーク上で多視点画像のうち一部のデータがロストした場合，その画像群が撮影された時刻のタイムコードを持つデータはすべて破棄され，次の時刻の多視点
画像の到達を待つ必要がある．プロトタイプシステムでは，サーバは & で多視点画像とマスク画像を送信しており，データをロストした場合には，約 後に到達する多視点画像とマスク画像を待つ必要がある．ロストが発生していない場合でも，ジッタによってサーバでのデータの送信順序とクライアントでのデー
タの受信順序が入れ替わった場合には，データの一部がロストしたと判断し，次の時刻の画像群の受信を待つ．また，本実験では一台のライブ映像サーバが多視点画像を配信しているため，データ伝送の時間遅延は各画像においてジッタの影
響はあるもののほぼ同じである．しかし，図 0 のように自由視点画像の生成に必要な多視点画像が異なるサーバから配置される場合，各サーバが配信した画像がクライアントに到達するまでの時間遅延はネットワークの経路によって差が生じる．この差が大きい場合，ジッタによる影響と同様に受信バッファに異なる時刻のタイムコードを持つ画像が入力され，データを破棄するため自由視点画像生成が行われない．これらジッタや時間遅延の影響を受けないためには，本実験環境
ではジッタは約 10 未満（画像の送信周期  カメラ 台当たりの送信データ量
ネットワーク帯域  サーバに接続されたカメラ数 0）でなければならない．

複数のサーバから配信された画像から自由視点画像を生成する場合は，時間遅延は約（画像の送信周期）未満でなければならない．また，自由視点画像生

成クライアントの受信バッファを大きくし，数フレーム分の多視点画像を蓄積可能にすればこれらの影響を軽減できる．その場合，画像の取得から提示までの時
間遅延は大きくなるが，提案システムでは時間遅延の影響を受けることなくイン
タラクティブな観賞が可能である．



（ ）

（(）

（）

（$）

 自由視点テレプレゼンスにおける遠隔地（）と利用者 の様子（(）及び利用者 の位置・姿勢情報を基に生成された自由視点全方位画像（）と平面透視
投影画像（$）
図



（ ）

（(）

（）

（$）

1 自由視点テレプレゼンスにおける遠隔地（）と利用者 の様子（(）及び利用者  の視界画像（，$）
図

20

]s
pb 15
M
[e
ta 10
r
at 5
a
D
0
0

3

6

9 12 15 18 21 24 27 30 33 36 39

Time[s]図 0 ライブ映像サーバの動作開始後のネットワーク負荷



図0

複数のライブ映像サーバによる多視点画像配信で発生する時間遅延

- 主観評価による有効性の検証
本節では，提案したハイスケーラブル自由視点テレプレゼンスシステムの有効性の確認のために実施した複数の被験者による主観評価実験について述べる．本研究で提案したテレプレゼンシステムは，従来のシステムに対し高いスケーラビ
リティと視点位置・視線方向を自由に変更可能なインタラクティブ性を実現している．しかし，* * 節に示したように利用者に提示される自由視点画像は実際にその場で得られる画像に比べ画質が低下することになる．この画質の低下による影響が利用者の動作に応じた映像提示による臨場感向上の妨げになることが考えられる．そこで，提示映像の画質を視点追従性より重視するシステム  と，本研究で提案したシステムそのものである提示映像の視点・視線追従性を画質より重視するシステム : による比較により，画質と視線・視点追従性，そしてそれらを総合して感じられる臨場感において，どちらのシステムが優れるかを複数の被験者により評価してもらった．以下にその評価方法と，その実験の評価結果について述べる．

評価方法

まず，評価に用いるシステム  と : について述べる．システム  は，提示映像の画質を重視し自由視点画像生成を行わず，入力全方位画像に平面透視投影変換を行った視界画像を利用者に提示する．その際，利用者の視点位置と最も近い
実カメラの全方位画像を利用する．システム : は，本研究で提案した自由視点テレプレゼンスシステムそのものである．両システムの構成は，利用者側に関しては先に述べたプロトタイプシステムと同様であるが（図 参照），実時間での映像の取得は行わず予め撮影し，蓄積した多視点全方位映像を用いて実験を行った．
これは，各被験者に提示される仮想環境を同一にすることで，実験条件を合わせる意味がある．
「画質」「視点・視線追従性」「臨場感」の被験者はシステム  と : を体験し，「: より  がよい」
「どちらともそれぞれの評価項目に関して「 より : がよい」
言えない」の三択で評価を行う．
「画質」は綺麗・自然と感じるほど，「視線・視点追従性」は動作に応じて提示映像が変化しているほど，「臨場感」は映像に写っている場所にいる感覚が強いほど良い評価を与えるよう各システムの体験前に各被
験者に説明した．また，提示映像や被験者の視点位置に関していくつかのパターンを用意し，それぞれのパターン毎にシステム : を体験し，各評価項目を評価した．以下にそのパターンを示す．

 視点位置を広い範囲で動かした場合（静的環境）

提示される映像中に動物体は含まれず，被験者は  つの全方位カメラから成る三角形内をなるべく大きく視点が変化するよう動く．

 視点位置とカメラとの位置が近い場合（静的環境）
提示される映像中に動物体は含まれず，被験者は実カメラの位置付近で観賞を行う．

 視点位置とカメラとの位置が遠い場合（静的環境）
提示される映像中に動物体は含まれず，被験者はどの実カメラからも離れた位置で観賞を行う．

 視界画像の更新レートを統一した場合（静的環境）

提示される映像中に動物体は含まれず，被験者はシステム  と : で視界画

像の更新レートを統一した映像の観賞を行う．視点位置はパターン 同様
なるべく大きく視点位置が変化するよう動かす．

 視点位置を広い範囲で動かした場合（動的環境）
提示される映像中に動物体が存在し，被験者は  つの全方位カメラから成る三角形内をなるべく大きく視点が変化するよう動く．

, 視点位置とカメラとの位置が近い場合（動的環境）
提示される映像中に動物体が存在し，被験者は実カメラの位置付近で観賞を行う．

- 視点位置とカメラとの位置が遠い場合（動的環境）
提示される映像中に動物体が存在し，被験者はどの実カメラからも離れた位置で観賞を行う．

. 視界画像の更新レートを統一した場合（動的環境）

提示される映像中に動物体が存在し，被験者はシステム  と : で視界画像の更新レートを統一した映像の観賞を行う．視点位置はパターン 同様なるべく大きく視点位置が変化するよう動かす．
被験者は各パターンについて各システムを約 分間体験する．
本実験で被験者に提示した映像は，本学ミレニアムホール前の屋外環境である（図 0 参照）．被験者として，本研究で提案するシステムに関する詳しい知識を持たず，本学のミレニアムホールに行ったことのある名に参加してもらった．

本学ミレニアムホールに行った経験があることにより，各システムを体験した際の臨場感に関する評価が正しく行われることが期待できる．

評価結果
表 に名の被験者による評価結果を示す．これらのパターン・評価項目のうち，有意水準 ％のもとで「 より : がよい」「: より  がよい」
「どちらとも言えない」の三択間に統計的有意な差が確認された項目は赤色で示している．画質に関しては，全てのパターンにおいて提案システムである : よりもシステム  が良いという結果となった．このことから被験者には，はっきりとシステム : が生成した自由視点画像が入力画像よりも劣ると判断できることが分かる．特に，環境に動物体が存在しているパターン 〜 では，: よりも  が高評価であることが図0

実験時に被験者に提示された映像が取得された環境（本学ミレニアムホール前）
顕著に現れている．これは動物体の自由視点画像生成の際にアーティファクトが発生してしまうことが原因と考えられる．視点・視線追従性に関しては，環境に動物体が存在し視点位置を大きく動かしたパターンにおいて，提案システムであるシステム : が良いという結果を得ている．これは動物体が比較的実カメラに近い位置に存在しており，システム  ではカメラの切り替わりによって動物体の居る方向が大きく変化してしまい，動物体が消えたかのように感じてしまうことが原因として考えられる．これに対し，システム : では視点位置の変化に対して連続な映像提示が行えるため，そのような違和感を感じることがなかったことが高評価に繋がったと考えられる．臨場感に関しては，動的環境であまり視点を動かさなかった場合にはシステム  が良いという結果になっている．これは，視点を動かさないため，システム : の自由視点画像生成の効果がほとんど影響しなかったため画質の良いシステム  が総合的には良いと判断されたと考えられる．しかし，パターン  においては，システム : の方が臨場感が高いという結果になっている．システム  の方が自由視点画像生成を行わないため映像提示の更新レートが高いが，システム  にシステム : と同様な計算負荷を与えることで更新レー

トを統一すると，統一前よりシステム  の視線方向に関する追従性が低下するた

め，総合的にみてシステム : の方が高評価になったと考えられる．今後，計算機の高性能化により，システム : の提示映像の更新レートも高くなることが予想されるため，システム  よりも高臨場感となる可能性がある．

0

表名の被験者による評価結果（単位：人）

画質
視点位置を
広い範囲で動 視線・視点追従性
かした場合
臨場感
画質
視点位置と
視線・視点追従性
静 カメラとの位置が近い場合臨場感
的画質
環 視点位置と境 カメラとの位 視線・視点追従性
置が遠い場合臨場感
画質
視界画像の更新レートを 視線・視点追従性
統一した場合臨場感
画質
視点位置を
広い範囲で動 視線・視点追従性
かした場合
臨場感
画質
視点位置と
視線・視点追従性
動 カメラとの位置が近い場合臨場感
的
環 視点位置と画質
境 カメラとの位 視線・視点追従性
置が遠い場合臨場感
画質
視界画像の更新レートを 視線・視点追従性
統一した場合
臨場感
1.

2.

3.

4.

5.

6.

7.

8.



A>B A=B A<B
9
3
0
3
3
6
6
1
5
6
6
0
8
2
2
6
5
1
10
1
1
3
4
5
6
1
5
10
2
0
4
1
7
7
1
4
11
0
1
1
1
10
5
4
3
12
0
0
3
9
0
12
0
0
11
0
1
4
5
3
9
2
1
11
0
1
1
1
10
2
1
9



結言

本章では，前章で提案したハイスケーラブルな実時間ネットワークテレプレゼ
ンスシステムを基に，多視点全方位映像からの実時間自由視点画像生成処理を加えたハイスケーラブル自由視点テレプレゼンスシステムを提案した．そして，提案システムのプロトタイプを用いた機能実証実験により，要求機能 〜 を全て満たすことが可能であることを示した．また，複数の被験者による主観評価実験により，提案システムの有効性を示した．
本章で提案したハイスケーラブル自由視点テレプレゼンスシステムは，画像の圧縮符号化に J98E を利用しており，少ない時間遅延で遠隔の環境を観賞可能である．そのため，本システムを保育施設に適用することで複数の親が同時に現在の子供の様子を見ることができるシステムが実現可能である．ただし，そのようなシステムに適用する場合には 5( ブラウザ等で簡単に観賞が可能なインタ
フェースにすることなどの検討が必要になる．また，本システムを監視システムに適用することで，カメラのスイッチングによるカメラ映像の切り替えを行うシ
ステムに比べ，監視環境と監視カメラの位置関係が把握しやすいシステムを実現できると考える．
機能実証実験において利用者に提示された画像は，画質評価実験と同様に，自由視点位置が全方位カメラに近いほど，良好な結果となった．しかし，機能実証
実験では動物体がほぼ直立状態であったため，画質評価実験のような実際の物体の形状と 4% 2% の形状の差が表れにくくなっており，自由視点位置が動物体に近い場合にもあまり画質の低下を感じることはなかった．画質評価実験の静的環境は，撮影対象とカメラとの距離が比較的離れていたため各カメラの画像上
で同様に映る部分が多く，自由視点画像を生成した際にも大きな歪みは見られなかったが，本実験環境では撮影対象とカメラとの距離が短く，各カメラで同様に撮影できない部分がいくつか存在し，対応点が与えられない部分があった．その影響で，自由視点位置がカメラから離れた場合に，対応点が与えられていない部
分に大きな歪みが発生していた．また，相互のカメラが各全方位画像中に映っているため，自由視点位置において半透明なカメラが設置されているように見えることがあった．これは，6  の際の画像のブレンディングによる影響であ1るが，別のカメラが映っている領域に対しては，ブレンディングの比率を変更することで，この映りこみは減少させられると考える．



 結論


本論文のまとめ

本論文では，遠隔の観光地や名所の風景をインタラクティブに観賞するようなアプリケーションへの応用を想定し，複数の利用者が遠隔地の動的環境中を実時間かつ自由な視線方向・視点位置で観賞可能なハイスケーラブル自由視点テレプ
レゼンスを提案した．提案システムは，実時間ネットワークテレプレゼンスシス
テムに要求される以下の 〜 の機能を全て満たすシステムである．

 全方位の動的環境の仮想化： 撮影環境中の多地点に全方位カメラを配置し，同期撮影することにより実現．

 映像の実時間ネットワーク伝送： 多地点全方位映像をネットワークを介して伝送することで実現．

 利用者の動作に応じたインタラクティブな映像提示： 多視点全方位映像からの実時間自由視点画像生成により実現．

 利用者数に対するスケーラビリティ： 利用者の視点位置・視線方向に依存しない全方位映像のマルチキャスト配信により実現．
本研究では，この自由視点テレプレゼンスシステムの実現のために，従来の全方位映像を用いたネットワークテレプレゼンスシステムに関して問題とされていた，要求機能 - の視点位置に応じた映像提示と要求機能  の利用者数に対するス
ケーラビリティの改善を行った．従来のシステムは，遠隔地の映像をネットワー
ク伝送することには対応していたが，ユニキャストによる映像配信を行っていたため，利用者数に比例したネットワーク帯域とサーバの処理コストが必要であった．これに対し，全方位映像は利用者の視線方向には依存しないという特徴を利用して，それらをマルチキャストプロトコルを用いて配信することにより，利用者数が増加してもネットワーク帯域とサーバの処理コストの増加しない実時間ネッ
トワークテレプレゼンスシステムを実現した．これにより要求機能  を満たした．さらに，利用者のユーザビリティも考慮した 5( ブラウザベース全方位映像

ビューアにより，誰でも簡単に全方位映像コンテンツの観賞が可能なシステムとした．
この実時間ネットワークテレプレゼンスシステムの残された課題であった，要
求機能 - の利用者の視点位置に応じた映像提示を，多視点全方位映像からの実時
間自由視点画像生成により解決した．撮影環境中の多地点に配置した全方位カメラにより同期撮影することで，動的環境の仮想化に対応し，広範囲の動的環境において実時間で自由視点画像を生成するため，撮影環境を静的領域と動的領域に分離し，それぞれの領域に対して適した自由視点画像生成手法を適用した．また，処理コストの高い動的領域に対しては，動的領域の存在領域推定を併用した高速な自由視点画像生成を実現した．この自由視点画像生成技術を実時間ネットワー
クテレプレゼンスシステムに組み込み，ハイスケーラブル自由視点テレプレゼンスシステムを実現した．そして，本システムを用いた機能実証実験により，要求
機能 〜 が全て満たされることを確認した．また，複数の被験者による主観評
価実験により，自由視点画像生成による利用者の動作に追従した映像提示が，視点追従性の向上及び高臨場感の実現に有効であることを確認した．

 今後の検討課題
今後の検討課題には，自由視点画像の画質とフレームレートの向上，システム
をより広域の空間に対応させるためのスケーラビリティの実現が挙げられる．定量的画質評価や主観評価実験による結果からも，入力画像に対して生成した自由視点画像の画質は低下しており，これが臨場感を損なう一因と考えられる．また，自由視点画像生成の計算コストにより従来の全方位映像を用いたテレプレゼンス
システムに比べフレームレートが低下していることも，臨場感を損なう原因と考えられる．自由視点画像の画質低下の原因としては，全方位カメラの内部・外部
パラメータの推定精度が不足していることが考えられる．本研究での全方位カメ
ラ 2!3 4  のキャリブレーションは，双曲面ミラーの回転軸とカメラの光軸が一致していることを仮定し，パラメータを推定しているが，実際の全方
位カメラは，ミラーとカメラの設置不良によりそれらは一致していない．そのため推定した各パラメータに誤差を生じ，自由視点画像生成にその誤差の影響が現れたと考えられる．よって，今後はより高精度なキャリブレーション手法を用いることを検討すべきである．また自由視点画像生成処理についても，生成した自由視点画像にアーティファクトが発生しているかどうかを自動的に判断する処理を加え，それが発生していた場合にはより自然な画像となるよう修正するような機能が必要である．このような処理は非常に高い計算コストを要するが，マルチコア -9> や E9> の利用により近い将来実時間でも実行可能になると考える．またフレームレートについても計算機の高性能化により改善が期待できる．
システムをより広域の空間に対応させるためのスケーラビリティに関して，今後あらゆる場所にネットワーク接続されたカメラが配置されることが想定されるため，それらを利用して遠隔のあらゆる場所を観賞可能なシステムが実現できると考えられる．そのためには，全方位カメラだけでなく通常のカメラや魚眼レンズによる広角なカメラも統一的に利用可能なフレームワークが必要である．あらゆる種類のカメラを利用可能なシステムとすることで，撮影環境に適したカメラを配置することが可能となり，自由視点画像生成に利用可能な映像が増えることにつながり，より広範囲の視点移動が可能なテレプレゼンスシステムが実現可能
と考える．



謝辞
全過程を通して細やかな御指導を賜りました，視覚情報メディア講座 横矢 直
和 教授に心より感謝致します．特に，研究ミーティングや発表論文の添削においては，数々の印象に残る御言葉を頂きました．また，横矢教授は国内外において研究成果を発表する多くの機会を与えて下さりました．
本研究に関して，御助言，御鞭撻頂いたロボティクス講座 小笠原 司 教授に厚く御礼申し上げます．
本研究の遂行にあたり，御助言，御鞭撻頂いたインターネット・アーキテクチャ
講座 砂原 秀樹 教授，藤川 和利 准教授に厚く御礼申し上げます．また博士前期課程において，実験環境の整備や研究に関しての御助言を頂いた ( 中村 豊
助手（現，九州工業大学 准教授），佛圓 裕一 君に深く感謝致します．
奈良先端科学技術大学院大学

世紀 -38 プログラム「ユビキタス統合メディアコンピューティング」拠点リーダ千原 国宏 教授をはじめ，本研究を進めるにあたり有益な御助言や励ましの言葉を頂いた同プログラムのコアリーダおよび各研
究グループの諸先生方，事務補佐員の皆様，研究員の皆様に深く感謝いたします．
そして，本研究の全過程を通して温かい御指導をして頂いた視覚情報メディア講座 山澤 一誠 准教授に深く感謝申し上げます．物心両面において熱く御支援を頂いた視覚情報メディア講座 神原 誠之 助教に深く御礼申し上げます．研究活動の全過程を通して多くの御助言，御指導賜りました視覚情報メディア講座 佐藤智和 助教に心より感謝致します．日々，研究室での研究活動を支えてくださった
視覚情報メディア講座事務補佐員 守屋 知代，高橋 美央，両女史に心より感謝申し上げます．研究活動において常に温かい御助言を頂いた視覚情報メディア講座の諸氏に感謝いたします．特に，本研究の実験に御助力下さり，また共同研究においては熱心に研究に取り組み，研究の楽しさを再認識させて下さった大野 純佳
氏に感謝いたします．
最後に，学業に専念する機会を与えて下さり，多くの面で支えて下さった両親と兄弟に深く感謝します．

参考文献;:+00<2* :+ K$   $L           *1  100*;-: <-* - % $ J* :! K2$ #  !  #$   %#L    *  1 1 *;-1 <

* 8* - KD%+ 4A   ($    #%
#  # L       * 1 11 *

 



;-32 < C* =* -  * J* 3 $ 8* =* 2 K! $  # &   (  ( L             ! "   4 * 01 *   1 *;-  <

6  &-   
K5$ "$
 $ 1 L #$$%%%  $% %$% % $ $$!  &  *;-51 <

* 8* - $ =* 5 K4"    &   !L    ' * 01  11 *;81 <

8-

*

K8#$$%%% $ 11 *"(

" +L;,5C < * ,)((  7* 5' $ * C K($ $
% ($  L   !   !  "   ( ")4 *  *    *;EE-1 < * J* E  A* E)))%+ A* )+ $ 6* ,* -  K
%L     ' *   11 *;21 <

9* 2+( KE  4L    * 0 1 11 *;2<6*  * 2 $ 9* $ K5 $     + +&     ML    * !     ! "   ("+,,-) *
0   *;??3< * ? ! * ? $ 7* 3 K=# '$!  #$   $%L    + $.   /  ! . &  !   / ( .,-) * 1011 *;? A10< * ?$ 9* J* ! $ 9* A$ K4%)$ A!F- % #% " $ &   L  .!  
4 *  *  *   0 110*;?3<

* ? $ 7* 3 K(    &   #$$!    L     "  !  / +,, ("+,,-) *  *;?7 1< ?* ?" ?* 7)" 2* " 2* +% $ * 7 + !
KE  &  %      (! $     % '  !$  L  
 01
         ( 2） *  
1 11*;=21 <

6* =# ! $ 9* 2 K= G$ $L     3' *    11 *;=<* = K6 # 6F    &   #$ $  % L     2, *    1*

;6:A < 5* 6%+ -* :% A* A+ * J* E  $ =* 66
K($ #% %L     +,,, *  10 
*;6<6* 6+! KL 4.5 .6  4 *  *   1*;6 10<

* 6 )) K# L  .! .  4 * 
* 0  110** ;6 <

* 6%! $ * + KE  #%)  $ $&  #$ L    0   /  !  -7 7   8" ! 6   9   *    *;3?1<

6* 3+%  $ * ?$ K %(  L 
9    /   .     (. ) 4 **  *    11*;3771< 7* 3  ?* 7)" 2* +% $ * 7 + ! K
(!  #"$$    &  $ #$ L  !  "     :   (" :)
4 * 0  *  *   11*
;9<9=#*  K8.  " "(  & #$ "L#$$%%%  3 ;$ *;:?< 2*   * :( $ * ?$ K($ #% #"  &  % #$  %$     L 
9  .!   4 * 
*  *   *;1 <

* 6* ) $ -* A* ! K4"  L     3' * 11 *;1<

* 6* ) $ -* A* ! K9     %  (!
# '   L        !  "       ("2) *  0 0 11*

;77< J* % 2* +% * 7 + ! $ ?* 7)" K- %  $   &  #% #  %  
  &    $  %   $L  
0

 0

*

       *  0

 ( +,,,);% <

* %$ K % $!L    <  
0'  4 *  *    1 *;! <-* J* !  K4$ 9%F   $ &  %  %% $ & # # L  9  " ! 6   !  
 4 * *  * 0     *;77 < ?*   ?* 7)" $ * 7 + ! K(! #"  $ &  % $  L    0'         ( +,,+) * 1011  *;>-?  < 6* >!$ * - * :* ? * 5$ A* 2!
$ A* )+ K2/%! ($ # '  & " $ # L   !       3
  4 *
 *  *    *;7 <

* 7  $ 6*   K9 4F 9   # ! &  " +  L     1 =>  .!       * 11   *;7 <

* 7)+ ?* +% $ 7* " K %( ("  " %    + "$L        !  "   +,,1 ("+,,1) *   *

;7 71 < 7* 7 7* )" $ 6* 7$ K8    $
# $     %+ " ( &    (  (  %
$      L      =>        /  * 111  11 *;7?  < * 7)+ * " 2* ?"+ ?* +% $ 6* +%K6 & (( $L     0- !  =>3     4 *  *1 01  *;77<?* 7)" $ * 7 + ! K  # (N &  $  $!  ($  $# (+ %$L  
 0,
        (  +,,-) 4 * * 1 1  *;C?>  < -* =* C+ * :* ? 6* >!$ * 5$ $ A* )+K2/%! #$ #"    %  !$ 
 L . 9    4 *  *  *    *;浅井  <

浅井俊弘 神原誠之 横矢直和 K全方位距離画像と全方位カメラー画
像の統合による屋外環境の三次元モデル化L 画像電子学会誌 4 *  *  * 1   *;池田 <池田聖 佐藤智和 横矢直和 K全方位型マルチカメラシステムを用いた高解像度な全天球パノラマ動画像の生成とテレプレゼンスへの応
用L 日本バーチャルリアリティ学会論文誌 4 * *;稲本  <*  *  

稲本奈穂 斎藤英雄 K視点位置の内挿に基づく３次元サッカー映像の自由視点鑑賞システムL 映像情報メディア学会誌 4 *

* 1 1  *;上田  <* 

上田恵 有田大作 谷口倫一郎 K多視点動画像処理による  次元モデル

復元に基づく自由視点画像生成のオンライン化 クラスタを用いた実現法L 情報処理学会論文誌 4 *

;ウ  <*  * 0  00  *ウ小軍 和田俊和 東海彰吾 松山隆司 K平面間透視投影を用いた並列
視体積交差法L 情報処理学会論文誌：コンピュータビジョンとイメー

ジメディア 4 ** E -46  *    *1

;エヌ  <エヌ・ティ・ティ ネオメイト Kみーんな 元気だよL  *

$%$+,,+$,+,*+';遠藤  <#$$%%% 3

遠藤隆明 片山昭宏 田村秀行 廣瀬通孝 K写実的な広域仮想空間構築のための画像補完手法L 日本バーチャルリアリティ学会論文誌 4 * 0*  *   1   *;岡 <岡慎也 ナ・バンチャンプリム 藤井俊彰 谷本正幸 K自由視点テレビのための光線空間情報圧縮L 電子情報通信学会 技術研究報告 8   *;小野  <
;川西  <

小野定康 K遠隔医療L 映像情報メディア学会学会誌 4 **     *中岡聡 K 映像配信サービス「  $」L 映像情報メディア学会;棚橋  <*  *  0   *高橋桂太 苗村健 K視点依存奥行きマップ実時間推定に基づく多眼画
像からの自由視点画像合成L 映像情報メディア学会誌 4 **;田中  <  ** 

田中啓仁 K, サービス技術の現状と将来展望L 映像情報メディア

学会学会誌 4 **  *     *棚橋英樹 佐藤淳 王彩華 丹波義典 山本和彦 K全方位ステレオシス
テム（ ）のキャリブレーションL 映像情報メディア学会誌 4 **  *    *;冨手  <* 

川西隆仁 田辺暁弘 松井健一 深津真二 堀越崇 森永徹 伊藤康之
学会誌 4 *;高橋  <





冨手要 山澤一誠 横矢直和 K複数の全方位画像を用いた広範囲なウォークスルーの実現L 画像の認識・理解シンポジウム（6A>  ）講演論文集 4 *  *   



 *

;根岸  <根岸善郎 子安大士 三浦純 白井良明 K移動ロボットのための全方位

ステレオのキャリブレーションL 年ロボティクス・メカトロニ
クス講演会 4 * 9 =  1   *;ビュ<

ビュー

K=#928A8L#$$%%%; % !? $ ! $ ; $ &  *;北海 11<

北

プ

海

道

ラ

ス

新

聞

道新聞 時計台ライブカメラL

社

K北森田真司 山澤一誠 横矢直和 K全方位画像センサによるネットワー

クを介したテレプレゼンスシステムと遠隔監視システムL 電子情報通信学会 技術報告 9A6>  ;森田  <

#$$/  >> 3 ? $ >  $111*

;森田  <海 *森田真司 山澤一誠 寺沢征彦 横矢直和 K全方位画像センサを用いたネットワーク対応型遠隔監視システムL 電子情報通信学会論文誌（） 4 * J*  *  0   *;山碕  <山碕良志 K我が国  政策の動向と展望L 映像情報メディア学会学会;山口  <

山口晃一郎 山澤一誠 竹村治雄 横矢直和 K全方位動画像を用いた両誌 4 **  *     *眼ステレオ画像の実時間生成によるテレプレゼンスL 電子情報通信学会論文誌  4 *  ;山澤 1 <

* 1 *    0  *山澤一誠 八木康史 谷内田正彦 K移動ロボットのナビゲーションのための全方位視覚センサ 2!3 4  の提案L 電子情報通信学会論文誌（） 4 * J01

;山澤  <*  * 100 11 *山澤一誠 横矢直和 K全方位カメラと J4  を用いたインター

ネット定点カメラL 情報科学技術フォーラム（,）一般講演論文集

4 * 

* 0 *    *

研究業績
学術論文誌

* 石川 智也 山澤 一誠 横矢 直和 L複数の全方位動画像を用いた自由視点テレプレゼンスL 映像情報メディア学会誌 4 * *  * 11O  * 第  章に関連
* 山澤 一誠 石川 智也 中村 豊 藤川 和利 横矢 直和 砂原 秀樹 L5( ブラ
ウザと全方位動画像を用いたテレプレゼンスシステムL 電子情報通信学会*  * * 0 O 0   * 第 章に論文誌（ 4 * J
関連
国際会議

* * +" ?* 7)" $ * 7 + ! L # #"  "(! % %$ $  #$ L              /  (  +,,*) 4 * 2- *O  0* 第  章に関連* * +" ?* 7)" $ * 7 + ! L # #"  %
% $  # #$ L    .  +,,'A    * 第  章に関連* * +" ?* 7)" $ * 7 + ! L # #"   & 
% $  #$ L      .   /  . & !   / ( ., ) *
O 1  * 第  章に関連* * +" ?* 7)" $ * 7 + ! LA   &  ##" &  $!  %   $ #% %L    0+        (  +,, ) 4 *  *  O   * 第  章に関連

* ?* ,%N+" ?* 7)" * +" 7* :%% *   7* +%2* % $ * 7 + ! L " +$  ! &  $    %L    00 ! !  
+,,  *1O   * 第 章に関連* * +" ?* 7)" *   * +$ 7* +% ?* ,%N+"
2* % $ * 7 + ! L " +$  ! % "(( " $ $  #$ L          4 *
 * O0  * 第 章に関連
0* ?* 7)" * +" *   * +$ 7* +% ?* ,%N+"
2* % $ * 7 + ! L5(($  ! % $  #$ L          .! 3
  4 *  *O   * 第 章に関連
研究会・シンポジウム* 石川 智也 山澤 一誠 横矢 直和，L全方位ビデオ映像の実時間無線配信を *
利用した位置情報システムL 情報処理学会 研究報告 -46
O  * 第 章に関連
* 石川 智也 山澤 一誠 横矢 直和，L複数視点全方位映像のマルチキャストによる高スケーラビリティ自由視点テレプレゼンスL  次元画像コンファレ
ンス 0 * O  0* 第  章に関連* 大野 純佳 石川 智也 山澤 一誠 横矢 直和，L複数の 9C カメラを用いた保育施設における複数ユーザの要求に応じた映像提示L 電子情報通信学会
技術研究報告 9A6>     0** 石川 智也 山澤 一誠 横矢 直和，L複数の全方位ライブ映像からの自由視点
テレプレゼンスL 第 回デジタルコンテンツシンポジウム講演予稿集
*   * 第  章に関連* 石川 智也 山澤 一誠 横矢 直和，L複数の全方位動画像からの自由視点画像
生成L 画像の認識・理解シンポジウム 6A>   講演論文集 * 1 O
  * 第  章に関連
* 石川 智也 山澤 一誠 佐藤 智和 中村 豊 藤川 和利 砂原 秀樹 横矢 直
和，L全方位カメラと 5( ブラウザや 26 によるネットワークテレプレゼ
ンスL 画像の認識・理解シンポジウム 6A>   講演論文集 *  O
0  * 第 章に関連
0* 石川 智也 山澤 一誠 佐藤 智和 中村 豊 藤川 和利 砂原 秀樹 横矢 直
和，L全方位カメラと 5( ブラウザを用いたネットワークテレプレゼンスL
第 回デジタルコンテンツシンポジウム講演予稿集
*     * 第章に関連
* 石川 智也 山澤 一誠 横矢 直和，L6  と 4% 2% を用いた動的環境
での実時間自由視点画像生成L 電子情報通信学会 技術研究報告 9A6>     * 第  章に関連
1* 石川 智也 山澤 一誠 佐藤 智和 池田 聖 中村 豊 藤川 和利 砂原 秀樹 横矢 直和，L5( ブラウザと全方位動画像を用いたテレプレゼンスシステム―車載全方位カメラや全方位型マルチカメラシステムを用いた実装―L 画
像の認識・理解シンポジウム 6A>   講演論文集 4 *  * 0O   * 第 章に関連* 山澤 一誠 石川 智也 佐藤 智和 中村 豊 藤川 和利 砂原 秀樹 横矢 直和，L
車載全方位カメラと無線ネットワークを用いた実時間テレプレゼンスL 情1  * 第 章に関連
報処理学会 研究報告 -46
全国大会* 大野 純佳 石川 智也 山澤 一誠 横矢 直和，L複数の 9C カメラによる複数人の要求に応じた映像提示L 電気関係学会関西支部連合大会講演論文集
* E    *

* 石川 智也 山澤 一誠 横矢 直和，L4" 6  と 4% 2% を用いた
自由視点画像生成L 情報科学技術フォーラム , 一般講演論文集 4 * * 0O   * 第  章に関連* 石川 智也 山澤 一誠 池田 聖 横矢 直和，L5( ブラウザと全方位動画像を用いたテレプレゼンスシステムL  年電子情報通信学会総合大会講演
論文集
*     * 第 章に関連
解説* 石川 智也 山澤 一誠 横矢 直和，L自由視点テレプレゼンスシステム 多地
点全方位ライブ映像による自由視点画像の生成と提示L 画像ラボ 4 * *  * O  0* 第  章に関連
表彰* 0 年 月，888 関西支部，  年度 888 関西支部学生研究奨励賞*  年 月，映像情報メディア学会，第 回デジタルコンテンツシンポジ
ウム船井賞

マスメディア報道* L過去と未来が共存する町 生駒市 生駒の未来力L ?-（ケーブルテレビ）  年 月 日*
* L仮想世界「面白い」生駒でフェスL 産経新聞  年 月日*

* L高山サイエンスタウンフェスティバル「学研都市の魅力を知って」L 奈良
新聞  年 月  日*
* L ロボット公道実験 先端科技大が近畿初 移動中の映像配信もL 産経新聞 年 月 日*