情報処理学会 インタラクション 2017
IPSJ Interaction 20173-404-49
2017/3/2

被写体追跡型バレットタイム映像の実時間提示方式
永井隆昌†1亀田能成†1†2北原格†1†2

概要：本稿では，我々が開発した実時間バレットタイム映像生成方式に被写体の３次元位置推定処理機能を追加することにより，被写体追跡型バレットタイム映像の生成提示方式を提案する．

Real-Time Bullet-Time Video System Tracking Subjects
TAKASUKE NAGAI†1YOSHINARI KAMEDA†1†2

ITARU KITAHARA†1†2

Abstract: This paper proposes a system that can automatically set the target point of Bullet-Time video in real-time by estimating
the 3D position of subjects who are moving in the shooting space. By presenting Real-Time Bullet-Time video tracking the subjects,
the observer can understand the detail of the subjects.

1. はじめに様々な視点位置からの見え方の再現が可能な自由視点映

グ操作を必要とせずに，被写体上に常に注視点が設定される，被写体追跡型実時間バレットタイム映像システムの処理ついて述べる．

像は，スポーツ中継や映像コンテンツなど，様々な分野での利用が期待されている．その一手法であるバレットタイム映像[1]は，複数台のカメラを用いて被写体を撮影し，撮影した映像をカメラ配置に従って切り替えながら提示することで，視点移動感を提示することができる．滑らかに視点が移動するバレットタイム映像を生成するためには，全カメラの光軸が空間中の一点（注視点）で交わるよう，各カメラを厳密に設置する必要がある．明智[2]らは，ステレ
オ視により注視点の３次元位置を推定することにより，撮影時に設定した注視点以外の箇所を注視点とするバレットタイム映像の生成を可能とする多重解像度閲覧方式を提案している．
我々は，明智らの多重解像度バレットタイム映像提示方式を改良し，多視点映像の撮影から提示までの全処理を実時間で実行可能な実時間映像提示方式を構築した[3]．本シ
ステムでは，新たな注視点は画面のポインティング操作により与えているため，撮影空間内を移動する動的な被写体

図 1 システム概要

2. 注視点の自動追跡システムへの適用に課題が残っていた．特に，ズームイン操作を行本方式では，Kinect SDK の人物認識機能を用いることにっている際に被写体が移動する場合，被写体が画面外に出より，実時間で被写体の３次元位置を取得する．まず，ることが多く，その被写体に注視点を再度設定するために

Structure from Motion（SfM）[4]を用いたキャリブレーショは，一旦ズームアウト操作を行った後，ポインティング操ン処理により，複数の多視点カメラと Kinect 本体の内部パ作が必要であった．本方式では，システムの実時間性といラメータ・外部パラメータを推定する．本方式は，多視点う特長を活かし，実時間位置センサをシステムに組み込む映像の撮影と同時に，Kinect による被写体の３次元位置推ことにより，上述した問題の解決を試みる．本稿では，図定が実行される． Kinect によって計測される被写体の３次１に示すような，被写体を実時間で認識し，ポインティン元位置は，Kinect 座標系における３次元位置であるため，†1 筑波大学
University of Tsukuba†2 計算科学研究センター© 2017 Information Processing Society of Japan

Center for Computational Sciences829

情報処理学会 インタラクション 2017
IPSJ Interaction 20173-404-49
2017/3/2

SfM で推定したパラメータを用いた座標変換により，世界座標系における３次元位置に変換する必要がある．毎フレーム被写体の３次元位置を計測し，それを新たな注視点として設定する処理を繰り返すことにより，常に被写体上に注視点を設定した状態のバレットタイム映像が生成可能となる．

3. 被写体追跡型実時間バレットタイム方式
3.1 実装環境
21 台のカメラを図２のように配置し，図３のように被写図 4 被写体追跡（1 段目の左の立ち位置から，2 段目の右体が撮影空間内を自由に移動する様子を撮影した．画像のの立ち位置へと移動している．赤丸は注視点）

解像度は VGA（640 画素×480 画素）であり，カメラと PCは USB2.0 ケーブルを介して接続する．３次元センサは
Kinect v2 を採用し，多視点カメラの中央付近に配置し，PCに USB ケーブルで接続する．カメラキャリブレーションはVisualSFM[5]を用いて行う．

図 2 カメラ配置
図 5 視点移動の様子（赤丸は注視点）

4. おわりにポインティング操作による注視点再設定の困難性を解決するために，実時間３次元計測装置（Kinect）の人物認識機
能を用いて，被写体を追跡するように注視点を自動で更新するシステムを提案した．実装システムを用いた実証実験を通じて，動的な被写体に対してポインティング操作を必要とせずに，適切に注視点の設定が実現可能であり，被写体の詳細かつ多面的な観察が可能となることを示した．

参考文献
図 3 撮影風景[1]

3.2 実験結果
本方式を用いて生成したバレットタイム映像の一例を図４，図５に示す．図４は被写体が１段目の左の立ち位置[2]から，２段目の右の立ち位置まで移動している様子である．
移動する被写体上に，注視点が適切に設定されていること[3]がわかる．図５は被写体が移動している瞬間において，視点を移動した様子を示している．全ての視点において，注[4]視点が被写体上に設定され，被写体の詳細な観察が可能であることがわかる．

© 2017 Information Processing Society of Japan[5]

富山仁博，岩舘祐一，“多視点ハイビジョン映像生成システ
ムの試作 –全日本体操選手権での中継番組利用-”，電子情報通信学会技術研究報告，PMRU，パターン認識・メディア理解，p43-48 (2016，12)
明智那央，北原格，“注視点を移動可能な多視点映像の多重解像度閲覧方式”，筑波大学大学院博士課程システム情報工学研究科修士論文，(2015，3)
永井隆昌，北原格，亀田能成，“実時間バレットタイム映像提示方式”，日本バーチャルリアリティ学会研究報告，複合現実感研究会，p69-74(2016，10)
N.Snavely，S.M.Seitz，R.Szeliski，“Photo Tourism: Exploring
Photo Collections in 3D”，ACM Transactions on Graphics，
Vol25，p835-846(2006，7)
C.Wu，“VisualSFM : A Visual Structure from Motion System”，
http://ccwu.me/vsfm

830