立石科学技術振興財団

助成研究成果集(第29号) 2020

［ 研究助成 (B) ］

視点移動可能な全方位動画手法の開発
Omnidirectional video method with interactive control of viewpoint position
2181901

研究代表者

神戸大学大学院
システム情報学研究科

教 授

陰山

聡には新しい視点位置と紐付けされた全方位動画[研究の目的]ファイルから適切な時刻フレームの静止画が高あらゆる方向の映像を一つのファイルに納め速に抽出され，画面に表示される必要がある。

た「全方位動画」が最近、注目を集めている。
[研究の内容，成果]

通常の動画とは異なり、全方位動画では見る人が視界の方向をリアルタイムに変更することがこの手法の鍵となるアプリケーションソフトできる。
全方位動画の持つこの対話性をさらに高め，「動画データブラウザ」の開発も含めて，目標方向だけでなく視点の位置もまた再生時に自由としていた上述の手法の実現に成功した。そのに変更することを可能とする新しい全方位動画

成果は論文[1] にまとめ，現在査読中である。

手法を開発することが本研究の目的である。

我々はまず最初に，動画データブラウザが持そのための具体的な方法は，以下の通りであつべき基本的な機能を実装したプロトタイププる。(1) 全方位画像を撮影するカメラを多数ログラムを開発した。その基本機能とは，ハー(N 台) 用意する。(2) それぞれのカメラからドディスクドライブに保存された全方位動画時刻を同期させつつ同時に全方位画像を (Mファイル群の中からユーザが指定した視点位置時刻フレーム分) 撮影する。(3) N 個の全方に対応するファイルを PC のメモリに読み込み，位動画ファイルに，それぞれの視点位置の座標そこからユーザが指定した時間フレームの全方情報を紐付けする。(4) このようにして構成し位静止画像を取り出し，さらに，ユーザが指定た動画データベースを入力とする特殊な動画表した視線方向の画像を抽出するという一連の処

示アプリケーション「動画データブラウザ」に理をする機能である。このプロトタイププログ

よって，ユーザが視線方向と視点位置を対話的ラムによって動画データブラウザというアイに指定して，そこから見えるべき「風景」を滑ディアが技術的には実現可能であることを確認

らかな動画として表示する。

することができた。一方，技術的課題も明らか

ここで「滑らか」というのは，動画を再生しとなった。それは一部の処理に時間がかかりすている最中であってもユーザが視点位置の変更ぎるため，視点移動や視線方向に切替時に表示を指示すればそれに応じて動画データブラウザの遅延が起きることである。

が表示する画像 (表示する動画の撮影位置) がそこで我々はこのプロトタイププログラムを瞬時に切り替わるという意味である。そのため破棄し，KVS (Kyoto Visualization System) を― 1 ―立石科学技術振興財団

図1

図2

本研究で開発した全方位動画データブラウザのスナップショット

渦輪の形成・伝播現象の再現のために設定した計算機シミュレーション

プログラム基盤として新たに別のプログラムをた bullet time 法とよばれる映画の撮影技術と一から書き直した。

本質的に同じものである。

そ の結 果，表示の高速 化が可能となった。

本研究で開発した動画データブラウザは汎用

PC の画面上に表示されているウィンドウ (そ的 な も の な の で，同 期 録 画 し た 複 数 (N 個)

こには一見，通常の動画が再生されているようの異なる視点で撮影した全方位画像ファイル群に見える) に対して，ユーザがマウスやキーがあれば，それを入力としてその機能を試すこ

ボードを操作すると，視線方向を切り替えたり，とができる。とはいえ，我々が想定しているの視点を移動させたりしても遅延が起きなくなっは N=1000 程度，あるいはそれ以上のかなりた。

多数の全方位画像群なので，(近年，安価な全図 1 は本研究で開発した動画データブラウザ方位カメラが登場したとはいえ) 現実世界の全を立ち上げた直後の画面の様子である。PC の方位撮影データを作成することはコスト的に難デスクトップにウィンドウが一つ現れる。ウィしい。そこで本研究では計算機シミュレーションドウ内に表示されているのはデフォルトの視ンで仮想的に「撮影」した全方位動画ファイル

点位置，視線方向，時刻フレームにおける可視群を入力データとして用いた。

化画像である。マウスのカーソルをこのウィン最初に仮想撮影した現象はよく知られた渦輪

ドウ内におき，ドラッグすると視線の方向を自の形成・伝播現象である。直方体領域内の空気由に変えることができる。画面左上にはその時の運動を考える (図 2)。はじめに箱の中の小に読み込んでいる動画ファイルに関する情報がさな領域内部に短時間，短い円筒領域内に力のテキストで表示されている。画面右下には動画場をかけて流れを駆動する。その向きは図のの再生・逆再生や特定の時刻フレームへのジャ+x方向である。するとこの円筒領域内部の空ンプなど，時間方向の移動のためのボタン類が気が x 方向に流れ始める。はじめは複雑な流配置される。

れが生じるが，しばらくすると自己組織化によ

視点の移動はマウスのクリックまたはキーりきれいな渦の輪が形成される。渦輪の中心軸ボードで行う。ウィンドウ内にマウスカーソルは x 軸に並行で，渦輪全体はその形状を保っを置き，マウスボタンをクリックすると，そのたまま+x 方向に進んでいく。

方向にある近傍カメラに視点を移動することも我々はこの渦輪の形成と伝播現象を再現するできる。動画を (時間的に順方向または逆方向シミュレーションプログラムを開発した。空間に) 再生中であっても移動が可能である。カメ方向には中心差分，時間方向にはルンゲ・クッ

ラの距離が離れているときには突然ジャンプしタ法による時間積分をする。差分格子点数はたという感じが当然あるが，カメラ密度が十分

480×240×240, MPI による並列プロセスの数に高いと滑らかに空間移動しながら動画を再生

は 432 である。

できる。これは映画マトリックスで有名になっ― 2 ―そして，このシミュレーションコードに多数

Tateisi Science and Technology Foundationの視点から全方位で「撮影」する可視化機能を印 (グリフ) を重畳して可視化したものである。

組み込んだ。可視化視点の位置は 1000 点であ

図 4 はエンストロフィーの等値面と流れのグり，一つの視点に 2 台の仮想全方位カメラを設

リフ表示を重畳した可視化によって得られた動定したので視点の総数は N=2000 である。時画群を入力とし，本研究で開発した動画データ

刻フレーム数は M=420 とした。したがって上ブラウザで動画を再生しながらその視点位置を述の手順で生成した動画データベースには計対話的に移動させてるときのスナップショット

2000 個の MP4 動画ファイルがあり，そのサイ列である。ここでは渦輪が x 方向に移動する

ズは 6.0 GB である。のをユーザがリアルタイムで追いかけながら，

図 3 にこの仮想全方位カメラの視点配置を示

その形状変化と周囲の流れ場の様子を対話的にした。x, y, z 軸方向にそれぞれ等間隔に 20×観察している。図 4(a) は渦輪の自己形成の最10×5 の配置でシミュレーション領域を取り囲中である。エンストロフィー (流れの渦度) がむよう，その内外に視点を置いている。上述の筒状領域に集中している。その後，時間の経過ように一つの視点に 2 台のカメラを設定した。

とともに，渦輪はきれいなリング状に自己組織同じ視点から二つの異なる可視化手法で可視化化されていく。自己組織化の終盤での形状がするためである。一つはエンストロフィーの等(b) である。(c) の時刻では渦輪の形成は既値面，もう一つはそれに加えて流れ場を示す矢に完了し，その形状を保ったまま x 方向に移動している。(d) では渦輪を追い抜き，先回りをして渦輪が近づいて見える位置からその伝播と周囲の流れ場 (グリフ群) の時間変化を観察している。
本動画データブラウザは全方位動画に対応しているので，当然のことながら視線方向の対話的な変更も可能である (図 5)。技術的な点に

図3

渦輪のシミュレーションで設定した全方位可視化カメラの位置 (合計 1000 点)

図4

渦輪の形成と伝播現象を本研究で開発した動画
データブラウザで視点を移動しながら追跡しているときの様子

ついて少し触れると，一枚の全方位画像はある

図5

― 3 ―

視線方向の対話的変更の様子

立石科学技術振興財団

現象を視点を移動しながら詳細に観察することができる。
[今後の研究の方向，課題]本研究で開発した手法および動画データブラ
図6

異なる動画データ (この場合は異なる可視化手法で生成した動画) の対話的な変更

ウザは，すでにある程度十分な実用性を備えていると考えている。今後は，計算機シミュレーションによる仮想世界ではなく，現実世界，つまり多数 (少なくとも百台以上) の全方位カメラを用いた本物の全方位撮影画像データに本手法を適用してみたいと望んでいる。
現在の動画データブラウザでは，視点配置が時間的に固定されていること，そしてカーテシ
アン座標の軸上に等間隔で配置されていることを暗黙に仮定している。この制限を取り払い，さらに汎用性を高めることが今後の研究課題である。

図7

今回開発した動画データブラウザで球殻中の熱対流のシミュレーションを観察している様子[成果の発表，論文等]

視点から見える全方位 (立体角 4 π ステラジア[ 1 ] A. Kageyama and N. Sakamoto, 4D Street View :ン) の風景を長方形のピクセル列に保存していA video-based visualization method, submitted toるので，その画像は歪んでいる。その画像デー
タからユーザの指定する視野領域を高速に切り出 し，座 標 変 換 を か け る た め に，GPU でシェーダを使った並列処理を行っている。

PeerJ Computer Science[ 2 ] A. Kageyama, N. Sakamoto, M. Miura, NobuakiOhno, Interactive Exploration of In-situ Visualization of MHD Simulation, Plasma and Fusion Research, in press

視点位置の切り替えが高速にできるのと同様に入力動画データの切り替えも瞬時にできる。
図 6 には二種類 (等値面+矢印グリフと等値面のみ) の異なる可視化手法で生成した動画デー
タ群から同一の視点位置，視線方向，時刻フレームのデータを瞬時に選び出し，切り替えて表示しているときの様子である。

[3]

K. Yamamoto and A. Kageyama, In-Situ Visu-alization with Membrane Layer for Movie-BasedVisualization, Lecture Notes in Computer Science,
vol. 11540, pp. 588 - 594, 2019
[ 4 ] A. Kageyama (Invited Talk), 4-D Street View :Movie-based

visualization

methodforHPC,AAPPS-DPP 2019, Hefei, China, 2019
[ 5 ] 陰 山 聡，坂 本 尚 久，大 野 暢 亮，
『4 次 元 ス ト
リートビュー : 計算機シミュレーションの新しい可図 7 には別の現象の計算機シミュレーションを対象とし，仮想的な全方位カメラ群で撮影して生成さた動画ファイル群に対して今回開発した動画データブラウザを適用した例である。このシミュレーションでは，二つの同心球面に挟まれた球殻領域中の熱対流運動を再現している。
半径比 (球殻の深さ) 等を変えたときの多彩な― 4 ―視化法』，プラズマ核融合学会誌，vol. 96, No. 4, pp.
199 - 206 (2020)[ 6 ] 陰山 聡，「計算機シミュレーションの対話的同時 可 視 化 手 法」TELECOM FRONTIER, vol. 105,pp. 1-5 (2019)[ 7 ] 陰山 聡 (招待講演)，『4 次元ストリートビュー :計算機シミュレーションの新しい可視化手法』第36 回 プラズマ・核融合学会 年会，2019[ 8 ] 陰山 聡，『動画ベースの可視化手法 4 次元スト

Tateisi Science and Technology Foundation

リートビュー』CFD シンポジウム，北海道大学，
2019[9]法』プラズマシミュレータシンポジウム，核融合科学研究所，2019

陰山 聡，『可視化手法の新手法 4 次元ストリー

[11]

陰山 聡，
『球内部の MHD シミュレーション手トビュー』STE シミュレーション研究会 計算プラ法と可視化ツール』，JpGU (日本地球惑星科学連合

ズマ物理の新潮流，広島大学，2019大会)，幕張メッセ，2019

[10]

陰山 聡，
『全方位動画に基づく新しい可視化手― 5 ―