情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C53
2016/3/4

スマートフォンから視聴可能なライブストリーミング全方位映像を用いた仮想ライブ空間とコンテンツの開発
佐野 和哉†1

大島 拓郎†1平林 真実†1

概要：近年，全方位映像の収録・体験環境の開発が急激に加速している．今回我々は，全方位映像をリアルタイムに撮影して取り込み，サーバへ送出し，その全方位映像をライブストリーミングで視聴可能なスマートフォンアプ
リを用いて，スマートフォンがあれば誰でも視聴可能な仮想ライブ空間の開発を行った．また，DJ，VJおよびアーティストと協働し，その空間に適した全方位映像コンテンツの開発を行った．

Developments of a Live Music Space and Its Contents by a Spherical
Image Can Be Viewed from Smartphones
KAZUYA SANO†1 TAKURO OHSHIMA†1

MASAMI HIRABAYASHI†1

Abstract: Nowadays, development of recording and experience environments of spherical image is rapidly accelerating. Now,
we developed a live music space which can be viewed from smartphones by taking a spherical image from a spherical camera toPC in real time, sending to servers, and using a smartphone app can watch the spherical image in real time. Furthermore, we also
developed contents for the spherical image with DJ, VJ, and artists.

1. はじめに数開発されている．またハードについては2016年上半期，近年，全方位映像を撮影できるデバイス，および全方位ヘッドマウントディスプレイのOculus Rift，HoloLens，映像を体験可能なメディア環境が急速に整備されつつあPlayStation VRの発売が予定されており，スマートフォンをる．

用いて見るタイプのものはGoogle Cardboard，Gear VR，ハ

撮影デバイスに関しては，リコーより2013年9月に全方位コスコなどが発売されている．

写真の撮影が可能なRICOH THETAが一般向けに発売さまた我々は，アートの分野で先行しているインタラクティ

れ，2014年11月には動画撮影可能なTHETA m15が，2015年

ブな表現形態やメディア技術を音楽会場における体験へ持

10月には25分までの全方位HD映像やライブビューが可能

ち込むことで，新しい音楽の楽しみ方や新しい音楽体験をなTHETA Sが発売されている．ライブストリーミングが可もたらすことを目指した研究活動を行っている．音楽会場

能なカメラは，2014年中頃から360cam[a]やbublcam[b]などにおける体験をパフォーマー/アーティスト，観客，会場空

クラウドファンディングでいくつか開発が進められていた間の相互インタラクションととらえ，NxPC.Lab[e]という活が，いずれも実売はTHETA Sとさほど変わらないタイミン

動において音楽イベントを実施し実験を行いながら，音楽グとなっている．またアクションカメラのGoProを複数台体験を拡張するための実践的な研究を行っている．

用いて全方位映像の撮影を行うFreedom360[c]やJump[d]な
どのカメラマウントも多数発売されている．
全方位映像を体験するためのメディア環境については，今回我々は，撮影デバイスとしてRICOH THETA Sを用意し，また体験するためのメディア環境としてソフト面はカディ ン チ ェ 株 式 会 社 が 制 作 す る 全 方 位 映 像 体 験 ア プ リ

大きくソフト面とハード面で分けられる．ソフトについて「PanoPlaza Movie[f]」に，ハード面については株式会社ハは，Web上においては2015年3月にYouTubeが，同9月にコスコにそれぞれご協力頂き，後述する「仮想ライブ空間」

facebookが全方位映像に対応し，スマートフォンにおいておよびその空間に適したコンテンツの開発，またそれらをはジャイロセンサーに対応して視点を動かせるアプリも多活用した音楽イベント「NxPC.LIVE 360°[g]」を2015年12月10日に実施した．

−−−−−−−−−−−−−−−−−−−−−−−−†1 情報科学芸術大学院大学
Institute of Advanced Media Arts and Sciencesa) Giroptic 360cam http://jp.360.tv/ja/b) Bubl Technology Inc. bublcam http://www.bublcam.com/c) Freedom 360 - The Original 360 GoPro Mount: http://freedom360.us/d) Jump – Google: https://www.google.com/get/cardboard/jump/© 2016 Information Processing Society of Japan−−−−−−−−−−−−−−−−−−−−−−−−e) NxPC.Lab: http://nxpclab.infof) PANOPLAZA MOVIE: https://movie.panoplaza.com/g) NxPC.LIVE 360°: http://nx360.tumblr.com/986

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

2. 従来の映像と全方位映像の違い
かねてより，UstreamやYouTubeなどをはじめとした映像
ライブストリーミングサービスが存在し，それらを通して，音楽フェスティバルのインターネット無料生中継などインターネットを通してリアルタイムに音楽イベントを配信する試みや，BOILER ROOM[h]やDOMMUNE[i]などリアルタイム配信を通じて音楽イベントを成立させる試みは様々に行われてきた．
ここで本研究の新規性について説明するため，従来の映像と全方位映像の違いについて述べる．

163C53
2016/3/4

士で交流する」という「体験」と「交流」の2つの要素があり，従来の映像とは異なる方法で代替することはできないか，と考えた．その前者について，前述の通り「枠」の隔たりを取り払い，インターネットを通じて「仮想ライブ空間」を共有することで，また全天球映像とその体験デバイスによって没入感を得ることで，全方位映像が「体験」の要素を向上させるのではないかと考えた．
また全天球映像の表現形態ならではのコンテンツについても検討する余地があると考えた．2015年3月よりYouTubeで全天球映像の視聴が可能になり，同年6月頃から風景映像やミュージックビデオなどを中心に全天球映像のコンテンツがYouTubeに上がりはじめた．それらに共通する特徴
は，全方位に広がる風景やパフォーマーなど「全方位に見るべきものがあり，視聴者が能動的に視点を変えて楽しめる」というものであったが，そういった全天球映像の数は決して多いとは言えず，全方位に仕掛ける視覚表現の形態も開発可能な余地は大いにあると考えた．
また，一般でも量販店で購入できる全方位映像撮影カメラであるTHETA S発売後も，全天球映像のライブストリーミングによる配信はまだほとんど行われておらず[j]，それらも全天球映像のために行われたライブ配信ではなく，通図1

従来の映像と全方位映像の違い

Figure 1 Difference of conventional image and spherical image.

常のイベント内に全天球映像をライブ配信できるカメラを置いただけのものである印象を受けた．例えば前述のライ
ブでない全天球映像における表現方法を活用したり，全天図1に示すように，従来の映像は撮影機材によって画角球映像内に別の場所からのライブ映像を設置したりなど，が制限され，その枠によって映像が決められる．そのため全天球映像のライブ配信のためにその形態やコンテンツを被写体は枠に収まるように工夫が凝らされ，視聴者は枠の開発する価値，その新規性は十分にあると考えた．

中のものしか見ることができない．そのため映像を通して，以上の問題意識をもとに，仮想ライブ空間とそのコンテ被写体と視聴者はともに「枠」という大きな隔たりの中でンツの可能性を追求するアプローチとして，技術的にも金コミュニケーションを行うことになる．

銭的にも一般に開放されたハードやソフトを用いて，仮想一方で全方位映像は，「枠」の隔たりを取り払い，視聴ライブ空間を実現するシステムの開発と，その表現形態に者がカメラを中心に全方位の映像を選んで見ることができ適したコンテンツの開発，およびイベントの実施を試みた．

る．また被写体もカメラを中心とした全方位を表現の場として使用することができるので，従来の「枠」に収めるための表現と比較すると，その形態が大きく変わってくることが容易に想像できる．この表現形態が成立し，一般に開放された（スマートフォンから体験できる）この仮想空間を「仮想ライブ空間」と定義する．

3. 現状の問題点とアプローチ
全方位映像の収録・体験環境が急速に普及し始めている
こと，従来の映像と全天球映像の違いを踏まえ，現状どのような問題点やアプローチの余地があり，本研究によりそこにどのようにアプローチしたかについて述べる．
我々はまず，現実にクラブ等で行われている音楽イベン
トについて，大きく「その場でしか起こっていないコンテンツを複数人で同時に体験する」「集まれる場で体験者同−−−−−−−−−−−−−−−−−−−−−−−−h) BOILER ROOM: https://boilerroom.tv/i) DOMMUNE: http://www.dommune.com/© 2016 Information Processing Society of Japan

4. 仮想ライブ空間の開発
今回のイベントに際して，カディンチェ株式会社（以下カディンチェ社）のiPhone/Android向けアプリ「PanoPlazaMovie」を使用させて頂いた．THETA Sが発売した2015年10月時点では，YouTubeやニコニコ動画をはじめ，全天球映像をライブ配信できるサービスはいつでも誰でも使用できる状態では開放されていなかった．そこで我々はカディンチェ社に協力を仰ぎ，開発中のライブ配信システムを使用させて頂くこととなった．
サーバから各アプリに配信する部分はカディンチェ社のシステムを使用させて頂き，映像の形式をサーバ指定のものにしてサーバに送出するところまではこちらで行った．
−−−−−−−−−−−−−−−−−−−−−−−−j) 我々が確認したものとして，2015年10月22日にRhizomatiks Researchが「RBMA PRESENTS LOST IN KARAOKE 2015」にて行ったもの，同年10月25日にMTVが「MTV EMAs」で行ったもの，同年11月27日にWOWOWが「日清食品ドリームテニスARIAKE」で行ったものがある．

987

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C53
2016/3/4

そのため，我々が制作した部分はサーバへ送出する部分まサーバへの送出にはOBSを用いる．Unity Cameraにでである．THETA Sのマイクの感度も考慮し，映像と音声

Syphon Server Scriptを適用し，Syphon Clientで受けている映を別々の系統で取得することとした．映像と音声のシステ像をそのままOBSに出すことができるので，Equirectangular

ムについて別々に説明を行う．

形式の映像を任意のサイズに指定し，OBSからカディン映像のシステム図は図2の通りである．順に説明する．

チェ社のサーバへ送出した．
次に，音声についてのシステム図を図４に示す．

図2
Figure 2

映像システム図A system image of the image.

THETA SからPCへの全方位映像のリアルタイム取得については，当初USB接続により直接行っていたが，映像の粗さ が 目 立 っ た た め ， H D M I と 映 像 キ ャプチ ャ デバ イ ス(BlackMagic UltraStudio MiniRecorder)を使用した．これによりHDサイズの映像を60fpsでPCに取得することができた．
THETA SからPCへ取得した映像は，カディンチェ社のサーバへ送出するにあたって，縦横比1:2のEquirectangular形式へリアルタイムに変換を行う必要があった．THETA S
から映像を取得してUnity上でEquirectangular形式に変換するShaderがWeb上で公開されている[1]．これを用いて縦横比1:2の平面へとEquirectangular形式で変換し，Unity Cameraに丁度収めることで変換が完了する．
また，別の場所からの映像をSkypeで受け取り，その映像を画面キャプチャアプリケーションCamTwistとSyphon経
由でUnity内に表示し，全方位映像と合成させる実験も行った．Equirectangularを適応させた平面の手前側にSkypeの映像を表示させることにより，図３のように，空中に映像が浮いているような表示が可能になった．

図4
Figure 4

音声システム図A system image of the sound.

基本的にPAミキサー(Allen & Heath Zed-10)に音源を集約させ，そこから会場へ出力し，同じ音声をモニターしてオーディオインターフェイス(BEHRINGER UM2)経由で，映像を配信しているものと同じPCに取り込み，映像と合成して配信する，という手段を取った．
DJプレイ時には，DJミキサー(Allen & Heath XONE-62)とマイクからの出力をPAミキサーに送り，ライブ時には用いる音声出力をライブ側で1本に集約し，その1本をPAミキサーに送った．そしてSkypeでの遠隔出演時には，Skype接続先のDJミキサーから送られてくる音声を一度PAミキサーに出力し，そこから会場に出し，再度PCに戻すという方法でほぼ滞りなく出力できた．
またTHETA Sの特性として，数時間ライブモードで映像を取得していると，突然電源が落ちてしまうという問題が多発した．Web上ではTHETA Sが熱を持つと自動で電源が切れてしまう問題が報告されている[2]．これに対しては，即時的な対処として冷却ファンと保冷剤を直接THETA Sに巻きつけたところ，映像取得中に電源が落ちることはなくなったが，根本的な対処は行えなかった．

5. 全方位映像コンテンツの開発
前述のように，従来の映像による表現形態と大きく異なるため，イベントに出演するアーティストたちと何度も議論を重ね，多数の演出を決定した．
仮想ライブ空間構成上の工夫として，図 5のようにカメラから見て一方にDJ卓，他方にスクリーンがあるように会場の設計を行い，視聴者に臨場感を与えるためにカメラの図 3 全方位映像とSkype映像の合成後
Figure 3

高さを観客の目線とほぼ同じ高さとした．

An image after merging the spherical image andSkype image.

© 2016 Information Processing Society of Japan988

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163C53
2016/3/4

図6
Figure 6

全天球映像ならではのパフォーマンスの例
An example of the performance particular in thespherical image.

2点目は，前述したように，遠隔地（東京）からのSkype映像を仮想ライブ空間内に配置することで，全方位カメラによる映像と遠隔地からの映像の融合を試みたことである．
Ustream等で行うDJ配信と同様のセットを個人宅で組み，
図 5 会場図
Figure 5

An image of the floor.

通常の配信と同様にSkypeで映像を会場に送り，受け取った映像を会場で合成して配信した．
もともと映像で配信されているため，そこに別の場所のまた出演者との間で行った工夫について，全方位ライブ映像が加わってもあまり違和感はなく，空中に浮かんでいパフォーマンスの開発，および遠隔地からの映像を全方位るように見える様子は先進的な感じもあった．また遠隔地映像内に配置する手法の開発の2点が挙げられる．

より送信されるSkype映像自体にも，送信元の現地でVJエ

1点目は，ライブ出演者であるエクスペリメンタルノイズ
パフォーマンスユニット[k]の全方位ノイズパフォーマンスフェクトを掛けて送信することにより，一層演出効果を生み出すことができた．

である．全天球映像のテクノロジーとしての新しさに依存

また予期していなかった全方位映像ならではの被写体，することを避け，全天球映像，全天球カメラならではのパおよびコンテンツとして，現場に参加した観客（本学学生）フォーマンスを目指した．そのために，パフォーマーをカもカメラに向けて様々なアクションを行うなど，現場の観メラの周囲に円形に配置し，複数のパフォーマーによるア客とカメラのインタラクションも多く見られた．これは通クションを多発的に起こすことにより，視聴者の視野を能常の映像における「枠の中に入ると映ってしまうから入ら動的に移動させることを意識してパフォーマンスの構成をないようにする」という枠による制限の感覚が失われた全行った．また全天球映像を有効に活かすため，全天球カメ方位映像ならではのものであったと考えられる．

ラに半透明なボウルを被せて，ボウルに対して視覚表現を行う手法を開発した．
具体的には，複数の方向からカメラに向かっての同時多発的なパフォーマンスをはじめ，図 6 のようにカメラに半球形の透明なボウルを被せて上から市販のスライムをかけたり，ボウルを棒でつついたりなどの視覚表現を行った．
これらの全方位からの複数人のパフォーマーによる表現行為に対し，Web上では「やばい，わけわかんない宗教の儀式の真ん中にかごめかごめみたいに立たされてる的な体験だこれ面白い」という感想が見られた．パフォーマンス映像はユニットのHPに掲載される予定である．

6. おわりにこれらの空間とコンテンツを活用して2015年12月10日に行われたイベントは，3時間の開催中に常時30人程度の接続があり，累計で150人ほどのデバイスからの接続があったとみられる（同時接続数の推移のみ把握可能であったため，正確な数は不明）．その周囲にいた人数も考えると，このイベントを目にした人は更に多かったものと考えられる．従来行われてきたWeb上のライブ音楽配信と比較すると足元にも及ばないが，アプリをダウンロードする必要があるなどのハードルを考えると，十分に多い数であったと考えられる．VR系Webメディアをはじめ複数のWebメディアに掲載され，存在感を示すこともできた．
Twitter上のハッシュタグ「#nx360」には確認できる限り−−−−−−−−−−−−−−−−−−−−−−−−k) (99.9%)復活☆天才うまみ成分セミナー:
http://hukkatsu-tensai-umamiseibun.strikingly.com/© 2016 Information Processing Society of Japan

で22名から91件の投稿があり，「すげえええええ」「すっげー，ライブが全方位映像のストリーミングで観れる」「iPhoneでぐりぐり視点動かしてるだけで面白い」「360°989情報処理学会 インタラクション 2016
IPSJ Interaction 2016

生放送LIVEすげぇ，新鮮！」「何かしらの形で参加したいなー」「楽しかったです！」「手に持って見てると，参加したいから何かしたい！」等の感想が見られた．
我々はこの仮想ライブ空間とコンテンツの開発，およびそれらを活用したイベントを通して，東京のクラブで開催されているような音楽イベントを代替する空間が，従来の映像とは別の方法でインターネット上に成立するのか，という意図を持って進めてきた．その土台となる部分を構築

163C53
2016/3/4月20日閲覧
2) MobileHackerz再起動日記: THETA S長時間稼働ジャケッ
トで長時間全天球ライブストリーミング: http://blog.mobilehackerz.jp/2015/12/theta-s.html，2015年12月20日閲覧
3) 米澤 拓郎，徳田 英幸: Control Manually: 視聴者協力型ライブ演出システムによるコミュニケーションと演出効
果の拡張，情報処理学会研究報告，2012

したに過ぎず，まだまだ「代替する空間」というにはほど遠いと思われる．前述のように，「その場でしか起こっていないコンテンツを複数人で同時に体験する」「集まれる場で体験者同士で交流する」という現実の音楽イベントにおける2つの要素について，それぞれをいかにスマートフォン上で成立させ，その体験の密度を高めていけるかが今後の課題となってくるだろう．
またBOILER ROOMやDOMMUNEのような，既存の完成された音楽イベントのライブストリーミングサービスと比較して，どのように全方位映像ならではの強みを活かしていくかはさらに深く検討し，試行錯誤していく必要がある.
そして全方位映像における制限として，「カメラ（＝視点）の位置が固定されている」という点が挙げられる．これについてはカメラが移動するための機構を取り付け，先行研究の視聴者協力型ライブ演出システム[3]を元に視聴者がカメラを動かすという手法も検討の余地がある．
全方位映像のライブストリーミングに関しては，本学の機材や学生の機動力を活かして先駆けて実施にこぎつけたが，今後多くの企業などが次々と参入してくるとみられ，単純に資本を投下すれば可能になることよりも，全方位映像ならではのコミュニケーション形態やコンテンツの開発など，アイデアを活かして進めていく必要のある部分を考えていくことが特に優先されるだろう．

謝辞
最後に，イベントや機材，システム提供にご協力頂いた
カディンチェ株式会社の青木氏，福本氏，株式会社ハコスコの太田良氏，イベント開催にあたって非常に多忙な中，会場設営やイベント運営に多大なご協力を頂いた情報科学芸術大学院大学（IAMAS） NxPC.Labのメンバーおよび出演者，来場者の皆様，ご助力頂いた本学職員の皆様，フライヤー画像作成とイベントPRに助力頂いた杉山氏，遠隔DJ中継にご協力頂いたトノサキ氏，神氏，斎藤氏，イベントPRにご協力頂いたWebメディア各位，閲覧やツイートをして下さった多くの方々に謹んで感謝の意を表する．

参考文献
1) 発売前に RICOH THETA S のライブビューを Unity でリ
アルタイムに全天球で見るやつ作ってみた - 凹みTips:
http://tips.hecomi.com/entry/2015/10/11/211456，2015年12© 2016 Information Processing Society of Japan990