第９部

Software Defined Media

第９部
Software Defined MediaSDM WGメンバー

第１章

後の方向性を議論する．

はじめに

Software Defined Media（SDM）コンソーシアムは，2014

第２章

LiVRationの実用化

年に設立され，オブジェクト指向のディジタルメディアと，インターネット環境が前提の映像・音響空間を用い遠隔で音楽ライブをマルチアングル，立体音響をインタたビジネス創造を目指してきた．昨年までの報告書でラクティブに視聴できるLiVRationを実用化は，NTT西は，SDMのコンセプトやアーキテクチャ，試作プラット日本，アルファコードが主体となって取り組んだ．現在，

フォーム[77][78]，データ収録[79]，収録データベース設

REALIVE360を商標として，スマートフォンベースのVR計[80][81]，SDMプラットホームを利用したアプリケーアプリとしてiPhoneとAndroidのアプリケーションとし2ションであるSDM360 [82][83]やLiVRation [84][85]なて提供されている（図1，図2）＊1．これまでに，アイドルどを報告してきた．

グループのももいろクローバー Zのコンテンツが購入可
能である．

本報告書では，2019年度に実施した活動を報告する．まず初めに，2章では，LiVRationの実用化に関して述べ以下，NTT西日本と，アルファコードのREALIVE360のる．次に，3章では，SDMコンソーシアムとしてInterop事業開始のプレスリリースを挙げる．

2019東京に出展したデモンストレーション概要について述べる．4章では，今年度に新たに設計・実装した
2• マルチアングルVRサービス「REALIVE360」の有償提供

Web360 について報告し，5章では，SDMに関連した卒開始について～観たいアングルを自由に選択できるマ業論文として発表されるco-Soundについて報告する．6

ルチアングルで，まさに未来型ライブ体験～｜NTT西

章では，3度目の開催となるSDMシンポジウム2019につ日本＊2いて報告する．最後に，7章で本報告書の結論を述べ，今図1 REALIVE360の概要（出典ウェブサイトより）
＊1
＊2

98

図2 REALIVE360の概要（出典:ウェブサイトより）https://realive360.jp/
https://www.ntt-west.co.jp/info/support/oshirase20191224.html

• 8K VRを実現する音楽配信サービス「REALIVE360」に処理等を行うサービスを配置し，ローカル側に立体音響おいてVRライブの配信プラットフォーム・撮影技術提再生のためのサービスを配置することでプラットフォー

供で共同事業開始｜アルファコード

第３章

＊3

INTEROP東京2019での展示

ム（立体音響プラットフォーム）を構成している．
試作システムでは，ARマーカによるインタラクティブな音声オブジェクト操作アプリケーション，リモコンUIによる音声可視化アプリケーションの２つがプラット

Internet of Things（IoT）の技術進展によって，視聴空間にフォーム上に配置されており，これらを組み合わせるこおける視聴者の動きなど様々な要素がリアルタイムに情とで，オブジェクトベースの立体音響を実現している．

報空間に取り込まれるようになってきた．さらに，オブジェクトベースの立体音響システムでは3次元の情報空

本章では，それぞれのサービス，アプリケーションについ間上の音声オブジェクトをリアルタイムに視聴空間にレて述べる．

ンダリングできるようになってきている．
3.1

インタラクティブ操作アプリケーション

本研究では，IoTを活用することで，インタラクティブな複数のARマーカの位置情報を，iPhoneを使って推定する音声視聴を可能とするネットワーク化された立体視聴プアプリケーションである．Aplix社が提供しているQuantiラットフォームの開発・評価を行った．また，スマートフォ™の拡張版を用いており，基準点として設置したARマーンやタブレット端末などの民生品とAugumentedReality

カからの位置と方向を推定することができる（図4）．推（AR）を活用して，プラットフォーム上でインタラクティ

定されたそれらの情報は，ARマーカの検知IDを含む形でブな立体音響操作を実現するアプリケーションを開発しJSONにエンコードされ，MQTTでリアルタイムに発出さた．これらのシステムを，Interop 2019にて展示し，45れる．以下はMQTTのペイロードサンプルである．検出し人の主観評価を実施することで，その有効性を確認したたデバイス（device）と，検知したARマーカのID（tagID），（詳細は[86]を参照）．

姿勢情報（Rx,Ry,Rz）
，位置情報
（t）
が発出される．

システムの構成を図3に示す．図の下部はLANに接続された音響設備・アプリケーションであり，上部はインターネット上に設置されたサービスを示す．本システムでは，アプリケーション間の通信のための通信バスとしてMQTTを採用し，クラウド上にMQTT Brokerとデータ前

図3 立体音響プラットフォームのシステム構成＊3

図4 QuantiによるARマーカの検出

https://www.alphacode.co.jp/news-events/news/20191224130846.html

99今回実証した環境では，ユーザの動きによってiPhoneの

3. データ保存

視覚が遮られる場合に備えて，およそ2.5メートルの高さアプリケーションの動作に必要なデータをプラットに，iPhoneを2箇所設置した．なお，iPhoneは有線LANにフォーム上に保持する機能．永続化が必要なデータに接続し常時給電されている．図5はARマーカを用いた操作

ついては，別途データソースを用意する．の例である．ARマーカを張り付けた指示棒を使って，音声の中心位置を操作している．

4. データ変換
立体音響の提示のためにデータ変換を行い，MQTTで

後 述 す るVirtual SoundScape System（VSSS）に よ る 音 声

メッセージを発行する機能．

提示が可能なソース同時に１つまであるため，複数台のQuantiを用いて立体音響制御を試みた場合，それぞれに5. 立体音響の再生推測された位置情報が異なったり，ARマーカをQuantiのVSSSを使って，スピーカーシステムから立体音響をフレームレート20fpsよりも高速で動かしたりした場合，再生する機能．

再生位置が急に移動したり，ぶれて聞こえたりする懸念があると考えた．そのため，プラットフォーム側の機能と本システムでのメッセージ交換は，以下の流れとなる．

して，カルマンフィルタによる位置推定を実装した．

Quantiから取得した複数の位置情報は，MQTTで発出された後，プラットフォームで前処理が施される．異常値

3.2

立体視聴プラットフォーム

プラットフォームの機能としては，以下を実装した．

検出や検知対象の位置情報の推定が行われた後，必要なデータ変換を施されて立体音響の再生を行うスピーカシステムであるVSSSに操作コマンドとして入力される．具1. データ（メッセージ）
バス

体的には，データ変換時の処理として，前処理された位置IoTデバイスやアプリケーション間でのメッセージ交座標はVSSSが解釈可能な値の幅（0 ～ 255）に変換され，換する機能．

コマンドの一部として入力されている．この際，再生対象の音源選択のコマンドは，リモコン操作部からの入力を，2. データ前処理・イベント複合処理

プラットフォーム側が保持し，必要に応じて再生側に伝特定のメッセージに対して，ルールベース／機械学習えることで実現される．これらの操作コマンドは，VSSSによる異常値検出や後述するカルマンフィルタによの入力インタフェースとして提供されていたMIDIによるる位置情報の更新などの前処理を行う．

APIをMQTTでラップしたものとなっている．なお，インターネットに設置したMQTT Brokerのサーバスペックは表1である．
MQTTトピックの命名規則としては，表2に示す固定の11階層の構造を採用した．これらは，建物設備制御における命名規則[87]を踏襲しており，建物の空間内に配置された設備機器の情報を十分に記述できることに加え，BIM（Building Information Modeling）との相性も良い．
例えば，

表1 MQTT Brokerのサーバスペック図5 ARマーカによる操作（音声可視化アプリ）100

３次元空間の特定の位置に特定の音を再生する場合，以前処理を行った上で，カルマンフィルタによる位置情報下のようなTOPIC名でコマンドを発行する．の推定器（Estimator）に送るために，MQTTの通信バスに発出している．Estimatorからの入力に対しても前処理を行い（App:Preprocess_From_Estimator），SDM用のデータ変換（Rule:format_TagInfo_For_SDM）を行うことで，立体音響の再生が行われる．なお，それぞれのノー

3.2.1

データ前処理データ前処理・保存・変換の一部は，リアルタイムイベン

ドで扱うデータに対しては，Typeノードによってスキーマ定義がされる．

ト処理基盤であるVANTIQを用いて実装している．機能
モジュールを組み合わせることで容易にシステム開発・カルマンフィルタによる位置推定機能は，Pythonによっデプロイが可能であり，かつリアルタイム性・信頼性のて実装され，MQTTを介してVANTIQとメッセージ交換高い商用システムであるが，同様の機能は，OSSであるし て い る．Pythonと な っ た 理 由 と し て は，VANTIQや＊4

NodeRED などでも実現できる．図6にVANTIQで開発しNodeREDのようなビジュアルプログラミングツールでた前処理のロジック一部を示す．

は，行列計算などがサポートされていないためである．実測値である３次元空間上の位置座標（x,y,z）をフィルタリ

Sourceと記載のあるノードがMQTTからの入出力を示しングによって推定した結果を，図7に示す．カルマンフィており，App，Ruleと記載あるノードで詳細なロジックルタによって，滑らかに位置座標が推移しているのが分の記述を行っている．処理の概要としては，実証環境やかる．

シミュレータから生成した，位置情報データに対しては
表2 MQTTトピック命名規則

3.2.2

立体音響の再生

データ変換後のメッセージを解釈・再生するのは，図3右下に示すバンダイナムコスタジオの開発するVSSSである．VSSSはあらかじめ登録された複数の音源を，アプリケーションから指定された三次元位置に提示することができる．VSSSで計算された各スピーカの音声情報は，Dante™規格でヤマハXMV8280-Dへ送信される．
XMV8280-Dでは，各スピーカに接続されるアナログケー

図6 VANTIQによるロジックの記述＊4

図7 予備実験カルマンフィルタ

https://nodered.org/101

ブルを通じて音声情報が伝えられる．こうして，4m四方場などにより3Dコンテンツの視聴体験への敷居が下がり，の角に設置された8つのスピーカ（高さ1.2mと2.7m）を用3Dコンテンツサービスが拡がり始めている．近年，3Dコいてユーザに立体音響を届けることができる．

ンテンツサービスをWebブラウザ上で体験するための技術が進み，専用のアプリケーションをインストールする必

リモコン操作・音声可視化アプリケーション

要もなく，Web上で手軽にサービスを楽しむことができ

3.1 節に示したインタラクティブ操作アプリケーションるようになってきた．本研究では，Web上で360◦動画おとは別に，リモコン操作で音声オブジェクトの位置変更よびオブジェクトベースオーディオによる立体音響を再をするためのiPadアプリケーションとして開発した（図生し，視聴者にインタラクティブな3Dコンテンツの視聴8）．一般的なドローン操作に用いられるようなユーザイ体験を提供するWebアプリケーション「Web3602」
を設計，ンターフェースを提供しており，画面左側に上昇・下降・実装し，さらに評価を行った．Web3602は，GithubPages

右に移動・左に移動の4つのボタンを配置し，画面右側に＊5

3.3

にて公開している（詳細は[88]参照）．

は前進・後退・右旋回・左旋回のボタンを配置した．ユーザの操作に応じて対応するMQTTメッセージが発行される

4.1

とともに，プラットフォーム側で処理された位置情報を

Web3602のシステム設計概要を図9に示す．視聴者の頭もとに，ARオブジェクト（画面上ではUFO）が表示さる．

部動作や音響オブジェクトへのタッチ操作を入力としてアプリによる仮想空間と，立体音響の再生される実空間

受け付け，操作に応じた映像や音響をシステム内でリアの座標のキャリブレーションは，感覚的な要素も考慮しルタイムにレンダリングして出力することでインタラクて，環境ごとに手動で設定することとした．なお，開発環ティブ性を実現する．映像・音響のメディアファイルはそ境はUnityである．

れぞれ独立しており，システム内で同期をとりながら再設計生する．映像ファイルには無音の360◦動画，音響ファイ第４章

ルにはAudioSprite＊6によって各音源ファイルを1つにまWeb3602の開発とめた音源群が収録されている．AudioSpriteは複数の音声ファイルを，時間間隔をとりながら並べて，1つの音声インターネット上の動画配信サービスが拡大し続けておファイルにまとめる技術であり，再生の際のリクエストり，全世界のダウンストリームトラフィックシェアのうち数を減らすことができるため読み込み時間を短縮するこ

動画ストリーミングのトラフィックシェアが過半数を占とができる．また，すべての音声が1つのファイルにまと◦めている．VRサービスの普及や民生用の360 カメラの登まっていることで，音声ごとの読み込み遅延を気にする必要がなくなり，音声間の同期がとりやすいことも利点として挙げることができる．

図8 リモコン操作・音声可視化アプリの画面
＊5
＊6

102

https://sdm-wg.github.io/web360square/https://github.com/tonistiigi/audiosprite

図9 Web3602のシステム設計．

360◦動画はHLSでストリーミング配信され，視聴者を中11に示す．

心とする仮想的な球面内側に投影して再生される．また，音響オブジェクトのもつ3次元位置情報からこの仮想的4.3.1な球内部の各地点に音響可視化オブジェクトを描画し，A-Frameを用いて，360◦ 動画の投影や音響可視化オブ各音響の強弱を表現したり，タッチ操作によってON/OFFジェクトの描画を行う．360◦ 動画はHLSでストリーミを切り替えることができる．視聴者の頭部動作は端末にン グ 配 信 さ れ，A-Frameのa-videosphereオ ブ ジ ェ ク ト

搭載されたジャイロセンサを通してシステムに入力されを用いて，カメラを原点に広がる球面内部に映像を投影

視聴角度が変更される．視聴角度とON状態にある各音響する．HLSはSafariやEdge，一部のモバイル端末用ブラオブジェクトの位置関係から聴こえるべき音響を生成しウザではネイティブサポートされているが，Chromeや出力する．

Firefox，IEなどサポートしていないブラウザも多く存

A-Frameを用いた処理在するため，hls.js＊7を用いて対応した．音響の可視化は4.2

素材データ
2

Web360 を開発に用いた素材データは，2016年1月10日

Web AudioのAnalyzerノードから提供される各音響の周波数領域データを用いて表現している．に慶應義塾大学日吉キャンパス内に建つ藤原洋記念ホールで開催された慶應義塾大学コレギウム・ムジクム古楽

また，視聴者のインタラクティブな操作は主にAFrameがアカデミーのコンサートの収録データ，および，2017担う処理を介して入力される．視聴者の頭部動作は端末

年1月26日に六本木ミッドタウン内にあるBillboard Liveに搭載されたジャイロセンサに検知され，A-FrameのカTokyoで開催されたMusilogue Bandのコンサートの収録

メラオブジェクトに入力されることで視聴角度が変更さデータである．[82]や[79]に，それぞれの収録環境や収録れる．タッチ操作はA-Frameでレンダリングしたオブジェ方法が記述されている．

クトにタッチすることで入力として認識され，各音響のON/OFF状態を変更することができる．

4.3

実装

Web3602 は，主 にWebVR用 の フ レ ー ム ワ ー ク で あ る

4.3.2

A-FrameとWeb Audio APIを用いて実装した．実装概要

Web AudioのAudioContext上で各ノードを鎖状に繋いでを図10に示し，視聴体験中のスクリーンショットを図いき，視聴角度とON状態の各音響オブジェクトから聴Web Audio APIを用いた処理こえるべき音響をリアルタイムレンダリングする．はじ

図10 Web3602の実装概要．

＊7

図11 Web3602のスクリーンショット．

https://github.com/video-dev/hls.js/

103

めに各音源が1つにまとめられたAudioSpriteのファイル

ントのtickハンドラを用いて毎秒60回から120回程度データから各音源を抽出し，Buffer Sourceノードに入力のオーダーで，周波数データを取得するAnalyserNode.

する．次のGainノードでは，OFF状態の音響のゲインをgetByteFrequencyData()メソッドを呼び出す．取得した0にすることで音響のON/OFF状態を表現する．映像は視周波数データの処理行程の概要を図12に示す．

聴角度と各オブジェクトの絶対座標に応じて，A-Frameが自動的に適切な相対位置を計算しながらレンダリング

AnalyserNode.getByteFrequencyData()メソッドによってするが，Web Audio上で音響オブジェクトは視聴角度のナイキスト周波数以下の周波数データが得られるが，極変動に自動追従できないため，カメラの視聴角度と絶対端な高周波数帯・低周波数帯にはあまりデータが存在せ座標から相対座標を随時計算してPannerノードに受け渡ず，有効な値が含まれる周波数の範囲は限られているこ

すことで音響の追従性を実現する．例えば，視聴角度にとが多い．そこで，一度でも有効な値が現れたことがあ対して音響オブジェクトが右側に存在すれば右側で音がる周波数の上限・下限をとり，この範囲を有効周波数帯鳴っているような音響を生成することができる．また，とする．有効周波数帯は再生開始から周波数データが取各音響の周波数領域データはAnalyzerノードで計算さ得される度に更新される．有効周波数帯の中に含まれるれ，A-Frameの音響の可視化処理に用いる．以上の処理

データを周波数の高さの順に可能な限り均等な32グルーまでは各音源ごとにされ，最後にマスターゲインとなるプに分けて，グループ内で平均値を計算する．得られた

GainノードやDynamics Compressorノードでまとめられ32グループそれぞれの平均値は音響可視化オブジェクト

バイノーラル出力される．の32本の棘の長さと色に変換されて描画される．周波数の高さを音響可視化オブジェクトの棘の長さに対応させ4.3.3て描画してみたところ，近接する周波数グループ同士に音響の可視化

Web Audio のAnalyserノードでは，時間領域データや相関があるために部分的に棘が盛り上がるような不格好FFT（Fast Fourier Transform，高速フーリエ変換）によるな形状となったため，周波数の32グループと音響可視化

2

オブジェクトの32本の棘の対応関係はランダムに定まる周波数領域データを取得することができる．Web360の音響可視化では周波数領域データのみを用いる．音ようにした．また，棘の色はOFF状態ではグレーであり，響可視化オブジェクトを構成するA-FrameコンポーネON状態では平均値が大きくなるにつれて青，緑，黄，オレンジ，赤と変化していく．
4.3.4

映像と音響の同期処理

映像・音響のメディアファイルはそれぞれ独立している
ため同期をとりながら再生する必要がある．映像の再
生 時 間 はJavaScriptのHTMLMediaElement.currentTime
プロパティによって取得・設定することができる．一方，音 響 に つ い て はWeb Audio APIに 読 み 取 り 専 用 のAudioContext.currentTimeプロパティが用意されているが，これは音響の再生時間ではなくAudioContextが生成されてからの経過時間を示す．音響が停止中であってもAudioContext.currentTimeプロパティの値は単調に増加し続けるため，システム内では音響の再生・停止を管理す
るWeb Audio APIのAudioBufferSourceNode.start()メソッドおよびAudioBufferSourceNode.stop()メソッドが呼び出される際にAudioContext.currentTimeプロパティの値
図12 音響を可視化する処理．

104を記録するなどして音響の再生時間を算出している．

再生開始時やループ再生により先頭に戻った際には映は現実空間の要素とデジタル空間情報の両方と対話する像の再生時間を算出された音響の再生時間に強制的にことを可能としているが，映像音声視聴環境の媒体として同期させる．また，音響可視化オブジェクトのAFrame活用された事例は数少ない．そこで本研究では，ARを活コンポーネントがもつtickハンドラによって毎秒60回用した音楽イベントのインタラクティブな映像音声再生から120回程度のオーダーで，算出された音響の再生時アプリケーション「co-Sound」を提案する．co-Soundは，導間と映像の再生時間の差分を管理する．差分値に対して入コストが低いウェブブラウザ上で，視聴者からの様々な閾値を設定し，閾値を超えたときに映像の再生時間を音入力に応じて，オブジェクト単位に構築されたARを動的響の再生時間に強制的に同期させる対応は可能ではあにレンダリングするマルチモーダルなインターフェースるが，同期処理が入るたびに映像再生の滑らかさが失わとして設計された．さらに複数ユーザ間のARオブジェクれ，体感品質を損なってしまう．そこで，現行バージョ

ト操作をリアルタイムかつ双方向に共有することで，従来ンでは差分の閾値を0.1秒として，閾値よりも映像が遅1対1に制限されていたユーザとコンテンツとの関係性をれたら映像の再生速度を2倍にし，閾値よりも映像が先拡張し，同一AR空間でのユーザ同士のインタラクション行したら映像の再生速度を0.5倍にすることで，映像とを可能としている．試作したアプリケーションを実装し，音響の再生時間のずれが徐々に閾値以内に収束するようAR空間同期の性能評価および被験者からのアンケート評な比較的制約のゆるい同期をとっている．再生速度の変価を行った．複数ユーザからのオブジェクト操作を受け付調は多少の違和感を生じてしまうが，映像再生の滑らかける十分な低遅延同期を確認し，WebARを活用したインさを保つことができる．映像の再生速度はJavaScriptのタラクティブな映像音声視聴メディアとして高い評価をHTMLMediaElement.playbackRateプ ロ パ テ ィ に よ っ て得た（詳細は[89]参照）．

設定する．
5.1第５章co-Soundの開発

co-Soundのシステム概要

co-Soundのシステム設計の概要を図13に表す．視聴者はタブレット端末等からARマーカをカメラに写すことにより，co-Soundへ映像情報を入力する．入力された映像情インターネットを前提とした視聴サービスは，収録した映報から，マーカの検出およびカメラ座標の推定が行われ，像音声データのIPネットワーク化により各システム及び前節で述べた収録データが持つ位置情報と照会することプロセスのソフトウェア制御を行っている．加えて収録対でARオブジェクトの座標および原点を決定する．またAR

象へのオブジェクトベースによるアプローチは，視聴コンマーカの検出，AR映像の位置やカメラ座標の推定に加え，テンツの柔軟な再生を可能としている．一方で三次元映像

視聴者からのタッチ動作を入力情報として，これに応じ投影技術の一つである拡張現実（Augmented Reality，AR）たAR映像や音響をシステム内でリアルタイムにレンダリングして出力し，インタラクティブ性を実現する．
さらに，co-Sound内で状態管理が行われた視聴オブジェ
クトのメタデータをシリアライズし，他端末間で相互に通信することで，リアルタイムにAR空間を同期させる．
入力となるカメラ映像は端末依存の情報となるため，各ユーザによる自由視点視聴の要求事項は満たされる．

表3 メッセージ同期トポロジの違い

図13 co-Sound設計図

105

5.2

リアルタイムなAR空間同期の設計

5.3

実装

リアルタイムでAR空間情報を同期するにあたり，表3に前節で述べた設計アプローチをもとに，co-Soundを実ていくつかの通信方式を比較する．本研究では低遅延通装した．本システムは，主にWebAR用フレームワーク

信方式としてWebRTCを採用する．P2Pによって各ノーであるAR.js[90]，Webブラウザ上で音声を扱うためのド間を結びフルメッシュネットワークを構築し，ARオブWebAudio API [91]を用いて実装した．アプリケーション

ジェクトのメタデータの同期を行う．同期のための通信のスクリーンショットは図14の通りである

量はO(n2)となるが，デバイス間の通信における経由ホップ数が少なく，よりリアルタイム性が保証されることが5.4期待される．

実行環境は以下の表4の通りである．WebサーバからはWebAR動作概要

co-Soundのアプリケーションデータが送られ，新しくルーム（詳細は5.7節に記述）を設定した場合，【??節】で述べた音楽イベントの基本データである各楽器の3Dモデルファイル，位置情報および映像音声メディアファイルが伝送される．
Webブラウザにおいて，視聴端末（タブレット端末やスマートフォンなど）に付属したカメラからの映像はタグ
図14 co-Soundスクリーンショット
表4 co-Sound実行環境に，生成されるAR映像はタグにレンダリングされるが，マーカの画像認識およびカメラ位置の推定はAR.js，AR映像や音響可視化オブジェクトの描画はThree.jsにより行われる．Three.jsオブジェクトのシーンは図15のように構成し，対象となる楽器ごとに描画グループを分割した．このうちcameraオブジェクトを用いてAR.jsのクラスを定義することで，視聴端末の物理カメラとThree.jsシーン内でのカメラ位置が同期され，任意の位置でAR映像を視聴することが可能となる．
5.5

ユーザインターフェース

co-SoundはARコンテンツの視聴に加え，タブレット端末等を想定し視聴者からのタッチ動作によりARオブジェク
トに対し簡易的なインタラクティブ操作を可能とする実装を行った．視聴者はpickingと呼ばれる処理により，視聴端末上のAR映像をタップすることでco-Sound内部オ

図15 Three.jsオブジェクトのシーン構造106

図16 co-Soundにおけるピッキング処理

ブジェクトのデータにアクセス可能となる．co-Soundの実装した．AudioContextオブジェクトをベースとして，picking処理の概要を図16に示す．

WebサーバからHTTPリクエストにより取得したBufferSourceから出力であるdistinationまで，ノードを鎖状に連視聴者のタップした座標を，プロパティにより取得し，ス結し音響をリアルタイムレンダリングする．

クリーン上で-1 – 1へ正規化する．次にこのスクリーン座標系をカメラ座標系に変換する．クラスのメソッドがこ

音響のON/OFF動作は，ゲイン調整ノードであるGainオブれにあたるが，Three.js v0.110.0において正常な計算がジェクトのgain値を0または定数にすることで表現した．

行われないため，原義に基づき以下のプログラム1でこれBoxオブジェクトを用いた音響の可視化は，Web3602 [88]を求めた．更にクラスに，光線が発する元となるカメラの同様，WebAudioのメソッドにより時間領域データから周位置ベクトルおよび上式で求めた光線の方向ベクトルを波数領域データを取得し，有効周波数帯をBoxオブジェク指定する．これによりレイキャスタを作成し，タップしたトの長さおよび色に変換することで表現した．

点の位置ベクトルから延長した光線ベクトルを導出する．
この光線ベクトルに対しメソッドを利用することで，シー最後に，立体音響のリアルタイムレンダリングを実装しンに存在するオブジェクトとの交差判定を行い，光線ベた．AR映像はAR.jsを用いたマーカー検出およびオブジェクトル上のオブジェクトが返される．以上の手順でタックトの位置情報により適当な座標に描画されるが，音像プ動作によるARオブジェクトの選択を可能とした．

はこれに追従しないため随時座標を計算する必要がある．
座標計算に必要な座標系を表5にまとめる．以下では，あListing 1: スクリーン座標系からカメラ座標系への変換

る 点Pを 座 標 系Aで 見 た と き，APsubscriptと 表 記 す る．
AR.jsでは検出したマーカーを原点としたローカル座標系
上にAR映像が配置されるため，これをco-Soundのワールド座標系として扱う．すなわちマーカ中心はWO，ある楽器オブジェクトaはWaおよびカメラオブジェクトはWPVと表される．一方，WebAudioにおいて三次元位置情報を選択したオブジェクトに対して，（1）音量のON/OFF;（2）扱うPannerノードは視聴者を原点としたローカル座標系座標の変更; のインタラクションを実装した．目的のARを渡す必要があるため，ワールド座標系をビュー座標系オブジェクトへのタッチ動作により音量のON/OFFが切に変換する．ビュー座標系から見た楽器aはVq，ワールドり替わり，加えて各楽器オブジェクトの中心に位置する座標系の原点はVPWと表され，座標系の回転をVRWと表Sphereオブジェクトが不透明状態となることで，選択状記すると，以下の式1が成り立つ．

態を表すフラグが与えられたことを示す．フラグが与えられたオブジェクトを操作する十字コントローラ型UI（図Vq = VPW + VRW · Wa

14 アプリケーション画面左）を実装し，対象となったAR= VRW · (Wa − WPV) (1)

映像のxyz軸三方向への移動を開発した．
上式よりワールド座標系の任意のオブジェクトをビュー
5.6

座標系で表せるため，カメラ中心即ち視聴者を基準としco-Soundの音響制御

Webブ ラ ウ ザ に よ る 音 響 効 果 をWebAudioを 利 用 し てた立体音像をレンダリングすることが可能となる．

表5 立体音響のレンダリングに関する座標系

107

5.7

意見交換を行った．

端末間シグナリングおよびコネクション

複数端末間でのAR空間同期のために，リアルタイム対話型マルチメディアサービスとして設計されたオープ• オブジェクト視聴メディアとソフトウェア制御

ン ソ ー ス のPaaS（Platform as a service）で あ るSkyWay• オリンピックに向けた研究開発

v2.0.1＊8を利用した．SkyWayはWebRTCのコネクション• インタラクティブメディアとゲーム接続用のシグナリングサーバ，パケットリレー用のTURN• 新しいメディアデバイス

サーバ，そしてWebSocketサーバを提供しており，各ピア• シネマ・劇場におけるメディア設備とコンテンツ上で立てたPeerインスタンスから呼び出すことで接続か• 視聴メディアに関する標準化活動

ら離脱までのコネクション管理が可能となる．なお，こ• 3Dユーザインターフェイス

れらのサーバは東京に配備していると公開されている＊9．本研究ではSkyWayを利用して名前空間で分割されたルームを作成し，co-Soundを立ち上げたピアがルーム上• 放送に関する研究開発• 機械学習を利用した時空間情報の解釈と視聴者行動の検知で相互にコネクションを確立するよう設計した．最も有• 大容量メディアの分散処理とEdge Heavy Computing

用なケーススタディであるブロードキャスト（すなわち1• 大 容 量 メ デ ィ ア の た め の ネ ッ ト ワ ー ク とContent対nの通信）を用いて，オブジェクトベースに構成された

Delivery Network

AR映像音声のメタデータを送信することでリアルアイムな同期を実装した．

また，パネル討論のパネリストとして以下の6名が登壇した．

ここで，通信プロトコルとして（1）
WebRTCによるメッシ ュ 型 通 信;（2）WebSocketに よ る ス タ ー 型 通 信;の2

• 猿渡洋（東京大学情報理工学系研究科教授）

種類を用いて実装を行った．公開されているSky-Way• 池田雅弘（ヤマハ株式会社音響事業本部開発統括部長）

JavaScript SDK（Software Development Kit）のソースコー• 光藤祐基（ソニー（株）
RDセンター基盤技術研究開発第ドでは，ルーム型バイナリデータ通信用にはWebSocket

1部門オーディオ技術開発部2課統括課長）

のみ実装されている．そこで1対1型に実装されている• 村井幹司（株式会社ジェネレックジャパン 代表取締役）

WebRTC DataChannelのソースコードをもとに，ルーム型• 山下修（株式会社オーディオブレインズ 技術部 アプリにおいても各ピア間で相互にDataChannelコネクションを構築するよう改良を行った．

第６章

SDMシンポジウム2019

映像と音声のオブジェクト化が融合することで，従来の配布型コンテンツビジネスを超えた，新しい次元のインタラ

ケーションサポート課）• 塚田学（東京大学情報理工学系研究科准教授）
また，SDMシンポジウム2019の詳細として，プログラムを含む，ウェブサイト情報を付録Aに添付した．

第７章

まとめ

クティブなオリンピック・パラリンピックの視聴形態など
これまでにないビジネス領域や，これまでにないディジ

本報告書では，2014年より開始したSDMコンソーシアム

タルメディアを用いた表現方法などを開拓・開花させるこで進めて来た，視聴空間サービスのソフトウェア制御によとが期待されている.2019年7月8日（月）に開催するSDMる研究で，2019年度に行なった活動について報告した．

シンポジウム2019では，以下の関連トピックスに関して，
＊8
＊9108

https://github.com/skyway/skyway-js-sdk
https://support.skyway.io/hc/ja/articles/115003112067-TURN サ ー バ の 配 置 場 所 に つ い て（Accessed on01/04/2020）

SDMコンソーシアムでは，ソフトウェア処理による視聴空間の制御，映像音声を制御するネットワーク機器，インタご協力をよろしくお願いいたします．

ラクティブ・ユーザインターフェイス，SDMプラットホームを利用したコンテンツ作成など，共同研究活動に参加するパートナーを募集しています．

Appendix

SDM シンポジウム2019の詳細109

110

111

112

113

114