第３部

特集3 Software Defined Media活動報告2015

第３部
特集3 Software Defined Media活動報告2015
SDM WGメンバー

第１章

はじめに画館やホームシアター，さらには個人向けモバイル機器を対象に，音のオブジェクトから3次元の音場を生成する立体音響システムが登場している．また，映像におい2020年の東京オリンピック・パラリンピックの開催に向ては，複数の地点・角度から撮影された映像・動画から，けて，世界からの訪問者への高度なおもてなしを目指し撮影した空間に存在する3次元オブジェクトの抽出が可た社会インフラのスマート化が急がれている．中でも，能であり，抽出した3次元オブジェクト情報を用いて，任オリンピックの理念である「スポーツを通して心身を向意の視点（自由視点）からの映像の作成・再構築が可能と上させ，さらには文化・国籍など様々な差異を超え，友情，なりつつある．

連帯感，フェアプレーの精神をもって理解し合うことで，平和でよりよい世界の実現に貢献する」という目標を支

こうしたの流れに目を向けると，今後はインターネット援するため，地球規模での一体感を生み出すような視聴で収録環境と再生環境を双方向で接続し，視聴オブジェメディアに関する研究開発の重要性が高まっている．そクトを交換しながら，3次元表現を持つ情報空間をエッのためには，グローバルなインターネットを前提とした映ジヘビーコンピューティングまたはクラウドで計算処

像・音響の視聴空間と視聴メディアの設計が必要である．

理することよって，映像音声が作り出されていくことになるであろう．映像と音声のオブジェクト化が融合する

近年は，多くのスマートフォンに標準的に内蔵される収ことで，従来の配布型コンテンツビジネスを超えた，新録機器を常時持ち歩くことが増え，収録された映像音声

しい次元のインタラクティブなオリンピック・パラリンの情報はインターネット上で瞬時に伝達・共有・加工さピックの視聴形態などこれまでにないビジネス領域や，れる状況が出来上がった．さらには，収録対象から映像これまでにないディジタルメディアを用いた表現方法な素子に入力されたビットマップ情報と，ステレオマイクどを開拓・開花させることが期待される．に入力された2チャネルの音声情報としてそのまま伝送し，受信側でそのまま再生するだけでなく，空間に存在する収録対象を3次元モデルとして解釈し複数の視聴オ

第２章

Software Defined Media

ブジェクトに分解して伝送し，受信側ではこれらのオブジェクトを用いて空間を再合成するオブジェクト志向のオブジェクト志向のディジタルメディアと，ネイティ方式が注目を集めている．これにより，ヘッドマウント

ブ・ディジタルなインターネット環境が前提の映像・音ディスプレイ（HMD），3Dテレビ，立体音響装置などの受響空間を用いたビジネス創造を目指し，2014年1月に信側のシステムの構成に合わせた柔軟な3次元表現が可Software Defined Media（SDM）
ワーキンググループ（WG）

能となるだけではく，他のコンテンツの視聴オブジェクを設立した[14]．

トを別途受信し組み合わせることで，今までにない表現が可能になる．

SDMとは，映像・音響システムのIPネットワーク化を背景に，これらの設備の機能に対して抽象化・仮想化を行い，例えば，音響においては，Dolby AtmosやDTS:Xなどの映サービスとしての映像・音響を提供するための基盤的な

21

アプローチである．SDMでは，下層の映像・音響機能を抽を利用して，ソフトウェアの設定や処理によって，象化して管理することで，全体の意思決定を行うソフト

視聴空間の多目的な利用が可能となる．

ウェアシステムと，実際の映像・音響の入出力を行うデバイスを引き離して（decoupling）扱うことが可能となる．

２） 映像・音声の複数ソースのミキシング可能性：出来合

これにより，演奏・上映される演目や，その演出上の目的いのコンテンツだけでなく，インターネットと放送のために，柔軟かつインテリジェントに，映像・音響のシシステムの伝送メディアと，リアルタイムとオンラステムを構成することができる．これにより次の機能をインの複数のコンテンツから，視聴オブジェクトを実現する．

受信して，受信側でのミキシングを可能とする．これによって，各拠点の視聴者の要求に合わせた柔軟

１） 3次元の映像・音声の演出をソフトウェアで制御：今な映像音声を作り出す．

日，会議室，劇場などの用途別に特化した映像音声の設備が存在し，機能ごとにハードウェアベースの３） ソフトウェアレンダリングによる拡張演出：SDMでシステムが構築されているが，SDMでは，視聴オブ交換される視聴オブジェクトは実空間由来のものでジェクトを3次元表現を持った情報空間上で管理しある必要はなく，コンピュータを使って設計されたながら，ソフトウェアの演出によって再生環境に適映像音声による効果を組み合わせることによって，した映像と音響を作り出す．これにより汎用の設備視聴者による満足度や臨場感を高める．

図3-1

22SDMアーキテクチャ

４） 視聴者の関心事への集中可能性：SDMでは，視聴者アプリケーション層は，APIを通じてSDMサービスを利の関心事を再生側のソフトウェアシステムにフィー用する任意のアプリケーションが動作する層である．こドバックし，演出の制御や，視聴者の望む映像音声の層にローカルレンダラと呼ぶアプリケーションがあのソースを選択可能にする．また，同一の関心事をり，インターネット上に存在する，リアルタイムとアー持つ遠隔の視聴者間で，時間と空間の制約を超えたカイブのコンテンツをパブリックレンダラから取得して視聴者間の相互作用を実現する．

SDMサービスと組み合わせてSDM拠点の視聴空間に対して視聴者の要望に合わせた映像音声を作り出す．

第３章

SDMアーキテクチャ

レンダリングの機能は，ローカルだけではなく既存の放送システムやインターネット経由で取得したコンテンツ

前章に述べたSDMの機能を実現するSDMアーキテクチャ

を共同編集するなどの機能を持つパブリックレンダラにを図3-1に示す．

より前処理される．また，アプリケーション層に定義されるメディアエンコーダによりSDM拠点を，他のSDM拠SDMは図3.1左に示すように，視聴空間（実空間）に存在す点からは放送局として機能させる．SDM拠点からの放る収録対象を3次元モデルとして解釈し，複数の視聴オブ送はリアルタイムに他のSDM拠点に転送されるだけでなジェクトに分解して情報空間に取り込み，視聴オブジェ

く，視聴オブジェクトの蓄積・管理などのコンテンツ管理

クトの交換など様々な計算処理を行って，その結果を自を行う．

在に視聴空間に投影することで視聴空間の再合成を行う仕組みである．上記の視聴空間と情報空間をつなぐ処理を行うSDMの基本単位をSDM拠点と呼ぶ．また，SDM拠第４章

SDM試作システムの概要

点のシステムは，図3.1右に示す通り，設備層，サービス層，アプリケーション層に分けられる．

SDM WGでは東京大学I-REF棟6階のヒロビーにて，SDMアーキテクチャに基づくSDM拠点の試作システムを構築

設備層には，収録する空間に存在する映像音声の収録している．SDM試作システムの概要を図4-1に示す．

対象を3次元的に解釈しオブジェクト化するためのセン
サ，カメラ，マイクなどの設備と，再生空間において視聴

図4-1のうち，ネットワーク構成と通信プロトコルについオブジェクトから3次元の映像音声を作り出すためのスては，4.1節で解説し，アプリケーション環境とSDM API

ピーカ，HMD，ディスプレイなどの設備がある．設備例については4.2節で解説する．続けて，4.3節，4.4節，4.5

はこれに限らず，これから登場する革新的デバイスの機節，4.6節では，それぞれ立体音響再生，室内位置測位，能も取り込めるように設計する．また，SDM拠点が双方音声オブジェクト化，映像オブジェクト化のSDMサーバ向で接続される場合などの，収録環境と再生環境は同一で提供されるサービスについて解説する．現在SDMアプの実空間上に配置される可能性も想定して設計する．

リケーションからSDM APIを通じて利用可能な状態に試作システムへ統合されているサービスは，4.3節，4.4節

サービス層は，設備層の設備機能を抽象化しアプリケーに述べる立体音響再生サービスと，室内位置測位サービションに対してApplication Programming Interface（API）スであり，他のサービスは統合の作業中，または統合のを通じてサービスとして提供するための層である．視聴検討中である．

オブジェクトと管理するための基礎となる空間3次元モ
デルと地図を定義し，位置測位，音声オブジェクト化，映4.1

像オブジェクト化，立体映像再生などのサービスを提供

試作システムでは，I-REF棟のLANにSDMサーバ，SDMする．APIは開発者が創造的なアプリケーションを実現

ア プ リ ケ ー シ ョ ン を 動 作 す るPC，位 置 測 位 セ ン サ，できるよう柔軟かつ拡張性を持つ．

XMV8280-D，Ri8-D，MQTTブローカを接続するネット

ネットワーク構成と通信プロトコル

23

図4-1

SDM試作システムの概要

ワーク構成を取っている．MQTTブローカはLANに接続＊1各スピーカへ入力される．一方，逆方向にマイクからのしたものの他，ニフティクラウド 上に構築した構成をアナログ入力はヤマハRi8-DにてDante規格へと変換さとる場合もある．

れSDMサーバに送られる．Dante規格の送受信のため，SDMサーバにはAudinate社のDante Virtual SoundCard＊3

SDMサーバはWindows 8.1で動作しており，SDMアプリをインストールしている．

ケーション動作するクライアントからのSDM APIを通じた要求により，位置測位サービス，立体音響再生サービ

4.2

ス，音声オブジェクト化サービスを提供する．試作シス

SDMアプリケーションは，Windows / MAC OSX / Linux

テムでは，各サービスのソフトウェアは，単一のサーバで 動 作 す るUnity＊4を 用 い て 開 発 す る．SDM WGで は，にインストールされる構成であるが，個別のサーバを運SDM APIを用いたUnityアプリケーションを開発しやす用することも可能である．

くするため，APIに接続する部分をサンプルコードとしアプリケーション環境とSDM APIて，Unity Assetとして提供している．また，I-REF棟ヒ
サーバとアプリケーションは各々の対象とするサービス

ロビーの空間3次元モデルは，U’s Factory社のRobot Eyeに関するメッセージを双方向に1対多で送信できるよう，Walker 4D※5により作成した．図4.2にヒロビーの3次元

MQ Telemetry Transport（MQTT）を用いた．Ubisense社モデルを取り込んだUnity開発画面を示す．

＊2

24の位置測位サービスと位置測位センサとの通信は，同社の提供するLocation EngineによるUDP/TCPで行われ現在，Ubisenseを利用した位置測位サービスと，バンダる．また，立体音響再生サービス（VSSSとTH-S）で計算さイナムコスタジオのVSSSまたはヤマハのTH-Sを利用しれた各スピーカが駆動するべき音の情報は，Dante規格た立体音響再生サービスがUnityから利用可能なSDM API

でヤマハXMV8280-Dへ送信され，アナログに変換されで利用可能である．

＊1

http://cloud.nifty.com/＊2

http://ubisense.net/en＊3

https://www.audinate.com/＊4https://unity3d.com/＊5

http://us-factory.jp/robot/

位置測位サービスでは，ヒロビーに存在する5つUbisense

・Virtual SoundScape System（VSSS）の無線タグ位置を取得し，その3次元位置をSDMサーバ

VSSSとは，バンダイナムコスタジオの開発する，最先端からMQTTのタグごとのトピックに送信する．アプリの音響演出を再現・体感できるイベント及び施設向けのケーションでは，MQTTトピックを購読することで，必音響制御システムである．本システムは，バンダイナム要なタグの位置を取得する．さらに，タグに付属するボコグループのゲーム製品で実際に使用されている音響制

タンが押されたイベントは，SDMサーバによりボタンイ御のライブラリを応用したWindows上で動作するアプリ

ベントのMQTTトピックへ公開され，購読者はこのイベケーションである．ゲームに利用されるため，プレイヤーントを取得することが可能である．の操作に応じて即時に反応するためのインタラクティブな技術を提供する．

立体音響再生サービスでは，サーバにあらかじめ登録された複数の音源の3次元位置をアプリケーションから操・Theater Surround（TH-S）

作することが可能である．音源ごとにMQTTトピックがTH-Sとは，ヤマハの開発する任意音源のPanningアルゴ設定され，このトピックにメッセージを送信することにリズムを組み込んだ，立体音響システムである．本シスより，音源の音量，3次元座標指定，ピッチ指定，再生開始・テムは，ヤマハ株式会社で開発された劇場向け音像移動終了をアプリケーションから操作することができる．音処理を核としたWindows上で動作するアプリケーション

源ごとにMQTTトピックが分かれていることにより，どである．演劇やミュージカルの演出における使用を主なのアプリケーションからでも関心のある音源の状態を取想定アプリケーションとして開発されているため，任意得することができる．の入力音源をデザイナーの操作に応じて3D面内の任意の位置に定位させる技術を提供する．

4.3

立体音響再生サービス

立体音響再生サービスにはバンダイナムコスタジオの開4.4

発するVirtual SoundScape System（VSSS）とヤマハの開発

位置測位サービスでは，Ubisense社のUWB（超広帯域）するTheater Surround（TH-S）を利用する．これらのサー無線を利用したリアルタイム位置情報システムを利用す

ビスは，登録された音源の操作（音源の音量，3次元座標る．このシステムは，8.5G ～ 9.5GHzの周波数（1GHz幅）指定，ピッチ指定，再生開始・終了）をMQTTメッセージでを用いた無線タグとヒロビーの高所4カ所に設置したセ受付け，その操作に基づいて各スピーカをどのように駆ンサを使って，タグの正確な位置をリアルタイムで測定動させるか計算する．計算結果の音声情報は，Dante規格する．センサ間は高精度で時間同期がなされており，無でXMV8280-Dへ送信されアナログ入力に変換されたも線タグからの電波を最低2台のセンサーが受信するとそのが各スピーカの入力となり音声が再生される．

れぞれのセンサーでの電波の受信角度を計算し，受信時室内位置測位サービス間の差を割り出すことで，タグの位置を15 ～ 30cmの精度で測定する．

図4-2

Unity開発画面とヒロビーの空間3次元モデル

図4-3

Ubisense Manager画面

25

SDMサーバで動作しているUbisense Managerでは，複数一方で，テレビ放送を始めとした実際のスポーツ映像への無線タグのリアルタイムの位置の他に，タグに付属すの適用を考えた場合，中継現場で配置されるカメラが固るボタンが押されたイベントなどを取得可能である（図定されていないということが大きな課題として挙げられ4.3）．SDMサーバはMQTTでタグの位置とボタンイベンる．固定カメラではなく非固定カメラを用いる場合に特トを，決められたMQTTトピックに配信することで，その有の課題は大きく二つ存在する．一つは，カメラパラメートピックを購読するアプリケーションはタグの位置やイタ（射影行列）がフレーム毎に変化する点であり，もう一ベントを利用できる．

方は，人物等の前景オブジェクト（以下，単にオブジェクトと呼ぶ）抽出時に，背景領域が既知であることを前提と4.5

音声オブジェクト化サービスした背景差分法が適用できない点である．

音源オブジェクト化サービスには，NTTメディアインテリジェンス研究所が開発したインテリジェントマイク技

また，ビルボード方式に基づく自由視点映像の合成では，術を利用する．インテリジェントマイクとは，遠くにあオブジェクトごとのテクスチャ抽出について，ユーザが指る狙った音だけをクリアに集音する技術である．音源を定する仮想視点の最寄りの撮影カメラで取得されるテクス分離して収音するために，多マイクロホンを用いて集音チャをマッピングする処理を基本とするため，各カメラ映すべき音の性質を明らかにし[15]，その性質を満たすよ像のフレーム毎に各オブジェクトのテクスチャ領域を正確うな受音系を構築した[16]．多マイクロホンで観測したに抽出する必要がある．しかしながら，サッカー等のスポー信号に対して，ビームフォーミングやウィーナーフィルツ競技を対象とした場合，カメラ映像中で複数のオブジェタリングといった信号処理をすることで[17]，ユーザがクトが重なりあうオクルージョンという現象が頻繁に発生

狙った位置にある音をクリアに集音することを実現してするため，オブジェクト毎のテクスチャを切り分けて正確いる．に抽出することは極めて難しい．特に，手前のオブジェクトに遮られる奥のオブジェクトのテクスチャに欠損が生じ

4.6

映像オブジェクト化サービスることを避けられないため，当該オブジェクトのフィール映像オブジェクト化サービスにはKDDI研究所の開発するド上二次元世界座標を適切に推定することができず，結果自由視点映像の生成技術を利用する．

として合成精度が著しく低下する課題があった．

近年，視聴者が任意に選択する視点に合わせて三次元のKDDI研究所では，これまでに，非固定カメラ映像への対空間を表示することが可能な自由視点映像の合成技術応を目的に，カメラ映像のフレーム毎に射影行列を推定が注目されている[18, 19]．特に，サッカーのような屋し，同行列を用いてオブジェクト領域を抽出する手法を外大空間で撮影される映像を対象とした合成方式とし提案してきた[22]．しかしながら，オクルージョン領域にて，簡単化三次元モデルを用いる手法が提案されている含まれるオブジェクトのテクスチャ，およびフィールド[20, 21]．これらの手法では，三次元空間中の各オブジェ平面上の二次元世界座標を正しく取得できないため，自クトをビルボードと呼ばれる一枚の長方形ポリゴンで近由視点映像の合成画質が劣化するという課題があった．

似し，ユーザが選択する視点位置に応じて，多視点画像

これに対し，上述の提案手法を拡張する形で，カメラパから獲得したテクスチャ情報を適切にマッピングするこ

ラメータ推定，およびオブジェクト抽出を行うとともに，とで，計算コストを抑えた合成を実現している．フィー

これらの情報に基づき新たにオブジェクト追跡を行うこ

ルド平面上に存在する各選手の三次元世界座標に関してとで自由視点映像の高画質化に成功している．

は，フィールド平面上二次元世界座標として扱うことが可能であり，各カメラで取得されるテクスチャ領域の足

2020年に向けては，4Kや8Kといった高精細カメラの併下点を平面射影行列により投影することで算出可能であ用によるさらなる表現力の向上を図ると同時に，完全自るため，カメラの強校正は不要である．

動化アルゴリズムの確立により，準リアルタイムでの映像中継の実現を目指している．

26

第５章

SDM試作システムのデモンストレーション

5.1

Interop 2015

2015年6月10日から12日にかけて幕張メッセで開催され たInterop 2015 Tokyoに て，Software Defined MediaSDM WGでは2015年度はInterop2015，IETF94，WIDEコンソーシアムとして出展した．出展ブースの様子を図

合宿2015年春で，試作システムの展示を行った．また，

5.1に示す．任意の領域で発生する音をソフトウェアで指将来SDMによって複数のSDM拠点を結ぶことを想定し，定して収音できるインテリジェントマイク技術と，オブグランフロント大阪9階に立体音響再生サービスを構築

ジェクトベースの立体音響をインタラクティブに制御すした．

るVSSS技術を展示した．Interop 2015で展示したデモシ
ステムは4章で述べた試作システムのサブセットであり，MQTTによるSDM APIアクセスの代わりに，来場者が直接SDMサーバのGUIを操作する．
図5.2はInterop 2015におけるインテリジェントマイクのデモ概要（デモ説明ポスターからの抜粋）である．図5.1に示すブースには，およそ2.5メートル上空のブースフレームに計16チャネルのマイクアレイを設置し，その16のマイク入力は2台のRi8-DによりDante規格へ変換されインテリジェントマイクのインストールされたWindowsPCに送られる．訪問した見学者は，このWindows PCのGUIを操作し，希望する区画の音だけを抽出し，ヘッドホンによりその音だけを聞くことができる．
図5-1

Interop 2015での展示

図5-2

Interop2015におけるインテリジェントマイクのデモ概要

図5-3

Interop 2015におけるVSSSのデモ概要

27

図5.3はInterop 2015におけるVSSSのデモ概要（デモ説明5.3

ポスターからの抜粋）である．図5.1に示すブースの4隅に2015年3月12日から15日にかけて，信州松代ロイヤルホ

は床からそれぞれ1.2メートル地点と2.7メートル地点にテルで行われたWIDE合宿2015春にて，VSSSによるイン計8個のスピーカが設置されている．ブースへの訪問者

タラクティブなオブジェクトベース立体音響のデモンス

はWindows PCにMIDIケーブルで繋がるiPadを操作して，トレーションを行った．デモンストレーションは，5.1節

音源の選択や，その音源の3次元座標を入力するとインタで示したVSSSのデモとほぼ同一のものである．図5.5にラクティブに立体音響が再生される．

WIDE合宿でのデモンストレーションの様子を示す．

5.2

5.4

IETF 94@横浜

WIDE合宿2015年春

グランフロント 9F

2015年11月05日に横浜で開催されたIETF 94のBits-N-

将来SDMによって複数拠点を結ぶことを想定し，グランBitesにて，VSSSによるインタラクティブなオブジェクト

フロント大阪9階に立体音響再生サービスを構築した．デ

ベース立体音響再生のデモンストレーションを行った．

モシステムは図5.3に示したVSSSのシステムを基本としBits-N-Bites出展の様子を図5.4に示す．5.1節で示したて，システム構築を行った．12月11日にグランフロント

VSSSのデモに加え，4章示した試作システムのうちUnity

で開催されたサイバー関西プロジェクト（CKP）/九州ギガからのMQTTによるSDM APIアクセスを展示し，インターポッププロジェクト（QGPOP）合同研究会においてデモン

ネットの標準化会議の参加者達と，意見交換を行った．

ストレーションを行った．

第６章

SDM試作システムを利用したハッカソンの開催

2015年7月18日 - 19日の週末と2015年12月12日 - 13日の週末に，東京大学I-REF棟のヒロビーにおいて，ぞれぞれ第2回，第3回のスマートライフハッカソンを開催し，4章で述べたSDM試作システムを公開し，参加者にSDMAPIを利用したアプリケーションの開発をしてもらった．
これにより，SDMプラットフォームへの要望を洗い出す
一方，従来になかったような映像音声の表現や，画期的なSDMの利用方法を開拓することを目指す．

28

図5-4

IETF94@横浜での展示

第2回スマートライフハッカソンの様子を図6.1に示す．

図5-5

WIDE合宿2015春の展示

図6-1

第2回スマートライフハッカソンでの集合写真

第2回ハッカソンには28人の参加があり，13チームにSDMアプリケーションとSDMサーバが同一のネットワー分かれてアプリケーションの開発を行った．この時提供

クに存在する試作システムの構成では，アプリケーショしたサービスは4章で述べたSDM試作システムのうち，ンとサーバが同一のトピックを購読している時，あるア

VSSSを利用した立体音響再生サービスのみであったが，プリケーションが公開したMQTTメッセージがブロー

ハッカソン当日にUnity上のSDM Assetを開発し，github

カを経由してサーバに届く時間と，アプリケーションにで公開し，他の参加者が利用できるようにする開発者が戻って来る時間はほぼ等しい．これより，アプリケーショ現れるなど，Unity上でのSDM利用が容易になった．また，

ンとブローカ間のメッセージ配信の往復時間を計ること

ハッカソン後に行ったアンケート（回答者10名）では，全員で，アプリケーションからSDM APIアクセスの遅延を図が「大変満足」「まあまあ満足」すると言う結果であった．

ることができる．

また，ハッカソンで興味を持った技術を一つ挙げる質問
では6割がSDMを挙げるなど，SDMに注目が集まった．

以下に，ブローカをローカルネットワーク上に置いた構成と，クラウド上に置いた構成で，往復遅延を計測した

第3回ハッカソンには19人の参加があり，9チームに分ものを示す．ローカルネットワーク上のブローカ，クラかれてアプリケーションの開発を行った．第3回では，前ウド上のブローカ，Unityを起動するPCの性能は表7.1の回のVSSSを利用した立体音響再生サービスに加え，TH-Sとおりである．

を利用した立体音響再生サービス，Ubisenseを利用した位置測位サービスなどを提供した．特に，今回初めて用ブローカーをローカルに置いた構成では，図7.1に示すよ意したUbisenseを利用した位置測位サービスが人気を集

うに，メッセージサイズを20bytesから1420bytes変化

め，ほぼ全てのチームが作品に取り入れていた．

させても，おおよそ0.5ms程の往復遅延でメッセージ配信が行われた．この時，各サイズのテストでメッセージ第７章を100回送信することで行い，メッセージ間隔は17msをSDM試作システムの性能評価取った．これは，Unityの平均的な描画は60フレーム/秒で行われるため，1フレームに1度のSDM APIアクセスを立体音響再生サービスや，位置測位サービスなどのSDM行うアプリケーションの場合，平均17ms間隔でメッセーサービスは，リアルタイム性や，インタラクティブ性をジ送信が行われるためである．

重視するアプリケーションに利用されることが想定される．SDM試作システムはUnityによるアプリケーション

図7.2はメッセージサイズを60Bytesに固定して，送信間からSDMサーバまでをMQTTを利用したメッセージ配信隔を変化させた場合の往復遅延を示す．メッセージ間隔

によってSDM APIのアクセスを行うため，このメッセーが1msから17msの時でも，往復遅延は0.5ms程度と変わジ配信の遅延を評価する．

らなかった．図7.2から，こうした1フレームに1度のSDM

表7-1

ノード

OS

CPU

メモリ

ソフトウェアクラウド
ブローカ

Ubuntu 14.04
64bit small

1vCPU

1GB

Mosquitto (ver 1.4.4
MQTT v3.1 broker)

Unityを起動するPC

Windows 7
EnterpriseIntel(R) Core(TM) i73630QM CPU @ 2.40GHz

16.0GB

Unity 5.3.0

ローカルブローカ＊6

実験に使用した機器の情報

Ubuntu 14.04
LTS

Intel(R) Core(TM) 2CPU6600 @ 2.40GHz

5.8GB

Mosquitto ＊6 (ver 1.4.2
MQTT v3.1 broker)

http://mosquitto.org/

29

APIアクセスを行うアプリケーションが17ほど存在しての割合を示したものである．ブローカをクラウドに置いも往復遅延は0.5msで収まることがわかる．また，メッた場合，往復遅延の分散が大きかったため，割合で示しセージ間隔を空けずに送信した場合を間隔0msに表した

たが，各メッセージサイズによって往復遅延に違いは見が，平均して6msでの往復遅延に収まった．

られなかった．また，おおよそ80%のメッセージは30ms以内の往復遅延となった．これにより，SDM APIへのア

一方，図7.3はブローカをクラウドに置いた構成で，メックセスが，Unityの2フレーム以内に収まることになる．

セージサイズを変化させた時のメッセージ配信の往復時間

図7-1

ブローカをローカルに置きく構成でメッセージサイズを変化させた時の往復遅延

図7-3

30

図7-2

ブローカをローカルに置く構成でメッセージ間隔を変化させた時の往復遅延

ブローカをクラウドに置いた構成でメッセージサイズを変化させた時の往復遅延

第８章

SDM試作システムの拡張

そのため本研究では，3次元モデルを視覚化した「3次元仮想空間」を，複数ユーザで共有するための同期プラットフォーム（ロックマネージャを用いた排他制御機能も実4章で述べたSDM試作システムを拡張する研究として，装）を提案・実装し，その初歩的な性能評価・検証を行う．

複数ユーザで共有される3次元仮想空間の同期プラッ

同期に必要なのシステム負担を軽減するためにPub/Sub

ト フ ォ ー ム の 一 提 案[23]とTangible Sound: Tangible

メッセージングプロトコルとして普及しつつあるMQTTInterface for Object-based Sound System [24]が そ れ ぞを用いた同期システムを実装して実験を行い，ゲームコれ，卒業論文および修士論文として公開される．以下にミュニティーにおいて広く利用されているUnityの3次元その概要を示す．

仮想空間での同期に成功した．

8.1

8.2

複数ユーザで共有される3次元仮想空間の同期プ
ラットフォームの一提案

Tangible Sound: Tangible Interface for Objectbased Sound System

本研究は，ユーザが共通の仮想空間をインターネット接In recent years, due to the development of Information

続によって共有している状況において，ユーザ同士が良Technology, Internet Protocol(IP) network is replacing

好なコミュニケーションを映像音響空間で実現すること

analog lines of audio systems. This enables us to controlを目的とするものである．ユーザがコミュニケーション

3-D sound easily by software. In 2012, Dolby adoptedを行う映像音響空間はインタラクティブな仮想空間であtheir cinema sound platform ``Atmos'' to the theaters.

り，ユーザは仮想空間の操作をリアルタイムに行うこと

They brought object-based method of thinking thatができるものとする．そしてユーザ同士のコミュニケー

the system executes digital signal processing of data

ションを実現するために，各ユーザがローカルに所持・利of sound objects and makes a decision of volumes

用する仮想空間を同期する方法を本研究では提案する．

and phases from the numbers of speakers installedin theaters. However, most of those systems are for

従来の映像音響空間は，映像についてはビットマップ型・professional use. When we play the sound contents with

音響はチャネル型で扱われてきたが，近年映像音響空間

the speakers, the speakers are in predefined locations

はオブジェクト指向型で表現されるように進化しつつあand the musical contents are also finalized to play with

る．またメディアなどによる映像音響コンテンツは提供

existing audio systems. In other words, most of the側から視聴者側への一方行型であったが，インターネッ

sound systems are used for the function of listening

トの普及と広帯域化に伴い急速に双方向型に進化しよう

only and there are no interaction with the sounds playedとしている．つまり複数の視聴者がそのままコンテンツ

from the speakers.の提供者であり視聴者となる状況・環境が整いつつあるのである．

In this thesis, the author approached Tangible Soundto lead people to have interaction between the audio

このような背景および映像音響機器のオンライン化（IPsystem and the listener. Tangible Sound allows users

ネットワーク化）を背景として，映像や音響を3次元モデto imagine the shape, size(volume), distance of theルとしてオブジェクト指向に管理するアプローチである

sound objects. To achieve this, pre-experiments of how

Software Defined Mediaが提案されている．しかしなが

3-D sound works were conducted and from this result,

ら，このSoftware Defined Mediaを様々な映像音響空間

Tangible Sound were designed. With the use of Tangibleに活用するためには，現在の実装に加えて映像音響空間

Sound, people could locate the sound objects sensuouslyの双方向的な通信の仕組みが必要となるにもかかわらin real space by using their movements. Tangible Soundず，広く普及しているシステム環境では未実装な状況にis expected to contribute for rich expression of sound,あるのが実状である．

for guiding people's consciousness and so on.

31

第９章

図9.3にカメラとマイクの配置を示す．コンサートで収録

オーケストラの集音した項目は以下の通りである．

SDMでは試作システムの制作などに取り組んできたが，- 楽器ごとのマイク

さらに様々なリッチコンテンツのクラウド化や共同音楽- 携帯端末のカメラとマイク制作の可能性を追求するため，またシームレスなメディ- ダミーヘッドアへのアクセスや，柔軟なソフトウェアによるレンダリ- 球体マイクングを研究するための素材を必要としている．収録した- 全天球マイク

映像や音源をメタデータを付加することで，さまざまな- 360度カメラアプリケーションで再利用できるようにする．また，こ- 天井からつるしたステレオマイク

れらのメタデータ付きの映像音声の素材をIPネットワー- 環境音を収録するマイククよるメディアの配送及びソフトウェア制御にる作画・- Gopro全天球カメラ+ 非同期マイクアレイ

作音を行う予定である．
収録したコンテンツはSDMによる魅力的なコンテンツ制
そこで，2016年01月10日，SDMの実験素材として，慶作のイメージを提示するためのデモ素材としてまとめる

應大学 日吉キャンパス

一方，実際にこのコンテンツを使った制作に利用できる

藤原記念ホールで開催された＊7

慶應義塾大学 コレギウム ムジクム古楽アカデミー のよう，メタデータ等を付与の上整備し，データベースとコンサートを収録した．図9.1および図9.2はオーケストして利用できるようにしていく．

ラ収録の様子である．17世紀のドイツ宮廷音楽である
ヨハン・フリードリヒ・ファッシュの「管弦楽組曲ト長調
FaWV K:G2」など，最大24名の演奏家による全てアコー第10章

まとめスティックの演奏を収録した．楽器には，テオルベ，チェンバロ，バロック・ヴァイオリン，バロック・オーボエ，

2014年1月 のSDM WG設 立 か ら ユ ー ス ケ ー ス の 分 析，ヴィオラ・ダ・ガンバなどの現代では珍しい楽器が含まれアーキテクチャの策定などを行ってきたが，2015年はており，実験素材として興味深い映像音声の収録を行う

これらの分析に基づき，試作システムの製作を行った．

ことができた．

試作システムは，Interop2015，IETF94，WIDE合宿などで展示を行い，意見交換を行ってきた．さらに，2度の

図9-1
＊7

32

オーケストラの収録の様子

http://www.musicology.hc.keio.ac.jp/collegium.html

図9-2

オーケストラの収録の様子

ハッカソンではSDM APIを利用したアプリケーションを開発する機会を持ち，試作システムのフィードバックを得つつ，SDMのアプリケーションの模索を行ってきた．
また，試作システムの拡張する研究において，卒業論文と修士論文が公開された．さらに，オーケストラのインタラクティブな視聴アプリケーションや，実験素材として活用するべく，慶應義塾大学 コレギウム ムジクム古楽アカデミーの協力を得て，オーケストラの収録を行った．
SDM WGでは，メディア空間の設備，映像音声を制御するネットワーク機器，ソフトウェア制御のメディア空間におけるアプリケーション作成など，共同研究活動に参加するパートナーを募集しています．
ご協力をよろしくお願いいたします．

図9-3

カメラとマイクの配置

33