37
特集●ネットワーク技術

Software Defined Media:
視聴空間サービスのソフトウェア制御
塚田 学

小川 景子

池田 雅弘

齊藤 翔一郎 粕谷 貴司

曽根 卓朗

砂原 秀樹

丹羽 健太

江崎 浩

インターネットを前提とした視聴サービスが登場し，中でも空間に存在する視聴対象を三次元的に解釈するオブジェ
クトベースの視聴サービスの重要性が増している．そこで著者らは 2014 年から Software Defined Media (SDM)
コンソーシアムを設立し，オブジェクトベースのディジタルメディアと，インターネットを前提とした視聴空間の研究を続けてきた．その中で，Internet of Things (IoT) を利用したスマートビルディングと相互運用を目指して，視聴サービスのためのビル設備を仮想化する SDM アーキテクチャを提案している．SDM アーキテクチャに基づき，試作システムを構築し，デモンストレーション展示ハッカソン開催を行った．さらに，試作システムを利用したアプ
リケーション開発と収録データのデータベース化を行った．プラットフォーム上で動作するアプリケーションの遅延を測定し，多くのインタラクティブなアプリケーションを支援しうるリアルタイム性を確認した．また，試作システ
ムを利用したインタラクティブなアプリケーションを被験者に体験してもらい，主観実験によって開発者の演出意図を高水準で満たせたことを示した．

Internet users come to enjoy various audio-visual services these days. Among these services, object-based
audio-visual services are becoming important. We started the Software Defined Media (SDM) consortium
to investigate object-based digital media and Internet-by-design audio-visual service. We design the SDM
architecture that virtualizes the underlying audio-visual infrastructure installed in the place. We implemented a prototype system based on the architecture and presented in Interop 2015 Tokyo. Moreover, weorganised hackathons to investigate the innovative application of the platform. We also study a tangibleinterface using the SDM prototype. To make a database of object-based audio-visual data, a baroque orchestra was recorded by various methods with 82 channels of microphones in total. We measured the delayof the application on the prototype platform and the result shows that the system has enough real-timelessto support major applications. The experimental evaluation of an interactive SDM application shows thatthe prototype system allows reflecting the intention of the application developer well.

Software Defined Media: Flexible Services Platform
for Audio-Visual Applications.
Manabu Tsukada, Hiroshi Esaki, 東京大学情報理工学系研究科, Graduate School of Information Scienceand Technology, The University of Tokyo.
Keiko Ogawa, Hideki Sunahara, 慶應義塾大学メディア
デザイン研究科, Graduate School of Media Design,
Keio University.
Masahiro Ikeda, Takuro Sone, ヤマハ株式会社, Yamaha
Corporation.
Kenta Niwa, Shoichiro Saito, 日本電信電話株式会社,NTT Media Intelligence Laboratories.
Takashi Kasuya, 株 式 会 社 竹 中 工 務 店, Takenaka
Corporation.
コンピュータソフトウェア, Vol.34, No.3 (2017), pp.37–58.
[研究論文] 2016 年 8 月 22 日受付.

1 はじめに2020 年の東京オリンピック・パラリンピックの開催に向けて，世界からの訪問者への高度なおもてなしを目指した社会インフラのスマート化が急がれている．中でも，オリンピックの理念である「スポーツを通して心身を向上させ，さらには文化・国籍など様々な差異を超え，友情，連帯感，フェアプレーの精神をもって理解し合うことで，平和でよりよい世界の実現に貢献する」という目標を支援するため，地球規模での一体感を生み出すような視聴メディアに関する研究開発の重要性が高まっている [1]．そのためには，グ38コンピュータソフトウェア

ローバルなインターネットを前提とした映像・音響のと映像をオブジェクト化することで，スポーツ観戦者

視聴空間と視聴メディアの設計が必要である．

の要求に応じてリアルタイムに応援スタンド側から

近年は，多くのスマートフォンに標準的に内蔵されの視聴や，選手の一人称視点からの視聴を切り替える

る収録機器を常時持ち歩くことが増え，収録されたことが可能になるだろう．さらに，コンサートの視聴

映像音声の情報はインターネット上で瞬時に伝達・共においては，複数の歌手の中の 1 人や，演奏者のう有・加工される状況が出来上がった．さらには，収録

ちの 1 人をズームアップすると映像に追従して音も対象から映像素子に入力されたビットマップ情報と，

ズームアップするなどのインタラクティブなコンテン

ステレオマイクに入力された 2 チャネルの音声情報

ツ制作が可能になる．

としてそのまま伝送し，受信側でそのまま再生する

さらに映像・音声を作り出す空間に目を向ければ，だけでなく，空間に存在する収録対象を三次元モデ

例えば，劇場，ホームシアター，テレビ会議システ

ルとして解釈し複数の視聴オブジェクトに分解してム，講義室など，様々な用途に対して専用に設計され伝送し，受信側ではこれらのオブジェクトを用いてたシステムが存在している．これらの映像・音響シス

空間を再合成するオブジェクト指向の方式が注目をテムには，収音システム，拡声システム，制作システ集めている．これにより，ヘッドマウントディスプレ

ム，BGM や館内放送のためのシステムなどのサブシ

イ (HMD)，3D テレビ，立体音響装置などの受信側

ステムから構成されている．こうしたサブシステム間のシステムの構成に合わせた柔軟な三次元表現が可で信号の伝送を行う場合は高精度同期と低遅延を求能となるだけではく，他のコンテンツの視聴オブジェ

められるため，従来はアナログ線でシステム間を結ぶ

クトを別途受信し組み合わせることで，今までにない必要があった．例えば，劇場では，演劇，軽音楽，講表現が可能になる．

演といった様々な演目に対応する必要があり，各演目

例えば，音響においては，Dolby Atmos [2] や Au-

によって要求される演出が異なるため音声信号の伝送

roMax [3] などの映画館やホームシアター，さらには路も必要に応じて組み替えるが，アナログパッチの差

個人向けモバイル機器を対象に，音のオブジェクトか

し替えや大規模なマトリクスなどによって組み換えをら三次元の音場を生成する立体音響システムが登場し実現しているため，処理が複雑になり，また事前の設ている．また，映像においては，複数の地点・角度か

定通りに組み替えるため，柔軟性に欠けていた．

ら撮影された映像・動画から，撮影した空間に存在す

しかし現在では，IP を利用した 1Gbps 環境等のる三次元オブジェクトの抽出が可能であり，抽出した大容量通信環境の一般化により，各サブシステム間

三次元オブジェクト情報を用いて，任意の視点 (自由を IP によりネットワーク化することが可能となった．

視点) からの映像の作成・再構築が可能となりつつあ

これにより，映像音声の入力から制作，出力までの伝る [4] [5]．こうした流れに目を向けると，今後はイン送路の組み換えを一貫してソフトウェアによって制御

ターネットで収録環境と再生環境を双方向で接続し，するシステムの実現が期待される．ソフトウェアに

視聴オブジェクトを交換しながら，三次元表現を持つ

よって定義された演出を，目的に応じて柔軟に変更す

情報空間をエッジヘビーコンピューティングまたはクることが可能になれば，1 つのシステムを講演会，遠ラウドで計算処理することよって，映像音声が作り出

隔会議，音楽イベント，映画や放送の上映など様々なされていくことになるであろう．

アプリケーション向けに最適化し活用することも容易

映像と音声のオブジェクト化が融合することで，従になる．例えば，アプリケーションを載せ換えること来の配布型コンテンツビジネスを超えた，新しい次で，映画館を遠隔音楽教室として利用するなどのユー

元のインタラクティブなオリンピック・パラリンピッ

スケースが考えられる．演出者の意図を汲み，柔軟にクの視聴形態などこれまでにないビジネス領域や，こ視聴空間をソフトウェア制御するためには，映像・音れまでにないディジタルメディアを用いた表現方法な

声の設備機能を抽象化して管理し，演出に関する意

どを開拓・開花させることが期待される．例えば，音

思決定を行うアプリケーションと実際の映像・音響のVol. 34 No. 3 Aug. 201739

入出力を行うデバイスを引き離して (decoupling) 扱ンネル) へと発展してきた．また，2016 年 8 月より試うべきである．その際，実際の入出力デバイスを仮想

験放送の始まったスーパーハイビジョン [6] は，高さ化し，複数のアプリケーションから同時並列に利用

方向への表現を持った 22.2 マルチチャンネルの音響可能にする．また，視聴空間のソフトウェア制御は，システム [7] と，8K 映像を採用している．一方，チャ

同じく IP ネットワークの一般化により生まれた照明

ネルベースの再生方法は各チャネルに割り当てられたや空調などをソフトウェア制御するスマートビルディ

情報から音を再生するのに対し，オブジェクトベース

ングの技術との親和性を持ったシステムであることがの再生方法として音源の三次元位置と音色，再生環境望ましい．

のスピーカの位置からソフトウェア制御によって音場

オブジェクト指向のディジタルメディアと，ネイをレンダリングする方式が登場した．例えば映画館で

ティブ・ディジタルなインターネット環境が前提の映の採用の進む Dolby Atmos [2] や AuroMax [3] の他

像・音響空間を用いたビジネス創造を目指し，著者に，オブジェクトベースの再生方式は国際標準化機構

らは 2014 年 1 月に Software Defined Media (SDM)
コンソーシアム †1 を設立した．SDM とは，映像・音(ISO) と国際電気標準会議 (IEC) の Moving Picture

響システムの IP ネットワーク化を背景に，これらのして標準化が進んでいる．

Experts Group (MPEG) において MPEG-H [8][9] と設備の機能に対して抽象化・仮想化を行い，サービス

録音技術においても，マイクロフォンアレイからのとしての映像・音響を提供するための基盤的なアプ

入力を信号処理することによって，遠くにある狙ったローチである．

音だけをクリアに集音する技術 [10] [11] の研究開発

本論文では，SDM の実現のためにコンソーシアムが進んでいる．こうした研究開発は，再生技術で進むで行ってきた研究について報告する．2 章では関連

チャネルベースの技術から，音源の三次元位置情報を研究を概観し，3 章で本論文の研究動機と SDM の目記録するオブジェクトベースの技術への発展と通じる的について述べる．4 章では，SDM を実現するため技術である．

のアーキテクチャについて説明し，5 章でそのアー一方，映像収録技術においても，4K や 8K などのキテクチャに基づいて構築した試作システムについ高精細映像化を進める方向と平行して，収録対象の三て報告を行う．6 章では，試作システムをデモンスト

次元解釈を取り入れる方式が登場している．例えば，レーション展示した事例や，試作システムをプラット

視聴者が任意に選択する視点に合わせて三次元の空フォームとして利用し，アプリケーションの作成を間を表示することが可能な自由視点映像の合成技術行ったハッカソン開催，さらに試作システムを利用しが注目されている [12] [13]．特に，サッカーのようなたタンジブルインターフェースの研究について報告す

屋外大空間で撮影される映像を対象とした合成方式

る．さらに，アプリケーション非依存な視聴オブジェとして，簡単化三次元モデルを用いる手法が提案されクトの管理を行うため，最大 24 名によるコンサートている [14] [15]．

を，さまざまな方式のマイクとカメラで収録し，収録

スピーカ，マイク，カメラやディスプレイなどのデータをデータベース化した方式について述べる．7

視聴空間の設備は，建築設備システムの一部と捉章では，SDM 試作システムの性能評価を行う．8 章

えることができる．建築設備システムでは，空調にてまとめを行い，今後の課題について述べる．

や照明を制御することで，電力を削減することなどを目的とする Building Energy Management Sys-

2 関連研究tem(BEMS) の導入が進んでいる．ビル設備を IP ネッ

空間表現を持った録音再生はステレオサウンド (2トワークで繋ぎ高度な制御を行うためのオープンプロ

チャンネル) から始まりサラウンドサウンド (多チャトコルとして，IEEE1888 が制定された [16]．また，ビル設備の IP ネットワーク化を背景に，Machine-†1 http://sdm.wide.ad.jp/

to-Machine(M2M) での利用が想定されている MQ

40

コンピュータソフトウェア

Telemetry Transport(MQTT) [17] によるビル設備

音楽が流れ，閉じると音楽が止まるタンジブルユー

制御の研究開発も進んでいる [18]．

ザインターフェイスであり，小瓶の蓋を開け閉めす

映像音声の遠隔配信は IP ネットワークの高速化にることでデジタルコンテンツへのアクセスを実現す

伴い，4K60p 映像を複数同時に配信する実証実験がる [28] [29]．Tangible Sound は，水流と音楽の流れ開始されている．高精度な映像音声の双方向での遠隔を関連付けたインタラクティブシステムを試作し，音配信を行うことで，遠隔コラボレーションシステムを楽表現を拡張した [30] [31]．

構築すると，立体感や情感など，臨場感を高めること

オープンデータのメタデータ記述手法として Re-ができる [19]．さらに，同様の技術を利用してディジ

source Description Framework(RDF) が広く利用さ

タルシネマ劇場へライブ配信することで，劇場をパブれ，それらのデータが URI で相互参照され構築されリックビューイングの会場として転用することが可能

るデータのネットワークは Linked Open Data(LOD)になる．これにより，同じく高精度化するホームシアと呼ばれる．RDF や LOD は，現在例えば，人文社

ターから劇場を差別化し，劇場施設の提供できる価値会系大規模データベース [32] や，ノックアウトマウ

を大きく向上させると考えられ，ビジネス的な展開がスの表現型のデータベース [33] に使われ，データの期待されており，商用実証実験が行われた [20]．

横断的な利用を促進している．さらに，データ間の遠隔のユーザ同士が快適に会話し，効率的に協調関係を示す語彙やデータの種類 (クラス) を表す語彙

作業するためのコミュニケーションシステムの開発は RDF Vocabulary と呼び，音楽データを記述する

が進んでいる．NTT では，同じ部屋にいる感覚を同RDF Vocabulary は Music ontology [34] として定義

室感と名付け，同室感コミュニケーションシステム

されて，英国放送協会 (BBC) などで広く利用されて「t-Room」を開発した [21] [22]．t-Room では，ユーいる．

ザ全員が周囲の音や映像に関して同じ認識や知覚を

以上，三次元の映像と音声に関する研究，遠隔映

対称的に共有することを目指し，同じ大きさの部屋に像配信システム，遠隔コミュニケーションシステム，

複数の背面スクリーンを囲い込んで設置している．

バーチャルリアリティやタンジブルインターフェイス

バーチャルリアリティの視覚ディスプレイとしてはの研究，メディアの管理手法を概観した．しかし，映CAVE [23] や多面型全天周ディスプレイ (CABIN) [24]

像音声の設備機能をスマートビルディングの一部としを始めとする没入型多面ディスプレイの研究が行わて捉え直し，それらの機能の仮想化と抽象化を通じれて来た．こうした 4 面の壁と地面を含めた没入多て，アプリケーション開発者に様々な表現を可能にす

面ディスプレイは HMD とは違い，その場にいる多るプラットフォームを目指し取り組んだ研究はこれま

人数のユーザに同時に仮想世界の体験を提供できる．

でなかった．

したがって，こうしたディスプレイに追従する音響の提供はヘッドホンではなく，複数のスピーカによるイ

3 研究動機と SDM の目的

ンタラクティブ高臨場感音場提示手法が検討されて来SDM では，映像・音響の入出力設備機能を抽象化た [25]．また，NHK 放送技術研究所は，2 眼立体のして管理することで，全体の意思決定を行うアプリ

三次元コンピュータグラフィックス再生と，映像に追ケーションと，実際の映像・音響の入出力を行うデバ

従してインタラクティブに三次元の音場をスピーカ

イスを引き離して (decoupling) 扱うことが可能となアレイを用いて再生するシステム [26] を組み合わせる．これにより，演奏・上映される演目や，その演出

インタラクティブ 3D 映像音響再生システムを開発し上の目的のために，柔軟に映像・音響のシステムを構た [27]．

成することができる．また，演出に関する意思決定を一方で，音声を扱うタンジブルユーザインターフェ

アプリケーションとして一元化することで，映像音響

イスについての研究が進んでいる．ミュージックボ

システム全体の一貫性を持たせることを容易にする．

トル (musicBottles) はユーザが小瓶の蓋を開けるとこれにより次の機能を実現する．

Vol. 34 No. 3 Aug. 201741

3. 1 三次元の映像・音声の演出をこれにより，創造性豊かなクリエーターの手によるコソフトウェアで制御

ンテンツが，第三者クリエーターらの共同作業によっ

今日，会議室，劇場などの用途別に特化した映像音
声の設備が存在し，機能ごとにハードウェアベースのて進化し，視聴者の好みによって選択される視聴環境を作る．

システムが構築されているため，視聴空間の目的外利用は難しい．SDM では，ソフトウェアの設定や処理

3. 3 ソフトウェアレンダリングによる拡張演出

によって，視聴空間の多目的な利用が可能となる汎用SDM で交換される視聴オブジェクトは実空間由来の設備による視聴空間を実現する．収録対象から映のものである必要はなく，コンピュータを使って設計

像素子に入力されたビットマップ情報と，ステレオマ

された映像音声による効果を組み合わせることによっ

イクに入力された 2 チャネルの音声情報としてそのて，視聴者による満足度や臨場感を高める．

まま伝送する従来方式では，映像音声の演出を制御

例えば，スポーツ中継などの臨場感を伝える場合，することは難しいため，SDM では，視聴オブジェク

収録環境において収録した映像と音声を，再生環境

トを三次元表現を持った情報空間上で管理しながら，において忠実に再現するだけではなく，様々な拡張演

ソフトウェアの演出によって再生環境に適した映像と出を施したほうが視聴者による満足度や臨場感が高音響を作り出す．

まる可能性がある．SDM では，コンピュータを使って設計された映像音声による効果を組み合わせたソ

3. 2 映像・音声の複数ソースのミキシング可能性

フトウェアレンダリングによる拡張演出を行う．例え

出来合いのコンテンツだけでなく，インターネット

ば，応援するチームの応援を増加し，相手チームのと放送システムの伝送メディアと，リアルタイムとオブーイングを低減させることにより，応援するチーム

ンラインの複数のコンテンツから，視聴オブジェクト側のスタンドで観戦しているような臨場感が得られを受信して，受信側でのミキシングを可能とする．こるようなユースケースが考えられる．また，スタジアれによって，各拠点の視聴者の要求に合わせた柔軟なム会場での観戦人数，観客の興奮度，競技の内容など

映像音声を作り出す．

を計測し定量化し，再生環境にフィードバックするこ

現在，デジタルコンテンツの配布形態は，インターとにより，リアルタイムの拡張演出を可能する．このネットによるものや，TV 放送や DVD パッケージな拡張演出によって，スタジアムで収録された映像音声

ど，様々な形態が存在する．これらのコンテンツを大をそのまま再生するよりも，臨場感のある空間を作り別するとリアルタイムなものと，アーカイブされた出すことを目指す．

コンテンツが存在し，汎用的な再生環境においては，両方のコンテンツが混在することになる．現在のコン3. 4 ユーザ・インタラクション性

テンツ配信においては，リアルタイムなものとアーカ

SDM では, 視聴者の関心事を再生側のソフトウェイブされたものに関わらず，視聴者は放送側が作成しアシステムにフィードバックし，演出の制御や，視聴た映像音声のコンテンツを単一のソースから受信す

者の望む映像音声のソースを選択可能にする．現在のる形態が一般的である．

コンテンツ視聴においては，放送局において制作されSDM では，放送側が作成した映像音声のコンテン

たコンテンツを受け取り再生するため，視聴者が特ツを単一のソースからの受信だけでなく，複数のソー

定の関心事に対して，能動的にズームアップしたり，スからコンテンツ素材の受信を可能にし，ソフトウェ

違うアングルから視聴を行うことはできない．SDM

アによる受信側でのミキシングを実現する．さらに，では，視聴者の関心事を再生側のソフトウェアシステ

複数ソースのコンテンツをミキシングする主体は，放ムにフィードバックし，演出の制御や，視聴者の望む送側と受信側の中間に位置するクラウドでの共同での映像音声のソースを選択可能にする．ユースケースとミキシングを行うことも想定した仕組みを構築する．

しては，ファンのプレイヤーの一人称視点での映像音42

コンピュータソフトウェア

図1

SDM アーキテクチャ

声の視聴などが考えられる．
また，視聴者間での相互作用は，時間と空間の制約

は，図 1 右に示す通り，設備層，サービス層，アプリ
ケーション層に分けられる．

を受けるため，あるコンテンツに対して同一の関心事

設備層には，収録する空間に存在する映像音声の収を持つ視聴者間においても相互作用は制限されてい録対象を三次元的に解釈しオブジェクト化するためのる．SDM では，同一の関心事を持つ視聴者間で，時センサ，カメラ，マイクなどの設備と，再生空間にお間と空間の制約を超えた視聴者間の相互作用を実現

いて視聴オブジェクトから三次元の映像音声を作りする．例えば，スポーツ観戦において，テレビやパッ出すためのスピーカ，HMD，ディスプレイなどの設

ケージメディアの視聴では，視聴する時間や場所を同備がある．設備例はこれに限らず，これから登場する

じくする者以外の相互作用は限られているが，SDM

革新的デバイスの機能も取り込めるよう設備層の差では同じチームのサポータ同士の声援が相互の視聴空

異を吸収できる形で，上位のサービス層を設計する．

間に再生するなどのアプリケーションが考えられる．

また，SDM 拠点は収録専用・再生専用の空間だけでなく，収録環境と再生環境は同一の実空間上に配置さ4 SDM アーキテクチャ
前章に述べた SDM の機能を実現する SDM アーキ
テクチャを 図 1 に示す．

れる可能性も想定して設計する．
サービス層は，設備層の設備機能を抽象化しアプリ
ケーションに対して Application Programming In-

SDM は図 1 左に示すように，視聴空間 (実空間)

terface(API) を通じてサービスとして提供するために存在する収録対象を三次元モデルとして解釈し，複の層である．視聴オブジェクトと管理するための基礎数の視聴オブジェクトに分解して情報空間に取り込となる空間三次元モデルと地図を定義し，位置測位，

み，視聴オブジェクトの交換など様々な計算処理を

音声オブジェクト化，映像オブジェクト化，立体映像

行って，その結果を自在に視聴空間に投影することで再生などのサービスを提供する．API は開発者が創視聴空間の再合成を行う仕組みである．上記の視聴造的なアプリケーションを実現できるよう柔軟かつ拡空間と情報空間をつなぐ処理を行う SDM の基本単位張性を持つ．

を SDM 拠点と呼ぶ． また，SDM 拠点のシステム

アプリケーション層は，API を通じて SDM サー

Vol. 34 No. 3 Aug. 2017

図2

43

SDM 試作システムの概要

ビスを利用する任意のアプリケーションが動作する層構築している．本試作システムは建物の入居者や管である．この層にローカルレンダラと呼ぶアプリケー

理者に空調・照明の遠隔制御やエネルギーの見える化

ションがあり，インターネット上に存在するリアルタなど，付加価値の高いサービス提供を行うスマート

イムとアーカイブのコンテンツを取得して SDM サー

ビルディングのためのシステム [18] との相互運用をビスと組み合わせて SDM 拠点の視聴空間に対して目指して開発している．したがって，アプリケーショ

視聴者の要望に合わせた映像音声を作り出す．レンダ

ン環境や利用する通信プロトコルなどを共用するが，リングの機能は，ローカルだけではなく既存の放送シ

本章では映像音声に関する SDM 試作システムを抜き

ステムやインターネット経由で取得したコンテンツを出し，その概要を図 2 に示す．

共同編集するなどの機能を持つパブリックレンダラにSDM 試作システムでは，I-REF 棟の LAN に SDM

より前処理される．また，アプリケーション層に定義

サーバ，SDM アプリケーションを動作する PC，位されるメディアエンコーダにより SDM 拠点を，他の置測位センサ，XMV8280-D，Ri8-D，MQTT ブロー

SDM 拠点からは放送局として機能させる．SDM 拠カを接続するネットワーク構成を取っている．MQTT

点からの放送はリアルタイムに他の SDM 拠点に転送

ブローカは LAN に接続したものの他，クラウド上にされるだけでなく，視聴オブジェクトの蓄積・管理な構築した構成も利用する．SDM サーバは Windows

どのコンテンツ管理を行う．SDM では，放送局からで動作しており，位置測位サービス，立体音響再生

送信されるリアルタイムとアーカイブのコンテンツ

サービス，音声オブジェクト化サービスを提供する．

に対し，標準化されたメタデータや，タグを付与する

試作システムは，SDM アプリケーションの動作することで，ソフトウェアによって柔軟なコンテンツ管理

クライアントからの SDM API を通じた要求により，や，状況に応じたコンテンツ選択を制御する．メディサービスを提供する．これにより複数のアプリケー

アデータとコンテンツ情報，位置情報などのメタデーションからの映像・音声の入出力要求に対し柔軟に対タを持つ視聴オブジェクトを基本単位として扱う．

応できる設備機能の仮想化環境が提供できる．現在

SDM アプリケーションから SDM API を通じて利用

5 SDM 試作システムの概要

可能な状態で試作システムへ統合されているサービ

SDM コンソーシアムでは東京大学 I-REF 棟 6 階

スは，立体音響再生サービスと，室内位置測位サービの 65 名収容可能な大教室であるヒロビーにて，SDMスであり，音声オブジェクト化サービスの SDM API

アーキテクチャに基づく SDM 拠点の試作システムをを通じた利用は統合の作業中である．また，現在の試コンピュータソフトウェア

44

図3

Unity 開発画面とヒロビーの空間三次元モデル

作システムでは，映像オブジェクト化サービスは提供

図4

ハードウェア構成と SDM サービスへのアクセスしていない．
試作システムでは，各サービスのソフトウェアは，
単一のサーバにインストールされる構成であるが，個表1

MQTT トピック命名規則

属性

階層

説明

Who

1
2
3
4
5
6
7
8
9
10
11

サービス事業者名
敷地名・サイト名
棟・建物名
階数
分割エリア・フロア名・教室名
サービスカテゴリ (SDM や空調, 照明 など)
種別 (立体音響や位置測位など)
型式・機器メーカ
トピック内で一意の識別名称
パラメータ名 (音源操作，温度，湿度など)(R または W)

別のサーバを運用することも可能である．
以下，アプリケーション環境と SDM API につい

Whereては 5. 2 節で解説する．続けて，5. 3 節 5. 4 節，5. 5
節では，それぞれ室内位置測位，立体音響再生，音声

What

オブジェクト化の SDM サーバで提供されるサービスについて解説する．

5. 1 アプリケーション環境
SDM アプリケーションは，Windows / MAC OSX/ Linux で動作する Unity†2 を用いて開発する．SDM

入出力

サービスは，Ubisense を利用した位置測位サービスと，バンダイナムコスタジオの VSSS またはヤマハの TH-S を利用した立体音響再生サービスである．

コンソーシアムでは，SDM API を用いた Unity ア
プリケーションを開発しやすくするため，API に接5. 2 SDM API へのアクセス

続する部分をサンプルコードとして，Unity Asset と情報空間で管理される視聴オブジェクトは MQTTして提供している．また，I-REF 棟ヒロビーの空間
三次元モデルは，U’s Factory 社の Info360†3 によりトピックに関連づけられる．MQTT トピックは表 1作成した．図 3 にヒロビーの三次元モデルを取り込

誰が (Who) を示す階層としサービス事業者名を指定

んだ Unity 開発画面を示す．

する．次の第 2 から第 5 階層までを，どこで (Where)に示す固定の 11 階層の構造を採用した．第 1 階層は，

アプリケーションは MQTT の通信を用いて SDMを示す広域から狭域へと絞り込む構造とした．第 6 かAPI にアクセスする (図 4)．これにより，サーバとら第 10 階層までを入出力対象 (What) を示すものとアプリケーションは各々の対象とするサービスに関し，最後尾の第 11 階層目で，入出力を示す R またはするメッセージを双方向に 1 対多で送信できる．現

W のパラメータを付与する．命名が困難な階層につ在，Unity から利用可能な SDM API で利用可能な

いてはハイフン「-」を用いる．

†2 https://unity3d.com/†3 http://us-factory.jp/robot/

位置測位サービスで管理される無線タグの三次 元 位 置 を 取 得 し た い ア プ リ ケ ー ション は ，無Vol. 34 No. 3 Aug. 201745

線 タ グ の 位 置 に 関 連 付 け ら れ た MQTT ト ピック[ x=2.8184&y=6.1839&z=0.564161&time=10/18/[ 3dbcs.biz/UTokyo/iREF/6F/Hilobby/SDM/

2016 2:14:95 PM ] というメッセージを発行する．ア

Ubisense/id/Person01/Position/R ] を 購 読 す る こ

プリケーションでは，取得したい無線タグの位置に関と で ，リ ア ル タ イ ム に タ グ の 位 置 の 配 信 を 受

連付けられた MQTT トピックを購読することで，必け る こ と が で き る ．ま た ，三 次 元 空 間 の 特 定

要なタグの三次元位置をリアルタイムに取得できるの位置に特定の音を再生したいアプリケー(図 4 の (2))．この際，無線タグの位置の他に，タグション は ，そ の 音 に 関 連 付 け ら れ た ト ピックに付属するボタンが押されたイベントなどを取得可能[ 3dbcs.biz/UTokyo/iREF/6F/Hilobby/SDM/

である．SDM サーバはボタン押下イベントを，対応

midi/sc/VSSS01/controlChange/W ] に三次元空間

する MQTT トピックに公開することで，そのトピッなどの情報を公開することにより音の制御を行う．こクを購読するアプリケーションは，そのタグのボタン

れらの MQTT トピックを購読するアプリケーション

押下イベントを利用できる．

は，1 対多でメッセージを受信できるため，他のアプ
リケーションとの連携が容易である．

5. 4 立体音響再生サービス

MQTT トピックに公開するメッセージの詳細につ立体音響再生サービスにはバンダイナムコスタジオ

いては，次に 5. 3 節と 5. 4 節でそれぞれのサービスの開発する Virtual SoundScape System(VSSS) とヤとともに解説する．

マハの開発する Theater Surround(TH-S) を利用する．これらのサービスは，サーバにあらかじめ登録さ

5. 3 室内位置測位サービス

れた複数の音源の三次元位置をアプリケーションから

位置測位サービスでは，Ubisense 社 †4 の UWB(超操作することが可能である．サービス起動時には登録広帯域) 無線を利用したリアルタイム位置情報システされた音源に関連付けられた MQTT トピックを購読

ムを利用する．このシステムは，8.5GHz ∼ 9.5GHz

し，アプリケーションからの操作を受け付ける (図 4 のの周波数 (1GHz 幅) を用いた無線タグとヒロビーの(3))．この時，音源ごとに MQTT トピックが設定さ

高所 4 カ所 に設置したセンサを使って，タグの正確れ，アプリケーションはそれぞれのトピックにメッセーな位置をリアルタイムで測定する．センサ間は高精度ジを公開することにより，音源の音量，三次元座標指で時間同期がなされており，無線タグからの電波を最定，ピッチ指定，再生開始・終了を操作することができ

低 2 台のセンサーが受信するとそれぞれのセンサー

る (図 4 の (4))．VSSS のある音源を左右に動かす場

での電波の受信角度を計算し，受信時間の差を割り合は，設置されたスピーカの中心を基準に左右 10 メー出すことで，タグの位置を 15 ∼ 30cm の精度で測定

トルを 128 等分した 0 から 127 の値を value 指定し，する．図 2 に示す通り，Ubisense 社の位置測位サー[ value=127&channel=1&control=11&datetime=

ビスと位置測位センサとの通信は，同社の提供する

10/18/2016 2:14:95 PM ] のようなペイロードを付

Location Engine による UDP/TCP で行われる．

与して関連づけられた MQTT トピックに公開する．

位置測位サービスでは，ヒロビーに存在する 5channel は音源番号，control は音源移動の方向を表

つの Ubisense の無線タグ位置を取得し，その三次す．音源種類ごとに MQTT トピックが分かれている

元位置を SDM サーバから MQTT のタグごとのトことにより，どのアプリケーションからでも関心のあ

ピックに公開する (図 4 の (1))．この時の MQTT

る音源種類に関連付けられた MQTT トピックを購読

メッセージのペイロードは，部屋の基準点からのすることで，その音の状態を取得することができる．

絶対座標を縦 (x)，横 (y)，高さ (z) をメートル単VSSS と TH-S は，登録された音源の操作 (音源の位で記述し，最後に時間 (time) を含める．例えば，音量，三次元座標指定，ピッチ指定，再生開始・終了)
を MQTT メッセージで受付け，その操作に基づいて†4 http://ubisense.net/

各スピーカをどのように駆動させるか計算する．計算コンピュータソフトウェア

46

結果の音声情報は，Dante™規格で XMV8280-D へ送音の性質を明らかにし [11]，その性質を満たすよう信され，アナログ入力に変換されたものが各スピーな受音系を構築する [35]．多マイクロホンで観測しカの入力となり音声が再生される．Dante 規格の送た信号に対して，ビームフォーミングやウィーナー

受信のため，SDM サーバには Audinate 社の Dante

フィルタリングといった信号処理をすることで [36]，Virtual SoundCard をインストールしている (図 2)．

ユーザが狙った位置にある音をクリアに集音するこ

現在，図 4 上部に示す通り，4 メートル四方のエリアとを実現している．インテリジェントマイク技術にの 4 隅に高さ 1.2 メートルと 2.7 メートルのスピーカより分離されて収音された音は，Dante 規格でヤマを配置した構成を I-REF 棟に構築している．

ハ XMV8280-D へ送られ，アナログ信号に変換され以下に，VSSS と TH-S の概要を示す．

• Virtual SoundScape System(VSSS)て視聴者のヘッドセットなどで再生を行う．
音声オブジェクト化サービスは，現在 MQTT でVSSS とは，バンダイナムコスタジオの開発すSDM API へアクセスすることで試作システムで利る，最先端の音響演出を再現・体感できるイベン

用可能になるようには統合されておらず，代わりにト及び施設向けの音響制御システムである．本シ

利用者は SDM サーバの GUI を直接操作することでステムは，バンダイナムコグループのゲーム製集音対象のエリアを指定する．今後，SDM API への品で実際に使用されている音響制御のライブラ統合を目指し，情報空間で (試作システムにおいては

リを応用した Windows 上で動作するアプリケー

Unity 上で) 仮想のマイクを動かすことによって，現ションである．ゲームに利用されるため，プレイ

実空間に存在するその場所の音を集音可能にする予定

ヤーの操作に応じて即時に反応するためのインである．その際，仮想マイクの位置を制御するためのタラクティブな技術を提供する．

MQTT トピックを割り当て，複数のアプリケーショ• Theater Surround(TH-S)

ンで仮想マイクの三次元位置を共有可能にする．仮想

TH-S とは，ヤマハの開発する任意音源の Pan-

マイク位置で集音した音声をあらかじめ決めておいた

ning アルゴリズムを組み込んだ，立体音響シ

ヘッドホンやスピーカで再生する場合は，Dante でステムである．本システムは，ヤマハ株式会社

送信先の機器 (ヤマハ XMV8280-D や Dante Virtualで開発された劇場向け音像移動処理を核としたSoundCard をインストール済みの PC) を指定すればWindows 上で動作するアプリケーションである．

実現できる．一方，その仮想マイクが集音した音声

演劇やミュージカルの演出における使用を主な想を複数の MQTT トピック購読者に配信する場合は，

定アプリケーションとして開発されているため，

MQTT トピック購読者を Dante の宛先に一致させる

任意の入力音源をデザイナーの操作に応じて 3D

仕組みが必要となり，今後の課題である．

面内の任意の位置に定位させる技術を提供する．

6 SDM アプリケーション
5. 5 音声オブジェクト化サービス

SDM コンソーシアムでは Interop 2015 Tokyo に

音源オブジェクト化サービスには，NTT メディアて SDM 試作システムを用いてデモンストレーション

インテリジェンス研究所が開発した遠くにある狙った展示を行い，試作システムを提供したハッカソンを複音だけをクリアに集音する技術であるインテリジェン数開催した．また，試作システムをタンジブルイン

トマイク技術を利用する．

ターフェースに利用する研究を行った．さらに，アプ

まず，前節の立体音響再生サービスとは逆方向に，

リケーション非依存な視聴オブジェクトの管理の研究

複数のマイクからのアナログ入力はヤマハ Ri8-D にのために，オーケストラの収録を行いデータベースて Dante 規格へと変換され SDM サーバに送られる．

を構築した．以下に試作システムを利用した SDM ア

インテリジェントマイク技術では，音源を分離してプリケーションとアプリケーション非依存な視聴オブ収音するために，複数のマイクを用いて集音すべき

ジェクトの管理に関して解説する．

Vol. 34 No. 3 Aug. 201747

れにより来場者は指定した区画の音だけを聞くことができる．

VSSS 技術の展示では，図 5 に示すブースの 4 隅には床からそれぞれ 1.2 メートル地点と 2.7 メートル地点に計 8 個のスピーカが設置されている．ブースへの訪問者は SDM サーバに MIDI ケーブルで繋がる

iPad を操作して，音源の選択や，その音源の三次元座標を入力すると，SDM サーバで 8 つのスピーカから鳴るべき音を計算し，その結果は IP ネットワーク
図5Interop 2015 での展示を経由して Dante 規格でヤマハ XMV8280-D へ送られ，アナログ信号に変換されて実際のスピーカから，

6. 1 試作システムのデモンストレーション展示

インタラクティブに立体音響が再生されるデモンスト

2015 年 6 月 10 日から 12 日にかけて幕張メッセでレーションを展示した．

開催された Interop 2015 Tokyo にて，Software De-

展示した両技術は，入力機器からのアナログの入力

fined Media コンソーシアムとして出展した．Interop

チャネルを一旦デジタルに変換し IP ネットワークを2015 への参加者は，主催者によると延べ 136,341 人

通じて別の機器に送信し，ソフトウェア処理を施し，であり，参加者は情報システム，ネットワークエンジ

計算結果を再び IP ネットワークを通じて送信し終端

ニアリング，セールスと研究を職業とする者の割合がでアナログに変換する構成になっている．これは，来多かった．

場者に 3. 1 節で示した三次元の映像・音声の演出を

出展ブースの様子を図 5 に示す．任意の領域で発生

ソフトウェアで制御するという SDM のコンセプトのする音をソフトウェアで指定して収音できるインテリ

理解に役に立った．また，VSSS 技術の展示では，来ジェントマイク技術と，オブジェクトベースの立体音

場者はコンピュータで設計された臨場感のある立体音

響をインタラクティブに制御する VSSS 技術を展示

響を聴取することで，3. 3 節で示した実際の映像音声

した．Interop 2015 で展示したデモシステムは 5 章を録音したコンテンツに対して，拡張的な演出を組みで述べた試作システムのサブセットであり，MQTT

合わせる可能性について体感することができた．

による SDM API アクセスの代わりに，来場者が直接 SDM サーバの GUI を操作する．

6. 2 試作システムを利用したハッカソンの開催

インテリジェントマイク技術のデモンストレーショ

2015 年 7 月 18 日，19 日の週末と 2015 年 12 月 12

ンでは，図 5 に示すブースに，およそ 2.5 メートル上

日，13 日の週末に，東京大学 I-REF 棟のヒロビーに

空のブースフレームに計 16 チャネルのマイクアレイ

おいて，ぞれぞれ第 2 回，第 3 回のスマートライフを設置した．その 16 のマイクからのアナログ入力はハッカソンを開催し，5 章で述べた SDM 試作システ

2 台の Ri8-D により Dante 規格へ変換され IP ネット

ムを公開し，参加者に SDM API を利用したアプリ

ワークを通じて，インテリジェントマイク技術がインケーションの開発をしてもらった．これにより，SDM

ストールされた SDM サーバに送られる．訪問した見プラットフォームへの要望を洗い出す一方，従来に学者は，この SDM サーバの GUI を操作し，希望すなかったような映像音声の表現や，画期的な SDM のる区画を選択すると，インテリジェントマイク技術に利用方法を開拓することを目指す．スマートライフ・

よりその区画の音だけが分離されて収音される．収音

ハッカソンでは他に，空調や照明，ウェブカメラなどされた音は，再び IP ネットワークを経由して Danteの東京大学 I-REF 棟のスマートビルディング設備を，規格でヤマハ XMV8280-D へ送られ，アナログ信号

SDM 試作システムとアプリケーションと通信プロトに変換されて視聴者のヘッドセットで再生される．こコルを共用し利用可能な状態で提供した．これにより

コンピュータソフトウェア

48

トを制御していた．これにより，3. 1 節で示した，仮想化された音響機能を音声オブジェクトをソフトウェ
アで制御することで利用し，実際の音響設備から音声が生成される実例を体験できた．また，これにより複数の参加者が同時に音声オブジェクトを制御する
ことで，立体音響サービスの提供するロボットの音，
犬の音，花火の音などが同時に鳴り響く時間もあり，

3. 2 節で示した，ある視聴空間に複数のソースからの音声をミキシングする体験を提供できた．

図6

SDM 試作システムを利用したハッカソンの様子

6. 3 オブジェクトベースの音響システムのためのタンジブルインターフェース

参加者はスマートビルディング設備と同様に，音声オ

SDM コンソーシアムでは，SDM 試作システムをブジェクトを制御することで，仮想化された音響機器利用したオブジェクトベースの音響システムのためのを利用することができた．

タンジブルインターフェースの研究 (Tangible Sound

第 2 回ハッカソンには 28 人の参加があり，13 チー

Object) [37] [38] を行っている．

ムに分かれてアプリケーションの開発を行った．このTangible Sound Object は一定空間内で再生され時提供したサービスは 5 章で述べた SDM 試作シスている複数の音源をタッチパネル・スクリーンや光テムのうち，VSSS を利用した立体音響再生サービス

等の視覚的なインターフェースを使用せずにユーザのみであったが，ハッカソン当日に Unity 上の SDM

自らの手で物体として移動，配置が可能なタンジブ

Asset を開発し，github で公開し，他の参加者が利ルインターフェースである．Tangible Sound Object

用できるようにする開発者が現れるなど，Unity 上でを使用することでユーザは音源 (音のオブジェクト)の SDM 利用が容易になった．また，ハッカソン後にの形，サイズ，位置，距離をイメージできるようにな行ったアンケート (回答者 10 名) では，全員が「大変る．Tangible Sound Object は，SDM 試作システム

満足」「まあまあ満足」すると言う結果であった．まで提供されるオブジェクトベースの立体音響サービス

た，ハッカソンで興味を持った技術を一つ挙げる質と三次元での位置情報の取得が可能な室内位置測位

問では 6 割が SDM を挙げるなど，SDM に注目が集サービスを組合わせることにより，本来は物理的にはまった．

触れることの出来ない音を物体として扱うことを可第 3 回スマートライフハッカソンの様子を図 6 に能とする．

示す．第 3 回ハッカソンには 19 人の参加があり，9本システムは 5 章で解説した試作システムのうち，チームに分かれてアプリケーションの開発を行った．

5. 3 節の室内位置測位サービスと 5. 4 節の立体音響再第 3 回では，前回の VSSS を利用した立体音響再生

生サービスを組み合わせて，設計した．図 7 は，室内サービスに加え，TH-S を利用した立体音響再生サー

位置測位サービスを使って視聴空間に存在する無線タビス，Ubisense を利用した位置測位サービスなどをグの三次元位置が情報空間に取り込まれている様子提供した．特に，今回初めて用意した Ubisense を利を示す．

用した位置測位サービスが人気を集め，ほぼ全てのチームが作品に取り入れていた．

ユーザは自らの手で位置情報タグ，または位置情報タグが内蔵された物理的なオブジェクトを掴んで動か

ハッカソン会場には開催期間の 2 日間，参加者がし，配置することにより音のオブジェクトを三次元に起動するアプリケーションが同時に動作している状

配置することができる．図 8 はユーザが実際に空間態が続き，各々が任意の時間に任意の音声オブジェク

内の任意の位置に複数の音のオブジェクトを配置して

Vol. 34 No. 3 Aug. 2017

図7

49

視聴空間の無線タグの三次元位置が情報空間に取り入れられるを構築した [39]．
現在，オーケストラ収録を後に視聴するためのパッケージメディアでは通常，カメラとマイクの置かれた
位置と角度によって，視聴するコンテンツが大幅な制約を受け，視聴者の意思による自由な場所と角度，距離での視聴は困難である．こうした課題を解決するため，収録されたメディアはアプリケーションに非依存に，複数の視聴オブジェクトなどに分解して解釈し，管理する機構が必要であると考えられる．
図 8 再生されている音をスペース内の任意の位置に移動させる

こうした機構により自由度の高いシステムが構築可能となり，汎用的な視聴オブジェクト管理によっている様子である．各風船には位置情報タグが内蔵され様々なアプリケーション／コンテンツを様々な場所でている．

提供することが可能となる．この結果，自由度の高い

Tangible Sound Object の研究は，チャネルごとのシステムによってより高い忠実度で音の場を収録した音声データを記録しておくのではなく，3. 1 節で述べ

り，再生したり， 共有したりすることが可能になる

た通り，音源の三次元位置情報をソフトウェアで扱ということが期待される．例えば，ある映像が，あるう SDM アーキテクチャを利用することで，実現する奏者にズームアップするとその奏者が奏でる音も連動ことが容易になったアプリケーションの好例である．

してズームアップするなどのインタラクティブなコン

さらに，3. 4 節で述べた，ユーザインタラクションにテンツを簡単に作成することが可能になる．

よって聴取する音声が動的に変化するコンテンツを提供することができた．

そこで，上記のような SDM を実現するデータベー
スを作成するため，2016 年 01 月 10 日，慶應義塾大学 日吉キャンパス内に建つ 509 席の席数を有する

6. 4 アプリケーション非依存な
視聴オブジェクトの管理

藤原記念ホールにて開催された慶應義塾大学 コレギ
ウム ムジクム古楽アカデミーのコンサートを収録しSDM コンソーシアムでは，試作システムとそのシた．収録対象は，17 世紀のドイツ宮廷音楽であるヨ

ステムを用いたアプリケーションを開発する一方，アハン・フリードリヒ・ファッシュの「管弦楽組曲ト長

プリケーション非依存な視聴オブジェクトの管理の研調 FaWV K:G2」など，最大 24 名の演奏家による全究のために，オーケストラの収録を行いデータベースてアコースティックの演奏である．楽器には，テオル

コンピュータソフトウェア

50

図9

オーケストラ収録のカメラとマイクの配置

ベ，チェンバロ，バロック・ヴァイオリン，バロック・を施せばその係数を変えることでステレオ集音の拡

オーボエ，ヴィオラ・ダ・ガンバなどの現代では珍しがり感を変化させることができる．また さらに高度い楽器が含まれており，楽器ごとの演奏と各楽器の合な処理を使うことで，側方成分を利用した主方向成分

わさった音を分離して収録した．

の効果的な強調といったことも期待できる．

図 9 にカメラとマイクの配置を示す．メインマイ

加えて音響的な出力レベルは弱いがユニークな楽器

クロホンとして単一指向性の Schoeps MK4+CMC6である テオルベ，チェンバロには個別集音のためのをプロセニアム (客席からみて舞台を額縁のように区近接マイクが単一指向性マイクロホンを使って設置さ切る構造物) 付近のステージバトンに左右それぞれ舞れている．ポイントアレイマイクロホンとしては，そ台中央から 2 メートルの位置に吊るした．アンビエ

れぞれ 6 個と 8 個の単一指向性マイクロホンを利用

ントマイクとしては，無指向性の DPA4006 を左右した， 3D XYZ および 2D 360 度アレイを設置するのサイドバルコニーにそれぞれ 1 つずつ設置するとと共に，Eigenmike™を設置した．3D および 2D マ

ともに，主階席の最後席に ORTF マイクを設置した．

イクは，それぞれ GoPro™を 6 台組み合わせた三次

これらは全て録音セッションを指示したプロの録音エ

元動画収録，および Ricoh Theta™ S を使った二次

ンジニアの判断のもと，標準的な室内楽オーケストラ

元動画収録との組合せで収録された．また客席エリ

録音用のマイクとして，最適な位置を選んで配置されア内の代表点には ダミーヘッドマイクと球体マイク

た．舞台内にはセクションごとに同じく録音エンジニも設置されている．さらに主階席 4 点，バルコニー 2

アの判断のもと標準的な個別録音として最適な位置点の合計 6 点にはスタンド上に取り付けたスマートを選び設置したが，それぞれのマイクロホンは単一指フォンを設置し，これにより録画と録音を行った．

向性と双指向性の組合せとなっている．この組合せは収録した映像音声データは SDM による魅力的なコ

従来から使われている M/S 型のマイク配置であるた

ンテンツ制作とアプリケーション開発に利用するため，マイクロホンからの出力に既存のマトリクス処理

め，視聴オブジェクトの概念を基礎とするデータベー

Vol. 34 No. 3 Aug. 201751

スを構築した．メディアデータとコンテンツ情報，位

ユーザ
クライアント
入出力設備
SDMサーバ
視聴者
アプリケーション本単位として扱う．オブジェクト型の概念を使うこと
処理遅延
、Ps、
Pf 、
、Pa の総和になる。
伝送遅延 Tuf 、で， マイクで集音した複数の音から，音声オブジェ
バ、アプリケーションを伝わる情報の伝送遅延
Tf s 、、Tsa と、処理遅延
置情報などのメタデータを持つ視聴オブジェクトを基クト化サービスによってより上位の抽出された音を生成でき，それらに同じオブジェクトの構造を使うこと

図 10

SDM 試作システムにおける遅延が可能になる．次にこれらのオブジェクトに意味情報を追加すれば，さらに上位層のオブジェクトを想定す

7. 1 リアルタイム性の試験ることができる．このようにこのデータベースには，

7. 1. 1 実験構成

下位層から意味情報を付加することで 1 つ上の層を立体音響再生サービスや，位置測位サービスなど生成できる再起的な構造を持たせた．さらに例えば従の SDM サービスは，リアルタイム性や，インタラク

来型録音で典型的に使われるマイク群をひとまとめ

ティブ性を重視するアプリケーションに利用されるこにしたさらに上位層のオブジェクトなども作成してとが想定される．SDM 試作システムの総遅延 D はいる．このデータベースはこのように階層的にオブ

図 10 に示すとおり，ユーザ，入出力設備，SDM サー

ジェクトを構成することでその意味的 (Semantic) な

バ，アプリケーションを伝わる情報の伝送遅延 Tuf ，価値を向上させることを意図している．今回作成した

Tf s ，Tsa と，処理遅延 Pf ，Ps ，Pa の総和となる (式データベースでは，GoPro™，Ricoh Theta™ S，4K

1)．

ビデオカメラ，スマートフォンと 4 種類の映像データ

D = Tuf + Tf s + Tsa + Pf + Ps + Pa

(1)

を位置情報とコンテンツ情報を付与して管理している

Tuf は入出力設備とユーザ間の遅延で，音声の伝ため，コンテンツやアプリケーションを作成する際，わる遅延やセンサ更新頻度などが含まれる．次に Tf s

上記の音声データと組み合わせて利用することが容は入出力設備と SDM サーバ間の伝送遅延で，この易である．音声データと同様，映像でも映像オブジェ

間の IP ネットワークで送信されたパケットが宛先にクト化サービスを利用し，収録対象を解釈したより上到達する時間が含まれる．Tsa は SDM サーバとアプ

位のデータに変換し階層的にデータベースに格納す

リケーション間の遅延であり，試作システムにおいることを想定するが，上位のデータの作成は今後のては MQTT による SDM API のアクセスにかかる課題である．本データベースは，実験素材としてコン時間となる．また，Pf は入出力設備の処理遅延であソーシアムのメンバーに提供される．

り，AD/DA 変換の処理遅延が含まれる．Ps は SDM
サーバでの処理遅延であり，入出力設備による入出力

7 SDM 試作システムの性能評価

を SDM の提供する抽象化されたサービスとの変換

本章では SDM 試作システムの実験評価を示す．

して API として提供するための処理遅延である．Pa7. 1 節では SDM アプリケーションの遅延を測定し，はクライアントアプリケーションの処理遅延である．

アプリケーションのリアルタイム性を検証する．ま

本節では，提供する SDM サービスに依存せず，共通

た，7. 2 節では，SDM 試作システムを利用したアプで発生する遅延である Tsa を計測するため，アプリ

リケーションである Tangible Sound Object (詳細はケーションから SDM サーバまでを MQTT を利用し

6. 3 参照) を評価し，SDM 試作システムの有効性をたメッセージ配信の遅延を評価し，総遅延 D を含め考察する．

た評価は次節の主観評価で行う．
一般に MQTT によるアクセスは利用するブローカのインターネット上の位置に依存する．視聴オブジェ
クトの送受信を行うクライアントがローカルで完結するアプリケーションでは，ブローカをローカルに置コンピュータソフトウェア

52

表2

検証システムの構成

OS

CPU

メモリ

ローカルブローカ

Ubuntu 14.04 LTS

Intel®Core™ 2-CPU6600 2.40GHz

5.8GB

Mosquitto (ver 1.4.2 MQTT v3.1 broker)

クラウドブローカ

Ubuntu 14.04 64bit small

1vCPU

1GB

Mosquitto (ver 1.4.4 MQTT v3.1 broker)

PC

Windows 7 EnterpriseIntel®Core™ i7-3630QM CPU 2.40GHz

16.0 GB

ソフトウェアUnity 5.3.0

く構成がもっとも遅延が小さくなる．一方，視聴オブムに 1 度の SDM API アクセスを行うアプリケーショ

ジェクトを遠隔複数拠点に配信する場合は，拠点間のンの場合，平均 17ms 間隔でメッセージ送信が行わ中心にブローカを置く構成が拠点間の遅延の差異がれるためである．また，クライアントとブローカのもっとも小さくなる構成となる．その中間で，あるビ一時的な計算機資源の揺らぎの影響を避けるため，

ル内で視聴オブジェクトを送受信するアプリケーショ

MQTT メッセージは 20bytes から 1420bytes までサ

ンでは，ビル設備のデータセンターにブローカを置く

イズのメッセージを順番に送る手順を 100 回繰り返し

構成が合理的となると考えられる．したがって最適なた．メッセージサイズを 20bytes から 1420bytes ま

ブローカの構成はアプリケーションによって異なる．

で 100bytes ずづ変化させたところ，多くのメッセー

そこで，本章の評価では，遅延が最小となるブローカ

ジが 0.4 ミリ秒から 0.75 ミリ秒の範囲に収まり，メッをローカルにおいた構成と，クラウド上に置いた構成

セージサイズが大きくなるに従い，わずかに往復遅延

で，往復遅延を計測したものを示す．ローカルネットが増えた．

ワーク上のブローカ，クラウド上のブローカ，Unity
を起動する PC の性能は表 2 のとおりである．

図 11 と図 12 および図 13 の箱ひげ図はそれぞれ，最大値，第 1 四分位点，第 3 四分位点，最小値を表す．

SDM アプリケーションと SDM サーバが同一の

図 12 はメッセージサイズを 60bytes に固定して，ネットワークに存在する試作システムの構成では，ア

送信間隔を 1 ミリ秒から 17 ミリ秒まで変化させた場

プリケーションとサーバが同一のトピックを購読し合の往復遅延を示す．メッセージ間隔が 1 ミリ秒からている時，あるアプリケーションが公開した MQTT

17 ミリ秒の時でも，往復遅延は 0.5 ミリ秒程度と変メッセージがブローカを経由してサーバに届く時間

わらなかった．図 12 から，こうした 1 フレームに 1と，アプリケーションに戻って来る時間はほぼ等しい．

度の SDM API アクセスを行うアプリケーションがこれより，アプリケーションとブローカ間のメッセー

17 ほど存在しても往復遅延は 0.5 ミリ秒で収まるこ

ジ配信の往復時間を計ることで，アプリケーションかとがわかる．また，メッセージ間隔を空けずに送信し

ら SDM API アクセスの遅延を測ることができる．

た場合を横軸の間隔 0 ミリ秒に表したが，平均して 2

7. 1. 2 実験結果

ミリ秒での往復遅延に収まった．

図 11 は，ブローカをローカルに置いた構成で，一方，図 13 はブローカをクラウドに置いた構成で，

ペイ ロード サイズ を 20bytes から 1420bytes まで

メッセージサイズを変化させた時のメッセージ配信

100bytes ずつ変化させて，往復遅延を計測したものの往復時間の割合を示したものである．RTT はメッである．MQTT のペイロードサイズはプロトコル仕

セージサイズに依存せず，平均 17.5 ミリ秒であった．

様では 256MB まで許容されるが，視聴オブジェク

ほとんどのメッセージは 50 ミリ秒以内に返答され，トの三次元位置などの軽量のメッセージを交換する

おおよそ 80%のメッセージは 30ms 以内の往復遅延

SDM の特性を考慮し，MTU でフレーム分割されなとなったことが示された．これは，ブローカをクラウ

いサイズでの計測を行った．この時，各サイズのテスドに置いた構成では，SDM API へのアクセスが 2 まトでメッセージを 100 回送信することで行い，メッ

た 3 フレームのリフレッシュ時間で完了することを示

セージ間隔は 17ms を取った．これは，Unity の平均

す．また，各メッセージサイズによって往復遅延に違的な描画は 60 フレーム/秒で行われるため，1 フレー

いは見られなかった．図 11 において観測されたミリ

Vol. 34 No. 3 Aug. 2017
2

53

100

80

Round Trip Time (ms)Round Trip Time (ms)

1.5

1

60

40

0.5
20

0

0
20

120 220 320 420 520 620 720 820 920 1020 1120 1220 1320 1420
Message size (byte)

図 11 ブローカをローカルに置く構成でメッセージ
サイズを変化させた時の往復遅延

20

120 220 320 420 520 620 720 820 920 1020 1120 1220 1320 1420
Message size (byte)

図 13 ブローカをクラウドに置いた構成でメッセー
ジサイズを変化させた時の往復遅延

ションが音楽セッションのようなユーザの協調作業に4利用される場合は，システム部分の遅延を 50 ミリ秒

3.5以内に抑えることが望ましい．ブローカをローカルに
Round Trip Time (ms)3おいた構成では 0.5 ミリ秒で SDM API アクセスを2.5完了したことから，この構成であれば，SDM 試作シ
2

ステムは多くのアプリケーションの遅延要求に応じ1.5

た構成を提供できるインタラクティブ性を持っている
1

ことを確認できた．また，ブローカをクラウドに置い0.5

た場合は遅延が 30 ミリ秒であったことから，ユーザ
0
0

1

2

3

4

5

6

7
8
9 10 11
Publish Interval (ms)

12

13

14

15

16

17

図 12 ブローカをローカルに置く構成でメッセージ
間隔を変化させた時の往復遅延に認識可能な遅延が生まれることが予想されるため，利用用途によってブローカの位置を十分に検討する必要がある．さらにクラウドのブローカを利用した実験で確認されたように遅延のばらつきが大きい場合は，秒以下の違いは誤差に埋もれて観測できなかった．まユーザの協調作業には困難が生じることが知られてた，ブローカをローカルに置いた構成と比べ，極端なおり，そうした利用用途では，同期した端末間でタイ

外れ値が観測された．全 1500 個の MQTT メッセー

ムスタンプを参照することでユーザへの遅延を一定

ジのうち，37 のメッセージが 100 ミリ秒以内に往復にする機構が有効であると考えられる．

が完了せず，2 つのメッセージは 500 ミリ秒以内の往復遅延に収まらなかった．この極端な外れ値の原因については，クラウドオペレータとの検証が必要であり，今後の課題である．

7. 2 SDM アプリケーション (Tangible Sound
Object) の主観評価
7. 2. 1 実験構成

遅延のある演奏系を利用した音楽セッションにて遅SDM アプリケーションの検証では，6. 3 節に示

延の認識に関して行われた実験によると 30 ミリ秒以した SDM 試作システムを利用した Tangible Sound

内の遅延は認識されず，30 ミリ秒から 50 ミリ秒の遅Object の評価を行った．被験者には無線タグに関連延がある環境では遅延を認識するが演奏は可能，50づけられた複数のサンプル音源を再生して聴いてもミリ秒以上だと演奏に困難になることがわかっていらい，音声オブジェクトの音質，位置，距離についる [40]．このことから，SDM を利用したアプリケーて評価してもらった．また，Tangible Sound Object

コンピュータソフトウェア

54
表3

音源の種類
!*

No.

音声

三次元音響表現

V1
V2
V3
V4
T5
T6

蚊
犬
ロボット
花火
歌声
ピアノ

○
地面のみ
地面のみ
○
○
○

)
(
'
&
%
$
#
"

の目的である音声を触る (設置したり動かしたりす!

る) という体験をどの程度達成できたのか，調査を行なった．
本実験ではブローカをクラウドに置く構成とした．
実験で使用した立体音響再生サービスの音源は表 3 の通りである．V1 から V4 は VSSS による立体音響再生であり，T5 と T6 は TH-S によるものである．V2と V3 の音源以外は，高さを含む立体音響再生であり，V2 と V3(犬とロボットの足音) は，それらが地
面を歩きまわる音が聞こえる仕様になっているため，高さ方向の表現が無効化されている．

図 14

S
"
#
X $
F D
YT
ZU
(V
W W
' G
X 4
[#
\$
Q>
/?
0@
1A
B
C

P
"
#
$
%
E
Q
D
R
(
/
0
1

K
"
L
M
%
N
O
*
+
,
.
/
0
1

=
"
#
$
>
H?
I@
*A
J B
. C
/
D
0
E
10
F
/
G
4

!
"
2 #
#$
3%
4&
5 '
6 (
7)
4*
8
9+
: ,
;.
+
< /
0
1

実験評価の結果 (棒グラフは回答の平均値，線は標準偏差を示す)

被験者は一定のスピーカーに囲まれたスペースの中心の椅子に座り，音響システムから再生された音をえることができたか？

聴いた．全ての音源は二度以上再生され，一度目は一

7. 2. 2 評価場所と被験者定の位置で，二度目はある位置からある位置へ動く音

評価実験は東京大学の I-REF 棟 6 階のヒロビーでとした．音はランダムな順番・位置で再生し，音源の行われ，男子 6 名，女子 6 名の 10 代から 50 代の 12選択・配置・移動には Tangible Sound Object を使名の被験者が参加した．被験者全員が本システムに初用した．その後，無線タグを持って歩いたり，任意のめて触れる非エキスパートであった．

場所に置いてもらったりして，音を触る体験をしても7. 2. 3 実験結果

らった．

結果は図 14 のとおりである．棒グラフは回答の平Tangible Sound Object を体験してもらった後，聞均値を示し，線は標準偏差を示す．

き取りを行った．評価項目は以下のとおりである．評

音質，ノイズ，途切れなどの音声の聞こえ方に関価は各項目に対し 10 段階 (1 ＝悪い・全くわからな

する評価項目 1) では，最小値は 4 であったが，平かった，10 ＝良い・はっきりと分かった) で答えても均値 7.6 となり良好な結果が得られた．また，オブらった．

ジェクト操作の遅延に関する評価項目 2) では全員が

1. 音声の聴こえ方はどうだったか？ (音質，ノイズ，途切れなど)

2. 音声オブジェクトを動かした際，遅延はあったか？

5 以上の評価で，平均値は 8.4 と高い評価を得られた．Tangible Sound Object のユーザが感じる遅延
は，ユーザが無線タグを操作し Unity アプリケーショ
ンで室内位置測位の結果を取得するのにかかる式 1

3. 位置の精度はどうだったか？

で求められる総遅延 Dloc と，Unity アプリケーショ

4. 音声の動きを追えたか？

ンが対象の場所に立体音響再生をさせる SDM API

5. 音声を操作する際，音声オブジェクトとして捉にアクセスし実際に音が視聴者に届くまでの Daud をVol. 34 No. 3 Aug. 201755

加算したものである．クラウドのブローカを利用しTangible Sound Object のアプリケーション部分

た際の SDM API アクセスにかかる遅延は平均 17.5は約 200 行の Unity 上のコードであり，SDM 試作シミリ秒 (図 13) であったため，今回の評価は少なくとステムは，比較的容易に視聴空間をソフトウェア制御

も平均 35 ミリ秒の遅延が存在した場合のものであり，するため機能を提供できるプラットフォームであるこローカルブローカを使うことにより改善の余地があとを示している．本節の主観評価は，そうして開発さるものと思われる．

れたソフトウェアは開発者の演出意図を高水準で満た

音源の位置に関する評価項目 3) では，全員が 6 以せることを示した．

上で平均値 8.0 であった．音源は特に止まっている時ははっきりとどこに位置しているか判断できた．ほと

8 まとめ

んどの被験者は音源が前，後ろ，右，左，斜め前，斜

本論文では，2014 年より開始した SDM コンソー

め後ろにある時は判断できた．上下の表現は比較対象

シアムで進めてきた，視聴空間サービスのソフトウェ

があれば判断できた．例えば，音が上にある場合を聞

ア制御に関する研究について報告した．その中で，視けば，音が下に降りてきた場合にを認識できた．花火

聴サービスのための設備を仮想化する SDM アーキテの音源は実際の花火も下から上に移動する高さの表現

クチャを提案し，そのアーキテクチャに基づく試作シがある為，音の高さを表現するのに最も適していた．

ステムを実装した．また，試作システムのデモンス

一方，再生している音声オブジェクトが視聴者の近傍

トレーション展示，システムを利用したハッカソン開に存在するとき，被験者は音声オブジェクトの相対位

催，システムを利用したタンジブルインターフェイス

置を認識することが困難であった．

の研究を進めてきた．さらに，アプリケーション非依

音源の動きに関する評価項目 4) では，最小値を 5

存な視聴オブジェクトの管理を行うため，最大 24 名とする平均 8.4 の評価を得た．犬 (V2) の音源は犬のによるコンサートを，さまざまな方式のマイクとカメ鳴き声が連続していない音源であり，音源が動いた際ラで収録し，収録データのデータベース化を行った．

には追いにくいことが分かった．また，花火の音は連

試作システムを利用した実験評価では，MQTT を利続してはいなかったが，音が下から上に長い距離を 4用した SDM API アクセスの遅延を測定した．測定

秒かけて移動しており，その移動は最もはっきりと聞結果により，ネットワーク構成によって遅延が異なる

こえた．歌声 (T5) の音は動きを追いやすかったが，ことがわかったが，多くのインタラクティブなアプリ

歌のフレーズが途切れるところでは，音の動きを追ケーションに耐えうるリアルタイム性を確保すること

うことが難しかった．その他，音源で高さの表現を持が可能であることがわかった．また，試作システムのつ歌声 (T5)，ピアノ (T6) は日常では高さの表現を機能を利用して開発された Tangible Sound Object

持たないため，被験者から興味深いとのコメントがを主観評価することで，SDM 試作システムが開発者あった．

の演出意図を高水準で満たせる開発プラットフォーム

評価項目 5) は，音声を触る (設置したり動かしたりであることが示された．

する) という体験を目指した Tangible Sound Object

今後の課題は，まず SDM 拠点の試作システムの拡の目的が達成できたかを評価する項目である．本項張である．5. 5 節で述べた，音声オブジェクト化サー

目では，最小値 2，最大値 10，平均値 7.8 の評価を得

ビスを MQTT による SDM API アクセスへの統合て，被験者によって結果にばらつきがあった．満点のするにあたっての課題を解決する．映像オブジェクト

10 をつけた被験者は 4 人存在し，音声を設置したり化サービスとして，KDDI 研究所の開発する自由視

動かすという行動により，見えないものに触れる体験

点映像技術の統合も検討する．次に，SDM 拠点をつができたというコメントがあった．一方，目に見えな

なぐ SDM アーキテクチャの機能 (パブリックレンダ

い何かを触った経験がないため，音を触る感覚という

ラ，メディア処理，コンテンツ蓄積・管理) の研究開のが体験できないという意見もあった．

発を進め，効率的に多拠点を接続する．コンテンツを

56

コンピュータソフトウェア

蓄積する機能については，アプリケーション非依存な
視聴オブジェクトの管理 [39] の概念を拡張する．
謝辞 本論文の議論に参加していただいた SDM コ
ンソーシアム・メンバーに感謝します．

参 考 文 献[ 1 ] 文部科学省: 特集 2 東京オリンピック・パラリン
ピック競技大会が開催される 2020 年を目標とした科学技術に関する展開, 平成 26 年版科学技術白書–DATA
GO JP, 2014.
[ 2 ] Dolby Atmos© Specifications, Technical Report
Issue 3, Dolby Laboratories, 2015.
[ 3 ] AUROMAX© Next generation Immersive Soundsystem, 2015.
[ 4 ] Smolic, A., Mueller, K., Merkle, P., Fehn, C.,
Kauﬀ, P., Eisert, P. and Wiegand, T.: 3D Videoand Free Viewpoint Video–Technologies, Applications and MPEG Standards, in 2006 IEEE International Conference on Multimedia and Expo, July
2006, pp. 2161–2164.
[ 5 ] Sankoh, H., Sugano, M. and Naito, S.: Dynamic camera calibration method for free-viewpoint
experience in sport videos, in Proceedings of the20th ACM international conference on Multimedia,
ACM, 2012, pp. 1125–1128.
[ 6 ] 金澤勝: 超高精細映像・音響システムスーパーハイ
ビジョン, 電子情報通信学会誌, Vol. 92, No. 12(2009),
pp. 1046–1049.
[ 7 ] 濱崎公男, 火山浩一郎: 22.2 マルチチャンネル音響
システム, 平成 17 年電気学会電子・情報・システム部
門大会講演論文集, 2005, pp. 3–7.
[ 8 ] Herre, J., Hilpert, J., Kuntz, A. and Plogsties,
J.: MPEG-H 3D Audio —The New Standard
for Coding of Immersive Spatial Audio, Vol. 9,
No. 5(2015), pp. 770–779.
[ 9 ] Bleidt, R., Borsum, A., Fuchs, H. and Weiss,
S. M.: Object-Based Audio: Opportunities for
Improved Listening Experience and Increased Listener Involvement, SMPTE Motion Imaging Journal, Vol. 124, No. 5(2015), pp. 1–13.
[10] Johnson, D. H. and Dudgeon, D. E.: Array signal processing: concepts and techniques, Simon &Schuster, 1992.
[11] Niwa, K., Hioka, Y., Furuya, K. and Haneda,
Y.: Diﬀused Sensing for Sharp Directive Beamforming, IEEE Transactions on Audio, Speech, and Language Processing, Vol. 21, No. 11(2013), pp. 2346–
2355.
[12] Kanade, T., Rander, P. and Narayanan, P. J.:
Virtualized Reality: Constructing Virtual Worldsfrom Real Scenes, IEEE Multimedia, Immersive
Telepresence, Vol. 4, No. 1(1997), pp. 34–47.
[13] 三功浩嗣, 石川彰夫, 内藤整, 酒澤茂之: 被写体 3 次
元形状モデル投影型背景分離方式, 映像情報メディア学

会誌, Vol. 64, No. 11(2010), pp. 1685–1697.
[14] Koyama, T., Kitahara, I. and Ohta, Y.: Livemixed-reality 3D video in soccer stadium, in The
Second IEEE and ACM International Symposiumon Mixed and Augmented Reality, 2003, pp.178–
186.
[15] Iwase, S. and Saito, H.: Parallel tracking of allsoccer players by integrating detected positions in
multiple view images, in Pattern Recognition, 2004.
ICPR 2004. Proceedings of the 17th International
Conference on, Vol.4, 2004, pp.751–754.
[16] ISO/IEC/IEEE International Standard – Information technology – Ubiquitous green community
control network – Security, ISO/IEC/IEEE 18883
First Edition 2016-04-15, 2016, pp. 1–35.
[17] Information technology – Message Queuing
Telemetry Transport (MQTT) v3.1.1, 2016.
[18] 粕谷貴司, 近藤正芳, 茂手木直也, 松岡康友, 矢野雅,秋山貴紀, 境野哲, 貞田洋明, 堀越崇, 畠山英之: スマー
トシティのための MQTT プラットフォームの検証, 電子情報通信学会技術研究報告. ASN, 知的環境とセンサ
ネットワーク, Vol. 114, No. 65(2014), pp. 45–46.
[19] 金順暎, 仲地孝之, 江村暁, 藤井竜也, 羽田陽一: 4K
マルチ映像と 6 チャンネルエコーキャンセラを用いた超高臨場遠隔コラボレーションシステム，電子情報通信学
会技術研究報告. CQ, コミュニケーションクオリティ,
Vol. 112, No. 10(2012), pp. 87–92.
[20] 藤井竜也, 藤井哲郎, 小野定康, 白川千洋, 白井大介:
ディジタルシネマ劇場へのライブ配信 (ODS) 技術, 電子情報通信学会基礎・境界ソサイエティ Fundamentals
Review, Vol. 5, No. 1(2011), pp. 80–89.
[21] Hirata, K., Harada, Y., Takada, T., Aoyagi,
S., Shirai, Y., Yamashita, N., Kaji, K., Yamato,
J. and Nakazawa, K.: t-Room: Next Generation
Video Communication System, in IEEE GLOBECOM 2008–2008 IEEE Global Telecommunications
Conference, 2008, pp. 1–4.
[22] 平田圭二: 未来の電話を考える–遠隔コミュニケー
ションシステム t-Room (特集コミュニケーション環
境の未来に向けた研究最前線), NTT 技術ジャーナル,Vol. 19, No. 6(2007), pp. 10–12.
[23] Cruz-Neira, C., Sandin, D. J. and DeFanti,
T. A.: Surround-screen Projection-based Virtual
Reality: The Design and Implementation of the
CAVE, in Proceedings of the 20th Annual Conference on Computer Graphics and Interactive Techniques, SIGGRAPH ’93, New York, NY, USA,ACM, 1993, pp. 135–142.
[24] 廣瀬通孝, 小木哲朗, 石綿昌平, 山田俊郎: 多面型全天周ディスプレイ (CABIN) の開発とその特性評価, 電子情報通信学会論文誌. D-II, 情報・システム, II-情報処理, Vol. 81, No. 5(1998), pp. 888–896.
[25] 小木哲朗, 茅原拓朗, 加藤允文, 浅山宏, 廣瀬通孝: 没入型多面ディスプレイのためのインタラクティブ高臨場
感音場提示手法, 日本バーチャルリアリティ学会論文誌,
Vol. 8, No. 1(2003), pp. 75–83.
[26] 大久保洋幸, 大谷眞道, 小野一穂, 正岡顕一郎, 池沢龍, 小宮山摂, 浅山宏, 湯山一郎: CG 同期したインタラ

Vol. 34 No. 3 Aug. 2017
クティブ音場再生システムについて, 日本バーチャルリ
アリティ学会論文誌, Vol. 5, No. 3(2000), pp. 965–973.
[27] 大久保洋幸, 中山靖茂, 池永敏和, 小宮山摂: イン
タラクティブ 3D 映像音響再生システム, NHK 技研
R&D, Vol. (’04〔NHK〕技研公開 講演・研究発表 特集号 (1)), No. 86(2004), pp. 72–79.
[28] Ishii, H., Fletcher, H. R., Lee, J., Choo, S.,
Berzowska, J., Wisneski, C., Cano, C., Hernandez,
A. and Bulthaup, C.: musicBottles, in ACM SIGGRAPH 99 Conference Abstracts and Applications,
SIGGRAPH ’99, New York, NY, USA, ACM, 1999,
p. 174.
[29] Ishii, H., Mazalek, A. and Lee, J.: Bottles As a
Minimal Interface to Access Digital Information, in
CHI ’01 Extended Abstracts on Human Factors in
Computing Systems, CHI EA ’01, New York, NY,
USA, ACM, 2001, pp. 187–188.
[30] 米澤朋子, 安村通晃, 間瀬健二: Tangible sound: 流体を用いたインタラクションによる音表現とその拡張,
第 16 回 NICOGRAPH MULTIMEDIA 論文, 2000.
[31] Yonezawa, T. and Mase, K.: Tangible Sound:Musical Instrument Using Fluid Media, in International Computer Music Conference (ICMC), 2000,
pp. 551–554.
[32] 後藤真: 人文社会系大規模データベースへの Linked
Data の適用–推論による知識処理, 情報知識学会誌,
Vol. 25, No. 4(2015), pp. 291–298.
[33] Dickinson, M. E., Flenniken, A. M., Ji, X.,
Teboul, L., Wong, M. D., White, J. K., Meehan,
T. F., Weninger, W. J., Westerberg, H., Adissu, H.,
et al.: High-throughput discovery of novel developmental phenotypes, Nature, (2016).
[34] Raimond, Y., Abdallah, S. A., Sandler, M. B.
and Giasson, F.: The Music Ontology, in Proceedings of the International Conference on Music Information Retrieval, 2007, pp. pp. 417–422.
[35] 丹羽健太, 加古達也, 小林和則: 凹型反射板を用いた
相互情報量最大化型マイクロホンアレイ, 日本音響学会
秋季講演論文集, 2014, pp. 637–638.
[36] Niwa, K., Hioka, Y. and Kobayashi, K.: Postfilter design for speech enhancement in various noisy
environments, in 14th International Workshop on
Acoustic Signal Enhancement (IWAENC), 2014,
pp. 35–39.
[37] Ogawa, K.: Tangible sound : a tangible interface for object-based sound systems, Master’s thesis, KMD:Graduate School of Media Design, Keio
University, 2016.
[38] 小 川 景 子, 塚 田 学, 江 崎 浩, 砂 原 秀 樹: Tangible
Sound Object: オブジェクトベースの 音響システムのためのタンジブルインターフェース, マルチメディア，
分散，協調とモバイル (DICOMO2016) シンポジウム,
2016.
[39] Ikeda, M., Sone, T., Niwa, K., Saito, S.,
Tsukada, M. and Esaki, H.: New Recording Application for Software Defined Media, in Audio Engineering Society Convention Paper, 141st AES Convention, Los Angeles, USA, 2016.

57[40] 西堀佑, 多田幸生, 曽根卓朗: 遅延のある演奏系での遅延の認知に関する実験とその考察, 情報処理学会研究
報告音楽情報科学 (MUS), Vol. 2003, No. 127(2003),
pp. 37–42.

塚田学

2005 年慶應義塾大学環境情報学部卒
業．2007 年慶應義塾大学政策・メディア研究科修士取得．2007 年よりフランス・パリ国立高等鉱業学校 (Mines

ParisTech) ロボット工学センター博士課程在籍および，フランス国立情報学自動制御研究所 (INRIA) の

IMARA チームにて研究員として勤務．2011 年博士号取得．現在は，東京大学大学院情報理工学系研究科の特任助教．2014 年より WIDE プロジェクトのボードメンバーおよび SDM コンソーシアム・チェア．自動車の情報化など，次世代インターネット IPv6 における移動体通信，SDM に取り組む．
小川景子

2013 年慶應義塾大学経済学部卒業．
2016 年同大学大学院メディアデザイ
ン研究科修士課程修了．修士論文で研究科委員長表彰．グローバルイノ
ベーションデザイン (GID) プログラムにて，ロンド
ンのロイヤル・カレッジ・オブ・アート (RCA) とイ
ンペリアル・カレッジ・ロンドン (Imperial)，そしてニューヨークのプラット・インスティテュート (Pratt)へ留学．現在は，慶應義塾大学メディアデザイン研究
科研究員．
池田雅弘

1993 年京都大学工学部建築学科卒，95 年同大学大学院博士前期課程工学研究科建築学専攻修了，同年ヤマハ
株式会社入社．以降，同社の研究開
発部門・事業部門にて建築音響・空間音響・プラット
フォーム開発関連の研究開発に従事．日本音響学会，

AES，米国音響学会，各会員．

コンピュータソフトウェア

58
曽根卓朗

粕谷貴司

1982 年北海道大学工学部応用物理学

2005 年東京農工大学情報コミュニ科卒．1982 年日本楽器製造株式会社

ケーション工学科卒業．2007 年慶應(現ヤマハ株式会社) 入社．主に組込義塾大学大学院政策・メディア研究

みシステム向けソフトウェア開発と科修了．2008 年より竹中工務店入社．

研究開発業務に従事．業務用通信カラオケシステム，

ワークプレイスプロデュース本部を経て，2015 年よ

携帯着メロソフトウェアのシステム設計・開発等を担

り情報エンジニアリング本部．建物設備に対する情報

当．楽器・音響開発本部技術開発部所属．

エンジニアリングの業務や研究に従事．

丹羽健太

砂原秀樹

2006 年名大・工・電気電子情報工卒，

慶應義塾大学大学院メディアデザイ

2008 年同大大学院修士課程了，2014

ン研究科教授．1960 年兵庫県生まれ．

年同大大学院博士課程了，博士号 (情88 年慶應義塾大学理工学部博士課程

報科学) 取得．2008 年日本電信電話修了．電気通信大学情報工学科助手，(株) 入社．マイクロホンアレーを用いた収音処理の94 年奈良先端科学技術大学院大学情報科学センター助研究に従事．2010 年日本音響学会より粟屋潔学術奨教授を経て，2001 年から教授．2005 年情報科学研究

励賞受賞．日本音響学会，電子情報通信学会，IEEE科教授．2008 年 4 月より現職．1984 年から JUNET，各会員．

1988 年から WIDE プロジェクトを通じて，日本におけるインターネットの構築とその研究に従事．
齊藤翔一郎

2005 年東京大学工学部計数工学科卒

江崎

業．2007 年同大学大学院情報理工学

1987 年九州大学大学院・工・電子修

系研究科修士課程修了．同年 NTT

士課程了．同年 (株) 東芝入社．1990

サイバースペース研究所 (現 NTT メ

年米国ニュージャージ州ベルコア社．

ディアインテリジェンス研究所) 入社．エコーキャン

1994 年コロンビア大学・客員研究員．

セラ・マイクロホンアレイを中心とした音響技術の1998 年東京大学大型計算機センター・助教授．2001

研究開発に従事．日本音響学会，電子情報通信学会，

年同大学大学院・情報理工学系研究科・助教授．2015

IEEE 各会員．

年同大学大学院・同研究科・教授，現在に至る．博浩

士 (工学，東京大学)．MPLS-JAPAN 代表，IPv6 普及・高度化推進協議会専務理事，WIDE プロジェク
ト代表，JPNIC 副理事長．