第１部

特集1  Software Defined Media コンソーシアム2017 年活動報告書

第１部
特集1 Software Defined Media コンソーシアム
2017 年活動報告書
SDM WG メンバー

第１章

はじめに

例えば，音響においては，Dolby Atmos[2]やAuroMax[3]などの映画館やホームシアター，さらには個人向けモバ
イル機器を対象に，音のオブジェクトから三次元の音場

2020年の東京オリンピック・パラリンピックの開催に向を生成する立体音響システムが登場している．また，映けて，世界からの訪問者への高度なおもてなしを目指し像においては，複数の地点・角度から撮影された映像・動

た社会インフラのスマート化が急がれている．中でも，画から，撮影した空間に存在する三次元オブジェクトのオリンピックの理念である「スポーツを通して心身を向抽出が可能であり，抽出した三次元オブジェクト情報を上させ，さらには文化・国籍など様々な差異を超え，友情，

用いて，任意の視点(自由視点)からの映像の作成・再構築

連帯感，フェアプレーの精神をもって理解し合うことで，が可能となりつつある[4][5]．こうした流れに目を向け

平和でよりよい世界の実現に貢献する」という目標を支ると，今後はインターネットを介して収録環境と再生環援するため，地球規模での一体感を生み出すような視聴境を双方向で接続し，視聴オブジェクトを交換しながら，メディアに関する研究開発の重要性が高まっている[1]．

三次元表現を持つ情報空間をエッジヘビーコンピューそのためには，グローバルなインターネットを前提としティングまたはクラウドで計算処理することよって，映た映像・音響の視聴空間と視聴メディアの設計が必要で像音声が作り出されていくことになるであろう．

ある．
映像と音声のオブジェクト化が融合することで，従来の近年は，多くのスマートフォンに標準的に内蔵される収配布型コンテンツビジネスを超えた，新しい次元のイン録機器を常時持ち歩くことが増え，収録された映像音声

タラクティブなオリンピック・パラリンピックの視聴形の情報はインターネット上で瞬時に伝達・共有・加工さ態などこれまでにないビジネス領域や，これまでにないれる状況が出来上がった．さらには，収録対象から映像

ディジタルメディアを用いた表現方法などを開拓・開花

素子に入力されたビットマップ情報と，ステレオマイク

させることが期待される．例えば，音と映像をオブジェに入力された2チャネルの音声情報としてそのまま伝送クト化することで，スポーツ観戦者の要求に応じてリアし，受信側でそのまま再生するだけでなく，空間に存在

ルタイムに応援スタンド側からの視聴や，選手の一人称

する収録対象を三次元モデルとして解釈し複数の視聴オ視点からの視聴を切り替えることが可能になるだろう．

ブジェクトに分解して伝送し，受信側ではこれらのオブ

さらに，コンサートの視聴においては，複数の歌手の中ジェクトを用いて空間を再合成するオブジェクト指向のの一人や，演奏者のうちの一人をズームアップすると映方式が注目を集めている．これにより，ヘッドマウント

像に追従して音もズームアップするなどのインタラク

ディスプレイ（HMD），3Dテレビ，立体音響装置などのティブなコンテンツ制作が可能になる．

受信側のシステムの構成に合わせた柔軟な三次元表現が可能となるだけではく，他のコンテンツの視聴オブジェ

さらに映像・音声を作り出す空間に目を向ければ，例えクトを別途受信し組み合わせることで，今までにない表ば，劇場，ホームシアター，テレビ会議システム，講義室

現が可能になる．

など，様々な用途に対して専用に設計されたシステムが存在している．これらの映像・音響システムには，収音シ

8ステム，拡声システム，制作システム，BGMや館内放送

SDMとは，映像・音響システムのIPネットワーク化を背のためのシステムなどのサブシステムから構成されてい景に，これらの設備の機能に対して抽象化・仮想化を行る．こうしたサブシステム間で信号の伝送を行う場合はい，サービスとしての映像・音響を提供するための基盤

高精度同期と低遅延を求められるため，従来はアナログ的なアプローチである[6, 7, 8, 9]．これまでの研究で議線でシステム間を結ぶ必要があった．例えば，劇場では，論を進めた結果，SDM実現するSDMアーキテクチャを演劇，軽音楽，講演といった様々な演目に対応する必要

図1に定めた．

があり，各演目によって要求される演出が異なるため音
声信号の伝送路も必要に応じて組み替えるが，アナログ
パッチの差し替えや大規模なマトリクスなどによって組み換えを実現しているため，処理が複雑になり，また事前の設定通りに組み替えるため，柔軟性に欠けていた．
しかし現在では，IPを利用した1Gbps環境等の大容量通信環境の一般化により，各サブシステム間をIPによりネットワーク化することが可能となった．これにより，映像音声の入力から制作，出力までの伝送路の組み換えを一貫してソフトウェアによって制御するシステムの実現が期待される．ソフトウェアによって定義された演出を，目的に応じて柔軟に変更することが可能になれば，一つのシステムを講演会，遠隔会議，音楽イベント，映図1 SDMアーキテクチャ

画や放送の上映など様々なアプリケーション向けに最適

SDMは図1左に示すように，視聴空間（実空間）に存在す

化し活用することも容易になる．例えば，アプリケーショ

る収録対象を三次元モデルとして解釈し，複数の視聴オンを載せ換えることで，映画館を遠隔音楽教室として利ブジェクトに分解して情報空間に取り込み，視聴オブ用するなどのユースケースが考えられる．演出者の意図

ジェクトの交換など様々な計算処理を行って，その結果を汲み，柔軟に視聴空間をソフトウェア制御するためにを自在に視聴空間に投影することで視聴空間の再合成

は，映像・音声の設備機能を抽象化して管理し，演出にを行う仕組みである．上記の視聴空間と情報空間をつな関する意思決定を行うアプリケーションと実際の映像・ぐ処理を行うSDMの基本単位をSDM拠点と呼ぶ．また，音響の入出力を行うデバイスを引き離して（decoupling）

SDM拠点のシステムは，図1右に示す通り，設備層，サー扱うべきである．その際，実際の入出力デバイスを仮想

ビス層，アプリケーション層に分けられる．

化し，複数のアプリケーションから同時並列に利用可能にする．また，視聴空間のソフトウェア制御は，同じく設備層には，収録する空間に存在する映像音声の収録対IPネットワークの一般化により生まれた照明や空調など

象を三次元的に解釈しオブジェクト化するためのセンをソフトウェア制御するスマートビルディングの技術とサ，カメラ，マイクなどの設備と，再生空間において視の親和性を持ったシステムであることが望ましい．オブ

聴オブジェクトから三次元の映像音声を作り出すためのジェクト指向のディジタルメディアと，ネイティブ・ディ

スピーカ，HMD，ディスプレイなどの設備がある．設備

ジタルなインターネット環境が前提の映像・音響空間を例はこれに限らず，これから登場する革新的デバイスの用いたビジネス創造を目指し，2014年1月にSoftware

機能も取り込めるよう設備層の差異を吸収できる形で，

1

Defined Media (SDM)コンソーシアム を設立した．

上位のサービス層を設計する．また，SDM拠点は収録専
用・再生専用の空間だけでなく，収録環境と再生環境は＊1

http://sdm.wide.ad.jp/9同一の実空間上に配置される可能性も想定して設計すというコンセプトをもとに開発した「LiVRation」についる．

て述べる．5章では，三次元映像音声メディアの素材デー
タの管理のために策定・開発したSDM Ontologyについて

サービス層は，設備層の設備機能を抽象化しアプリケー

報告する．6章では，2017年07月20日に東京大学で開シ ョ ン に 対 し てApplication Programming Interface

催されたSDMワークショップの詳細を述べる．7章にて（API）を通じてサービスとして提供するための層であまとめを行い，今後の課題について述べる．

る．視聴オブジェクトと管理するための基礎となる空間
三次元モデルと地図を定義し，位置測位，音声オブジェ
クト化，映像オブジェクト化，立体映像再生などのサー第２章

三次元映像音声メディアのデータ収録

ビスを提供する．APIは開発者が創造的なアプリケー
ションを実現できるよう柔軟かつ拡張性を持つ．

2.1

Musilogue Bandジャズセッションの収録(2017)2017年1月26日に六本木ミッドタウン内にあるBillboard
アプリケーション層は，APIを通じてSDMサービスを利Live TokyoでMusilogue Bandのコンサートを収録した．

用する任意のアプリケーションが動作する層である．こBillboard Live Tokyoのフロアは3層あり，3階・4階に位の層にローカルレンダラと呼ぶアプリケーションがあ

置するテーブル席，ソファ席，主に5階に位置するカジュ

り，インターネット上に存在するリアルタイムとアーカ

アルな席を合わせて，300人の観客を収容できる．リハー

イブのコンテンツを取得してSDMサービスと組み合わ

サル中に録音した映像，音声のコンテンツを格納し，3せてSDM拠点の視聴空間に対して視聴者の要望に合わ章で報告するSDM3602のコンテンツを完成させ，収録かせた映像音声を作り出す．レンダリングの機能は，ローら約4時間後にはLive Music Hackasongでの最終発表を

カルだけではなく既存の放送システムやインターネット

行った．図2に，バンドの編成，360度カメラの設置場所，経由で取得したコンテンツを共同編集するなどの機能をマイクの設置場所を示す．

持つパブリックレンダラにより前処理される．また，ア
プリケーション層に定義されるメディアエンコーダによバンド編成は，藤原佑介，藤谷一郎，金子巧と3人のアー

りSDM拠点を，他のSDM拠点からは放送局として機能さ

チ ス ト に よ る，Drums，Electric Bass，Keyboardの3種せる．SDM拠点からの放送はリアルタイムに他のSDMの楽器演奏である．会場のリスナーへの表現手法として拠点に転送されるだけでなく，視聴オブジェクトの蓄積・は全ての楽器にマイク或いは電気信号を増幅する機材に管理などのコンテンツ管理を行う．SDMでは，放送局か接続し，Sound Reinforcement（SR）
用ミキシングコンソー

ら送信されるリアルタイムとアーカイブのコンテンツにルで調整されたのちに大規模なスピーカで再生される．

対し，標準化されたメタデータや，タグを付与すること

音圧レベルは場所にもよるがおおよそ100dBsplとなる．

で，ソフトウェアによって柔軟なコンテンツ管理や，状況に応じたコンテンツ選択を制御する．メディアデータ
とコンテンツ情報，位置情報などのメタデータを持つ視聴オブジェクトを基本単位として扱う．
本 論 文 で は，SDMの 実 現 の た め に コ ン ソ ー シ ア ム で行 っ て き た研究について報告する．2章 で は2017年，2018年にSDMコンソーシアムで行なった収録について報告する．3章では，収録データを利用した，自由視聴
点インタラクティブ三次元映像音声アプリケーション「360Square」（昨年報告書で報告）の主観評価の結果を報告する．4章では，「LiveでVibrationを伝えるVR配信」

10

図2 ビルボードライブ収録(2017)のカメラとマイクの配置

舞台内のマイク構成については楽器単体の他にAudience

ライブの構成は，ボーカルにシンガーソングライターのマイクを4本設置する．音源より近いポジションとして「仮谷せいら」で，バックバンドにドラムを担当する松浦

ステージ袖の上手，下手に1本ずつ，もう2本は天井からと，キーボード，バスを担当する川原という構成でであっ無指向性のマイクDPA4090を2本つりさげての構成とした．会場のリスナーへの表現手法としては全ての楽器にた．音源より近いマイクはステージの角の位置，高さ1m

マイク或いは電気信号を増幅する機材に接続し，Soundくらいの所に設置する．音源より遠いマイクについてはReinforcement（SR）用ミキシングコンソールで調整されステージから奥に5m，高さ5mのところにセンターを中たのちに大規模なスピーカで再生される．音圧レベルは心に約1mの幅で2 本設置した．

場所にもよるがおおよそ100dBsplとなる．

音声は全てSR用ミキシングコンソールに纏められおり，コンソールのHead Amp分岐をデジタルでDAWに転送するシステムとなっている．録音される音量レベルは全てミキシングコンソールの設定に依存する為，後に整音作業が必須となる．
録 音 し た デ ー タ を 編 集 用 のDAWに てDrumsMix，BassMix，KeyboardMixそれぞれ楽器ごとの単体で纏め上げた音源に編集し，さらに観客席の左奥，右奥，左手前，
右手前のアンビエンスMixを編集した．
さらに，映像データを収録するにあたりリコー社製品の図3 ビルボードライブ収録(2018)のカメラとマイクの配置

全天球カメラ「Ricoh Theta S」を，図2に示す場所に，8台配置した．ステージと同じ階である3階には，ステージ目

舞台内のマイク構成については楽器単体の他にAudienceの前，ステージから見て右手，観客席右手，観客席左手にマイクを4本設置する．音源より近いポジションとして4つ配置した．4階の観客席はステージを取り巻くように

ステージ袖の上手，下手に1本ずつ，もう2本は天井からコの字型になっており，ステージから見て最端右手，右

無指向性のマイクDPA4090を2本つりさげての構成とし

手，左手に3つ配置した．5階に設置したRicoh Theta Sはた．音源より近いマイクはステージの角の位置，高さ1m

全景を見渡せるよう，中央に配置した．

くらいの所に設置する．音源より遠いマイクについてはステージから奥に5m，高さ5mのところにセンターを中これらの7つの音源と，8つの映像をデータ素材として，心に約1mの幅で2 本設置した．

2

SDM360 アプリケーションで利用する．
音声は全てSR用ミキシングコンソールに纏められおり，
2.2

仮谷せいらの収録(2018)コンソールのHead Amp分岐をデジタルでDAWに転送す2018年1月30日にBillboard Live Tokyoで仮谷せいらのるシステムとなっている．録音される音量レベルは全てコンサートを収録した．リハーサル中に録音した映像，

ミキシングコンソールの設定に依存する為，後に整音作

音声のコンテンツを格納し，4章で報告するLiVRation

業が必須となる．

のコンテンツを完成させ，収録から約4時間後にはLive
Music Hackasongでの最終発表を行った．

録 音 し た デ ー タ を 編 集 用 のDAWに てVocalMix，
DrumsMix，BassMix，KeyboardMixそれぞれボーカルと図3に，バンドの編成，360度カメラの設置場所，マイク

楽器ごとの単体で纏め上げた音源に編集し，さらに観客の設置場所を示す．

席の左奥，右奥，左手前，右手前のアンビエンスMixを編

11

集した．

これは，収録会場の3Dモデルを作成し，位置情報に基づいてパートごとの音源や映像を配置することで，自由聴映像を収録する360度カメラは，「Insta 360 Pro」1台，点と複数視点のインタラクティブな切り替えを可能にし「Garmin VIRB 360」4台，「Ricoh Theta V」2台を利用したアプリケーションである．実際の動作画面は図4のよた．全てのカメラで3840 x1920@30fps(4K)での撮影をうになる．ユーザは，観客席の複数の箇所からの視点を行った．Insta 360 Proは，6枚のF2.4魚眼レンズを備え切り替えて観ることができ，また舞台上の音源は自由にたハイエンド360度カメラであり，ライブ会場の全景を有効化・無効化することが可能である．

撮影するため，5階席に設置した．Garmin VIRB 360は，2枚のレンズを備えた360度カメラであり，設置場所は，

本節では，新たに行った，SDM3602の主観評価に関して

ハッカソンの審査員席に利用された4階正面，ボーカルの報告を行う．

真前，ドラムの真前，ステージ右横の4カ所を選択した．
Ricoh Theta Vは，2枚のレンズを備えた360度カメラで3.1あり，もっとも軽いため，ライブ会場の天井に吊ってあ

主観評価では，被験者がSDM3602を利用することで，イるバトンに1台設置した．また，もう一台を4階席右手にンタラクティブな3次元コンテンツの視聴体験を得られ設置し撮影を行った．

たか確認することを目的に，アンケート調査を行なった．

実験方法

アンケートを利用し，ソフトウェアで演出された3次元
収録した音声、動画は4章で述べるLiVRationにて素材の映像音声から立体感を得られたか，映像と音声の追従データとして利用する。

性は十分だったか，インタラクティブ性は十分だったか，
今回取り入れた拡張的な演出（特定の音声を有効・無効化

第３章

SDM3602の研究開発と主観評価できる機能，音声可視化機能）が意図していた通りに受け取られていたか，を調査した．

現在，音楽イベントのDVDなどのパッケージメディア

アンケート調査は，2017年11月3日，4日に2日間にわは，マイクやカメラなどの収録機材の位置によって大きたって開催されたKMDフォーラムにてデモンストレー

く制約を受けるコンテンツである．こうした課題を解決

ション展示を行った際，来場者がSDM3602を体験したするため，本研究では，クラシックコンサートとジャズ

後，アンケートに回答してもらうことで行った．展示は，セッションのイベントを収録し，インタラクティブに自SDM3602 を イ ン ス ト ー ル し た タ ブ レ ッ ト（Apple iPad

由視聴点での三次元映像音声を再生するアプリケーショ

Pro 10.5 (2017)）に，ヘッドホン（Sony WH-1000XM2）

2

ン「SDM360 (SDM360スクエア)」を設計，実装した[10]．

を有線接続する構成で，それぞれ３台用意して行った．
来場者に対し，SDM3602のボタンUIやタッチ操作に対する利用の仕方を説明し，実際にやって見せた上で，体験者に自由に操作させ，体験者の意思で止めるまで一つのiPodを占有して視聴してもらった．その後，アンケー
トへ回答をお願いすることでデータを取得した．
3.2

被験者

評価実験はKMDフォーラム2017の来場者からSDM3602を体験した被験者で，男性55人，女性34人，無回答6名の合計95人で行なった．また，年齢構成は，10代が5人，2

図4 SDM360 のスクリーンショット

12

20代が46人，30代が23人，40代が11人，50代・60代

がそれぞれ4人ずつ，無回答2人という内訳であった．さ

楽器の音色を聞くことができましたか？（1：個別にらに社会人が44人，学生が36人，教員が8人であった．

聞くことができなかった，4：個別に聞けた，7：自由に楽器を選んで聞くことができた）

3.3

アンケートの質問項目

アンケート項目は，以下に示す設問Q1からQ7までの7つ設問Q1とQ2は映像と音声の基本的な立体感を問う設問

を，それぞれ1から7までの7段階のリッカート尺度を用である．設問Q3とQ4は映像と音声の組み合わせが正しいて設定した．それぞれの回答に関して，最低の1，中間

く一致しているように知覚されるかを問う設問である．

の4，最高の7の回答の目安を括弧内に記載した．

設問Q3では静止時の音声の聞こえる方角と位置を問い，
Q4では動いた時の映像と音声の追従性についての問い

Q1 映像の立体感は感じられましたか？（1：まったく感を設定した．また，設問Q5とQ6はタブレットのタッチ

じられない，4：感じられる，7：とても感じられる）動作によるインタラクティブな視聴に関する問いであQ2 音声の立体感は感じられましたか？（1：まったく感り，Q5は全般的な操作の容易さについての問いで，Q6

じられない，4：感じられる，7：とても感じられる）

では音声オブジェクトの可視化および操作についての問

Q3 音声は映像の方角と比べて正しい位置で鳴っているいを設定した．設問Q7は音声オブジェクトに分解された

ように聞こえましたか？（1：まったく聞こえない，4：

オーケストラの個別の楽器の音色が聞けたかを問う．

違和感に気づくが許せる，7：聞こえる）
Q4 映像が動いた時，音声も追従して動いたと感じられ

さらに，アンケートの末尾には，「感想・要望・その他」とましたか？（1：まったく追従していない，4：違和感

いう自由記載項目を用意して，視聴体験のコメントを得に気づくが許せる，7：追従している）

た．

Q5 インタラクティブな視聴体験の操作は簡単にできましたか？（1：操作性が悪い，4：操作によりインタラ

3.4

クティブな視聴体験ができた，7：思い通り操作して結果は図5に示す通りである．グラフはリッカート尺度

視聴できた）のグラフデザインの助言[11]にしたがって作成した．X

主観評価結果Q6 音量可視化による音声オブジェクトの有効化・無効化

軸は1から7までの7段階の回答の比率をパーセントで表は直感的でしたか？（1：説明を聞いても理解できな

し，棒グラフの位置は，尺度の中間である4をX軸の0のい，4：説明を聞くと違和感無く理解できる，7：直感

中央に配置し，左に行くほど低評価，右に行くほど高評的で理解できる）

価という配置で描画した．また，Y軸は各設問を表示し，Q7 音声オブジェクトを有効化・無効化することで個別のそれぞれの回答には有効回答数を記載した．

図5 アンケートの回答比率

13

映像の立体感に関する設問Q1では，（4：感じられる）以なかった．タブレットを左右に動かすことで楽器の音が上の評価とした被験者は，86%以上であり，良好な結果

聞こえる方角が変わり，左右の耳に到達する音の音量と，が得られた．通常モードでの映像は，コンサートホール

遅延の差から方向感が割り出せるため，音の追従を認知の立体モデルの中を自由に移動できるため立体感が感じすることができやすいためだと思われる．また，その他られたと考えられる．また，位置固定モードでは，360の欄では，連続的に回転しながら音を聞くのが楽しかっ

度動画を球体の内側に貼り付けて表示することで再生したとのコメントを得た．

ているため，厳密には立体ではないが，ジャイロで任意の方向を見回すことができるため，立体感が感じられた

インタラクティブな視聴体験の操作に関する設問Q5でと考えられる．

は，（4：操作によりインタラクティブな視聴体験ができた）以上の評価を行った者は88%以上を占め，良好な結音声の立体感に関する設問Q2では，（4：感じられる）以果を得た．しかし，（1:操作性が悪い）という評価をした

上の評価とした被験者は，約97%であり，映像の立体感

被験者はいなかったが，2と評価した者が約1%，3が約

Q1と比較しても，非常に良好な結果が得られた．その10%となり，（4：操作によりインタラクティブな視聴体

他のコメントの中で，音声の立体感はコンピュータグラ

験ができた）に満たない評価をしたものが10%以上いた．

フィックスと合わせた時のほうが，360度動画と合わせその場での聞き取りで，ジャイロを利用して視点を移動た時より感じられたという感想があった．

している最中に音声オブジェクトのタッチ動作を行うと，画面上でオブジェクトが動くため，タッチ動作では映像と音声の位置の一致に関する設問Q3では，（4：違和

なくドラッグ動作として判定されてしまう場合が見つ感に気づくが許せる）以上の評価とした被験者は94%以

かった．この場合に音声オブジェクトの有効化・無効化上であり，良好な結果が得られた．
（4：違和感に気づく

できず，視点移動など意図しない動作をしてしまうことが許せる）と回答した被験者は約20%であったが，違和が確認され，操作に対する低評価の要因となった．

感の原因と考えられるのは，楽器ごとの音源の分離が不十分であったためだと考えられる．アコースティックの音声オブジェクト操作の直感性への設問Q6では，尺度1

楽器では，完全な音源分離は難しく，音源にもっとも最と2と回答した被験者はおらず，（4:説明を聞くと違和感も近いマイクにはその音源の音が最も強く入るが他の音無く理解できる）以上の回答が91%を占めた．音量可視も混ざってしまう．そのため，かすかな他の音が本来の化では，有効化されているときは回転し，無効化すると方向では無い場所から聞こえてくるため，楽器の音の方

止まる立体を表示しており，さらに音量によって変化す

向が曖昧になってしまうことが考えられる．コメントでる白い輪を付与していたので，音声オブジェクトの状態

は，「どれがどのパートなのか素人にはわかりづらい」とが直感的に理解できたものと思われる．

の指摘があった．映像に映っている楽器から，どのような音色が鳴るのか推定するのは，難しい可能性がある．

個別の楽器の音色を聞くことができたかという設問Q7

被験者からは，アイコンを楽器ごとに変えるという助言

では，約93%が（４：個別に聞けた）以上の評価を行い，良を得たが，対応は今後の課題である．その他のコメント

好な結果を得た．その他のコメントでは，全ての音を一では，「左右の音源定位は左右はわかるが前後は分かり旦無効化してから，聞きたい楽器パートの音声オブジェ

にくかった」というものがあったが，耳が左右について

クトだけ有効化するとそのパートの音が特によく分かる

いる特性上，前後の音は両耳に同じ音量で届いてしまうというものがあった．また，特定の音だけ聞くという体ため分かりにくいという，音源定位の特徴が確認できた．

験は普段は難しいので，音声オブジェクトに分解してソフトウェアで再生するというコンセプトの利点がよく分

映像と音声の追従を問う設問Q4では，（4：違和感に気づかるというコメントがあった．

くが許せる）以上の評価とした被験者は約98%であり，92人の被験者の中で，尺度1または2と回答した者はい

14

主観評価によって，ソフトウェア制御の映像音声で立体感が得られたか，映像と音声の追従性は十分か，インタ本システムは，(1)配信サーバであるWOWZAに配置した

ラクティブに視聴できたか，拡張演出が意図通り受け取

全球映像，ハイレゾ音源を受信してVRコンテンツとしてられたかを評価した．7つの設問のうち，5つの設問でリアルタイムレンダリングするレンダリングモジュール

2は90%以上の被験者が，SDM360 の設計意図通りに視と，(2)SDMオントロジーを実装したSPARQL endpoint

聴できたことを示す4以上の回答を得た．またその他の2と連携することで，コンテンツ内のSDMオブジェクトのつの設問でも80%以上の被験者が，4以上の回答を行っ

初期化を行うSDMモジュール，(3)Twitterやデータベー2た．これにより，概ね良好にSDM360 の設計意図通りにスからコンテンツに対するメッセージを取得し，コンテ

3Dコンテンツのインタラクティブ視聴が行えることがンツ内に３D弾幕として表示する３D弾幕モジュールか確認できた．

らなる．

第4章

LiVRation（ライブレーション）の研究開発

4.1

レンダリングモジュール

2.2節 で 述 べ た 仮 谷 せ い ら の ラ イ ブ 収 録 ソ ー ス をWOWZA上に配置することでMPEG DASHでの配信環境

SDMのためのアプリケーションとして，LiVRationを開を構築している．音声ソースは，先に述べたMPEG-4ALS

発した．本アプリは「LiveでVibrationを伝えるVR配信」とコーデックを利用することでハイレゾ音声として配信しいうコンセプトをもとに開発されており，SIP協議会がているが，それらに対応した配信サーバは現状WOWZA

主催しているハッカソンイベントである「Billboard LIVEのみとなっている．配信サーバからのストリーミング配MUSIC HACKASONG 2017」のために作成された．同イ

信を受けたUnityのアプリケーションは，レンダリング

ベントは昨年度（2016年度）も開催されており，その際モジュールによってそれらを三次元空間上に配置する．

2に開発したSDM360 の後継アプリケーションといえる．

アプリケーションのスナップショットを図7に示す．

2

SDM360 では再生環境としてiPadなどが想定されていたが，LiVRationではHMD（ヘッドマウントディスプレイ）とVR（Virtual Reality)による没入環境で立体音響環
境を体験することができる．また，NTT西日本社より提供されたロスレス配信技術（MPEG-4ALSコーデック）を使ってハイレゾ音声のストリーミング再生を実現している．なお，VR特有のエフェクトや操作については，メンバーであるアルファコード社に協力いただいた．
図6にシステムの構成を示す．

図7 LiVRationのスクリーンショット

上図では，全球映像とハイレゾ音声をリアルタイム再生
しつつ，配置された音声オブジェクト（SDMオブジェクト）の音量をVIVEのコントローラで操作している．SDM
オブジェクトからは，それぞれの音声ソースに合わせて動く演出が加えられている．操作者はVIVEコントローラ
による直感的な操作で，それらを好みの音量に合わせたり，興味のある音声のみを再生することができる．また，
SDM3602と同様に全球映像は３次元空間上に配置されているため，好みの視聴ポイントにて再生することが可
図6 LiVRationのシステム構成

能である．

15

なお，MPEG-4ALSコーデックについては，Unity内部に
VLC MediaPlayerを使ってデコードを行っている．それらの再生については，AVPro VideoやStream VRといったUnityライブラリを用いた．
4.2

SDMモジュール

SDMオブジェクトのメタデータ（音源，演奏者，位置情報など）は，クラウド上に構築されたSPARQL endpointであるGraphDBから，サービス層にNodeREDによって構築

図8 LiVRationのスクリーンショット

されたプラットフォームを介して，HTTP経由で取得される．アプリケーションの初期化時にそれらのメタデー

でレンダリングを行う構成のViveが再生に適している．

タを取得し，レンダリングモジュールに渡す実装となっ表1に利用したワークステーションのスペックを示す．

ている．現状では静的なデータとなっているが，将来的

表1 ワークステーションのスペックにはアーティストの動きに合わせて音源が動くなどの演出も考えられる．それらは後述のSDMオントロジーの拡充によって実現することを予定している．
4.3

３D弾幕モジュール

Twitter等のソーシャルメディアから取得したライブに関するコメントなど，３Dコンテンツ上に表示するためのモジュールで，Twitterからのタグ付きコメントをリ
アルタイムで取得するだけでなく，時系列データベース（Elasticsearch）上に蓄積されたコメントも楽曲のタ
イムラインに合わせて取得することができる．これらの情報もサービス層のプラットフォームを介してHTTP（websocket）で 取 得 す る 実 装 と な っ て い る．プ ラ ッ ト
フォームでは，特定のハッシュタグや文字列を指定することでLiVRationに送られるメッセージを制御すること

4.4

評価についてができる．以下に３D弾幕モジュールが表示されたスク

定量的なアプリケーション評価は今後の課題であるが，リーンショットを示す．取得したメッセージだけでなく，

Billboard LIVE MUSIC HACKASONG 2017に お い て は，Twitterから取得したプロフィールイメージなども表示

審査員による最優秀賞，および観客の投票数で決まる会

することができる．

場賞をダブル受賞した（図9と図10）．この様子は，Line
Liveによってライブ中継され，3600人以上が視聴した2．

再生環境のHMDとしては，HTC Viveを利用している．

さらに，その後，様々なメディアで記事が発表された3 4 5．

Windows Mixed Realityに対応したHMDでの再生も可能

審査員のコメントとしては，「完成度が高い」「すぐにでであるが，高解像度の全球映像を取り込んで再生を行うも使いたい」などのコメントがあった．今回の受賞によっシステムであるため，高スペックのワークステーションて，ビジネス的なポテンシャルについても確認すること

＊2
＊3
＊4
＊5

16

https://live.line.me/channels/432/broadcast/7071676
https://www.musicman-net.com/business/73147
http://realsound.jp/2018/02/post-155367.html

http://www.billboard-japan.com/d_news/detail/59725

ができたと考えている．今後はビジネス展開も視野に入困難である．また，アプリケーションの作成のためにはれて活動を続けていきたい．

それぞれのデータを関連づける必要があり，既存のデータ構造では不十分である．図11に示すように，適切なデータ構造を考案しアプリケーションの作成に有用な形式で公開することで，SDMのデータを用いた新しい表現の創出が促進される．

図9 Billboard Live Hackathong2017での受賞の様子

図11 構造化されたデータの必要性
本研究では，まずSDMのデータを適切に表現するための構造を提案・実装する．続いて，その構造によって記述したSDM保有のデータを，様々なアプリケーションから利図10 Billboard Live Hackathong2017での用可能な形式でweb上に公開する．最後に，実際にアプ受賞後の様子リケーションから利用することで，SDMのデータの利用可能性を示す．

第5章

三次元映像音声メディアのオープンデータ化

また，本研究で提案する構造は現在SDMが保有しているデータを表現するのに適したものであるが，拡張が容易

SDMコンソーシアムでは，データを記録・再現するためな形式にすることで，今後新しい記録デバイスの登場やのシステムを構築するだけでなく，実際にライブやコ収録形態の変化が起きた際に対応できると考えられる．

ンサートのデータを記録し，そのデータを用いてアプリ

本研究の要求事項をまとめた検討は，[12]にて発表した．

ケーションを作成するといった活動も行なっている．こうして記録されたデータはSDMコンソーシアム内にお5.1

いてのみ利用されるのではなく，インターネット上で公SDMでは，2016年01月10日，慶應義塾大学日吉キャン

開して外部からも利用されることが望ましい．外部のパス内に建つ，509席の席数を有する藤原記念ホールにユーザが使用することにより，データの利用可能性や表て開催された，慶應義塾大学コレギウムムジクム古楽ア

現の幅が広がると考えられる．

カデミーのコンサートを収録した．収録対象は，17世紀

SDMとその課題点のドイツ宮廷音楽であるヨハン・フリードリヒ・ファッ
SDMが保有するデータは，収録対象の位置情報や音声，

シュの「管弦楽組曲ト長調FaWV K:G2」など，最大24名

収録環境のメタデータといったものから，収録プロセスの演奏家による全てアコースティックの演奏である．楽の詳細や記録されたメディアまでを含んでおり，整理が器には，テオルボ，チェンバロ，バロック・ヴァイオリン，17バロック・オーボエ，ヴィオラ・ダ・ガンバなどの，現代で5.1.3 課題は珍しい楽器が含まれており，楽器ごとの演奏と各楽器

SDMでは，対象の映像や音だけでなく，位置情報や向き，の合わさった音を分離して収録した[13]．

演奏された曲目や会場の情報，収録プロセスといった情報も記録するため，相互に関連するが粒度がバラバラな

こうして記録したデータには，楽器そのものの音だけでデータを扱うことになる．そこで，SDMが想定しているはなく周囲の環境音や残響音が含まれている．SDMでユースケースを実現するために，データを構造化し相互は，このデータから楽器単体の音を抽出してバーチャルにも外部にも連携可能とする必要がある．

空間上に配置することで，会場における音の聴こえ方を再現することを試みている．

5.1.4 要求事項の整理
そこで，多数のデバイスを用いて記録した視聴空間の
2

SDMでは3章にて報告したSDM360 以外にも以下のようデータを管理する，SDMのデータ形式の要求事項としてなユースケースを考えている．

以下の4つに整理した．

・ スポーツ観戦やコンサート鑑賞において，ユーザの

1. 3 次元映像音声メディアを管理出来ること

要求に応じて特定の選手や演奏者にズームアップしたり，スタンド・客席の自由な視点から鑑賞できるアプリ．

2. ユーザが求める表現のレベルに応じてデータが取得できること
3. アプリケーションに非依存な形式で保存されている

・ バーチャル空間上で演出を付加し，現実空間にフィードバックすることによる拡張演出

こと
4. 新しいコンテンツの登場時に対応できる拡張性を持・ 複数コンテンツの自動ミキシング

つこと

しかし上記のようなアプリケーションは，現在は容易に
2

1つ目は，3次元映像音声メディアを管理するのに特化作ることが出来ない．実際にSDM360 の作成にあたってした形式で保存するということである．SDMで記録する

は，デバイスと楽器の位置情報を元に音声・映像データ

データは収録対象の位置情報などにとどまらず，収録機を手動で配置したため，実装の工数が多くなってしまっ

材やそこから生成されるメディアの情報なども含んでいた．データを構造化し，データベースとやり取りする際る．このようなSDMに特有の情報を記述できる形式で保の標準フォーマットを決定することで，作業が自動化さ存する必要がある．

れ効率的なアプリケーションの作成が可能になり，また外部のアプリケーションやデータとの連携も容易になる

2つ目は，目的に応じて柔軟にデータの取得が可能というと考えられる．

ことである．SDMが保有するデータには「イベント名」のような単純な情報から「録音に使用した5番目のマイクの5.1.1 SDMの課題と要求事項

位置座標」のような細かい情報まで含まれている．データ
ベースは，ユースケースごとに異なるユーザのニーズに

5.1.2 想定する環境応えられるよう，全ての情報に対して柔軟にアクセス可

SDMでは，複数の記録デバイスによる分散収録環境を能である必要がある．

想定している．例えば，イベントの参加者が各々自分のスマートフォンで記録したデータを統合して利用する

3つ目は，様々なアプリ開発に利用可能な形式で保存するといったケースである．収録する人とアプリケーションということである．SDMデータを用いたアプリには，ユーの作成者が異なる環境を想定することで，データ収録とザとインタラクティブな挙動を示すアプリや，パッケー

データ利用の範囲を広げることを意図している．

ジメディアのミキシング，半自動ミキシングなどが考えられる．可能な限り多様なアプリでもデータを利用でき

18

るよう，特定の用途に特化することなく汎用的な形式でするデータの形式を5段階で評価したものであり，1段階

保存することが必要となる．

目から3段階目までは次のような形式での公開を表している．

4つ目は，特定のコンテンツに縛られない拡張性を持った構造であるということである．現在SDMコンソーシアムが注力している分野はコンサートやライブといった音楽

1. pdfやjpgでの公開：文章データをjpgで公開するといっ
た，自動処理が困難である形式での公開

関係のイベントであるが，イベントの内容によって柔軟

2. xlsやdocでの公開：特定のアプリケーション以外ではに拡張・格納が可能なデータ構造であることが望ましい．

前処理なしに扱うことのできない形式での公開
3. csvやtsvでの公開：データ解析において一般的に用い本研究では3次元映像音声メディアのデータを構造化すられている形式での公開

る た め にResource Description Framework(RDF)に よ る
記述を行い，オープンデータとしてアクセス可能にする

こ の 指 標 の4段 階 目 で はRDF(Resource Description

た め にLinked Open Data(LOD)の 作 成 を 行 う．そ の 際，

Framework)[15]という形式を推奨している．これによっ

SDMのLODを作成するために必要な語彙として，SDMて記述されたデータはURIによって参照可能であり，機械

Ontologyを作成し，データの定義を行う．SDM Ontology

による自動処理に適している．このRDFが外部と連携しの構築において，上記の要求事項を満たすよう設計する．

たものはLOD(Linked Open Data)と呼ばれ，5 Star Open
Dataの最高レベルである5段階目となっている．LODの

5.2

関連研究

5.2.1 5 Star Open Data

形式でデータを公開することでweb上のデータ同士がリンクしあい，オープンデータの利用が推進される．

インターネットが普及した現代において，web上に存在する無数のデータが検索によって容易に手に入るように

5.2.2 5 RDF

なった．また，自分の持つデータを世界中の人々とシェ

Resource Description Framework(RDF)はメタデータ記述アするために，オープンデータとしてインターネット上のための枠組みである．Tripleと呼ばれる，主語(Subject)・に公開することも可能となった．こうした状況において述語(Predicate)・目的語(Object)の3つによってリソース

オープンデータを広く利用してもらうには，誰もが容易間の関係を表現する．リソースの識別子にURIを用いるに利用できる形式，または機械が自動的に処理可能な形

ことで，web上に存在するリソースを参照することがで式で公開することが望ましい．

きる．

データの公開方式の評価方法として，World Wide Web

また，リソース間の関係を表す語彙やリソースの種類(クの 考 案 者 で あ るTimothy Berners-Leeは5 Star Openラス)を表す語彙などはRDF Vocabulary(RDF scheme)とData[14]というものを提案している(図12)．これは，公開呼ばれる．自分の所有するデータをRDFで記述する場合，データを表現するのに適切なRDF Vocabularyを用いて記述することとなる．RDFによって記述され，情報探索が可能な形式で公開されたデータベースをTriple storeという．
5.2.2 5 LOD
RDFによって記述されたデータが外部と参照し合う場
合，Linked Open Data(LOD)と呼ばれる．LODに関して，

図12 5 Star Open Data: A rating system for以下の4つの守るべきルールが定められている．[16]open data developed by Timothy Berners-Lee

19

1. Use URIs as names for things.

には多数のLODが登録されているように見えるが，世界

2. Use HTTP URIs so that people can look up those

規模で考えると少ないといえる．具体的には，2013年

names.

10月時点の日本のLODは図14に示されている通り，非常

3. When someone looks up a URI, provide usefulに少ないと言える6．

information, using the standards(RDF, SPARQL)
4. Include links to other URIs, so that they can discover
more things.

5.3

SDM Ontology

本 研 究 の ア プ ロ ー チ と し て，ま ずSDMが 保 有 し て い
る デ ー タ をLODに 変 換 す る た め に，SDM用 のRDF

以上のルールを満たすLODが公開されることで，互いにVocabularyで あ る"SDM Ontology"を 定 義 す る．SDM

容易に参照可能なデータがweb上に増えることとなる．

Ontologyの構造を議論し，構造を決定したのちに，これweb上に存在するLODが相互に参照し合うことで，LODを実際に構築・公開する．実装の詳細は第5.4章で述べる．

同士が1つの大きなデータベースとして機能するようになる．LODが連結したこのネットワークをLOD Cloudとデータの制作の利便性や，加工，利用における機能性や呼び，可視化することで世界中のLODが連結している様

応用の自由度を高めるために，SDM Ontologyは記録対子を見ることが出来る(図13)．一見すると，LOD Cloud象の構成や作業フローの実態に即したデータ構造を持つ必要がある．そこで，SDMが想定する収録空間を構成する要素を次の5つに分解し，SDMに特有の情報も記述できるように設計する．

図13 LOD Cloud

図15 収録空間の5要素
・SDMEvent: イベント全体の情報(イベントの名前や日時など)
・Context: イベントにおいて行われたプログラムの情報(プログラムの名前や内容など)
・Target: 収録対象の情報(対象の位置情報や対象の種類など)
・Recorder: 収録機器の情報(機器の位置情報や種類など)
・MediaObject: 生成されるメディアの情報(メディア
図14 LOD Cloud in Japan＊620

http://linkedopendata.jp/?p=411の種類など)

大まかな構造としては，まずSDMEventが大元としてありSDMのイベントと収録行為が構成されていると考えた

り，その下にContext，Target，Recorderの3つが存在す

上で，SDMが記録するデータ全体をカバーできるようる．これらは相互に参照しあう構造となっている．そしに，SDM Ontologyのデザインを行なった．また，RDFのて，イベント後の処理によって生成されるMediaObject

思想として，データを公開する人が各々の語彙を勝手にがその下に存在する．

定義するとデータの共有が難しくなるため，出来る限り
既存の語彙を使用することが推奨されている．本論では，

5.3.1 要求事項の検証

schema.org7の語彙を取り入れた．

ここで，5.1.1節で整理した要求事項の検証を行う．
5.3.2 オントロジーの詳細
1. 3 次元映像音声メディアを管理出来ること：

今回考案したSDM Ontologyの構造は図16の通りである．

前述の通り，SDMの収録対象や収録機器のメタデー

図中の色分けは，データ構造を考案する際に便宜上取り

タから，生成されるメディアの情報までを格納する決めたグループを表している．以下では，SDM Ontology

ための枠組みを設けており，SDM特有の情報を記述に用意されているクラスとプロパティの詳細について，することができる．

前章で述べた5つの要素を軸に述べる．

2. ユーザが求める表現のレベルに応じてデータが取得できること：
イベント全体の情報(SDMEvent)・イベントの内容とイベントに関わった収録対象(Context, Target,
Recorder)・収録した内容から生成されるメディア(MediaObject)という3つのレベルにデータを分けることで，ユーザの求めるレベルに則したデータを提供することができる．
3. アプリケーションに非依存な形式で保存されている
こと：
ここで提案している構造はSDMが想定している収録
環境を分解した結果であり，特定の用途を前提に構築したものではないため，アプリケーションに非依存で汎用的な形式となっている．
4. 新しいコンテンツの登場時に対応できる拡張性を持
つこと：
詳細は次節で述べるが，Context, Target, Recorder,
MediaObjectはそれぞれサブクラスを持つことを前提としており，表現したいデータによってサブクラスを定義することで拡張性を持たせている．

図16 SDM Ontologyのデザイン
SDMEvent：まずSDM Ontologyの大元となるクラスとして，SDMEventが用意されている．これはイベントそのものの情報，すなわちイベントが行われた場

以上のように，SDMの収録空間を上述の5要素に分解す

所や日時を表すために用意されたクラスである．

ることで，要求事項を満たすことができる．これらによこのクラスには，プログラムを表すContextを示す＊7

http://schema.org/

21

ためのプロパティである"has"や，記録機器であるによってサブクラスを用意する．今回はMusician・Recorderを示すためのプロパティ "recording"など

Audience・Staffという3つのクラスを用意しているが用意されている．対象の位置情報の座標系を定義

が，Contextと同様に記述するデータの種類によっするためのクラス"SDM Geometry"も定義している．

て自由に拡張することが可能である．Targetクラ

また，イベントが行われた施設の情報はschema.org

スが持つ最低限のプロパティは，対象の名称を表すで定義されている語彙"contentLocation"によって"name"や，SDM Geometryで定義された座標系にお示される．今回の実装では，他のクラスにおいてもける位置情報を表す"local x", "local y", "local z"など

schema.orgの語彙を用いている．以下に述べるクラである．

スを用いて，SDMEventで表されるイベントにおいて収録された内容を記述することとなる．

Recorder：Recorderクラスは収録機材の情報を示すクラスであり，収録するデータの内容ごとに3つのサブContext：このクラスは，イベントの中で執り行われた1

クラスを用意している．音声収録を目的とした機材

つのプログラム表すクラスであり，複数のプログラを表す場合はAudioRecorderクラスを用い，動画収

ムを含むイベントであれば1つのSDMEventに対し録を目的とした機材の場合はVideoRecorderクラスて複数のContextが対応する．注意すべき点として，を，それ以外のセンサーデータ等を記録する場合はContextはSDMEventの部分集合ではない．これらはDataRecorderクラスを用いる．本論では以上の3つ別々の情報を格納するために用意されたクラスであのサブクラスのみを用意したが，今後新しいデータ

り，共通のプロパティを持たない．

記録方式が登場した場合でも，Recorderクラスのサブクラスとして新しく定義することで，拡張が可能

Contextクラスでは，演じられたプログラムの種類である．

によってサブクラスを設けることを想定している．
Contextクラスそのものには最低限のプロパティのまた，マルチトラックレコーダーによって複数のみを用意し，固有のプロパティはサブクラスが持つ機材を同時に使う場合を想定して，multiTrackク

ようにすることで，拡張性を高めている．具体的にラスを定義している．これはRecorderクラスから

は，どのようなプログラムであっても必ず存在する

multiTrackInfoプロパティで参照することができ，"name"や"program number"などを持っている．まRecorderク ラ ス と 同 様 に デ ー タ の 内 容 に よ っ てた，プログラムに参加した対象を表すTargetクラス

AudioTrack，VideoTrack，DataTrackの3種 類 の サやRecorderクラスを参照するためのプロパティもブクラスを持つ．

用意されている．
MediaObject：MediaObjectクラスは，Recorderが生成す
今回は慶應で収録した演奏のデータを記述することる記録物を示すクラスである．特定の対象の記録だを考えているため，Songクラスをサブクラスとし

けでなく，複数のRecorderの収録内容を処理して生て設けている．Songクラスでは演奏された曲目の成されるメディアを格納することもできる．

ライターやキー，テンポなどを記述するためのプロ
パティを用意した．

Recorderクラスが音声，映像，それ以外のデータの記録用のクラスをサブクラスに持つため，書き出さ

22Target：Contextクラスで表されるプログラム内で演奏れるMediaObjectクラスにも同様にそれぞれに対応した人やスタッフ，観客といった，収録対象のデー

したサブクラスが定義されている．音楽に関するタを記述するためのクラスであり，対象の名前やMediaObjectはAudioMediaクラスに，映像に関する

位置情報を記録するためのプロパティが用意されものはVideoMediaに，それ以外はDataMediaへ格納て い る．Contextク ラ ス と 同 じ く，Targetの 種 類することを想定している．

MediaObjectクラスは収録データの格納場所のリンクを情報として持ち，このリンクを辿ることで収録・作成したSDMのLODを公開し，アプリケーションから利用する．

データを取り出すことを想定している．
という順番になる．
こうしてデザインを行なったオントロジーをファイルとして記述しweb上に置くことで，SDM Ontologyの語彙のSDM Ontologyの構築と公開

定義を外部から参照することができる．参照した語彙を

第5.3章で設計したSDM Ontologyを実際に構築するに用いることで，SDMのデータをLODとして作成すること

あ た り，オ ン ト ロ ジ ー 構 築 支 援 ツ ー ル で あ るprotegeが可能となる．語彙の定義ファイルの作成は，オントロ

を 用 い た(図18)．ク ラ ス 間 の 関 係，DataProperty，8

ジー構築支援ツールであるprotege を用いて行う．

ObjectPropertyなどを定義して，最終的なオントロジー
ファイルをrdfやttlといった形式で書き出すことが出来る．

5.4

実装

本章では，SDMコンソーシアムが保有するデータをLODとして公開して利用するにあたって実装した内容と，その評価について述べる．アプローチは図17のような流れとなる．まず図17左のSDM Recordingにおいて分散収録
機器により収録されたデータを，SDM Ontologyを用いてLODとして記述する．次に，作成したLODを図17中央に示すSPARQLサーバに格納し，外部から参照可能な状態にする．このデータはLODクラウドとリンクしており，
図17右に示したユーザとアプリケーションから利用さ

図18 protegeによるオントロジー構築れることとなる．
URIの 設 計 と し て，オ ン ト ロ ジ ー のURIをhttp://sdm.
hongo.wide.ad.jp/sdmo/と定めた．オントロジーで定義されている語彙，例えばAudioMediaなどを参照する場
合，そのURIは
http://sdm.hongo.wide.ad.jp/sdmo/AudioMedia
となる．
sdm.hongo.wide.ad.jpで動作しているwebサーバの設定
により，オントロジーで定義されている語彙を参照する
図17 Approach for LOD of SDMと自動的にオントロジーファイルへリダイレクトされる仕様となっている．

実装の大まかな段階は
データのLOD化・設計したSDM Ontologyを，オントロジー構築支援

SDMコンソーシアムが保有するデータをLOD化するにあツールを用いて実際に構築し，web上に公開する．

たって，RDFグラフを簡潔かつ自然な形式で記述できる

・SDM Ontologyで定義された語彙などを用いて，保有言語であるTurtle9を用いた．Turtleファイルの中でSDMしているデータをRDF/LODの形式で記述する．

Ontologyを参照し，そこで定義された語彙を用いること＊8

https://protege.stanford.edu/＊9https://www.w3.org/TR/turtle/

23

で，SDMのデータをLODの形式で記述することが出来る．

ティを持つようにすることで，拡張性を高めている．そのため，TargetクラスやRecorderクラスはインスタンス

実際にSDM Ontologyを用いて，慶應で収録したコンサーとしての実体を持たず，サブクラスが実体を持つこととトのデータを記述した．データ構造の一部を図19に示なる．本研究で扱うデータがコンサートのデータである

す．図が複雑になることを避けるために一部プロパティ

ため，今回はMusicianクラスやAudioRecorderクラスのを省略しているが，OntologyレイヤーではSDMEventか

インスタンスを生成しているが，他のパフォーマンスをらTargetやRecorderを参照するためのプロパティも存在

SDMOntologyで記述する場合は，そのパフォーマンスのし，MediaObjectはContextやTargetからも参照可能であ

内容に適したサブクラスを新たに定義してそのインスタ

る．またトラックに関するクラスも省略している．

ンスを生成することとなる．
LOD の公開
SDM Ontologyを用いてデータをLODとして記述したのちに，それを外部アプリケーションから参照できるように公開する．公開方法としては，LOD用の問い合わせ言語であるSPARQLを投げられるSPARQL Endpointというものを構築し，そこにLODをアップロードすることで，外部から問い合わせが可能となる．SPARQL Endpointには，fuseki10，Virtuoso11，AllegroGraph12，StarDog13 といった様々な種類があるが，RDF表記形式のサポート数
やデータ構造の可視化機能などの観点から比較検討した
結果，今回はGraphDB14を用いた．

図19 Ontology layer and Instance layer
慶應で行われたコンサートで収録されたプログラムは「 慶 應 義 塾 大 学 コ レ ギ ウ ム・ム ジ ク ム 古 楽 オ ー ケ ス ト
ラ演奏会-ドイツ管弦楽組曲の響き-」の1つのみであっ

こうして公開されたSDMのLODにSPARQL Endpointを通じてクエリを投げることで，必要に応じたデータを取得することが出来る．
表2 サーバマシンスペック

た た め，1つ のSDMEventに1つ のProgramが 繋 が って い る．そ のProgramに 対 し て，参 加 し たMusicianやAudioRecorderが 複 数 対 応 し，ま た そ こ か ら 生 成 さ れたAudioMediaも 同 じ く 複 数 存 在 し て い る．こ こ で，Programから参照されているMusicianやAudioRecorderは，その親クラスであるTargetクラスやRecorderクラスのインスタンスではなく，そのサブクラスのインスタン

24

スであることに注意する．SDM Ontologyで定義された

User applicationからの利用概念であるTargetとRecorderのクラスは最低限のプロパ

本 研 究 で は，SDM3602 の 内 部 処 理 に お い てGraphDB

ティしか持っておらず，そのサブクラスが固有のプロパへSPARQLクエリを投げて演奏者の位置情報を取得し＊10

http://jena.apache.org/documentation/serving data/index.html＊11https://virtuoso.openlinksw.com＊12

http://franz.com/agraph/allegrograph/＊13

http://stardog.com/＊14

https://ontotext.com/products/graphdb/

た．SDM3602の 設 計 は 図20の 通 り で あ り，図 の「 視 聴

情報は，記録をもとに手動で入力されていた．しかしこ

オブジェクトデータベース」がGraphDBにあたり，「視聴の方法では入力間違いといった人的ミスは勿論，値が更オブジェクトの配置・状態管理」の処理においてクエリ

新された場合の同期がされず更新に手間がかかるといっを 投 げ て い る．GraphDBが 提 供 す るSPARQL Endpoint

た問題がある．

のREST APIに対し，HTTP GETのクエリパラメータとし てSPARQLク エ リ を 投 げ る こ と で，HTTPヘ ッ ダ のSDMのLODに対して以下のSPARQLクエリを投げること

Content-Typeに 指 定 し た 形 式 で 結 果 を 取 得 す る こ とで，各演者の楽器や位置情報を取得することが出来る．

2が で き る．SDM360 はUnityで 実 装 さ れ て い る た め，

クエリ内では，慶應でのSDMの収録に参加したMusician

UnityWebRequestを用いてhttp通信を行なった．

のパート名，パート番号，位置情報を取得している．

図20 SDM3602の設計[8]アプリケーション内の処理でこのクエリを投げることによりデータの同期も行われ，手動でオブジェクトを配置

5.5

評価

する手間も削減される．

5.5.1 評価方針
本研究は，SDMコンソーシアムが所有するデータをLOD

マイナスワンコンテンツで利用する化するためのオントロジーの考案と実装であるため，定SDMコンソーシアムが想定しているデータ利用方法の一

量的評価が難しい．既存のデータをそれまでとは別のつに，オーケストラのリハーサルや個人・パートごとの練データ構造で公開する研究であれば既存の構造との比較

習に役立てるというものがある．具体的には，ユーザがが可能であるが，SDMのデータは既に構造化されたもの

担当するパートの音声をコンテンツの中で強調したり，ではないため，比較することは出来ない．

逆にそのパートの音声を抑えたりするといったものである．後者は一般にマイナスワンと呼ばれるコンテンツでそこで評価方針として，まず今回公開したSDMのLODにあり，音楽の練習に有用とされている．マイナスワンコ

関して，想定される利用シナリオを挙げる．その後，それンテンツでSDMのデータを利用するパターンとして，特らの目的を満たすデータの取得が可能であることをそれ定のパートを除いた音源とその他の情報を引いてくる場

ぞれ示すことで，データの利用可能性を示す．

合を考える．以下のSPARQLクエリでは，ViolinとViolaのパートを除いた音源と，その音源の元になったMusician

5.5.2 シナリオごとの評価に関する情報の一覧を取得している．

Musicianの楽器や位置の情報を取得する

また，今回LODに記述したデータはすでに加工済みのも収録したイベントを仮想空間内において再現する場合，のであり，音源の頭合わせが終了している．そのため取オブジェクトを配置するために位置情報が必要となる．

得した音源を適切に配置するだけでアプリケーションを

2

SDM360 で配置されている演奏者のオブジェクトの位置

作成することが可能であるが，今後格納される素材デー

25

曲者の情報を取得するSPARQLクエリは以下の通りである．作曲者についての解説のデータはSDMが公開しているLOD自体には含まれておらず，LODの内部で参照しているWikidataへとリンクを辿ることにより取得可能となっている．
慶應で行われたコンサートでは，バロック音楽という一
般的には馴染みの薄い曲目を扱っている．このイベント
をアプリケーションとして実装する場合，演奏されていタの多くは頭合わせが行われていないものであると想定る曲目や特徴的な楽器に関する解説を参照することで，される．その場合，MediaObjectのstartAtプロパティをより興味深いコンテンツを作成することが出来ると考え同時に取得し，アプリケーション内でその値に基づいてられる．

調整を行うことで同期が可能となる．
複数地点の収録内容を統合する
イベントに関係するデータを外部から引いてくる

SDMが前提としている分散収録環境は，分散させた機器

RDF・LODの最大の特徴として，リソースが全てURIで表で一つのイベントを収録することだけを意味するものでされているため，どのLODもweb上の他のLODと相互にはない．複数地点の収録内容を同期し統合することで，一参照し合うことができる．そのリンクを辿ることで，外つの新しいコンテンツを作り出すことも想定している．

部のLODからデータを取得することも可能である．
異なるイベントで演奏された同じ曲目について，各イベ
今回作成したLODでは，イベントで演奏された曲の作
15ントで収録された全てのMediaObjectのファイル一覧と，

曲 者 と し て，Wikidata の リ ソ ー ス を 参 照 し て い る．

収録したTargetの楽器情報を取得するクエリは以下のよ

WikidataはWikipediaで提供されているデータを構造化

うになる．

して公開しているプロジェクトであり，外部のLODからURIを参照することができる．またSPARQL Endpointも公開されているため，SDMのSPARQL Endpointを通じてア
クセスすることも可能である．
指定したイベントで演奏された曲の作曲者一覧とその作

ファイルの演奏速度を合わせるタイムストレッチ処理を行う場合，処理に必要なプロパティをSongクラスから取得することとなる．今後そのようなシステムを構築していく中で，現在オントロジーで定義されていないデータが必要であれば，新しく定義を追加していく．これにより，分散環境で別々に録音した素材を持ち寄って一つの＊15

26

https://www.wikidata.org/

曲にまとめるといったコンテンツ制作システムが実現で有のデータ利用も可能であった．

きると考えられる．
5.6.2 今後の展開
以上のように，SDM Ontologyを用いてLOD化したデー

今後の展開として，以下のようなものが考えられる．

タは，様々な用途に合わせて適切なデータを提供することが可能である．しかし先にも述べたように，SDM

・SDM Ontologyの検証・修正

Ontologyそのものが有用か，適切に設計されているかと・SDM3602以外のアプリケーションからの利用

いった評価は，今後SDM Ontologyを用いて記述される・他のLODとのリンク方法の修正

データがどれだけ現れるか，記述されたデータがどれだ

・SDMのデータの利用を促進するサービスの整備け利用されるかによると考えられるため，現段階で評価することは難しい．今後SDM OntologyとSDMのLODが利

ま ずSDM Ontologyの 今 後 の 検 証 と 修 正 に つ い て 述 べ

用される中で，データを記述する側にとっても利用する

る．SDMは記録対象として，コンサートに限らずライ側にとっても望ましい形式へ修正を続けていく必要があブであったりそれ以外のパフォーマンスであったりとる．

多様なものを想定している．SDM Ontologyではそれらを包括的に管理できるよう，コンサートに特化しない汎

5.6

まとめ

用的なクラスで構成されている．しかし汎用的になりす

5.6.1 結論

ぎた結果，データを正確に記述できない場合，オントロ

本論ではまず，SDMコンソーシアムが保有するデータ

ジーの構造を見直す必要がある．本研究ではSDMの収録

をLODとして公開するためのオントロジーであるSDM

を SDMEvent, Context, Target, Recorder, MediaObject のOntologyをデザインし，構築した．次にSDMの活動の目

5要素に分解することを前提としてオントロジーの構築

的と，実際に行なっている活動について述べた．データを行なったが，今後の議論の中で他の分解方法が考案さの記録作業について，慶應で行なった収録の説明を行っれる可能性もある．また，現在SDM OntologyではSDM

たのちに，そこで得たデータの説明を述べた．つづいて，

Geomertyで定義された座標系におけるTarget, Recorder

そのデータを用いたアプリケーションとしてSDM3602の固定の位置情報をプロパティとして持っている．しかを紹介し，データを格納・公開して外部から利用してもらし将来的には，収録対象や収録機器が移動しても対応でうためのデータベースの要求事項を整理し，実装としてきるように拡張したい．

RDF/LODを用いることを説明した．さらに，実際にSDMのデータを表現する枠組みとして，記録対象の空間を

データの記述における問題以外に，データの利用におけSDMEvent, Context, Target, Recorder, MediaObjectの5要る問題も考えられる．本論では，SDMコンソーシアムが素に分割して考え，それぞれを表現する為のクラスとプ開発したSDM3602内の処理でSDMのLODを利用した．しロパティについて議論し，SDM Ontologyの構築を行なっ

かし今後SDMのデータを利用したアプリケーションが作た．SDM Ontologyの構築により，SDMが保有するデー

られ，そのアプリケーションが求めるデータを取得する

タをLODとして公開することが可能になるため，これをことが容易でない場合も，SDM Ontologyの構造を修正用いて実際にデータの作成を行なった．作成したデータする必要がある．

はSPARQL Endpointで公開され，アプリケーションから利用できる．また，SDM Ontologyを用いて記述したLOD

オントロジーの修正以外に，SDM Ontologyを用いて記について，データの利用方法のシナリオを複数想定し，述するデータのどの要素を外部のLODと繋げるかという

それらのニーズを満たすことを確認した．一般的なデー問題も存在する．本論ではコンサートで演奏した曲目のタベースと同様にアプリケーションの処理を一部自動化

作曲者で外部LODを参照したが，データの利用意図次第出来るのは勿論，SDMのLODに含まれていないデータにで他のリンクも必要となる場合がある．例えば録音機材ついてもリンクを辿ることで取得が出来るというLOD特に関する情報をより詳しく取得したいといった場合，機27

材の詳細が記述されている外部のLODが参照されていれば，容易にアクセスすることが出来る．このようなリン・ 大沢幸弘（ドルビージャパン株式会社

日本法人代表取締役社長）

クは，今後LODが利用されていく中で必要に応じて追加

・ 柳原広昌(KDDI総合研究所メディアICT部門)

されるべきである．

・ 小澤英昭(NTTメディアインテリジェンス研究所・所長)

ま た，現 在 はLODをSPARQL Endpointを 通 じ て 公 開 し・ 黒田晴彦（デル株式会社ているだけだが，Semantic Webが今後普及する中で，・ 水野拓宏（株式会社アルファコード代表取締役社長

SPARQLクエリを自動生成するサービスなども登場することが考えられる．SDM Ontologyを改善してデータの記述を容易にしていくだけではなく，そのようなサービスを通じてデータの利用も促進することで，SDMのデー
タの利用可能性を広げていくことが可能となるだろう．

最高技術責任者（CTO））

CEO兼CTO）
・ 横田聡一郎（リコー ICT研究所
ンター

フォト二クス研究セ

エグゼクティブスペシャリスト）・ 堤康一郎（株式会社バンダイナムコスタジオ技術本部
技術企画部）
・ 塚田学（東京大学情報理工学系研究科特任助教）

第6章

SDMシンポジウム2017の開催

・ 白木原太（ヤマハ株式会社研究開発統括部第１研究開
発部空間音響グループ）・ 川口貴志(CRI・ミドルウェア

映像と音声のオブジェクト化が融合することで，従来のゲーム事業推進部

オーディオリード)

配布型コンテンツビジネスを超えた，新しい次元のイン
タラクティブなオリンピック・パラリンピックの視聴形

シンポジウムの閉会式では，以下の2名が総括コメント

態などこれまでにないビジネス領域や，これまでにないを行った．

ディジタルメディアを用いた表現方法などを開拓・開花させることが期待されている. 2017年07月20日に東京・ 三浦文夫（関西大学社会学部メディア専攻教授）

大学で開催されたSDMワークショップでは，以下の関連

・ 小金澤剛康（イオンエンターテイメント株式会社

トピックスに関して，意見交換を行った．

コ

ンテンツ・プロモーション担当取締役）

・ オブジェクト視聴メディアとソフトウェア制御

また，SDMシンポジウム2017の詳細として，ウェブサ・ オリンピックに向けた研究開発

イト情報を付録Aに添付した．

・ インタラクティブメディアとゲーム
・ 新しいメディアデバイス
・ シネマ・劇場におけるメディア設備とコンテンツ

第7章

まとめ

・ 視聴メディアに関する標準化活動
・ 3Dユーザインターフェイス

本報告書では，2014年より開始したSDMコンソーシア

・ 放送に関する研究開発

ムで進めて来た，視聴空間サービスのソフトウェア制御

・ 機械学習を利用した時空間情報の解釈と視聴者行動による研究で，2017年度に行なった活動について報告の検知した．2016年にSDMにて行なったクラシックコンサー

・ 大容量メディアの分散処理とEdge Heavy Computing

トの収録に引き続き，2017年にはジャズコンサート，・ 大容量メディアのためのネットワークとContent

2018年にはポップミュージックの収録を行なった．こDelivery Network

れらの収録データを利用したアプリケーションとして，2017年はSDM3602を製作し，2018年はLiVRaitonを作

28

また，パネル討論のパネリストとして以下の10名が登壇成した．今年度は，SDM3602の主観評価実験を95人のした．

被験者に協力してもらい行なった．また，LiVRaitonはBillboard Hackathong 2017で最優秀賞を受賞し，様々なメディアで報道された．さらに，三次元映像音声メ
ディアの素材データの管理のために策定・開発したSDM
Ontologyについて報告した．
SDMコンソーシアムでは，ソフトウェア処理による視聴空間の制御，映像音声を制御するネットワーク機器，インタラクティブ・ユーザインターフェイス，SDMプラットホームを利用したコンテンツ作成など，共同研究活動に参加するパートナーを募集しています．ご協力をよろしくお願いいたします．

29

付録

SOFTWARE DEFINED MEDIA
シンポジウム2017
2017.07.20（木）| 東京大学 I-REF棟6F

SDMシンポジウム2017⋆
例えば，音響においては，Dolby AtmosやDTS:Xなどの映画館やホームシア
ター，さらには個人向けモバイル機器を対象に，音のオブジェクトから3次元の音場を生成する立体音響システムが登場している．また，映像においては，複数の地点・角度から撮影された映像・動画から，撮影した空間に存在する3次元オブジェクトの抽出が可能であり，抽出した3次元オブジェクト情報を用いて，任意の視点(自由視点)からの映像の作成・再構築が可能となりつつある．

2020年の東京オリンピック・パラリンピックの開催に向けて，世界からの訪問者への高度なおもてなしを目指した社会インフラのスマート化が急がれている．中でも，オリンピックの理念である「スポーツを通して心身を向上させ，さらには文化・国籍など様々な差異を超え，友情，連帯感，フェアプ
レーの精神をもって理解し合うことで，平和でよりよい世界の実現に貢献する」という目標を支援するため，地球規模での一体感を生み出すような視聴メディアに関する研究開発の重要性が高まっている．そのためには，グロー
バルなインターネットを前提とした映像・音響の視聴空間と視聴メディアの設計が必要である．

こうしたの流れに目を向けると，今後はインターネットで収録環境と再生環
境を双方向で接続し，視聴オブジェクトを交換しながら，3次元表現を持つ情報空間をエッジヘビーコンピューティングまたはクラウドで計算処理することよって，映像音声が作り出されていくことになるであろう．映像と音声のオブジェクト化が融合することで，従来の配布型コンテンツビジネスを超えた，新しい次元のインタラクティブなオリンピック・パラリンピックの視聴形態などこれまでにないビジネス領域や，これまでにないディジタルメディ
アを用いた表現方法などを開拓・開花させることが期待される．

近年は，多くのスマートフォンに標準的に内蔵される収録機器を常時持ち歩くことが増え，収録された映像音声の情報はインターネット上で瞬時に伝達・共有・加工される状況が出来上がった．さらには，収録対象から映像素子に入力されたビットマップ情報と，ステレオマイクに入力された2チャネルの音声情報としてそのまま伝送し，受信側でそのまま再生するだけでなく，空間に存在する収録対象を3次元モデルとして解釈し複数の視聴オブジェクトに分解して伝送し，受信側ではこれらのオブジェクトを用いて空間を再合成するオブジェクト志向の方式が注目を集めている．これにより，ヘッドマウ
ントディスプレイ（HMD），3Dテレビ，立体音響装置などの受信側のシステ
ムの構成に合わせた柔軟な3次元表現が可能となるだけではく，他のコンテンツの視聴オブジェクトを別途受信し組み合わせることで，今までにない表現が可能になる．

7月20日（木）に開催するSDMシンポジウムでは，以下の関連トピックスに関して，意見交換を行う．

関連トピックス
オブジェクト視聴メディアとソフトウェア制御
オリンピックに向けた研究開発
インタラクティブメディアとゲーム
新しいメディアデバイス
シネマ・劇場におけるメディア設備とコンテンツ
視聴メディアに関する標準化活動
3Dユーザインターフェイス
放送に関する研究開発
機械学習を利用した時空間情報の解釈と視聴者行動の検知
大容量メディアの分散処理とEdge Heavy Computing
大容量メディアのためのネットワークとContent Delivery Network

プログラム
⋆

シンポジウムデモンストレーション展示の見学

30（12:00 - 13:00）

13:00 - 13:10

開会挨拶

江崎 浩

13:10 - 13:30

欲しい音だけ抽出する​NTTのマイクアレイ技術

小澤英昭

13:30 - 13:50

自由視点 x VRへの取り組み

柳原広昌

13:50 - 14:10

Software Deﬁned Media：視聴空間サービスのソフトウェア制御

塚田 学

14:10 - 14:20

欧州人気Sportsで始まったDolby Live中継（IPTV）

大沢幸弘

14:40 - 16:30 (110分)

パネル討論（モデレータ：江崎・砂原）

休憩・デモンストレーション展示の見学

大沢

16:30 - 17:00

柳原

黒田

横田

水野

堤

白木原

川口

塚田

コメンテータのコメント・総括

三浦

17:00

小澤

（14:10 - 14:40）

小金澤

閉会挨拶

会場の様子
シンポジウム⋆(img/symposium1.jpg)(img/symposium2.jpg)(img/symposium3.jpg)

デモンストレーション展示⋆(img/demo1.jpg)(img/demo2.jpg)(img/demo3.jpg)

31

スピーカー・パネリスト⋆

江崎 浩（東京大学 情報理工学系研究科教授）
昭和 38 年生.昭和 62 年九州大学・工・ 電子修士課程了.同年 (株) 東芝入社.平成 2 年米国ニュージャージ州ベルコア社. 平成 6 年コロンビア大学・客員研究員.平 成 10 年東京大学大型計算機センター・助 教授.平成 13 年同大学大学
院・情報理工学系研究科・助教授.平成 17 年同大学大学院・同研究科・教 授,
現在に至る.博士 (工学,東京大学).MPLS-JAPAN 代 表,IPv6 普及・高度化推進協
議会専務理事,WIDE プロジェ クト代表,JPNIC 副理事長.
Home Page » (http://hiroshi1.hongo.wide.ad.jp/esaki.html)

日本法人 代表取締役社長）

柳原広昌(KDDI総合研究所 メディアICT部門)

小澤英昭(NTTメディアインテリジェンス研究所・所長)

1988年、名古屋大学工学部電子工学科卒。 1990年、名古屋大学大学院修士課程修了。同年、KDD入社。 1997年より主に映像符号化伝送、映像編集加工処理、マルチメディアDBシステムに関する研究開発および技術開発に従事。 途中、PrimeCast, PreviewNavigator,SMIL Scenario
Creator,QualityMeeting, MPEG Edit Studio Pro, MPEG Frame Finder,MPEG
Archive Station, MP-Factoryなど数々のマルチメディア系ソフトウェア製品の開発に従事。

日本電信電話株式会社メディアインテリジェンス研究所所長。平成3年NTT入社後、同社ヒューマンインタフェース研究所、サイバーソリューション研究所にて、マルチメディア処理技術の研究実用化および(株)ウォーカープラスにて地域情報等のマルチメディア情報提供に従事。平成16年よりNTTレゾナン
トにおいて、gooの新規事業開拓、検索サービス、ヘルスケア等のネットサー
ビスの開発、サービス運営を経て現職。平成25年5月より、Android/iOS向け
関連ソフトウェア開発を行う子会社NTTレゾナントテクノロジーの代表取締役社長を兼務。平成4年慶應義塾大学理工学研究科博士課程修了。博士（工学）。

黒田 晴彦（デル株式会社

最高技術責任者（CTO） ）2016年5月1日にデル株式会社 最高技術責任者に就任。デルおよびEMC日本法人が提供する技術及びエンド・ツー・エンドソリューションの展開を統括
し、総合ITカンパニーとして日本市場におけるビジネス拡大の責務を担っています。黒田は、1980年に三井物産株式会社に入社。以後、36年間にわたり同社における要職を歴任してきました。欧州三井物産システム課General
Manager（1998年）、経営改革推進部 IT戦略企画室長（2003年）を経て、2009年にIT推進部 副部長に就任しました。Chief IT Architectとして三井物産
におけるシステム全体像のグランドデザイン(IT-Landscape)設計と構築を担当
し、同社のIT活用拡大に貢献しました。また、アマゾンウェブサービス社、
SAP社、マイクロソフト社などが日米欧等各地で開催するITユーザーコミュニ
ティーのメンバーとして活躍しています。

32

大沢幸弘 （ドルビージャパン株式会社

三井物産(株)にて情報産業ビジネス等に従事した後、2005年 米国Macromedia
日本法人代表取締役社長に就任。その後、米国DivX, Inc.アジア総代表から、複数回の(被)買収を通じ、米国Sonic Solutionsアジア総代表(兼)日本法人代表取締役社長、米国Rovi CorporationのSVP APAC等を経て、2014年3月ドル
ビージャパン株式会社 代表取締役社長に就任。 東京生まれ 早稲田大学 (高等学院及び理工学部) 卒。 東京大学EMP (Executive Management Program) 修了
同EMP倶楽部前会長。

水野拓宏（株式会社アルファコード 代表取締役社長 CEO 兼 CTO）
1974年生まれ。芝浦工業大学システム工学部電子情報システム学科卒。 株式
会社ドワンゴで数々のゲームタイトルのネットワーク設計・システム設計を担当。同社でシステムアーキテクトとして数百万人規模のWebサービスのシステム設計を行う。 2006年、独立行政法人情報処理推進機構（IPA）により
天才プログラマー／スーパークリエータに認定される。同年株式会社UEIへ入社、その後取締役副社長 兼 CTOを歴任。 2017年株式会社UEIより、子会社であった株式会社UEIソリューションズを「株式会社アルファコード」としてMBOし独立。代表取締役社長CEO兼CTOを現任。現在ではVRやスマートフォン向けの企画コンサルティングやサービス構築事業を柱に活動中。
個人活動：

ティーのメンバーとして活躍しています。

2005年度独立行政法人情報処理推進機構（IPA）未踏ソフトウェア創造事業
にて「ネットワーク複製時代に適応した放送番組流通システム」を開発。
2007年 情報大航海プロジェクトに参加。 2017年 株式会社インプレスR&D発
行「インターネット白書2017」にて「拡大するVR」を寄稿。
■株式会社アルファコードについて
株式会社アルファコードは、エンターテインメントにおける当社の技術や知見を、お客様全てに提供すべく邁進し、世界をより楽しくイノベーションするアプリケーションの創出に取り組んでおります。
株式会社アルファコード » (https://www.alphacode.co.jp/)

横田聡一郎（リコーICT研究所 フォト二クス研究センター
ブスペシャリスト）

エグゼクティ

堤康一郎（株式会社バンダイナムコスタジオ 技術本部 技術企画部）

1998 年4月1日に株式会社日立製作所入社。ETC車載器、DSRC車載器の通信系DSPなどの研究開発を行い実用製品化に従事しました。その後車載ステレ
オカ メラの処理FPGAや認識アルゴリズムの研究開発に従事し、製品実用化に貢献しました。 2009年4月1日に株式会社 リコー入社。カメラを利用した3次元処理の研究開発に広く従事し、デジタルカメラの高速オートフォーカ
ス、 車載用３次元処理カメラ、FA用３次元カメラな どの製品化やドローン用の超広角３次元カメラの研究開発に貢献しました。 近年は、リコーThetaを発展させた全天球画像処理における３次元処理の研究開発に従事しています。

1998年株式会社ナムコ入社。バンダイナムコゲームス技術部門を経て、2012
年よりバンダイナムコスタジオ所属。 製品開発プロジェクト向け技術支援全般に従事すると共に、先端技術R&D、グループ各社と連携してのオープンイ
ノベーションプロジェクトに取り組む。

塚田 学（東京大学 情報理工学系研究科 特任助教）

白木原太（ヤマハ株式会社 研究開発統括部 第１研究開発部 空間音響グルー
プ）

1982年、京都生まれ．2005年慶應義塾大学環境情報学部卒業．2007年慶應
義塾大学政策・メディア研究科修士取得．2007年よりフランス・パリ国立高等鉱業学校 (Mines ParisTech) ロボット工学センター博士課程在籍および、フランス国立情報学自動制御研究所 (INRIA)のIMARAチームにて研究員として勤務．2011年博士号取得． 現在は、東京大学 大学院 情報理工学系研究科の特任助教．2014年よりWIDEプロジェクトのボードメンバー． 自動車の情報化など、次世代インターネットIPv6における移動体通信に取り組む．

2002年松下電器産業株式会社（現パナソニック株式会社）入社。オーディオ
用システムLSIの開発に従事。その後、2006年にヤマハ株式会社入社。以来、
空間音響処理の研究開発及び業務用音響機器の開発に従事。現在は主にVRや360°動画向けの立体音響の研究開発を行いつつ、ヤマハの立体音響技術"ViReal"のプロデューサーとして社外協業の推進を行っている。

Home Page » (http://www.hongo.wide.ad.jp/~tsukada/index.ja.html)

川口貴志(CRI・ミドルウェア

ゲーム事業推進部

オーディオリード)

ゲーム業界と音楽業界を半分ずつ経験してきた、エンジニア寄りのサウン
ドデザイナー、ディレクター。1998年よりゲーム会社、ネットベン
チャー、音楽制作会社、フリーランスを経て2015年、CRIに入社。ゲームにおける音の演出ノウハウを活かし、主に音響デザインと触覚デザインの研究をしつつ、ミドルウェアのエヴァンジェリストとしてスマートフォン
アプリ、VRコンテンツ、配信サービスなど体験の向上に努めている。

総括コメンテーター
⋆

33

⋆

三浦文夫（関西大学社会学部メディア専攻教授）

小金澤

1980年慶應義塾大学経済学部卒業、電通を経て2012年より現職。 radikoを考案、実用化。オーディオプラットフォームと音楽産業の基盤整備を推進。
radikoフェロー、アーティストコモンズ実証連絡会幹事、スペースシャワー
ネットワーク社外取締役、慶應義塾大学SFC研究所上席所員、関西大学音楽
アーカイブ・ミュージアムプロジェクト代表、サイバー関西プロジェクト幹事、マルチスクリーン型放送研究会顧問、元民放連ラジオ再価値化研究グ
ループ座長、民放連シェアラジオ推進部会特別委員、民放連ハイブリッド型
ラジオ研究部会特別委員。 著書「インターネット世界への扉」（1995年マガジンハウス）、「デジタルコンテンツ革命」（1996年日本経済新聞社）、「少女時代と日本の音楽生態系」（2012年日経プレミアシリーズ）。

剛康（イオンエンターテイメント株式会社
ション担当取締役）

コンテンツ・プロモー

2000年にシネマコンプレックス運営会社である株式会社ワーナー・マイカル（現イオンエンターテイメント株式会社）に入社し、 地方・新規劇場の映画館の支配人や本社マーケティング部、プロモーション本部などを担当する。
2017年からコンテンツ・プロモーション担当取締役。映画番組編成、映画コンテンツ開発、営業企画部門などを担当する。

デモンストレーション展示⋆

RICOH THETAを活用した3D空間復元技術
リコーの全天球カメラRICOH THETAを活用した3D空間復元技術の開発を行っている。 今回は、復元した点群データの中を自由に動くことのできるVR
アプリを作成した。 物を掴んで配置を変えたり、物の寸法を測ったりすることができ、3Dデータであることの効果を実感していただきたい。

SDM試作システム
SDMコンソーシアムでは東京大学 I-REF棟6階のヒロビーにて、SDMアーキテ
クチャに基づくSDM拠点の試作システムを構築している。過去2回開催した
スマートライフハッカソンではAPIを公開し、参加者が試作システムの機能を利用した様々なアイデアを開発した。
Home Page » (http://sdm.wide.ad.jp/events.ja.html#SmartLifeHackathon2015)

I-REF棟ヒロビー制御システム
SDM 3602
クラシックコンサートとジャスセッションのイベントを収録し，インタラク
ティブに自由視聴点での三次元映像音声を再生するアプリケーション「SDM3602」を設計，実装し，評価を行なった．さらにビルボードジャパンが開催したLive Music HackasongにてSDM360Squareのデモンストレーション

34

ハッカソンのアイデアを元にAutodeskのStingrayというゲームエンジンを用いて実装したI-REF棟の設備制御システム。会議スケジュールと連動して、ヒロビーの照明などが自動的に変化します。

を行い，審査員と一般の来場者の投票により，優秀賞を受賞した．
Home Page » (http://sdm.wide.ad.jp/events.html#billboard-hackasong)

VR/MR CMS「VRider DIRECT」機能ご紹介

VRider DIRECT
ViReal Mic & Headphone

スマホで撮影した360度VR映像を簡単に配信できるプラットホーム。 今まで
専門的な知識が必要だったVRコンテンツ制作を、より身近に、誰でも日常的に作成・配信できるようにする事を主眼に置いた、CMS(コンテンツマネジメ
ントシステム)。 再生アプリでは、VRコンテンツ内にURLリンクを配置する事ができ、VRコンテンツからwebサイトへの誘導を実現。既存webコンテンツとの連携によるVRの普及に期待。 VR内への匂いの配置にも対応。

立体音響を手軽に収録できる64chワンポイントマイクロフォン『ViReal
Mic』を使用して全天周の音を収録。 さらに『ViReal Headphone』の技術でヘッドフォンで手軽に体験できるVRコンテンツを制作しました。 大井川鐵道
で今も現役のSLが走る様子を、360°動画とヘッドフォン立体音響でお楽しみください。

Home Page » ()過去のシンポジウム
2016/07/29⋆
シンポジウム2016のページ (http://sdm.wide.ad.jp/workshop/2016)2016年7月29日に東京大学 I-REF棟
6Fにて開催されたSDMシンポジウム
2016では、産学から5名のゲストス
ピーカを招き活発な意見交換をしました。また最新技術のデモンスト
レーション展示も行われました。
(../../workshop/2016/img/workshop20161.jpg)(../../workshop/2016/img/workshop20162.jpg)(../../workshop/2016/img/workshop20163.jpg)

参加登録⋆（受付終了：ご来場ありがとうございました）
シンポジウム参加受付(2017.07.20) (https://sdm.connpass.com/event/60842/)

SDMコンソーシアムについて⋆
2014年1月から、オブジェクト志向のディジタルメディアと，ネイティブ・ディジ
タルなインターネット環境が前提の映像・音響空間を用いたビジネス創造を目指し，東京大学，慶應義塾大学，ヤマハ株式会社，KDDI研究所，パナソニック，日本ドルビー，NTT研究所などのメンバーが集まり，Software Deﬁned Media (SDM)
ワーキンググループ(WG)を設立し，コンソーシアムとして活動しております．

SDMのウェブサイトへ (http://sdm.wide.ad.jp/index.ja.html)

35

ワーキンググループ(WG)を設立し，コンソーシアムとして活動しております．

A

SDM γϯϙδ΢Ϝ 2017 ͷৄࡉ

アクセス⋆

Address
メール〒113-8657 東京都文京区弥生1-1-1 東京大学 I-REF棟6F

sdm-wg-request@wide.ad.jp (mailto:sdm-wg-request@wide.ad.jp)(https://maps.google.com/maps?ll=35.715859,139.76072&z=15&t=m&hl=en-US&gl=US&mapclient=apiv3)
Map data ©2017 Google, ZENRIN(http://www.ci.i.u-tokyo.ac.jp/site/?access-j)

Copyright © Software Deﬁned Media Consortium 201736