Software Defined Media WG

視聴空間サービスのソフトウェア制御

WIDEプロジェクト
塚⽥田  学（東京⼤大学）
IIJセミナー＠東京

Software Defined Media WGとは
• ⽬目的

– インターネット環境を前提として、オブジェクト志向のディジタルメディアを⽤用いたサービスとしての映像⾳音響空間を提供するためのアプローチを検討する• 開始– 2014年年初頭 (1/22, 第⼀一回ミーティング)• コアメンバー– 東京⼤大学– 慶應義塾⼤大学– ヤマハ– KDDI– NTT研究所– Dolby– Panasonic– 他、37名

2015-01-14

Software Defined Media2

月1ミーティング	  (今日)	

2015-­‐01-­‐14	So)ware	  Deﬁned	  Media	3	アウトライン
• 視聴空間サービスとは• SDM WGの⽬目指すもの• 2014年年のWG活動• 今後の予定• まとめ2015-01-14

Software Defined Media4

視聴空間の変遷
視聴空間コンテンツ

演劇・ダンス• 感動や劇的な感情を共有• 知識識の伝承スポーツコンテンツ

カメラ講義

メディア

スピーカ

照明

蓄⾳音機

CD, DVD

コンテンツ

視聴空間
••
•
•

効率率率化：スピーカ・照明
時間的に延⻑⾧長：カメラ・蓄⾳音機
空間的に延⻑⾧長：CD、DVD、映画、テレビ
⼤大量量複製・⼤大量量消費：デジタル化

インターネット

視聴空間• インターネットが前提：収録環境も視聴空間もインターネットが浸透• インターネット前提の視聴空間として設計されるべき2015-01-14

Software Defined Media5

視聴空間の潮流流••

ディジタルネイティヴの伝達・共有・加⼯工「⾒見見たままのビットマップ情報」から「オブジェクトごとのデータ」へ•

映像と⾳音声において急速に進むオブジェクト化によるメタデータ活⽤用••

VOCALOID® 「初⾳音ミク」
2015-01-14– Dolby Atmos– ゲーム– 複数ビデオカメラからの⽴立立体オブジェクト抽出– ⾃自由視点映像（KDDI）

業務⽤用⾳音響機器の仮想化志向
家庭内ネットワークを活⽤用したハイレゾオーディオ
再⽣生
オブジェクト化された映像⾳音声のデータをソフトウェアで制御することで、新しい表現⽅方法とビジネスへの期待
Software Defined Media

6

視聴空間の現状• 映像と⾳音声のシステム– コンサートホールや劇場における拡声システム– 放送・映画・⾳音楽制作等で使われる制作システム– BGMや館内放送のための⾳音響設備など• IPを利利⽤用した1Gbps環境の⼀一般化により、インターネット前提のシステムが可能• オブジェクト志向の３Dの映像と⾳音声が登場• 専⽤用の設備とシステム– 会議室・講義室・劇場・ホームシアターなど⽤用途別に特化した映像⾳音声の設備– 計算処理理ごとに専⽤用のハードウェア

ホームシアター2015-01-14

劇場
Software Defined Media

テレビ会議講演会・講義7

Software Defined Media•••

デジタル3次元の映像と⾳音声が登場
会議室・講義室・劇場・ホームシアターなど⽤用途別に特化した映像⾳音声の設備
機能毎にハードウェアベースのシステム

1. 3次元の映像・⾳音声の演出をソフトウェアで制御• 汎⽤用施設の多⽬目的利利⽤用を想定• ⼊入出⼒力力機能の仮想化による装置と演出（アプリ）の分離離TV放送

••
•
•

•
•

インターネットと放送が混在
リアルタイムとオンラインのコンテンツが混在
オブジェクトベースの映像と⾳音声データ
視聴者は放送側が作成したコンテンツを単⼀一のソースで受信

2. 映像／⾳音声を複数ソースのミキシング可能• リアルタイムとオンラインのコンテンツを管理理・選択• クラウド側での共同ミキシング• 放送側でなく受信側でのミキシング• ソフトウェアレンダリングによる拡張演出

特定の⽅方向の⾳音、特定のアングルの映像など、視聴者の特定の関⼼心事に集中できない
視聴者の相互作⽤用は時間と空間の制約を受ける

3. 視聴者の関⼼心事への集中可能性• フィードバックにより動的な演出制
御・ソース選択• 時間と空間の制約を超えた視聴者の相互作⽤用

2015-01-14

Software Defined Media8

ユースケース
1. 3次元の映像・⾳音声の演出をソフ
トウェアで制御•

汎⽤用設備の多⽬目的利利⽤用•

柔軟なミキシング•

視聴者の関⼼心事のフィードバック

2. 映像／⾳音声を複数ソースの選択
ミキシング可能3. 視聴者の関⼼心事への集中可能性

2015-01-14– 演劇、軽⾳音楽、講演といった様々な演⽬目への対応をソフトウェア制御– 講演会、遠隔会議、⼩小規模⾳音楽イベント様々なアプリ
ケーション向けに最適化– 映画館を遠隔⾳音楽教室として利利⽤用– リアルタイムとアーカイブを含む多チャンネルの映像と⾳音のソースを受信側でミキシング– 多チャンネルの映像と⾳音のソースを第三者クリエー
ターがクラウド側でミキシング– コンピュータグラフィクスとのミキシング（i.e. 拡張現実）– 映像と⾳音声の3D視聴点の指定• 例例）スポーツ選⼿手の⼀一⼈人称視聴点• 例例）応援側スタンド⽅方⾯面からの視聴– ⾔言語／ナレーター／サブタイトルの指定– 同⼀一のイベントに関⼼心を持つ視聴者の相互作⽤用を促進
Software Defined Media

9システム•コンテンツ•編集と放送•再⽣生環境

SDM Station(Reproduction Station)

ContentsBroadcasting
Sytem

InternetContext Selector

Meta dataPublic Renderer

Media Transfar

Reproduction

Storage

Broadcast

Audio Station
Application layer

Control layer

Infrastructure
layer

Local Renderer
APIAPI

Audio Video Service
Transducer (Output / Input)Sound2015-01-14

Media encoder

SDM Station
Station{Reproduction
Broadcast Station– リアルタイムとアーカイブ– 映像と⾳音声のデジタル3次元コンテンツ– 柔軟な管理理システム– インターネットと放送システム– コンテキストによるコンテンツ選択– 双⽅方向も想定– クラウド側での共同編集– 関⼼心事の近い視聴者の相互作⽤用を⽀支援– ローカルでの処理理はアプリケーションとして扱う– 再⽣生設備は、機能毎に映像と⾳音のサービスとして抽象化され、演出と⼊入出⼒力力を分離離– 視聴者フィードバックをローカル再⽣生環境または放送元へ送信

Software Defined Media10

メンバー活動紹介• インテリジェントマイク技術（NTT）• ⾃自由視点映像の⽣生成技術 (KDDI)

2015-01-14

Software Defined Media

11

DANTEを用いたマイクアレイ系(プロトタイプ)の構築
NTTメディアインテリジェンス研究所    音声言語メディアプロジェクト
丹羽  健太，齊藤  翔一郎

Copyright©2014	  	  NTT	  corp.	  All	  Rights	  Reserved.	

背景
NTTでは，欲しい音を欲しいユーザに届けるために，音声強調系の研究開発を進めている。
遠隔会議

特定の話者の発言を拾いたい。	

放送

車

工場

ロボット

走行音がある中でも	音声コマンド入力したい。	

高騒音下でも	音声通話したい。	

話者を区別して	音声認識したい。	

キック音等を	拾いたい。	

Copyright©2014	  	  NTT	  corp.	  All	  Rights	  Reserved.	

13	

NTT技術の特徴
マイクアレイを利用し，指定した方向の音声のみをクリアに収音。
高い周囲音抑圧性能と，正確なスペクトルの復元を両立。
抑圧エリア
周囲雑音

ビームを変化させたときの ビーム１
スペクトル変化から各方向から到来する音のスペクトルを正確に推定

音声収音エリアの抽出フィルタ生成

他者の発話

固定ビーム
フォーミング

周波数

ビーム3

スペクトル
フィルタ生成さらに不要音抑圧
振幅

指定方向以外を抑圧
振幅

周囲雑音

振幅

様々な音が混合

ビーム2

周波数

周波数
Copyright©2014	  	  NTT	  corp.	  All	  Rights	  Reserved.	

14	

プロトタイプ系の構築
単一指向性マイク3本で収音した信号を音声強調処理して出力する系を構築(DANTEベースで動作)

Copyright©2014	  	  NTT	  corp.	  All	  Rights	  Reserved.	

15	

スポーツ⾃自由視点映像の⽣生成

出典：情報通信審議会  情報通信政策部会  研究開発戦略略
委員会  「ICT分野における今後の研究開発戦略略」
2015-01-14

Software Defined Media

16

スポーツ⾃自由視点映像の⽣生成

出典：Youtube サッカー中継を⾃自由なアングルで⾒見見れる  スタジアム3D⾃自由視点技術  : DigInfo

2015-01-14

Software Defined Media

17

WG活動紹介• ⽴立立体⾳音響••

Dolby Atmos
Virtual Sound Scape System• 協⼒力力関係の構築• 技術標準化動向

Dolby Atmos• 2012年年4⽉月, 劇場版の登場• 2014年年6⽉月, ホームシアター版の登場• 技術的特徴– 環境⾳音は従来のチャネルベース、独⽴立立した⾳音響要素をオブ
ジェクト管理理– ⾳音響設備に応じてリアルタイムレンダリング– 最⼤大128の⾳音響要素をロスレスで記録、最⼤大64の独⽴立立ス
ピーカーに出⼒力力可能– ホームシアター版は天井にスピーカーを設置しないオプションも• 普及動向（2015 Jan）

– 200本以上の映画が対応– 全世界900以上のスクリーン– ⽇日本でも8劇場＋2予定 (2014.9)
出典：Dolby

2015-01-14

Software Defined Media19

Virtual Sound Scape System (VSSS)• バンダイナムコスタジオとの協⼒力力– 8⽉月21⽇日 SDMミーティングに招待– 10⽉月17⽇日  開発環境兼デモブースを⾒見見学• VSSS– 最先端の⾳音響演出を再現・体感できるイ
ベントおよび施設向けの⾳音響制御システ
ム– バンダイナムコのゲーム製品で実際に使⽤用されている⾳音響制御プログラムを応⽤用– プレイヤーの操作に応じて即時に反応するためのインタラクティブな技術– Windows上で動作するアプリケーション
図の出典：(株)バンダイナムコスタジオ  第1回ライブ&イベント産業展出展資料料
2015-01-14

Software Defined Media

20

AEONとの協⼒力力• 4⽉月9⽇日  打ち合わせ• 5⽉月9⽇日イオン幕張の劇場を訪問– Dolby Atmosの体感ビデオ• SDMとの協⼒力力関係– AEONは劇場の資産価値向上のため、映画とは別にどんなことができるかを考えている• ライブイベント• パブリックビューイング
• ⾳音楽教室など– AEONは80館で上映できる出⼝口を持ち、興業のコミットメントができる
2015-01-14

Software Defined Media21

パイオニア、Intelとの協⼒力力• パイオニアとの協⼒力力関係– 由雄  淳⼀一様（IEC TC100 TA11 Quality foraudio, video and multimedia systems議⻑⾧長）– 7⽉月3⽇日  東京⼤大学にて打ち合わせ– 9⽉月11⽇日 WIDE合宿にて招待講演• Intelとの協⼒力力関係– 8⽉月29⽇日 　中川様、Roberts様と打ち合わせ– CamCom：イメージセンサを⽤用いた⾼高精度度室内位
置特定– 2015年年1⽉月からIEEE標準化開始(802.15)
2015-01-14

Software Defined Media22

研究協⼒力力関係• インドIIT-Hにおいてスマートキャンパ
ス・プロジェクト向け提案として、新キャンパスの建物への導⼊入を計画中（東京⼤大学）• ロンドン⼤大学クイーン・メアリーのデジタル⾳音楽センターと共同研究でSDMと連携（YAMAHA）• EUパートナーとSDMに関連する共同提案を模索索中（東京⼤大学）
2015-01-14

Software Defined Media23

SDMの構成と各組織の強み
SDM WGコアメンバ
IPv6とネットワーク仮想化

展開パートナー80以上の劇場
ゲーム開発環境とイベン
ト向け⾳音響制御システムメディアデザイン
オーディオ製品と⾳音響の研究
⽴立立体⾳音響のオブジェクト管理理研究パートナーインテリジェントマイク技術
⾃自由視点映像
オーディオ製品とオリン
ピック2020公式スポンサー
2015-01-14

Software Defined Media

24オーディオ・ビジュアル標準化動向
MPEG-2（H.222/H.262,ISO/IEC 13818)
ISO/IEC 13818-1
ISO/IEC 13818-2
ISO/IEC 13818-3
ISO/IEC 13818-4
ISO/IEC 13818-5
ISO/IEC 13818-6
ISO/IEC 13818-7
ISO/IEC 13818-8
ISO/IEC 13818-9
ISO/IEC 13818-10
ISO/IEC 13818-11
ISO/IEC MPEG (ISO/IEC
JTC1/SC29/WG11)
IEC TC 100

Audio Video Bridging(AVB)

DVB-T2
DVB-C2
DVB-S2
DVB-S2X
DVB-CI-Plus
DVB-RCS2
DVB-GEM
2015-01-14

Software Defined MediaIEEE-1722.1
IEEE-802.1Q
IEEE-1722
IEEE-1733
IEEE-802.1AS
IEEE-802.1BA
IEEE-802.1Qat
IEEE-802.1Qav
IEEE-1588

rfc3190
rfc3550
rfc3551
RTP Media Congestion
Avoidance Techniques(rmcat)25

今後の活動予定デモお披露露⽬目計画• 2020年年 8⽉月  東京オリンピック• 2019年年 9⽉月  ラグビーワールドカップ＠⽇日本• 2018年年 6⽉月 FIFAワールドカップ＠モスクワ• 2016年年  8⽉月  リオデジャネイロオリンピック• 2015年年  11⽉月  第49回 IETF＠横浜• 2015年年  9⽉月 WIDE秋合宿• 2015年年  6⽉月  Interop• 2015年年  3⽉月 WIDE春合宿
2015-01-14

Software Defined Media27

デモの⽅方針• SDMのコンセプトを実証する– 3次元の映像・⾳音声の演出をソフトウェアで制御– 映像/⾳音声を複数ソースのミキシング可能– 視聴者の関⼼心事  への集中可能性• 以下を考慮した具体的なデモ・シナリオ案を考える
1.
2.
3.
4.
5.

SDMアーキテクチャの良良さが伝わるデモ
新技術の意図が伝わりやすいもの
映像があるとよい
集⾳音のデモもあるとよい
スマホなどを使ったインタラクティブなデモも望ましい• デモの対象– IETFのデモ：研究者/技術者が対象  （技術的側⾯面）– パブリックビューイング：⼀一般の⼈人が対象（楽しい側⾯面）

2015-01-14

Software Defined Media28

デモの⼤大枠
SDMステーション

SDMステーションに出⼒力力するべき映像と⾳音の3次元空間上の演出を演算する

アプリ1

SDMサーバ他拠点への映像・⾳音声の配信

SDMステーション SDMステーション SDMステーション
抽象化された映像と⾳音声の⼊入出⼒力力機
能を利利⽤用することで、クリエータの創造性を活かすアプリが実現できるイベント会場

競技会場

視聴空間

SDMステーションは、放送局と受信局の役割を果たし、イベント・競技会場や視聴の空間は、インターネットを介して繋がる

アプリ2

インターネットコントローラー•アーカイブ •コンテンツ管理理
第三者クリエータによる集合編集

SDMステーション
映像と⾳音声の⼊入出⼒力力デバイスが空間に偏在し、⼊入出⼒力力機能が抽象化され、IPネットワーク化されている空間。
さらに視聴者の関⼼心事がシステムへとフィードバック可能。
2015-01-14

Software Defined Media29

IETF遠隔参加者を⽀支援する
傾聴点指定システム• IETFは⾳音声での遠隔参加が可能であるが、マイクで発⾔言が拾拾えない場合や、私語の騒⾳音で発⾔言が聞きにくい問題がある• この問題を解決するため、遠隔参加者が⾳音声が必要な場所を指定するシステムを開発する• 時差に配慮しアーカイブで過去の⾳音を再現
インターネット

世界の遠隔参加者

IETF会議場＠横浜
傾聴点
Why the router does …….?

傾聴点
Because, as you know….
I think that…

2015-01-14

Software Defined Media

30

実験環境
• 東京⼤大学  弥⽣生キャンパス I-REF棟6Fヒロビー– スピーカー（最⼩小１０）  = 5.1 ch + 上空に4つ– カメラ 　（360度度カメラ、カメラ16:9, PTZカメラ）– 持ち運び可能なシステム

2015-01-14

Software Defined Media

31

実験環境
• 東京⼤大学  弥⽣生キャンパス I-REF棟6Fヒロビー– スピーカー（最⼩小１０）  = 5.1 ch + 上空に4つ– カメラ 　（360度度カメラ、カメラ16:9, PTZカメラ）– 持ち運び可能なシステム

360度度カメラ
カメラ16:9PTZ

2015-01-14

Software Defined Media32

⾼高さとスピーカーの関係• 着席中の⽿耳の⾼高さ1.2mでスピーカーの⾼高さ2.7mの場合、距離離が2mほどで⾓角度度が40度度を下回る
2.7m
1.7m
1.2m

2015-01-14

Software Defined Media

33

• a

2015-01-14

Software Defined Media34

• a

4.0m

2015-01-14

Software Defined Media35

まとめ• サービスとしての映像⾳音響を提供するためSDM WGを2014年年はじめに開始• ⽬目指すシステムの⽅方向性が⾒見見えてきた
1. 3次元の映像・⾳音声の演出をソフトウェアで制御
2. 映像/⾳音声を複数ソースのミキシング可能
3. 視聴者の関⼼心事  への集中可能性• SDMのコンセプトを実証するデモンストレーション– 2015年年11⽉月  第49回 IETF＠横浜  （技術的側⾯面）– 2016年年, 2020年年 　オリンピック  （楽しい側⾯面）• 協⼒力力できるパートナーとの関係を構築• 今後の予定– プレイグラウンド⽤用の実験環境の構築– デモンストレーション開発– 関連技術の標準化動向をまとめる

2015-01-14

Software Defined Media36

SDM WGへの参加• 興味がある⼈人募集– SDMの環境構築– SDMで実現できるアプリケーション– SDMのデモと実験– SDM分野のサーベイ• ⽉月1回のミーティング• sdm-wg-request@wide.ad.jp

2015-01-14Software Defined Media37

以上