スマートIoT推進フォーラム テストベッド分科会「第1回ユーザ連携・循環進化検討タスクフォース」（3）同世界放送：
リアルタイム映像の収集と合成を伴う
分散型インターネットライブ放送システム
川上 朋也，牧田 航輝（福井大学）
2021/08/23
オンライン開催
https://testbed.nict.go.jp/bunkakai/user-circ.html
2021/08/231

http://klab.fuis.u-fukui.ac.jp/

プロジェクトメンバー• 川上 朋也（Tomoya Kawakami）• 福井大学大学院工学研究科 講師• 分散システム，ルールベースシステム，ストリームデータ処理に関する研究に従事• 牧田 航輝（Koki Makida）• 福井大学大学院工学研究科博士前期課程• 映像処理配信システムに関する研究に従事• 主な共同研究者• 下條 真司 教授（大阪大学）• 寺西 裕一 氏（情報通信研究機構）• 義久 智樹 准教授（大阪大学）• 松本 哲 助教（大阪大学）
2021/08/23

2

目次•背景と目的•同世界放送における映像合成•テストベッドを用いた評価•まとめと今後の予定

2021/08/23

3

背景と目的• 新型コロナウイルス感染症の影響により，テレワークやオンライン授業など，リアルタイム映像配信サービスの需要が高まっている• 現状，画面を分割して複数の撮影対象を表示するサービスが多い• 遠隔地で撮影された複数の撮影対象が，まるで同じ空間に存在するかのような「同世界放送」を目指す

2021/08/23

4

同世界放送の映像

2021/08/23

5

同世界放送の構成• 分散映像のリアルタイムでの収集と処理を伴う映像配信• 複数の撮影対象がまるで同じ世界にいるような映像（同世界映像）を配信

同世界映像の配信

同世界放送システム

撮影者

2021/08/23

映像の収集

ユーザは自身の映像の表示をカスタマイズ可能• 映像の収集• 処理• 背景除去• 合成位置調整• 効果の追加• ...
• 同世界映像の配信

視聴者
背景画像

映像・音声効果6

関連研究• 超高臨場感通信技術Kirari![1]• 目の前に別空間にいる人が存在するかのような超高臨場感リアルタイム中継• 複数地点で撮影した映像の合成は想定されていない• Microsoft Teams, Together mode[2]• 参加人数に応じて各映像を適当なサイズに変更し，共通の背景に自動的に配置• 参加人数が増加した場合，高性能なサーバやネットワークが必要となり，スケーラビリティに問題がある[1]阿久津明人, 南憲一, 日高浩太, 超高臨場感通信技術Kirari! Beyond 2020, NTT 技術ジャーナル, Vol. 30, No. 10, pp.12–15, October 2018.
[2]Jaron Lanier, How to get the most from together mode. https://techcommunity.microsoft.com/t5/microsoft-teams-blog/how-to-get-the-most-from-togethermode/ba-p/1509496

2021/08/23

7

目次•背景と目的•同世界放送における映像合成•テストベッドを用いた評価•まとめと今後の予定2021/08/23

8

同世界放送で必要となることと課題• 従来のように単純に映像を並べるだけの処理ではない• 背景除去，表示位置の調整，映像の合成など多数の処理が必要• 各映像間の重なり合いも考慮する必要がある• 特定のノードに処理負荷や通信負荷が集中すると，合成が完了するまでの遅延が大きくなる• 1フレームの合成にかかる時間が長くなり，フレームレートの低下につながる

2021/08/23

9

映像の収集と合成における負荷分散• 中継ノード上で複数の映像を合成しつつ収集する方法をとる• 次のノードへは合成された映像のみを転送する

合成例
A
B,D,EC,F,G合成

合成

B• 特定のノードへの通信負荷を削減• 合成処理の分散

合成

DCE

F

G

A～Gは参加者を表し，各参加者は自身のカメラで映像を撮影しているものとする

2021/08/23

10

目次•背景と目的•同世界放送における映像合成•テストベッドを用いた評価•まとめと今後の予定

2021/08/23

11

実験で用いた合成方法• 集中合成：特定ノードに処理を集中• 分散合成：処理を分散• デイジーチェーン，2分木，4分木を構成• 様々な構造が考えられるが，基本性能を確認するため，ここでは上記の3パターン• 各ノードにおける映像の転送先は指定しておく
デイジーチェーン

2分木

集中合成
2021/08/23

4分木

分散合成
12

実験環境
• 大規模IoTサービステストベッド「JOSE」を使用した環境での実験• 18台の仮想マシンを使用• 北陸・横須賀間で通信を行っており，実際の使用で想定される環境に近い環境での実験• ping値• 同一の物理ノード上の仮想ノード間：0.55ms• 同一リージョン内の仮想ノード間：0.7ms• 異なるリージョン間の仮想ノード間：19ms• 合成する映像数を順に増やし，遅延時間（末端で撮影した映像が合成映像に反映されるまでの時間）を計測（最大合成数：18）

2021/08/23

13

2分木の例
110.9.0.3

2

3

10.9.0.4

10.9.0.546

10.9.0.6

8

10.9.0.7

12

10.9.0.10

510.9.0.11

10
10.9.0.12

10.9.0.8

1410.88.0.2

910.88.0.3

1618

17

10.88.0.7

10.88.0.8

10.88.0.92021/08/23

7
10.9.0.9

1310.88.0.4

11
10.88.0.5

15
10.88.0.6

14

結果
1.6
集中

デイジーチェーン

2分木

1.4

4分木

遅延時間[秒]

1.2
1

0.8
0.6
0.4
0.2
02

34

56

78

9

10

1112

13

14

15

16

1718

合成数

• 集中合成は，合成数が増えるほど遅延時間の増え幅が大きくなっている• デイジーチェーンは，合成数の増加に伴い一定の割合で遅延時間が増加• 2分木，4分木では，木の高さが高くなるタイミングで遅延時間も大きくなる• 分散合成では，どの合成数においても4分木が良い• 合成数12までは，集中合成が一番良い
2021/08/2315

結果から予測される遅延時間
4
集中デイジーチェーン

2分木

4分木

2530

3.5

遅延時間[秒]

32.5
21.5
10.5
010

15203540

合成数

結果で見られた遅延時間の増加傾向が合成数18以降も続くとすると，このようになると予測される

2021/08/23

16

考察• 集中合成では，合成数の増加に伴い遅延時間が増加• 分散合成では，木の高さが増加するタイミングで遅延時間が増加
例えば，合成数40の場合，前ページの予測から集中で約2.96秒，2分木で約0.53秒，4分木で約0.40秒かかると考えられる

合成数が多くなるほど，分散合成による遅延時間の削減が期待できる
2021/08/23

17

目次•背景と目的•同世界放送における映像合成•テストベッドを用いた評価•まとめと今後の予定

2021/08/2318

まとめ• 遠隔地で撮影された複数の撮影対象が，まるで同じ空間に存在するかのような「同世界放送」の提案• 快適な同世界放送のために，低遅延に多数のリアルタイム映像を収集・合成する必要がある• 映像を合成しつつ収集することで，特定ノードへの負荷の集中を回避する• テストベッドを用いた評価を行い，2分木や4分木を構成し処理を分散させることで，合成する映像数が増加した時に高い効果が期待できることを確認

2021/08/23

19

今後の予定• 分散合成において，2分木や4分木といった単純な構造で，転送先もあらかじめ指定した場合の評価しか取れていない• 各ノードの処理性能やネットワーク状況に応じて適切な収集木を構成することで，より効率よく合成できるはず• 2分木や4分木などの単純な構造に限らない動的な収集木の構成• 動的な収集木の構成も出来る限りエッジ側で行い，クラウドの負荷を軽減させる• 収集木の構成方法を改善した上で，改めてテストベッドを用いた評価を行う予定

2021/08/23

20

研究業績（2020年9月〜）• 牧田航輝, 川上朋也, 松本 哲, 義久智樹, 寺西裕一, 下條真司, "リアルタイム映像の収集と合成を伴う同世界放送システムの検討," 第28回情報処理学会マルチメ
ディア通信と分散処理ワークショップ (DPSWS2020) 論文集, デモ発表, pp. 186192, Nov. 2020.
• 牧田航輝, 川上朋也, 松本 哲, 義久智樹, 寺西裕一, 下條真司, "同世界放送: リア
ルタイム映像の収集と合成を伴う分散型インターネットライブ放送システム," マルチメディア，分散，協調とモバイル (DICOMO2021) シンポジウム, pp. 1568-1577,
June 2021.
• K. Makida, T. Kawakami, S. Matsumoto, T. Yoshihisa, Y. Teranishi, and S. Shimojo,"Same World Broadcasting: An Internet Broadcasting System for Real-Time
Distributed Video Compositions," Proceedings of the 9th IEEE International
Workshop on Architecture, Design, Deployment and Management of Networks andApplications (ADMNET 2021) in Conjunction with the 45th Annual International
Computer, Software and Applications Conference (COMPSAC 2021), pp. 1424-1429,
July 2021.
2021/08/23

21