大学ICT推進協議会 2021年度 年次大会

山口大学
デジタルを活用した大学・高専教育高度化プラン(PlusDX)

デジタル技術を活用した「知の教授と技の伝承による智の育成」～次世代MR技術を用いたオンラインHands-On実習システム～

NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

2021年12月15日
山口大学共同獣医学部 佐藤 晃一
株式会社NTTドコモ
渡辺 郁弥

システムの技術概要

NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

システムの技術要素
遠隔Hands-on実習システムでは、遠隔地からの3Ⅾ映像を低遅延でリアルタイムに配信する仕組みを採用
低遅延ライブ配信

3Ⅾ撮影

MRデバイスに3Ⅾ表示

あたかもその場にいるかのような臨場感を伝えることが可能
NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

33つの重要な技術要素
前述の実現には、「3Ⅾ映像」「リアルタイム・マルチ配信」「5G通信」の3つの技術要素が重要となる①3Ⅾ映像
3Ⅾ映像化技術には、色の再現性に優れ、立体感も豊かに表現できるSide by Side方式を採用。この方式により、実物を見ているかのような臨場感のある映像を表現可能。
②リアルタイム・マルチ配信

映像の配信技術には、映像や音声などの大容量データのリアルタイム送受信に加え、複数人との映像、音声のやり取りに優れたWebRTC(Web Real-Time Communication)を採用。
この方式により、複数のユーザに対する3Ⅾ映像のリアルタイム配信を実現可能。
③5G通信

5G通信は、4G通信で提供してきた高速・大容量をさらに進化させ、それに加えて低遅延・多数接続の特徴を持った通信。
5G通信により、大容量な3Ⅾ映像のリアルタイム・マルチ配信に必要な低遅延通信を実現可能。
NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

4

全体システム構成
遠隔Hands-on実習システムは４つの領域で構成されている① 講師側Hands-on実証システム② 受講者側Hands-on実証システム③ 3Ⅾ映像低遅延ライブ配信システム④ 5G通信環境①講師側Hands-on実証システム@山口大学実習室④5G通信環境
5G端末

実習映像
スイッチングハブ③3Ⅾ映像低遅延ライブ配信システム

3Ⅾ映像
ライブ配信
スピーカー

音声伝送兼視聴PC

映像配信
サーバ

エンコーダ

@鳥取大学実習室
他大学
3Ⅾ映像
ネットワーク機器
ライブ配信 Wi-Fi

HoloLens2

実習映像

SINET
カメラ

②受講者側Hands-on実証システム②受講者側Hands-on実証システム@岡山理科大学実習室(愛媛)他大学
3Ⅾ映像
ネットワーク機器
ライブ配信 Wi-Fi

実習映像（複数表示）

講師側映像

NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

HoloLens2

実習映像

5

①講師側Hands-on実証システム

NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

講師側Hands-on実証システムについて
講師側システムの構成と機能は以下の要素となる・ 講義模様を3アングルで撮影、3Ⅾへ映像処理し、配信サーバへ伝送
・ 受講者の映像を講師が確認できるよう大型モニタへ一覧表示
・ 講師の音声を伝送し、受講者の音声を受信
スイッチングハブ

1アングル2台のカメラ映像×3を圧縮・3Ⅾ化

音声は講師側・受講者側で双方向で送受信可能

音声伝送兼マイク スピーカー 視聴PC

配信サーバへ送信

カメラ
制御装置

カメラ用USB
電源供給ハブ1アングル2台のカメラで3アングル撮影

カメラ
受講者の映像を大型モニタへ一覧表示(2) 受講者映像視聴

実習映像(複数表示)

NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

講師側映像(1) 3D化機能
7

参考：(1) 3D化機能：カメラ
2台のカメラを人間の目の間隔である65㎜に配置し被写体を撮影することで、3Ⅾ映像を生成するために必要な左右の映像を同時に撮影する

カメラの撮影解像度
16:9(3840×2160)

65mm

2台のカメラ(SONY RX0 Ⅱ)を人間の目の間隔65mm程度想定(被写体までの距離で調整)

NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

HDMI映像出力×２本(4K30fpsまで可能)で3Ⅾ映像生成及び配信用パソコンへ

8参考：(1) 3D化機能：Side by Side
3Ⅾ映像用の2つの映像は配信用パソコンでキャプチャし、受講者側Hands-on実証システム側に投影する3Ⅾ映像用にレイアウト(Side by Side)
ハーフサイズにしてSide by SideでHoloLens2に最適化して16:9(1920×1080)の解像度へサイズ変更し、仮想カメラでSFU-SORA向け配信アプリへ受け渡し

キャプチャした映像をOBS STUDIO で3Ⅾ用にレイアウト(Side by Side)OBS 上では、16:9(3840×2160)の解像度でレイアウト

複数の配信アプリは同一チャネル内に映像ストリームを配信

カメラからの映像をキャプチャ

3Ⅾ映像低遅延
ライブ配信システム(SFU-SORA)へ

HDMI

Ethernet

キャプチャーカード用eGPU ケース＆3Ⅾ映像生成及び配信用パソコン
NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

9参考：(1) 3D化機能：3D化
配信用パソコンは、3Ⅾ映像低遅延ライブ配信システムへ3Ⅾ映像用にレイアウトされたデータを配信する
チャンネルID入力欄
任意のチャンネルIDを入力

配信開始/終了ボタン

アングル番号選択タブ
再生側の画面のどの部分に配信するかを指定

配信用デバイス選択タブ
配信用のデバイスを指定

ビットレート選択タブ
配信時のビットレートを指定

マイクオン/オフ切替タブ
配信時のマイクオン/オフを指定

解像度選択タブ
配信時の解像度を指定

配信映像確認画面

カメラからの映像をキャプチャ

3Ⅾ映像低遅延ライブ配信システム(SFU-SORA)へ

HDMI

Ethernet

キャプチャーカード用eGPU ケース＆3Ⅾ映像生成及び配信用パソコン
NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

10参考：(2) 受講者映像視聴
受講者映像をタイル状に表示し、実習映像および音声を受信し再生配信アプリの配信映像と同一チャネル内に音声ストリームを配信する

講師側Hands-on実証システム

受講者側Hands-on実証システム
他大学
3Ⅾ映像
ネットワーク機器 ライブ配信 Wi-Fi

大型ディスプレイ＋ディスプレイスタンド

実習映像

3Ⅾ映像低遅延
ライブ配信システム

スピーカー

音声伝送兼視聴PC

NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

HoloLens2

映像配信サーバ

受講者側Hands-on実証システム
他大学
3Ⅾ映像
ネットワーク機器 ライブ配信 Wi-Fi

HoloLens2

実習映像

11

②受講者側Hands-on実証システム

NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

受講者側Hands-on実証システムについて
受講者側システムは以下の機能を有する
・ 映像配信サーバから送られてきた3Ⅾ映像と音声をMRグラスで再生する機能・ MRグラスで取得した実習映像を映像配信サーバに送信する機能
・ 1つのアクセスポイントに対しては最大5台接続が可能

受講者側Hands-on実証システム

3Ⅾ映像 Wi-Fiアクセスポイント
ライブ配信

Microsoft HoloLens 2

3Ⅾ映像低遅延
ライブ配信システム

映像配信
サーバ

実習映像
音声
MRグラス向け視聴アプリが3Ⅾライブ映像を再生し実習映像を送信

NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

13

参考：MRグラス向け視聴アプリ
MRグラス向け視聴アプリは以下の機能を有する・ 他のMRグラス向け視聴アプリなどから配信した音声を受信し再生する機能
・ 配信アプリの配信映像と同一チャネル内に映像/音声ストリームを配信する機能
・ MRグラスで取得した実習映像・音声を映像配信サーバに送信する機能
・ 自分のマイクおよびカメラのオン・オフを切り替える機能
・ 映像配信サーバから送られてくる3Ⅾ映像のうちどのアングルから見るか選択できる機能

アングル1

アングル2

アングル3

Wi-Fiアクセスポイント
3Ⅾ映像
ライブ配信
実習映像・音声NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

複数のアングルから自分の見たいアングルを選択することが可能

14

③3Ⅾ映像低遅延ライブ配信システム

NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

3Ⅾ映像低遅延ライブ配信システムについて
3Ⅾ映像低遅延ライブ配信システムは、以下の機能を有する
・ 講師側と受講者で双方向に映像を配信する機能
・ 講師側から受講者宛てに音声を配信する機能

講師側Hands-on実証システム
5G端末

実習映像
スイッチングハブ

スピーカー

3Ⅾ映像
ライブ配信

音声伝送兼視聴PC

3D映像
ライブ配信

3D映像
ライブ配信

映像配信
サーバ
実習映像

受講者側Hands-on実証システム
他大学
ネットワーク機器 3Ⅾ映像
ライブ配信 Wi-Fi

HoloLens2

実習映像
3Ⅾ映像低遅延
ライブ配信システム

実習映像

エンコーダ

受講者側Hands-on実証システム
カメラ

3D映像
ライブ配信

実習映像
実習映像
（複数表示）

他大学
ネットワーク機器 3Ⅾ映像
ライブ配信 Wi-Fi

HoloLens2

実習映像

講師側映像

NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

16

参考：3Ⅾ映像低遅延ライブ配信用ソフトウェア
3D映像低遅延ライブ配信用に使用するソフトウェアには、
WebRTC SFU SORAを使用し、以下の機能を有する・サーバー(SFU)による高解像度での低遅延配信機能
WebRTC SFUは、P2Pではなく、音声や映像を「サーバー(SFU)経由」で配信する技術であり、Soraでは、クライアントに対して、ビットレートの上限値を引き上げるように通知することで、最大4k、30fps、15Mbps という高いビットレートの映像の配信が可能。

・サーバー(SFU)による多 : 多の双方向での低遅延配信機能
受講者側から講師側への映像配信に関して、受講者側のMRグラスのカメラの映像を最大でHD(1280×720ピクセル)の解像度で、30fpsのフレームレートで最大15本同時に配信可能。また、講師側から受講者の双方向での音声の配信や受講者と受講者の双方向での音声の配信が可能。

・ WebRTC SFUのコネクションの管理機能
WebRTC SFUは、マルチストリーム機能により、複数の音声や映像を動的に追加したり削除するなど、コネクションの管理が可能。
このマルチストリームを用い、利用者毎に「配信と視聴(sendrecv)」、「配信のみ(recvonly)」、「視聴のみ(recvonly)」を指定することが可能。
NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

17

④5G通信環境

NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

5G閉域接続のネットワーク構成
5Gを活用した閉域接続のネットワーク構成は以下を予定している

山口大学

ドコモ山口ビル（吉田キャンパス）

ドコモ
コアネットワーク
山口大学
光ケーブル

交換機

キャリー5G

5G閉域接続用ルータ

ドコモルータ

5G端末

5Gエリア

学内光ケーブル

学内NW用ルータ

学内
クラウド

アクセスプレミアム

NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

19

参考：5G無線装置(キャリー5G)①5Gエリアの構築には、期間限定での利用に最適な「キャリー5G」を予定
要望に応じた周波数帯での利用選択および可搬型の基地局のため、大規模な工事を行う必要がなく、撤去もスムーズに行える■エリア形成イメージ■外形寸法

最大重さ：6m

約90kg～
5Gエリア

1.8m

1.3m

NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

20

参考：5G無線装置(キャリー5G)②
ドコモの5Gは3つの新周波数帯で高速・大容量を実現
その中1つである4.5GHzのSub6帯を利用し、衛星受信設備に対する干渉影響を考慮し、5G環境が利用可能
周波数帯域幅28GHz(ミリ波)3.5GHz

3.4GHz
2GHz

4.5GHz(Sub6)

100MHz幅

3.7GHz(Sub6)

100MHz幅

400MHz幅

5G専用新周波数帯

4G以前に利用していた周波数と比べ幅広い周波数帯域を使用することにより、高速・大容量な通信が可能

1.7GHz

1.5GHz800MHz700MHzNTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

21

参考：5G閉域接続(アクセスプレミアム)
5G閉域接続にはアクセスプレミアムを利用予定
光ケーブルで大学ネットワークを5Gネットワークにダイレクト接続可能
インターネットを介さないため、完全閉域なモバイル通信が実現■アクセスプレミアム構成

山口大学

ドコモ山口ビル（吉田キャンパス）

山口大学
光ケーブル

5G
LTE

ドコモルータユーザールータ

交換機
山口大学
実証デバイス

完全閉域なモバイル通信＜特長＞
１．インターネットを経由しないお客様専用の閉域ネットワーク

３．IPアドレス割当方式、電話番号認証(CLOSE)有無等カスタマイズが可能

２．他利用者の影響を受けない帯域保証型サービス ４．汎用的なアプリケーションが利用可能（プロトコル制限はない）

NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

22実証実験の報告(中間)NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

実証実験(中間)の範囲
今回は講師側となる山口大学からの実習模様の映像を2大学の受講者がMRグラスより視聴しながら実習を行った•

講師側

•

受講者側

：山口大学からの実習模様を映像伝送- 5G/SINETを利用した通信 → AWS(配信サーバ)へ有線(LAN)接続- 3アングル撮影 → 1アングル撮影- 講師側と受講者双方向の映像・音声配信 → 講師側からの一方向映像配信(双方向の音声、受講者からの実習映像はWeb会議用ツールで代用)：鳥取大学／岡山理科大学の受講者がMRグラスを利用して遠隔実習- SINETへWi-Fi接続 → LTEモバイルWi-Fiルータへ接続し、MRグラスを利用
配信サーバ

外部ネットワーク

AWS

山口大学
ネットワーク

学内ネットワーク

岡山理科大学
ネットワーク鳥取大学
ネットワークLTEモバイルWi-Fiルータ
有線接続

実証
フィールド

Wi-Fi

カメラ
1アングル

3Ⅾ映像

山口大学

HoloLens2

Wi-Fi

Wi-Fi

HoloLens2

HoloLens2

鳥取大学実習室

岡山理科大学実習室

山口大学

NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

山口大学(講師側)から2大学への一方向映像配信(双方向の音声と受講者からの実習映像はWeb会議用ツールで代用)

24

実証実験で得た意見と実証実験(本番)に向けて今回の結果を基に、実証実験(本番)に向けて継続検討を行っていく
ニューノーマル時代の実習環境を整備し「学びの質の向上」を推進
変革の持続継続検討

学びの質高度化に向けてLTEから5Gへ

PlusDX施策の評価・検証へ

最新ICT・デジタル技術を活用

智技

5G活用による高速・大容量通信の実現

知セグウェイを乗りこなすにはコツ(慣れ)が必要

実証実験(本番)および今後に向けてMRグラスを活用しながらの実習は慣れが必要

MRグラスからみえる3D映像の画質が向上するとよい

MRグラスに投影される3D映像が受講者の動作(実習時の目線)の動きと連動するとよい

・・・

12月10日(金)実証実験(中間)で挙がった主な意見
NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

25

NTT DOCOMO Confidential ©2021 NTT DOCOMO, INC. ALL Rights Reserved.

26