スマートIoT推進フォーラム技術戦略検討部会
第16回テストベッド分科会

Beyond 5Gで実現する同期型CPSコンピューティング基盤
2024年3月8日
日本電気株式会社
丸橋

テクノロジーサービスソフトウェア統括部

建一© NEC Corporation 2024

NEC Proprietary

Beyond 5Gで実現する同期型CPSコンピューティング基盤の研究開発◆ NICT 革新的情報通信技術研究開発委託研究
機能実現型プログラム 一般課題 [採択番号01201]◆ 実施期間： 2021-2023年度◆ 受託者：

日本電気株式会社
国立大学法人東京大学 (中尾彰宏研究室)◆ 目的：OTを対象とするリアルタイム処理が可能で、多彩なサービスを提供できるコンピューティング処理基盤を特長とするCPS(=同期型CPS)の実現

CPS: Cyber Physical System
OT: Operational Technology

2© NEC Corporation 2024

NEC Proprietaryアウトライン1. はじめに2. 同期型CPSの狙い
3. 同期型CPSでのネットワーク技術
時空間ダイナミックフロー制御技術

4. NICTテストベッドの利用
時空間ダイナミックフロー制御技術の広域サービス適用検討

5. おわりに１．はじめにＳｏｃｉｅｔｙ ５.０実現に向けて現実世界の問題をサイバー空間で解く
現実世界の様々な機器と大規模クラウドが低遅延・高信頼ネットワークで繋がる現場で個別に動かしていたOT機器・システムで1. 機能配置が変わる（変えられる）
2. ソフトウェア化が進む

１．クラウドの知識(大規模データ)と計算能力が利用できる（出典）総務省「Beyond 5G推進戦略」（2020）
5© NEC Corporation 2024

NEC Proprietary

２．ソフトウェア化により柔軟性が増し、システム構築、運用管理、保守、更新が効率良く実行できる

ＣＰＳによる価値創造
大量データをサイバー空間で知識化し、現実世界の様々な産業で新たな価値を創出• 製造向けロボット：世界市場1兆6018億円@2025年[1]• 自動運転：世界市場4955億ドル＠2030年[2]
製造交通

現実世界
医療

インターネット
スマートシティ
クラウド

サーバ

サイバー空間物流
6© NEC Corporation 2024

NEC Proprietary

インフラ・エネルギー[1] 富士経済社予測(2021年)[2] REPORT OCEAN社予測(2021年)

ターゲットとなるアプリケーション
End-to-Endで許容遅延10-100msecが要求されるアプリケーションでの無線制御を実現
6G以降

製造物流

交通

医療・ スマート インフラ・
介護 シティ エネルギー

Time-Sensitiveなアプリ

本研究開発で対応
許容遅延 < 制御周期

End-to-End
許容遅延 1ms

10ms

機械制御[1][2]

100ms

1s
人と共存・協調

安全（緊急停止)[1][2]

HumanReaction
Time [2]上位機械制御 (PLC)
機器間協調動作低速移動体制御 (AGV等)[1][2][4]建機、ロボットなどの遠隔操作
人・ロボット協調制御

本研究開発の対象
通信周期100msec
誤差：300msec

ITS（路車間信号情報提供)[5]
作業指示 (表示)[w][2]
ウェアラブル(AR/MR)[1] NICTホワイトペーパー「製造現場における無線ユースケースと通信要件 （要約版）」、2017年、https://www2.nict.go.jp/wireless/ffpj-wp.html[2] IEEE 802 Nendica Report: Flexible Factory IoT—Use Cases and Communication Requirements for Wired and Wireless Bridged Networks, 2020
[3] A. Jain et al., Int. J Appl Basic Med Res. May-Aug; 5(2), pp.124–127, 2015.
[4] 東芝プレスリリース、https://www.global.toshiba/jp/technology/corporate/rdc/rd/topics/21/2109-03.html
NEC Proprietary [5] 一般社団法人UTMS協会、住友電気工業株式会社、https://www.sip-adus.go.jp/rd/rddata/rd04/204s.pdf

PLC: Programmable Logic Controller
AGV: Automated Guided Vehicle
AR: Augmented Reality
MR: Mixed Reality7© NEC Corporation 2024

タブレット、ディスプレイ

注：出展がされていないアプリの許容遅延は独自ヒアリングの結果に基づくアプリケーション例（低速移動体制御）
通信(Wi-Fi x 2)を仮想化し、無線通信による安定したAMR制御を実現
無線通信安定化デバイス
搭載のAMR

通常のAMR

低速移動体制御のデモ
8© NEC Corporation 2024

NEC Proprietary

AMR: Autonomous Mobile Robotアプリケーション例（ロボットの遠隔操作）
様々な工程に対応するソフトウェアをレポジトリから配信、クラウドとエッジで制御

２倍速

OT制御共通基盤でのロボット制御アプリの配信
9© NEC Corporation 2024

NEC Proprietary

ポインティングによる遠隔指示：プランニングエンジンAI

２．同期型CPSの狙い

本研究開発の目的：同期型ＣＰＳの実現
コンピューティング処理基盤上のアプリの動作に、現実世界のＯＴデバイスが同期
同期型CPSとは：OTを対象とするリアルタイム処理が可能で、多彩なサービスを提供できるコンピューティング処理基盤を特長とするCPS。ITの「スケーラブル、アジャイル」の特長を活かし、OTデバイスを「リアルタイム」かつ「セキュア」に収容する。
IT＋OT（Operational Technology）
・ リアルタイム（Beyond 5Gによるコンピューティングとネットワークの密連携）
・ セキュア（多種・多数デバイスに適応)

IT（Information Technology）

ＩＴの活用

・ スケーラブル（クラウド活用、規模に制約なし）
・ アジャイル（迅速なシステム構築・運用)

ＣＰＳを実現するＩＴとＯＴ融合
11© NEC Corporation 2024

NEC Proprietary

ＯＴへ拡張

同期型ＣＰＳのシステム構成「スケーラブル/アジャイル｣、「リアルタイム｣、「セキュア」を同時達成
スケーラブル/アジャイル

多彩なサービスを提供するコンピューティング処理基盤
アプリ2

アプリ１

コンピューティング

アプリ3

マルチ
レイヤー
制御

①ネットワーク型OT制御
コンピューティング処理基盤

共通機能モジュール

セキュア

学習

分析

認識

判断

制御

OTイネーブラー

OTセキュリティ

隠蔽／抽象化層

Beyond 5Gを中心とするネットワーク
・高時空間分解ダイナミックスライス
・複数無線を利用した通信仮想化

ネットワークSub6

Ethernet

ミリ波

Wi-Fi

ポリシー
エンジン
②QoE指向時空間ダイナミック
無線リソース制御
OT通信制御③ゼロトラスト・スケーラブル
アクセス制御End-to-End QoE
コントローラ

QoE: Quality of Experienceリアルタイム

OTデバイスOT: Operational Technology

12© NEC Corporation 2024

製造

NEC Proprietary

物流

交通

リテール

QoE（Quality of Experience）は、アプリケーション品質を意味する

同期型ＣＰＳの適用シナリオの一例
工場／倉庫へ適用するOTデバイス（ロボット等）の遠隔制御で、生産効率を１０倍
セキュア

映像/センサデータ

項目３：ゼロトラスト・スケーラブルアクセス制御の研究開発
遠隔OT制御制御データ- ネットワーク制御とアプリレイヤのトラスト情報（認証・認可）の連携- 同期型ポリシー生成の高速化で実現する対象機器数 10,000台

スケーラブル/アジャイル

項目１：ネットワーク型OT制御コンピューティング処理基盤の研究開発- 認識/判断/制御の柔軟なモジュールによるロボット制御対象数 x5- ネットワーク性能（制御周期）を考慮。動作の高速化 x2

x10~1m2

リアルタイム項目２：QoE指向時空間ダイナミック無線リソース制御の研究開発- 端末移動を考慮したダイナミックなスライス →想定空間分解能 ~1m2
- 複数無線を同時使用し、広帯域/低遅延を安定保持 →制御周期 <10msec13© NEC Corporation 2024

NEC Proprietary３．同期型CPSでのネットワーク技術
時空間ダイナミックフロー制御技術

QoE指向時空間ダイナミック無線リソース制御
End to End QoEコントローラと連携する時空間ダイナミックスライシング／フロー制御技術
NEC

ネットワーク状態推定

End to End QoE
コントローラ• 高速・ロバストな通信品質の推定／予測• 通信品質変動を吸収する無線リソース割り当て

東京大学

単体RATの機能拡張

時空間ダイナミックスライシング技術

NEC

時間的周波数スライス
空間的高分解能スライス• 高周波数への動的信号変換• 高周波数領域での高い空間分解能

複数RATの使いこなし

時空間ダイナミック
フロー制御技術

QoE予測
スライス間交渉

無線通信仮想化• 複数RAT収容アーキテクチャ• RATの状態評価／可視化• シームレスRAT切替え

KPI:
・高空間分解能: ～1m2・制御周期の短縮: 10ms以下(静止時)、30ms以下(移動時)

目的：
単体RATによる面的通信サービスの向上

目的：
システムレベル(複数RAT)での低遅延通信の高信頼化
QoE（Quality of Experience）は、アプリケーション品質を意味する

15© NEC Corporation 2024

NEC Proprietary

時空間ダイナミックフロー制御
End to End QoEコントローラと連携し、ユーザが意識せず、自動で最適経路を選定• 高速性、リアルタイム性が必要なアプリケーションを同時に効率的に収容• 安定した短周期サイクリック通信を実現

クラウドサーバ
インターネット/閉域網

ダイナミックフロー
制御SW

L3 Switch

仮想化
Gateway

L2 Switch
無線LAN

End to End QoE
コントローラと連携（ネットワーク状態推定）

ローカル5G

AP

gNB

IF

IF

端末
16

© NEC Corporation 2024

NEC Proprietary

5GC/EPC

5GC

ControllerAP

キャリア5G/LTEIF
ダイナミックフロー
制御SW

gNB/
eNB

gNB

IF

IF

端末

IF
ダイナミックフロー
制御SW

gNB/
eNB

制御通信と映像伝送の動的経路分離
性能要件が異なるアプリケーション毎に無線経路を動的に変更
映像／制御が同一経路制御通信(Ethernet IP）と映像伝送が混在する環境評価条件（移動時）：デバイスのNW IF：WiFi x 2＋ローカル5G(L5G)
映像データ(上り)：UDP、HD 1280x720 30fps、Motion JPAG、スループット約10Mbps
制御データ(下り)：Ethernet IP(UDP)、周期30ms、4回連続失敗(120ms)でエラー

映像データ(大容量)制御データ(低遅延)

カメラの映像表示

経路毎の予測PLC(スレーブ)ネットワークカメラ
経路選択デバイス
PLC(マスタ)

アプリケーション(PLC制御、ネットワークカメラ)を使用した評価環境
17© NEC Corporation 2024

NEC Proprietary

制御通信と映像伝送の動的経路分離
性能要件が異なるアプリケーション毎に無線経路を動的に変更
映像／制御が同一経路制御通信(Ethernet IP）と映像伝送が混在する環境

映像／制御分離評価条件（移動時）：
デバイスのNW IF：WiFi x 2＋ローカル5G(L5G)
映像データ(上り)：UDP、HD 1280x720 30fps、Motion JPAG、スループット約10Mbps
制御データ(下り)：Ethernet IP(UDP)、周期30ms、4回連続失敗(120ms)でエラー

映像データ(大容量)制御データ(低遅延)

カメラの映像表示

経路毎の予測PLC(スレーブ)ネットワークカメラ
経路選択デバイス
PLC(マスタ)

アプリケーション(PLC制御、ネットワークカメラ)を使用した評価環境
18© NEC Corporation 2024

NEC Proprietary

アプリ毎経路の予測

時空間ダイナミックフロー制御の評価結果
制御通信(Ethernet IP）と映像伝送が混在する環境で安定な通信を実現◼ QoE指向型制御：映像データ(干渉源)とPLC制御信号の経路を自動分離⚫PLC制御信号単独の場合と同等の遅延性能（標準偏差）まで改善⚫制御データのエラー頻度45%減、受信間隔の標準偏差59％減(制御周期30ms)

移動時のデータ

評価中は、 映像データにより帯域占有率が最大20%程度(Wi-Fi)

制御＋映像データ
経路選択制御QoE指向型制御（経路毎の予測）（アプリ毎経路の予測）

0.29回/分

0.16回/分

0回/分

最大値

593ms

170ms

122ms

標準偏差

5.6ms

2.2ms

2.3ms

評価方式
制御データのエラー頻度
PLC制御信号の受信間隔制御データのみ(参考)経路選択制御経路選択制御（制御＋映像）
経路選択制御（制御のみ）
QoE指向型制御（制御＋映像）

移動時のPLC制御信号の受信間隔のCDF
19© NEC Corporation 2024

NEC Proprietary

4．NICTテストベッドの利用
時空間ダイナミックフロー制御技術の広域サービス適用検討

ＮＩＣＴテストベッド検証（時空間ダイナミックフロー制御）◼ 目的：時空間ダイナミックフロー制御技術の広域サービス適用検討◼ 検証：構築コスト削減が可能なエッジ機器（仮想化GW）のクラウドシフトの実現性◼ 実施日： 12/1(金)、 12/6(水)◼ 実施場所：NICT本部(小金井) 5号館、3号館（セミナールーム）

L5GのRU

JGN

持ち込み機材21© NEC Corporation 2024

NEC Proprietary

NEC玉川：武蔵小杉にある玉川事業場
AWS：アマゾンウェブサービス（クラウド）

実証時の様子(3号館セミナールーム)

ＮＩＣＴテストベッド検証（時空間ダイナミックフロー制御）◼ 目的：時空間ダイナミックフロー制御技術の広域サービス適用検討◼ 検証：構築コスト削減が可能なエッジ機器（仮想化GW）のクラウドシフトの実現性◼ 実施日： 12/1(金)、 12/6(水)◼ 実施場所：NICT本部(小金井) 5号館、3号館（セミナールーム）

L5GのRU

JGN

持ち込み機材22© NEC Corporation 2024

NEC Proprietary

NEC玉川：武蔵小杉にある玉川事業場
AWS：アマゾンウェブサービス（クラウド）

実証時の様子(3号館セミナールーム)

クラウドから2拠点への同時接続のデモ動画
AWSからNEC玉川事業場に接続（無線LAN経由）

AWSからNICT小金井に接続（L5G経由）

安定して2拠点と接続できており、100ms以下の遅延性能を維持

23© NEC Corporation 2024

NEC Proprietary各区間の遅延性能◼ インターネット区間も10ms弱の遅延性能が出ており、使用する無線システムによっては、全体の遅延性能への寄与率が大きくなるケースもある

NICT小金井

NEC玉川事業場
AWS
AP(36ch)Application
ClientLTEInternet
GW

JGN GW

IXルータ

仮想化経路
Gateway兼Application NICT L5G GWServerInternetGW

VPN(IPsec)区間 SoftEther <–> SoftEtherAP(52ch)

L5G

Application
ClientVPN(IPsec)区間 SoftEther <–> SoftEtherRAT仮想化(GRE)区間RAT仮想化(GRE)区間

RTT average 37ms

RTT average 10ms
WLAN 3ms
24© NEC Corporation 2024

NEC Proprietary

RTT average 24ms
7ms

4ms

L5G 20~30ms

1ms

テストベッドを利用して◆ 感じたこと◼ 検証に必要な機材、機能、サポートが整備されている。
• 第三者により構築されたNAT等を含むVPN接続の動作が確認できた。

◼ 性能（安定性や遅延）が良い。
• クラウドからのOT制御の可能性を把握できた。

◆ 期待◼ B5G研究者/開発者への評価環境は十分整備されている。今後6Gでアプリケーションとの連携が緊密化すると考えると、ネットワークレベルでの評価のための機能の充実が望まれる。
例）評価用ネットワークのQoS制御、スライス（VPN/ポート単位での特性制御、API整備など）
ネットワーク帯域・遅延等の意図的変動・擬似障害
5G環境での基地局高負荷・多端末時の挙動の擬似、コアネットワーク障害の擬似

ご支援いただいたNICT総合テストベッド研究開発推進センターの皆様に感謝します25© NEC Corporation 2024

NEC Proprietary４．おわりにまとめ◆ 同期型CPSでめざすITとOT融合◼ 現場で個別に動かしていたOT機器のシステムの機能配置を変え、クラウドのデータと計算能力を活用する。
◼ ソフトウェア化による柔軟性で、システム構築、運用管理、保守、更新が効率良く実行する◆ 無線通信を仮想化する時空間ダイナミックフロー制御技術◼ アプリケーションを考慮して通信品質を予測し、シームレスにRATを切り替える（仮想化）◼ 映像伝送との共存環境でサイクリック通信（制御通信）を安定化◆ テストベッドの活用を利用して◼ B5Gの研究者/開発者への評価環境は十分整備されている。今後6Gに向けアプリケーションとの連携が緊密化すると考えると、ネットワークレベルでの評価のための機能充実を期待27© NEC Corporation 2024

NEC Proprietary謝辞

本研究成果の一部は、国立研究開発法人情報通信研究機構（NICT（エヌアイシーティー）)の委託研究（JPJ012368C01201）により得られたものです。

28© NEC Corporation 2024

NEC Proprietary