NTTコムの Beyond 5G 高信頼仮想化環境を活用した実証・研究開発
2022年12月5日

NTTコミュニケーションズ株式会社© NTT Communications Corporation All Rights Reserved.

アジェンダ1. 次世代高信頼NFVの仕組み・機能と可能性
2. 次世代高信頼NFVを利用した検証
3. 光ホワイトボックス環境を利用した検証

イノベーションセンター

小原泰弘

ビジネスソリューション本部

杉島綾子

ビジネスソリューション本部

三川荘子＜B5G高信頼仮想化環境＞（発表1,2）（発表3）© NTT Communications Corporation All Rights Reserved.

21. 次世代高信頼NFVの仕組み・機能と可能性
イノベーションセンター 小原泰弘

© NTT Communications Corporation All Rights Reserved.

3

次世代高信頼NFV（NFVEC）とは次世代仮想化サービス環境：• 次世代高信頼NFV• ソフトウェアルーター• 仮想測定器• 帯域制御機能

NFVとは：• Network Function Virtualization
高信頼とは：• 可用性/Availabilityにフォーカス
次世代高信頼NFV：• DPDKを実現する、オープン技術ベースのオンプレクラウド環境。
利用技術：• x86 PC / SSD / ソフトウェアRAID/ Linux / KVM / Qemu / Libvirt /Mellanox 100GbE NIC / OVS© NTT Communications Corporation All Rights Reserved.

サーバ

サーバ

サーバ

サーバ

DB

DB

ルータ/LB

ルータ/LB

札幌

北陸
福岡

阪⼤

堂島

仙台
⼩⾦井

名古屋

⼤⼿町①

⼤⼿町②

4

次世代高信頼NFV（NFVEC）とは次世代仮想化サービス環境：• 次世代高信頼NFV• ソフトウェアルーター
サーバ• 仮想測定器
サーバ• ネットワーク単位のマイグレーション。
• 帯域制御機能
DB

サーバ
サーバ

DB
• ユーザ目線で設定や移行が簡単になるだろう
ルータ/LB
ルータ/LB• 仕組み：
NFVとは：• イメージ：接続を切断して、VM移行し、移行先で接続を修復• Network Function Virtualizationする。
高信頼とは：
札幌• 可用性/Availabilityにフォーカス• 過去のルーターマイグレの論文と比較して、原理は同じだが、こちらのほうが良いデザインだろう。

北陸
仙台
次世代高信頼NFV：• オープンテクノロジーベースの分散オンプレクラウド。
• DPDKを実現する、オープン技術
阪⼤⼩⾦井
福岡
•
分散した拠点で、自由度の高い装置・技術が使える。
ベースのオンプレクラウド環境。
• CPU、メモリ、Ubuntu Linux、ソフトウェアRAID付きストレー
利用技術：
ジ、100Gイーサネット、KVM/Qemu/libvirt。
• x86 PC / SSD / ソフトウェアRAID
名古屋
堂島
⼤⼿町①
⼤⼿町②
/ Linux / KVM / Qemu• / シンプル。
Libvirt /Mellanox 100GbE NIC / OVS© NTT Communications Corporation All Rights Reserved.

5

次世代仮想化サービス環境 – 次世代高信頼NFVサーバ
項目

搭載数

備考

品名Supermicro SYS7049PTRT-DP8280L-SVR

CPUIntel(R) Xeon(R) Platinum 8280L CPU
28C/56T 2.7GHz 38.5M 10.4GT/s 205W

2

1台あたり論理コア：112

Memory128GB DDR4-2933 ECC 3DS RDIMM

16

総メモリ: 2048GBStorage

SSD 3.84T STATA

8

システム用1本、データ用
RAID6構成6本+スペア1本

OSUbuntu Server 20.04 LTS

NetworkIntel X722 10Gbase-T (onboard)
Mellanox Technologies MT27800 100GbE (PCIe)24

PCIカード4基 x 2口

• ストレージはソフトウェアRAID構成で特定のRAIDカードを単一障害点としない構成• データ領域はRAID6構成とスペアディスク1本とであわせてSSD3本分の耐障害性を実現
前面© NTT Communications Corporation All Rights Reserved.

背面6次世代仮想化サービス環境 – 次世代高信頼NFVスイッチ
項目

搭載数

品名

Edgecore Networks AS7726-32X

NetworkOS

Edgecore SONiC 202006.4 2021 June

Port

40G/100G(QSFP+/QSFP28)

32

100/1000-TX(Management)

1

Serial Console Port(Management)1

備考

スイッチング容量

6.4Tbps

PowerPower Module

2

冗長構成

Fan

Fan Module

6

複数構成

前面

背面
© NTT Communications Corporation All Rights Reserved.

7

BGP Unnumbered IP Clos とはData Center Networking (DCN) 技術• サーバ間の横（水平）通信について、BGPおよびマルチパスを使った広帯域化を実現できる。次世代
高信頼NFVの場合では 400Gbps。

AS-(64512+X)
10.255.X.1

nfvec-sw-1

nfvec-sw

nfvec-sw

AS-(64512+X)
10.255.X.2

nfvec-sw-2

nfvec-sw

nfvec-sw• スケーラビリティが高い。
• 対象物（ノード、IP経路、パス数）が増えても、システムが問題なく自動で動作する。
• スイッチ、サーバ、回線を増減しやすい。追加、削除が容易。メンテナンス性が高い。
• アクティブ-アクティブの冗長化。負荷分散。

nfvecserver-1

AS-(64512+X)
10.255.X.1

nfvecserver-2

nfvec-sw-1

nfvecserver-3

BGP で FRR で 、マルチパスを簡単に管理。

nfvecserver-4

nfvec-sw-2

ファブリック：
布地。編み込み。
つまりマルチパス

AS-(64512+X)
10.255.X.2

最先端技術の開発、利用：• Kamuee開発により、サーバ自身が IP Clos（DCN）に DPDK で参加する新しい利用形態が実現された。
• 先端技術開発の実践の一例、具体例。
© NTT Communications Corporation All Rights Reserved.

nfvecserver-1
ipclosAS-65XX1
10.255.X.11

nfvecserver-2
ipclosAS-65XX2
10.255.X.12

nfvecserver-3
ipclosAS-65XX3
10.255.X.13

nfvecserver-4
ipclosAS-65XX4
10.255.X.14
8

次世代高信頼NFVの仕組み◀実際の設計時のメモ・多層マネジメントセグメント。
マネジメントも広帯域。
何種類もアクセス手段がある。

・サーバ内はソフトウェアベースネットワーク。
代表ルーターVM。OVS仮想接続。
・IP Clos部分。
部分的に回線を外せる。

© NTT Communications Corporation All Rights Reserved.

9

マイグレーション
工事を回避するために、VMをマイグレーション。
2022/09/15: 小金井拠点の停電のためにベータユーザのVMを小金井拠点から北陸拠点に移行した。
事前・事後の一時間弱ずつの停止により、丸一日のサービス停止を回避した。（オフラインマイグレーション）
スクリプトを開発済み。スクリプト実行一発で。
移行先の拠点から、/32の経路をイントラネット内にBGPで広告。
（*スクリプト未対応）

インフラ側では既にこのような「移行機能」を多数活用。
今後もVMの移行にかかる時間を短縮していく。（高度化開発）• オンライン・ライブマイグレーション• マルチパス・マルチセッション（並列化）• シングルセッション性能向上化（TCP(scp) スロースタート変更）• アプリのDPDK化(?)© NTT Communications Corporation All Rights Reserved.

10バックアップ
毎夜、自動でVMをバックアップ。
Qemuスナップショット機能を使ってディスクI/Oを分離。オンラインでディスクバックアップが取れる。
バックアップ後にディスクの差分をマージ。
daily x 7、weekly x 4、monthly x 12。
VMごとに、daily、weekly、monthly を取るか取らないか設定可能。
バックアップは2拠点（NTT大手町と、福岡）で取得される。

© NTT Communications Corporation All Rights Reserved.

11

拠点間 VM pktgen 8000B で 37Gbps
以下で拠点間 37Gbps の通信帯域を実測• 拠点間：kote-ndojima• VM間。IPClos、kamuee、AS7726(Sonic)、拠点間JGN回線などを経由。
• DPDK pktgen jumbo-frame 8000B。

今後もっとチューニングして伸ばしていく。（その余地がある）© NTT Communications Corporation All Rights Reserved.

12循環進化 / 高度化開発
循環進化とは：devops 的フィードバックループの回転を経て発展していくもの（と理解しています）
循環進化（の小型版）を推進中です。
• 技術者として、ユーザとして、（コム（IC）から）アドバイスを実施。
• 受注者（コム（SS））で高度化開発を実施。
• 実施してみて、修正する。
• 設計（デザイン）変更も多数実施。
今後、次世代高信頼NFVのユーザからの要望も勘案して、より良い循環進化を。

© NTT Communications Corporation All Rights Reserved.

132. 次世代高信頼NFVを利用した検証
ビジネスソリューション本部 杉島綾子

© NTT Communications Corporation All Rights Reserved.

14

次世代高信頼NFV×医療・福祉・介護
南海トラフなど将来想定されている大規模災害発生時、被災時には医療情報の確実な利用が求められる。
大規模災害に備え、耐災害に優れた全国複数拠点への分散共有、復旧可能なネットワーク実現を目指す。

〇実証を通じての確認事項• 医療情報の複数拠点への分散共有、閲覧• 緊急時(災害時)の迅速復旧〇実証スケジュール
STEP1(2022年度3Q～2023年度1Q)：
複数利用者データの分散共有、閲覧
STEP2(2023年度2Q～4Q)：
障害発生時の3拠点間ステーション復旧
STEP3(2024年度1Q～)：
全国複数拠点への分散共有、ステーション復旧〇参加者
NTTコム、高知工科大学、岩手県立大学、高知医療センター含む高知県内の10施設、他© NTT Communications Corporation All Rights Reserved.

15

NTTコムの見据える将来像と次世代高信頼NFVへの期待
今後、医療分野に限らず、様々な機関との接続が求められ、大容量動画データ・AI分析用の大量ログデータの転送要望が増えることを想定する。NTTコムとして、それら時代背景を考慮した実証を今後も進めていくことを見据えている。
そのうえで、次世代高信頼NFVにはさらなる環境の充実に期待します。

他システム

他アプリ

外部接続性の向上
・他ネットワークを介した機関とのスムーズなデータのやりとりや、大容量データを用いた実験が可能な環境・利用可能拠点の拡充などによる、外部接続性の向上に期待します。

© NTT Communications Corporation All Rights Reserved.

ストレージ環境の充実
利用者データ量の増大や、バックアップ頻度の柔軟な設定に対応可能となるよ
うなストレージ環境の充実に期待します。

16

3. 光ホワイトボックス環境を利用した検証
ビジネスソリューション本部 三川荘子

© NTT Communications Corporation All Rights Reserved.

17本検証の目的
IOWN構想の一部となるAPN (All Photonics Network)の実現に向け、伝送システムのノイズ推定シミュレーションを利用することで、伝送路設計をより容易に行うことを目指す。
【IOWN構想とは】⚫ 光を中心とした技術を使って超大容量、低消費電力を実現していくことで、これまでのインフラの限界を超え、あらゆる情報を基に個と全体との最適化を図り、多様性を受容できる豊かな社会を創る⚫ この実現のため、①ネットワークから端末まで、すべてにフォトニクス（光）ベースの技術を導入した「オールフォトニクス・ネットワー
ク」②実世界とデジタル世界の掛け合わせによる未来予測等を実現する③「デジタルツインコンピューティング」、あらゆるものをつなぎ、その制御を実現する「コグニティブ・ファウンデーション」を作ります

IOWNの中でも、下回りの部分における検証を実施します© NTT Communications Corporation All Rights Reserved.

18

背景NTT研究所では、ラインシステムで発生する劣化要因として、ASE雑音、ファイバ非線形光学効果、装置内電気ノイズに着目し、シミュレーションによる計測ができるような研究を実施している。

Coherent Module
DSP

OpticalElectrical noise

Optical device
nonlinearity/impairm
ent𝑖𝑝

𝑆𝑁𝑅 =2𝑖𝑡 + 𝑖𝑠 2 + 𝑖𝑛 2

光アンプによるASEKerr効果による光学非線形効果

光アンプで発生するランダムな自然光が信号光と干渉するために発生するノイズ

信号光が透過する際ファイバの中で分極が発生し、信号光と干渉するノイズ装置の中の電気ノイズ
装置自信から発生する電気ノイズ

図の抜粋：
https://mpls.jp/2022/presentations/mpls2022-Hideki_Nishizawa.pdf© NTT Communications Corporation All Rights Reserved.

19

今回の検証NICTの光ホワイトボックス環境を利用し、NTT研究所で開発されたノイズ推定技術が実際のフィールドにおいて十分な精度が得られるかの評価を行う。実施予定：2023年1月以降© NTT Communications Corporation All Rights Reserved.

20

光ホワイトボックス環境への期待
5G Evolution ＆ 6G時代に不可欠となる大容量伝送、低消費電力を実現する光の技術を導入するため、各社が本検証環境を様々な目的で利用することになると考えます。
B5G時代にメトロエリアで利用が期待されるマルチコアファイバおよび対応伝送装置の導入⇒次世代の大容量伝送に向けた新たな課題抽出、実証実験の実施

Open ROADM / TIP OOPT に準拠した伝送装置⇒伝送装置の機能分離＆マルチベンダ化の実現、オープンな共通APIを用いた一元管
理・自動制御の実現

拠点拡充（遠方の拠点）⇒低遅延、再生可能エネルギーの活用に向けたDCの地方分散を想定

400G-ZR/ZR+やOpen XR対応の光トランシーバの導入⇒IPとOpticalの融合の検証（伝送と通信の融合）

https://www.lumentum.co.jp/ja/products/400g-zrzr-qsfp-dd-dco© NTT Communications Corporation All Rights Reserved.

21

ご清聴いただきありがとうございましたAllAll
RightsReserved.
© NTT
NTT Communications
CommunicationsCorporation
CorporationRights
Reserved.

22