Internet of Data Centers with IOWN APN- IOWN APNによるデータセンタインターネット-

2022年11月
NTT研究企画部門IOWN推進室 川島 正久

Copyright 2022 NTT CORPORATIONWhy

現在のインフラの課題
1. ハイブリッドクラウド、マルチクラウドに関して（Data Gravity問題）
クラウド間で流通させたいデータのサイズはどんどん大きくなるが、クラウド間で達成可能なデータのスループットがそれに追従して向上するわけではない。なので、どんどんデータフローが遅くなる。

2. エッジコンピューティングに関して（大容量低遅延コンピューティングの現実解が不在）「大きなリソースプールを作ってエラスティックに割り当てることでコスト最適化を図れる」というクラウドの利点を台無しにする発想であるので、エッジに配置できるIT機能は極めて限定的となる。また、アプリ提供者は特定キャリアに縛られない形態を望んでおり、通信キャリア毎にキャリアNWに直結したコンピューティングDCを提供する形態は流行りにくい。なので、現状では、5G/B5Gで期待されている大容量低遅延アプリを実現するコンピューティン
グインフラの現実解は存在しない。

3. データセンタの肥大化（Data Center Moratorium問題）
クラウドプロバイダは同一AZ内の通信は同一DC内と同等（スループット、遅延に関して）となるようにインフラを構築する。このため、光ファイバで同一AZ内のDCを相互接続したいが、ダークファイバの調達には時間がかかるし、待っても無理な場合もあるので、大規模なDCの建設が進んでいる。しかし、エネルギー危機のもとで安定的に電力を確保しようとしている地域にとって大規模DCはやっかいな存在となるので、世界の複数の都市でＤＣ新設を禁止する
Data Center Moratoriumが始まっている。

Copyright 2022 NTT CORPORATION

2

Objectives

達成すべきこと（解決すべき課題）
1.Data Gravityに負けないハイブリッドクラウド、マルチクラウドの実現

2. 真にクラウドネイティブな大容量低遅延アプリ向けコンピューティングインフラの実現- ITリソースのプールを生成し、エラスティックに割り当て- アクセスNW,キャリアに非依存

3. DC肥大化を必要としないクラウドサービスインフラのスケールアウト方法の確立

Copyright 2022 NTT CORPORATION

3How"Internet of Data Centers" （日本語：データセンタインターネット ）高速・低遅延・遅延確定的なL1（トランスポートリンク）で拠点間を臨機応変に接続するネットワーク

Internet of DC

これまでのインターネット

L3で相互接続

拠点
LAN

L1で相互接続

ルータ

ルータ

ルータ

拠点
LAN拠点
LANDirect Flight拠点
LAN

Hop-by-Hop

IOWN APNにより実現
Copyright 2022 NTT CORPORATION

4IOWN APN

Copyright 2022 NTT CORPORATION

5APNとは？
エンドポイント間に光波長パスを動的に生成するネットワーク。

Today
DC 1

DC 2

Long lead-time. (Fiber Cross Connect
is available only when the two DCs
belong to the same DC provider).

ROADM
Local Network,e.g., IP Network

OTN/
Ether
MUX

DCO
TRX

ADD/
DROP

WSS

ROADM

Leased Dark Fiber (or Fiber Cross Connect

WSS

DCO
TRX

ADD/
DROP

provided by a DC provider)

Local Network,
OTN/
Ether
MUXe.g., IP Network

APN
APN Provider
APN-I

DC 1

APN-G

Local Network,e.g., IP Network

ADD/DROP

DCO
TRX

WSS

WSS

APN-I
WSS

wavelength connection= virtual optical fiber

DC 2
APN-I
WSS

APN-G
WSS

ADD/
DROP

APN-I

reduced latency and energy consumption

WSS

Local Network,e.g., IP Network
DCO
TRX

See Note

reduced lead-time

Note: One physical fiber can transport 96 (in 50 GHz spacing) or 48 (in 100 GHz spacing) wavelength connections.
The explanation about APN-G (APN Gate) and APN-I (APN Interchange) is given in later slides.
WSS: wavelength-selective switch, DCO TRX: digital coherent optics transceiver
Copyright 2022 NTT CORPORATION

6APN-G (APN-Gate)の定義と構成法
加入者（トランシーバ）収容ノード。OPEN ROADMの標準モジュールの組み合わせで実現可能
Definition

Implementation with standard OPEN ROADM elements
1x1 APN-G

Trunk Links(Links to APN-I)

1x3 APN-G

1x5 APN-G

Trunk Links

Trunk Links

DEGREE

DEGREE

Trunk Links
DEGREE
DEGREE DEGREE

SRG

DWDM-based

SRG

SRG SRG SRG SRG SRG

Access Lines

2x5 APN-G

2x3 APN-G

2x1 APN-G

Trunk Links

Trunk Links
DEGREE DEGREE

DEGREE

Trunk Links

DEGREE

DEGREE

DEGREE

SRG

SRG

DEGREE DEGREE

SRG

Access Lines

Copyright 2022 NTT CORPORATION

SRG

Access Lines

Access Lines

mux/demux andexchange

Access Lines(to transceivers)

SRG

•••

SRG

SRG

Access Lines

SRG

SRG

SRG

SRG

Access Lines

SRG (Shared Resource Group) and DEGREE are elements defined by OPEN ROADM.
An SRG exposes about N (typically 16 or 32) access interfaces
A DEGREE exposes one trunk interface

7

APN-I (APN-Interchange)の定義と構成法
中継ノード。OPEN ROADMの標準モジュールの組み合わせで実現可能
Definition

Implementation with standard OPEN ROADM elements
DEGREE
DEGREE

DEGREE

DEGREE

4-Degree APN-I
DEGREE

DEGREE

DEGREE

DEGREE

DEGREE

DEGREE

Copyright 2022 NTT CORPORATION

3-Degree APN-I
DEGREE

DWDM-basedexchange

6-Degree APN-I

DEGREE

2-Degree APN-I

DEGREE

DEGREE

Trunk Link
(Links to another APN-I)

5-Degree APN-I

6-Degree APN-I

8-Degree APN-I••

DEGREE is an element defined by OPEN ROADM.
A DEGREE exposes one trunk interface8トポロジ設計の自由度
OPEN ROADM標準部品を組み合わせながら、いろんなポート数のAPN-G, APN-Iを構成できるので、サービスプロバイダが自由にトポロジ設計をできる。
Star

MeshRing
2+NgDEG.
APN-I

2+NgDEG.
APN-I

2+N-DEG.
APN-I

2+NgDEG.
APN-I

2xN
2xN
2xN
APN-G APN-G APN-G

5+NgDEG.
APN-I

2+NgDEG.
APN-I

2+NgDEG.
APN-I

2xN
APN-G

5+NgDEG.
APN-I

1+N-DEG.
APN-I

5+NgDEG.
APN-I

5+NgDEG.
APN-I

2xN
2xN
2xN
APN-G APN-G APN-G

Ng: APN-IにぶらさげるAPN-Gの数
Copyright 2022 NTT CORPORATION

5+NgDEG.
APN-I

5+NgDEG.
APN-I2xN
APN-G

1+DEG.
APN-I

6-DEG.
APN-I

1+NgDEG.
APN-I

2xN
2xN
2xN
APN-G APN-G APN-G

1+N-DEG.
APN-I

1+N-DEG.
APN-I

1+NgDEG.
APN-I

2xN
APN-G

9

Internet of APNs
誰でも市中製品を活用してAPNを構築し、サービスを提供可能。
なので、今のインターネットのように、いろんなプロバイダによるAPNを相互接続しながら、大きなネットワーク空間を形成することが可能。
APN Provider APN-I

A

Wavelength
Conversion
Node

APN-I

APN Provider

B

Wavelength
Conversion
Node

Wavelength conversion is achieved with demodulating and re-modulating opticalsignals. As it is costly, it should be conducted only when the two providers could not
find a common empty wavelength channel.
NTTとしての競争戦略は？ というご質問に対して：自動車にたとえると、「ベーシックな自動車」、「オートマ車」、「自動運転車」という技術の高度さについてグレードがあり、「ベーシックな自動車」自体はできるだけ多くの国、企業で製造できるようにした方がコストが安くなり、市場がでかくなって良い。そのうえで、各社は「自動運転」など、より高度な技術の開発で競争すべきと考える。
APNも同じ考え方でいくべき。そうしないと市場が大きくならないし、異キャリア冗長化できないようなNW方式では採用されない。
Copyright 2022 NTT CORPORATION10IOWN APNによるInternet of Data Centersのメリット

Copyright 2022 NTT CORPORATION

11ハイブリッドクラウド・マルチクラウド
Web
アプリ
業務アプリ

AI
アプリ

AWS

OracleAzure

IOWN APN
as

各社のクラウドダイレクトのGWポイントをIOWN
APNにつないでおけば、企業DCをIOWN APNにつなぐだけで、企業DCと各社クラウドとを高速低遅延に接続できる。

企業DCとクラウドとの接続は波長による仮想パスなので、時間課金等、オンデマンドニーズに対応した料金体系も実現可能。

Internet of Data Centers

企業DC

Copyright 2022 NTT CORPORATION

想定ユースケース・大事なデータは企業DCにおいて、クラウドサービ
スプロバイダの最新のAIプラットフォームを使う
・データマネジメント、アプリ、等によってクラウドサービスを使い分ける
Confidential
Data

12

エッジコンピューティング
pub-sub, smart preloadingAI
アプリ

データベース/ストレージ

キャッシュ

企業DC

AIアプリのあるDC

IOWN APN
asInternet of Data Centersbulk update,etc

データ収集
アプリ

データ収集
アプリ

データ収集
アプリ

C社MEC DC

A社MEC DC

企業DCをInternet of Data Centersにつなげば、各通信キャリアのMECとRTT 1 msec以内でつながる。無線空間のRTTはもっと大きいのが通常なので、RTT １msecの追加は無視できるはず。
MEC DCは、膨大数の端末からのデータを集約、整流するのに必要。（具体的には、UEとのTCP/IPを終端して、インメモリDBに更新して、定期的に企業DCへ更新内容をまとめて送る）
データをまとめたり、形式変換するのに必要。

B社MEC DC

Copyright 2022 NTT CORPORATION

13クラウドサービスインフラのアジャイルな拡張
DC２
DC1
DC3

IOWN APNをDC相互接続のインフラとすれば、新たなDCを追加するときには、新設DCをIOWN APNにつないで波長パス設定するだけで、新設DCと既設DCとのメッシュ接続を短期に実現できる。（今は、何本ものダークファイバの調達が必要）

IOWN APN
asInternet of Data Centers

DC4

DC 6(New)

クラウドサービス事業者目線での話：
クラウドサービス事業者は、関東首都圏等、同一エリア内のDCを論理的に一つのDCとしたい。なので理想的には同一エリア内のDCを大容量低遅延リンクでメッシュに相互接続したい。

DC事業者目線での話：
事前にDCをIOWN APNに接続しておけば、クラウドサービス事業者は波長パス設定だけで、新規DCの利用を開始できるので、収入が入るタイミングが早まり、投資回収期間が短くなる。
（マンションインターネットと同じ論理）

DC 5

Copyright 2022 NTT CORPORATION

14

Hyper-scaleからAcceptable Scaleへの移行
IOWN APNをDC相互接続インフラとすれば、新設DCと既設DCとのメッシュ接続もソフトウエアスピードでできるようになるので、大規模なDCを一カ所に建設する必要はなくなる。

DC
DC

DC

クラウド事業者にとっては、よりリーンいインフラ運用できるので、良いはず。

IOWN APN

asDC

DCInternet of DataCenters

DC

DC
DC

また、DC事業者にとっても、ハイパースケールは用地確保、電力会社との交渉に時間がかかるので、こっちの方が良いはず。
結果的に、単位面積あたりの電源需要（MW/km2)を平準化でき、再生可能エネルギーの利用率を向上
電力消費量 >> 再生エネルギー供給量

電力消費量 << 再生エネルギー供給量（出展）令和元年版 環境・循環型社会・生物多様性白書

Copyright 2022 NTT CORPORATION

15

成功イメージ••

ハイブリッドクラウド、マルチクラウドでも、システム間のデータフローが活性化
ＩＴ資源の分散、キャリア縛り等に阻まれることなく、大容量低遅延アプリによるサービス市場が発展
Cloud Service Provider's DC

XaaS DCIOWN APN
as"the Internet of Data Centers"Enterprise DC
MEC DC
Storage

Computer

みんなでこの世界を実現しましょう！！
Copyright 2022 NTT CORPORATION16APNの本質
APNの本質は光ファイバの仮想化。
顧客が自分の設備を仮想化しようとしているのに、L1でインタコネクトする必要がある設備（DC、無線基地局）についてはNWの仮想化ができず、顧客の設備の仮想化の効果を阻害していた。この問題を解決するのがAPNによる光ファイバの仮想化

光ファイバの仮想化

顧客設備のNWの仮想化

DCI回線の仮想化

モバイルフロントホールの仮想化

顧客設備の仮想化

DCの仮想化→AZ

無線基地局の仮想化→vRAN

Copyright 2022 NTT CORPORATION○○〇の仮想化

17

課題
1. オール光でスケールフリーなネットワークは作れない•••

オール光で個別chの波長変換はできないのでIPのAS, Border Gatewayに相当する整理がAPNにも必要
そのうえで、Border Gawatewayで低電力消費に波長変換する技術が必要

2. トランシーバを任意のユーザ拠点に配置するための機能がまだ不足
・・・

現状はユーザシステムを信頼できることが大前提 →NWからの自動コンフィグ（光のDHCP)も必要
波長パスの生死、品質（信号損失等）の監視も必要

トランシーバの認証が必要だろう

3. いろんな拠点間でオンデマンドに接続するための機能が不足
・

波長パス設計、トランシーバパラメータの最適化の自動化

4. 従来のパケットネットワークでは「できて当然」の機能の整備
・・

プラグアンドプレイ（DHCP）、HA冗長化、LB（光ポート仮想化）…
Customer Branching： 顧客がハブをつかってどんどん分岐回線を作れる仕組み

5. Point-to-Pointリンクのパラダイムから脱却できないトランシーバ
・ 一波長毎にプラガブル光トランシーバを用意してポートにさすので、光ポート仮想化ができない
６. DWDMトランシーバの価格がまだ高いという課題はあるが、信頼できるユーザ拠点を対象に、事前に通信品質を確認することを前提として、小規模にサービスを開始することは可能。なので、早期にサービスを開始して、市場での知見獲得、新規ユースケース創造を促していく。。
Copyright 2022 NTT CORPORATION

18

IP/Optical Hybrid Networking with APN
今後、業界でこの話題がホットになると予想。
IP/Optical Convergenceは目指さない。高速バイパスの追加＝Hybridを目指す
All Photonics Network Plane

High capacity, Low Latency, High Energy Efficiency

APN-I
WSS

APN-G

splittersplitter

ADD/DROP

WSS

APN-I
APN-I
WSSWSS

APN-I
WSS

Flexible Bridge

ToR
ToR

OTN/Ether
MUX

DCO
TRX
DCO

Leaf

ToR

TRX

Spine

ToR
ToR

DCO TRX: Digital Coherent Optics Transceiver
ToR: Top of Rack

DCO
TRX

RouterDCO
TRX

Router

DCO
TRX

Leaf

ToR

Spine

ToR
ToR

Leaf

ToR

Spine

ToR
ToR

Leaf

ToR

Hop-by-Hop Packet Network Plane
Copyright 2022 NTT CORPORATION

19

まとめ
• 現在のインフラの課題• Data Gravityによりハイブリッドクラウド、マルチクラウドではデータの巡りが悪くなる• 大容量低遅延コンピューティングの現実解が不在• データセンタが肥大化する一方で、社会はそれを抑止しようとしている• 提案： Internet of Data Centers with IOWN APN• Data Gravityに負けないハイブリッドクラウド、マルチクラウド• 大容量低遅延コンピューティングの現実解（コンピューティングDCとMEC DCとを相互接続）• キャリア非依存なエッジコンピューティング（APNもInternet of APNになれば）• クラウドサービスプロバイダのDC増設について、アジリティを実現• 面積あたりの電源需要(MW/km2)を平準化し、再生可能エネルギーの利用率を向上• APN• APNのNWノードは既存ROADM製品で構築可能• ただし、任意のユーザ拠点の収容、任意の拠点間のオンデマンド接続、には課題あり• でも、信頼できるユーザ拠点を対象に、接続には事前調整必要、という前提でサービスは可能• IP/Optical Hybrid Networking with APN• Convergenceは目指さない。高速バイパスを追加する
Copyright 2022 NTT CORPORATION

20

最後に
みんなで

Internet of Data Centersをつくりましょう

Copyright 2022 NTT CORPORATION

21