特集

グローバルパートナーと紡ぐ IOWN 構想

クッリト
データセン

IOWN

DCI

IOWN Global Forum における次世代コンピューティング基盤の検討
インターネットやクラウドコンピューティングによってもたらされますたにたさまざまな技術革新によって社会のあり方が大きく変わってきてい益谷

ます．今後は，より一層のデータ活用とAI（人工知能）による高度なサービスが次々と登場することが期待されます．これらのトレンド

ひとし仁士

†1

シューマッハーを支えるためには，デナード則などのデータ処理能力の限界に対するしみず

抜本的な解決と，ESG/SDGs の要請によるエネルギー消費削減との両クリストフ†2

けんじ立が必要となります．このような背景の下，IOWN Global Forum では，

清水

新しいコンピューティング基盤として，Data-Centric Infrastructure

NTT ネットワークサービスシステム研究所† 1

Functional Architecture を規定し，その初版となるドキュメントをリリー

コンピューティング基盤
I OWN Global Forum（IOWNGF）では，ネットワークやコンピュー†3

NTT ソフトウェアイノベーションセンタ† 2スしました．本稿では，このドキュメントについて解説します．

DCI がめざす

健司

NTT 未来ねっと研究所† 3

AI（人工知能）処理専用などを包含し，これらのリソースは，後述するサービス事業者向けの API を通じてアプリ
ケーションの動作環境として提供され現在のコンピューティングアーキテクチャとのギャップDCI のデザインゴールを設定するた
め，IOWN GF がめざすユースケースるとしています．

ティングを含めた全体アーキテクチャを実現するための要件に対して，既存が規定されています（図 1 ）．このう技術とのギャップ分析を実施し，課題

ちデータセントリックインフラストラ
クチャサブシステム（DCI）はオールフォトニクス・ネットワーク（APN）により実現される光ネットワーク上で構築される，コンピューティングとネットワークからなるサブシステムとして定アプリケーション
オーケストレータ

アプリケーション
機能ノード

アプリケーション
機能ノード

アプリケーション
機能ノード

エンドツーエンドのデータパイプラインを実現する分散コンピューティングとネットワーク環境

義されており，さまざまなユースケースを実現するためのアプリケーションが動作する情報処理基盤となっていま

データセントリック
インフラストラクチャ
サブシステムす．DCI では，分散配置された複数の異なるコンピューティングリソース（CPU，メモリ，FPGA，GPU など）

インフラ
オーケストレータと，さまざまな QoS を提供するネットワークとを組み合わせて，アプリケーションを動作させるための環境を提供することを目標としています．DCI がオープンオールフォトニクス・ネットワーク

想定する異種のコンピューティングリ
ソースは，汎用的な計算処理に加え，

図１

IOWN Global Forum アーキテクチャ概要

2022.317

特集

グローバルパートナーと紡ぐ IOWN 構想が次のとおり記載されています．

アーキテクチャ問題の検討が必要であ■スケーラビリティに対する課題ることが述べられています．

さまざまなユースケースを実現する
異なる要件を持つアプリケーションは，なアーキテクチャ⑥

IP と非 IP 間のデータ交換などのゲートウェイ機能を提供する

デザインゴール

アーキテクチャ

それぞれの情報処理に適したコン

前述の既存アーキテクチャとの上記の 6 つのデザインゴールを元

ピューティングリソース，メモリ，入ギャップ分析をふまえ，次の DCI のに，DCI アーキテクチャを設計する上出力の要件があります．これらのアプデザインゴールが規定されています．

で前提とする，DCI，APN，既存ネッ端末からエッジクラウドに至るトワークとの関係が図 2 のように示さには，それら処理に適した各リソースまでの環境においてスケーラビリれており，端末から DCI へのアクセを無駄なく割り当てていく必要がありティを考慮したアーキテクチャ

スには 2 つの手段があることが分かりリケーションを効率良く収容するため①

CPU 以外の異なるコンピューます．つまり，APN にダイレクトにた従来型のコンピューティングでは異ティングリソースが利用できる接続するパターンと，従来のネットワーなるサーバごとのリソースをかき集めアーキテクチャ

クスタックを有する端末もサポートすますが，現在のサーバ筐体を中心とし②高速な光ネットワーク上でユーることを想定し，既存ネットワークをうことが述べられています．

スケースを構成するアプリケー経由して DCI へアクセスするパター■パフォーマンスに対する課題

ション間のデータ転送を効率化す

ンの 2 つのパターンが記載されていまるデータパイプラインの実現

す．て効率的に結合することが難しいとい③

アプリケーションは多種多様に存在し，その中でもレイテンシやジッタに④GPU や FPGA などの異なる種

DCIクラスタ

対する要件が厳しいアプリケーション類のコンピューティングリソースがありますが，それらを既存のサーバ，間で不要なデータコピーを排除しデザインゴールを元に，コンピューベストエフォート型のネットワークでた効率的なデータ共有を可能とす

ティングとネットワークリソースとを実現する場合，それらの要件を満たするアーキテクチャ

適切な単位でアプリケーションの実行

高速・大容量に加え，帯域予約環境としてユーザに提供するために，ケースを実現できないという問題があ型，低レイテンシ，低ジッタといっ

DCI ア ー キ テ ク チ ャ で は，Logicalります．よって，このような要件の厳た異なる QoS を同時に提供可能Service Node（LSN）が定義されように設計されていないため，ユース⑤

しいアプリケーションも最初から考慮したコンピューティングとネットワー

インフラの管理とオーケストレーション機能

キングに関するアーキテクチャ設計が求められるという課題が提起されています．

■エネルギー消費に関する課題
前述のスケーラビリティに関する課
題に関連して，さまざまなリソースの割当て効率的にできなければ，無駄なリソースが使われないまま電力だけ消費されてしまいます．よって，さまざ
まなリソースの利用の効率化と併せて，IOWN GF で志向しているエネル
ギー消費の効率化を両立する新たな182022.3

例：- モバイルネットワークにおける無線ユニット- センサやカメラ- キャプチャデバイス

データセンタ

データセンタ

DCI
クラスタ

DCI
クラスタ

通信端点

Open APN

APN経由で直接DCIへ接続する方式

外部ネットワーク

通信端点
外部ネットワーク経由でDCIへ接続する方式

図2

DCI クラスタと OpenAPN の接続構成

DCI
クラスタ

特集ています．LSN ではハードウェアレ・コンピューティングノードの基本

異種コンピューティングリソース

ベルで論理分割されたリソースがユー単位を示します．このノードは従間で，同じデータを共有することザに提供されます．この LSN を提供

来のサーバに搭載されていたマになるため，そのデータの更新をするためには，複数のコンピューティ

ザ ー ボ ー ド に 加 え，FPGA やそれらリソース間で同期をとる必

ングリソースとネットワークリソース

GPU といったさまざまな異種の要があります．そこで，従来のから適切な組合せを選択して提供するコンピューティングリソースを提PCI express バスに加え，将来必要があります．そこで，DCI アーキ

供するアクセラレータを複数搭載

的には Compute Express Link

テクチャでは，DCI クラスタが定義さすることを前提としたアーキテク（CXL）のようなキャッシュコヒーれました．

チャとなっています．また，そのレンシ＊ 1 を考慮した新しい内部バ■ DCI クラスタの構成要素

異種コンピューティングリソース

ス仕様も考慮し記載されています．

構成要素は，DCI ノード，ノード間間でのデータのやり取りを実現すインターコネクト，DCI ゲートウェイるために，ノード内インターコネからなります（図 3 ）．

クトが定義されています．

①

DCI ノード・ノード内インターコネクト上では，＊1

キ ャッシュコヒーレンシ：メモリなどの共有リソースを複数のクライアントで読み書きする場合，各クライアントが持つデータの更新（キャッシュ）とその元のメモリ上のデータとの一貫性を保つことを指します．

DCIクラスタ
DCIノードDCIノード
アクセラレータ
カード（I/O機能付）

マザーボードCPU

DCIのコントローラ
機能とテレメトリ機能

メモリ

アクセラレータ
カード

ネットワークI/O

HW
アクセラレータ

HWアクセラレータ＋NWオフロードメモリ

メモリ

ノード間インターコネクト

ノード内インターコネクト
アクセラレータ
カード

アクセラレータ
カード

アクセラレータ
カード

メモリ

メモリ

メモリ

HW
アクセラレータ

NWオフロード

HWアクセラレータ＋NWオフロード
ネットワークI/O

ネットワークI/O

DCIゲートウェイ

Open APN または，外部ネットワークへ

図3

DCI クラスタの構成例

2022.319

特集

グローバルパートナーと紡ぐ IOWN 構想

ノード間インターコネクトに I a a S（I n f r a s t r u c t u r e a s a

ま す．IOWN GF に お い て 先 行 タ ー・従来の Top Of Rack スイッチ相Service）のような形式でテナントとゲットとするユースケースは，RIM当に位置するネットワーク装置でして提供される DCI IaaS が定義されのドキュメント（1）にまとめられており，す．異なるQoSを持つネットワーています（図 4 ）．サービス事業者はサイバーフィジカルシステム（CPS）

クを収容することを想定し記載さテナントとして払い出された LSN とのユースケースでは，エリアマネジメれており，詳細な技術仕様は今後その間を中継するネットワークの上に，ント（AM）を実現するためのデータ検討されることになっています．

サービス提供に必要なミドルウェア・パイプラインが記載されています．例

アプリケーションをデプロイし，それえば，各地域に設置された1000台のモ・APN と DCI クラスタを中継するらを介して最終的にエンドユーザにニターカメラ映像をローカルアグリネットワーク装置です．ノード間サービスを提供します．サービス事業

ゲーションノードで一度集約し，さらインターコネクト同様，異なる者が DCI インフラを利用する際に必に各地のローカルアグリゲーション

QoS に対応する必要があり，詳要となる，DCI IaaS 向けのサービス

ノードから集約した膨大なリアルタイ

細な技術仕様は今後検討されるこAPI も定義されています．例えば，ムデータを，地域エッジクラウドで常とになっています．

DCI アーキテクチャの主要コンポーネ時 AI 分析し，モニターエリアにおけ■ DC クラスタ向けコントローラ

ントである LSN について，生成，設る警告情報などを，即座に現地のセ

上記の DCI クラスタの要素である定，起動，停止などを制御する API がキュリティスタッフ等に通知するシナ

定義されています．

リオが定義されています（図 5 ）．

②③

DCI ゲートウェイ

DCI ノード，ノード間インターコネク
ト，DCI ゲートウェイは，DCI クラスタコントローラに制御されます．DCI
クラスタコントローラは，オーケスト

各データフローは異なる転送性能のIOWN GF ユースケースを実現するデータプレーンの分析

要件を持ちますが，異なるデータプレーンを通ることになるため，その分類をレータから依頼を受けて，必要な要件さまざまなユースケースを分析する

行ったうえで，データ転送の高速化がを満たす LSN の起動・停止などのラと，「データの流れ」と，「データを処必要なデータプレーンを抽出する必要イフサイクル制御を行います．DCI ク

理するコンポーネント」に整理するこがあります．例えば，DCI ノード内でラスタコントローラは，DCI クラスタとができ，それらを接続したデータパあれば，ノード内インターコネクト，の外に存在し， 1 つの DCI クラスタコ

イプラインとして表現することができ異なる拠点間の DCI ノード間であれントローラが制御する DCI クラスタの数に制約は設けられていません．

DCI Infrastructure as aService（DCI IaaS）

アプリケーションサービスのマネジメントとオーケストレーション機能（サービス事業者により提供）

アプリケーション環境
テナント環境

DCI アーキテクチャで定義された
LSN，APNで定義される光ネットワー
ク， さ ら に 今 後 議 論 さ れ る 予 定 のFDN
＊2

20

＊2をまとめて，サービス事業者

F DN（Function Dedicated Network）：
IOWN GFでコンセプトが提案されており，APNやその他の物理ネットワークで構成されたレイヤの上に構成される論理ネットワー
クという定義がドキュメントの中でされています．

2022.3

DCI IaaS APIs

LSNs, FDNによる論理NW, 光パス

インフラの管理機能とオーケストレーション機能（DCIインフラを提供する事業者により提供）

DCIクラスタ，FDNによる論理NW，Open APN

マネジメントとオーケストレーションのレイヤ

アプリケーション環境を実現する
ネットワークとコンピューティングのスタック構造

図4

DCI IaaS のサービスモデル

特集

CPSエリアマネジメントのユースケースにおけるデータパイプラインの例
モニターエリア

DCIクラスタ（地域エッジ）

ローカルアグリゲーション
ローカルアグリゲーション
ノード
ノードとインジェッション
ノード間のデータフロー
デバイス-ローカルアグリゲーションノード間のデータフロー

カメラ，センサなどのデバイス

図5

インジェッションノード

DCIクラスタ（セントラルクラウド）

データハブ

異なるデータハブ間のデータフロー

インジェッションノードとデータハブ間のデータフロー

データハブ

インテリジェントアプリケーション

データハブとインテリジェントアプリケーション間のデータフロー

CPS AM データパイプライン

ば，DCI ゲートウェイと APN を経由ションサービスに広く用いられる RC（RTT＊LineSpeed）/ MessageSize

したデータプレーンとなります．DCI（Reliable Connection） トランス

= Required QueueDepth

ドキュメントでは，データプレーンのポートタイプが前提とされています．

■ R DMA 用 NIC とさまざまなアパターンとして図 6 のように分類されDCI ドキュメントでは，RDMA RC

クセラレータ間のデータ転送効ています．この分類を基に，図 5 の各を長距離に離れた拠点間に適用する際率化

データフローの性能要件を分析し，既に生じるパフォーマンス劣化を解消す

データパイプラインによっては，デー存技術では実現が困難なデータプレーるために，以下のような内容が提言とタコピーの回数を必要最小限にとどンのパターンに対し，次に示すデータしてまとめられています．

め，RDMA 用 NIC と，さまざまなアプレーン高速化フレームワークが提案■キューの深さの最適化

クセラレータ間で，メモリによるバッRDMA に お い て デ ー タ の 送 受 信

ファを極力介さずにデータを直接転送に は， 送 受 信 要 求 を WQE（Workする技術を利用可能とすることが提唱

Queue Element）のかたちで生成し，されています．

広域分散されたコンピューティング

送信時であれば WQE を Send キュー■長距離通信への適用時の信頼性リソースを接続するための，データプへキューイングすることによって送信

RDMA-RC では，データロスが発

レ ー ン 高 速 化 手 法 と し て，RDMA処 理 が 開 始 さ れ ま す．RDMA NIC生した際にも，再送によりデータの完（Remote Direct Memory Access）（Network Interface Controller）が全性を担保することができますが，特を用いた長距離データ転送が提案され持つ Send キューを深くすることによに長距離通信では再送が完了するまでています．RDMA は，従来，データり，RC に お け る 送 達 確 認（Ack，に RTT 分の時間を必要とするため，センター内の数 m から10 m 程度の比Acknowledgement）を待つことなスループットの低下は避けられませ較的短距離な HPC ノード間の通信をく，一度に送り出すメッセージ数を増ん．そこで，下位のネットワークレイターゲットに開発されてきましたが，加させることができます．これにより，ヤである APN に対して，より品質の遠隔地に離れたデータセンター内のリ遠距離通信などの RTT（Round-Trip

高い光パスを要求する機能や，より効ソースも，統一したリソースとしてシーTime）が大きい通信でも，高いスルー率的な再送アルゴリズムを選択的に利ムレスに活用するためには，遠距離プットを維持することができます．こ用できる機能の提言が記載されていデータ転送に適した RDMA が必要とのように，RDMA を長距離通信へ適ます．

なります．

用する際は，次の式で導出されるようされています．

RDMA によるデータ転送高速化

RDMA を活用する際は，データのに，RTT に応じたキューの深さの最完全性が保証され，高信頼なコネク適化が必要となると記載されています．

2022.321

特集

グローバルパートナーと紡ぐ IOWN 構想

データセンタAのDCIクラスタ

データセンタBのDCIクラスタ

ノード内通信DCIノード

DCIノード

DCIノード

ノード内インターコネクト
アクセラレータ
カード

アクセラレータ
カード

アクセラレータ
カード

アクセラレータ
カード

ネットワーク I/O

ネットワーク I/O

ネットワーク I/O

ネットワーク I/O

ノード間通信ノード間インターコネクト
DCIクラスタ間通信
DCIゲートウェイ

DCIゲートウェイ

OpenAPN

図6

外部ネットワーク

3 つのデータプレーンパターンの分類■ DCI のコントロール・マネジメ

インゴールを設定し，それを達成するントプレーンと連携した QoS

ためのコンピューティングアーキテクの実現

チャとして DCI クラスタやそれを使っDCI クラスタ内においては，複数のた DCI IaaS のサービスモデルを定義

データフローが流れます．従来のクラしています．また，ユースケース例のウドコンピューティングの考えで，あ1 つとして CPS AM を分析し，DCIらかじめリソースを確保せずに，ネックラスタ間の長距離伝送において，長トワーク装置とサーバでの輻輳制御ア

距離 RDMA を用いたデータプレーン

ルゴリズムだけでは，十分な QoS を高速化について提言されています．今担保することが難しいことが記載され後は，実証等を通じて，その有効性とています．よって，異なる QoS クラ

新たな課題を抽出・フィードバックし，スをあらかじめ確保したうえで，サー

さらなる技術革新を牽引することを想ビスを実現する考慮が必要であること定しています．

が記載されています．

■参考文献（1） https://iowngf.org/wp-content/uploads/
formidable/21/IOWN-GF-RD-RIM-for-AMUse-Case-1.0.pdf

ま と め
DCI ドキュメントでは，IOWN GFのユースケースを実現するためのデザ22

または2022.3（左から）益谷  仁士/シューマッハー クリストフ/清水  健司
提案されている技術文書の有効性の確認には，技術評価の必要があり，また，その結果をフィードバックして，現在の技術文書をアップデートしていく必要があります．これらの活動は，さまざまなプレイヤーの参画が必要となりますので，ご興味のある方はぜひ活動にご参加いただきたいです．

◆問い合わせ先NTT ネットワークサービスシステム研究所
ネットワーク基盤技術研究プロジェクト
E-mailiowngf-info

ml.ntt.com