特集

グローバルパートナーと紡ぐ IOWN 構想

データハブ

データセントリック

ストレー

ジ

IOWN Global Forum におけるストレージサービスの検討
IOWN Data Hub は，IOWN（Innovative Optical and WirelessNetwork）時代に必要となる，データベースやストレージなどの機能を統合した新しいデータサービスを提供するものです．IOWN イ
ンフラの特長を活用しながら既存システムとの互換性を維持することで，IOWN 時代の複数のアプリケーションから共通して利用されいのうえともひろること想定して検討が進められています．本稿では，IOWN Global

井上ForumにおけるIOWN Data Hubの議論の状況や到達点を紹介します．

NTT 社会情報研究所

共通して利用されることを想定して検IOWN Data Hub

討が進められています．

知洋

IDH Service TypeとService Class

IO W N Glob al F o r um（IO W N

IOWN GF では，複数のサービスプ

GF）では，IOWN（In­no­va­tive Op­ti­

ロバイダが IDH サービスを開発・展

cal and Wireless Network）が創開できるような世界をめざして，そのIOWN GF ではいくつかのユース出する新しい通信・計算基盤の先進性ための共通的な基盤を定義していま

ケースについて，その具体化に向けたを活かした共通的なサービスレイヤのす．2022 年 1 月には，NTT，システム構成案やデータフローの検討

仕組みについて複数の参加企業が協力

Oracle，NEC 等と「Data Hubを行っています（4）．この検討は，既存して議論を行っています．その中でもFunctional Architecture」 文 書システムにおけるレイヤ構成にとらわ

IOWN Data Hub（IDH）は，IOWN（3）（IDH 文書） を公開しました．

れず，IOWN のインフラを用いたフル時代のアプリケーションのためのデー■ IDH が規定するもの

スタックの最適化をめざすもので，通■必要なデータハブサービス

タハブサービス（データベース，ストIOWN GF で議論されているさまざ

信レイヤからサービスレイヤまでを幅レージおよびデータマネジメント等をまなユースケースにおいては，データ広く扱う IOWN GF ならではの非常に統合したサービス）として，複数の当ハブサービスに期待される複数の要求ユニークな取り組みとなっています．

事者の間で高速かつ信頼できるデータパターンがあります．IOWN GF では

それでも，分析の結果として得られた処理，利用，交換を可能にするデータ

これらの要求を類型化し，いくつかのデータフローは，現在のインターネッ管理＆共有基盤をめざすものです．

Service Type および Service Class

ト・アプリケーションが要求するデー

IDH は IOWN DCI（Data Centricとして整理しました． IDH 文書では，タフローと概念的にはかなり近いものInfrastructure）アーキテクチャ の各 Service Class について IOWN のです．IOWN の普及当初のアプリケー上のアプリケーション機能ノードとしインフラを用いたリファレンス実装モションが用いるデータフローは，互換て実現され，IOWN Open APN（All

デル（Reference Implementation

性の観点から，現在のアプリケーショ（2）
や DCI の特Photonics Network）

Model）を示しています．

ンと大きくは変わらないと想定されま（1）長を活用しながら既存のアプリケーす．これらの議論を踏まえて規定されションとの互換性を維持することで，た Service Type と Service Class

他のアプリケーション機能ノードからについて紹介します．

2022.323

特集

グローバルパートナーと紡ぐ IOWN 構想■ Service Type
Service Type は，IDH サービスに実装される機能および動作の単位として定義されます．具体的にはサポート

表1
SERVICE TYPE

データフローの例

サポートするAPI

Distributed Relational
Database

RDBMSに登録される一般的な構造化データ．
検出された物体のラベル付けされたデータ（AI推論の出力）等

SQLに対応したJDBC，ODBCSQLベースのデータクエリを受け付け，JSON形式で応答する
REST APIする API やクエリ，データタイプなどの要件が定められており，外部アプリ
ケーションは Service Type を指定することで IDH サービスをデータベー
スやオブジェクトストレージのように

K e y - V a l u e S t o r e 時系列データ，センサデータ（KVS）

とおりです（表 1 ）．
（1） D i s t r i b u t e d R e l a t i o n a l
Database（DRD）
DRD は構造化されたデータを格納

REST API（単体あるいは複数のKey-Valueに関するCRUD操作，および単純なクエリのサポート）

Graph Store

ユーザ関連データ，関連イベン SPARQL，PGQL，その他のDSL
ト デ ー タ へ の リ ン ク， セ マ ン （ドメイン ・ スペシフィック ・ ラ
ティックなナレッジデー等ンゲージ）に基づくクエリを受け付け，JSON形式で応答する
REST API

Message Broker

通知メッセージ

Apache Kafka等と互換性のある
一般的なBroker API

Object Storage

カメラ映像

AWS S3等と互換性のあるRESTAPI扱うことが可能です．現在定義されている 5 種類の Service Type は以下のIOWN Data Hub の Service Type

※現在のところ要件規定は一般性の高い記載にとどめられており，より詳細な要件については今後議論される予定です．

するための Service Type で，一般的なデータベースでの OLTP や，デーキーマに従っている場合があります．

・メッセージの中継だけが必要でタウェアハウスでの OLAP のようなオントロジーは，データがどのようにあり，データの永続性を必要としデータ分析のユースケースを想定して構造化されているかを記述し，アプリない．

います．この Service Type を利用すケーション開発者がセマンティックク（5） Object Storage

ることで，データハブの外部で余計なエリを形成することを可能にします．

動画，画像，ログなどの半構造化

データ変換処理を行うことなく，さまセマンティッククエリは，連想や文脈データや非構造化データなど，比較的ざまなアプリケーションがデータを保の範囲に基づいて情報を検索すること大きなオブジェクトデータを低コスト存・利用できるようになります．あるができます．

で保存する Service Type です．ビッ

種の構造的なクエリによって識別可能（4） Message Broker

グデータの長期間保存や，将来のデーな個々のデータは，処理速度が許す

この Service Type は，既存のデータ活用に備えて AI（人工知能）やデー限り，DRD で扱うことが望ましいでタストレージに単純にデータを追加でタレイクなどのデータ間の分析アプリ

しょう．

きない以下のような状況での利用を想ケーションを提供することが想定され（2） Key-Value Store（KVS）

定しています．

ます．

・メッセージ数が非常に大きいた

れほど大きくないが膨大な数のデータめ，他の Service Type では収容IOWN のユースケースを実現するたを保存する際に利用される Serviceできず，何らかのキューに格納すめには， 1 つの Service Type を実装

Type です．例えば，時系列データやる必要がある．

した IDH サービスでは不十分で，複センサデータなどがこれに該当します．
（3） Graph Store24■ Service ClassKVS は， 1 レコードのサイズがそ・データの提供者と利用者の数が膨大で，動的に変化する．

数の Service Type が同時に必要となる場合もあります．IDH では， 1 つま

この Service Type は，グラフとし・大きさや種類，形式が複数混在したは複数の Service Type を備えるてモデル化されたデータを保存しま

たデータを扱い，フォーマット変サービスの実装として，表 2 に示されす．保存されたデータは，オントロジー換や集計など複雑なパイプラインるService Classを定義しています．と呼ばれるあらかじめ定義されたスが必要となる．

2022.3

基本 Service Classは，各 Service

特集

表2IOWN Data Hub の Service Class

基本Service Class: Service Typeをそれぞれ 1 つずつ備えるClass
Distributed Relational Database (DRD) / Key-Value Store (KVS) / GraphStore / Message Broker /Object Storage
応用Service Class: 複数のService Typeを同時に備えるClass
Converged Database

・ DRD
・ KVS
・ Graph Store・ Message Broker

Context Broker

Virtual Data Lake（Federated ObjectStorage）
Virtual Data Lake Houseは限らず，複数のクラウドやエッジ，オンプレミス環境にあるデータを横断して分析・処理するケースも想定されます．このため Virtual Data Lake
では，複数の地理的に分散したストレージを束ねて 1 つのオブジェクトストレージとして見せる仕組みを提供します．

・ Graph Store・ Message Broker
・ DRD■ Virtual Data Lake House・ Object Storage

つデータをオープンかつセキュアに共・ DRD
・ KVS・ Graph Store・ Message Broker
・ Object Storage

IOWN では，複数の企業や組織が持有し社会課題を解決する未来を想定しています．例えば，再生可能エネル
ギーが供給の大半を占める社会においては，電力供給量のデータに加えて，各企業や家庭における電力需要をリアType を 1 つ だ け 継 承 し ま す． 応 用

まざまなデータを高速に同時処理するルタイムに共有することで系全体の安Service Class は，より複雑なユー基盤を提供します．

定的な制御が可能なると考えられまスケースがデータハブに対して一括で■ Context Broker

す．このような目的のため，Virtual求める機能をパッケージとして提供すこの Service Class は，アプリケー

Data Lake House は，異なる所有るもので，複数の Service Type を継ションがデータを要求する際に，コン者に属するさまざまなデータソースへ承・統合しています．IDH 文書では以テキストを指定した柔軟なデータの指の安全で透過的なアクセスを提供し下が定義されています．

定が可能な高機能なブローカーとしてます．

■ Converged Database

機能します．コンテキストは，モノ（特IDH の特長

異なるタイプのデータを同時に処理定の建物など），モノの種類，地理的する場合を想定した Service Classな範囲，時間的な範囲，またはこれら

前述のとおり，IDH は将来のアプリです．例えば，建物内での人の行動をの組合せで表現され，これによって特ケーションがデータベースやストレー分析して適切なサポートを提供すると定の条件の情報が指定可能になります．

ジサービスに要求する多くの機能をサいうシナリオを考えた場合，人，人と■ Virtual Data Lake

ポートします．一方で，IDH は IOWN

人，人とモノのインタラクションをま（Federated Object Storage）の特長を活かして，今までのデータとめて管理・処理する必要があり，ここの Service Class は，現在広がっベース等ではインフラの制約により機れを表現するデータ構造には大きな柔ているデータレイクの概念を拡張し，能や性能的に不十分であったことを実軟性が求められます．しかし，データIOWN インフラだけでなく，クラウド現します．ここでは，現状の制約と構造ごとに異なる IDH サービスを使やオンプレミスなど地理的に分散したIDH においてどのように解決していく用し，アプリケーションレベルでデーデータソースを仮想的に統合し，統一見込みかを説明します．

タ構造の変換を行う場合，IOWN で求されたデータレイクとして提供するも■現状の制約められるリアルタイム性は実現できまのです．IOWN の多様なユースケース

例えば現在のクラウドのモデルで実せん．Converged Database は，この実現を考えた場合，すべてのデータ装された Object Storage サービスのようなニーズにこたえるために，さが IOWN インフラ内で管理されるとを利用して10 GB クラスのデータを2022.3

25

特集

グローバルパートナーと紡ぐ IOWN 構想

アップロードまたはダウンロードする

現状のクラウドベースの実装におけるTier」の 4 つの層から成り，各層は複と，クライアントから実際にデータを制約を指摘しています．

数のコンポーネント（サーバ等）で構保管するストレージまでの間にある多■リファレンス実装モデルの構成成されます．IDH では，IOWN のイン段のデータコピーがボトルネックとなと改善点

フラ技術を使うことによって層間・コり，安定したパフォーマンスは保証さ

IDH のリファレンス実装モデルをンポーネント間の接続や各コンポーネ

れ ま せ ん． ま た 現 在 の 技 術 で は，図に示します．Service Class ごと

ントの動作を以下のように高速化しDRD において複数のサーバにまたがっに詳細は異なりますが，この構成はすます．てペタバイトクラスのデータを結合す

べての Class に共通的な内部構成と（1） C l i e n t，F r o n t e n d T i e r，る必要のあるような複雑なクエリでは，なります．この構成は，IDH サービス

Data Service Tier 間の通信のデータベースサーバ間のネットワークへのデータ要求を行う「Client」，ロー最適化

接続がボトルネックになり，非常に時ドバランシング，クエリルーティング，Client は Frontend Tier を介して間がかかります．同様に，数エクサバプロトコル変換等を提供する

Data Service Tier からデータをやイトのデータをストレージから読み込「Frontend Tier」，データアクセス要り取りします．リアルタイムに近い処むフルスキャンタイプのクエリでは，求に応じてローカルキャッシュまたは理を実現するためには，これらの通信ストレージからのデータ転送がボトル接続されたストレージ層からのデータのための遅延を短くし，特に大量のネックになります．IDH 文書では，そを提供する「Data Service Tier」，データを繰り返し転送する必要があるの他の Service Class についても，およびデータの保存する「Storage

場合には帯域を広くする必要がありま

Tiers
ClientClientClientClient…

Frontend Connection

Frontend
Server 1

Frontend
Tier

Frontend
Server 2…

Frontend
Server N

Frontend TierData Service Tier Connections
Mid Connection

Data Service
Server 2

Data Service
Server 1

Data Service
Tier…
Data Service
Server 3

Storage 1

図2₆2022.3

Inter-Data Service
Server Connections

Data Service TierStorage Tier Connections

Backend Connection

StorageTierData ServiceServer N

Storage 2…

Storage N

IOWN Data Hub リファレンス実装モデル

特集

す．IDH では，Open APN が提供すIDH では，スマート NIC などを使っ度な機能が必要になると考えられまる 2 つのエンドポイント間の直接的なてデータの前処理等を積極的に各コンす．例えば，スマートシティなどのユー光通信によって，低遅延・広帯域な接ポーネントにオフロードしていきま

スケースでは，複数の組織が所有する続を必要に応じて確保します．

す．例えば Storage Tier のコンポー

データを複数のデータ利用者が横断的（2） Data Service Tier 内の通信ネントがデータのフィルタリングやアに取り扱う必要が出てきます．そのたグリゲーションを行うことで，ネットめに，認証・認可の仕組みの整備や，

デ ー タ 処 理 が 頻 繁 に 発 生 し Data

ワーク上のデータ転送量を100分の 1

データ利用に関するポリシーの制御やService Tier 内のサーバ間で大量の以下に減らすことができます．また，監査に対応できる仕組みが必要となりデータがやり取りされる場合，サーバデータが Data Service Tier のどこます．さらには，データを秘匿したま間の通信がデータサービスにおけるボに 配 置 さ れ て い る か を Client やま処理を実行する秘密計算のような仕トルネックになります．特に，現在使Frontend Tier に配信することで，組みもデータハブの一機能として検討

われる TCP 等のブロッキングプロト

データアクセス要求を最適なコンポーが必要です．IOWN GF コミュニティ

コルを用いたサーバ間通信の実装でネントに直接送ることができ，コンポー

では，IOWN 時代に必要となるデータは，I/O（Input/Output）の待ち時ネント間の余分なデータ転送を減ら

ハブサービスのあるべき姿について引間によってサーバの CPU サイクルをし遅延と帯域幅を改善することができき続き議論を進めていきます．

浪費しがちです．IDH では，複数のリます．の最適化

ソースを動的に組合せ可能な DCI の

このような仕組みにより，IOWN の仕組みによって，高性能なクラスタをリファレンス実装モデルは，現在のク構築することができます．さらに，ラウドベースの実装モデルよりもはる

DCI におけるプロトコル最適化（例えかに高速に動作することが期待されまば RDMA を用いた高速なノンブロッす．IDH 文 書 で は， 各 Serviceキング通信）を用いることで，膨大なClass の実装モデルにおけるより具体量のデータをほぼリアルタイムで処的な工夫点が記載されています．

理・管理できるように設計されます．
（3） Data Service Tier，Storage
Tier 間の通信の最適化■参考文献（1） https://iowngf.org/technology/#Data-CentricInfrastructure（2） https://iowngf.org/technology/#Open-AllPhotonic-Network（3） https://iowngf.org/technology/#Data-Hub（4） https://iowngf.org/technology/#ReferenceImplementation-for-CPS-AM

IDH の今後
IDH 文書は，IOWN インフラにおけ

IOWN のユースケースでは， 1 回のる IDH の技術的な位置付けをまとめ，リクエストで転送されるデータ量が合既存のクラウド型データ処理のボトル計数100 TB になることも想定されまネックを解決するためのリファレンス

すが，Data Service Tier と Storage

実装モデルを提示しました．しかし，Tier の通信にネットワーク帯域が不これは IDH の特長を実現するための足している場合，サービスが長時間応

最 小 実 行 構 成（Minimum Viable

答しない状態になってしまいます．

Version） と 呼 ぶ べ き も の で す．

Open APN によるネットワークの広IOWN GF による今後の議論によっ帯域化や，DCI (RDMA) によるデーて，各 Service Type の API の詳細化

タ転送の最適化はこのボトルネック解やより良い実装モデルの議論等が進め消にも役立ちます．

られていく予定です．また，今後の（4） 各コンポーネントのスマート化

IOWN アプリケーションが必要とするネットワークの高速化に加えて，高度なデータ処理フローには，より高井上 知洋
IOWN GF では，IOWN 時代の次世代データサービスの実現 ・ 普及に向けて，NTT グループだけでなくさまざまな企業が力を合わせて検討を進めています．多くのパートナー参画を期待します．

◆問い合わせ先NTT 社会情報研究所
E-mailiowngf-info2022.3

ml.ntt.com

27