CloudEdge Fusion プロジェクト
リアルワールドデータ活用を支える情報基盤の開発
国立研究開発法人 産業技術総合研究所
デジタルアーキテクチャ研究センター
工藤知宏
この内容は、国立研究開発法人新エネルギー・産業技術総合開発機構（ＮＥＤＯ）の 「ポスト５Ｇ情報通信システム基盤強化研究開発事業」（JPNP20017）の委託事業にて実施中です。

Society 5.0 の目指すスマート社会• フィジカル空間のセンサーからの膨大な情報（ここではリアルワールドデータと呼ぶ）をサイバー空間で解析• 解析結果をフィジカ
ル空間に様々な形でフィードバック• 用途により解析処理能力、遅延等への要求が異なる
内閣府：https://www8.cao.go.jp/cstp/society5_0/2

リアルワールドデータのためのインフラへの要求• リアルワールドデータ:観測装置や大量のIoTデバイス等から得られる物理空間を反映したデータ• リアルワールドデータ処理の要件• 低遅延・高信頼：自動走行（自律モビリティ）、ファクトリー制御など、短時間でのフィードバックが不可欠な用途も• 多数接続：Trillion Sensorsからのデータ収集• 大容量：特に、今後映像データ量が飛躍的に増大する• セキュリティ・プライバシー：多数のIoT, M2M通信を含むセキュリティの実現とプラ
イバシー確保3

5G/P5G

Enhanced mobile
broadband (eMBB)

５Gはリアルワールドデータの処理に必要な性質を備えている
・低遅延・高信頼
・多数接続・広帯域（大容量）・セキュリティ

Massive machine typecommunications (mMTC)
Recommendation ITU-R M.2083-0

Ultra-reliable and low
latency mobile
communications(URLCC)

5Gのユースシナリオ

Recommendation ITU-R M.2083-0

5G/ポスト5Gのユースケースに要求される低遅延性・可用性
リアルワールドデータの活用では大容量、多数同時接続、高信頼・低遅延が求められるが要求はさまざま
データ量、必要な処理の種類や量、処理時間（遅延）への要求など
自動運転やスマート工場のユースケースでは、100ms以下の低遅延（latency）と99.9%以上の可用性（availability）を満たす必要がある。

（出典）T.M.Ho, et. al., Next-generation Wireless Solutions
for the Smart Factory, Smart Vehicles, the Smart Grid andSmart Cities, arXiv:1907.10102
6

5Gがあれば大丈夫？

コンピューティング
コア網（有線）
5Gなどのアクセス網

内閣府：https://www8.cao.go.jp/cstp/society5_0/• サイバー空間は、ネットワークとコンピューティングにより実現• 無線網だけでなく、コンピューティングとコア網も「低遅延・高信頼」「多数接続」「広帯域（大容量）」、「セキュリティ」という特性を備えることが必要• ネットワークエッジに専用のコンピューティング環境を置く「エッジコンピューティング」
は一つの解だが、広域でのデータ共有、コスト、移動体のサポートなどに課題• 「大容量」を超えた5Gの活用にはコンピューティングの革新が不可欠
7

ネットワークの現状と将来• 無線アクセス網：• 5G/P5Gは、リアルワールドデータ処理に適した特徴をもつ• コア網・有線ネットワーク：• いわゆる “The Internet”は非常に複雑な構成になっており、到達性は確保されているが、遅延の保証や帯域の確保はできない• しかし、ファイバー網を適切に構築すれば遅延の保証や帯域の確保は可能• 光技術の進展により、新たな展望• 動的な光ネットワークの制御など• IOWN• 将来的に、リアルワールドデータ処理に適したネットワークの利用が可能になることが期待できる

8有線網の遅延はどこまで小さくできるか：SINETの例• SINET: 国立情報学研究所(NII)が運営する、学術研究目的のネットワーク• 都道府県間を100Gbps以上の帯域で繋ぐメッシュ網• 2022年度から、SINET６運用開始。沖縄以外は400Gbps• 地方を含めた相互接続を短い伝送路で実現
全国各地

HPCI 13拠点 商用 45拠点

大型実験施設スパコン

高速Internet

直結
クラウド

各種高速VPN

アクセス回線（最大100Gbps）

海外

オンデマンド*（2021年6月1日現在）

アムステルダム
国立大学

セキュアモバイル網

公立大学私立大学

共同研究

大学

研究機関

短期大学
高等専門学校企業

大学共同利用機関

その他
合計

ロサンゼルス

加入数 (割合)86 (100%)
90 ( 96%)430 ( 70%)
84 ( 26%)56 ( 98%)
16 (100%)
217
979

*
ニューヨークシンガポール

NII 資料より：SINET DC：国内回線（400Gbps）

SINET5（〜 2022）構成図：国内回線（100Gbps）：国際回線（100Gbps）

9

SINET5の遅延から分かること
岩手

北見

15.50

→片道遅延(msec)

6.56

15.50

13.00

16.60

12.50

9.77

9.93

15.50

22.10

都市間距離(km)508.001443.00

1189.00

1578.00

1238.00

970.00967.001505.00

2436.00

2.60

2.15

2.19

2.11

2.01

2.01

2.06

2.06

1.82

9.47

6.94

11.30

7.03

3.63

5.07

10.60

17.30

22.20

→片道遅延(msec)

9.46

6.94

11.30

7.12

3.74

5.07

10.60

17.30

都市間距離(km)963.40688.601115.00

748.10463.80480.201056.60

1951.00

1.96

2.02

2.03

1.89

1.59

2.11

2.01

1.77

←片道遅延(msec)

3.31

2.04

2.10

5.51

4.67

2.67

9.25

→片道遅延(msec)

3.32

2.00

2.18

5.61

4.65

2.68

9.23

都市間距離(km)303.70182.00222.00612.20483.20202.80990.80

2.18

2.22

1.93

1.82

1.93

2.64

1.87

5.18

1.45

3.39

2.56

5.03

11.40

→片道遅延(msec)

5.14

1.52

3.48

2.55

5.02

11.40

都市間距離(km)481.7090.70

308.70227.10466.701267.70

2.14

3.27

2.23

2.25

2.15

1.80

3.94

7.35

6.51

1.50

7.43

→片道遅延(msec)

4.05

7.48

6.52

1.55

7.43

都市間距離(km)395.20790.20639.00105.90866.502.02

1.71

推定ファイバ長/距離

1.88

2.04

2.88

←片道遅延(msec)

3.59

2.74

3.75

7.40

→片道遅延(msec)

3.60

2.64

3.67

10.00

都市間距離(km)395.90270.40376.201202.90

1.82

1.99

1.97

1.45

3.45

7.44

10.10

推定ファイバ長/距離←片道遅延(msec)→片道遅延(msec)

3.31

7.34

13.70

都市間距離(km)249.40769.001553.60

2.71

推定ファイバ長/距離

1.92

1.53

←片道遅延(msec)

5.74

13.80

→片道遅延(msec)

5.75

12.40

都市間距離(km)590.701471.80

1.95

1.78

推定ファイバ長/距離←片道遅延(msec)
山口

沖縄

9.97

←片道遅延(msec)

富山

山口

9.70

推定ファイバ長/距離

東京

富山

12.40

←片道遅延(msec)

大阪

東京

16.70

推定ファイバ長/距離

大分

大阪

13.00

推定ファイバ長/距離

三重

大分

15.50

←片道遅延(msec)

高知

三重

6.65

推定ファイバ長/距離

岩手高知←片道遅延(msec)

6.85→片道遅延(msec)

6.83

都市間距離(km)956.10

推定ファイバ長/距離

Source: NII• SINETデータセンター間遅延の実測値と都市間距離• 距離の２倍程度のファイバ長で相互接続されていると考えられる• 光ファイバの遅延はおよそ5μs/km (5ms/1000km)• 遅延のうち1msec程度はプロセス遅延、シリアル化遅延と推定
・東京-北見 970km: 往復 19.47ms
・東京-大分 790km: 往復 14.83ms
SINETのような構成をとれば、有線網の遅延は制約できる

推定ファイバ長は、ファイバーの伝搬遅延を5ns/mとし、他の遅延は無いものとして計算
北見以外は、都道府県庁間距離（国土地理院）
北見は、japanab.comで、対都道府県庁所在地の距離を検索

1.4310課題：リアルワールドデータのコンピューティング• 従来の処理効率を優先する技術は、スループット重視でリアルワールドデータで重要な遅延（レイテンシ）をあまり考慮していないものが多い• メモリ階層、バッチ処理など• クラウドはコストとスループット重視• 5Gの低遅延が必要なユースケースでは、専用の計算インフラを用意したPoCが行われていることがほとんど• サービス実用化への大きな障害• リアルワールドデータに対応したコンピューティング環境が5Gの有効利用の鍵• ネットワークで繋がるコンピューティングという観点から、遅延や確実な処理に視点を置いた研究開発が欠けている• 特に遅延やセキュリティ面から、地理的に分散配置されたコンピューティング資源を適切に組み合わせて利用する技術が必要
11

CEF (CloudEdge Fusion)プロジェクト• 分散して配置された資源を組み合わせて、サービスの要求に応じた処理能力を提供する共用（マルチテナント）型のコンピューティング基盤を開発し、スマート社会の実現を支えることを目指す• 共用型のインフラとすることで、リアルワールドデータ活用を行うサービスを広域に速やかに実装可能とする• エッジ、地域データセンター、クラウドなどを複合的に組み合わせて、用途ごとに最適な性能とコストのバランスを保つ環境を提供

12

CEF (CloudEdge Fusion)プロジェクト• NEDO「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発（委託）／（f1）超分散コンピューティング技術の開発」に採択• 「超分散コンピューティング基盤の研究開発」• 産総研とソフトバンクが委託研究として受託• 再委託先：慶應義塾大学、大阪大学、豊橋技術科学大学、東京工業大学、東京大学、筑波大学、宇宙サービスイノベーションラボ• 2027年度末までの約5年間の研究開発を予定

13

P5G時代におけるコンピューティングの課題• 実世界とつながったサービスでは、高速、多数同時接続、低遅延での確実な処理が必要。
• P5G技術により超低遅延、多数同時接続等の無線ネットワークが実現するが、サービスと物理インフラをつなぐコンピューティングレイヤの技術が不足しているため（ミッシングピース）、P5G技術の特長を活用した実用サービスが創出できない。
リアルワールドデータ
利活用サービスギャップ

コンピューティング基盤（ミッシングピースが存在）

リアルワールドデータを処理する実用インフラをサービス事業者に提供できていないため、PoCを超えた実用サービスを構築できない

5G/P5G (eMBB/mMTC/URLLC、スライス)

出典：「2020年以降の5Gの利用シナリオ」 情報処理2020-03号

コンピューティングレイヤで研究開発が必要な項目：[M1] 一定の許容時間内で確実に処理を行う技術[M2] 実世界からの多種多様かつ爆発的なデータを取り込み、前処理する技術[M3] 複数の現場から生み出されるデータを一定時間内で安全に連携する技術[M4] P5Gを活かすM1~3の技術を適切に組み合わせて提供するモデルと実装

14

P5G時代におけるコンピューティングの課題• コンセプト実証を超えて広くどこでもリアルワールドデータ利活用サービスを提供するには、5G/ポスト5Gに対応した処理能力を持ち、安価かつ簡便に利用できる共用（マルチテナント）型のコンピューティング基盤が必要である。
• そこでは、地理的に分散したデータセンターからマルチアクセスエッジコンピューティング（MEC）等のコンピューティング資源や、それらをつなぐ無線アクセスネットワーク（RAN）、コアネットワーク、データネットワークといったネットワーク資源に至るまで、全体を仮想的な一つのシステムと見なして、サービスの要求要件やコストの制約を満たすように資源を組み合わせ提供することが求められる。
分散型クラウド拠点

クラウドとエッジの連携
クラウド
ネットワークエッジ
デバイス

出典：第2回 産業構造審議会 経済産業政策新機軸部会

15

研究開発項目①超分散サービス実行基盤技術
資源提供者[M1] 一定の許容時間内に処理を完了する確度を高める技術。アプリケーションが要求するセキュリティポリシに応じてセキュリティを確保する技術

サービス提供者③システム統合④システム
実証[M4] ①超分散
アプリ実行技術と②超分散データ利活用技術を統合したシステム化技術の確立とサービ
スモデル設計実応用サー
ビス２件を用いた提案
技術の有効性検証

サービス実行環境
データ提供者②超分散データ活用基盤技術[M2] 実世界からの多種多様多数大量のデータを取り込み、処理する技術[M3]複数の現場から生み出されるデータを一定時間内で安全に連携する技術⑤実用化・標準化推進

16現行の分散コンピューティング技術における処理時間ゆらぎ
一般的にシステムが大規模化（分散化）するほど、性能のゆらぎ（テイルレイテンシ）は大きくなる。

マイクロサービスの実行時間には数10ミリ秒のゆらぎがある。

▲50 th percentile, ●99 th percentile（出典）X.Wang, et al., Exploring Efficient Microservice Level Parallelism [IPDPS2022]

実サービスでは数10個のマイクロサービスから構成されることが一般的であり、サービス全体の処理時間ゆらぎは100ミリ秒を超える。
)（出典）Rob Sherwood (Intel) [Exacomm2022]（出典）U.Gan, et al., An Open-Source Benchmark Suite for Microservices… [ASPLOS2019]17

処理時間ゆらぎの分布：Tail Latency• クラウドでの処理の応答時間は、右のような対数正規分布に従うことが知られており、Tail Latency と呼ばれるアプリケーションの要求
応答時間• 応答時間が非常に大きくなる確率は低いが、ゼロではない• キャッシュ、メインメモリ、ストレージのアクセス競合• プロセスのスケジューリング
• ネットワークの輻輳• リアルワールドデータ処理では応答時間を要求の範囲に収める必要がある• 100%の保証は困難

頻度• 様々な要因がある

処理応答時間18

「確率」による性能保証• 処理遅延時間やスループットが固定であることが理想だが、共用型のコンピューティング基盤での実現は困難• 性能を満たす「確率」という考え方を導入する• 処理能力には一定のゆらぎがあることを前提に、確率的にサービスレベルを保証• 遅延時間やスループットが固定であれば（故障等がなければ）100%を実現可• 「確率」を上げるにはコストがかかる• 「確率」とアプリケーションの要求をマッチング

19処理時間ゆらぎの低減と要求とのマッチング② 資源が提供する処理能力のゆらぎを抑える

頻度

頻度① 資源が提供する処理能力のゆらぎをパラメタ化し、提供できるサービスの品質を定義

処理応答時間処理応答時間③ サービスの要求に対して、ゆらぎのある資源の組み合わせにて、サービス実行環境を提供

要素選択と最適配置③アプリの要求に対して、ゆらぎのある資源の組み合わせにて、サービス実行環境を提供②資源が提供する処理能力のゆらぎを抑える

アプリケーションの要求（遅延、処理量、データ量、信頼性など）
要素選択と最適配置
クラウド
ネットワークエッジ
デバイス

インフラの状況（各階層のコンピューティング環境と、その間のネットワークの特性）

既存ソフトウェア①資源が提供する処理能力のゆらぎをパラメタ化し、提供できるサービスの品質を定義

ミッシングピース• RWDアプリでは高速、多数同時接続、低遅延が求められるが要求はさまざま• データ量、必要な処理の種類や量、処理時間（遅延）への要求など• 工場の機械制御や自律モビリティなどではms単位の遅延での処理が求められる• RWD処理環境（インフラ）の構成は技術や社会の状況により変わる• 研究開発は、他の構成要素の技術開発状況や、インフラの社会実装状況を踏まえて行うことが重要• システム全体での経済合理性、省エネルギー性が必要• アプリの要求に応じた資源等の要素選択と最適配置が重要時間確定性を高める超分散資源管理技術• 分散環境の資源管理を行い、特に広域分散環境において一定の許容時間以内に処理を完了する確度を高める技術を開発
従来の分散コンピューティング

提案するCEFコンピューティング基盤

インターネットに代表される従来の分散コンピューティング
技術は、可用性やスループットを重視するため、構成要素が自律的に動作することで、ベストエフォート型のサービスを提供する。その代償として、動作時間の大きなばらつきは許容せざるを得ない。
→許容時間が秒単位の実時間性の実現に限定されるサービス構成処理の実行時間

各処理は環境の状態によってばらつく
処理A

処理B※

＋
エッジ

ネットワーク

処理C

サービス全体の実行時間
最悪ケース（＝許容時間）
A

B

C

システム全体で各処理を一定の時間スロットにスケジューリングした上で、デバイス、ネットワーク、サーバ等の構成要素が正確に同期して動作することで、時間確定性を高める。
→許容時間を大幅に短縮化できるため、より低遅延性を要求する実時間サービスへの適用が広がる
サービス構成処理の実行時間

各処理は低遅延かつばらつきが小さい
A

B

＋＋
クラウド

エッジ

ネットワークC

サービス全体の実行時間
最悪ケース（＝許容時間）
A

B

C

＋
クラウド

23

超分散ゼロトラストネットワーク
エッジとクラウドにまたがる超分散データ処理を安全に行うため、複数拠点をまたいだセキュリティを自動的に設定・連携
広域ネットワーク上でエッジデバイス等を自動的・効果的に攻撃から保護

研究開発のポイント• ゼロトラストセキュリティの考え方を超分散環境に応用• 5Gなどの通信システム上のセキュリティ機能を活かし、境界防御とゼロトラストを組み合わせて、非常に多数のIoTデバイスのセキュリティを効率的に確保

サービス実行環境• ネットワークの複数箇所で分散して通信を自動制御し、広域・低遅延データ処理の安全性を確保• エッジとクラウド・それらを用いたサービス全体でシームレスなゼロトラストセキュリティを確保

セキュリティ
制御ポイント
独立した
サービス通信可能領域

ネットワーク拠点・境界（コア・エッジ）

24

エッジ-クラウド間にまたがるデータ処理効率化・活用基盤技術
フィジカル空間から得られる、地理的にも分散した多種多様かつ膨大なデータを活用した高度なデジタルサービスを可能にする、データ基盤技術の確立
背景

技術課題

開発技術

生成データ量の激増

全データをクラウドに持ってこれない

エッジに適したデータストレージサービス

エッジだけで完結しない（資源制約、データの組み合わせ利用）

エッジ・クラウドのシームレスな接続・利用

段階的かつ効率的なデータ処理/管理/統合

データ流通が進まない

データの探索性、品質のばらつき

探索・来歴管理・信頼性推定サービス

リアルワールド
データ利活用に資するデータ基盤

超分散アプリサービス

削減/変換/統合処理等

データの流れの例

大規模解析・学習等
エッジに適したデータ・ストレージサービスの展開•••

段階的アーキテクチャによる連携
エッジ・クラウド間の効率化
データ探索/来歴管理支援

25

機微データ利活用促進技術
超分散コンピューティング基盤を活用した機微データの価値化、利活用促進技術の研究①クローンデータ(疑似データ)の作成手法
クローンデータ（疑似データ）

機微データ（個人情報等）

個人情報、営業秘密データなど、そのままでは共有できない。集計などをすると、情報価値が大きく損なわれることも多い。
価値ある機微なデータをできるだけ柔軟に利用できるようにする

データ出所、データ作成や利用履歴など

クローンデータ(疑似データ)の作成

一般的なデータ

機微データ（個人情報等）価値やリスクを考慮して最適なデータを自動選択を支援

AI

AI
価値？
リスク？

クローンデータ（疑似データ）AI②データ価値の評価とデューデリジェンス方法
利用者は、利用価値が高く、リスク（コンプライアンス、品質、継続性など）が少ないものを確実・自動に選びたい

データ利用者(データ利用マシン)
価値？
リスク？
機微データ
（個人情報等）価値？
リスク？

クローンデータ（疑似データ）Nto1ケース

1to1ケース

価値？
リスク？
一般的なデータ

データ出所、データ作成や利用履歴など

大量・多様なデータからの効率的・効果的な価値の創造

データ出所、データ作成や利用履歴など

26

技術開発項目：サービス実行基盤• 時間確定性を高める計算機クラスタ資源管理技術• 端末資源仮想化技術• 広域資源仮想化技術• 実行コード最適化技術• 高速分散トレーシング分析技術• ソフトウェア・ハードウェア協調実行技術• 超分散ゼロトラストネットワークの全体設計・開発• 超分散ネットワークの制御技術• 超分散環境におけるコンテナネットワークセキュリティ技術
27

技術開発項目：データ活用基盤• クラウドと連携可能なエッジ側汎用データ処理・ストレージ管理技術• 大規模グラフ処理基盤技術• 高性能ストレージ基盤技術、• 段階的データアーキテクチャ構成技術• 自律型超分散知識ベース技術• 個人情報から疑似データを生成する手法の開発• 疑似データを利用可能性や個人情報該当性､社会受容性から評価する手法の開発
28

システム統合、サービスシナリオ、実証• 開発した要素技術を統合し、既存のソフトウェアと組み合わせて、実サービスの動作環境を構成• サービスの要求と環境のマッチングをサービス事業者に提供するサービスモ
デルについても検討• 現実的なユースケースを構築したインフラ上で動作させ、開発した環境の有効性を実証• 開発技術によるオープンソースプロジェクトへの寄与も目指す

29

まとめ
• サイバー空間とフィジカル空間が融合するスマート社会では、サービス毎の処理能力（スループット）と処理遅延（レイテンシ）への要求を満たす処理系が必要• 5G/ポスト5G通信はこれらの要求を考慮して設計されているが、従来のクラウド等のコンピューティング基盤はこのような要求に応える設計となっていない• CEFプロジェクトでは、分散して配置された資源を組み合わせて要求に応じた処理能力を提供する共用（マルチテナント）型のコンピューティング基盤を開発してこれらの要求を満足し、スマート社会の実現を支えることを目指す。

30