エッジコンピューティング
基盤技術の実証山中 広明(NICT)
スマートIoT推進フォーラムテストベッド分科会
第１回ユーザ連携・循環進化検討タスクフォース
2021/08/23

1

エッジコンピューティング○エンドユーザデバイス近隣のエッジクラウド内サーバを利用◇ネットワークの帯域利用抑制◇高速な応答◇データ流通地域制限2サイバーフィジカルシステム○サイバーフィジカルシステムの普及が期待◇膨大なセンサデータをAIが処理，アクチュエータにフィードバック◇サイバーフィジカルシステムのインフラとしてエッジコンピューティングが期待（出典）総務省「Beyond 5G推進戦略懇談会 提言」（2020）
https://www.soumu.go.jp/main_content/000696612.pdf○エッジコンピューティングが使える検証環境（テストベッド）により，アプリケーションサービスのスムーズな実展開をサポート◇IoTアプリケーション開発者がテストベッドでアプリケーションプログラムの動作確認
3

テストベッドサービス○テストベッド環境構築：膨大な作業を伴う◇サーバインストール◇ネットワーク接続○テストベッドサービスとして提供◇容易な検証のため，Dockerコンテナに対応
サーバプログラムを軽量にパッケージング，高速に展開

4

テストベッドサービス実現の課題○アプリケーションの応答遅延の条件に応じたサーバへのDockerコンテナ配置◇応答遅延例 [1]AR：16ms
リモートコントロールロボット：2ms○既存システム（Kubernetes等）ではテストベッドユーザに複雑な操作が必要◇ネットワークトポロジや伝搬遅延の確認◇Dockerコンテナ配置スケジューラの変更
100ms※

Dockerコンテナ配置先を決定
条件：応答遅延16ms秒以内

DockerDocker10ms※

テストベッドユーザ
2ms※

無線基地局ノード[1] ITU-T, “The Tactile Internet.” Aug. 2014. Available: https://www.itu.int/oth/T2301000023/en※ツリー下位無線基
地局ノードとのroundtrip time (RTT)5

提案：仮想リージョンを適用したユーザ作業の軽減○「仮想リージョン」による資源要求◇応答遅延を満たすコンテナの一括配置が可能な無線基地局ノード群（仮想リージョン）をユーザに提示◇仮想リージョンに対するコンテナ配置要求→応答遅延を満たす資源配置○ユーザによるDockerコンテナ配置において，ネットワークトポロジ，伝搬遅延の確認が不要

6

ユースケース１：ARの実験環境構築○低遅延応答性能を満たす位置（例：RTT 12ms以内）のエッジクラウドにDockerコンテナ配置
クラウド

低遅延応答性能を満たす位置

地域エッジ
クラウド

無線基地局
エッジ
クラウド
サービス（マッチング・レンダリング処理機能）配置

7

ユースケース１：ARの実験環境構築
テストベッドユーザ
による環境構築

マッチング・レンダリング処理

Dockerコンテナ
イメージ

仮想リージョンへのDockerコンテナ
配置要求

テストベッド資源管理機能により提示された仮想リージョン

応答遅延要件（RTT12ms以内）に対応した仮想リージョン

クラウド
地域エッジ
クラウド

無線基地局
エッジ
クラウド

8

ユースケース2：ヘルスケア・見守りサービスの実験環境構築○プライバシポリシに基づくセンサデータの利用◇プライバシポリシに基づく，センサデータの流通地域制限，データ内容の制限（送信先の制限，送信前のデータ加工等）

バイタルデータ，監視カメラのポリシ•
市内のみで流通•
市外へは統計化した上で送信バイタル，監視カメラ
データ流通許可範囲

センサデータポリシに応じたサービス配置

サービス要件に応じた
データ流通

統計化処理
見守りサービス
シェアライドサービス

カメラ

その他サービス
人感センサー

県内エッジクラウド

人感センサの流通許可範囲

9ユースケース２：ヘルスケア・見守りサービスの実験環境構築
テストベッドユーザ
による環境構築

Dockerコンテナイメージ

統計処理

見守りサービス
シェアライドサービス
その他サービス

仮想リージョンへのDockerコンテナ配置要求
テストベッド資源管理機能により提示された仮想リージョン

人感センサの流通許可範囲（県内エッジ）に対応
した仮想リージョン※

バイタル，監視カメラデータ
流通許可範囲（市内エッジ）に対応した仮想リージョン※

バイタル，監視カメラ
データ流通許可範囲

統計処理
見守りサービス
シェアライドサービス

カメラ

その他サービス
人感センサー※“市内エッジ”，“県内エッジ”に対応した仮想リージョン取得
スクリプトを準備予定

県内エッジクラウド

人感センサの流通許可範囲

10テストベッドシステム実装方針○Kubernetes(k8s)をベースにシステムを構築◇Dockerコンテナにより，容易なIoTアプリケーション検証を実現○応答遅延に応じたDockerコンテナ配置への対応◇仮想リージョンに基づくインタフェースの追加◇応答遅延の計測機能を追加◇応答遅延ラベルに基づくスケジューリング

○テストベッドとしての基本機能の追加◇テストベッドユーザ毎の通信の隔離

11テストベッドシステム構成

コンテナ配置要求

テストベッド資源管理機能•

テストベッドユーザ•

テストベッドユーザに対する仮想リージョンによるDockerコンテナ配置インタフェースを提供
コンテナ配置先エッジクラウド(k8sクラスタ)を決定，配置要求K8sクラスタ

実験ネットワーク

k8sクラスタ

k8sクラスタ

k8sクラスタ

k8sクラスタ

k8sクラスタ

k8sクラスタ

無線基地局
ノード
クライアントホスト

12

テストベッド利用イメージ

自作Dockerイメージ

テストベッドユーザ（踏み台サーバ）

資源要求• 仮想リージョン
作成要求• コンテナ配置
要求

API

テストベッド
仮想資源（仮想リージョン）

仮想リージョン１

仮想リージョン２

テストベッド資源管理機能
テストベッド
物理資源

エッジクラウド
エッジネットワーク

仮想リージョン１

仮想リージョン２

無線基地局
ノード

• 環境整備• 実験実行

クライアントホスト

13

システム利用例①応答遅延条件(RTT ms)提示②仮想リージョン提示：{<無線基地局ノードリスト>，<応答遅延(RTT)>，<仮想リージョン名>}をJSON形式で返答③仮想リージョンに対するコンテナ要求

作成された
Dockerコンテ
ナのIPアドレス，サービスポート番号等をJSON形式で返答※①～③の作業をコマンド１つで実行するスクリプトを用意，より簡易な利用も可能

14

システム実行時間• ③コンテナ作成• ①②仮想リージョン作成
仮想リージョン計算量が大きい

仮想リー
ジョン数：6
仮想リー
ジョン数：3
仮想リー
ジョン数：1

仮想リージョン計算量は小さいが，多数の仮想リージョンJSONデータ作成・送信のため，時間がかかる

コンテナ配置先の選択や，FW設定，他ホストからのAPI呼出しのため，時間が長くなる

Kubernetes（kubectlコマンド）によるオーバヘッド• 仮想リージョン作成：最大で3.2s（110ms指定の場合），実験環境構築前一度の実行で良い• コンテナ作成：2.3s程度の増加，環境構築時に発生するため大きな影響はない
15

テストベッドサービス展開状況○StarBEDのサーバ，ネットワークを用いて構築◇StaｒBEDネットワーク内での広域環境再現のため，ネットワーク上のリンクに伝搬遅延(Linux tc)を設定◇サーバスペック(計） CPU：164コア
 メモリ：724 GB
 HDD：2.7 TB○NICT「総合テストベッド」HPにて利用者受付中◇https://testbed.nict.go.jp/

16

エッジテストベッドの今後の展望○ネットワーク遅延動的設定とDockerコンテナ配置の組合せによる資源配置→テストベッドユーザ毎の実験ネットワーク規模・構成の自由度向上○VXLANによる通信隔離→テストベッドユーザの自由なIPアドレス利用

17

まとめ

○エッジコンピューティングテストベッドの展開◇Dockerコンテナ管理機能（Kubernetes）をベースに，仮想リージョンの仕組みを実装，エッジコンピューティングテストベッドを構築○ユースケース◇応答遅延条件に応じたDockerコンテナ配置◇地理的条件に応じたDockerコンテナ配置○エッジコンピューティングテストベッドサービスとして展開中

18