モバイル通信需要の増大とM2M/IoT通信
 モバイル通信需要の増大- モバイルネットワークトラ
ヒックは過去5年で18倍に成長、今後5年で7倍に成長

IoT/M2M通信を収容するためのモバイルコアネットワークアーキテクチャ- キャリアの投資コストの増大*長谷川 剛 (ごう)、**村田正幸*大阪大学サイバーメディアセンター**大阪大学大学院情報科学研究科

 新たな通信需要: M2M/IoT
通信- 1回あたりの通信時間は短く、周期的/間欠的な通信を行う

M2Mデバイスの接続数予測
出典: CISCO VNI- 接続デバイス数の増大: 8億(2016年) → 33億 (2021年)- ARPU (1加入あたりの月間電気通信事業収入) は電話端末に比べて小さい (例:〜3 USD程度)

2

M2M/IoT通信の特性

LPWA(N)技術

 通信特性の例

 Low Power, Wide Area (Network)- 接続されるデバイス数が非常に多く、設置密度が高い場合と、設置範囲が大きい場合がある- 送受信されるデータは小さい

 Bluetooth等ではカバーできないカバレッジを実現する無線アクセス
 低消費電力、低ビットレート、広域カバレッジ- M2M/IoT通信に適している- 通信頻度はアプリケーションによって異なる

 セルラ網を用いるもの- モビリティは小さいか、全く無い場合がある- NB-IoT (LTE)、LTE-M(eMTC) (LTE)、EC-GSM-IoT (GSM)等- 1つのデバイスに大きなコストを掛けることができない- 広いカバレッジが最初から利用可能、LTE以上のカバレッジが得られる場合もある- デバイスはセルラネットワークに接続される前にグループ化されることがある- 〜1Mbps

 セルラ網を用いないもの- 低消費電力性が求められる- LoRa, SIGFOX等- 通信の遅延に対する許容範囲は大きい場合がある- 周期的な通信やスケジュールされた通信などの場合には、データ送受信のための時間が限定される
D. Bouallouche, “Congestion control in the context of machine type communications in 3GPP LTE networks,”
Master thesis internship report, University of Rennes, Aug. 2012.

- 無免許で使える周波数帯 (920MHzなどのSub-GHz帯) を利用する- 干渉による性能低下の懸念- カバレッジのために設備投資が必要- 〜250Kbps

3

モバイルコアネットワーク (1)4

モバイルコアネットワーク (2) 端末 (UE) 毎にベアラを設定し、パケットを中継転送する- Radio ベアラ (無線区間)- S1ベアラ (eNodeB - SGW間)- S5/S8ベアラ (SGW - PGW間)

 端末が増えるとオーバヘッドが増大- ベアラ維持、設定/解放のためのシグナリング処理
HSS
MME

M2M/IoT UEs
eNodeB eNodeB: 基地局

PCRF

 MME: コントロールプレーンのメインノード

External IP network

 SGW: UE (端末) モビリティのアンカーポイント
 PGW: 外部ネットワークとのインタフェース

SGW/PGW HSS: ユーザ情報のデータベース
 PCRF: 課金、ポリシ制御など

http://www.atmarkit.co.jp/ait/articles/1001/13/news105.html

Cloud environmentof mobile operator

5

E-UTRAN

Transport network
61

通信開始時のシグナリングフロー例

M2M/IoT通信のセルラ網への収容 データプレーンへの負荷は従来端末に比べると小さい 反面、コントロールプレーンへの負荷が大きい- 電源投入やアイドル → アクティブの度にシグナリングが発生- 端末数が多く、通信タイミングが集中 (e.g. 定期的な情報集約)

 端末1台あたりのARPUは小さい

M2M/IoT通信にともなうコントロールプレーンのシグナリングがモバイルコアネットワークを圧迫する

 多量のM2M/IoT通信端末を収容することでコントロールプレーンの負荷が高まる- ネットワーク輻輳
- MME、S/P-GW、HSSなどのEPCノードの過負荷- ベアラの維持コストの増大
eNodeB: 基地局

MME: コントロールプレーンのメインノード

SGW: UE (端末) モビリティのアンカーポイント



PGW: 外部ネットワークとのインタフェース

HSS: ユーザ情報のデータベース



PCRF: 課金、ポリシ制御など

 一方、収容のためのコストを回収できない
7

8

端末の低コスト化

Dedicated Core Network (DCN) アプリケーションによって端末に必要な機能は異なる 端末のトラヒック特性に応じたコアネットワークを複数用意し、端末接続の際に適宜接続先を切り替える- (e.g.) スマートメータ vs. 監視カメラ- HSSに格納されている加入者情報を用いるため、既存端末にも適用可能

 必要な機能に応じて端末と用いるソフトウェアを設計する- シグナリングなどをM2M/IoT専用に改変したコアネットワークの併用が可能 一部はNB-IoT で実現

RRC設定用の制御パケットにデータを載せて送る

Preambleにデータを載せて送る

Yu Chen and Wei Wang, “Machine-to-machine communication in LTE-A,” in Proceedings of VTC 2010-Fall, May 2010.

9藤島大輔、IMザヒトル, ``端末種別に応じてトラフィック分離を実現するDedicated Core
Network,'' NTT DOCOMOテクニカルジャーナル, Vol. 23, No. 4, 2016.

NB-IoT

EPCの仮想化とプレーン分離 (1) 既存のセルラネットワークを利用して断続的かつ小容量なデータ通信を実現

 EPCの仮想化- LTE周波数帯、LTEのガードバンド帯、GSM周波数帯などを利用

10- ノード (MME, S-GW, P-GW, ...) の仮想化

- ハンドオーバーには対応しない- サーバ資源の利用効率向上- eMTC (LTE-M) に比べて遅く、動けないが、安い- 需要変動への柔軟な対応- モバイルコアネットワークの仮想化

 新たなコアネットワークノード C-SGN- MVNOの導入容易性の向上- MME+SGW にほぼ相当

 プレーン分離- データを埋め込んだRRC、NASメッセージを送信可能- ベアラを設定することなく、コントロールプレーンで (小容量) データ送信ができる- コアノードのコントロールプレーンとユーザプ
レーンを分離- コントロールプレーンをクラウド環境へ- (○) ノード間シグナリング遅延の削減

A. Basta, W. Kellerer, M. Hoffmann, K. Hoffmann, and E.-D. Schmidt, “A virtualSDN-enabled LTE EPC architecture: A case study for S-/P-gateways functions,”- (×) プレーン間シグナリングによる遅延の増加 in Proceedings of SDN4FNS 2013, pp. 8–14b, Nov. 2013.

 仮想モバイルコアネットワークアーキテクチャ- M2M/IoT通信の収容に適していると考えられる
https://www.netmanias.com/en/post/blog/11743/iot-nb-iot/nb-iot-deployment-what-it-takes

11122

EPCの仮想化とプレーン分離 (2)M2M/IoT通信用EPCアーキテクチャの検討

 EPC仮想化 (+NFV化) の適用

 V. Nagendra, H. Sharma, A. Chakraborty, and S. R. Das, “LTEXtend: Scalable Support of M2M
Devices in Cellular Packet Core,” in Proceedings of the 5th Workshop on All Things Cellular:Operations, Applications and Challenges, Oct. 2016, pp. 43–48.

- モビリティの低コストでのサポート- G. Premsankar, K. Ahokas, and S. Luukkainen, “Design and Implementation of aDistributed Mobility Management Entity on OpenStack,” in Proceedings of IEEE CloudCom
2015, Nov. 2015, pp. 487–490. 他

 M2M向けのベアラ管理・シグナリングフローの簡素化、複数端末でのベアラ共用- シグナリングトラヒックを減少し、デバイスコストやインフラコスト、消費電力を低減できる- H. Hawilo, A. Shami, M. Mirahmadi, and R. Asal, “NFV: State of the Art, Challenges, andImplementation in Next Generation Mobile Networks (vEPC),” IEEE Network, vol. 28, no. 6,
pp. 18–26, Nov. 2014. 他

 SDNの適用- ネットワークスライシング- 発生する制御トラヒックの評価- M. R. Sama, S. Ben, H. Said, K. Guillouard, and L. Suciu, “Enabling Network
Programmability in LTE / EPC Architecture Using OpenFlow,” in Proceedings of IEEE WiOpt
2014, May 2014 他
1314

モバイルネットワーク全体のアーキテクチャ検討

研究紹介

 V. Nagendra, H. Sharma, A. Chakraborty, and S. R. Das, “XHAUL: TOWARD AN INTEGRATEDFRONTHAUL/BACKHAUL ARCHITECTURE IN 5G NETWORKS,” IEEE Wireless Communications,pp.32-40, Oct. 2015

 M2M/IoT通信を低コストで収容するためのモバイルコアネットワーク
アーキテクチャの検討- ノード仮想化、SDN化を適用したモバイルコアネットワークの性能評価

 フロントホール/バックホール/IPコア網で物理資源を共有し、効率化を図る- 従来シグナリングの変更点少ないベアラ集約手法の提案
FH/BH/APP機能を最適配置- OAIを用いた実機実験による評価-…

物理インフラを統合的に取り扱う

様々なネットワーク/サーバ資源で構成される物理インフラ
15

ネットワークモデル- Shuya Abe, Go Hasegawa and Masayuki Murata, ‘’Design and performance evaluation of bearer aggregation
method in mobile core network with C/U plane separation,‘’ in Proceedings of Networking 2017, June 2017.
- G. Hasegawa and M. Murata, “Joint Bearer Aggregation and Control- Data Plane Separation in LTE EPC for
Increasing M2M Communication Capacity,” in Proceedings of 2015 IEEE Global Communications Conference(GLOBECOM), Dec. 2015, pp. 1–6.
- 長谷川剛, 村田正幸, ''M2M通信収容のための仮想モバイルコアネットワークアーキテクチャに関する一検討,'' 電子情報通信学会技術研究報告, vol.114, no.477, pp.493-498, NS2014-261, Mar. 2015.
- 阿部修也, 長谷川剛, 村田正幸, ''シグナリング処理負荷を考慮したノード仮想化及びプレーン分離を適用したモバイルコアネットワークの性能評価,'' 電子情報通信学会技術研究報告, vol. 115, no. 507, ICM2015-49, pp. 41-46, 2016年3月.
- 長谷川剛, 村田正幸, ''ノード仮想化とプレーン分離を適用した広域モバイルコアネットワークの性能評価,'' 電子情報通信学会ネットワークシステム研究会, 2016年4月.
- 阿部修也, 長谷川剛, 村田正幸, ''C/U分離を適用したモバイルコアネットワークにおける通信集約方式の性能評価,'' 電16
子情報通信学会技術研究報告, vol. 116, no. 382, NS2016-122, pp. 25-30, 2016年12月.

データ送信要求時のシグナリング手順 (1)UE 集中制御用のノード (MME, HSS, PCRFなど) がクラウドに置かれる

eNodeB

MME

S-GW

P-GW

RRC Connection Est.
Service req. + Bearer Response Req.
Identity, authentication, SMC Procs

Cloud network of mobile operator
Control plane signaling
Data packet flow

HSS

PCRF

MME

Bearer Resource Cmd.

P-GW、S-GWと、クラウドのノード間のシグナリングメッセージの遅延時間が大きい

M2M UEs

Create Bearer Req.
RRC Conn Reconfig

E-RAB Setup Rsp.
Act Ded Bearer Ctxt Acc

External IP network

eNodeB

S-GW

P-GW

UE-eNodeB-SGW間のベアラを設定し、GW間のベアラに対応付ける

Transport network

Modify Bearer Req.
Modify Bearer Res.
Bearer Resource Cmd.
Create Bearer Req.

E-RAB Setup Req. + NAS Msgs

RRC Conn Reconfig Comp.

eNodeB

eNodeB

Modify Bearer Req.
Modify Bearer Res.

UEに対応付けられたGW間ベアラをアクティブにする
Create Bearer Res.

Create Bearer Res.

Data Packet Path

eNodeBeUTRAN

17183

プレーン分離の適用データ送信要求時のシグナリング手順 (2) P-GW、S-GWのコンロールプレーンとデータプレーンを分離し、コントロールプレーンをクラウドネットワークに設置

MME

S-GWc

P-GWc

・シグナリングメッセージのノード間遅延が小さくなる・クラウドにあるノード間で処理能力の融通が可能

GTPGTP

External IP network

Transport network

Modify Bearer Req.

S-GWd

P-GWd

Modify Bearer Req.
Modify Bearer Res.

Bearer Resource Cmd.
Bearer Resource Cmd.

Create Bearer Req.

RRC Conn Reconfig

Create Bearer Req.

E-RAB Setup Req. + NAS Msgs
Tunnel setting(OpenFlow Flow Mod)
+ GTP setting

E-RAB Setup Rsp.
Act Ded Bearer Ctxt Acc

ベアラ設定、解放時にGTPトンネルのマッチング情報をSDNメッセージとしてGWへ投入するためプレーン間の通信が発生

P-GWd

S-GWd

P-GWc

RRC Conn Reconfig Comp.

ベアラ設定、解放時にGTPトン
ネルのマッチング情報をSDNメッセージとしてGWへ投入するための遅延が発生

eNodeB

S-GWc

Modify Bearer Res.

PCRF Cloud network of mobile operator

HSS

eNodeB

eNodeB

MME

Identity, authentication, SMC Procs- middlebox実装、GWへのハードウェア/ソフトウェア実装など

M2M UEs

eNodeBRRC Connection Est.
Service req. + Bearer Response Req.

 GTPトンネルのマッチング機能をデータプレーン側へ実装

Control plane signaling
Data packet flow
SDN signalingUE

Create Bearer Res.

S-GWd
GTP module

Create Bearer Res.

P-GWd
GTP module

Data Packet Path

データプレーンの遅延時間は改善

eNodeB

19

eUTRAN

20

通信集約手法 (1)

通信集約手法 (2) 集約された通信のための仮想的なIMSI (加入者情報管理のためのID) を定義

 SGW-PGW間で発生するベアラ確立・維持のためのシグナリングを削減できる

 MMEが端末のIMSIと、対応する集約通信の仮想IMSIの対応を管理- EPCノード負荷 (CPU、メモリ) の削減により、収容可能端末数の増加が期待できる- アタッチ時、あるいは、端末からの通信発生時に、MMEが対応する仮想IMSIを得る- SGW-PGW間のトンネルは仮想IMSIを用いて設定する- 着信はISMIの対応を決定する際にP-GWに通知することで実現できると考えられる

 実IMSI-仮想IMSIの対応を管理するテーブルの更新・維持の手間が発生する- 無線ベアラ、S1ベアラ、S5/S8ベアラ設定のためのシグナリングは修正不要 課金、QoS制御の粒度が低下する

集約によって省略可能になる部分- 同じカスタマ/性能要件を持つ端末群を集約対象にすることで適用可能と考える eNodeB (基地局) でのベアラ集約も可能だが、シグナリングの変更が多い

OAIのコードから抽出したシグナリングフローと命令文数
22

21

性能解析

ノードにおけるシグナリングメッセージの処理遅延時間

 端末で通信要求が発生してから、PGWまでのベアラが確立されるまでの時間(ベアラ確立時間) の評価

 ノードでのシグナリングメッセージ処理の様子を、最大並列度 r のM/G/1/PS待ち行列でモデル化する- 最大で r 個のメッセージを同時にサーバで処理するモデル- シグナリング手順にかかる時間- ノード間距離に応じて決定- ノードにおけるシグナリングメッセージの処理遅延時間 (後述)

- ワークロード分布が S(x)、システム利用率が ρ である時の、平均メッセージ処理時間
E[R]:ベアラ確立時間- シグナリングメッセージの伝播遅延時間

 ベアラ確立後のデータ転送にかかる時間の評価- ワークロード分布=シグナリングメッセージの処理時間- 指数分布に従うと仮定- TCPあるいはUDPを用いる- ノードにおけるシグナリングメッセージ処理回数とUE台数、UEの通信頻度から、シグナリングメッセージ処理頻度を導出し、メッセージ処理の到着レートとして用いる- プロトコルオーバヘッドを考慮- ノードが行うシグナリング処理の重みは、実装コードの命令文数で決定- データパスの変化の影響を確認する- Open Air Interface (OAI)
OAIのコードから抽出したシグナリング
フローと命令文数23244

シグナリング処理の重みを考慮した評価

数値例: ネットワークアーキテクチャの比較
 プレーン分離によるノード間距離短縮の効果は限定的 シグナリングメッセージ処理に必要なサーバリソース量の違いを考慮- ノードにおけるシグナリング処理時間が支配的であるため

 実装コードの命令文数を用いて重みを決定し、評価に用いる

 クラウド環境化のノードの処理能力の配分最適化の効果は大きい- OAI (Open Air Interface)

処理能力配分最適化前

処理能力配分最適化後- http://www.openairinterface.org/- EPC, EUTRANのオープンソースのコード (C言語) が利用できる

 SDN処理や通信集約に必要なシグナリングは、OAIの類似のコードから推定32.8%拡大

プレーン分離なし

プレーン分離あり
通信集約なし25

26

数値例: 通信集約の効果

数値例: 集約箇所の影響

 低負荷時のベアラ確立時間は各方式に差はほとんど無い SGWでの集約に比べて、eNBでの集約による収容可能台数が大きい プレーン分離と通信集約を行う場合、ノード処理能力配分最適化によって、収容可能台数が180%拡大- eNBでの集約は、SGW-PGW間のS5/S8ベアラの集約効果も同時に得られる

180%拡大27

広域モバイルコアネットワークモデル

28

用いるDC数の影響

コアノード (1/2/8箇所運用):
データセンタを配備
Core network node: MME、P-GWを配置
SGWのCプレーンを収容
DC内ノード間: 1ms
距離を変える(例)
東京: 0 km
石狩: 845 km
シンガポール: 5,357 km
ムンバイ: 6,748 km
サクラメント: 8,270 kmバージニア: 11,000 km

データセンタノード(1DCの場合)

サーバの処理能力の合計は同じなので、サーバ間の融通を最適に行えば、収容可能端末数は同じになる

各都道府県のネットワーク内のノード間でのみ、処理能力の最適化を行う場合

端末は各都道府県の人口比で分布

http://w4a.sinet.ad.jp/about_sinet/?full_permalink=about_sinet%2F

ベアラ確立時間 (秒)エッジノード:SGWのDプレーンを配置
各都道府県内の端末をeNodeB経由で収容
eNodeB-SGW間: 7.5ms

ノードを収容するDCを集約することで、各都道府県ネットワー
クからノードまでの伝搬遅延が大きくなるため、ベアラ確立時間は大きくなる

30

同一DC内の各都道府県の各ノード (サーバ) は個別運用
通信集約無し、OSオーバヘッドは0収容する総UE数315

DCノードの距離が与える影響

通信集約手法の効果

DCノードが遠いことにより、利用率が低い時のベアラ確立時間は悪化

ベアラ確立時間 (秒)ベアラ確立時間 (秒)通信集約により、収容可能端末数は約1.8倍に拡大(融通をしない場合に比べると8.5倍)

K=4

K=16, 64,…

集約度が大きいと、遅延時間は僅かに増加する

同一DC内の各都道府県の各ノード (サーバ) は個別運用
OSオーバヘッドは0、集約度は64収容する総UE数

K=1

同一DC内の各都道府県の各ノード (サーバ) は個別運用
DC数は2、OSオーバヘッドは032

収容する総UE数

考察と課題

実機評価 (1) C/U分離を行うことによって、クラウド環境による処理能力の最適化が可能となるが、その効果は通信集約を適用することによって拡大する

 OAI (http://www.openairinterface.org/) を用いた実験

 UEの通信・移動特性に応じた適切な集約箇所とタイミングが存在

33- アタッチ時のベアラ確立までにかかる時間を評価- EPCノードの負荷に対する評価- 接続されるUE台数に対する評価- 通信集約手法の実装評価

 課題- シグナリング処理の推定方法の改善 (命令文数による評価の妥当性の検証)- 実機評価OAISIM (シミュレータ)35

36

実機評価 (2)

まとめと今後の課題

 MMEにCPU負荷を掛けた場合の評価結果 (総シグナリング処理時間分布)- M/G/1/PSモデルは妥当では無い可能性がある M2M/IoT通信を収容するためのモバイルコアネットワークアーキテクチャ- 収容するUE、eNB台数の増加によって負荷を増大させた場合の評価が必要

 研究紹介- コアノードのコントロールプレーン間のサーバ資源の融通と通信集約手法を組み合わせることで、収容可能な端末数が80%拡大- データセンタの位置、サーバ収容方法などの影響を確認

 今後の課題- 集約箇所の違いの影響の評価- サーバの処理時間モデルの検討- 実装実験
負荷100%以下の場合- ベアラ (トンネル) を構築しない場合との比較

負荷100%以上の場合- MEC (Mobile Edge Computing) 環境への適用

37386