特集IOWN 実用化に向けたトランスポートネットワーク技術

リアルタイム
情報収集・分析

御運用・制自動化

ポートトランスワ
ネット ークネットワーク運用の高度化に向けたネットワークコントロールシステム構成技術
従来よりも遥かに大容量かつ低遅延なトラフィックを扱うオール
フォトニクス ・ ネットワーク（APN）上でのサービス提供へ向けて，さらなるネットワークの品質管理 ・ 運用の高度化が必要となります．本稿では，NTT ネットワークイノベーションセンタにて研究開発を進めている，フロー統計情報やテレメトリ，遅延情報を効率的に収集し運用に活用するネットワーク情報収集基盤，および運用 ・ 制御の自動化 ・ 高度化に向けたコントロールシステムを構成する技術について解説します．

ゆうへい

きはらたく

林裕平

木原拓

すとう

あつし

たけい

ゆうき

須藤

篤史

わたなべ

ゆうた

渡辺

武井勇樹

裕太

NTT ネットワークイノベーションセンタ

る場合にはユーザトラフィックを品質はじめに影響がない経路に退避させるなど，ネットワーク情報収集分析基盤
技術

NTTが提唱するIOWN（Innovative

ネットワークの状態を把握したうえで

Optical and Wireless Network）

適切な対処（制御）を行う必要が出て将来的な APN への適用を見据え，構想を実現する 3 本の柱の 1 つとしてきます．特に APN においては，多く種々のネットワーク情報を収集可能なネットワークから端末まですべてにおのユーザトラフィックに対し，厳格な技術として図 2 に示すネットワーク情

いて光をベースとするオールフォトニ

品質要件を満たすべく管理しなければ報収集分析基盤技術の研究開発を進めクス・ネットワーク（APN）がありならず，ネットワーク情報収集の観点ています．本技術は，基盤の名のとおます ．APN は従来のネットワーク

では，高い効率性やリアルタイム性が，り，収集および分析に寄与する複数のインフラと比べ，圧倒的な大容量・低ネットワーク制御の観点では，きめ細要素技術を容易に組み合わせて利用す遅延を誇るものとなっており，扱うトやかな制御が強く求められます．

ることができます．例えば，フロー統（1）ラフィックも劇的に増加し，求められこうした要件を満たすべく，APN計情報，遅延情報に対応する要素技術

る通信品質も従来とは一線を画すレベにおけるネットワーク情報の収集分を 搭 載 し 組 み 合 わ せ る こ と で VPN

ルで高くなります．こうしたネット

析・制御に寄与する技術として，私た（Virtual Private Network）サービ

ワーク上で利用ユーザへサービスを提ちは図 1 に示すネットワーク情報収集

ス監視としての活用や，あるいは，フ供していくためには，より効率的かつ分析・制御連携技術の研究開発を進め

ロー統計のみの分析など一部のみの利高い水準での品質管理・運用が求めらています．

用も可能です．さらに，要素技術を追れることとなります．

ネット ワ ー ク 情 報 収 集 分 析 ・制御による運用高度化の取り組み

本稿では，ネットワークのフロー統計情報やテレメトリ，遅延情報を効率加していくことで，収集対象項目の拡張も容易に実現できます．

的に収集・分析して運用に活用する

将来的には種々の情報収集・分析にネットワーク情報収集分析基盤技術対応予定ですが，ここでは現在実用化

ネットワーク品質管理・運用の高度や，ネットワーク運用・制御の自動化・を進めている遅延情報や導通性，フ化へ向けては，例えば，遅延やトラ高度化に向けたネットワーク制御基盤

ロー統計情報の収集分析技術に焦点にフィックなどのネットワーク情報を収を構成する技術を解説します．

当て解説します．

集・分析し，品質低下の兆候がみられ

18

はやし

2022.11

特集

迅速なサービス復旧

ネットワーク情報収集分析基盤
分析

トラフィック情報可視化技術（フロー統計情報）

制御
シナリオ

制御
シナリオ

データレイク

高精度インライン試験技術（遅延情報・導通性）

フロー情報

装置状態

ネットワーク情報・制御連携技術

ネットワーク制御基盤

分析アプリケーション群

制御
シナリオ

網間接続制御技術

リソースプール化による加入者高収容化

転送リソースプール
トポロジ等

遅延測定

アダプタ
機構

HANMOC

アダプタ
機構

多様な装置への制御の容易化

アダプタ
機構

ホワイトボックス制御技術

制御

収集
マス

ポリシ

法人

網定

固モ

バ

イ

ル

ポリシ

モバイル

図1

トラフィック情報
可視化技術

ネットワーク情報収集分析・制御連携技術

高精度インライン
試験技術

ネットワーク制御機構

ネットワーク情報収集分析基盤
分析・可視化

要素間連携

OSS・他研究所技術

故障検知

可視化プロビ

API

市販分析装置

フロー
コレクタ

制御連携

特徴A

特徴B
高い拡張性
データ
関連付け

データ
関連付け 1

データ
関連付け 2

データ
関連付け 3

特徴A

データアセット
連携
特徴C

名寄せ

●●

外部OpS
ルーティング

特徴B
収集・試験

外部データ活用基盤

設定
conﬁg

フロー情報

遅延・ジッタ

疎通性
テレメトリ（パケットロス） （装置状態）

特徴A

トポロジ

地理情報

収集・監視・試験ネットワーク
固定網（マス・ビジネス）・移動網

図2

ネットワーク情報収集分析基盤技術概要

2022.11

1₉

特集

IOWN 実用化に向けたトランスポートネットワーク技術

HANMOC

ネットワーク中のあらゆる経路やリンクを対象に試験・測定するため，どのルートでパケットをいくつ送出するかを即時導出

高精度ネットワーク
モニタリングシステム
生成SRパケット群

インラインプローブ

ルータ 1

ルータ 3

ルータ 5

インラインプローブ

お客さま

データ
センタ

拠点
ルータ 2

ルータ 4

送出パケット集約により，全国規模の高スケールを実現

ルータ 6

SR対応ネットワーク

図3■遅延情報・導通性て，一般的な遅延等の測定方法の 1 つ

ルやパケットを収集し，プロトコル解₅G（第 ₅ 世代移動通信システム）であるプローブ対地測定のように測定

析やグルーピング，ヘッダ除去やトラで規定されているサービスの遅延量は用機器をネットワーク内の多数個所にフィック集計を行います．その結果多くがミリ秒オーダであり，APN に設置することなく，ネットワークの単を，フロー統計情報として市中の分析

おいては，より厳しいマイクロ秒オー一個所に接続するだけで全国規模の測技術の入力とすることで，さまざまなダの遅延要件が想定されます．そのた定を実現します（図 ₃ ）．

フロー分析が可能となります（図 ₄ ）．

め，遅延測定において一層高い精度が本試験技術における所望の経路に対な お， こ れ ら 処 理 を FPGA（Field求められます．また，キャリア網の品する測定が可能という特徴を利用し，Programmable Gate Array） や質管理を行ううえでは，全国規模を対例えば，ユーザ通信が不通になっていDPDK を用いて高速化している点が，象とした測定ができる必要もあります．

ないかといった VPN のサービス正常

本技術の特徴です．具体的には，ハー性監視などへの活用が可能です．

ドウェアとソフトウェアでの適材適所■フロー統計情報

な機能配備，ハードウェアからソフトこれらの課題を解消するため，私たちは高精度インライン試験技術を研究

2₀

高精度インライン試験技術概要

開発しています．本試験技術では，IOWN APNはもとより，昨今のキャウェアへメタデータを渡す処理連携，SR（Segment Routing）技術を活

リア網では，帯域要求が異なるユーザスケール性向上のための振り分け機能

用し測定用パケットを生成，測定経路通信を多数重畳しています．そのたの具備等により，キャリアレベルの大を即時導出して生成したパケットを送め，網内でユーザ通信を要求どおり転容量通信の監視を可能としています．

出することでネットワーク中のあらゆ送できているか確認することは，網運本 技 術 を 用 い る こ と で， 例 え ばる経路に対し，瞬時に遅延や導通性を用上ますます重要となっています．

SR-MPLS（Multi-Protocol Label

測 定 す る こ と が 可 能 で す．DPDK

そこで私たちは，転送パケット制御

Switching）上で VPN をユーザに提（Data Plane Development Kit）

基盤・トラフィック情報可視化技術の供する網で，ユーザ通信の帯域や実際を利用することで従来よりもさらに精（₂）

コア技術である Fast xFlow Proxyに経由した経路の監視が可能となりま度の高いマイクロ秒精度（分解能としという技術を研究開発してきました．

す．また，あるユーザ通信のトラフィッてはナノ秒精度）も実現します．加え

本技術では，ルータからヘッダサンプ

クの現在・過去の値の比較，ユーザ間2022.11

特集

Inner Header

Fast xFlow Proxy

Outer Header

Protocol Analysis

GroupingxFlow
IPv4 MPLS MPLS Header#1xFlow

Core Router（1）Header Sampling（IPFIX IE315）

I O O F

#2Payload
IPv4 MPLS
IPv4 MPLS MPLS

I
Core Router （2）Packet MirroringOF

ヘッダサンプル・パケット収集

図4#3

Copy Packet=InnerHeader=OuterHeader=xFlow
HeaderStatistics xFlow
HeaderStatistics
FI

IPFIX IE315
xFlow

#2

I O F

I

IPv4 Header

F

#3
I O

Payload I O O

IPFIX Statistics

#1

I O F

Inner Header
Outer Header

Format Shaping

Copy Packet

I

PayloadIPv4 MPLS
IPv4Remove
Match
I=B, O=X
I=A, O=Y
I=A, O=Z

Group
#1
#2
#3

Commercial
Equipment A

Commercial
Equipment B

CommercialEquipment C

ProcessGroup# 1 Remove & Statistics
Remove Outer#2
Remove Outer#3

プロトコル解析・グルーピング・ヘッダ除去やフロー集計

フロー統計・ヘッダ除去パケット送出

トラフィック情報可視化技術におけるフロー統計収集機能（Fast xFlow Proxy）の概要

トラフィックの比較分析を通じ，通信■リソースプール化による加入者■迅速なサービス復旧

不可事象が発生した際に原因がユー

高収容化

ザ・キャリア網のどちらにあるか切り

これまで加入者管理システムや装置装置が冗長構成をとれなかったり，冗のリソース管理システムから収容装置長系の配置に物理的な距離の制約がまで固定した収容識別情報（装置やイあったりするなどして，ビル罹災などンタフェース）を一貫して利用するこの大規模な障害時にはサービス提供がAPN の実用化に向けてネットワーとで，非常に多くのユーザを誤りなく停止することが課題となるものがあり

ク情報収集分析基盤と連携して，ネッ収容していました．一方で，広い地域ました．本技術ではネットワークの運トワークを効果的に制御するネットに展開している加入者を効率的に収容用情報などから大規模罹災時には引きワーク制御基盤技術に関する研究開発することが困難で，高価な収容装置の続きサービス提供が可能なリソースを行っています．本技術では主に加入利用効率が低水準であることが課題とプール内の別リソースへの収容替え制者収容を担うネットワーク装置（収容なっていました．ネットワーク制御基御により迅速なサービス再開を可能と装置）の①仮想化によりリソースを集盤では各収容装置のリソースをプールしました．

約管理（リソースプール化）し，全体化して一元的な管理を行います．加入■多様な装置への制御の容易化を俯瞰した収容制御による加入者高収者管理システム等ではリソースプール機種ごとに収容装置のインタフェー容化，②大規模な障害時の迅速なサー内の仮想的な収容識別情報を用います

スの実装状況やコンフィグレーション

ビス復旧，③多様なネットワーク装置が，本基盤が効率的に収容できる位置が異なることから，これまでは個々のへの制御の容易化の 3 点に取り組んでを決定，物理的な収容識別情報への変機種への対応が必要であり，マルチベきました．

換を担うことで広範囲のユーザを効率ンダでの加入者収容が困難であること的に収容することを可能としました．

が課題となっていました．本技術では分ける応用も可能となります．

ネットワーク制御基盤技術

従来のサービス提供においては収容

2022.11

21

特集

IOWN 実用化に向けたトランスポートネットワーク技術

各装置への設定を行うコンフィグレーとし，異なるネットワーク間を相互接の要素技術適用や，同じく伝送系ネッションをプラグインモジュール化する続する技術にも取り組んでいます．現ト ワ ー ク か ら 収 集 し た 各 種 PM

ことや仮想的な収容識別情報と物理的状のネットワークは固定・モバイル，（Performance Monitoring）情報とな収容識別情報の変換ロジックを柔軟

マス系・ビジネス系と個々に独立して転送系ネットワークから収集した情報化することで多様な装置への制御の容おり，ユーザの用途に合わせ，柔軟にの関連付けによる光レイヤ・サービス易化を実現しました．

組み合わせたネットワーク提供が困難

レイヤの統合可視化等の技術確立によです．異なるネットワークをまたがる

る運用高度化を考えています．

制御対象の拡張 ・ 制御技術のリソース情報を管理することで，低遅またネットワーク制御基盤技術にお延経路などの最適なネットワーク間のいても今後，遅延マネージド伝送シス

前述のネットワーク制御基盤技術の相互接続点位置を決定します．またテムとの連携など光レイヤの制御技術

対象拡張・高度化を目的に，以下の制

ユーザごとの閉域性を考慮した接続点の拡充を図り，IOWN 実現への貢献を御技術に取り組んでいます．

制御を行うことで，ネットワーク間相めざしています．

■ネ ッ ト ワ ー ク 情 報・ 制 御 連 携互接続のセキュアかつワンストップ提高度化技術供をめざします．

ネットワーク制御は突発的なネット■ホワイトボックス制御技術

ワーク障害等に対して迅速かつ適切なホワイトボックススイッチに対応し対処が求められます．そこで，私たちたネットワーク構築自動化やネットは，ネットワーク情報収集分析基盤とワーク試験機能を拡張する技術検討も連携し，リアルタイム情報を用いた実施しています．トポロジ情報や払い

ネットワーク制御の自動化検討を行っ出し可能なリソース状態の管理によています．例えば，品質劣化を抑えるり，ユーザごとの VPN の構築を自動ようトラフィックを最適パスに配置す化します．さらにネットワーク内の任る場合，その経路計算時間の短縮に加意個所に情報収集分析基盤のエージェ

え，制御対象外の通信への影響も考慮ントを配備させる機能により，ネットする必要があります．そこで，アプリワーク試験や情報収集の拡張に取り組ケーション単位でのネットワーク利用んでいます .

率の最適化に加え，経路変動による通信影響を最小化するロジックを実装しました．このようなトラフィックエン

ネットワーク情報収集分析基盤機能

ジニアリングだけでなく，特定トラについては現在，ルータやスイッチかフィックに対する能動的な対処も検討ら構成される転送系ネットワークを対しています．本技術により，運用コス象とした遅延・導通性やフロー情報をトを抜本的に改善する情報収集・分析含めたトラフィック情報の収集分析機からネットワーク制御の自動化をめざ

能について実用化を進めているところします．

ですが，今後に向けては，伝送系ネッ■ネットワーク間接続制御技術

トワークにおける光遅延情報の収集をネットワーク制御対象の拡張を目的

22

今後の展望

2022.11通した遅延マネージド伝送システムへ■参考文献（1） https://iowngf.org/wp-content/uploads/
formidable/21/IOWN-GF-RD-System_and_Technology_Outlook_1.0-1.pdf（2） S. Kamamura, Y. Hayashi, Y. Miyoshi, T.
Nishioka, C. Morioka, and H. Ohnishi: “FastxFlow Proxy: Exploring and Visualizing Deep
Inside of Carrier Traffic,” IEICE Trans.
Commun., Vol. E105.B, No. 5, pp. 512-521,
2022.

（左から）林  裕平 / 木原  拓/

須藤  篤史 / 武井  勇樹 /渡辺  裕太
APN を通したサービス提供へ向け，ト
ランスポートネットワークにおける新たな収集分析 ・ 制御技術の確立を達成し，ネットワークのさらなる運用高度化へ貢献していきます．

◆問い合わせ先NTT ネットワークイノベーションセンタ
光トランスポートシステムプロジェクト
TEL 0422-59-3506
E-mailntop-manager-p-ml

hco.ntt.co.jp