APAN-JP Update
小西 和憲
APAN Director of NOC

2023/10/05

ADVNET2023 meeting at Takeda Hall1

下條真司教授がAPANチェアに選出されました！

2023/10/05

ADVNET2023 meeting at Takeda Hall2概要
世界で推進されている次世代ネットワーク技術の研究開発状況等を紹介した後、APAN-JPの活動を紹介します：
１．Global Network Architecture (GNA)
２．欧米の研究教育ネット- GEANT / Internet2 / ESnet
３．アジアの研究教育ネット- APAN / Asi@Connect / ARENA-PAC
４．APAN-JPメンバー- NII / NICT / MAFFIN / WIDE
５．APAN-JP NOCの活動
2023/10/05

ADVNET2023 meeting at Takeda Hall

3

Global 100G Networks

GNA840 Gbit/s

SINET 100G x 2本APOnet大西洋をまたぐ400Gリンク

2023/10/05

ADVNET2023 meeting at Takeda Hall

GNA5AP-REX から NA-REXへ展開

GNA

North American Research & Engineering Exchange

Atlantic Pacific Research and Education Exchange (AP-REX)
supported by Internet2 and Pacific Wave:

For coordinating the operations and collaborativeplanning of the exchanges.
2023/10/05

ネットワーク研究等を強化する：○ Uniform orchestration(NSI/AutoGOLE/SENSE/etc)○ Support Network Research (FABRIC, BRIDGES,P4, etc)
○ Uniform test infrastructure (e.g. perfSONAR)○ Measurement, monitoring, and reporting
applications (e.g. NetSage, iGROK, stardustADVNET2023 meeting at Takeda Hall

6欧米

GEANTの回線構成
http://www.jp.apan.net/meetings/2008-HK/APAN2020GuyRobertsGEANT_v4.pdf• EUから下記指針を与えられた：• 長期契約の IRU回線と、この回線を活用する関連機材を入手して、従来技術を凌駕するネットワークを構築・運用すること• コストを下げ、ディジタルデバイドを解消すること• 3種の回線を使用する：• ダークファイバ － トラヒックの多いバックボーンをIRU契約、• スペクトラム－

他ネットのダークファイバに光を挿入させてもらう• 電話会社等の専用回線
2023/10/05－

低トラヒック区間

ADVNET2023 meeting at Takeda Hall7

欧米

2023/10/05

ADVNET2023 meeting at Takeda Hall

8

GEANTの GN5-1 (2023-24)

欧米• GEANTの Cambridge研究所で、Facebookの提案した Telecom InfraProject＝Open Line Systemに基づき、複数社から入手した光トランシーバをDCIボックスに入れ、実験を行った結果、一旦、• 光トランシーバは Acacia CFP2 ACO 、• DCIボックスは Coriant Groove G30 の組み合わせを選択した。
しかし、Acacia社はCisco社に買収され、Coriant社は Infinera社に買収された。

• 結果として、GEANTの伝送システムは Infinera製となったが、Infinera社は標準規格に準拠したOpen Line Systemを推進した：• Coherent & Pluggable Tranceiver• IP-MPLSルータは Nokia 7750 SR-s(400G/beyond)を採用。
2023/10/05

ADVNET2023 meeting at Takeda Hall

9

欧米Internet2

2023/10/05

ADVNET2023 meeting at Takeda Hall

10

欧米

Internet2の新技術• 400Gbps – 800Gbps: Cisco 8201/8202 を77台採用• Cisco Network Service Orchestration (NSO): マルチベンダー対応のネットワーク設定自動化システム• 400G GXP : AristaスイッチをBoston / MAN LAN (New York)/ WIX(Washington)に設置した: NYSERnet / MAX, GlobalNOCと運用を協調している。
• GXP Automation: データセンターで標準的に採用され始めているプロトコルEVPN VXLAN等と、GNA-G/GLIFで推進されているAutoGOLE/SENSEに基づき、上記NSOの活用/拡充して、GXPの運用自動化を推進する。
http://www.jp.apan.net/meetings/2208-CN/APAN_Slides-AUG_2022-Wilkinson.pdf
2023/10/05

ADVNET2023 meeting at Takeda Hall

11

欧米

運用支援ツール by GlobalNOC
https://internet2.edu/wp-content/uploads/2023/09/20230919-fowler-building-an-automationculture-at-globalnoc-techex23.pdf• インディアナ大学のGlobalNOCは Internet2 Networkをはじめとする、20以上のネットワークを運用しているが、様々な運用支援ツールを開発してきた：• 障害検出• 障害時の通信確保• 診断と修復• 変更作業の確認• ユーザへの適切な通知法• ネットワーク管理システムの試験と展開• etc.
2023/10/05

ADVNET2023 meeting at Takeda Hall12

欧米
https://internet2.edu/wp-content/uploads/2023/09/20230919Koerner-ESnets-Orch-perspective.pdf

2023/10/05

ADVNET2023 meeting at Takeda Hall

13

アジア

http://www.jp.apan.net/NOC/apan-topology_original2021.png
2023/10/05

ADVNET2023 meeting at Takeda Hall14

APAN、ARENA-PAC、Asi@Connect

アジア

項目
APAN
ARENA-PAC
役割分 メンバーが回線提供、 途上国にも100G設定
担APAN会合を主催

Asi@Connect/TEIN
途上国にNRENを組織化。
APAN会合内に自会合設定

リーダ JP, CN, SG, AU, KR
WIDE, APNIC
役員
会費額に応じた投票権 WIDE, APNIC
年会費 GDPに応じてAPIDT基金で賄う
20-300万円/国

EU, KR, IN, CN
途上国に厚く関門局へのアクセス回線費用の25-75%を負担

議題

インフラのアップデート、基金付与の研究成果発表
事務局が出張費用を分担
し、APAN会合へ参加
TEIN*CC (韓国）グローバルな会合を主催し、国際連携を推進
出席者 所属機関によりAPAN
会合へ派遣
事務局 APAN Sec. (MY)2023/10/05

AI3 Networkの拡充とオンライン教育
APAN会合で発表
CCRC (慶應大学）
ADVNET2023 meeting at Takeda Hall

15

APAN-JP

APAN-JP, APAN, Asi@Connect● APAN-JPのメンバー

NICT, NII, MAFFIN, WIDE● APAN & Asi@Connectの役員

メーリングリスト：
apan-jp@jp.apan.net• 下條真司： APAN Chair、Asi@Connectの運営委員• 後藤滋樹： APAN Boardのアドバイザー● APAN-JPの役員Slack• 議長：下條真司• 名誉議長：後藤滋樹• 事務局長：小西和憲＜下條APANチェアを支える体制の整備が急務＞

2023/10/05

ADVNET2023 meeting at Takeda Hall

16

ARENA-PAC operated by WIDE

2023/10/05

ADVNET2023 meeting at Takeda Hall

APAN-JP17

APAN-JP
MAFFIN Connects to 72 access points ofResearch Institutes (include branches)

http://www.jp.apan.net/meetings/2208-CN/shimojo-apan2022.pdf
2023/10/05

ADVNET2023 meeting at Takeda Hall

18

APAN-JP

2023/10/05

ADVNET2023 meeting at Takeda Hall19

2023/10/05

ADVNET2023 meeting at Takeda Hall

20

APAN-JP NOCの活動

2023/10/05

ADVNET2023 meeting at Takeda Hall

21

APAN-JP NOCの構成

APAN-JP NOC

有識者
技術情報・経験の提供
システム向上の提案等
KDDIのシステムエンジニア
システム設計・試験・構築
実験・デモ支援
海外NOCとの連携
KDDIの日勤運用者
システム保守（回線・機材の交換・追加等）
フロント運用の検査・指示・補完

KDDIのフロント運用者（24x 7運用)
定型運用
障害一次対応トラブルチケットの発行・管理
2023/10/05

ADVNET2023 meeting at Takeda Hall

22

APAN-JP NOC

APAN-JP NOCの主要プロジェクト• APAN-JP NOCのKDDIチームは、SINET/JGN/MAFFINの国際ネットワーク運用業務を受託、実施している• これに加えて、下記の開発活動等を行っている：• 国内外の研究ネットが接続するGXP-Tokyoの構築運用• GXP間/APANメンバー間のPerfSONAR計測• Dockerコンテナによる、各種運用ツールの試験・展開• P4によるプロトタイピング• MANRS/CERNETによるBGP Routing Security活動に参加
2023/10/05

ADVNET2023 meeting at Takeda Hall

23

APAN-JP NOC

GXP-Tokyoの構成

SINET 100G x 2
Unity + FASTER

2023/10/05

ADVNET2023 meeting at Takeda Hall

24

APAN-JP NOC

GXP-Tokyoを構築した効用・課題• VLANを使って、ネット間で100G接続を簡単に設定できる、• バックアップ経路も容易に設定できる、• ネットワークが簡素化され、構築・運用しやすくなった、• APAN-JPメンバー間のネットワーク資源を共有しやすくなった、• GXP-Tokyo、JPIXを介して商用ネット資源へのアクセスが容易となった、• ネットワークトポロジーが複雑化し、全体把握に手間取る。
2023/10/05

ADVNET2023 meeting at Takeda Hall

25

APAN-JP NOC

PerfSONAR計測• 学術研究ネットワーク間の性能計測をホストし、計測結果を公開しています：• APANメンバー間• 13のGXP間

APANメンバー間
2023/10/05

http://www.jp.apan.net/report-2021/3_perfSONAR.docx

GXP間
ADVNET2023 meeting at Takeda Hall26

クラウド技術に基づく運用ツール

APAN-JP NOC• Googleが開発した、開発・運用自動化のための基盤 Kubernetes（クーバネティス）が3大クラウドベンダー(Google, Microsoft,Amazon)に採用され、実質標準となりました。
• 従来、1台の物理サーバにハイパーバイザー(仮想化モニタ)を積み、その上に、複数の「OS・ミドルウェア・アプリ」セットを載せる仮想マシン(VM)環境が普及していた～システム資源の負担が重く、アプリの開発・展開時間も長くなる欠点があります。
• Dockerはこれらの欠点を克服するもので、一つのOSの上にDockerEngineを設けて、そのデーモンが作成/ダウンロードしたDockerイメージから、（OSを利用するためのライブラリ等を含む）多様な実行ファイルDockerコンテナを作ります。
2023/10/05

ADVNET2023 meeting at Takeda Hall

27

APAN-JP NOC

Dockerのアーキテクチャ
https://docs.docker.jp/engine/understanding-docker.html

DockerEngineDocker
Engineコマン
ド入力

Dockerイメージ

実行
命
令buildコンポー
ネント
runコンポーネント

実行
2023/10/05

配布

構築

ADVNET2023 meeting at Takeda Hall

28

APAN-JP NOC

公開レジストリにあるDockerイメージ• perfSONAR docker image -- パフォーマンス計測• Telemetry docker image -- push型遠隔測定• Looking-Glass docker image -- インターネット経路情報• DTN docker image -- 高速データ転送ノード• AutoGOLE docker image -- 複数ネットを動的に接続• etc.

必要な性能が出るか等、実運用する前に事前実験する必要がある！
2023/10/05

ADVNET2023 meeting at Takeda Hall29

APAN-JP NOC

RARE-P4LangによるFreeRouter by Geant
GEANT P4 Labの実験に参加している

https://indico.geant.org/event/1/contributions/24/attachments/28/44/GN4-3-WP6-T1-TNC22.pdf
https://internet2.edu/wp-content/uploads/2023/09/20230920-LouiFiliposka-GP4L_in_GN5-1.pdf
2023/10/05

ADVNET2023 meeting at Takeda HallRAREOpen
SourceProgramIntel Tofino
Programmable
EtherSW30

BGP経路制御のセキュリティ対策

APAN-JP NOC• 経路ハイジャックの原因は下記から成る：• 運用者の設定ミス• 金銭目的等の悪意に基づく設定• JPNIC等に登録し、下記セットが正しい経路であることをPKIで証明する～
MANRSが普及活動をしている。
• AS番号• IPプレフィックス• 割り当てられたIPアドレス• 中継ネットワークはJPNIC等に問いあわせ、無効と判定された経路を廃棄する。
• また、経路サーバがBGPルータから予め経路情報を集め、JPNIC等に問いあわせ、破棄すべき無効な経路を選別・通知する～ APNIC ISIFプロジェクトの一つとして基金を受領した CERNETのBGP経路サーバ
2023/10/05

ADVNET2023 meeting at Takeda Hall

31

終わりに
APANは1996年に誕生し、アジアの研究教育ネットワークが挙って参加しているネットワークです。米国のInternet2、欧州のGEANTと連携して、世界の研究教育ネットワークを構成しています。
APAN-JPは我が国の研究教育ネットワークである SINET, JGN,MAFFIN, WIDE/ARENA-PACがGXP-Tokyoに接続・相互補完する環境を提供し、さらに、多くの研究者・運用者が協力して、効率的なネットワーク研究・構築・運用活動を展開しています。
本稿の執筆に当たり、後藤滋樹さん、下條真司さん、田中仁さん、池田貴俊さん、佐藤弘崇さん、OTCの皆様の力をお借りしました。感謝します。
2023/10/05

ADVNET2023 meeting at Takeda Hall32