日米間のネットワーク回線を利用した400Gbps E2E データ・映像伝送実験
独立行政法人情報処理推進機構
産業サイバーセキュリティセンター

サイバー技術研究室
松本 智

産業サイバーセキュリティセンター

センターの設立背景•

社会インフラ・産業基盤に物理的なダメージを与えるサイバー攻撃のリスクが増大。海外では、他国家等からなされるサイバー攻撃により、社会インフラ・産業基盤の安全が脅かされる事案が発生。

•

社会インフラ・産業基盤における、サイバー攻撃に対する防護力を強化することは、国家全体の喫緊の課題。
原発の制御システム停止（米国、2003年）

ロンドン五輪への攻撃（イギリス、2012年）

発電所の制御システムがウィルスに感染。
制御システムが約５時間にわたって停止。

毎秒約１万件の不正通信。開会式会場の電力システムへの攻撃情報。手動に切り替え。

製鉄所の溶鉱炉損傷（ドイツ、2014年）

変電所へのサイバー攻撃（ウクライナ、2015年、2016年）

何者かが製鉄所の制御システムに侵入し、不正操作をしたため、生産設備が損傷。

マルウェアの感染により、変電所が遠隔制御された結果、数万世帯で3～6時間にわたる大停電が発生。

OTとITの知見を結集させた世界レベルのサイバーセキュリティ対策の中核拠点「産業サイバーセキュリティセンター」が2017年4月に発足

産業サイバーセキュリティセンターの事業内容• 人材・組織強化、技術、ノウハウを結集し、社会インフラ、及び産業基盤のサイバーセキュリティ対策抜本的強化を図るために、３つの事業を柱に推進。

人材育成事業 自社システムのリスクを認識し、必要なセキュリティ対策を判断できる人材の育成
 模擬プラントを用いた実践演習による、現場で活きるスキルの醸成
 国内外の有識者、専門家との連携を促
進 企業等の経営層へ、サイバーセキュリティ対策の必要性、人材活用についての啓発

制御システムの安全性・信頼性検証事業
 実際の制御システムの安全性・信頼性に関するリスク評価・対策立案を行う

3つの中核となる事業内
3事業
容

脅威情報の調査・分析事業（サイバー技術研究室）
 脅威情報を収集、新たな攻撃手法など調査・分析
 外部のホワイトハッカーの協力を得つつ、高度なサイバー技術の調査・研究

【中核人材育成プログラム】演習で使用する模擬システム

【中核人材育成プログラム】演習で使用する模擬システム模擬プラント

模擬プラント

模擬プラント

脅威情報の調査分析事業（サイバー技術研究室）
 国内のホワイトハッカーのコミュニティの協力を得つつ、高度なサイバー技術の研究開発
 国内のホワイトハッカーコミュニティの構築とその能力の活用により、公的機関や重要インフラなどにおけるセキュリティ課題への対応や、技術的な支援の実施。
 国内及び国際的なセキュリティ機関同士の連携による、世界における最新のサイバー攻撃情報の調査分析と、その対策の立案。
 産業サイバーセキュリティセンターをハブとして、国内の組織や研究者やホワイトハッカーコミュニティを横断したオールジャパンの体制で、サイバードメインの安全性を確立するのに寄与する、高度なサイバー技術研究プロジェクトを推進。

 人材育成事業の受講生が、サイバーセキュリティ分野の研究者との協働により研究活動を実施
 中核人材育成プログラムの受講生のうちの有志が、サイバー技術研究室に入り、ホワイトハッカー等の研究者との協働により、ネットワークの構築、サイバー攻撃の観測、サイバー技術の調査・研究等に挑戦。

サイバー技術研究室の風景

「シン・テレワークシステム」を急いで開発、運用を開始••

新型コロナウイルス感染対策のため、実証実験として開発・構築された、シンクライアント型 SSL-VPN リモートデスクトップシステム。
NTT 東日本および IPA が連携し、2020 年 4 月 7 日に企画。
複数の最新のセキュリティ技術を組み合わせたプログラムソフトウェアを新たに IPA にて開発し、4 月 21 日に公開。

Internet
ユーザー認証機能 (パスワードの他証明書も利用可能)

オフ ィ スの PC の画面に接続し て自宅で業務

任意のイン
タ ーネッ ト回線

Internet

オフ ィ スの自分の PC

ワンタイムパスワード (OTP) 機能

接続元回線 IP / 端末
MAC アドレス確認機
能

企業等

任意のイン
ターネッ トなどの任意
回線タ ーのイン

ネッ ト 回線

認証処理は企業等のサーバー側端末内で完結。万一 IPA のSSL-VPN 中継システムがセキュリティ侵害されても不正接続は困難である。

IPA で実証実験として運用開始(2020/4/21～)

社内 LAN 等 +インターネット等
IP アドレス固定(30 個程度に限定可能)

https://telework.cyber.ipa.go.jp/ (IPA)
https://business.ntt-east.co.jp/service/thintelework-system/ (NTT 東)

自宅側

30.4 万ユーザー(2023/1/18 時点)
最新のユーザー数グラフはhttps://telework.cyber.ipa.go.jp/stat/
で公開

SSL-VPN 通信の集約・折返
し中継用 SSLVPN 専用装置

企業側
画面の転送

マウス・キーボードの操作

折返し通信装置 (IPA運用) 側ではパスワードリスト等を一切保持しない。

SC22 Network Research Exhibition

SuperComputing 22(SC22) 概要• 2022/11/13-18 にテキサス州ダラスで開催されたHPC分野の国際会議• High Performance Computing, Networking and Storage and Analysis• NICT総合テストベッド研究開発推進センターが出展• 情報処理推進機構(IPA)はNICT出展のうち１実験として参加いたしました•••

IPA以外にも複数の大学・研究組織が参加
SC22全体では100を超える出展者が参加
HPC分野を中心とした実験実装の動体展示

Network Research Exhibition• SC22では技術展示やDEMO展示に合わせて会場NWインフラ（SCInet）を利用した実験も開催• Network Reaserch Exhibitionとして公募され、SC22では29の実験が実施されました• https://sc22.supercomputing.org/scinet/network-researchexhibition/• Full 400G bps E2E DATA/VIDEO Transfer Across the Trans Pacific• SCInetとは•••••

SC22会場内及び体外接続を含む大規模な実験NWインフラ
Interopに於けるShownet
I2やLEARN,ESnet等学術NWとも接続
SINETやAPOnet等と連携し回線を確保
NICT booth とは 400Gbps で接続

実験概要• IPA 秋葉原拠点～SC22展示会場を接続する合計6本の太平洋間の回線を駆使し、IPAにて開発したトラフィックジェネレータを用いて 400Gbpsのトラフィック伝送及び高負荷トラフィックと映像伝送を同時に行う実験を実施• アジア太平洋・オセアニア・ネットワーク（APOnet）のメンバー、すなわちPacific Wave, TransPAC, UH, ARENA-PAC, SingAREN,NII(SINET), JUCC, AARNetと連携・協力し日米間で6本の100Gbps回線を準備• すべての回線で線路長・構成部材・回線区間の制御方式が異なる• すべての回線が実利用されているため、利用可能な帯域の計測、それらを組み合わせた 400Gbps のトラフィック伝送の実現など、実網ならではの工夫を行いました• 制御されたトラフィック制御 = managed DDoS の実現• Palo Alto PA-5450およびFortinet FG-3700Fを利用しトラフィックの計測および高トラフィック負荷時に於ける動作検証も行いました• 400Gbps負荷時におけるセキュリティ装置の動作検証を兼ねる

400G パケットジェネレータ
• IPAにて独自に実装
既存OSS等を組み合わせさらにチューニングを実施• Spec• Corei9 12900KS / 64GB RAM / M.2 SSD 512GB• 400GbE NIC への対応のためPCIeGen5必須• NIC: Mellanox Connect X6 200GbE * 2• スイッチ側非対応のため 100GbE として利用• Ubuntu 22.04 LTS / DPDK 21.11.1• 性能(PC 1台あたり)• Max 200Gbps / 220M pps(64byte)• Single IP src / dst にて100Gbps の単一stream生成• 送信機受信機を分離できPCを増やすと400Gbps/800Gbps のトラフィックを生成可能• 今回6回線 Src 3台 / Dst 3台の合計6台構成

400G パケットジェネレータ• Over 100GbE のNWにおいて検証や負荷試験を行うため実装• 高価な測定器とソフトウェアのトラフィックジェネレータの間を埋めたい• 我々の用途にジャストフィットするような性能と価格を目指す• 目標• なるべく安く市中で手に入る部材で作り量産可能であること• 自作PCの範疇で実現したい、Xeonの採用は高価になるため回避• 再現性があるため、最終的には誰でも実現可能なものを目指す• 単独 200Gbps 送受信、複数台の組み合わせで 400Gbps超を実現できること• 400G NIC がまだ市場に存在しないため• ワイヤーレートは出なくとも高ppsを実現できること• 大量の mac/IP 宛の通信を模倣できること• Single IP 100G stream から 1万IP 100G stream くらいまでの柔軟性• 可搬できること• 回線や広域NWの検証を行うことを想定したため

Managed DDoS
• 今回の6回線はすべて現用されており実トラフィックが流れている状態• そのため、各回線問題がない範囲でパケットジェネレータからトラフィックを送出• 更に回線利用状況を踏まえ細やかにトラフィック負荷を変動• 様々な組み合わせで 秋葉原～SC22間に 400Gbps 双方向のトラフィック印加を実現• Managed DDoSの仕組みは、任意のトラフィックを生成できる上に帯域制御を細やかに行うことができ、様々なセキュリティ実験に対する可変的な負荷装置として応用可能• 今後も様々な実験で柔軟に活用や発展実装を予定

映像伝送実験との連携• NICTブースにて並行して実施している神奈川工科大学による「Uncompressed 8K Video Processing on Edge-Computing」
実験と連動し、8K映像伝送を妨害するトラフィック負荷を掛けどのような問題が発生するかの検証を行った

国際連携の難しさ• 環太平洋における回線の確保においてAPOnetに参画する各NRENと協力し100Gbps * 6パスを確保• 日米間では400Gbps単独回線が存在しないため100Gbpsのパスを組み合わせる必要があった• SC22に於ける実験においては各組織との連携における協力体制が非常に重要
•
•
•

•

複数のNRENが有する回線を組み合わせることで様々なパスの100Gbps回線を実現
遅延も異なる、最小遅延137msec、最大遅延357msec
伝送可能な最大トラフィック量も異なる（～80Gbps以内で利用状況に合わせて変動）
各回線に対して任意の帯域でデータ伝送をできる仕組みを実装し実証実験を行った•

時間帯や回線特徴等において利用できる帯域を推定しチューニングを行うことで、双方向の400Gbps の長距離伝送実験に成功• 日常的なNREN間の連携取り組みによる信頼醸成が非常に重要•••

NREN間のネットワークリソースの連携は様々な場面での協力が不可欠
実験実施決定から数ヶ月で本実験における回線の調整を完了
NICT JGN/IPA 小林先生を始め、多くの関係者にご協力いただきましたSCinet Sprit of Innovation• SC22 SCinet NREのうち優れた実験における表彰として「SCinet Sprit of Innovation」を受賞••

The research innovations are being demonstrated
at the NICT booth at SC22 this year, and featureseveral experiments that will leverage International
connectivity and technology support being
provided by the collocating partners.
These demonstrations will transmit data and video
streams of various qualities across a multicontinental path, use cloud and edge computing
approaches to perform at scale video processing
and measuring and monitoring of the network
infrastructure, and use this intelligence todynamically control the network path.
https://sc22.supercomputing.org/2022/11/15/scinet-spirit-of-innovation-award-recognizes-17contributors-role-in-supporting-international-science-activities-for-sc22%ef%bf%bc/

Blow the doors off the network event• SCinet NRE実験参加者がSCinetに対して大量のトラフィックを生成する実験を実施• 最大で約4.8Tbpsのトラフィックを生成することに成功

4.8Tbps