FX700 によるデータ通信プロトコル HpFP の高速化
村田 健史 1),3), 柿澤 康範 2), 川鍋 友宏 3), 深沢 圭一郎 1), 高木 文博 2), 水原 隆道 2)1) 京都大学 学術情報メディアセンター
2) 株式会社クレアリンクテクノロジー
3) 情報通信研究機構 総合テストベッド研究開発推進センター
murata4stars@gmail.com

High-speed data transfer via HpFP (High-performance and Flexible Protocol)using FX700 supercomputer
Ken T. Murata 1),3), Yasunori Kakizawa 2), Tomohiro Kawanabe 3), Keiichiro Fukazawa 1),
Ayahiro Takaki 2), Takamichi Mizuhara 2)
1) Academic Center for Computing and Media Studies, Kyoto Univ.
2) CLEALINK TECHNOLOGY Co., Ltd.
3) ICT Testbed Research and Development Promotion Center, National Institute of Information andCommunications Technology
概要
京都大学学術情報メディアセンターの富士通スパコン FX700 を用いたデータ通信プロト
コル HpFP（High-performance and Flexible Protocol）の高速化を試みた。HpFP は筆者らのグループが開発した TCP 互換プロトコルであり、これを用いた通信環境計測ツールやファイル転送ツールなども実装および販売を行っている。本実験では HpFP を多重化して通信速度を計測するツール hperf を用いた。これにより FX700 の 2 ノードを直結して実験を行ったところ、30Gbps 程度を達成した。また、仮想的に遅延およびパケットロスを与えて計測を行ったところ、24 並列で 22Gbps となった。これらのボトルネックは、もともとデータ通信高速化での利用を想定していないスーパーコンピュータの NIC（ネットワークカード）やメモリサイズ（バッファサイズ）にあると予想している。

1の映像伝送などは後者で行われることもある。

はじめに

これまでにも様々な TCP または UDP をベース

近年のネットワーク広帯域化に伴って、としたデータ通信プロトコルが開発されているが、10Gbps さらには 100Gpbs を超えるような高速デーネットワークにおいて一定値以上のパケット損失

タ通信アプリケーションの必要性が高まっている。

や遅延が生じる場合に伝送効率が大きく劣化する

これらを背景に、SUPERCOMPUTING ASIA[1]でため、期待するような高速データ伝送が提供できは毎年 Data Mover Challenge を開催し、各国の参加ないという課題があった。筆者らはパケット損失者が複数国を接続する国際バックボーンネットワや遅延が生じる長距離広帯域伝送ネットワーク環ーク回線上での超高速データ伝送技術を競ってい境においても高い伝送効率を実現するトラスポーる。

ト 層 プ ロ ト コ ル HpFP （ High-performance andデータ通信高速化の手法の一つとして、トランFlexible Protocol）を開発した[2]。

スポート層のデータ通信プロトコルの技術開発が詳細は別論文に譲るが、HpFP をベースとして有効である。これらの手法は主として TCP 改良型開発したデータファイル転送アプリケーションと独自プロトコル開発に分けられる。独自プロト

HCP tools により DMC2020 および DMC2021 にお

コルは UDP をベースとして独自アルゴリズムのいて高速データ通信実験を実施した。その結果通信を実現する方法であり、信頼性を担保する30Gbps から 50Gbps を超えるファイル転送を実現

TCP 互換型と信頼性の一部を犠牲にして高速化をし た が、 バン ド幅 いっ ぱい の 100Gbps ま たは行う特殊型に分かれる。インターネット上でのデ200Gbps でのファイル転送には至らなかった。室ータ伝送は前者となるが、独自ネットワーク上で内実験環境において汎用 Linux サーバを用いて類96

似のネットワークを仮想的に構築し検証を行った

and Best IPv6 Performance”賞を受賞、2022 年 3 月

ところ、ボトルネックはメモリアクセス速度にあ2ることが分かった。

SUPERCOMPUTINGASIA 2022 において表彰を受

日 に シ ン ガ ポ ー ル で 開 催 さ れ た

そこで本稿では、メモリバンド幅が一般的なけた。NICT とクレアリンクテクノロジー社が開Linux サーバと比較して高速であるスーパーコン発した HpFP プロトコルおよびそれによるファイピュータによる HpFP の高速化を試みる。具体的

ル転送ツール（HCP）の先進性（他のプロトコルには京都大学のスパコンである FX700（富士通社）との親和性の高い独自開発の高信頼プロトコルと上で HpFP 通信のマルチスレッド通信を行い、IPv6 環境での高スループット）が評価されたもの

IPoverIB 環境上で 100Gbps クラスの HCP によるノである。
同チームは 2020 年度に開催された DMC20ード間通信実験を実施した結果を報告する。第 2に お い て も ” Experimental Excellence Award ”

節では HpFP について紹介し、第 3 節では利用す（HpFP を用いたデータ伝送ツールの多機能性がるスーパーコンピュータの紹介、第 4 節で実験結評価された）を受賞しており[10]、2 年連続の受賞

果について報告する。第 5 節で本稿をまとめる。となった。

2 HpFP プロトコル

3 FX700 による高速化性能検証

2.1 HpFP プロトコルとアプリケーション

3.1 目的HpFP は、経路上でパケットロスが発生する

前述の通り、これまでに 100Gbps の NIC を搭載LFN（Long-fat network）においても高信頼性通信した 2 台のサーバ間での室内通信実験環境においを実現するために、TCP ではなく UDP をベースて、並列化した HpFP プロトコルを用いたデータに設計したトランスポート層の独自プロトコルで通信実験を実施したところ、通信ボトルネックはある。衛星通信環境[3]、Web アプリケーション[4]、メモリアクセス速度にあることが分かった。これ

国際回線でのデータ共有[5]などでの高速通信実績

は、HpFP が UDP をベースに実装されており、TCPがある。のようなカーネルサポートや NIC による高速化が筆者らのグループでは HpFP をベースとしたネ困難であるためである。特に、パケットロス環境

ットワーク環境計測ツール hperf[6]をフリーソフにおいては再送制御のためのデータ処理量が膨大トウェアとして公開している[7]。クレアリンク社となり、これがメモリアクセスを圧迫している。

では HpFP をベースとしたデータファイル伝送・本実験で用いる FX700 の１ノードあたりのメ同期ツールである HCP tools を開発、公開（販売）

モリバンド幅は 1024GB/sec で、上記室内実験で利している。HpFP のバージョンは現在 ver.2 であり、用している一般的なサーバの 10 倍以上である。したとえば Super Aggressive Mode として、回線帯域たがって、100Gbps までの通信であれば、メモリが予めわかっており該当回線を占有できる場合にアクセス性能はボトルネックにならないと予想しターゲットスループットを設定し、設定した帯域た。の限界まで活用することが可能なモードなどがあ

2.2 FX700 システム構成る。

本実験では、京都大学学術情報メディアセン

次節の DMC 以外にも、JHPCN（学際大規模情報基盤共同利用・共同研究拠点）プロジェクトにターの Fujitsu FX700 を使用した。システム構成を図 1 に示す。

おいて、HCP のファイル同期機能により、拠点大学間（たとえば NICT、京都大学、九州大学など）の 1PB 級のデータファイル伝送実験などの実績がある[8] [9]。
2.2 Data Mover Challenge
情報通信研究機構、京都大学およびクレアリン
クテクノロジー社は、Team Musashino として、2020 年、2021 年に開催された Data Mover Challengeに 2 年連続で参加した。2021 年は参加 7 チーム中5 チームが入賞し、同チームは”Most Innovative97

図 1: 京都大学 FX700 のシステム構成図[11]対応のためのプログラム書き換えが膨大となるた実験では、fx-0009 と fx-0010 の計算ノードをめ、本研究では libnuma なしの場合のみ計測した。

占有し、2 つのノード間で通信を行った。Fujitsu

計測には iperf や hperf[6]を用いた。計測結果の詳FX700 の計算ノードのスペックは以下の通り。

細は別論文で述べるが、ここでは結果の概要を報CPU:

A64FX

1.8GHz

48コ ア

まず、NIC を標準状態の Infiniband モードに設(Armv8.2-A SVE)定した。MTU をデフォルトの 2044 バイトとしたアーキテクチャー: 1 CPU/ノード

メモリ容量: 32 GiB（HBM2, 4 スタック）

メモリバンド幅: 1,024 GB/s

イ ン タ ー コ ネ ク ト : InfiniBand EDR

場合、並列度により約 5～10 倍程度、TCP が HpFPよりも高速であった。また MTU を 65520 バイトに拡張しても TCP および HpFP は高速化しなかっ100Gbpsた（低速化した）。特に TCP でスピードダウンが顕著であった。これは Infiniband の MTU はこの環内蔵ストレージ: M.2 SSD Type 2280 ス告する。

境では 2044 が上限で、それ以上の設定は仮想的にパケットの分割と結合をしているためだと考えらロット（NVMe）れる。

 OS: Red Hat Enterprise Linux 8
3.3 環境設定

次に NIC を Ethernet モードに設定し、MTU をOS のネットワークパラメータとして、UDP の9000 バイトとした。コンパイラは gcc を用いた。

性能向上のため、以下のバッファサイズの設定をその結果、Infiniband よりも性能は向上したが、各計算ノードに行った。

TCP は約 70Gbps、HpFP は約 30Gbps となり目標である 100Gbps には届かなかった。なお、fcc でコン

net.core.wmem_max=104857600
net.core.rmem_max=104857600

パイルしても性能に大きな変化は見られなかった。
高速化が達成できなかった要因としては、NIC 性

3.4 メモリアクセス性能計測
本研究ではまず、C 標準関数 memcpy を用いたベンチマークプログラムを作成し、並列数とブロックサイズを変更して、read/write の速度を計測し能限界であると予想している。

4 LFN モデルでのパケットロス耐性検証た。上記の通り、FX700 ではメモリバンド幅が前節において、HpFP（hperf）は FX700 の 21024GB/sec である。memcpy では read と write が１ノードを直結した場合に、期待する 100Gbps の回ずつ発生するので、FX700 での最大理論値はスループットを達成できなかった。本節では、512GB/sec（4096Gbps）となる。詳細は別論文で述同環境において仮想的に遅延とパケットロスをべるが、最大性能は理論性能の約 57%となった。

与えることで、HpFP の LFN 上でのパケットロまた、並列数を変更して計測したところ通信性能ス耐性が汎用 Linux サーバと比較して向上するが並列数にほぼ比例したため、メモリコピー処理の CPU 負荷がボトルネックになっていると思われる。
さらにメモリアクセス速度向上のために、FX700 用に開発された専用メモリ性能計測ツールを用いた計測を行った。同ツールでは libnuma により CPU コアとメモリコントローラを制御するかについて調査した。
調査結果の詳細は別論文で議論するが、たとえば 24 並列（バッファサイズを 512MB に設定）
では 21.1Gbps という結果となり、必ずしも期待するような高速データ通信は実現しなかった。
CPU 使用率は送受信側共に合計 500%程度で全ことでメモリアクセス速度向上を実現している。

体の 1/6 程度であり、負荷が 100%になっている

本ツールによると、1 並列当たりの最大性能が約コアもなかった。したがって、高速化を阻害す2.5 倍、トータルメモリアクセス性能も約 1.2 倍向る要因はバッファサイズの不足ではないかと考上した。

えられる。

3.5 通信性能計測
本節では、TCP および HpFP による通信性能検5 おわりに証を行った。TCP は前節の libnuma ありの場合と本研究では、京都大学学術情報メディアセンなしの場合で比較した。HpFP については libnuma

ターの富士通スパコン FX700 を用いたデータ通98

信 プ ロ ト コ ル HpFP （ High-performance andFlexible Protocol）の高速化を試みた。HpFP は筆者らのグループが開発した TCP 互換プロトコルであり、これを用いた通信環境計測ツールやファイル転送ツールなども実装および販売を行っている。本実験では HpFP を多重化して通信速度を計測するツール hperf を用いた。これにより
FX700 の 2 ノードを直結して実験を行ったところ、30Gbps 程度を達成した。また、仮想的に遅延およびパケットロスを与えて計測を行ったところ、24 並列で 22Gbps となった。これらのボトルネックは、もともとデータ通信高速化での利用を想定していないスーパーコンピュータの NIC（ネットワークカード）やメモリサイズ（バッファサイズ）にあると予想している。

謝辞
本実験は、京都大学学術情報メディアセンターのスーパーコンピュータ共同研究制度 FX700 小ノード実行枠を利用して行いました。また、本実験を行うにあたり、富士通株式会社・インフラストラクチャシステム事業本部・基盤ソフトウェア事業部・甲斐俊彦様のご協力をいただきました。また、実験のご支援をいただいた京都大学情報部情報基盤課・當山達也様に感謝します。

参考文献[1] SUPERCOMPUTING ASIA：
https://www.sc-asia.org/about/[2] 村田健史、水原隆道、長屋嘉明、村田健史，
長屋嘉明，水原隆道，IoT/M2M 時代に向けた高性能遠隔制御のための通信プロトコル 新しい社会システムデザインに向けた基盤通
信技術の創出 -，電波技術協会報 FORN，2016 年 9 月号，No.312，pp.6-9，2016．
[3] K. T. Murata, P. Pavarangkoon, K. Yamamoto, Y.
Nagaya, N. Katayama, K. Muranaga, T. Mizuhara,A. Takaki and E. Kimura, "An Application ofNovel Communications Protocol to HighThroughput Satellites," in The 7th IEEE Annual
Information Technology, Electronics and Mobile
Communication Conference (IEMCON2016),
Vancouver, Canada, Oct. 13-15, pp. 1-7, 2016,
doi: 10.1109/IEMCON.2016.7746274.
[4] K. T. Murata, P. Pavarangkoon, K. Inoue, T.
Mizuhara, Y. Kagebayashi, K. Yamamoto, K.
Muranaga, E. Kimura and Y. Nagaya,"Development of High-performance and Flexible
Protocol Handler for International Web
Accesses," in The 21st IEEE International

99

Conferences on High Performance Computingand Communications (HPCC-2019), Zhangjiajie,China, Aug. 10-12, pp. 1958-1963, 2019, doi:10.1109/HPCC/SmartCity/DSS.2019.00270.
[5] P. Pavarangkoon, K. T. Murata, K. Yamamoto, K.
Muranaga, A. Higuchi, T. Mizuhara, Y.
Kagebayashi, C. Charnsripinyo, N. Nupairoj, T.
Ikeda, J. Tanaka and K. Fukazawa, "Developmentof international mirroring system for real-time
web of meteorological satellite data," EarthScience Informatics, vol. 13, no. 4, pp. 1461-1476,
2020, doi: 10.1007/s12145-020-00488-z.
[6] K. T. Murata, P. Pavarangkoon, K. Yamamoto, Y.
Nagaya, T. Mizuhara, A. Takaki, K. Muranaga, E.
Kimura, T. Ikeda, K. Ikeda and J. Tanaka, "A
quality measurement tool for high-speed datatransfer in long fat networks," in 2016 24thInternational
Conference
onSoftware,
Telecommunications and Computer Networks(SoftCOM), Split, Croatia, Sep. 22-24, pp. 1-5,
2016, doi: 10.1109/SOFTCOM.2016.7772111.
[7] https://hpfp.nict.go.jp[8] P. Pavarangkoon, K. T. Murata, K. Yamamoto, K.
Muranaga, T. Mizuhara, K. Fukazawa, R. Egawa,T. Katagiri, M. Ogino and T. Nanri, "Performance
Improvement of High-Speed File Transfer overJHPCN," in The 5th IEEE International
Conference on Cloud and Big Data Computing(CBDCom 2019), Fukuoka, Japan, Aug. 5-8, pp.
1086-1089,
2019,
doi:
10.1109/DASC/PiCom/CBDCom/CyberSciTech.
2019.00195.
[9] K. T. Murata, P. Pavarangkoon, K. Yamamoto, K.
Muranaga, T. Mizuhara, K. Fukazawa, R. Egawa,T. Katagiri, M. Ogino and T. Nanri, "High-Speed
File Transfer of Real Datasets over JHPCN,"
IEICE Technical Report, vol. 118, no. 466,Okinawa, Japan, Mar. 4-5, pp. 175-179, 2019.
[10] P. Pavarangkoon, K. T. Murata, K. Yamamoto, N.
Fujita, H. Ohkawa, H. Mikai, Y. Ikehata, K.
Muranaga, T. Mizuhara, A. Takaki and Y.
Kakizawa,"Performance
Evaluationof
High-Performance and Flexible Protocol on Data
Mover Challenge," in 2020-5th International
Conference on Information Technology (InCIT),
ChonBuri, Thailand, Oct. 21-22, pp. 265-269,
2020, doi: 10.1109/InCIT50588.2020.9310956.
[11] 京都大学学術情報メディアセンターFX700 システム図（https://web.kudpc.kyoto-u.ac.jp/manual/ja/fx70
0 より転載）