広島工業大学紀要研究編
第 ₄₇ 巻（₂₀₁₃）127 – 131

論文

大規模データ収集システムにおける通信の効率化に関する研究
長坂康史*・沖恭志**（平成₂₄年₁₀月₃₁日受付）

A study on an improvement of communication efficiency
in a large-scale data acquisition system
Yasushi NAGASAKA and Kyoshi OKI(Received Oct. 31, 2012)

Abstract
A data acquisition, DAQ, system with using the Internet technology is used in many fields these days.
But the Internet is a general purpose technology and suitable to transfer data randomly. Moreover, as
a lot of clients and servers are connected into the Internet, the network topology of it is N to M, i.e.,
the N source computers are connected into the M destination ones. On the other hand, the topologyof DAQ systems is based on N to 1, because a measurement is performed with using several detectors
and their data have to be sent to one destination computer to analyze them. The Internet technology
is not efficient for transferring in N to 1, and such traffic occurs congestion in the network. We, therefore,
focus on congestion control mechanisms in the TCP protocol to avoid the congestion and propose theefficient mechanism for a large-scale DAQ system.
Key Words: network traffic, congestion control, data acquisition system
TCP プロコトルには，その特徴である信頼性や公平性を₁ ．はじめに実現し，維持するための機能の一つとして，輻輳制御の仕

現在，TCP/IP プロコルはインターネットを中心にして組みが組込まれている。これはネットワークが混雑し通信多くのネットワークで使用されている。インターネットのが滞るのを防ぐための機能である。この輻輳制御もあらゆ

使用目的は Web ページの閲覧や電子メール，ファイル共る環境で使用されることが想定されており，汎用性の高い

有，IP 電話など多岐にわたる。そのため HTTP や SMTP，機能となっている。

POP₃，IMAP，FTP など様々なアプリケーションプロトコ

一方，物理学実験などの検出器を利用した実験でも検出器ルが混在する環境下で，平均的にみたときに，より高い性から得られるデータの収集にはコンピュータが利用される。

能を出せるよう進化してきた。

さらにコンピュータを複数利用する場合には，ネットワークこれらのプロトコルを実現するために，TCP/IP プロトを構築しデータ通信をする必要がある。特に，近年，質量のコルのトランスポート層には TCP と UDP の二つのプロト起源であると言われているヒッグス粒子の探索などで注目コルがある。TCP プロトコルには信頼性や公平性が高いとを集めている高エネルギー物理学実験では検出器から得らいう特徴があり，相手との確実な通信を行う時に利用されれるデータは膨大な量となる。さらに，検出器の規模の拡る。一方，UDP には信頼性は低いが通信速度が速いという大に伴い，得られるデータ量はますます膨大なものとなっ特徴があり，リアルタイム性が必要とされるときなどに利てきている。そのため，検出器で得られるデータを効率良用される。

く，また，高速に収集することが要求されている。

* 広島工業大学情報学部情報工学科** 広島工業大学工学系研究科情報システム科学専攻（現日本アイ・ビー・エム共同ソリューション・サービス株式会社）
─ 127 ─

長坂康史・沖恭志

このデータを収集するために数千ノードを閉じたネットワークで構成するデータ収集システムがある。これらの実験では，検出器が検出したデータをイベントと呼び，このイベントが発生するタイミングでそのイベントに関する情報を一斉に一箇所に集める必要がある。
このような特殊な環境では，膨大なデータを効率良く収集する上で，汎用的な TCP/IP の輻輳制御が問題となる場合がある。このことから，データ収集システム全体の処理能力の向上には，TCP/IP を適用システムに最適化する必要があると考える。そこで本研究では，データ収集システ
ムに最適な輻輳制御の検討を行い，より効率よく，また，

図 ₁ ．TDAQ システムの概略図

高速なデータ収集を可能にすることを目的とする。

kHz とする。この LVL₁が条件を満たすと，検出器毎に用意

₂ ．対象システム
₂.₁

されている Read-Out Driver（ROD）がデータを収集し，ATLAS 実験

Read-Out System（ROS）に収集データを送る。ROS は約本研究では ATLAS 実験で使用されるデータ収集システ₁₅₀台のコンピュータによって構成されている。また，イベムである TDAQ システム（ATLAS Trigger and Data Acqui-ントデータの収集と並行して，LVL₁からのトリガ情報をもsition System）を対象とする。とに，二つ目のトリガである Level-₂（LVL₂）にデータをATLAS 実験とは欧州合同原子核研究機構（CERN）の大送る。LVL₂では部分的に ROS からイベントデータを収集型ハドロン衝突型加速器（LHC: Large Hadron Collider）でし，解 析 し た 結 果，必 要 で あ れ ば，デ ー タ を そ の 後 の行われている史上最高エネルギーの素粒子実験である。

DataFlow Manager（DFM）に送る。DFM は，SFI に必要

LHC はスイス・ジュネーブ郊外の地下にある円形の加速器なデータの情報を知らせ，ROS からイベントデータを取得である。LHC には ATLAS 実験の他にいくつかの実験グルーさせる。SFI は約₁₀₀台のコンピュータで構成されている。

プがあるが，ATLAS 実験では質量の起源であると言われてこのときのイベントレートは，LVL₂トリガによって ₃ kHzいるヒッグス粒子や，宇宙の暗黒物質の解明につながる超程度となっている。その後，イベントデータは，最後のト対称性粒子の発見などを目的としている。近年ではヒッグリガである EF によって選別され，イベントレートとしてス粒子の探索で大きな注目を集めている。

は ₂₀₀ Hz 程度となり後段の SFO へ送られ，最終的には，ATLAS 実験で利用される検出器は，縦 ₂₅ m，横 ₄₄ m とストレージに記録される。

巨大なもので，内部はピクセル検出器，半導体飛跡検出器，遷移輻射飛跡検出器，ソレノイド電磁石，液体アルゴ₂.₃

課

題

ン電磁カロリメータ，タイルカロリメータ，ミューオンシ

TDAQ を構成する数千ノードは全て閉じたネットワーク

ステム（トロイド電磁石，精密ミューオン検出器，ミューで繋げられている。このシステムでは，TCP と UDP の両オントリガー検出器）などで構成されており，検出器からプロトコルが利用されている。
イベントが発生すると，そのイベントに関するすべてののデータの読み出しチャンネル数は合計で ₁ 億 ₄ 千万チャ情報を同じタイミングで一箇所に集めなければならないこンネルにもなる。とから，多くのコンピュータから一斉に一箇所へデータが₂.₂送信されることになり，輻輳が発生し通信効率が落ちてしATLAS TDAQ

TDAQ のシステム概略図を図 ₁ に示す。このシステムはまう。 このように特殊な環境のため，効率良くデータ通信数千ノードで構成される。また，LHC 加速器のビーム衝突を行うためには，汎用的な TCP/IP を何も変更なく利用し頻度は ₄₀ MHz にもなり，測定したすべてのデータを収ているだけでは難しい。

集・保存することができないため，TDAQ では必要なデー

また，今後イベントレートがさらに高くなることが予想

タを収集するため， ₃ 段階のトリガ，すなわち，フィルタされており，それらの要求に対応するためにより効率良くを設けている。

通信を行うシステムが必要となる。

最初のトリガは Level-₁（LVL₁）で，熱量計やミューオ

そこで，本研究では，TCP の輻輳制御方式に注目し，シン検出器などから得られるデータから不要なデータをハーステムに最適な輻輳制御方式を選択することで通信効率のドウェアレベルで削除することで，イベントレートを ₁₀₀向上に繋げる。

─ 128 ─大規模データ収集システムにおける通信の効率化に関する研究

₃ ．輻輳制御
ネットワークが混雑している輻輳状態では，その状態が長く続くと通信は滞ることになる。これを回避するための機能が TCP プロトコルに組込まれている輻輳制御機能である。TCP はエンドツーエンドで通信を行うので途中のノー

図 ₂ ．実験の概略図

ドの情報を持たない。そこで TCP は一度に送るデータ量を，始めは少なくし，次第に増やしていく方式を取ってい₄.₂る。パケットロスの検出などにより，輻輳を検知すると再₄.₂.₁

各輻輳制御方式でのスループット測定
実験方法

び一度に送るデータ量を減らす。このような輻輳制御方式

netper f を使用し ₃ 台のコンピュータから ₁ 台のコンを採用しているが，これまでに，特定の環境に特化した改ピュータに向けて一斉にデータを送り，スループットの計良型の方式が提案されている。

測を行う。計測時間は₆₀秒で，スイッチと Ser ver 間のス

今回は Scientific Linux CERN（SLC）₅.₇ kernel ₂.₆.₁₈

ループットを求める。送信データサイズは ₁ Byte から ₁₂₈でモジュールとして利用可能な以下の₁₀の輻輳制御方式にKByte として計測した。実験の概略図を図 ₂ に示す。Serverついて検討する。なお，SLC₅.₇標準の輻輳制御方式は BICには比較的高性能なものと低性能なものの ₂ 台を用意しである。

た。これは Server の性能差により輻輳制御方式の差がより・Binary Increase Congestion（BIC）control［₁］顕著に表れるのではないかと考えたからである。
なお，使用機器は以下の通りである。

・CUBIC TCP（₁）Server A

・High Speed TCP・H-TCP

CPU: AMD Athlon ₆₄ X₂ DualCore Processor ₆₀₀₀+

・TCP-Hybla congestion control algorithm

メモリ：₄ GB・TCP Low Priority

NIC: Realtek Semiconductor Co., Ltd. RTL₈₁₁₁/₈₁₆₈B・Scalable TCPPCI Express Gigabit Ethernet controller［₂］・TCP Vegas（₂）Server B

・TCP Veno

CPU: Intel Celeron CPU ₁₂₀₀ MHz

・TCP Westwood+

メモリ：₁₉₂ MB

これらの中で Vegas の RTT を利用して輻輳制御を行う方式

NIC: Realtek Semiconductor Co., Ltd. RTL-₈₁₆₉ Gigabit

がデータ収集システムに向いていると考えた。

Ethernet（₃）Client×₃ 台

₄ ．性能評価実験
₄.₁

CPU：Intel Xenon ₂.₄₀ GHz ₂ コア

性能評価実験概要

メモリ：₁₀₂₄ MB
NIC: Intel Corporation ₈₂₅₄₀EM Gigabit Ether net

データ収集システムではイベント発生時には複数のコンピュータから ₁ 台のコンピュータに一斉にデータが送られController

る。この時輻輳が発生し，輻輳制御方式による差が表れる（₄）スイッチと考えられる。そこでデータ収集システムに類似した環境

Planex FXG-₁₆IRMを構築し，輻輳制御方式の違いによる性能差の測定を行う。

パケットバッファ：₃₄₀ KB
スイッチングファブリック：₃₂ Gbps

性能評価はネットワークのベンチマークソフトである
netperf を利用して実際に測定するとともに，ネットワーク₄.₂.₂

果netperf を利用した性能測定の送信データサイズに対するシミュレータである NS₂を利用して，シミュレーションでの検証も実施する。netperf を利用した測定では，複数のコ結スループットを図 ₃ ，および図 ₄ に示す。

ンピュータから ₁ 台のコンピュータに対して一斉にデータどちらの Ser ver でも BIC と Vegas 以外の輻輳制御方式を送信しその時のスループットを各輻輳制御方式で測定すは BIC とほぼ同一の結果となったためグラフでは省略してる。NS₂を利用したシミュレーションでも同様に，複数のいる。Vegas は高性能な Server A を利用した場合は低いスノードから ₁ つのノードに向けて一斉にデータを送り，複ループットとなり，逆に低性能な Server B では高いスルー数の条件でスループットを比較する。

プットとなった。

─ 129 ─

長坂康史・沖恭志

図 ₅ ．BIC の結果

図 ₃ ．Server A の結果

図 ₆ ．Vegas の結果

表 ₁ ．BIC と Vegas の比較
遅延時間（ms）
₀.₁₀.₅︶送信間隔︵ ms

₀.₁ －₁₁₅.₂₇ －₁₆.₂₉

シミュレーションによるスループットの比較

₄.₃.₁

₅₁₀₅₀＋₀.₁₆ －₁₈₀.₆₈ －₄₅₀.₅₆ －₂₄₀.₇₄

₀.₅ －₄₇₁.₆₂ －₃₈₆.₂₉ －₁₁₂.₈₀ －₆₄₃.₆₄ －₆₈₉.₉₂ －₄₃.₅₀

図 ₄ ．Server B の結果

₄.₃₁

実験方法

複数の条件下でシミュレーションを行う。そしてシミュ

₁ －₆₈₈.₉₇ －₅₁₃.₃₂ －₄₀₃.₈₃ －₁₃₅.₂₆ －₈₄.₂₄－₅.₄₅

₅ －₁₆₆.₀₅ －₅₄.₀₄ －₄₆.₇₉－₁.₉₈＋₂.₄₅＋₄.₉₀

₁₀ －₈₂.₉₂ －₂₇.₁₆ －₂₃.₆₂＋₁.₈₃＋₃.₅₅＋₄.₅₆

₅₀ －₁₄.₁₄－₂.₆₉－₂.₇₀＋₂.₇₉－₃.₃₈－₂.₉₃

レーション結果からスイッチと受信ノード間のスループットを求め比較する。のスループットが高い場合は正の値，Vegas のスループッシミュレーションを行うのは複数台（ ₁ ， ₂ ， ₃ ， ₅ ，₁₀ 台）対 ₁ 台 の 通 信 で あ る。ネ ッ ト ワ ー ク の 帯 域 はトが高い場合は負の値で，Vegas のスループットと BIC のスループットの差を表している。

₁₀₀₀ Mbps，遅延は ₀.₁～₅₀ ms（₀.₁, ₀.₅, ₁, ₅, ₁₀, ₅₀ ms）とする。輻輳制御方式は，netperf を利用した性能評価で他

₄.₄

考察の輻輳制御方式と大きく異なった結果を出した Vegas と，標準の BIC は高速だが，距離の長いネットワーク，すな

SLC ₅.₇で標準の輻輳制御方式である BIC を対象とする。まわち，遅延時間が大きいネットワークに最適化されたもの

たデータ収集システムと同様に同じタイミングで一斉にデーであり，閉じたネットワークである TDAQ には適さないとタが送信されるように一定間隔ごとにデータ送信を行う。

考えていた。しかし，₄.₁の実験では Server A と Server B

この間隔を ₀.₁～₅₀ ms（₀.₁, ₀.₅, ₁, ₅, ₁₀, ₅₀ ms）とする。

では反対の結果となった。性能の高い Server A では Vegas

₄.₃.₂だけが低く，性能の低い Server B では Vegas だけが高いス

結果

シミュレーションの送信ノードを ₃ 台としたときの遅延ループットを記録した。また，シミュレーションの結果か時間と送信間隔ごとのスループットを図 ₅ と図 ₆ に示す。

ら，多くの条件で BIC が性能の高い結果となったが一部でまた，表 ₁ に示した各条件でスループットを比較し，BICは RTT から輻輳を予測し，制御を行う Vegas のほうが高性─ 130 ─

大規模データ収集システムにおける通信の効率化に関する研究能であった。特に遅延時間，送信間隔共に大きい場合は，果，全体的に BIC が高性能であることがわかったが，送信パケットロスではなく遅延時間から輻輳を検知する Vegas

ノード数に関わらずネットワークの遅延，および，送信間のほうが高い性能を記録する傾向にあることがわかった。

隔が共に長いときは Vegas の性能が高くなる傾向にあることがわかった。

₅ ．まとめ今後はより実環境に近い設定でシミュレーションを行う

本研究では，CERN の LHC で行われている ATLAS 実験ことや，実際に高校率な通信が行えるかの確認を行う必要で使用されているデータ収集システム TDAQ を対象に，がある。また，TDAQ 向けに改良を加えていくことも必要

データ収集システムに最適な TCP の輻輳制御方式の検討をである。

行った。

文

性能評価実験をネットワークのベンチマークソフトであ献る netper f とネットワークシミュレータである NS₂を利用［ ₁ ］Lisong Xu, Khaled Harfoush, and Injong Rhee, ＂Binary

して行った。netperf は複数台のコンピュータから同時に ₁

Increase Congestion Control for Fast, Long Distance

台へ向けてデータを送信し，各輻輳制御でスループットを

Networks＂, Infocom, IEEE,（₂₀₀₄）.

計測した。結果は条件により異なるものだったが Vegas が［ ₂ ］Brakmo, L. S., Peterson, L. L., ＂TCP Vegas: End to End

他の輻輳制御方式に対して大きく異なる結果を得た。次にCongestion Avoidance on a Global Internet＂, IEEE

シミュレーションを利用した性能評価実験は Vegas と BIC

Journal on Selected Areas in Communication, Vol. ₁₃,に着目して行った。複数の送信ノードから指定した送信間

No. ₈, pp. ₁₄₆₅ – ₁₄₈₀,（₁₉₉₅）.

隔で受信ノードにデータを送ることを想定した。実験の結─ 131 ─