2008/2/15 SNETタスク会合

平成19年度第1回SNETタスク会合
NIFS共同研究研究会「SNETを用いた共同研究の進展」
NIFS 中西秀哉

CPD実験を用いたSNETベースの遠隔定常・データ収集法の開発
12008/2/15 SNETタスク会合

CPD/SNET遠隔データ収集の位置づけ

JT-60
遠隔実験

LHD/snet
LHD/snet
遠隔実験参加QUESTQUESTLHDマルチLHD
マルチ
サイト実験
システム

QUEST/LHD/60SA/ITER..
統合実験環境の実現！

2H19年度の概要
1.

2008/2/15 SNETタスク会合

CPD実験でLABCOMデータ収集ユニット(PXI) 1セット稼働««««

PXI-6133 (2.5MHz, 8ch)×2台＋収集PC(WinXP)
CPD実験シーケンス(3接点)，ショット番号 (Web)＝分配
デジタイザ設定，収集データ登録の2データベース＝LHD共用
Retrieve/Transd運用＝同一データ取出しI/F
Retrieve/Transd運用＝同デ タ取出しI/F#504794～#504794～#505002#505002（（209209ショット）連続収集／ショット）連続収集／1MHz
1MHz××16ch
16ch××1010秒
秒 【実証実証】】3H19年度の概要
1.

2008/2/15 SNETタスク会合

CPD実験でLABCOMデータ収集ユニット(PXI) 1セット稼働««««

PXI-6133 (2.5MHz, 8ch)×2台＋収集PC(WinXP)
CPD実験シーケンス(3接点)，ショット番号 (Web)＝分配
デジタイザ設定，収集データ登録の2データベース＝LHD共用
Retrieve/Transd運用＝同一データ取出しI/F
Retrieve/Transd運用＝同デ タ取出しI/F#504794～#504794～#505002#505002（（209209ショット）連続収集／ショット）連続収集／1MHz
1MHz××16ch
16ch××1010秒
秒 【実証実証】】
2.

全日本QUEST実験のベースとなる要素技術の整備

スケーラ
ビリティが重要5.

安価&メンテナンスフリ なデ タ収集ユ ット … DAQBox
安価&メンテナンスフリーなデータ収集ユニット
データ（保管）システムの一元管理・省力化
省力化 …ツール群
複数サイト実験のシームレスかつセキュアなデータ参照
高速長距離ネ トワ ク … SINET3 (snet)
高速長距離ネットワーク()
コミュニティ共同作業による共通システム開発．情報共有(Wiki)«

全日本(SNET下)のシームレスな統合データ解析環境実現の構想

1.
2.
3.
4.

4

QUEST-LHDを構成する技術要素

2008/2/15 SNETタスク会合

データ収集管理配布•LHD(LABCOM/X)
ﾃﾞｰﾀ収集ﾕﾆｯﾄ•LHDデータスト
レージ遠隔共用•QUEST-LHD共通UI• 広帯域&定常• サイトグループ毎に参照データ限定(IPアドレス)• LABCOM Retrieve/dbStoreデータ取出し/格納

CAMAC/WE7x/PXI• 低コスト高信頼DAQBox• FPGA計測タイミン
グ復調器• ソースのオープン化(Linux移植ほぼ完了), 公開• 提供ドライバ有無
でOS(Win/Lin)選択
選択• データ保証はLHDと同等• 参照履歴によるデ タ移送最適化
データ移送最適化• 対災害用遠隔分散スト
レージ(将来)PV-WAVE, EXE, DLL(Win, Lin)• 統合データ解析ク
ラスタ&GRID環境の構築を計画中• データ転送コスト減• 大規模解析～可視化• サイト内外をシーム
サイト内外をシ ム
レスに52008/2/15 SNETタスク会合

データ収集ユニット´

MTBFによるPCの信頼性計算
HDD ~500,000h (~50yr)« P.S.
P S ~100,000h~100 000h
« FAN
3~50,000h
100台利用システムは1/100に！
«´´

DAQサーバPC → DAQ Box«

ディスク/電源/ファンの33レス
磁場環境 の持込み
磁場環境への持込み«

光SCSI変換→SCSI/USBｹｰﾌﾞﾙ
速度up(0.7→1.1MB/s)でショット間デ タ保存
ショット間データ保存«

リモート電源制御ユニット
PC, デジタイザを遠隔ON/OFF一斉停止(夜間)/起動操作斉停止(夜間)/起動操作

旧稼働率~99.8%

新稼働率~99.9x %100台*1000h/yr=100,000h→ 信頼性99.999%
信頼性99 999% も可能に！
6

FPGA版計測タイミング復調器´

2008/2/15 SNETタスク会合

Suzaku-S（￥31,500.）利用
32bit RISC+120万ゲート« μCLinux、86ピンI/Oピ«´´@¥98,000.-で配布中´

3レス
レス、3.3V 1.2W typ.
VME版（78万円+α）の1/8以下
単体動作可、OSライセンス不要
今後，今後
FPGA版タイミング
FPGA
版タイミング
変調器の製作も7

リアルタイム収集状況監視

2008/2/15 SNETタスク会合

データが取れたか(batch)⇒ 取れ続けているか(RT)´ 各計測のチャネル毎に進捗状況をRTモニタ´

IPﾏﾙﾁｷｬｽﾄによる進捗通知« 情報収集エージェント方式« Java Applet/Web表示«´

遠隔操作機能も具備（プロセス・電源再起動）⇒運転・監視の省力化⇒更なる拡張が可能に

8

LHDデータ管理システム
クライアントのクラスター化も容易

2008/2/15 SNETタスク会合´ システムの特徴
1. ショット毎データ移送
2 収集/ストレージ/所在検2.
収集/ストレ ジ/所在検索/データ参照の各ホスト群がネット上で分離分散

遠隔データ収集/マルチサ
イト対応に好適´ 内部保存はzip書庫化

データの多重保存
RAID×2BD-Rオンライン
BD-Rオフライン

ファイルの可搬性/取扱い良(万一の際)

9

統合コンピューティング基盤(構想)2008/2/15 SNETタスク会合

将来，ITER-BA
コンピュータにも拡張可能！
拡張 能！

10

核融合バーチャルラボラトリ構想

ITER

LHD実験

全日本ST(QUEST)実験

LHD統合コンピューティング基盤

カデラッシュ

グリッド開発Kyushu U. RIAM

Yamaguchi U.

国際核融合エネルギー研究センター
ITER遠隔実験センター

SINET3 ((10Gbps)
p )SINET(1Gbps)

NIFS

VR可視化

JAEA (JT60U/JT60SA)実験

Kyoto U.
U. Tokyo

大規模シミュレーション

2008/2/15 SNETタスク会合

ITER/ITER-BAを
ITER/ITER
BAを先導する仮想環境

遠隔実験・遠隔解析11マルチサイトに対応したデータ配布´

2008/2/15 SNETタスク会合

Retrieve内部の処理
1. データ所在問合せ
2 データ所在+優先度
2.
デ タ所在+優先度
3. データ要求
4. データ送信« 圧縮ブロックのままネット転送→ Retrieveクライアント内で解凍« データ取得手順は，Retrieve内部
データ取得手順は Retrieve内部処理としてユーザには隠蔽
´ 検索キ
検索キー：
：

サイトG
サイト
G名, データ名
データ名,, 実験番号
«

´ 遠隔
遠隔TCP
TCP通信の高速化問題
通信の高速化問題 …

サイトG名＋IPアドレスでクライ
アントのアクセス制限´ サイト管理とサイト管理とユーザ認証
ザ認証«

Gridツールキット活用
12

2008/2/15 SNETタスク会合

高速通信の課題と解決
´«

ACK

伝送遅れ

Long Fat-pipe Network (LFN)問題例）10Gbps幹線／1Gbps両端でp
名大-NIFS間：実測~90Mbps
九大-NIFS間；実測~60Mbps

無通信時
無通信時間

広帯域でも中身がスカスカ．．．
広帯域でも中身がスカスカ．．．

´

原因究明（NIFS山本孝志）«´

TCP/IP：ブロック毎に受信確認(ACK)を受信後，次を送信→ 通信スループット上がらず
通信 ル プ ト上がらず

TCP遠隔伝送能力試験装置´

遠距離・高遅延ネットワークでは、遠距離
高遅延ネットワ クではパケットロス発生後の速度回復に時間がかかり、実効転送レートがあがらない

解決法 ~ 富士通製 WAN Director ~

13

まとめ

2008/2/15 SNETタスク会合

QUEST実験開始に向け，遠隔データ収集系の実現をすすめ
QUEST実験開始に向け，遠隔データ収集系の実現をすすめている．
´ H19
H19年度に年度にCPD
CPD遠隔収集を開始
遠隔収集を開始，遠隔，遠隔TCP
TCP伝送などの重要問伝送などの重要問題に解決手段を見つけた．
´«

WAN最適化装置も手配できる予定
WAN
最適化装置も手配できる予定´

QUEST-LHD
QUESTLHDマルチサイト対応データ管理システムの開発をマルチサイト対応データ管理システムの開発を進めており，H19進めており，H19年度内に関連コード開発は完了の予定．
年度内に関連コード開発は完了の予定．

´

H20年度初より，実験番号，シーケンス，計測タイミング
H20年度初より，実験番号，シーケンス，計測タイミング
等の取り合 確定 運用ポリシ の策定等を共同作業
等の取り合い確定，運用ポリシーの策定等を共同作業．
→ 実験開始前の試運転へ

14