地球シミュレータ施設強化と環境分析の取り組みの紹介
中川 剛史, 大倉 悟, 板倉 憲一
海洋研究開発機構

地球情報基盤センター

tnakagawa@jamstec.go.jp

Enhancement of the Earth Simulator facilities and measurement of thesupercomputer environment
Tsuyoshi Nakagawa, Satoru Okura,Center for Earth Information Science and Technology (CEIST),
Japan Agency for Marine-Earth Science and Technology (JAMSTEC)
概要
国立研究開発法人 海洋研究開発機構では、ベクトル並列型スーパーコンピュータ「地球シミュレータ」および他計算機システムを横浜研究所構内のシミュレータ棟計算機室に設置し運用している。昨年度から本年度にかけて、イノベーション創出を実現する研究開発基盤を向上させるため、計算機施設の大規模な強化を実施している。その概要およびそれに伴う環境測定結果、工事に伴う 4 度の計画停電による設置機器への影響について紹介する。

1

はじめに用を可能とする。この改修では、変電所への新規トランスの設置、シミュレータ棟内幹線のやり直海洋研究開発機構（以下、機構と略す）は、横しを伴い、一部作業で建屋自体への改修も含まれ浜研究所構内のシミュレータ棟（幅約 65m×奥行た。また、シミュレータ棟の電気室構成の最適化

約 50m、高さ約 17ｍの鉄骨構造 2 階建。1 階は空および UPS 装置の更新も併せて実施した。分電盤

調機械室および電気室。2 階は計算機室）に地球構成（容量およびブレーカ数）も最新機器の要求

シミュレータ、他計算機システムおよび大規模ス要件に合わせた最適化を実施し、柔軟な機器接続トレージを設置し運用している。テクノロジーのが可能となる予定である。

進歩による計算機の高密度化・省スペース化によ2.2 水冷設備改修って、計算機設置環境の効率的な利活用・成果創

熱交換に用いられる冷水は、シミュレータ棟出の促進と発信・産業応用の加速が求められてい隣接の冷却施設棟に設置してあるガス吸収式冷温る。

水機 1 台、ターボ式冷水温機 2 台、チラー冷凍機

昨年度末から本年度にかけて、同計算機室の持2 台で生成され、主にターボ式冷水温機が 1 台運続的な利活用促進を目的とした大規模な施設設備

転で、計算機室の温度管理に必要な冷水をシミュの強化が実施された。設備強化は大きく分けて、レータ棟 1 階機械室へ生成・送出している。これ

電源設備改修、水冷設備改修およびデータ交換機

らの機器は、現在 15 年以上稼働している状況で能・保管環境から構成される。

あり、老朽化も進んでいる。また今後、計算機室

本稿では、これら機能強化の概要と事前に実設置機器が増える場合に、冷却能力が不足する可施した環境測定、そして工事に伴う影響を紹介す

能性があることから、ターボ冷凍機 2 台を追加設る。

置し能力および冗長性を強化した。また、冬季の加湿能力増強も検討中である（現在はチラー冷凍

2

設備強化の概要

2.1 電源設備改修機を利用）。
2.3 データ交換機能・保管環境の増強

シミュレータ棟に電力を供給している特高変地球シミュレータ等の計算機により出力され電所の受電能力に関して、冗長性をもたせた約 2

るデータは爆発的に増大しており、解析から成果倍の能力に増強し、今後の計算機室の長期安定運の発信までのサイクルにおいて、データ転送時間の占める割合もまた大幅に増大し、これが律速とした（図 1）。

なっている。そのため、地球シミュレータをはじ

これらの障害の原因は、現在ベンダに詳細な分めとする計算装置、解析装置、情報保管装置等の析を依頼しているところであるが、分電盤開放時間におけるデータ移動を高速化することで成果のの突入電流や温度湿度環境の変化の可能性も検討発信速度、発信間隔を短縮させるとともに、関連している。空調稼働中の計算機室の温湿度環境は、するデータを組み合わせることを可能とし、研究年間と通して床上室温約 20℃、湿度約 60％に調整を加速させることを目的として、地球シミュレーされている。今回の空調停止期間中には一時的にタのネットワークから SINET への 100Gbps ネットその値を大きく越えた状態にあったが、電源投入ワークを構築する。

時には温湿度共に安定した状態であった。ただし、また、爆発的に増大したデータにより、その解温湿度のコンピュータの動作許容範囲がベンダや析にもまた膨大な時間を要し、計算結果を長時間機器毎に異なっており（図 2）、影響の受けやすいにわたり格納するストレージの必要性が増してい機器が存在する可能性もある。

る。このため、大容量ストレージ（8PB 程度）を増設するとともに、新たにテープライブラリ装置（20PB 以上収容可）を接続し大容量のデータを長期にわたり保管する環境を構築する。

3 計算機室の工事前環境測定
電気設備および水冷設備改修工事の一部には、粉塵や振動を伴う作業が含まれており、計算機室への影響が想定された。そこで、影響評価を後ほど可能なように、計算機室の環境測定調査を実施した。

図 1：UV2000 部位別障害件数の推移

3.1 粉塵調査（3 月、8 月に工事後測定も実施）
計算機室内 4 地点のサンプリング（空気中の粉塵量および金属成分）を大規模な工事の前後で実施した。
3.2 振動調査（3 月）
平常時の振動レベル、振動加速度レベルの測定を計算機室内 5 地点で実施した。
3.3 電磁波測定（3 月）
シミュレータ棟建屋は、基礎部分にアラミド繊維補強筋、アルミメッキ鋼板、床･壁･天井に導図 2：設置機器毎の動作推奨温度範囲

5 まとめ

電性材料を用いることにより電磁シールドが施さ

シミュレータ棟周辺設備の改修が実施され、電れている。工事による電磁シールドへの影響を評源および水冷共に約 2 倍の能力に増強され、将来価するために、工事前の平常時（計算機運用状態）の拡張に備えた設備増強ができた。工事期間中にの電磁波量を計算機室内 5 地点で測定した。

一部機器で障害が多発したが、事前の分析を元に4 工事に伴う環境変化による設置機器への影響原因切り分けを実施し、納入ベンダに対して詳細な原因分析を依頼している。長期間の運用停止時には、計算機室内の温湿度環境が推奨値まで安定

電気設備および水冷設備改修工事期間内に、するのに必要な時間についての考慮が必要であり、シミュレータ棟の停電を伴う作業が 6 月から 9 月

計算機の運用再開スケジュールの策定や定時運用の間に 4 回発生し、計算機室設置機器の運用をそ再開のためには、精度の高い温湿度計やロガーをの度に停止することとなった。そして、複電時に用いた定量的な分析を施設担当者と共有することは設置機器の一部で通常時より多くの障害が発生が必要となる。

参考文献[1] 独立行政法人海洋研究開発機構地球シミュレータ開発史編集チーム、「地球シミュレータ開発史」、2010 年 12 月
[2] 地球シミュレータ
http://www.jamstec.go.jp/es/jp/index.html[3] 大規模共有メモリシステム
http://www.jamstec.go.jp/es/jp/uv/2000index.htm
l