導入事例
インテル ® Xeon® プロセッサー・ファミリー
インテル ® Cluster Studio XE

インテル® Xeon® プロセッサー・ファミリーを搭載したスーパーコンピューターの導入

インテル® ノード・マネージャーによって消費電力を可視化し、スーパーコンピューターの消費電力を最適化
天文学のシミュレーション計算に 1Pflops のスーパーコンピューターを導入

課 題• 国内外の利用者による数値シミュレーション研究を支援• 消費電力のモニタリングとパワー・キャッピング
• コードの最適化とアプリケーションの高速化、クラスターのパフォーマンスの最適化
ソリューション

• インテル ® Xeon® プロセッサー・ファミリーを搭載したクラスター型スーパーコンピューター• インテル ® ノード・マネージャー• C++/Fortran プログラマーおよび MPI アプリケーション開発者向け総合ツール「インテル ® Cluster Studio XE」

スーパーコンピューターの共同利用
により、シミュレーション天文学の研究者を支援

写真提供：国立天文台

自然科学研究機構

国立天文台

所在地：東京都三鷹市大沢 2-21-1
設立：1888 年（明治 21 年）6 月（東京天文台の設置）
事業内容：
天文学の観測・研究・開発および、全国の研究者との共同利用

http://www.nao.ac.jp/

コ ン ピューターシ ミュレーション に よって、宇宙のさまざまな謎を解明する「シミュレーション天文学」を推進する自然科学研究機
構 国立天文台（以下、国立天文台）天文シミュレーションプロジェクト（ C f C A : C e n t e r
f o r C o m p u t a t i o n a l A s t r o p h y s i c s ）。
その目的は、スーパーコンピューターや重力多体問題専用計算機、中小規模の P C クラスターなどから構成される計算機システムを共同利用形式で運用し、国内外にいる研究者のシミュレーション研究を支援することにあります。現在はそのミッションを達成するため、ハードウェアとソフトウェアの両面から新しいシミュレーション方法の開発に取り組んでいます。
一口に天 文 学と言っても、現 在は大きく分けて 3 種 類の研 究 分 野が 確 立されています。第 1 が望遠鏡を使った最も歴史の古い「観測天文学」で、第 2 が宇宙の物理を考える「理論天文学」です。20 世紀後半までは「観測」と「理論」の 2 つが天文学の主流でしたが、コンピューターの性能向上と共に、コンピューターを使って実験的に研究をすることが可能となり、第 3 の天文学として「シミュレーション天文学」が誕生しました。

天文学で行われるシミュレーションは主に、星団や銀河などの振る舞いを調べる「多体計算」、ガスでできた恒星や星間雲などの振る舞いを調べる「流体計算」、光の伝わり方を調べる「輻射輸送計算」の 3 種類あります。
天 文シミュレーションプロジェクト プロジェ
クト長 の 小 久 保 英 一 郎 氏 は、
「シミュレーションで扱う空間スケールは、小は惑星から大は宇宙全体まで多岐にわたり、時間スケールも 1 秒から宇宙年齢の 1 3 8 億年までにおよびます。つまり、シミュレーションは宇宙におけるあらゆる現象を対象としています」と語ります。
国 立 天 文 台では 現 在、シミュレーション天文 学の研 究 者が、惑 星 系の形 成、星の誕生、ブラックホール降着円盤、超新星爆発など、多彩なジャンルの研究を、スーパーコンピューターなどの計算機システムを利用して行っています。

天文学専用としては世界最速
性能は 500TFLOPS から 1PFLOPS へ
C f C A では天文シミュレーションを行うスー
パーコンピューターとして、2 0 0 8 年 4 月にCray 製の並列スカラ型計算機「XT4 システム」と、NEC 製のベクトル型計算機「 SX-9 シインテル ® Xeon® プロセッサー・ファミリーが搭載する「インテル ® ノード・マネージャー」が電力管理を効率化パフォーマンスを発揮するためには、
インテル ® ノード・マネージャーのリアルタイム電力監視機能と、消費電力の上限を設定できるパワー・キャッピングを活用した電力の最適化が欠かせません」
自然科学研究機構 国立天文台
天文シミュレーションプロジェクト
プロジェクト長
博士（学術）
小久保 英一郎 氏

XC30 は、S a n d y B r i d g e（開発コード名）
版 の イン テ ル ® Xeon® プ ロ セッサー E52670（2.60GHz）を搭載し、16 個の CPUコアで構 成されるノードが、システム全 体で 1,512 ノード、2 万 4,192CPU コアからなるシステムです。メモリー容量は 1 ノード
64GB、システム全体では 94.25TB で、さらに数値シミュレーションのデータを格納すると接続ために 820TB のストレージ（lustre）されています。理論演算の性能は現時点で501.8TFLOPS ですが、2014 年 9 月までにノードをインテルの次世代マイクロアーキテクチャーである Haswell（ 開発コード名）版
インテル ® Xeon® プロセッサー・ファミリーに交換することで、1PFLOPS 以上を実現する計画です。
「XC30 は天文学専用のスーパーコンピューターとしては現時点で世界最速であり、2013 年 6 月に発表された世界全体の性能ランキングにおいても、63 位の性能を誇っています」と小久保氏は語ります。

インテル® ノード・マネージャーを用いて消費電力と積算電力の推移を監視し、急激な消費電力の増加に対応
XC 3 0 の特筆すべきポイントは、インテル ®
Xe o n ® プ ロセッサー・ファミリーが 搭 載 する電力制御機能「インテル ® ノード・マネージャー」を活用して消費電力をモニタリングしていることです。さらに、一定の電力量を超えないように制御するパワー・キャッピングを設定することもできます。インテル ® ノード・

CRAY XC30演算（計算）
ノード：1508
理論演算性能：501TFLOPS
Memory ：94.25TB

国立天文台基幹ネットワークスイッチ（水沢）ノード構成
インテル ® Xeon® プロセッサー E5-2670（ 2.60GHz ）8GB DDR3 1600ECC DIMM x8 64GB

4 x 10Gbe

FC SW
システムディスク

SMW

フロント・エンド・サーバー 2ノード
ネットワーク装置

36 Port FDR IB SW
LDAP サーバー x2

MDS#1

MDS#2

OSS#1

FC8

EF3015600GB SAS 15Krpm x 12
RAID10（5+5）
2 spares

10Gbe or 40Gbe

運用体制において、最大限のXC30 を水沢に設置した理由を小久保氏は、「設置場所を検討した時期の電気料金が、東京電力より東北電力の方が安価であった
ことが 1 つです。そして、東北地方は外気温が低いことから冷却効率に優れ、空調維持費を抑えることもできます」と説明します。アテルイは水沢 V L B I 観測所に設置されていますが、それ以外の計算機はすべて東京都三鷹市の国立天文台に置かれ、水沢と三鷹間は 1 0 G b p s の光ファイバーで接続されています。

12 x FDR IB

電気料金の合計で予算が決まる

XC 3 0 は、C f C A によって「アテルイ」という愛称が付けられています。この名前は、平安時代の初期、征夷大将軍 坂上田村麻呂が行った東北の蝦夷（エミシ）討伐の際、蝦夷を率いて朝廷軍と戦った英雄「阿弖流為（アテルイ）」に由来するものです。XC 3 0 が岩手県奥州市の国立天文台 水沢 V L B I 観測所に設置されていることから、水沢にゆかりのある英雄にちなんで「アテルイ」と名付けられました。

12 x FDR IB「スーパーコンピューター本体とステム」を導入して運用してきました。2 0 1 3
年 4 月にシステム更新を迎え、新たに C ray製の大規模並列スカラ型計算機「 XC 3 0 システム」を導入し、2 0 1 3 年 4 月 1 日より本格的な運用を開始しています。XC 3 0 を含む、C f C A が保有する共同利用計算機システムは、日本の研究機関に所属する研究者および日本で学位を取得した海外の研究機関に所属する研究者であれば誰でも申請ができ、審査によって価値が認められれば無料で利用が可能です。現在は約 1 0 0 名がXC30 を利用中で、その稼動率は 90％を超えています。

OSS#2

OSS#3

OSS#4

OSS#5

OSS#6

OSS#7

運用管理サーバー

OSS#8

FDR IB
SFA12K-40 + SS7000 x 10

Lustre File System
820TB 実効容量

XC30 システム構成概要図

2TB 7.2Krpm SAS x 580
RAID6（8d+2p ）x 56
20 spares
物理容量： 1120TB
実効容量：約 820TB

FDR IB
FC8
Fail Overインテル® ノード・マネージャー
インテル ® ノード・マネージャーは、CPUのチップセットに実装された電力監視機能です。システム側の BMC（Baseboard
Management Controller）と協調して動作し、プロセッサーとメモリー・サブシ
ステムの消費電力だけでなく、システムレベルの消費電力を監視したり、システム、プロセッサー、メモリーの各レベルで消費電力を制限したりする機能を備えています。インテリジェントな電力管理機
能をプラットフォーム・レベルで使用することにより、電力冷却運用コストを適切に管理して TCO を削減しながら、高いパフォーマンスを維持することができます。
主な機能は次のとおりです。

マネージャーで XC30 の電力をモニタリングする目的について、小久保氏は次のように語ります。
「 近 年、スーパーコンピューターの調 達は、コンピューター本体の価格ばかりでなく、電気料金も含めた、合計金額の枠組みで予算化されるようになりました。予算総額からコンピューター本体の価格を引き、残った金額を5 年で割った金額が XC 3 0 の稼動で許される 1 年間の電気料金となります。それゆえ、電気料金が高額になればなるほど、本来行うべきシミュレーションが制限されることになるため、電気料金の最適化はスーパーコンピューターの調達において重要なカギを握るのです」。
現在 CfCA では、水沢 VLBI 観測所の運用管理者が、Cray 社から提供されたモニタリング・ツールを用いて、定期的に消費電力の日次変化や、月の累積消費電力をチェックしています。そして、消費電力が何らかの原因で急激に増加したり、電力会社と取り決めた月の契約消費電力量をオーバーしたりするような、急を要するケースにはアラートが三鷹のCfCA に伝達される体制となっています。1 カ
月の最大需要電力が契約電力を超えると、電力会社に違約金を支払うことになるため、使用電力量の監視は欠かせません。
消費電力のピークは、1 年間で空調をフルで使う夏と冬の 2 回あり、1 カ月の中でも定期メンテナンス後に割り当てられている全システムを用いての計算の際に、契約電力を超す恐れがあると言います。
「通常は、月に 1 回、C ray 社から提供される消費電力の推移と、積算電力のグラフを見ながら、定例会議において電力会社との契約電力の見直しなど、次の月の電力対策を話し合っています。2 0 1 3 年 4 月の運用開始から半年経った現時点では、インテル ®
ノード・マネージャーでパワー・キャッピングをかけることなくフルパワーでの運用が続いていますが、今後電力料金の値上げが続くと、パワー・キャッピングで CPU のクロック数を下げたり、ノードの一部を停止したり、ユーザーの使用制限を設けたりといった対策が必要になる可能性があります」（小久保氏）。
また、2014 年 9 月のシステム・アップグレードによって、理 論 演 算の性 能が 1 P F LO P Sを超えてくると、より消費電力の最適化が重要となると想定しています。

• リアルタイムの電力監視• プラットフォームのパワー・キャッピング
（消費電力の上限設定）• 電力のしきい値アラート
自然科学研究機構 国立天文台
天文シミュレーションプロジェクト
プロジェクト長
博士（学術）
小久保 英一郎 氏

インテル® Cluster Studio XE

多体計算などの並列処理の高速化にコンパイラーや数値計算ライブラリーを活用
今 回 の XC 3 0 の 導 入 で は、スーパーコンピューターの 調 達と並 行して、シミュレーション・ソフトのコンパイル などの 開 発 用
途に、L i n u x * 版 の 開 発ツール「インテル ®
C l u s t e r S t u d i o X E 」を 導 入しました。
インテル
インテル ® Cluster Studio XE には、の 高 度なクラスターツール、高 速 化・並 列化のためのコンパイラー、ライブラリー、パフォーマンス分析ツール、エラー検出ツールなどがバンドルされています。
ユーザーの利用用途について小久保氏は、「 1 0 0 人のユーザーがいたら、百人百様の使い方があり、それぞれがインテルのコンパイラーや他社のコンパイラー、フリーのコンパイラーなどと併用しながら、並列計算処理の高速化を行っています」と語ります。XC30を利用する研究者は、ほとんどが自作のシミュレーション・ソフトを使うため、アプリケーションの構造もすべてばらばらで、最適化の手法も異なります。どのコンパイラーを使うかは、ユーザーの好みに依存することが多く、コンパイラーによって多体計算が得意、流体計算が得意、輻射輸送計算が得意といったクセがあるほか、ユーザーの書くコードのクセによっても性能を発揮するコンパイラーは変わってくると言います。
「高度なスキルを持つユーザーは、コンパイラーの吐きだしたアセンブラコードを読み解き、個々のコンインテル ® C l u st e r St u d i o X E は、M P I
アプリケーションの パフォーマンスとスケーラビリティー向上を支援する総合開発ツールです。インテル ® C++/Fortran
コンパイラー、パフォーマンス分 析ツー
ル、スレッド化アドバイザー、パフォーマン
ス・ライブラリー、エラー検出ツールなどをバンドルしています。バージョン 2013
では、マルチスレッド化すべき箇所を検出 するインテ ル ® Ad v i s o r X E が 追 加され、新たにインテル ® M I C アーキテクチャー（インテル® Xeon Phi ™ コプロセッサー）をサポートしています。
インテル® Cluster Studio XE が同梱する製品一覧• インテル® C++ Composer XE• インテル® Fortran Composer XE• インテル® MKL• インテル® IPP• インテル® TBB• インテル® MPI ライブラリー• インテル® Trace Analyzer/
Trace Collector• インテル® VTune Amplifier XE• インテル® Inspector XE• インテル® Advisor XEパイラーの性 能やクセをチェックしながら、最適なコンパイラーを利用しているようです」と小久保氏は説明します。
コンパイラーと同 様、ユーザーは自作 のライブラリー群に加えて、複数の接続に対応するインテル ® M P I ライブラリー、スレッド化を簡素化するインテル ® T B B、パフォーマンスの 向 上を図る数 値 演 算ライブラリーのインテル ® M KL などを活用。さらに、アプリケーションを最 適 化 するチューニングツールであるインテ ル ® V Tu n e A m p l i f i e r X Eや、複数のノードをまたいでパフォーマンスのボトルネックを発見するインテル ® Tra c e
A n a l y ze r / Tra c e Co l l e c to r などを適宜利用しながら開発を行っています。
「ヘビーユーザーになると、S I M D 命令をアセンブラで書いてクロック数を減らす工夫をしたり、オリジナル数値計算ライブラリーを作成して公開したりしています。私自身も、多体問題の重力計算を行う際には、こうしたオリジナル・ライブラリーや、インテルの数値計算ライブラリーを活用しながら、C P U のクロック数を下げる工夫を重ねています」（小久保氏）。

写真提供：
国立天文台天文シミュレーションプロジェクト

インテル® Xeon® プロセッサー・ファミリー搭載
Cray 製の大規模並列スカラ型計算機「XC30 システム」

高い稼動率を維持しながらシミュレーション天文学の発展に貢献
今後の計画については、2 0 1 4 年 9 月のシステム・アップグレードを計画通りに進める
ほか、4 年後の次期スーパーコンピューターの更新に向けて、検討を重ねていくとしています。スーパーコンピューターの運用について小久保氏は、「国策としてフラグシップ・モデルの高性能化を追究していくことも重要ですが、それと同時に小回りの利く、高性能のスーパーコンピューターを揃えて活 用 頻 度を高めていくことが、天文学およびあらゆる学問の発展には必要と考えています。科学論文をまとめるためには、アテルイ級のスーパーコンピューターで何度も何度も計算を繰り返すことが必要です。そのためには C f C Aのような研究機関が、アテルイのようなスーパーコンピューターの 運 用を継 続することが、真の科学を進める原動力になるはずです」と提言しています。
さらにインテルに対しては、「チップベースで電力を制御するインテル ® ノード・マネージャーに続き、ネットワーク機能などのチップ化に期待しています」と述べました。インテルは今後もインテル ® Xe o n ® プロセッサー・ファミリーの機能強化と開発ツール群の技術 革 新を通して、C f C A が目指すスーパーコンピューターの運用効率化と、アプリケーション開発の高度化に貢献していきます。

インテル ® ノード・マネージャーに関する詳しい情報は、下記のサイトをご覧ください。
http://www.intel.co.jp/content/www/jp/ja/data-center/data-center-management/node-manager-general.html

ソリューション・プロバイダー

性能に関するテストや評価は、特定のコンピューター・システム、コンポーネント、またはそれらを組み合わせて行ったものであり、このテストによるインテル製品の性能の概算の値を表しているものです。システ
ム・ハードウェア、ソフトウェアの設計、構成などの違いにより、実際の性能は掲載された性能テストや評価とは異なる場合があります。システムやコンポーネントの購入を検討される場合は、ほかの情報も参考にして、パフォーマンスを総合的に評価することをお勧めします。インテル製品の性能評価についてさらに詳しい情報をお知りになりたい場合は、「インテル・パフォーマンス - ベンチマークの限界」を参照してください。インテルは、本資料で参照している第三者のベンチマーク・データまたは Web サイトの設計や実装について管理や監査を行っていません。本資料で参照している Web サイトまたは類似の性能ベンチマーク・データが報告されているほかの Web サイトも参照して、本資料で参照しているベンチマーク・データが購入可能なシステムの性能を正確に表しているかを確認されるようお勧めします。
インテル ® コンパイラーは、互換マイクロプロセッサー向けには、インテル製マイクロプロセッサー向けと同等レベルの最適化が行われない可能性があります。これには、インテル ® ストリーミング SIMD 拡張命令 2（インテル® SSE2）、インテル® ストリーミング SIMD 拡張命令 3（インテル® SSE3）、ストリーミング SIMD 拡張命令 3 補足命令（SSSE3）命令セットに関連する最適化およびその他の最適化が含まれます。
インテルでは、インテル製ではないマイクロプロセッサーに対して、最適化の提供、機能、効果を保証していません。本製品のマイクロプロセッサー固有の最適化は、インテル製マイクロプロセッサーでの使用を目的としています。インテル ® マイクロアーキテクチャーに非固有の特定の最適化は、インテル製マイクロプロセッサー向けに予約されています。この注意事項の適用対象である特定の命令セットの詳細は、該当する製品のユーザー・リファレンス・ガイドを参照してください。
この文書は情報提供のみを目的としています。この文書は現状のまま提供され、いかなる保証もいたしません。ここにいう保証には、商品適格性、他者の権利の非侵害性、特定目的への適合性、また、あらゆる提案書、仕様書、見本から生じる保証を含みますが、これらに限定されるものではありません。インテルはこの仕様の情報の使用に関する財産権の侵害を含む、いかなる責任も負いません。また、明示されているか否かにかかわらず、また禁反言によるとよらずにかかわらず、いかなる知的財産権のライセンスも許諾するものではありません。

Intel、インテル、Intel ロゴ、Xeon、Xeon Inside、Intel Xeon Phi は、アメリカ合衆国および / またはその他の国における Intel Corporation の商標です。
Microsoft、Windows は、米国 Microsoft Corporation および / またはその関連会社の商標です。
* その他の社名、製品名などは、一般に各社の表示、商標または登録商標です。

インテル株式会社〒 100-0005 東京都千代田区丸の内 3-1-1
http://www.intel.co.jp/

2014 Intel Corporation. 無断での引用、転載を禁じます。
©2014年 1月

329848 -001JA
JPN/1401/PDF/SE/ESS/FN