導入事例
インテル® Xeon® プロセッサー・ファミリー、インテル® Cluster Studio XE
インテル® Xeon® プロセッサー・ファミリーを搭載したスーパーコンピューター・システムの導入

マルチコア対応のインテル® Xeon® プロセッサー・ファミリーを採用し1202 ソケットの大規模クラスター型スーパーコンピューターを構築
京都大学および全国の研究機関に高度情報サービスを提供

課 題• 学内・学外の研究者・研究機関に対する高速スーパーコンピューター・サービスの提供• ノード性能およびネットワーク性能に優れたクラスター型スーパーコンピューターの導入• 発熱量の削減と電力効率の向上
ソリューション
• インテル® Xeon® プロセッサー E5 ファミリーを搭載したクラスター型スーパーコンピューター• MPI 開発者向け総合ツール「インテル® Cluster Studio XE」

京都大学学術情報メディアセンター
所在地：京都府京都市左京区吉田本町
設立：1969 年 4 月
事業内容：
情報基盤および情報メディアの高度利用に関する研究開発、学内の情報環境整備・運用・管理

http://www.media.kyoto-u.ac.jp/

利用者支援にあたっています。共同利用サー

あらゆる研究用途に対応する汎用性の高いスーパーコンピュータービスでは、京都大学の研究者だけでなく、全京都大学学術情報メディアセンター（以下、模な科学技術計算、計算化学、構造解析、ACCMS）では、情報基盤と情報メディアの高度利用に関する研究開発を進め、研究成果を教育環境の高度化にフィードバックしています。その一方で、全国共同利用情報基盤センターの 1 つとして、学内利用者だけでなく、全国の大学や研究機関の研究者などに対しても高度な計算サービスを提供中です。京都大学 学術情報メディアセンター センター長
教授 工学博士 中島浩氏は ACCMS について、「京都大学全体の情報基盤の整備と将来の高度情報基盤構築に向けた学術的なリサーチの 2 つが主な役割です。共同研究についても、主要国立大学の 8 つの情報基盤系センターが連携したネットワーク型拠点の 1 つとして、重要なミッションを担っています」と語ります。現在、センターの研究開発は、「ネットワーク研究部門」「コンピューティング研究部門」「教育支援システム研究部門」「ディジタルコンテンツ研究部門」の 4 部門に、新たな情報基盤・サービスの創出を模索する「連携研究部門」を加えた 5 部門体制で推進し、民間企業や他の研究機関との共同研究やコラボレーションも積極的に行っています。

統計処理、可視化などの計算サービスを提国の学術研究者や民間企業に対しても大規供しています。
「ACCMS で提供するスーパーコンピューターは、あらゆる学部・学科、あらゆる研究機関の利用が可能です。そのため、ミッション・オリエンテッドではない汎用性の高さを維持しなければなりません。利用の中心は理学系・工学系の研究分野で、当センターがコラボレーションした大型事例としては、巨大地震発生サイクル・シミュレーション（図 1）や、宇宙プラズマ環境における大規模粒子シミュレーション（図 2）などがあります」と中島氏は語ります。

スーパーコンピューターに関しては、中島氏が所属する「コンピューティング研究部門」がハードウェアおよびソフトウェアに関する研究開発に取り組んでいるほか、情報部情報基盤課の技術スタッフがシステムの運用や図 1. 巨大地震のシミュレーション計算画像

大規模なクラスター型スーパーコンピューターの性能をフルに引き出す
インテル® Xeon® プロセッサー・ファミリー「インテル ® Xeon® プロセッサー・ファミリーの採用で、ノード性能と比例してネットワーク性能も高まり、ユーザーに高速な計算環境が提供できるようになりました。
合わせて消費電力の削減が実現し、情報サービスの品質も飛躍的に高まっています」
京都大学 学術情報メディアセンターセンター長 教授
工学博士
中島 浩 氏ACCMS がスーパーコンピューターを初めて導入したのは 1985 年のことでした。当初はベクトル型を採用していましたが、2004 年から汎用性が高いスカラー型に移行しています。スーパーコンピューターの導入・運用ポリシーについて中島氏は、「世界の学術機関と伍していくためには、世界で活発に利用されている Linux* ベースのクラスターでシステムを構築し、時代に合わせて進化させていくことが重要です。汎用性が高いほど、性能面やコスト面、アプリケーションの開発効率などで得られるメリットは大きくなります」と語っています。

た。インテル ® Cluster Studio XE は、HPCクラスター向けのツールをパッケージ化したもので、C/C++ コンパイラー、Fortran コンパイラー、パフォーマンス分析ツール、MPI ライブラリー、MPI アプリケーション・パフォー
マンス解析ツールなどを同梱しています。中島氏は「インテル・プロセッサーとの親和性が高く、他の x86 系プロセッサーとの相性のよさを評 価しました。各ツールの性 能をベンチマークした結果も良好で、十分に満足できるレベルに達しています。さらにソフトウェア・スタックのラインナップも豊富で、ユーザビリティーの高さも魅力でした」とインテル ®

Cluster Studio XE を採用した理由を語っ

PCI Express 3.0 対応の高速 I/O バスを評価し、インテル® Xeon® プロセッサー E5ファミリーを採用。コンパイラーを含む開発者向けツールも合わせて導入
ACCMS では、学 内・学 外 の ユーザーに 高度な計算環境を提供するため、数年間隔でスーパーコンピューターを更改してきました。
そして 2012 年、2008 年に導入した HPCサーバーが更新時期を迎えるにあたり、最新スーパーコンピューター・システムの導入を検討。複数のベンダー製品を比較・検証した中から、インテル ® Xeon® プロセッサー E5ファミリーを搭 載した HPC サーバーを採 用し、大規模なクラスターシステムを構築しました。インテルの CPU を採用した理由を、中島氏は次のように語ります。
「プロセッサー選定における絶対要件は、汎用性の高い x8664bit のアーキテクチャーを採用していることでした。その中で、ネットワーク I/O のバスがPCI Express 3.0 に対応し、ノード間でデータを高速にやり取りできるインテル ® Xeon®
プロセッサー E5 ファミリーに注目しました」。ています。

1202 ソケットで構成されるサブシステムと1 ノード 1.5TB の大容量メモリーを搭載したサブシステム
新 スーパーコン ピューター・シ ス テ ム は、2012 年 5 月から本稼動を開始しています。
システムは、インテル ® Xeon® プロセッサー

E5 ファミリーを 搭 載 し た HPC サーバーとInfiniBand ネットワークで構成されたクラス
ターシス テ ム 2 系 統 と、MPP（MassivelyParallel Processor）システム 1 系統の 3 システムで構成され、全体のピーク演算性能は553.9TFlops を確保しています。インテル製プロセッサーを採用した 2 つのクラスターシステムの主な特長は次のとおりです。
サブシステム Laurel は、1 ノードあたり 16コア、64KB のメモリーを有する 601 台のノードで構成され、PC クラスターとの高い互換性を確保しています。ピーク値の演算性能は242.5TFlops で、総メモリー容量は 38TBです（ 図 3）。サブシステム Cinnamon は、

PCI Express 3.0 は、1 レーン 当 たり実 行
転 送 速 度 が 最 大 8GT/s（giga transfersper second）に対応する高速バス転送規格で、現時点（2012 年 5 月）で PCI Express3.0 に対 応するプロセッサーは、インテル ®
Xeon® プロセッサー E5 ファミリーのみです。
従来まで主流だった PCI Express 2.1（最大転送速度 5GT/s）と比べてより高速にネットワークにアクセスできることから、得られるメリットは計り知れません。
京都大学 学術情報メディアセンターセンター長 教授
工学博士
中島 浩氏

1 ノードあたり 32 コア、1.5TB のメモリーを搭載した 16 台のノードで構成されています。

さらに今回のシステム更改では、インテルのMPI 開発者向け総合開発ツール「インテル ®
Cluster Studio XE」も合わせて導入しまし

図 2. イオンエンジンとプラズマの相互作用に関する、大規模粒子シミュレーションインテル® Cluster Studio XE

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

8GB DDR3 -1600 x 8 = 64GB ; 102.4GB/s

PCIe
Gen3PCIe
Gen3Intel® CPU発ツールです。信頼性の高いインテルのク

インテル® Xeon® プロセッサー E5-2670
8C x 2 = 16C333GFlops

IB FDR
6.8GB/s

インテ ル ® Cluster Studio XE は、MPI ア
プリケーションの開発を支援する総合開Intel® CPU

IB FDR
6.8GB/s■ 16C x 601 = 9616C■ 200.0TFlops（ +64 x NVIDIA M2090=42.6TFlops)■ 37.56TB■ 3.1TB/s

ラスターツールと、高度なスレッド化 / メモ
リー正当性検出ツール、パフォーマンス・プロファイリング・ツールなどを組み合わせることで、クラスター・アプリケーションのパフォーマンスとスケーラビリティーを大幅に向上させます。

図 3. 601 台のノードで構成されたサブシステム Laurel の構成

ノード数こそ多くはないものの、1 ノードあたます。601 台 のノードを有するサブシステ

りのメモリー容量は格段に大きく、大容量メモ

ム Laurel は、ノード性 能 が 従 来 比で 2 倍リーを必要とするユーザーに利用されていま以上アップし、消費電力は半分以下に低減。

す。理論ピーク値の演算性能は 10.6TFlops

その結果、電力効率は約 6 倍に向上しましで、総メモリー容量は 24TB です（図 4）。

た。さらに大きな成果として中島氏は「PCI

ノード性能と消費電力効率の向上を実現し高速分析ができる環境を低価格で提供

Express 3.0 の効果によってネットワーク性能がノード性能とほぼ比例して上がっていることが画期的です」と語っています。

新システムは従来タイプと比較して、総演算一 方、大 容 量メモリーを搭 載したサブシス性能で 7.9 倍、総メモリー容量で 6.1 倍、総テム Cinnamon は、ノード性 能こそ 20 〜

物理容量で 5.7 倍となり、システム全体の30 ％の向上に留まっていますが、消費電力スケールは格段に向上しました。インテル ®

は従来比で 10 分の 1 以下になりました。全

Xeon® プ ロ セッサー E5 ファミリーを 搭 載した 2 つのクラスターシステムも、大 幅な性 能 向 上と消 費 電 力の削 減を実 現していシステムが 1 ラックに収まっていることから、設置スペースも 10 分の 1 になり、導入コストも従来と比べて大幅に削減されています。

インテル® Cluster Studio XE が同梱する製品一覧• インテル ® Composer XE
C/C++ および Fortran に対応するコンパイラーに加え、パフォーマンス・ライブラリー（数値演算（インテル ® MKL）/ 画像処理（インテル ® IPP）/ マルチスレッド・ライブラリー（インテル ® TBB））を同梱します。

• インテル ® VTune ™ Amplifier XE
パフォーマンスの問題となる原因を素早く特定する分析ツール。テンプレートを使うことにより、数回のクリックで必要な情報が取得できます。分かりやすいユーザー・インターフェイスで操作も簡単です。

• インテル ® Inspector XE
高度な機能を備えたメモリー / スレッドエ
ラー検出ツールです。メモリーリーク、メモリー破壊などのメモリーエラーと、データ競合やデッドロックなどのマルチスレッド・エ

32GB DDR3 -1066 x 48 = 1.5TB ; 136.4GB/s

PCIeGen3

Intel® CPU• インテル ® MPI ライブラリー

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

DDR3

ラーを動的に検出します。

Intel® CPU

9 万プロセスを超えてもスケール可能な
MPI ライブラリー。インテル ® プラットフォー
ムのクラスターでアプリケーションの動作を向上させます。

PCIeGen3■ 32C x 16 = 512C

■ 10.6TFlops

IB FDR
6.8GB/s

DDR3

DDR3

DDR3

DDR3

DDR3Intel® CPUDDR3Intel® CPUDDR3

IB FDR
6.8GB/s

DDR3

インテル® Xeon® プロセッサー E5-4650L
8C x 4 = 32C666GFlops■ 24TB■ 217GB/s

図 4. 1.5TB のメモリーを搭載した 16 台のノードで構成されたサブシステム Cinnamon の構成• インテル ® Trace Analyzer/Collector
MPI アプリケーション・パフォーマンス解析
ツールです。並列アプリケーションの実行をイベントベースでトレースします。収集したトレースデータはグラフィカルに表示し、パフォーマンスのボトルネックの特定を容易にします。

最新のスーパーコンピューター・システムは、当てられる予算内で約 6 倍のもの計算能力研究面にも効果をもたらしています。基本性がユーザーに提供できるようになったことは階です。
「今回採用したインテル® Xeon® プロ

能の向上により、ユーザーは大規模で複雑大きな成果です」と強調します。

セッサー E5 ファミリーとインテル ® Cluster

今後の計画については、2014 年に次世代しています。今後もインテルにはさらなる技な計算内容でも、短時間かつ低価格で結果が取得できるようになりました。高速化したながら、次世代技術の検証を進めている段Studio XE をはじめ、インテル製品には満足ことで限られた時間内により多くのパラメーのインテル ® Xeon® プロセッサーを搭載した術革新と、魅力あふれる製品開発をお願いしターを指定して計算ができるようになり、学スーパーコンピューターを追加導入することます」と中島氏は期待を語りました。

術面における成果が期待されています。まが決定しています。新しいサブシステムは、た、サービスを提供する ACCMS 側にもメリッピーク演算性能が 400TFlops になる見込

インテルは今後もインテル ® Xeon® プロセットが生まれています。中島氏は、「ユーザーみで、既存システムと合わせると 1PFlops

サーと開発ツールのさらなる技術革新を進が使用する電力量によって利用料金が決ま（ペタ）に迫るスーパーコンピューターが 完め、ACCMS が目指す情報基盤の高度化にる現在の運用体制の中、電力効率が従来比成します。そして現在、さらなる先を見据えて貢献していきます。

で 6 倍近く向上することで、ACCMS が割りインテル製プロセッサーの採用を念頭に入れインテル ® Xeon® プロセッサー ファミリーに関する詳しい情報は、下記のサイトをご覧ください。
http://www.intel.co.jp/xeonE5/

性能に関するテストや評価は、特定のコンピューター・システム、コンポーネント、またはそれらを組み合わせて行ったものであり、このテストによるインテル製品の性能の概算の値を表しているものです。システ
ム・ハードウェア、ソフトウェアの設計、構成などの違いにより、実際の性能は掲載された性能テストや評価とは異なる場合があります。システムやコンポーネントの購入を検討される場合は、ほかの情報も参考にして、パフォーマンスを総合的に評価することをお勧めします。インテル製品の性能評価についてさらに詳しい情報をお知りになりたい場合は、「インテル・パフォーマンス - ベンチマークの限界」を参照してください。インテルは、本資料で参照している第三者のベンチマーク・データまたは Web サイトの設計や実装について管理や監査を行っていません。本資料で参照している Web サイトまたは類似の性能ベンチマーク・データが報告されているほかの Web サイトも参照して、本資料で参照しているベンチマーク・データが購入可能なシステムの性能を正確に表しているかを確認されるようお勧めします。
インテル ® コンパイラーは、互換マイクロプロセッサー向けには、インテル製マイクロプロセッサー向けと同等レベルの最適化が行われない可能性があります。これには、インテル ® ストリーミング SIMD 拡張命令 2（インテル® SSE2）、インテル® ストリーミング SIMD 拡張命令 3（インテル® SSE3）、ストリーミング SIMD 拡張命令 3 補足命令（SSSE3）命令セットに関連する最適化およびその他の最適化が含まれます。
インテルでは、インテル製ではないマイクロプロセッサーに対して、最適化の提供、機能、効果を保証していません。本製品のマイクロプロセッサー固有の最適化は、インテル製マイクロプロセッサーでの使用を目的としています。インテル ® マイクロアーキテクチャーに非固有の特定の最適化は、インテル製マイクロプロセッサー向けに予約されています。この注意事項の適用対象である特定の命令セットの詳細は、該当する製品のユーザー・リファレンス・ガイドを参照してください。
この文書は情報提供のみを目的としています。この文書は現状のまま提供され、いかなる保証もいたしません。ここにいう保証には、商品適格性、他者の権利の非侵害性、特定目的への適合性、また、あらゆる提案書、仕様書、見本から生じる保証を含みますが、これらに限定されるものではありません。インテルはこの仕様の情報の使用に関する財産権の侵害を含む、いかなる責任も負いません。また、明示されているか否かにかかわらず、また禁反言によるとよらずにかかわらず、いかなる知的財産権のライセンスも許諾するものではありません。

Intel、インテル、Intel ロゴ、Xeon、Xeon Inside は、アメリカ合衆国および / またはその他の国における Intel Corporation の商標です。
Microsoft、Windows は、米国 Microsoft Corporation および / またはその関連会社の商標です。
* その他の社名、製品名などは、一般に各社の表示、商標または登録商標です。

インテル株式会社〒 100-0005 東京都千代田区丸の内 3-1-1
http://www.intel.co.jp/

2012 Intel Corporation. 無断での引用、転載を禁じます。
©2012
年 6月

327412 -001JA
JPN/1206/PDF/SE/ESS/FN