地球シミュレータ(ちきゅうシミュレータ、英: Earth Simulator)は、NEC SXシリーズベース(現行機は第4世代のSX-Aurora TSUBASA B401-8)のスーパーコンピュータシステムである。

神奈川県横浜市金沢区の海洋研究開発機構 (JAMSTEC) 横浜研究所に設置されている。

## 目的・経緯

### 初代

1993年~1995年にTOP500首位となった数値風洞計画(NAL、富士通)を先導した三好甫が、それに引き続き日本のスーパーコンピュータをリードするシステムとして、JAMSTECと日本電気を先導したのが本計算機計画である。また科学技術庁(1998年度当時)としては地球規模の環境変動の解明・予測といった大義の他、バブル崩壊により著しく落ち込んでいた業界の維持といった目的もあり、600億円を投じて開発が開始された。2001年下旬に三好は逝去したが、残された計画通りシステムは完成、2002年3月15日に運用を開始し、目標通りの威力を発揮した。まず、その実性能自体が「コンピュートニク」とすら呼ばれるほどの印象を高性能計算関連の(主として米国の)産官学に与えた。また科学的な成果としては、地球温暖化や地殻変動といった、文字通り地球規模でのシミュレーションに利用され、気候変動に関する政府間パネルの2007年ノーベル平和賞受賞にも大きく貢献し、他にも多くの計算科学による成果を上げた。その後も公募により、地球科学、先進・創出分野での共同利用が行われている他、2007年からは産業界による成果専有型の有償利用も可能となっている。

### 2代目以降

2009年3月に2代目のシステムへ更新、2015年3月には3代目、2021年3月には4代目のシステムに更新された。また初代以来、日本のHPCの旗艦としての役割を京・富岳と分担する他、名実共にNEC SXシリーズの旗艦という存在になっている。

## 構成

### 初代

SX-5ベースである。SX-5では32チップで構成されていた計算モジュールを1チップ化し、それを8個集積した1ノードが8GFLOPS、それに16GBのメモリをともなう。640ノード(5,120CPU)を単段クロスバースイッチで接続、最大理論性能は40.96TFLOPSであった。このシステムのために開発された、計算モジュールを集積したチップは、SXシリーズの次の世代のSX-6にも活用された。

### 第2世代

SX-9ベースである。102.4GFLOPSの性能を持つプロセッサ8個と128GBのメモリを持つベクトル計算機ノード(地球シミュレータではPNと呼ばれる)160台(1,280CPU,1,280コア)を2段のクロスバースイッチでファットツリー状に接続し、最大理論性能131TFLOPSを実現している。

### 第3世代

SX-ACEベースである。256GFLOPSの性能を持つプロセッサ1個(4コア)と256GBのメモリを持つベクトルノード5,120台(20,480コア)を2段のクロスバースイッチでファットツリー状に接続し、最大理論性能1.3PFLOPSを実現している。

### 第4世代

720ノードのAMDのCPUと684ノードのSX-Aurora TSUBASA B401-8及び、8ノードのNVIDIA A100により、5,472台のベクトルエンジン(43,776コア)を搭載し、最大理論性能19.5PFLOPSを達成する見込みで、2021年3月1日より運用開始。200Gb/s HDR InfiniBandが使われている。また、データセンター環境監視システムにiDCNaviが使われている。

## 運用

単体能力を改善し、多目的に活用を図ることを目的として、スカラプロセッサからなるサーバを併用している。また、日本の学術研究のインフラストラクチャであるSINETに接続し、遠隔利用を可能にしている。AVS, Mathematica, Maple等の商用ソフトウェアやオープンソースソフトウェアも利用可能である。

第3世代までのOSはSXシリーズ用のSUPER-UXをベースに特化した拡張をしたものであり、プログラミング言語処理系としてはFortran 90・C/C++コンパイラが利用できる(いずれも地球シミュレータ専用のカスマイズや調整(チューニング)が入っている)。並列化にあたっては、「ハイブリッド並列化」と「フラット並列化」の二つのプログラミングモデルがある。前者はノード間並列化をMPI、ノード内並列をマイクロタスクまたはOpenMPで記述する一方、後者はノード間・ノード内の両方の並列化をいずれもMPIで書く。一般的には前者はパフォーマンス重視、後者はプログラミング効率重視のモデルとされている。ユーザはこれらの並列化に対応したプログラムをバッチジョブとして投入する。名前が与えるイメージとは裏腹に、GRAPEのような専用計算機ではなくあくまで汎用計算機であるので、地球科学とは直接にかかわりのない分子動力学計算などにも利用されている。

第4世代では、アーキテクチャの多様化とさらなる性能向上が図られており、AMD社製のEPYCプロセッサを基盤に、NECのSX-Aurora TSUBASA B401-8 ベクトルエンジン(Vector Engine, VE)およびNVIDIAのGPU A100を組み合わせたマルチアーキテクチャシステムとなっている。この構成により、従来のベクトルプロセッサに加えて、スカラプロセッサやGPUによる並列計算が強化され、様々な計算タスクに柔軟に対応できる設計となった。

OSにはLinuxベースのRocky Linuxが採用されており、VEノードにはNECのSX-Aurora TSUBASA専用の環境が提供されている。これにより、CPUノード、VEノード、GPUノードといった異なるアーキテクチャ間での効率的なジョブの割り当てやスケジューリングが可能となっている。特に、VEノードはNECの独自技術であるベクトル計算能力を備え、ベクトル化されたアプリケーションの高効率な実行が可能だ。

プログラミング環境としては、従来から対応していたFortran、C、C++のコンパイラに加え、GPU向けにはCUDAなどの並列計算用フレームワークも利用可能となっている。並列化手法についても、従来のMPIによる並列化に加え、OpenMPを組み合わせたハイブリッド並列化が引き続きサポートされており、さらなるスケーラビリティと計算効率を実現している。

第4世代では、地球科学にとどまらず、AIや機械学習、さらには分子動力学や材料科学といった幅広い分野での利用が進んでいる。また、日本国内の学術ネットワークSINETに接続することで、国内外の研究者が遠隔からシステムを利用できるようになっており、その汎用性とアクセス性が大幅に向上している。

## 性能

### 初代

2002年3月15日に運用を開始した。2002年6月にLINPACKベンチマークで実効性能35.86TFLOPSを記録し、スーパーコンピュータの計算性能の世界ランキングであるTOP500で第2位の IBM ASCI White に5倍の差をつけてトップを獲得して以来、2004年11月に IBM Blue Gene に首位を明け渡すまで、5期連続でトップを維持した。これは全640ノードの内638ノード(5,104プロセッサ)を用いて得られたもので、ピーク性能に対する実測性能比は87.2%となる。ASCI Whiteが7.226TFLOPS(ピーク性能12.288TFLOPS:ピーク性能比58.8%)であったのと比較して、理論ピーク性能に対する実効性能の比が非常に高く、ベクトル計算機特有の高速メモリシステムおよび単段クロスバーネットワーク接続によるものと分析された。

### 第2世代

初代のシステムを2009年3月に更新して、4月運用を開始した。コストを抑え、さらに性能向上を図るため、2008年度に維持費とは別に5億円を計上し、6年間185億7600万円のレンタルにより新機種のSX-9/Eに更新し、ピーク計算能力を初代の3.2倍となる131TFLOPSに引き上げた。これにより、設置面積は半分の650平方メートル、電気代は従来の7-8割程度となる。さらに、2009年6月にはLINPACKベンチマークで122.4TFLOPS(実行効率93.38%)を達成した。これは2008年11月発表のTOP500リストで実行効率世界1位、実行性能日本1位、世界ランキング16位に相当する。また、LINPACKを補完し、多面的な観点から性能を評価する目的で開発された性能指標を競うDARPA HPC Challenge Award Competitionにおいて、2009年11月には4部門(Global HPL, Global RandomAccess, EP STREAM, Global FFT)のうちEP STREAM、 Global FFT部門で3位、2010年11月にはGlobal FFT部門で1位を獲得した。

### 第3世代

SX-ACE 5120ノードへ2015年3月に更新。このシステム更新で1.31PFLOPS、メモリ容量320TB、消費電力は約2MW以下(初代は約5MW、ES2は約3MW)となっている。

### 第4世代

SX-Aurora TSUBASA B401-8, Vector Engine Type20B 8C 1.6GHz 5,472台へ2021年3月に更新。ピーク性能は19.5PFLOPS、前世代と比較して消費電力は同等ながら、設置面積は半減した。2021年6月のTOP500では、39位、ピーク性能13.448PFLOPSを記録している。

## 維持費

初代システムの維持費用は年間約50億円(内訳は電気代約5億円、ガス・水道代1億5000万円、保守費用45億円)であった。消費電力は約6MWで、実アプリケーションの性能を確保するための高速メモリとネットワークに必要な電力とされた。

地球シミュレータのような専用のベクトルプロセッサを用いた計算機は、近年主流となっているPCクラスタに比べ価格性能比が低く、性能当たりの消費電力が多いとされる。ベクトル計算機とPCクラスタは得意分野の違いもあり、単純比較することは必ずしも適切ではないが、例えば2006年から運用開始された東京工業大学のTSUBAMEは、2002年に運用開始時の地球シミュレータと比較して導入費用は20分の1、電気代は5分の1、計算速度は1.6倍(LINPACK性能比)であった。