SC08 参加報告書
斎藤貴之∗
国立天文台天文シミュレーションプロジェクト 研究員

2008 年 12 月 5 日
概要2008 年 11 月 15 日から 21 日にかけて、アメリカ合衆国テキサス州オースチンで開催された、Supercomputing 2008
(以下 SC08) に理化学研究所 (理研)SC08 レポータとして派遣されました。これはそのときのレポートです。

1 はじめに2008 年 11 月 15 日から 21 日にかけて、アメリカ合衆
国テキサス州オースチンで開催された、SC08 に参加してきました。これはそのときの報告書です。
背景として私自身のことを述べますと、北海道大学物理学科を卒業後、北海道大学大学院理学研究科に進学し宇宙物理学研究室に所属しました。大学院では、一貫して粒子シミュレーションによる銀河形成研究をおこなってきました。大学院修士では、北海道大学の大型計算機

図1

センターの HP Exampler V2500 と日立の SR8000 を代スーパーコンピューティング・シンポジウム 2008」

使って並列シミュレーションをおこなっていました。そのポスター最優秀賞をいただきました。可視化には

銀河衝突の超大規模シミュレーションで、「次世

武田隆顕さん (国立天文台) が開発した可視化ソフトの後大学院博士では、国立天文台の重力多体系専用計算

Zindaiji を使っています。

機 GRAPE-5/6 を使ったシミュレーションをおこなっていました。GRAPE は自己重力計算が非常に高速であるため、当時シリアルで計算していましたが、世界でこのレポートでは、普段自主開発ソフトウェアで天文最大の銀河形成シミュレーションを達成しました。その学研究をしている、SC08 の参加者としては若干偏って後ポスドクとして国立天文台に移り、超大規模高精度銀いるかもしれない、私 (斎藤貴之) が、SC08 で見て、聴河形成シミュレーションにより天の川銀河の成り立ち

いて、そして考えたことを纏めた報告書になります。なを明らかにする、天の川創成プロジェクトを推進してきるべく正確な記述になるように努めましたが、筆の誤りました。このプロジェクトで私は、 GRAPE をもちいがあるかもしれません。その場合はご指摘頂ければと思た超並列銀河形成シミュレーションコード ASURA を開います。

発し、現在これをもちいて銀河シミュレーションをおこ

2 SC08 聴講レポート

なっています [4]。今回、SC08 に参加する権利をいた
だくことが出来たのはこの ASURA の成果になります [5]

ここでは、会場で聴講した講演について報告します。

(図 1)。

2008/11/18-

主な興味は複雑な銀河形成過程の解明であり、そのためのツールとしてシミュレーションコードを開発して

2.1

Exhibitor Forum:How the MaxPlank Institute for

きました。専用計算機をつかったシミュレーション経験

Gravitational Physics Built the World’s Fastestと、MPI をもちいた超並列シミュレーションコードのEthernet Compute Cluster using the Woven Sys-

開発経験がありますが、ハードウェアに特に強いわけで

tems Ethernet Fabricはありません。

重力波検出装置のための ATLAS cluster の、特にWoven 社の開発した Ethernet Fabric について Woven∗ saitoh.takayuki at nao.ac.jp

社の人がプレゼンテーションをしていました。 Fat tree1

図 2 SC08 レポーター三人。左は萩田克美さん (防図3衛大学校)、右は牧野浩二さん (高度情報科学技術研究

結果を纏めたスライド。

実アプリを三つのシステムで性能評価し、その機構)たシステムが表彰され、 Class 2 は、性能以外に技巧をの元で dynamic reordering をおこなうことがポイント

凝らしたかどうかを重要視して表彰するそうです。

Class 1 では、Oak Ridge の Cray XT5 と、Argonneのようです。
今回 MaxPlank はこのシステムを ∼ 1.8 M EUR での BlueGene/P が二つずつ表彰されていました。 Class

構築したそうです。システムの性能は ∼ 32.8 Tﬂop/s

2 は、Cray の Chapel、IBM の Uniﬁed Parallel C とで、今期 Top 500 の 58 位。 Linpack で 63 % の実効

X10、そして、MathWorks が Parallel Matlab で競い性能を出すことに成功し、 Giga bit Ethernet を使っ合っていました。Class 2 は、どうやら並列化言語によたシステムでは、最も高いパフォーマンスだそうです。

るの競争なのですね。

(Top 500 に乗るような) 平均的な Giga bit Ethernet

2.4

Papers:50.5 Mﬂops/dollar and 8.5 Tﬂops Cosmo-

接続のシステムの平均パフォーマンスは 53 % だとか。

logical N -body Simulation on a GPU Cluster

ところで私は、これは重力多体系シミュレーション専

タイミング悪くポスター会場で直接お話を伺うことが用のシミュレータである、と勘違いして聞きに行ってい出来ませんでしたが、日本から出ていた GPU クラスました。

タを使った重力多体シミュレーションについての論文で2.2 Papers:Scientiﬁc Application-based Performance

す。長崎大学の濱田剛さんたちのグループです。

Comparison of SGI Altix 1700, IBM POWER5+,

従来から、その計算の重さにより、GPGPU の格好のand SGI Altix ICE 8200 Supercomputers

パフォーマンス材料とされていた重力多体問題ですが、

実アプリで計算機性能を評価しようという論文でこれまでは直接法のみでした。これは粒子数 N に対しす。もちいた計算機は、 SGI Altix 4700、SGI Altixて計算量が N 2 になります。無衝突系 (銀河とか宇宙論

ICE 8200、そして IBM POWER5+ システムの三つ的計算) で実際にもちいられている近似法をもちいた場です。計測には、ベンチマークソフトの他に 4 つの流合、計算量が減ることにより CPU を使った方が速いと体シミュレーションコードがもちいられていました (いうことがしばしば起きていました。たとえば、重力計

OVERFLOW-2、CART3D、USM33D、ECCO)。

算の代表的な近似法であるツリー法をもちいた場合、計結果の幾つかを書くと、ハイパーキューブネットワー

算量は N log N になるからです。彼らは、ツリー法をクよりも Fat tree の方が高速であること、 MPI ライブ

GPU 上に実装することに成功し、高速な演算を実現しラリの選択も重要、MPI と OpenMP をもちいたハイ

ました。かれらはわずか 1700 万円で 128 台 8.5 Tﬂops

ブリッド並列では、MPI 単独での並列よりも劣ることのシステムを構築することに成功したそうです。

が多いこと等が結果として得られていました (図 3)。

2.3 Birds-of-a-Feather:The

2008

HPC

また、NVIDIA のブースでは著者らの名前がクレジッ

Challenge

トされたシミュレーションが流されていました (§3.4)。

Awards2.5

Birds-of-a-Feather:Top 500 Supercomputers

申 し 訳 あ り ま せ ん 、勉 強 不 足 で”HPC CHallenge

この SC08 の前の金曜日に結果が報じられていたようAwards” [12] というものの存在を知りませんでした。

でしたので基本的には Top 500 の表彰式です。今回の二つのクラスがあり、Class 1 は、よりよい性能を出し話題はもっぱら Oak Ridge の Jaguer が、前回初登場 1

2

図 4 濱田さんたちの GPU クラスタの価格と性能。

位だった Los Alamos の Roadrunner を抜くことが出来
るか、あるいは Roadrunner が引き離すか、でした。結果はご存じの通り、わずか 5% ほどの差で Roadrunner が

図6

1 位を死守しました (図 5)。ブースで配られていた Topがつきません。第 10 位の中国の計算機の関係者が会

表彰状をもった人たち。顔と名前は私には区別場にいなかったため、マイクロソフトの人が賞状を受500 のチラシの見出しは、”Jaguar Chases Roadrunner,

け取っていました。

but Can’t Crab Top Spot on Latest List” でした。そのほか特に驚いたのは上海スーパーコンピュータセン
ター (中国) の計算機が第 10 位にランクインしたことでした。 OS はマイクロソフト Windows HPC 2008でした。

図 7 Top 500 の 1 位と 500 位と総和の時間進化。

exp で延びている。順調に進化すると、2020 年頃、1位の計算機は 1 Eﬂops を突破する。

図 5 Top 500 リストの上位 10 位。第 10 位に上海

アジアで Top 500 にランクインしている計算機のスーパーコンピュータセンター (中国) の計算機がラ数。日本の計算機がほぼまっすぐに減少しているのと、ンクしている。

2001-2002 年当たりから日本以外のアジアの国々がラン
ク入りし始め、アジアとしての総数を保っている状態。

Top 3 サイトの関係者には表彰と T シャツが送られ会場ではその他の統計量についての議論や、Linpackていましたが、何が面白いのかわかりませんでした (図Benchmark の問題点についても議論がされていました。

6)。なにか意味のある T シャツだったのでしょう、私以外の人は喜んでいました。。アジアで第 1 位となった

2008/11/19-

上海スーパーコンピュータセンターが表彰されたのです

2.6

Panels:Will Electric Utilities Give Away Supercomputers with the Purchase of a Power Contrast?

が、関係者が会場にいなかったため、マイクロソフトの人が賞状を受け取っていました。

スーパーコンピュータのエネルギー効率についてのパ

その他データを使った統計の議論。外挿をするとネルでした。より効率のよいシステムのために、どうい2020 年頃、1 位の計算機の演算性能は 1 Eﬂops を突破

うところでエネルギーが消費されているか、どこを効率することになる (図 7)。私が大学院で数値シミュレー

化するか等が話題にあがっていました。

ションを始めた頃、研究室の先輩に最初に教えられた

ちょっと面白かったのは、消費電力当たりの性能は、Top 500 リストの上位ほど良いということでした (図「外挿は危険だ」という言葉を思い出す。

3

図8

アジアの計算機で Top 500 にランクインして

図 10

データセンターのエネルギー利用割合。

いる計算機の数。

9)。上位に近いほど新しいものであり、新しい計算機
ほど効率を考えたシステムになっているということですね。

図 11 ECOphlex により冷却系のコストを大幅に減らすことが出来る、ということらしい。

ローチと同時に、(たぶん歴史上存在したことがない) 賢
図9

いコンパイラが望まれます。

消費電力当たりの演算性能は Top 500 リスト

2.8

上位ほど良い。

Papers:The Role of MPI in Development Time: A
Case Study

今回の講演の中で、私が最も興味をもったものでし2.7 Exhibitor Forum:Cray: Growing a Greener HPC

た。 MPI での並列コードの開発には難しくコストが高

Futureいアプローチであると思われているが実際にどうであ

たぶん高効率化によって環境に優しいことを目指す

ろうか、ということを Flash のレポジトリのデータかGreen コンピューティングについて、 Cray の取り組

ら調べて報告したものです。たとえば、新たな並列化ス

みが紹介されていました。Cray の液冷システム (Cray

キームにより超並列シミュレーション用コードを今のXT5 に搭載されている) の ECOPhlex では、従来に比10 倍の効率で開発できるよなことがあるのか、という

べて冷却系のエネルギーコストを大幅に減らすことが出問いかけになります。

来るようです (図 10 と 11)。

Flash は、シカゴ大学で開発されている、MPI で並

続いて、効率を上げるという意味で、CPU の他に列化された並列 AMR シミュレーションコードです (図FPGA や GPGPU を積極的に使ったシステムの可能性

12)。一般公開されています。メッシュ生成分割部分にについて紹介がされていました。名目ピークは上がるでは、PARAMESH ライブラリをもちいているため、Flash

しょうが、なかなか使いこなすのは難しい、あるいはご自身でメッシュを生成しているわけではありません。図

く限られた人にしか名目ピークに近い性能で使えないの

13 は、Flash のソースコードを 2 次元にマップしたもであれば、ちょっと困ってしまいます。そのようなアプのです。聞き漏らしましたが、面積はサイズに対応して4

いるのでしょう。このうちオレンジの部分が PARAMESH

まり、アムダールの法則によると、に関係した部分です。そして、コード全体のうち MPIに関係する部分のほとんどは、PARAMESH からもたら1= 1.25
1 − 0.2

されたものです。今回の解析では、PARAMESH は含みまなので、開発負担が零になるような、夢の並列化方法がせん。

実現したとしても、25% の開発効率の向上にしか繋が(1)

レポジトリの解析によると、ファイルコミットのうちらないという結果になります。そして、発表者は、MPIの約 30% が MPI に関係するもの、バグフィックスの開発負担を過剰評価しているのではないか、将来的にもうち約 30% が MPI に関係するものという結果が示さ

大きな開発効率の向上が得られないのではないか、としれました。また、ユーザごとについても解析していて、てトークを終えました (図 14)。

そのうち特に興味深かったことは、MPI に関する更新

これは若干直感に反しますし、実際トーク終了後活発する人はとても限られているということでした。まぁ、な議論がおこなわれました。この場合一番問題になるのそうでしょう。

は、MPI 部分の大半を PARAMESH に負っているのに、その部分を評価していない点でしょう。そのため、ある程度基礎的な技術が確立してライブラリを有効利用出来る場合であれば当てはまることだと思いますが、要素技
術そのものを開発しつつスクラッチから起こしている場
合には当てはまらないのではないかと考えます。これは従来の枠組みを超えて新しいサイエンスに向かうときにはしばしば起き得る状況でしょう。もちろん、今回はFlash でだったので、このような解析になったのだと思います。スクラッチから起こしたプログラムで、同様の定量化がおこなわれ比較されるのとよいのですが。適当なものがあるでしょうか。
その他質疑の中で印象的だったのが、「バグフィック
図 12Flash コード。

スの時間で評価したが、私はたった一文字のタイポのデバッグに 6 週間かかったことがある」というものでした。こういうのは良くやります。プログラミングやデバッグの効率は人に強く依存するため、なかなか定量化が難しそうです。
私自身が MPI をもちいてフルスクラッチでコード開発をしているため、このトークは大変興味深く面白いものでした。

図 13 コードを 2 次元マップした図。オレンジの部
分が PARAMESH に関係するもの

さて、MPI コードの開発に特有の作業量を定量化するために、更新記録から MPI に関係するバグがあがっ
図 14

まとめのスライド。タイトルは ”Developers
thought we over-estimated MPI impact”てきてから解決されるまでの時間を調べます。その結果、 MPI に関係するバグフィックスにかかった時間は、
全体の 25% に過ぎないという結果が示されました。つ5

2.9 Papers:An Adaptive Cut-oﬀ for Task Parallelism
タスク並列をおこなう言語において、効率的なタス
ク分割方法を効率的に求めようという研究だったようです。

2008/11/202.10 ACM Gordon Bell Finalists:0.374 Pﬂop/s Trillionparticle Particle-in-cell Modeling of Laser Plasma
Interactions o RoadrunnerParticle-in-cell コード VPIC を Roadrunner に最適化して、レーザープラズマの超大規模シミュレーション

図 15 0.374 Pﬂop/s Trillion-particle Particle-in-をおこなったという研究 (図 15)。ハイブリッドなシス

cell Modeling of Laser Plasma Interactions o Roadrunner

テムにあわせてチューニングするのは相当大変だったのでしょう。0.374 Pﬂop/s という表記に自信の表れを感じます。発表者も大変自信を持ってプレゼンテーショ

直接法による相互作用計算は Cell/B.E. で、通信を伴うンをしていたのですが、若干プレゼンテーションが難し

境界に関する計算やチェックポイントなどは Opteron

かったかなという印象でした。

で、と分けているそうです。こちらの計算では、倍精度

Roadrunner の売りはなんといっても、高い演算性能をつかっており、その理由の一つとして単精度浮動小数を持つ Cell/B.E. を搭載していることです。 Cell/B.E.

点演算の丸め処理が切り捨て (通常は四捨五入) である

部分のピーク性能は単精度だと 3 Pﬂop/s になります。

ことを気にしています。

この研究でも Roadrunner にあわせて様々な点でチュー
ニングを施していましたが、Cell/B.E. が一番大きな性能のゲインになったはずです。
さて、Cell (こちらは Sony PlayStation3) を使った研究では、大変興味深い研究が富田賢吾さん (総合研究
大学大学院/国立天文台) と山崎秀輔さん (大阪大学) によってなされています [6, 11]。この研究は、 Cell に対して無衝突重力多体問題計算プログラムを実装し、その性能と精度を評価したものです。ここで無衝突系とは粒子同士の近接相互作用 (散乱など) が重要ではない系のことです (具体的には銀河や銀河団など)。論文では高い性能を発揮できたことが示されています。しかし、こ図 16

369 Tﬂop/s Molecular Dynamics Simulations on the Roadrunner General-purpose Heterogeneous Supercomputerの論文で一番重要になるのは、Cell の丸め処理が切り捨てになっており、四捨五入と定めている IEEE754 に準拠していないことをによるエラーを見積もったことです。エラーのオーダーは二体間相互作用で 10−6 程度

2.12なので、無衝突系では問題なくもちいることが出来ます

Papers:Scalable Load-Balance Measurement for
SPMD Codes

が、高精度計算が必要な系のシミュレーションでは注意が必要であると指摘されています。今回の計算では、良いスケーラビリティーを得るためには、ロードバラ

Particle-in-cell ですからおそらく問題ないことを確認

ンスを取らなければいけません。しかし、実際にはなかされていると思いますが。

なかそうはいきません。バランス調整するひつようがあ2.11 ACM Gordon Bell Finalists:369 Tﬂop/s Molec-

りますが、そのためにはどのようにロードバランスが進ular Dynamics Simulations on the Roadrunner

化したのかを実際の計算の中で把握する必要がありま

General-purpose Heterogeneous Supercomputer

す。とりあえず全ノードから実際に情報を書き集めるの

Gordon Bell ファイナリストで、こちらは Roadrun-が速いのですが、それはそれで負荷が大きくなりかねま

ner で分子動力学計算をおこなった研究です (図 16)。

せん。この論文では、データに Wavelet 変換をかけ、そ6

の後さらに圧縮をかけることで、 4000 コア程度までスいます (この辺については、私の所属する国立天文台のケーラビリティーを落とさず、パフォーマンスを落とさ

固武さんらの一連の仕事があります)。ここでは、流体

ずに、そこそこの精度でデータ解析をおこなうことが出

力学、核反応、ニュートリノ相互作用を考慮したシミュ

来ると示されました。

レーションコード CHIMERA をもちい、 3 次元の超新星

世界の HPC 業界の裾野の広さを感じる研究でした。

爆発のシミュレーションをおこなった結果を紹介していました。内容が詳細に及んでいたので、私には十分フォ
ローすることは出来ませんでした。
現在では、超新星爆発は多次元性が本質的であることが明らかになっていますが、それは同時にもの凄い膨大な計算資源を投入しない限りこの種の問題を扱えないことを示唆しています。計算資源が圧倒的に負けている現時点の日本の研究者はなかなか厳しい立場にあるかもしれません。次世代スパコンで挑むべきよいテーマになるでしょう。
ちなみに、このシミュレーションには Oak Ridge のJaguer の 11552 コア (Jaguer Cray XT5 だとすると一割程度) をもちいて 6 日かかったそうです。固武さんに

図 17

Scalable Load-Balance Measurement for
SPMD Codes

伺ったところ、この計算時間だと輻射を近似無く解いたとは思えないということで何かしら近似があったのかもしれません。

2.13 Papers:A Scalable Parallel Framework for Analyzing Terascale Molecular Dynamics Trajectories
すみません、よく分かりませんでした。

3 天文学関係
天文学は古くからコンピュータシミュレーションによる研究が盛んになされてきた、計算機業界となじみの深い分野です。この理由として、 (1) 天体現象はタイムスケールが非常に長い (2) 天体の構造と形成は実験が難し
い、(3) 天体形成は自己重力、ガス力学、輻射輸送、磁場などが強度に関係した本質的に非線形現象であること
等が挙げられると思います。ここでは、SC08 の会場で
図 18 Oak Ridge のブースにあったスライド。トー

見られた天文関係のコンテンツについて、私の気が付いクの内容と同じものでした。

た範囲でとりあげて報告します。

3.1 Cray:超新星爆発シミュレーション
3.2

Cray のブースでは日に数回 15 分程度の Cray の計

NASA:銀河形成シミュレーション

算機を使った最新の成果を研究者が紹介するというイ

NASA のブースでは、いくつものデスクを用意してベントがありました。 私が通りがかったときには Oak

あり、そこに研究者が張り付いてサイエンスの成果を報Ridge の研究者が超新星爆発のシミュレーションの結果

告していました (図 19)。その中にひとつ、銀河形成シの紹介をやっていました。歴史的には、超新星爆発の研

ミュレーションがありました。どこかで見た気がするな

究は一次元球対称を仮定し、様々な関連する物理を考慮とおもったら、今年 5 月にアーカイブサーバにあがってしてゆく形で研究が進んできました。結局 1 次元シミュ

いた、銀河形成シミュレーションの論文 ”Galaxy Size

レーションで最終的に得られた結論は、1 次元シミュ

Problem at z=3: Simulated Galaxies Are Too Small”

レーションでは超新星爆発が起きえないということでしの元になったシミュレーションでした [2]。幸いにもデた。最近は多次元のシミュレーションがおこなわれ、そスクには、著者の一人である、Cen, Renyue さんがおら

こでは軸対称と非軸対称の不安定性モード (SASI) が立れましたので、論文の内容について以前読んだときに疑つことにより、超新星爆発が起きうることが指摘されて問に思ったことについて伺うことができました。

7

特に、銀河形成シミュレーションでは従来から、シミュレーションから得られた銀河と観測銀河の角運動量が著しく異なるという「角運動量問題」があるということが知られています。従来ガスのシミュレーションには粒子法が使われていたのですが、グリッド (メッシュ)法をもちいた場合に、どの程度変わりうるのか興味をもっていました。一様メッシュでは銀河形成のようなダイナミックレンジの広い問題を扱うのは困難だったのですが、 Cen さんらのシミュレーションでは Adaptive

Mesh Reﬁnemt コード ENZO をもちいることでこの困難を解決し、銀河形成シミュレーションをおこなっています。もっとも、シミュレーションは赤方偏移 3 まで、つまり宇宙が現在のサイズの 1/4 だった時代まで
打ち切っており、現在までシミュレートしたわけではないのですが。この計算では、本質的に同じ問題を抱えており、これは従来の粒子系シミュレーションと同様に超新星爆発の効率が低いことが問題だろうと Cen

さんはおっしゃっていました。 Cen さんの素晴らしいシ
ミュレーションは彼の web ページ [8] でみることが出
図 20 Roadrunner Universe。

来ます。

ました。
バルセロナスーパーコンピューティングセンター (スペイン) のブースでは、ここのシステムを使っておこな
われた超大規模シミュレーションである、MareNostrum
シミュレーション [7] の成果が紹介されていました (図22)。これは非常に広い空間の N 体/SPH シミュレー
図 19 NASA のブースで流れていた銀河形成シミュ

ションをおこなう The MareNostrum Universe と、そレーション。

れよりは空間が狭くなる代わりにより多くの物理を考慮したシミュレーションをおこなう The MareNostrum

3.3 大規模宇宙論シミュレーション

Galaxy Formation Simulation の二本立てになってお会場では、幾つかの大規模な宇宙論シミュレーション

り、宇宙の構造過程、銀河の形成過程を探ろうというもの結果が張り出されており、人目を (いえ、私の目だけのです。どちらも、既存のシミュレーションコードをだったかもしれませんが) 引いていました。Los Alamos

もちいており、割とお手軽に実行している印象を受けは、ブースの背面全面を使った巨大なポスターを出してます。ちなみにこの MareNostrum シミュレーション

いました。

と上述の Horizon Simulation は The Horizon Project

さらに、CEA (フランス) のブースには、The Horizon[13] という一つのプロジェクトの下に動いているようで

Simulation [14] の成果が展示されていました (図 21)。

す (すみません、この関係はあまりちゃんと認識していこちらは、ソルバが Adaptive Mesh Reﬁnment コードませんでした)。このほかに、Oak Ridge のブースにもである RAMSES になっています。このシミュレーション

宇宙論的 N 体シミュレーション (図 23) と銀河の暗黒は、RAMSES の開発者の Teyssier, R. がおこなったので物質の分布を高分解能で解いたシミュレーションが展示

しょうか。ブースの人に聞いたところ彼の名前が出てきされていました。

8

図 21

CEA のブースにあった The Horizon Simulation の紹介。

図 22 バルセロナスーパーコンピューティングセ
ンターのブースにあった、MareNostrum NumericalCosmology Project の紹介。

3.4 NVIDIA:GPGPU による大規模 N 体シミュレーション

NVIDIA は Tesla をもちいたパーソナルスーパーコ
ンピューティングを前面に押し出していました。このNVIDIA のブースでは、長崎大学の濱田さんの大規模
な N 体シミュレーションのシミュレーションが表示されていました (図 25)。かくかくと回転していたという感じでしたが、スナップショットを表示させていただけでしょうか。表示を見ると 1342 Mega year (宇宙年齢13 億年) とプレゼンテーションに使うにはずいぶん半
端な時間になっているので、実は実際にその場でシミュ
レーションをしていたのかもしれません。その結果か

図 23 Oak Ridge のブースにあった、宇宙論的 N 体

くかく動いているように見えたのかも。ただの N 体シ

シミュレーション。

ミュレーションとはいえ本当に 1400 万粒子の重力計算をしていてそれがほぼリアルタイムで動いていたのだっブースの壁面には、国立天文台天文シミュレーション

たらすごいことです。あまりそれがわかる展示だったとは思えなかったのは勿体なかったかもしれません。

プロジェクト [9] の Cray XT4 とオランダアムステル

3.5 東京大学:CosmoGrid

大学の Huygens*1 (IBM Power6) を接続して宇宙論的

東京大学のブースでは、GRAPE-DR プロジェクトにN 体計算をおこなった CosmoGrid のポスターがありついて展示されていました。GRAPE-DR は東京大学ました (図 26)。これは、実際にシミュレーションをおと国立天文台で開発されている、ある程度汎用性を持たこなった石山智明さん (東京大学大学院/国立天文台) にせた GRAPE の後継機です。すでに動きつつあり、今*1 これはオランダ語で、我々の知っているところの ‘ホイヘンス’

年度内には国立天文台でも一般共同利用サービスが開始だとか。発音はもっと難解らしい。藤井通子さん (東京大学大学院/国立天文台) に教えて頂きました。

できるかもしれません。

9

図 24

Oak Ridge のブースにあった、銀河の暗黒物

質の高分解能シミュレーション。

図 26 東京大学 GRAPE-DR のブースに張ってあった CosmoGrid のポスター。

Phantom-GRAPE を使っています。
たまたま天文学の研究者の中にアセンブラレベルで関数をチューニングする技術を持っている人がいたからよ

図 25 NVIDIA のブースで流れていた GPGPU にかったという話ですが (Phantom-GRAPE の開発は、よる N 体シミュレーション。

似鳥啓吾さん (東京大学大学院/国立天文台) や吉川耕司
さん (筑波大学) が開発をしている)、本来的にはコンパ話を聞いていたのですが、そうはいってもこのように提イラにもうちょっとがんばってもらいたいところです。

示されると “これはすごい” と思ってしまいます。たと次世代スパコンでは今のところハードの方が話の端に上え重力計算は演算がものすごく重たいといっても、このりやすい気がしますが、ハードの性能を極限まで引き出ようなシミュレーションがネットワーク越し (アメリカ

すようなコンパイラ、あるいはライブラリとそれを作成を経由して!) に出来てしまうというのが驚異です。もちする人材を用意することが望まれるのではないかと思いろん、普通はローカルに計算するものだと思いますが、ます。

ある種のシミュレーションではこのようなことがすでに4 SC 20th Anniversary History Museum

実現可能なようです。

3.6 筑波大学:Phantom-GRAPE

今年は SC が 20 周年を迎えるということで、これま

筑波大学のブースには、PACS-CS (図 27) と T2K 筑

での SC を振り返る展示がされていました。 1988 年の波の計算ノードが置いてありました。1 ノードに 16 コ

第一回から、その年の SC で注目された計算機、アーア搭載された Appro の計算機である T2K 筑波の計算

キテクチャ、言語などを記述したパネルが掲示されておノード上で SSE による最適化高速化された重力計算ラ

り、その下には関連する計算機部品 (CPU/計算ボード/

イブラリ、Phantom-GRAPE [10] をもちいた銀河衝突

計算ノード)、マニュアル類、SC ノベリティーグッツ等のデモンストレーションが行われていました。このライが展示されていました (図 28、29、30)。私のわかる範

ブラリを使わない場合と並べてありましたので、その性囲で簡単に紹介したいと思います。主に日本のスパコン

能向上度合いが大変わかりやすくなっていました。私もや、市販の計算機になります。

国立天文台の Cray XT4 上で計算するときには、このまず展示場の入り口には、おそらく普通の人がみんな

10

図 27

筑波大学のブースにあった PACS-CS。

図 29 SC 20th Anniversary History Museum 全体の様子 2。

図 28

SC 20th Anniversary History Museum 全体の様子。

図 30 SC 20th Anniversary History Museum 全体の様子 3。

思い浮かべる、いわばスーパーコンピュータのイデアであるところの Cray-1 が展示されていました (図 31)。

SC1997 では Notable systems に SGI の Origin 2000

私の身長と大して変わらず、思ったより小さいという印があげられています。この計算機は私が所属していた北象でした。内部は大量のケーブルで接続されており、手海道大学理学部物理学科に導入されていたため懐かし作り感を感じます。また、20 周年記念展示の周りや会く感じます。もっとも私自身はこの計算機を使う機会

場廊下には、Gordon Bell 賞の受賞者が紹介されていまはほとんどなかったのですが。Notable processors でした。

は、DEC Alpha 21164 が。この CPU を用いた計算

SC1988 から SC1992 まで (図 32): すみません、

機は私がかつて所属していた研究室 (北海道大学大学院

この時代の計算機やアーキテクチャは私にはほとんど

理学研究科宇宙物理学研究室) に導入されていたと記憶

ぴんときませんでした。SC1989 では Notable systems

しています。パネルでは、見事に可視化された N 体シとして NEC が現在も開発を続けている SX シリーズのミュレーションの結果が紹介されていました。この年の一つ SX-3 が紹介されていました。

Gordon Bell 賞の受賞者は Warren, M. S.(Los Alamos)

SC1993 から SC1997 まで (図 35): SC1994、倍と Salmon J.K.(Caltech) の超大規模 N 体シミュレー

精度版重力多体系専用計算機 GRAPE-4 が登場します。

ションでしたので、おそらく彼らの計算結果だったので

また、この年、Notable processors で今は無き DEC

しょう (図 34)。このシミュレーションは 322, 000, 000

Alpha の初代である 21064 が登場します。

(∼ 6853 ) 粒子を用いたツリー法による N 体シミュレー

SC1996 にて、Notable systems に NEC の SX-4 とションだったようです。当時から 10 年を経た現在で航空宇宙技術研究所の数値風洞 (NAL Numerical Wind

あれば、5123 粒子の計算は標準的になっており、最近

Tunnel) がともに紹介されています。

の粒子数の大きい計算は 40963 粒子をもちいて行われ11

図 32 SC1988 から SC1992 まで。 SC1989 のパネルには NEC SX-3 が出ています。SC1992 の Gordon Bell賞は Warren, M.S.(Los Alamos) と Salmon, J.K.(Caltech) が N 体シミュレーションで受賞しています (図33)。

図 31 Cray-1。さすがに座らせてくれとは言えない雰囲気。

た Horizon Project [13] になります。単純な外挿を行
うと、さらに 10 年したらこの程度の計算が平均的な計算になるのでしょうか。

SC1998 から SC2002 まで (図 37): SC1998 Notable programming languages として MPI-2/MPI-IOと Open MP が紹介されています。下部のショーケー

図 33 Warren, M.S.(Los Alamos) と Salmon,

スに展示されているのは、ジョージ・ルーカス (George

J.K.(Caltech) の Gordon Bell 受 賞 に つ い て の パ
ネル。

Lucas) のサインの入った Foundary の 1GbE スイッチが展示されていました。Star Wars I Phantom Menace
を作るときに使われたものらしい。

SC1999 では、 Notabel systems で、Hitachi SR8000

大規模なシミュレーションに成功しました。いい計算機

が、Notable processors では DEC Alpha 21264 と単精でした。Hitachi SR8000 は北海道大学の大型計算セン度版重力多体系専用計算機 GRAPE-5 があげられていターに入っており、大学院生時代に二年ほどお世話にました。GRAPE-5 は この年 Gordon Bell 賞を受賞しなった記憶があります。

ています。また私の所属している国立天文台では 2001

SC2000 では、Notable systems として倍精度版重

年 1 月より、GRAPE-5 が一般共同利用として共され力多体系専用計算機 GRAPE-6(GRAPE-4 の後継)(図ました。当時北海道大学の大学院生だった私は、銀河形

38) と分子動力学用の専用計算機 MDMWINEGRAPE-

成シミュレーション研究をこの国立天文台の GRAPE-5

2 (原 理 的 に は GRAPE と 同 様 で 、周 期 境 界 と 支 配をつかって研究していました。この計算機のおかげで当方 程 式 を フ ァ ン デ ル ワ ー ル ス 力 に 対 応 し た も の) で時の平均的なシミュレーション規模を一桁以上上回るした。 Gordon Bell 賞は、GRAEP-6 (東大)(図 36)

12

図 35

SC1993 から SC1997 まで。SC1994、GRAPE-4 が登場。 SC1996 には、NEC SX-4 と航空宇宙技術

研究所の数値風洞が。 SC1997 のパネルには、N 体シミュレーションが出ています。この年の Gordon Bell 賞
も Warren, M. S.(Los Alamos) と Salmon J.K.(Caltech) の大規模 N 体シミュレーションです。

図 34

右は 1997 年 Gordon Bell 賞は Warren, M.S,
(Los Alamos) と Salmon, J.K.(Caltech) が受賞した。常連ですね。左は 2003 年地球シミュレータをもちいて Gordon Bell 賞をした方々。

図 36 2000 年 Gordon Bell 賞を受賞した福重さんと牧野さん。

と MDMWINEGRAPE-2 (理研) が受賞しています。

GRAPE-6 も国立天文台で一般共同利用に供されておションがその圧倒的な性能により Gordon Bell 賞を獲り、今現在も現役で恒星同士の散乱が重要になる星団進得しています。その 6 年後の今、 Top 500 のトップ 10化の研究などに用いられています。Notable processorsに日本の計算機はなく、アジアのトップも中国の計算機に Intel Pentium III があげられています。長らくお世が取るようになりました。未だ Top 500 の 73 位に位話になりました (自宅で使っていました)。

置する地球シミュレータは驚異的です。

SC2001 では、Intel Pentium 4 と Itanium の登場してSC2003 から SC2007 まで (図 40): SC2003 、No-います。 WINE-2 system ボードの写真がありました。

table systems に NEC SX-7 があります。Intel Itanium

Adaptive mesh reﬁnment を用いた星形成のシミュレー

II はこの年の Notable processors。 Research machines

ションの絵もありました (出展がないですが、 Abel, T.

の項目に MDGRAPE-3 がみられます。Topics のなかのシミュレーションではないかと)。 Fukushige,T. &では、FPGA があげられています。私になじみのある

Makino, J. が GRAPE-6 を用いた銀河中心のブラック

GRAPE ですと、最初の FPGA 版である GRAPE-7

ホールの高精度シミュレーションで Gordon Bell 賞をのプロトタイプが、東京大学で開発されていた頃では受賞しています。

ないでしょうか。当時東京大学助手だった福重さんがSC2002 、Notable systems に Athlon MP/XP、IntelFPGA の強みを生かして、SPH のパイプラインを載せ

Xeon、そして Earth simulator (地球シミュレータ) でる工夫などもしていました。

SC2004 では、Notable processors に AMD Opteronす。この年の、地球シミュレータを用いたシミュレー

13

図 37

SC1998 から SC2002 まで。 SC1998 のケースに展示されているのは、ジョージ・ルーカス (George
Lucas) のサインの入った Foundary の 1GbE スイッチ。 Star Wars I Phantom Menace を作るときに使われたものらしい。 SC1999 の Gordon Bell に GRAPE-5 をもちいたシミュレーションが、そして SC2000 のGordon Bell では、GRAPE-6 をもちいたシミュレーションがあがっています (図 36)。 SC2000 のケースには GRAPE-6 ボードが展示されています。 SC2001 のパネルには WINE-2 system ボードが見受けられます。
SC2002 は地球シミュレータの年でした。GRAPE-6 の写真もパネルに見られます。

クトル計算機では性能を出すのは難しいところです。その他の研究テーマでどのような手法が用いられている
か、広く理解しているわけではないですが、異なる階層を同時に扱うシミュレーションが盛んに行われているよ
うですし、本質的に同様の問題を抱えているのではない
かと思います。次世代スーパーコンピュータでは、ベク
トル型とスカラ型のハイブリッドシステムになるようですが、これは一つの解になるのでしょうか。今後の動向が興味深いです。
パネルには、Yin-Yang グリッドの絵がありました[3]。地球シミュレータセンターで独自開発された格子
図 38 SC2000 のケースに展示されていた GRAPE-6。

系で、通常の極座標グリッドでタイトになる極でのクーラン条件を大幅に改善することに成功しています。全球を、高分解能で計算する、という必要性に迫られて開発が 見 受 け ら れ ま す 。前 年 に デ ビ ュ ー し て い ま す 。

されたのでしょう。未踏領域に踏み込み、そこであがい

Opteron シリーズにはずいぶんお世話になっていまたからこその成果だと思います。なんだかとても素晴らす。私どものグループが開発した GRAPE-7 クラスタしいです。

[1] のホスト計算機に搭載されていた CPU は Opteron

SC2005 で は NEC SX-8 や Apple XServe な ど

250 でした。また、国立天文台が今春 (2008 年 4 月) よが Notable systems に 、 Intel Pentium M(初 代り導入した超並列計算機 Cray XT4 でもオプテロンがで は な い)、NVIDIA GeForce 7800/7800GTX、ATI

採用されています [9]。 Topics の中には GPU という9800XT/X800XTPE などが Notable processors にあ文字が見えます。“ベクトルアーキテクチャとスーパー

げられています。Topics のところでは、 power saving

スカラアーキテクチャの比較” というのもあったようのための動的電圧と周波数スケールが目に留まりましです。現在ベクトル計算機を作っているのは NEC とた。ごくごく最近の CPU だと回路を閉じたりなど、

Cray ぐらいになってしまいました。たとえば私の研究

かなりアグレッシブに制御していますね (Intel Deep

テーマである銀河形成過程は、コンピュータシミュレー

Power Down テクノロジや AMD Shanghai コア におションしようと思うと、典型的な時間スケールが大幅にける Smart Fetch テクノロジ)。電力消費の抑制とシス異なるもの同士の相互作用を扱う必要があります。そのテム全体としての電力効率の向上は今回参加した SC08

ため、粒子ごとに異なる時間刻みを持たせる独立時間刻でもたびたび話題としてあがっていました。

み法の利用が必須です。このような計算は、どうしてもSC2006 の Notable systems には Cray Black Win-

とにかく演算性能が高いこと、が必要になりなかなかベ

dow/XT3/Red Storm の三つ (もう一つは IBM SP5)
14

が、 Notable processors には Opteron、Pentium 4/D、たと思われる地球シミュレータと。一方で、2002 年のSun UltraSPARKIV(?) 等に並んで NVIDIA 7900 GX

地球シミュレータショック以降の主にアメリカには強力と、 IBM Cell/B.E. があがっています。特筆すべきはなスパコンが次々に導入されていますが、世界的に見てCell/B.E. で、これは今回の Top 500 で前回に続いて 1

上位に来るスパコンの数が日本ではなかなかに寂しい

位を防衛した RoadRunner の演算部の大半を担ってい現状があります。次世代スーパーコンピュータが導入さる部分です。ケースに展示されていた ASCI Purple のれたとき、それ以外にそれに比類するシステムが存在し計算ノードはなんだかとてもばかでかい (図 39)。

ないとか、それが長く更新されずに維持され続けるのであれば、2002 年から今までに起きたことを繰り返してしまうのではないかなといらぬ心配をしてしまいます。
もちろん大学の計算機の増強/更新が順次進むのであれば杞憂でしょうが。些か筆が滑ったようですが、一人のユーザとしての素朴な感想でした。

5 その他、会場の様子
その他会場の様子を写真で報告します。

図 39

SC2006 の ケ ー ス に 展 示 さ れ て い た ASCI

Purple の計算ノード。基本的には、現在では実験の出来ない核兵器の維持のための計算機。

SC2007 の Notable systems には、国立天文台にも導入されている Cray XT4 があります。世界的には、Oak

Ridge National Laboratory の Jaguar の一部として用いられていることで有名でしょう。Oak Ridge のシス
図 41

テムは今回の Top 500 で、RoadRunner とぎりぎりの理化学研究所次世代スーパーコンピュータ開発実施本部のブース。

競争の結果惜しくも 2 位でしたが、Cray XT5 単独での結果でした。 Cray XT4 の部分は独立に 8 位になっています。 Notable processors には、AMD/Intel/Sunの CPU たちに並んで、NVIDIA の GeForce 8800 があります。
全体を通して気が付いたのですが Notable program-ming languages の項目をみると様々な Fortran が開発(拡張) されてきたことがわかります。やはり、大規模シ
ミュレーションの分野では現在でも Fortran で書かれることが多いのでしょうか。私は、開発を C 言語 (C99)と MPI を使っておこなっているため、次世代スパコン
では、かつてよく言われていたような C 言語のコンパイ
ラの開発は後回し、が起きなければよいなと願います。
この 20 年間の計算機の進化の足跡なぞる立派な展示

図 42 会場はとてつもなく広い。

でした。その中で日本の計算機業界が確実に世界の計算機の進化の中に足跡を残していることは誇らしく感じます。自分になじみの深い日本の天文コミュニティーで開発された GRAPE シリーズ、理研の MDGRAPE、そして今のスパコン界の高活性状態の直接の引き金になっ

15

図 40

SC2003 から 2007 まで。SC2006 のケースに展示されているなんだかとても大きいものは ASCI Purpleの計算ノード。

図 43 左から順に、東大 (左上)、筑波大学 (右上)、JAXA(左下)、そして一緒に SC レポーターとして参加した牧野さんの所属する高度情報科学技術研究機構(右下)。
図 44 も う 一 つ の 理 研 の ブ ー ス 。こ ち ら は MDGRAPE でした。

16

図 45

NASA のブース。このデスクに研究者が張り付いている。
図 47

Oak Ridge のブース。表側。なんだかとてもかっこいい。しかも二階建て！カウンターの人に話しかけると T シャツをもらえた。

図 48 Oak Ridge のブース。裏側。垂れ幕がかっこいい。
図 46 Appro のブースには F1 カーが置いてあった。

17

図 49

会場で見かけた巨大な N 体シミュレーション

図 50

お片づけをする理研のみなさま。お疲れ様でした！

の可視化。“巨大” がかかるのはシミュレーションとディスプレイの両方です。どちらのブースだったか失念。シミュレーションは Millenium シミュレーショ
ン？それとも別ななにか？

図 51 Austin Convention Center から市の中心方向を眺めた。印象的な形状のビルが見える。

内部には、とても高い吹き抜け (外から見たときのドー
ム (図 60 ) の位置に対応) があり、両脇には州議会の上6 アメリカ！テキサス！！オースチン！！！

院と下院の議会場があります (図 61)。図書館なども併

今年度の SC はアメリカ合衆国テキサス州オースチン

設されていました。ホールの回廊には、歴代州知事の肖で開催されました。お昼休みの時間をつかって市内をみ像画が掲げてありました。元 Texas 州知事といえばとることが出来ましたので、その辺について。実は、恥ずいうあの人の肖像画もあったはず。おや、とおもったのかしながらオースチンがテキサス州の州都であることをは肖像画についてた肩書き。テキサス共和国時代にはついて三日たつまで気が付いていませんでした。道が広President だったのですね。私が訪ねたときはたくさん

く、一部の高層ビルを除いて建物の背が低く、大変のどの子供と観光客が訪れており大変にぎやかでした。

かな町並みです。

今回用意して頂いたホリデーインレイクタウンは、コ

会場は、繁華街に位置する Austin Convention Center

ロラド川沿いに位置するホテルでした。ホテルから会でおこなわれていました。市の中心からわずかに離れて場へは、毎日行き帰りのシャトルバスが出ていました

いるだけで、すぐそばにはヒルトンが位置するような場が、歩いていくことも十分可能な距離でした。ちょうど所です。市全体の道幅が広いことと建物の背が低いこと

ホテルの裏手から川沿いに移動することで簡単に会場

から、空が綺麗に見えて散策するにはとても気持ちよいに着くことが出来ます。川があり木がありの心地よい散街でした (図 51、 52、53、 54、 55、 56、57)。

策路で、ウォーキングをしている人、ジョギングしてい二日目 (11/19) のお昼に、Texas state capitol build-

る人、犬の散歩をしている人などとたびたびすれ違いまing にいってきました。ルネッサンス様式で建造されたした (図 62、63、64)。木の上からがさがさと音がしたらしい立派な建物で、内部は無料で見学です (図 58)。

のでよく見てみるとリスがいました。かわいい (図 65)。

18

図 54

図 52

道路はとても広い。

さっきのビルに近づいてみた。大きい!!

図 55 (たぶん) 東西方向に走っている通りは番号で呼ばれている。わかりやすい。

7 最後に
SC08 を通じて、私が普段接することがない最新の
HPC について直接触れることが出来、その動向を知ることが出来ました。今後の研究を展開する上で貴重な経図 53

ビルから会場を振り返ってみる。左側の青く験になったと思います。このような機会を設けてくださ

四角い建物が Austin Convention Center。

り、本当にありがとうございました。レポーターとして一緒に参加した萩田克美さん (防衛大学校)、牧野浩二さん (高度情報科学技術研究機構) のおかげで楽しい会議

が、近くで見るとなんだかとても巨大なリスです。こちでした。ありがとうございます。とくに、萩田さんとのらのリスはルートビアでも飲んでいたりするのでしょう

往復の旅は生涯忘れることの出来ない衝撃的なものでしか。今回確信したのですが、愛くるしい動物でもそれがた。またいつかどこかでお会いできることを楽しみにし巨大だったときに感じる感情は、“恐怖” です (図 66)。

ています。

事前にアメリカ出張経験のある友人に聞いていて覚悟

参考文献したのですが、食事はだめでした。サンドイッチもピザ[1] 台坂 博、Unix Magagine、2005 年 9 月号-2006 年

も大変不思議な味わいで、一週間ぐらい耐えられるだろ4 月号

うと思っていた自分が甘かったと現地で深く反省しまし[2] Joung, M. K. R., Cen, R. & Bryan, G. 2008,

た。お昼は一人で行動していたのでレストランに行かな

arXiv:0805.3150

かったのが敗因かもしれません。

19

図 56 先ほどの辻から (図 55) Texas state capitol

図 58

Texas state capitol building。内部を無料でbuilding を眺めた。ずっと先に見えます。真ん中に見学することが出来ます。

は、極めてユニークな色遣いのギターがある。この街は音楽の街らしい (すみません、本当に何も知りません)。

図 57 E 10th 通りと Brazos 通りの辻にあった立派な建物。どういういわれのある建物かは残念ながら知りません。

[3] Kageyama, A. & Sato, T. 2005, Geophys.

図 59 Texas state capitol building から振り返って街を見る。

Geosyst., 5, 1
[4] Saitoh, T. R., Daisaka, H., Kokubo, E., Makino,J., Okamoto, T., Tomisaka, K., Wada, K., &[9] http://www.cfca.nao.ac.jp

Yoshida, N. 2008, PASJ, 60, 667[10] http://grape.mtk.nao.ac.jp/ñitadori/phantom/[5] Saitoh, T. R., Daisaka, H., Kokubo, E., Makino,[11] http://www.hpcc.jp/sacsis/2008/cell/outputs.html

J., Okamoto, T., Tomisaka, K., Wada, K., &[12] http://www.hpcchallenge.org/

Yoshida, N. 2008, arXiv:0805.0167, PASJ sub-[13] http://www.projet-horizon.fr/

mitted.

[14] http://www.projet-horizon.fr/article323.html[6] 富田賢吾、山崎秀輔、「Cell Broadband Engine に対する重力多体問題計算の最適化」 2008, SAC-

SIS2008[7] http://astro.ft.uam.es/marenostrum/[8] http://www.astro.princeton.edu/c̃en/
20

図 62 ホテルの裏手。

図 60

吹き抜けのホールで天井を見上げる。五角形の星に ”T”、”E”、”X”、”A”、”S” とある。

図 63 コロラド川。岸沿いには小魚が結構いました。

図 61

州議会場。

21

図 64

心地よい散策路。ジョギングしている人、犬の散歩をしている人などとたびたびすれ違う。

図 66

きょだいなリスが現れた。思っていた以上にでかい。どうする？

図 65

リス。かわいい。

22