Cosmogrid Project牧野淳一郎
国立天文台
天文シミュレーションプロジェクト プロジェクト長/教授

with: 平木敬、稲葉真理 (東大情報理工)、石山智明 (東大総合文化)、似鳥啓吾 (理研)、S. Portegies Zwart, Derek Groen, Stefan Harfst(Leiden University), Cees de Laat (University of Amsterdam),
S. L. W. McMillan (Drexel University)、
他、 Cosmogrid project members

概要• 国立天文台の紹介• 天文シミュレーションプロジェクトの紹介• Cosmogrid Project• 背景• やったこと• できたこと• 今後の方向

国立天文台の紹介• 日本の天文学のナショナルセンター• 地上観測施設– すばる望遠鏡– 野辺山宇宙電波観測所– その他、岡山観測所等• JAXA と共同で宇宙からの観測も• 暦、理科年表等の歴史的な機能• 理論研究・シミュレーション研究による天文学

すばる望遠鏡
ハワイ・マウナケア山頂
主鏡直径 8.2m, 世界最大級大視野の主焦点カメラ (30分角)、ハッブル望遠鏡の100 倍の視野
現在のところ、最遠方の銀河 (QSO) の 10 個のうち 9個を発見

野辺山宇宙電波観測所

1982 年観測開始。日本の観測天文学発の世界最先端装置
後継:日米欧共同プロジェクト ALMA 望遠鏡(2010 観測開始？)

その他主要プロジェクト• ひので衛星• 重力波観測装置 TAMA300• VERA VLBI(超長基線電波干渉計) による銀河の構造・運動の観測– 光回線によるリアルタイム信号処理• VSOP-2 衛星による VLBI

天文シミュレーションプロジェクト
2 つの役割:• 国立天文台の中の、理論・シミュレーション天文学研究グループ• 国内外の天文学研究者のための計算機センター

歴史
1965 年 人工衛星国内計算施設 発足
1988 年 天文学データ解析計算センター 発足
同年 理論天文学研究系 発足
2006 年 天文学データ解析計算センターを天文シミュレーションプロジェクトと天文データセンターに分離「天文学理論・シミュレーションのための計算センター」として世界的にもユニークな位置を占める。

計算速度の進化
計算速度の対数(12 = 1 Tﬂops)
白◯: 東大センター
黒●: 国立天文台
大体東大の 1/10 — 1/100

OKITAC, UNIVAC の他は富士通

現行システム• ベクトル部分: NEC SX-9 16CPU+4CPU• スカラー部分: Cray XT4 9 キャビネット (812 演算ノード、28.6TF)

国立天文台の Cray XT4

フロントパネル CG とデータ提供者

シミュレーション:斎藤貴之
可視化:武田隆顕 (4D2U プロジェクト)

天文台以前と天文台以後
以前

以後

CosmoGrid Project• 背景• やったこと• できたこと• 今後の方向

背景• 建前– 遠隔地の計算機をネットワークでつないで、1 つの大規模シミュレーションを分担、並列化することで単体の計算機ではできない規模の計算をしたい• 本音– Grid というのは上のようなことをするのが建前だけど、上手くいっている例を殆どみたことがない。
– 上手くいく例を示すことができれば∗ 計算機時間が沢山使えるかもしれない (共同研究者の都合)∗ 論文も書ける (こっちも共同研究者の都合)

Grid での大規模並列計算？
• 「やりました」という論文は一杯ある• 中身を読んで見ると、ほとんどはジョブ並列、パラメータサーチ。1 つのシステムの時間進化を並列計算しました、というのは？
理由は簡単:
グリッド環境は、「並列計算機」として見ると最低• ネットワークバンド幅が小さい• ネットワークレイテンシがめちゃくちゃに大きいGrid での大規模並列計算？(続き)
最低な環境で計算する意味• シミュレーションアルゴリズムの改良
ネットワークバンド幅をあまり要求しない、レイテンシにも寛容なアルゴリズム↓
高効率、高スケーラビリティの実現• マシンタイムの有効利用やったこと• シミュレーションは「宇宙論的 N 体計算」
• 国立天文台の Cray XT4 と、アムステルダム大学の IBM
p575 (Power6) クラスタを 10GbE ネットワークで接続• 2563 粒子でのテスト計算は終了。
• 20483 粒子での大規模シミュレーション: 少し進んだ。
• 天文台の Cray が非常に混んできたので、、、

宇宙論的 N 体計算とは？
ビッグバン宇宙

ビッグバンで「熱い」宇宙が膨張を始める
膨張するに従って温度が下がる
重力の効果で構造形成 ← この過程をシミュレーション
アニメーション (a)(b)やるとどんな楽しいことがわかるか• 銀河 (の質量の殆どを担うダークマターハロー) がどうやってできたか• 理論から予想される銀河の数、質量、空間分布
これを観測と比べると、、、ダークマターの性質、例えば• 粒子一つの質量、トータルの質量• 重力以外の相互作用がどんなものか• その他色々なこと

Grid で宇宙論的 N 体計算をする理由• 最先端の計算は非常に大規模 (粒子数 1010)• そのかわりタイムステップ数はあんまり多くない (数万)• 計算サイズは CPU タイムでリミットされている。1 タイムステップ数分。
• 並列化は良く研究されていて、必要な通信量その他も良くわかっている
つまり• 1 タイムステップに時間かかるので、レイテンシが長くても OK• 通信量が割合少ないので、ネットワーク遅くても OK• でも、大きな計算したい。 Grid は有効

Grid 構成

東大のアムステルダム拠点を利用
東大-アムステルダム大学のネットワーク実験環境の構成の両端にスパコンをつないだ感じ。

ネットワーク性能• レイテンシ (ping rtt) 280ms• バンド幅: Cray XT4 の 10G カードがボトルネック(PCI-X インターフェースの S2IO Xframe)• Cray-Cray の折り返し実験 (シカゴとかアムステルダムで折り返し) だと 6Gbps くらいまで。

計算コードの実現• サイト内は MPI で並列化
• MPI ノードのうちの 1 つを通信処理専用にする。他サイトとの通信はここで集約• 計算機ネットワークの構成上、 Cray でも IBM でも、さらにこれがネットワーク通信専用ノードと TCP/IP で通信• ネットワーク通信専用ノード同士も TCP/IP で通信
東京

Cray MPI nodes

アムステルダム

I/O

I/O
Network
nodeNetworknode

IBM MPI nodes

計算コードの開発、チューニング
• サイト内並列化: 元からあるコードを利用• サイト内での通信集約: 難しいことはない• ネットワークノード間通信: ソケットパラメータ等色々面倒。とはいえ、普通にやればよい• 計算時間が両側で均等になるように動的に空間分割を変更面倒だけど、難しいところはない実際の実験
• 2 週間くらい、ネットワークをこれ用にセットアップしてもらって実験• 何故か ping が通るまでに xx 日くらいかかる• 実際に計算を始めると、主にオランダ側で色々なことが起
きる
国際共同研究は大変難しい

シミュレーションの例
2563 粒子計算
通信性能 (10243 粒子、両側 1024 コアの時)
転送量

転送時間

FFT 用格子交換 70MB
粒子交換
770MB
(計算—5.8 秒
51 秒
350 秒)• 通信速度はもうちょっとなんとかできるはず (1 秒はきらないけど)• が、実は通信にかかっている時間は既に十分少ない• 粒子数を増やすと相対的に通信量は減る (N 2/3 でしか増えない)
大規模な宇宙論的 N 体計算では、遠隔地の計算機をつなげた Grid 計算も十分実用的Caveats
実際的な困難• 両側の計算機はバッチベースのシステム。どうやって同時に計算始めるのか？
• そもそも、速いネットワークを占有するのは実験はともかく実用的なのか？
最初の問題は結構計算機センターにとっては本質的。Grid ジョブをどうやって他のユーザーの邪魔にならないでスケジュールするべきか？

スケジューリングに対する対応(アイディアのみ)• 2 つの計算機センターでバラバラにジョブスケジュールする• 同時にとれた時には Grid 計算• 一方だけの時には片方• 途中で状態が変わったら、そこで計算を migration する
理屈は簡単だけど、、、というわけでまだコードできてない

まとめ• NAOJ XT4 とアムステルダ
ム大学の Power6 システムを10G でつないで並列計算• そのための異機種並列コード開発を行った。

• 遠距離の TCP/IP 通信は、色々すればバンド幅はでる。
• 実計算ではそれほどバンド幅はでていないが、計算の実行効率という面では十分。
• 技術的可能性は実証出来た。
• 計算機センター運用としてこういうのをするか？は別問題。