日本学術振興会未来開拓学術研究推進事業 理工領域「計算科学」分野「次世代超並列計算機開発」プロジェクト報告書

平成１４年 4 月

はしがき9

本冊子は，平成 年度―

13 年度の 5 年間にわたり実施された，未来開拓学術研究推進事業理工領域「計算科学」研究分野の１プロジェクトである，「 次世代超並列計算機開発」プロジェクトの研究成果をまとめたものである。
計算科学の近年の飛躍的な発展の背景には，高速計算機の驚異的な発達がある。本プロジェ
クトでは，計算科学の基礎となる超並列計算機の計算性能を，プ ロジェクト発足当時の時点での到達性能である約1996 年

1TFLOPS から，100TFLOPS レベルに引き上げるための開発研究を行った。
科学技術の対象とする物理系は，連続体と多粒子系，さらにはこれらの複合系として特徴付けられる。連続体は一般に近接相互作用に支配され，各種の演算が可能な汎用プロセッサによる超並列処理が必要である。一方，多粒子系は重力を代表とする普遍的な遠隔相互作用で支配され，専用プロセッサによる高速化が極めて有効である。従って，本研究では二つのサブプロジェクトを設け，それぞれ，連続体向けの超並列計算機と，多粒子系向けの超並列計算機の研究開発を推進することとした。
次世代の計算科学では，個々の連続体，多粒子系のみならず，両者が結合した複合系の超高速シミュレーションが重要な課題である。このような新たなシミュレーションを実現するために，
本プロジェクトでは，最終年度において，上記二つのサブプロジェクトの研究開発を総合し ，連続体向け汎用超並列計算機と多粒子系向け専用超並列計算機を結合した「ヘテロジニアス・マル
チコンピュータ」を構築することを，最終目標とした。
「連続体向けの超並列計算機の開発」サブプロジェクトは，筑波大学計算物理学研究センター
を拠点として実施し，高速化の基本となるメモリ混載型次世代プロセッサアーキテクチャの開発とノード 結合網の検討，柔軟で高速な並列入出力・可視化システム

SCIMA

PAVEMENT の開発を

100TFLOPS クラスのピーク性能を実現する次世代汎用超並列計算機アーキテクチャを具

行い，

体化した。
「多粒子系向けの超並列計算機の開発」サブプロジェクトは，東京大学を拠点として実施し ，

GRAPE-6 を中心とする開発製作を行った。この間，1999 年にはGRAPE-5 により，2000 年には GRAPE-6 プロトタイプにより Gordon Bell 賞を受賞した。さらに，プロジェクト最終年度の平成 13 年 6 月には，ピーク性能 32TFLOPS，宇宙物理学の実用計算において 11.55TFLOPS の世界最高性能を実現し，同年 11 月の SC2001 国際会議において，2001
年 Gordon Bell 賞を受賞した。GRAPE-6 システムは，最終的に，ピーク性能 64TFLOPS を実現
重力／クーロン力専用計算機する予定である。
本プロジェクト最終年度には，以上二つの技術開発を総合して，連続体向け超並列計算機

CP-

PACS（ 0.6TFLOPS，1996 年 11 月「世界の高性能計算機トップ 500」リスト第一位）と多粒子系向けの専用超並列計算機 GRAPE-6（ 8 ボード，８ TFLOPS を実装）を並列ネットワークで結合
し ，統合演算性能 8.6TFLOPS の強力なヘテロジニアス・マルチコンピュータの実用システムを構築した。さらに，このシステムを用いて，従来困難とされてきた，宇宙物理学における輻射と物質の相互作用を取り入れた銀河形成シミュレーションを実現し ，ヘテロジニアス・マルチコン
ピュータ・コンセプトの実現性と有効性を実証した。

以上の成果は，本プロジェクト開始当初の計画目標を達成するものであり，特に高性能ヘテ
ロジニアス・マルチコンピュータを実現し ，その有効性を実証したことは，次世代の超高速科学
技術シミュレーションプラットフォームを切り開く成果と考えている。
本冊子には，以上の研究成果の概要と主要論文等がおさめられている。ご高覧を頂き，ご批判とご意見を頂ければ幸いである。
最後に，本プロジェクトの5 年間を通じてご支援頂いた，「 計算科学」推進委員会の矢川委員長をはじめ推進委員及び関係各位に厚くお礼を申し上げる。

平成14 年 3 月 31 日

プロジェクトリーダ
コアメンバー
コアメンバー
コアメンバー

筑波大学副学長
筑波大学物理学系教授
東京大学大学院理学系研究科助教授
筑波大学電子・情報工学系助教授

岩崎
宇川
牧野
朴

洋一
彰
淳一郎
泰祐

目次
1

研究組織

7

2

研究経費

8

3

研究成果発表9

研究成果概要30

4

3.1 「連続体向け超並列計算機の開発」サブプロジェクト : : : : : : : : : : : : : : : : 9
3.1.1 学術雑誌論文 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 9
3.1.2 国際会議発表論文 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 10
3.1.3 著書 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 11
3.1.4 特許 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 12
3.1.5 国内学会・研究会における口頭発表 : : : : : : : : : : : : : : : : : : : : : : 12
3.2 「多粒子系向け超並列計算機の開発」サブプロジェクト : : : : : : : : : : : : : : : 13
3.2.1 学術雑誌論文 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 13
3.2.2 国際会議発表論文 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 15
3.2.3 著書 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 19
3.2.4 特許 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 19
3.2.5 国内学会における口頭発表 : : : : : : : : : : : : : : : : : : : : : : : : : : : 20
3.3 ヘテロジニアス・マルチコンピュータシステムの開発 : : : : : : : : : : : : : : : : 23
3.3.1 学術雑誌論文 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 23
3.3.2 国際会議発表論文 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 23
3.3.3 著書 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 23
3.3.4 特許 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 23
3.3.5 国内学会・研究会における口頭発表 : : : : : : : : : : : : : : : : : : : : : : 23
3.4 新聞等による紹介 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 24
3.5 ホームページによる紹介 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 29
4.1 研究目的 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 30
4.2 研究計画 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 31
4.3 「連続体向け超並列計算機の開発」サブプロジェクト : : : : : : : : : : : : : : : : 32
4.3.1 オンチップ メモリを用いた高性能プロセッサアーキテクチャSCIMA の開発 32
4.3.2 並列入出力・並列可視化システム PAVEMENT : : : : : : : : : : : : : : : 39
4.4 「多粒子系向け超並列計算機の開発」サブプロジェクト : : : : : : : : : : : : : : : 47
4.4.1 GRAPE-6 システム : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 47
4.4.2 新しい高速化アルゴ リズム : : : : : : : : : : : : : : : : : : : : : : : : : : : 50
4.4.3 ゴ ードン・ベル賞 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 51
4.5 ヘテロジニアス・マルチコンピュータシステム（連続体・多粒子系融合型超並列計算機）の開発 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 53

4.5.1 HMCS のシステム構成 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 53
4.5.2 HMCS におけるアプ リケーション : : : : : : : : : : : : : : : : : : : : : : : 55
4.6 まとめと展望 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 57

1

研究組織
平成
「次世代超並列計算機開発」プロジェクト
リーダー

岩崎 洋一

14 年 3 月 31 日現在

筑波大学副学長 (研究担当)「連続体向け超並列計算機の開発」サブプロジェクト
コアメンバ
コアメンバ

宇川 彰
朴 泰祐
梅村 雅之
金谷 和至
坂井 修一
佐藤 三久
須佐 元
白川 友紀
高橋 大介
千葉 滋
中村 宏
中本 泰史
安永 守利
吉江 友照
和田 耕一
青木 慎也
大川 正典
中澤 喜三郎
中田 育男
星野 力
山下 義行
渡瀬 芳行
板倉 憲一
Hugh Shanahan
Thomas Manke
Arifa Ali Khan
AIOV:
AMOC:
IOV:
MOC:

筑波大学物理学系教授・計算物理学研究センター長
筑波大学電子・情報工学系助教授
筑波大学物理学系教授
筑波大学物理学系教授
東京大学大学院情報理工学系研究科教授（ 平成 9 年度{11 年度コアメンバー）
筑波大学電子・情報工学系教授
筑波大学物理学系助手
筑波大学機能工学系教授
筑波大学電子・情報工学系講師
東京工業大学大学院情報理工学研究科講師
東京大学先端科学技術研究センター助教授
筑波大学物理学系助手
筑波大学電子・情報工学系助教授
筑波大学物理学系助教授
筑波大学電子・情報工学系教授
筑波大学物理学系教授
広島大学大学院理学研究科教授
明星大学情報学部教授
法政大学情報科学部教授
筑波大学機能工学系名誉教授
佐賀大学理工学部知能情報システム学科教授
高エネルギー加速器研究機構計算科学センター教授
日本学術振興会研究員（ 平成 11 年度{12 年度）
日本学術振興会研究員（ 平成 9 年度{10 年度）
日本学術振興会研究員（ 平成 10 年度{12 年度）
日本学術振興会研究員（ 平成 10 年度{12 年度）
物理応用計算における並列入出力・並列可視化
物理応用計算におけるプロセッサ・メモリ混載型 LSI
並列入出力・並列可視化
プロセッサ・メモリ混載型 LSI「多粒子系向け超並列計算機の開発」サブプロジェクト
コアメンバ

牧野 淳一郎
蜂巣 泉
泰地 真弘人
船渡 陽子
福重 俊幸
小久保 英一郎
高橋 広治

東京大学大学院理学系研究科助教授
重力／クーロン力専用計算機開発
東京大学大学院総合文化研究科助教授
応用ソフトウェア開発
統計数理研究所助教授
プロセッサチップ論理設計
東京大学大学院総合文化研究科助手
応用ソフトウェア開発
東京大学大学院総合文化研究科助手
重力／クーロン力専用計算機開発，FPGA システム開発
国立天文台助手
応用ソフトウェア開発
日本学術振興会研究員（ポストド クター）
応用ソフトウェア開発(AIOV)(AIOV)(MOC)(IOV)(AIOV)
(IOV)
(IOV)
(IOV)
(MOC)
(AIOV)(IOV)(AMOC)(MOC)(AMOC)(AIOV)
(MOC)
(IOV)
(IOV)
(IOV)
(IOV)
(IOV)
(AIOV)(AIOV)(AIOV)

2

研究経費

9
10
11
12
13

平成 年度
平成 年度
平成 年度
平成 年度
平成 年度
合計

連続体
サブプロジェクト

110,162 千円
103,055 千円
104,611 千円
102,463 千円
160,295 千円
580,586 千円

多粒子系
サブプロジェクト

年度別合計

105,558 千円 215,720 千円
118,939 千円 221,994 千円
97,361 千円 201,972 千円
100,067 千円 202,530 千円
132,054 千円 292,349 千円
553,979 千円 1,134,565 千円

3

研究成果発表3.1

3.1.1「連続体向け超並列計算機の開発」サブプロジェクト
学術雑誌論文[1] 近藤正章, 早川秀利, 坂井修一, 朴泰祐, "プロセッサ・メモリ混載型 LSI およびオンチップマル
チプロセッサに関する検討", 並列処理シンポジウム JSPP'98 論文集, pp.159-166, 1998 年 6月.
[2] Preeti Ranjan Panda, Hiroshi Nakamura, Nikil D. Dutt, and Alexandru Nicolau, "Augmenting Loop Tiling with Data Alignment for Improved Cache Performance", IEEE Transactions on Computers, Vol.48, No.2, pp.142-149, February, 1999.
[3] 松原正純, 沼寿隆, 板倉憲一, 朴泰祐, "分散メモリ型並列計算機における並列入出力システム",
並列処理シンポジウム JSPP'2000 論文集, pp.75-82, 2000 年 6 月.
[4] 松原正純, 沼寿隆, 板倉憲一, 朴泰祐, "分散メモリ型並列計算機における並列入出力システ
ム", 情報処理学会論文誌ハイパフォーマンスコンピューティングシステム, Vol.41, No.SIG
5(HPS 1), pp.58-69, 2000 年 8 月.
[5] 中村宏, 近藤正章, 大河原英喜, 朴泰祐, "ハイパフォーマンスコンピューティング向けアーキテ
クチャSCIMA", 情報処理学会研究会論文誌 HPS, Vol.41, No.SIG5(HPS1), pp.15-27, 2000
年 8 月.
[6] 板倉憲一, 朴泰祐, 松原正純, "並列データ流に対する並列可視化", 並列処理シンポジウム
JSPP'2001 論文集, pp.189-196, 2001 年 6 月.
[7] 近藤正章, 中村宏, 朴泰祐, "SCIMA における性能最適化手法の検討", 情報処理学会研究会論
文誌ハイパフォーマンスコンピューティングシステム, Vol.42, No.SIG12(HPS4),pp. 37-48,
2001 年 12 月.
[8] S. Aoki, R. Burkhalter, K. Kanaya, T. Yoshie, T. Boku, H., Nakamura and Y. Yamashita,"Performance of lattice QCD programs on CP-PACS", Parallel Computing 25, No. 10-11,
1243-1256, 1999.
[9] A. Ukawa, "Lattice QCD results from the CP-PACS parallel computer", Parallel Computing
25, No. 10-11, 1257-1280, 1999.
[10] H. P. Shanahan et al., "Heavy Quark Physics in Nf = 2 QCD", Nucl. Phys. B(Proc.Suppl.)73,
375-377, 1999.
[11] T. Manke et al., "Hybrid Quarkonia on Asymmetric Lattices", Phys. Rev. Lett. 82,
4396-4399, 1999.
[12] A. Ali Khan et al., "Heavy Quarkonia from Anisotropic and Isotropic Lattices", Nucl.
Phys. B(Proc.Suppl.) 83, 319-321, 2000.
[13] A. Ali Khan et al., "Heavy Light Spectrum and Decay Constant From NRQCD with Two
Flavors of Dynamical Quarks", Nucl. Phys. B(Proc.Suppl.)83, 265-267, 2000.

[14] T. Manke, "Exotic Quarkonia from Anisotropic Lattices", Nucl. Phys. B(Proc.Suppl.) 86,
397-400, 2000.
[15] T. Manke et al., "Sea Quark E ects on Quarkonia", Phys. Rev. D62, 114508, 2000.
[16] A. Ali Khan et al., "Decay Constants of B and D Mesons from Improved Relativistic
Lattice QCD with Two Flavors of Sea quarks", Phys. Rev. D64, 034505, 2001.
[17] T. Manke et al., "Hybrid Quarkonia with Dynamical Sea Quarks", Phys. Rev. D64,
097505, 2001.
[18] A. Ali Khan et al., "B Meson Decay Constant from Two Flavor Lattice QCD with Nonrelativistic Heavy Quarks", Phys. Rev. D64, 054504, 2001.
3.1.2

国際会議発表論文[1] Preeti Ranjan Panda, Hiroshi Nakamura, Nikil D. Dutt, Alexandru Nicolau, "A Data Alignment Technique for Improving Cache Performance", International Conference on Computer Design (ICCD '97), pp.587-592, Austin, Oct. 1997.
[2] H. Nakamura, K. Itakura, M. Matsubara, T. Boku, and K. Nakazawa, "E ectiveness ofRegister Preloading on CP-PACS Node Processor", International Workshop on Innovative
Architecture, pp. 83-90, Maui, Oct. 1997.
[3] M. Matsubara, H. Numa, and T. Boku, "Commodity Network based Parallel I/O System
for Massively Parallel Processors", Proceedings of PDPTA'99, pp.2424-2429, Las Vegas,
Jun. 1999.
[4] H. Nakamura, H. Okawara, T. Boku, M. Kondo, and S. Sakai, "SCIMA: A Novel Architecture for High Performance Computing", International Workshop on Innovative Architecture, pp. 45-53, Maui, Oct. 1999.
[5] M. Kondo, H. Okawara, H. Nakamura, T. Boku, and S. Sakai, "SCIMA: A Novel Processor Architecture for High Performance Computing", High Performance Computing Asia
(HPC-Asia '00), pp.355-360, Beijing, May 2000.
[6] M. Kondo, H. Okawara, H. Nakamura, and T. Boku, "SCIMA: Software Controlled Integrated Memory Architecture for High Performance Computing", ICCD-2000, pp.105-111,
Austin, Sep. 2000.
[7] H. Nakamura, M. Kondo, and T. Boku, "Software Controlled Recon gurable On-Chip
Memory for High Performance Computing", LNCS 2107, 2nd Workshop on Intelligent
Memory Systems (IMS 2000), (Springer-Verlag), pp.15-32, Nov. 2000.
[8] K. Kurata and H. Nakamura, "Novel Method for Primer/Probe Design and Sequence Analysis", Genome Informatics 11, pp.331-332, Tokyo, Dec. 2000.
[9] T. Boku, M. Matsubara and K. Itakura, "PIO: Parallel I/O System for Massively Parallel Processors", Proceedings of European High Performance Computing and Network

Conference 2001 (LNCS-2110), pp.383-392, Amsterdam, Jun. 2001.
[10] M. Fujita, and H. Nakamura, "The Standard SpecC Language", Proc. of ISSS2001, pp.
81-86, Oct. 2001.
[11] N. Hosaka, K. Kurata, and H. Nakamura, "Comparison of Methods for Probe Design",
Genome Informatics 12, pp.449-450, Tokyo, Dec. 2001.
[12] M. Kondo, M. Fujita, H. Nakamura, "Software-Controlled On-Chip Memory for HighPerformance and Low-Power Computing", HPCA-8 Work-in-progress Session, Jan. 2002.
[13] H. Susa and M. Umemura, "A Simulation of Galaxy Formation by Radiation-SPH", IAU
Symposium 208, Astrophysical Supercomputing using Particle Simulations (Tokyo), inpress (2001).
[14] H. Susa and M. Umemura, "Galaxy Formation in the Presence of Ultraviolet Background
Radiation Field { a Simulation by Radiation-SPH {", Studies of Galaxies in the Young
Universe with New Generation Telescopes, Japan-German Seminar 2001 (Sendai), in press(2001).
[15] Y. Iwasaki, "The CP-PACS parallel computer project", Proc. International Conference on\Multi-Scale Phenomena and Their Simulation", eds. F. Karsch, B. Monien and H. Satz,
World Sci., 80-90, 1997.
[16] Y. Iwasaki, "The CP-PACS project and computational physics", Proc. International Symposium on \Parallel Computing in Engineering and Science", Science and Technology
Agency, 1997.
[17] A. Ukawa, "The CP-PACS parallel computer", Selected papers from the International
Conference on Computing in High Energy Physics (CHEP'97), Berlin, Germany April
7-11, 1997, Computer Physics Communications 110, 220-224, 1998.
[18] Y. Iwasaki, "The CP-PACS Project and Lattice QCD results", Proceedings of the Fifth
International Conference on Computational Physics, Kanazawa, Japan, October 11-13,
1999, Eds. Y. Hiwatari et al., Progress of Theoretical Physics Supplement No. 138, pp.110, 2000.
[19] Y. Iwasaki, "The CP-PACS Project and the Future", Proceedings of the International
Conference on Science Frontier from Tsukuba 999 (SFT999), Tsukuba, Japan, November
17-19, 1999, Ed. L. Esaki, Universal Academy Press, pp. 465-474, 2000.
[20] K. Kanaya, "Elementary Particles on a Dedicated Parallel Computer", 18th Humboldt
symposium "100 Years Werner Heisenberg { Works and Impact", Bamberg, Germany,
Sept. 26-30, 2001 to appear in Fortschritte der Physik.
3.1.3

著書

該当なし

3.1.4

特許

該当なし

3.1.5

国内学会・研究会における口頭発表[1] 松原正純, 沼寿隆, 朴泰祐, 中本泰史, 梅村雅之, 白川友紀, 宇川彰, "超並列計算機のためのCommodity Network に基づく並列入出力・可視化システム", 電子情報通信学会計算機シス
テム研究会, 信学技報 CPSY98-161, pp.81-88, 1999 年 1 月.
[2] 近藤正章，坂井修一，朴泰祐，中村宏，"オンチップ メモリを用いた HPC プロセッサの検討"，
情報処理学会計算機アーキテクチャ研究会, 情処研報 ARC-132-15 (HPC-75-15)，pp.85-90,
1999 年 3 月.
[3] 大河原英喜, 中村宏, 吉江友照, 金谷和至, "ハイパフォーマンスコンピューティングに適したメモリ階層の検討", 情報処理学会計算機アーキテクチャ研究会，情処研報 ARC-133-10，
pp.55-60, 1999 年 5 月.
[4] 松原正純, 沼寿隆, 板倉憲一, 朴泰祐, "コモデ ィティネットワークに基づく並列入出力システ
ム", 情報処理学会ハイパフォーマンスコンピューティング研究会, 情処研報 99-HPC-76-1,
pp.1-6, 1999 年 5 月.
[5] 大河原英喜, 中村宏, 吉江友照, 金谷和至, "ハイパフォーマンスコンピューティングに適したメモリ階層の初期評価", 並列処理シンポジウム '99 ポスター，pp.214, 1999 年 5 月.
[6] 沼寿隆, 松原正純, 板倉憲一, 朴泰祐, "並列入出力機構を用いた可視化システムの提案", 情報処理学会ハイパフォーマンスコンピューティング研究会, 情処研報 99-HPC-77-10, pp.53-58,
1999 年 8 月.
[7] 冨永憲一，安永守利，"超並列計算機 CP-PACS を用いた並列自己組織化マップによる顔認証シス
テム"，情報処理学会ハイパフォーマンスコンピューティング研究会, 情処研報 99-HPC77-29,
pp.167-172, 1999 年 8 月.
[8] 近藤正章，坂井修一，朴泰祐，中村宏，"HPC 向けプロセッサのメモリ・アーキテクチャの基本構成"，情報処理学会計算機アーキテクチャ研究会，情処研報 ARC-134-1，pp.1-6, 1999
年 8 月.
[9] 大河原英喜，近藤正章，中村宏，朴泰祐，"ハイパフォーマンスコンピューティングに適したメモリアーキテクチャの予備評価"，情報処理学会計算機アーキテクチャ研究会，情処研報
ARC-136-3，pp.13-18, 2000 年 1 月.
[10] 中村実, 岩下誠, 坂井修一, 田中英彦, "SCIMA アーキテクチャのためのソフトウェア手法の検討", 情報処理学会ハイパフォーマンスコンピューティング研究会, 情処研報 2000-HPC-82-20,
pp.113-118, 2000 年 8 月.
[11] 板倉憲一, 朴泰祐, 松原正純, "汎用可視化ツール AVS/Express の並列化とその性能評価",
情報処理学会ハイパフォーマンスコンピューティング研究会, 情処研報 2000-HPC-82-31,
pp.179-184, 2000 年 8 月.

[12] 岩本貢, 渡邊亮介, 近藤正章, 朴泰祐, 中村宏，"NASPB CG, FT における SCIMA の性能評価", 情報処理学会ハイパフォーマンスコンピューティング研究会, 情処研報 HPC-83-6,
pp.31-36, 2000 年 10 月.
[13] 大根田拓, 近藤正章, 中村宏，"SCIMA におけるメモリアクセス制御機構の検討", 情報処理学会アーキテクチャ研究会, 情処研報 ARC-144-29, pp.165-170, 2001 年 7 月.
[14] 藤田元信, 近藤正章, 中村宏, 千葉滋, 佐藤三久，"ソフトウェア制御オンチップ メモリのための最適化コンパイラの構想", 情報処理学会アーキテクチャ研究会, 情処研報 ARC-146-6,
pp.31-36, 2002 年 2 月.
[15] 大根田拓, 近藤正章, 中村宏，"SCIMA におけるメモリアクセス機構の設計と評価", 情報処
理学会アーキテクチャ研究会, 情処研報 ARC-147-14, pp.79-84, 2002 年 3 月.
[16] 梅村雅之，中本泰史，朴泰祐，板倉憲一，松原正純，沼寿隆「並列入出力と AVS による並列可視化システム」次世代数値計算法研究会 (2000 年 1 月，国立天文台)[17] 中本泰史，梅村雅之，朴泰祐，板倉憲一，松原正純，沼寿隆「並列入出力システムと AVS による並列可視化」プラネットワークショップ 2000 (2000 年 3 月，登別)[18] 梅村雅之，中本泰史，朴泰祐，板倉憲一，松原正純，沼寿隆「 CP-PACS と並列入出力・並列可視化システム」第 6 回 NEXT 研究会（ 2001 年 3 月 8 日，東京，国富生命ビル）
3.2

3.2.1

「多粒子系向け超並列計算機の開発」サブプロジェクト
学術雑誌論文

[1] T. Endoh, T. Fukushige, and J. Makino Gravothermal Expansion in N-Body Systems,
Publications of Astronomical Society of Japan, 49, No 3, 345-352 (June 1997).
[2] A. Kawai, T. Fukushige, M. Taiji, J. Makino, and D. Sugimoto, The PCI interface for
GRAPE systems: PCI-HIB, Publications of Astronomical Society of Japan, 49, No.5, 607618 (October 1997).
[3] K. Takahashi and S. F. Portegies Zwart, The Disruption of Globular Star Clusters in the
Galaxy: A Comparative Analysis between Fokker-Planck and N-body Models, The Astrophysical Journal, 503, L49-L52 (August 1998)[4] E. Athanassoula, A. Bosma, J.-C. Lambert, and J. Makino, Performance and accuracy of
a GRAPE-3 system for collisionless N-body simulations, Monthly Notices of Royal Astronomical Society, 293, 369-380 (February 1998).
[5] E. Kokubo, K. Yoshinaga and J. Makino, On a Time-Symmetric Hermite Integrator for
Planetary N-Body Simulation, Monthly Notices of Royal Astronomical Society, 297, 10671072 (July 1998).
[6] J. Makino, T. Fukushige, Y. Funato, and E. Kokubo, On the Mass Distribution of Planetesimals in the Early Runaway Stage, New Astronomy, 3, No.7, 411-417 (August 1998).

[7] S.F. Portegies Zwart, J. Makino, P. Hut, and S. L. W. McMillan, On the dissolution of
evolving star clusters, Astronomy and Astrophysics, 337, 363-371 (September 1998).
[8] T. Nakano and J. Makino, On the Origin of Density Cusps in Elliptical Galaxies, The
Astrophysical Journal, 510, 155-166 (January 1999)[9] T. Nakano and J. Makino, On the Cusp around Central Black Holes in Luminous Elliptical
Galaxies, The Astrophysical Journal, 525, L77-L80 (December 1999)[10] T. Fukushige, P. Hut, and J. Makino, High-Performance Special-Purpose Computers inScience, IEEE Computing in Science and Engineering, 10, No. 2, 12-13, (March 1999)[11] T. Sensui, Y. Funato, and J. Makino, Evolution of Clusters of Galaxes: Mass Strippingfrom Galaxies and Growth of Common Halos, Publications of Astronomical Society ofJapan, 51, No. 6, 943-954 (December 1999)[12] Yoko Funato and Junichiro Makino, Change in Mass and Energy through Collisions of
Two Identical Galaxies, The Astrophysical Journal, 511, 625-638 (February 1999)[13] Keiko Yoshinaga, Eiichiro Kokubo and Junichiro Makino, Stability of Protoplanet Systems,
Icarus, 139, 325-335 (June 1999)[14] Junichiro Makino Yet another fast multipole method without multipoles | Pseudo-particle
multipole method, Journal of Computational Physics, 151, 910-920 (1999)[15] T. Fukushige and D. C. Heggie, The Time Scale of Escape from Star Clusters, Monthly
Notices of Royal Astronomical Society, 318, 753-761 (November 2000)[16] Koji Takahashi, Simon F. Portegies Zwart, The Evolution of Globular Clusters in the
Galaxy, ApJ, 535, 759-775 (June 2000)[17] Koji Takahashi, Hyung Mok Lee, Evolution of multimass globular clusters in the Galactic
tidal eld with the e ects of velocity anisotropy, Monthly Notices of Royal Astronomical
Society, 316, 671-683 (August 2000)[18] A. Kawai, T. Fukushige, J. Makino and M. Taiji, GRAPE-5: A Special-Purpose Computer
for N-Body Simulations Publications of Astronomical Society of Japan, 52, No. 4, 659-676(August 2000)[19] T. Hamada, T. Fukushige, A. Kawai and J. Makino, PROGRAPE-1: A Programmable,
Multi-Purpose Computer for Many-Body Simulations, Publications of Astronomical Society of Japan, 52, No. 5, 943-954 (October 2000)[20] E. Kokubo, S. Ida and J. Makino, Evolution of a Circumterrestrial Disk and Formation ofa Single Moon, Icarus, 148, 419{436 (December 2000)[21] S. F. Portegies Zwart, S. L. W. McMillan, P Hut, and J. Makino, How Many Young Star
Clusters Exist in the Galactic Center?, The Astrophysical Journal Letters, 546, L101{L104(January 2001)

[22] S. F. Portegies Zwart, S. L. W. McMillan, P Hut, and J. Makino, Star cluster ecology - IV.
Dissection of an open star cluster: photometry, Monthly Notices of Royal Astronomical
Society, 321, 199-226 (February 2001)[23] A. Kawai and J. Makino, Pseudoparticle multipole method: A simple method to implement
a high-accuracy tree code, The Astrophysical Journal Letters, 550, L143{L146 (April 2001)[24] T. Fukushige and J. Makino, Structure of dark matter halos from hierarchical clustering,
The Astrophysical Journal, 557, 533{545 (August 2001)[25] T. Fukushige and Y. Suto, The mean pairwise peculiar velocity in cosmological N-body simulation: time variation, scale dependence and stable condition, The Astrophysical Journal,
557, L11-L14 (August 2001)[26] T. Ebisuzaki, J. Makino, T. G. Tsuru, Y. Funato, S. F. Portegies Zwart, S. L. W. McMillan, P Hut, S. Matsushita, H. Matsumoto and R. Kawabe, Missing link found? The "runaway" path to supermassive black holes, The Astrophysical Journal Letters, 562, L19{L22(November 2001)[27] E. Kokubo, Planetary Accretion: From Planetesimals to Protoplanets, Reviews in Modern
Astronomy, 14, 117-132 (August 2001)[28] S. F. Portegies Zwart, J. Makino, S.L.W. McMillan, and P. Hut, The Lives and Deaths ofStar Clusters near the Galactic Center, The Astrophysical Journal, 565, 265{279 (January
2002)[29] Koji Takahashi, Tomohiro Sensui, Yoko Funato, Junichiro Makino, Collisional Evolution of
Galaxy Clusters and the Growth of Common Halos Publications of Astronomical Society, , No 1, 5{20 (February 2002)of Japan 54

3.2.2

国際会議発表論文[1] J. Makino, GRAPE-6, Joint-Discussion No. 15, International Astronomical Union Kyoto
General Assembly, Kyoto, Japan, August 22, 1997.
[2] K. Takahashi, Anisotropic Fokker-Planck Models of Globular Cluster Evolution, Joint Discussion No. 15, International Astronomical Union Kyoto General Assembly, Kyoto, Japan,
August 22, 1997.
[3] T. Fukushige, J. Makino, and M. Taiji, Highly-Parallelized Special-Purpose Computer for N body Simulation: GRAPE-5, Joint Discussion No. 15, International Astronomical Union
Kyoto General Assembly, Kyoto, Japan, August 22, 1997.
[4] A. Kawai, T. Fukushige, M. Taiji, J. Makino,and D. Sugimoto, The PCI interface for
GRAPE systems: PCI-HIB , Joint Discussion No. 15, International Astronomical Union
Kyoto General Assembly, Kyoto, Japan, August 22, 1997.

[5] J. Makino, Stellar Dynamics on 100 T ops special-purpose computers, International Symposium on Supercomputing, Tokyo, Japan, Sept 1-3, 1997, in: eds. T. Ebisuzaki, and J.
Makino, New horizons of computational science, Proceedings of the international symposium on supercomputing (Dordrecht: Kluwer Academic Publishers), 2001, pp 39-48[6] M. Taiji, Special-Purpose Computer for Classical Particle Simulations, International Symposium on Supercomputing, Tokyo, Japan, Sept 1-3, 1997. in: eds. T. Ebisuzaki, and J.
Makino, New horizons of computational science, Proceedings of the international symposium on supercomputing (Dordrecht: Kluwer Academic Publishers), 2001, pp 117-128[7] T. Fukushige and J. Makino, N-body Simulation of Halo Formation Using GRAPE-4 ,International Symposium on Supercomputing, Tokyo, Japan, Sept 1-3, 1997. in: eds.
T. Ebisuzaki, and J. Makino, New horizons of computational science, Proceedings of theinternational symposium on supercomputing (Dordrecht: Kluwer Academic Publishers),
2001, pp 229-232[8] K. Takahashi, Anisotropic Fokker-Planck Models for Globular Cluster Evolution, International Symposium on Supercomputing, Tokyo, Japan, Sept 1-3, 1997. in: eds. T.
Ebisuzaki, and J. Makino, New horizons of computational science, Proceedings of theinternational symposium on supercomputing (Dordrecht: Kluwer Academic Publishers),
2001, pp 285-288[9] J. Makino, Timestep-Symmetrized integrators and their applicattion to classical N -bodyproblems, SCICADE97, Grado, Italy, Sept. 15-19, 1997[10] Y. Funato, A meta-algorithm to symmetrize any one-step time-integration scheme, SCICADE97, Grado, Italy, Sept. 15-19, 1997[11] K. Takahashi, Anisotropic Fokker-Planck Models of Star Clusters, Numerical Astrophysics
98, Tokyo, Japan, March 10-13, 1998, in Numerical Astrophysics, ed. S. Miyama, K.
Tomisaka, T. Hanawa (Kluwer), pp 77-78 (1999)[12] T. Hamada, T. Fukushige, A. Kawai, and J. Makino, PROGRAPE-1: A ProgrammableSpecial-Purpose Computer for Many-Body Simulations, Numerical Astrophysics 1998,
Tokyo, Japan, March 10-13, 1998. in Numerical Astrophysics, ed. S. Miyama, K. Tomisaka,
T. Hanawa (Kluwer), pp 427-428 (1999)[13] T. Fukushige, and J. Makino, N-body Simulation of Dark Matter Halo Formation using
GRAPE, Numerical Astrophysics 1998, Tokyo, Japan, March 10-13, 1998. in Numerical
Astrophysics, ed. S. Miyama, K. Tomisaka, T. Hanawa (Kluwer), pp 427-428 (1999)[14] J. Makino, Special-Purpose Computer for GravitationalN-body System: GRAPE, Numerical Astrophysics 1998, Tokyo, Japan, March 10-13, 1998. in Numerical Astrophysics, ed.
S. Miyama, K. Tomisaka, T. Hanawa (Kluwer), pp 407-414 (1999)[15] T. Hamada, T. Fukushige, A. Kawai, and J. Makino, PROGRAPE-1: A ProgrammableSpecial-Purpose Computer for Many-Body Simulations, poster session No. 1, 6-th IEEEFCCM'98 Symposium on Field-Programmable Custom Computing Machines, California,
USA, April 15-17, 1998.
[16] K. Takahashi, S.F. Portegies Zwart, Dynamical Evolution of Tidally Truncated Star Clusters, Galaxy Dynamics，Rutgers University, USA, August, 1998 in Galaxy Dynamics (ASP
Conf. Ser., Vol. 182), ed. D. Merritt, J. A. Sellwood, M. Valluri (ASP), pp 107-108 (1999)[17] T. Nakano and J. Makino, The Structure and Origin of Density Cusps in the Central
Regions of Ellipticals, Galaxy Dynamics, Rutgers University, USA, August 8-12, 1998 in
Galaxy Dynamics (ASP Conf. Ser., Vol. 182), ed. D. Merritt, J. A. Sellwood, M. Valluri(ASP), pp 100-101 (1999)[18] E. Kokubo, S. Ida, and J. Makino, High-Resolution N -Body Simulation of Lunar Accretionfrom an Impact-Generated Disk, Origin of the Earth and Moon, Monterey, USA, December
2, 1998.
[19] A. Kawai, J. Makino, A New Method to Implement High Accuracy Barnes-Hut Treecode:
Pseudo-Particle Multipole Method, Workshop on `The GRAPE Users Community' Tokyo,
Japan, January 28-29, 1999
[20] Junichiro Makino, Stellar Dynamics and special-purpose computer: GRAPE project, The
Chaotic Universe, Roma, Italy, February 1-5, 1999, in The Chaotic Universe, eds V. G.
Gerzadyan and R. RuÆni (World Scienti c, Singapore), pp 441-454, (2000)[21] A. Kawai, J. Makino, A Simple Formulation of the Fast Multipole Method: Pseudo-Particle
Multipole Method, the Ninth SIAM Conference on Parallel Processing for Scienti c Computing, Texas, USA, March, 1999[22] K. Takahashi, S. F. Portegies Zwart, The Dynamical Evolution of Globular Clusters in the
Galaxy, The Galactic Halo: From Globular Clusters to Field Stars, Belgium, July, 1999,
in The Galactic Halo : From Globular Cluster to Field Stars, Proceedings of the 35th
Liege International Astrophysics Colloquium, eds A. Noels, P. Magain, D. Caro, E. Jehin,
G. Parmentier, and A. A. Thoul ( Institut d'Astrophysique et de Geophysique, Liege), pp
581-582 (2000)[23] Y. Funato and J. Makino, Is the Hubble expansion accelerating, or are we looking througha chaotic universe ? Gravitational Lensing : Recent Progress and Future Goals, Boston,
USA, July, 1999. in Proceedings of Gravitational Lensing : Recent Progress and Future
Goals, eds Brainerd, T.G. and Kochanek,C.S. (ASP Conf Ser. 237), pp 143{144 (2001)[24] A. Kawai, J. Makino, A Simple Formulation of the Fast Multipole Method: Pseudo-Particle
Multipole Method, Proceedings of the Ninth SIAM Conference on Parallel Processing for
Scienti c Computing (SIAM, in CD-ROM, 1999)[25] A. Kawai, T. Fukushige, J. Makino, $7.0/M ops Astrophysical N -Body Simulation with
Treecode on GRAPE-5, SC99, Portland, USA, November, 1999, in Proceedings of SC99
(ACM, in CD-ROM, November 1999)

[26] Junichro Makino and Eiichiro Kokubo, SPH simulation of giant impact, International
Symposium on Planetary Impact Events and their Consequences on Earth, Yamaguchi,
Japan, September, 1999[27] Junichoro Makino, GRAPE Project: A decade of special-purpose computers for manybody simulations, The 5th International Conference on Computational Physics, Kanazawa,
Japan, October, 1999.
[28] J. Makino, Direct Simulation of Dense Stellar Systems with GRAPE-6, Star 2000: Dynamics of Star Clusters and the Milky Way, Heidelberg, Germany, March 20-24, 2000, inStar 2000: Dynamics of Star Clusters and the Milky Way, eds S. Deiters, B. Fuchs, A.
Just, R. Spurzem and R. Wielen (ASP Conf Ser. 228), pp 87{98 (2001)[29] T. Fukushige, A. Kawai, and J. Makino, Star Clusters Simulations Using GRAPE-5, Star
2000: Dynamics of Star Clusters and the Milky Way, Heidelberg, Germany, March 20-24,
2000, in Star 2000: Dynamics of Star Clusters and the Milky Way, eds S. Deiters, B. Fuchs,
A. Just, R. Spurzem and R. Wielen (ASP Conf Ser. 228), pp 434{436 (2001)[30] Y. Funato and J. Makino, On the disruption time-scale of sub star systems, Star 2000:
Dynamics of Star Clusters and the Milky Way, Heidelberg, Germany, March 20-24, 2000,
in Star 2000: Dynamics of Star Clusters and the Milky Way, eds S. Deiters, B. Fuchs, A.
Just, R. Spurzem and R. Wielen (ASP Conf Ser. 228), pp 437{439 (2001)[31] Koji Takahashi, The Dynamical Evolution of Globular Clusters and the Stellar Initial Mass
Function, Star 2000: Dynamics of Star Clusters and the Milky Way, Heidelberg, Germany,
March 20-24, 2000, in Star 2000: Dynamics of Star Clusters and the Milky Way, eds S.
Deiters, B. Fuchs, A. Just, R. Spurzem and R. Wielen (ASP Conf Ser. 228), pp 69{74(2001)[32] J. Makino, N-body simulations on GRAPE-6, Stellar Collisions, Mergers and their Consequences, New York, USA, May, 2000.
[33] S. Portegies Zwart, J. Makino, S. L. W. McMillan, and P. Hut, Runaway Collisions in Star
Clusters, Stellar Collisions, Mergers and their Consequences, New York, USA, May, 2000.
[34] J. Makino, GRAPE Project: special-purpose computers for many-body simulations, Formal
Methods for HW/SW design for Grand Challenge Scienti c Applications, Ischia, Italy,
June, 2000.
[35] T. Fukushige and J. Makino, Structure of Dark Matter Halo through Hierarchical Clustering, Constructing the Universe with Clusters of Galaxies, Paris, France, June, 2000
[36] T. Sensui, Y. Funato, and J. Makino, Evolution of Clusters of Galaxies: Growth of Common
Halos The Physics of Galaxy Formation, Tsukuba, Japan, July, 2000
[37] T. Nakano and J. Makino, On the Cusps around Central Black Holes in Elliptical Galaxies,
The Physics of Galaxy Formation, Tsukuba University, Japan, July, 2000

[38] Y. Funato, On the disruption time scale of galaxies in cluster environment, The Physics
of Galaxy Formation, Tsukuba University, Japan, July, 2000 in The Physics of Galaxy
Formation, (ed. Umemura, M., and Susa, H.), ASP Conf Ser. 222, 161{166. 2001.
[39] T. Fukushige, The Structure of Cold Dark Matter Halos VC3: Victria Computational
Cosmology Conference, Victoria, Canada, August, 2000
[40] J. Makino, T. Fukushige and M. Koga, A 1.349 T ops simulation of black holes in agalactic center on GRAPE-6, SC2000, Dallas, USA, November, 2000. (ACM, in CD-ROM,
November 2000)[41] E. Kokubo, Lunar Formation from a Circumterrestrial Disk, Astrophysical Ages and Time
Scales, Hilo, USA, February, 2001.
[42] Y.Funato Evolution of galaxies in clusters, IAU Symposium No. 208, Astrophysical supercomputing using particles, Tokyo, Japan, July 2001[43] E. Kokubo, Lunar Accretion from an Impact-Generated Disk, IAU Symposium No. 208,
Astrophysical supercomputing using particles, Tokyo, Japan, July 2001[44] J. Makino, The GRAPE project: Current Status and Future Outlook, IAU Symposium
No. 208, Astrophysical supercomputing using particles, Tokyo, Japan, July 2001[45] K. Takahashi, T. Sensui, Y. Funato, J. Makino, Collisional Evolution of Galaxy Clusters,
IAU Symposium No. 208, Astrophysical supercomputing using particles, Tokyo, Japan,
July 2001[46] J. Makino, GRAPE Project The 15th Toyota Conference, Mikkabi, Japan, October 2001[47] J. Makino and T. Fukushige A 11.55 T ops simulation of black holes in a galactic center on
GRAPE-6, SC2001, Denver, USA, November 2001 (ACM, in CD-ROM, November 2001)[48] J. Makino, Are intermediate-mass Black Holes really the "Missing links" between stellar
and supermassive black holes? | A view from a stellar dynamicist, JGRG11, Tokyo,
Japan, January 2002
3.2.3

著書

[1] J. Makino and M. Taiji, Scienti c Simulations with Special-Purpose Computers | The
GRAPE Systems, 1998, (John Wiley and Sons, Chichester).
3.2.4

特許

該当なし

3.2.5

国内学会における口頭発表[1] 高橋広治, 銀河の潮汐力を受けた球状星団の進化, 日本天文学会 1997 年秋期年会 宇都宮 1997
年 9 月。
[2] 中野太郎, 牧野淳一郎, 楕円銀河中心部の密度カスプの性質, 日本天文学会 1997 年秋期年会 宇
都宮 1997 年 9 月。
[3] 牧野淳一郎, 福重俊幸, 船渡陽子, 泰地真弘人, サブペタフロップス専用計算機 GRAPE-6 計画の概要, 日本天文学会 1997 年秋期年会 宇都宮 1997 年 9 月。
[4] 吉永恵子, 小久保英一郎, 牧野淳一郎, Hermite 積分法の誤差の解析, 日本天文学会 1997 年秋
期年会 宇都宮 1997 年 9 月。
[5] 増田信之, 福重俊幸, 牧野淳一郎, MD-GRAPE による SPH 法の加速, 日本天文学会 1997 年秋
期年会 宇都宮 1997 年 9 月。
[6] 牧野淳一郎, 福重俊幸, 船渡陽子, 泰地真弘人, 自己重力多体系専用計算機 GRAPE-6 の演算
LSI, 日本天文学会 1998 年春季年会 八王子 1998 年 3 月。
[7] 船渡陽子, 楕円銀河における Violent relaxation 後の分布関数について, 日本天文学会 1998 年
春季年会 八王子 1998 年 3 月。
[8] 福重俊幸, 牧野淳一郎, 銀河の潮汐力を受けた球状星団の進化, 日本天文学会 1998 年春季年会
八王子 1998 年 3 月。
[9] 濱田 剛, 福重俊幸, 川井敦, 牧野淳一郎, PROGRAPE-1:プログラム可能な超高速多体シミュ
レーション専用計算機, 日本天文学会 1998 年春季年会 八王子 1998 年 3 月。
[10] 高橋広治, Lee, H.M., 銀河の潮汐力の影響を受けた球状星団の力学進化, 日本天文学会 1998
年春季年会 八王子 1998 年 3 月。
[11] 高橋広治, Portegies Zwart, S.F., The Disruption of Globular Star Clusters in the Galaxy,
日本天文学会 1998 年秋季年会 山形 1998 年 10 月
[12] 川井敦, 福重俊幸, 牧野淳一郎, 泰地真弘人, 重力多体シミュレーション専用計算機 GRAPE-5の開発, 日本天文学会 1998 年秋季年会 山形 1998 年 10 月。
[13] 福重俊幸, 牧野淳一郎, 重力多体シミュレーション専用計算機 GRAPE-6 の開発, 日本天文学会 1998 年秋季年会 山形 1998 年 10 月。
[14] 牧野淳一郎, 高速多重極展開法とツリーコード の新しい実現法, 日本天文学会 1998 年秋季年
会 山形 1998 年 10 月。
[15] 小久保英一郎, 井田茂, 牧野淳一郎, 周地球円盤からの月集積, 地球惑星科学関連学会 東京
1998 年 5 月。
[16] 小久保英一郎, 井田茂, 牧野淳一郎, 周地球円盤からの月集積 II, 日本惑星科学会秋季講演会
神戸 1998 年 10 月。
[17] 牧野淳一郎, 高速多重極展開法とツリー法|多体シミュレーションのための高速算法|O(N )は O (N log N ) より速いか？ 第 48 回理論応用力学講演会 東京 1999 年 1 月。

[18] 小久保英一郎, 井田茂, 牧野淳一郎, 月の起源{巨大衝突により形成された周地球円盤からの月集積{, 日本天文学会 1999 年春季学会 京都 1999 年 3 月[19] 泉水朋寛，船渡陽子，牧野淳一郎，銀河団内の銀河の進化，日本天文学会 1999 年春季学会
京都 1999 年 3 月[20] 高橋広治, Portegies Zwart, S. F., 銀河に生まれた球状星団の運命, 日本天文学会 1999 年春
季年会 京都 1999 年 3 月[21] 中野太郎, 牧野淳一郎, 楕円銀河の密度カスプの位相空間構造, 日本天文学会 1999 年春季年
会 京都 1999 年 3 月[22] 福重俊幸, D. C. Heggie, The Time Scale of Escape from Star Clusters, 日本天文学会 1999
年春季年会 京都 1999 年 3 月[23] 船渡陽子, 牧野淳一郎, 銀河団における銀河の質量と速度分散の関係の進化について日本天文学会 1999 年春季年会 京都 1999 年 3 月[24] 牧野淳一郎, 古賀勝基, 川井敦, 福重俊幸, 泰地真弘人, 自己重力多体系専用計算機 GRAPE-6のプロトタイプシステム, 日本天文学会 1999 年春季年会 京都 1999 年 3 月[25] 川井敦, 福重俊幸, 牧野淳一郎, GRAPE-5 システム上のツリーコード の実現, 日本天文学会
1999 年秋季年会, 1999 年 10 月
[26] 泉水朋寛，船渡陽子，牧野淳一郎，銀河団内における common halo の形成と銀河の進化，
日本天文学会 1999 年秋季学会，1999 年 10 月
[27] 高橋広治, Portegies Zwart, S. F., 銀河に生まれた球状星団の力学進化, 日本天文学会 1999
年秋季年会 福岡 1999 年 10 月
[28] 船渡陽子, 牧野淳一郎, 多重重力レンズ効果による遠方の超新星の光度変化について日本天文学会 1999 年秋季年会 福岡 1999 年 10 月
[29] 牧野淳一郎, 古賀勝基, 川井敦, 福重俊幸, 泰地真弘人, 自己重力多体系専用計算機 GRAPE-6のプロトタイプ , 日本天文学会 1999 年秋季年会 福岡 1999 年 10 月
[30] T. Nakano and J. Makino, On the Cusps around Central Black Holes in Elliptical Galaxies,「銀河形成の物理」研究会 筑波 1999 年 12 月
[31] T. Sensui, Y. Funato, and J. Makino, Evolution of Clusters of Galaxies | Growth ofCommon Halos，「 銀河形成の物理」研究会 筑波 1999 年 12 月
[32] Y.Funato The stripping rate of mass of galaxies in clusters, 「銀河形成の物理」研究会 筑
波 1999 年 12 月
[33] 福重俊幸, 牧野淳一郎, ダークマターハローの構造, 日本天文学会 2000 年春季年会 東京 2000
年 4 月。
[34] 牧野淳一郎, 古賀勝基, 川井敦, 福重俊幸, 泰地真弘人, 自己重力多体系専用計算機 GRAPE-6のプロセッサボード , 日本天文学会 2000 年春季年会 東京 2000 年 4 月。
[35] 船渡陽子，泉水朋寛，牧野淳一郎，銀河団内におけるコモンハローの成長速度, 日本天文学会 2000 年春季年会 東京 2000 年 4 月。

[36] 泉水朋寛，船渡陽子，牧野淳一郎，銀河団内銀河の力学進化，日本天文学会 2000 年春季年
会 東京 2000 年 4 月。
[37] 高橋広治, 泉水朋寛, 銀河団におけるコモンハローの成長: Fokker{Planck Models, 日本天文学会 2000 年秋季年会 伊勢崎 2000 年 10 月。
[38] 牧野淳一郎, 古賀勝基, 川井敦, 福重俊幸, 泰地真弘人, 自己重力多体系専用計算機 GRAPE-6の開発状況, 日本天文学会 2000 年秋季年会 伊勢崎 2000 年 10 月。
[39] 福重俊幸, 牧野淳一郎, ダークマターハロー形成のシミュレーション , 日本天文学会 2001 年
春季年会 千葉 2001 年 3 月。
[40] 小久保英一郎, 井田茂, 惑星集積の N 体シミュレーション: 原始惑星の寡占的成長と原始惑星系の多様性 II 日本天文学会 2001 年春季年会 千葉 2001 年 3 月。
[41] 高橋広治, Hyung Mok Lee, Oleg Y. Gnedin 球状星団の進化に対する潮汐ショックの影響,
日本天文学会 2001 年春季年会 千葉 2001 年 3 月。
[42] 牧野淳一郎, GRAPE プロジェクトの 10 年 | 専用計算機は引き合うか? JSPP 2001, 京都
2001 年 6 月[43] 小久保英一郎, 井田茂, 微惑星系から原始惑星系へ, 日本惑星科学会秋季講演会 岡山 2001 年
10 月。
[44] 福重俊幸, 牧野淳一郎, 銀河団スケールにおけるダークマターハローの構造, 日本天文学会
2001 年秋季年会 姫路 2001 年 10 月。
[45] 船渡陽子，質量の異なる銀河ど うしの衝突による各銀河の構造変化について, 日本天文学会
2001 年秋季年会 姫路 2001 年 10 月。
[46] 船渡陽子，原始銀河の大きさに対する制限について, 日本天文学会 2001 年秋季年会 姫路 2001
年 10 月。
[47] 牧野淳一郎, J. B. Taylor, 14:48 B05a 高密度恒星系での中心ブラックホールの成長, 日本天文学会 2001 年秋季年会 姫路 2001 年 10 月。
[48] 牧野淳一郎, 福重俊幸, 泰地真弘人, 自己重力多体系専用計算機 GRAPE-6 の開発状況, 日本
天文学会 2001 年秋季年会 姫路 2001 年 10 月。
[49] 高橋広治, , 泉水朋寛, 船渡陽子, 牧野淳一郎, 衝突系としての銀河団の力学進化, 日本天文学会 2001 年秋季年会 姫路 2001 年 10 月。
[50] 小久保英一郎, 牧野淳一郎, A Modi ed Hermite Scheme for Planetary Dynamics, 日本天文学会 2002 年春季学会 水戸 2002 年 3 月[51] 高橋広治, 中心ブラックホールをもつ高密度恒星系の Fokker − Planck シミュレーション, 日
本天文学会 2002 年春季学会 水戸 2002 年 3 月[52] 台坂博, 牧野淳一郎, 衛星の影響を考慮した天王星楕円リングの N 体数値計算, 日本天文学会
2002 年春季学会 水戸 2002 年 3 月[53] 福重俊幸, 須藤靖, 14:06 U13a 宇宙論的 N 体計算における平均特異速度場について, 日本天文学会 2002 年春季学会 水戸 2002 年 3 月

[54] 牧野淳一郎, 福重俊幸, 泰地真弘人, 自己重力多体系専用計算機 GRAPE-6 の開発状況, 日本
天文学会 2002 年春季学会 水戸 2002 年 3 月
3.3

3.3.1

ヘテロジニアス・マルチコンピュータシステムの開発
学術雑誌論文[1] 朴泰祐, 牧野淳一郎, 須佐元, 梅村雅之, 福重俊幸, 宇川彰, "Heterogeneous Multi-Computer
System における重力効果を含む宇宙輻射流体計算", 2002 年ハイパフォーマンスコンピュー
ティングと計算科学シンポジウム (HPCS2002) 論文集, pp.17-24, 2002 年 1 月.
[2] 岩崎洋一, 宇川彰, 朴泰祐, "21 世紀の超高速科学技術計算プラットホーム", 学術月報 Vol.55,
No.2, pp.10-14, 2002.
3.3.2

国際会議発表論文[1] T. Boku, J. Makino, H. Susa, M. Umemura, T. Fukushige, A. Ukawa, \HeterogeneousMulti-Computer System: A new platform for Multi-Paradigm Scienti c Simulation", 16th
Annual ACM International Conference on Supercomputing (ICS2002), New York City,
Jun. 2002 (to appear).
3.3.3

著書

該当なし

3.3.4

特許

該当なし

3.3.5

国内学会・研究会における口頭発表[1] 朴泰祐, 牧野淳一郎, 須佐元, 梅村雅之, 福重俊幸, 宇川彰, \Heterogeneous Multi-Computer
System: 連続体・多粒子系融合型超並列計算機システム", 情報処理学会ハイパフォーマンス
コンピューティング研究会, 情処研報 HPC-88-10, pp.55-60, 2002 年 10 月.

3.4

新聞等による紹介

1999 年 8 月 17 日 毎日新聞

1999 年 11 月 12 日 日経産業新聞

1999 年 11 月 25 日 日経産業新聞

2000 年 6 月 2 日 日経新聞

2001 年 7 月 10 日 朝日新聞

2001 年 7 月 10 日 毎日新聞

2001 年 7 月 10 日 日経新聞

2001 年 10 月 4 日 朝日新聞

2001 年 12 月 各紙

3.5

ホームページによる紹介
連続体向け超並列計算機の開発

http://www.rccp.tsukuba.ac.jp/future/

多粒子系向け超並列計算機の開発

http://grape.astron.s.u-tokyo.ac.jp/pub/people/makino/grape6.html
http://www.astrogrape.org/

4

研究成果概要4.1

研究目的

本プロジェクトにおいて研究目的としたところは以下のとおりである。
計算科学の最近の発展は，超並列計算機による計算機の能力の向上と強く結びついている。超並列計算機は，ベクトル型計算機と比較してそのアーキテクチャが多様であり，従って，問題を明確に設定することによって初めて，最先端の半導体技術を駆使した超高性能なシステムを実現できる。この点の好例は，計算科学者の主導により遂行された，先のCP-PACS プロジェクト，GRAPE

プロジェクトに見ることができる。
一方，計算科学の分野を横断的に連続体，多粒子系に２分することが可能である。前者には，流CP-PACS プロジェ

体力学，格子量子色力学，後者には，多体天体系，高分子系などが含まれる。

GRAPE プロジェクトは粒子系にターゲットを絞って，高性能な超クトは連続体に焦点をあて，並列計算機の開発に成功した。
本プロジェクトでは，超並列計算機の計算速度を，プロジェクト開始当時の約

1TFLOPS から

100 倍向上させるための研究開発を行う。計算科学の対象が，連続体と多粒子系に大別されることに対応して，二つのサブプロジェクトを設け，それぞれ，連続体向け超並列計算機，多粒子系向け超並列計算機の開発を行うと共に，高速かつ柔軟な入出力機構・可視化機構・マンマシンイン
ターフェースを実現することを目標にする。さらに，今後の科学技術計算においては，連続体と多粒子系の自由度が複雑に結合した複合系の超高速シミュレーションが極めて重要な課題である
ことから，最終年度において，連続体向け超並列計算機と多粒子系向け超並列計算機を結合した
ヘテロジニアス・マルチコンピュータを構築し ，連続体・多粒子系複合システムの超高速シミュ
レーションを実現することを，本プロジェクトの最終目標とする。

CP-PACS プロジェクトにおける知見を基に，超高速連続体向け超並列計算機開発においては，並列計算の課題である多量の計算データの並列入出力及び並列可視化のための規範となりうるシ
ステムを実現し ，さらに超並列計算機の演算性能そのものの飛躍的増大のために，有望な方法と考えられているプロセッサ・メモリ融合型

LSI の開発研究を行う。多粒子系向け超並列計算機開発

GRAPE プロジェクトの成果を基に，この種の問題に最適化した専用プロセッサを開発し ，100TFLOPS 級の計算速度が達成可能であることを実証する。さらに，再構成可能論理（ FPGA，Field Programmable Gate Array ）により，より広い応用範囲を持つ多用途粒子系プロにおいては，

セッサを開発する。
これらの技術開発を最終年度に総合し ，柔軟な並列入出力・並列可視化装置を持ち連続体に適した超並列計算機と多粒子系の専用計算機を組み合わせ，多粒子・連続体混合系に適用可能なヘテロジニアス・マルチコンピュータ（

Heterogeneous Multi-Computer；HMCS ）を構築する。

このような統合的システムは，素粒子・宇宙物理学等の学術研究のみならず，地球規模の気候
変動シミュレータ，大規模計算力学，物質科学解析，蛋白質立体構造解析等，今後社会的にますます重要度を増すと予想される問題の解決に有用な役割を果たすと期待され，また産業界が開発するコンピュータのプロトタイプともなり得る。

4.2

研究計画

本プロジェクトにおいて、研究目的達成のために立案した研究計画は以下のとおりである。
本プロジェクトは，「 連続体向け超並列計算機の開発」サブプロジェクトと「多粒子系向け超並列計算機の開発」サブプロジェクトにおいて実施する。
「連続体向け超並列計算機の開発」サブプロジェクトは，筑波大学計算物理学研究センターを中心に実施する。連続体を対象として， 高速な超並列計算機とその結果の解析・可視化を行う外部処理系の間を柔軟且つ高速に結ぶための並列入出力・並列可視化の研究と，演算性能そのものの高速化を目的とするプロセッサ・メモリ融合型

LSI の開発研究を行う。

前者については，計画前半に，小規模並列システムとグラフィック計算機クラスタを高速スイッチで結合した評価用システムを構築して結合実験・性能評価を行う。計画後半には，この基礎研究の知見に基づいて，超並列計算機と並列入出力・並列可視化装置の結合を行ない，これを評価すると共に，ソフトウェアの開発を進めて，実用に耐えるシステムを構築する。
プロセッサ・メモリ融合型

LSI の研究開発に関しては，計画前半は，基本方式の検討ためのシミュレータ開発・それを用いてのシミュレーション評価にあて，続いて後半には回路設計，コンパイラ開発を行う。
「多粒子系向け超並列計算機の開発」サブプロジェクトは東京大学において実施する。多粒子系を対象として，重力・クーロン相互作用に専用化した，ピーク性能

100 テラフロップス程度の専用プロセッサを開発するとともに，粒子系に専用化したアーキテクチャを持つが，一般の相互作用を計算するパイプラインをFPGA（ 再構成可能論理）で実現した多用途粒子系プロセッサを開発する。このプロセッサの性能は，応用にもよるがテラフロップス程度を目標とする。
以上の二つのサブプロジェクトの研究開発を総合し ，計画最終年度には，並列入出力・並列可視化装置を持つ超並列計算機と多粒子系専用並列機，それらの中間的性格を持つ

FPGA による多用途粒子系プロセッサを結合し ，連続体・多粒子系をはじめそれらの混合系にたいしても高い性能を発揮するヘテロジニアス・マルチコンピュータを実現し ，素粒子物理学に於ける場の理論シ
ミュレーション，天体シミュレーション，分子動力学計算，粒子的アプローチでの流体計算などに応用する。
本計画の目指す超並列システムは，連続体から多粒子系にわたり，汎用性と専用プロセッサの高速性を実現する。さらに，フロントエンドとしてして柔軟なグラフィック処理システム・並列
入出力システムと，バックエンドとしての超並列計算機を有機的に結合させる。これによって，高速性と同時に汎用性・柔軟性を持ち，さらにユーザフレンド リな超並列システムが構築されるが，これは現在のところ世界でも他に例を見ないものである。

4.3「連続体向け超並列計算機の開発」サブプロジェクト

2

連続体向け超並列計算機の開発における研究成果は大きく以下の つの項目に分かれる。

 オンチップ メモリを用いた高性能プロセッサアーキテクチャ SCIMA （ Software Controlled

Integrated Memory Architecture ）の開発とそれに基づく超並列計算機の基本設計
 コモデ ィティネットワークに基づく並列入出力機構及び並列可視化システム PAVEMENT（ Parallel I/O and Visualization Environment ）の開発及び実装
以下，それぞれについて述べる。

4.3.1

オンチップ メモリを用いた高性能プロセッサアーキテクチャSCIMA の開発

次世代連続体向け超並列計算機における要素プロセッサにおいて最も重要な要件は，近年ますます拡大しつつあるプロセッサ速度とメモリ速度のギャップ，いわゆるmemory wall problem をいかにして解決するかである。特に超並列計算機の構成を考慮すると，単体ノードプロセッサに従来のハード ウェアベクトル処理方式をそのまま適用することは，ハード ウェア量と実装密度の両面で不可能に近い。従って，限られたメモリバンド 幅をいかに有効利用し ，プロセッサチップ
内でのデータ再利用性を上げられるかが重要なポイントとなる。オンチップ メモリの有効利用という観点から見ると，キャッシュのような比較的単純なアルゴ リズムによって自動的に制御することには性能の限界があり，これをよりアグレッシブに制御し ，さらにそのデータにとって最も効率的なサイズ及びアクセス方法でオンチップ・オフチップのトラフィックを制御することが必要となる。
我々は以上のコンセプトに基づき，ソフトウェア制御可能なオンチップ メモリに基づく新しいプロセッサアーキテクチャ

SCIMA (Software Controlled Integrated Memory Architecture) を提案し，その特性と性能向上を計算機シミュレーションによって確認した。さらに，実際のプロセッ
サチップ設計上で最も重要になるデータパスとキャッシュを含むオンチップ メモリ制御系に重点を

SCIMA における新しいデータ処理パスを追加し置いたハード ウェア記述レベルでの設計を行い，ても，全体のクロック周波数（クリティカルパス）への影響がほとんどなく，各種アプリケーショ

SCIMA に関ンにおける実質的な性能を大幅に向上させることが可能であることを示した。以下，するサブテーマ及び連続体向け次世代超並列計算機のあるべき姿に関して述べる。

SCIMA の構成図を図 4.3.1 に示す。シングルチップ内にロジック部および１次キャッシュだけでなく，アドレス指定可能な高速なオンチップ メモリ (以下，SCM:
Software Controlled Memory) を搭載する。一般の科学技術計算における大容量のデータセットに対応するため，チップ外にもメイン メモリとして DRAM を配置する。
SCM と従来のキャッシュとの相違点は，データアロケーションとリプレースメントの制御がキャッ
シュでは自動的に行なわれるのに対し，SCM ではその制御をソフトウェアで明示的に行える点で
SCIMA アーキテクチャの概要ある。ハード ウェア制御のキャッシュでは，ユーザが意図しないデータアロケーション，リプレー

SCM を採用する狙スメントによるキャッシュミスが発生することによる性能低下が問題となる。

ALU

FPU

register

Cache

MMU

On-Chip SRAM

NIA
Memory(DRAM)

図Network

1: SCIMA のブロックダ イアグラム(

いは，多くの科学技術計算がデータアクセスに規則性を持つことを利用し，ユーザ あるいはコン)パイラ が明示的にデータアロケーションとリプレースメントを行なうことでこの問題を回避することである。

SCIMA では，従来のアーキテクチャに対して，メモリ階層に関して以下の拡張を行う。まず，浮動小数点レジスタを増やす。これは，集積度の向上による搭載可能演算器の増加と，キャッシュ

SCM が提供する高いチップ 内バンド 幅を活用するためである。オンチップ メモリ上でのデー
タアロケーションとリプレースメントの制御をソフトウェアに解放するため，SCM は論理アドレ
ス空間上に定義する。但し SCM 領域は uncacheable とするので，キャッシュとの包含関係は生じ／ない。
上記のメモリ階層の拡張を有効に利用するため以下の命令を追加する。

 load-multiple, store-multiple: SCM の連続アドレス上と，連続するレジスタ間で複数1000 bit 程度のデータパスを設けることは将来的には可能と考えられるため，この命令の転送サイズとしては 2，4，8，
16 double-word 程度を想定している。
 page-load, page-store: オフチップ メモリと SCM 間でデータ転送を行なう命令。データ
データの転送を行う命令。オンチップ メモリとレジスタの間に転送はページ単位で行う。この転送とチップ内部の計算処理とを重畳化することで，オフチッ
プ メモリアクセスのレーテンシを隠蔽する。また，ブロック幅とストライド 幅を指定するブロックストライド 転送の機能を付け加える。この機能により，オフチップ メモリ上の不連続

SCM に持ってくることを可能にする。

領域のデータをパッキングして，

SCIMA では 2 種類のデータアクセス方法が提供される。すなわち，(1) レジスタ $ SCM $ オフ
チップ メモリと，(2) レジスタ $ キャッシュ $ オフチップ メモリ，である。SCIMA のデータ処理性能が最も効果的に現れるのは，アプリケーションが定型的なループ処理及びデータアクセスパターンを持つ場合であり，データアクセス領域の形状に応じてコンパイラが適当な命令を生成し ，ループ 処理に応じてこれを発行する。

page-load/page-store我々が先に開発した超並列計算機

CP-PACS では，擬似ベクトル命令と呼ばれる，メモリからキャッシュをバイパスして直接レジスタにデータをロード ／ストアする命令が用意されていた。これらの命令はメモリアクセスの遅延時間を隠蔽するものの，チップ内のデータ局所性はレジスタに

SCIMA ではデータのパターンが連続限られ，メモリスループットの節約には結びつかなかった。

SCM のデータ局所性を生かし，メモリアクセス回数及びデー／ストライド のど ちらの場合でも，

タ転送量を最小限に抑えることが可能である。このようにして，データ転送粒度及びデータ転送量の両者を最適化することがSCIMA の目的である。

ただし ，アプ リケーションによっては，データアクセスパターンが読み切れず，これらの最適

SCIMA では従来型のキャッシュも用意され化が難しい場合も存在する。このような場合に備え，ている。我々は，オンチップ上でSCM 領域とキャッシュ領域を統合的に扱い，アプリケーション

によって両者の容量バランスを調整する仕組みも提案している。

SCIMA は既存のスカラプロセッサへの拡張として設計されている。拡張は SCM のRTL 設計実装といくつかの新命令の追加のみであるが，この拡張がクロック周波数等に与える影響は調べなければならない。このため，我々は一般的なスカラプロセッサと，これを元にした
セッサの両者を設計し，比較した。対象としたプロセッサは

SCIMA プロ

MIPS R10000 マイクロプロセッサでR10000 全体の設計を行うことは極めて難しく，またこの作業は本研究の目的に必ある。ただし，ずしも合致しない。ここで重要なのは，データアクセス系に対してどのようなペナルティが生じるかということである。よって，我々は設計対象をこの部分に絞り，元のプロセッサのキャッシュSCIMA における SCM 及びキャッシュ制御系に着目し ，この部分の設計を行い比較検

制御系と，
討した。

System Interface

Data Cache/
On Chip Memory

Instruction Cache
Addr Instruction

Addr

data

ctrl

switchInteger
Queue

Flt.Pt.
Queue

OCMtestInteger
Registers

Address
Queue

PLS
addr.stk
TLB

Addr.calc
ALU 1
ALU 2

FP
Registers

Branch Unit
Clocks図

Instruction Decode
Register Mapping

PLS
Queue

FP AdderFP Multiplier

2: SCIMA におけるデータパス構造

2 SCIMA のデータパス構造を示す。ここで，影付きの部分が元の R10000 に対して SCIMA

図 に

1: 面積・遅延の評価 (速度最優先)
遅延 [ns]
R10000 モデル SCIMA モデル
命令選択回路 & issue
6.11
6.48
キャッシュウェイ選択
3.31
3.50
(キャッシュアレ イ自身のアクセスは含まず)
表

R10000 と SCIMA の両者で変更を加えた部分である。我々はこの図に示される部分全体に対し，Verilog-HDL による RTL (Register Transfer Level) 設計を行った。その後，デザイン
コンパイラによってこの設計を合成した。合成には ROHM 社の 0.35m CMOS テクノロジを用

について，
いた。

これらの設計を元に，クリティカルパスの遅延時間を予測した。クリティカルパスの場所には2 つの可能性がある。1 つは，ある選択された命令に引き続き，実効可能な命令をキューから選択する部分である。もう 1 つは，キャッシュアレ イのアクセスに基づく，キャッシュのウェイ選択ロ
ジックである。表 1 に R10000 及び SCIMA における，各パスの予測遅延時間を示す。この表からわかるように，もしキャッシュアレ イアクセスの遅延が 2.8ns 以上であれば，キャッシュアクセ
スパスがクリティカルになる。ど ちらの場合にしても，SCIMA におけるクロック周波数の低下は5%以内であり，これは SCIMA がもたらす同一クロックレベルでの性能向上に比べると無視し得る小さな値である。
SCM 利用の最適化

我々はSCM 領域を最大限に利用するための最適化手法を提案し，この方針に基づく基本的な性能評価をシミュレータによって行った。データ配列は，それらへのアクセス

3

SCM を有効利用するための戦略を示す。この図は，デーパターンに応じて分類される。図 に，

タアクセスの連続性（連続，ストライド，不規則）と，データの再利用性（再利用可能，再利用不能）の組み合わせに基づき，各々どのような方法を用いるべきかをまとめたものである。

Consecutivenessconsecutive

 use SCM as a

 reserve SCM

stride use SCM as a

 for reused data

not use SCM

 for reused data

not-reusable

reusable

irregular

stream buffer

stream buffer

for reused data
reserve SCM

reserve SCM

Reusability

 ODWHQF\VWDOOUHGXFWLRQE\EXUVWWUDQVIHU ODWHQF\VWDOO WKURXJKSXWVWDOOUHGXFWLRQE\VWULGHWUDQVIHU WKURXJKSXWVWDOOUHGXFWLRQE\VRIWZDUHFRQWUROODELOLW\

図3: SCM 利用のための戦略

(1) と (2) はそれ以外に比べ特に効果的である。このような再利用不能な

これらの戦略のうち，配列を疎粒度で転送することは，レ イテンシに基づくストールを短縮するのに効果的である。よっ(1) と (2) により高い優先度を置く。すなわち，SCIMA 最適化を適用するループ
単位の中で，その中でアクセスされる様々なデータ集合に対し ，まず (1), (2) に当てはまるものを選び ，各々の戦略を適用する。その後，再利用可能な配列に対して，残りの SCM 領域を戦略(4),(5),(6) に基づき利用する。
これらの効果を実際に解析するため，2 つのプログラムを用いたシミュレーションによる性能評
価を行った。1 つは NAS Parallel Benchmarks の kernel FT (FFT 処理) であり，もう 1 つは QCD(Quantum ChromoDynamics) アプリケーションである。提案している戦略の有効性を確認するために，我々はキャッシュに基づく通常のプロセッサと，SCIMA の結果を比較した。なお，ループて，我々は戦略

タイリングやループ 交換のような，より高いレベルでの最適化は両者に対して予め適応済みとし

SCIMA に関しては，提案している戦略を手作業で適用した。性能評価の仮定は以下の通りである：オンチップ上のメモリ総容量は 64KB または 512KB，キャッシュラインサイズは 32B または 128B，キャッシュ/SCM のアクセススループットは 8B/cycle，オフチップ メモリのアクセスス
ループットは 1B/cycle，オフチップ メモリのアクセス遅延時間は 160 cycle，キャッシュモデルにた。

おいてはキャッシュプリフェッチを可能とした。

4

CPU ビジー時間，レイテンシの大きさに基づくストール，スループット不足に基づくストールの 3 つのカテゴ リに細分化され，それぞれ Tb , Tl , Tt と示されている。この図からわかる通り，全ての仮定の組み合わせにおいて，
SCIMA は両者のプログラムにおいてキャッシュモデルよりも高い性能を示す。これは，SCIMA
図 に各プログラム実行に要するサイクル数を示す。サイクルは，がオフチップ メモリへのトラフィックを削減しつつ，さらにレイテンシに基づくストールを劇的に縮めていることによる。この結果より，提案された戦略は極めて有効であることが示された。

           

¸º¿¼

ª ¤
¢

¸º¿¼





















 ª ¤¢(a) FT図SCIMA 向けコンパイラ

4: 性能評価結果

¸º¿¼

ª ¤
¢

¸º¿¼






 






 

Ë¿ÉÆÌ¾¿ÇÌËwÊË¸ÃÃÃ¸Ë¼ÅºÐwÊË¸ÃÃ§¬w¹ÌÊÐwËÀÄ¼






 Ï¼ºÌËÀÆÅwÐºÃ¼ÊÏ¼ºÌËÀÆÅwÐºÃ¼ÊË¿ÉÆÌ¾¿ÇÌËwÊË¸ÃÃÃ¸Ë¼ÅºÐwÊË¸ÃÃ§¬w¹ÌÊÐwËÀÄ¼






 

ª ¤
¢

(b) QCDSCIMA プロセッサにおけるプログラムでは，オフチップ メモリと SCM

間でのデータ転送を明示的に制御する必要がある。他の最新のプロセッサテクノロジと同様，この制御命令はコンパイラによって生成される必要がある。しかし ，プログラム上でどのデータを
どのタイミングで転送すべきかを完全に自動的に検出することは極めて難しい。この問題に対す

る研究基盤を提供するために，我々はSCIMA 用指示文（ directive ）に対応した Fortran コンパイ

ラを作成した。これらの指示文により，プログラマはデータ転送の対象とタイミングを簡単に指示できる。このコンパイラは，指示文を処理しつつFortran を C に変換するフロントエンド 部と，SCM 容量に対応したアセンブ リコード を生成するバックエンド 部からなる。
フロントエンドコンパイラが対象とする指示文は SCIMA-directive と呼ばれる。このコンパイ

任意のレジスタ数やラの設計目的は，プログラマに細粒度な制御手段を提供しつつ，適度な抽象化を可能にすることである。これにより，より汎用なアルゴ リズムに対するコンパイラのデータ処理最適化に関する研究支援環境が提供される。

SCIMA-directive は，配列要素を SCM に動的にマッピングする際に用いられる。このマッピン
グはユーザからは隠蔽され，ユーザは SCM 上の要素に対して明示的なアクセスを記述する必要はない。コンパイラは Fortran から C に変換する際に，これらの SCM にマップされた領域への通常の配列アクセスを SCM へのそれに自動的に置き換える。
SCIMA-directive の使い方の例を以下に示す。
double precision sum
double precision a(N*2,N*2)!$scm begin (a, N, N, 0, 0)!$scm load (a, N + 1, N + 1, N, N)
sum = 0.0
do i = N + 1, N * 2
sum = sum + a(i, i)
enddo!$scm end (a)!$scm で始まる行は SCIMA-directive である。begin と end で囲まれた領域において，配列 a

SCM へのアクセスに置き換えられる。load は，プログラムの実行がこの SCIMA-directive で示された部分に到達した際に，SCM にコピーされるべき配列要素を示す。
このフロントエンド コンパイラは新情報処理開発機構 (RWCP) で開発された Omni Compilerを元に作られている。生成された C のコードは通常の MIPS コンパイラと SCIMA 用バックエンド コンパイラのど ちらでもコンパイル可能となっている。これにより，通常の MIPS 系プロセッ
サ用に最適化されたコード と SCIMA 用コード の比較も可能となっている。
現在のバックエンドコンパイラは SGI IRIX N32 ABI に基づき，MIPS R10000 命令セットを生成するように作られている。このコンパイラは，フロントエンド コンパイラの SCIMA-directive
処理に応じ，SCIMA 用特殊命令（ page-load/page-store ）を生成する。また，任意の数のレジスタに対応した最適化コードが生成されるため，SCIMA プロセッサの実装のためのアーキテクチャ
に対する全てのアクセスは上の最適なレジスタ数を評価するために用いることができる。また，他の最適化コンパイラと同様，以下の処理における最適化が実装されている。

 common subexpression elimination, constant-folding, constant propagation
 loop invariant elimination, induction variable elimination, operator-strength reduction
 register coloring によるグローバルレジスタ割り当て

SCIMA-directive に基づくコード 最適化の研究，あるいはそれ自体を自動化するためのコンパイラの研究を推進可能である。また，SCIMA プロセッ
サアーキテクチャの SCM やレジスタの構成を最適化する研究にも用いることができる。
これらのコンパイラを用いることにより，100TFLOPS オーダーの演算性能を持つ超並列計算機を実装する際，利用するプロセッサ台数は 1 万台のオーダーに達する。こSCIMA の SMP 化

近い将来のプロセッサ性能を想定すると，

れに対し ，一般的に，ネットワークに接続可能なノード 数の限界としては，接続ポートやスイッチ等のハード ウェア量の制約から，数千ノード 程度が限界と考えられている。従って，何らかの形で複数のプロセッサを

1 つのノード にまとめ，ノード 単位でネットワークへの接続を行うことが必須となる。

SCIMA プロセッサを SMP (Symmetric Multi-Processor)
結合したものをノード とし，これをネットワークへの接続単位とすることを想定した。SMP 化された場合の SCIMA プロセッサの性能を評価するため，我々は SCIMA プロセッサ用クロックレベ
ルシミュレータを改造し ，任意の way 数での SMP 構成の性能評価を行えるシミュレータを開発
我々はこのような状況の下，複数のした。なお，このシミュレータ自身もマルチスレッド 化されており，並列ワークステーション上で高速実行可能になっている。

matrix-by-matrix 乗算プログラム及び NAS Parallel Benchmark kernel-CG 等を対象に，
2-way から 8-way 程度の SCIMA プロセッサ SMP 構成についてシミュレーションを行った。結果
として，SCIMA はレ イテンシに基づくストールを大幅に低減できることから，SMP 構成にした
簡単な場合に，より一層キャッシュモデルよりも性能向上が大きいことが確認された。

MPP (Massively Parallel Processor) においては，その膨大な計算性能をサポートするために，full-optical 結合によるネットワークが必連続体向け次世代超並列計算機の構成

次世代の高性能

要になると考えられる。しかし，現状ではこのような光結合のスイッチは極めて高価であり，そのスイッチング速度も，光リンクがもたらすバンド 幅を十分に生かすような速度には達していない。

1

この問題に対する つの解は，適当なクラスタ構成を導入し，完全な光結合と，光・電気を取り混ぜた結合（リンクに光を，スイッチに電気を用いる）とを階層的に混在させることである。クラス
タ間結合には非常に高いバンド 幅を提供しつつやや遅延時間の大きい光リンク及びスイッチを用い，クラスタ内の比較的短いメッセージ通信には従来通りの光・電気を利用したネットワークを用いる。クラスタ内のノード 数に比べ，クラスタ数をかなり小さく設定することにより，クラスタ内
から他の同一クラスタに転送される短いメッセージの集合はマージされ，光結合を効果的に利用

full-optical

可能な長いメッセージとして転送することが可能になる。このようなクラスタ構成は，

1

ネットワークで問題となるバンド 幅とレ イテンシのトレード オフに対する つの解となる。

2048 ノード を持つ MPP システムは，各々が 256 ノード を包含する 8 つのクラスタの集合として構成可能である。クラスタ内ネットワークには例えば 16  16 の 2 次元ハイパクロスバ
例えば，網等が適用可能である。クラスタ間ネットワークは光による完全クロスバを用いる。我々はこのような光・電気ハイブ リッド 型ネットワークの性能評価を簡単に行うことができるような特殊なシミュレータを開発した。このシミュレータではネットワークを構成するリンク及び スイッチのバンド 幅とレ イテンシを任意にプログラム可能であり，様々な高性能ハイブ リッド ネットワーク

の評価を，ランダム転送のような単純モデルや，実アプ リケーションのデータ転送トレースデー
タを対象にして実行することが可能である。

1

このようなクラスタ構成を持つネットワーク性能の つの指標は，クラスタ内トラフィックがどの程度外に漏れ出したところでクラスタ間ネットワークが飽和するかという，ネットワークの耐2048 ノード を持つシステム構成において，クラスタ内
ネットワークのバンド 幅とクラスタ間ネットワークのそれの比が 1:100 の場合をシミュレーション
した結果，ランダム転送においては全トラフィックの約 10%がクラスタ間に出て行くまでは，平性を調べることによって得られる。先述の均スループットはほとんど 低下せずにすむ事が明らかになった。この値は多くの科学技術シミュ

5

レーションに適用可能な値である。図 は，このハイブ リッド 型ネットワークにおけるクラスタ
間トラフィックの割合と平均スループットの関係を，数種類のノード 間転送メッセージ長について
シミュレータにより評価した結果である。
0.6

max throughput[token/clock]1 message: 100 token
1 message: 200 token
1 message: 400 token

0.5

0.4

0.3

0.2

0.1

0

図

0

0.1

0.2

0.3

0.4

0.5

0.6

global ratio

0.7

0.8

0.9

1

5: 光・電気ハイブリッド 型階層ネットワークの性能

SCIMA プロセッサに基づく数千〜数万プロセッサ規
模の MPP の設計が可能である。8 GFLOPS の SCIMA プロセッサを 4-way SMP 結合することによってノード を構築し ，クラスタ内 (16  16) プロセッサ，クラスタ数 16 の光・電気ハイブ リッ
ド ネットワークを構築することにより，4096 台の SCIMA-SMP ノード からなるピーク演算性能
131 TFLOPS のシステムが実現できる。このハイブリッドネットワーク構成が，100TFLOPS オー
ダーの性能を持つ SCIMA ベースシステムの典型的な姿である。
このネットワークを拡張することにより，

4.3.2

並列入出力・並列可視化システム PAVEMENT

本サブテーマでは，次世代超並列計算機の利用形態が，従来のMPP のようなバックエンド 計算

のみに閉じず，その周辺環境との密接な相互処理に展開されることを想定し ，コモデ ィティベー
スの並列入出力システムとそれを用いた各種応用システムに関する研究を行った。このための具

100base-TX FastEthernet を多数用いた並列ネットワーク実験プラッ
トフォームを構築し ，この上に超並列計算機 CP-PACS をはじめ，並列ワークステーション，ク
体的な実験システムとして，

ラスタシステム等を接続し ，拡張性のある並列チャネルを提供するシステムソフトウェアによって制御するシステムを開発した。このシステムを

PAVEMENT (Parallel I/O and Visualization

Environment) と総称する。以下，PAVEMENT の各要素技術について述べる。

並列入出力システム PAVEMENT/PIO

次世代超並列計算機において，外部とのデータ交換を行う入出力機構の持つ役割は重要である。例えば現在のスーパーコンピュータのグリッド 技術への適用を見てみると，多くの場合，圧倒的な計算能力を持つ超並列計算機が貧弱な外部ネット
ワークチャネルしか持っていないような例が数多く存在する。我々は，このような計算機こそ，ス
ケーラビリティを持つ入出力チャネルを多数備える必要があり，さらにそれらを有効利用するソ
フトウェアシステムが必要不可欠であると考える。これは，本来超並列システムが持つ多数の入出力プロセッサを有効利用し ，入出力データが特定のプロセッサに集中されることを抑え，さらに周辺のサブシステムも何らかの並列化されたシステム（並列ワークステーションやクラスタ等）
であることを前提としたシステム構築を行わなければならないということを意味する。
以上のようなコンセプトの下，我々はMPP，並列ワークステーション，クラスタ等あらゆる並

列計算機システムに対してポータブルな，コモディティベースの並列ネットワーク利用型入出力システムとして

PAVEMENT/PIO (Parallel I/O system, 以下 PIO) を提案し，開発した。PIO が提供する機能は以下の通りである。
並列ネット ワークによるバンド 幅増強 複数のネットワーク接続を移植性の高い

TCP/IP レベルで統合化し，アプリケーションから生成される並列なデータ流を並列ネットワークチャネルに分散させる。
簡便なユーザ API の提供 並列ネットワークの存在をユーザに意識させず，アプ リケーションプ
ログラム上で最適な自動データ並列化を可能にする。
動的負荷分散 アプリケーションの性質に応じ，安全で効率の高い静的負荷分散や，最小限のオー
バーヘッドでデータ流の並列ネットワークへの割り当てを最適化する動的負荷分散機能を提供する。

CP-PACS の 128 台の入出力プロセッ
サ (IOU: Input/Output Unit) のうち 16 台に対し ，Fast (100base-TX) Ethernet インタフェースを実装し，これらを 2 台の Fast Ethernet Switching Hub を経由して，並列ファイルサーバ Origin2000 及び並列ビジュアリゼーションサーバ Onyx2 に接続している。Origin-2000 及び Onyx2 には，各々8 ポート及び 4 ポートの Fast Ethernet ポートが備わっている (図 6(a) 参照)。このハード ウェ
アの上に，PIO ソフトウェアを実装した。
PIO は各システム上のユーザプログラムに対する API (Application Programming Interface) ラ
イブラリと，各システムを結合するデーモンプロセスからなる。API ライブラリは，簡便なイン実験システム環境

実験システム構築のため，超並列計算機

タフェースによってユーザが並列ネットワークを利用することを可能にする。デーモンプロセス
は，ローカルな並列ユーザプロセス間通信を処理し，さらにリモートマシンのデーモンプロセスとの並列チャネル通信により，両システム上のユーザプロセス間の並列通信をサポートする。図6(b) にそれらの関係を示す。API ライブラリ上及びデーモン上では，各種レベルにおいて何らかParallel Visualization Server
Onyx2 (4 CPU)

Massively Parallel Processor
CP-PACS (2048 PU + 128 IOU)

CP-PACS

Origin-2000, Onyx2

I/O Processor....

8 chan.

frame
buffer

SwtichingHub

SwitchParallel Disk Server
Origin-2000 (8 CPU)....

16 IOUsequipped with100base-TX
Interface

Swtiching
Hub

8 chan.

....

8 chan.

....

Alpha
Linux
Cluster(16 CPU)

8 chan.

to external(Ethernet etc.)

I/O Unit
Server Process
Processing Unit
Server Process

User Process (or Thread)

User Process(a) PIO 実験環境(b) ユーザプロセスとサーバの関係

図6: PIO システムのデータバッファリングが行われている。特にローカルな

API ライブラリとデーモン間では通信が速く，データ送信においては，ユーザアプリケーションからの高速なバッファリングが可能とな
り，制御が短時間でユーザプロセスに戻ってくるため，効率的な非同期通信プログラムを記述する

MPPことが可能になる。この特性は単方向データ転送において最大限に発揮される。すなわち，内の超高速通信によってバッファリングを迅速に行い，アプリケーションを通信フェーズから素早く解放し，実際のデータ転送は両システム間のリンクを最大限に利用して行うことが可能になる。

PIO の API は以下のような関数群からなる。
 PIO の初期化・終了
PIO Init(), PIO Exit()

 データ入出力
PIO Send(), PIO Recv()

 各種情報取得
PIO Getappinfo(), PIO Gethostinfo(), PIO Getconinfo()

 通信パートナー選択
PIO Addpartner()

PIO では並列チャネルの明示的・暗示的利用や，通信相手のマシンの並列プロセスの属性取得，
メッセージまたはデータストリームを意識した通信プロトコル選択等の機能が用意されている。例

PIO Send では使用する並列チャネルを (1) 明示的に指定する，(2) そのプロセスの相対的な位置情報に基づき自動的に決定する（ 静的負荷分散），(3) チャネル負荷状況に応じて動的に決定する（動的負荷分散），の 3 種類からダ イナミックに選択できる。また，データ送受信において，1 回の送信と受信を一対一対応させデータをパケットとしてやり取りするか（パケットモード ），えば，

データ流を想定してデータの任意の切れ目で送受信を行うか（ ストリームモード ），のいずれかをダ イナミックに選択できる。これらの組み合わせにより，アプ リケーションに最適な並列チャネ
ル通信を提供する。

7(a) に簡単な pingpong 転送を行った場合の PIO の性能とスケー
ラビリティに関する評価をまとめる。ここに示した性能は，CP-PACS と Origin-2000 間で，並列
チャネル数を 1, 8, 16 と変化させた場合の実効バンド 幅である。それぞれに対し，裸の TCP/IP を直接使った場合と，PIO による制御を通した場合を比較している。この結果より，チャネル数のPIO システムの性能評価

図増加に伴い，それに応じたほぼ線形な性能向上が得られていることがわかる。また，データ長がTCP/IP 本来の性能と PIO を介した性能の差が縮まっていることがわかる。しかし，データ長が短い場合は PIO の性能は良くない。これは，PIO の深いバッファリングにより，
本来は単方向転送で性能が最大限発揮されるのに対し，pingpong という双方向転送を行っているためである。これに対する実験として，単方向転送を繰り返した場合の結果を図 7(b) に示す。これは，非同期送信を行うユーザプロセスにおいて，PIO 送信命令発行後どのくらいで制御が戻るかを測定したものである。TCP/IP に比べ PIO の速度が圧倒的に速いことがわかる。また，データ長が長くなるとバッファリング能力が限界に近づくが，その場合でも TCP/IP と同等以上のレ
長くなるにつれ，

100

40 TCP(16 Parallel)PIO(16 Parallel)
TCP(8 Parallel)35
PIO(8 Parallel)
TCP(Serial)
30
PIO(Serial)
25

TCP/IP
PIO

10
Latency (sec)Throughput (MB/sec)

スポンスが得られている。

20
15
10

1
0.1
0.01
0.001

5
0.0001

0
1

10

100

1000

1

10

100

1000

10000

100000

Message Length (KB)

Message Length (KB)(a) pingpong 転送におけるスループット

図(b) 単方向転送におけるレスポンスタイム

7: PAVEMENT/PIO の基本的なデータ転送性能

PIO が提供する動的負荷分散機能に関する評価結果を図 8(a) 及び図 8(b) に示す。これは，同様に CP-PACS と Origin-2000 間で 16 本のチャネル全てを用い，総容量 512MB のデータを長さがばらばらの（ 最大 2.5 倍の差を持つ）パケットで転送する実験の結果である。図 8(a) は，
平均データ長に対する，全データ転送に要した時間を表している。ここで USER はプログラム上
で予めわかっているデータ長の差を考慮して明示的にチャネルを指定した場合，STATIC は静的
負荷分散機能のみを使った場合，DYNAMIC は動的負荷分散機能を用いた場合の結果である。この図からわかるように，DYNAMIC の結果は，最適な方法である USER とほぼ同一の性能を示している。また，図 8(b) は，この実験を行っている最中の各チャネルのデータ流量を示している。
水平に引かれた \7.5" の線は，USER による理論値，すなわち人工的な負荷分散を完全に吸収した場合の理想値を示している。これに対し ，STATIC ではチャネル間のデータ流量が極端に異なるが，DYNAMIC では多少の誤差はあるものの，最大と最小の差が大幅に縮まっており，有効な
次に，

200
18

150

Amount of Flowing data

Elapsed Time (sec)

STATICDYNAMIC
USER

100

50

DYNAMIC

16

STATIC

14
12
10
8

7.5

6
4
2
0

0
32

64

128
256
512
Average Message Length (KB)

1024

2048

0

1

2

3

4

5

6

7

8

9

10 11 12 13 14 15

Connection Number(a) 動的負荷分散を用いた通信時間短縮の様子(b) 16 のチャネル上の実際のデータトラフィッ

クの分布

図

8: PAVEMENT/PIO の動的負荷分散機能の性能評価

動的負荷分散が実現できていることがわかる。
並列可視化システム PAVEMENT/VIZ

次世代科学技術計算において，膨大なデータの可視化技術は非常に重要な問題である。現状では，大規模な多次元データ配列に対する様々な可視化のアプローチが試みられているが，その多くはデータを巨大なファイルに蓄積し ，計算後に長時間をかけて3 次元ボリュームレンダ リング等の手法で可視化している。将来的に，計算機性能が向上し ，大量のデータが非常に短いターンアラウンド タイムで生成されるようになると，これに即した実時間可視化システムが必要になると考えられる。

PAVEMENT/PIO により，MPP から並列ワークステーションへの並列チャネルデータ転送が実現され，データ流入のスループット問題は解決される。そこで，我々は，並列高速ワークステー

MPP でのデータ生成に追いついていることを指す）を可能とする可視化システム PAVEMENT/VIZ（ Parallel Visualization,
以下 VIZ ）を開発した。VIZ のプラットフォームは PIO 接続されている Onyx2 及び Origin-2000
である。この上で，CP-PACS から生成されるデータのグラフィック化を行うシステムを構築した。
PIO 実験環境の Onyx2 は，4 台の CPU と 1 台のラスタマネージャ(画像生成エンジン)，さらに4 チャネルの 100base-TX インタフェースを備えている。4 台の CPU を用いることにより，一連ション上での実時間可視化（ここでいう「実時間」とは，可視化処理がの可視化処理の負荷分散，例えば並列データ入力とその画像処理といった機能分散が可能であり，

CPU 台数のさらなる増加にも対応できるようになっている。この上に，複数プロセッサによるマ
ルチスレッド 処理により，PIO システムを介してデータ生成システムから転送される並列データ
流を，最終的な画像処理プログラムに渡すための単一流にまとめるプログラム (Binder と名付けられる) を開発した。Binder は PIO の API に基づき，PIO デーモンとの共有メモリを介したデー
タ受け渡しを行ない，生成されたデータ流を画像生成システムに渡す働きを担うものである。

VIZ では，画像生成のための制御用ソフトウェアとして，業界標準である AVS/ Express を用いる。オリジナルの AVS/Express は単一プロセッサ上での動作を想定しており，さらにデータの供給がそのシステム (ワークステーション ) 上のファイル環境として閉じていることを前提としている。このため，そのままの形では我々の目的である，並列ネットワークを介したオープンな環AVS/Express のデータ入力モジュールを構築し 直し ，(1) ネッ
トワーク環境における外部からのデータ供給，(2) 共有メモリを利用した他プロセスからのデータ
供給，の 2 機能を実現した。これらの機能は，AVS/Express のユーザ・モジュールとして実装され，AVS システムの一部に取り込まれるようになっている。本データ入力モジュールを，先述のBinder と共有メモリを介して結合することにより，MPP によって生成されたデータを並列入出力
境での利用に適さない。そこで，システムで転送し ，画像処理の直前まで並列化されたデータ流を供給することが可能となってい9る。この様子を図 に示す。
Onyx2

Pilot3
PIOサーバ参照

Binder

入力モジュール

データ・
バッファ

PIOサーバ

描画モジュール

画面へ

AVSシステム

図9: 並列入出力から並列可視化システムへのデータの流れ

この段階でデータ流入とそれに続く可視化処理が機能分散的に並列処理される。実際の可視化

3処理の中で，特に重くかつ実用上非常に多く用いられるのが， 次元データに対するボリューム(3DVR: 3-Dimensional Volume Rendering) 処理である。そこで，VIZ では共有メ
モリ型並列ワークステーションにおいて 3DVR 処理を高速化する，並列 3DVR モジュールを開発した。このモジュールも AVS/Express のモジュールとして，オリジナルの 3DVR モジュールとの置換が可能となっている。このモジュールは，3DVR における処理をほぼ完全に並列化しており，
レンダ リング

使用可能プロセッサ数にほぼ比例した非常に効率の高い並列処理を実現している。従来のソフト
ウェアによる並列

VR の研究では，主として静止画像に対する高速 VR が研究されてきた。ここでは，医学等の応用分野において，一旦取り込んだ画像をいろいろなパラメータの下で高速描画することが目的になっている。しかし ，我々が目指すのは動的に流入してくるデータ流のスナッ
プショットに対する可視化であり，従来のデータ蓄積型・中間表現型のアルゴ リズムが適用できな3い。その代わりに， 次元データに対する補完作業を効率良く処理し，全体の負荷バランスを重視

10(a) に，最大 8 スレッドを用いた場合の，VR 処理の速度向上率を示す（ 台数効果を見るため，8 プロセッサを持つ Origin-2000 上で AVS/Express を稼働させた）。このような高い並列処理効率により，例えば計算宇宙物理における 128 の空間データを 512 の 2 次
元データに変換する 3DVR 処理において，約 1 秒/フレームの実時間描画が可能となった。
これまで述べた PIO システムと柔軟な制御性を持つ並列可視化システムを総合的に使用した例
として，2048 台の全 PU を使用した CP-PACS 実機において，128 台の IOU 上での PIO サーバの稼働，16 チャネルの Fast Ethernet を経由した並列データ転送，ビジュアリゼーションサーバ
する実装を行なった。図32における並列データ入力及び並列可視化の全処理を，実際のアプリケーションを対象に実行した。
対象アプ リケーションは計算宇宙物理学における宇宙の再イオン化シミュレーション及び，大量のアルゴン分子に対する分子動力学法シミュレーションである。いずれも2048 台の PU から生成

8
ideal speedup
parallel rendering7
speedup ratio

6
5
4
3
2
1
0
0

1

2

3
4
5
thread count

6

7

8

(a) 並列ボリュームレンダリングモジュールにおける速度向上率図(b) 並列ボリュームレンダリングを用いた出力例

10: 並列可視化システムの性能評価

16 本の Fast Ethernet リンクで負荷分散しながら転送し，最終的にされるデータストリームを，

1 秒/フレーム程度の 3DVR 及び描画を実現できた。これにより，超並列計算機における計算結果の実時間可視化が可能であることが確認された。宇宙の再イオン化シミュレーションを実行している際の並列可視化システムの出力画像を図10(b) に示す。この例では，再イオン化の進行の様子が確認できるように，輻射が一方向のみから入射した場合を扱っており，全ての方向からの入射を取り扱う現実的シミュレーションの第一歩となっている。

AVS/Express 販売元である KGT (Kubota Graphics
Technologies) 社との共同研究により，3DVR 処理を行いつつ，画像のマニピュレーション（グラさらに本モジュールに対し，日本におけるブ，回転，平行移動等）をオリジナルのモジュールと同様に行えるようなユーザインタフェースを実装した。完成したモジュールはオリジナルのモジュールとほぼ同等なインタフェース及びマニ
ピュレーションが可能であり，加えて現在の可視化処理に割く並列スレッド 数のダ イナミックな制御が可能となっている。これにより，アプ リケーションのデータ生成タイミングとデータ量に応じ ，並列ワークステーションの能力を，並列データ流入力処理と3DVR 処理に適宜最適配分しながら処理を進めるような使い方も可能となっている。

PAVEMENT/PIO のもう 1 つの応用例として，並列ファイルシステム PAVEMENT/PFS (Parallel File System, 以下 PFS) の開発を行った。PFSは SPMD 的な並列プロセスの集合に対し ，単一の論理的なファイルへの SPMD 操作のイメージを提供するユーザレベルライブラリによるファイルシステムである。PFS では各 SPMD 並列プロ
並列ファイルシステム PAVEMENT/PFS

セスが実際には仮想的な論理ファイルの担当部分をアクセスすることを前提とし，ファイルがロー
カルな分散デ ィスク上にある場合も，リモートなファイルサーバ上にある場合も同等に並列アクセスを行えるように設計されている。さらに，リモートアクセスに関して
ならば，これを最大限に利用する。図

PIO が利用可能である

11 に PFS のコンセプト イメージを示す。

PFS では並列プロセスから生成される並列ファイルデータストリームを自然な形でローカルな

SPMD process

Partial data

Domain decomposed data

Distributed disk

Parallel processes

Logical data image

Physical data mapping image

図11: Parallel File System の概念図
SPMD モデルを前

分散ディスクまたはリモートな分散ディスクに展開する。ここで重要なのは，PFS では並列プロセスの数と，並列物理ファイルの数が提とした単純化である。これに基づき，

必ずしも一致しない場合でも最適な並列アクセスを実現する工夫をしている。これは，例えばファイル生成時の並列計算機リソースと，ファイル消費時のそれが必ずしも一致しないという条件を吸収するのに役立つ。極端な例としては，例えばMPP によって分散生成されたファイル群を，単一プロセスによって逐次処理することも可能となっている。

4.4「多粒子系向け超並列計算機の開発」サブプロジェクト

2

本サブプロジェクトの主要な成果は以下の つである。

1. ほぼ当初の計画にそった形で多粒子系向け超並列計算機である GRAPE-6 システムを完成させることができた。

2. 疑似粒子多重極法，2 次元並列化法などの多粒子系シミュレーションのための新しい高速化
アルゴ リズムを開発，実用化した。
これらの成果に付随して，科学技術応用における並列計算における卓越した達成に与えられる賞であるゴ ードン・ベル賞を1999 年から 2001 年まで 3 年間連続で受賞した。以下，このそれぞれについて述べる。

4.4.1

GRAPE-6 システム

GRAPE-6 システムは，汎用のホスト計算機，重力/クーロン力相互作用専用計算機，多目的粒子計算機用再構成可能計算機の 3 パートからなるハイブリッドシステムである。以下，重力/クー
ロン力相互作用専用計算機，多目的粒子計算用再構成可能計算機のそれぞれについて述べる。

/

9

まず重力 クーロン力相互作用専用計算機についてまとめる。平成 年度には演算チップの基本仕様の決定と論理設計を行った。各半導体メーカーの製造技術の水準，設計ソフトウェアの実力等に関する総合的な評価を行なった上，目標仕様を表

項目
動作周波数
相互作用パイプライン本数
動作電圧
消費電力
粒子メモリ
粒子メモリインターフェース幅
粒子メモリインターフェース速度
データ入出力ポート幅
データ入出力ポート速度
位置，時刻データ形式
速度，内部表現データ形式
表

目標仕様

備考

内蔵せず

同期

125 MHz
6
2.5 V
20W 以下SRAM 使用

64 bit
125MHz32bit  3 入力 2，出力 125 MHz64bit 固定小数点
36 bit 浮動小数点，仮数 24 ビット

2: 重力プロセッサチップ仕様

重力プロセッサチップは予測子パイプライン
予測子パイプラインは以下の計算を行なう

t = t2 のように定めた。

tj

1 組と相互作用計算パイプライン 6 組を内蔵する。

= 24t a + 6t a_ + 2t a + tv + x= 6t a + 2t a_ + ta + v ;
4

xp

3

vp

3

(2)
0

2

0

0

0

(1)

0

2

(2)
0

0

0

(2)

0

, , ,

(2)

ここで， xp と vp は粒子 j の時刻 t での予測された位置，速度であり，x0 v0 a0 a_ 0 a0 は粒
子 j の時刻 tj での位置，速度，加速度とその一階，および二階導関数である。
また，相互作用計算パイプラインは以下の計算を行なう。

=

P

rij

(rij +  ) =
#
"
P
vij
3(
vij  rij )rij
a
_i =
j Gmj
(rij +  ) = (rij +  ) = ;
ai

j Gmj

2

2

2 3 2

2

2 3 2

2 5 2

(3)
(4)

ここで

= xj
vij = vj
rij

(5)
(6)

xi ;
vi :

であり， xi ，vi ，ai ，ai ，a_ i ，はそれぞれ粒子 i の位置，速度，加速度とその一階時間導関数，Gは重力定数，mj は粒子 j の質量である。また，  はソフトニングパラメータと呼ばれる定数である。

(1) および (2) をホーナーの公式を用いて計算するパイプライン（ x; y; z の 3 成分のために 3 本）を 1 セット，式 (3) の重力と式 (4) のその導関数を評価するパイプラインを 6 セット持つものとなる。なお， xi などの，そこでの重力を計算される粒子のすなわち，チップ全体としては，式

データは各相互作用パイプラインが持つレジスタに保持される。

(VHDL) による論理設計はほぼ平成 9 年度のうちに終了した。平成 10 年
度には，論理設計が終った回路のシミュレーションによるテストと，実際の LSI を作成するため
ハード ウェア記述言語のレ イアウト等の作業を行なった。これらは特にプロセス微細化が進んだ近年では長時間を要する作業となっている。最初のサンプルチップは平成

10 年度末に完成した。しかしながら，チップの製造（ 物理レ イアウト設計を含む）を担当した東芝の作業に若干の問題があり，物理設計の変更が必要になったため，最終的に動作するチップが完成したのは平成
この設計変更の後でも動作速度は十分ではなく，最終的には
平成

11 年 10 月である。さらに，

90 MHz で動作させることになった。

11 年度には，チップの製造・テストと平行して全体システムの詳細設計，具体的にはプロセッサモジュール，プロセッサボード，ネットワークボード の開発を進めた。

2 つの G6 チップにそれぞれ メモリをつけただけである。入力は 2 チップで共通であり，出力は並行して読み出して合計するために 2 本でている。なお，単一モ
モジュールの構成は基本的にはジュールで動作試験を行うための評価用システムも開発した。

16 台のクラスタからなり，1 クラスタにプロセッサチップを 16 個（プロセッサモジュールを 8 個）載せた基板（ GRAPE-6 プロセッサボード， G6PB ）を 16 枚収納する。
基板サイズは 8U  400 mm であり，GRAPE-4 の基板に比べ一回り小さくなった。
G6PB の外部へのインターフェースは，論理的には G6 チップのものと同じであり，入力 2 本と出力 1 本を持つ。入力はそれぞれ全チップにブロード キャストされ，出力はリダクションされて 1 本になる。
全体システムは最大G6PB の外部インターフェースは G6 チップのものとは大きくちがい， LVDS をを使ったセミシリアル転送になっている。これに対し ，G6 チップのインターフェースは単に 36
ビット (32 ビット + バイトパリティ) の同期転送であるに過ぎない。
先に述べたように，全体システムは G6PB の上にコントロールボード (G6CB) がつき，それがホストにつながることによって構成される。G6PB の機能は基本的にはホストからの入力データのブロード キャストと G6PB からのデータのリダクションであり，4:1 のツリー構造をとる。すなわち，16 PB からなる 1 クラスタでは， CB が最上位 1 枚，中間層 4 枚の 5 枚必要ということ
物理的には，になる。
この設計で各部を試作し ，結合テストまでを行って全体として動作することを確認した。しかし ，上に述べた動作クロックの問題に対応するため，以下に述べる設計変更を行った。設計変更の目的はボード あたりのプロセッサチップ個数を増やすことでトータルの製造コストを引き下げることである。これは，予定よりも低クロックの動作となった結果発熱密度が下がったために可24能になった。プロセッサモジュール上に チップではなく チップを集積し，さらに結果を加算・

1 段目を構成する FPGA まで集積した。これによりプロセッサ
ボード 上の回路はチップ数が 16 から 32 と増えたにもかかわらずかえって単純なものになり，製造コスト・不良率の双方を下げることができた。平成 12 年度にはこの変更版の試作・テストから量産までを行い，年度末にはネットワークボード 2 枚とプロセッサボード 8 枚からなるピーク性
能 8 T ops のシステムを動作させることができた。
平成 13 年度は 12 年度予算で調達したシステムの調整と 13 年度予算分の製造・調整を行った。
12 年度分についてはホスト計算機も含めた全体システムの調整が夏には終了し ，ピーク性能 32
T ops のシステムとして動作するようになった。13 年度予算分については最終的な部品納入が平成 14 年 3 月となったためにこの報告書執筆時点 (平成 14 年 3 月末) ではまだ組み立て・調整が完了していないが，14 年夏にはピーク性能 64 T ops のシステム全体が組み上がる予定である。
以上のように，100 T ops 程度のピーク性能を持つ重力・クーロン力専用計算機を開発すると回収するツリーネットワークのいう目標は達成できたと考えている。
次に多目的粒子計算用再構成可能計算機であるが，これについてはプロセッサボード，ネット
ワークボードなどの基本的要素は重力・クーロン力専用計算機と全く同一のものを使い，プロセッ
サモジュールのみを新たに設計することにした。プロセッサモジュールのハード ウェアは大規模

FPGA チップに粒子メモリ用の SRAM チップをつけただけの単純なものである。重力・クーロン
力専用計算機の完成が最終年度である平成 13 年度となるため，多目的計算機についても同時期に完成するようにした。これは，なるべく新しい FPGA チップを使うことで大規模なパイプラインが実装できるようにするためである。 最終的に選定した FPGA チップは Altera EP20K400 (公称 ゲート数: 400K) である。このモジュールを 40 枚製造した。 GRAPE-3 相当のパイプラインを実装した結果，30MHz 動作のパイプラインが FPGA チップ 1 つに 6 本入っており，チップ単体のピークで 7 G ops，システム全体としては 274 G ops 相当の速度が実現できている。パイプ
ラインの動作速度等についてはまだ改善の余地があり，1.5 ないし 2 倍程度の性能向上は図れる。
重力計算以外の具体的な応用ソフトウェアの開発はこれからであるが，多目的システムのハード
ウェアプラットフォームは完成したといえる。

4.4.2

新しい高速化アルゴリズム

本プロジェクトの期間中に，粒子系シミュレーション用の高速化アルゴ リズムとして疑似粒子

22多重極法， 次元並列化法の つを開発，実用化した。ここではそれぞれについて簡単に述べる。
重力，クーロン力の計算において，要求する精度がそれほど高くない場合には高速多重極展開法(FMM) や Barnes-Hut ツリー法などの近似計算法が 1980 年代後半に提案され，特に Barnes-Hut
ツリー法は標準的な方法の 1 つになっている。その詳細についてはここでは触れないが，ど ちら

も，近傍の粒子からの寄与は直接計算し，遠方からの寄与はまとめて多重極展開の形で評価する。
専用計算機を使えば近傍の分は高速化できるが，遠方からの寄与の計算の高速化は困難であった。
疑似粒子多重極法では，多重極展開を仮想粒子を使って表現しなおすことにより，遠方からの寄与についても専用計算機を利用することを可能にした。これにより，従来は計算コストの観点

FMM を使うことは非現実的であった高精度を要求する問題に対してもツリー法
や FMM を使えるようになった。ツリー法や FMM の一つの欠点は要求精度が高くなると必要メからツリー法や

モリ，計算時間ともに急速に増大することであったが，専用計算機を使った実装では計算時間を最適化した時に汎用計算機上の実装より要求メモリが少なくなり，さらに計算速度の向上は要求
計算精度が高いほど 大きくなる。いいかえれば，専用計算機上の実装では必要メモリ，計算時間
とも要求精度に対する依存が非常に弱くなっている。つまり，現実的な計算時間で高精度の計算を実現できるようになった。

2

疑似粒子多重極法は粒子数が非常に大きい場合に有効な方法であるが， 次元並列化法は粒子数( )が比較的小さく，O N 2 の直接計算が適しているような問題を効率的に並列化する方法である。
従来知られていた並列化手法は基本的に以下の2 種である。

 各プロセッサが全粒子のコピーを持つ。
 各プロセッサは自分が担当する粒子のみを持つ。ある粒子はプロセッサ 1 つにのみ存在する。
このど ちらでも，粒子数 N を固定してプロセッサ数 p を増やした時，各プロセッサでの計算時間は p に反比例して減少するものの，プロセッサ間通信にかかる時間は p に無関係に一定である。
このため，比較的小さなプロセッサ数で性能が飽和する。

GRAPE-6 では専用計算機側と汎用ホスト側との通信速度を確保するためにホスト側を並列化する必要があるが，上に述べた理由から従来の方法では並列化してもホスト間通信がボトルネッ
クになり通信性能は向上しない。この問題を解決するために，

GRAPE-6 では 2 次元ネットワー

クの構成をとった。

GRAPE-6 における 2 次元ネットワークでは，ホスト計算機 p 台を GRAPE p 台に接続する。
ホスト計算機側では従来通り全粒子を p 個のグループに分割し ，各プロセッサが 1 グループを担当する。しかし， GRAPE の側では第 i 列第 j 行にあるプロセッサはグループ j の粒子からグ
ループ i の粒子への力を計算する。このために，ホスト j は j 行の GRAPE プロセッサにデータ2を放送するネットワークを持つ必要があり，さらにホスト i は i 列に放送する上と直交するネット

GRAPE-6

ワークと，i 列の計算結果を縮約しながら回収するためのネットワークが必要になる。
の当初計画ではこれらのネットワークは専用ハード ウェアで実現する。

この2 次元ネットワークでは，粒子数を一定とした時にホストの台数に反比例して通信時間を減らすことができる。台数に通信時間が依存しなかった従来の方法にくらべれば非常に大きな性能向上が実現できるようになった。

GRAPE を使うことを忘れて，汎用計算機上の並列化を考える。汎用計算機の各ノード を GRAPE とみなせば，p 台のノード を論理的に 2 次元ネットワークを構成するとみなすことで全く同じアルゴ リズムが実装できることがわかる。 これが 2 次元アルゴ リズムである。こ
さて，今2の方法により，粒子数が小さな系でも非常に多数のプロセッサ上で効率的に並列化できるようになった。

GRAPE に戻ってみると，ホスト間の接続がホスト・GRAPE 間と同程度に高速化であれば，p の GRAPE を p のホストに直結し ，ホストネットワークで GRAPE-6 の専
用ネットワークをエミュレートすることで必要な性能が実現できることになる。 GRAPE-6 の最終形では部分的にこの考えを適用し， 64 枚のプロセッサボード を 8 台のホストにつなぐのではな
く，16 枚のプロセッサボード を 4 台のホストに接続したユニットを 4 台作り，合計 16 台のホスト
はギガビットイーサネットで接続する構成をとった。 64 台のホストとしなかったのは設置面積となお，もう一度

2

2

ネットワークスイッチのコストを押さえるためである。

4.4.3

ゴード ン・ベル賞

ゴ ードン・ベル賞は 計算機設計者として著名なゴードン・ベル氏が並列計算技術の推進のために1987 年に創設した賞であり，米国電気電子学会コンピューター協会 (IEEE Computer Society)によって運営されている。毎年，並列計算機を実用的な科学技術計算に応用し ，最も優れた性能を出した人々に与えられてきている。ここ数年は実効性能，価格性能比，特別部門の三つの部門があり，それぞれ応募があったものの中から審査で受賞者がきまる形をとっている。過去の受賞者やその達成した計算速度をみると，ほぼその時点で可能な最高速が実現されており，世界的にみた並列計算技術の最高水準を示しているといえる。
本プロジェクトでは，平成3

11 年度から 13 年度までの 3 回にわたってこのゴードン・ベル賞にエントリーし， 度とも受賞することができた。これは，本プロジェクトで開発した専用計算機システムの達成した性能が国際的にみても最高水準にあることを示したものであるといえるであろう。

11 年度には GRAPE-5 を 2 台並列に動作させ，その上で Barnes-Hut ツリーアルゴ リズムを使った宇宙論的 N 体計算で価格性能比部門の賞を獲得した。これは実効性能において $7/M opsという値を出したことが評価されたものである。GRAPE-5 チップは 1990 年に開発した低精度重力計算パイプラインチップである GRAPE-3 プロセッサチップの後継として開発したものである
が，GRAPE-6 プロセッサチップのための技術的なテストの意味も兼ねて新しい試みをとり入れた。チップ単体での演算速度は 4.8 G ops 相当と GRAPE-3/4 のプロセッサチップの 10 倍を実平成現した。さらに，ハード ウェア記述言語を使った設計の利点，問題点についても経験を積むこと

GRAPE-6 チップの設計に非常に役立った。
平成 12 年度および 13 年度にはそれぞれその時点で動作していたプロトタイプ GRAPE-6 シス
テム (12 年度はピーク 4 T ops，13 年度は 32 T ops) 上での銀河中心核のシミュレーションで実効性能部門にエントリーした結果，2 年続いて賞を授与された。 12 年度の達成性能は 1.349 T opsができた。この経験はであり，この年はほぼ同じ性能を達成した理研のMD-GRAPE システムとの共同受賞となった。

MD-GRAPE システムは GRAPE-6 とほぼ同程度のピーク性能を実現する粒子系向け専用計算機であるが，GRAPE-6 とは異なり分子動力学計算に専用化している。
13 年度の達成性能は 11.55 T ops であり，この年は単独受賞となった。
ここ数年は ASCI プロジェクトや地球シミュレータ計画に代表されるように大規模な汎用並列計算機の調達コストは 100 億円を超える莫大なものになっている。 本プロジェクトの総予算は 5億円であり，2 桁近い差がある。それにもかかわらず本プロジェクトで名目ピーク性能のみならず実際のアプ リケーションで達成された実効性能でも大規模な汎用並列計算機を上回るものが実現できたことは，問題に特化した専用計算機というアプローチの有効性を実証したものといえるで
あろう。

4.5

ヘテロジニアス・マルチコンピュータシステム（ 連続体・多粒子系融合型超並列計算機）の開発HMCS (Heterogeneous Multi-Computer System) は，連続体向け超並列計算機と多粒子系向け
超並列計算機を結合し ，次世代大規模シミュレーションにおいて求められる，異なる物理現象を組み入れた複雑な科学技術計算を効率的に行うことを目的とした統合化プラットフォームである。
本システムでは連続体及び多粒子系の計算が混在したシミュレーションを，それぞれの処理を得意とする計算機システムによって機能分散し ，片方のプラットフォームだけでは不可能だった複合計算を実現する。

HMCS の基本コンセプトは，問題と計算機システムの適応性を保ちつつ，複合処理の各フェーズを複数の計算機リソースに効率的に分散することである。研究の最終年度において，我々は 2048
プロセッサを持つ連続体向け超並列計算機 CP-PACS （ 0.6TFLOPS ）と，8 ボード の多粒子系向け超並列計算機 GRAPE-6（ 約 8TFLOPS ）を結合して，統合演算性能 8.6TFLOPS の HMCS を実装し ，これらを結合するソフトウェアを開発した。さらに，この上で自己重力と輻射輸送を伴う

SPH (Smoothed Particle Hydrodynamics) シミュレーションを実行し，銀河の初期形成シミュ

レーションを行うことに成功した。
以下では

4.5.1

HMCS の実装，この上で行われたアプ リケーションとその結果について述べる。

HMCS のシステム構成

12 に HMCS の全体像を示す。CP-PACS の持つ 16 台の入出力プロセッサには 100base-TX
FastEthernet のインタフェースが各々実装され，GRAPE-6 クラスタ（ 後述）との間で PAVEMENT/PIO による複数チャネルネットワーク結合がなされている。PAVEMENT/PFS に基づく
並列ファイルサーバ (Origin2000) と，PAVEMENT/VIZ を用いた並列可視化サーバ (Onyx2) が同じ PIO ネットワークに接続されている。CP-PACS の全プロセッサを用いた場合のピーク演算
性能は 614GFLOPS であり，8 ボード の GRAPE-6(合計 256 チップ ) を全て用いた場合の実効演算性能は約 8TFLOPS である。
図

PIO
PU

IOU

PU

PU

IOU

PU

PU

100bsae-TX
Switching Hub

PU

IOU

(8 links)
100bsae-TX
Switching Hub

IOU

2048 PUs

IOU
IOU

Alpha PCGRAPE-6
Board

Alpha PCGRAPE-6
Board

Alpha PCGRAPE-6
Board

Alpha PCGRAPE-6
Board

Alpha PCGRAPE-6
Board

Alpha PCGRAPE-6
Board

Alpha PCGRAPE-6
Board

Alpha PCGRAPE-6Board(8 links)

16 IOUs

CP-PACS

MPI
100bsae-TX
Switching Hub(for intra-Cluster comm.)

図8 Node Cluster

GRAPE-6

12: HMCS のブロックダ イアグラム

8 ボード の GRAPE-6 を管理し，多数の粒子計算をこれらに分配するために，Alpha CPU を用いたクラスタを構築した。クラスタ上の各ノードには各々1 つの GRAPE-6 ボードが接続される。
GRAPE-6 による重力多体計算の前に，全ての粒子のデータ（質量，位置等）は各 GRAPE-6 ボー
ド 上のメモリに格納されなければならない。その後，計算対象となる全粒子を 8 枚のボード に均等に分配し，GRAPE のパイプライン演算を実行する。このため，CP-PACS によって生成された全粒子データは PIO を経由してクラスタ上の全ノードに均一に分配され，その後で全ノード 間で全対全通信によってブロード キャストされる。PIO はブロード キャスト通信をサポートしていな
いため，この処理が必要となるが，これは CP-PACS と GRAPE-6 クラスタ間のデータ転送量を最小化する最も良い方法である。この時点で全ノード は全粒子データを持ち，これを GRAPE-6のメモリにセットする。計算結果（ 全粒子の加速度データ）は各ノード によって GRAPE-6 から取り出され，最初のデータ送信と逆の手順で CP-PACS に送られる。
HMCS のためのソフトウェアは，CP-PACS 上のアプ リケーションプログラムから呼び出される API のライブラリと，GRAPE-6 のホストクラスタ内の制御と CP-PACS との PIO 通信を行う
デーモンプログラムの 2 つの部分からなる。前者の API は g6cpplib と名付けられ，基本的には
GRAPE-6 が直接接続されたホストでプログラミングするイメージを元に，必要な機能を簡潔に利用できるようになっている。これにより，アプリケーションプログラマは，あたかも CP-PACSに GRAPE-6 が直結されているような形でプログラムを記述することが可能である。
CP-PACS と GRAPE-6 クラスタは各々の処理を独立に行い，基本的には片方の処理中，もう一方は休止してしまう。しかし ，我々の開発した HMCS 向け SPH アルゴ リズム及びプログラムでは，GRAPE-6 に重力計算処理を依頼した後，SPH 側の処理の一部をこれとオーバーラップさせるように記述されている。GRAPE-6 側では，実際のデータセットアップ時間と粒子計算の時間
は，CP-PACS 上の SPH 処理時間に比べ極めて短い。例えば，1024 プロセッサを用いた CP-PACSと 4 ボード の GRAPE-6 を用いたサブシステムでは，13 万粒子による自己重力と輻射輸送を伴う
SPH 計算は，全体で 1 ステップ当たり 12.3 秒かかる。ここで全体の約 40%の時間は 2 つのシステ
ム間の通信とその準備に費やされ，また GRAPE-6 における計算時間は約 0.5 秒である。しかし，これらの時間の一部は CP-PACS での処理とオーバーラップされる。表 3 に，GRAPE-6 クラスタ
上のデーモンで計測した処理時間の内訳を示す。

3: HMCS の性能評価 (CP-PACS の 1024 プロセッサと 4 ボード の GRAPE-6 を用いた場合の13 万粒子に対する 1 ステップの実行時間)
処理内容
時間 (sec)
粒子データ送受信
4.476
次のデータ待ち (CP-PACS の処理待ち）
6.118
クラスタ内での全対全通信
0.639
粒子データの GRAPE-6 メモリへのセット
0.609
重力計算
0.503
合計
12.345
表

25000 ス
テップを要する。これは上記構成のシステムで約 3 日間かかる。もし自己重力を含めた計算を CPPACS のみで行おうとすると，計算時間の点で現実的にはほぼ不可能である。このため，GRAPE-6側の処理時間が CP-PACS のそれに比べ非常に短くはあるが，HMCS がもたらす処理性能と計算
このサイズの典型的なシミュレーションでは，意味のある物理データを得るためには約科学における意義は非常に大きい。

4.5.2

HMCS におけるアプリケーション

HMCS におけるアプリケーションとして，計算宇宙物理学における輻射流体方程式の計

現在，算が行われている。これは数値流体計算と輻射輸送を組み合わせたものである。
宇宙には星，ブラックホール，星団，銀河，銀河団といった様々な階層構造がある。しかし，これらの系を制御する基本的な物理は

3 つの過程だけからなる。すなわち，流体過程，重力，そして輻射である。宇宙物理における過程は極めて非線形性が強いため，数値計算においては非常にダ イナミックレンジの広い流体計算が必要となる。このような広いダ イナミックレンジを持つ系を処理する際，非常に有効な手段がSPH (Smoothed Particle Hydrodynamics) である。この処理での物理量は，それぞれが密度に応じたある大きさを持つ仮想粒子の集合として表現される。こSPH は数値流体計算におけるラグランジュ法に相当する。

の意味で，重力に関しては，系の中の全ての仮想粒子によるニュートン重力計算が必要となる。この総和計算には N 個の粒子に対し ，N 2 オーダーの計算コストがかかる。もし10 個以上の粒子に対し
5

CP-PACS でこれを処理しようとすると，計算のほとんどは重力の処理に費やされてしまう。この部分を複数ボードからなる GRAPE-6 クラスタに委ねることにより，高速な処理が可能となる。
GRAPE を用いた SPH 計算は GRAPE-SPH とも呼ばれる。
輻射については，輻射輸送 (RT: Radiative Transfer) を扱うことが必要となる。しかし，輻射輸て送は非常に複雑な物理過程であり，こちらもまた大量の計算を伴う。このため，これまで完全なSPH シミュレーションのための効率的な輻射輸送アルゴ リズムを開発し，これを CP-PACS に実装し，最終的に HMCS における自己重力を伴う RT-SPH コード を完成させた。これは世界でも類を見ない輻射流体計算である。
我々は，HMCS 上の RT-GRAPE-SPH を用い，宇宙初期段階における銀河形成のシミュレー
ションを行った。宇宙は赤方偏移 5 において再イオン化され，多くの銀河はこの再イオン化の後で形成されたと一般的に信じられている。このため，紫外線背景輻射 (UV: Ultraviolet) を伴う銀輻射輸送を伴う宇宙流体計算は行われなかった。我々は河形成を調べる必要がある。銀河雲に対する背景輻射の浸透は輻射輸送によって制御される。従っRT-GRAPE-SPH はこの問題に対する最適なアプローチとなる。我々はダークマターが支配的であった宇宙において，原始的密度の変動を発展的に調べるため，65536 のダークマター粒子と，同数の SPH 粒子からなるシミュレーションを行った。
図 13 に銀河形成シミュレーション結果の時間発展の様子を示す。初期段階では，密度変動は低て，温のダークマターの分布に適合するように与えられている。宇宙膨張による拡散によって密度は薄まり，それと同時により小さなスケールでの密度変動によりフィラメント状構造が形成される。
小さなフィラメント状構造は紫外線背景輻射による熱によって消散し ，より大きなフィラメント
が回転する雲へと凝縮されていく。この構造が銀河へと発展していく。このシミュレーションで

UV が銀河形成の最終形に対し非常に重要な影響を与えることが示されている。
これは HMCS における RT-GRAPE-SPH の最初のアプ リケーションである。このシミュレー

は，背景ションを発展させていくことにより，将来的に宇宙の階層構造の源が明らかになることが期待される。

図13: HMCS における RT-GRAPE-SPH による銀河形成シミュレーション

4.6

まとめと展望本プロジェクトにおいては，科学技術が対象とする物理系の二大分類である，連続体と多粒子系に注目して，それぞれの計算を高速に処理し うる超並列計算機の開発研究を実施した。更に両者を統合して，連続体・多粒子系複合システムの高速な実行を可能とするヘテロジニアス・マル
チコンピュータを開発し，その上で宇宙物理学における現実的応用計算を実行した。
連続体向け超並列計算機の開発においては，次世代汎用超並列計算機を実現する要素技術の開発を行った。特に，高速化の鍵となる超高速プロセッサアーキテクチャの開発とノード 結合網の検討を行い，これに加えて柔軟且つ高速な並列入出力機構・可視化機構の開発を行った。
連続体の処理に必要な汎用プロセッサの最大の問題は，プロセッサと メモリの性能向上ギャップの克服である。本プロジェクトでは，プログラム制御可能なオンチップ メモリを活用して，メ
モリ入出力を抑えることにより，プロセッサ性能を効率良く引き出す新たなプロセッサアーキテ

SCIMA を提案し，従来のキャッシュアーキテクチャに較べて高い実行性能が実現できる事を実証した。また，複数の SCIMA プロセッサからなる SMP 構成のノード を，低レ イテンシの電
クチャ

気的ネットワーク結合してクラスタを構成し ，これらをさらに高バンド 幅の光ネットワークで結

100TFLOPS クラスの性能を実現する汎用超並列計算機アーキ

合した並列システムを検討して，テクチャを具体的に提示した。また，本プロジェクトで開発した，並列入出力・可視化システム

PAVEMENT は，超並列計算機からコモデティPC クラスタまで，多様な並列プラットフォームに対して，柔軟で高速な並列入出力環境と大容量 3 次元データの並列可視化環境を提供するものである。

/

多粒子系向けの超並列計算機については，重力 クーロン力相互作用専用プロセッサと，多目的
粒子計算用再構成可能論理プロセッサを開発し，これらから構成される多粒子系計算機

GRAPE-6

11 年度には性能価格比でゴードン・ベル賞を受賞し ，また平成 12 年度，13 年度には，絶対性能で同賞を得ることができた。特に平成 13 年度の受賞は，GRAPE-6 システムが，平成 13 年 6 月にピーク性能 32TFLOPS，宇宙物理学の実用計算において 11.55TFLOPS の世界最高性能を実現したことに対して，同年 11 月の SC2001 国際会議において，受賞が発表されたものである。GRAPE-6 システムは，最終的には，ピーク性能
64TFLOPS に増強される予定である。
の開発製作を行った。本プロジェクトの期間中，平成

以上の成果は，計算性能の大幅な向上を実現するものであるが，次世代の科学技術シミュレー
ションにおいて真のブレークスルーを達成するには，それだけでは十分でない。即ち，今後の大規模科学技術計算においては，複数のスケールによって特徴付けられ，連続体の自由度と多粒子系の自由度が複雑に結合したシステムの高速なシミュレーションが要求され，従って，全く異なる
複数のタイプの計算を同時に高速に処理することが可能な計算システムが要求されるからである。
本プロジェクトで提唱するヘテロジニアス・マルチコンピュータシステム（

HMCS) は，汎用超並列計算機と専用超並列計算機を結合することにより，このような要求に応える新たなアーキテ
クチャである。汎用超並列計算機は，柔軟で多様なプログラミングを必要とする連続体の処理を受け持ち，一方専用超並列計算機は多粒子系特有の，大規模ではあるが比較的単純な計算を超高HMCS は，これら二つのアーキテクチャの柔軟性と高速性を併せ持つシステムで速に実行する。

あり，連続体・多粒子系複合システムの処理において，連続体と多粒子系それぞれに特徴的な計算を，両システム間の最善のロード バランスを実現しつつ実行するものとなっている。
本プロジェクトでは，二つのサブプロジェクトの技術開発を総合して，連続体向け超並列計算

CP-PACS （ 0.6TFLOPS，1996 年 11 月「世界の高性能計算機トップ 500 リスト 」第一位）と多粒子系向けの専用超並列計算機 GRAPE-6（ 8 ボード，８ TFLOPS を実装）を並列ネットワー
ク PAVEMENT/PIO を用いて並列結合し，統合演算性能 8.6TFLOPS の強力な HMCS 実用シス機

テムを構築した。さらに，このシステムを用いて，従来困難とされてきた，物質の重力相互作用と輻射輸送を同時に解く銀河形成過程のシミュレーションを実現した。これらの成果は，ヘテロ
ジニアス・マルチコンピュータ・コンセプトの実現可能性と有効性を明確に実証するものである。

HMCS コンセプトは，さらに発展した幾つかの形態を考えることができる。本プロジェクトで実現した形態は，2 種類の異種計算機を近距離結合したものであり，HMCS-Local と称することができる。一方，10 ギガビットクラスのネットワークの実用化に伴い，異種計算機の結合は，遠距離に置かれたシステム間に行うことも十分に可能と考えられ，この形態は，HMCS-Remote と称することが相応しい。HMCS-R の実現可能性は，平成 14 年 3 月に開通したばかりの広域ネット
ワーク「つくば WAN 」を利用して実証された。この実証試験では，産業技術総合研究所計算科学センターの汎用超並列計算機 SR8000（ 0.5TFLOPS ）と筑波大学計算物理学研究センター設置の
GRAPE-6（ 8TFLOPS ）が「つくば WAN」経由で接続され，銀河形成シミュレーションが実行された。

HMCS-L と HMCS-R は異種計算機システムをネットワーク結合することにより，強力な統合計算性能を実現しているが，複数システムを結合しているために，システム間のネットワーク経由のデータ転送とロード バランスがボトルネックとなり得る欠点がある。この問題を解決する最終的なアーキテクチャは，連続体向けの汎用プロセッサと多粒子系用の専用プロセッサを同一計
算ノード 上に実装し ，これを単位とする並列システムを構成することである。我々は，このような連続体・多粒子系融合型アーキテクチャが，次世代の超高速科学技術シミュレーションのプラッ
トフォームを提供するものであり，本プロジェクトにおける研究成果は，その実現に向かっての，
大きななステップを実現したものと考えている。