ISSN 1344-3135
UTCCP Report 02-1

筑波大学計算物理学研究センター
１０年の歩み１９９２年 { ２００２年

平成１４年７月

筑波大学計算物理学研究センター

まえがき筑波大学計算物理学研究センターは，計算物理学とそれに関わる計算機工学の研究を推進するための全国共同利用施設として，平成 4 年 4 月に，10 年時限を付して設置された．また，平成 7
年度からは，「 卓越した研究拠点」（ COE ）の指定を文部省より受けた．
センターでは，平成 4 年度から 8 年度まで 5ヶ年にわたり，「 学術の新しい展開のためのプログラム」（略称新プログラム）の研究課題「専用並列計算機による「場の物理」の研究」が，岩崎洋一を研究リーダとして実施された．この研究課題により，計算物理学に適した超並列計算機 CP-PACS(Computational Physics with Parallel Array Computer System) が開発製作され，平成 8 年 9 月にその完成を見た．同年 11 月には，
「 世界の高性能計算機トップ 500 」リストの第一位にランクされた．
センターでは，CP-PACS を最大限に活用して，素粒子物理学，宇宙物理学，物性物理学における物理学の基本的重要問題の数値的研究を推進し，素粒子の強い相互作用の基礎理論である QCDの検証とそれに基づく素粒子の基本性質の解明，宇宙の進化と階層構造の形成の解明に必須の，物
質と輻射の相互作用を取り入れたシミュレーションの実現，超高圧下での固体水素の相構造の解明など ，物理学諸分野の永年の懸案の解決に大きな成果を挙げた．また平成 9 年度からは，原子核物理学を加えた 4 分野を対象として，CP-PACS の全国共同利用を行った．
さらに，平成 9 年度から 13 年度の 5ヶ年にわたり，日本学術振興会の未来開拓学術研究推進事
業「計算科学」のプロジェクト「次世代超並列計算機開発」において，CP-PACS の次に来るべき100TFLOPS クラスの計算性能を持つ超並列計算機を目指した基礎研究を行った．このプロジェ
クトでは，メモリ混載超高速プロセッサアーキテクチャSCIMA と，大量のデータを処理するための並列入出力可視化システム PAVEMENT の開発を行った．さらに次世代の大規模科学技術計算
プラットフォームとして，連続体系多粒子系融合型計算機アーキテクチャHMCS(HeterogeneousMulti-Computer System ）を提案するとともに，CP-PACS と GRAPE-6 による実用プロトタイ
プシステムを開発実装し，宇宙物理学の応用計算を実現した．
センターは，平成 14 年 3 月に 10 年時限の満了をむかえた．平成 14 年 4 月からは，同一の名称のもとに，新たな 10 年時限の研究活動を開始することとなった．最初の 10 年間の成果を基礎に，物理学と計算機科学の緊密な共同研究体制を生かして，計算科学の一層の発展を実現する研究活動を展開することが今後の目標である．
この冊子は，センター発足以来の 10 年の節目にあたり，平成 4 年度から 13 年度に亙る 10 年間の研究活動とその成果をまとめたものである．本冊子をご覧頂くとともに，今後とも，ご意見とご鞭撻を頂ければ幸いである．
平成 14 年 7 月
筑波大学計算物理学研究センター長
宇川彰

目次

1

序

1

2

沿革

1

3

4

5

6
7

8

2.1
2.2

設置経緯及び目的 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :主要日誌 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :組織と運営
3.1 組織の概要 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :3.2 センター長 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :3.3 センター教官 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :3.4 研究員 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :3.5 センター教官及び研究員数の推移 : : : : : : : : : : : : : : : : : : : : : : : : : : :3.6 運営 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :3.7 人事 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :3.8 予算 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :3.9 卓越した研究拠点 (COE) : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :共同利用
4.1 大規模数値シミュレーションプロジェクト : : : : : : : : : : : : : : : : : : : : : :4.1.1 趣旨 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :4.1.2 実施状況 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :4.2 センター主催研究会 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :国際交流
5.1 センターにおける研究への参加 : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.2 COE 外国人研究員 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :5.3 国際会議開催 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

1
1

4

4
4
4
5
7
13
13
15
15

17
17
17
17
20

21
21
21
21

22

建物
計算機システム
7.1 システム概要 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.2 システムの整備 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.3 システムの運用 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.4 システムの利用と稼働の状況 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.4.1 登録ユーザ : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :7.4.2 CP-PACS 稼働統計 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

22
22
26
26
27
27
27

32

研究活動の概要i

9 CP-PACS プロジェクト
9.1 概要 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :9.2 研究推進体制 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :9.3 CP-PACS の開発・製作 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :9.3.1 CP-PACS の設計方針と基本仕様 : : : : : : : : : : : : : : : : : : : : : : :9.3.2 ノードプロセッサ : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :9.3.3 プロセッサ間相互結合網 : : : : : : : : : : : : : : : : : : : : : : : : : : : :9.3.4 並列入出力装置 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :9.3.5 擬似ベクトル処理向けコンパイラ : : : : : : : : : : : : : : : : : : : : : : :9.3.6 システムソフトウェア : : : : : : : : : : : : : : : : : : : : : : : : : : : : :9.3.7 物理応用計算における実効性能 : : : : : : : : : : : : : : : : : : : : : : : :9.4 CP-PACS プロジェクト関係文献 : : : : : : : : : : : : : : : : : : : : : : : : : : :9.4.1 CP-PACS プロジェクト報告書 : : : : : : : : : : : : : : : : : : : : : : : : :9.4.2 CP-PACS プロジェクト全般 : : : : : : : : : : : : : : : : : : : : : : : : : :9.4.3 CP-PACS のアーキテクチャとソフトウエア : : : : : : : : : : : : : : : : :9.4.4 CP-PACS の性能評価 : : : : : : : : : : : : : : : : : : : : : : : : : : : : :32

10 並列計算機工学

52

11 計算素粒子物理学

57

12 計算宇宙物理学

70

13 計算物性物理学

7710.1 人工ニューラルネットワークの高速計算 : : : : : : : : : : : : : : : : : : : : : : :10.2 SMP クラスタにおけるハイブリッドプログラミングの研究 : : : : : : : : : : : : :10.3 分散メモリ型の並列計算機での並列データの再分散に関する研究 : : : : : : : : : :10.4 コード 最適化についての研究 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :11.1 クェンチ近似におけるハド ロン質量スペクトル : : : : : : : : : : : : : : : : : : : :11.2 完全な QCD のハド ロン質量スペクトル計算 : : : : : : : : : : : : : : : : : : : : :11.3 クォーク質量 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :11.4 重いハド ロンの物理の研究 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :11.5 有限温度 QCD : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :11.6 格子カイラルフェルミオン : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :

32
35
36
36
36
39
41
42
43
43
45
45
45
46
48
52
52
54
54
58
61
62
63
64
65

12.1 宇宙再電離の 6 次元輻射輸送計算 : : : : : : : : : : : : : : : : : : : : : : : : : : : 70
12.2 電離宇宙における銀河形成の輻射輸送流体力学計算 : : : : : : : : : : : : : : : : : 72
12.3 T タウリ型星フラットスペクトルの 5 次元輻射輸送計算 : : : : : : : : : : : : : : : 73
13.1 CP-PACS による物性物理学 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :13.1.1 超高圧下の固体水素の相構造 : : : : : : : : : : : : : : : : : : : : : : : : :13.1.2 高温超伝導 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :13.1.3 スピン系 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :13.2 炭素系新物質の物性解明 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :13.3 炭素系新物質の物質設計 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :
ii

77
77
77
77
78
78

14 未来開拓研究「次世代超並列計算機の開発」
14.1 プロジェクトの概要 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :14.2 研究目的 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :14.3 研究計画 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :14.4 研究組織 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : :14.5 「連続体向け超並列計算機の開発」サブプロジェクト : : : : : : : : : : : : : : : :

81

81
82
83
83
85
14.5.1 オンチップ メモリを用いた高性能プロセッサアーキテクチャSCIMA の開発 85
14.5.2 並列入出力・並列可視化システム PAVEMENT : : : : : : : : : : : : : : : 92

14.6 ヘテロジニアス・マルチコンピュータシステム（連続体・多粒子系融合型超並列計算機）の開発 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 98
14.6.1 HMCS のシステム構成 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 99
14.6.2 HMCS におけるアプ リケーション : : : : : : : : : : : : : : : : : : : : : : : 100
14.7 まとめと展望 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 101
14.8 未来開拓研究関係文献 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 103
14.8.1 年次報告 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 103
14.8.2 学術雑誌論文 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 103
14.8.3 国際会議発表論文 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 104
14.8.4 国内学会・研究会における口頭発表 : : : : : : : : : : : : : : : : : : : : : : 105

15 Supercomputing Conference への参加出展
108
15.1 SC98 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 108
15.2 SC01 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 109
16 センター外部評価

111

17 計算物理学研究センターの新設

113

18 付録

115

19 新聞・雑誌等記事

11918.1 設置関係法令等 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 115
18.2 学内規則等 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 116
18.3 センター内規則等 : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 118

iii

iv

1

序

筑波大学計算物理学研究センターは，平成 4 年 4 月 10 日に 10 年時限を付して設置され，平成14 年 3 月 31 日に時限満了を迎えた．本編は，この 10 年間の筑波大学計算物理学研究センターの研究活動と成果をまとめたものである．
第 2 章から第 5 章では，センターの沿革（ 第 2 章），組織と運営（ 第 3 章），全国共同利用（ 第4 章）及び国際交流（ 5 章）の状況を整理した．続いて，研究設備の中心である建物（ 第 6 章）と計算機システム（ 第 7 章）を紹介する．第 8 章から第 15 章では，超並列計算機 CP-PACS の開発製作を行った CP-PACS プロジェクトの概要（ 第 9 章）と CP-PACS を用いた計算物理学の成果（ 第 11 章 { 第 13 章），続いて，日本学術振興会未来開拓学術研究推進事業に基づいて実施した次世代超並列計算機の基礎技術開発プロジェクト（第 14 章）を中心として，センターの研究成果をまとめる．また，第 15 章には，これらの成果を展示した Supercomputing conference の Research
Exhibit への出展について記す．
計算物理学研究センターは，平成 14 年 4 月から，同一の名称のもとに，新たな 10 年時限の研究活動を開始することとなった．これに先だち，センターでは，将来計画の検討とそのための準備作業を行ったが，特に平成 11 年度にはその時点までのセンターの研究成果と将来計画について外部評価を受けた．第 16 章にその概要を記す．また，第 17 章に，新センターの設置に至る経緯と新センターの目標並びに組織構成を記した．
付録（ 第 18 章）には，センターの設置に関わる法令並びに学内規則及びセンター内規則をまとめた．
また，センターに関する新聞・雑誌等の記事を第 19 章に掲載した．

2

沿革

2.1

設置経緯及び目的

平成元年の学術審議会建議に基づき，平成２年度から「学術の新しい展開のためのプログラム」( 略称新プログラム) が発足した．このプログラムの実施テーマの一つとして「専用並列計算機による「場の物理」の研究」（ 研究代表者 筑波大学物理学系教授岩崎洋一（職名は当時））が採択され，平成 4 年度より 5ヶ年計画で実施されることとなった．
筑波大学計算物理学研究センターは，同研究課題の推進母体としての役割を果たし，同時に，計算物理学とそれに関係する並列計算機工学の研究を推進することを目的として，平成 4 年 4 月に，
10 年時限の全国共同利用施設として，筑波大学に設置されたものである．
付録第 18.1 節に，本センターの設置に関わる法令関係部分を掲げる．付録第 18.2 節に，これを受けて制定された学内規則「筑波大学計算物理学研究センター規則」を掲げる．

2.2

主要日誌

新プログラム研究課題「専用並列計算機による「場の物理」の研究」は，計算物理学に適した
超並列計算機を開発・製作し ，それを用いて素粒子物理学・物性物理学・宇宙物理学分野の重要問題の解決を図ることを目的とした．この課題によって開発・製作された超並列計算機は CPPACS(Computational Physics by Parallel Array Computer System) と名付けられ，これを取っ

1

て研究課題自体も，CP-PACS プロジェクトと呼ばれている．
本センターの最初の 5 年間の研究活動は，CP-PACS プロジェクトの推進にその主力が費やされた．超並列計算機 CP-PACS は，平成 8 年 9 月に予定どおり完成し，理論ピーク性能で 614G ops，
Linpack ベンチマークで 368.2G ops という，その時点での世界最高性能を実現した．これにより，
同年 11 月に米国ピッツバーグで開催された SuperComputing'96 国際会議において，CP-PACS は，「世界の高速計算機 Top 500 」の第一位に登録された．
以上の活動に並行して，センター設備の充実も進められた．センター建物は平成 5 年度 (計算機棟) と 6 年度 (研究棟) に分けて建設され，計算機室の空調設備及び CP-PACS 用の無停電電源装置の整備が平成 7 年度までに行われた．また，CP-PACS のフロントエンドとなるフロント計算機
システムの整備が 3 回（ 平成 5 年度・6 年度・9 年度）に分けて行われた．
CP-PACS の完成に伴い，平成 8 年度からはそれを用いた計算物理学の研究が本格化した．平成
13 年度までの 6ヶ年に，素粒子物理学を中心に，宇宙物理学，物性物理学における大規模計算が進められ，その成果が発表されている．
平成 9 年 3 月には，新プログラム研究の最終年度にあたり，素粒子物理学分野における格子量
子色力学をテーマとする国際会議「 Lattice QCD on Parallel Computers (並列計算機による格子
量子色力学) 」がセンターにおいて開催され，CP-PACS の開発・製作とそれによる素粒子物理学
上の最新の成果が報告された．
平成 7 年 4 月には，本センターは文部省の卓越した研究拠点 (COE) の一つに指定された．この制度は，平成 13 年度をもって終了したが，この間 7ヶ年にわたり，COE 指定に伴う予算措置を基礎として，国際交流の強化，設備の充実，若手研究者の育成等が図られ，大きな成果を挙げた．
計算物理学と並列計算機工学の分野は，世界的に極めて進歩が早い．従って，センターが最先端の研究水準を保つには，CP-PACS を超える次世代超並列計算機を目指した基礎研究を早い時期から進める必要がある．このような認識に立った研究プロジェクト「次世代超並列計算機の開発」が，日本学術振興会未来開拓学術研究推進事業「計算科学」の一つとして認められ，平成 9 年度より5ヶ年計画で実施された．このプロジェクトは，センター 10 年時限後半の中心的な研究活動の一つとなった．次世代科学技術計算向けプロセッサアーキテクチャSCIMA の開発と，柔軟で高速な並列入出力・可視化システム PAVEMENT の開発と実装が行われ，さらに，連続体・多粒子複合系の高速シミュレーションのためのヘテロジニアス・マルチコンピュータシステム（ HeterogeneousMulti-Computer System；HMCS ）の開発と実装が行われて大きな成果を挙げた．
センターは全国共同利用施設として設置されており，平成 4 年度以来，毎年研究会が開催されてきた．さらに，CP-PACS の順調な稼働により，平成 9 年度からは，CP-PACS を用いて始めて可能な大型計算を全国公募する「大規模数値シミュレーションプロジェクト」が開始され，CP-PACSの計算力を全国の研究者に提供した．
平成 10 年度には，CP-PACS の開発・製作とそれによる計算物理学の成果に始まり，未来開拓研究プ ロジェクト「 次世代超並列計算機の開発」に至る，センターの研究活動と成果が，SC98（ Supercomouting and Networking ）国際会議の Research Exhibit に出展された．また，平成 13
年度には，未来開拓研究の成果が，SC01 国際会議の Research Exhibit に出展された．
表 1 に，本センターの 10 年間の主要日誌をまとめる．

2

計算物理学研究センター主要日誌
平成 4 年

平成 5 年
平成 6 年
平成 7 年

平成 8 年

平成 9 年

平成 10 年

4月1日
4 月 10 日
7月3日
8 月 26 日
11 月 18 日
3月1日
8月3日
3月1日
3 月 30 日
4月1日
3 月 25 日
5 月 21 日
9 月 18 日
9 月 27 日
11 月 19 日
3 月 10 日-15 日
3 月 31 日
4月1日
3月1日
3月1日

平成 13 年
平成 14 年

11 月 9 日-13 日
3 月 25 日
11 月 9 日-10 日
3 月 21 日
7 月 3 日-7 日
11 月 12 日-16 日
2 月 21 日-22 日

平成 14 年3 月 31 日
3 月 31 日

平成 11 年
平成 12 年

新プログラム研究「専用並列計算機による「場の物理」の研
究」（ CP-PACS プロジェクト ）開始（ 5ヶ年計画）
計算物理学研究センター設置
計算物理学研究センター開所式
センター建物第一期工事（ 計算機棟）竣工
QCDPAX 移設
FCS（フロント計算機システム）第一期レンタル開始「新プログラム研究」中間評価（ 現地調査）
FCS（フロント計算機システム）第二期レンタル開始
センター建物第二期工事（ 研究棟）竣工
卓越した研究拠点（ COE ）指定
CP-PACS(1024PU) 完成設置
CP-PACS(1024PU) 完成披露式
CP-PACS(2048PU) 完成設置
CP-PACS(2048PU) が 、Linpack ベン チ マ ー クに 対し て
368.2G ops を記録（ 11 月発表「世界の高速計算機 Top 500 」
第一位）
CP-PACS(2048PU) 完成記者会見
国際会議「 Lattice QCD on Parallel Computers 」(並列計算機と格子量子色力学) 開催
新プログラム研究（ CP-PACS プロジェクト ）終了
未来開拓研究「次世代超並列計算機の開発」開始（ 5ヶ年計画）
FCS（フロント計算機システム）第三期レンタル開始
CP-PACS 全国共同利用「大規模数値シミュレーションプロ
ジェクト 」開始
SC'98 Research Exhibit 出展
QCDPAX 稼働停止
計算物理学研究センター外部評価実地調査
外部評価報告書公表
国際会議「 The Physics of the Galaxy Formation 」開催
SC'01 Research Exhibit 出展「計算科学の展望 { 計算物理学研究センター 10 周年シンポ
ジウム { 」開催
未来開拓研究「次世代超並列計算機の開発」終了
計算物理学研究センター 10 年時限満了

表 1: 計算物理学研究センター主要日誌

3

3

組織と運営

3.1

組織の概要

計算物理学研究センターの組織を，図 1 に示す．センター長の下に，研究部門と事務部門があり，また，センター運営のための審議機関として，運営委員会，運営協議会が置かれた．
研究部門は，計算素粒子物理学・計算宇宙物理学・計算物性物理学・並列計算機工学の 4 部門からなる．教官定員は，教授 3・助教授 3・講師 4 の計 10 名，また客員教官定員は，教授 1・助教
授 1 の計 2 名である．事務部門の定員は 2 名である．

図 1: 計算物理学研究センター組織

3.2

センター長

センター長は，筑波大学の専任の教授を資格とし ，筑波大学研究審議会の推薦を経て，学長が任命する．任期は 2 年である．表 2 にセンター長の氏名及び在任期間を掲げる．

3.3

センター教官

筑波大学では，全ての教官はいずれかの学系に所属することとなっている．従って，センター
教官についても，所属先の学系があり，勤務先がセンターという形態を取った．この点の明示が必要な場合は，「学系（ 計算物理学研究センター）」と表記する．
表 3 にセンター設立以来在職した教官一覧を掲げる．表 4 に同じく客員教官一覧を掲げる．

4

計算物理学研究センター長
氏名

所属

職

岩崎 洋一
岩崎 洋一
岩崎 洋一
宇川 彰
宇川 彰

物理学系
教授
物理学系（ 計算物理学研究センター） 教授（センター長事務取扱）
副学長
物理学系
教授
物理学系（ 計算物理学研究センター） 教授

在任期間

H4.4.10 H8.3.31
H8.4.1 H10.3.31
H10.4.1 H10.4.15
H10.4.16 H11.3.31
H11.4.1 H14.3.31

表 2: 計算物理学研究センター長在任期間

3.4

研究員

センターの研究活動は，センター教官及び各種の研究員により行われた．
研究員には以下の 4 種類がある．

 共同研究員
センターにおける計算物理学及び計算機工学の研究を共同で推進することを目的に，学内外の研究者に学長より委嘱する．
CP-PACS プロジェクトは総勢約 30 名の研究者により実施されたが，センター教官以外のプロジェクト メンバーについては，「 共同研究員」に委嘱し，緊密な共同研究を可能とした．
表 5 に，共同研究員一覧を掲げる．

 COE 研究員

平成 7 年度から 13 年度までセンターは「卓越した研究拠点（ COE ）」の指定を文部省より受けた．本研究員は，これに基づく若手研究者養成のための制度である．身分は非常勤講師．
採用は原則として公募による．任期は 1 年で，2 年目まで継続を認めている．
表 6 に在職者一覧を掲げる．

 COE 外国人研究員

同じく COE 指定に基づき，国際交流を目的として，外国人研究者をセンターに招聘するための制度．滞在期間は 3 カ月以上を条件とする．
表 7{8 に滞在者一覧を掲げる．

 日本学術振興会研究員

日本学術振興会の公募による，特別研究員（ DC・PD ）と外国人特別研究員があり，これらに加えて，日本学術振興会未来開拓学術研究推進事業に基づく研究員がある．
表 9{10 に研究員一覧を掲げる．

5

計算物理学研究センター在職教官一覧
氏名

職

所属

在職年月日

小柳 義夫

教授 (併任)

電子・情報工学系

H5.1.16 H6.3.31

和田 耕一

教授

電子・情報工学系

H11.7.1 H12.6.16

佐藤 三久
朴 泰祐
坂井 修一

教授
助教授
助教授

電子・情報工学系
電子・情報工学系
電子・情報工学系

H13.4.1 現在
H8.4.1 現在
H8.10.1 H10.3.31

千葉 滋

講師

電子・情報工学系

H9.8.1 H13.3.31

高橋 大介

講師

電子・情報工学系

H13.10.1

現職

計算機工学
東京大学大学院理学系研究科教授教授（電子・情報工学系）

東京大学大学院情報理工学系研究科教授
東京工業大学情報理工学研究科講師

現在

素粒子物理学
岩崎 洋一

教授

物理学系

宇川 彰
金谷 和至
吉江 友照

教授
助教授
講師
助教授
助手
助教授
助 手（ 特 別
教員配置 I種）
助 手（ 特 別
教員配置 II
種）
助手

物理学系
物理学系
物理学系
物理学系
物理学系
物理学系
物理学系

石塚 成人
青木 保道

RudolfBurkhalter
石川 健一

H8.4.1 H10.3.31

筑波大学副学長 (研究担当)

H11.4.1 現在
H4.4.10 H12.3.31 教授（ 物理学系）
H4.4.10 H9.8.31
H9.9.1 現在
H8.4.1 H13.3.31
H13.4.1 現在
H9.4.1 H12.4.30 RIKEN-BNL
Research Center（ 米国）PDF
H10.4.9 H13.6.30 KPMG（スイス） 勤

物理学系

務

H13.9.1

物理学系

現在

宇宙物理学
梅村 雅之
中本 泰史
須佐 元

助教授
教授
助手
助 手（ 特 別
教員配置 I種）

H5.11.1 H14.2.28
H14.3.1 現在
H8.4.1 現在
H12.4.1 H14.3.31

物理学系
物理学系
物理学系
物理学系

立教大学理学部講師(H14.4.1 より)

物性物理学
郡司 茂樹
岡田 晋

助手
講師

H8.4.1 H12.7.31
H13.3.1 現在

物理学系
物理学系

日本 Compaq 勤務

表 3: 計算物理学研究センター在職教官（ 現職は平成 14 年 3 月 31 日現在）

6

計算物理学研究センター在職客員教官一覧
氏名

職

所属

在職年月日

小柳 義夫

客員教授

電子・情報工学系

現職

計算機工学

H6.4.1 H14.3.31

東京大学大学院理学系研究科教授

宇宙物理学
中村 卓史

客員教授

京都大学理学部

H4.12.1 H6.3.31

観山正見

客員助教授

国立天文台

H4.11.16 H5.3.31

京都大学基礎物理学研究所教授
国立天文台教授

物性物理学
宮下精二

客員助教授

大阪大学理学部

H5.7.1 H7.3.31

根本 幸児

客員助教授

北海道大学理学部

H7.11.1 H14.3.31

東京大学大学院工学系研究科教授北海道大学大学院理学研究科助教授

表 4: 計算物理学研究センター在職客員教官（ 現職は平成 14 年 3 月 31 日現在）

3.5

センター教官及び研究員数の推移

表 11 に，センター設立以来のセンター教官及び各種研究員数の推移をまとめる．
教官数については，平成 7 年度までは，学内関連学系（ 主として物理学系及び電子・情報工学系）所属のまま，共同研究員としてセンターの研究活動に携わる教官が複数あったが，平成 8 年
度にはこれらのセンター勤務への配置換えが行なわれ，センター教官数が定員枠に見あったものとなった．
共同研究員については，当初より新プログラム研究「 CP-PACS プロジェクト」推進のための重要な要素として多数を擁していた．その他の研究員についても，年を追って充実した．なかでもCOE 外国人研究員については，毎年第一級の研究者が滞在し，センターの研究活動に大きく寄与した．

7

計算物理学研究センター共同研究員
氏名

所属・職

分野

青木 慎也
白川 友紀
星野 力
和田 耕一
安永 守利
押山 淳
金谷 和至
谷口 裕介

物理学系・教授
機能工学系・教授
機能工学系・名誉教授
電子・情報工学系・教授
電子・情報工学系・助教授
物理学系・教授
物理学系・教授
物理学系・助手

素粒子物理学
計算機工学
計算機工学
計算機工学
計算機工学
物性物理学
素粒子物理学
素粒子物理学

中澤 喜三郎
中田 育男
中村 宏
今田 正俊
大川 正典
小柳 義夫
川合 敏雄
川合 光
福来 正孝
観山 正見
森 正武
渡瀬 芳行
山下 義行
一井 信吾
中村 卓史
宮下 精二
中村 文隆
根本 幸児
坂井 修一
出渕 卓

明星大学情報学部・教授
法政大学情報科学部・教授
東京大学先端科学技術研究センター・助教授
東京大学物性研究所・教授
広島大学大学院理学研究科物理科学専攻・教授
東京大学大学院理学系研究科・教授
千歳科学技術大学光科学部・教授
京都大学大学院理学研究科・教授
東京大学宇宙線研究所・教授
国立天文台・教授
東京電機大学理工学部・教授
高エネルギー加速器研究機構・教授
佐賀大学理工学部知能情報システム学科・教授
東京大学大学院数理科学研究科・助教授
京都大学基礎物理学研究所・教授
東京大学大学院工学系研究科・教授
新潟大学教育学部・助教授
北海道大学大学院理学研究科・助教授
東京大学大学院工学系研究科・助教授
金沢大学理学部・助手

計算機工学
計算機工学
計算機工学
物性物理学
素粒子物理学
計算機工学
計算機工学
素粒子物理学
素粒子物理学
宇宙物理学
計算機工学
計算機工学
計算機工学
計算機工学
宇宙物理学
物性物理学
宇宙物理学
物性物理学
計算機工学
素粒子物理学

委嘱期間

H4.10.1 H14.3.31
H4.10.1 H14.3.31
H4.10.1 H13.3.31
H6.2.1 H14.3.31
H7.4.1 H14.3.31
H8.4.1 H14.3.31
H12.6.1 H14.3.31
H12.6.1 H14.3.31
H4.10.1 H14.3.31
H4.10.1 H14.3.31
H4.10.1 H14.3.31
H5.5.1 H14.3.31
H5.5.1 H14.3.31
H5.5.1 H14.31.31
H5.5.1 H14.3.31
H5.5.1 H14.3.31
H5.5.1 H14.3.31
H5.5.1 H14.3.31
H5.5.1 H14.3.31
H5.5.1 H14.3.31
H5.5.1 H14.3.31
H5.5.1 H14.3.31
H7.4.1 H14.3.31
H7.4.1 H14.3.31
H8.10.1 H14.3.31
H8.4.1 H14.3.31
H10.6.1 H14.3.31
H12.6.1 H14.3.31

表 5: 計算物理学研究センター共同研究員（ 所属・職は平成 14 年 3 月 31 日現在）

8

計算物理学研究センター COE 研究員
氏名

分野

在職年月日

現職

青木 保道
長井 敬一
江尻 信司
金児 隆志
菊地 信弘
富永 信一
森 正夫
梅田 貴士
西合 一矢

素粒子物理学
素粒子物理学
素粒子物理学
素粒子物理学
宇宙物理学
素粒子物理学
宇宙物理学
素粒子物理学
宇宙物理学

H8.4.1 H9.3.31
RIKEN-BNL Research Center（ 米国） PDF
H9.4.1 H10.3.31 CERN（ スイス） Scienti c Associate
H9.4.1 H10.3.31 Univ. of Swansea（ 英国）PDF
H10.4.1 H11.9.30 高エネルギー加速器研究機構助手
H10.4.1 H12.3.31 宇宙開発事業団研究員
H12.4.1 H13.3.31 高エネルギー加速器研究機構協力研究員
H12.4.1 H13.3.31 専修大学法学部専任講師
H13.4.1 現在
H13.4.1 現在

表 6: 計算物理学研究センター COE 研究員

計算物理学研究センター COE 外国人研究員
氏名

de Forcrand Philip
Mackenzie Paul
Zenkin Sergei
Toussaint Douglas
Petersson Bengt
Gavai Rajiv
Slavnov Andrei
Sharpe Stephen
Wittig Hartmut

所属・職

国名

分野

滞在年月日

チュー リッヒ 工 科 大学・教授
フェルミ国立加速器研
究所・上級研究員
ロシアアカデ ミー原子核研究所・上級研究員
アリゾナ大学理学部・教授
ビーレフェルト大学物理学科・教授タター基礎研究所・準教授
ステクロフ数学研究
所・主任研究員
ワシントン 大学物理学科・準教授オックスフォード 大学
物理学科・研究員

スイス

素粒子物理学H8.3.1 H8.5.31

米国

素粒子物理学H8.6.11 H8.9.10

ロシア

素粒子物理学H9.1.16 H9.7.15

米国

素粒子物理学H9.5.12 H9.8.19

ド イツ

素粒子物理学H10.2.3 H10.4.30

インド

素粒子物理学H10.4.24 H10.7.23

ロシア

素粒子物理学H10.5.1 H10.7.31

米国

素粒子物理学H10.10.1 H10.12.31

英国

素粒子物理学H11.2.15 H11.6.24

表 7: 計算物理学研究センター COE 外国人研究員

9計算物理学研究センター COE 外国人研究員（ 続）
氏名Karsch Frithjof
Ying He-Ping
Golterman Maarten
Montvay Istvan
Schram Zolt
Ferrara Andrea
Kronfeld Andreas
Patel Apoorva
Weisz Peter
Cappello Frank

所属・職

国名

分野

滞在年月日

ビーレフェルト大学物理学科・教授折江大学現代物理学研究所・準教授
Washington 大学物理学科・準教授DESY（ド イツ電子シンクロトロン ）・主任
研究員
ココスラショス大学・準教授
アルトセリ天文台・準教授
FNAL（国立フェルミ
加速器研究所）・上級
研究員
インド 科学研究所理論研究センター・準教授
マックス・プランク物理学研究所・準教授
パリ南大学情報学研究所・主任研究員

ド イツ

素粒子物理学H11.5.24 H11.8.23

中国

素粒子物理学H11.10.15 H12.1.14

オランダ

素粒子物理学H12.1.27 H12.4.26

ハンガリー

素粒子物理学H12.2.1 H12.4.30

ハンガリー

素粒子物理学H12.9.1 H12.11.30

イタリア

宇宙物理学

H12.6.28 H12.9.27

米国

素粒子物理学H13.2.1 H13.4.30

インド

素粒子物理学H13.4.17 H13.7.16

ド イツ

素粒子物理学H13.7.2 H13.10.1

フランス

計算機工学

H13.7.9 H13.10.8

表 8: 計算物理学研究センター COE 外国人研究員（ 続）10特別研究員
氏名

分野

在職年月日

現職

備考

菊川 芳夫 (PD)

素粒子物理学H4.4.1 H5.3.31

名古屋大学理学部助
教授
センター助教授
高エネルギ ー加速器研究機構助手新潟大学教育学部助教授（株）情報数理研究所
立教大学理学部講師

新プロ枠

石塚 成人 (DC)
蔵増 嘉伸 (DC)

素粒子物理学
素粒子物理学H4.4.1 H5.3.31
H5.4.1 H6.3.31

中村 文隆 (PD)

宇宙物理学

H7.4.1 H8.9.30

榧 昌吾 (DC)
須佐 元 (PD)
江尻 信司 (PD)

素粒子物理学
宇宙物理学
素粒子物理学H8.4.1 H9.3.31
H9.4.1 H12.3.31
H10.4.1 H13.3.31

大須賀 健 (DC)

宇宙物理学

H10.4.1 H13.3.31

of Swansea（ 英国）PDF
学振研究員（ PD) 京

長井 敬一 (PD)

素粒子物理学H10.7.1 H13.3.31

都大学
CERN（ ス イ ス ）田尻 祐紀子 (DC)岡本 昌高 (DC)

宇宙物理学
素粒子物理学H11.1.1 H13.3.31
H11.4.1 H14.3.31（株）Beacon IT 勤務
学 振 研 究 員（ PD ）野秋 淳一 (DC)

素粒子物理学H12.1.1 H13.6.30

米原 厚憲 (PD)

宇宙物理学

H13.4.1 H16.3.31

新プロ枠
新プロ枠
新プロ枠
新プロ枠

Univ.

PDF

KEK
RIKEN-BNL
Research Center（ 米国）PDF

外国人特別研究員
氏名

分野

在職年月日

Bock Wolfgang

素粒子物理学H7.10.1 H8.9.30

Burkhalter Rudolf

素粒子物理学H8.9.1 H10.3.31

Boyd Graham

素粒子物理学H8.11.1 H10.1.16

Shanahan Hugh

素粒子物理学

Lesk Victor

素粒子物理学現職

備考

フンボルト 大学物理学科研究員
KPMG（ スイス ）勤務
P & G Ltd. （ ベル
ギー）勤務

新プロ枠

H11.10.19 H12.9.15 Univ. of Cambridge（ 英国）PDF
H13.10.1 H15.9.30

表 9: 日本学術振興会研究員

11

新プロ枠
新プロ枠

未来開拓研究員
氏名

分野

在職年月日

現職

Shanahan Hugh

素粒子物理学H10.2.1 H11.1.31

Manke Thomas

素粒子物理学H10.6.1 H12.1.31

板倉 憲一

素粒子物理学
計算機工学

H10.9.1 H12.8.31
H11.4.1 H13.3.30

Univ. of Cambridge（ 英国）PDF
Columbia Univ.（ 米国）PDF

Lesk Victor

素粒子物理学H12.11.15 H13.9.30

Ali Khan Arifa

備考

海洋科学技術セン
ター研究員
学振外国人特別研究員（計算物理学研究センター）

表 10: 日本学術振興会研究員（ 続）年度

センター教官

平成 4 年度
平成 5 年度
平成 6 年度
平成 7 年度
平成 8 年度
平成 9 年度
平成 10 年度
平成 11 年度
平成 12 年度
平成 13 年度

3 (2)
4 (2)
3 (2)
3 (2)
9 (2)
11 (2)
10 (2)
12 (2)
12 (2)
11 (2)

共同研究員

COE 研究員

学内

学外

国内

国外

8
10
12
13
10
8
7
7
8
6

10
10
11
15
18
18
18
18
18

1
2
2
2
2
2

1
3
3
5
5
5
4

学術振興会研究員

DC・PD
2
1
1
2
1
5
6
5
3

外国人

1
3
2
1
1
1

未来開拓

1
3
3
3
1

表 11: 計算物理学研究センターにおける研究者数の推移（ 括弧内は客員教官数）

12

3.6

運営

センターの研究活動は，「 新プログラム」研究，「 未来開拓」研究等の長期にわたる大型プロジェク
ト研究の推進，CP-PACS を用いた計算物理学及び並列計算機工学の研究，そのための CP-PACS
を中心とする計算機システムの稼働と運用，これらの研究活動を支える諸設備の購入計画の立案と調達，研究会の開催など ，多岐にわたる．これらの活動を支えるためのセンターの運営は，センター長の統括の下に，次の三つの会議における審議と報告を基礎として，事務部門の協力を受けて行われている．それぞれの名称・構成・役割は次のとおりである．

 研究員会議
センター教官及び共同研究員を構成メンバーとする会議で，センター長を議長として，毎月第一土曜日に開催された．研究活動上の事項及びそれに関係する予算事項について，実施状況の報告と今後の方針の検討・立案が行われた．

 運営委員会

学内関連学系教官及びセンター教官から構成され，センター長を委員長として，2 カ月に 1回開催された．
センターの組織の新設・改廃の発議，教官人事，予算案・決算案等のセンターの運営に関わる重要事項を審議した．表 12 に，歴代運営委員会委員氏名を掲げる．

 運営協議会
学外の学識経験者，学内の関連学系教官及びセンター教官から構成され，センター長を委員
長とし ，年 1 回開催された．
センターの研究計画・事業計画の基本方針及び共同研究・共同利用に関する重要事項を審議した．
表 13 に，学外の歴代運営協議会委員氏名を掲げる．学内委員は運営委員会委員をもってこれに充てた．

3.7

人事センター教官人事は，筑波大学全体の人事選考規定に則り，筑波大学人事委員会の管轄の下に行われた．センターにおける審議は，運営委員会を中心に以下の順序に従った．

 専門分野の決定
センター運営委員会において，センターの研究目的，研究分野のバランスなどを考慮し審議した上で決定し，配置要望を行う．

 候補者の選出
候補者の選出は原則として公募によるが，諸般の事情により，学内外研究者の意見を広く聴取した上で公募を経ずに選出する場合もある．候補者の予備選考は，運営委員会で選出された教授 5 名により構成される人事小委員会において行われる．論文査読を含め，研究業績，
教育業績，人格等について，広くその適性が審査される．予備選考において候補者が確定した場合には，運営委員会の議を経て，人事委員会に選考発議が行われる．

 関連組織との間での調整
所属予定学系の了承を得て，候補者の選出を含めた人事選考を進める．

13

計算物理学研究センター運営委員会歴代委員
年度

選出区分
第3号

第4号

第5号

岩崎 洋一

宇川 彰
高山 一
谷津 潔

中澤 喜三郎
中田 育男

星野 力

平成 5 年度

岩崎 洋一

宇川 彰
高山 一
谷津 潔

中澤 喜三郎
中田 育男

星野 力

平成 6 年度

岩崎 洋一

宇川 彰
高山 一
谷津 潔

中澤 喜三郎
中田 育男

星野 力

平成 7 年度

岩崎 洋一

宇川 彰
高田 慧
谷津 潔

中澤 喜三郎
中田 育男

星野 力

平成 8 年度

岩崎 洋一

宇川 彰
高田 慧
谷津 潔

名取 亮
中田 育男

星野 力

平成 9 年度

岩崎 洋一

宇川 彰
押山 淳
谷津 潔

名取 亮
板野 肯三

星野 力

平成 10 年度

宇川 彰

梅村 雅之
朴 泰祐

梁 成吉
押山 淳
谷津 潔

山口 喜教
板野 肯三

星野 力

和田 耕一
金谷 和至
吉江 友照

平成 11 年度

宇川 彰

梅村 雅之
朴 泰祐

梁 成吉
押山 淳
谷津 潔

山口 喜教
板野 肯三

星野 力

和田 耕一
金谷 和至
吉江 友照

平成 12 年度

宇川 彰

梅村 雅之
朴 泰祐

金谷 和至
押山 淳
谷津 潔

山口 喜教
板野 肯三

星野 力

和田 耕一
吉江 友照

平成 13 年度

宇川 彰

梅村 雅之
朴 泰祐

金谷 和至
押山 淳
谷津 潔

山口 喜教
板野 肯三

白川 友紀

和田 耕一
佐藤 三久
吉江 友照

平成 4 年度

選出区分

第1号

第2号

第6号

(1) センター長(2) センターの維持管理に関係する教員のうちからセンター長が推薦する者 2 人(3) 物理学系から選出される教員 3 人(4) 電子・情報工学系から選出される教員 2 人(5) 機能工学系から選出される教員 1 人(6) その他センター長が推薦する本学の教員 若干人
表 12: 計算物理学研究センター運営委員会歴代委員

14

計算物理学研究センター運営協議会外部委員
選出区分
第4号

所属

職名

氏名

任期

東京大学宇宙線研究所
東京大学大学院理学系研究科
高エネルギー加速器研究機構
明星大学情報学部
法政大学情報科学部
東京電機大学理工学部
広島大学情報教育研究センター
東京大学物性研究所
京都大学基礎物理学研究所
京都大学基礎物理学研究所

教授 荒船 次郎 H4.12.1 H14.3.31
教授 小柳 義夫 H4.12.1 H14.3.31
機構長 菅原 寛孝 H4.12.1 H14.3.31
教授 中澤 喜三郎 H8.4.1 H14.3.31
教授 中田 育男 H9.6.1 H14.3.31
教授 森 正武H4.12.1 H14.3.31
教授 中村 純H10.4.1 H14.3.31
教授 高山 一
H10.4.1 H14.3.31
教授 中村 卓史 H10.4.1 H14.3.31
所長 益川 敏英 H10.4.1 H14.3.31

備考

選出区分 (1) センター長(2) センターの維持管理に関係する教員のうちからセンター長が推薦する者 2 人(3) 物理学系、電子・情報工学系、機能工学系の教員のうちから当該学系長が推薦する者 若干人
(4) 学長が学外の学識経験者のうちから委嘱する者 若干人(5) その他センター長が推薦する本学の教員 若干人
表 13: 計算物理学研究センター運営協議会歴代外部委員（ 所属職は平成 14 年 3 月 31 日現在）

3.8

予算

表 14 に，設立以来のセンター決算を掲げる．
平成 8 年度以降は，CP-PACS の稼働開始に伴い，電気料及び保守経費が校費支出の大部分を占めている．平成 5 年度から 7 年度にかけての設備費は，CP-PACS のための空調設備及び無停電装置の設置を目的とした．
新プログラム研究の財源は，科学研究費補助金（創成的基礎研究費）により，平成 4 年度から 8
年度にわたって措置された．
未来開拓研究の財源は，産学連携等研究経費により，平成 9 年度より 13 年度まで交付が行わ
れた．

3.9

卓越した研究拠点 (COE)

センターは，平成 7 年度より 13 年度まで，卓越した研究拠点 (COE) の指定を文部省より受けた．これに伴う予算措置には，既に第 3.4 節に記したように，非常勤研究員（ COE 研究員）経費，
外国人研究員経費がある．
非常勤研究員経費は，若手研究者養成に用いられた．在職者は表 6 に掲げたとおりである．
外国人研究員経費は，3 カ月以上の長期にわたり，諸外国の研究者をセンターに招聘して，情報交換・共同研究等を行ない，国際交流の推進を図る制度である．表 7{8 に示したとおりの滞在者実績がある．

15

計算物理学研究センター決算
年度 平成 4

平成 5

平成 6

平成 7

平成 8

平成 9 平成 10 平成 11 平成 12 平成 13

費目

427
783
785
793 1,251 1,568 1,352 1,786 1,193 1,382
講師等旅費
730 2,463 2,018 2,589 2,686 1,952 2,111 2,679 3,467 2,190
校費28,348 40,044 63,914 80,368 216,678 218,903 190,418 191,372 196,835 189,192
電子計 算機
8,997 122,282 279,769 279,769 281,095 286,860 286,860 286,860 282,080
職員旅費

借料
特別設備費
合計

70,445 48,363 229,999
57,00029,505 122,732 237,362 593,518 500,384 503,518 537,741 482,697 488,355 474,844

科学研究費補助金
創成的 基礎 30,670
研究費
一般種目
件数
金額

6
7,000

225,203 631,248 748,224 580,817
5
4,500

5
12
4,500 45,700

7
6
10
14
12
11
9,100 21,200 17,800 23,200 28,200 22,166

産学連携等研究費

110,162 103,055 104,611 102,463 160,925

未来開 拓研究

表 14: 計算物理学研究センター決算 (単位千円)

16

共同利用

4

センターでは，全国共同利用施設としての活動として，平成 4 年度の設立当初からセンター主催
研究会を毎年開催してきた．これに加えて，CP-PACS が順調に稼働する状況になったことから，
平成 9 年度より，CP-PACS の全国共同利用を行なった．

4.1

4.1.1

大規模数値シミュレーションプロジェクト
趣旨

このプロジェクトは，素粒子物理学・宇宙物理学・物性物理学の 3 分野を対象として，CP-PACSの高い計算性能を用いて始めて可能であるような大規模数値研究を全国公募するもので，平成 9
年度末より開始された．原子核物理学については，平成 10 年度後半より，素粒子物理学の関連分野として，応募を認めている．
プロジェクト 1 件あたりの計算時間は，平成 9・10 年度は，2048PU 相当で 100 時間を上限としたが，平成 11 年度からは，これを 200 時間に引き上げ，また学問上の理由が明確なものについて
は，これ以上の申請も認めている．
公募は年 2 回，1 月と 7 月に行われ，研究プロジェクトの採択は，上記 3 分野の外部委員と本センター関係者により構成される共同利用審査委員会により行われる．採択されたプロジェクトに対しては，年度末のセンター主催の研究会において，成果の報告を求めている．

4.1.2

実施状況

本プロジェクトは平成 9 年末に開始されたが，同年度は実施期間が限られていたため，9 年度と10 年度をまとめて実施した．表 15 に採択プロジェクト課題名と許可時間をまとめる．
表 15 に見るように，物理学各分野の多様な計算が行われているが，主たる計算は以下のとおりである．

 第一原理経路積分分子動力学法による高圧下での固体水素の相構造の研究
常行真司（ 東京大学物性研究所）他

 二次元ランダムハイゼンベルグ反強磁性体におけるスピンゆらぎ
高山一（ 東京大学物性研究所）他

 降着円盤の３次元抵抗性電磁流体数値実験
林 満（ 国立天文台天文学データ解析計算センター）他

 高温超伝導体の d-p 模型に関する計算物理的研究
山地邦彦（ 電子技術総合研究所）他

 最大エントロピー法を用いた有限温度量子色力学におけるスペクトル関数の解析
浅川正之（ 京都大学大学院理学研究科）他

 殻模型モンテカルロ法による核準位密度の微視的計算
中田仁（ 千葉大学理学部）

17

大型数値シミュレーションプロジェクト一覧
平成 9・10 年度
番号 課題名

1
2
3
4
5
6
7
8

代表者氏名

所属・職

厳密対角化法及び変分モンテカルロ法によ 横山 寿敏 他 東北大学大学院理学系研究5名
るスピンギャップ系の研究
科・助手
二次元ランダムハイゼンベルグ反強磁性体 高山 一 他 5 東京大学物性研究所・教授におけるスピンゆらぎ
名第一原理経路積分分子動力学法による高圧 常行 真司 他 東京大学物性研究所・助教下における固体水素の研究
授
4名
差動回転円盤における磁気乱流とダ イナモ 松元 亮治 他 千葉大学理学部・助教授
5名
短距離相互作用する不均一な古典粒子系の 樋渡 保秋 他 金沢大学理学部計算科学科・研究教授
6名
電子機構超伝導模型の計算物理的研究
山地 邦彦 他 電子技術総合研究所・首席
3名
研究官
ベクトルスピングラス模型の磁気異方性効 福島 孝治 他 東京大学物性研究所・助手
果
1名
モンテカルロ殻模型による核構造および電 水崎 高浩 他 東京大学理学部物理学教室・
子系の研究
助手
4名

許可時間

1638402048004096001945601024002048001536002048001638400

平成 11 年度
番号 課題名

1
2
3
4
5
6
7

代表者氏名

所属・職

擬２次元 d-p モデルにおける超伝導揺らぎ 山田 耕作 他 京都大学大学院理学研究科・
効果
教授
1名
最大エントロピー法を用いた有限温度量子 浅川 正之 他 名古屋大学大学院理学研究
色力学におけるスペクトル関数の解析
科・助手
2名
二次元ランダムハイゼンベルグ反強磁性体 藤堂 眞治 他 東京大学物性研究所・助手
における量子スピンゆらぎ
4名
高温超伝導体の d-p 模型に関する計算物理 山地 邦彦 他 電子技術総合研究所・首席
的研究
研究官
3名
オーダー N タイトバインディング分子動力 小田 竜樹 他 金沢大学理学部・助手
3名
学法による炭素の液-液相転移
個体表面における水素の高次元量子ダ イナ 笠井 秀明 他 大阪大学大学院工学研究科・
ミクス
教授
2名
原始星フレアと双極質量放出の３次元シミ 林 満 他 3 名 国立天文台 天文学データ解ュレーション
析計算センター・研究員

許可時間281600614400409600143360158720204800387072219955218

平成 12 年度
番号 課題名

1
2
3
4
5
6

代表者氏名

所属・職

最大エントロピー法を用いた有限温度量子 浅川 正之 他 名古屋大学大学院理学研究
色力学におけるスペクトル関数の解析
科・助手
3名
個体表面における水素の高次元量子ダ イナ 笠井 秀明 他 大阪大学大学院工学研究科・
ミクス
教授
3名
降着円盤の３次元抵抗性電磁流体数値実験 林 満 他 3 名 国立天文台 天文学データ解析計算センター・研究員
グルーオンプロパゲータの非摂動的振舞い 中村 純 他 2 広島大学情報教育研究セン
ター・教授
名
オーダー N タイトバインディング分子動力 小田 竜樹 他 金沢大学理学部・講師
学法による炭素の液-液相転移
3名
高温超伝導体の超伝導相図の研究
山地 邦彦 他 電子技術総合研究所・主席
2名
研究官、筑波大学・物質工学系連携併任教授

許可時間9216001024002048001536002048002048001792000

平成 13 年度
番号 課題名

1
2
3
4
5

代表者氏名

所属・職

最大エントロピー法を用いた有限温度量子 浅川 正之 他 京都大学大学院理学研究科
2名
色力学におけるスペクトル関数の解析
殻模型モンテカルロ法による核準位密度の 中田 仁
千葉大学理学部・助教授
微視的計算
個体表面における原子・分子の第一原理量 笠井 秀明 他 大阪大学大学院工学研究科
子ダ イナミクス
応用物理学専攻・教授
3名
３次元イジング模型の高温展開
有末 宏明 他 大阪府立工業高専・教授
1名
降着円盤における磁気拡散と磁気乱流の３ 林 満 他 3 名 国立天文台 天文学データ解
次元電磁流体シミュレーション研究析研究センター・科学技術振興事業団研究員

許可時間1126400
5632003072004096003072002713600

表 15: 計算物理学研究センター大型数値シミュレーションプロジェクト一覧（ 許可時間は、1 PU
換算の CPU 時間）

19

4.2

センター主催研究会

共同利用の一環であるセンター主催研究会は，平成 4 年より毎年実施している．表 16 にその一覧を挙げる．
平成 4 年度から 8 年度の CP-PACS プロジェクト実施中は，その進行状況がセンター主催研究会において毎年報告された．平成 8 年度に CP-PACS が完成して以降は，CP-PACS による計算結果を含めて計算物理学を主テーマとする研究会，また，高性能計算機の現状と今後をテーマとする研究会等が開催されている．
研究会の記録としては，それぞれの終了後，講演スライド をまとめて写真複写製本し ，会議録を作成配布している．

年度

4
5
6
7
7
8
8
8
9
9
10
10
11
11
12
12
12
13
13
13

研究会題目

開催日

並列計算機と計算物理学
天体物理学における輻射輸送過程
並列計算機と計算物理学
滞在型ワークショップ「銀河形成」
格子上の場の理論
クェーサー活動性と銀河形成の物理的関連

Lattice QCD on Parallel Computers（ 国際会議）並列計算機による物理学
並列分散環境におけるハイパフォー
マンスコンピューティング
計算物理学 における超大型数値シミ
ュレーションの技法
輻射輸送・輻射流体力学研究会
CP-PACS による計算物理学
銀河形成の物理
CP-PACS による計算物理学
Physics of Galaxy Formation（ 国際会議）
原始惑星円盤ワークショップ
CP-PACS による計算物理学
深惑星探査のサ イエン スを 考え る
ワークショップ
CP-PACS による計算物理学
計算科学の展望{計算物理学研究セン
ター 10 周年シンポジウム{

平成 5 年 3 月 16 日
平成 6 年 3 月 1 日 3 日
平成 6 年 12 月 6 日 7 日
平成 7 年 12 月 1 日 6 日
平成 8 年 3 月 5 日 7 日
平成 9 年 3 月 5 日 7 日

85
84
120
40
60
50

平成 9 年 3 月 10 日

15 日

40

平成 9 年 3 月 26 日 27 日
平成 10 年 3 月 23 日 24 日

100
60

平成 10 年 3 月 25 日

27 日

100

平成 10 年 6 月 10 日 12 日
平成 10 年 2 月 15 日 17 日
平成 11 年 12 月 6 日 8 日
平成 11 年 2 月 8 日
平成 12 年 7 月 3 日 7 日

30
40
50
50
100

平成 12 年 2 月 7 日 9 日
平成 12 年 2 月 13 日
平成 13 年 9 月 24 日 25 日

40
30
40

平成 13 年 2 月 4 日
平成 14 年 2 月 21 日

15125

表 16: 計算物理学研究センター主催研究会一覧

20

参加者数

22 日

国際交流

5

CP-PACS の開発・製作とそれを用いた計算物理学の成果は，並列計算機工学及び計算物理学の分野で，国際的に注目を浴びた．これを反映して，センターには，情報交換や共同研究を目的とする訪問・滞在希望が多く寄せられている．
計算物理学及び並列計算機工学の国際的な拠点として国際交流を推進することは，センターの重要な役割であり，各種の研究員制度の活用，国際会議の開催などにより，活発な国際交流を実施してきている．

5.1

センターにおける研究への参加センターでは，日本学術振興会の外国人特別研究員制度や，未来開拓学術研究推進事業の研究
員制度を活用して，外国人若手研究者を採用し ，センターにおける CP-PACS を用いた研究に参加させている．これらの制度により現在までにセンターに滞在した研究者一覧は，表 9{10 に挙げられている．

5.2

COE 外国人研究員

よりシニアーな外国人研究者からの訪問・滞在希望に応える制度として，COE 外国人研究員枠を用いて，毎年 3 ー 4 名の外国人研究者を招聘している．外国人研究者の選択は，センター教官
からの招聘と，国際的な公募によるものを併用している．
現在までに，この制度を利用してセンターに滞在した外国人研究者のリストは表 7{8 にある．

5.3

国際会議開催CP-PACS プロジェクト最終年度の平成 8 年度に，文部省国際研究集会経費を受け，国際シンポジウム「 Lattice QCD on Parallel Computers (並列計算機による格子量子色力学) 」を，平成 9 年
3 月 10 日{15 日にわたり開催した．国外からは，当該分野の第一線の研究者を殆んど 網羅した 23
名，国内からは 17 名，計 40 名を参加者とし ，素粒子物理学における格子量子色力学をテーマとして，CP-PACS による最新の結果を含む分野全般の２成果が報告・討議された．会議録は，オラ
ンダ Elsevier 社刊行の Nuclear Physics B (Proc. Suppl.) 60A 巻に収録されている．
また，平成 12 年 7 月 3 日-7 日にわたり，文部科学省の国際研究集会開催予算 COE 分により，宇宙物理学分野で国際シンポジウム「 Physics of Galaxy Formation（ 銀河形成の物理）」を開催した．CP-PACS による 6 次元輻射輸送計算の報告を始め，銀河形成に関わる最新の研究成果の報告
討論が行われた．会議録は，Astronomical Society of the Paci c Conference Series Vol. 222 として出版された．

21

建物

6

センター建物は，計算機棟である第 1 期分 (698m2 ) が平成 5 年夏に竣工し ，研究棟である第 2
期分 (1090m2 ) が平成 7 年春に竣工した．図 2 に，計算機棟及び研究棟平面図を示す．

図 2: 計算物理学研究センター建物平面図

7

計算機システム7.1

システム概要計算機システムは，センターの中心設備であり，

 超並列計算機 CP-PACS 並列プログラム開発等を目的とする小型並列システム Pilot-3
 CP-PACS のフロントエンド として機能するフロント計算機システム（ FCS ） 一般用及び「未来開拓」研究用のワークステーション群
22

campus LAN

cppacsccpfcsFCS

pilot1PILOT1

CP-PACS

disk

disk

Pallarel softwaredevelopment server

Real time performancemonitor

CMT libqcdpaxQCD-PAXccphws3

ccphws4

ccphws6

ccphws5

File server

ccphfsdisk

ccphfs2
FDDI

MO disk lib

disk

Cluster server

Analysis server

ccphas1

ccphcl1

disk

ccphcl2

Highspeed
Switchccphas2

ccphcl3

disk

ccphcl4
Graphic
SystemManagement Server
ccphws1

ccphgws1

ccphcl5

ccphws2

ccphcl6color PR

ccphcl7

siriuscallisto

100Base-TX
Switching HUB

lupus

aries

pleiadesleo

scorpio

phobospilot3
PILOT3leda1
leda2
100Base-TX
Switching HUB

disk

blazerquasargeminiliner

cancerseyfertaltairWorkstation for Future Program

general Workstations

deimos

leda3

metis

leda4
leda5
fast Workstations

Description
File server . analysis server NFS client
File server . analysis server, pleiades NFS client

italic type

hostname

図 3: 計算物理学研究センター計算機システム（ 平成 10 年 3 月 1 日{平成 14 年 2 月 28 日）

23

筑波大学

計算物理学研究センター

計算機システム配置図

30440
7500

7500

7500

7500

220

220

空調機

空調機

空調機

成端箱
ルータ
LIC2

CVCF室

電気室

UPS
二酸化炭素消火設備

WS
WS

WS

WS

WS

WS

WS

WS

プログラム開発室

QCD-PAX
電
源
分
配
装
置

DKU

MTライブラリ

DKC

pilot3CD
GW
pilot1
CD

Pilot3

オペレーション室

Pilot1

計算機室

解析サーバ

クラスタWS

RAID

WS

cppacs
CD
ACD
CSC
監視装置

CPU

MCD

保守作業員室

CP-PACSPRCMTPDU PDU PDU

便所

GWS
PR

便所
技官室

WS
WS

WS

WS

PR

ACDC
LIC

con

空調機

空調機

空調機

空調機

図 4: 計算物理学研究センター計算機器配置（ 平成 10 年 3 月 1 日{平成 14 年 2 月 28 日）から構成された．システム構成は年を追って整備された．図 3 に，平成 10 年 3 月 1 日から平成 14
年 2 月 28 日まで稼働した，システムの構成概要を示す．図 4 に，計算機棟におけるシステム機器
配置を示す．表 17 に，システムの諸元を示す．ここに示したシステムは，CP-PACS が完成稼働
後，数々の大規模物理応用計算が実施されたシステムである．
FCS の中心となるのは，CP-PACS のジョブ制御を行うホスト計算機（ ccpfcs ） である．ホス
ト計算機には，容量 354Gbyte の磁気ディスク装置，2103 巻（ 21Tbyte ）の 10GByte テープを収容するカートリッジ磁気テープライブラリ装置などの大容量外部記憶装置が接続された．計算結果の解析のためには，ファイルサーバ・解析サーバ・ワークステーションクラスタと，それに接続された磁気ディスクアレ イや光磁気ディスク装置，可視化のためのグラフィックワークステーショ
ンと画像 VTR 装置などが整備され，これらの間は高速なデータ転送を可能とする FDDI により結ばれた．
CP-PACS プロジェクトの礎となった並列計算機 QCDPAX は平成 2 年度に完成したが，同機も平成 5 年 11 月にセンターに移設され，平成 11 年 3 月に稼働を停止するまで素粒子物理学のシミュ
レーションに用いられた．同機は，平成 11 年 10 月 5 日に解体撤去されている．

24

大型計算機群
ホスト名等

演算性能

主記憶容量

ディスク容量

CP-PACS
Pilot-3

614G ops
29G ops
250M ops

128GByte
24GByte
512MByte

595GByte (Raid-5)
256GByte(Raid-5)
354GByte

フロントホスト

備考

ワークステーション群
種別
ファイルサーバ
解析サーバ
計算用クラスタ
並列プログラム開発
管理用
一般利用
未来開拓関連台数

主記憶容量等

ディスク容量22
72|
1GByte||229GByte (Raid-5)
602GByte(Raid-5)
|
|

2
16
4

|
|
|

|
|
|

備考

大容量外部記憶装置
種別

媒体

磁気テープライブラリ

カート リッジ型磁
気テープ(10GByte/巻)
光 磁 気 デ ィス ク
(2GByte/枚)

光磁気デ ィスクラ
イブラリ

媒体巻数

総容量

2103

21TByte192

384GByte

備考

表 17: 計算物理学研究センター計算機システム諸元（平成 10 年 3 月 1 日 { 平成 14 年 2 月 28 日）

25

7.2

システムの整備

フロント計算機システムは，センター予算の電子計算機等借料によるレンタルにより，平成 5 年
度・6 年度・9 年度の三期に分けて整備された．表 18 に整備の進行状況の概要を示す．
また，計算機システムのための電源，空調，無停電装置などの付帯設備も，平成 4 年度から 7 年度にかけて整備された．表 19 に，これらの整備状況と最終規模を示す．
なお，フロント計算機システムは，センター時限最終年度である平成 13 年度に大幅な更改を行い，平成 14 年 3 月 1 日からは，新システムが稼働している．
第 1 期 (H6.3.1)

機器

第 2 期 (H7.3.1)

第 3 期 (H10.3.1)

250M ops
1 GB
354GB
989 巻 800MB=791GB

250M ops
512MB
354GB
2103 巻 10GB
=21TB

ホスト系

250M ops
128MB
50GB

フロントホスト
磁気デ ィスク
磁気テープライブラリ

ワークステーション系
ファイルサーバ
解析サーバ
計算用クラスタ
並列プログラム開発
管理用
グラフィック用
光磁気ディスクライブラリ

1(90GB)72
2
1
192 巻 2GB
=384GB2
12(229GB)2(602GB)7
2
2
1
192 巻 2GB
=384GB

ネットワーク系

ETHERNET

計算機棟 (1)

計算機棟 (2)
研究棟 (1)
計 算 機 棟/研 究 棟
共通 (1)

FDDI

計算機棟 (2)
研究棟 (1)
計 算 機 棟/研 究 棟
共通 (1)

表 18: フロント計算機システム整備

7.3

システムの運用

計算機システムの運用は，センター教官及び技官から構成される計算機システム運用委員会によって行われた．運用委員会は，システム運用方針を定めるとともに日々の運用に責任を持つ．表20 に，歴代運用委員会委員を掲げる．
センター計算機システムの安定稼働のためには，稼働状況の監視，故障時の対処，定期保守が必要である．センターでは CP-PACS 等主要設備に自動監視装置を設置し ，遠隔監視及び保守業
務の契約を専門業者と交わした．フロント計算機システムについては，レンタルにより導入した26

平成５年度

平成６年度

KVA
500
100
300

KVA
300

4

2

電源
計算機用
一般用
空調用
空調
台数 (24,000Kcal)

平成７年度

KVA
800
100
600

300

無停電装置
500KVA 5 分間

全体

6

12

設置完了
表 19: 建物付帯主要設備

ものであるので，その保守及び故障時の対処についてはレンタル契約に盛り込まれた．
運用委員会では，システムの運用について，CP-PACS 保守契約業者及びフロント計算機システ
ム納入業者との間で，「 計算機システム運用連絡会」を毎月 1 回開催した．この連絡会は，運用委
員会主査を議長とし ，運用上生じた問題事項の検討・整理，システム改善のための技術情報の交換，運用日程の調整等を行った．
また，CP-PACS の共同利用（第 4 章参照）に対応するため，運用委員会では共同利用担当及び共同利用担当主査を定めた（表 20 を参照）．共同利用者の技術的相談に応えるためには，CP-PACSの使用経験のある大学院学生をプログラム相談員としてアルバイト雇用した．

7.4

7.4.1

システムの利用と稼働の状況
登録ユーザ

センターの計算機システムは CP-PACS を中心とするものであるので，CP-PACS プロジェクトの進行中は，同プロジェクト関係者にユーザ登録が制限されていた．平成 9 年度からは，CP-PACSの全国共同利用が開始されるに伴い，「 大規模数値シミュレーションプロジェクト 」（第 4 章参照）の採択課題研究者について，登録を行っている．表 21 に，平成 6 年度以来の登録ユーザ数を示す．

7.4.2 CP-PACS 稼働統計
表 22 に，平成 8 年 3 月に CP-PACS(1024PU) が完成設置されて以降，平成 14 年 3 月までの，
CP-PACS の主要な日誌を掲げる．この間の運用において，安定稼働のために最も対策を必要とした事項はネットワークの調整および分散ディスク（容量 1TB の Raid-5 ディスク）のソフトウェア
調整である．前者については，平成 9 年 7 月-8 月のクロックケーブル交換及び平成 11 年 11 月のク
ロック位相変更作業を経て，平成 11 年 12 月以降は極めて安定した稼働を実現した．後者については，640 ド ライブ／ 1TB のシステムに対する予想障害率 1.54 件/月に対し ，平成 9 年 4 月から平成 13 年 10 月までの統計で，2.05 件/月であった．但し，縮退原因のほとんどは，メディアエラー
の閾値オーバによる予防閉塞であり，実際にファイルが失われた障害は一件も発生していない．
CP-PACS を含む計算機システムは，定期保守（フロント計算機システムは 1 カ月に 1 回・CP-

27

計算物理学研究センター計算機システム運用委員会
役割

氏名

主査

宇川 彰
吉江 友照

共同利用主査宇川 彰
金谷 和至

home page 主査
委員

期間

朴 泰祐
佐藤 三久
宇川 彰
朴 泰祐
吉江 友照
梅村 雅之
金谷 和至
千葉 滋
佐藤 三久
石塚 成人
富田 雅
野澤 昭夫
神谷 紀夫

所属

H6.3.1 H12.3.31
H12.4.1 H14.3.31
H10.3.1 H12.3.31
H12.4.1 H14.3.31
H8.11.1 H13.3.31
H13.4.1 H14.3.31
H6.3.1 H12.3.31
H6.3.1 H14.3.31
H6.3.1 H14.3.31
H6.3.1 H13.3.31
H6.3.1 H13.3.31
H9.4.1 H13.3.31
H13.4.1 H14.3.31
H13.4.1 H14.3.31
H6.3.1 H14.3.31
H9.4.1 H12.3.31
H13.4.1 H14.3.31

物理学系
物理学系
物理学系
物理学系
電子・情報工学系
電子・情報工学系
物理学系
電子・情報工学系
物理学系
物理学系
物理学系
電子・情報工学系
電子・情報工学系
物理学系
計算物理学研究センター技官
計算物理学研究センター技官
計算物理学研究センター技官

表 20: 計算物理学研究センター計算機システム運用委員会

計算物理学研究センター計算機システム登録ユーザ数
年度

物理学
教官

平成 6 年度
7 年度
8 年度
9 年度
10 年度
11 年度
12 年度
13 年度

8
9
9
11
11
11
13
14

計算機工学

研究員

学生

教官

2
7
20
25
29
30
32

9
10
5
8
8
8
12
12

11
11
13
16
17
17
18
19

共同利用

研究員

学生

2
7
5
3

8
22
27
29
25
19
23
13

教官

14
20
10
11
8

研究員

2
5
3
4
3

表 21: 計算物理学研究センター計算機システム登録ユーザ数

28

計
学生

14
16
2
7
3

36
54
61
114
129
106
123
107

PACS については 6 カ月に 1 回・空調機は 3 カ月に 1 回）を除き，年間を通じての連続運転を原則としている．
CP-PACS の 2048 台の PU は分割して運転できる．現在は，1024PU，512PU，256PU，64PU
を主な分割の単位として，日々の計算需要に応じ最も適当な分割形態を取って運用を行っている．
図 5 に，平成 8 年 4 月以来の CP-PACS の稼働状況を月毎の稼働時間及び稼働率で示す．
ここでいう稼働時間とは，ジョブの実行開始から終了までの CP-PACS における計測時間に，そのジョブの使用した PU 台数を乗じ ，これをジョブ全てについて積算したものである．従って左縦軸の単位は 100 万時間という大きな値になっている．この時間数を総 PU 数 2048 で割り，さらに日数に換算したのが，右縦軸である．この単位が，1 カ月あたり，実際の計算がどの程度行われたかの目安となる．
稼働率は，各月の全日数を分母に取り，上に定義した稼働時間（ 日数単位）を分子に取った比である．平成 8 年 10 月 4 日に 2048PU で稼働を開始して以来，平成 14 年 2 月 15 日までの約 5 年5ヵ月間の統計で，全経過日数に対する平均稼働率は 86.7% である．全経過日数から，保守のための日数を差し引き，これを分母に取ると，平均稼働率は 89.5%となる．
表 23 に，図 5 の数値を掲げる．
表 24 に，PU 分割毎の使用時間全使用時間に対する割合を挙げる．

平成 8 年

平成 9 年
平成 11 年

CP-PACS 主要稼働日誌
CP-PACS(1024PU) 完成設置

3 月 25 日
4月4日
8 月 20 日
9 月 18 日
9 月 27 日
10 月 4 日
3月1日
7 月 28 日{8 月 3 日
11 月 12 日{14 日 及び
11 月 29 日{30 日

同運用開始
同 2048PU 化のため運用停止
CP-PACS(2048PU) 完成設置
Linpack ベンチマークにて 368.2G ops/2048PU を達成
CP-PACS(2048PU) 運用開始
フロント計算機システム第三期稼働開始
CP-PACS ネットワーククロックケーブル交換作業
CP-PACS ネットワーククロック位相変更作業

表 22: CP-PACS 主要稼働日誌

29

0

10

20

30

40

50

60

70

80

90

100

0

0.E+000.2

2.E+050.4

4.E+050.6

6.E+050.8

8.E+051

1.E+061.2

1.E+061.4

1.E+06%(*106hour)
maintenance

30

PU256

Month

PU512
PU128

CP-PACS Used Rate

PU1024
PU64
PU48

図 5: CP-PACS 月間稼働時間及び稼働率

PU2048Month

1996.4
1996.5
1996.6
1996.7
1996.8
1996.91996.10
1996.111996.121997.1
1997.2
1997.3
1997.4
1997.5
1997.6
1997.7
1997.8
1997.91997.10
1997.111997.12
1998.1
1998.2
1998.3
1998.4
1998.5
1998.6
1998.7
1998.8
1998.91998.10
1998.11
1998.121999.1
1999.2
1999.3
1999.4
1999.51999.6
1999.7
1999.8
1999.91999.10
1999.111999.12
2000.1
2000.2
2000.3
2000.4
2000.5
2000.6
2000.7
2000.8
2000.92000.10
2000.112000.122001.1
2001.2
2001.3
2001.42001.5
2001.6
2001.7
2001.8
2001.92001.10
2001.112001.12
2002.1
2002.2

CP-PACS Jobs Used Time

PIOU
(days)

0

5

10

15

20

25

30

1996.4
1996.5
1996.6
1996.7
1996.8
1996.91996.10
1996.111996.121997.1
1997.2
1997.3
1997.4
1997.5
1997.6
1997.7
1997.8
1997.91997.10
1997.111997.12
1998.1
1998.2
1998.3
1998.4
1998.5
1998.6
1998.7
1998.8
1998.91998.10
1998.11
1998.121999.1
1999.2
1999.3
1999.4
1999.51999.6
1999.7
1999.8
1999.91999.10
1999.111999.12
2000.1
2000.2
2000.3
2000.4
2000.5
2000.6
2000.7
2000.8
2000.92000.10
2000.112000.122001.1
2001.2
2001.3
2001.42001.5
2001.6
2001.7
2001.8
2001.92001.10
2001.112001.12
2002.1
2002.2

1024PU4
5 月 6 月 7 月 8 月 9 月 合計
1996 94.75 253.03 241.43 435.39 373.87 0.00 1,398.47[%] 13 34 33 58 50 038

システム構成月
年

2048PU5 月 6 月 7 月 8 月 9 月 10 月 11 月 12 月 1 月 2 月 3 月 年間合計
1996
478.92 537.54 585.56 625.71 513.51 556.60 3,297.84[%]
64 74 78 84 76 74
75
1997 年 564.00 585.12 587.31 584.44 470.42 524.66 584.70 596.09 660.49 683.81 323.24 678.25 6,842.53[%] 78 78 81 78 63 72 78 82 88 91 48 91
77
1998 年 688.75 630.39 643.50 651.47 693.49 639.85 683.12 665.33 696.46 666.66 610.00 696.69 7,965.71[%] 95 84 89 87 93 88 91 92 93 89 90 93
901999 年 640.44 606.01 564.14 661.28 644.37 584.53 638.88 506.73 695.82 634.96 639.02 714.45 7,530.63[%] 88 81 78 88 86 81 85 70 93 85 91 96
85
2000 年 690.51 706.81 699.27 645.90 708.54 697.18 644.14 659.59 706.41 685.33 634.41 709.55 8,187.64[%] 95 95 97 86 95 96 86 91 94 92 94 95
93
2001 年 661.55 738.64 693.40 698.15 709.60 708.73 601.50 657.37 663.36 642.44 259.24
7,033.98[%] 91 99 96 93 95 98 80 91 89 86 77
91
合計
40,858.33[%]85

システム構成月
年4

表 23: 月別 CP-PACS 稼働統計．上段は月別稼働時間（ジョブ実行時間×使用 PU 台数の総和を2048 で割った時間数），下段は稼働率 (%)（ 上段稼働時間数の各月全時間数に対する比率）．
分割

使用時間

割合

PU 時間 ジョブ時間 ジョブ日数PU2048 5915385
2888.4120.3 6.8%
PU1024 9439879
9218.6384.1 10.8%
PU512 39018114
76207.3
3175.3 44.7%
PU256 23316617
91080.5
3795.0 26.7%
PU64 5957046
93078.83878.3 6.8%
保守72.2 4.1%



表 24: 分割別 CP-PACS 使用時間．PU 時間は CPU 時間 PU 台数．ジョブ時間は，PU 時間を
PU 台数で割ったもの．ジョブ日数は，ジョブ時間を 24 で割ったもの．平成 8 年 10 月 4 日から平成 14 年 2 月 15 日の統計．

31

研究活動の概要

8

センターにおける研究活動の重点は，その目的と時期により，以下のように大別することができる．

 CP-PACS プロジェクトの実施（ 平成 4 年度{8 年度）
 CP-PACS を用いた計算物理学の研究（ 平成 7 年度{平成 13 年度）
 CP-PACS を超える次世代超並列計算機の基礎研究（ 平成 9 年度{平成 13 年度 ）平成 4 年度からの 5 年間は，CP-PACS プロジェクト（第 9 節）の推進にセンターの全力が注がれた．特に平成 7 年度末に，1024PU 構成機が完成設置されるまでは，超並列計算機 CP-PACS の開発・製作（第 9.3 節）が，計算機工学分野・計算物理分野を問わず，センター関係研究者の最重点目標であった．
CP-PACS プロジェクトは，CP-PACS の開発・製作と同時に，それを用いた大規模数値計算により，計算物理学の研究を飛躍的に推進させることも目標としている．CP-PACS 用の物理応用計
算並列プログラムの開発は，CP-PACS の完成に先立ち，平成 7 年度後半から本格的に行われた．
その結果，物理応用計算は，CP-PACS の設置と同時に，平成 8 年度初頭から開始された．
物理応用計算の実行は，平成 8 年秋の 2048PU 構成の CP-PACS の最終的な完成と共に本格化した．最も重点が注がれたのは，素粒子物理学における格子量子色力学の計算である（第 11 節）．
また，それと並んで，宇宙物理学における輻射流体力学の計算が遂行された（ 第 12 節）．物性物
理学については，平成 9 年度に開始された全国共同利用「大規模数値シミュレーションプロジェ
クト 」により多数の計算が行われた（ 第 13 節）．
CP-PACS を始めとして，1997 年には超並列計算機のピーク演算性能は約 1T ops に達した．これによって，計算物理学は大きな進歩を遂げたが，より高い計算力を必要とする問題は数多く残されていた．従って，計算物理学の手法により，我々の自然界の理解を一層深めるには，CP-PACSを越える超並列計算機の開発研究が極めて重要と考えられた．このような問題意識に基づいて，センターにおいては，日本学術振興会未来開拓学術研究推進事業「計算科学」分野の一プロジェク
ト「次世代超並列計算機の開発」が平成 9 年度に開始され，5 か年計画で，次世代の超並列計算機の要素技術の基礎研究が行なわれた（ 第 14 節）．
表 25 に，平成 4 年度から，年度別・分野別に，センター関係教官による，学術誌掲載論文数・国際会議発表論文数・国内学会研究会発表数を挙げる．

9

CP-PACS プロジェクト

9.1

概要

高性能計算機の急速な発達により，科学技術分野において，数値的な方法による研究が飛躍的な進歩を遂げてきたことは良く知られている．この発展は，1970 年台初頭のベクトル型スーパーコンピュータの登場により本格的に始まり，1980 年台後半以降の並列計算機の進展により一層加速された．
このような発展のなかで重要な役割を果たしてきたのが専用並列計算機の開発である．物理学，特に素粒子物理学分野では，この方向は 1980 年台初頭から追求されてきた．筑波大学においては，
星野力等により 1970 年台から進められて来た並列計算機 PAX シリーズの 5 台目である QCDPAX

32

計算物理学研究センター研究成果発表統計年度
平成 4 年度
5 年度
6 年度
7 年度
8 年度
9 年度
10 年度
11 年度
12 年度
13 年度

物理学

計算機工学

総数

学術誌

国際会議

学会・研究会

学術誌

国際会議

学会・研究会

10
13
15
12
10
16
13
18
16
25

6
12
11
9
16
17
27
24
27
48

7
24
31
52
41
37
51
75
57
30

4
4
7
15
16
15
26
18
15
12

1
1
5
9
8
17
12
11
34
12

2
3
7
10
17
19
24
42
4
10

30
57
76
107
108
121
153
188
153
137

表 25: 計算物理学研究センター研究成果発表統計
が，素粒子物理学用として開発・製作され，1990 年の完成時点で，世界最高速に部類する 14G opsを達成した．
CP-PACS プロジェクトは，QCDPAX の成果を受け継いで，飛躍的高性能の並列計算機 CPPACS の開発・製作を行ない，それを用いて計算物理学の難問題の解決を図ることを目的として構想された．CP-PACS は Computational Physics with Parallel Array Computer System の略称である．同プロジェクトは，文部省「学術の新しい展開のためのプログラム」の研究課題「専用並列計算機による「場の物理」の研究」として，岩崎洋一（ 筑波大）を研究代表者として採択され，平成 4 年度から 8 年度にわたり，5 か年計画で実施された．
CP-PACS プロジェクトの実施，特に超並列計算機 CP-PACS の開発・製作のための財源は，科学研究費補助金（ 創成的基礎研究費）により，総額 22 億円が措置された．また，本センターが，同プロジェクトの推進母体として設置されたことは，既に述べたとおりである．
CP-PACS プロジェクトは，平成 4 年度当初，7 機関 20 名からなる研究者グループにより発足
したが，最終年度平成 8 年度には，研究者数は，9 機関 34 名に増加した．表 26 に，平成 8 年度の研究組織機構を示す．
CP-PACS プロジェクトの詳細は，計画実施半ばの平成 6 年夏の中間評価に際して作成された「専用並列計算機による「場の物理」の研究」進捗状況報告書（筑波大学計算物理学研究センター：
平成 6 年 12 月）及び計画終了後に作成された「専用並列計算機による「場の物理」の研究」研究
成果報告書；同付属資料（筑波大学計算物理学研究センター：平成 9 年 11 月）に詳述されている．
また，「 情報処理学会誌」37 巻に総合報告特集『計算物理学と超並列計算機 { CP-PACS 計画 { 』が掲載されている．CP-PACS 関係の文献を，第 9.4 節にまとめる．

33

研究課題「専用並列計算機による「場の物理」の研究」
研究リーダー

岩崎 洋一

筑波大学物理学系

小研究課題「「場の物理」専用並列計算機システムの研究」
研究代表者:
研究分担者:

中澤 喜三郎
星野 力
中田 育男
白川 友紀
和田 耕一
安永 守利
朴 泰祐
渡瀬 芳行
中村 宏
山下 義行
一井 信吾
小柳 義夫
森 正武
川合 敏雄
坂井 修一

筑波大学 電子・情報工学系
筑波大学 構造工学系
筑波大学 電子・情報工学系
筑波大学 機能工学系
筑波大学 電子・情報工学系
筑波大学 電子・情報工学系
筑波大学 電子・情報工学系
高エネルギー物理学研究所
東京大学先端科学技術研究センター
筑波大学 電子・情報工学系
東京大学 大型計算機センター
東京大学 理学系研究科
東京大学 工学部
慶応大学 理工学部
筑波大学 電子・情報工学系

小研究課題「「場の物理」に於ける諸問題の研究」
研究代表者:
研究分担者:

岩崎 洋一
宇川 彰
福来 正孝
大川 正典
青木 慎也
金谷 和至
吉江 友照
石塚 成人
中村 卓史
観山 正見
梅村 雅之
中本 泰史
今田 正俊
宮下 精二
川合 光
根本 幸児
押山 淳
郡司 茂樹
中村 文隆

筑波大学 物理学系
筑波大学 物理学系
東京大学 宇宙線研究所
高エネルギー物理学研究所
筑波大学 物理学系
筑波大学 物理学系
筑波大学 物理学系
筑波大学 物理学系
京都大学 基礎物理学研究所
国立天文台
筑波大学 物理学系
筑波大学 物理学系
東京大学 物性研究所
大阪大学 理学部宇宙地球科学科
高エネルギー物理学研究所
北海道大学 大学院理学研究科
筑波大学 物理学系
筑波大学 物理学系
筑波大学 物理学系

表 26: CP-PACS プロジェクト平成 8 年度研究組織機構図34

超並列処理システム調達主要手続き・日程
平成 3 年 4 月 2 日
平成 3 年 4 月 20 日
平成 4 年 2 月 20 日
平成 4 年 3 月 2 日
平成 4 年 4 月 23 日
平成 4 年 5 月 14 日
平成 4 年 6 月 12 日

開発協力可能性打診
回答締め切り全体計画書提出・回答要望書
全体計画書説明会
全体計画書回答
官報公示
開札・契約

14 社（ 内外国系 3 社）
12 社 回答
14 社（ 内外国系 5 社）
5 社 出席
12 社回答
基本設計の契約

表 27: 超並列処理システム調達主要手続き・日程

9.2

研究推進体制CP-PACS プロジェクトの大きな特徴の一つは，物理学者と計算機工学者が緊密な共同研究を実施した点にある．表 26 に見られるように，プロジェクト組織は，計算機工学者を中心とした「「場の物理」専用並列計算機システムの研究」班と，物理学者を中心とした「「場の物理」に於ける諸問題の研究」班の 2 つの研究班から構成されたが，実際は両者が実質的に一つのプロジェクトに有機的に取り組んだ．このため研究経費は各班に分配することなく全体で用いた．二つの専門家グループが定期的に会合する場として，計算物理学研究センターにおいて研究員会議を組織し ，ここでの議論を中心に共同研究を進めた．物理学者と計算機工学者が実質的な共同研究を行うことは，応用プログラムに対して高性能かつ信頼性のある並列計算機を開発するには非常に有効である．この伝統は先の QCDPAX プロジェクトから引き継がれたものである．
CP-PACS プロジェクトの第二の特徴は産学連携である．最先端の技術を採用するためにはメー
カーとの協力が欠かせない．
「 新プログラム研究」の実施テーマの一つとして，専用並列計算機による「場の物理」の研究が内定した時点から，内外の協力の可能性のあるメーカ 14 社に開発協力
可能性の打診を始め (表 27 参照），その回答を基に全体計画書を作成し ，それに対する回答要望書を 14 社（ 内外国系 5 社）に発送し，最終的には平成 4 年度の超並列処理システムの基本設計に関して，一般競争入札によって日立製作所と契約を結んだ．それ以降，日立製作所と協力して，大学側プロジェクト関係者と日立製作所側関係者をメンバーとする種々のワーキンググループを組織し，これを中心として，超並列計算機 CP-PACS の開発にあたった．
プロジェクトのメンバーの中には，汎用大型機及びスーパーコンピュータの開発の中心的な役
割をはたしてきた計算機工学者，世界に先駆け並列計算機システム PAX シリーズの開発を推進してきた計算機工学者，並列計算機 QCDPAX を用いて素粒子物理の研究を行なってきたグループ，スーパーコンピュータを用いて研究しているグループなどを擁していた．また日立製作所には，汎用大型機及びスーパーコンピュータを開発してきた豊富な経験・実績と高度な技術の蓄積があった．各々がこれまでの経験を生かし ，実効速度が速く，ユーザーに使い易く，信頼性の高いシステムを開発製作すべく，センター研究員会議，また日立製作所のメンバーを加えた種々のワーキング・グループなどの議論を中心として，色々な角度から検討を加え，CP-PACS の開発に取り組んだ．
プロジェクト実施中，センター研究員会議は 2 週間に 1 度程度，超並列計算機 CP-PACS のハー
ド ウエア及びソフトウエアのワーキング・グループ (WG) は始めの段階では別々に各々 1 ヶ月に35

1 度程度開催した．平成 6 年度の途中より，合同して行う方が有効である段階に差し掛かったとの判断より，以後ハード ウエア及びソフトウエアの合同ワーキング・グループを開催して CP-PACSを開発した．研究員会議では，超並列計算機 CP-PACS の開発方針，ハード ウエア WG 及びソフ
トウエア WG の報告，CP-PACS のフロント・計算機システムの構成などを議題として通常 2 〜
3 時間程度討論・報告が行なわれた．ハード ウエア WG， ソフトウエア WG 及び合同 WG では，
CP-PACS の開発に関する方針から技術的な細部にまでわたる議論を毎回 5 〜 6 時間程度かけて行なった．さらに適宜，コンパイラーの問題，ベンチマークの問題のためなどの，サブワーキン
グ・グループを構成し，詳細な議論を重ね研究を進めた．回数のみを挙げれば，平成 4 年度から 8年度までに，研究員会議は 95 回，ハード ウェアとソフトウェア WG は，合同 WG を 1 回と数えて，67 回，コンパイラー及びベンチマークのサブ WG は合計 20 回に上る．
CP-PACS プロジェクトの成功の理由は，以上のような体制に下で，物理学者・計算機工学者・メーカの三者が密接な協力の下に開発製作を進めたことが極めて大きな要素である．

9.3

CP-PACS の開発・製作

9.3.1 CP-PACS の設計方針と基本仕様
CP-PACS の基本設計においては，各種計算物理学を中心とする大規模科学技術計算を高速に処理するために，単体プロセッサの演算処理性能とそれらを結合する相互結合網の両者に対し ，実問題を対象とした最適化がなされるよう注意を払った．システム全体の要求仕様には，その規模の計算機上で計算可能な実問題に基づく各種目標パラメータが設定され，当時の技術レベルでそれを達成するための様々な工夫が行なわれている．
単体プロセッサの設計・開発においては，単純なピーク性能追及だけでなく，実問題におけるベクトル処理をマイクロプロセッサ上で効率的に処理するための擬似ベクトル処理機構が最も重要な要素技術として研究開発された．また，相互結合網においては，各種問題に柔軟に適応可能な
ハイパクロスバ網の実装を目指し，プロセッサの実効性能に見合ったデータ転送性能を実現した．
その他にも大量のデータを高速に記憶するための並列入出力装置，擬似ベクトル処理を活用するためのコンパイラ技術等，システムの各部において高性能化の実現を目指した．表 28 に CP-PACSの基本仕様を示す [4, 2]．

9.3.2

ノードプロセッサ

ノードプロセッサ単体での実効性能を追及することは CP-PACS における最重要課題であった．
当時のハード ウェア実装技術で数百 GFLOPS の全体性能を達成するには，数千台のマイクロプ
ロセッサによる分散メモリ型並列処理が最も現実的な手法であったが，キャッシュに頼った単純な RISC 型プロセッサでは大規模科学技術計算における十分な効率が見込めない．このため，CPPACS では当時のスーパコンピュータで実現されていた，ハード ウェアパイプラインによるベクトル処理をスーパスカラ型の RISC プロセッサで実現する機構として，スライド ウィンド ウによる擬似ベクト ル処理機構 (PVP-SW: Pseudo Vector Processor based on Sliding Window) が提案され，導入された [1]．
単体プロセッサにおける高速なベクトル処理を実現するには，十分なメモリバンド 幅を確保し ，
さらにメモリアクセスの遅延を隠蔽する必要がある．前者に関しては高密度実装されたメモリを複数バンクに配置することにより，パイプライン メモリを実現することで達成している．また後36

表 28: CP-PACS の基本仕様
総ピーク性能総主記憶容量
並列処理方式
演算プロセッサ数
単体プロセッサ

614.4 GFLOPS
128 GB
分散記憶型 MIMD 方式
2048 台アーキテクチャ
浮動小数点レジスタ数
クロック周波数
理論ピーク性能キャッシュメモリ
主記憶バンド 幅

相互結合網

入出力装置

トポロジ
リンク当たり転送バンド 幅
総バイセクションバンド 幅
ルーティング方式
転送プロトコルその他の機構PA-RISC1.1 仕様 + 擬似ベクトル処理機構
128
150 MHz
300 MFLOPS
L1: 16 KB (I) + 16 KB (D)L2: 512 KB (I) + 512 KB (D)
1.2 GB/sec
3 次元ハイパクロスバ (8  17  16)
300 MB/sec
614 GB/sec
固定ルーティングによる wormhole 転送
リモート DMA による高速転送
ハード ウェアバリア同期、ハード ウェア放送、
ブロックストライド 転送

128 台
RAID-5 構成、総容量 0.6 TB
HIPPI, 10base-T Ethernet

入出力プロセッサ数
ディスク装置外部ネットワーク37

者に関しては，浮動小数点レジスタ数を従来のプロセッサに比べ大幅に増やし ，演算対象となるデータを予めレジスタにロード する命令を十分に早い段階で先行発行することにより達成している．また，基本となるプロセッサアーキテクチャに対し ，レジスタ数を拡張しつつ互換性を保つために，スライド ウィンド ウの概念を導入した．
slide-windowed floating-point registers
0

g-1

g

0

g-1

g

window 00

window 1

physical registerm-1

logical (slide-windowed) register
31
local

global
g-1

g

31
local

globalwindow-offset

0

window i0

g-1
globalg
window-offset

g-1
global

31

31
local

g

local

local
window-offset

図 6: PVP-SW(擬似ベクトル処理機構) の概念図
図 6 に PVP-SW の原理を示す．この図では一般的な PVP-SW の構成を示しているが，CP-PACSのノードプロセッサの場合，総レジスタ数 m は 128 で，グローバルレジスタ数 g は 8, 12, 16 の 3
種類からソフトウェア指定できるようになっている．PVP-SW は原理的にあらゆるスーパスカラ
方式の RISC 型プロセッサに適用可能であるが，CP-PACS では基本プロセッサとして PA-RISC
1.1 を採用し ，これに対する機能拡張という形で PVP-SW を実現している．
物理的なレジスタ空間は複数の論理的なウィンドウに分割される．1 つの論理的なウィンドウ内のレジスタ数は，拡張前のアーキテクチャで定義される数 (図 6 では 32) と等しい．ウィンド ウの位置は window-o set で与えられる．各ウィンド ウは global 部と local 部にわかれ，global 部のレジスタは全てのウィンド ウに共通である．ある時点ではただ 1 つのウィンド ウのみがアクティブであり，拡張前のアーキテクチャにおける命令は全てこのアクティブウィンド ウ内のレジスタのみを用いる．一方，ソフトウェアにより，このアクティブウィンド ウを物理的ウィンド ウ空間内
で自由に移動 (スライド ) することが可能である．このようにして，上位互換性を維持しながら多数のレジスタを利用可能となる．
このようなアーキテクチャの上で，データ処理は基本的に

 将来必要となるデータに対するメモリからレジスタへの先行ロード
 既にロード 済みの，アクティブウィンド ウ内のレジスタ上のデータの演算処理
 演算処理済みのレジスタからのメモリへのストアの 3 つのステップで処理される．第一及び第三のステップのために，全物理レジスタをデータ転送対象レジスタとして指定可能な特殊なロード /ストア命令として，プリロード 命令とポストスト
ア命令が追加される．これらの命令は「置いてきぼり処理」によりプロセッサの演算パイプラインを停止させない．上記処理をスーパスカラ的に同時発行・処理し ，適当なタイミングでデータのプ リロード とアクティブウィンド ウの切り替えを行うことにより，ベクトル計算機と同等の処理をスーパスカラプロセッサ上で実現可能となる．

38

MFLOPS
40

30

scalar(cold)
scalar(warm)

20

prefetch(cold)
prefetch(warm)

10
PVP
0
10

100

1000

10000

1000001000000

Vector Length

図 7: ベクトル加算における PVP-SW の性能
図 7 に，ベクトル加算処理における PVP-SW と，代表的なメモリ遅延隠蔽手法であるキャッシュ
プリフェッチとの性能比較を示す．これにより，PVP-SW がキャッシュサイズを上回るデータ量に対しても，効率的なベクトル処理を実現していることがわかる [3]．

9.3.3プロセッサ間相互結合網

CP-PACS ではプロセッサ間相互結合網としてハイパクロスバ網 (HXB: Hyper-Crossbar Network) と呼ばれるトポロジを採用した．典型的な大規模科学技術計算では隣接プロセッサ間の無衝
突データ転送が必要となる (QCD 計算もこれに含まれる)．すなわち，全プロセッサが一斉に同一方向の隣接プロセッサに対してメッセージを転送した場合，それらのメッセージはネットワーク
上で互いに衝突することなく，ピーク性能に近いスループットで転送される必要がある．HXB 網
ではプロセッサ台数に無関係に，論理的に近接配置されたプロセッサ間でこのような転送を実現することが可能であり，さらにより複雑なデータ転送パターンにも対応可能な柔軟なトポロジを持つ．これは，QCD 以外の広汎な科学技術計算にも柔軟に対応可能な計算機の設計を目指すことにつながる [2]．
図 8 に CP-PACS におけるプロセッサ間相互結合網を示す．HXB のトポロジは n 次元の超立方体の概念を拡張した形としてとらえることができる．ここで次元数 n は任意に選択可能であるが，CP-PACS 実装時の実装技術を想定した結果，3 次元の構成が妥当であると考えた．次に，各次元のプロセッサのサイズを決定する．これは全プロセッサを 3 次元の直方体の形に配置することに相当し ，例えば 2048 ノード の場合，典型的な構成は 8 16 16 という形になる (直方体である
ため，各次元のサイズが一致している必要はない)．実際の CP-PACS では，演算プロセッサ 2048
台 + 入出力プロセッサ 128 台という構成のため，全体では 8 17 16 の構成になっている．
CP-PACS における 3 次元 HXB では，高速なメッセージ転送を行うため，Wormhole 方式のメッセージ転送方式を行う．これは，中継点の各プロセッサが一旦メッセージを蓄えるのではなく，その位置のプロセッサを経由せず，ある XB から別の XB へのメッセージの直接転送を行うことにより，上記 3 ステップの転送を一気に行う方法である．このために，各プロセッサと XB を結合する部分に EX (Exchanger) と呼ばれるルータスイッチを置く．
Wormhole 方式の HXB には以下のような特徴がある．

 

 

 通信距離が短い．これは短いメッセージを頻繁に転送する際に有利である．
39

8

17

16

Z

Y
X

X 次元クロスバスイッチ
Y 次元クロスバスイッチ

EX (Exchanger)
PU (Processing Unit)IOU (I/O Unit)

Z 次元クロスバスイッチ

Hard Disk (RAID-5)

図 8: CP-PACS の全体構成図40

 同一サイズの正方格子結合 (Mesh/Torus) を直接無衝突でエミュレートできる．さらに，サイズあるいは次元数が異なる場合でも，総ノード 数が等しいか小さければ，それをエミュレー
トできる．

 Binary-n-Cube ネットワークの部分的なエミュレートが容易である (同ネットワークで無衝突で行なえる転送パターンの多くが，同様に無衝突で実現できる)．

 各 XB の出力を全開放にすることにより，ブロード キャスト転送が容易に行える (通常の 1
対 1 転送と同じ時間で可能)．

 ランダム転送 (送受信のノードの対が動的にランダムに決定するような通信) におけるスルー
プットが，他のネットワークに比べ非常に高い．

CP-PACS では高速なメッセージ転送立ち上げを実現するために，ユーザアプリケーションから直接ネットワークへのメッセージ転送起動が行えるように，特別な機構を用意した．この機構を用いる転送を RDMA (Remote Direct Memory Access) 転送と呼ぶ．RDMA モードによるデータ
転送では，予めシステム登録された送受信双方のユーザアプリケーションの特定メモリ領域間で，OS を介在させない完全なゼロコピー通信が実現され，最小限の遅延・処理時間で大量のデータ転送を実現可能で，特に大規模科学技術計算においてその実力が発揮される [5]．

Throughput (MB/sec)

100
90
80
70
60
64KB
48KB
32KB
16KB

50
40
30

20
0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9
Message generate ratio1

図 9: ランダムなデータ転送における HXB 網の性能
図 9 に，プロセッサ間で完全なランダム転送を行なった場合の 3 次元 HXB 網の総スループット
を示す．これからわかるように，HXB 網ではどのようなデータ長のメッセージも，無衝突時のリンク当たりピーク性能 (300 MB/sec) の約 30%程度の実効性能で転送できている．(同サイズの 3
次元トーラス網では，ピーク性能の約 10%程度まで性能は落ちる)

9.3.4

並列入出力装置

大規模科学技術計算の結果生じる大量の中間データ及び最終データを保持するために，CP-PACSには大規模分散ディスク装置が設置されている．これは大量のディスク装置の集合体であり，エラー対策のために RAID-5 による冗長管理が行なわれている．
また，ディスクへの大量のデータの高速アクセスを可能にするために，128 台の入出力プロセッ
サ (演算プロセッサ 16 台に対し 1 台の割合) を別途用意し，各入出力プロセッサに独立な RAID-5

41

ディスクシステムを接続した．これにより，最大 128 のデータストリームが一斉にディスクに書き込まれ，入出力の効率的な並列処理が実現されている．これらの入出力プロセッサは，演算プ
ロセッサと 3 次元 HXB 網で結合されており，全てのプロセッサからのデータ入出力処理を高速に転送・処理することが可能である．
図 8 において，y 次元方向の最も奥に位置しているプロセッサ群が，ディスク装置を伴なった並列入出力プロセッサ群である．この他にも，並列入出力プロセッサは，HIPPI インタフェースを通じたフロントエンド 計算機とのデータ転送においても，ディスク装置に対する並列アクセスに
より演算開始・終了時の大量のデータ転送を高速化している．

9.3.5

擬似ベクト ル処理向けコンパイラ

PVP-SW を効率的に利用するためのコンパイラの基本アルゴ リズムは，ソフトウェアパイプラ
イニングの手法を利用したものである [6]．基本アルゴ リズムを例を用いて示す．図 10 に示すプ
ログラム片は，2 命令同時発行可能なスーパスカラプロセッサでは図 11 のような目的コード へ変換される．ただし ，命令を読みやすくするために，通常の機械語表現ではなく，代入文に模した表記を用いた．また，ここには定常的な繰り返し部分 (カーネル部) だけ示してある．最後の命令
CondBranch はループのインデックスを増加し 終了判定をする命令である．なお，ここでは簡単のため，遅延分岐は考慮してないが，実際のコンパイラでは勿論それも考慮している．

for(int i = LOW; i < HIGH; i++){tmp = c[i]*(tmp+d[i-1]);a[i] = tmp;b[i] = d[i];}図 10: 擬似ベクトル処理対象のソースコード

実行サイクル

0: b[i-1]:= R(30)
1: a[i-1]:= R(28)
2: R(125):= c[i+47]
3: R(124):= d[i+46]
4: Slide += -2
5: CondBranch| 同時に実行される命令| R(29):= R(28)+R(30)| R(30):= R(31)*R(29)

図 11: 擬似ベクトル処理の目的コード
このプログラムは以下のような考えで生成されている．まず，もとのプログラムのループ 1 回分の実行命令を考えてみる．最初に，次の２つの preload 命令で，現在のウィンド ウでは見えていな
い遠くのレジスタに c と d をロード する（ R(0) から R(31) までが見えているレジスタである）．この後で，ウィンド ウをスライド させる命令「 Slide + = -2 」を１回実行すると，上の命令の対象と42なっているレジスタの論理番号は R(125)，R(124) から R(123)，R(122) へと変化する．スライド
命令を 47 回実行したときに，これらは R(31)，R(30) となってウィンドウの中に入るので「 tmp =
c[i]*(tmp+d[i-1]); 」の演算を実行することが出来る（ メモリのレーテンシが相当大きくてもそれまでにはロードが完了しているはずである）．その命令が「 R(29):= R(28)+R(30) 」と「 R(30):=
R(31)*R(29) 」である．ここでは，加算のレーテンシは２としている．前者の命令の R(30) は d[i1] の値であり，後者の命令の R(30) は tmp のレジスタである．この R(30) はスライド 命令を１回実行すると R(28) となる（それが前者の命令で R(28)=tmp として使われている）．したがって「 a[i] = tmp; 」は次のスライド 命令を実行してから「 a[i]:= R(28) 」とすればよい．
以上の命令の繰り返し 実行を滞りなく実行するためには，c[i] などに関してこれらの計算をすると同時に，後の繰り返しのために c[i+47] の preload 命令等を発行し，前の繰り返しで計算したtmp の値を a[i-1] に poststore する必要がある．それらを，命令の同時発行の可否，発行のタイミ
ング等を考慮の上，詰め込んだものが前記のプログラムである．

9.3.6

システムソフト ウェア

CP-PACS のオペレーティングシステム (OS) は，Mach 3.0 マイクロカーネルに基づく UNIXOSF/1 を採用している．2048 台のプロセッサとメモリ等の資源を効率良く運用し ，アプ リケー
ション実行中のプロセッサ間通信のコストを最小限に抑えるためには，各プロセッサの OS コアはマイクロカーネル化することが理想である．CP-PACS では各演算プロセッサではマイクロカーネ
ルのみが稼働し ，入出力プロセッサでは UNIX の入出力機能インタフェースレ イヤが稼働するよ
うになっている．全てのユーザ及びシステムメッセージは，3 次元 HXB 上で RDMA 転送を用いた高速なマイクロカーネル間通信メッセージとして処理される．
全てのマイクロカーネル及び UNIX 入出力レ イヤは，システム中の特別な入出力プ ロセッサ
(SIOU: Supervisor Input/Output Unit) によって制御され，システム全体は単一システムイメー
ジを持つ一つの UNIX システムとして運用される．ここではファイルシステム，ユーザプロセス
等が全て単一システムとして管理されるため，ユーザはアプ リケーションの並列プロセスがどのプロセッサ上で実行されるかを意識することなく，自由な並列プログラミングが可能である．
コンパイラとしては，先述のアルゴ リズムを用いた擬似ベクトル処理機構用コンパイラ (Fortran90, C, C++) が用意されている．このコンパイラは自動並列化機能はサポートしておらず，基本的に各ノードプロセッサの演算の最適化を行なう．従って，並列プログラミングは分散メモリシ
ステム上での SPMD (Single Program Multiple Data) 型プログラミングを基本とする．CP-PACS
上でのセルフコンパイラの他に，外部ワークステーション上で稼働するクロスコンパイラも用意されている．
この他のシステムソフトウェアとしては，CP-PACS システム全体の稼働状況をモニタするリア
ルタイム性能モニタ，バッチ型ジョブ制御を可能にする NQS システム，外部環境との直接入出力を行なう X-window システム等が用意されている．

9.3.7

物理応用計算における実効性能

CP-PACS の完成稼動開始後，物理応用計算プログラム，特に格子 QCD プログラムについては，
精密な実効性能測定が行われ，その結果に基づいて，プログラムの最適化さらには通信ライブラ
リ及びコンパイラの改善が行われた．

43

表 29 に，格子 QCD 計算の基本プログラムの実効性能を示す [7]．red/black MR 法プログラム
は，クォーク行列を係数とする連立一次方程式の解を求めるものである．この計算は格子 QCD 全
般にわたり基本的であるので，コア部分は PVP-SW 機構を可能な限り活用したアセンブラにより書かれており，単体性能で 191M ops (ピーク性能 300M ops) を実現した．このプログラムは通信性能についても，210MByte/sec (ピーク性能 300MByte/sec) を実現し，通信を含めた実効性能
で，ピーク性能比 53%を達成している．その他の Fortran のみで書かれたプログラムについても演算性能はピーク性能の 30{40%以上，通信の割合は 10{20% となっており，QCD 計算に対する
PVP-SW 機構の有効性と，CP-PACS の演算性能と通信性能のバランスの良さを示す結果となっている．

program

MFLOPS/PU
codingsize
calc.
comm. total
R/B MR solver
191(83%) (17%) 159 assembler+F90 643  112(Wilson action)
99(84%) (16%) 84
F90
483  84
CG solver(KS)139(90%) (10%) 125
F90
323  128
Pure gauge update 134(95%) (5%) 127
F90
643  112
HMC (full QCD) 113(90%) (10%) 102 assembler+F90 243  48

# PU
2048
1024
256
2048
512

表 29: 格子 QCD プログラム実効性能（括弧内は全計算時間に対する演算と通信の割合を %で示す）

参考文献[1] H. Nakamura, H. Imori, K. Nakazawa, T. Boku, I. Nakata, Y. Yamashita, H. Wada, and Y.
Inagami, "A Scalar Architecture for Pseudo Vector Processing based on Slide-Windowed
Registers", Proceedings of ACM International Conference on Supercomputing '93, pp.298307, Tokyo, Jun. 1993.
[2] T. Boku, K. Itakura, H. Nakamura, K. Nakazawa, "CP-PACS: A massively parallel processor for large scale scienti c calculations", Proceedings of ACM International Conference on
Supercomputing'97, pp.108-115, Vienna, Jul. 1997.
[3] H. Nakamura, T. Wakabayashi, K. Nakazawa, T. Boku, H. Wada, and Y. Inagami, "Pseudo
Vector Processor for High-speed List Vector Computation with Hiding Memory Access
Latency", Proceedings of IEEE TENCON'94, pp.338-342, Singapore, Sep. 1994.
[4] K. Saito, M. Hashimoto, H. Sawamoto, R. Yamagata, T. Kumagai, E. Kamada, K. Mastubara, T. Isobe, T. Hotta, T. Nakano, K. Nakazawa, "A 150 MHz Superscalar RISC Processor with Pseudo Vector Processing Feature" Proceedings of Hot Chips VII('95), pp.197-205,
1995.
[5] K. Itakura, T. Boku, H. Nakamura, K. Nakazawa, "Performance evaluation of CP-PACS
on CG benchmark", Proceedings of HPC Asia'97, pp.678-683, Seoul, Apr. 1997.
44

[6] 山下 義行, 中田 育男, "ループ中に条件分岐を含む場合の最適なソフトウェア・パイプライニ
ング ", 並列処理シンポジウム JSPP'94 論文集, pp.17-24, 1994.
[7] S. Aoki, R. Burkhalter, K. Kanaya, T. Yoshie, T. Boku, H. Nakamura, Y. Yamashita, "Performance of lattice QCD programs on CP-PACS" (to be published in Parallel Computing)
hep-lat/9905036.
9.4

CP-PACS プロジェクト 関係文献

9.4.1 CP-PACS プロジェクト 報告書
1. 「専用並列計算機による「場の物理」の研究」進捗状況報告書（ 筑波大学計算物理学研究センター：平成 6 年 12 月）
2. 「専用並列計算機による「場の物理」の研究」研究成果報告書；同付属資料（ 筑波大学計算物理学研究センター：平成 9 年 11 月）

9.4.2 CP-PACS プロジェクト 全般
1. Y. Oyanagi, \New parallel computer project in Japan dedicated to computational physics",
in Proceedings of Lattice '92 (Amsterdam, The Netherlands, 15-19 Sept., 1992), Nucl.
Phys. B (Proc. Suppl.) 30 (1993) 229-232.
2. Y. Iwasaki, \Computers for lattice eld theories", in Proceedings of Lattice '93 (Dallas,
USA, 12-16 Oct., 1993), Nucl. Phys. B (Proc. Suppl.) 34 (1994) 78-92.
3. A. Ukawa, \Status of the CP-PACS Project", in Proceedings of Lattice '94 (Bielefeld,
Germany, 27 Sept.-10 Oct., 1994), Nucl. Phys. B (Proc. Suppl.) 42 (1995) 194-200.
4. 特集『計算物理学と超並列計算機 { CP-PACS 計画 { 』, 情報処理 37 (1996):
中村 宏, 「特集『計算物理学と超並列計算機 { CP-PACS 計画 { 』の編集にあたって」, p.10,
岩崎 洋一, 宇川 彰, 梅村 雅之, 「計算物理学と CP-PACS 計画」, p.11-17,
中澤 喜三郎, 中村 宏, 朴 泰祐, 「超並列計算機 CP-PACS のアーキテクチャ」, p.18-28,
中田 育男, 山下 義行, 小柳 義夫, 「超並列計算機 CP-PACS のソフトウェア」, p.29-37,
青木 慎也, 金谷 和至, 吉江 友照, 「超並列計算機 CP-PACS の計算物理学分野における実効性能の予測」, p.38-42.
5. 中澤 喜三郎, 「計算物理学研究用並列計算機: CP-PACS 」, 応用数理, Vol.6, (1996) 17-28.
6. Y. Iwasaki, \Status of the CP-PACS Project", in Proceedings of Lattice '96 (St. Louis,
USA, 4-8 June, 1996), Nucl. Phys. B (Proc. Suppl.) 53 (1997) 1007-1009.
7. Y. Iwasaki, \The CP-PACS Parallel Computer Project", in Proceedings of International
Conference \Multi-Scale Phenomena and Their Simulation", World Scienti c (1997) 80-90.
45

8. Y. Iwasaki, \The CP-PACS project", in Proceedings of the International Workshop \Lattice QCD on Parallel Computers" (Tsukuba, March 10-15, 1997), Nucl. Phys. B (Proc.
Suppl.) 60A (1998) 246-254.
9. A. Ukawa, \The CP-PACS Parallel Computer", in Proceedings of CHEP'97 (Berlin, April
7-11, 1997) 595-600.
10. T. Boku, H. Nakamura, K. Nakazawa, Y. Iwasaki, \The Architecture of Massively Parallel
Processor CP-PACS", in Proceedings of 2nd Aizu International Symposium on Parallel
Algorithm/Architecture Synthesis (1997) 31-40.
11. T. Boku, K. Itakura, H. Nakamura, K. Nakazawa, \CP-PACS: A massively parallel processor for large scale scienti c calculations", in Proceedings of ACM International Conferenceon Supercomputing '97 (1997) 108-115.
12. K. Nakazawa, H. Nakamura, T. Boku, I. Nakata and Y. Yamashita, "CP-PACS: A massively parallel processor at the University of Tsukuba", Parallel Computing, Vol. 25,
pp.1635-1661, 1999.

9.4.3 CP-PACS のアーキテクチャとソフト ウエア【平成 4 年度】

1. 中村 宏, 位守 弘充, 伊藤 元久, 中澤 喜三郎, 「レジスタウィンド ウとスーパスカラ方式による擬似ベクトルプロセッサの提案」, 並列処理シンポジウム JSPP'92 論文集 (1992) 367-374.
2. K. Nakazawa, H. Nakamura, H. Imori, S. Kawabe, \Pseudo Vector Processor based on
Register-Windowed Superscalar Pipeline", in Proceedings of Supercomputing '92 (1992)
642-651.
【平成 5 年度】

1. 位守 弘充, 中村 宏, 朴 泰祐, 中澤 喜三郎, 「スライド ウィンド ウ方式による擬似ベクトルプ
ロセッサ」, 情報処理学会論文誌, 第 34 巻, 第 12 号 (1993) 2612-2623.
2. H. Nakamura, H. Imori, K. Nakazawa, T. Boku, I. Nakata, Y. Yamashita, H. Wada, Y.
Inagami, \A Scalar Architecture for Pseudo Vector Processing based on Slide-Windowed
Registers", in Proceedings of ACM International Conference on Supercomputing '93 (1993)
298-307.
3. 中村 宏, 中澤 喜三郎, 李 航, 位守 弘充, 朴 泰祐, 「スライド ウィンド ウ方式に基づく擬似ベ
クトルプロセッサ」, 情報処理学研究報告 93-ARC-101-11 (1993) 81-88.
【平成 6 年度】

1. 山下 義行, 中田 育男, 「ループ中に条件分岐を含む場合の最適なソフトウェア・パイプライ
ニング 」, 並列処理シンポジウム JSPP'94 論文集 (1994) 17-24.
46

2. 中澤 喜三郎, 朴 泰祐, 中村 宏, 中田 育男, 山下 義行, 岩崎 洋一, 「 CP-PACS のアーキテク
チャの概要」, 情報処理学会研究報告 94-ARC-108-9 (1994) 57-64.
【平成 7 年度】

1. 山下 義行, 中田 育男, 「ソフトウェア・パイプライニングにおける多重ループの最適化」,
並列処理シンポジウム JSPP'95 論文集 (1995) 185-192.
2. 斎藤 拡二, 橋本 眞宏, 澤本 英雄, 熊谷 多加史, 山縣 良, 釜田 栄樹, 松原 健二, 柏山 正守, 磯部
敏子, 堀田 多加志, 中野 哲夫, 清水 照久, 中澤 喜三郎, 「擬似ベクトル機構を有する並列コンピュータ向け RISC プロセッサ」, 電子情報通信学会技術研究報告 DSP95-104/ICD95-153(1995) 1-6.
3. K. Shimamura, S. Tanaka, T. Shimomura, T. Hotta, E. Kamada, H. Sawamoto, T.
Shimizu, K. Nakazawa, \A Superscalar RISC Processor with Pseudo Vector Processing
Feature", in Proceedings of ICCD'95 (IEEE International Conference on Computer Design: VLSI in Computers and Processors) (1995) 102-109.
4. K. Saito, M. Hashimoto, H. Sawamoto, R. Yamagata, T. Kumagai, E. Kamada, K. Mastubara, T. Isobe, T. Hotta, T. Nakano, K. Nakazawa, \A 150 MHz Superscalar RISC
Processor with Pseudo Vector Processing Feature", in Proceedings of Hot Chips VII('95),(1995) 197-205.
【平成 8 年度】

1. 秡川 友宏, 添野 元秀, 山下 義行, 中田 育男, 「 スライド ウインド ウを考慮したレジスタ割付」, 日本ソフトウェア科学会第 13 回大会論文集 (1996) 201-204.
【平成 9 年度】

1. 秡川 友宏, 添野 元秀, 山下 義行, 中田 育男, 「 スライド ウインド ウを考慮したレジスタ割付」, 情報処理学会第 54 回全国大会講演論文集 (分冊 1), (1997) 191-120.
【平成 10 年度】

1. 秡川友宏, 添野元秀, 山下義行, 中田育男, 「スライド ウィンド ウを考慮したレジスタ割付」,
情報処理学会論文誌, 39, 第 6 巻, (1998) 3684-3694.
【平成 11 年度】

1. 糸賀裕弥、秡川友宏、山下義行、中田育男, 「条件分岐を考慮したソフトウェア・パイプラ
イニングにおけるレジスタ割付」, 並列処理シンポジウム JSPP'99 論文, 39-46 (1999).

47

9.4.4 CP-PACS の性能評価【平成 4 年度】

1. 斎藤 哲也, 森本 貴之, 位守 弘充, 朴 泰祐, 中村 宏, 中澤 喜三郎, 「超並列計算機のネット
ワークの実現可能性と性能評価」, 情報処理学会研究報告 92-ARC-95-4 (1992) 25-32.
2. 位守 弘充, 中村 宏, 朴 泰祐, 中澤 喜三郎, 「擬似ベクトルプロセッサによるリストベクトル
処理とその評価」, 情報処理学会研究報告 92-ARC-96-17 (1992) 117-124.
【平成 5 年度】

1. 中村 宏, 位守 弘充, 中澤 喜三郎, 「レジスタウィンド ウ方式を用いた擬似ベクトルプロセッ
サの評価」, 情報処理学会論文誌 第 34 巻, 第 4 号 (1993) 669-680.
2. 朴 泰祐, 斉藤 哲也, 板倉 憲一, 中澤 喜三郎, 中村 宏, 「ハイパクロスバ・ネットワークの性能評価」, 電子情報通信学会技術研究報告 CPSY-93-40 (1993) 41-48.
【平成 6 年度】

1. H. Nakamura, K. Nakazawa, H. Li, H. Imori, T. Boku, I. Nakata, and Y. Yamashita, \Evaluation of Pseudo Vector Processor based on Slide-Windowed Registers", in Proceedings of
Hawaii International Conference on System Sciences 27 (1994) 368-377.
2. 朴 泰祐, 曽根 猛, 三島 健, 板倉 憲一, 中澤 喜三郎, 中村 宏, 「ハイパクロスバ・ネットワー
クにおける転送性能向上のための手法とその評価」, 並列処理シンポジウム JSPP'94 論文集(1994) 121-128.
3. 曽根 猛, 三島 健, 板倉 憲一, 朴 泰祐, 中村 宏, 中澤 喜三郎,「ハイパクロスバ・ネットワークにおけるバッファの利用法と転送性能について」, 電子情報通信学会技術研究報告 CPSY-94-53(1994) 97-104.
4. H. Nakamura, T. Wakabayashi, K. Nakazawa, T. Boku, H. Wada, and Y. Inagami, \Pseudo
Vector Processor for High-speed List Vector Computation with Hiding Memory Access
Latency", in Proceedings of IEEE TENCON'94 (1994) 338-342.
5. 板倉 憲一, 廣野 哲, 朴 泰祐, 中村 宏, 中澤 喜三郎, 「ハイパクロスバ・ネットワークにおける NAS ベンチマークの評価」, 情報処理学会研究報告 94-HPC-52-20 (1994) 119-126.
【平成 7 年度】

1. 朴 泰祐, 曽根 猛, 三島 健, 板倉 憲一, 中村 宏, 中澤 喜三郎, 「ハイパクロスバ網における適応ルーチングの導入とその評価」, 電子情報通信学会論文誌 第 J78-D-I 巻, 第 2 号 (1995)
108-117.
2. 板倉 憲一, 服部 正樹, 朴 泰祐, 中村 宏, 中澤 喜三郎, 「超並列計算機 CP-PACS におけるNAS-PB の仮想評価」, 情報処理学会研究報告 95-HPC-55-7 (1995) 49-56.
48

3. 廣野 哲, 上野 幸樹, 中村 宏, 朴 泰祐, 中澤 喜三郎, 「マルチバンクメモリ上における擬似
ベクトルプロセッサ PVP-SW の性能評価」, 情報処理学会研究報告 95-ARC-111-2 (1995)
9-16.
4. 曽根 猛, 朴 泰祐, 中村 宏, 中澤 喜三郎, 「ハイパクロスバ・ネットワークにおける virtualchannel の動的選択による適応ルーティング」, 並列処理シンポジウム JSPP'95 論文集 (1995)
249-256.
5. 朴 泰祐, 板倉 憲一, 曽根 猛, 三島健, 中澤 喜三郎, 中村 宏, 「ハイパクロスバ・ネットワー
クにおける転送性能向上のための手法とその評価」, 情報処理学会論文誌 第 36 巻, 第 7 号(1995) 1610-1618.
6. K. Itakura, M. Hattori, T. Boku, H. Nakamura, and K. Nakazawa, \Preliminary evaluationof NAS Parallel Benchmarks on CP-PACS", Proceedings of PERMEAN'95 (International
Workshop on Performance Evaluation and Analysis), (1995) 68-77.
7. 服部 正樹, 板倉 憲一, 朴 泰祐, 中村 宏, 中澤 喜三郎, 「 CP-PACS パイロットモデルにおける NAS 並列ベンチマークの評価」, 情報処理学会研究報告 95-HPC-57-8 (1995) 43-48.
【平成 8 年度】

1. T. Yoshie, \Benchmark test of CP-PACS for lattice QCD", in Proceedings of International
Workshop \QCD on Massively Parallel Computers" (Yamagata, Japan, March 16-19, 1995)
Prog. Theor. Phys. Suppl. 122 (1996) 8-24.
2. 曽根 猛, 服部 正樹, 朴 泰祐, 中村 宏, 中澤 喜三郎, 「 CP-PACS パイロットモデルにおける
LINPACK ベンチマークの高速化」, 情報処理学会研究報告 96-ARC-117-15 (1996) 83-88.
3. 添野 元秀, 山下 義行, 中田 育男, 「スライド ウインド ウを考慮したレジスタ割り付け」, 情報処理学会第 52 回全国大会講演論文集 (5), (1996) 13-14.
4. 曽根 猛, 朴 泰祐, 中村 宏, 中澤 喜三郎, 「ハイパクロスバ・ネットワークにおける Virtual
Channel の動的選択による適応ルーティング」, 情報処理学会論文誌 第 37 巻, 第 7 号, (1996)
1409-1418.
5. 松原 正純, 服部 正樹, 板倉 憲一, 朴 泰祐, 中村 宏, 中澤 喜三郎, 「超並列計算機 CP-PACS
における PVM の実装」, 情報処理学会研究会報告 96-ARC-119-3 (1996) 13-18.
6. 廣野哲, 中村宏, 朴泰祐, 中澤喜三郎, 「擬似ベクトルプロセッサにおける高速リストベクト
ル処理」, 情報処理学会論文誌 第 37 巻, 第 10 号, (1996) 1850-1858.
7. 板倉 憲一, 朴 泰祐, 中村 宏, 中澤 喜三郎, 「超並列計算機 CP-PACS の CG ベンチマーク
による性能評価」, 情報処理学会研究会報告 96-HPC-63-6 (1996) 31-36.
8. 村上 祥基, 朴 泰祐, 中村 宏, 中澤 喜三郎, 「 VHDL によるハイパクロスバ網用ルータチップの設計」, 情報処理学会研究会報告 96-ARC-121-3/96-DA-82-3 (1996) 17-24.

49

9. L. S. Yang, H. Machidori, T. Shirakawa, \BEM and BEM with SOR on the parallel
computer QCDPAX", Engineering Analysis with Boundary Elements, Vol.18 (1996) 231237.
【平成 9 年度】

1. Y. Abei, K. Itakura, T. Boku, H. Nakamura, K. Nakazawa, \Performance Improvement for
Matrix Calculation on CP-PACS Node Processor", in Proceedings of HPC Asia'97 (1997)
672-677.
2. K. Itakura, T. Boku, H. Nakamura, K. Nakazawa, \Performance evaluation of CP-PACS
on CG benchmark", in Proceedings of HPC Asia'97 (1997) 678-683.
3. H. Nakamura, K. Itakura, M. Matsubara, T. Boku, K. Nakazawa, \E ectiveness of Register
Preloading on CP-PACS Node Processor", in Proc. of Innovative Architecture for Future
Generation High-Performance Processors and Systems (IWIA'97) (1997) 83-90.
4. 板倉 憲一, 松原 正純, 朴 泰祐, 中村 宏, 中澤 喜三郎, 「超並列計算機 CP-PACS におけるNPB Kernel CG の評価」, 並列処理シンポジウム JSPP'97 論文集 (1997) 5-12.
5. M. Guo, Y. Yamashita, I. Nakata, \An EÆcient Data Distribution Technique for Distributed Memory Parallel Computers", 並列処理シンポジウム JSPP'97 論文集 (1997) 189196.
6. 秡川 友宏, 添野 元秀, 山下 義行, 中田 育男, 「レジスタ割付からみたスライド ウインド アー
キテクチャの優位性について」, 情報処理学会第 55 回全国大会論文集分冊 1, (1997) 16-17.
7. 板倉 憲一, 安部井 嘉人, 松原 正純, 朴 泰祐, 中村 宏, 中澤 喜三郎, 「超並列計算機 CP-PACSの基本性能評価」, 情報処理学会研究会報告 97-ARC-123-4, (1997) 19-24.
8. 服部 正樹, 松原 正純, 板倉 憲一, 朴 泰祐, 「超並列計算機 CP-PACS における分子動力学シ
ミュレーション」, 情報処理学会研究会報告 97-HPC-66-2, (1997) 7-12.
9. 松原 正純, 板倉 憲一, 朴 泰祐 , 「超並列計算機 CP-PACS における空間分割法による分子動力学法シミュレーション」, 情報処理学会研究会報告 97-HPC-69-10, (1997) 55-60.
10. 吉田英嗣, 安永 守利, 「超並列計算機 CP-PACS によるニューラルネットワーク計算の高速化」, 情報処理学会研究会報告 97-HPC-67-5, (1997) 25-30.
【平成 10 年度】

1. 板倉憲一, 松原正純, 朴泰祐, 中村宏, 中澤喜三郎, 「超並列計算機 CP-PACS における NPB
KernelCG の評価」, 情報処理学会論文誌, 39, 第 6 巻, (1998) 1757-1765.
2. M. Matsubara, K. Itakura, T. Boku, \Large Scale Molecular Dynamics Simulations on
CP-PACS", in Proceedings of HPC Asia'98 (1998) 321-331.

50

3. 吉田英嗣, 安永 守利, 吉原郁夫, 「 遺伝的アルゴ リズムを併用したニューラルネットワー
クの並列学習：超並列計算機 CP-PACS への実装と評価」, 情報処理学会研究会研究報告,
98-HPC-73-10, 55-60 (1998).
4. M. Yasunaga and E. Yoshida, \Optimization of Parallel BP Implementation: Training
Speed of 1,056 MCUPS on the Massively Parallel Computer CP-PACS", in Proc. IEEEand INNS Int. Joint Conf. on Neural Networks (1998) 563-568.
【平成 11 年度】

1. 松原 正純, 板倉 憲一, 朴 泰祐, 「超並列計算機用多段結合網における転送性能の解析」, 情報処理学会論文誌, 40, 第 5 巻, 2172-2182 (1999).
2. 松原 正純, 板倉 憲一, 朴 泰祐, "超並列計算機 CP-PACS における大規模分子動力学法シ
ミュレーション ", 情報処理学会論文誌 Vol.40, No. 5, pp. 2172-2182, 1999.
3. M. Yasunaga, E. Yoshida and I. Yoshiyara, \Parallel Back-propagation Using Genetic
Algorithm: Real-time BP Learning on the Massively Parallel Computer CP-PACS", inProc. IEEE and INNS Int. Joint Conf. on Neural Networks, CD-ROM (1999).

51

10

並列計算機工学

CP-PACS プロジェクト及び未来開拓プロジェクト（後述）以外にも，センターにおいては多様な計算機科学の研究が行われた．以下これらを要約する．

10.1

人工ニューラルネット ワークの高速計算

人工ニューラルネットワークは，生体の神経回路網モデル（ 数理モデル ）をベースとした情報
処理パラダ イムである．その工学的な目的は，神経回路モデルに基づく高度な知識処理（パターン理解や最適化問題解法など ）を実現することにある．生体の神経回路網は非常に多くの神経細胞から構成されたネットワークである． このため大規模な神経回路モデルの計算量は多大なものとなり，その高速計算が課題となっている．高速計算のためのアプローチには２つある．一つは並列計算機上にモデルをうまくマッピングすることで，もう一つは専用ハード ウェアを構築することである．
1997 年より CP-PACS を用いた前者のアプローチで研究を続けてきた．これまでの代表的な成果は以下の 2 点である．

1. BackPropagation 法（ 教師有り型の神経回路モデルで最も有名なモデル ）で学習速度 1,056
MCUPS を実現した（ 1998 年）[1]．MCUPS (Million Connections Updated Per Second)は BackPropagation 法の計算で１秒間に何回ノード（ 神経細胞）のパラメータを更新できるかを示す指標である．CP-PACS（ 256 ノード ）に新たに提案したネットワークマッピン
グ技術を適用することで，これまで報告されてきた性能値を大きく凌駕し ，GCUPS (Giga
Connections Updated Per Second) を実現することができた（表 30 ）．なお，1 GCUPS は，
1 秒間に約 6 万語の英単語の発音規則を学習できる性能である．
2. Self-Organiaztion Map 法（ 教師無し型の神経回路モデルで最も有名なモデル）を用いた顔画像認証システムを開発した（ 1999 年）[2]．図 12 にそのユーザインターフェース画面を示す．図中左側の碁盤（ 20 × 20 升）の 1 升が 1 つの神経細胞に対応する．顔画像を入力デー
タとして計算を繰り返すことにより，対象人物の顔画像に反応する神経細胞が形成される．
開発したシステムは，この特徴を利用した認証システムである．特定の顔画像に反応する神経細胞を形成するまでに通常のパソコンでは数分かかるところを，CP-PACS（ 64 ノード ）を用いることで約 10 秒で処理することができた．

CP-PACS を用いることで，大規模ニューラルネットワーク計算の高速化を実現することができた．今後は，工学的応用だけではなく，生理学的な神経回路シミュレーションの分野にもその利用範囲を広めることが期待できる．

10.2

SMP クラスタにおけるハイブリッドプログラミングの研究

近年の HPC（ ハイパフォーマンスコンピューティング ）用プラットフォームは，そのほとんどが SMP クラスタ，すなわちハード ウェアにより共有メモリ結合された複数のプロセッサの集合をノード とし ，さらにそれらをネットワーク結合した形のシステムが典型となっている．システムの規模は様々で，2 台程度の SMP-PC を少数台結合したものから，ASCI プロジェクトのマシンや地球シミュレータ等，ほぼ全ての大規模プラットフォームがこの構成をとっている．SMP クラ52

並列計算機ノード 数

CP-PACS
AP-1000
MP-1216
CM-5
CM-2
iPSC/860
Transputers

256
512
16384
32
65536
32
53

MCUPS
1055.6
82
41
18.3
13
11
1.54

表 30: Back Propagation 法の学習計算性能,
図 12: Self-Organizing Map を用いた顔認証システムの GUI 画面
スタは共有メモリと分散メモリという 2 種類の並列パラダ イムをアーキテクチャとして持っているため，そのプログラミングをどのように行うかが重要な問題となる．
このようなシステムにおける並列プログラミング手法としては，（ １）全てのプロセッサ間通信
をメッセージパッシングとし共有メモリパラダ イムを意識しないプログラミング，（ ２）ノード 内では共有メモリ（ スレッド ）プログラミングを行いノード 間ではメッセージパッシングを記述する
ハイブリッド 型プログラミング，（ ３）ソフトウェア DSM 等を用いた共有メモリのみによるプログ
ラミング，の 3 通りが考えられるが，現在の実用技術としては（１）または（２）が妥当である．
これらの方法がど ういう局面で性能上の優位点を持つかという問題について，SMP-PC クラス
タを中心とした研究を行ってきた．現在のメッセージパッシングプログラミングは MPI を用いるのが主流であり，一方，共有メモリ（ スレッド ）並列プログラミングでは OpenMP が主流となってきている．そこで，MPI のみを用いる場合と，MPI と OpenMP をハイブリッドで用いる場合を比較した場合，直感的にはハイブ リッド の方が本来の計算機アーキテクチャ特性を素直に反映するため性能面で有利だと考えられるが，実際には MPI のみを用いた場合の方が高性能になるという報告が多数なされている．このような現状に対し ，通信性能，アルゴ リズム，プロセッサのメモリアクセス率等に着目した性能解析を行ってきた [3, 4]．
これまで，SPAM (Smoothed Particle Applied Mechanics) 手法を用いた，多粒子による衝撃波解析問題を対象とし，様々なチューニングと性能解析を行った [5, 7, 6]．その結果，ハイブリッ
ドプログラミングにおいて，本来の MPI のみのプログラミングに比べ，プロセッサのキャッシュ53

ヒット率が大幅に低下する現象が見られた．この原因の一つとして，SPAM 粒子コードにおける
各 MPI プロセスの各処理ループをさらに OpenMP によって並列化した場合，データを生成する
スレッドとこれを消費するスレッドの関係が必ずしも一致せず，その結果キャッシュミスが多発する現象が観測された．この他にも，キャッシュ上のデータの false sharing も生じていると推測される．他にもスレッド 間の共有データアクセスのためのロックの問題やスレッド 管理オーバヘッドの問題もあるが，この解析結果においてはキャッシュヒット率が最大の要因であることがわかった．
以上の研究から，現在スレッドプログラミングの標準となっている OpenMP を，特に MPI によるオリジナルプログラムに適用した場合，予想外のメモリアクセスパターンにより，性能の大幅な低下が見られる場合があることが判明した．SMP クラスタにおけるプログラミング手法と性能解析は今後も重要なテーマであり，さらに詳細な解析や，OpenMP の API の改善に関する提言等を行うための考察を継続する予定である．

10.3

分散メモリ型の並列計算機での並列データの再分散に関する研究

分散メモリ型の並列計算機上で分散した配列データを計算の途中で再分散する場合は，（ １）転送すべき配列要素のインデックスの計算を効率良く行うこと，（２）転送を効率良く行うこと，が必要である．
（１）については，各プロセッサに分散された配列要素のインデックス集合の表現を工夫する
ことによって，その計算を効率良く行う方法を示した [1]．具体的には，1 次元配列の場合に各プロセッサに割当てられている添字の集合を LDD（ Local Data Descriptor ）と呼ぶ４つ組（ o, b, s,n ）で表す．ここで，o は先頭の添字（ 大域添字），b は連続して割当てられているブロックの長さ，s は次のブロックまでのストライド，n はブロック数である．これを多次元に拡張し，それを使って転送すべき配列要素の添字の集合が効率良く計算できることを示した [8]．
（２）については，再分散する場合に一斉に転送が起こるので，同一の計算機に対する複数の転送の要求がぶつかる可能性があるのが問題である．それがぶつからないように転送の順序をス
ケジュールする方法として，（ １）で考案した転送すべき配列要素のインデックス集合の表現を利用する方法を提案した [9]．具体的には，転送もとのプロセッサと転送先のプロセッサの組の間に成り立つ関係を LDD から計算することによって転送がぶつからないように転送順序を決めることが出来ることを示した．
また，それらをまとめたフレームワークを構成した [10]．

10.4

コード 最適化についての研究

CP-PACS 用コード 最適化の研究の後，特に以下の二つについて研究を進めてきた．
ひとつは，スライドレジスタに関するレジスタ割付についてである．スライドレジスタが，一般に NP 問題とされるループ 部のレジスタ割付問題を P 問題に落とすことは知られていた．同様のことが，条件分岐を含むループを If-conversion し ，Predicated Execution 方式で実行する場合についても成り立つか否か興味を持っていた．この問題が最近になって肯定的に解決した [11][12]．
もうひとつは，条件分岐を含むループのソフトウェア・パイプライニングについてである．これに関するアイデ ィアを提案 [13] した．しかし ，生成されるコードが極めて複雑である，同時発54

行可能な命令に制約がある等の理由から遅々として研究が進まなかった．しかし ，ようやく商用
RISC プロセッサ IA-64 Itanium 上に実装する最適化技術を確立し，予想通りの実行性能を確認できた [14]．Itanium はスライドレジスタ同様の機能を持つが，これなくして実装化は困難であった．

参考文献[1] Moritoshi Yasunaga and Eiji Yoshida : Optimization of Parallel BP Implementation: Training Speed of 1,056 MCUPS on the Massively Parallel Computer CP-PACS
Proc. IEEE and INNS Int. Joint Conf. on Neural Networks, 563-568 (1998)[2] 冨永 憲一，安永守利 : 超並列計算機 CP-PACS を用いた並列自己組織化マップによる顔認証システム, 情報処理学会研究会報告, HPC77-29, 167-172 (1999)[3] 板倉 憲一, 早川 秀利, 近藤 正章, 吉川 茂洋, 朴 泰祐, 佐藤 三久, 田中 良夫: メモリバスアク
セス率に基づく SMP-PC クラスタの性能評価, 情報処理学会論文誌ハイパフォーマンスコン
ピューティングシステム, Vol.41, No.SIG 5(HPS 1), pp.70-79, 2000.
[4] T. Boku, K. Itakura, S. Yoshikawa, M. Kondo and M. Sato: Performance Analysis of PCCLUMP based on SMP-Bus Utilization, Proc. of WCBC'00 (Workshop on Cluster Based
Computing 2000), Santa Fe, May 2000.
[5] T. Boku, S. Yoshikawa, M. Sato, C. G. Hoover and W. G. Hoover: Implementation andperformance evaluation of SPAM particle code with OpenMP-MPI hybrid programming,
Proc. of European Workshop on OpenMP 2001, Barcelona, Sep. 2001.
[6] 吉川 茂洋, 朴 泰祐, 佐藤 三久, 高橋 大介, W. G. Hoover, C. G. Hoover: SMP-PC クラスタにおける SPAM 粒子シミュレーションのハイブリッド 並列化, 並列処理シンポジウム JSPP2002
論文集, pp.63-70, 2002 年 5 月.
[7] 吉川 茂洋, 朴 泰祐, William G. Hoover, Carol G. Hoover, 佐藤 三久: SPAM 粒子シミュレー
ションコード のハイブリッド 並列化, 情報処理学会ハイパフォーマンスコンピューティング研
究会 (SWoPP'2001), 2001-HPC-87-8, 2001, pp.43-48.
[8] Guo, M., Yamashita, Y., Nakata, I.: EÆcient Implementation of Multi-Dimensional Array Redistribution, IEICE Transactions on Information and Systems, Vol.E81-D, No.11,
pp.1195-1204, Nov., 1998.
[9] Guo, M., Nakata, I., Yamashita, Y.: Contention-free communication scheduling for array
redistribution, Parallel Computing, vol.26, pp.1325-1343, Sept., 2000.
[10] Guo, M., Nakata, I.: A Framework for EÆcient Data Redistribution on Distributed Memory
Multicomputers The Journal of Supercomputing, vol.20, no.3, pp.243-265, Nov., 2001.
[11] Hiroya Itoga, Yoshiyuki Yamashita and Jiro Tanaka : Register Allocation for PredicatedSoftware Pipelining using Spiral Graph, Proc. of Int'l Conf. on Parallel and Distributed
Processing Techniques and Applications (PDPTA'02), to be published (2002).
55

[12] 糸賀 裕弥，山下 義行，田中 二郎 : 述語付きソフトウェア・パイプラインへの Spiral Graphによるレジスタ割付, 情報処理学会論文誌：プログラミング , 掲載予定 (2002).
[13] 山下義行，中田育男：ループ 中に条件分岐を含む場合の最適なソフトウェア・パイプライニ
ング，JSPP'94 論文集 (1994) pp.17-24[14] 山下義行 : 条件分岐を含むループのソフトウェアパイプライン化: IA-64 Itanium への 3 種のアルゴ リズムの実装, 情報処理学会 SWOPP'02, 発表予定 (2002).

56

11

計算素粒子物理学

クォークとレプトンは自然界の最も基本的な構成要素である．例えば，原子は，原子核とその周りを回るレプトンの一種である電子から構成されるが，原子核を構成する陽子と中性子やそれらを結びつけるπ中間子などのハド ロンは，それぞれクォーク 3 個，クォーク 1 個と反クォーク 1個から成っている．クォークの間には「強い相互作用」とよばれる力が働ている．ハド ロンの高エネルギー散乱実験の解析から，強い相互作用は量子色力学（ QCD ）と呼ばれる場の量子論により記述されると考えられている．クォークとレプトンには「電磁相互作用」や「弱い相互作用」も作用し，これらの力は Weinberg-Salam 理論で記述されている．QCD と Weinberg-Salam 理論を合わせて素粒子の標準理論と呼ぶ．
QCD は，低エネルギー領域で結合が無限に強くなることを特徴とする理論である．このため，
ハド ロンの質量スペクトルをはじめ，強い相互作用の低エネルギー領域の諸性質を解析的な方法
だけで QCD に基づいて導くことは難しい．これらを QCD の第一原理から理解するには，現在のところ，時空を格子化した QCD（ 格子 QCD ）の数値シミュレーションが唯一の系統的な方法である．
CP-PACS における素粒子物理学の研究は，以上の背景を基に，ハド ロンとその強い相互作用の重要な諸現象を，格子 QCD の大規模シミュレーションを手段として理解することを目標に進められた．これまでの主な研究テーマは以下のとおりである．

 ハド ロンの物理

ハド ロンの物理は多岐にわたるが，格子 QCD の立場からの第一の目標はハド ロンの質量ス
ペクトルの理解である．質量は，クォーク複合系としてのハド ロンを特徴付ける最も基本的な量であり，これを QCD の第一原理から導くことは QCD の基本的な検証を与える．また，
0 中間子の質量と U(1) 問題など ，ハド ロンの物理には長年の懸案があり，これらを QCD に基づいて解決することも目標の一つである．

 電弱相互作用遷移行列要素

電弱相互作用を記述する Weinberg-Salam 理論には，クォークフレーバー混合や CP 非保存を記述する基本パラメータが含まれているが，実験データからこれらを決定する上で，ハドロンの電弱相互作用遷移行列要素へ強い相互作用による補正計算の難しさに由来する不定性が大きな問題となっている．格子 QCD により，QCD の第一原理からこれらを求めることは，この問題の解決に極めて重要である．特に b クォークを含む中間子の行列要素の研究は，
現在精力的に推進されている B Factory 実験と直接関係しており，インパクトが大きい．

 有限温度 QCD

高温・高密度の下で，QCD はハド ロンの状態からクォーク・グルオン・プラズマへの相転移を予言する．クォーク・グルオン・プラズマは宇宙初期には存在した筈であり，また高エネル
ギー重イオン衝突実験により，この状態を人工的に創り出す試みも進められている．クォー
ク・グルオン・プラズマの物理特性とそれへの相転移の特徴を理解することも重要な目標である．

 格子カイラルフェルミオンの研究

連続時空の QCD でクォークが持つフレーバー・カイラル対称性は，通常の格子フェルミオンでは有限の格子上で陽に壊れており，連続極限への外挿の後に回復する．最近，ド メイン
ウォール フェルミオンやオーバーラップ フェルミオンなど ，格子上でカイラル対称性を保

57

1.8
1.6

Ξ

m (GeV)

1.4

Λ

φ

1.2

K*

Ω

Σ

Ξ*
Σ*

N
∆

1.0

K input
φ input
experiment

0.8
0.6

K

0.4

図 13: クエンチ QCD 計算による，ハド ロン質量の結果．s クォーク質量のインプットとして K
中間子質量を用いたものと， 中間子質量を用いたものを比較した．横線は実験値 [1]．
つ格子フェルミオンが幾つか提案された．格子上でカイラル対称性を保つことは K 中間子のハド ロン行列要素の計算などで有用と期待される．これらの格子カイラルフェルミオンをテストし，ハド ロン行列要素を計算することは，実験に大きなインパクトを持つ．

11.1

クェンチ近似におけるハド ロン質量スペクト ル

ハド ロンの質量スペクトルを QCD から直接計算することは，QCD が低エネルギー領域でも正しい理論である事を示す，最も重要な証拠となる．このため，1981 年に初めて格子 QCD によるスペクトル計算が試みられて以来，数多くの研究が行われてきた．
後述するように，質量スペクトルを QCD の完全なシミュレーションによって求めるには膨大な計算時間が必要となる．このため，第一のステップとして，真空中のクォークの対生成・対消滅の効果を無視するクエンチ近似を採用し ，この近似の範囲内で精度の高い結果を求めることに，多くの努力が払われてきた．しかし，格子 QCD から信頼性の高い結果を導くことは，クエンチ近似を採用しても，簡単なことではない．格子 QCD 計算特有の系統誤差，即ち，格子サイズや格子間隔が有限である事による誤差を，無限大の格子サイズや，連続極限（格子間隔ゼロの極限）への外挿によって，取り除く必要がある．また，技術的理由によって，現実世界の軽い u; d クォー
ク質量でのシミュレーションが困難であるので，比較的重いクォーク質量で得られた計算結果を，軽いクォーク質量へ外挿することが必要であり，これも系統誤差の原因となる．
表 31 に，1981 年以来の典型的なクェンチ近似シミュレーションのパラメータを示す．従来の研究では，主として計算機能力の不足のために，十分大きな格子サイズ，十分小さな格子間隔，十分軽いクォーク質量でのシュミレーションが困難であった．特に 1988 年以前の計算では，計算に用いられた格子サイズが，典型的なハド ロンのサイズ 2 fm 程度と比較してかなり小さく，これによる大きな系統誤差が含まれている．
CP-PACS に先行する計算の中で最も優れたものは，D. Weingarten らにより，自己開発の専

58

1981
1985
1988
1993(*) 1998(**)
333
最大格子サイズ8  16 12  24 24  48 363  42 643  112
空間サイズ (fm)
0.8
1.2
1.7
2.5
3.0
最小格子間隔 a (fm)
0.1
0.1
0.1
0.07
0.05
最小クォーク質量 mq (MeV)
100
100
40
40
20
統計数
20
20
50
200
800
3
計算量
1
10
8  107  105  105(*) GF11 のシミュレーションパラメータ(**) CP-PACS のシミュレーションパラメータ年

表 31: 格子 QCD のクェンチ近似シミュレーションの推移
用並列計算機 GF11（ピーク性能 11GFlops ）を用いて 1992{1993 年にかけて行われた．彼らは，クォーク質量の外挿と格子間隔に関する外挿を組織的に行ない，これに有限サイズ補正を行って，連続極限での質量スペクトルを求めた．その結果，10% 程度と評価される計算誤差の範囲内で，クエンチ QCD でのハド ロン質量は，実験値と無矛盾であると結論された．
我々は，クエンチ QCD での質量スペクトルの最終結果を得る事を，CP-PACS での計算の目標とした．即ち，誤差の大きさを数%以下に抑えた高精度のスペクトル計算により，上記の結果を確認し ，同時に，実験的なスペクトルとの比較によりクォークの対生成・対消滅効果の大きさ（ クエンチ近似による誤差の大きさ）を明らかにすることである．
シミュレーションパラメータはこの目標を念頭において選ばれ，格子サイズ，格子間隔，クォーク質量の範囲，統計量の，何れについても，GF11 のそれらを凌駕するものになっている（ 表 31参照）．即ち，格子サイズは 1.3 倍，最小の格子間隔は 0.7 倍，最小のクォーク質量は 0.6 倍である．
以上の大規模シミュレーションと，それにより生成されたデータの注意深く且つ詳細な解析により，中間子に対しては 1{2% の，重粒子に対しては 2{3% の誤差でクエンチ近似のハド ロン質
量を得ることに成功した [1]．図 13 にハド ロン質量の予言値を示す．この図では， ，，K 中間
子質量を実験値に固定したときと， ，，K 中間子質量を実験値に固定したときの結果を比較した．前者を K -input，後者を -input と呼ぶことにする．QCD がハド ロンを記述する正しい理論
で，計算に近似がなければ ，両者の結果は一致するはずのものである．なお，GF11 グループは
K -input の場合しか計算していないが，我々の計算により誤差が格段に小さくなった．
本計算で得られた結果は膨大であるが，重要な結果は，以下の様に要約できる．

 クエンチ近似のハド ロンの質量には，実験値との間に最大で 7 にのぼる明白な差が見られるが，その大きさは最大で 10% 程度であり，クエンチ近似に対する系統誤差として理論的に予想された範囲内である．

 このクエンチ近似による系統誤差のために，K -input と -input とで，ハド ロン質量の結果に 10%程度の不一致が存在する．

 クエンチ近似による実験値との差異には，以下の特徴がある．
{ 中間子の超微細質量差（ K K  の質量差）は，実験値より 10% 程度小さい．
{ ８重項の重粒子（ N, , ,  ）の質量は，実験値より組織的に小さい．
59

0.95

1.05
φ

Nf=2
Nf=0 Improved
Nf=0 Standard

K input

0.90
0.85

K*

1.00

φ inputm [GeV]m [GeV]

0.80

0.95

Nf=2
Nf=0 Improved
Nf=0 Standard

0.75
0.70
0.65
0.60

K*

K

0.90
0.55
0.50
0.85

0.0

0.2

0.4

0.6
a [GeV−1]

0.8

1.0

0.45

1.2

0.0

0.2

0.4

0.6
a [GeV−1]

0.8

1.0

1.2

図 14: 中間子質量の格子間隔 (a) 依存性と連続極限への外挿．フル QCD 計算と 2 種類のクエンチ
QCD 計算の結果を実験値と比較した [5]．
1.00mη [GeV]

0.90

0.80

0.70

0.60

0.50
0.00

0.20

0.40

0.60

−1

0.80

1.00

1.20

a [GeV ]図 15:  質量の格子間隔 (a) 依存性と連続極限への外挿 [8]．

{ １０重項間の質量差は，実験値より小さい．

 パイ中間子質量のクォーク質量依存性は，クエンチ近似の効果に関するカイラル摂動理論の予言と一致する．
この計算には CP-PACS を約 1 年間用いた．これは，GF11 の計算の約 100 倍の計算量に相当す
る．現在に至るまでこれを上回る高精度計算はなされていない．我々の高精度データは，最大エントロピー法を用いたスペクトル関数計算のテスト [3] にも応用された．我々の計算により，クエンチ近似による系統誤差の大きさが確立し ，それを大きく上回る精度でハド ロンの質量が得られた．従って，quenched QCD の質量スペクトルの最終結果が得られたと考えることができる．

60

11.2

完全な QCD のハド ロン質量スペクト ル計算

格子 QCD で計算されるハド ロン質量に，クエンチ近似そのものに由来する実験値からのずれが存在する事が明らかになったので，次のステップは近似無しの QCD 計算（しばしば full QCD と呼ばれる）を行なうことである．この目標に向って，我々は，軽い u; d クォークの対生成・対消滅効果を取り入れた QCD のシミュレーションを行った [5]．この計算では比較的重い s クォーク
はクエンチ近似で取り扱う．
full QCD のシミュレーションは，フェルミオンであるクォークの効果を取り入れる必要のため，
quenched QCD より少なくとも 100 倍以上計算時間を必要とする．従って，上述のクエンチ近似
計算を単純に full QCD 計算に置き換えて繰り返すことは，事実上不可能である．この問題を解決するため，我々は「改良された作用」を用いている．改良された作用とは，格子間隔がゼロでないことに由来する誤差が小さくなるように修正された格子作用で，計算量は増大するが，連続極限への外挿に伴う系統誤差を押さえる上で有効であると期待されている．種々の改良された作用を用いた予備的計算によれば，繰り込み群によって改良されたグルオン作用と摂動的に改良されたクローバー クォーク作用を用いれば，格子による離散化の誤差を，「 標準作用」と比較して，格段に小さくできる事が判明した [4]．これを受け，これらの作用の組を用いた一連の本格的な計算を行った [5]．残念ながら，改良された作用を用いても，我々がクエンチ近似で行ったと同じ精度の計算を実行することは難しい．そこで，慎重に検討した結果，格子間隔 0.1, 0.15, 0.2 fm，格子サ
イズ約 2.5 fm の格子で，クォーク質量 40MeV 以上の領域で系統的シミュレーションを行い，full
QCD として最初の連続極限への外挿を行うことを目標とした．また，動的クォーク効果を純粋に同定するために，改良された格子作用によって，クエンチ近似のシミュレーションを繰り返した．
最大の課題は，full QCD の質量スペクトルの系統的計算を行い，前節で問題となったクエンチ
近似スペクトルの実験値からのずれが，動的クォーク効果（ クォークの対生成・対消滅の効果）により減少するのかを調べることである．第一に，連続極限におけるクエンチ近似の結果が，標準作用 [1] と改良された作用 [5] とで，一致することを確認した．第二に，動的クォークにより，クエンチ近似の中間子質量の実験値からのずれが小さくなることを確認した．図 14 は，full QCD
における中間子質量の格子間隔依存性を，クエンチ近似計算の結果と比較したものである．連続極限（ 格子間隔 a がゼロの点）で，クエンチ近似で見られた中間子質量の実験値との大きなズレが，大幅に縮小している事がわかる．バリオン質量に関しては，重い s クォークを含むバリオン
に関しては実験値に近づく傾向を確認できたが，軽いクォークを多く含むバリオンでは実験値とのずれが残った．これはクエンチ近似のシミュレーションより格子サイズが小さいために，有限格子効果が出たためと解釈できる．
U(1) 問題つまり，0 中間子の質量が  中間子質量に比べて著しく大きい事実を説明すること
は，素粒子物理学の長い間の課題の一つである． 0 の質量はクエンチ近似では求めることができず，full QCD 計算が本質的に必要である．この問題は，ゲージ配位の位相的構造と関連している．
そこで，まず，我々の full QCD シミュレーションで得られた配位で位相電荷や位相帯磁率を研究した．我々の生成した配位数でも位相物理量に関して十分な統計があることを示し，理論的に予想されたものと一致するクォーク質量依存性を見るためには，かなり軽いクォーク質量が要求されることを示した [7]．また，ss 疑スカラー中間子との混合を無視した近似ではあるが， = uu
 + dd疑スカラー中間子（ 本計算の近似で  0 中間子に相当する）の質量計算を行って， 0 中間子の実験
値に近い値を得た．図 15 に， 質量の格子間隔依存性と，連続極限への外挿を示す [8]． 疑スカ
ラー中間子質量に関しては，より精密な方法による研究が進行中である．

61

mud(µ=2GeV) [MeV]

5.0
VWI
VWI,PQAWIVWI, qStd
AWI, qStd
VWI, qImp
AWI, qImp

4.0

3.0

2.0

0.0

0.5

1.0

1.5

a [GeV−1]

図 16: u; d クォーク質量の格子間隔 (a) 依存性と連続極限への外挿 [5]．
140

190
VWI
VWI,PQAWIVWI, qStd
AWI, qStd
VWI, qImp
AWI, qImp

120
110
100
90

150

130

110

90

80
70

VWI
VWI,PQAWIVWI, qStd
AWI, qStd
VWI, qImp
AWI, qImp

170ms(µ=2GeV) [MeV]

ms(µ=2GeV) [MeV]130

φ input

K input
0.0

0.5

1.0

70

1.5

a [GeV−1]

0.0

0.5

1.0

1.5

a [GeV−1]

図 17: s クォーク質量の格子間隔 (a) 依存性と連続極限への外挿 [5]．

11.3クォーク質量

クォーク質量は QCD の基本パラメータであり，特に s クォークの質量を精密に決定することは，弱い相互作用の現象論を構成する上で重要である．クォークはハド ロン中に閉じ込められているので，実験でその質量を決めることは出来ず，QCD の種々の現象論的模型を用いてその値が推測されている．一方，格子 QCD によれば，クォーク質量を第一原理である QCD から直接計算することができる．しかし，これまでの格子上の計算では，十分な精度が得られていなかった．
我々は，クエンチ近似及び full QCD で，クォーク質量の精密計算を行った [1, 5]．図 16 に u; dクォーク質量の，図 17 に s クォーク質量の，格子間隔依存性を示す．また，表 32 に，現時点での我々のクォーク質量の結果を示す．本計算によって新たに得られた知見は，以下の通りである．

 クエンチ近似のハド ロン計算を，標準作用と改良作用の両方で実行したが，連続極限では一致することを確認した．
（ 図 16，17 では，\qStd", \qImp" とあらわした． ）[1]

 格子計算では，クォーク質量の計算に何種類かの方法がある．異なった方法（ 図 16，17 で）は，有限格子間隔では異なっは，\VWI", \VWI PQ", \AWI" と示した．詳細は [5] 参照．
た値を与えるが，連続極限では値が一致する．これは，我々の解析の信頼性が高いこと意味

62

mu;d (MeV) ms (MeV) (mK より) ms (MeV) (m より)
:0quenched QCD 4.29(14)0:51
113.8(2.3)+52::89
142.3(5.8)+22
0:79
0full QCD
3.44+00::14
88+46
90+51122
表 32: クォーク質量の結果 (MS スキームで 2GeV における値) [1, 5]．クエンチ QCD の結果で，最初の誤差は統計誤差，第 2 の誤差はカイラル外挿による系統誤差である．

fB [MeV]
NRQCD
相対論的方法fBs [MeV]
NRQCD
相対論的方法

Nf = 0191(4)(27)
188(3)(26)
Nf = 0220(4)(31)
220(2)(31)(+80 )Nf = 2204(8)(29)(+44
0 )208(10)(29)
Nf = 2242(9)(34)(+380 )+8250(10)(35)( 0 )表 33: B (Bs ) 中間子の崩壊定数．格子スケールは  中間子質量を用いて計算した．第１，第２の括弧は統計誤差と系統誤差．第３の括弧は，NRQCD 法ではスケールの不定性，相対論的方法では s クォークの不定性による誤差 [9]．

する．

 s クォーク質量は，K 中間子，又は， 中間子質量の実験値を用いて計算される．クエンチ

近似計算では，図 17 に示した様に，連続極限においても s クォーク質量の値が，何れの中間子質量を用いるかによって異なる．これは，クエンチ近似による系統誤差である．

 一方，full QCD 計算では，その差異が著しく小さくなり，図 17 に示した様に，K 中間子，
又は， 中間子質量のど ちらを用いた場合でも，90 MeV 程度の値を与える．

 フル QCD から得られたクォーク質量は，クェンチ近似に比べ 20{30% も小さく，予想以上に大きな動的クォーク効果が確認された．

full QCD 計算で得られた s クォーク質量は，これまで用いられてきたクェンチ近似の場合の値や現象論的模型による評価値より著しく小さい．小さい s クォーク質量は，弱い相互作用におけるCP 非保存のパラメータ Re(0 =) に対して，既存の予想値より大きな値を与える．実際，最近の実験によって， Re(0 =) のかなり大きな値が得られており，我々の s クォーク質量は，それらの実験結果と矛盾しない．

11.4

重いハド ロンの物理の研究

重い b クォークを含む B 中間子，Bs 中間子の崩壊定数などは，実験から弱い相互作用の基本パラメータである小林・益川混合行列要素を決定する際必要となる，重要な物理量である．今日まで クエンチ近似での計算は数多く行われてきたが，full QCD での組織的計算は計算力の不足のためにほとんど 行うことができなかった．我々は，前節で述べた full QCD 計算で生成したグルオ

63

SB Nt=4

mPS/mV=0.65
mPS/mV=0.70
mPS/mV=0.75
mPS/mV=0.80
mPS/mV=0.85
mPS/mV=0.90
mPS/mV=0.95

8.0

20.0
SB Nt=6

SB Nt=6
4

4.0

15.0

ε/T

p/T

4

6.0

SB Nt=425.0

SB continuum

SB continuummPS/mV=0.65
mPS/mV=0.70
mPS/mV=0.75
mPS/mV=0.80
mPS/mV=0.85
mPS/mV=0.90
mPS/mV=0.95

10.0
2.0

5.0

0.0
0.5

1.0

1.5

2.0

2.5

0.0
0.5

3.0

T/Tpc

1.0

1.5

2.0

2.5

3.0

T/Tpc

図 18: クォーク・グルオン・プラズマ状態の圧力とエネルギー密度の温度，及びクォーク質量依
存性．黒いシンボルは Nt = 4 格子の結果，白いシンボルは Nt = 6 の結果をあらわしている [14]．
ン配位の上で崩壊定数を計算し ，軽い u; d クォークの対生成・対消滅の，崩壊定数への効果を調
べた [9]．表 33 に B (Bs ) 中間子の崩壊定数の結果を示す．重いクォークを格子で取り扱う方法には主に 2 種類のバラエティ（ NRQCD 法と相対論的方法）があるが，我々は初めて両者を系統的に比較し ，結果が一致することを示した．これは重いクォークの格子計算の信頼性を示す上で重要な結果である．我々の計算の結果，崩壊定数が，動的クォーク効果によって，クエンチ近似の値より 10% 程度大きくなることが示された．あわせて，重い b クォークを含む中間子や重粒子のfull QCD 質量スペクトルも調べた．これらの結果は，重いクォークの物理において，動的な u, d
クォークを正しく取り入れることが重要であることを示している．
より軽い c クォークの領域では上記の方法では誤差が大きくなる．それに代わる方法として非等方格子の方法が提案されている．我々は，系統的研究により，非等方格子の方法がどの程度有効かを調べ，格子作用の高次項の選び方が本質的であることをみいだした [10]．
QCD によれば，クォーク２体の束縛状態である中間子や３体の束縛状態である重粒子以外に，
主にグルオンのみから構成されるグルーボールや，クォーク２体とグルオンの束縛状態であるハ
イブ リッド メソンが存在する可能性がある．我々は，クォーク２体の束縛状態では実現しない量
子数を持った，重いハイブ リッド メソンの質量計算をクエンチ近似で行って，高精度の結果を得た [11]．さらに，クエンチ近似による系統誤差を評価するために，我々の大規模 full QCD シミュ
レーション [5] で得られた配位を使って，動的クォークの効果を評価した [12]．これらは実験でハ
イブ リッド メソンを見つける為の有効な手がかりである．

11.5

有限温度 QCD

宇宙初期あるいは重イオン衝突実験で生成が期待されるクォーク・グルオン・プラズマ状態について，その最も基本的な物理特性は，相転移の次数と温度及び状態方程式（エネルギー密度や圧力の温度依存性）である．これらを格子 QCD から求めることは，宇宙初期の元素合成や，重イオン衝突実験などの研究に，重要な情報を与える．これまでは主にスタガード 型の格子クォークを用いた研究が行われていたが，信頼できる結果を得るためには，連続極限でクォークの質量差を正しく再現できる Wilson 型クォークによる計算が必要である．また，連続極限を定量的に議論するためには，改良された格子作用を用いることが有用である．

64

0.9

KS (non−invariant)
KS (invariant)
DWF

BK

0.8

0.7

0.6

0.5
−0.2

0.0

0.2

0.4

0.6

0.8

1.0

mV a

図 19: ド メイン ウォール クォークによる K 中間子 B パラメータ BK の連続極限への外挿 [18]．
改良されたゲージ作用を用いた純グルオン理論 [13] と，改良されたゲージ作用と改良された
Wilson 型クォーク作用を組み合わせたフレーバー数２の full QCD の場合 [14] について，有限温度の相構造と状態方程式を研究した．まず，フレーバー数２の場合の相転移が，カイラル極限では 2 次相転移で，O(4) のスピン模型と同じユニバーサリティ クラスに属していることを示した．
これは現象論的模型に基づく理論的予想と一致する結果だが，スタガード 型の格子クォークではまだ確認されておらず，我々の改良された格子作用によってより滑らかな連続極限が取れる可能性を示唆している．次に，クォーク質量依存性などの系統的研究に基づいて，状態方程式の研究を行った．図 18 に，フレーバー数２の full QCD におけるクォーク・グルオン・プラズマのエネ
ルギー密度が，温度とクォーク質量に依存してどのように変化するかを示す．計算は温度軸方向の格子サイズ Nt が４と６の場合について実行した．連続極限を取るためには，Nt = に外挿しなければならない．Nt = 4 と 6 の結果がかなりずれていることから，これまでのほとんどの研究で使われていた Nt = 4 格子では，改良された作用を用いても連続極限から遠いことがわかる．他方，Nt = 6 の結果は，高温で連続の Stephan-Boltzmann 極限にかなり近い値を示しており，既に連続極限に近いことが示唆される．
連続極限への外挿を行うためには，Nt のより大きな格子でシミュレーションを実行する必要があるが，full QCD でそれを実行するのは簡単ではない．我々は，そのひとつの回避策として，非等方格子を用いることを提案した．純ゲージ理論の場合に状態方程式を計算し，等方格子よりはるかに少ない計算時間で精密計算が実行可能であることを示し ，コントロールされた連続極限外挿の遂行に初めて成功した [16]．この結果を受けて，full QCD の非等方格子計算が進行中である．

1

11.6

格子カイラルフェルミオン

ハド ロンの振る舞いを理解する上で，フレーバー・カイラル対称性が重要な役割を果たす場面が少なくない．他方，Wilson 型やスタガード 型などの通常の格子フェルミオンでは，この対称性が有限の格子上では部分的にしか保たれていない．連続極限への外挿を行なえば回復するので，原
理的な困難ではないが，B 中間子のハド ロン行列要素などの幾つかの物理量では，格子上の計算

65

2.5

40
−8

−8

Re A0 [10 GeV]Re A2 [10 GeV]
experiment30

3

16 x32
3
24 x32chiral log.
quadratic

2.0

20
3

16 x32
3
24 x32chiral log.
quadratic

1.5
experiment

1.0

0

0.1

0.2

0.3
0.4
2
2
mM [GeV ]

0.5

0.6

10

0.7

0

0.8

0

0.1

0.2

0.3
0.4
2
2
mM [GeV ]

0.5

0.6

0.7

0.8

!

図 20: ド メイン ウォール クォークによる K
 崩壊の I = 1=2, 3/2 行列要素 ReA2 , ReA0の中間子質量依存性 [19]．現実の  中間子は図の左端に相当する．
が複雑になり，精度の高い計算を行う上で大きな阻害要因になっている．最近，ド メイン ウォー
ル フェルミオンやオーバーラップ フェルミオンなど ，格子上でカイラル対称性を保つ格子フェルミオンが幾つか提案され，上記の困難を回避する上で有効と期待されている．
我々はまずド メイン ウォール フェルミオンを採用し，カイラル対称性が実現する条件を研究した [17]．ド メイン ウォール フェルミオンは，通常の 4 次元時空の他に余分な 1 次元を加えた 5 次
元空間で定式化される．余分な次元方向の格子の大きさ Ns を大きくすると，カイラル対称性の破れが指数関数的に減少し，格子間隔が有限であっても Ns =の極限でカイラル対称性を実現すると期待されている．
非摂動効果が大きい場合に実際に格子上でカイラル対称性が実現するのかは自明ではなく，シミュレーションによって確認する必要がある．計算機上では Ns を無限大にすることは出来ないが，ある程度大きな Ns をとれば，カイラル対称性の破れをほとんど無視することができる．他方，計算時間は通常の約 Ns 倍かかるので，大きな計算力が要求される．CP-PACS を使って，クエンチ
近似の QCD の場合にシミュレーションを実行した [17]．ゲージ作用としては，標準のプラケット
作用と繰り込み群による改良作用を使い，結果を比較した．その結果，格子間隔がある程度小さ
くなり，ゲージ配位が充分滑らかになれば，カイラル対称性の破れが Ns と伴に指数関数的に減少することを確認し ，繰り込み群による改良作用が実用的計算に有望であることを示した．
CP-PACS では，この結果を受けて，中性 K 中間子の混合に重要なパラメータである BK の計算を実行した．図 19 に BK の結果を示す．これまでで最も精密な計算はスタガード 型クォークを用いた研究（ 図では KS とあらわされている）で与えられていたが，大きな格子間隔依存性があり，連続極限への外挿における不定性が大きかった．図から，ド メイン ウォール クォークでは格子間隔依存性がかなり弱くなっており，不定性に少ない連続極限外挿が計算が可能であることがわかる [18]．
さらに，ド メインウォール・フェルミオンのカイラル対称性の性質の良さを用いて，今まで計算の難しかった K 中間子の弱電磁崩壊の行列要素の計算を行った．K 中間子の２つの  中間子への崩壊は，終状態の  中間子のアイソスピンが０である場合（ I = 1=2 ）が２の場合（ I = 3=2 ）に比べて４００倍も多くの確率で起こることが実験的に知られている．これは行列要素に換算す

166

るとアイソスピン０と２の比が２０程度であることを意味し，これは I = 1=2 規則と呼ばれている．この比を理論的に説明することは長年の懸案である．我々はカイラル摂動論を用いて K
崩壊行列要素を K
 行列要素に簡約化する方法で計算を行った．我々の計算結果を図 20 に載せる．左の図は K
 (I = 2) 崩壊の行列要素の計算結果であり，図の左端が理論の予言値で
 (I = 0) 崩壊の行列要素の計算結果
あり，実験値をほぼ再現している．また，右の図は Kであるが，理論の予言値は実験値の半分程度である．実験値の半分程度とはいっても，今までの計算に比べると格段に実験値に近付いているので，格子計算の有効性を示している．この差の原因は（１）クエンチ近似，（ ２）有限格子間隔，（ ３）有限体積効果，（ ４）カイラル外挿の系統誤差，（５）ド メインウォール・フェルミオンのわずかなカイラル対称性の破れ，（ ６）カイラル摂動論による簡約化による誤差，などが考えられ，それらの改善が今後の課題である [19]．
現在，ド メイン ウォール クォークを使った上記の研究を発展させて，様々な物理量の計算を推進している．また，オーバーラップ フェルミオンの検討も進行中である．

!

!
!

!

参考文献
[1] CP-PACS Collaboration, \Quenched Light Hadron Spectrum" (hep-lat/9904012), Phys.
Rev. Lett. 84, No.2 (2000) 238-241; CP-PACS Collaboration, \Light Hadron Spectrum andQuark Masses from Quenched Lattice QCD", hep-lat/0206009. 総合報告としては，[2] も参照．

[2] T. Yoshie for the CP-PACS Collaboration, \Light Hadron Spectrum from Quenched Lattice
QCD | Results from the CP-PACS |", Prog. Theor. Phys. 105, No.1 (2001) 37-75.
[3] CP-PACS Collaboration, \Spectral function and excited states in lattice QCD with maximum entropy method" (hep-lat/0105030), Phys. Rev. D 65, No.1 (2002) ref.014501, pp.1-16.
[4] CP-PACS Collaboration, \Comparative Study of full QCD Hadron Spectrum and Static
Quark Potential with Improved Actions" (hep-lat/9902018), Phys. Rev. D 60, No.11 (1999)
ref.114508, pp.1-17.
[5] CP-PACS Collaboration, \Dynamical quark e ects on light quark masses" (heplat/0004010), Phys. Rev. Lett. 85, No.22 (2000) 4674-4677. CP-PACS Collaboration, \Light
hadron spectroscopy with two avors of dynamical quarks on the lattice", Phys. Rev. D 65,
No.5 (2002) ref.054505, pp.1-50. 総合報告としては，[6] を参照．
[6] R. Burkhalter for the CP-PACS Collaboration, \Recent Results from the CP-PACS Collaboration", Nucl. Phys. B (Proc.Suppl.) 73 (1999) 3; Y. Kuramashi for the CP-PACS
Collaboration, \CP-PACS results for light hadron spectrum in quenched and two avor full
QCD", APS, DPF '99 (1999); A. Ukawa for the CP-PACS Collaboration, \Lattice QCD results from the CP-PACS computer", Parallel Computing 25, No.10-11 (1999) 1257-1280; T.
Yoshie for the CP-PACS Collaboration, \Light hadron spectrum from the CP-PACS", Nucl.
Phys. A663-664 (2000) 969-972; K. Kanaya for the CP-PACS Collaboration, \Dynamical
Quark E ects in QCD on the Lattice | results from the CP-PACS |" (hep-ph/0009263),
Proc. the XXXth International Conference on High Energy Physics (ICHEP 2000), eds.
67

C.S. Lim and T. Yamanaka, July 27{August 2, 2000, Osaka, Japan. (2001) 1299-1304; K.
Kanaya for the CP-PACS Collaboration, \Elementary Particles on a Dedicated Parallel
Computer", Proc. 18th AvH symposium \100 Years Werner Heisenberg - Works and Impact", Bamberg, Germany, September 26-30, 2001 [Fortschritte der Physik, special edition(2002) in press].
[7] CP-PACS Collaboration, \Topological susceptibility in lattice QCD with two avors ofdynamical quarks" (hep-lat/0106010), Phys. Rev. D 64, No.11 (2001) ref.114501, pp.1-10.
[8] CP-PACS Collaboration, \Eta meson mass and topology in QCD with two light avors"(hep-lat/9909045), Nucl. Phys. B (Proc. Suppl.) 83-84 (2000) 162-164; 本論文準備中．
[9] CP-PACS Collaboration, \Decay constants of B and D mesons from improved relativistic
lattice QCD with two avors of sea quarks" (hep-lat/0010009), Phys. Rev. D 64, No.3
(2001) ref.034505, pp.1-17; CP-PACS Collaboration, \B meson decay constant from twoavor lattice QCD with non-relativistic heavy quarks" (hep-lat/0103020), Phys. Rev. D 64,
No.5 (2001) ref.054504, pp.1-24.
[10] CP-PACS Collaboration, \Charmonium Spectrum from Quenched Anisotropic Lattice
QCD" (hep-lat/0112020), Phys. Rev. D 65, No.9 (2002) ref.094508, pp.1-29.
[11] CP-PACS Collaboration, \Hybrid Quarkonia on Asymmetric Lattices" (hep-lat/9812017),
Phys. Rev. Lett. 82 (1999) 4396;[12] CP-PACS Collaboration, \Sea quark e ects on quarkonia" (hep-lat/0005022), Phys. Rev.
D 62, No.11 (2000) ref.114508, pp.1-13; CP-PACS Collaboration, \Hybrid quarkonia withdynamical sea quarks" (hep-lat/0103015), Phys. Rev. D 64, No.9 (2001) ref.097505, pp.1-4.
[13] CP-PACS Collaboration, \Equation of state for pure SU(3) gauge theory with renormalization group improved action" (hep-lat/9905005), Phys. Rev. D 60, No.9 (1999) ref.094510,
pp.1-8;[14] CP-PACS Collaboration, \Phase structure and critical temperature of two- avor QCD withrenormalization group improved gauge action and clover improved Wilson quark action"(hep-lat/0008011), Phys. Rev. D 63, No.3 (2001) ref.034502, pp.1-11; CP-PACS Collaboration, \Equation of state in nite-temperature QCD with two avors of improved Wilson
quarks" (hep-lat/0103028), Phys. Rev. D 64, No.7 (2001) ref.074510, pp.1-17. 総合報告として，[15] も参照．
[15] S. Ejiri, \Lattice QCD at nite temperature", Nucl. Phys. B (Proc. Suppl.) 94 (2001)
19; K. Kanaya for the CP-PACS Collaboration, \Thermodynamic properties of QCD with
two avors of Wilson-type lattice quarks", Proc. of \Statistical QCD", Bielefeld, Germany,Aug.26-30, 2001 [Nucl. Phys. A (2002) in press].
[16] CP-PACS Collaboration, \Thermodynamics of SU(3) gauge theory on anisotropic lattices"(hep-lat/0105012), Phys. Rev. D 64, No.7 (2001) ref.074507, pp.1-13.
68

[17] CP-PACS Collaboration, \Chiral properties of domain-wall quarks in quenched QCD" (heplat/0007014), Phys. Rev. D 63, No.11 (2001) ref.114504, pp.1-19.
[18] CP-PACS Collaboration, \Kaon B parameter from quenched domain-wall QCD" (heplat/0105020), Phys. Rev. D 64, No.11 (2001) ref.114506, pp.1-21.
[19] CP-PACS Collaboration, \Calculation of non-leptonic Kaon decay amplitudes from K ! matrix elements in quenched domain-wall QCD" (hep-lat/0108013), Phys. Rev. D 投稿済み．

69

12

計算宇宙物理学

宇宙には，恒星・ブラックホール・星団・銀河・銀河団・宇宙大規模構造など様々な階層の構造が存在する．しかし ，それらを支配する基礎物理過程の観点から見ると，およそ 3 つに集約される．それは，流体過程，重力過程，輻射過程である．宇宙での流体過程は主に圧縮性流体であり，航空工学で使われるものと基本的に同じである．また，宇宙の現象では自己重力が本質的に重要な役割を果たしている．自己重力系では，各部分に働く重力の総和によって運動が決まる．もう一つ重要な基礎過程に輻射がある．輻射は宇宙に普遍的に存在するものであり，あらゆる宇宙現象において，エネルギー収支を司っている．輻射は，3 次元空間の各点において方向 2 次元，振動数 1 次元の自由度を持つため，輻射を正確に取り扱うためには，6 次元の自由度で光子の分布関数
を求めなければならない．光子の分布関数の変化を記述する式は，ローレンツ変換された光子のボルツマン方程式であり，これは 輻射輸送方程式 と呼ばれる．意味のある輻射輸送計算を行う
ためには，総計 100GB 以上の主記憶が必要であり，演算量はペタ（ 1015 ）を越える．この高次元性が，多次元輻射輸送計算の実現を阻んできたが，CP-PACS は大規模な多次元輻射輸送計算を可能なものにした．
また，宇宙進化と天体形成の解明には，流体方程式，自己重力，輻射輸送方程式を組み合わせた計算を行うことが必要である．この場合，輻射輸送方程式だけでなく，自己重力の計算量の膨大さもあり，これらをすべて採り入れた自己重力輻射流体力学の実現はこれまで困難であった．しかし，未来開拓推進事業の中で進められた HMCS(Heterogeneous Multi-Computer System) では，
N 2 のコストのかかる自己重力計算を重力計算専用機 GRAPE-6 によって高速に処理し，6 次元問
題である輻射輸送を汎用スーパーコンピュータ（ CP-PACS ）によって解き上げることで，自己重力輻射流体力学の実現を可能にした．
以下に，これまで行ってきた宇宙再電離の輻射輸送計算，電離宇宙における銀河形成の輻射流
体力学計算，原始星のフラットスペクトルの輻射輸送計算の成果を示す．

12.1

宇宙再電離の 6 次元輻射輸送計算

宇宙の 150 億年の歴史には，ミッシングリンクとなっている謎の時代がある．宇宙論の標準理論によれば，宇宙進化はビッグバンによる物質創生に始まり，その後，星・銀河の誕生を経て，太陽系のような惑星系形成に至ったと考えられている．しかし，ビッグバンから約 10 万年後の 宇「宇
宙晴れ上がり から，銀河誕生までの約 10 億年間は，観測的にも理論的にも未解明の時代で，
宙暗黒時代」と呼ばれ，宇宙進化のミッシングリンクとなっている．
「 宇宙暗黒時代」を解く鍵を握っているのが宇宙の再電離である．宇宙は， 晴れ上がり の時点で，それまでの電離状態から中性状態へと変わったが，宇宙年齢数 10 億年の頃までに，どこかで再び電離されたことが遠方のクェーサーの観測からわかっている．宇宙の再電離がどのようにして起こったかを明らかにする
ためには，膨張する非一様な宇宙の中で電離光子がどのように伝播し宇宙を電離していくかを計算しなければならない．これを正確に行うためには，6 次元の輻射輸送方程式を解く必要がある．
我々は， CP-PACS を用いて，世界で始めて 6 次元輻射輸送方程式を解き，宇宙の再電離の過程をシミュレーションすることに成功した [1, 2, 3, 4, 5]．計算の結果を図 21 に示す．これは，1283の実空間格子点について，6 次元輻射輸送を解いたものである．ここでは，中性原子の割合を色で示している．赤から黄色の領域が，ほぼ中性の領域である．宇宙年齢 2.3 億年 (Z=15) の頃には，
自己遮蔽効果 によって中性の高密度領域が，網の目状に広がっているのがわかる．その他の領

70

log XHI

log XHI

0

0

-2

-2

-4

-4

-6

-6

z = 15z=9

log XHIlog XHI

0

0

-2

-2

-4

-4

-6

-6

z=7

z=5

図 21: 宇宙再電離の 6 次元輻射輸送計算．赤が中性領域，緑から青にかけて電離度が高い領域を示す．
域では，水色から青色にかけて電離度が高くなっている．宇宙年齢 4.7 億年 (Z=9) の頃になると，中性領域も次第に紫外線で侵食されていき，宇宙年齢 10 億年 (Z=5) では，ほぼ全体が再電離された宇宙になる．注目すべきことは，この時点で宇宙の電離状態はどこでも同じではなく，電離度が 3 桁以上違う領域が混在しているということである．中性原子の割合は高い所で千分の一，低い所では百万分の一以下になっている．この計算により，宇宙の再電離は，このような非一様性の効果によって，これまで予想していたよりもゆっくりと進行することが明らかになった．
宇宙が，このような電離構造をもっていると，クェーサーのスペクトルには，電離度が相対的に低い（ 中性原子が多い）領域に対応していくつもの吸収線が見えることになる．これと観測されているスペクトルを直接比較することにより，宇宙の再電離の歴史を知ることができる．水素の Ly 吸収線による Continuum Depression は，宇宙の電離状態を表す良い指標になる．Ly 吸
収線の Continuum Depression はZ Lyf f;contd=(Ly Ly ) (f;cont : Continuum ux)DAf;contLy

'

で与えられる．観測されている 100 近いクェーサースペクトルから，DA は z
4 を境に，赤方偏移の増加と共に急激に１に近づくため，宇宙再電離の時期がこの辺りであることが示唆される．
しかし ，シミュレーションとの比較の結果，宇宙再電離の時期は，この急激な増加の時期には対応しておらず，zreion > 7 でなければならないことがわかった（ 図 22(a) ）[6, 7]．さらに，宇宙背景紫外線強度が z = 4 から z = 6 にかけて 2 桁近く弱くなっていなければならないことが明らかになった．
一方で，Ly は高密度宇宙では減衰が強く起りすぎ るため，高赤方偏移の電離状態を細かく調べるのには不向きであることも判明した．例えば宇宙が 99%以上電離された状態にあっても，Ly

71

1

1

0

-1

0.8

0

-1

0.8

-2

-2
0.6

0.6

-3

-3
0.4

0.4
-4

0.2

-4
0.2

-5

0

0

-6
0

1

2

3

4

5

6

7

8

-5

9

-6
0

(a) Ly 吸収線系（上 3 パネル ）と Continuum
Depression （ 下）．印は，観測で得られている
Continuum Depression．

1

2

3

4

5

6

7

8

9

(b) H 吸収線系（ 上 3 パネル ）と Continuum
Depression（ 下）

図 22: 宇宙再電離計算に基づくクェーサー吸収線系と Continuum Depression

の Continuum Depression は DA
1 になってしまう．z > 4 の宇宙の物質状態を詳しく知るには，(1) 輝線が観測でき，(2) Ly よりオパシティが小さく，(3) ダ ストによる減光が小さい，という 3 条件を満たす line が理想的であると言える．3 番目の条件は，高赤方偏移天体がダストで覆われている可能性が高いことを考慮したものである．この 3 条件に最も適合したものは H である．実際，H 吸収線系をシミュレートした結果，H の Continuum Depression は，宇宙の再電
離史を良くトレースできることがわかった（図 22(b) ）．

12.2

電離宇宙における銀河形成の輻射輸送流体力学計算

銀河は，宇宙を構成する基本的単位となっている天体であるが，その形成過程は未だ解明されておらず，宇宙物理学の最重要課題の一つになっている．銀河には，全質量が同程度でありながら楕円型銀河と円盤型銀河という 2 つのタイプが存在する．このような形態の違いがどのようにして生じたかは，銀河形成史の謎を解く鍵であると考えられている．この 2 つのタイプの銀河の重要な違いは，楕円型銀河は主に古い星からできており，円盤型銀河では今なお星が次々に生まれているという点である．この事実は，銀河の形態と星形成史が密接に関係していることを示している．実際，これまでの数値シミュレーションで，早い時期に星形成が起った銀河では，無散逸な系としての力学的緩和により楕円型になり，星形成の進行が遅い銀河では，回転ガス円盤が形成されて円盤型の銀河に進化することが示されてきた．ここで問題になるのが，星形成の効率はいかなる物理が支配しているのかという問題である．この問題は，長い間ブレークスルーが見出せず，これまでのシミュレーションでは星形成効率はパラメータの一つとして扱われてきた．これは，銀河形成問題の本質的解明を長い間阻んできた．我々は，HMCS で可能となった自己重力輻
射流体力学によって，この問題に本格的に切り込み，銀河形成の新たなパラダ イムの構築を行っ72

図 23: HMCS を用いた自己重力輻射流体による銀河形成シミュレーション．13 万体（ SPH 粒子
65536，ダークマター粒子 65536 ）のシミュレーション．図は，SPH 分布の時間進化を示す．
た．我々が注目したのは，銀河形成期の宇宙には紫外線光が充満していたという点である．これは遠方のクェーサーのスペクトル観測により明らかになっている．紫外線光はガスを加熱するため，星形成を阻害する働きがある．紫外線光が，どの程度星形成史に影響を及ぼすかを正確に調べるためには，輻射輸送と重力流体を同時に扱ったシミュレーションが不可欠である．HMCS では，紫外線輻射場の中でのガスの熱的・力学的進化を正確に扱うことが可能である．これまでの自己重力輻射流体シミュレーションによって，比較的初期に出来る銀河では背景紫外線光に対する 自己遮蔽効果 が強く効いて，紫外線の浸透は起こらず，星形成は急速に進行するのに対し，後期にできる銀河では自己遮蔽が弱く，背景紫外線光に阻害され星形成がゆっくりしか進まないことが示された．つまり，星形成の速さを決めるのは，紫外線からの自己遮蔽の程度であるということである．そして，原始銀河のガスが急速に星化した系では，力学的緩和により楕円型銀河へ進化する．また，星形成が遅れた系では角運動量障壁が効くまでガスのまま重力落下する成分
が円盤を作り，最終的に円盤型銀河へと進化する．銀河形態の起源は，背景紫外線に対する自己遮蔽であるという考え方は，これまで全く考えられてこなかったものであり，銀河形成の新たなパラダ イムにつながるものである．これは，HMCS による自己重力輻射流体の実現によって初めて達成できた成果である (図 23) [8, 9]．

12.3

T タウリ型星フラット スペクト ルの 5 次元輻射輸送計算

昨今，ハッブル宇宙望遠鏡などの大型観測装置により，星形成の現場が捉えられてきている．これらが提供してくれる分解能の高いデータを用いて，星形成の現場の物理状況を解明するために

73

36

34

32

2

-1

log (4πd νFν) [erg s ]o: i=10o: i=30o: i=6030

HL TauDG TauRY Tau

28
11

12

13
log ν [Hz]1415

図 24: 計算の結果得られたモデル輻射スペクトル．見込み角 (i) を変えて求めた．三角や丸は，実際のフラットスペクトル T タウリ型星の観測結果．
は，輻射輸送計算によりスペクトルを生成し ，観測と直接比較することが極めて重要である．この目的で，我々は，星形成現場の現象論的なモデル化を行っている．中心星とその周囲の密度分
布や放射源分布を仮定し，輻射輸送方程式を解く．新たな高精度計算法を開発した結果，2 次元軸対称系で 5 次元輻射輸送と物質温度を無矛盾に計算することに成功した [10, 11]．
T タウリ型星と呼ばれる誕生しつつある若い星の中に，`フラットスペクトル T タウリ型星' と呼ばれる特異なスペクトルを示す星々がある．この「フラットスペクトル」の成因は従来より謎であった．我々はこの天体に対し ，「 中心星＋星周デ ィスク＋ハロー」という構成のモデルを考えた．ハローは前二者を包み込む密度の薄いガス雲であるが，このハローの存在が私達のモデルの特徴である．そして各々の性質をいろいろに変えながら輻射スペクトルを計算した結果，ある状態
で「フラットスペクトル」がうまく再現されることを見出した (図 24)．そのときのハローは，長波長の輻射 (電波や遠赤外線) には透明であるが，短波長輻射 (可視光) には不透明であるような密度になっている．この密度は，輻射スペクトル以外の観測結果とも調和的である．こうした計算の結果，直接撮像出来ないハローや星周ディスクの様子 (図 25) が明らかとなり，一連の星形成過程における `フラットスペクトル T タウリ型星' の意味も明らかになった．すなわちそれは，`原始星' から `T タウリ型星' への遷移期に位置する天体である．この成果は，星形成の進行に関する物
理的理解において極めて貴重な情報を与るものである．

参考文献[1] M. Umemura, T. Nakamoto, and H. Susa, \3D Radiative Transfer Calculations on the
Cosmic Reionization", Numerical Astrophysics 1998, eds. S. M. Miyama, K. Tomisaka, &T. Hanawa (Kluwer Academic Publishers: Dordrecht), 43-44 (1998)[2] M. Umemura, T. Nakamoto, and H. Susa, \Reionization of an Inhomogeneous Universe",
RESCEU International Symposium,The Birth and Evolution of the Universe, eds, K. Sato
74

Z

R

-18

-16
-14
log density-12

図 25: 計算の結果得られた温度の空間分布 (等高線)．外側 (右側) より，30, 40, 50, 60, 70, 80, 90, 100K.
グレースケールは，与えた密度分布 (g cm 3 単位).

and M. Kawasaki (Universal Academy Press: Tokyo), 297-300 (2000)[3] T. Nakamoto, H. Susa, and M. Umemura, \Photoionization of a Clumpy Universe", New
Horizon of Computational Science, eds. T. Ebisuzaki & J. Makino, Astrophysics and Space
Science Library (Kluwer), 263, 265-268 (2001)[4] T. Nakamoto, M. Umemura, and H. Susa, \The E ects of Radiative Transfer on the Reionization of an Inhomogeneous Universe", Mon. Not. Roy. Astron. Soc., 321, 593-604 (2001)[5] T. Nakamoto, M. Umemura, and H. Susa, \3D Radiative Transfer E ects on the Cosmic
Reionization", The Physics of Galaxy Formation, ASP Conference Series, 222, 143-148(2001)[6] M. Umemura, T. Nakamoto, and H. Susa, \Cosmic Reionization and Galaxy Formation"
The Physics of Galaxy Formation, ASP Conference Series, 222, 109-114 (2001)[7] M. Umemura, T. Nakamoto, and H. Susa, \Cosmic Reionization History and QSO Absorption Line Systems" Studies of Galaxies in the Young Universe with New Generation
Telescopes, Japan-German Seminor 2001, in press (2002)[8] H. Susa and M. Umemura, \A Simulation of Galaxy Formation by Radiation-SPH , IAU
Symposium 208, Astrophysical Supercomputing using Particle Simulations, in press (2002)[9] H. Susa and M. Umemura, \Galaxy Formation in the Presence of Ultraviolet Background
Radiation Field | A Simulation by Radiation-SPH |" Studies of Galaxies in the Young
Universe with New Generation Telescopes, Japan-German Seminor 2001, in press (2002)[10] N. Kikuchi, T. Nakamoto, and K. Ogochi, \Disk-Halo Model for Flat Spectrum T Tauri
Stars", Publ. Astron. Soc. Japan, submitted (2002)75

[11] T. Nakazato, T. Nakamoto, and M. Umemura, \A Spectrophotometric Method to Determine the Inclination of Class I Objects", Astrophysical Journal, submitted (2002)

76

13

計算物性物理学

物性物理学の研究分野は、物質の磁性に関係したスピン系や、高温超伝導に関係した低次元強相関電子系の研究、さらには様々の物質の性質を量子力学の第一原理に忠実な計算により理解しようとする分野まで、幅広く且つ多様である。センターでは、CP-PACS を用いた研究、さらには汎用スーパーコンピュータを用いた研究が行われた。

13.1

CP-PACS による物性物理学

CP-PACS を用いた物性物理学の研究は、主として共同利用「大規模数値シミュレーションプロ
ジェクト 」によって実施された。第 4 章の表 15 に見られるように、これを反映して、共同利用プ
ロジェクトで採択された物性物理学の課題は、多岐のテーマにわたっている。

13.1.1

超高圧下の固体水素の相構造

原子集団の基底状態を量子力学の第一原理に立脚した大規模計算により決定する方法により、物質の構造の理解や新たな現象の予言に大きな進歩が生まれている。
常行ら [1] は 、この方法により、60 年以上にもわたって研究されながら未だに謎の多い超高圧化での固体水素の構造決定を行なった。この問題では、電子状態のみならず原子核をも量子力学的に取り扱う必要がある。これに対する方法として、第一原理経路積分分子動力学法が用いられ、バンド および経路積分についての二重並列化により CP-PACS を用いた効率の良い大規模計算が可能となった。実験的に示唆されている、圧力 150GPa 以下で比較的高温の I 相、150GPa 以下で低温の II 相、150GPa 以上の III 相それぞれについてシミュレーションが行われその特徴が明らかにされた。

13.1.2

高温超伝導

高温超伝導は、その 1986 年の発見以来既に 10 年以上を経ているが 、いまだに完全な理論的解決を見ていない問題である。この問題については、電気的性質と磁気的性質の双方に理解を要す
る多くの現象があり、このことから、t-J 模型などの基本的な電子系模型からスピン自由度のみに着目した模型まで、様々なモデルを対象にした研究が行われている。
横山ら [2] は、高温超伝導体の擬スピンギャップに関連して、一次元スピンギャップ系の物理量を厳密対角化法及び密度行列繰り込み群を用いて調べ、磁性不純物効果の機構を分析した。
山地ら [3] は、ハバード 模型に対して超伝導凝縮エネルギーを変分モンテカルロ計算により求めることを試みた。

13.1.3スピン系

スピン系の統計力学は古くて新しい問題である。高山ら [4] は、ランダムネスと量子効果が絡む問題として 2 次元希釈反強磁性量子ハイゼンベルグ模型のシミュレーションを行った。その結果、絶対零度においては、ネール秩序が消失する濃度は古典スピン系のそれと一致するが 、臨界指数
はスピン S に依存することを見出した。スピンの大きさに依存する相転移特性が検証されたのは

77

初めてであり、量子相転移の多様性の一例と考えられる。

13.2

炭素系新物質の物性解明

量子力学の第一原理に立脚した非経験的電子状態計算 (密度汎関数理論) は、分子、固体の構造、電子物性を解明する上で強力な手段である。さらに、今日注目を集めている、ナノスケールマテ
リアルにおいては、そのサイズに起因する端、界面での量子効果が本質であり、量子力学的アプ
ローチが必要不可欠となる。
岡田等は上述の手法を用いて、最近、合成が報告されている、フラーレン内包カーボンナノチュー
ブ (炭素ピーポッド :peapod) の電子状態と安定構造の解明を行った [5] [図 26(a)]。その結果、C60
内包に対して、最大のエネルギー利得を与えるチューブの半径は約 7
A であり、(10,10) と呼ばれる
金属的ナノチューブの半径にほぼ一致することをあきらかにした [図 26(b)]。さらに、チューブ -C60間の相互作用、すなわち C60 のエネルギーギャップ近傍の  状態と、ナノチューブの比較的高いエネルギーを持つ空状態 (自由電子的状態) 間の軌道混成により [6] 、C60 の  バンドが低エネル
ギー側へシフトし 、ピーポッドは伝導チャンネルに特異性のある１次元金属である事が明らかになった [図 26(c)]。
(c)

(b)

(a)

2
163

endothermic

1Energy (eV)Energy (eV)

152
1
0
-1

0
-1
-2

exothermic
-2
5

5.5

(8,8)

6

(9,9)

6.5

tube radius (Å)

7(10,10)-3

ΓX

図 26: (a) 最適化された C60 内包 (10,10) ナノチューブ。(b) 内包過程のエネルギー論:(n; n)tube +C60 ! C60 @(n; n) E . (c) C60 内包 (10,10) ナノチューブのバンド 構造。フェルミエネルギーが原点である。

13.3

炭素系新物質の物質設計

一方、非経験的電子状態計算を用いる事により、未だ合成がなされていない新規物質の物質設計と新機能発現の探索を計算機内において同時に行う事が可能である [3]。これまでに、岡田等は密度汎関数理論を用いて、有限幅のグラファイトリボンにおいて、その端に極在する  状態が強磁性
秩序を誘起する事示してきた。さらに h-BN とグラファイトの界面において、h-BN リボン、グラ
ファイトリボン各々のエッジ状態が混成することにより、新たな界面局在状態、すなわち \Borderstate"が出現する事を報告した [4]。この border state は、一般的な界面状態と著しく異なり、そ78

の界面局在性を逆格子空間のある限られた波数領域においてのみ示し 、その領域において平坦なバンドを形成する。
ここでは、図 27 に示すような、一般の界面形状を持つ BNC ヘテロ構造の下で、border state に起因する新たな物性、特に系の磁気的性質に着目し 、BNC ヘテロシートの電子状態計算を密度汎関数法理論を用いて明らかにした [5]。その結果、B 原子数 (NB ) と N 原子数 (NN ) に差が出るよ
うな界面形状の下では、 = NB NN 個の分散の小さなバンドがギャップ中に出現することが明らかになった。さらに、この分散の小さなバンドが同数の電子によって占有されている為、各スピンのバンドはスピン分極に起因する分裂をおこす。この事から、シートが何らかの磁気秩序を示している事が示唆される。そこで、各スピンに対する電荷分布の計算を行うと、図 27 に示す
ようにフェリ的な秩序が発現していることが明らかになった。また、分極する電子スピンの個数は平坦なバンド の個数と一致し 、その 点における波動関数の空間分布は、h-BN とグラファイトの界面に沿って１次元的に拡がっている事が明らかになった。すなわち、B, N, C と等の非磁性軽元素のみからなるヘテロ構造において、その界面ネットワークトポロジーの制御により磁気秩序を誘起させる事が可能である事を明らかにした。

jj

BNC-II

BNC-I

図 27: BNC ヘテロシート上のスピン密度の形状及び等高線。スピン密度の正負は実線あるいは点線で示されている。白、灰色、黒の丸は、それぞれ、C 原子、B 原子、N 原子。等高線はスピン密A3 である。
度が 2 倍（あるいは半分）になる度に引いてあり、最低値は 5:27 10 3 e / 

参考文献[1] 大規模数値シミュレーションプロジェクト（ 平成 9-10 年度）「第一原理経路積分分子動力学法による高圧下における固体水素の研究」常行真司（東京大学物性研究所）他; H. Kitamura,
S. Tsuneyuki, T. Ogitsu, T. Miyake, Nature 404 259 (2000).
「厳密対角化法及び密度行列繰り込[2] 大規模数値シミュレーションプロジェクト（平成 9-10 年度）
み群によるスピンギャップ系の研究」横山寿敏（東北大学大学院理学研究科）他; K. Kobayashi

79

and H. Yokoyama, Physica B 259-261 606 (1999); S. Watanabe and H. Yokoyama, J. Phys.
Soc. of Jpn. 68 vol.6 (1999).
[3] 大規模数値シミュレーションプロジェクト（ 平成 9-10 年度）「電子機構超伝導模型の計算物「高温超伝導体の d-p 模型に関する計算物理的研究」;（ 平成 12
理的研究」;（ 平成 11 年度）
年度）「高温超伝導体の超伝導相図の研究」山地邦彦（ 電子技術総合研究所）他; K. Yamaji,
T. Yanagisawa, S. Koike, J. Phys. and Chem. of Sol. 62 237 (2001); Physica B 284-288 415(2000).
[4] 大規模数値シミュレーションプロジェクト（平成 9-10 年度及び平成 11 年度）「二次元ランダム
ハイゼンベルグ反強磁性体における量子スピンゆらぎ 」高山一（東京大学物性研究所）他; K.
Kato, S. Todo, K. Harada, N. Kawashima, S. Miyashita, H. Takayama, Phys. Rev. Lett. 84
4204 (2000); S. Todo and K. Kato, Phys. Rev. Lett. 87 047203 (2001); C. Yasuda, S. Todo,
K. Harada, N. Kawashima, S. Miyashita, H. Takayama, Phys. Rev. B 63 140415 (2001).
[5] S. Okada, S. Saito, and A. Oshiyama, Phys. Rev. Lett., 86, 3835 (2001).
[6] S. Okada, A. Oshiyama, and S. Saito, Phys. Rev. B, 62 7634 (2000).
[7] S. Okada, S. Saito, and A. Oshiyama, Phys. Rev. Lett., 83, 1986 (1999).
[8] S. Okada, M. Igami, K. Nakada, and A. Oshiyama, Phys. Rev. B, 62, 9896 (2000).
[9] S. Okada and A. Oshiyama, Phys. Rev. Lett., 87, 146803 (2001).

80

14

未来開拓研究「次世代超並列計算機の開発」

CP-PACS に続く，計算物理学に適した次世代超並列計算機の研究開発は，センターの重要なテーマであった．そのための基礎研究が，日本学術振興会の未来開拓学術研究推進事業「計算科学」分野のプロジェクトの一つである「次世代超並列計算機の開発」により，平成 9 年度より平成
13 年度まで，5ヶ年計画で進められた．

14.1

プロジェクト の概要

計算科学の近年の飛躍的な発展の背景には，高速計算機の驚異的な発達がある．本プロジェ
クトでは，計算科学の基礎となる超並列計算機の計算性能を，プ ロジェクト発足当時の 1996 年
時点での到達性能である約 1TFLOPS から，100TFLOPS レベルに引き上げるための開発研究を行った．
科学技術の対象とする物理系は，連続体と多粒子系，さらにはこれらの複合系として特徴付けられる．連続体は一般に近接相互作用に支配され，各種の演算が可能な汎用プロセッサによる超並列処理が必要である．一方，多粒子系は重力を代表とする普遍的な遠隔相互作用で支配され，専用プロセッサによる高速化が極めて有効である．従って，本研究では二つのサブプロジェクトを設け，それぞれ，連続体向けの超並列計算機と，多粒子系向けの超並列計算機の研究開発を推進することとした．
次世代の計算科学では，個々の連続体，多粒子系のみならず，両者が結合した複合系の超高速シミュレーションが重要な課題である．このような新たなシミュレーションを実現するために，
本プロジェクトでは，最終年度において，上記二つのサブプロジェクトの研究開発を総合し ，連続体向け汎用超並列計算機と多粒子系向け専用超並列計算機を結合した「ヘテロジニアス・マル
チコンピュータ」を構築することを，最終目標とした．
「連続体向けの超並列計算機の開発」サブプロジェクトは，筑波大学計算物理学研究センター
を拠点として実施し，高速化の基本となるメモリ混載型次世代プロセッサアーキテクチャSCIMAの開発とノード 結合網の検討，柔軟で高速な並列入出力・可視化システム PAVEMENT の開発を行い，100TFLOPS クラスのピーク性能を実現する次世代汎用超並列計算機アーキテクチャを具体化した．
「多粒子系向けの超並列計算機の開発」サブプロジェクトは，東京大学において牧野淳一郎氏を中心として実施され，重力／クーロン力専用計算機 GRAPE-6 を中心とする開発製作が行われた．この間，1999 年には GRAPE-5 により，2000 年には GRAPE-6 プロトタイプにより Gordon
Bell 賞を受賞した．さらに，プロジェクト最終年度の平成 13 年 6 月には，ピーク性能 32TFLOPS，
宇宙物理学の実用計算において 11.55TFLOPS の世界最高性能を実現し，同年 11 月の SC2001 国
際会議において，2001 年 Gordon Bell 賞を受賞した．GRAPE-6 システムは，最終的に，ピーク
性能 64TFLOPS を実現している（平成 14 年 3 月）．
本プロジェクト最終年度には，以上二つの技術開発を総合して，連続体向け超並列計算機 CPPACS（ 0.6TFLOPS，1996 年 11 月「世界の高性能計算機トップ 500 」リスト第一位）と多粒子系向けの専用超並列計算機 GRAPE-6（ 8 ボード，８ TFLOPS を実装）を並列ネットワークで結合
し ，統合演算性能 8.6TFLOPS の強力なヘテロジニアス・マルチコンピュータの実用システムを構築した．さらに，このシステムを用いて，従来困難とされてきた，宇宙物理学における輻射と物質の相互作用を取り入れた銀河形成シミュレーションを実現し ，ヘテロジニアス・マルチコン

81ピュータ・コンセプトの実現性と有効性を実証した．
以下，本センターにおいて実施した連続体向け超並列計算機開発の基礎研究と HMCS の開発についてまとめる．本研究に関する文献リストは，第 14.8 節にまとめる．

14.2

研究目的

本プロジェクトにおいて研究目的としたところは以下のとおりである．
計算科学の最近の発展は，超並列計算機による計算機の能力の向上と強く結びついている．超並列計算機は，ベクトル型計算機と比較してそのアーキテクチャが多様であり，従って，問題を明確に設定することによって初めて，最先端の半導体技術を駆使した超高性能なシステムを実現できる．
この点の好例は，計算科学者の主導により遂行された，先の CP-PACS プロジェクト，GRAPE プ
ロジェクトに見ることができる．
一方，計算科学の分野を横断的に連続体，多粒子系に２分することが可能である．前者には，流体力学，格子量子色力学，後者には，多体天体系，高分子系などが含まれる．CP-PACS プロジェ
クトは連続体に焦点をあて，GRAPE プロジェクトは粒子系にターゲットを絞って，高性能な超並列計算機の開発に成功した．
本プロジェクトでは，超並列計算機の計算速度を，プロジェクト開始当時の約 1TFLOPS から
100 倍向上させるための研究開発を行った．計算科学の対象が，連続体と多粒子系に大別されることに対応して，二つのサブプロジェクトを設け，それぞれ，連続体向け超並列計算機，多粒子系
向け超並列計算機の開発を行うと共に，高速かつ柔軟な入出力機構・可視化機構・マンマシンイ
ンターフェースを実現することを目標とした．さらに，今後の科学技術計算においては，連続体と多粒子系の自由度が複雑に結合した複合系の超高速シミュレーションが極めて重要な課題であることから，最終年度において，連続体向け超並列計算機と多粒子系向け超並列計算機を結合したヘテロジニアス・マルチコンピュータを構築し，連続体・多粒子系複合システムの超高速シミュ
レーションを実現することを，本プロジェクトの最終目標とした．
連続体向け超並列計算機開発においては，CP-PACS プロジェクトにおける知見を基に，超高速並列計算の課題である多量の計算データの並列入出力及び並列可視化のための規範となりうるシ
ステムを実現し ，さらに超並列計算機の演算性能そのものの飛躍的増大のために，有望な方法と考えられているプロセッサ・メモリ融合型 LSI の開発研究を行った．多粒子系向け超並列計算機開発においては，GRAPE プロジェクトの成果を基に，この種の問題に最適化した専用プロセッサを開発し ，100TFLOPS 級の計算速度が達成可能であることを実証することを目標とした．さ
らに，再構成可能論理（ FPGA，Field Programmable Gate Array ）により，より広い応用範囲を持つ多用途粒子系プロセッサの開発を試みた．
これらの技術開発を最終年度に総合し ，柔軟な並列入出力・並列可視化装置を持ち連続体に適した超並列計算機と多粒子系の専用計算機を組み合わせ，多粒子・連続体混合系に適用可能なヘテロジニアス・マルチコンピュータ（ Heterogeneous Multi-Computer；HMCS ）を構築することを目指した．
このような統合的システムは，素粒子・宇宙物理学等の学術研究のみならず，地球規模の気候
変動シミュレータ，大規模計算力学，物質科学解析，蛋白質立体構造解析等，今後社会的にますます重要度を増すと予想される問題の解決に有用な役割を果たすと期待され，また産業界が開発するコンピュータのプロトタイプともなり得ると考えられた．

82

14.3

研究計画

以上の研究目的達成のために立案した研究計画は以下のとおりである．
本プロジェクトは，「 連続体向け超並列計算機の開発」サブプロジェクトと「多粒子系向け超並列計算機の開発」サブプロジェクトにおいて実施する．
「連続体向け超並列計算機の開発」サブプロジェクトは，筑波大学計算物理学研究センターを中心に実施する．連続体を対象として， 高速な超並列計算機とその結果の解析・可視化を行う外部処理系の間を柔軟且つ高速に結ぶための並列入出力・並列可視化の研究と，演算性能そのものの高速化を目的とするプロセッサ・メモリ融合型 LSI の開発研究を行う．
前者については，計画前半に，小規模並列システムとグラフィック計算機クラスタを高速スイッチで結合した評価用システムを構築して結合実験・性能評価を行う．計画後半には，この基礎研究の知見に基づいて，超並列計算機と並列入出力・並列可視化装置の結合を行ない，これを評価すると共に，ソフトウェアの開発を進めて，実用に耐えるシステムを構築する．
プロセッサ・メモリ融合型 LSI の研究開発に関しては，計画前半は，基本方式の検討ためのシミュレータ開発・それを用いてのシミュレーション評価にあて，続いて後半には回路設計，コンパイラ開発を行う．
「多粒子系向け超並列計算機の開発」サブプロジェクトは東京大学において実施する．多粒子系を対象として，重力・クーロン相互作用に専用化した，ピーク性能 100 テラフロップス程度の専用プロセッサを開発するとともに，粒子系に専用化したアーキテクチャを持つが，一般の相互作用を計算するパイプラインを FPGA（ 再構成可能論理）で実現した多用途粒子系プロセッサを開発する．このプロセッサの性能は，応用にもよるがテラフロップス程度を目標とする．
以上の二つのサブプロジェクトの研究開発を総合し ，計画最終年度には，並列入出力・並列可視化装置を持つ超並列計算機と多粒子系専用並列機，それらの中間的性格を持つ FPGA による多用途粒子系プロセッサを結合し ，連続体・多粒子系をはじめそれらの混合系にたいしても高い性能を発揮するヘテロジニアス・マルチコンピュータを実現し ，素粒子物理学に於ける場の理論シ
ミュレーション，天体シミュレーション，分子動力学計算，粒子的アプローチでの流体計算などに応用する．

14.4

研究組織

本研究の組織を次に示す．役割分担及び所属等は平成 14 年 3 月 31 日時点のものである．

83

「次世代超並列計算機開発」プロジェクト
リーダー

岩崎 洋一

筑波大学副学長 (研究担当)「連続体向け超並列計算機の開発」サブプロジェクト（ 筑波大学計算物理学研究センターにて実施）
コアメンバ
コアメンバ

宇川 彰
朴 泰祐
梅村 雅之
金谷 和至
坂井 修一
佐藤 三久
須佐 元
白川 友紀
高橋 大介
千葉 滋
中村 宏
中本 泰史
安永 守利
吉江 友照
和田 耕一
青木 慎也
大川 正典
中澤 喜三郎
中田 育男
星野 力
山下 義行
渡瀬 芳行
板倉 憲一
Hugh Shanahan
Thomas Manke
Arifa Ali Khan
AIOV:
AMOC:
IOV:
MOC:

筑波大学物理学系教授・計算物理学研究センター長
筑波大学電子・情報工学系助教授
筑波大学物理学系教授
筑波大学物理学系教授
東京大学大学院情報理工学系研究科教授（ 平成 9 年度{11 年度コアメンバー）
筑波大学電子・情報工学系教授
筑波大学物理学系助手
筑波大学機能工学系教授
筑波大学電子・情報工学系講師
東京工業大学大学院情報理工学研究科講師
東京大学先端科学技術研究センター助教授
筑波大学物理学系助手
筑波大学電子・情報工学系助教授
筑波大学物理学系助教授
筑波大学電子・情報工学系教授
筑波大学物理学系教授
広島大学大学院理学研究科教授
明星大学情報学部教授
法政大学情報科学部教授
筑波大学機能工学系名誉教授
佐賀大学理工学部知能情報システム学科教授
高エネルギー加速器研究機構計算科学センター教授
日本学術振興会研究員（ 平成 11 年度{12 年度）
日本学術振興会研究員（ 平成 9 年度{10 年度）
日本学術振興会研究員（ 平成 10 年度{12 年度）
日本学術振興会研究員（ 平成 10 年度{12 年度）
物理応用計算における並列入出力・並列可視化
物理応用計算におけるプロセッサ・メモリ混載型 LSI
並列入出力・並列可視化
プロセッサ・メモリ混載型 LSI「多粒子系向け超並列計算機の開発」サブプロジェクト（ 東京大学大学院理学系研究科にて実施）
コアメンバ

牧野 淳一郎
蜂巣 泉
泰地 真弘人
船渡 陽子
福重 俊幸
小久保 英一郎
高橋 広治

東京大学大学院理学系研究科助教授
重力／クーロン力専用計算機開発
東京大学大学院総合文化研究科助教授
応用ソフトウェア開発
統計数理研究所助教授
プロセッサチップ論理設計
東京大学大学院総合文化研究科助手
応用ソフトウェア開発
東京大学大学院総合文化研究科助手
重力／クーロン力専用計算機開発，FPGA システム開発
国立天文台助手
応用ソフトウェア開発
日本学術振興会研究員（ポストド クター）
応用ソフトウェア開発

84(AIOV)(AIOV)(MOC)(IOV)(AIOV)
(IOV)
(IOV)
(IOV)
(MOC)
(AIOV)(IOV)(AMOC)(MOC)(AMOC)(AIOV)
(MOC)
(IOV)
(IOV)
(IOV)
(IOV)
(IOV)
(AIOV)(AIOV)(AIOV)

14.5「連続体向け超並列計算機の開発」サブプロジェクト

連続体向け超並列計算機の開発における研究成果は大きく以下の 2 つの項目に分かれる．

 オンチップ メモリを用いた高性能プロセッサアーキテクチャ SCIMA （ Software Controlled
Integrated Memory Architecture ）の開発とそれに基づく超並列計算機の基本設計

 コモデ ィティネットワークに基づく並列入出力機構及び並列可視化システム PAVEMENT（ Parallel I/O and Visualization Environment ）の開発及び実装

以下，それぞれについて述べる．

14.5.1

オンチップ メモリを用いた高性能プロセッサアーキテクチャ SCIMA の開発

次世代連続体向け超並列計算機における要素プロセッサにおいて最も重要な要件は，近年ますます拡大しつつあるプロセッサ速度とメモリ速度のギャップ，いわゆる memory wall problem をいかにして解決するかである．特に超並列計算機の構成を考慮すると，単体ノードプロセッサに従来のハード ウェアベクトル処理方式をそのまま適用することは，ハード ウェア量と実装密度の両面で不可能に近い．従って，限られたメモリバンド 幅をいかに有効利用し ，プロセッサチップ
内でのデータ再利用性を上げられるかが重要なポイントとなる．オンチップ メモリの有効利用という観点から見ると，キャッシュのような比較的単純なアルゴ リズムによって自動的に制御することには性能の限界があり，これをよりアグレッシブに制御し ，さらにそのデータにとって最も効率的なサイズ及びアクセス方法でオンチップ・オフチップのトラフィックを制御することが必要となる．
我々は以上のコンセプトに基づき，ソフトウェア制御可能なオンチップ メモリに基づく新しいプロセッサアーキテクチャSCIMA (Software Controlled Integrated Memory Architecture) を提案し，その特性と性能向上を計算機シミュレーションによって確認した．さらに，実際のプロセッ
サチップ設計上で最も重要になるデータパスとキャッシュを含むオンチップ メモリ制御系に重点を置いたハード ウェア記述レベルでの設計を行い，SCIMA における新しいデータ処理パスを追加しても，全体のクロック周波数（ クリティカルパス）への影響がほとんどなく，各種アプリケーショ
ンにおける実質的な性能を大幅に向上させることが可能であることを示した．以下，SCIMA に関するサブテーマ及び連続体向け次世代超並列計算機のあるべき姿に関して述べる．

SCIMA アーキテクチャの概要 SCIMA の構成図を図 14.5.1 に示す．シングルチップ内にロジック部および１次キャッシュだけでなく，アドレス指定可能な高速なオンチップ メモリ (以下，SCM:
Software Controlled Memory) を搭載する．一般の科学技術計算における大容量のデータセットに対応するため，チップ外にもメインメモリとして DRAM を配置する．
SCM と従来のキャッシュとの相違点は，データアロケーションとリプレースメントの制御がキャッ
シュでは自動的に行なわれるのに対し，SCM ではその制御をソフトウェアで明示的に行える点である．ハード ウェア制御のキャッシュでは，ユーザが意図しないデータアロケーション，リプレー
スメントによるキャッシュミスが発生することによる性能低下が問題となる．SCM を採用する狙いは，多くの科学技術計算がデータアクセスに規則性を持つことを利用し，ユーザ (あるいはコン
パイラ) が明示的にデータアロケーションとリプレースメントを行なうことでこの問題を回避することである．

85

ALU

FPU

register

Cache

MMU

On-Chip SRAM

NIA
Memory(DRAM)

Network

図 28: SCIMA のブロックダ イアグラム

SCIMA では，従来のアーキテクチャに対して，メモリ階層に関して以下の拡張を行う．まず，浮動小数点レジスタを増やす．これは，集積度の向上による搭載可能演算器の増加と，キャッシュ／ SCM が提供する高いチップ 内バンド 幅を活用するためである．オンチップ メモリ上でのデー
タアロケーションとリプレースメントの制御をソフトウェアに解放するため，SCM は論理アドレ
ス空間上に定義する．但し SCM 領域は uncacheable とするので，キャッシュとの包含関係は生じない．
上記のメモリ階層の拡張を有効に利用するため以下の命令を追加する．

 load-multiple, store-multiple: SCM の連続アドレス上と，連続するレジスタ間で複数データの転送を行う命令．オンチップ メモリとレジスタの間に 1000 bit 程度のデータパスを設けることは将来的には可能と考えられるため，この命令の転送サイズとしては 2，4，8，
16 double-word 程度を想定している．

 page-load, page-store: オフチップ メモリと SCM 間でデータ転送を行なう命令．データ
転送はページ単位で行う．この転送とチップ内部の計算処理とを重畳化することで，オフチッ
プ メモリアクセスのレーテンシを隠蔽する．また，ブロック幅とストライド 幅を指定するブロックストライド 転送の機能を付け加える．この機能により，オフチップ メモリ上の不連続領域のデータをパッキングして，SCM に持ってくることを可能にする．

$$

SCIMA では 2 種類のデータアクセス方法が提供される．すなわち，(1) レジスタ SCM オフ
オフチップ メモリ，である．SCIMA のデータ処理性
チップ メモリと，(2) レジスタ キャッシュ能が最も効果的に現れるのは，アプリケーションが定型的なループ処理及びデータアクセスパターンを持つ場合であり，データアクセス領域の形状に応じてコンパイラが適当な page-load/page-store
命令を生成し ，ループ 処理に応じてこれを発行する．
我々が先に開発した超並列計算機 CP-PACS では，擬似ベクトル命令と呼ばれる，メモリからキャッシュをバイパスして直接レジスタにデータをロード ／ストアする命令が用意されていた．これらの命令はメモリアクセスの遅延時間を隠蔽するものの，チップ内のデータ局所性はレジスタに限られ，メモリスループットの節約には結びつかなかった．SCIMA ではデータのパターンが連続／ストライド のど ちらの場合でも，SCM のデータ局所性を生かし，メモリアクセス回数及びデー

$

$

86

タ転送量を最小限に抑えることが可能である．このようにして，データ転送粒度及びデータ転送量の両者を最適化することが SCIMA の目的である．
ただし ，アプ リケーションによっては，データアクセスパターンが読み切れず，これらの最適化が難しい場合も存在する．このような場合に備え，SCIMA では従来型のキャッシュも用意されている．我々は，オンチップ上で SCM 領域とキャッシュ領域を統合的に扱い，アプリケーション
によって両者の容量バランスを調整する仕組みも提案している．

RTL 設計 SCIMA は既存のスカラプロセッサへの拡張として設計されている．拡張は SCM の実装といくつかの新命令の追加のみであるが，この拡張がクロック周波数等に与える影響は調べなければならない．このため，我々は一般的なスカラプロセッサと，これを元にした SCIMA プロ
セッサの両者を設計し，比較した．対象としたプロセッサは MIPS R10000 マイクロプロセッサである．ただし，R10000 全体の設計を行うことは極めて難しく，またこの作業は本研究の目的に必ずしも合致しない．ここで重要なのは，データアクセス系に対してどのようなペナルティが生じるかということである．よって，我々は設計対象をこの部分に絞り，元のプロセッサのキャッシュ
制御系と，SCIMA における SCM 及びキャッシュ制御系に着目し ，この部分の設計を行い比較検討した．

System Interface

Data Cache/
On Chip Memory

Instruction Cache
Addr Instruction

Addr

data

ctrl

switchInteger
Queue

Flt.Pt.
Queue

OCMtestInteger
Registers

Address
Queue

PLS
addr.stk
TLB

Addr.calc
ALU 1
ALU 2

FP
Registers

Instruction Decode
Register Mapping

ClocksBranch Unit

PLS
Queue

FP AdderFP Multiplier

図 29: SCIMA におけるデータパス構造
図 29 に SCIMA のデータパス構造を示す．ここで，影付きの部分が元の R10000 に対して SCIMA
で変更を加えた部分である．我々はこの図に示される部分全体に対し，R10000 と SCIMA の両者について，Verilog-HDL による RTL (Register Transfer Level) 設計を行った．その後，デザイン
コンパイラによってこの設計を合成した．合成には ROHM 社の 0.35m CMOS テクノロジを用いた．
これらの設計を元に，クリティカルパスの遅延時間を予測した．クリティカルパスの場所には2 つの可能性がある．1 つは，ある選択された命令に引き続き，実効可能な命令をキューから選択87

表 34: 面積・遅延の評価 (速度最優先)

遅延 [ns]

命令選択回路 & issue
キャッシュウェイ選択(キャッシュアレ イ自身のアクセスは含まず )R10000 モデル SCIMA モデル
6.11
6.48
3.31
3.50

する部分である．もう 1 つは，キャッシュアレ イのアクセスに基づく，キャッシュのウェイ選択ロ
ジックである．表 34 に R10000 及び SCIMA における，各パスの予測遅延時間を示す．この表からわかるように，もしキャッシュアレ イアクセスの遅延が 2.8ns 以上であれば，キャッシュアクセ
スパスがクリティカルになる．ど ちらの場合にしても，SCIMA におけるクロック周波数の低下は5%以内であり，これは SCIMA がもたらす同一クロックレベルでの性能向上に比べると無視し得る小さな値である．

SCM 利用の最適化

我々は SCM 領域を最大限に利用するための最適化手法を提案し，この方針に基づく基本的な性能評価をシミュレータによって行った．データ配列は，それらへのアクセスパ
ターンに応じて分類される．図 30 に，SCM を有効利用するための戦略を示す．この図は，データアクセスの連続性（連続，ストライド，不規則）と，データの再利用性（再利用可能，再利用不能）の組み合わせに基づき，各々どのような方法を用いるべきかをまとめたものである．

Consecutivenessconsecutive

 use SCM as a

 reserve SCM

stride use SCM as a

 for reused data

not use SCM

 for reused data

not-reusable

reusable

irregular

stream buffer

for reused data
reserve SCM

stream buffer

reserve SCM

Reusability

 ODWHQF\VWDOOUHGXFWLRQE\EXUVWWUDQVIHU ODWHQF\VWDOO WKURXJKSXWVWDOOUHGXFWLRQE\VWULGHWUDQVIHU WKURXJKSXWVWDOOUHGXFWLRQE\VRIWZDUHFRQWUROODELOLW\

図 30: SCM 利用のための戦略
これらの戦略のうち，(1) と (2) はそれ以外に比べ特に効果的である．このような再利用不能な配列を疎粒度で転送することは，レ イテンシに基づくストールを短縮するのに効果的である．よって，我々は戦略 (1) と (2) により高い優先度を置く．すなわち，SCIMA 最適化を適用するループ
単位の中で，その中でアクセスされる様々なデータ集合に対し ，まず (1), (2) に当てはまるものを選び ，各々の戦略を適用する．その後，再利用可能な配列に対して，残りの SCM 領域を戦略(4),(5),(6) に基づき利用する．

88

これらの効果を実際に解析するため，2 つのプログラムを用いたシミュレーションによる性能評
価を行った．1 つは NAS Parallel Benchmarks の kernel FT (FFT 処理) であり，もう 1 つは QCD(Quantum ChromoDynamics) アプリケーションである．提案している戦略の有効性を確認するために，我々はキャッシュに基づく通常のプロセッサと，SCIMA の結果を比較した．なお，ループ
タイリングやループ 交換のような，より高いレベルでの最適化は両者に対して予め適応済みとした．SCIMA に関しては，提案している戦略を手作業で適用した．性能評価の仮定は以下の通りである：オンチップ上のメモリ総容量は 64KB または 512KB，キャッシュラインサイズは 32B または 128B，キャッシュ/SCM のアクセススループットは 8B/cycle，オフチップ メモリのアクセスス
ループットは 1B/cycle，オフチップ メモリのアクセス遅延時間は 160 cycle，キャッシュモデルにおいてはキャッシュプリフェッチを可能とした．
図 31 に各プログラム実行に要するサイクル数を示す．サイクルは，CPU ビジー時間，レ イテ
ンシの大きさに基づくストール，スループット不足に基づくストールの 3 つのカテゴ リに細分化され，それぞれ Tb , Tl , Tt と示されている．この図からわかる通り，全ての仮定の組み合わせにおいて，SCIMA は両者のプログラムにおいてキャッシュモデルよりも高い性能を示す．これは，
SCIMA がオフチップ メモリへのトラフィックを削減しつつ，さらにレ イテンシに基づくストールを劇的に縮めていることによる．この結果より，提案された戦略は極めて有効であることが示された．

            

¸º¿¼

ª ¤
¢

(a) FT

¸º¿¼


























 
ª ¤
¢

¸º¿¼

ª ¤
¢

図 31: 性能評価結果(b) QCD

¸º¿¼






 

Ë¿ÉÆÌ¾¿ÇÌËwÊË¸ÃÃÃ¸Ë¼ÅºÐwÊË¸ÃÃ§¬w¹ÌÊÐwËÀÄ¼






 Ï¼ºÌËÀÆÅwÐºÃ¼ÊÏ¼ºÌËÀÆÅwÐºÃ¼ÊË¿ÉÆÌ¾¿ÇÌËwÊË¸ÃÃÃ¸Ë¼ÅºÐwÊË¸ÃÃ§¬w¹ÌÊÐwËÀÄ¼






 

ª ¤
¢

SCIMA 向けコンパイラ SCIMA プロセッサにおけるプログラムでは，オフチップ メモリと SCM
間でのデータ転送を明示的に制御する必要がある．他の最新のプロセッサテクノロジと同様，この制御命令はコンパイラによって生成される必要がある．しかし ，プログラム上でどのデータを
どのタイミングで転送すべきかを完全に自動的に検出することは極めて難しい．この問題に対する研究基盤を提供するために，我々は SCIMA 用指示文（ directive ）に対応した Fortran コンパイ
ラを作成した．これらの指示文により，プログラマはデータ転送の対象とタイミングを簡単に指示できる．このコンパイラは，指示文を処理しつつ Fortran を C に変換するフロントエンド 部と，任意のレジスタ数や SCM 容量に対応したアセンブ リコード を生成するバックエンド 部からなる．
フロントエンド コンパイラが対象とする指示文は SCIMA-directive と呼ばれる．このコンパイ
ラの設計目的は，プログラマに細粒度な制御手段を提供しつつ，適度な抽象化を可能にすることである．これにより，より汎用なアルゴ リズムに対するコンパイラのデータ処理最適化に関する89

研究支援環境が提供される．
SCIMA-directive は，配列要素を SCM に動的にマッピングする際に用いられる．このマッピン
グはユーザからは隠蔽され，ユーザは SCM 上の要素に対して明示的なアクセスを記述する必要はない．コンパイラは Fortran から C に変換する際に，これらの SCM にマップされた領域への通常の配列アクセスを SCM へのそれに自動的に置き換える．
SCIMA-directive の使い方の例を以下に示す．

double precision sum
double precision a(N*2,N*2)!$scm begin (a, N, N, 0, 0)!$scm load (a, N + 1, N + 1, N, N)
sum = 0.0
do i = N + 1, N * 2
sum = sum + a(i, i)
enddo!$scm end (a)!$scm で始まる行は SCIMA-directive である．begin と end で囲まれた領域において，配列 aに対する全てのアクセスは SCM へのアクセスに置き換えられる．load は，プログラムの実行がこの SCIMA-directive で示された部分に到達した際に，SCM にコピーされるべき配列要素を示す．
このフロントエンド コンパイラは新情報処理開発機構 (RWCP) で開発された Omni Compilerを元に作られている．生成された C のコードは通常の MIPS コンパイラと SCIMA 用バックエンド コンパイラのど ちらでもコンパイル可能となっている．これにより，通常の MIPS 系プロセッ
サ用に最適化されたコード と SCIMA 用コード の比較も可能となっている．
現在のバックエンドコンパイラは SGI IRIX N32 ABI に基づき，MIPS R10000 命令セットを生成するように作られている．このコンパイラは，フロントエンド コンパイラの SCIMA-directive
処理に応じ ，SCIMA 用特殊命令（ page-load/page-store ）を生成する．また，任意の数のレジスタに対応した最適化コードが生成されるため，SCIMA プロセッサの実装のためのアーキテクチャ
上の最適なレジスタ数を評価するために用いることができる．また，他の最適化コンパイラと同様，以下の処理における最適化が実装されている．

 common subexpression elimination, constant-folding, constant propagation
 loop invariant elimination, induction variable elimination, operator-strength reduction
 register coloring によるグローバルレジスタ割り当て
これらのコンパイラを用いることにより，SCIMA-directive に基づくコード 最適化の研究，あるいはそれ自体を自動化するためのコンパイラの研究を推進可能である．また，SCIMA プロセッ
サアーキテクチャの SCM やレジスタの構成を最適化する研究にも用いることができる．

SCIMA の SMP 化 近い将来のプロセッサ性能を想定すると，100TFLOPS オーダーの演算性能を持つ超並列計算機を実装する際，利用するプロセッサ台数は 1 万台のオーダーに達する．これに対し ，一般的に，ネットワークに接続可能なノード 数の限界としては，接続ポートやスイッチ等のハード ウェア量の制約から，数千ノード 程度が限界と考えられている．従って，何らかの形で複数のプロセッサを 1 つのノードにまとめ，ノード 単位でネットワークへの接続を行うことが必須となる．
90我々はこのような状況の下，複数の SCIMA プロセッサを SMP (Symmetric Multi-Processor)
結合したものをノード とし，これをネットワークへの接続単位とすることを想定した．SMP 化された場合の SCIMA プロセッサの性能を評価するため，我々は SCIMA プロセッサ用クロックレベ
ルシミュレータを改造し ，任意の way 数での SMP 構成の性能評価を行えるシミュレータを開発した．なお，このシミュレータ自身もマルチスレッド 化されており，並列ワークステーション上で高速実行可能になっている．
簡単な matrix-by-matrix 乗算プログラム及び NAS Parallel Benchmark kernel-CG 等を対象に，
2-way から 8-way 程度の SCIMA プロセッサ SMP 構成についてシミュレーションを行った．結果
として，SCIMA はレ イテンシに基づくストールを大幅に低減できることから，SMP 構成にした
場合に，より一層キャッシュモデルよりも性能向上が大きいことが確認された．
連続体向け次世代超並列計算機の構成 次世代の高性能 MPP (Massively Parallel Processor) においては，その膨大な計算性能をサポートするために，full-optical 結合によるネットワークが必要になると考えられる．しかし，現状ではこのような光結合のスイッチは極めて高価であり，そのスイッチング速度も，光リンクがもたらすバンド 幅を十分に生かすような速度には達していない．
この問題に対する 1 つの解は，適当なクラスタ構成を導入し，完全な光結合と，光・電気を取り混ぜた結合（ リンクに光を，スイッチに電気を用いる）とを階層的に混在させることである．クラス
タ間結合には非常に高いバンド 幅を提供しつつやや遅延時間の大きい光リンク及びスイッチを用い，クラスタ内の比較的短いメッセージ通信には従来通りの光・電気を利用したネットワークを用いる．クラスタ内のノード 数に比べ，クラスタ数をかなり小さく設定することにより，クラスタ内
から他の同一クラスタに転送される短いメッセージの集合はマージされ，光結合を効果的に利用可能な長いメッセージとして転送することが可能になる．このようなクラスタ構成は，full-optical
ネットワークで問題となるバンド 幅とレ イテンシのトレード オフに対する 1 つの解となる．
例えば，2048 ノード を持つ MPP システムは，各々が 256 ノード を包含する 8 つのクラスタの集合として構成可能である．クラスタ内ネットワークには例えば 16 16 の 2 次元ハイパクロスバ
網等が適用可能である．クラスタ間ネットワークは光による完全クロスバを用いる．我々はこのような光・電気ハイブ リッド 型ネットワークの性能評価を簡単に行うことができるような特殊なシミュレータを開発した．このシミュレータではネットワークを構成するリンク及びスイッチのバンド 幅とレ イテンシを任意にプログラム可能であり，様々な高性能ハイブ リッド ネットワークの評価を，ランダム転送のような単純モデルや，実アプ リケーションのデータ転送トレースデー
タを対象にして実行することが可能である．
このようなクラスタ構成を持つネットワーク性能の 1 つの指標は，クラスタ内トラフィックがどの程度外に漏れ出したところでクラスタ間ネットワークが飽和するかという，ネットワークの耐性を調べることによって得られる．先述の 2048 ノード を持つシステム構成において，クラスタ内
ネットワークのバンド 幅とクラスタ間ネットワークのそれの比が 1:100 の場合をシミュレーション
した結果，ランダム転送においては全トラフィックの約 10%がクラスタ間に出て行くまでは，平
均スループットはほとんど 低下せずにすむ事が明らかになった．この値は多くの科学技術シミュ
レーションに適用可能な値である．図 32 は，このハイブリッド 型ネットワークにおけるクラスタ
間トラフィックの割合と平均スループットの関係を，数種類のノード 間転送メッセージ長について
シミュレータにより評価した結果である．
このネットワークを拡張することにより，SCIMA プロセッサに基づく数千〜数万プロセッサ規
模の MPP の設計が可能である．8 GFLOPS の SCIMA プロセッサを 4-way SMP 結合することに



91

0.6

max throughput[token/clock]1 message: 100 token
1 message: 200 token
1 message: 400 token

0.5

0.4

0.3

0.2

0.1

0

0

0.1

0.2

0.3

0.4

0.5

0.6

global ratio

0.7

0.8

0.9

1

図 32: 光・電気ハイブ リッド 型階層ネットワークの性能

よってノード を構築し ，クラスタ内 (16 16) プロセッサ，クラスタ数 16 の光・電気ハイブ リッ
ド ネットワークを構築することにより，4096 台の SCIMA-SMP ノード からなるピーク演算性能
131 TFLOPS のシステムが実現できる．このハイブリッドネットワーク構成が，100TFLOPS オー
ダーの性能を持つ SCIMA ベースシステムの典型的な姿である．

14.5.2並列入出力・並列可視化システム PAVEMENT

本サブテーマでは，次世代超並列計算機の利用形態が，従来の MPP のようなバックエンド 計算
のみに閉じず，その周辺環境との密接な相互処理に展開されることを想定し ，コモデ ィティベー
スの並列入出力システムとそれを用いた各種応用システムに関する研究を行った．このための具体的な実験システムとして，100base-TX FastEthernet を多数用いた並列ネットワーク実験プラッ
トフォームを構築し ，この上に超並列計算機 CP-PACS をはじめ，並列ワークステーション，ク
ラスタシステム等を接続し ，拡張性のある並列チャネルを提供するシステムソフトウェアによって制御するシステムを開発した．このシステムを PAVEMENT (Parallel I/O and Visualization
Environment) と総称する．以下，PAVEMENT の各要素技術について述べる．
並列入出力システム PAVEMENT/PIO 次世代超並列計算機において，外部とのデータ交換を行う入出力機構の持つ役割は重要である．例えば現在のスーパーコンピュータのグリッド 技術への適用を見てみると，多くの場合，圧倒的な計算能力を持つ超並列計算機が貧弱な外部ネット
ワークチャネルしか持っていないような例が数多く存在する．我々は，このような計算機こそ，ス
ケーラビリティを持つ入出力チャネルを多数備える必要があり，さらにそれらを有効利用するソ
フトウェアシステムが必要不可欠であると考える．これは，本来超並列システムが持つ多数の入出力プロセッサを有効利用し ，入出力データが特定のプロセッサに集中されることを抑え，さらに周辺のサブシステムも何らかの並列化されたシステム（並列ワークステーションやクラスタ等）
であることを前提としたシステム構築を行わなければならないということを意味する．
以上のようなコンセプトの下，我々は MPP，並列ワークステーション，クラスタ等あらゆる並
列計算機システムに対してポータブルな，コモディティベースの並列ネットワーク利用型入出力システムとして PAVEMENT/PIO (Parallel I/O system, 以下 PIO) を提案し，開発した．PIO が92

提供する機能は以下の通りである．
並列ネット ワークによるバンド 幅増強 複数のネットワーク接続を移植性の高い TCP/IP レベルで統合化し，アプリケーションから生成される並列なデータ流を並列ネットワークチャネルに分散させる．
簡便なユーザ API の提供 並列ネットワークの存在をユーザに意識させず，アプ リケーションプ
ログラム上で最適な自動データ並列化を可能にする．
動的負荷分散 アプリケーションの性質に応じ，安全で効率の高い静的負荷分散や，最小限のオー
バーヘッドでデータ流の並列ネットワークへの割り当てを最適化する動的負荷分散機能を提供する．
実験システム環境 実験システム構築のため，超並列計算機 CP-PACS の 128 台の入出力プロセッ
サ (IOU: Input/Output Unit) のうち 16 台に対し ，Fast (100base-TX) Ethernet インタフェースを実装し，これらを 2 台の Fast Ethernet Switching Hub を経由して，並列ファイルサーバ Origin2000 及び並列ビジュアリゼーションサーバ Onyx2 に接続している．Origin-2000 及び Onyx2 には，各々8 ポート及び 4 ポートの Fast Ethernet ポートが備わっている (図 33(a) 参照)．このハード ウェアの上に，PIO ソフトウェアを実装した．
Parallel Visualization Server
Onyx2 (4 CPU)

Massively Parallel Processor
CP-PACS (2048 PU + 128 IOU)

CP-PACS

Origin-2000, Onyx2

I/O Processor....

8 chan.

frame
buffer

SwtichingHub

SwitchParallel Disk Server
Origin-2000 (8 CPU)....

16 IOUsequipped with100base-TX
Interface

Swtiching
Hub

8 chan.

....

8 chan.

....

Alpha
Linux
Cluster(16 CPU)

8 chan.

to external(Ethernet etc.)

I/O Unit
Server Process
Processing Unit
Server Process

User Process (or Thread)

User Process(a) PIO 実験環境(b) ユーザプロセスとサーバの関係
図 33: PIO システム

PIO は各システム上のユーザプログラムに対する API (Application Programming Interface) ラ
イブラリと，各システムを結合するデーモンプロセスからなる．API ライブラリは，簡便なインタフェースによってユーザが並列ネットワークを利用することを可能にする．デーモンプロセス
は，ローカルな並列ユーザプロセス間通信を処理し ，さらにリモートマシンのデーモンプロセスとの並列チャネル通信により，両システム上のユーザプロセス間の並列通信をサポートする．図33(b) にそれらの関係を示す．API ライブラリ上及びデーモン上では，各種レベルにおいて何らかのデータバッファリングが行われている．特にローカルな API ライブラリとデーモン間では通信が速く，データ送信においては，ユーザアプリケーションからの高速なバッファリングが可能とな
り，制御が短時間でユーザプロセスに戻ってくるため，効率的な非同期通信プログラムを記述する

93

ことが可能になる．この特性は単方向データ転送において最大限に発揮される．すなわち，MPP
内の超高速通信によってバッファリングを迅速に行い，アプリケーションを通信フェーズから素早く解放し，実際のデータ転送は両システム間のリンクを最大限に利用して行うことが可能になる．
PIO の API は以下のような関数群からなる．

 PIO の初期化・終了

PIO Init(), PIO Exit()

 データ入出力

PIO Send(), PIO Recv()

 各種情報取得

PIO Getappinfo(), PIO Gethostinfo(), PIO Getconinfo()

 通信パートナー選択
PIO Addpartner()

PIO では並列チャネルの明示的・暗示的利用や，通信相手のマシンの並列プロセスの属性取得，
メッセージまたはデータストリームを意識した通信プロトコル選択等の機能が用意されている．例
えば，PIO Send では使用する並列チャネルを (1) 明示的に指定する，(2) そのプロセスの相対的な位置情報に基づき自動的に決定する（ 静的負荷分散），(3) チャネル負荷状況に応じて動的に決定する（動的負荷分散），の 3 種類からダ イナミックに選択できる．また，データ送受信において，1 回の送信と受信を一対一対応させデータをパケットとしてやり取りするか（パケットモード ），データ流を想定してデータの任意の切れ目で送受信を行うか（ ストリームモード ），のいずれかをダ イナミックに選択できる．これらの組み合わせにより，アプ リケーションに最適な並列チャネ
ル通信を提供する．

PIO システムの性能評価

図 34(a) に簡単な pingpong 転送を行った場合の PIO の性能とスケー
ラビリティに関する評価をまとめる．ここに示した性能は，CP-PACS と Origin-2000 間で，並列
チャネル数を 1, 8, 16 と変化させた場合の実効バンド 幅である．それぞれに対し，裸の TCP/IP を直接使った場合と，PIO による制御を通した場合を比較している．この結果より，チャネル数の増加に伴い，それに応じたほぼ線形な性能向上が得られていることがわかる．また，データ長が長くなるにつれ，TCP/IP 本来の性能と PIO を介した性能の差が縮まっていることがわかる．しかし，データ長が短い場合は PIO の性能は良くない．これは，PIO の深いバッファリングにより，
本来は単方向転送で性能が最大限発揮されるのに対し，pingpong という双方向転送を行っているためである．これに対する実験として，単方向転送を繰り返した場合の結果を図 34(b) に示す．これは，非同期送信を行うユーザプロセスにおいて，PIO 送信命令発行後どのくらいで制御が戻るかを測定したものである．TCP/IP に比べ PIO の速度が圧倒的に速いことがわかる．また，データ長が長くなるとバッファリング能力が限界に近づくが，その場合でも TCP/IP と同等以上のレスポンスが得られている．
次に，PIO が提供する動的負荷分散機能に関する評価結果を図 35(a) 及び図 35(b) に示す．これは，同様に CP-PACS と Origin-2000 間で 16 本のチャネル全てを用い，総容量 512MB のデー
タを長さがばらばらの（最大 2.5 倍の差を持つ）パケットで転送する実験の結果である．図 35(a)は，平均データ長に対する，全データ転送に要した時間を表している．ここで USER はプログラ
ム上で予めわかっているデータ長の差を考慮して明示的にチャネルを指定した場合，STATIC は

94

TCP/IPPIO

10
1

Latency (sec)Throughput (MB/sec)

100

40 TCP(16 Parallel)PIO(16 Parallel)
TCP(8 Parallel)35
PIO(8 Parallel)
TCP(Serial)
30
PIO(Serial)
25
20
15

0.1
0.01

10

0.001

5
0.0001

0
1

10

100

1

1000

10

100

1000

10000

100000

Message Length (KB)

Message Length (KB)(a) pingpong 転送におけるスループット(b) 単方向転送におけるレスポンスタイム

図 34: PAVEMENT/PIO の基本的なデータ転送性能
200
18

150

Amount of Flowing data

Elapsed Time (sec)

STATICDYNAMIC
USER

100

50

DYNAMIC

16

STATIC

14
12
10
8

7.5

6
4
2
0

0
32

64

128
256
512
Average Message Length (KB)

1024

2048

0

1

2

3

4

5

6

7

8

9

10 11 12 13 14 15

Connection Number(a) 動的負荷分散を用いた通信時間短縮の様子(b) 16 のチャネル上の実際のデータトラフィッ
クの分布

図 35: PAVEMENT/PIO の動的負荷分散機能の性能評価
静的負荷分散機能のみを使った場合，DYNAMIC は動的負荷分散機能を用いた場合の結果である．
この図からわかるように，DYNAMIC の結果は，最適な方法である USER とほぼ同一の性能を示している．また，図 35(b) は，この実験を行っている最中の各チャネルのデータ流量を示している．水平に引かれた \7.5" の線は，USER による理論値，すなわち人工的な負荷分散を完全に吸収した場合の理想値を示している．これに対し ，STATIC ではチャネル間のデータ流量が極端に異なるが，DYNAMIC では多少の誤差はあるものの，最大と最小の差が大幅に縮まっており，有効な動的負荷分散が実現できていることがわかる．
並列可視化システム PAVEMENT/VIZ 次世代科学技術計算において，膨大なデータの可視化技術は非常に重要な問題である．現状では，大規模な多次元データ配列に対する様々な可視化のアプローチが試みられているが，その多くはデータを巨大なファイルに蓄積し ，計算後に長時間をかけて 3 次元ボリュームレンダ リング等の手法で可視化している．将来的に，計算機性能が向上し ，大量のデータが非常に短いターンアラウンド タイムで生成されるようになると，これに即した実時間可視化システムが必要になると考えられる．

95

PAVEMENT/PIO により，MPP から並列ワークステーションへの並列チャネルデータ転送が実現され，データ流入のスループット問題は解決される．そこで，我々は，並列高速ワークステー
ション上での実時間可視化（ここでいう「実時間」とは，可視化処理が MPP でのデータ生成に追いついていることを指す）を可能とする可視化システム PAVEMENT/VIZ（ Parallel Visualization,
以下 VIZ ）を開発した．VIZ のプラットフォームは PIO 接続されている Onyx2 及び Origin-2000
である．この上で，CP-PACS から生成されるデータのグラフィック化を行うシステムを構築した．
PIO 実験環境の Onyx2 は，4 台の CPU と 1 台のラスタマネージャ(画像生成エンジン )，さらに4 チャネルの 100base-TX インタフェースを備えている．4 台の CPU を用いることにより，一連の可視化処理の負荷分散，例えば並列データ入力とその画像処理といった機能分散が可能であり，
CPU 台数のさらなる増加にも対応できるようになっている．この上に，複数プロセッサによるマ
ルチスレッド 処理により，PIO システムを介してデータ生成システムから転送される並列データ
流を，最終的な画像処理プログラムに渡すための単一流にまとめるプログラム (Binder と名付けられる) を開発した．Binder は PIO の API に基づき，PIO デーモンとの共有メモリを介したデー
タ受け渡しを行ない，生成されたデータ流を画像生成システムに渡す働きを担うものである．
VIZ では，画像生成のための制御用ソフトウェアとして，業界標準である AVS/ Express を用いる．オリジナルの AVS/Express は単一プロセッサ上での動作を想定しており，さらにデータの供給がそのシステム (ワークステーション ) 上のファイル環境として閉じていることを前提としている．このため，そのままの形では我々の目的である，並列ネットワークを介したオープンな環
境での利用に適さない．そこで，AVS/Express のデータ入力モジュールを構築し 直し ，(1) ネッ
トワーク環境における外部からのデータ供給，(2) 共有メモリを利用した他プロセスからのデータ
供給，の 2 機能を実現した．これらの機能は，AVS/Express のユーザ・モジュールとして実装され，AVS システムの一部に取り込まれるようになっている．本データ入力モジュールを，先述のBinder と共有メモリを介して結合することにより，MPP によって生成されたデータを並列入出力システムで転送し ，画像処理の直前まで並列化されたデータ流を供給することが可能となっている．この様子を図 36 に示す．
Onyx2

Pilot3
PIOサーバ参照

Binder

入力モジュール

データ・
バッファ

PIOサーバ

描画モジュール

画面へ

AVSシステム

図 36: 並列入出力から並列可視化システムへのデータの流れ
この段階でデータ流入とそれに続く可視化処理が機能分散的に並列処理される．実際の可視化処理の中で，特に重くかつ実用上非常に多く用いられるのが，3 次元データに対するボリューム
レンダ リング (3DVR: 3-Dimensional Volume Rendering) 処理である．そこで，VIZ では共有メ
モリ型並列ワークステーションにおいて 3DVR 処理を高速化する，並列 3DVR モジュールを開発した．このモジュールも AVS/Express のモジュールとして，オリジナルの 3DVR モジュールとの置換が可能となっている．このモジュールは，3DVR における処理をほぼ完全に並列化しており，使用可能プロセッサ数にほぼ比例した非常に効率の高い並列処理を実現している．従来のソフト

96

8
ideal speedup
parallel rendering7
speedup ratio

6
5
4
3
2
1
0
0

1

2

3
4
5
thread count

6

7

8

(a)

(b)

並列ボリュームレンダリングモジュールにおける速度向上率

並列ボリュームレンダリングを用いた出力例

図 37: 並列可視化システムの性能評価
ウェアによる並列 VR の研究では，主として静止画像に対する高速 VR が研究されてきた．ここでは，医学等の応用分野において，一旦取り込んだ画像をいろいろなパラメータの下で高速描画することが目的になっている．しかし ，我々が目指すのは動的に流入してくるデータ流のスナッ
プショットに対する可視化であり，従来のデータ蓄積型・中間表現型のアルゴ リズムが適用できな
い．その代わりに，3 次元データに対する補完作業を効率良く処理し，全体の負荷バランスを重視する実装を行なった．図 37(a) に，最大 8 スレッドを用いた場合の，VR 処理の速度向上率を示す（ 台数効果を見るため，8 プロセッサを持つ Origin-2000 上で AVS/Express を稼働させた）．このような高い並列処理効率により，例えば計算宇宙物理における 1283 の空間データを 5122 の 2 次
元データに変換する 3DVR 処理において，約 1 秒/フレームの実時間描画が可能となった．
これまで述べた PIO システムと柔軟な制御性を持つ並列可視化システムを総合的に使用した例
として，2048 台の全 PU を使用した CP-PACS 実機において，128 台の IOU 上での PIO サーバの稼働，16 チャネルの Fast Ethernet を経由した並列データ転送，ビジュアリゼーションサーバ
における並列データ入力及び並列可視化の全処理を，実際のアプ リケーションを対象に実行した．
対象アプ リケーションは計算宇宙物理学における宇宙の再イオン化シミュレーション及び，大量のアルゴン分子に対する分子動力学法シミュレーションである．いずれも 2048 台の PU から生成されるデータストリームを，16 本の Fast Ethernet リンクで負荷分散しながら転送し ，最終的に1 秒/フレーム程度の 3DVR 及び描画を実現できた．これにより，超並列計算機における計算結果の実時間可視化が可能であることが確認された．宇宙の再イオン化シミュレーションを実行している際の並列可視化システムの出力画像を図 37(b) に示す．この例では，再イオン化の進行の様子が確認できるように，輻射が一方向のみから入射した場合を扱っており，全ての方向からの入射を取り扱う現実的シミュレーションの第一歩となっている．
さらに本モジュールに対し，日本における AVS/Express 販売元である KGT (Kubota Graphics
Technologies) 社との共同研究により，3DVR 処理を行いつつ，画像のマニピュレーション（グラブ，回転，平行移動等）をオリジナルのモジュールと同様に行えるようなユーザインタフェースを実装した．完成したモジュールはオリジナルのモジュールとほぼ同等なインタフェース及びマニ
ピュレーションが可能であり，加えて現在の可視化処理に割く並列スレッド 数のダ イナミックな

97

制御が可能となっている．これにより，アプ リケーションのデータ生成タイミングとデータ量に応じ ，並列ワークステーションの能力を，並列データ流入力処理と 3DVR 処理に適宜最適配分しながら処理を進めるような使い方も可能となっている．
並列ファイルシステム PAVEMENT/PFS PAVEMENT/PIO のもう 1 つの応用例として，並列ファイルシステム PAVEMENT/PFS (Parallel File System, 以下 PFS) の開発を行った．PFS
は SPMD 的な並列プロセスの集合に対し ，単一の論理的なファイルへの SPMD 操作のイメージを提供するユーザレベルライブラリによるファイルシステムである．PFS では各 SPMD 並列プロ
セスが実際には仮想的な論理ファイルの担当部分をアクセスすることを前提とし，ファイルがロー
カルな分散デ ィスク上にある場合も，リモートなファイルサーバ上にある場合も同等に並列アクセスを行えるように設計されている．さらに，リモートアクセスに関して PIO が利用可能である
ならば，これを最大限に利用する．図 38 に PFS のコンセプト イメージを示す．

SPMD process

Partial data

Domain decomposed data

Distributed disk

Parallel processes

Logical data image

Physical data mapping image

図 38: Parallel File System の概念図

PFS では並列プロセスから生成される並列ファイルデータストリームを自然な形でローカルな
分散ディスクまたはリモートな分散ディスクに展開する．ここで重要なのは，SPMD モデルを前提とした単純化である．これに基づき，PFS では並列プロセスの数と，並列物理ファイルの数が必ずしも一致しない場合でも最適な並列アクセスを実現する工夫をしている．これは，例えばファイル生成時の並列計算機リソースと，ファイル消費時のそれが必ずしも一致しないという条件を吸収するのに役立つ．極端な例としては，例えば MPP によって分散生成されたファイル群を，単一プロセスによって逐次処理することも可能となっている．

14.6

ヘテロジニアス・マルチコンピュータシステム（ 連続体・多粒子系融合型超並列計算機）の開発

HMCS (Heterogeneous Multi-Computer System) は，連続体向け超並列計算機と多粒子系向け
超並列計算機を結合し ，次世代大規模シミュレーションにおいて求められる，異なる物理現象を組み入れた複雑な科学技術計算を効率的に行うことを目的とした統合化プラットフォームである．
本システムでは連続体及び多粒子系の計算が混在したシミュレーションを，それぞれの処理を得意とする計算機システムによって機能分散し ，片方のプラットフォームだけでは不可能だった複合計算を実現する．
HMCS の基本コンセプトは，問題と計算機システムの適応性を保ちつつ，複合処理の各フェーズを複数の計算機リソースに効率的に分散することである．研究の最終年度において，我々は 2048

98

プロセッサを持つ連続体向け超並列計算機 CP-PACS （ 0.6TFLOPS ）と，8 ボード の多粒子系向け超並列計算機 GRAPE-6（ 約 8TFLOPS ）を結合して，統合演算性能 8.6TFLOPS の HMCS を実装し ，これらを結合するソフトウェアを開発した．さらに，この上で自己重力と輻射輸送を伴う SPH (Smoothed Particle Hydrodynamics) シミュレーションを実行し ，銀河の初期形成シミュ
レーションを行うことに成功した．
以下では HMCS の実装，この上で行われたアプ リケーションとその結果について述べる．

14.6.1 HMCS のシステム構成
図 39 に HMCS の全体像を示す．CP-PACS の持つ 16 台の入出力プロセッサには 100base-TX
FastEthernet のインタフェースが各々実装され，GRAPE-6 クラスタ（ 後述）との間で PAVEMENT/PIO による複数チャネルネットワーク結合がなされている．PAVEMENT/PFS に基づく
並列ファイルサーバ (Origin2000) と，PAVEMENT/VIZ を用いた並列可視化サーバ (Onyx2) が同じ PIO ネットワークに接続されている．CP-PACS の全プロセッサを用いた場合のピーク演算
性能は 614GFLOPS であり，8 ボード の GRAPE-6(合計 256 チップ ) を全て用いた場合の実効演算性能は約 8TFLOPS である．
PIO
PU

IOU

PU

PU

IOU

PU

PU

100bsae-TX
Switching Hub

PU

IOU

(8 links)
100bsae-TX
Switching Hub

IOU

2048 PUs

IOU
IOU

Alpha PCGRAPE-6
Board

Alpha PCGRAPE-6
Board

Alpha PCGRAPE-6
Board

Alpha PCGRAPE-6
Board

Alpha PCGRAPE-6
Board

Alpha PCGRAPE-6
Board

Alpha PCGRAPE-6
Board

Alpha PCGRAPE-6Board(8 links)

16 IOUs

MPI
100bsae-TX
Switching Hub

CP-PACS(for intra-Cluster comm.)

8 Node Cluster

GRAPE-6

図 39: HMCS のブロックダ イアグラム

8 ボード の GRAPE-6 を管理し，多数の粒子計算をこれらに分配するために，Alpha CPU を用いたクラスタを構築した．クラスタ上の各ノードには各々1 つの GRAPE-6 ボードが接続される．
GRAPE-6 による重力多体計算の前に，全ての粒子のデータ（質量，位置等）は各 GRAPE-6 ボー
ド 上のメモリに格納されなければならない．その後，計算対象となる全粒子を 8 枚のボード に均等に分配し，GRAPE のパイプライン演算を実行する．このため，CP-PACS によって生成された全粒子データは PIO を経由してクラスタ上の全ノードに均一に分配され，その後で全ノード 間で全対全通信によってブロード キャストされる．PIO はブロード キャスト通信をサポートしていな
いため，この処理が必要となるが，これは CP-PACS と GRAPE-6 クラスタ間のデータ転送量を最小化する最も良い方法である．この時点で全ノード は全粒子データを持ち，これを GRAPE-6のメモリにセットする．計算結果（ 全粒子の加速度データ）は各ノードによって GRAPE-6 から取り出され，最初のデータ送信と逆の手順で CP-PACS に送られる．
99

HMCS のためのソフトウェアは，CP-PACS 上のアプ リケーションプログラムから呼び出される API のライブラリと，GRAPE-6 のホストクラスタ内の制御と CP-PACS との PIO 通信を行う
デーモンプログラムの 2 つの部分からなる．前者の API は g6cpplib と名付けられ，基本的には
GRAPE-6 が直接接続されたホストでプログラミングするイメージを元に，必要な機能を簡潔に利用できるようになっている．これにより，アプリケーションプログラマは，あたかも CP-PACSに GRAPE-6 が直結されているような形でプログラムを記述することが可能である．
CP-PACS と GRAPE-6 クラスタは各々の処理を独立に行い，基本的には片方の処理中，もう一方は休止してしまう．しかし ，我々の開発した HMCS 向け SPH アルゴ リズム及びプログラムでは，GRAPE-6 に重力計算処理を依頼した後，SPH 側の処理の一部をこれとオーバーラップさせるように記述されている．GRAPE-6 側では，実際のデータセットアップ時間と粒子計算の時間
は，CP-PACS 上の SPH 処理時間に比べ極めて短い．例えば，1024 プロセッサを用いた CP-PACSと 4 ボード の GRAPE-6 を用いたサブシステムでは，13 万粒子による自己重力と輻射輸送を伴う
SPH 計算は，全体で 1 ステップ当たり 12.3 秒かかる．ここで全体の約 40%の時間は 2 つのシステ
ム間の通信とその準備に費やされ，また GRAPE-6 における計算時間は約 0.5 秒である．しかし，これらの時間の一部は CP-PACS での処理とオーバーラップされる．表 35 に，GRAPE-6 クラス
タ上のデーモンで計測した処理時間の内訳を示す．

表 35: HMCS の性能評価 (CP-PACS の 1024 プロセッサと 4 ボード の GRAPE-6 を用いた場合の13 万粒子に対する 1 ステップの実行時間)
処理内容
粒子データ送受信
次のデータ待ち (CP-PACS の処理待ち）
クラスタ内での全対全通信
粒子データの GRAPE-6 メモリへのセット
重力計算
合計

時間 (sec)

4.476
6.118
0.639
0.609
0.503
12.345

このサイズの典型的なシミュレーションでは，意味のある物理データを得るためには約 25000 ス
テップを要する．これは上記構成のシステムで約 3 日間かかる．もし自己重力を含めた計算を CPPACS のみで行おうとすると，計算時間の点で現実的にはほぼ不可能である．このため，GRAPE-6側の処理時間が CP-PACS のそれに比べ非常に短くはあるが，HMCS がもたらす処理性能と計算科学における意義は非常に大きい．

14.6.2 HMCS におけるアプリケーション
現在，HMCS におけるアプリケーションとして，計算宇宙物理学における輻射流体方程式の計算が行われている．これは数値流体計算と輻射輸送を組み合わせたものである．
宇宙には星，ブラックホール，星団，銀河，銀河団といった様々な階層構造がある．しかし，これらの系を制御する基本的な物理は 3 つの過程だけからなる．すなわち，流体過程，重力，そして輻射である．宇宙物理における過程は極めて非線形性が強いため，数値計算においては非常に100

ダ イナミックレンジの広い流体計算が必要となる．このような広いダ イナミックレンジを持つ系を処理する際，非常に有効な手段が SPH (Smoothed Particle Hydrodynamics) である．この処理での物理量は，それぞれが密度に応じたある大きさを持つ仮想粒子の集合として表現される．この意味で，SPH は数値流体計算におけるラグランジュ法に相当する．
重力に関しては，系の中の全ての仮想粒子によるニュートン重力計算が必要となる．この総和計算には N 個の粒子に対し ，N 2 オーダーの計算コストがかかる．もし 105 個以上の粒子に対して CP-PACS でこれを処理しようとすると，計算のほとんどは重力の処理に費やされてしまう．この部分を複数ボードからなる GRAPE-6 クラスタに委ねることにより，高速な処理が可能となる．
GRAPE を用いた SPH 計算は GRAPE-SPH とも呼ばれる．
輻射については，輻射輸送 (RT: Radiative Transfer) を扱うことが必要となる．しかし，輻射輸
送は非常に複雑な物理過程であり，こちらもまた大量の計算を伴う．このため，これまで完全な
輻射輸送を伴う宇宙流体計算は行われなかった．我々は SPH シミュレーションのための効率的な輻射輸送アルゴ リズムを開発し，これを CP-PACS に実装し，最終的に HMCS における自己重力を伴う RT-SPH コード を完成させた．これは世界でも類を見ない輻射流体計算である．
我々は，HMCS 上の RT-GRAPE-SPH を用い，宇宙初期段階における銀河形成のシミュレー
ションを行った．宇宙は赤方偏移 5 において再イオン化され，多くの銀河はこの再イオン化の後で形成されたと一般的に信じられている．このため，紫外線背景輻射 (UV: Ultraviolet) を伴う銀河形成を調べる必要がある．銀河雲に対する背景輻射の浸透は輻射輸送によって制御される．従って，RT-GRAPE-SPH はこの問題に対する最適なアプローチとなる．我々はダークマターが支配的であった宇宙において，原始的密度の変動を発展的に調べるため，65536 のダークマター粒子と，同数の SPH 粒子からなるシミュレーションを行った．
銀河形成シミュレーション結果の時間発展の様子は，既出の図 23 に示されている．初期段階では，密度変動は低温のダークマターの分布に適合するように与えられている．宇宙膨張による拡散によって密度は薄まり，それと同時により小さなスケールでの密度変動によりフィラメント状構造が形成される．小さなフィラメント状構造は紫外線背景輻射による熱によって消散し ，より大きなフィラメントが回転する雲へと凝縮されていく．この構造が銀河へと発展していく．このシミュレーションでは，背景 UV が銀河形成の最終形に対し非常に重要な影響を与えることが示されている．
これは HMCS における RT-GRAPE-SPH の最初のアプ リケーションである．このシミュレー
ションを発展させていくことにより，将来的に宇宙の階層構造の源が明らかになることが期待さ
れる．

14.7

まとめと展望本プロジェクトにおいては，科学技術が対象とする物理系の二大分類である，連続体と多粒子系に注目して，それぞれの計算を高速に処理し うる超並列計算機の開発研究を実施した．更に両者を統合して，連続体・多粒子系複合システムの高速な実行を可能とするヘテロジニアス・マル
チコンピュータを開発し，その上で宇宙物理学における現実的応用計算を実行した．
本センターで行われた，連続体向け超並列計算機の開発においては，次世代汎用超並列計算機を実現する要素技術の開発を行った．特に，高速化の鍵となる超高速プロセッサアーキテクチャの開発とノード 結合網の検討を行い，これに加えて柔軟且つ高速な並列入出力機構・可視化機構の開発を行った．

101

連続体の処理に必要な汎用プロセッサの最大の問題は，プロセッサと メモリの性能向上ギャップの克服である．本プロジェクトでは，プログラム制御可能なオンチップ メモリを活用して，メ
モリ入出力を抑えることにより，プロセッサ性能を効率良く引き出す新たなプロセッサアーキテ
クチャSCIMA を提案し，従来のキャッシュアーキテクチャに較べて高い実行性能が実現できる事を実証した．また，複数の SCIMA プロセッサからなる SMP 構成のノード を，低レ イテンシの電
気的ネットワーク結合してクラスタを構成し ，これらをさらに高バンド 幅の光ネットワークで結合した並列システムを検討して，100TFLOPS クラスの性能を実現する汎用超並列計算機アーキ
テクチャを具体的に提示した．また，本プロジェクトで開発した，並列入出力・可視化システム
PAVEMENT は，超並列計算機からコモデティPC クラスタまで，多様な並列プラットフォームに対して，柔軟で高速な並列入出力環境と大容量 3 次元データの並列可視化環境を提供するものである．
東京大学で行われた多粒子系向けの超並列計算機開発では，重力/クーロン力相互作用専用プロセッサと，多目的粒子計算用再構成可能論理プロセッサを開発し，これらから構成される多粒子系
計算機 GRAPE-6 が開発製作された．プロジェクト期間中に，平成 11 年度には性能価格比でゴードン・ベル賞を受賞し，また平成 12 年度，13 年度には，絶対性能で同賞を得ている．特に平成 13
年度の受賞は，GRAPE-6 システムが，平成 13 年 6 月にピーク性能 32TFLOPS，宇宙物理学の実用計算において 11.55TFLOPS の世界最高性能を実現したことに対して，同年 11 月の SC2001 国
際会議において，受賞が発表されたものである．GRAPE-6 システムは，最終的には，ピーク性能
64TFLOPS に増強されている．
以上の成果は，計算性能の大幅な向上を実現するものであるが，次世代の科学技術シミュレー
ションにおいて真のブレークスルーを達成するには，それだけでは十分でない．即ち，今後の大規模科学技術計算においては，複数のスケールによって特徴付けられ，連続体の自由度と多粒子系の自由度が複雑に結合したシステムの高速なシミュレーションが要求され，従って，全く異なる
複数のタイプの計算を同時に高速に処理することが可能な計算システムが要求されるからである．
本プロジェクトで提唱したヘテロジニアス・マルチコンピュータシステム（ HMCS) は，汎用超並列計算機と専用超並列計算機を結合することにより，このような要求に応える新たなアーキテ
クチャである．汎用超並列計算機は，柔軟で多様なプログラミングを必要とする連続体の処理を受け持ち，一方専用超並列計算機は多粒子系特有の，大規模ではあるが比較的単純な計算を超高速に実行する．HMCS は，これら二つのアーキテクチャの柔軟性と高速性を併せ持つシステムであり，連続体・多粒子系複合システムの処理において，連続体と多粒子系それぞれに特徴的な計算を，両システム間の最善のロード バランスを実現しつつ実行するものとなっている．
本プロジェクトでは，二つのサブプロジェクトの技術開発を総合して，連続体向け超並列計算
機 CP-PACS （ 0.6TFLOPS，1996 年 11 月「世界の高性能計算機トップ 500 リスト」第一位）と多粒子系向けの専用超並列計算機 GRAPE-6（ 8 ボード，８ TFLOPS を実装）を並列ネットワー
ク PAVEMENT/PIO を用いて並列結合し，統合演算性能 8.6TFLOPS の強力な HMCS 実用システムを構築した．さらに，このシステムを用いて，従来困難とされてきた，物質の重力相互作用と輻射輸送を同時に解く銀河形成過程のシミュレーションを実現した．これらの成果は，ヘテロ
ジニアス・マルチコンピュータ・コンセプトの実現可能性と有効性を明確に実証するものである．
HMCS コンセプトは，さらに発展した幾つかの形態を考えることができる．本プロジェクトで実現した形態は，2 種類の異種計算機を近距離結合したものであり，HMCS-Local と称することができる．一方，10 ギガビットクラスのネットワークの実用化に伴い，異種計算機の結合は，遠距離に置かれたシステム間に行うことも十分に可能と考えられ，この形態は，HMCS-Remote と称

102

することが相応しい．HMCS-R の実現可能性は，平成 14 年 3 月に開通したばかりの広域ネット
ワーク「つくば WAN 」を利用して実証された．この実証試験では，産業技術総合研究所計算科学センターの汎用超並列計算機 SR8000（ 0.5TFLOPS ）と筑波大学計算物理学研究センター設置の
GRAPE-6（ 8TFLOPS ）が「つくば WAN 」経由で接続され，銀河形成シミュレーションが実行された．
HMCS-L と HMCS-R は異種計算機システムをネットワーク結合することにより，強力な統合計算性能を実現しているが，複数システムを結合しているために，システム間のネットワーク経由のデータ転送とロード バランスがボトルネックとなり得る欠点がある．この問題を解決する最終的なアーキテクチャは，連続体向けの汎用プロセッサと多粒子系用の専用プロセッサを同一計
算ノード 上に実装し ，これを単位とする並列システムを構成することである．我々は，このような連続体・多粒子系融合型アーキテクチャが，次世代の超高速科学技術シミュレーションのプラッ
トフォームを提供するものであり，本プロジェクトにおける研究成果は，その実現に向かっての，
大きななステップを実現したものと考えている．

14.8

未来開拓研究関係文献

14.8.1年次報告

1. 日本学術振興会未来開拓学術研究推進事業「計算科学」1997{1998 報告書, pp 36-47 (1998)
2. 日本学術振興会未来開拓学術研究推進事業「計算科学」1998{1999 報告書, pp 9-20 (1999)
3. 日本学術振興会未来開拓学術研究推進事業「計算科学」1999{2000 報告書, pp 9-20 (2000)
4. 日本学術振興会未来開拓学術研究推進事業「計算科学」2000{2001 報告書, pp 73-84 (2001)
5. 日本学術振興会未来開拓学術研究推進事業「計算科学」2001{2002 報告書, pp 27-36 (2002)

14.8.2

学術雑誌論文【平成 10 年度】

1. 近藤正章, 早川秀利, 坂井修一, 朴泰祐, "プロセッサ・メモリ混載型 LSI およびオンチップ
マルチプロセッサに関する検討", 並列処理シンポジウム JSPP'98 論文集, pp.159-166, 1998
年 6 月.
2. Preeti Ranjan Panda, Hiroshi Nakamura, Nikil D. Dutt, and Alexandru Nicolau, "Augmenting Loop Tiling with Data Alignment for Improved Cache Performance", IEEE Transactions on Computers, Vol.48, No.2, pp.142-149, February, 1999.
【平成 12 年度】

1. 松原正純, 沼寿隆, 板倉憲一, 朴泰祐, "分散メモリ型並列計算機における並列入出力システ
ム", 並列処理シンポジウム JSPP'2000 論文集, pp.75-82, 2000 年 6 月.

103

2. 松原正純, 沼寿隆, 板倉憲一, 朴泰祐, "分散メモリ型並列計算機における並列入出力システ
ム", 情報処理学会論文誌ハイパフォーマンスコンピューティングシステム, Vol.41, No.SIG
5(HPS 1), pp.58-69, 2000 年 8 月.
3. 中村宏, 近藤正章, 大河原英喜, 朴泰祐, "ハイパフォーマンスコンピューティング向けアー
キテクチャSCIMA", 情報処理学会研究会論文誌 HPS, Vol.41, No.SIG5(HPS1), pp.15-27,
2000 年 8 月.
【平成 13 年度】

1. 板倉憲一, 朴泰祐, 松原正純, "並列データ流に対する並列可視化", 並列処理シンポジウム
JSPP'2001 論文集, pp.189-196, 2001 年 6 月.
2. 近藤正章, 中村宏, 朴泰祐, "SCIMA における性能最適化手法の検討", 情報処理学会研究会論
文誌ハイパフォーマンスコンピューティングシステム, Vol.42, No.SIG12(HPS4),pp. 37-48,
2001 年 12 月.
3. 朴 泰祐, 牧野 淳一郎, 須佐 元, 梅村 雅之, 福重 俊幸, 宇川 彰, "Heterogeneous MultiComputer System における重力効果を含む宇宙輻射流体計算", 2002 年 ハイパフォーマン
スコンピューティングと計算科学シンポジウム (HPCS2002) 論文集, pp.17{24, 2002.

14.8.3

国際会議発表論文【平成 9 年度】

1. Preeti Ranjan Panda, Hiroshi Nakamura, Nikil D. Dutt, Alexandru Nicolau, "A Data
Alignment Technique for Improving Cache Performance", International Conference on
Computer Design (ICCD '97), pp.587-592, Austin, Oct. 1997.
2. H. Nakamura, K. Itakura, M. Matsubara, T. Boku, and K. Nakazawa, "E ectiveness ofRegister Preloading on CP-PACS Node Processor", International Workshop on Innovative
Architecture, pp. 83-90, Maui, Oct. 1997.
【平成 11 年度】

1. M. Matsubara, H. Numa, and T. Boku, "Commodity Network based Parallel I/O System
for Massively Parallel Processors", Proceedings of PDPTA'99, pp.2424-2429, Las Vegas,
Jun. 1999.
2. H. Nakamura, H. Okawara, T. Boku, M. Kondo, and S. Sakai, "SCIMA: A Novel Architecture for High Performance Computing", International Workshop on Innovative Architecture, pp. 45-53, Maui, Oct. 1999.
3. M. Kondo, H. Okawara, H. Nakamura, T. Boku, and S. Sakai, "SCIMA: A Novel Processor Architecture for High Performance Computing", High Performance Computing Asia
(HPC-Asia '00), pp.355-360, Beijing, May 2000.
104

【平成 12 年度】

1. M. Kondo, H. Okawara, H. Nakamura, and T. Boku, "SCIMA: Software Controlled Integrated Memory Architecture for High Performance Computing", ICCD-2000, pp.105-111,
Austin, Sep. 2000.
2. H. Nakamura, M. Kondo, and T. Boku, "Software Controlled Recon gurable On-Chip
Memory for High Performance Computing", LNCS 2107, 2nd Workshop on Intelligent
Memory Systems (IMS 2000), (Springer-Verlag), pp.15-32, Nov. 2000.
3. K. Kurata and H. Nakamura, "Novel Method for Primer/Probe Design and Sequence
Analysis", Genome Informatics 11, pp.331-332, Tokyo, Dec. 2000.
【平成 13 年度】

1. T. Boku, M. Matsubara and K. Itakura, "PIO: Parallel I/O System for Massively Parallel Processors", Proceedings of European High Performance Computing and Network
Conference 2001 (LNCS-2110), pp.383-392, Amsterdam, Jun. 2001.
2. M. Fujita, and H. Nakamura, "The Standard SpecC Language", Proc. of ISSS2001, pp.
81-86, Oct. 2001.
3. N. Hosaka, K. Kurata, and H. Nakamura, "Comparison of Methods for Probe Design",
Genome Informatics 12, pp.449-450, Tokyo, Dec. 2001.
4. M. Kondo, M. Fujita, H. Nakamura, "Software-Controlled On-Chip Memory for HighPerformance and Low-Power Computing", HPCA-8 Work-in-progress Session, Jan. 2002.
5. H. Susa and M. Umemura, "A Simulation of Galaxy Formation by Radiation-SPH", IAU
Symposium 208, Astrophysical Supercomputing using Particle Simulations (Tokyo), inpress (2001).
6. H. Susa and M. Umemura, "Galaxy Formation in the Presence of Ultraviolet Background
Radiation Field { a Simulation by Radiation-SPH {", Studies of Galaxies in the Young
Universe with New Generation Telescopes, Japan-German Seminar 2001 (Sendai), in press(2001).

14.8.4

国内学会・研究会における口頭発表【平成 10 年度】

1. 松原正純, 沼寿隆, 朴泰祐, 中本泰史, 梅村雅之, 白川友紀, 宇川彰, "超並列計算機のためのCommodity Network に基づく並列入出力・可視化システム", 電子情報通信学会計算機シス
テム研究会, 信学技報 CPSY98-161, pp.81-88, 1999 年 1 月.
2. 近藤正章，坂井修一，朴泰祐，中村宏，"オンチップ メモリを用いた HPC プロセッサの検討"，
情報処理学会計算機アーキテクチャ研究会, 情処研報 ARC-132-15 (HPC-75-15)，pp.85-90,
1999 年 3 月.
105

【平成 11 年度】

1. 大河原英喜, 中村宏, 吉江友照, 金谷和至, "ハイパフォーマンスコンピューティングに適したメモリ階層の検討", 情報処理学会計算機アーキテクチャ研究会，情処研報 ARC-133-10，
pp.55-60, 1999 年 5 月.
2. 松原正純, 沼寿隆, 板倉憲一, 朴泰祐, "コモディティネットワークに基づく並列入出力システ
ム", 情報処理学会ハイパフォーマンスコンピューティング研究会, 情処研報 99-HPC-76-1,
pp.1-6, 1999 年 5 月.
3. 大河原英喜, 中村宏, 吉江友照, 金谷和至, "ハイパフォーマンスコンピューティングに適したメモリ階層の初期評価", 並列処理シンポジウム '99 ポスター，pp.214, 1999 年 5 月.
4. 沼寿隆, 松原正純, 板倉憲一, 朴泰祐, "並列入出力機構を用いた可視化システムの提案", 情報処理学会ハイパフォーマンスコンピューティング研究会, 情処研報 99-HPC-77-10, pp.53-58,
1999 年 8 月.
5. 冨永憲一，安永守利，"超並列計算機 CP-PACS を用いた並列自己組織化マップによる顔認証システム"，情報処理学会ハイパフォーマンスコンピューティング研究会, 情処研報 99HPC77-29, pp.167-172, 1999 年 8 月.
6. 近藤正章，坂井修一，朴泰祐，中村宏，"HPC 向けプロセッサのメモリ・アーキテクチャの基本構成"，情報処理学会計算機アーキテクチャ研究会，情処研報 ARC-134-1，pp.1-6, 1999
年 8 月.
7. 大河原英喜，近藤正章，中村宏，朴泰祐，"ハイパフォーマンスコンピューティングに適したメモリアーキテクチャの予備評価"，情報処理学会計算機アーキテクチャ研究会，情処研
報 ARC-136-3，pp.13-18, 2000 年 1 月.
8. 梅村雅之，中本泰史，朴泰祐，板倉憲一，松原正純，沼寿隆「並列入出力と AVS による並列可視化システム」次世代数値計算法研究会 (2000 年 1 月，国立天文台)
9. 中本泰史，梅村雅之，朴泰祐，板倉憲一，松原正純，沼寿隆「並列入出力システムと AVS による並列可視化」プラネットワークショップ 2000 (2000 年 3 月，登別)【平成 12 年度】

1. 中村実, 岩下誠, 坂井修一, 田中英彦, "SCIMA アーキテクチャのためのソフトウェア手法の検討", 情報処理学会ハイパフォーマンスコンピューティング研究会, 情処研報 2000-HPC-82-20,
pp.113-118, 2000 年 8 月.
2. 板倉憲一, 朴泰祐, 松原正純, "汎用可視化ツール AVS/Express の並列化とその性能評価",
情報処理学会ハイパフォーマンスコンピューティング研究会, 情処研報 2000-HPC-82-31,
pp.179-184, 2000 年 8 月.
3. 岩本貢, 渡邊亮介, 近藤正章, 朴泰祐, 中村宏，"NASPB CG, FT における SCIMA の性能評価", 情報処理学会ハイパフォーマンスコンピューティング研究会, 情処研報 HPC-83-6,
pp.31-36, 2000 年 10 月.
106

4. 梅村雅之，中本泰史，朴泰祐，板倉憲一，松原正純，沼寿隆「 CP-PACS と並列入出力・並列可視化システム」第 6 回 NEXT 研究会（ 2001 年 3 月 8 日，東京，国富生命ビル）【平成 13 年度】

1. 大根田拓, 近藤正章, 中村宏，"SCIMA におけるメモリアクセス制御機構の検討", 情報処理学会アーキテクチャ研究会, 情処研報 ARC-144-29, pp.165-170, 2001 年 7 月.
2. 藤田元信, 近藤正章, 中村宏, 千葉滋, 佐藤三久，"ソフトウェア制御オンチップ メモリのための最適化コンパイラの構想", 情報処理学会アーキテクチャ研究会, 情処研報 ARC-146-6,
pp.31-36, 2002 年 2 月.
3. 大根田拓, 近藤正章, 中村宏，"SCIMA におけるメモリアクセス機構の設計と評価", 情報処
理学会アーキテクチャ研究会, 情処研報 ARC-147-14, pp.79-84, 2002 年 3 月.
4. 朴 泰祐, 牧野 淳一郎, 須佐 元, 梅村 雅之, 福重 俊幸, 宇川 彰, "Heterogeneous MultiComputer System: 連続体・多粒子系融合型超並列計算機システム", 情報処理学会ハイパ
フォーマンスコンピューティング研究会, 2001-HPC-88-10, 2001, pp.55-60.

107

15

Supercomputing Conference への参加出展

計算物理学研究センターでは，超並列計算機 CP-PACS を中心としたセンターの様々な研究成
果及び未来開拓研究などのプロジェクト成果の発表とプロモーションのため，1998 年と 2001 年の2 回，米国における SC (Supercomputing) 会議における Research Exhibition への出展を行った．
同会議はこれまで 14 年の歴史を持つ，高性能計算分野における最も大規模な国際会議及び展示として知られており，毎回約 4000 人の出席者が参加する．テクニカルセッションにおける原著論文
発表も名高いが，企業からの Commercial Exhibition と，大学・研究機関が中心となる Research
Exhibition では多数の企業・組織が最先端の製品・研究の発表を行い，毎年注目されている．

15.1

SC98

SC98 は 1998 年 11 月 7 日から 13 日にかけ，米国フロリダ州オーランド において開催された．
本会議における出展では，CP-PACS の完成とその上での研究成果の発表をメインテーマとした．
CP-PACS のアーキテクチャ・ソフトウェア・アプリケーション，そして計算物理学における成果，
さらに筑波大学を中心として約 20 年間続けられてきた PACS 研究の歴史等を展示し，これを通じて我々の研究活動を高性能計算分野の関係者にアピールすることが目的であった．3 日間の出典期
間に多数の来客があり，電子化記帳装置に記録されただけでも約 150 名の訪問者に対し説明を行なった．(実際の訪問者数はこれを上回る)
展示内容

約 20 フィート四方のブースにおいて，以下の展示及び発表を行なった．

パネル展示
合計 14 枚のパネルを用い，PACS 研究の歴史，CP-PACS 計画とそのシステム，性能評価，計算物理学上の成果，未来開拓事業，計算物理学研究センターの沿革に関する展示を行なった．
実ハード ウェアの展示
CP-PACS の実物 PU 基盤 (8 プロセッサ) を展示し，CP-PACS を支えるハード ウェア技術の詳細を示した．また，PACS の歴史の部門では，過去の PACS 計算機のプロセッサ基盤 3枚を展示し ，並列計算機技術の変遷等を解説した．
デモンストレーション
会場と計算物理学研究センターとをオンラインでネットワーク接続し，CP-PACS に関するデモンストレーションを行なった．一つは 64 ノード の CP-PACS(PILOT-3) を用いた QCD
計算のデモンストレーションで，計算結果のリアルタイムなグラフィックス表示を行ない，並列処理の様子を示した．もう一つは，2048 ノード の CP-PACS 実システムを 8 分割し，各パーティションのジョブ実行における性能をリアルタイム表示し，実システムの稼働状況をアピールした．
プレゼンテーション
隣接展示した電子技術総合研究所のブースと協力し，両者の間に簡単なプレゼンテーション
スペースを設け，各種テーマに対するプレゼンテーションを行なった．CP-PACS のアーキ
テクチャ2 件と，応用 3 件の発表を行なった．

108

全ての展示は好評であり，システム側と応用側の並列処理関連研究者に対し ，我々の活動をア
ピールできたと考えている．訪問者の中には著名な並列処理システム研究者及び応用研究者も多く，全体として大変有意義な出典であったと思われる．

15.2

SC01

SC01 は 2001 年 11 月 10 日から 16 日にかけ，米国コロラド 州デンバーにおいて開催された．本会議における出展では，未来開拓学術研究推進事業における研究成果発表をメインテーマとした．
展示はポスターをメインとし，未来開拓研究の 2 大テーマである SCIMA と PAVEMENT に関する研究成果，さらに HMCS に関する研究成果発表を中心に行った．この他，センターの概要とCP-PACS を中心とした各計算物理学研究分野での最新研究成果についても展示した．後述する事
情により，前回に比べ訪問者数は減少し，3 日間の展示で約 50 名程度の訪問者があった．
背景〜展示規模縮小 2001 年の SC は例年と全く異なる雰囲気で展示が行われた．すなわち，同
年 9 月の同時多発テロの影響により，当初出展を予定していたブ ースの中で，特に日本からのCommercial Exhibition と Research Exhibition のキャンセルまたは大幅なブース規模縮小が相次
ぎ ，特に Research Exhibition では例年連続出展していた研究組織からのキャンセルが目立った．
完全にブースを閉鎖し ，出展関係者が来なかったブースも少なくなく，出展したブースでも規模や説明人数を大幅に削減したりしていた．このような状況下で，我々のブースも当初予定していた展示説明要因を約半数に減らし，これに伴い，オンラインデモンストレーション等も中止し，基本的にポスター展示のみとした．また，今年度は Research Exhibition の中で，アジアからの出展が全て Asian Village と呼ばれるセクションに固められ，地理的に他の（ 特に米国の）出展ブースに比べ不利な位置に配置されていた．これらの影響により，他の日本からの出展ブースも含め，全
体的に低調であった．しかし ，そもそも展示ブース全体で例年より来客が少なく，我々のブースだけの問題ではないという印象を受けた．
出展内容 前回同様，約 20 フィート四方のスペースを確保したが，今回はブース中央に大きな四角柱上のパネルスペースを設け，周囲に合計 12 枚のポスターパネルを配置した．先述したように，
当初は PC やデ ィスプレ イを複数持ち込み，HMCS 等のオンラインデモンストレーションを行う
予定であったが，これらは全て中止した．全体のほぼ 3/4 を未来開拓関連研究に充て，以下の研究について発表した．

SCIMA オンチップ メモリを用いた高性能プロセッサアーキテクチャSCIMA の概要と主なベンチマークにおける性能評価を示し ，SCIMA の潜在能力の高さと，従来のキャッシュベースのプロセッサアーキテクチャに対する優位性を示した．

PAVEMENT 並列ネットワークに基づく並列入出力・可視化システム PAVEMENT の概要と，並列入出力機構 PAVEMENT/PIO の性能スケーラビリティや負荷分散効果について示した．

HMCS 未来開拓研究の総まとめとして，連続体向け超並列計算機と多粒子系超並列計算機の融合システムである HMCS (Heterogeneous Multi-Computer System) のコンセプトと，CPPACS と GRAPE-6 を用いたプロトタイプシステムの発表，さらにこれを用いて行った，重力効果を含む輻射流体計算に基づく銀河の初期形成シミュレーションの結果について展示
した．

109

センター概要 計算物理学研究センターの概要と CP-PACS を中心とするリソース，さらにこれらを用いた最新の計算物理学研究成果について展示した．
前回に比べ，展示規模や訪問者数の点で必ずしも満足のいく出展とはならなかったが，先述した様々な要因を考えるとやむを得なかったと考えられる．しかし ，どのような形であっても展示を継続し ，本センターが世界に通じる先端研究を行っていることをアピールし続けることは極めて重要であると考える．

110

16

センター外部評価

計算物理学研究センターは 2 度にわたって外部評価を受けている．第一回目は平成 6 年度であり，筑波大学物理学系が，筑波大学として最初の外部評価を実施した際に，物理学系関連組織として受けたものである．この時点で，センターは発足 2 年を終えたばかりであったが，素粒子物理学分野における格子場の理論の研究の推進，宇宙物理学分野の立ち上げ，さらに進行中であった
CP-PACS の開発製作などに，非常に高い評価が与えられた [1]．
第二回目は，平成 11 年度である．10 年時限の満了を 3 年後に控えて，センターの将来を構想するための重要事項として，文部科学省より研究評価促進経費を受けて，センター独自に 1 年がかりで実施された．実施に当っては，筑波大学の「外部評価実施のための指針」（ 平成 7 年 12 月 25
日学長裁定）に従い，センター運営委員会の下に，メンバーを同じくする「外部評価実行委員会」を設置して平成 11 年 5 月から準備作業を行った．
外部評価委員会は，分野別の観点及び国際的な観点を考慮して，表 36 に掲げるように，素粒子物理学，物性物理学，宇宙物理学，計算機工学分野の第一級の専門家 8 名（日本人 6 名，外国人 2名）から構成され，菅原寛孝高エネルギー加速器研究機構長が委員長を務めた．
外部評価委員会による実地調査は，平成 11 年 11 月 9 日・10 日に実施された．センターでは，これに先立ち，「 筑波大学計算物理学研究センター外部評価資料」及び「筑波大学計算物理学研究センター研究業績リスト」を和文・英文の二様で作成し，CP-PACS プロジェクト関連資料，未来開
拓プロジェクト関連資料とともに，外部評価委員に送付した．
表 37 に外部評価実地調査の日程を挙げる．第一日目には，冒頭のセンターの組織面での紹介に続き，計算機工学，素粒子物理学，宇宙物理学，物性物理学の各分野に分けて，センターに於ける研究活動の成果が報告された．第二日目には，センターの将来計画が説明され，センター教官と外部評価委員の間で質疑応答が行われた後に，CP-PACS を始めとするセンター計算機設備の見学，未来開拓プロジェクト成果のデモストレーションが行われた．以上の実地調査に於ける報告及び意見交換は，全て英語で行われた．
外部評価委員会では，センターの準備した資料及び実地調査に基づき，外部評価報告書を取りまとめた．報告書は英文を原文として，第一章 序論，第二章 一般的コメント，第三章 各分野の評価，第四章 特に将来についてのコメント，第五章 結論 から構成されている．報告書では，センターにおける研究成果に極めて優れているとの高い評価が与えられ，特に物理学と計算機工学の研究者の共同関係は滅多にないものであるとの評価が示された．さらに，センターのの今後に
筑波大学計算物理学研究センター外部評価委員会
菅原 寛孝（ 委員長） 素粒子物理学
荒船 次郎
素粒子物理学
Norman Christ
素粒子物理学
島崎 眞昭
計算機工学
杉本 大一郎
宇宙物理学
田中 英彦
計算機工学
寺倉 清之
物性物理学
Jack Dongarra
計算機工学

文部省高エネルギー加速器研究機構・機構長
東京大学宇宙線研究所・教授

Department of Physics, Columbia University・教授
京都大学大学院工学研究科電気工学専攻・教授
放送大学学園・教授
東京大学大学院工学系研究科電気工学専攻・教授
通産省工業技術院産業技術融合領域研究所・首席研究官

Department of Computer Science, University of Tennessee・教授

表 36: 筑波大学計算物理学研究センター外部評価委員会

111筑波大学計算物理学研究センター外部評価実地調査日程
日時：平成 11 年 11 月 9 日及び 10 日
場所：筑波大学計算物理学研究センター 2 階セミナー室

第1日

9：30‐10：00
10：00‐11：30
11：30‐12：30
11：30‐12：30
12：30‐14：00
14：00‐15：45
14：00‐14：45
14：45‐15：15
15：15‐15：45
15：45‐16：15
16：15‐17：00
16：15‐17：00
第2日
9：30‐10：00
10：00‐11：00
11：00‐12：00
12：00‐13：30
13：30‐14：30
14：30‐15：00
15：00‐17：00

平成 11 年 11 月 9 日（ 火

評価委員会打ち合わせ
センター概要説明（ 宇川 彰）
研究活動報告 I
CP‐PACS の開発・製作（ 朴 泰祐）
昼食
研究活動報告 II
CP‐PACS による計算素粒子物理学（吉江友照・金谷和至）
CP‐PACS による計算宇宙物理学（ 梅村 雅之）
CP‐PACS による計算物性物理学（ 押山 淳）
休憩
研究活動報告 III
未来開拓プロジェクト（ 和田 耕一）
平成 11 年 11 月 10 日（ 水）評価委員会打ち合わせ
センターの今後（宇川 彰）
質疑応答
昼食
施設見学と研究成果デモ
実時間並列可視化システム（ 朴 泰祐・梅村 雅之他）
実時間顔認証システム（ 安永 守利他）
休憩
評価委員会評価作業

表 37: 計算物理学研究センター外部評価実地調査日程

112

ついて，物理学と計算機工学が協力して進めてきた研究の方向を，今後もより一層推進すべきであるとの意見が示された．
外部評価委員会の報告書は，評価用資料と併せて，平成 12 年 3 月に公表された [2]．

17計算物理学研究センターの新設

センターの将来についての準備は，10 年時限満了を 3 年後に控えた平成 10 年度後半から二つの側面から開始された．第一の側面は，新たにセンターとして進めるべき学術研究の方向性の検討であり，もう一つは，組織面からの準備である．
学術研究の方向については，本センターの目的とした，素粒子・物性・宇宙という基礎物理学
三分野の研究の今後の発展の方向性の検討に併せて，1990 年台後半から著しい進展を見せて来た
物質科学，生命科学分野の研究動向が検討された．これらの検討を通じて，今後のセンターにおいては，素粒子・宇宙という基礎物理学分野の研究を一層推進すると同時に，物性物理学においてはナノ物質のシミュレーション，さらに，生命科学分野においては，タンパク質や DNA 等の生体高分子の構造と機能の解明に計算物理学の手法を展開することが重要な課題であるとの認識が深まった．さらに，これらの分野の重要課題の解決のために必要とされる計算性能の検討が行われ，CP-PACS の次に来るべき高性能計算機システムの性能として，100TFLOPS クラスが必要とされることが明らかとなった．このような計算機システムの実現に向けての基礎研究が，日本学術振興会未来開拓学術研究推進事業「計算科学」の「次世代超並列計算機開発」で進められたことは既に記したとおりである．
以上の検討に並行して，組織面からの準備も進められた．平成 11 年度には，センターの研究活
動と将来に関する外部評価を実施した．その詳細は，第 16 章に記したとうりである．
筑波大学の研究センターは，研究審議会の下に置かれている．平成 11 年 10 月 7 日開催の第 277
回研究審議会に於いて，「 計算物理学研究センターの今後の在り方についての検討委員会」が設置された．委員会は，学内関係組織の教官 7 名及び計算物理学研究センター長から構成され，滝川紘治教授（ 物理学系）が委員長を務めた．委員会では，センターにおける将来検討及び外部評価
結果を資料として，センターの今後の在り方についての検討が行われ，10 年時限満了後は，基礎物理学及びより広範な科学分野における数値的研究とそのための高性能計算機の開発並びに計算機工学の研究を目的として，新たにセンターの再出発を図るべきであるとの答申がまとめられた．
この答申は，平成 12 年 2 月 10 日開催の第 281 回研究審議会に報告され，その基本方針が承認された．
以上の手続きを経て，平成 12 年度と平成 13 年度にわたって，センター新設の概算要求が行われ，関係各位の理解を得て，平成 14 年 4 月から，名称を「計算物理学研究センター」に保って，
新たに 10 年時限のセンターの設置が認められた．新センターは，計算物理学並びにそのための計算機工学の研究を行うこととされ，研究部門として，現センターの計算素粒子物理学，計算物性物理学，計算宇宙物理学，並列計算機工学の 4 部門に加えて，計算生命物理学研究部門が設置された．また，定員は，教授 4，助教授 4，講師 3，客員教授 2（ I 種 1，II 種 1 ），客員助教授 1（ I種），事務官 2 に増員された．

参考文献[1] 「筑波大学物理学関連組織評価報告書」1994 年 6 月
113

[2] 「筑波大学計算物理学研究センター外部評価報告書」 平成 12 年 3 月

114

18

付録

18.1

設置関係法令等

国立学校設置法施行規則（ 抄）昭和 39 年 4 月 1 日 文部省令第 11 号
最終改正 平成 13 年 3 月 31 日 文部科学省令第 57 号

（ 全国共同利用施設及びその長）
第 20 条の 4 別表第 7 の 3 の上欄に掲げる国立大学に，学術研究の発展に資するための全国共同利用施設として，同表の中欄に掲げる施設を置き，当該施設の目的は，それぞれ同表の下欄に掲げるとおりとする．
2 前項の施設は，国立大学の教員その他の者で，当該施設の目的たる研究と同一の分野の研究に従事するものに利用させるものとする．
3 第 1 項の施設に長を置き，その施設の置かれる大学の教授をもって充てる．
別表第 7 の 3（ 第 20 条の 4 関係）
国立大学の名称

上欄の国立大学に置く全国共同利用施設

中欄の施設の目的

筑波大学

計算物理学研究センター

計算物理学に関する研究

115

18.2

学内規則等

筑波大学計算物理学研究センター規則

平成 4 年 3 月 19 日規則第 15 号
改正 平成 5 年 2 月 18 日規則第 5 号
平成 11 年 3 月 16 日規則第 4 号
平成 12 年 3 月 16 日泉則第 6 号（目的）
第 1 条 計算物理学研究センター（ 以下「センター」という．
）は，全国共同利用施設として，計算物理学に関する研究を行い，かつ，国立大学の教員その他の者で，この分野の研究に従事するものの利用に供することを目的とする．
（管理運営）
第 2 条 センターの管理運営は，センター長が行う．
（研究部門）
第 3 条 センターに，次に掲げる研究部門を置く．
（ 1 ）計算素粒子物理学研究部門（ 2 ）計算物性物理学研究部門（ 3 ）並列計算機工学研究部門（ 4 ）計算宇宙物理学研究部門（運営委員会）
第 4 条 センターの運営に関し ，次に掲げる重要事項を審議するため，センター運営委員会（以下「委員会」という．
）を置く．
（ 1 ）組織の新設，改廃の発議に関すること．
（ 2 ）教員の採用，昇任，不利益処分等の発議に関すること．
（ 3 ）予算に関すること．
（ 4 ）施設の管理に関すること．
（ 5 ）その他センター長が必要と認める事項．
第 5 条 委員会は，次に掲げる委員で組織する．
（ 1 ）センター長（ 2 ）センターの維持管理に関係する教員のうちからセンター長が推薦する者 2 人（ 3 ）物理学糸から選出される教員 3 人（ 4 ）電子・情報工学糸から選出される教員 2 人（ 5 ）機能工学系から選出される教員 1 人（ 6 ）その他センター長が推薦する本学の教員 若干人
2 委員会に委員長を置き，センター長をもって充てる．
3 委員長は，委員会を主宰する．
4 委員長に事故があるときは，あらかじめ委員長の指名する委員がその職務を代行する．
5 委員会は，過半数の委員が出席しなければ，議事を開き，議決することができない．
6 委員会の議事は，出席した委員の過半数をもって決し，可否同数のときは，委員長の決するところによる．
（運営協議会）第 6 条 センターの共同研究及び共同利用に閑し ，次に掲げる重要事項を審議するため，センター

116

運営協議会（ 以下「協議会」という．
）を置く．
（ 1 ）研究計画に関すること．
（ 2 ）事業計画に関すること．
（ 3 ）その他共同研究及び共同利用に関すること．
第 7 条 協議会は，次に掲げる委員で組織する．
（ 1 ）センター長（ 2 ）センターの維持管理に関係する教員のうちからセンター長が推薦する者 2 人（ 3 ）物理学系，電子・情報工学系及び機能工学系の教員のうちから当該学系長が推薦する者 若干人（ 4 ）学長が学外の学識経験者のうちから委嘱する者 若干人（ 5 ）その他センター長が推薦する本学の教員 若干人
2 協議会に委員長を置き，センター長をもって充てる．
（任期）
第 8 条 第 5 条第 1 項第 2 号から第 6 号まで及び第 7 条第 1 項第 2 号から第 5 号までの委員の任
期は 2 年とする．ただし，再任を妨げない．
2 前項の規定にかかわらず，任期の終期は，委員となる日の属する年度の翌年度の末日とする．
（共同研究員）第 9 条 学長は，国立大学の教員その他の者で，計算物理学に関する研究に従事するものを，共同研究員として委嘱することができる．
2 共同研究員の委嘱の期間は 2 年とする．ただし ，更新を妨げない．
（事務）第 10 条 センターに関する事務は，研究協力部研究協力課が行う．
（細目）
第 11 条 この規則に定めるもののはか，センターの運営に閑し必要な細目は，別に定める．
附則
1 この規則は，平成 4 年 4 月 10 日から施行する．
2 この規則は，平成 14 年 3 月 31 日限り，その効力を失う．
附 則（ 平 5．2．18 規則 5 号）
この規則は，平成 5 年 4 月 1 日から施行する．
附 則（ 平 11．3．16 規則 4 号）
この規則は，平成 11 年 4 月 1 日から施行する．
附 則（ 平 12．3．16 規則 6 号）抄（施行期日）
1 この規則は，平成 12 年 4 月 1 日から施行する．

117

18.3

センター内規則等

筑波大学計算物理学研究センター共同研究員内規（ 平成 5 年 3 月 23 日制定）
改正 平成 9 年 3 月 3 日（目的）
1 この内規は，筑波大学計算物理学研究センター（ 以下「センター」）の共同研究員について，必要な事項を定めるものとする．
（共同研究員）
2 共同研究員は，センターの研究計画に基づき，専用超並列計算機を用いて計算物理学に関する研究・開発を行う者とする．
3 共同研究員は，センター内の施設，文献，資料等を利用することができるものとする．
（推薦）
4 共同研究員は，本学の教員並びに学外者のうちから運営委員会の議を得て，センター長が推薦をするものとする．
（任期）
5 共同研究員の任期は，2 年とする．ただし ，再任を妨げない．
（雑則）
6 この内規に定めるもののほか，共同研究員に関し必要な事項は，センター長が別に定めるものとする．
附記
1 この内規は，平成 5 年 4 月 1 日から施行する．
2 この内規は，平成 14 年 3 月 31 日限り，その効力を失う．
附 記
この内規は，平成 9 年 3 月 3 日から施行する．

118

19

新聞・雑誌等記事

119

120

121

122

123

筑波大学計算物理学研究センター
UTCCP Report 02-1

発行日
発行者

平成 14 年 7 月 31 日
筑波大学計算物理学研究センター
宇川 彰〒 305-8577 茨城県つくば市天王台 1-1-1

編集者

筑波大学計算物理学研究センター
宇川 彰
株式会社 イセブ〒 305-0005 茨城県つくば市天久保 2-11-20

TEL 0298-53-6488

印刷所

TEL 0298-51-2515

Report of Center for Computational Physics
University of Tsukuba
1-1-1 Tennoudai, Tsukuba, Ibaraki 305-8577, Japan
http://www.rccp.tsukuba.ac.jp/