私に取っての CP-PACS プロジェクト
宇川 彰
筑波大学物理学系（当時）
筑波大学本部（現在）
1.

はじめに

私の専門は素粒子物理学の理論的研究である．初めて研究論文を書いたのが 1974 年，格子 QCD の研究を始めたのが 1979 年，数値シミュレーションを使った最初の論文が 1981 年であるから，CP-PACS プロジェクトに加わった 1991 年には既に 20 年近い研究生活を送っていた．しかしながら，
CP-PACS プロジェクト 5 年間の経験を境目として，私の素粒子物理学に対するアプローチ，さらには研究そのものに対する考え方や取り組みは，それ以前とは全く違ってしまった．この一文では，その事情を書いてみたいと思う．
2.

CP-PACS プロジェクトへの参加

筑波大学には，既に 1980 年頃から，星野力先生を中心とした科学技術向けの並列計算機開発の歴史がある．岩崎洋一氏が加わり，科研費特別推進課題の研究代表者となった QCDPAX プロジェクトは，岩崎氏と，吉江友照氏や金谷和至氏が物理側の中心となって 1987 年から 1989 年の 3 カ年計画で推進された．私が筑波大学物理学系に着任したのは，それに先立つ 1985 年であるが，この時期，私自身は高エネルギー物理学研究所（現在の高エネルギー加速器研究機構）の福来正孝氏（現東京大学宇宙線研究所教授）や大川正典氏（現広島大学物理学研究科教授）と研究グループを組み，高エネ研設置のスーパーコンピュータ（日立 S810 を 1986年に設置，1991 年に S820 に更新）を多用した格子 QCD の研究を行っていて，QCDPAX プロジェクトには参加していなかった．
QCDPAX プロジェクトの後継プロジェクトとして，岩崎氏を代表とするCP-PACS プロジェクトが，文部省の新プログラム（学術の新しい展開のた45めのプログラム）の課題候補として検討され内定したのは 1991 年初めであったと記憶する．岩崎氏からプロジェクトへの参加を勧められた当初，私はあまり乗り気ではなかった．当時の私は，計算機開発に充分な理解を持たず，また QCDPAX 開発の様子からもその大変さに尻込みの感もあった．しかしながら，高エネ研の菅原寛孝先生（当時）から，文部省の重要施策である新プロに採択されたからには，我が国の格子 QCD の関係者が全員で取り組むのが当然ではないかと，ことの重要性と考えの浅さを諭され，参加させて頂くこととした．
中澤喜三郎先生や中村宏氏らの計算機科学側のメンバーと物理側のメンバーが一堂に会した初会合は 1991 年 5 月 9 日であったと思う．この時
点では，開発システムの名称は決まっていなかった．CP-PACS の名称が決まったのは第二回会合の行われた 5 月 16 日と記憶する．
3.

CP-PACS の開発・制作

CP-PACS プロジェクトは正式には 1992 年度から 1996 年度までの 5 カ年計画であったが，1991 年春から素粒子物理における格子 QCD 計算の具体的目標の検討や，計算機工学側の計算機システムに関する技術的検討が行われていた．素粒子物理側では，岩崎氏，吉江氏，金谷氏，宇川に，青木慎也氏も加わり，月一回の物理側と計算機工学側の合同ＷＧを軸として検討が進められた．この形態は，一方では，計算物理学研究センターの同時正式発足を受けて，同センターの研究員会議へと発展し，現在の計算科学研究センターにおいても，教員・研究員の情報共有・意見交換の場として受け継がれている．また，その一方で，1992 年にプロジェ
クトが正式に発足し，システムの開発・制作者が（株）日立製作所と決まったことにより，大学側と日立側の合同 WG へと形を変え，その後プロジェク
トが終了する 1997 年まで略月一回のペースで続けられた．
計算機の開発・制作に参加するのは私に取って初めての体験だった．
大学・日立合同ＷＧは，毎回 5 時間も 6 時間も続くタフなものだったが，最初の内は計算機工学や日立製作所のみなさんの話す内容が判らず，精神的に苦痛であったし，計算機に関する知識の不足を痛感させられた．中46

澤先生の講義録「計算機アーキテクチャと構成方式」（後に朝倉書店から1995 年に出版され大川出版賞を受賞）を読んで，レジスタやキャッシュ等の計算機の基本中の基本を勉強したこと，また，計算機のみなさんと議論したり，彼らが端末からシステムを操るのを見て，「この人たちには，きっと計算機の中は手に取るように視えているんだろうなあ」としみじみ思ったことなど，懐かしい思い出である．そのような開発・制作の中で私の記憶に残る事柄を挙げてみよう．
(1) 疑似ベクトル機構 PVP-SW
格子 QCD の計算の中心部分は，その後サブルーチン MULT という名前で関係者の間で有名になったが，1 演算あたり約 2.5 バイトのデータをメモリからレジスタへロード・ストアする必要がある．当初検討された PA-RISCアーキテクチャでは，問題サイズがキャッシュ溢れを生ずる大きさとなった時点で実効性能が極端に低下してしまう．今では素粒子関係者の間では常識となっているが，何も知らない当時はこの結果に素粒子一同顔色を失った．当初のシステムのピーク性能目標は 300Ｇｆｌｏｐｓだったが，実効性能12.3％では，世界一はおろか，目標としていた計算も夢のまた夢となりかねない．1991 年 8 月 10 日が，「暗黒の CP-PACS ミーティング」として記憶されている由縁である．
この問題は，その後時間を置かずして疑似ベクトル方式により解決の見通しが立った．この間の事情については中澤先生始め，多くの方々が書かれると思うので，これ以上触れることはせず，PVP-SW の経験が私にもたらしたものを書いておこう．
PVP-SW の威力は，1991 年の 9 月から 10 月にかけて，自分でメモリーとレジスタ間のデータのロード・ストアやレジスタ上での演算を，各操作のレイテンシを数えながら配置し，計算に必要なマシンサイクル数を勘定して納得することができた．一挙に 50％を超す実効性能が可能であることが示唆され，興奮を伴う体験だった．私はそれまでにスーパーコンピュータを 5年以上にわたって使って来た．しかし，計算機の動作をこのようなレベルで考えたことはなく，それが研究を進める上で如何に重要であるかについ47

ても理解していなかった．私は，CP-PACS プロジェクトの期間を通じて，幾度か同様の経験をし，この事を通じて，計算科学者に取って計算機を深く知ること，また計算科学と計算機科学の深い協力が如何に重要であるかを深く認識するようになったと言って良い．
(2) できたてほやほやの CP-PACS
開発・制作された CP-PAＣＳを使うという点からは多くの思い出がある．
1996 年 1 月には，開発段階のハードにＯＳ及び PVP-SW 対応のコンパイラを装備した８ノード構成機が Pilot-2.5 システムという名称で計算物理学研究センターの計算機室に持ち込まれ，ユーザ側のプログラム開発に供された．
並列プログラミングは私には初めての経験であったので，統計物理の標準問題であるイジングスピン系を使って練習を積んだ．CP-PACS はノード間通信に，新規開発のリモート DMA 通信機構を備えており，combuf 通信library と称する一群のライブラリコマンドを使ったプログラミングが必要だった．計算機工学側の朴泰祐氏が作成したプログラミングマニュアルを片手に毎日コーディングに取り組んだことを思い出す．
格子 QCD プログラム本体については，quenched QCD 用の heat bathプログラムと，クォークの動的効果を取り入れた hybrid Monte Carlo プログ
ラム，さらにハドロン伝播関数等の物理量の計算プログラムの三種類の開発が必要だった．私は，ベクトル計算機用の hybrid Monte Carlo プログラムを作成した経験があったので，こちらに取組み，まずは純グルオン系に対するプログラムを書いた．1996 年 3 月には一応動くプログラムが完成していたと記憶する．クォークの効果を取り入れたバージョンは，同年 8 月に金谷和至氏が中心となって書いた．
CP-PACS は，まず 1024 ノード構成機が 1996 年 3 月 25 日に設置され，4 月 8 日から稼働が開始された．Pilot-2.5 の 3 カ月の先行設置のおかげで，格子 QCD 計算は開始の準備が整っており，我々物理関係者は皆が「それ！」という勢いでテストを始めた．単体ノードでのテストから初めて，4ノード，64 ノード，256 ノード等々と並列プログラムのテストを進めていく．純48

グルオン理論用の hybrid Monte Carlo プログラムは本格計算用としてはheat bath プログラムに劣るが，このテストの目的には随分と役に立った．
この段階での一番の思い出はパーフォーマンスモニタ mon である．このモニタソフトは，調査したいプログラム部分の前後に開始・終了のstatement を入れておくだけで，その部分の実行に要したマシンサイクル数，演算数，データのロード数，ストア数，キャッシュミス数等の基本情報がノード毎に採取できた．hybid Monte Carlo プログラムの各 do loop やcombuf 通信部分を mon で調査することにより，できたてほやほやの
CP-PACS がどのように動作しているのか，事前に行っていた詳細な検討どおりの動作をしているのか，手に取るように視ることができたことは私に鮮烈な印象を残している．
4 月のうららかな日が続く中，週末の静かなオフィスでキーボードを叩いて，同じプログラムを何度も計算させ，各 CPU の動作確認や combuf 通信ライブラリの性能評価をしたのを思い出す．問題が起こる度に，計算物理学研究センターに詰めていたＳＥの滝田忠郎氏や日立電子サービスの矢嶋則幸氏に電話をかけた．当時の私は，夕食に一度帰宅した後，ひと眠りして夜 10 時頃に大学に戻り午前 2 時～3 時まで仕事，朝は 9 時前には大学に出て仕事という生活を，平日・週末の別なく続けていた．時間の別なく電話して随分とご迷惑をかけたと今では冷や汗の思いである．
4.

計算物理学研究センター

CP-PACS プロジェクトは，異なる分野や，大学とメーカなど異質の組織に所属する大勢の研究者が協力する必要のあるプロジェクトの進め方を私に教えてくれたが，同時に新たな研究組織の立ち上げやそのための文部省（当時）への概算要求が如何なるものかも知る機会を与えてくれた．
新プログラムは，採択された場合に，その推進母体として全国共同利用の研究センターを設置する可能性があった．採択が内定した 1991 年の春には，新センター設置を目指して，まずは学内の研究担当副学長や研究協力部，財務部と全体計画や教員振替などの調整，それを踏まえて文部省の研究機関課（当時）との折衝が岩崎さんを中心に行われ，私もそのよ49

うな席に幾度か同席する機会があった．
今でもそうだが，文部省との折衝は担当課の課長補佐への説明が中心になる．当時の概算要求は，人員や予算，また建物等について記入する一定の書式があり，その上に要求理由を説明する文書や添付書類を準備する必要があった．「ポンチ絵」と呼ばれる，判りやすい図等の作成も必要だった．これまた週末の物理学系の建物で，当時の最新鋭の PC98 パソコ
ンに一太郎を使って，岩崎氏と書類準備をしたのを思い出す．
その上での研究機関課との折衝になるが，これまた大変だった．小一時間ほどの折衝の間，にこりともしないで，「本当にセンターを設置する必要があるのか，人員要求は過大ではないのか，フロントエンドは何故必要なのか」，と次々と厳しい質問を浴びせかけてくる文部省の担当の方々を相手に岩崎氏，中澤先生が丁寧に反論を重ねていたことを思い出す．結果
として，センターの 1992 年 4 月 10 日設置，新規教員も教授 3 名，助教授1 名が認められた．更に，建物についても 1993 年と 1995 年の二期に分けて建設が行われた．
この間の岩崎氏の粘り強い交渉には本当に頭が下がる．私自身も，その後に計算物理学研究センターの運営と概算要求や計算科学研究センターへの改組拡充に関係して，似たような経験を持つことになり，なかなか思うように進まないことに苦しい思いをした．その時に支えとなったのは，
CP-PACS プロジェクトや計算物理学研究センターの立ち上げを通じて培った，研究を大きなスケールで進めるということは，単に研究者と研究予算だけではなく，それを支える研究組織や建物等のインフラ整備と表裏一体であるという考えと，概算要求などの経験であったと思う．
5.

CP-PACS による素粒子物理学の成果

CP-PACS が，設置当初のテストを経て物理計算に取り組めるようになったのは 1996 年 6 月頃である．既に格子 QCD の quenched hadron spectrumの計算プログラムの準備はできており，本格計算への努力が始まった．またこの夏にはフレーバー数 2 の動的クォークを取り入れた hybrid Monte
Carlo プログラムが書かれ，full QCD 計算の準備が整った．

50

1992 年 9 月には CP-PACS が 2048 ノードの最終構成になり，Linpackベンチマークで世界最高速を記録した後，10 月 4 日から運用が開始された．この後，約 1 年をかけて quenched QCD でのハドロンの質量スペクトルを求める計算が行われ，また半ば並行する形でフレーバー数 2 の動的クォークの系統的計算が進められた．こ れらの結果は，1997 年 3 月に
CP-PACS プ ロ ジ ェ ク ト の 活 動 報 告 の 一 環 と し て 行 わ れ た 国 際 会議”Lattice QCD on Parallel Computers”を皮切りに，国際舞台への報告が始まり，以降数年間の格子 QCD における世界の研究をリードすることとなった．特に quenched light hadron spectrum の計算結果は 1980 年頃に始まる格子 QCD 計算の里程標の一つとみなされる結果となっている．
CP-PACS プロジェクトが 1997 年 3 月に終了した後，同年 8 月 29 日に日立側のお世話で，品川の日立和彊館でプロジェクトの打ち上げの催しが行われた．その席で私にも挨拶をする機会が与えられ，私は quenchedlight hadron spectrum の結果を「美しい」という言葉で表現した．CP-PACSに込められた様々なアーキテクチャ上の工夫，それを実現した実装技術，その上に立った格子 QCD の計算とその結果は，それぞれに多くの関係者の多大な労苦を秘めながらも，beautiful という言葉が一番ふさわしいというのが私の実感だったのである．
6.

おわりに

CP-PACS は 1996 年 10 月 4 日に本格稼働を開始し，その後 9 年間稼働を続けて，2005 年 9 月 29 日に稼働を終了した．この間のパワーオン日数は 2813 日，平均稼働率は 86％であった．CP-PACS の開発・制作とCP-PACS による計算から生み出された研究成果は，学術論文 80 編，国際会議発表 147 件に上る．稼働終了の当日には大学側と日立側から関係者約 40 名が集まり，岩崎氏が最後の shutdown コマンドを投入するのを見守った．この後，CP-PACS は解体されたが，事前の相談に基づき，PU，ネットワーク，IO，電源各１筺体と開発関係書類を国立科学博物館に寄贈し，計算科学研究センターには，PU 筺体とネットワーク筺体各１を展示している．

51