TSUBAME 3.0
いまや先端科学研究に欠かせない存在となったスーパーコンピュータ（スパコン）。東工大のスパコン「TSUBAME3.0」は、国内トップクラスの演算性能はもちろん、近年のスパコン開発で重視される省エネ性能で世界 No.1 を獲得した。学内はもちろん、学外機関の研究開発にも幅広く活用される「TSUBAME」の強さの秘密と活用方法を探ってみよう。

東工大が運用する世界トップレベルのスパコン

多数のコンピュータを協力して稼働させ、圧倒的な処理スピードを実現するスパコンは、学術機関の先端研究や企業の技術開発における重要なツール。科学技術向上の重要インフラとして、世界各国で莫大なコストをかけた激しい開発競争が繰り広げられている。

スパコンとは何か

省エネルギー性能は世界 No.1 ！
最先端手法で高スピード化を実現！

「TSUBAME」のここがすごい！

低コスト化・省スペース化にも成功！
汎用性が高く、AI やビッグデータにも強い！

東工大のスーパーコンピュータ「TSUBAME」には独自の工夫がたくさん！
省エネルギー性能は世界 No.1 ！
スパコンの電力使用量は一般家庭の数千倍と言われており、省エネも開発の重要なポイントになっている。「TSUBAME3.0」では本体の電力使用量を減らしながらCPU、GPU の直接水冷や屋外冷却塔の使用により冷却に使う電力も削減。1 ワッ
トで 14.11 ギガ Flops※の計算速度を実現する燃費の良さで、省電力スパコンラン
キング「Green500 List」の世界 1 位を獲得した（2017 年 6 月版）。

最先端手法で高スピード化を実現！
「TSUBAME」では計算を行うスパコンの頭脳として、画像処理などに使われていたGPU を、従来の頭脳だった中央演算処理装置・CPU と併用する形で使っている。
GPU の本格活用は、大型スパコンとして世界初の試み。シンプルな演算を並列・高速で行える GPU の特性を活かした独自の工夫によって、2010 年には TSUBAME2.0で当時世界４位となる計算スピードを実現した。

低コスト化・省スペース化にも成功！！
GPU は低電力で動く演算コアが多数搭載されており、コストパフォーマンスに優れている。「TSUBAME」では GPU と CPU の併用という工夫によって計算スピードの向上と同時に開発コストの削減、さらに運用時の課題である電気代の圧縮に成功した。
また TSUBAME3.0 では省スペース化も進め、バージョン 2.5 の半分以下の設置スペースで倍以上の計算能力を発揮している。

TSUBAME 3.0 〜 性能・仕様 〜

汎用性が高く、AI やビッグデータにも強い！

理論演算性能：12.15 ペタ Flops※（倍精度）／ 24.3 ペタ Flops（単精度）／ 47.2 ペタ Flops（半精度）計算ノード間の送受信速度：毎秒 400 ギガビット
演算装置：CPU1080 基、GPU2160 基
保存データ容量：15.9 ペタバイト
データストレージへのアクセス速度：毎秒 150 ギガバイト
外部インターネットへのアクセス速度：毎秒 100 ギガビット「TSUBAME」の大規模計算能力は学外にもクラウド形式で幅広く提供され、学術研究や企業の製品開発に活用されてきた。3.0 の開発ではビッグデータや AI 関連での利用増加を見越して、同分野で活用される半精度での計算効率を強化し、各計算ノードに高速 SSD を設置してデータの読み書きも円滑化。外部とのデータ連携に必要な通信速度もアップさせている。

TSUBAME3.0 では、540 台の計算ノードを連結して稼働させている。
各計算ノードには、計算を行う CPU2 基と GPU4 基、データを保存する 2TB の高速 SSD などが設置され、大量の熱を発する CPU と GPUを冷却する水の管が内部を通っている。スパコンの冷却に使った水は建物屋上の冷却塔に戻されて、大気により冷やされた後、再度冷却水として利用される。

スパコンは何の役に立つ？
大量のデータを高速で処理できるスパコンは、シミュレーションやデータ解析の強力なツール。研究や製品開発において、例えば以下のような役割を果たしています。
シミュレーションで確認・実験が難しい

仮説立案や法則研究・開発を効率化ことも推測発見を助ける

地道な実験を通してしか分

大規模施設で火災が起き大量なデータの分析を行からなかった結果を数値た場合の被害など実験がい、そこに見られる関係性・計算によって見通し、成功難しい事柄についても、シ

法則性を探ることで、仮説可能性の高そうな部分にミュレーションである程度立案などに役立てられるよ的を絞った研究を行うこと予測できるようになった。

うになった。産業界でも人で、実験や開発テストにかまた地球の内部や遠く離の行動分析に基づいて嗜かる時間や手間、材料などれた宇宙など、確認するの好を推測し、情報を提供すを大幅に削減できるようにが難しい場所の詳しい調るといったことがすでに実なった。

査も可能になった。

用化さされている。


科学研究を推進する第 1 のツールは、理論を生み出す紙と鉛筆。第 2 のツールは実験。そして第 3 のツールがコンピュータだと言われている。東工大が学内の研究環境をさらに強化するため、先進的な工夫を重ねて独自に開発したのが、世界レベルの性能を持つスパコン「TSUBAME」だ。
2004 年に本格的な開発が始まり、2006 年に完成した「TSUBAME」はその後も性能の向上を続け、2010年に登場したバージョン 2.0 では計算性能で当時の世界 4 位を記録。2013 年には大幅更新した 2.5 が導入され、2017 年 8 月には飛躍的パワーアップを遂
げた TSUBAME 3.0 の運用が開始された。
この TSUBAME 3.0 では、先端科学技術研究に必要な倍精度で国内トップレベルの 12.15 ペタ Flops※という演算性能を実現。さらにビッグデータや AI への対応力も向上させ、同分野の処理に適した半精度では 47.2 ペタ Flops の計算性能を発揮する。また運用コストの圧縮、環境負荷の低減などさまざまな側面から重要性が高まる省エネルギー性能の向上を高める多くの工夫を行い、省電力スパコンランキング「Green500 List」で世界 1 位を獲得（2017 年 6 月版）した。
また、東工大では「TSUBAME」の圧倒的な計算能力を社会にも開放。東工大の教員・学生による研究はもちろん、学外研究機関や他大学による学術研究や企業による製品開発にも広く利用され、災害予測、創薬設計、予防医療、自動運転、宇宙環境の調査など多彩な研究が行われている。

※スパコンの演算性能を表す単位の一つ。Flops（FLoating point number Operations Per Second）の略で、1 秒間に浮動小数点演算が何回できるかを表している。
ギガは 10 の 9 乗（10 億）、ペタは 10 の 15 乗（1000 兆＝0.1 京）にあたる。

実際にどんな研究に活用されている？

「TSUBAME 3.0」
Q&A

学内外のさまざまな研究に活用されてきた「TSUBAME」。どんな内容の研究に、どのような形で役立っているのか。実際の事例を見てみよう。

事例 1

GPUスパコン「TSUBAME」を武器に多彩なシミュレーションを実施

気象の変化、津波や落石の挙動、そして金属が凝固していく様子――。数値流体力学を専門
東京工業大学とする東工大の青木研究室では、「TSUBAME」を学術国際情報センター使ってさまざまな現象のシミュレーションに取り組んでいる。「TSUBAME」の計算能力を活かし、気象庁と次世代副センター長／教授 青木尊之先生
気象シミュレーションの共同研究も行っている。
青木研究室：http://www.sim.gsic.titech.ac.jp「気象などの流体シミュレーションでは、空間を3次元の格子に分け、時間ごとの変化を見ていきます。この格子を細かくするほどシミュレーションの精度が上がり、粗い格子では見えなかった現象も見えてきます。それまで気象庁では5kmの格子を使っていましたが、その10倍の細かさの500mの格子を使うことで、より詳細な予測が可能になりました」
2011年には溶融した合金が凝固していくプロセスを「TSUBAME」で再現。計算に使ったGPUの数は4000、格子の数は3000億以上に及び、スパコン分野の最も栄誉あるゴードン・ベル賞を受賞した。
「合金材料の強度は、凝固の際に形づくられるミクロな組織に依存します。凝固のプロセスが分かれば、軽くて頑丈な素材開発に役立つ。それまで材料科学の分野ではスパコンを使った大規模計算はほとんど行われておらず、挑戦する価値があると考えました」
2012年には多彩な建物が建つ都心の10km四方のエリアの気流について1m格子のシミュレーションを実施して注目を集め、近年では津波が建物に与える衝撃の計算や、多数のがれきの混じった津波の挙動のシミュレー
ションなどに精力的に取り組んでいる。
「『TSUBAME』に使われているGPUは扱うのに多少プログラムの修正がいりますが、低電力で高い演算性能を持ち、使いこなせれば世界の最先端の研究領域で互角以上に戦えるよう（上）台風の雲の様子を5kmの格子と（中）500ｍになる。これからも誰も手がけてこなかった分野でのの格子で再現したもの、細かい格子で計算すれば新しい発見を目指し、挑戦を続けていきます」
それだけ精度の高いシミュレーションを行うことができる（下）東京工業大学の青木尊之先生

スパコンを利用し、より効果の高い

事例 2
結核、エイズ、インフルエンザなどさまざ
インフルエンザワクチンの開発をめざす
まな感染症の研究を、70年以上にわたってリード国立感染症研究所してきた国立感染症研究所。現在、開発に力を入れ
感染病理部 部長 長谷川 秀樹 先生ているのが、鼻にスプレーするだけで幅広いタイプのインフルエンザを予防する経鼻ワクチン※だ。その研究にも感染病理部 第四室 室長 鈴木 忠樹 先生「TSUBAME」が活用されている。
病原体ゲノム解析研究センター 第二室 小谷 治 先生
「インフルエンザワクチンは人間の体内にウイルスに対する抗体を誘導し、その抗体がウイルスを不活性化するという形で働きます。
しかしインフルエンザウイルスの種類は多く、変異もしやすいため、既存のワクチンの効果が必ずしも高くないことが問題になっています。より効果が高く信頼性の高いワクチンをつくるには、ワクチンで誘導される抗体とウイルスの相互作用の仕組みを詳細に調べていく必要があると考えました」
ワクチンで誘導される抗体が標的にするのは、ウイルスの表面に存在し、ウイルスが細胞へ侵入する際に使われるヘマグルチニン（HA）という糖タンパク質。ウイルスが変異して抗体が効かなくなる仕組みを調べるため、通常のHAと変異したHAの両方のモデルを作成し、スパコン上でシミュレーションを行うことにした。ただし、研究所のスパコンでは計算に３ヶ月ほどかかることが判明。そこで計算能力が高く、構造解析に定評ある計算ソフトの最新版も入った「TSUBAME」を利用し、1週間ほどで計算を完了させた。
「通常のHAと変異したHAの構造を比較することで、抗体がウイルスのどの部分に作用するかについて大きなヒントを得ることができました。より有効で副作用の少ないワクチンの開発に向け、解明すべきことはまだまだた
くさんあります。スパコンも上手に活用しながら、一つずつクリアしていきたいと考えています」
2018年度は、人間の体内環境により近い、HAに糖鎖のついたモデルで解析を実施。抗体とHAのような超微小分子の相互作用を視（上）国立感染症研究所（中）インフルエンザ
覚化し、抗体の働き方を理解していくことで、開発が難しウイルスのヘマグルチニン（HA）三量体構造モいといわれるワクチンの研究を着々と進展させている。
デル（下）「TSUBAME」使って解析を行った国立感染症研究所の小谷先生※ワクチン：予防接種することによって体内に抗体を誘導し、ウイルスを不活性化させ、感染症の発生を防ぐことを目的とした予防薬。投与法は注射が一般的だが、経口、経鼻のワクチンも存在する。

広がるスパコンの活用範囲
研究の応用範囲をさらに広げ、社会をより快適、便利にしていくスパコン。
「TSUBAME」を使って行われた研究の事例とあわせて社会での活用シーンを見てみよう。

気象や災害の予測に気象や災害の予測はスパコンの活用が最も進んだ分野の一つ。天災の発生を予測できれば避難もしやすくなり、災害の与えるダメージが予測できればそれに耐えうる建物の設計も可能になる。「TSUBAME」でも高度な計算能力を活かし、学術・産業双方の分野から地震や津波の予測、都市の気象シミュレーション、地震の時の建物の挙動研究などが行われている。

よりよい素材や製品の開発により少ないコストで、よりエコな製品を開発する。素材の強度アップに役立つ方法を探って安全な製品づくりに役立てる。新技術の実用化で革新的な製品を生み出す。そうした素材研究・製品開発の分野でも「TSUBAME」は力を発揮しており、鋼材の強度向上、車の衝突回避、ホログラム技術などの研究が幅広い企業・研究機関によって実施されている。

医療や生命科学の発展のために研究の応用範囲をさらに広げ、社会をより快適、便利にしていくスパコン。
生命・医療分野では、スパコンの圧倒的な処理能力に大きな期待が寄せられている。実験などに桁外れの時間「TSUBAME」を使って行われた研究の事例とあわせて社会での活用シーンを見てみよう。とコストがかかる創薬や治療法開発でも、実験に入る前に莫大な可能性のなかから成功が見込めそうなものを洗い出せれば効率的な研究が可能になるからだ。「TSUBAME」でも学内はもちろん、国を代表する医療研究機関やメーカーが創薬や疾病解明の研究を行っている。

AI をより賢くするディープラーニングの研究に問題を解く方法を人間がこと細かに教え込まなくても、コンピュータが自分で解答方法を探す――。
そんな “より賢い AI” を実現する手段として話題を呼んでいるのがディープラーニング（深層学習）だ。トップ棋士を破った囲碁ソフト「アルファ碁」や e‐コマースサイトの推薦システムにも利用されており、東工大でも「TSUBAME」を使って音声・画像データ認識などへの応用研究が進められている。

東工大生は無料で活用・学外機関も利用可能
東工大の学術国際情報センター（GSIC）が運用・管理する「TSUBAME」 （学術国際情報センター 副センター長青木尊之教授）の利用権は東工大所属者すべてに与えられており、東工大生も 1 年生か
東工大ではスパコンの活用可能性を広ら無料で「TSUBAME」へアクセスできる。スパコンを使って多彩な研究く探るべく、多くのスパコン保有機関に挑戦する技術を学べる授業も提供されているため、東工大生は自分のパソコンを使って、学食や教室から無線 LAN を介して気軽に「TSUBAME」 に先駆けて、学外にも「TSUBAME」の利用を開放。「TSUBAME 共同利用」のを活用している。
制度などを通じて各種研究専門機関、「国内有数の並行計算能力を持つ「TSUBAME」は、誰も手がけてこなかっ他大学、民間企業などが研究開発に利た研究分野を、まったく新しいアプローチで切り開いていく武器になり用し、多くの発見につながっている。
ます。『なぜ』という疑問を持つ心を大切にしながら、ツールとしての「TSUBAME」の力を上手に活用し、新たな発見につなげていきましょう」

SuperCon

夏の電脳甲子園SupercomputingContest

スーパーコンピューティングコンテス
ト は、毎年夏に開催される高校生・高専生のためのプログラミングコンテストです。予選を通過した 20 組のチーム（1 チーム 2 〜 3 名）が大阪大学、東京工業大学の会場に分かれ、スーパーコンピュータを使ったプログラミングを行います。プログラムの正確さ・速度を審査委員会が評価し、コンテスト最終日に順位を発表・表彰します。
スーパーコンピューティングコンテスト
http://www.gsic.titech.ac.jp/supercon/

コンピューター名「TSUBAME」とは？：「Tokyo-tech Supercomputer andUBiquitously Accessible Mass-storageEnvironment」の頭文字を取ったもの
で、東工大のシンボルであるツバメを掛けています。

東京工業大学学術国際情報センター
URL：http://www.gsic.titech.ac.jp/