第 1 回海外留学報告書
釜堀 恵輔 ∗

2024 年 2 月
豊田理研奨学生の釜堀恵輔と申します。2023 年 3 月に東京大学理学部情報科学科を卒業し、6 月よりアメリカ・シアトルにある University of Washington (UW) の Paul G. Allen School of Computer Science and Engineering でPhD をやっています。専門はコンピュータサイエンスの中でもコンピュータシステムやアーキテクチャの分野で、ハードウェアの性能を最大限に発揮するソフトウェアや、ハードウェアとソフトウェアの境界でより良いコンピュータの設計を考えることに興味があります。特に最近は大規模言語モデルのためのシステムについて研究しています。
過去にはプロセッサ (CPU) のアーキテクチャや FPGA 上での領域特化アーキテクチャなどについて研究してきました。近年では CS の博士課程に進学する日本人も増えてきていますが、システムやアーキテクチャの分野で留学する人はまだまだ少ないのが現状だと思うので、同分野の方々の参考になればと思い、自分の留学の経緯について書いていこうと思います。

留学準備
留学を志したきっかけ. 大学院留学には学部の比較的早い時期から興味を持っていました。何か印象的な出来事があって進路を決めたというわけではなく、専門を CS に決めて将来のキャリアについて考えていく中で、アメリカで博士課程に進むのが一番楽しそうで、自分にとって最適な進路に思えたというのが最大の理由です。個人的に CS の面白いところは非常に専門的でともすると geeky な研究が世の中に多大な影響を及ぼしうる点だと思っていて、そのような研究の世界の中心に行きたかったというのがあります。また将来的に academia に残るにせよ industry に進むにせよ、博士号をとっておくことが人生においてプラスになると思い、海外 PhD 受験は自分にとって自然な選択肢でした。
出願時の実績.
東大の指導教官 (准教授)
推薦状

EPFL でインターン時の指導教官 (教授)
企業でアルバイトした際の上司
主著:- 国際会議 (not トップ会議) フルペーパー 1 本
論文実績- 国際会議 (トップ会議) ワークショップ発表 1 件
共著:- 国際会議 (トップ会議) ポスター発表 1 件、フルペーパー投稿中 1 本
TOEFL

103/120 (R28, L28, S23, W24)

GRE

V156, Q170, AW3.5

外部奨学金

豊田理研

GPA

専門 4.0/4.3, 全体 3.9/4.3

推薦状. 推薦状は応募書類の中で他者からの客観的な評価を知ることができる唯一の要素であり、個人的には一番重要だと思っています。一般に、単に有名な人に頼むよりも、自分のことをよく知ってくれている人に推薦状をお願∗ kamahori@uw.edu

1いするのがよいとされています*1 。自分の場合は、東大と EPFL の指導教官およびアルバイト先の企業の上司の 3 人にお願いしました。

1 人目は東大の指導教官で、学部 3 年の夏頃からお世話になっていました。自分の学科では卒論配属され研究が始まるのは学部 4 年の秋学期からなのですが、研究に興味があったので早いうちから研究を始められないかお願いした
ところ快く受け入れてくれ、学部 3 年の夏休みにインターンとして研究を始めることになりました。それ以降も卒論まで継続して研究をしていました。外に見える成果としては、学部 3 年の夏にやった CPU アーキテクチャに関する研究を翌年のワークショップ (work-in-progress の成果を発表する学生向けのもの) と別の国際会議のフルペーパーとして発表できました。

2 人目は EPFL の教授です。学部 4 年の夏に Summer@EPFL*2 というプログラムを通してスイス・ローザンヌのEPFL で 3 か月ほどインターンをした際にお世話になりました。インターンでは博士学生のプロジェクトを手伝うという形で FPGA 向けのハードウェアの実装を行っていました。教授は分野ではかなり有名な方でしたが、関わっていた期間はあまり長くないためどれほど効果的だったのかは分かりません (ちなみにこの教授は去年で退官されてしまったため、博士課程出願時の EPFL の志望度はそこまで高くありませんでした)。やっていたプロジェクトは論文(自分は 3rd author) になり国際会議に投稿しましたが、出願時には査読中という形でした。この手の研究インターン
プログラムは実績やコネクションを得られるだけでなく、自分が海外で研究をするのに向いているのかを知る良い機会になるので、海外大学院を考えている方には特におすすめです*3 。

3 人目はアルバイト先の企業の上司です。この会社では学部 3 年の夏頃からアルバイトをしており、コンピュータの高速化に関する自分の研究興味とかなり近い分野で実践的な経験を積むことができました。アカデミックな研究がメインというわけではありませんでしたが、関わっていたプロジェクトの一つの成果物を (共著ですが) 国際会議のポスターとして発表できたり、会社のセミナーで発表したりと外部から見える形での実績もあげることができました。
推薦状をお願いした上司の方は研究者ではありませんが、出願時点で 1 年以上の付き合いがあったことと、実力をそれなりに認めてくれていたことから推薦状をお願いしました。
研究実績. 出願の際には、東大・EPFL・アルバイトの 3 ヶ所での経験と実績を中心にアピールしていきました。自分の分野では機械学習などの応用分野と比べると論文を書くのは大変で、特に学部生が主著でトップ会議に通るケースはほどんどない (全くないわけではないですが) ので、論文実績があったのはアピールになったと思います。特に東大の研究では自分が主著の論文を発表できたため、決してすごい成果をあげたわけではないですが「自分がリードして研究のサイクルを回せる」ということを示せたのは良かったのかなと思います。

GPA. 学部での成績はなるべく高く維持するように努力しましたが、国によって GPA の基準は違う上そもそも東大は公式で GPA を出してくれないため、どう評価されたのかは不明です。個人的な意見としては、専門分野の授業で悪い成績を取らないことさえ注意すれば GPA の数字にこだわりすぎる必要はないのかなと思っています。たまに成績表をかなり詳しく見てくれる教授もいて、幅広い分野の授業を取っていることを褒められることもありました(必修の授業を取ってただけだったのですが...)。
エッセイ. Statement of Purpose (SoP) は XPLANE の SoP 執筆支援プログラム*4 や各大学の支援プログラム*5の協力を借りて執筆しました。SoP の重要度については色々な意見があるのですが、自分は CV や推薦状など他の書類でカバーできない情報をなるべく含めるようにしました。具体的には過去のプロジェクトについてどのような困難がありそれをどう乗り越えたか、将来的にどんなことがやりたいか、そのために自分の経験がどう役立つか、といったことについて書きました。
また、大学によっては SoP とは別に Diversity Statement や Personal Statement といった研究以外の経験についてのエッセイが必要なところもありました。求める内容としては自分の人生経験をもとに大学での多様性にどう貢献できるかといったことのようですが、個人的には CS PhD 出願においてはあまり重要度は高くないと思っていま*1 が、自分のことをよく知っていてかつ応募先の教授からよく知られている人に頼めればそれが一番です*2 https://summer.epfl.ch/*3 https://github.com/himahuja/Research-Internships-for-Undergraduates や https://twitter.com/cs_opp などがよくまとまっています*4 https://xplane.jp/sop-mentorship-program-about/*5 UW の PAMS など

2

す*6 。
奨学金. 学部 4 年の 5 月ごろに豊田理研の奨学金に応募し、7 月ごろに採択をいただきました。応募要件としては海外インターン経験と高校時代の学術オリンピック (数学・化学) の実績が認められました。他にもいくつかの奨学金への応募書類を用意していましたが、支援が最も手厚い豊田理研に採択されたため辞退しました。特に留学前から出願料・TOEFL/GRE 周りの費用・調査費用など、細々としているが (円安もあり) 決して無視できない出費をカバーしていただける点がありがたかったです。また、他の多くの奨学金が SoP の準備で忙しくなる秋頃に締め切りがあるのに対し、豊田理研では夏には結果がわかるというのも魅力の一つでした。出願先に事前コンタクトをする際に早い段階から奨学金についてアピールできたのもよかったです。

TOEFL/GRE. テストスコアは足切りに引っかからないことだけ注意すれば OK で、時間を使いすぎないことが大事だと思います。特に GRE は考慮しない大学も増えていて、自分は 3 校にしかスコアを提出しませんでした。
コネクション. 特に競争率の高い大学に行きたい場合は、志望先の教授と何かしらの形でコネクションがあるのが望ましいです。やはり教授の視点になってみると、書類上だけで知っている優秀そうな学生よりも、直接知っている(あるいは知り合いの知り合いである) 優秀な学生を取る方が「安全」な選択だからです。自分の周りには同分野で留学した知り合いがいなかったので、学会の学部生向けのワークショップ*7 やメンタリングプログラム*8 、スイスでのインターンの際の知り合いなどを駆使して出来る限り情報収集やコネクションを作るように努力しました。ただ、今考えるとこれらの情報収集は必ずしも十分でなかったと思います。競争率の高い大学に受かるための一番確実な方法
は、アメリカの有名大学でインターンをして実績・推薦状を得るとともに、誰がどの分野の学生を欲しがっているかの情報を得てアピールしていくことだと思います*9 。
事前コンタクト. 出願前の秋頃から志望先の教授にメールを送り始めました。内容としては「博士課程に応募したいが今年は学生を取る予定はあるか」と聞く形にし、ホームページなどで「メールは送るな」と書かれていない限り基本的に全志望教員に送りました。一般にコピペをして宛名だけを変えたようなメールは印象が良くないため、文面はなるべく変え、研究室の最近の論文について言及して自分がどう貢献できそうかということを出来る限りアピールするようにしました。
大学

学部

事前コンタクト面接

結果 (通知日)UWCornell

CSEECE

メール返信

1/4
1/16, 1/17

合格 (2/4)

1/17
1/19

合格 (2/4)

9/10 月にミーティ
ング 2 回
3 ヶ月インターンなし

合格 (2/2)

なし

合格 (1/24)

なし

なし

なし

なし

なし

2/3, 2/27

MS 合格 (3/13)
不合格 (3/2)
不合格 (4/8)

学会で話したなし

辞退 *10

メール返信

1/17, 3/29

不合格 (CS: 2/23,

10 月中旬にミーテ

合格 (2/2)

備考

Cornell Tech キャンパスィングYaleUW-Madison
UIC

CS
ECE
ECE

EPFL
ETH Zurich
UC Berkeley
UC San Diego
UC Riverside
CMUICCS
EECS
CSE
ECE
CS, ECE

Stanford
MITUIUC

CS
EECS
CS

メール返信
メール返信

なし

なし

メール返信なし

なし

1/18

合格 (2/8)

No guarantee of ﬁnancial support

IC School Fellowship
Direct Doctorate に出願

ECE: 5/2)
不合格 (2/10)
不合格 (3/9)
不合格 (3/13)*6 というのも、某大学のエッセイで大学名を間違えるという致命的なミスをしてしまったのですが、無事その大学からは合格をもらえたからです*7 https://sites.google.com/wisc.edu/uarch2022*8 https://www.comparchmentoring.org/pages/participate.html*9 例えば中国の大学からは UW などへ大量の学生がインターンで来ており、彼らの間で情報交換がされているようです。日本の大学から出願しようとすると往々にして個人戦になりがちで、カリキュラム的にも半年などの長期のインターンをするのは難しいのが悩ましいところです...
*10 より志望度の高い他の大学の合格が出た段階でまだ興味があるか聞かれたため

3

出願プログラム. 表に示した 14 校に出願しました。出願先を選ぶ際には、興味のある教授が複数名いるかどうかというのを基準に、国際会議の最近の論文や CSRankings*11 というサイトを参考に決めました。また、(研究内容はともかくとして) 研究室の雰囲気や教授の人格的な要素については出願前に情報収集しきれなかったので、比較的多めに出願して後々の選択の余地を残すようにしました。実際に面接をして合わないと感じたり合格した後に良くない噂を聞くこともあったので、これは有効な戦略だったと思っています。自分の専門分野は CS と ECE の境界だったので、大学によって分野の教授の所属に応じて応募学部を決めました。
「事前コンタクト」列には最低限メールの返信をもらえたかどうかを書いています。
面接. 半分以上の大学で事前コンタクトか出願後のタイミングで何かしらの面接をしました。内容は基本的に 30分程度でカジュアルに研究について話す感じで、自分の研究について軽くまとめたスライドと相手の研究についての質問をいくつか用意して臨みました。Coding interview のようなフォーマルな面接はありませんでしたが、たまに変わった質問をされることもありました (「学部で取った授業で一番嫌いだったのはどれか」「故人を含め誰とでも 30分話せるとしたら誰と会いたいか」など)。こういった質問は準備できるものでもないので、緊張しすぎずリラックスして臨むのが大事だと思います。基本なスケジュールとしては 1 月中に有望そうな学生と面接し、2 月頭から結果を出していく感じでした。一部の大学では遅い時期に (しかも SoP に書いていない教授から) 面接の連絡が来ることもありました。
進学先決定. 合格をもらった後に研究室の学生を紹介してもらって話をしたり、3 月には Visit Day に参加して進学先を決めました。Visit Day では Yale、Cornell (NYC と Ithaca 両方)、UW、EPFL を訪問しました。Visit Day
は面接とは逆に学生側が大学を選ぶ場なので楽しく参加できました。志望教員のみならず色々な教授や博士学生、他の prospective student たちと会うことができ、進学先を決める上では非常に重要だと思います。特に学科・研究室の雰囲気や今後の研究方針などについて知れる貴重な機会です。結局、進学先は UW に決めました。1 番の理由は指導教官とのマッチングで、研究の興味が合致してかつ人格的な面でも心配がなく、若手で勢いのある人だったからです。
実績の面でも、その人を含めシステム・アーキテクチャの分野やその隣接分野の強い人がたくさんおり、インパクトのある研究ができそうだったというのも大きな理由です。またシアトルという立地も、Microsoft や Amazon の本社や Google のシステム研究グループ*12 があり、この分野の研究をしていくのに最適だと思いました。Allen School やその中の研究グループはコミュニティとしても魅力的で、collaborative な雰囲気でイベントなどもたくさんあるというのもプラスになりました。

留学開始後4 月に進学先を決定してから、ビザや予防接種などの準備を進め、6 月から PhD を開始しました。本来は 9 月入学ですが、東大卒業から半年もギャップタームを取るのは時間の無駄だと思い早めてもらいました。指導教官は今年度から UW に移ってきたばかりで、夏学期の間は実質自分が唯一の学生だったのでやや孤独でした (とはいえ他のグループの人たちとの交流はありました) が、反面手厚く指導を受けれて早いうちから成果を上げられたのは良かったと思います。指導教官は今年度だけで自分含め 8 人も (!) PhD 学生を取れたため、秋以降は賑やかになりました。同分野の別グループとの共同研究や交流も非常に活発で*13 、今は週 3 でグループランチがあり楽しく日々を過ごしています。特に同じシステム分野の中でもみんな異なる興味があり、毎日学びが多いです。
研究. PhD 開始当初はデータセンタ向けの CPU における prefetching に関する研究をしていました。個人的にかなり面白い発見もありつつ割といい成果をあげられ、他大学や某企業との共同研究として 11 月に国際会議に投稿しました。が、投稿後にその企業内での (おそらく多分に政治的な) 問題に巻き込まれ、論文を withdraw することになってしまいました。指導教官も親身になって動いてくれていますが、いまだに論文は出せないままでいます。正直
意味不明で悔しいですが、どうにかなるべく早く発表できるように頑張っています。それ以降はやや分野を変え、大規模言語モデルのためのシステム・アーキテクチャに関して研究をしています。今はまだ色々なアイデアを試しつつ*11 https://csrankings.org/. ランキングを見るというよりも、自分が興味ある分野の教授を一覧するのに有用。ただし新任の教授などは載っていないことがあるので注意*12 https://techsysinfra.google/research/*13 機械学習システムの SAMPL やシステムの Syslab など

4具体的な方向性を模索している段階ですが、少しずつ成果も上がり始めています。言語モデルは進歩が早く競争が激しい分野ではありますが、うまくいけば世界に与えられるインパクトも大きく、またそれをできる環境も揃っていると思うので、これからも頑張っていきたいです。
授業. 秋学期は CSE 550 Systems for All を取りました。これは指導教官が教えている授業で、毎回コンピュータシステムの様々な分野の代表的な論文を読んで議論していくという内容で、PhD 最初の授業として最適でした。とても chill な感じで、最終プロジェクトもメインでやっていたプロジェクトをそのまま使えたので研究に集中できて良かったです。冬学期は CSE 551 Operating Systems を取っています。こちらは OS の構成に関する古今の論文を読んでいく授業で、自分の研究とは少し離れていますが、今までちゃんと学ぶ機会がなかったトピックなので楽しく勉強しています。こちらも非常に chill な雰囲気で、最終プロジェクトでは Rust で OS を書いています。それ以外にもトピック (System for ML) を決めて論文を読んでいくセミナーや学外の有名な人を呼んでくる DistinguishedLecture などもあり、色々な分野について触れる良い機会になっています。こういった授業は楽しいのですが、PhDの本分は研究なので時間を使いすぎないようには注意したいと思っています。
終わりに. 総じて楽しく留学生活を過ごしています。PhD は腰を据えて興味を追求し、自分の成長に投資できる貴重な時間だと思っています。このような機会を得ることができた環境に感謝しつつ、これからも研究を続けていきたいです。また、留学に際して様々な面から手厚いサポートをしてくださっている豊田理研の皆さまに深く御礼申し上げます。最後にキャンパスの綺麗な写真を貼っておきます:5