留学報告書
2019 年 6 ⽉
胡 緯華 (Hu, Weihua)
2018 年９⽉から Stanford ⼤学の Computer Science (CS)学科の博⼠課程に在籍している胡緯華と申します．2019 年 6 ⽉現在は，夏休みということもあり，東京に帰って，旧友と会いつつ，⽇本⾷を楽しむ⽇々を過ごしています．以下，ここ半年のご報告をさせていただきます．

１． ローテーションプログラムと指導教員の決定
Stanford CS の Ph.D.プログラムでは，⼊学の段階では指導教員は決まっていません．その代わり，最初の 1 年は，ローテーションプログラムといって，３⼈の教授と３ヶ⽉ずつ研究をして，最終的に相互の同意を経て，指導教員が決まります．僕は，Jure Leskovec, Percy Liang, Stefano Ermon の 3 ⼈の教授とローテートして，最終的に，Jure を指導教員として決めました．主な理由としては，１）グラフ機械学習に興味があったため Jure の研究室が最もマッチしていたこと，
２）グラフ機械学習が⽐較的新しい分野であるため，Ph.D.中に⼤きな仕事ができそうだと思ったこと，そして，３）単純に Jure とのローテーションが最も楽しかったことが挙げられます．そもそも，最初の Jure とのローテーションで，グラフの機械学習の魅⼒に取り憑かれてしまっていて，Percy と Stefano とも，グラフの研究していたので，Jure を指導教員にすることは，ほぼ最初の時点で決まっていたのかもしれません．

２． グラフ機械学習とは？
僕の Ph.D.の研究の⼤きな軸となるのが，「グラフ機械学習」ですが，１）そもそもなんなのか，２）なぜ重要なのか，そして，３）何が⾯⽩いのかについて簡単に説明したいこと思います．
１） なんなのか？
グラフとは，右の図のように，接点の集合が辺で繋がっているデータ構造です．グラフ機械学習では，グラフデータ上の予測問題（例えば，グラフ全体に付与されたラベルを予測する）を解きます．

1

２）

なぜ重要なのか？

グラフは，そのシンプルさと抽象さゆえに，現実の多くの現象を記述できるパワフルなツールです．以下に，我々の⾝の回りにあるグラフデータの例を並べました．

化合物

SNS

知識グラフ

引⽤グラフ

化合物：接点は，原⼦を表し，辺は，化学結合を表します．
SNS：接点は，ユーザーを表し，辺は，ユーザー間のインタラクション(友⼈関係など)を表します．
知識グラフ：知識グラフは，我々の世の中の知識・常識をグラフという形で表現したものです．接点は，世の中にある entity を表し，辺は，実体同⼠の関係を表します．例えば，Stanford, California は，entity の例で，Stanford に対応する点から California に対応する点には，「所在する」という意味の有向辺がひかれます．
引⽤グラフ：点は，論⽂を表し，辺は，引⽤・被引⽤関係を表します．

Why
WhyisisititHard?
Hard?

上の例のように，世の中の多くの現象は，グラフによって記述することができます．良いグラフ機械学習アルゴリズムを開発することができれば，多くの応⽤分野にインパクトを与えることができます．具体的には，例えば，化合物グラフがBut
Butnetworksnetworksare
arefarfarmoremorecomplex!
complex!

与えられたときに，化合物の特性（例えば，毒性など）を予測できたり，SNS グ
ラフが与えられたときに，新しい友⼈関係を予測できたりします．

§ §Arbitrary
Arbitrarysize
sizeandandcomplex
complextopological
topologicalstructure
structure(i.e.,(i.e.,nonospatial
spatiallocality
localitylikelikegrids)
grids)
３） なぜ⾯⽩いのか？（何が難しいのか？）

vs.
vs.
Text
Text
系列データ
Networks
Networks
グラフ(⾮規則的)

ImagesImages
画像データ§ §No
Nofixedfixednodenodeorderingorderingororreference
referencepoint
point
グラフは，⼀⾒⾮常にシンプルなデータ構造をしておりますが，実は，機械学習§ §Often
Oftendynamic
dynamicand
andhavehavemultimodalmultimodalfeaturesfeatures
JureLeskovec,
Stanford
UniversityLeskovec,
Stanford
University
JureJure
Leskovec,
Stanford
University

266

6のパイプラインにのせるのは容易ではありません．実際，これまでに開発された多くの深層学習アルゴリズム（Convolutional Neural Networks, Recurrent NeuralNetworks, Multi-layer Perceptron など）は，グラフデータに直接適⽤することができません．最⼤の難点は，グラフデータが，⾮規則的であることです．例えば，画像データと違い，グラフの各接点は異なる数の接点と繋がっており，さらに，異なるグラフは，異なる数の接点があります．また，⾃然⾔語などの系列データとは異なり，グラフデータには，接点の順番が定義されていません．従って，グラフの構造を効率よく利⽤できるような，全く新しい機械学習のツールの開発が必要になります．
グラフ機械学習，特に深層学習の分野で，最近注⽬を集めているのが Graph
Neural Networks です． Graph Neural Networks は，⾮規則的なグラフデータを効率的に処理し，良いパターンを抽出できる深層学習のフレームワークとして期待されており，僕の Ph.D.の研究の⼤きな軸となるものです．

３． ICLR での研究発表
2019 年 の 5 ⽉ 6 ⽇ か ら 9 ⽇ ま で International Conference on Learning
Representation (ICLR)という深層学習の国際会議で以下の論⽂の発表を⾏いました．
K. Xu*, W. Hu*, J. Leskovec, S. Jegelka. “How Powerful are Graph Neural Networks?
Link: https://openreview.net/forum?id=ryGs6iA5Km
この論⽂では，これまで提案されてきた多くの Graph Neural Networks を「表現⼒」という新しい視点から理論的に分析するというものです．これまでのGraph Neural Networks の研究では，様々な⼿法がアドホックに提案されてきたため，混沌としていましたが，我々は，世界で初めて，理論的な理解とフレームワークを提案することができました．この論⽂をきっかけに，Graph
Neural Networks のコミュニティ全体の意識が変わったようで，最近では，たくさんの理論論⽂や体系的な論⽂を⾒かけるようになりました．⾮常に良い流れだと思います．
深層学習が注⽬を集めていることもあり，今年は 4000 ⼈ほどの参加者がいました．我々の論⽂は，⼝頭発表枠として採択されることができたので，全員の前でプレゼンをする機会をいただきました．何千⼈を前にプレゼンすることは3初めてだったので，かなり緊張しましたが，共著者の Keyulu 君や指導教員のおかげでなんとかうまくいったと思います．前⽇の夜 10 時に，先⽣から⼤量のコメントをもらって，当⽇の朝 4 時まで Keyulu 君とスライドの直しをしたのは今となっては良い思い出です．

ポスター発表

⼝頭発表

機械学習のコミュニティは，これからどんどん拡⼤していくと思います．国際会
議で 1000 本の論⽂発表が同時に発表されるような時代に Ph.D.学⽣をする僕にとっては，⼤衆に埋もれないように良い研究をすることが最も⼤事になると思います．実際，国際会議の会場で，Jure が「1 年に 1 本の great paper があれば⼗分だ．焦る必要はない．」と⾔ってくれました．

４． 化学応⽤のためのグラフ機械学習
グラフ機械学習の重要な応⽤分野として，化学があります．化合物の構造式は，グラフによって表すことができるので，グラフ機械学習のまさに適切な応⽤先であると⾔えます．また，機械学習によって，化学実験の結果を⾼精度に予測することができれば，創薬の著しい促進につながります．
僕は，ICLR の研究の応⽤先として，今年の１⽉から，Stanford の化学学科と共同研究を始めました．僕⾃⾝は，化学の知識がほぼ全くなかったので，完全に⼿探りのスタートでしたが，インパクトのある仕事をしているという確信があったため，⾮常に exiting でもありました．主なコラボレーターである Bowen 君は，Jure と化学の教授に co-advise されていたこともあり，共同研究は順調に進んでいます．主に，Graph Neural Networks の事前学習という⼿法に取り組んで4おり，化学への深層学習応⽤の際のいくつかの根本的な問題を解決できるのでないかと期待しています．これまでの研究成果は，国際会議に投稿中で，以下にpre-print という形で公開しています．
W. Hu*, B. Liu*, J. Gomes, M. Zitnik, P. Liang, V. Pande, J. Leskovec. “Pre-training
Graph Neural Networks.” https://arxiv.org/abs/1905.12265
良い成果が出始めているので，⼿法をさらに改善つつ，製薬会社と実際にコラボレーションを始められれば良いと思っています．

５． アメリカでの⾷⽣活
正直，アメリカの⾷べ物のクオリティは，コストとクオリティの両⾯において，⽇本と⽐べ物にならないほど劣っています．海外に留学していた友⼈が⽇本に帰ってきたときに，豪快に⽇本⾷を⾷べていたことが，今になって理解できます．アメリカでの外⾷は，あまりにも⾼すぎるので，普段は⾃炊をしています．
カレー，チャーシュー，しゃぶしゃぶ，すた丼などを作っていて，料理の腕はだいぶ上がったように思います．ただ，同じく Stanford のいた野⽥シェフに⽐べればまだまだですが... 現在，ポスト野⽥さんを⽬指して修⾏中です... 時々友⼈を家に招いてホームパーティーをしていて，これはこれで居酒屋にない楽しさがあって良いです．

カレーチャーシュー

６． おわりに留学の 1 年⽬は，充実して過ごせたと思います．船井財団には，いつもサポートしていただき，本当に感謝しております．次の 1 年も，より実りのあるものとなるように頑張っていきたいです．

5