船井情報科学振興財団 第三回留学報告書
最初の一年を終えて大谷直樹

2018 年 6 月

2017 年秋よりカーネギーメロン大学 (Carnegie Mellon University; CMU) の言語技術研究所(Language Technologies Institute; LTI) 修士課程に在学中の大谷直樹です。春学期の学校生活は前学
1期よりもハードでした。生活面では 2 月に妻が渡米し、ピッツバーグで二人暮らしをはじめました。

CMU/LTI のこの頃

1

馬渕さんの報告書2 にも書かれている通り、アメリカのアカデミアの就活では候補者が大学を訪問して講演をするのが通例になっています。CMU の Computer Science は 1 月から 4 月にかけて毎週どこかしらの Department で行われているという状態でした。言語処理系のトップカンファレンスでよく名前を見かける勢いある PhD 学生・ポスドクが LTI に来て、私は 2 つの講演を聴講しました。研
究業績と研究プランが凝縮された発表は聞いていて非常にエキサイティングでした。また特徴的だったのが質疑応答です。一般の学会発表とは異なり、研究分野の本質的な課題や長期的な見通しを問う
鋭利なマサカリ、いや、トマホーク (ミサイル) を撃ち込まれている感じで少し恐ろしかったです。私自身はアメリカのアカデミアに残るかどうかはわかりませんが、数年後にはこのような質問にきちんと答えられるようになりたいと思いました。
4 月には CMU の Spring Carnival がありました。学期中の 3 日間、どこからともなくキャンパスに運ばれてきた遊園地の乗り物や学生の小屋でみんな一緒に遊ぶという行事です。何やら由緒のある背景があるそうですが、いつも講義を受けている建物の横にメリーゴーランドや空中ブランコが現れたりする光景はただ不思議でしかありません。写真はキャンパスの草地に現れた観覧車です。ボールを的に当てると偉いおじさんがバケツの中の水に落ちるという “Dunk-a-Dean” というミニゲームもありました。※学校でこんなことをするのは、周辺に遊べる場所が無さすぎるわけではありません。

(a) 突如 CMU に現れた観覧車。高さは 10 メートルくらい。座席が風でかなり揺れる。
12(b) 観覧車の上からキャンパスを眺める。景色よりも座席を固定している金具の錆び具合が気になる。

中国人の妻の F2 ビザの取得は結構煩雑でした。それはまたの機会に?
http://www.funaifoundation.jp/scholarship/201805mabuchiyuta.pdf

1(c) 今まさにバケツの中に沈められようとしているおじさん。ちなみにピッツバーグは 4 月でも結構寒い。

6 月には奨学生の荒木さんの defense (博士論文公聴会) がありました。いろいろと相談に乗ってくれた荒木さんが LTI を去ってしまうのは寂しいですが、今後国際会議などで再会できるのを楽しみにしています。

2講義

今学期も前学期に引き続き 3 つの講義を履修しました。自分の研究と並行して 2 つのコースプロジェクトを進めるのがかなり大変でした。

Neural Networks for NLP Neural network は機械学習のひとつの手法で、近年急速に有効性が認められています。いわゆるディープラーニングは neural network のうち複雑なモデル使った方法を指します。この講義は特に NLP (natural language processing) の様々な問題で使われる手法を概観するもので、非常に参考になりました。コースプロジェクトがかなり本格的でした。3 人のチームで最先端の精度を超える手法の開発に挑みました。また、奨学生の林くんがTA を担当していたので、彼がちゃんと働いているか監視するなどしました。
Computational Semantics その名の通り言葉の意味を解明するための計算モデルを扱う講義です。
もともと私は言語が作り出す無限の意味の広がりに惹かれて NLP の研究を志したので、この講義はまさに興味のど真ん中でした。一方で学べば学ぶほど問題の難しさがより明らかになってくるようで、ちょっと途方にくれてしまう気持ちも感じました。こちらもコースプロジェクトがありました。やはり実践してみて初めて気づくようなことも多く、良い経験になりました。
LTI Colloquium 前学期と同じく、毎週一人のゲストが招かれる招待講演です。
今学期のコースプロジェクトでは、不運にもチームメンバーと噛み合わないことが多くて苦労しました。なぜかみんな対面で議論することが大好きで、そのくせ事前の準備という概念があまりなくて、具体的な分析結果も無しにただ 1 時間くらいあれこれ喋るだけのミーティングが週に何回もありました。これにはかなりうんざりさせられました。いろいろな方の留学体験記にしばしば口は達者だけど手は動かさない (動かせない) 人が登場しますが、私もとうとう遭遇してしまいました...。

3

研究前学期に引き続いて、リソースの少ないマイナー言語に対する情報処理技術を研究するプロジェクトに取り組んでいます。春学期にはプロジェクトの年次評価に参加する機会を得ました。プロジェクトの資金を出す DARPA の調査官と関連機関のスタッフが CMU を訪れ、午後いっぱいプロジェクトの成果報告を聞きました。ここで出来が悪いと予算カットされ、学生を雇えなくなる、というかなり重要なイベントです (という重要性に直前まで気づかず、新入りの学生一同講義の忙しさにかまけて準備に手を抜いていたらお叱りを受けました)。参加してみて驚いたのが、調査官たちがきちんと現役の研究者並みの知識を持っていて (もちろん Ph.D. 持ち)、鋭い質問をたくさん投げかけてきたことです。アメリカ政府関連機関の人材の厚さは並大抵じゃないな、と思いました。
今学期は自然言語処理の論文投稿シーズン3 だったこともあり、いくつか論文を投稿しました。今回アメリカに来る前に京都大学で行った研究と、前述のプロジェクトに関する研究が査読に通り、8月に Santa Fe で行われる国際会議で発表することになりました。
また、大きな出来事として、学期末に指導教員を変えることにしました。一番の理由は興味の相違です。半年後に Ph.D. の出願を控える時期に指導教員を変えるのはリスクがありましたが、やはり私が心から興味のある事柄に関心を持っている先生と働きたいと思い、変更を決意しました。通常、3他の計算科学分野と同様、自然言語処理では査読付きの国際会議で発表する論文が最重要視されます。自然言語処理系会議の論文締め切りは例年 12 月から 5 月に集中します。

2

指導教員を変更する場合は Funding が問題になるのですが、私は奨学金をいただいているため比較的にスムーズに事を進めることができました。いまは新しい指導教員と一緒に議論を始め、来年の論文投稿シーズンまでに成果が出せるように研究に取り組んでいるところです。

アメリカのクラフトビール

4

最後に例によってアメリカの生活について少しだけ紹介します。前回の報告書では自動車免許をほぼ一か月で取得した話を書きましたが、車を持っていないので運転する機会がめっきり減ってしまい、覚えたときの 3 倍のスピードで運転技術を忘れました。今では免許証はお酒を買うときに年齢証明に使うだけの代物になっています。ということで今回はアメリカのクラフトビールについて紹介します。
日本でビールと言うと片手で数えるくらいのメーカーしか頭に浮かばない人が多いと思いますが、こちらではペンシルベニア州だけで 300 を越えるビールメーカーがあります。4 当然一つのメーカーが何種類ものビールを作るので、店には無数のビールが売られています。あまりに多すぎて何を飲めばいいのかわからなくなってしまうほどです。そこで、Untapped という自分が飲んだビールを記録できる素晴らしいスマートフォンアプリがあります。記録にもとづいて好みに合いそうなビールを推薦してくれる機能があるほか、「7 日連続でビールを飲む」「一日に 5 種類以上のビールを飲む」などの (だいたい不健康的な) ゴールがいくつも設定されていてビール生活を盛り上げてくれます。また、友達がビールを飲むと通知が来るという謎機能があり、私のビール生活は友人 (前回の報告書に登場した自動車教官) に筒抜けになっているようです。
一旦記録を始めるとどうも探求熱が出てきてしまい、数人の友人としばしば新しいビールを飲みに行っています。Brewery では上の写真のような beer flight と呼ばれる小さいグラスのセットが提供されていて記録が捗ります。実はピッツバーグはクラフトビールづくりが盛んな街で、多数のイベントが開かれています。なかでも 2 月にのビールフェスタは忘れられません。テイスティング用の、といっても結構大きいコップを渡されて、会場いっぱいに並べられた全米各地のクラフトビールを好きなだけ飲めるというただの天国です。実はこのときコースプロジェクトの中間レポートの締切 ×2 と研究プロジェクトの忙しい時期が被っていたのですが、そこでリフレッシュしたおかげで乗り切ることができました。

おわりに5

今学期は、前回の報告書で目標としていた論文になるような成果を上げることができました。一方でコースプロジェクトと研究プロジェクトの仕事量、指導教員とのすれ違いに苦しめられた一学期でした。結局指導教員を変える決断をしましたが、これがいい方向に転がるように、今後も頑張りたいと思います。次の学期が終わる頃には Ph.D. の申請が待っています。それまでに今の指導教員と一緒に少なくとも一本は研究成果を論文にまとめたいです。

4https://en.wikipedia.org/wiki/List_of_breweries_in_Pennsylvania

3