船井情報科学振興財団 第 3 回留学報告書
車は便利
長谷川公大

kimihiro@andrew.cmu.edu
2023 年 7 月
米国カーネギーメロン大学計算機科学大学院言語技術研究所*1 の博士課程に在籍しています、長谷川公大です。自然言語処理という分野の研究に取り組んでいます。船井情報科学振興財団の FOS 奨学生第 3 回留学報告書として、前回の報告書以降の研究・学業及び私生活等の振り返りを書きたいと思います。

秋学期（後半）
昨年の秋学期は後半にかけて、研究を進めるにあたっての段取り・心構えの面で未熟さを感じることになりました。文書における出来事間の時間的前後関係を推測するタスク (付録 A 参照) における手法の改善を目指していたのですが、昨年の夏学期から取り組んでいた方針ではどうも筋が悪いことが段々と見えてきて、このまま続けても上手くいきそうにないとの結論に達し、大きく方向転換することになりました。正直なところ、筋があまり良くなさそうだという予感はそれ以前から薄々自分の中で持っていた気がするのですが、実際に方向転換するまでに時間がかかってしまいました。後から振り返るとその原因はいくつかあるように思われます。具体的には、１）方針を定めた当初はその方針が良さげなものかどうかに関して意識を向けていたが、実験を進めていく中で徐々に細かい部分に意識を取られて、本来実験をしながら定期的に振り返るべき大枠の方針の評価を怠ってしまったこと。２）そもそもの方針が上手くいきそうかどうかに関する手応えがそれほど確かではない段階で、実験結果に基づく手応えを得てから取り組めば良いような付属的な実験の事前準備に時間を多く割いてしまったこと。そして、３）途中まで進めたために後に引くのが躊躇われたこと、辺りが主要な理由かなと思われます。まずは大枠の方針の核となる部分の実験に集中・素早く実行し、手応えを掴んだ場合はより規模を大きくしたり丁寧に実験を、思うような結果が出ない場合はそもそもの方針に立ちかえる、ということをすべきであったなと感じました。一方、思い付いた方針全てに関して簡易的とは言え実験をしてみるのはなかなか体力が必要だと思うので、今回のような経験をもとに、方針の良さに対する嗅覚のようなものも少しづつ身につけられたらいいなと願っています*2 。

*1 Carnegie Mellon University, School of Computer Science, Language Technologies Institute の訳です。 CMU, SCS, LTIと省略されます。
*2 そのような嗅覚というのがそもそも存在するのかどうか確かではありません1

春学期
春学期は秋学期に取り組んでいたタスクではありながら研究の方針を見直し軌道を修正、核となる実験を経て、より規模を大きくしたり丁寧な対照実験を行いました。計算機（GPU）を長く使う必要があり、実験を締め切りまでに終わらせるためにいかに自分が作業をできない間（寝ている間など）に時間のかかる作業を計算機にさせるかを気にしながら研究を行っていました。新規性甚だしいアイデアを提案しその有効性を示した、というストーリーの論文というよりかは、既存の手法にある潜在能力を引き出すことでより良い精度を達成したというようなストーリーで論文をまとめたのですが、どこまでが既存のアイデアでどこからが自分達の提案なのかをはっきりさせながら、どの改善点がより効いていたのかということを明らかにするのには注意が必要でした。

3 月半ばに論文を仕上げて投稿したのち、次の研究プロジェクトへの事前準備として、ChatGPT に代表される Large Language Models（LLMs、大規模言語モデル）の研究の一般的な動向及び、自分の取り組んでいる出来事情報の文書からの抽出に LLMs を適用した研究のサーベイを行いました。毎週のように新しい LLMが発表されるなか、それらがどれくらい既存のタスクでうまくいくのかを調査した論文を探して読むことを行いました。言語モデルの発表から数週間・数ヶ月あたりで論文にまとめて公開されているのを目の当たりにし、自然言語処理コミュニティの研究スピードの速さに驚き圧倒されながらも、arXiv という論文公開プラットフォームから主に探していたのですが、玉石混合だなという印象も受けました。

夏学期（前半）
夏学期に入った頃、投稿していた論文の査読結果（Reject）が返ってきました。コミュニティが大きくなるとともに査読の質が問題になってきているようなのですが、今回の査読者は丁寧なコメントが多く、ありがた
いなと感じました。ただ論文に書いた部分全てを理解してもらえたわけではなく、だからこそ自分の文章面での研究の見せ方、ストーリーの立て方に問題があることもわかったので、指摘のあった部分の追加の実験を行い、文章を推敲して、再度投稿することを目指しています。
査読結果が返ってくる少し前、タイミングが良いのか悪いのか、以前から取り組んでいたプロジェクトの中で、人員が不足する事態が生じ、何人かで穴埋めをすることになり、私もその 1 人に選ばれることとなりました。もう少し具体的にいうと、もともとそのプロジェクトにおいては、一連のシステムの中のある一部分を担当するチームの一員だったのですが、それに加えて、その個々の部分を統合する任務も兼任することになった形です。システムの一部を担当していたときは自分のチーム担当部分を他のメンバーと協力して期日までに自分達のペースでこなし、それに加えて多少統合する人たちとコミュニケーションをとるだけで良かったのですが、統合側も兼任することになった結果、複数のチームのメンバーと抽象的な理解のみで中身の詳しい内容がわからない状態でコミュニケーションを密にとる必要が生じ、今まで個人及びグループで研究を行ってきたときに必要となった技術とはまた少し異なる技術が必要になりました。特に、何か問題が生じたときに問題の原因と思われるチームに調査の依頼をする必要が幾度となく現れたのですが、マネジメント的な立場に慣れていなかったのもあり気苦労がたまりました。普段個人主体で、もしくは小さめのグループで研究を行うときは、何か問題が起きたときはある程度の範囲であれば自分でやってしまうということができました。しかし今回のように他チームの内容となると、実装の詳細までは把握していないのと、あれもこれも自分でやってしまうとすぐに自分の許容量を超えてしまうことが予見され、また、そもそも問題が起きた部分のチームのメンバーが2

その部分の修正を行う責任があるとも考えられます。そう考えると、問題が起きたときはあまり気にせず修正の依頼をすればいいのですが、どうやら自分には不得手な技術なようです。ただ、いままであまり経験することのなかった、色々なサブチームのメンバーとコミュニケーションを取ってその進捗も管理し一つのことを一緒に作り上げる経験を得られたのは貴重であったのではと考えています。
プロジェクトの任務がひと段落してからは自分の研究にもどり、先々学期の教訓を生かしながら LLM の評価の研究も新しく進めています。次々と新しい言語モデルが発表されることに始まりコミュニティにおける研究のスピードが上がっているのもあってか、指導教員からは “古くなりにくい研究を心がけよう” と言われています。
先ほど投稿した論文が通らなかったことはお伝えしたのですが、投稿先の Workshop の開かれる学会である ACL2023 には参加することにしました。有難いことに学科が、コロナ禍の最中は対面で学会に参加することができなかったから、自分が発表する学会でなくても学会に参加したい学生へは今年度一回限りではあるが金銭的な支援をするという方針を打ち出してくれたためです。開催地がカナダのトロントとピッツバーグから近いことも参加を決断した理由の一つです。環境と地の利に感謝しながら、対面でなるべく色々な方との交流ができたらと考えています。次回の報告書には学会参加の感想をご報告できたらと思います。

余暇・趣味
昨年の M1 グランプリ終了ぐらいから一旦漫才熱が収まったようて漫才・Stand-Up Comedy を観ることが少なくなり、また体育館が混んでいて使いづらいためバスケットボールをしに行く機会も減ってしまいました。その代わりドライブなりお出かけをする時間が増えたかなと思います。4 月に免許を、5 月に車を手に入れて、まず買い物が格段に楽になりました。元来の出不精も相まって、大学と家と近所のスーパーマーケットを行たり来たりするような生活を送りがちだったのが、公共交通機関を乗り継いでいかなくてはいけない、もう少し買い物をしていて楽しいようなスーパーマーケットにも行けるようになり、QOL が上がったように感じています。日本で多少は運転をしていたものの自分で車を所有して運転をするほどの頻度ではなかったため戸惑いながらではありますが、車のある生活を享受し始めています。また、ペンシルバニア州の運転免許の筆記試験やアメリカの車検システム、車両保険等の勉強は、研究の合間の気晴らしになっていたように思います。

その他
今夏は船井財団の夏の交流会が開催されることになったとのことで、既に面識のある同期はもちろん他の年度の奨学生の皆さんとお会いするのを楽しみにしております。交流会のようなイベントを開催してくださること、そして普段研究生活に打ち込めるための金銭的なご支援をしてくださっている財団には大変感謝しております。秋学期の半ばの論文投稿に向けて、体調に気を付けながら精進していきたいと思います。
最後になりますが、FOS2017 の大谷さん、PhD 取得・ご卒業、改めておめでとうございます。CMU に来るきっかけから始まり学業・私生活ともに大変お世話になりました。今後のご活躍をお祈り申し上げます。

付録 A

研究内容の補足“文書における出来事間の時間的前後関係を推測するタスク” に関しての簡単な補足説明です。例えば、“John read a novel that he bought yesterday.” のような文/文書があったとします。出来事（event）とは、

3

何か起きたこと・行動などのことで、この例では “read” や “bought” のことを指します。これらの出来事のうち、どちらが時間軸上で先に起きどちらが後から起こったのかを推測するのがこの時間的前後関係を推測するタスクになり、今回の例では、“bought” の後に “read” を行ったと推測すると正解になります。
上記の例のような簡単なものであれば、例えば ChatGPT を使えば確実に解けるのですが、より長く複雑になるにつれ機械で解くのが難しくなることが分かっています。ちなみにこのタスクは、そのものが最終的な目的というよりかは、文書を解析する上での中間表現を得る手段としてや推論システムの能力を測る上でのテストとして用いられることが多いです。

(a) FOS2017 大谷さんの Thesis De- (b) パイレーツのナイトゲーム。ダル (c) Moraine State park。湖なのですがfense お疲れさま会でのピスタチオケー ビッシュ有選手が登板予定とのことだっ 小さいビーチもあり、6 月でまだ水が冷キ。デコレーション by. FOS2021 荒川 たのですが、体調不良で直前の登板回 たいにもかかわらず大変賑わっていましさん。FOS2019 ファムさんも参加した 避。残念。ただパイレーツがホームラン た。車で 1 時間弱。
りして CMU の FOS 奨学生が勢揃いで を何本も打って勝ったので、満足です。
した。

4