第一回報告書：留学に至るまでの経緯と学部での研究
清原 明加（Haruka Kiyohara） / Cornell University, Computer Science

初めまして。清原明加（きよはら・はるか）と申します。今年 3 月に東京工業大学経営工学系（学士）を卒業し、8 月からコーネル大学コンピュータサイエンス学科の Ph.D. 課程に進学します。今回は、私が広く研究に興味を持ち始めた経緯や留学先決定の過程、学部在籍中に取り組んだ研究をご紹介します。

1. 意思決定の研究への興味と留学に至る経緯
高校 2 年次くらいからぼんやりと「文化祭でどんな順番で展示を置いたらお客さんを喜ばせられるか？」「山奥に新たにコンビニを開店するとしたら、どこに開店した場合最も集客が見込めるか？」といった身近な意思決定の最適化に興味があり、大学では経営工学を専攻しました。今は情報検索や音楽配信など身近な意思決定に関わるシステムを、人々の行動データなどを利用しつつ最適化したり、意思決定システムで活用される方策の良し悪しを評価したりする研究に、意思決定と最適化と機械学習との融合的な視点から取り組んでいます。（私の研究興味について詳細に知りたい方は、ホームページ（https://sites.google.com/view/harukakiyohara/ja）をご覧ください。）
さて、上記のような自己紹介をするとあたかもずっと昔から研究に興味があったように見えますが、私が研究に興味を持ち始めたのは大学入学後であり、私が Ph.D. 留学を本格的に考え始めたのは学部 3年生の秋でした（これは学部から直接 Ph.D. に出願するには比較的遅めであると思います）。この 3 年後期の頃は「強化学習」と呼ばれる連続的意思決定最適化（意思決定方策の学習）に興味があり研究室の活動に自主的に参加していたのですが、その流れで（研究室の先輩でもある）FOS’21 の齋藤さんと出会いました。齋藤さんが取り組んでいた意思決定の「オフライン評価」に関する研究が自身の長期的な研究目標とかなり合致していて面白そうだったことや、良い研究機会や共同研究者に恵まれたこと、Ph.D.
での研究留学に興味を持ったことをきっかけに、1 年間休学して研究に専念してみることにしました。
休学期間中は齋藤さんだけでなく FOS’17 の上原さんなど、良いメンターさんや研究環境、取り組みたいと強く思える研究テーマに巡り合うことができ、研究が好きで続けていきたいことだと思い始めました。また、休学期間中に Ph.D. に関する沢山の体験談を聞けたことで、漠然と「すごそう」と感じていた Ph.D. のイメージが、徐々に実体を伴ったものとして、「研究のためのトレーニング期間」なのだという認識に変わっていきました。そして最終的には、自身の研究にとって一番良さそうな環境だ（自分自身と研究室のマッチ度が高い）という理由で、齋藤さんや上原さんとも同じコーネル大学への進学を決めました。私にとっては、大学入学時には想像もできなかった Ph.D. 進学が次第に、良い意味で「当たり前」に検討できる選択肢の一つになっていったことが大きかったのだと思います。より詳細の経緯については書くと長くなってしまったので、note（https://note.com/aiueola/n/na68514688330）にまとめています。自身が研究に興味を持ち始めたきっかけや、これから大学院で取り組む研究に対するワクワク感を共有しているので、ぜひ読んでみてください。また、具体的な出願準備や出願戦略について知りたい
方は、こちらのスライド（https://speakerdeck.com/aiueola/phd-application）をご参照ください。

2. 学部で取り組んだ研究の紹介
せっかくなので、この章では自己紹介を兼ね渡航前に取り組んでいた研究をいくつかご紹介します。
採択論文 直近では以下の論文が KDD’23 に採択され、先日 arXiv にも論文を公開しました。

• Haruka Kiyohara, Masatoshi Uehara, Yusuke Narita, Nobuyuki Shimizu, Yasuo Yamamoto, Yuta Saito.
Off-Policy Evaluation of Ranking Policies under Diverse User Behavior. In Proceedings of the 29th ACM
SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD), 2023. (to appear)
この論文は FOS’21 の齋藤さん、FOS’17 の上原さんと一緒に取り組んだ研究で、「ランキング推薦」と呼ばれる複数のアイテムを順番にユーザーに提示するアイテム推薦方策のオフライン評価を扱っています。ランキング推薦はニュース一覧や音楽配信サービス、E コマースなどで使われる非常に実用的な問題なのですが、複数のアイテムの組み合わせを考慮しなくてはならず、オフラインでの方策評価に関する研究があまり進んでいませんでした。今回提案した論文ではユーザーが多様な閲覧行動を示すという推薦システムならではの実用的な問題設定において、オフライン評価性能を大きく向上させることができました。前に同じランキング推薦の設定で取り組んだ論文 (Kiyohara et al. 2022) の実験結果や考察から着想を得て、一段と面白い研究ができたのではないかと考えています。また、当初は査読結果が予想に反しあまり良くなかったのですが、リバッタルを通して評定を覆すことができ勉強になりました。

OSS の公開 次に、こちらはまだ論文は出ていませんが、博報堂テクノロジーズなどと行っていたオープンソースプロジェクトを先日ついに世に出すことができました。

• 博報堂テクノロジーズ、オフライン強化学習およびそのオフライン評価にまつわるオープンソースソ
フトウェア（OSS）を公開（https://prtimes.jp/main/html/rd/p/000000007.000113498.html）
実はこのプロジェクトは 2 年半もの間取り組んできた長期の研究プロジェクトで、とても思い入れがあります。途中、より良い研究プロジェクトにするために何度か方針転換もしてきたので、こうして大きく取り上げていただける成果が出せてとても嬉しいです。論文はまだ未公開になっていますが、最終的に (1) パッケージを提案する論文と、(2) オフライン評価手法を検証するための新たな評価指標を提案する論文の二報にまとめられそうで、とても満足いく成果になったのではないかと思います。現在、新しい評価指標を提案した方の論文が査読中ですが、論文の採択にとどまらず分野へより大きな貢献をしていけるよう、継続的に開発に携わっていく予定です。開発の裏話をインターン体験記として近日公開予定なので、良かったら前述の（個人）ホームページをチェックしてみてください。

Figure 1: 公開した SCOPE-RL のロゴとドキュメンテーション (https://scope-rl.readthedocs.io/en/latest/)

3. 大学院での研究に向けて上記の研究や論文投稿がひと段落してからは、一週間ほどまとまった休みをとり、地元の福岡に遊びに行ったり（「学問の神様」を祀ると言われる太宰府天満宮にも久しぶりにお参りしてきました笑）、美味しいものをたくさん食べたり、なかなか行けていなかった整体に初めて赴いて身体のメンテナンス方法を学んだりしました。3 月頃から論文をまとめる作業と渡航準備がそこそこ忙しく、やるべきことをただ粛々とこなす日々がしばらく続いていたのですが、こうしてしっかり休むことで気持ちの余裕が復活し、研究の楽しい部分をまた生き生きと感じられるようになったと思います。これからも長期的に見て良い健康・精神状態で楽しい研究に取り組めるよう、研究以外の自分の時間も確保していきたいです。
また、6 月に入ってからは学部の研究がひと段落したということで、二人の希望指導教官のうち一人とリモートで研究ミーティングを始めました。一番最初の研究は何人かで一緒にやっているのですが、ディスカッションに毎回ワクワクしており、どんな研究にしていけるかとても楽しみです。これから 5年間でどんどん面白い研究に取り組んでいけるよう、あと一ヶ月の間、渡航の準備をしっかり進めていきたいと思います。未筆ではございますが、充実した大学院生活を送れるよう手厚くご支援くださる船
井情報科学振興財団の皆様に、深く御礼申し上げます。

References
Kiyohara, H.; Saito, Y.; Matsuhiro, T.; Narita, Y.; Shimizu, N.; and Yamamoto, Y. 2022. Doubly Robust OffPolicy Evaluation for Ranking Policies under the Cascade Behavior Model. In Proceedings of the 15th ACM
International Conference on Web Search and Data Mining, 487 ‒ 497.