第二回報告書：最初の学期の振り返りと長期的な研究目標
清原 明加（Haruka Kiyohara） / Cornell University, Computer Science

こんにちは。清原明加（きよはら・はるか）です。今年 3 月に東京工業大学経営工学系（学士）を卒業し、8 月からコーネル大学コンピュータサイエンス（CS）学科の Ph.D. 課程にて、意思決定の最適化とその評価に関する研究をしています。今回はコーネルでの最初の学期を振り返るとともに、自身の指導教官や研究室についても紹介し、長期的な研究目標もお話ししようと思います。

1. 秋学期の活動
大学院に入るとすぐに沢山の人から言われるのが、「一学期に 3 つのことができると良いね、でも、3 つ以上は止めておこう！」という言葉です。この「3 つ」とは、研究プロジェクトを 3 つ掛け持つという意味ではなく（その場合、ほぼ確実に詰みます）、• 研究プロジェクト ×1 + 授業 ×2• 研究プロジェクト ×1 + 授業 ×1 + TA ×1など、色々含めて 3 つ、ということです。私は奨学金をいただいているおかげで TA をする必要がなかったので、例に倣い、研究と授業合わせて 3 つに取り組みました。

• 研究: 指導教官のひとり (Thorsten) とのプロジェクト• 授業: もう一人の指導教官が開講している online learning の授業(CS6784: Machine Learning in Feedback Systems taught by Sarah Dean)• 授業: ロボティクスの教授が開講している強化学習の授業(CS6756: Learning for Robot Decision Making taught by Sanjiban Choudhury)
以下では、上記のそれぞれ +α の活動について、より詳細に振り返りたいと思います。
まずはじめに、指導教官の Thorsten との研究は、FOS’21 の齋藤さんとも一緒に取り組んでいるプロジェクトです。詳細は次回以降の報告書で紹介できればと思いますが、これまで学部時代に取り組んできた研究分野と、自身にとっては新しいテーマの交わる領域で研究しており、どんどん知見が広がっていく感じがとても楽しいです。Cornell での初めての研究ということもありテーマの設定にかなり時間をかけましたが、ある程度方向性が定まってからは手と頭をそこそこ忙しく (?) 動かしています（もちろん息抜きもちゃんとしています）。良い研究にしていけるように、引き続き取り組んでいきたいです。
授業の方は 2 つ取っていたのですが、どちらも自身の専門分野の一つである強化学習（広義）の内容を扱いました。これまで私自身は強化学習の「意思決定」の側面に注目して研究などすることが多かったのに対し、担当している教授の専門は制御理論やロボティクスであったため、今回は「制御」の側面に注目して学ぶことができ面白かったです。特に、指導教官の Sarah の授業では機械学習による行動選択がその後の環境にどのような変化をもたらすかという dynamics に注目し、「長期的な均衡を制御するにはどうしたら良いか？」というトピックを扱っていました。また、その過程で機械学習の公平性の議論（例えば、長期的にマイノリティユーザーの損失を小さくしていくにはどうすれば良いか？）など新しい研究トピックにも触れられたので、今後の研究に活かしたいなと思います。もう一つの Sanjiban の授業ではロボットの行動学習の方法として、モデル予測制御、模倣学習、逆強化学習などについて学びました。これまで強化学習（狭義）と模倣学習という二つの近いようで少し違う分野の位置付けがあまりよく分かっていませんでしたが、この授業を通じすっきりと体系立てた位置付けができた気がします。
その他には細々した予定として、研究室のグループミーティングや、AI seminar や CS colloquium と呼ばれるセミナー（毎週コーネル内外の教授がやってきて研究紹介をしてくれる）にも参加しました。特にセミナーは、最初の方は「興味あるトピックだけで良いかな？」と思っていたのですが、試しに聞いてみたらプレゼンテーションがとても面白く、なんだかんだ頻繁に聴きに行っています。自分もこんなに面白い研究プレゼンができるようになりたいなと刺激をもらうとともに、改めて、こうした機会に気軽にアクセスできる環境に身を置けてとても幸せだなと思います。
また、上記のコーネルでの研究と並行して、これまで学部時代に取り組んでいた研究をまとめ国際会議に投稿する作業やリバッタル対応なども行っていました。そのうち、以下の論文が機械学習分野で（ICML や ICLR と並び）最重要国際会議の一つである NeurIPS に Spotlight として採択されました。

• Masatoshi Uehara*, Haruka Kiyohara*, Andrew Bennett, Victor Chernozhukov, Nan Jiang, Nathan Kallus,Chengchun Shi, Wen Sun. Future-Dependent Value-Based Off-Policy Evaluation in POMDPs Advances in
Neural Information Processing Systems (NeurIPS), 2023. (Spotlight) (*equal contribution)
この論文は FOS’17 の上原さんと一緒に取り組んだ研究で、真の状態が観測できない場合にどうすれば正確な方策価値の推定ができるかを考えた論文です。例えば、医療における治療選択の文脈などにおいて、患者の真の健康状態は観測できないが、代わりに健康状態を推測するためのバイタルデータ（血圧や血中酸素濃度など）が観測されている場合があります。こうした状況において、「意思決定の前後の観測の推移を見ることで患者の状態を推定し、治療（方策）効果の正確な測定ができるのではないか？」という直感的に有効な手法が、実際に統計的に良い性質を持つことを示しています。これまで参加したプロジェクトの中でおそらく一番理論的な研究だったので、色々なことが学べ勉強になりました。
他にも査読待ちの論文がまだいくつかありますが、これらもまたの機会に紹介できたらいいなと思います。そして、コーネルでの論文もまずは一本出せるよう、引き続き研究に励みたいです。

2. 研究室選びと長期的な研究目標
前回の報告書では「なぜ留学をするに至ったのか？」についてご紹介しました。今回はその続きとして、「なぜコーネルや指導教官、研究室を選んだのか？」についてせっかくなのでご紹介します。この内容は留学前報告書に記載しても良かったのですが、現地で様子を確認してから書こうと、今回にしました。
先の章でも簡単に紹介しましたが、コーネルでは Thorsten と Sarah の 2 人の指導教官に “co-advising”をしてもらっています。“co-advising” は日本ではあまり聞き馴染みがないかもしれませんが、異なる視点や専門性を持った複数の指導教官に研究指導をしてもらうことを指し、米国の大学では 20-25% くらいの学生が利用している制度だと思います。と言っても、明確な制度の規定があるわけではなく、双方
1の教授から “co-advising” について前向きな反応をもらえたら co-advised になる、という感じです。

コーネルを選んだのは、この 2 人の指導教官（とその研究）に魅力を感じたから、というのが一番大きいです。まず、一人目の指導教官である Thorsten は経験豊富なシニアの教授で、機械学習を実応用するという観点で様々な研究分野を第一人者として切り拓いてきた人です。Thorsten が開拓した分野の一つである「推薦システムにおける意思決定方策の評価の研究」に私も学部時代に取り組んでいたので、Thorsten の論文を何度も引用する中で研究室に興味を持ち始めました。Thorsten は上記の研究の他にも、今ではテキスト分類の分野での古典的な手法の一つになっている（当時では画期的な）手法を開発したり、二つのアイテムのどちらがより好きか？といった嗜好データを用いて商品推薦を最適化する研究や、推薦システムにおけるアイテム間の公平性を議論したりと数々の研究分野を創り出しており、その視点のどれもがとても面白そうで純粋にワクワクしました。これらの研究は私に「Ph.D. の 5 年間かけてこの教授と一緒に自分も新しい分野を開拓してみたい」と思わせるものであり、また長期的な研究目標がかなり合致していたこともあって、指導教官をお願いしました。
もう一人の指導教官である Sarah は 2,3 年前に Ph.D. を取得し昨年着任したばかりの、若手のとても勢いのある女性教授です。元々制御理論を専門としているのですが、AI for social goods と呼ばれる機械学習を用いた社会システムのデザインや、機械学習によって増幅されてしまう不平等に対する研究にも興味があり、制御と AI for social goods の融合領域で着眼点の面白い研究を沢山出しています。にも関わらず、実は私が最初に Sarah のことを知った時は Sarah の論文にはまだ私自身の研究興味に被るものが少なく、危うくスルーしてしまうところでした。しかし、Sarah は（教授職に就くために書く）ResearchStatement と呼ばれる長期的な研究興味や研究計画についてまとめた書類をネット上に公開してくれており、それを読んで長期的な研究興味の合致が分かったので興味を持ち始めました。するとその後、動画配信サービスなどにおいて content creator に多様なアイテムを生成させ続けるための推薦方策の設計など、とても面白いテーマの論文がどんどん出てきて、一緒に働いてみたいと思うようになりました。

Thorsten と同じく長期的な研究目標が合致している一方で、Thorsten とはまた違った専門性を持っていることも魅力的であり、この 2 人の教授の異なる視点を通して「社会で使われる機械学習・意思決定システム」を見てみたい、と思うようになりました。また、Sarah は若手の女性研究者であることもあり、私の少し先をいくロールモデルの一人だったので、その意味でも Sarah にも指導教官をお願いしました。
実際に一緒に働き始めてからはまだそこまで時間が経っていませんが、どちらの指導教官も私自身の考えを尊重しつつプロジェクトを良い方向に持っていくためのとても “supportive”2 なアドバイスをくれたり、研究テーマや興味を探索したい気持ちに理解を示し（大まかな）研究の取り組み方や長期的な研究興味の発展させ方の相談に乗ってくれたりと、とても気にかけてくれる素敵な指導教官です。こうした共通点がある一方で二人の指導教官の間では advising の仕方や学生との交流、プライベートの考え方などは見ていて互いに異なる部分が割と多く、様々なアプローチに気づけるという点でも co-advising を
1
2

多くの場合、メインの指導教官とサブの指導教官という形になることが多いそうです。
良い日本語訳が思いつきませんでした..

お願いしてとても良かったなと思います。こうした機会を活用して研究興味や研究の取り組み方に対しても適度に探索をしながら、自分に合ったものを見つけていきたいです。
また、こうして自身にとってぴったりな、この上ない指導教官だと思える 2 人の教授に研究指導してもらえる機会に恵まれたからこそ、この Ph.D. 課程の 5,6 年間では、社会で使われる意思決定システムのまだ認知されていなかった課題を問題提起したり、それに対して実際に社会で容易に実装できる方法で解決策を提示するような研究をしていきたいと思っています。特に、意思決定の長期的な影響や長期的な効果を考慮した場合にどのような意思決定戦略を取るべきなのか、どのように意思決定システムをデザインすべきなのかを、強化学習（広義）や機械学習の目的関数の設計という観点で研究したいです。
少し抽象的な話になりましたが短くまとめるならば、今の研究環境やテーマにとてもワクワクしているので、面白くかつ社会にインパクトを与えられるような研究をしていけるよう、励もうと思います。
改めて、こうした素晴らしい環境で充実した大学院生活を送れるよう手厚くご支援くださる船井情報科学振興財団の皆様に、深く御礼申し上げます。