船井情報科学振興財団

第 3 回留学報告書

齋藤 優太 ∗

2022 年 06 月
2021 年 8 月より、Cornell University の Computer Science 専攻 Ph.D. 課程に在籍している齋藤優太と申します。5 月に春学期が終了し、現在は日本に滞在しながら指導教官らとの研究をリモートで進めています。

1 研究秋学期から引き続きオフ方策評価と公平ランキングという二つのテーマを主軸に取り組んでいます。*1
まずオフ方策評価の研究に関して、2 月に良い知らせがありました。というのも東京工業大学の後輩らと共に昨年 8 月に投稿していた以下の論文が Web Search and Data Mining (WSDM)*2 というデータマイニン
グ・情報検索におけるトップ国際会議に採択されていたのですが、それが Best Paper Runner-Up Award(全 800 本ほどの投稿論文のうち上位 4 本) として表彰されました。
• Haruka Kiyohara, Yuta Saito, Tatsuya Matsuhiro, Yusuke Narita, Nobuyuki Shimizu, Yasuo
Yamamoto. Doubly Robust Oﬀ-Policy Evaluation for Ranking Policies under the Cascade Behavior
Model.*3 In Proceedings of the 15th International Conference on Web Search and Data Mining(WSDM), 2022.
情報検索の分野で昔から使われているカスケードモデルと呼ばれるユーザー行動に関する仮定が強化学習の定式化とよく似ていることをフル活用し、ランキング方策の性能評価のための新たな推定量を提案したという内容です。二つの全く異なる分野のアイデアをうまく融合して既存の推定量に対し明らかな理論改善をもたらしたことに留まらず、実際の E コマースプラットフォームで収集したデータを用いた実験で提案手法の有効性を検証していることろが高く評価されたようです。
また博士課程をスタートした直後から取り組んでいたオフ方策評価に関する以下の論文も、機械学習分野のトップ国際会議である International Conference on Machine Learning (ICML)*4 に採択されました。

• Yuta Saito, Thorsten Joachims. Oﬀ-Policy Evaluation for Large Action Spaces via Embeddings.*5
In Proceedings of 39th International Conference on Machine Learning (ICML), 2022 (to appear).

∗ ys552@cornell.edu*1 オフ方策評価と公平ランキングに関しては、2021 年 12 月に掲載していただいた第 2 回留学報告書で簡単に概要を紹介させていた

だいています。https://www.funaifoundation.jp/scholarship/202112saitoyuta.pdf*2 https://www.wsdm-conference.org/2022/*3 https://dl.acm.org/doi/10.1145/3488560.3498380*4 https://icml.cc/Conferences/2022/*5 https://arxiv.org/abs/2202.06317

1

図1

オンライン開催された WSDM での Best Paper Runner-Up Award の表彰の様子と（左）表彰状（右）。

文脈付きバンディットという比較的シンプルな設定においてオフ方策評価の研究は多くあり、推定量も多数提案されていて精度の改善が重ねられてきたわけですが、残念なことに行動数が数千や数万（もしくはそれ以上）といった応用でよくみられる大規模問題に対応するための研究はほとんど存在しませんでした。大規模問題においてほとんどの既存手法があまり使い物にならないこと自体はよく知られた問題だったのですが、（誰も良い解決策を思いついていなかったのか）長いこと手付かずの問題でした。今回我々が執筆した論文では、オフ方策評価に関するほぼ全ての論文が従っている標準的な定式化を現実的な範囲でうまく拡張することで、大規模問題において既存の推定量よりも正確でかつ理解や実装がかなり容易な推定量を新たに開発することに成功しました。大規模問題におけるオフ方策評価はかなり現実的な問題にもかかわらず、あまり真面目に取り組まれていないという意味で研究と応用にギャップがある領域なので、もうしばらくは新たな手法の開発や改善を続けていくつもりです。
さてもう一つの研究の主軸である公平ランキングについても、秋学期から取り組んでいた研究を以下の論文にまとめて 2 月に投稿していたのですが、こちらはデータマイニングの分野で最難関国際会議とされるInternational Conference on Knowledge Discovery and Data Mining (KDD)*6 に採択されました。
• Yuta Saito, Thorsten Joachims. Fair Ranking as Fair Division: Impact-Based Individual Fairness
in Ranking. In Proceedings of the 28th ACM SIGKDD International Conference on Knowledge
Discovery and Data Mining (KDD), 2022 (to appear).
公平ランキングは 5 年ほど前から Cornell の研究室の先輩らが先駆的に定式化してきた比較的新しい分野です。日本にいたときは（存在は知っていたものの）あまりキャッチアップできていなかったのですが、こちらに来てから勉強のつもりで論文を読み始めたところ、ほとんどの論文で使われていたランキングの公平性の定義がどうやらいくつかの意味で未だ不公平さを含んでいるということを発見しました。この話を指導教官に共有したところとても気に入った様子だったので、（元々研究しようと思っていた）オフ方策評価と並行して公平ランキングの研究に力を入れるようになっていきました。そうして上記の論文を書くに至ったのですが、ランキングにおける公平性を定義し直すという分野の根本を塗り替えるところから始めて、自分たちで新たに持ち出した公平性の定義をうまく満たす手法を提案しているということで、分野全体の方向性を変え得る仕事になるのではないかと期待しています（というよりこれから各所で発表を繰り返して自らそうしていかなくてはなりません）。こちらの論文も多くの拡張が考えられるので、その中で重要かつ時間をかけるべきテーマに焦*6 https://kdd.org/kdd2022/2

点を絞って、更なる分野の発展と理解を図っていくつもりです。
上記の主に大学院で取り組んだ論文以外にも、CyberAgent AI Lab の研究員の方と取り組んでいた推薦シ
ステムに関する以下の論文が、IJCAI という人工知能分野の国際会議に高評価で採択されました。

• Yuta Saito and Masahiro Nomura. Towards Resolving Propensity Contradiction in Oﬄine Recommender Learning. In Proceedings of the 31st International Joint Conference on Artiﬁcial Intelligence (IJCAI), 2022 (Long Talk).
さてここまでは最近採択された論文をいくつか簡単に紹介させていただきましたが、論文執筆以外にも色々と企画を仕掛けています。まずは、今年の 8 月にワシントン D.C. で行われる KDD において昨年 RecSys で行ったチュートリアル*7 と同様の内容のチュートリアル（のアップデートバージョン）を再び開催できることが決まりました。

• Yuta Saito, Thorsten Joachims. Counterfactual Evaluation and Learning for Interactive Systems:Foundations, Implementations, and Recent Advances. In Proceedings of the 28th ACM SIGKDDInternational Conference on Knowledge Discovery and Data Mining (KDD), 2022 (to appear).
前回の報告書で詳しく紹介させていただいた通り、昨年の RecSys で多くの話題を掻っ攫うことに成功した
チュートリアルを学会規模が数倍に膨れ上がる KDD で行えるというとても良い機会で、学会までの数ヶ月間抜け目なく準備して、多くの人の記憶に残り、今後長らく参照されるようなチュートリアルにする目論見です。
また 9 月にシアトルで開催される RecSys でも昨年に引き続き何か仕掛けないと、ということで年末年始のあたりから徐々に動いていたのですが、無事以下のワークショップのプロポーザルが採択されました。

• Olivier Jeunen,Thorsten Joachims, Harrie Oosterhuis, Yuta Saito, and Flavian Vasile. CONSEQUENCES – Causality, Counterfactuals and Sequential Decision-Making for Recommender
Systems. In Proceedings of the 16th ACM Conference on Recommender Systems (RecSys), 2022(to appear).
ワークショップの主催は始めてなのですが、経験豊富な共同主催者に恵まれたこともあり、ノーベル経済学賞受賞者による招待講演などすでにいくつかの目玉企画が決まっています。チュートリアルやワークショップは直接的に研究実績になるわけではなく、私の知る限りこれら（特にチュートリアル）に多くの時間を割いている博士学生はほとんどいないのですが、うまく活用することで自分自身や自分の研究についてかなり多くの人に知ってもらえることはすでに個人的に経験済みであり、私としては論文の執筆と同等かそれ以上に重要視しています。とはいえ毎年同じ内容を繰り返していてもそのうち飽きられるだけなので、来年以降にどんな企画を仕掛けると面白そうかというアイデアも常に考えて自分の中に蓄えておかないと、というところです。

2 講義
春学期はお隣 の Operations Research and Information Engineering (ORIE) 学科に今年新設され たORIE6170: Engineering Societal Systems*8 という講義を取りました。担当していた先生が Cornell Tech と*7 https://sites.google.com/cornell.edu/recsys2021tutorial*8 https://orie6170.github.io/Spring_2022/3

いう（Ithaca にあるメインキャンパス）とは離れた NYC キャンパスにいる人だったこともあり、コロナとは関係なく完全リモートで開講されました。内容はかなり幅広く、機械学習・アルゴリズム・メカニズムデザイ
ン・ゲーム理論を駆使した社会システムデザインの応用を広くさらっていこうという趣旨の博士学生向けのセミナー形式の講義です。普段自分ではあまり読まない分野の論文に触れたり、クラス内での発表のためにそのいくつかを精読してみたり、時折先生が外部から連れてくる幅広い分野の研究者の話を聞いたりする中で、自分自身の研究と深く関係がありそうな分野を新たに見つけることができ満足のいく内容でした。また最終プロ
ジェクトでも自分の好きなテーマを設定できたので、講義が終わった後に論文として出版できそうな公平ランキングに関するテーマを設定し、興味本位のアイデアの実装や評価に取り組めました。結果的にプロジェクトの最終発表などを通じて先生に興味を持ってもらうことができ、講義が終わったあとにその先生と共に本格的な研究プロジェクトとして取り組み始めており、博士課程の講義の使い方としてはとても理想的でした。今後も受講する講義については何かしらの形で論文や新たな共同研究に繋げられるよう、うまく活用して行けたらと思っているところです。

3 さいごに長期の海外滞在が初めてだったこともあり渡米直前はさまざまな不確実性に対して少々心配していた部分もありましたが、蓋を開けてみると日本にいた頃よりも研究に集中できて成果も出始めているので、研究に関しては良いこと尽くしの一年でした。最初の夏はインターンなどはせず、大学での研究成果を残すことと、8・9 月に控える国際会議でのチュートリアル・ワークショップ主催の準備に時間を割くつもりです。また知り合
いに声をかけて、本報告書で紹介させていただいた研究のいくつかについて国内の企業で発表させてもらいつ
つ、意見交換やフィードバックをもらう活動も（時差が無い間に）できる限り多く行っていくつもりです。
最後になりますが、留学に際して様々な面から手厚いサポートをしてくださっている船井科学振興財団の皆さまに深く御礼申し上げます。

4