CodeLLM事前学習時の評価データ混入への対策

本論文は、プログラムのソースコード用の言語モデルの性能を適切に評価する際に重要となる、モデルの事前学習における評価データの混入の問題について論じる。まず、コード用のモデル向けのベンチマークを網羅的に調査し、一部の評価データの内容が本質的にGitHub由来の学習データ重複しうるという実態を示す。また、混入除去の妥当な方策として、評価データと学習データの間の文字列の一致の検出に加えて、由来となるレポジトリの情報を用いる手法を提案する。