既存のコードを最新の依存関係へ適応させる「マイグレーション」は，開発現場の日常的な重要課題であるにもかかわらず，そのLLMによる自動化は十分に検討されてこなかった．本研究では，実世界のPythonプロジェクトにおける，リポジトリレベルのマイグレーション能力を評価するベンチマークTimeMachine-benchを提案する．本ベンチマークは，任意のリポジトリから幅広いシナリオを自動で構築できる点に特徴がある．最先端のLLMを用いた評価の結果，過剰な修正や自身の過去の出力に起因するエラーパターンの反復といった，自律型エージェントの信頼性に関わる課題を明らかにした．

大規模言語モデル(LLM)は，古典的な自然言語処理タスクのみならず，ソフトウェア工学の分野にも多大な影響を及ぼしている[1]．初めは局所的な関数補完に始まり，現在ではリポジトリを自律的に探索し，バグ修正や機能追加を行う高度なエージェントが登場するなど，開発プロセスに不可欠なパートナーとしてその地位を確立しつつある．この進化を支えるベンチマークも，SWE-bench[2]に代表されるリポジトリレベルの課題へと移行し，より高度な実用性が求められるようになっている．しかしながら，既存ベンチマークの多くは，環境を経時的に変化しないものと仮定している点で実態に即していない．実際のソフトウェアは，絶えず更新されるライブラリやエコシステムの上に構築されており，その環境は常に流動的である．こうした環境変化への適応，すなわち「マイグレーション」は，ソフトウェアの健全性維持に欠かせない日常業務であるにもかかわらず，リポジトリレベルでの実用的な評価は十分に検討されてこなかった．御により，あるコードが正しく動作した過去の環境と，依存関係の更新によってエラーが生じる将来の環境を厳密に再現する．そこで本研究では，実世界のPythonプロジェクトにおけるマイグレーション能力を評価するベンチマークTimeMachine-benchを提案する(図1)．本ベンチマークの最大の特徴は，対象ライブラリの人手選定を完全に排し，GitHub上の任意のリポジトリから実用的なマイグレーションシナリオを自動で構築できる点にある．また，データ構築パイプラインの自動化は，データの継続的な更新，すなわち「ライブ性」を提供する．これは，データ汚染[3]が深刻な懸念となるLLM時代において，評価の公平性を担保するために極めて重要な特性である．実験では，解決可能性を保証した人手検証済みサブセット(TimeMachine-bench-Veriﬁed)を用いて，最先端のLLMを含む11のモデルを評価した．本研究の主な貢献は，(1)Pythonでは初となるリポジトリレベル・マイグレーション評価ベンチマークの構築，(2)自動構築による「ライブ性」の実現と人手検証済みサブセットの整備，(3)11モデルの包括的評価による現状の到達点と課題の明示，の3点に集約される．なお，本研究の再現性とコミュニティの継続的な発展のため，構築したベンチマークおよび実装を公開する．1）1）https://github.com/tohoku-nlp/timemachine-benchThisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).を示す．難易度別の問題数はEasy:64,Medium:30,Hard:6である．カテゴリモデルpass@1prec@1難易度ラベル別正解数(正解率)(%)(%)EasyMediumHardプロプライエタリClaudeSonnet499.078.064(100.0)30(100.0)5(83.3)Claude3.5Sonnetv291.066.861(95.3)25(83.3)5(83.3)GPT-591.054.262(96.9)27(90.0)