どうしてSF110ベンチマークで全ての評価されたLLMが低いパフォーマンスしか示さなかったか？
SF110ベンチマークで全ての評価されたLLMが低いパフォーマンスを示した理由は複数あります。まず、SF110ベンチマークは非常に大規模なJavaプロジェクトから成り立っており、23,886のクラス、800,000以上のバイトコードレベルブランチ、660万行以上のコードが含まれています。このような巨大なデータセットに対して適切にテストケースを生成することは非常に難しい課題です。また、これらのプロジェクトはソフトウェア開発者自身が作成したものであり、高度なカバレッジや品質基準を満たすテストケースを生成することが困難だった可能性が考えられます。
さらに、LLMsは特定タスク向けではなく一般的な言語処理能力に優れる傾向があるため、特定ドメイン（この場合はSF110プロジェクト）向けに最適化されたテストケース生成能力を持つとは限らず、その結果パフォーマンスが低下した可能性も考えられます。