LLM（大規模言語モデル）を用いたテストケース生成にはいくつかの限界があります。まず、生成されたテストケースの正確性とコンパイル可能性が問題です。研究によると、LLMが生成したテストスイートの中で、文法的に正しいものは約24%に過ぎず、コンパイル可能なものはさらに少ないことが示されています。このような低い成功率は、特にクラスレベルでのテスト生成において、複雑な依存関係や相互作用を考慮する必要があるためです。
次に、可読性や保守性の観点からも限界があります。LLMが生成するテストケースは、しばしば「テストスメル」と呼ばれる問題を含むことが多く、これによりテストの理解やメンテナンスが困難になります。具体的には、アサーションのロシェットやマジックナンバーといった問題が見られ、これらはテストの品質を低下させる要因となります。
さらに、LLMのデータリークのリスクも無視できません。トレーニングデータに含まれるコードに基づいて生成されるため、未見のコードに対する適応能力が限られています。このため、実際のソフトウェア開発環境での有用性が制約される可能性があります。