SelfCheckGPTはコード生成におけるハルシネーションを検知できるか

大規模言語モデル(LargeLanguageModel,LLM)によるコード生成は，ソフトウェア開発の効率化に寄与する技術として注目されている．しかしLLMの出力にはハルシネーションを含むことが問題となる．ハルシネーションを含む出力コードはエラーを引き起こす可能性があるため，事前にハルシネーションを検知することが重要である．本研究では，自然言語におけるハルシネーション検知手法であるSelfCheckGPTをコード生成に適用する．一般的なコード生成の評価手法である実行ベース評価と，SelfCheckGPTによるコードの評価を比較することで，両者の関連性を確認する．実行ベース評価と比較した結果，特にBLEU，ROUGE-L，EditSimを利用したSelfCheckGPTによる評価において，実行ベース評価との関連性が見られた．