SelfCheckGPTはコード生成におけるハルシネーションを検知できるか

生成AIの進展に伴い，モデルの出力の信頼性を検証する手法が注目を集めている．その中で，SelfCheckGPT[1]は，大規模言語モデル（LLM）が生成するテキスト内のハルシネーション(事実に基づかない情報）を検出するための手法である．外部データベースを必要とせず，同じ入力に対して複数の出力をサンプリングし，それらの一貫性から事実性を評価できる点が特徴である．本研究の目的は，SelfCheckGPTによるハルシネーション検出をコード生成タスクに適用し，コード生成の正確さと比較することである．コード生成タスクでは，HumanEval等のベンチマーク[2,3,4]で導入された実行ベース評価，すなわち生成されたコードを実行し，テストケースの通過率を測定する手法が正確さの評価手法として用いられてきた．我々の関心は，実行ベース評価の代わりに，SelfCheckGPTのハルシネーション検知はどの程度，有効であるか調査することである．過去，SelfCheckGPTは，自然言語タスクに適用され，有用性[5,6,7]が検証されてきたが，コード生成タスクにおいては検証されていない．もしSelfCheckGPTでコード生成のエラーを予測できるのであれば，ソフトウェア開発現場に対し，テストケースの作成コスト[8,9,10]の軽減などの貢献が期待できる．他方，もしSelfCheckGPTの有効性が限定的である場合，自然言語とプログラミング言語の構造的な差異に対して有益な示唆が期待できる．