大規模言語モデル(LargeLanguageModel,LLM)によるコード生成は，ソフトウェア開発の効率化に寄与する技術として注目されている．しかしLLMの出力にはハルシネーションを含むことが問題となる．ハルシネーションを含む出力コードはエラーを引き起こす可能性があるため，事前にハルシネーションを検知することが重要である．本研究では，自然言語におけるハルシネーション検知手法であるSelfCheckGPTをコード生成に適用する．一般的なコード生成の評価手法である実行ベース評価と，SelfCheckGPTによるコードの評価を比較することで，両者の関連性を確認する．実行ベース評価と比較した結果，特にBLEU，ROUGE-L，EditSimを利用したSelfCheckGPTによる評価において，実行ベース評価との関連性が見られた．

生成AIの進展に伴い，モデルの出力の信頼性を検証する手法が注目を集めている．その中で，SelfCheckGPT[1]は，大規模言語モデル（LLM）が生成するテキスト内のハルシネーション(事実に基づかない情報）を検出するための手法である．外部データベースを必要とせず，同じ入力に対して複数の出力をサンプリングし，それらの一貫性から事実性を評価できる点が特徴である．本研究の目的は，SelfCheckGPTによるハルシネーション検出をコード生成タスクに適用し，コード生成の正確さと比較することである．コード生成タスクでは，HumanEval等のベンチマーク[2,3,4]で導入された実行ベース評価，すなわち生成されたコードを実行し，テストケースの通過率を測定する手法が正確さの評価手法として用いられてきた．我々の関心は，実行ベース評価の代わりに，SelfCheckGPTのハルシネーション検知はどの程度，有効であるか調査することである．過去，SelfCheckGPTは，自然言語タスクに適用され，有用性[5,6,7]が検証されてきたが，コード生成タスクにおいては検証されていない．もしSelfCheckGPTでコード生成のエラーを予測できるのであれば，ソフトウェア開発現場に対し，テストケースの作成コスト[8,9,10]の軽減などの貢献が期待できる．他方，もしSelfCheckGPTの有効性が限定的である場合，自然言語とプログラミング言語の構造的な差異に対して有益な示唆が期待できる．