復号手法が大規模言語モデルにおける不確実性推定に与える影響の調査

近年、自然言語処理の様々なタスクは大規模言語モデル(LargeLanguageModels,LLM)の登場により大きな発展を遂げている．特にGPT-4[1]やLLaMA[2]に代表されるLLMは，様々なダウンストリームタスクにおいて優れた性能を発揮している．さらに，AIエージェントとしてより複雑なタスクにLLMが組み込まれるなど，これまでにない高度な応用を可能にしている[3]．しかし，LLMは出力内容に誤情報が含まれる「幻覚」問題をはじめとし，品質の低い文章を依然として生成することがある．そのため，医療や金融，法律などの確実性が非常に重要な領域での積極的な活用を困難にしている．このような幻覚などの問題を解決する手段の一つとして，テキスト復号手法が着目されている．復号手法は，LLMの出現以前よりテキスト生成モデルが様々なタスクを解くようになるための重要な役割を果たしている．また，近年復号手法がLLMの性能に大きな影響を与える可能性があることが示されており[4]，復号手法の選択はLLMの性能を引き出すためにも重要である．一方で，LLMを確実性の高い領域で実応用するためには，生成品質だけでなく出力がどの程度不確実かを推定することも必要である．具体的には，どの程度出力が不確実かを数値化する不確実性スコア等で品質が低いと思われる出力を検知し，検知された場合は人手やより性能の高いLLMで修正したうえで出力を提供したい．多くの場合，復号手法により出力されるテキストやそれを構成するトークンのスコアが変わるため，復号手法は不確実性スコアの品質に影響を与える可能性が高い．このような不確実性推定性能の観点で復号手法が与える影響を明らかにすることは，LLMの出力をより信頼性が高いものにするためにも重要な問いである．本研究では復号手法が不確実性推定性能がどのような影響を与えるかについて，不確実性推定手法と組み合わせて網羅的に調査する．実験では，質問応答タスクのデータセットであるTriviaQA[5]と要約タスクのデータセットであるXSum[6]を用いて，復号手法と不確実性推定手法を組み合わせた場合の選択的生成性能[7]を評価した．その結果，貪欲探索やビーム探索のようなシンプルな復号手法が比較的優れた不確実性推定性能を示すことが判明した．