架空語に対するLLMの知ったかぶりの自動評価

大規模言語モデル(LLM)は人間に匹敵するテキスト生成能力[8]をもつ一方、しばしば幻覚を引き起こす[5]。医療や法律など専門性を要する分野において、幻覚による誤情報が意思決定に悪影響を与える可能性が指摘されている[9]。特に学習データに存在しない知識について質問したときにLLMが幻覚を起こす傾向は顕著で[6]、Huangら[3]は、LLMが自らの知識の限界を評価できないことが原因と指摘している。本研究では、LLMが未知の知識に直面した際に幻覚を起こす度合いを評価する。LLMが「知らない」と応答する、応答の棄権に関する研究として、応答の特徴の分析[11]や、棄権すべき質問の自己検知[12]に関する研究が挙げられる。一方で、棄権能力を評価するためのデータセットの構築に焦点を当てた研究は限られる。例えば、Liら[7]は人手でデータセットを作成したが、作成コストが高いという課題がある。本研究では、LLMの棄権能力を評価する簡便かつ再現性の高い方法として、架空語データセットの活用を提案する。存在しない「架空語」を自動生成しLLMの応答を分析することで、モデルが自身の無知を適切に示す能力を評価する枠組みを提供する。その結果、LLMは架空語の意味を自分で推測して幻覚を引き起こすことがわかった。本論文の主な貢献は以下の3つである。•LLMの棄権能力を判別するための架空語を定義した•実在する語を用いて自動的に架空語候補を生成し、連想語のアイデアを用いて尤もらしい架空語を選別した•LLMに架空語の定義を生成させ、その応答を分類して棄権能力を分析した