架空語に対するLLMの知ったかぶりの自動評価

LLMが起こす幻覚には様々な種類がある。例えば、存在しそうで存在しない「架空語」の意味を尋ねた際、LLMは「知らない」と答えるのが望ましいが、誤った説明や別の語の意味を返すことがある。本論文ではLLMが幻覚を引き起こさずに適切に未知を示す能力を評価する方法を提案する。架空語を自動生成し、架空語について問う質問に対するLLMの応答を分類することでこの能力を評価する。