LLM-jpFactCheck：学習コーパスに照らした真偽検証によるモデル応答の分析

大規模言語モデル（LLM）のモデル応答の真偽をその学習コーパスに照らして検証・分析するシステム，LLM-jpFactCheckを提案する．本システムは，モデル応答の真偽判断のための参考情報をユーザに提示するとともに，応答を支持する学習データの有無という観点から，モデルの知識獲得過程に関する仮説検討を可能にする．LLM-jpFactCheckを用いてLLM-jp-3172Bのモデル応答を分析した結果，事実として正確な応答が生成される場合はそれを支持する記述が学習コーパスに含まれる一方，事実として不正確な応答が生成される場合にそれを支持する記述は必ずしも確認されず，誤情報の生成が必ずしも誤情報の学習に起因しないことが示唆された．