本論文では，専門家が作成した法令に関するQAの四者択一問題とそのGroundTruthに対して，複数の大規模言語モデル(LLM)を用いて検証することで，GroundTruthに誤りがあることを発見した．発見する方式としては，GroundTruthを与えない状態で，3種類の異なるファウンデーションモデルのLLMに0-shotの設定で回答させた．生成された回答からmajorityvotingなどの方法で結果を統合し，すべてのLLMの答えが一致しない問題を抽出したのち，再度専門家に確認を依頼し，一部問題でGroundTruthが誤っていることを突き止めた．

大規模言語モデル（LLM）は，自然言語処理タスクのさまざまな分野で高い性能を発揮しており，特に質問応答（QA）タスクにおいても注目を集めている．法令に関するQAタスクでは，正確なGroundTruth（正解データ）が求められるが，人手で作成された正解データには誤りが含まれる可能性がある．誤ったGroundTruthは，モデルの評価結果や学習性能に悪影響を与えるため，その信頼性を検証することが重要である．本研究では，人手で作成した四者択一法令QAタスク（全140問）に対して，複数の大規模言語モデル（LLM）を用いて回答を生成し，その結果からGroundTruthの妥当性を検証した．具体的には，複数のLLMの回答の一致度やアンサンブル手法を通じて「疑わしい」問題を特定した．その後，専門家に再検証したところ，一部の問題において，既存のGroundTruthが誤っていたことを発見した．本研究の目的は，法令QAタスクにおけるGroundTruthの信頼性を高めるとともに，LLMの出力を用いたデータ検証手法の有効性を示すことである．本論文では，実験の設定，結果，および考察を通じて，法令QAデータの質向上に向けたアプローチについて述べる．