埋め込みモデルのドメイン適応におけるラベルノイズに強い合成QAの作成

ドメイン特化RAGの構築では、合成QAを用いた埋め込みモデルのファインチューニングが標準的である．しかし，企業の手続文書は類似した内容が複数箇所に記載されるため，QA生成に用いたチャンクのみを単一の正解とする従来の手法ではラベルノイズが生じやすい．そこで，本研究では，複数箇所に正解が存在する合成QAをフィルタリングする手法を提案する．具体的には，既存の埋め込みモデルを用いた検索結果に基づき，LLMを用いて他の正解箇所が存在するかを判定する．実務文書を用いた実験により，合成データを用いた評価において提案手法の有効性が示された．