事前学習データに含まれる社会的バイアスの分析と軽減

LLMは大規模な自己教師あり学習によって汎用的な言語知識を獲得するが,主にWebデータから構成される事前学習データは不適切な社会的バイアスを含んでおり,LLMはこれらを強く継承してしまう問題が知られている.本研究では,事前学習データ内の多様な保護属性(人種・性別・宗教など)を正確に検出し,その属性に対する表現の感情極性(Regard)を分類することによってバイアスを分析・軽減する手法を提案する.また,代表的な事前学習データとしてCommonCrawlを用いた実験により,提案手法の効果を定性的・定量的に検証する.注意：本論文には不快な表現が一部含まれます.