LLMは大規模な自己教師あり学習によって汎用的な言語知識を獲得するが,主にWebデータから構成される事前学習データは不適切な社会的バイアスを含んでおり,LLMはこれらを強く継承してしまう問題が知られている.本研究では,事前学習データ内の多様な保護属性(人種・性別・宗教など)を正確に検出し,その属性に対する表現の感情極性(Regard)を分類することによってバイアスを分析・軽減する手法を提案する.また,代表的な事前学習データとしてCommonCrawlを用いた実験により,提案手法の効果を定性的・定量的に検証する.注意：本論文には不快な表現が一部含まれます.

近年大規模言語モデル(LLM)は目覚ましい発展を遂げているが,その成功の基盤となるのは大規模な事前学習データを用いた自己教師あり学習と考えられている[1,2].しかし,LLMは同時に事前学習データに含まれる様々な社会的バイアスを継承または増幅してしまうことが知られており[3,4],安全性・公平性の観点から懸念が残っている.事後学習やガードレールによってこれらの問題を表面上抑えることは可能だが[5,6],LLMに内在する不適切なバイアスを完全に除去できているかは明らかでなく,根底にある事前学習データのバイアスを理解し軽減する試みには重要な意義があると考えられる.本研究では,事前学習データに含まれるバイアスを詳細に調査するために,保護属性検出とRegard分類を組み合わせた新たなパイプラインを提案する(図1).保護属性検出ではまず,人種・性別・宗教などの多様な保護属性1）を表すキーワードのリストを用いて高速な検出を行い,偽陽性を抑えるためにGloss-RoBERTaを用いた語義曖昧性解消を行う[8].1）保護属性とは,その他国籍・障害・性的指向など不当な差別から保護されるべきあらゆる社会的属性を含む[7].Regard分類ではさらに,検出された保護属性を含むテキストに対して,その属性に対する表現の感情極性をポジティブ・ネガティブ・ニュートラルの3クラスに分類する[9].上述のパイプラインを用いて,事前学習データに含まれる保護属性に対する社会的バイアスを分析し,Regard分布を調整することで不適切なバイアスを軽減できる可能性を示す.実験では,LLMの事前学習データとして一般に最も比重の大きいCommonCrawlを用いて提案手法の効果を検証する.具体的には,文中の単語の共起レベルのバイアス分析[10]を発展させ,単語頻度だけでなくRegardを組み合わせた新たな分析結果を示す.また,各保護属性に対するネガティブな表現をダウンサンプリングすることで,例えばwhite(白人)とracist(人種差別主義者)のような不適切な単語の共起バイアスを軽減できることを示す.最後に,本研究の今後の発展性や課題について議論する.