注意値の誘導によるBERTのジェンダーバイアス軽減への取り組み

インターネット上のコーパスを用いて学習を行う大規模言語モデルは、様々な社会的なバイアスを含む．本研究では，BERT[1]に含まれるジェンダーバイアスに着目し，Transformer[2]の注意機構(AttentionMechanism)によって算出される注意値(Attention)を，特定の単語に注意を向けるよう定義した教師パターン行列を用いて誘導することによって，モデルのバイアスの軽減に取り組む．実験の結果，既存のバイアス評価におけるスコアの向上は確認できなかったものの，主語として予測される“He"および“She"の出力確率の偏りにおいては改善が見られた．