インターネット上のコーパスを用いて学習を行う大規模言語モデルは、様々な社会的なバイアスを含む．本研究では，BERT[1]に含まれるジェンダーバイアスに着目し，Transformer[2]の注意機構(AttentionMechanism)によって算出される注意値(Attention)を，特定の単語に注意を向けるよう定義した教師パターン行列を用いて誘導することによって，モデルのバイアスの軽減に取り組む．実験の結果，既存のバイアス評価におけるスコアの向上は確認できなかったものの，主語として予測される“He"および“She"の出力確率の偏りにおいては改善が見られた．

バイアスを含む大規模言語モデルの出力は，特定のグループに対する差別や不利益を生じさせる原因となり得るため，大きな問題である[3]．こうした背景から，モデルのバイアスを軽減する様々な手法が提案されている．Thakurら[4]は，最もバイアス的に予測が偏る文章を抽出して性別単語を中立的な単語に置き換えるというデータ介入を行い，Few-shot学習によって事前学習モデルのバイアスを軽減する手法を提案している．本研究では，データのような間接的な部分ではなく，モデルがジェンダーバイアスを生み出す根本的な要因へのアプローチとして，注意機構に着目する．Transformerベースのモデルは様々な自然言語処理タスクにおいて高い精度を示しており，その挙動を明らかにし解釈するために，重要な構成要素の一つである注意機構に関して様々な分析が行われている．Clarkら[5]の分析によると，BERTの注意がCLSやSEP，ピリオドやカンマなどの一部のトークンに集中する傾向があることや，一部の注意ヘッドが特定の構文や共参照などと対応することが示されている．また，Jeyarajら[6]はステレオタイプ文を検出するモデルのファインチューニングを行い，モデルの判断に寄与した単語や言語構造を注意値とSHAP値から特定した．その結果，形容詞や動詞がステレオタイプ的な文章の予測に強く影響していることなどを示した．それら先行研究に基づき，本研究では注意値の操作・制御によるバイアス軽減を試みる．男性語または女性語を含み，特定の職業についてその人物像を説明した文章をBERTに入力する．その際に得られる注意値の分布を，性別単語へ向けられる注意値の制御を目的として事前に定義した教師パターン行列に近づけるように学習することで，ジェンダーバイアスの軽減を目指す．