下流タスクでの日本語事前学習モデルの性別バイアスの評価

事前学習モデルには差別的なバイアスが学習されている．バイアスは事前学習時と下流タスク遂行時で傾向が異なるため，両方で評価する必要がある．一方で，日本語モデルの下流タスクにおけるバイアスは十分に調査されていない．本稿では，自然言語推論を対象に日本語事前学習モデルにおける性別バイアスの評価を行う．まず，性別バイアスの評価のための言語データを作成する．そして，モデルが予測する含意，矛盾，中立ラベルの偏りに基づき，バイアスを評価する手法を提案する．実験の結果，日本語事前学習モデルにも性別バイアスがあることを明らかにした．さらに，中立ラベルのみを考慮する既存の評価手法と比較すると，提案手法の方が優れていることも確かめられた．