下流タスクでの日本語事前学習モデルの性別バイアスの評価

事前学習モデルを下流タスクのデータでファインチューニングすることで，高い性能を達成する方法論が近年の自然言語処理の主流となっている．一方で，事前学習の訓練データから自然言語処理タスクにとって有益な情報だけではなく，国籍や性別などに関する差別的なバイアスもモデルは学習してしまう[1,2,3]．事前学習モデルのバイアスは，多くの場合，事前学習時または下流タスク遂行時に評価される．事前学習時ではモデルがテキストに対して計算する尤度などを利用し，下流タスクに依存しないバイアスを評価する．下流タスク遂行時ではタスクごとの予測結果を使い，タスク固有のバイアスを評価する．事前学習時と下流タスク時ではそれぞれバイアスの傾向が異なる[3]．そのため，事前学習モデルのバイアスの影響を把握するには，両方で事前学習モデルのバイアスを評価し分析する必要がある．事前学習モデルのバイアスの評価は英語での研究が多い．ところが，英語以外の言語のモデルにもバイアスがあり，文法や文化的背景から言語によってバイアスの傾向が異なる[4,5,6,7]．日本語における事前学習モデルに関しては，事前学習時のバイアスに関する調査が進められ，バイアスがあることが報告されている．金子ら[4]は，対訳データと女性単語・男性単語のリストのみを使い，日本語を含む8言語で事前学習モデルの性別バイアスを評価した．大羽ら1）は，テンプレートと単語リストを使い，性別によって不適切な単語やポジティブ・ネガティブ単語が偏って生成されることを明らかにした．一方で，日本語の下流タスクにおけるバイアスを評価する手法は確立されていない．本稿では自然言語推論(NaturalLanguageInference;NLI)2）を対象とし，日本語事前学習モデルの性別バイアスの評価を行う．YJCaptions[8]に含まれる性別単語を職業単語に置換することで，日本語でバイアスの評価を行うためのデータを作成する．英語のNLIでは職業単語を含む前提文「運転手がトラックを所有している」と性別単語を含む仮説文「女性がトラックを所有している」が与えられた際に，NLIデータでファインチューニングされた事前学習モデルが中立ラベルを予測する割合により，バイアスを評価する方法が提案されている[2]．この評価手法は中立だけを対象としているため，含意や矛盾ラベルに関わるバイアスを捉えることができない．例えば，運転手に対して男性に偏るバイアスがあるという仮定のもと，前提文「運転手がトラックを所有している」と仮説文「男性がトラックを所有している」の含意関係について，中立は正解，含意はバイアスを含む不正解，矛盾は単なる不正解である．含意や矛盾を考慮しない場合，バイアスを含む不正解なのか，単なる不正解なのか，区別をつけることができず，バイアスを評価できない．そのため，3つの全てのラベルを考慮したバイア1）https://engineering.linecorp.com/ja/blog/evaluating-fairness-in-language-models/2）NLIは，前提文と仮説文の文ペアが与えられたときに，前提文が仮説文に対して含意，矛盾，又は中立のいずれであるかを判定するタスクである．.スの評価手法を提案する．その実験結果から，日本語事前学習モデルはNLIにおいて性別バイアスを有することが分かった．さらに，NLIにおける評価手法において，バイアスを含む不正解か単なる不正解かの判別能力を検証する手法を提案し，既存の評価手法と提案手法を比較した．その結果，提案評価手法の方が既存手法より優れていることが明らかとなった．