近年Transfrormerネットワークを採用した言語モデルが大きな成功を収め，注意機構やフィードフォワードネットを中心に分析が盛んに行われてきた．本研究ではモデルの出口部分にあたり，出力に直接作用する予測ヘッドの働きを分析する．実験から予測ヘッド内のバイアスが単語予測を頻度補正していることを明らかにする．具体的には，このバイアスが高頻度語の予測確率を上げ，低頻度語の予測確率を下げることで，予測分布を実際の単語頻度分布に近づけていることが観察された．さらにこの知見を応用し，バイアスを制御することで言語モデルに多様かつ人間に近い文章生成を促せることを示す．

Transformerネットワーク[1]を採用した言語モデル（Transformer言語モデル）[2,3,4]は今や自然言語処理分野全体を支える基盤技術であり，高品質な文章生成を通じて幅広い応用を支えている．さらに，その成功理由の解明や更なる性能改善を求め，内部機序の分析も盛んに行われている[5]．分析対象としてこれまで特に注目を浴びてきたのはアーキテクチャの中核をなすTransformer層であり，注意機構の重みの観察からはじまり層正規化やフィードフォワードネットの挙動解明に至るまで，知見が順調に蓄積されてきた[6,7,8]．本研究では，Transformer言語モデルの出口部分，すなわちすべてのTransformer層を出たあとの予測ヘッドの働きを分析する（図1）．予測ヘッドはモデルの単語予測に直接的に作用するため解釈もしやすく，また下層での処理をまとめて上書きできるという点でモデル改善に接続しやすいと期待できる．実験の結果，BERTおよびGPT-2の予測ヘッド内のバイアスが，高頻度語の予測確率を上げ，低頻度BERTGPT-2バイアスを加算層正規化(バイアスを加算)埋め込み行列への射影層正規化(バイアスを加算)埋め込み行列への射影予測ヘッド(バイアスを加算)全結合層層正規化フィードフォワードネット層正規化フィードフォワードネット!×層層正規化注意機構注意機構層正規化埋め込み層埋め込み層語の予測確率を下げていることが分かった．さらにこの知見を応用し，バイアスの効果を抑制しながら文章生成を行うことで，モデルが典型的な（高頻度な）表現ばかりを生成する問題[9,10]が軽減し，多様かつ人間に近い文章生成を促せることを示した．