Transformer言語モデルの予測ヘッド内バイアスによる頻度補正効果

近年Transfrormerネットワークを採用した言語モデルが大きな成功を収め，注意機構やフィードフォワードネットを中心に分析が盛んに行われてきた．本研究ではモデルの出口部分にあたり，出力に直接作用する予測ヘッドの働きを分析する．実験から予測ヘッド内のバイアスが単語予測を頻度補正していることを明らかにする．具体的には，このバイアスが高頻度語の予測確率を上げ，低頻度語の予測確率を下げることで，予測分布を実際の単語頻度分布に近づけていることが観察された．さらにこの知見を応用し，バイアスを制御することで言語モデルに多様かつ人間に近い文章生成を促せることを示す．