白色化が単語埋め込みに及ぼす効果の検証

静的単語埋め込み（StaticWordEmbeddings,SWE）[1,2]，および文脈化単語埋め込み（ContextualizedWordEmbeddings,CWE）[3,4,5]は，現代の自然言語処理システムにおいて必須の基盤技術である．このような埋め込みを作成する目的は，単語，フレーズ，文の“意味”を捉えた表現を計算することである．しかしながら，ジェンダーバイアス[6]，ソーシャルバイアス[7]などの学習データに固有のバイアスも反映してしまうことが報告されている．SWEについては，高頻度単語が特定の方向に沿って集中する単語頻度バイアスが存在することが先行研究により示されている[8]．このような単語ベクトルの非一様な角度分布（異方性）は，埋め込み空間の非効率的な利用につながる．また，単語頻度バイアスの介在する埋め込み空間においては，頻度の高い単語は，意味が似ていないにもかかわらず，類似のベ1）本研究で用いたコードは以下のURLで公開予定である：https://github.com/losyer/whiteningeffectクトルで表現されることになる．このことから一般に，単語埋め込み空間の異方性は改善すべきであると考えられている．単語埋め込み空間の異方性の影響を軽減するために，いくつかの等方化手法が提案されている．本研究では，最もシンプルな等方化手法として注目されている白色化に焦点を当てる．白色化は空間的に相関のある（異方的な）ベクトル集合を，相関のない（等方的な）ベクトル集合に変換する線形変換である．白色化は標準的なデータ変換技術であるが，特にCWEなどの単語埋め込みへ適用する研究は最近になって登場した[9,10]．これらの先行研究では，CWEを対象とした等法化手法の中で白色化が他の手法よりも優れていることを報告している．しかしながら，白色化の欠点は，様々な種類のバイアスや埋め込みの意味的特性への影響が十分に調査されていない点である．本論文では，白色化が単語埋め込みに及ぼす意味的な影響に関する初期分析を行う．事前分析では，白色化の効果は単語頻度バイアス除去の効果を含んでいることが示された．そこで，白色化の効果が単語頻度バイアス除去のみであるかどうかを本論文のResearchQuestionとする．白色化の効果をより明確化するために，単語頻度バイアス除去のみを行う手法を利用する．具体的には，埋め込みにおける単語頻度バイアスを除去することのみに着目した再構築に基づく単語頻度バイアス除去手法(RFD)を提案し，白色化とRFDの挙動を比較する．その結果，SWEでは単語頻度バイアスが，CWEでは単語頻度バイアスに加え，それ以外のバイアスが除去されることが示唆された．