白色化が単語埋め込みに及ぼす効果の検証

深層ニューラルネットワークに基づく自然言語処理では必須の要素となる静的あるいは文脈化単語埋め込みには，空間的な偏り（異方性）が存在し，その能力を十分にいかせていないことが実証されている．この異方性を緩和する方法として，白色化がある．白色化は標準的な線形変換であるが，実験的に性能が向上することが報告されている．しかし，性能向上の理由は自明ではなく，理論的あるいは実験的な分析が望まれる．本研究では，白色化が単語埋め込みに及ぼす意味的な影響を明らかにするための実験を行う．実験結果から，白色化は，静的単語埋め込みに対しては単語頻度バイアス除去効果を示し，文脈化単語埋め込みに対しては単語頻度バイアス除去効果以外の効果を持つことが示唆された．1）