高品質な単語ベクトル取得のための言語モデルの層選択

文脈付き単語ベクトルは言語研究に盛んに用いられているものの，言語モデルのどの層の出力を単語ベクトルとすべきかの明確な基準が存在しない．本稿では，最適な層を選択するための汎用的な手法を提案する．その実現のため，meaning-frequencylaw[1]という経験則を利用する．実験により，（1）最適な層は最終層などとする従来の知見は必ずしも正しくはなく，（2）提案手法は，常に最適な層を選択できるわけではないが，汎用的に層選択が行える，（3）そのようにして選択した層は，最大性能からの性能低下を抑えることに有効である，ことを示す．