高品質な単語ベクトル取得のための言語モデルの層選択

言語モデルから得られる文脈付き単語ベクトル（以降，単に単語ベクトルと省略）は単語の用法や語義に関する言語分析に盛んに用いられている（例：文献[2,3,4,5]）．単語ベクトルは言語データのみから学習され，語義，用法など単語の属性を反映しており，言語研究に有益である．特に，対象単語の前後両方の文脈情報を考慮できるマスク言語モデルの単語ベクトルの利用が盛んである．深層学習に基づいた言語モデルは複数の層から成るが，どの層の出力を単語ベクトルとすべきかについて明確な基準が存在しない．上述を含む多くの既存研究では，言語モデルの最終層の出力，全層の出力の平均などを慣習的に用いることが多い．また，Ethayarajh[6]は，最終層の直前の層（以降，前最終層と省略）の出力が，文脈を最もよく識別すると報告している．しかしながら，この結果は語義識別能力を直接評価したものではない．単語ベクトルを得るための最適な層を簡便かつ効果的に知ることができれば，より良い単語ベクトルの利用につながる．そこで，本稿では，最適な層を選択するための汎用的な手法を提案する．ここで汎用的とは，層選択に必要となるのは生コーパスのみであり，性能を見積もるための検証データなど追加の情報は必要ないことを意味する．この特性を実現するため，提案手法は，言語学で知られるZipfのmeaning-frequencylaw[1]に基づく．同法則は，高頻度な単語ほど語義数が多いという経験則である．形式的には，単語頻度を𝑓，単語の語義の豊富さを𝑣としたとき，log(𝑣)=𝛿log(𝑓)+𝑐(1)が成り立つという法則である．文献[7]で，傾き𝛿と言語モデルの最終層から得られる単語ベクトルの語義識別能力には高い相関がみられることが示されている．この知見に従い，単語ベクトルの語義識別能力の指標として傾き𝛿の値を使うというのが提案手法の基本方針である．本研究の貢献は次の3点である：（1）単語ベクトルを得るための最適な層は，言語モデルと対象言語に応じて大きく異なることを示す（すなわち，従来の知見が正しくないことがある）；（2）Meaning-frequencylawを利用することで，汎用的な層選択を実現する；（3）実コーパスを用いてその有効性を示す．