意味と頻度の関係から探求する言語モデルの特性

本稿では，meaning-frequencylaw[1]と呼ばれる言語の統計的法則を通じて，従来とは異なる切り口で言語モデルの特性を分析できることを示す．Meaning-frequencylawとは，高頻度な単語ほど語義数が多いという経験則である．形式的には，単語頻度を𝑓，単語の語義の豊富さを𝑣としたとき，log(𝑣)=𝛿log(𝑓)+𝑐(1)が成り立つという法則である．文献[2]は，言語モデルから得られる文脈付き単語ベクトル（以降，単に単語ベクトルと略記）のばらつきに基づいて語義の豊富さ𝑣を定量化する手法を提案している．同文献は，そのようにして求めた𝑣から得た傾き𝛿が言語モデルの語義識別能力に強く相関することを示している．また，言語モデルが未学習の言語では式（1）からの乖離が大きいことも示している．本稿は，この知見を言語モデルの分析に利用する．分析の準備として，4節で，傾き𝛿が，ある条件下で，理論値0.5に収束することを証明する．この値は，以降の節で，各種条件下での𝛿の値を吟味する際の一つの基準となる．続く5節では，言語モデルが未学習の言語を対象にしても同法則が観測されることを示す．未学習の言語とは，言語モデルの訓練データに含まれない言語のことである．例えば，クロアチア語やセルボ・クロアチア語を学習した言語モデルを未学習言語ではあるが類縁関係にあるスロヴェニア語に適用して得た語義の豊富さ𝑣も式（1）に従うことを示す．この結果は，人間と同様に，言語モデルでも習得済み言語に類似した未学習言語の語義をある程度識別できる可能性があることを示唆する．6節では，ヒンジ現象と呼ばれる現象を報告する．ヒンジ現象とは，言語モデルが大規模になると，頻度と語義の豊富さのプロットが単一の直線ではなく，図1の赤丸と青三角で表されるように，二つの直線をつないだヒンジ形となる現象を指す．この現象は，大規模な言語モデルでは高頻度語とそれ以外の語で語義の識別方法が異なることを示唆する．本稿では，英日のデータにおいてヒンジ現象が生じることを示し，その理由を考察する．