意味と頻度の関係から探求する言語モデルの特性

本稿では，単語頻度と語義の豊富さに関する経験則meaning-frequencylawを通じて，従来とは異なる切り口で言語モデルの特性を分析できることを報告する．具体的には，（1）類似した言語を学習済みであれば，言語モデルは未学習言語の語義をある程度識別できる可能性があること，（2）大規模な言語モデルでは，同法則からは乖離してヒンジ現象という特異な現象が生じることを示す．