言語一般の計測を目指して:サブワードと分散意味論に基づく言語の複雑性計測

本研究は，「あらゆる言語は等しく複雑である」という，いわゆる言語の等複雑性について，単位形式系列当たりの語義数とその出現確率の偏りを通して，言語の複雑性を計測を試みる．このために，BERTを用いたサブワードへの分割や分散表現を利用している．12言語1）を対象とし，ランダムサンプリングしたWikipediaの100記事をデータとして，各言語につき4回の分析を行った．結果として，全体的には単位形式系列当たりの語義数に大きな差が見られなかった．一方で4回の分析に渡って，各言語はそれぞれ非常に近い値を示すことが多かった.このことから言語の複雑性は，非常に狭い領域に収ま理ながら，その領域内で各言語が特有の傾向を持つことが示唆される．