言語の固有次元を測る

言語の複雑性に関する問題は言語学や計算機科学に属する複数のドメインで長い間探求されてきたが，近年では特に深層ニューラルネットワークモデルが獲得する自然言語文の表現の複雑性に注目が集まっている．これまでの表現学習モデルがどのような言語の複雑性を捉えてきたのか，またこれからのモデルがどのような複雑性を獲得していけばよいのかを考える契機となることを目的として，本稿では，固有次元の観点から言語の複雑性を推定する．実験の結果，最近のモデルから得られた表現であっても固有次元の推定値は数～十数程度となり，言語の持つ本質的な次元の小ささが示唆された．