言語一般の計測を目指して:サブワードと分散意味論に基づく言語の複雑性計測

「あらゆる言語は等しく複雑である」という，いわゆる言語の等複雑性については，20世紀中に多くの言語学者が言及しており，それ以来，言語学者の間で広く受け入れられてきた．しかし，この主張は確固たる証拠に基づいて提唱されたわけではなく，経験的に信じられてきた一種のドグマであると指摘する声もある[1]．近年では，コンピュータ技術の進歩により，大規模データを用いた計算的手法による言語の複雑性の計測が数多く行われており[2][3]，この分野の議論が特に活発化している．一方で，「あらゆる言語は等しく複雑か？」という問いについては，依然として明確な合意には至っていない．言語の複雑性研究における大きな課題の1つとして，複数の言語間で妥当な比較が可能な計測手法1）英語，フランス語，フィンランド語，ヘブライ語，ヒンディー語，ハンガリー語，カザフ語，ロシア語，スワヒリ語，タガログ語，トルコ語，ウルドゥー語である．後述の通り，単語を分ち書きする表記システムを持つ言語を対象とした．が未確立である点が挙げられる．例えば，単語を基準にした複雑性を考えようとすると，分かち書きをしない言語では単語の境界が明確でない場合がある．また，そのような言語で何らかの方法で“単語”を定義したとしても，それに基づいて得られた複雑性の数値を他言語と比較することが妥当であるかは自明ではない．さらに，言語の複雑性研究では，形式的側面に比べて意味的側面の研究があまり進んでいないことも課題である．これは意味の側面を考慮しようとすると，コンピュータによる自動処理を基盤とした大規模な調査が，より難しくなるためである．この課題の解決を目指し，本研究は形式–意味対応の複雑性を言語の複雑性の一要素と捉え，その言語間比較を試みる．具体的な実装としては，BERTによるサブワードトークンへの分割とその分散表現を利用することで，形式意味対応の複雑性を計測した．以下では，第2節で，言語の等複雑性がこれまでどのように扱われてきたかを概観し，その問題点を指摘する．第3節で，本研究が行った分析の手法を説明し，第4節で，分析の結果，及び考察を行う．