単語音素のベクトル化による言語地図作成

社会言語学の研究の中では，方言語形を地点ごとに配置するいわゆる「言語地図」を作ることが一般的である．そのような方法は「言語地理学」と言われることが多い．その初期には手作業でスタンプを地図に押印する方法がとられたが，近年では，GISの手法を用いて，電子的に表現する方法が一般的である．「言語地図」の研究手法は，古く，柳田国男の『蝸牛考』[1]で知られるように（例えば，列島の中心部で「デンデン」，その回りに「マイマイ」さらにその周辺部で「カタツムリ」，そして「ナメクジ」があるように見えることから，周圏分布などと呼ばれた）日本語の古語の語形の歴史的な流布順序などを推定するのに役立つとされている．方言語形は非常に多様で．「かたつむり」の方言形のひとつである「ナメクジ」系にしても，「ナメクシ・マメクジ・ナメクジリ・ナメラ・ナメクジナ」など極めて多くのバリエーションがある．これらをひとまとまりとして．「マイマイ」系や「デンデンムシ」系などをまとめたものと，はっきりと区別するように表示する必要がある．しかし今回，テストデータとして用いた「日本言語地図」データなどでは全国に2800地点分程度の方言語形があり，それぞれが微妙なバリエーションを示している．したがってこれを全部，研究者の判断で分類して，特定のアイコンに結びつけることは非常に手間が掛かり，言語地図を作るうえでの障害であったため，その自動化の手法を提案したい．今回はそれを自動化するために，各単語ごとの音素（ローマ字1字に相当）の頻度を測り，BagofCharactersあるいは，BagofcharacterN-gram(n=1または2)のようにして，各単語について26次元のベクトルを作成した．実際は，その中で今回は使わない，音素に含まれない文字，例えばXなどもあるが，今後の拡張も考えて26個とした.