ルールベースG2Pによる多言語固有表現の国際音声記号表記付きデータセットの構築

ある言語における固有表現（NE）を表すテキストとそれに対応する音声記号表記のデータは，テキストの発音に関する情報が求められる諸タスクにNEを対象として取り組む場合において必要となる．例えば，任意の文字体系で書かれた表記を国際音声記号（IPA）などの発音記号に変換するgrapheme-to-phoneme（G2P）に，NEを対象としてニューラルベースの手法で取り組む場合，元のNE表記と発音の関係を学習するためのデータが必要である．また，多様な言語・文字種のNE表記を全て統一的なIPAに変換したデータが存在すれば，特定の言語に依らない非常に通言語性にすぐれた「IPA言語モデル」の学習に利用できる．これらに加え，特定の言語におけるNE表記を正しいIDにリンキングさせるタスクにおいても，テキストと音声記号表記の対応データが必要な場合がある．例えば，他の言語のNE表記とIDのペアが明示された情報が存在する場合，NE表記をIPA列に変換して，メインの研究対象である言語のNE表記から変換されたIPA列と他言語のNE表記から変換されたIPA列のあいだで音声的類似度を計算し1），類似度が最も高い他言語のNE表記と紐付いているIDをメインの研究対象である言語のNE表記に紐付くIDとする，という手法が考えられる．この場合の音声的類似度の計算にも，やはりNE表記と音声記号表記のマッピングのデータが必要となる．元言語の表記と音声記号表記の対応データを公開した先行研究として，オンライン辞書“Wiktionary”の記述に基づくデータセットを公開したものが挙げられる[2]．しかし，このデータセットはNEに特化したものではなく，上に挙げたようなNEを対象とするタスク・研究における利用には適さない．本研究では，既存のNE表記データセットを用い，複数言語のNE表記をルールベースG2Pのフレームワークを用いてIPA列に変換することによって，上記のようなNE関連のタスクに必要なIPA付きNE表記データセットを構築した．また，日本語については，このフレームワークにおけるサポートが存在しなかったため，言語学・音声学分野の文献を基にG2Pルールを新たに作成した．この結果，68言語について，NE表記と対応するIPA列の組数が6,900万以上にのぼるデータセットが完成した．このデータセットは，NEを対象とした研究における使用に適したものであるのみなら1）具体的な音声的類似度の計算方法としては，IPA同士でナイーブな編集距離を計算する手法のほか，IPAの各シンボルを音声学的な素性の有無に基づくベクトルに変換してから類似度を計算する手法[1]などが挙げられる..wikidataidlabellanguagetypeQ19618413KorshunikhaenLOCwikidataidlabellanguagetypeipaQ19618413KorshunikhaenLOCkOôSunIkh@ず，1言語あたりのデータの量についても先行研究の元言語表記-IPA表記データセットを上回るものとなっている．