平仮名BERTを用いた平仮名文の分割

既存の日本語の形態素解析システムの性能は非常に高いが、これらシステムは漢字仮名混じりの文を対象にしているため、平仮名で書かれた文を単語分割することは難しい。本論文では漢字以外の文字、つまり平仮名、数字、記号からなる文字ベースのunigramBERTとbigramBERTを作成し、これらを利用して二種類の平仮名文の単語分割システムを構築した。これらをKyTeaを利用した平仮名分割システムと比較したところ、unigramBERTによる平仮名分割システムの性能が最も高くなったことを示す。