既存の日本語の形態素解析システムの性能は非常に高いが、これらシステムは漢字仮名混じりの文を対象にしているため、平仮名で書かれた文を単語分割することは難しい。本論文では漢字以外の文字、つまり平仮名、数字、記号からなる文字ベースのunigramBERTとbigramBERTを作成し、これらを利用して二種類の平仮名文の単語分割システムを構築した。これらをKyTeaを利用した平仮名分割システムと比較したところ、unigramBERTによる平仮名分割システムの性能が最も高くなったことを示す。

日本語にはMeCab1）やChasen2）等の形態素解析システムが存在している。これらのシステムの性能は非常に高いが、漢字仮名混じりの文を対象にしているため、ほとんど全てが平仮名で書かれた文3）を単語分割することは難しい。日本語初学者が最初に習得するのは平仮名であり平仮名で構成された文章を読む機会が多い。しかし平仮名で構成された文章を滞ることなく読むことは日本語の母語話者であっても難しい。本稿ではBERTを利用した2種類の平仮名文の分割システムを作成しその性能評価を行う。さらに、KyTea4）を用いた平仮名文KeyTea単語分割システムを作成し、作成した2種類のBERTによる平仮名文の単語分割システムと比較する。