平仮名BERTを用いた平仮名文の分割

日本語にはMeCab1）やChasen2）等の形態素解析システムが存在している。これらのシステムの性能は非常に高いが、漢字仮名混じりの文を対象にしているため、ほとんど全てが平仮名で書かれた文3）を単語分割することは難しい。日本語初学者が最初に習得するのは平仮名であり平仮名で構成された文章を読む機会が多い。しかし平仮名で構成された文章を滞ることなく読むことは日本語の母語話者であっても難しい。本稿ではBERTを利用した2種類の平仮名文の分割システムを作成しその性能評価を行う。さらに、KyTea4）を用いた平仮名文KeyTea単語分割システムを作成し、作成した2種類のBERTによる平仮名文の単語分割システムと比較する。