日本語バイト符号化マスク言語モデルの開発と分析

バイト符号化を用いた日本語マスク言語モデルの開発における知見と学習したモデルの分析結果について報告する．本論文前半では，モデルアーキテクチャ・学習戦略の探索を行い，大規模言語モデルで用いられるアーキテクチャは，バイト単位マスク言語モデル構築時においても有効であること，マスク率は50%が最適であることを確認した．後半では，学習したバイト単位マスク言語モデルの表層的な類似に対する頑健性及びモデル内部での複合化過程を分析した．学習したバイト単位マスク言語モデルは，表層的な類似に対して頑健であり，モデル内部での複合化はモデルの初期及び最終層付近で行われていることを確認した．