バイト符号化を用いた日本語マスク言語モデルの開発における知見と学習したモデルの分析結果について報告する．本論文前半では，モデルアーキテクチャ・学習戦略の探索を行い，大規模言語モデルで用いられるアーキテクチャは，バイト単位マスク言語モデル構築時においても有効であること，マスク率は50%が最適であることを確認した．後半では，学習したバイト単位マスク言語モデルの表層的な類似に対する頑健性及びモデル内部での複合化過程を分析した．学習したバイト単位マスク言語モデルは，表層的な類似に対して頑健であり，モデル内部での複合化はモデルの初期及び最終層付近で行われていることを確認した．

本論文では，日本語を含むテキストをバイト列として符号化(以下，バイト符号化とする)して学習された日本語エンコーダ型マスク言語モデル[1](以下，バイト単位マスク言語モデルとする)に着目する．バイト符号化はテキストをバイト列として符号化する手法であり，ノイズに対する高い頑健性が注目され言語モデルの構築で用いられる[2,3,4]．現在，主流のサブワード単位でトークン分割(以下，サブワード符号化とする)を行ったモデルでは，単語・フレーズごとに分割の粒度が異なるため，テキストや文字数の区切れが重要なタスクにおいて扱いにくい場合がある．一方でバイト単位マスク言語モデルは文字以下の粒度の語彙を持つため，単語分割器等の日本語基礎解析器構築，スパン予測タスク等の応用事例において有用であると期待される．本論文の前半では，バイト単位マスク言語モデルに適したモデルアーキテクチャ・学習戦略の探索結果を報告する．特に，大規模言語モデル構築における知見がバイト単位マスク言語モデル構築においても有効であるかを検証する．また，バイト単位マス1.バイト単位マスク言語モデルのアーキテクチャ・学習戦略探索LNSwiGLUMLPLNvs.e590<MASK>…e38182e382e590<MASK>…<MASK><MASK>vs.LNAttention+RoPEAttentionマスク率:⼩マスク率:⼤LNAbsolutePE