日本語バイト符号化マスク言語モデルの開発と分析

本論文では，日本語を含むテキストをバイト列として符号化(以下，バイト符号化とする)して学習された日本語エンコーダ型マスク言語モデル[1](以下，バイト単位マスク言語モデルとする)に着目する．バイト符号化はテキストをバイト列として符号化する手法であり，ノイズに対する高い頑健性が注目され言語モデルの構築で用いられる[2,3,4]．現在，主流のサブワード単位でトークン分割(以下，サブワード符号化とする)を行ったモデルでは，単語・フレーズごとに分割の粒度が異なるため，テキストや文字数の区切れが重要なタスクにおいて扱いにくい場合がある．一方でバイト単位マスク言語モデルは文字以下の粒度の語彙を持つため，単語分割器等の日本語基礎解析器構築，スパン予測タスク等の応用事例において有用であると期待される．本論文の前半では，バイト単位マスク言語モデルに適したモデルアーキテクチャ・学習戦略の探索結果を報告する．特に，大規模言語モデル構築における知見がバイト単位マスク言語モデル構築においても有効であるかを検証する．また，バイト単位マス1.バイト単位マスク言語モデルのアーキテクチャ・学習戦略探索LNSwiGLUMLPLNvs.e590<MASK>…e38182e382e590<MASK>…<MASK><MASK>vs.LNAttention+RoPEAttentionマスク率:⼩マスク率:⼤LNAbsolutePE