ニューラルネットを用いた自然言語処理では，事前学習済みモデルをﬁne-tuningすることでタスクを高精度に解ける．自然言語の入力は多くのモデルにおいて単語やサブワード等トークンへの分割を前提としている．この手法は誤分割や，語彙の修正後にモデルの再学習が必要な欠点を持つ．これらは文字レベルのトークン分割により緩和できるが，長系列化と，トークンと意味の不一致を起こす．本研究では，バイトレベルに分割するモデルByT5を文字レベル分割とみなし，Attentionを元にトークンを結合し，両者の解決を試みた．テキスト分類実験においてランダムに結合する手法に比べ1.8ポイントの分類精度向上，ByT5に比べ1.78倍の高速化を示した．

ニューラルネットを用いた自然言語処理では，事前学習済みモデルを用いて下流タスクにﬁne-tuningさせることで，生成タスクや分類タスクを高精度に解くことができる．現在ある多くのモデルは入力文字列を単語やサブワード等のトークンに分割するトークン化を行う手法が主流となっている．しかし，トークン化は語彙に無いトークンに対する過剰分割や，未知語に起因する精度低下，トークナイザを更新するとモデルの再学習が必要であり技術的負債を生むという欠点を持つ．文字列を全て文字に分解する文字レベルトークン化を用いると，これらの問題を緩和できる．一方で，文字レベルトークン化は文字トークンと意味が対応しない，シーケンス長も単語やサブワードを用いた場合と比べて長くなる問題が起こる．本研究では，バイトレベルにトークン化するByT5のトークンを，英語データセットに対して文字レベル分割とみなし，Attention情報を利用しモデル内部でトークン結合を行う方法を提案する．これにより，処理速度の向上と意味のまとまりを持ったトークンの保持による精度の向上を目指す．英語のテキスト分類タスクでランダムに結合する手法と比べ分類精度の向上，ByT5と比べ単位時間あたりの処理数の向上を実験により確認した．