本研究では，事前訓練に必要な計算資源の削減を目的として，文字とサブワード単位の両方を利用可能な言語モデルの構築に取り組む．既存のサブワード正則化技術を応用することで，文字とサブワードを同時に用いた言語モデルの事前訓練を実現する．実験では，BERTの事前訓練を題材として手法の効果を検証する．

事前訓練済み言語モデルはNLPの各種タスクにおいて大きな成功を収めている[1]．これらのモデルにおいては，入力文をトークン列に分割する方法（以降，分割方法と言及する）がモデルに紐付いた形で規定されており，モデルのユーザは規定された分割方法に従う必要がある．しかし，あらかじめ規定された分割方法が，ユーザが目的とするタスクの要求する分割方法と一致しない場合がある．例えば，サブワード単位で事前訓練されたモデルを，文字単位の分割を要求するタスクに適用する場合にこの問題は生じる．いま，日本語における句読点復元タスクを考える．句読点復元タスクとは，書き起こし文の読みやすさを向上させることを目的として，音声認識システムにおける後処理として用いられるタスクである[2]．ここで，句読点を挿入するべき箇所は，必ずしもサブワード分割の単位と一致しないため，文字単位での分割が必要となる．分割方法の不一致を解決する方法として，単純には，サブワード単位と文字単位のそれぞれについて独立に事前訓練済み言語モデルを構築することが考えられる．実際，これは日本語の事前訓練済み言語モデルにおける標準的な慣習である．例えば，日本語用BERTにおいて，サブワード単位のもの1）と文1）https://huggingface.co/cl-tohoku/bert-base-japanese-v2事前訓練用コーパスサブワード単位分割BPE-dropout文字単位分割文字単位BERTサブワード単位BERT文字&サブワード単位BERT既存研究本研究単位の言語モデルが独立に作成されてきた（左）．本研究ではサブワード正則化（BPE-dropout）を応用することで，各分割単位を同時に利用可能なモデルを構築する（右）．字単位のもの2）がそれぞれ配布され，活発に用いられている．同様に，著者らも社内向けにサブワード単位・文字単位のモデルの訓練と配布を継続的におこなってきた3）．しかし，事前訓練は大量の計算資源を必要とする．そのため我々は，サブワード単位と文字単位の両方を利用可能な単一の言語モデルを訓練するための方法論を構築し，事前訓練に必要な計算資源を削減したい．この目的を達成するために，本研究ではサブワード正則化[3]を言語モデルの事前訓練に応用する（図1）．本来，サブワード正則化は，入力文から複数の分割候補を獲得し，モデルの頑健性と汎化性能を向上させるための手法である．その代わり，本研究ではサブワード正則化をサブワード単位と文字単位を同時に言語モデルの事前訓練に取り入れるための方法論として応用する．手法そのものは非常に単純で，追加のモデルパラメータを必要としないほか，ファインチューニング時の計算コストにも全く影響しない．我々の手法の効果を示すため，BERTの事前訓練を題材として実験をおこなう．実2）https://huggingface.co/cl-tohoku/bert-base-japanese-char-v23）時事情報を言語モデルに反映するため，クローリングで収集したテキストデータ等を用いた言語モデルの再学習が定期的に必要となる．.験では，サブワード正則化を用いて事前訓練されたBERTは，サブワード単位や文字単位について独立に訓練されたBERTと同等の性能を示した．