サブワード系列の変化が固有表現抽出に与える影響の調査

サブワード分割[1,2,3]は近年の自然言語処理で広く利用されている手法であり，単語をより細かいサブワードの列として扱うことで未知語や低頻度語の抑制，辞書数の制限などが行える．しかし，サブワード分割は学習時のデータに対して統計的に処理するため，推論時に出現する単語のサブワード系列が学習時に多く学習したサブワードの列になるとは限らない．そこで，複数のサブワード分割を用いるサブワード正則化が研究されている．サブワード正則化は，単一の文章から複数のサブワード系列を生成し学習することで，推論時に新規のサブワードや系列が出現することを低減させる.図1を例にすると，通常の学習ではTom/hasと分割されてモデルに入力されるところ，Tom/ha/sやT/om/hasのようなサブワード分割についても学習を行う．ユニグラム言語モデルを用いたサブワード正則の出力を取得する例化[3]は，n-bestのサブワード系列を取得し，学習のイテレーションごとに用いるサブワード系列を変更することで，モデルをよりロバストにするための手法である．しかしながら，ユニグラム言語モデルと異なり，サブワード正則化を用いるために必要なn-bestのサブワード候補を尤度に基づいて取得する手法は，BERT[4]などで用いられているwordpiece[1]や，RoBERTa[5]などで用いられているバイトペア符号化（BytePairEncoding，以下BPE）[2]では利用できない．そこで，wordpieceに対しては最長一致候補を単語ごとにランダムに棄却することで複数のサブワード系列を取得するMaxMatch-Dropout[6]が，BPEに対しては結合時にランダムに結合を行わないことで複数のサブワード系列を取得するBPE-Dropout[7]が提案されている．また，図1のようにサブワード正則化によって複数の出力を得た場合でも，サブワード分割前の文は同一であることから，同一文からの異なる分割結果に対して，予測分布の差を小さくするように学習する手法[8]や，推論時にもサブワード正則化を用いることで単一モデルから複数の出力を取得し，それらをアンサンブルすることで単一モデルアンサンブルを行う手法[9]も研究されている．しかしながら，先行研究では，複数のサブワードを用いた精度改善手法が主であり，異なるサブワードに対する出力への影響調査は深く行われていな.(a)全データに対しての結果(b)10種類以下に絞った結果い．本稿では，サブワード正則化によって得られる複数のサブワード系列を同一モデルに入力した際の推論結果に対して調査を行うことで，サブワード系列の変化と推論結果の関係の調査と今後の精度改善に向けた議論を行う．先行研究[3,7,6,9]では，サブワード正則化は，ニューラル機械翻訳タスク，文書分類タスクといった生成，分類タスクに対して用いられてきた．しかしながら，本稿では，サブワード系列の変化と推論結果の関係を明らかにする目的から，抽出タスクである固有表現抽出（NamedEntityRecognition,以下NER）が適していると考え，調査対象とする．