マルチヘッドニューラルN-gramによる自己注意機構の代替

Transformerの優れた性能は，入力系列内の全てのトークン間の依存関係を考慮する自己注意によるものであると考えられている．しかし，全ての依存関係を考慮する必要があるかは疑問が残る．本研究では，全トークン間の依存関係を考えるのではなく，各トークンの周辺のトークンのみを用いたニューラルN-gramモデルに着目し，マルチヘッド機構による改良を施したマルチヘッドニューラルN-gramモデル（multiNN）を提案する．系列変換タスクの実験を通して，提案手法はTransformerに匹敵する性能を示すことを報告する．また，様々な分析の結果から，マルチヘッドニューラルN-gramは自己注意とは異なる優位性があり，両者を組み合せることにより，Transformerを上回る性能を達成することも報告する．