球体表面を利用した位置符号化

系列変換モデルTransformer[1]の登場によって文生成の性能は大きく向上した．しかし，非常に流暢な文を生成できるものの，原文にはない情報や原文とは異なる内容の文をしばしば生成することがある．固有表現のような簡単な語の誤りに関しては大規模な事前学習済み言語モデルを導入することで改善が期待できるが，原文と同じ単語を使いながら違う意味を生成する場合には不十分である．こうした問題を解決するため，原文の構文構造を活用する手法が提案されている[2,3,4].その中でも，Wangら[2]はTransformer内部で単語の位置情報を取り扱う位置符号化において，各単語の依存構造木中における深さと文中の絶対位置(文の先頭から何単語目か)とを加算する構造化位置符号化を提案した．このように位置情報を扱う埋め込みで系列文以外の情報を表現し単語分散表現に足し合わせる手法は,さまざまなタスクで使われており[5,6]，効果的である．一方で，この符号化を用いると同じ値をとる単語が複数でてきてしまう，または．通常の絶対位置の順序が変わる可能性がある．絶対位置は生成性能に大きく影響を与える[2]ことから，言語生成タスクにとって重要な性質であり，保持すべき情報である．本稿では，Wangらの方法[2]の問題を解決するため，単語の絶対位置と依存構造上での深さを球体表面で表現する位置符号化を提案する．図1に提案手法の直感的な例を示す．Transformerの位置符号化は，単語の位置を円周上の赤い点として表現する．つまり，角𝜃を用いて単語の位置を表す．一方，提案法では，単語を球体表面上の青い点として表現する．つまり，単語の絶対位置はTranformerの位置符号化と同様，円周上の点として角𝜃を用いて表し，依存構造木における深さを仰角𝜙を用いて表す．このように𝜃と𝜙を用いて単語の位置を符号化することで値が重複することを回避する．文生成タスクとして機械翻訳を採用し，中英，英日，英独翻訳における評価実験を行った結果，通常のTransformer，Wangらの手法と比較して提案法はBLEU値の改善傾向がみられた．また，原文の構文の複雑さを文の長さと構文木の深さで分類し，評価した結果から，より複雑な文において提案法が有効であることが明らかとなった．.