球体表面を利用した位置符号化

系列変換モデルを使った文生成では，原文の構文構造を活用することで性能が向上することが報告されている．Transformer内部で各単語の位置を表現する位置符号化において，単語の絶対位置と構造位置(単語の依存構造木での深さ)を同時に符号化することの有効性が示されている．一方，既存法では，符号化された値の衝突が起きたり，単語の順序が保存されなくなるという問題がある．本研究では，この問題を解決するため，単語の絶対位置と構造位置を球体表面で表現する位置符号化を提案する．翻訳タスクでの実験を行った結果，既存手法と比べ提案手法はBLEU値の改善傾向が見られた．また，文の長さ，依存構造木の深さ別での評価を行った結果，構造位置が長文において有効であることがわかった．