大規模言語モデルにおける文生成方向に関する依存性の検証

大規模言語モデルは様々な自然言語処理タスクで使用され，高い性能を示してきた．ところが，事柄が記述される順序は言語によって偏りがあるため，通常の左から右に（順方向に）単語を予測する言語モデルではなく，右から左に（逆方向に）単語を予測するように学習した言語モデルの方が解きやすいタスクが存在するかもしれない．本研究では，言語モデルがタスクを解くときに単語の生成方向が与える影響を検証するため，順方向あるいは逆方向に学習した二種類の大規模言語モデルを常識推論タスクに適用し，その性能の比較・分析を行う．そして，これまで十分に利用が検討されてこなかった逆方向言語モデルの可能性を報告する．