大規模言語モデルにおける文生成方向に関する依存性の検証

近年，GPT-3[1]をはじめとする大規模言語モデルは，様々な自然言語処理タスクで高い性能を示している．言語モデルは，単語列に対して確率を計算するものであり，ある単語列が与えられた時，その次に続く単語を一つずつ予測する処理を繰り返すことで，単語列を逐次的に生成できる．𝑥を入力文，𝑠𝑖を入力文中のトークン，𝑛を入力文の長さとした時，言語モデルの学習は，コーパス上で𝑛∏𝑝(𝑥)=𝑖=1𝑝(𝑠𝑖|𝑠<𝑖)(1)という式を最大化することで行われる．ここで，言語において事柄が記述される順序には偏りがあるため，言語モデルの学習コーパスにはその偏りが内在しているはずだという点に着目する．例えば日本語では，理由を説明した後に結果や結論を記述する傾向があるため[2]，日本語のコーパスはその傾向を反映し，理由などの前提が先，結論が後に記述される文を多く含むと考えられる．一方で，結論を先，理由を後に記述する文は相対的には少ないと考えられる．自己回帰型の大規模言語モデルの学習は，過去のトークン列から現在のトークンを予測するという部分に時刻に関する非対称性があるため，単語の並び順に関する順序の偏りの影響を受けていると考えられる．そこで，本研究ではテキストを順方向に入力して学習した通常の言語モデルではなく，逆方向に入力して学習した言語モデルの方が解きやすいタスクが存在すると考える．日本語での具体例として，何らかの結論を表す文が与えられ，それに対して尤もらしい理由を説明する文を生成する常識推論のタスクを考える．前述の通り，日本語では理由が先，結論が後で記述される文が多いため，言語モデルの単語の生成方向を考えると，結論で条件付けして理由を生成するタスクは，順方向よりも逆方向の言語モデルの方が解きやすいと予想される．これまでにも，逆方向の言語モデルで文を生成する研究[3,4]は存在していたが，同一タスクを順方向・逆方向の言語モデルで解き，その性能差を単語の並び順の偏りに位置付けて検証した研究はない．本研究では，言語モデルにおける単語の生成方向がタスク処理に与える影響を検証するため，日本語コーパスで学習したGPT-2[5]medium相当の順方向および逆方向の言語モデルを利用する．常識推論のデータセットであるChoiceofPlausibleAlternatives(COPA)[6]を人手で日本語に翻訳したもの1）を評価データとし，zero-shotによる生成的な常識推論タスクに両モデルを適用し，その性能の比較・分析を行う．その実験結果から，これまで利用が十分に検討されてこなかった逆方向言語モデルの方が，通常の順方向言語モデルよりも有利に処理できる文生成タスクが存在することを報告する2）．1）https://github.com/nlp-titech/copa-japanese2）BERT等のマスク言語モデルは双方向の言語モデルだが，文生成タスクには適していないため，本研究では扱わない．.理由の推論結論の推論逆順に逆順に理由理由いい天気だからだ。いい天気なな天気いいGPT-2。行くに散歩、での逆順に結論結論散歩に行く。というのも、ので、散歩に行く。