R2T:言語モデルの確率操作による学習なし中間文生成

中間文生成は，文や段落の欠落した文章を補完するテキストを生成することを目的としたタスクである．中間文生成の主な手法として，GPT2[2]のような事前学習済みモデルのﬁne-tuning[3,4,5]や，ゼロから学習を行う[3,4,6]などの方法が挙げられる．しかし，大きなデータセットにより教師あり学習を行なってもなお，データセットに固有の表面的なパターンを学習してしまう[7]ことや，現在の言語モデルは540Bパラメータのもの[8]が出てくるなど，非常に巨大になっていることから，それと性能的に匹敵するモデルをゼロから学習したり，既存の事前学習済みモデルをﬁne-tuningするのにも多くのコストがかかることなど多くの問題が存在する．そこで本研究では，現在最も支配的なパラダイムであるGPTのような，左から右への推論を行い，与えられたテキストの次に来るトークンを予測するモデルである自己回帰言語モデルにおいて，追加での学習なしに中間文生成を行うことが可能であり，あらゆる自己回帰言語モデルや復号化アルゴリズムに対して適用可能な手法を提案する．追加での学習を必要としないこれまでの中間文生成手法として，TIGS[9]やDELOREAN[10]，COLD[11]が挙げられる．しかし，これらの手法は，最適化のために多くのステップを必要としたり，複数の候補文の生成を行う必要があるなど計算コストが大きいという問題がある．本提案手法では，自己回帰言語モデルが事前学習により獲得しているトークンの埋め込みベクトルを活用し，追加の学習を必要としない中間文生成を行う．具体的には，最後の文の各トークンとのコサイン類似度をモデルが出力する次トークンの対数確率に加算することで，これまでの文との継続性とともに最後の文を考慮して中間文を生成するという単純なものであり，通常の左から右への推論と同等の計算コストで生成を行うことができる．実験は，1文の中間文からなるARTDatasetと，3文の中間文からなるROCStoriesの2つのデータセットを使用して行なった．ARTDatasetを使用した実験では，学習なし中間文生成の先行手法であるCOLDとDELOREANとの比較を行い，自動評価において提案手法の一定の有効性を確認した．さらに，計算コストの面でもDELOREANやCOLDに比べて100倍以上高速であることを確認した．ROCStoriesを使用した実験では先行手法と同様に複数の中間文生成にも拡張可能であることを確認し，今後の課題をより明確にした．