中間文生成は，損傷した文章の復元，記事の執筆のような多くの状況で役立つ一般的なタスクであるものの十分な研究が行われていない[1].本研究では，表面的なパターンを学習してしまうことや，近年の言語モデルのサイズの増加に伴い学習にコストがかかることなどの，教師あり学習モデルの持つ問題を回避するため，学習なしでの中間文生成に取り組む．手法としては，最後の文の埋め込みと各語彙トークンの埋め込みとのコサイン類似度を，自己回帰言語モデルが次トークンを予測する際に使用する語彙の対数確率に足し合わせるという単純なものである．これはあらゆる自己回帰言語モデル，復号化アルゴリズムに対して適用可能なPlug-and-Playな手法である．実験の結果，これまでの学習なし中間文生成手法と比較して，計算コストが十分に少なく，自動評価において大幅に上回る指標があるなど，新たな中間文生成の手法としての可能性を示した．

中間文生成は，文や段落の欠落した文章を補完するテキストを生成することを目的としたタスクである．中間文生成の主な手法として，GPT2[2]のような事前学習済みモデルのﬁne-tuning[3,4,5]や，ゼロから学習を行う[3,4,6]などの方法が挙げられる．しかし，大きなデータセットにより教師あり学習を行なってもなお，データセットに固有の表面的なパターンを学習してしまう[7]ことや，現在の言語モデルは540Bパラメータのもの[8]が出てくるなど，非常に巨大になっていることから，それと性能的に匹敵するモデルをゼロから学習したり，既存の事前学習済みモデルをﬁne-tuningするのにも多くのコストがかかることなど多くの問題が存在する．そこで本研究では，現在最も支配的なパラダイムであるGPTのような，左から右への推論を行い，与えられたテキストの次に来るトークンを予測するモデルである自己回帰言語モデルにおいて，追加での学習なしに中間文生成を行うことが可能であり，あらゆる自己回帰言語モデルや復号化アルゴリズムに対して適用可能な手法を提案する．追加での学習を必要としないこれまでの中間文生成手法として，TIGS[9]やDELOREAN[10]，COLD[11]が挙げられる．しかし，これらの手法は，最適化のために多くのステップを必要としたり，複数の候補文の生成を行う必要があるなど計算コストが大きいという問題がある．本提案手法では，自己回帰言語モデルが事前学習により獲得しているトークンの埋め込みベクトルを活用し，追加の学習を必要としない中間文生成を行う．具体的には，最後の文の各トークンとのコサイン類似度をモデルが出力する次トークンの対数確率に加算することで，これまでの文との継続性とともに最後の文を考慮して中間文を生成するという単純なものであり，通常の左から右への推論と同等の計算コストで生成を行うことができる．実験は，1文の中間文からなるARTDatasetと，3文の中間文からなるROCStoriesの2つのデータセットを使用して行なった．ARTDatasetを使用した実験では，学習なし中間文生成の先行手法であるCOLDとDELOREANとの比較を行い，自動評価において提案手法の一定の有効性を確認した．さらに，計算コストの面でもDELOREANやCOLDに比べて100倍以上高速であることを確認した．ROCStoriesを使用した実験では先行手法と同様に複数の中間文生成にも拡張可能であることを確認し，今後の課題をより明確にした．