R2T:言語モデルの確率操作による学習なし中間文生成

中間文生成は，損傷した文章の復元，記事の執筆のような多くの状況で役立つ一般的なタスクであるものの十分な研究が行われていない[1].本研究では，表面的なパターンを学習してしまうことや，近年の言語モデルのサイズの増加に伴い学習にコストがかかることなどの，教師あり学習モデルの持つ問題を回避するため，学習なしでの中間文生成に取り組む．手法としては，最後の文の埋め込みと各語彙トークンの埋め込みとのコサイン類似度を，自己回帰言語モデルが次トークンを予測する際に使用する語彙の対数確率に足し合わせるという単純なものである．これはあらゆる自己回帰言語モデル，復号化アルゴリズムに対して適用可能なPlug-and-Playな手法である．実験の結果，これまでの学習なし中間文生成手法と比較して，計算コストが十分に少なく，自動評価において大幅に上回る指標があるなど，新たな中間文生成の手法としての可能性を示した．