多様で高品質な非自己回帰テキスト生成に向けたTransformerの逆推論と文のアナロジー

テキスト生成技術は，自己回帰に基づく手法が目覚ましい発展を遂げており，様々なタスクへの応用が進められているが，生成結果の多様性には課題が残されている．例えば，あるテキストに対して意味を保ちつつ語の選択や統語構造が異なるテキストを作る言い換え生成は，入力と出力が同一言語で，かつ意味が近いほど良いという特殊なタスクで，一般的な系列変換モデルは入力をほぼそのまま出力するような単純な解に陥ることがある[1]．より多様な生成結果を得るために，単語の予測分布に温度を導入することや，入力に存在する𝑛-gramの出力を禁止する方法[1]が考えられるが，文法的な正確性を損なうことがある．多様性は，生成の質とのトレードオフとなるのではなく，場合により許容される一定程度の意味の揺らぎから生まれることが望ましい．拡散モデルは，画像生成分野において生成品質と多様性がともに高い手法として注目を集めている生成モデルで[2,3]，テキスト生成に適用する研究も行われている[4,5,6]．拡散言語モデルは，拡散モデルで単語埋め込みの列を生成して離散化することで単語列を得る．長所として，非自己回帰手法であることによる生成速度も挙げられる．多様なテキスト生成技術の主な用途にデータ拡張があることを踏まえると，高い多様性と速度はいずれも好ましい性質である．一方，生成の品質は長らく発展途上にある．本稿では，多様かつ安定した非自己回帰テキスト生成の実現を目指し，双方向Transformer[7]を用いたテキストエンコーダの特徴量抽出過程を逆向きに辿るという新たなパラダイムについて検討する．意味的類似度を測るためのテキストエンコーダとして訓練された理想的なTransformerは，言い換え関係にあるテキストに対して同じベクトルを出力する．これは統語構造などの情報を捨てて意味情報のみを残す多対一の変換と捉えられるので，確率的に一対多の逆推論を行うモデルを用意できれば，言い換えたいテキストをエンコードして逆推論することで，その意味を表す様々なテキストが得られるだろう．また，Transformerの隠れ状態という文脈依存の単語埋め込み列を中間状態とする点で，文脈非依存の単語埋め込み列の改善に基づく拡散言語モデルよりも合理的な非自己回帰生成過程と解釈できる．ただし，実際には言い換え関係にあるテキストに対して全く同一のベクトルを出力するTransformerを用意することは困難であり[8,9]，従って逆推論による生成結果もそのままでは多様になりにくい．そこで，言い換えたいテキストと類似度が一定のベクトルをサンプリングする方法や，テキスト埋め込み同士の加減算によって，生成の種となる様々なベクトルを作成し，意味のずれに起因するさらなる多様性の向上を追求する．