\label{instruction}言い換え生成\cite{zhou-bhat-2021-paraphrase}は入力文の意味を保持しながら表現が異なる文を生成するタスクである．言い換え生成は様々なdownstreamtaskに貢献する．特に，生成した言い換えにより疑似的に訓練データを増やすデータ拡張は，主要なアプリケーションの$1$つである\cite{wei2018fast,jolly-etal-2020-data,gao-etal-2020-paraphrase,effendi-etal-2018-multi}．表層が大きく異なる言い換えは，データ拡張において重要である\cite{qian-etal-2019-exploring}一方，表層を大きく変化させることで文の意味的な類似性が損なわれやすいため，その生成は困難である\cite{bandel-etal-2022-quality}．図\ref{similarity}は，疑似言い換え生成手法のひとつである折り返し翻訳\cite{mallinson-etal-2017-paraphrasing,Kajiwara_Miura_Arase_2020}で生成した文対\footnote{\ref{simcse_chapter}節で用いる，英語版Wikipediaを折り返し翻訳し生成した文対に対して測定．}と既存の言い換えコーパスであるParaNMT-50M\cite{wieting-gimpel-2018-paranmt}およびParaCotta\cite{aji-etal-2021-paracotta}に含まれる言い換え文対の意味類似度と表層類似度の分布\footnote{記号を除去したのちに$4$語以上からなる文対を$5$万文対ずつランダムサンプリングした．意味・表層類似度の測定方法の詳細は，\ref{sim_bleu_metric}節で説明．}をヒートマップで可視化したものである．図\ref{similarity}から，折り返し翻訳およびParaCottaでは，意味類似度は高いが，表層も近い文対が多くを占めることが分かる．ParaNMT-50Mでは，表層が大きく異なるが，意味的に乖離しており言い換えとみなせないものも多い．これらの既存手法では，表層が大きく異なる言い換え生成は難しいといえる．さらに，本論文では\ref{simcse_chapter}節および\ref{stilts_chapter}節で，データ拡張に適する意味・表層の類似度はタスクに依存し，様々な類似度の言い換えが混在するとデータ拡張に悪影響を及ぼすことを実験的に示した．これらの実験結果は，言い換え生成における類似度制御が重要であることを示している．しかし，意味的類似度と表層的類似度の直接的な制御が可能である言い換え生成の先行研究は存在しない．そこで本研究では英語を対象とし，(1)表層が大きく異なる言い換えを実現し，かつその生成において(2)ユーザが意味と表層の類似度を直接的に制御できる手法を提案する．具体的には，サンプリングに基づくデコードによる折り返し翻訳を用いて大量に生成した文対から，意味類似度が高く表層類似度が低い文対を抽出することで，言い換え生成モデルの訓練コーパスを構築する．そして言い換え文対の意味・表層類似度を示すタグ\cite{johnson-etal-2017-googles}を用い，事前学習済み系列変換モデルをfine-tuningすることにより類似度制御可能な言い換え生成を実現する．本モデルでは推論時に，言い換えの類似度をタグを用いて容易に指定できる．%%%%図\ref{sim95bleu05}は提案手法が高い意味類似度かつ，図\ref{similarity}(d)は提案手法が高い意味類似度かつ，低い表層類似度の言い換えを生成できることを示している．また，本論文では提案手法の内的評価と外的評価を行った．内的評価では，指定したタグに合致した意味・表層の類似度の言い換えが出力できるかを確認した．また，タグの埋め込み表現に関する分析により，$2$種類のタグが表す意味・表層の類似度の差が大きいほどタグの埋め込み表現間のユークリッド距離も大きくなることを明らかにした．外的評価では，対照学習\cite{gao-etal-2021-simcse,liu-etal-2021-fast}，事前学習済み言語モデルのpre-fine-tuning\cite{DBLP:journals/corr/abs-1811-01088,arase-tsujii-2019-transfer}に対するデータ拡張の効果を検証した．結果，提案手法によるデータ拡張がdownstreamtaskの性能を向上させた．さらに，訓練済みモデルおよびモデルによって生成した$8,700$万文対の表層が大きく異なる言い換えコーパスを公開した\footnote{\url{https://github.com/Ogamon958/ConPGS}}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%