# リフレーミングに基づいた言い換え生成のための 単言語パラレルコーパスの構築とその分析

河野誠也湯口彰重吉野幸一郎
理化学研究所ガーディアンロボットプロジェクト
\{seiya.kawano, akishige.yuguchi, koichiro.yoshino\}@riken.jp

## 概要

リフレーミングとは，ある枠組みで捉えられている物事の枠組みを外して違う枠組みで見ることを指す. 言い換えもその結果の一つである。例えば，ネガティブな内容を異なった側面から捉えてポジティブにリフレーミングし言及することで，対話において話し手と聞き手の良好な関係の維持や自己肯定感の向上を期待することができる．このようなネガティブな発言をポジティブにリフレーミングするような言語的配慮能力は，社会性を備えた対話システムを実現する上で重要である。そこで本研究では， ネガティブな表現をポジティブに言い換えるリフレーミングの事例を，ウェブや書籍など複数の情報源から人手で収集し，単言語パラレルコーパスとして整備，分析した。

## 1 はじめに

リフレーミングとは，短期療法や家族療法，ナラティブセラピー等で用いられる技法であり，ある枠組みで捉えられている物事の枠組みを外して，違う枠組みで見ることを指す $[1,2,3]$. 発話によるネガティブな感情の発露は, 話し手と聞き手の双方にストレスを与える可能性がある. このため，ネガティブな発話をポジティブにリフレーミングすることは対話継続性向上の観点から重要で，リフレーミングにより話し手の自己肯定感の向上や話し手と聞き手の良好な関係の維持を期待することができる。このような，ネガティブな発言をポジティブにリフレー ミングするような言語的配慮能力は，社会性を備えた対話システムを実現する上で重要である $[4,5]$.

そこで，本研究では，対話システムへの応用を志向してネガティブな表現をポジティブな表現にリフレーミングする言い換え生成モデルを検討する。一般に，こうした言い換え生成の研究では，言い換え元と言い換え先のペアからなる大規模なパラレルデータを言い換え生成モデルの学習データして必要とする [6]. しかしながら，リフレーミングに着目した言い換えを扱う利用可能なパラレルコーパスは限られているのが現状である [5,3].

本研究ではネガティブな表現をポジティブな表現にリフレーミングする言い換え生成モデルを構築するための最初のステップとして，ウェブや書籍など複数の情報源からネガティブな表現をポジティブな表現にリフレーミングした事例を人手で収集し，リフレーミングに基づいた言い換え生成モデルを学習するための単言語パラレルコーパスを構築した。次に，構築したコーパスに含まれるリフレーミング事例の分析と，構築したコーパスを学習データとして用いた場合，既存の言い換え生成モデルがどの程度の性能でリフレーミングに基づいた言い換えを生成できるかについての検証を実施した。

## 2 関連研究

これまでに，発話文の感情極性やスタイルの変換に着目した研究は数多く行われてきた $[7,3,8]$. 感情極性の変換では，単純には入力文（ないし発話，単語）と意味が真逆な文を生成する [9]. また，対話応答生成のタスクでは，目標応答の感情ラベルを陽にモデルに生成条件として与えることで，与えた感情ラベルを反映しつつ対話履歴に対しても適切な応答を生成しようとする制御可能なニューラル会話モデルが提案されている $[10,11]$. このような変換夕スクでは元々の入力文の構造や属性に依存しないトピックは変換後の文に保持されるが，変換前の文と変換後の文の真理条件的意味が必ずしも等しくなる保障はない.

一方で，スタイル変換のタスクでは，入力文の意味的内容を保持しつつ意味以外の情報を制御する言い換えを生成することに焦点を当てる. 例えば，
元々の文の難解な表現を平易に言い換えたり，文の丁寧さのレベルを制御したりする研究が行われている [6,12]. 本研究が対象とする，ネガティブな表現をポジティブな表現にリフレーミングする言い換えタスクは，スタイル変換のタスクと類似する。例えば，「私は自己中心的です」という文をリフレー ミングすることを考える場合「私は自分を持っている」等と言い換えることができる.このような言い換えは，言い換え後の文の真理条件的意味は完全には等価ではないにせよ，フレーム（見方）を変えて見た場合，一面では等価であるともみなすことができる.こうした変換を婉曲表現という観点で行うのが「皮肉」の生成である $[13,14]$. しかしながら，皮肉が他者に対する悪意に紐づいたものである一方で，リフレーミングでは，より広範な概念を扱う。

リフレーミングに基づいた言い換えを生成する研究も近年行われている [3]. この研究 [3] では，ネガティブな発話をポジティブに言い換えるリフレー ミングの事例をクラウドソーシングで収集し，言い換え生成モデルの学習データとして用いている。しかしながら，基本的には発話レベルでのリフレーミングや会話の含意に着目しており単語レベルやフレーズレベルでの言い換えや，発話中に含まれる表現が持つ意味や含意を分析するには十分ではない. しかしながら, 日本語に着目したリフレーミング事例を収録したコーパスには制限があるのが現状である [5]. これに対して, 本研究では, リフレーミングに基づいた言い換え生成モデルを実現するために，様々な言い換えの粒度に基づいたリフレーミング事例を含んだ日本語言い換えコーパスを構築し，その分析を実施する。

## 3 リフレーミング事例の収集と分析

スタイル変換を含む言い換え生成のタスクは，同一言語内の機械翻訳の問題と考えることができるため系列変換モデルと相性が良い. 通常，系列変換モデルは，数十万文対を超える大規模なパラレルコー パスを用いて学習されるが，リフレーミングタスクに着目した日本語のスタイル変換コーパスには限りがある [5]. そこで，本研究では最初のステップとして，ネガティブな表現をポジティブにリフレーミングして言い換えた事例を，ウェブや書籍など複数の情報源から人手で収集し，リフレーミング表現生成モデルを学習するための小規模の単言語パラレルコーパスを構築する。

## 3.1 リフレーミング事例の収集

本研究では，リフレーミングの中でも，「社会的幸福や認知能力の向上を意図し」て行われるネガティブな表現をポジティブに言い換えるリフレーミングに着目し，そのようなリフレーミングの事例を Web や書籍から人手で収集した。より具体的には，「リフレーミング」,「ネガポジ辞典」,「ネガティブポジティブ言い換え」などの検索ワードを手掛かりとした調査を実施し，主に教育心理学，カウンセリング，自己啓発等を扱う複数の媒体を選定した。次に，それらの媒体からネガティブな表現をポジティブに言い換えるリフレーミング事例を抽出し，単言語パラレルコーパスとして整備した。構築したコー パスの統計情報は表 1 のとおりである（より詳細な分析は次節で述べる)。ここで，重複するレコードはマージし, 単一のネガティブ表現に対して複数のポジティブな表現が可能な言い換え（正解）として割り当てた。

構築したコーパスは先行研究 [3] とは異なり, 単語単位，フレーズ単位，文単位といった様々な言い換えの粒度に基づいたリフレーミング事例を収録している。例えば，「あきらめが早い」というネガティブなフレーズについては，「潔い」，「決断が早い」,「気持ちの切り替えが早い，上手」などの他のネガティブな表現（単語，フレーズを含む）が正解として割り当てられている1)。

## 3.2 リフレーミング事例の分析

表 1 に示した通り，構築したコーパスに含まれるユニークな言い換えぺア数は 2,664 件であり，その語彙サイズは 3,697であった（語彙サイズ > ユニークな言い換えペア数)。このことから，構築し


たコーパスは比較的小規模なコーパスでありながらも，多様な語彙をサポートしていることが推察できる. さらに，コーパスに収録されているポジティブ/ネガティブ表現の平均文字数, 平均単語数, 平均文節数を比較したところ，リフレーミング前であるネガティブ表現と比較してリフレーミング後の言い換えであるポジティブ表現が比較的長いことが確認できた. また，コーパスに含まれる各ネガティブ表現に対して, 平均して 2.4 件のポジティブ表現が可能な言い換えとして割り当てれられていることが確認できた.このことから，リフレーミングに基づいた言い換えは自由度が高いため，一対一の言い換えだけでなく一対多の言い換えを考慮する必要がある.また，コーパスに含まれるユニークなネガティブ表現の数は 1,817 件であり, このうち 325 件のネガティブ表現がコーパス中で複数回出現することが確認できた．具体的には，「素直」，「慎重」，「行動力がある」といった個人の性格や特性に関連した表現がコーパス中に複数回出現していることが確認できた.

図 1: ネガティブ/ポジティブ表現を構成する単語数をクラスとした場合の度数分布

図 1 にコーパス中のネガティブ/ポ゙ティブ表現を構成する単語数をクラスとした場合の度数分布を示す. 図 1 は，最もコーパスで出現しやすいネガティブぱジティブ表現のパターンとして， 1 単語と 4 単語で構成される単語がコーパス中に特に頻出することが確認できた．また，これらをピークとした右側に裾野が広い分布が確認できる.このことから，構築したコーパスは多様な言い換えの粒度（単語，フレーズ，文等）に基づいたリフレーミングの事例を収録している2)。

2）文字/文節数を基準とした場合の度数分布は付録 $\mathbf{B}$ を参照.

## 4 言い換え生成モデルの検証

本研究で構築したコーパスを学習データとして用いて，リフレーミングに基づいた言い換え生成モデルの構築を検討する．具体的には，利用可能な既存の言い換え生成モデルがどの程度の性能でネガティブな表現をポジティブな表現にリフレーミングして言い換えることができるかについての評価とその限界について議論する。

## 4.1 言い換え生成モデルの学習と評価

ネガティブな表現をポジティブな表現にリフレー ミングして言い換えるような言い換え生成タスクを検証する。しかしながら，本研究が構築したコーパスのサイズは，このようなリフレーミングのための言い換えを生成するモデルをゼロから学習するには不十分である．そこで，本研究ではリフレーミングに基づいた言い換え生成モデルのベースラインとして，他の大量の言語資源で事前学習された大規模言語モデルを，今回構築したコーパスに含まれるリフレーミング事例でファインチューニングし，その言い換え性能を評価する．比較に用いたモデルは以下の通りである。

BERT 分散表現ベクトルのコサイン類似度に基づいて，入力として与えられたネガティブ表現と最も類似するポジティブ表現をコーパス中から検索し，言い換えとする場合. 分散表現ベクトルには，事前学習済み日本語 BERT モデル³) の [CLS]トークンに対応する出力ベクトルを用いる。

GPT-2 Transformer decoder block に基づいた事前学習済み日本語 GPT-2 モデル4)をリフレーミング事例でファインチューニングする場合 [15].

T5 Transformer encoder-decoder モデルに基づいた事前学習済み日本語 $\mathrm{T} 5$ モデル5)をリフレーミング事例でファインチューニングする場合 $[16,17]$.

Japanese-dialog-transformer 日本語雑談対話データ (Twitterデータ)で事前学習された Transformer encoder-decoder モデル [18] をリフレーミング事例でファインチューニングする場合.

リフレーミングに基づいた言い換え生成モデルの学習と評価には 5 分割交差検証を用いた ${ }^{6}$ ). 言い換
$ を参照
}

え生成の評価指標としては，言い換え生成モデルの言い換え候補上位 100 件に正解の言い換えが完全一致で含まれている割合 Acc., 言い換え候補上位 100 件を用いたランキング評価値 MRR[19], 生成された言い換えと正解の言い換えの bigram までの一致を考慮した BLEU[20], 生成された言い換えと正解の言い換えの分散表現ベクトルのコサイン類似度の平均 Sim. を用いた. 言い換え候補の順位付けについては，BERTでは類似度を基準とし，GPT2， T5, Japanese-dialog-transformer ではランダムサンプリングで生成された言い換え候補の尤度を基準とした.

## 4.2 評価結果

表 2 に，学習した言い換え生成モデルの性能について示す.ここで，括弧は各スコアが最大となるような言い換えを言い換え候補集合から選択した場合の結果である。表 2 より, BERT が他のモデルと比較して最も高い性能が示された。しかしながら， BERT は本研究で構築したコーパス全体に含まれるネガティブ表現のセットを検索対象としていることから， GPT2，T5, Japanese-dialog-transformer のように言い換え生成モデルの学習データには必ずしも含まれないような未知のポジティブ表現を生成するようなモデルと単純に比較するのは適切ではない. BERT は単純な類似度による検索に基づいており，検索対象のネガティブ表現の集合のサイズが極端に大きくなるような場合や評価データに存在しないような表現が存在するような場合，その性能は大きく低下する。

したがって，完全な生成べースのモデルである GPT2, T5, Japanese-dialog-transformer が言い換え生成モデルの実利用という観点からは重要である. これらのモデルにおいては，言い換えの正解との完全一致に基づいた厳密な指標である Acc. について， Japanese-dialog-transformer が特に高い性能を示した. ここで，このモデルは今回用いたモデルの中で最も巨大であり, 事前学習モデルのパラメータサイズが性能に影響した可能性がある。また，このモデルが他のモデルと異なり, 対話応答生成というタスクに特化した事前学習を行っていることにも留意する必要がある.

Japanese-dialog-transformerを用いて実際にリフレーミングのための言い換えをランダムサンプリングを用いて生成し，その傾向を確認した（付録 $\mathbf{D}$ ).表 2: リフレーミングによる言い換え生成モデルの性能

 & $\mathbf{3 2 . 2}$ & $\mathbf{0 . 0 6}$ & $\mathbf{6 . 9}(\mathbf{4 1 . 9})$ & $0.75(\mathbf{0 . 9 0})$ \\

結果として，例えば，「頑固」といったような短い単語で構成されるようなネガティブ表現については，「協調性がある」といった元のネガティブな表現とは明らかに矛盾するような表現も一部生成されているものの，「意志が強い」，「信念がある」といった妥当な言い換えを生成できていることが確認できた.一方で，「受験に失敗して浪人してしまった」といった比較的長い文字数で構成されるネガティブ表現が与えられる場合，「人生に絶望して自殺することに決めた」といった不適切なリフレーミング事例を生成していることが散見された。これは，長い文字数で構成されるリフレーミングの事例が学習データに比較的少数しか出現していないことに起因する.

## 5 おわりに

本研究では，ネガティブな表現をポジティブな表現にリフレーミングする言い換え生成モデルのための単言語パラレルコーパスの構築とその分析を行った. 構築したコーパスは単語，フレーズ，文単位といった様々な変換粒度に基づいた多様なリフレーミング事例を含むことが確認できた。また，構築したコーパスを用いて大規模言語モデルを活用したリフレーミングに基づいた言い換え生成モデルを評価した.

今後の課題としては，構築したコーパスのさらなる拡張と言い換え生成モデルの改善に取り組む. また，リフレーミングによって生成された言い換えの質についてより厳密に評価するために, 自動評価指標による評価だけではなく，人手による評価を実施する. さらに，リフレーミングという行為は，その動機や目的に応じて, 複数のタイプに分類することができるが，本研究ではそれらを明示的に区別していない $[3,21]$. したがって，対話システムを始めとした各種アプリケーションでの応用を考えると，リフレーミングに基づいた言い換え生成モデルが与えられた入力表現に対してどのようなタイプのリフレーミングをするかを，モデルが明示的に制御できるような枠組みが必要である.

## 謝辞

本研究は, JSPS 科研費 $\lceil 22 K 17958 」$ 及び JST ACT-X

「JPMJAX22A4」の助成を受けた。

## 参考文献

[1] James P Robson Jr and Meredith Troutman-Jordan. A concept analysis of cognitive reframing. Journal of Theory Construction \& Testing, Vol. 18, No. 2, 2014.

[2] 竹田葉留美. コラム: 出来事の視点を変えてポジティブに考えるリフレーミングを活用したストレスマネジメント〜. 情報の科学と技術, Vol. 67, No. 3, pp. 121-122, 2017.

[3] Caleb Ziems, Minzhi Li, Anthony Zhang, and Diyi Yang. Inducing positive perspectives with text reframing. In Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 3682-3700, 2022.

[4] Seiya Kawano, Akishige Yuguchi, and Koichiro Yoshino. Analysis of face act in multimodal japanese persuasion dialogue corpus. In Proceedings of International Workshop on Spoken Dialogue Systems Technology, 2023.

[5] 河野誠也, 湯口彰重, 吉野幸一郎ほか. 大規模言語モデルを用いたリフレーミング表現の自動生成とその評価. 研究報告自然言語処理 (NL), Vol. 2022, No. 9 , pp. 1-6, 2022.

[6] Tomoyuki Kajiwara and Mamoru Komachi. Building a monolingual parallel corpus for text simplification using sentence similarity based on alignment between word embeddings. In Proceedings of COLING 2016, the 26th International Conference on Computational Linguistics: Technical Papers, pp. 1147-1158, 2016.

[7] Di Jin, Zhijing Jin, Zhiting Hu, Olga Vechtomova, and Rada Mihalcea. Deep learning for text style transfer: A survey. Computational Linguistics, Vol. 48, No. 1, pp. 155-205, 2022.

[8] Quan Hung Tran, Ingrid Zukerman, and Gholamreza Haffari. A hierarchical neural model for learning sequences of dialogue acts. In Proc. of ACL, Vol. 1, pp. 428-437, 2017.

[9] Bidisha Samanta, Mohit Agarwal, and Niloy Ganguly. Fine-grained sentiment controlled text generation. arXiv preprint arXiv:2006.09891, 2020.

[10] Hao Zhou, Minlie Huang, Tianyang Zhang, Xiaoyan Zhu, and Bing Liu. Emotional chatting machine: Emotional conversation generation with internal and external memory. In Proc. of AAAI, 2018.

[11] Chenyang Huang, Osmar Zaiane, Amine Trabelsi, and Nouha Dziri. Automatic dialogue generation with expressed emotions. In Proc. of NAACL-HLT, Vol. 2, pp. 49-54, 2018.

[12] Liye Fu, Susan Fussell, and Cristian Danescu-NiculescuMizil. Facilitating the communication of politeness through fine-grained paraphrasing. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 5127-5140,
2020.

[13] Mengdi Zhu, Zhiwei Yu, and Xiaojun Wan. A neural approach to irony generation. arXiv preprint arXiv:1909.06200, 2019.

[14] Aditya Joshi, Pushpak Bhattacharyya, and Mark J Carman. Sarcasm generation. In Investigations in Computational Sarcasm, pp. 119-127. Springer, 2018.

[15] Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei, Ilya Sutskever, et al. Language models are unsupervised multitask learners. OpenAl blog, Vol. 1, No. 8, p. 9, 2019.

[16] Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov, and Luke Zettlemoyer. Bart: Denoising sequence-to-sequence pre-training for natural language generation, translation, and comprehension. arXiv preprint arXiv:1910.13461, 2019.

[17] 田中佑, 村脇有吾, 河原大輔, 黒橋禎夫. 日本語 wikipedia の編集履歴に基づく入力誤りデータセットと訂正システムの構築. 自然言語処理, Vol. 28, No. 4, pp. 995-1033, 2021.

[18] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. arXiv preprint arXiv:2109.05217, 2021.

[19] Ellen M Voorhees, et al. The trec-8 question answering track report. In Trec, Vol. 99, pp. 77-82, 1999.

[20] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, Philadelphia, Pennsylvania, USA, July 2002. Association for Computational Linguistics.

[21]兼折友美子, 畦地博子. 困難事例に対応する看護師のリフレーミングを促す技術. 高知女子大学看護学会誌, Vol. 39, No. 1, pp. 43-50, 2013.

[22] ネガポ辞典. 主婦の友社, 2012.

## 付録

## A 収集したリフレーミングの事例

表 A.1: 収集したリフレーミングの事例（文献 [22] より抜粋)

 \\

## B 文字/文節数に基づいた度数分布

図 B.3: ネガティブ/ポジティブ表現を構成する文字/文節数をクラスとした場合の度数分布

## C言い換えモデルの学習の詳細

本研究が扱う，リフレーミングに基づいた言い換え生成タスクは，ネガティブな表現 $N=\left[x_{1}\right.$ $\left., \cdots, x_{T}\right]$ が与えられたとき，それをポジティブに言い換えたリフレーミング表現 $P=\left[y_{1}, \cdots, y_{T}^{\prime}\right]$ を生成することである。ここで， $x_{*}, y_{*}$ は単語，T, $T^{\prime}$ はそれぞれ $N$ と $P$ の単語数である. 本研究では，このような言い換えを実現するために事前学習済み大規模言語モデルを以下の目的関数を最大化するようにファインチューニングする。

$
J(\theta)=\frac{1}{\left|D_{N \rightarrow P}\right|} \sum_{\left(P_{i}, N_{i}\right) \in D_{N \rightarrow P}}^{M_{N \rightarrow P}} \log \left[p\left(P_{i} \mid N_{i}, \theta\right)\right]
$

ここで， $D_{N \rightarrow P}$ は，ネガティブな表現とポジティブな表現の言い換えぺアの集合（学習データ）， $\theta$ は大規模言語モデルのパラメータ，p は目標言い換え表現の生成確率である. より具体的には，言い換え表現の予測結果と正解表現の間の交差エントロピー 誤差を最小にするようにモデルを学習する。ここで，(1) 式はネガティブ表現を条件として与えたときのポジティブ表現の生成確率に着目しているが実際のモデルに対する入力としては，GPT2では「ポ

ティブな表現に言い換えると:***」といったテンプレートに基づいた言い換えパターン生成するようにモデルを学習した．また，T5では，エンコーダの入力に対するプレフィックスとして「ネガティブな表現をポジティブな表現にリフレーミングして言い換え: 」を与えてモデルの学習を行った。

## D 実際の言い換え生成の例

表 D.2: Japanese-dialog-transformerによる実際の言い換え生成の例（ランダムサンプリング結果）

 \\