# 情報付加型生成による表現の推敲支援システム

鈴木勘太 ${ }^{1}$ 杉本徹 ${ }^{2}$
1 芝浦工業大学大学院理工学研究科 2 芝浦工業大学工学部
\{ma21071, sugimoto\}@shibaura-it.ac.jp

## 概要

本研究は，Encoder-Decoder モデルによる系列変換を応用し, 執筆者のつづった文から形容や比喻といったさまざまな表現を付加した複数の候補文を生成，提案することで，執筆者の表現の幅を広げ，膨らませることを支援する実用的な推敲支援システムの構築を目指す。その中で，幅広く表現を捉えたパラレルコーパスの構築を行い, デコーディングや学習モデルの側面から表現の提案の多様性を促進する生成モデルを提案する.

## 1 はじめに

近年，深層学習を用いた執筆支援に関する研究が行われている $[1,2,3]$. 大規模なデータから学習を行った深層学習モデルを用いた支援は, 執筆者の負担や学習コストの軽減を可能にしている.

一方，筆者は先行研究 [4] において，EncoderDecoder モデルによる系列変換を応用し，執筆者のつづった文から修辞表現を付加した複数の文を生成, 提案することで, 執筆経験の浅い文学作品の執筆者をターゲットとした表現の推敲支援を行う執筆支援システムを提案した. 表現の推敲は執筆における重要な過程の一つであるが，その手助けとなる表現辞典の多くは網羅的な側面を持ち，数多の見出しの中から納得のいく表現を自ら選び出す必要がある。そのため実際は執筆者にある程度の経験やセンスが要求されることとなり，負担となりうる。 Encoder-Decoder モデルの応用は，執筆者のつづる文の文脈にふさわしい言い換えや形容などの表現の提案を可能にし, 評価害験では支援システムとして総合的に良い評価を得ることができた.

本研究では，先行研究で取り組んだ文生成のうち，形容などの修飾フレーズの付加を行う文生成を情報付加型生成という問題として提起し, 執筆者の表現の幅を広げ，膨らませることを支援する実用的な推敲支援システムの構築を目指す。そのなかで特

図 1 推敲支援システムの構築手法の概要

に以下の 2 点を目標として定める。

「表現」の一般化気軽に個人でブログなどを執筆し共有することが可能となった昨今の状況を鑑み，より広く表現を捉える手法を提案し支援の幅の拡大を試みる。

提案の多様性の促進執筆者の表現に関する想起の支援も視野に入れ，多様な候補の提案を行う手法を提案し実用性の向上を試みる。

## 2 関連研究

伊藤らの研究 [5] では，不完全な文から目的に合った完全な文を生成する情報補完型生成を新しい言語生成課題として提案している. 情報を付加して生成を行うというアプローチは本研究との類似点があり，完全な文から不完全な文を作成することによって大規模な教師データを構築する手法を本研究も採用している.

## 3 提案手法

本研究における推敲支援システムの構築手法の概要を図 1 に示す. システム構築のアプローチは筆者の先行研究 [4] を踏襲する。まず，実在する書籍の文から一部の修飾フレーズを削除した文を作成し， これと元の文とを対にしたパラレルコーパスを構築する。次に，これらを教師データとして，修飾フレーズの欠落した文から実在する書籍の文を生成する系列変換の学習を行い，生成モデルを構築する。 この生成モデルを用いて，執筆者のつづる文の入力

に対しその文脈にふさわしい修飾フレーズ，すなわち表現を付加した複数の候補文を提案することで，推敲の支援を行うシステムを構築する。

## 3.1 パラレルコーパスの構築

実在する書籍の文からある条件のもと機械的に一部の修飾フレーズを削除した文を作成し，これと元の文との対からなるパラレルコーパスを構築する。本研究では，実在する書籍の文として青空文庫の作品および現代日本語書き言葉均衡コーパスから抽出した約 787 万文を書籍コーパスとして使用する.

筆者の先行研究では支援の対象とする表現を限定し，特定の品詞やキーワードに注目した単語単位の処理によってパラレルコーパスを構築したためアドホックな支援に限られた。本研究ではこれを踏まえ，より広く表現を捉えるため文構造の依存関係に注目した処理の手法を提案する。

依存関係による削除対象の決定連体・連用修飾に関する依存関係 (Universal Dependencies[6, 7] における acl，amod，advcl， advmodの 4 種）の係り元を概括的に削除対象として決定する．削除対象の中には目的の表現とは言いがたい具体化の性質が強い修飾フレーズも含まれるが，文脈への関連が低いと考えられるこれらを付加する学習は抑えられると考えられる。しかし，これらは学習のノイズとなりうるため，後述の条件によってその抑制を行う。

係り先による条件係り先が形式名詞である場合は削除対象から除外する．実質的な意味が薄い形式名詞に係る修飾フレーズは具体化の性質が強い場合が多いと考えられる．ただし，形式名詞の定義は曖昧であるため, 本研究では書籍コーパス内の各名詞について出現頻度および被修飾率を算出し，それぞれ 3 万以上， 0.8 以上の「もの」,「こと」等の 15 語を形式名詞として定量的に決定した。

係り元による条件係り元に指示詞，代名詞，人名の固有名詞を含む場合は削除対象から除外する。 これらを含む修飾フレーズは上記の性質に加え，実質的な意味が薄い場合が多いと考えられる。

以上の手法を用いた文の作成によって約 1027 万対のデータを含むパラレルコーパスを構築した.

## 3.2 生成モデルの構築手法

3.1 節で構築したパラレルコーパスを教師データとし，修飾フレーズの欠落した文をソース，実在する元の書籍の文をターゲットとすることによって欠落した修飾フレーズを補完するような系列変換の学習を行う。これにより，任意の入力文に対しその文脈にふさわしい修飾フレーズを付加した文を生成する生成モデルを構築する。

筆者の先行研究では，尤度による単純なスコアリングによった候補文の決定では意外性のある魅力的な表現といった有用な候補を提案することが難しかった. 本研究ではこれを踏まえ，提案する候補の多様性の促進として，デコーディングおよび学習モデルの側面から複数の生成モデルを考える。

ベースラインの手法 Transformer[8] による学習およびビームサーチによるデコーディングを行う先行研究と同様の生成モデルをべースラインとする. ビームサーチを用いたデコーディングではビームサイズ分の複数の生成文が得られるため，本研究の支援システムの前提である複数の候補文の提案に用いることが容易である.

Nucleus サンプリング Holtzman らはビームサー チなどの最大化ベースのデコーディング手法に見られる当たり障りのないテキストを生成する問題に対し，新たなデコーディング手法として Nucleus サンプリングを提案しており，高品質かつ人間のつづったものに近い多様性を持った長文テキストの生成が可能となったと報告している [9]. Nucleus サンプリングは，デコーディングの各ステップにおいて次のトークンの確率分布 $P\left(x \mid x_{1: i-1}\right)$ が与えられたとき, その上位 $p$ の語彙 $V^{(p)} \subset V$ を以下の式が成り立つような最小の集合と定義する.

$
\sum_{x \in V^{(p)}} P\left(x \mid x_{1: i-1}\right) \geq p
$

そして,$p^{\prime}=\sum_{x \in V^{(p)}} P\left(x \mid x_{1: i-1}\right)$ として式

$
P^{\prime}\left(x \mid x_{1: i-1}\right)= \begin{cases}P\left(x \mid x_{1: i-1}\right) / p^{\prime} & \text { if } x \in V^{(p)} \\ 0 & \text { otherwise }\end{cases}
$

によって再スケーリングした新たな確率分布を用いた次のトークンのサンプリングを行う。

サンプリング剪定ビームサーチ (SPBS) Nucleus サンプリングは，本研究のような入力文などの制約付きの生成とは異なる物語生成などのオープンエンドな生成における課題に対する提案手法であり，一度の生成で得られる文は 1 つのみである。一方，本システムが複数の候補文の提案を前提としていること，ビームサーチを用いた筆者の先行研究で一定の評価が得られていることを踏まえ，本研究ではビー ムサーチと Nucleus サンプリングを組み合わせた新

図 2 SPBS の概要

たなデコーディング手法，サンプリング剪定ビームサーチ（Sampling Pruning Beam Search; SPBS）を提案する。 その手法の概要を図 2 に示す.

SPBS は，ビームサーチをベースとしたアルゴリズムの中で，各ステップで保持している候補（ブロック）について Nucleus サンプリングを用いた系列の出力を行う. 各ブロックの集合を $N_{i}$, 確率分布 $P$ について $m$ 回サンプリングを行ったときに得られる系列を $\operatorname{sampling}(P, m)$ としたとき，ビームサーチに考慮される新たな系列を以下の式によって決定する。

$
\text { hypotheses }_{i}=\left.\{\operatorname{sampling}\left(P_{n}^{\prime}\left(x \mid x_{1: i-1}\right), m\right)_{n \in N_{i}}\right.\}
$

サンプリングによって多様な候補をピックアップしつつ，ビームサーチによって尤度の低い候補を除外することで有用な候補の生成を行う。

逆トークン頻度損失（ITF 損失） Nakamura らは対話システムにおいてありきたりな応答生成を行う問題に対し, 多様性の促進として新たな損失関数,逆トークン頻度損失（Inverse Token Frequency Loss） を提案している [10]. ITF 損失は $\lambda$ をイパーパラメータとして，ソフトマックス・クロスエントロピー損失 $L_{\mathrm{SCE}}$ をトークンの出現頻度の逆数で重みづけした以下の式によって算出される.

$
L_{\mathrm{ITF}}=\frac{1}{\text { freq }\left(\text { token }_{c}\right)^{\lambda}} L_{\mathrm{SCE}}
$

本研究ではこの損失関数を Transformer へ適用したものを考える。

## 4 実験と評価

3.2 節で述べた生成モデルを用いた実験を行う.学習モデルのベースに用いる Transformerについて, ハイパーパラメータは論文 [8] に従い, 未知語処理 [4] および文長正規化 [11] を導入した. トークナイザには SentencePiece[12] を用い，ITF 損失については先行研究 [10] に従い $\lambda=0.4$ とした.

図 3 Nucleus サンプリングにおける $p$ の評価結果

表 1 生成モデルの事前評価の結果

## 4.1 生成モデルの事前評価

本研究における目的に対し，基本となる生成モデルを用いた事前評価を行う。品質の評価指標として BLEU，多様性の評価指標として Self-BLEU[13] および distinct-N[14] を用い，各スコアトップの生成文 10,000 に対して評価を行った．なお，Self-BLEU は值が低い方が多様性があると評価する指標である。

まず，Nucleus サンプリングにおけるパラメータ $p$ について評価を行った結果を図 3 に示す. BLEU は $p=0.95$ でピークを取り，Self-BLEU はおおむね $p$ の値が大きくなるにつれ下がっていく傾向が見られた.この結果より以降 Nucleus サンプリングでは $p=0.95$ を用いた生成モデルで評価を行う.

次に，ビームサーチと Nucleus サンプリング，およびそれぞれ学習に ITF 損失を適用した生成モデルに対し評価を行った結果を表 1 に示す. なお，ビー ムサーチのビームサイズは 5 とした. 品質はビームサーチの方が高い一方で，多様性は Nucleus サンプリングの方が高く平均文長も参照文に近づいた. 特に Nucleus サンプリングにおいては ITF 損失を用いたモデルの方が多様性に富む傾向が見られた.

## 4.2 システムの評価

各生成モデルで生成した複数の候補文に対し分析を行い，これらを実際に被験者に提示することで推敲支援システムを想定した評価実験を行う。なお，候補文の最大出力数を 10, SPBS については $m=10$ とし，Nucleus サンプリングは生成を複数回行うことによって異なる候補文を最大出力数分得る.
表 2 候補文の多様性の評価結果

## 4.2.1候補文の主観分析

例として，入力「コーヒーの香りがあの日の記憶を呼び起こす。」に対して生成された候補文について述べる.ビームサーチでは「ほのかなコーヒーの香り」や「ふとあの日の記憶を呼び起こす」など一般的に有用な表現が見られた. また, 本研究の提案手法である SPBS では，ビームサーチに見られる表現をいくつか提案しつつ，「かすかに甘いコーヒー の香り」といった 2 文節以上の修飾句や「夢のような記憶」といった比喻表現など多様な表現の提案が可能であることがわかった。一方，Nucleus サンプリングではより多様でかつ「ピンと流れるコーヒー の香り」といった意外性のある表現が見られたものの，支離滅裂なフレーズを付加した例も散見された．学習に ITF 損失を適用した生成モデルでは，先に述べた特徴を示しつつ語彙の傾向に違いが見られた。なお，各候補文の詳細を付録の表 A に記載した.

## 4.2.2 候補文の多様性の自動評価

本研究では，ある入力文に対し生成される複数の候補文についてどれだけ多様な提案ができているかを測る評価指標として Local Self-BERTScore （LSBScore）を提案する. この評価指標は，入力文に対して生成された複数の候補文内で Self-BLEU と同様の評価手法を分散表現ベースの評価指標である BERTScore[15] を用いて行い, 生成例全体で平均することで算出するものである. 多様性の評価指標を各生成例における候補文内で用いることで各々の提案の多様さを評価し，単語レベルでほとんど同じ候補文を生成する本システムにおいて類似度をより詳細に評価するため BERTScoreを用いている.

各生成モデルについて評価を行った結果を表 2 に示す. 評価は 1,000 の生成例を用いて行った. 多様性はビームサーチ，SPBS，Nucleus サンプリングの順に高くなり, 平均文長も長くなる傾向が見られたほか，LSBScore については明確にITF 損失を用いたモデルの方が多様性に富む傾向が見られた。

図 4 主観評価実験の結果

## 4.2.3 システムの主観評価実験

各生成モデルで生成した候補文を用い，推敲支援システムを想定した調査表による主観評価実験を行った. 実験にはビームサーチ, SPBS, SPBS + ITF 損失, Nucleus サンプリングの 4 種の生成モデルを用い，スコア上位 6 つを候補文として提示する.これを 30 例用意し， 13 人の被験者に対し以下の 4 段階のレベルで各候補文を評価してもらった。

レベル 4 表現の推敲支援として妥当な候補文であり，実際に使ってみたいと思う。

レベル 3 表現の推敲支援としては妥当な候補文だが，特に使ってみたいとは思わない。

レベル 2 内容が矛盾していたり意味が理解しがたかったりして妥当な候補文だとは思わない.

レベル 1 誤字脱字がある，文法的に正しくない等， そもそも文の形として誤りがある.

その結果として，各例において各レベルで評価された候補文の数の平均を図 4 に示す. レベル 3 以上の候補の数はビームサーチが最も多く, SPBS, SPBS + ITF 損失，Nucleus サンプリングの順で少なくなる結果となった。

## 5 おわりに

本研究では情報付加型生成による実用的な表現の推敲支援システムの構築を目指し，幅広く表現を捉えた独自のパラレルコーパスを構築，多様な表現を提案する生成モデル SPBS を提案した. ビームサーチは有用な複数の候補を一度に提案可能だが，入力文が同じであれば同じ候補しか提案できない.一方，Nucleus サンプリングは複数候補の提案には向かないが，生成を行うごとに異なる候補を提案でき，多様性を確保できる．本研究で提案したSPBS は評価実験では最も高い評価を得ることはできなかったものの，双方の長所を取り入れた手法であり，実際の推敲支援で有効性を検証する必要があると考える。今後はこれらを用いたアプリケーションの実装を行い，さらなる研究を進めていきたい。

## 参考文献

[1] Ann Yuan, Andy Coenen, Emily Reif, and Daphne Ippolito. Wordcraft: Story writing with large language models. In 27th International Conference on Intelligent User Interfaces, IUI '22, p. 841-852, New York, NY, USA, 2022. Association for Computing Machinery.

[2] Takumi Ito, Tatsuki Kuribayashi, Masatoshi Hidaka, Jun Suzuki, and Kentaro Inui. Langsmith: An interactive academic text revision system. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 216-226, Online, October 2020. Association for Computational Linguistics.

[3] Chung-Ting Tsai, Jhih-Jie Chen, Ching-Yu Yang, and Jason $\mathrm{S}$. Chang. LinggleWrite: a coaching system for essay writing. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations, pp. 127-133, Online, July 2020. Association for Computational Linguistics.

[4] 鈴木勘太, 杉本徹. Encoder-decoder モデルを用いた文章表現を豊かにする執筆支援システム. 日本感性工学会論文誌, Vol. 21, No. 2, pp. 257-265, 2022.

[5] 伊藤拓海, 栗林樹生, 小林隼人, 鈴木潤, 乾健太郎. ライティング支援を想定した情報補完型生成. 言語処理学会第 25 回年次大会, pp. 970-973, 2019.

[6] Ryan McDonald, Joakim Nivre, Yvonne QuirmbachBrundage, Yoav Goldberg, Dipanjan Das, Kuzman Ganchev, Keith Hall, Slav Petrov, Hao Zhang, Oscar Täckström, Claudia Bedini, Núria Bertomeu Castelló, and Jungmee Lee. Universal Dependency annotation for multilingual parsing. In Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pp. 92-97, Sofia, Bulgaria, August 2013. Association for Computational Linguistics.

[7] 浅原正幸, 金山博, 宮尾祐介, 田中貴秋, 大村舞, 村脇有吾, 松本裕治. Universal dependencies 日本語コーパス. 自然言語処理, Vol. 26, No. 1, pp. 3-36, 2019.

[8] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. Attention is all you need. In Advances in neural information processing systems, pp. 5998-6008, 2017.

[9] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. The curious case of neural text degeneration. In ICLR. OpenReview.net, 2020.

[10] Ryo Nakamura, Katsuhito Sudoh, Koichiro Yoshino, and Satoshi Nakamura. Another diversity-promoting objective function for neural dialogue generation. CoRR, Vol. abs/1811.08100, , 2018.

[11] Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi, Wolfgang Macherey, Maxim Krikun, Yuan Cao, Qin Gao, Klaus Macherey, Jeff Klingner, Apurva Shah, Melvin Johnson, Xiaobing Liu, Lukasz Kaiser, Stephan Gouws, Yoshikiyo Kato, Taku Kudo, Hideto Kazawa, Keith Stevens, George Kurian, Nishant Patil, Wei Wang, Cliff Young, Jason Smith, Jason Riesa, Alex Rudnick, Oriol Vinyals, Greg Corrado, Mac- duff Hughes, and Jeffrey Dean. Google's neural machine translation system: Bridging the gap between human and machine translation. CoRR, Vol. abs/1609.08144, , 2016.

[12] Taku Kudo and John Richardson. SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 66-71, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[13] Yaoming Zhu, Sidi Lu, Lei Zheng, Jiaxian Guo, Weinan Zhang, Jun Wang, and Yong Yu. Texygen: A benchmarking platform for text generation models. In The 41st International ACM SIGIR Conference on Research \& Development in Information Retrieval, SIGIR '18, p. 1097-1100, New York, NY, USA, 2018. Association for Computing Machinery.

[14] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

[15] Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, and Yoav Artzi. Bertscore: Evaluating text generation with bert. In International Conference on Learning Representations, 2020.

## A 各生成モデルが生成した候補文の例

表 A 入力「コーヒーの香りがあの日の記憶を呼び起こす。」に対して生成された候補文の例（スコア降順） ビームサーチ SPBS

熱いコーヒーの香りがあの日の記憶を呼び起こす。甘いコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りが再びあの日の記憶を呼び起こす。強いコーヒーの香りがあの日の記憶を呼び起こす。温かいコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがまたあの日の記憶を呼び起こす。 コーヒーの香りがあの日の甘い記憶を呼び起こす。 ほのかなコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがあの日の記憶を再び呼び起こす。甘いコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りが再びあの日の記憶を呼び起こす。 コーヒーの香りがまたあの日の記憶を呼び起こす。 コーヒーの香りがふとあの日の記憶を呼び起こす。 かすかにコーヒーの香りがあの日の記憶を呼び起こす。 かすかに甘いコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがあの日の夢のような記憶を呼び起こす。 コーヒーの香りがあの日の記憶をふたたび呼び起こす。 コーヒーの香りがあの日の深い記憶を呼び起こす。 コーヒーの香りがふとあの日の記憶を呼び起こす。 コーヒーの香りがようやくあの日の記憶を呼び起こす。

Nucleus サンプリング

コーヒーの香りがあの日の甘い記憶を呼び起こす。

のようにコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りが不吉なあの日の記憶を呼び起こす。

コーヒーの香りがあの日の印象深い記憶を呼び起こす。

待つコーヒーの香りがあの日の記憶を呼び起こす。

ヒーローの甘いコーヒーの香りがあの日の記憶を呼び起こす。

りんりんるようなコーヒーの香りがあの日の記憶を呼び起こす。

ピンと流れるコーヒーの香りがあの日の記憶を呼び起こす。

じゅ長いコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りが彼女を、会社に声すばらしいあの日の記憶を呼び起こす。

ビームサーチ+ITF 損失 SPBS + ITF 損失

熱いコーヒーの香りがあの日の記憶を呼び起こす。 やがてコーヒーの香りがあの日の記憶を呼び起こす。甘いコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがあの日の強烈な記憶を呼び起こす。 たとえばコーヒーの香りがあの日の記憶を呼び起こす。強烈なコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りが突然あの日の記憶を呼び起こす。

同じコーヒーの香りがあの日の記憶を呼び起こす。 コーヒーの香りがふとあの日の記憶を呼び起こす。 コーヒーの香りがあの日の記憶をかすかに呼び起こす。熱いコーヒーの香りがあの日の記憶を呼び起こす。

やがてコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りがまたあの日の記憶を呼び起こす。

コーヒーの香りがあの日の懐かしい記憶を呼び起こす。

コーヒーの香りがあの日の記憶を強く呼び起こす。

むしろコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りがあの日の甘い記憶を呼び起こす。

朝になるとコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りがすぐにあの日の記憶を呼び起こす。

コーヒーの香りがあの日の記憶をすべて呼び起こす。

Nucleus サンプリング + ITF 損失

たとえばコーヒーの香りがあの日の記憶を呼び起こす。

新しいコーヒーの香りがあの日の記憶を呼び起こす。

コーヒーの香りがあの日の不快な記憶を呼び起こす。

重いコーヒーの香りがあの日の記憶を呼び起こす。

不思議なコーヒーの香りがあの日の記憶を呼び起こす。

神妙なコーヒーの香りがあの日の記憶を呼び起こす。

香水のようなコーヒーの香りがあの日の記憶を呼び起こす。

しようとしていたコーヒーの香りがあの日の記憶を呼び起こす。

香わかるコーヒーの香りがあの日の記憶を呼び起こす。

純粋にクール全員が興十五三日前にしなかったコーヒーの香りがあの日の記憶を呼び起こす。