# 生成モデルによる傾聴応答タイミングの推定と 動的 Prompt-Tune を用いた応答スタイルのパラメーター制御

室町俊貴 1 狩野芳伸 1
1 静岡大学大学院 総合科学技術研究科情報学専攻
tmuromachi@kanolab.net kano@inf.shizuoka.ac.jp

## 概要

円滑な音声対話のためには、聞き手は継続的に傾聴行為を行う必要がある。本研究では、聞き手が応答すべきタイミングを推定し、応答生成まで行う手法を提案する。提案手法は、特徴量から推測するパラメーターと話し手の発話文とを入力とする応答生成モデルによって応答タイミングを推定する。さらに、パラメーターから動的に生成される Prompt-Token を用いた Prompt-Tune によって、パラメーターに適した多様なスタイルの応答を返す。自動評価と人手評価の結果から、提案手法はベースラインモデルと比較し、より自然なタイミングで応答が可能となり、よりパラメーターに沿った応答を生成できることを確認した。

## 1 はじめに

人間同士の雑談において、聞き手は相槌や領きといった傾聴行為を行うことが多い。このような傾聴行為は、コミュニケーションをより円滑にする効果が期待できるため、人間と音声対話システムにおける対話でも、システムが聞き手にまわる際には継続的に傾聴行為を行う必要があると考える。そこで本研究では、聞き手が応答すべきタイミングを推定し、多様な応答生成を行う音声対話システムの構築を目的とする。

相槌など聞き手応答タイミングの推定に関しては、音響特徴量からの推定手法 [1] や、節境界や無音区間、母音引き延ばしといった特徵量を使用する手法 [2] など様々な手法が提案されている。また、聞き手応答タイミングの推定と類似した問題設定として、話者交代のタイミング推定が挙げられる。話者交代のタイミング推定においても、音響特徴量や言語特徴量を用いた推測を行う手法が多数提案されている $[3,4,5]$ 。近年では対話の文脈を取り入れたモ
デルも提案されており、Ekstedt らは GPT-2[6] ベー スの話者交代予測モデルである、TurnGPT を提案している [7]。TurnGPT は先行発話の書き起こしテキストを入力とし、直後の話者交代確率を推定する。

本研究では TurnGPT を拡張し、生成モデルによって、応答タイミング推定から応答生成まで行う手法を提案する。応答タイミングは、話し手の発話文をランダムに途中で切ったサンプルを訓練データに追加するデータ拡張を行って推定する。また、話し手の話速、前回の聞き手応答からの経過時間、節境界判定モデルの結果といった特徴量から推定する潜在的なパラメーターに沿った応答を生成することで、書き起こしテキスト単体では不足する情報を補う。 パラメーターに沿った応答スタイルの学習時には、 パラメーターから動的に生成される Prompt-Token を用いた Prompt-Tune を行う。これにより少量のデー タでも効率的な学習ができる。

応答タイミングと生成された応答のパラメーター 反映度との 2 つ観点において自動評価と人手評価を行った結果、提案手法はベースラインである節境界によって応答タイミングを推定するモデルよりも、より高い性能で応答タイミングを推定できた。 また、Fine-Tune、Prompt-Tune を施したモデルよりも、与えられたパラメーターに沿った応答を生成できることを確認した。さらに、パラメーター推定性能についても自動評価と人手評価を行った結果、応答生成時にパラメーター推定結果を用いることで、 より自然な応答ができることを確認した。

## 2 関連研究

## 2.1 Prompt-Tune

BERT[8] や GPT-3[9] のような事前学習済み言語モデルが多くの自然言語処理タスクで使われるようになっている。GPT-3 などの大規模なモデルで

図 1 提案手法の概念図

は、タスクの説明等を記述した Prompt と呼ばれる文字列を追加で与えることで再学習なしにタスクを解く、Prompt Design が利用されている。しかし、 Prompt Design は Fine-Tune と比較すると性能が劣る傾向にある。そこで、Soft-Prompt と呼ばれる学習可能なベクトルを入力テキストの埋め込み表現に連結し、Prompt 部分のみを最適化する Prompt-Tune が提案されている [10]。Soft-Prompt のみを学習することで大幅に学習パラメーターを削減できるため、低コストで学習ができるといったメリットがあり、 Fine-Tune と比較して過剩適合を防げることも報告されている。

Soft-Prompt は、1つのタスクに特化した静的な埋め込み表現であるが、Prompt-Token 部分に画像を入力するマルチモーダルな Prompt-Tune[11](本稿では Multimodal Prompt-Tune と呼ぶ) や、属性情報等から動的に生成される Prompt-Token によって、生成テキストを特定の方向へ制御する Control-Prefixes[12] なども提案されている。

## 3 提案手法

提案手法の概要を図 1 に示す。提案モデルは GPT をべースとしたモデルであり、話し手の発話とそれに対する聞き手応答の組である応答ぺアを学習する。傾聴対話システムとしての実行時には、特徴量から推定する 0.0-1.0 までの連続値をとる潜在的な応答スタイル制御用パラメーターと話し手の発話文とを入力し、パラメーターに沿ったスタイルの応答生成を行う。

提案手法の詳細について、応答タイミング推定手法、応答スタイルの制御手法、応答スタイル制御用パラメーターの推定手法の順に記す。

応答タイミング推定コーパスに表出する発話の途中で応答を挟むことは不適切であることが多い表 1 応答タイミングの推定結果 (自動評価)

表 2 応答タイミングの推定結果 (人手評価)

と考えられる。そこで何割かの話し手の発話をランダムに途中で切り、応答ぺアのうち聞き手応答部分を、聞き手応答不可を表す追加の特殊トークン (<none>) に置き換えるデータ拡張によって聞き手応答タイミングを推定する。

応答スタイルの制御応答スタイル制御用パラメーターにより動的に生成される Prompt-Token を用いて、パラメーターに沿った応答を生成する。提案手法では、Control-Prefixes の静的な部分を除いた動的な Prompt-Token のみを利用する。すなわち、 Prompt-Token-Encoderによって生成された埋め込み表現を Prompt-Tokenとして使用する。学習時には 3 層の MLP である Prompt-Token-Encoder の学習パラメーターのみ更新する。

応答スタイル制御用パラメーターの推定応答スタイル制御用パラメーターの推定のために、話し手の話速 (平均モーラ長)、前回の聞き手応答からの経過時間、話し手の発話の最終形態素が節境界 (絶対境界・強境界・弱境界のいずれか)であるか、の 3 つを特徵量として用いる。節境界は丸山らが定義した節境界ラベル [13] に基づき、品詞・単語の表層形からルールベースで判定する。これら特徴量から聞き手応答が可能かどうか学習したモデルの予測値を応答スタイル制御用パラメーターとする。学習には LightGBM[14] を使用する。
表 3 応答スタイル制御用パラメーター反映度 (自動評価)

表 4 応答スタイル制御用パラメーター反映度 (主観評価)

表 5

## 4 実験

## 4.1 応答タイミング推定と応答生成

データセット TurnGPT を拡張した提案モデルの Fine-Tune には、音声会話コーパスは日本語日常会話コーパス (CEJC)[15] と名大会話コーパス [16] を、 テキスト会話コーパスは JEmpatheticDialogues[17]、 JPersonaChat[17]、独自に収集した日本語ツイート (5,000,000 ペア $)$ を使用した。音声会話コーパスは書き起こしテキストのみを用いた。すべてのコーパスについて、前章で説明したデータ拡張を $10 \%$ のデー タに対して適用した。CEJC 以外のコーパスは全て訓練に使用し、CEJC については訓練 8: 検証 1: 評価 1 に分割したうえで評価用データに含まれる話し手の発話 1,000 件を自動評価用データとした。

学習モデル事前学習済み GPT モデルには rinna 社が公開している japanese-gpt-1b ${ }^{1)}$ を使用し、 Tokenizer はモデル付属のものを使用した。japanesegpt-1b は上記データセットで Fine-Tune した。設定詳細は付録に記載する。なお、次節の各種追加的学習を施すことで応答タイミング推定と応答生成も追加的に学習されるため、評価には追加的学習の後のモデルを用いる。

## 4.2 応答スタイルの制御

応答スタイル制御については、前節で Fine-Tune した GPT モデルに対して、Fine-Tune、Prompt-Tune、 Dynamic-Prompt-Tune の 3 種類の追加的学習を施し
たモデルをそれぞれ実験し比較した。

データセット JEmpatheticDialogues からランダムに抽出した 1,200 件の話し手の発話文に対して、 $0.0,0.5,1.0$ の三段階の応答スタイル制御用パラメー ターごとに異なるスタイルの応答を独自に付与したデータセットを作成した。0.0では応答なし、0.5では相槌のみ、 1.0 では共感的な応答を付与した。学習データと検証データは、三段階のパラメーターごとに 200 ペアずつ、それぞれ計 600 発話応答ペアからなる。前章で説明したデータ拡張を全体の $10 \%$ のデータに対して適用した。

Fine-Tune モデル三段階のパラメーターに応じた追加の特殊トークンを入力末尾に付加し、前節の Fine-Tune に追加してさらに Fine-Tuneを行った。エポック数は 3 とした。

Prompt-Tune モデル上記の Fine-Tune モデルに対しさらに Prompt-Tuneを行った。Prompt-Token サイズは 100 とし、エポック数は 50 とした。

Dynamic-Prompt-Tune モデル上記二つのモデルとは異なり、パラメーターの数值を直接 PromptToken-Encoder に入力する。Prompt-Token サイズは 20 とし、エポック数は 50 とした。

## 4.3 応答スタイル制御用パラメータの推定

日本語話し言葉コーパス (CSJ)[18] の独話形式の音声の書き起こしテキストのうち、3 名の異なる話者による約 10 分程度の音声ファイル、計 30 分を学習に使用した。このデータセットに対して、人手で聞き手応答可能か判定した結果を正解ラベルとして付与し、不均衡なデータのためアンダーサンプリングを行ったうえで、訓練 8 : 検証 1 : 評価 1 に分割して用いた。LightGBM の学習パラメータ設定は付録に記載する。


## 5 実験の評価と結果

## 5.1 応答タイミングの推定

自動評価評価用データセットの半分のサンプルの話し手の発話をランダムに途中で切ることで、応答すべきタイミングではない話し手の発話を疑似的に作り、発話が切られているかをモデルによって当てるタスクで評価する。品詞・単語の表層形からルールベースで節境界を判定するべースラインモデルと、Dynamic-Prompt-Tune モデルの比較を行った。節境界判定モデルの形態素解析器には Juman++[19,20] を用いた。Dynamic-Prompt-Tune モデルはパラメーター 0.5 で固定した結果を示す (表 1)。評価には CEJC の自動評価用データを使用し、評価指標には Precision, Recall, F1-Score を用いた。実験の結果、Dynamic-Prompt-Tune モデルは節境界判定モデルよりも約 20\%高い F1-Score を示した。

人手評価応答スタイル制御用パラメーター推定の学習に用いた CSJ の独話音声と同じデータセッ卜に対し、アノテーター 3 名が応答タイミングを付与し、アノテーターそれぞれとシステムの推定結果との一致を Precision, Recall, F1-Score で計測して、 その平均値を結果として示した（表 2)。アノテー ター間一致度は Fleiss' Kappa[21] で 0.465 であった。自動評価と同様に、Dynamic-Prompt-Tune モデルはより高い性能で推定できており、品詞や単語の表層形の情報だけでは判定困難な発話についても判定できていると考えられ、データ拡張による応答タイミング推定手法の有効性が確認できた。

## 5.2 応答スタイル制御パラメーター反映度

自動評価応答スタイル制御用パラメーターの増加に伴い、応答なし、相槌のみ、共感的な応答の 3 段階で応答スタイルが推移するように学習しているため、パラメーターの変化に応じた応答の多様性を Distinct-1,2[22] で評価した（表 3)。評価には CEJC の自動評価用データを用いた。パラメーター が 0.0 の場合に Dynamic-Prompt-Tune モデルは応答が生成されないサンプルが多数あるため、パラメー ターが 0.5 の場合と比較して値が高くなっているが、 Fine-Tune モデルや Prompt-Tume モデルと比較して、 パラメーター間の Distinct の値の変動が大きく、より適切に応答スタイルの使い分けができていると考えられる。人手評価応答スタイル制御用パラメーター反映度の主観評価には、自動評価に用いた CEJC の評価データからランダムに取得した 100 サンプルを使用した。 $0.0,0.5,1.0$ の三段階のパラメーターごとに生成された応答を、流暢さ、関連性、パラメーター反映度の 3 項目について、それぞれ 5 段階評価によって評価した（表 4)。Dynamic-Prompt-Tune モデルは特にパラメーターが 1.0 の場合に 2 つのベースラインモデルよりもパラメーター反映度の項目の評価が高いことからも、よりパラメーターに沿った応答生成できていると考えられる。

## 5.3 応答スタイル制御パラメーターの推定

自動評価表 5 に Precision, Recall, F1-Score による自動評価結果を示す。 random はランダムに二値分類を出力するベースラインである。パラメーター推定モデルはランダムな予測より高い性能を示した。

人手評価応答スタイル制御用パラメーター推定の自動評価に用いた CSJ 独話音声データセットのうち、1ファイル (約 10 分) を用いた。パラメーターを 0.5 に固定した場合と、パラメーター推定モデルの結果を用いた場合とでどちらが自然な応答か比較させた。応答生成は形態素ごとに行った。結果、 3 名の評価者全員が提案手法であるパラメーター推定結果を用いたほうが自然であると回答した。

## 6 おわりに

音声対話における円滑なコミュニケーションのためには、対話システムが聞き手となる場合に傾聴応答を継続的に行う必要があると考えられる。本研究では、聞き手が応答すべきタイミングを推定し、応答生成まで行う手法を提案した。

提案手法では、特徴量から推定した応答スタイル制御用パラメーターと発話文とを応答生成モデルに入力することによって、応答タイミングを推定し、 パラメーターから動的に生成される Prompt-Token によって、応答の多様性やスタイルを制御した。これらにより、応答タイミング推定ではテキストチャッ卜、音声対話問わず多様な形式の対話データを学習に使用できる一方、応答スタイルの制御は少量のデータから効率的に学習できる。

自動評価と人手評価の結果から、提案手法はベー スラインモデルと比較し、より自然なタイミングで応答が可能となり、与えられたパラメーターに沿った応答を生成できることを確認した。

## 謝辞

本研究は JSPS 科研費 JP21K18115, JST AIP 加速課

題 JPMJCR22U4, セコム科学技術財団特定領域研究助成の支援をうけたものです。実験に協力くださった研究室メンバーの皆様に感謝します。

## 参考文献

[1] Divesh Lala, Pierrick Milhorat, Koji Inoue, Masanari Ishida, Katsuya Takanashi, and Tatsuya Kawahara. Attentive listening system with backchanneling, response generation and flexible turn-taking. In Proceedings of the 18th Annual SIGdial Meeting on Discourse and Dialogue, pp. 127-136, Saarbrücken, Germany, August 2017. Association for Computational Linguistics.

[2] 神谷優貴, 大野誠寛, 松原茂樹. 音声対話コーパスに基づくあいづち生成タイミングの検出とその評価. 言語処理学会第 17 回年次大会発表論文集, 言語処理学会, pp. 103-106, 2011.

[3] Kohei Hara, Koji Inoue, Katsuya Takanashi, and Tatsuya Kawahara. Prediction of Turn-taking Using Multitask Learning with Prediction of Backchannels and Fillers. In Proceedings of Interspeech 2018, pp. 991-995, 2018.

[4] Shuo-yiin Chang, Bo Li, Tara N Sainath, Chao Zhang, Trevor Strohman, Qiao Liang, and Yanzhang He. Turn-taking prediction for natural conversational speech. arXiv preprint arXiv:2208.13321, 2022

[5] 藤江真也, 横山勝矢, 小林哲則. 音声対話システムのためのユーザの発話権維持状態の逐次推定. 人工知能学会全国大会論文集第 32 回 (2018), pp. 2N103-2N103, 2018.

[6] Alec Radford, Jeff Wu, Rewon Child, David Luan, Dario Amodei, and Ilya Sutskever. Language models are unsupervised multitask learners. 2019.

[7] Erik Ekstedt and Gabriel Skantze. TurnGPT: a transformer-based language model for predicting turn-taking in spoken dialog. In Findings of the Association for Computational Linguistics: EMNLP 2020, November 2020.

[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers), pp. 4171-4186, Minneapolis, Minnesota, June 2019. Association for Computational Linguistics.

[9] Tom Brown, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, Amanda Askell, Sandhini Agarwal, Ariel Herbert-Voss, Gretchen Krueger, Tom Henighan, Rewon Child, Aditya Ramesh, Daniel Ziegler, Jeffrey Wu, Clemens Winter, Chris Hesse, Mark Chen, Eric Sigler, Mateusz Litwin, Scott Gray, Benjamin Chess, Jack Clark, Christopher Berner, Sam McCandlish, Alec Radford, Ilya Sutskever, and Dario Amodei. Language models are few-shot learners. In H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, and H. Lin, editors, Advances in Neural Information Processing Systems, Vol. 33, pp. 1877-1901. Curran Associates, Inc., 2020.

[10] Brian Lester, Rami Al-Rfou, and Noah Constant. The power of scale for parameter-efficient prompt tuning. In Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing, November 2021.

[11] Maria Tsimpoukelli, Jacob L Menick, Serkan Cabi, SM Eslami, Oriol Vinyals, and Felix Hill. Multimodal few-shot learning with frozen language models. Advances in Neural Information Pro- cessing Systems, Vol. 34, pp. 200-212, 2021

[12] Jordan Clive, Kris Cao, and Marek Rei. Control prefixes for text generation. arXiv preprint arXiv:2110.08329, 2021.

[13] 丸山岳彦, 柏岡秀紀, 熊野正, 田中英輝. 日本語節境界検出プログラム CBAP の開発と評価. 自然言語処理, Vol. 11, No. 3, pp. 39-68, 2004

[14] Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, and Tie-Yan Liu. Lightgbm: A highly efficient gradient boosting decision tree. Advances in neural information processing systems, Vol. 30, , 2017.

[15] Hanae Koiso, Haruka Amatani, Yasuharu Den, Yuriko Iseki, Yuichi Ishimoto, Wakako Kashino, Yoshiko Kawabata, Ken'ya Nishikawa, Yayoi Tanaka, Yasuyuki Usuda, and Yuka Watanabe. Design and evaluation of the corpus of everyday Japanese conversation. In Proceedings of the Thirteenth Language Resources and Evaluation Conference, pp. 5587-5594, Marseille, France, June 2022. European Language Resources Association.

[16] Itsuko Fujimura, Shoju Chiba, and Mieko Ohso. Lexical and grammatical features of spoken and written japanese in contrast: Exploring a lexical profiling approach to comparing spoken and written corpora. In Proceedings of the VIIth GSCP International Conference. Speech and Corpora, pp. 393-398, 2012.

[17] Hiroaki Sugiyama, Masahiro Mizukami, Tsunehiro Arimoto, Hiromi Narimatsu, Yuya Chiba, Hideharu Nakajima, and Toyomi Meguro. Empirical analysis of training strategies of transformer-based japanese chit-chat systems. arXiv preprint arXiv:2109.05217, 2021.

[18] Kikuo Maekawa, Hanae Koiso, Sadaoki Furui, and Hitoshi Isahara. Spontaneous speech corpus of Japanese. In Proceedings of the Second International Conference on Language Resources and Evaluation (LREC'00), Athens, Greece, May 2000. European Language Resources Association (ELRA).

[19] Hajime Morita, Daisuke Kawahara, and Sadao Kurohashi. Morphological analysis for unsegmented languages using recurrent neural network language model. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, pp. 2292-2297, Lisbon, Portugal, September 2015. Association for Computational Linguistics.

[20] Arseny Tolmachev, Daisuke Kawahara, and Sadao Kurohashi. Juman++: A morphological analysis toolkit for scriptio continua. In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing: System Demonstrations, pp. 54-59, Brussels, Belgium, November 2018. Association for Computational Linguistics.

[21] Joseph L Fleiss. Measuring nominal scale agreement among many raters. Psychological bulletin, Vol. 76, No. 5, p. 378, 1971.

[22] Jiwei Li, Michel Galley, Chris Brockett, Jianfeng Gao, and Bill Dolan. A diversity-promoting objective function for neural conversation models. In Proceedings of the $\mathbf{2 0 1 6}$ Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 110-119, San Diego, California, June 2016. Association for Computational Linguistics.

## A 付録

## A. 1 実験条件

Prompt-Token サイズは予備実験の結果から決定した。予備実験では、5, 10, 20, 50, 100 の Prompt-Token サイズを比較し、応答スタイル制御用パラメーターに沿った応答が生成されたと人手で判定された最小の Prompt-Token サイズを各モデルで使用した。また、Prompt-Token-Encoder の MLP のニューロン数は入力層は 1、中間層が 10,000 、出力層は 40,960 とした。学習時のバッチサイズは 8 とし、学習率は Fine-Tune では 5e-05、Prompt-Tune と Dynamic-Prompt-Tune では 0.3 とした。optimizer として AdamW を使用し、エポック数は学習時の loss が収束する値に設定した。LightGBM は評価指標に LogLoss を使用し、learning_rate を 0.01 , num_leavesを 7, max_depth を8, min_data_in_leaf 20 とした。Juman++は Ver.2.0.0-rc3 を使用した。

## A. 2 応答生成例

表 6 と表 7 に Fine-Tune モデル、Prompt-Tune モデル、Dynamic-Prompt-Tune モデルの応答生成例を応答スタイル制御パラメーターごとに示す。

表 6 応答生成例 1

表 7 応答生成例 2