言語処理学会 第30回年次大会 発表論文集（2024年3月）

非タスク指向型対話における話題の深さ推定モデルの構築
三野星弥 1 伴碧 1 吉川雄一郎 1 石黒浩 1
1 大阪大学大学院 基礎工学研究科{mitsuno.seiya, ban, yoshikawa, ishiguro}@irl.sys.es.osaka-u.ac.jp

概要
非タスク指向型対話システムが，話題の深さを考慮しながらユーザに応じて適切な話題を提示することは，より人間らしく自然な対話を実現するために重要であると考えられる．話題の深さを考慮しながら対話できるシステムの実現のための第一歩として，本研究では，様々な話題について，その深さを推定できるモデルを構築することを目指す．我々は，独自に作成した話題の深さデータセット1）を用いて，GPT-3.5 をファインチューニングし，話題の深さ推定モデルを構築した．そして，評価実験を通して，本モデルが，ベースラインと比較して，高い精度で話題の深さを推定できることを確認した．

1

はじめに話題について，その深さを推定できるモデルを構築することを目指す．具体的には，まず，大規模言語モデルで拡張した話題リストを用意し，人間のアノテータに深さラベルを付与させ，話題の深さデータセットを作成する．次に，このデータセットを用いて，OpenAI2）の GPT-3.5-turbo をファインチューニン
グし，話題の深さを推定できるモデルを構築する．
そして，構築したモデルが，ベースラインと比較して，高い精度で話題の深さを推定できることを評価実験を通して確認する．

2

データセット

我々は，大規模言語モデルで拡張した話題リストを用意し，各話題に対して人間のアノテータが話題の深さのラベルを付与したものを，ファインチューニングに使用するデータセットとした．

近年，娯楽 [1]，福祉 [2]，教育 [3] といった様々な
2.1 話題リスト
領域で，人の代わりの雑談相手となる，非タスク指話題リストの作成フローを図 1 に示す．まず，初向型対話システムの活躍が期待されている．このよ
期データセットとして，話題の深さについての調査
うな非タスク指向型対話システムがユーザに提示し研究 [5, 4]，人–対話システム間で実際に行われた対得る話題の候補は，ユーザにとって浅く取るに足ら話で登場した話題 [8]，不安感や不眠症等のメンタルないものから，自身の本質にかかわるような深いものまで多岐に渡る [4, 5]．この話題の深さという概ヘルス関連項目（PHQ[9, 10]，GAD[11, 10]，ISI[12]）
念は，主に自己開示研究の分野で用いられており， から 106 話題を用意した（e.g., “あなたの一番好きな食べ物は何ですか？”）．
対話における重要な要素の一つであると考えられている [6]．人は一般に，深い話題を他者に対して次に，大規模言語モデルを用いたデータセット拡あまり話したがらない傾向にあると言われている
張手法である Evol-Instruct [13, 14] を参考に，用意し[4, 5, 7]．また，対話相手との関係性の深化に伴った話題リストを拡張した．具体的には，話題をよて，人は徐々に深い話題を話すようになるとも言わり深くさせる指示（In-Depth Evolving）と話題の幅れている [6, 7]．以上より，非タスク指向型対話シス （種類）を増加させる指示（In-Breadth Evolving）をテムが，話題の深さを考慮しながらユーザに応じて与え，GPT-4 を用いて，話題リストを拡張した（プ適切な話題を提示することは，より人間らしく自然
ロンプトは付録 A.1 を参照）．また，拡張した話題な対話を実現するために重要であると考えられる．
リストを OpenAI の text-embedding-ada-002 でベクト
話題の深さを考慮しながら対話できるシステム
ル化し，類似度の高い（コサイン類似度が 0.95 以上の実現のための第一歩として，本研究では，様々なとなる）話題を削除した．この処理を繰り返し，最終的に，1,638 話題を用意した．
1） 本研究で作成したデータセットは GitHub（https://github.
com/IshiguroLab/TopicDepthDataset/）にて公開している．

2） https://openai.com/― 3061 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図1

話題リストの作成フローもの（深く，人の本質に関わるようなもの）でしょうか．” という教示のもと，1：とても質問しやすい（浅く，取るに足らない）〜7：とても質問しにくい（深く，人の本質に関わる）の 7 件法で付与させた．この際，“質問文の意味が読み取れない”，という項目を同時に用意し，全体の 10%以上（3/30 名以上）のアノテータがこの項目を選択した場合，その話題は除外した（38 話題が該当）．また，Maniaci& Rogge の Directed Questions Scale (DQS) [16] を参考に，質問中にチェック項目（e.g., “この項目は 1 を選択してください”）を複数設け，これらの項目に一つでも違反したアノテータのデータは平均値の算出時に除外した（728 データ=4 人 ×182 話題/人が該当）．

2.3

データの分布

話題の深さデータセットのヒストグラムを図 2 上部に示す．最終的に採用した 1,600 話題の深さラベ
ルは 1 点から 7 点まで幅広く分布しており，特に 3
図22.2点付近に多く分布していることが確認された．ま話題の深さデータセットの分布

た，深さラベルの平均値と標準偏差を確認すると，浅い話題や深い話題と比較して中程度の深さの話題

深さラベルが標準偏差が高い傾向にあり，アノテータによって用意した 1,638 話題に対し，人手で深さラベルを付与した．具体的には，クラウドソーシングサー評価する深さにばらつきが出やすいことが示唆された（図 2 下部）．

ビスを用いて，各話題につきアノテータ 30 名に深また，表 1 に話題と深さラベルの例を示す．浅いさラベルを付与させ，その代表値（平均値）を最終的な深さラベルとした．深さラベルは，先行研

話題としては，好きな食べ物や趣味といったポジティブな内容のものや，今日の天気といった客観的究 [5, 6, 7, 15] を参考に，“あなたが「初対面の人と情報に関するものが多くみられた．その一方で，深メッセージアプリ上で雑談をしている」という状況

い話題としては，精神的に疲れを感じているかや自を想定してください．この状況において，以下の質

己嫌悪を感じた経験などのネガティブな内容のもの

問文は，質問しやすいもの（浅く，取るに足らないや，金銭や性に関するものが多くみられた．

ようなもの）でしょうか，あるいは，質問しにくい― 3062 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1 話題と深さラベルの例
話題
今日の天気はどうですか？
あなたの一番好きな食べ物は何ですか？
あなたの趣味は何ですか？
最近どこかに旅行の予定はありますか？
今日は何か面白いことがありましたか？
あなたの人生のモットーは何ですか？
最近起きた困った出来事は何ですか？
友人に求める理想の価値観と性格は何ですか？
最近、精神的に疲れを感じていますか？
一番自己嫌悪を感じた経験は何ですか？
預貯金の目標額はいくらですか？
あなたは株でいくらくらい儲けていますか？
最近、パートナーとのセックスライフに何か変化はありましたか？

表2
深さ
1.20
1.53
2.07
2.41
2.93
3.63
3.93
4.53
5.13
5.76
6.21
6.63
7.00

実験結果

𝑀 𝐴𝐸

𝑅𝑀𝑆𝐸

𝑅2

𝑟

GPT-3.5

1.76

2.07

-2.13

0.63

GPT-4

0.82

1.08

0.15

0.80

GPT-4 (7-shot)

0.64

0.87

0.45

0.84

Finetuned GPT-3.5

0.25

0.33

0.92

0.96

話題の深さ推定モデル

3

作 成 し た 話 題 の 深 さ デ ー タ セ ッ ト を 用 い て，OpenAI の gpt-3.5-turbo-0613 をファインチューニングし，話題の深さ推定モデルを構築した．具体的には，話題の深さデータセットを訓練用，テスト用に 9:1 に分割し，OpenAI の API を用いて，ファインチューニングを実施した3）．ファインチューニング
時のプロンプトは，深さラベル付与の際に用いた教示と類似したものとなるようにした（付録 A.2 参照）．また，ファインチューニング時のハイパーパ
ラメータは，OpenAI が事前に用意した，訓練データに合わせて自動で設定される値のセットを用いた（batch_size: 2, learning_rate_multiplier: 2, n_epochs:

図33）．

4

評価実験

4.1

ベースライン

4.2

話題の深さ群毎の推定精度

結果

実験の結果を表 2 に示す．テストデータセットにおいて，MAE, RMSE, 𝑅 2 , Peason’s 𝑟 の全ての指標で，gpt-3.5-turbo-0613 をフ ァ イ ンチ ュ ー ニン グ し て

Finetuned GPT-3.5 が最も高い性能を示したことが確作成した話題の深さ推定モデル（以下，FinetunedGPT-3.5）を評価するための実験を実施した．ベー

認された．

スラインとして，Zero-shot の gpt-3.5-turbo-0613（以テストデータセットを，深さラベルの四分位数を下，GPT-3.5），Zero-shot の gpt-4-1106-preview（以下，もとに，浅い話題群（shallow; 0∼25%, 1.00∼2.50 点），GPT-4），7-shot の gpt-4-1106-preview（以 下，GPT-4(7-shot)）を 用 意 し た．GPT-4 (7-shot) は，Finetuned

中程度の深さの話題群（middle; 25∼75%, 2.50∼4.23点），深い話題群（deep; 75∼100%, 4.23∼7.00 点）に分

GPT-3.5 の訓練データを浅い順に並べ替え，等間隔割した．そして，GPT-3.5 と Finetuned GPT-3.5 それにピックアップした 7 データをプロンプトに含め，ぞれについて，各話題群における推定精度（MAE）

In-context Learning を行った．

を評価した（図 3）．その結果，GPT-3.5 は，中程度

また，話題の深さ毎の推定精度を評価するため，の深さの話題群の推定精度が，浅い話題群，深い3） ファインチューニングの所要時間は約 75 分で，費用は約1,500 円であった．

話題群と比較して低いことが確認された．一方で，Finetuned GPT-3.5 は，全ての話題群において高い精― 3063 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

度で話題の深さを推定できており，特に浅い話題群での推定精度が高いことが確認された．
[9]

5

おわりに
本研究では，独自に作成した話題の深さデータセットを用いて，GPT-3.5 をファインチューニング

[10]し，話題の深さ推定モデルを構築した．そして，評価実験を通して，本モデルが，ベースラインと比較して，高い精度で話題の深さを推定できることを確[11]認した．本モデルの課題として，話題の深さに影響し得る様々な要因を十分に考慮できていないことが挙げられる．具体的には，対話相手の性別や関係性[12]（家族，友人，仕事の同僚）などが話題の深さに影響を与えると考えられているため [7, 17]，これらの要素を考慮できるようにする必要がある．今後は，本モデルの拡張を行うとともに，本モデルを用いて，[13]

話題の深さを考慮しながら対話できる非タスク指向型対話システムの実現を目指す予定である．

[14]

謝辞
本 研 究 は JSPS 科 研 費 JP20H00101, JP19H05691,
JP23KJ1462, Society 5.0 実現化研究拠点支援事業（グ[15]ラント番号: JPMXP0518071489）の助成を受けた．

[16]

参考文献
[1] 杉山弘晃, 古賀光, 西島敏文. 移動体から見える風景 を 話 題 と す る 雑 談 対 話 シ ス テ ム. 人 工 知 能 学会 全 国 大 会 論 文 集, Vol. JSAI2022, pp. 2N5OS7a04–
2N5OS7a04, 2022.
[2] Joost Broekens, Marcel Heerink, Henk Rosendal, and Others. Assistive social robots in elderly care: a review.
Gerontechnology, Vol. 8, No. 2, pp. 94–103, 2009.
[3] Takayuki Kanda, Takayuki Hirano, Daniel Eaton, and Hiroshi Ishiguro. Interactive robots as social partners andpeer tutors for children: A ﬁeld trial. Human–ComputerInteraction, Vol. 19, No. 1-2, pp. 61–84, June 2004.
[4] 三野星弥，伴碧，吉川雄一郎，石黒浩. 初対面ロボッ
トにユーザは何を話すのか―対話場面における話題の深さの検討―. 2024.
[5] 三 野 星 弥, 伴 碧, 吉 川 雄 一 郎, 石 黒 浩. ロ ボ ッ トと の 対 話 意 欲 と 話 題 の 深 さ の 関 係 の モ デ ル 化.
人 工 知 能 学 会 全 国 大 会 論 文 集, Vol. JSAI2023, pp.
2O5OS2a01–2O5OS2a01, 2023.
[6] Irwin Altman and Dalmas A Taylor. Social penetration:The development of interpersonal relationships. Vol. 212,, 1973.
[7] 丹羽空, 丸野俊一. 自己開示の深さを測定する尺度の開発. パーソナリティ研究, Vol. 18, No. 3, pp.
196–209, 2010.
[8] 三野星弥, 吉川雄一郎, 伴碧, 石黒浩. 友人グループ内での長期間利用による他者情報のやり取りを行う日[17]― 3064 ―常対話チャットボットの評価. 人工知能学会論文誌,
Vol. 37, No. 3, pp. IDS–I_1–14, 2022.
Kurt Kroenke, Robert L. Spitzer, and Janet B. Williams.
The PHQ-9: validity of a brief depression severity measure. J. Gen. Intern. Med., Vol. 16, No. 9, pp. 606–613,
September 2001.
村松公美子, Others. Patient health questionnaire (PHQ-9,PHQ-15) 日本語版および generalized anxiety disorder-7
日本語版-up to date. 新潟青陵大学大学院臨床心理学研究, Vol. 7, pp. 35–39, 2014.
Robert L Spitzer, Kurt Kroenke, Janet B W Williams, andBernd Löwe. A brief measure for assessing generalized
anxiety disorder: the GAD-7. Arch. Intern. Med., Vol.
166, No. 10, pp. 1092–1097, May 2006.
Cèlyne H. Bastien, Annie Vallières, and Chales M. Morin.
Validation of the insomnia severity index as an outcome
measure for insomnia research. Sleep Med., Vol. 2, No. 4,pp. 297–307, July 2001.
Can Xu, Qingfeng Sun, Kai Zheng, Xiubo Geng, Pu Zhao,Jiazhan Feng, Chongyang Tao, and Daxin Jiang. WizardLM: Empowering large language models to follow complex instructions. April 2023.
Haipeng Luo, Qingfeng Sun, Can Xu, Pu Zhao, JianguangLou, Chongyang Tao, Xiubo Geng, Qingwei Lin, Shifeng
Chen, and Dongmei Zhang. WizardMath: Empowering
mathematical reasoning for large language models via reinforced Evol-Instruct. August 2023.
飯長喜一郎. グループ合宿における自己開放性. 東京大学教育学部紀要, Vol. 17, pp. 77–84, February 1978.
Michael R Maniaci and Ronald D Rogge. Caring aboutcarelessness: Participant inattention and its eﬀects on research. J. Res. Pers., Vol. 48, pp. 61–83, February 2014.
榎本 博明. 自己 開示 の 心理 学 的研 究 北大 路書房.
1997.

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

・質問する内容は一つにし，クエスチョンマークはA

プロンプト

A.1

Evol-Instruct によるデータ拡張

A.1.1

In-Depth Evoloving

1 度しか使用しないでください．
# 元となる質問文 #{given_question}

話 題 を よ り 深 く さ せ る 指 示（In-Depth Evolving）# 新しい質問文 #は，以下の通りである．なお，{given_question} に‌‌

A.2

は，質問文が挿入される．

話題の深さの推定

ファインチューニングおよび深さの推定に使用# 指示 #
・以下の指示に従って，対話における質問文の作成したプロンプトは以下の通りである．なお，ファをしてください．

インチューニング時には，出力結果として，質問・具体的には，元となる質問文から，より深くプラ文の深さを表す数値もデータに含めている．また，イベートな質問文（新しい質問文）を作成してくだ
さい．

{question} には，質問文が挿入される．
# 指示 #‌‌

・元となる質問文に対する回答と新しい質問文に対・「初対面の人とメッセージアプリ上で雑談をしてする回答は，類似したものにならないようにし，異いる」という状況において，以下の質問文は，質問なる回答が得られるものにしてください．

しやすいもの（浅く，取るに足らないようなもの）

・新しい質問文は自然な日本語になるようにしてくか質問しにくいもの（深く，人の本質に関わるようださい．

なもの）かを評価してください．

・質問は 30 文字以内にしてください．

・出力は，1.00 点が「とても質問しやすい（浅く，・質問する内容は一つにし，クエスチョンマークは取るに足らない）質問文」， 7.00 点が「とても質問1 度しか使用しないでください．

しにくい（深く，人の本質に関わる）質問文」となるようにしてください．

# 元となる質問文 #・出力は，1〜7 の間の小数点以下第 2 位までの実数{given_question}で評価してください．

# 新しい質問文 ## 質問文 #{question}

A.1.2

In-Breadth Evoloving

話 題 の 幅（種 類）を 増 加 さ せ る 指 示（In-# 出力 #

Breadth Evolving）は，以 下 の 通 り で あ る．な お，{given_question} には，質問文が挿入される．
‌‌# 指示 #・以下の指示に従って，対話における質問文の作成をしてください．
・具体的には，元となる質問文から，異なる話題で類似した質問文（新しい質問文）を作成してください．
・元となる質問文に対する回答と新しい質問文に対する回答は，類似したものにならないようにし，異なる回答が得られるものにしてください．
・新しい質問文は自然な日本語になるようにしてください．
・質問は 30 文字以内にしてください．

― 3065 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).