# チャットボットとの雑談対話に対する印象評価と 評価者の性格特性・コミュニケーションスキルとの関連

山本 茉莉 $^{1}$ 上 秋予 1 伊藤 紀子 ${ }^{2}$
1 同志社大学大学院 文化情報学研究科 2 同志社大学 文化情報学部
\{ctmh0001,ctmh0011\}@mail4.doshisha.ac.jp nito@mail.doshisha.ac.jp

## 概要

従来の雑談対話システムには，いくつかの問題が存在し，ユーザが円滑に対話を継続することができない，すなわち対話が破綻してしまうことがある。 しかし, ユーザによって, システムの破綻発話に対する許容度は異なると考えられる。そこで, 本調查では，雑談対話におけるシステムの破綻発話に対する不快感の度合いが，ユーザの性格特性・コミュニケーションスキルと関連すると仮説を立て, 調査を実施した. その結果, ユーザの「神経症傾向」の特性が高いほど，システムの破綻発話に対するユーザの許容度が低くなり，「自己統制性」の特性が高いほど, システムの破綻発話に対するユーザの許容度は高くなることが分かった。

## 1 はじめに

近年, Microsoft 社の Cortana, Apple 社の Siri, Google 社の Google Assistant など, 各社からさまざまな対話システムが提供されている. これらは主にユーザからの指示や課題を実行・解決することを目的としているが，rinna 株式会社の「りんな」のように雑談ができる対話システムも存在する. 従来の雑談対話システムは,いくつかの問題を内包しており，対話の破綻を完全に回避することは困難な段階である.このような対話の破綻は, ユーザに不快感を与え，システムの使用率の低下に繋がる恐れがある。

雑談対話システム発話への評価がユーザの個人特性の違いにより異なりうることが先行研究で示唆されている. 東中ら [1]や叶内ら [2]では破綻の判定がアノテーター間で一致しないことが少なくないことが報告されている. また宮本ら [3]は，「ユーザのパ ーソナリティ特性が心理的近接発話を行う雑談対話システムの受容性にどのような影響を及ぼすか」と 「心理的近接発話の戦略の違いが雑談対話システム
の受容性にどのような影響を及ぼすか」という点に着目し，ユーザの雑談対話システムに対する受容性について検討した. その結果，システムが攻撃的㔯談を発した際の好感度について, 開放性や外向性といった性格特性については正の相関を示したが，神経症傾向については負の相関を示すなど，ユーザの性格特性と関連があることが報告されている。この研究では，雑談対話の終盤のシステム発話を変化させることで受容度にどのような違いが見られるかを調查したものであり，対話中のシステム発話一つ一つに対するユーザの印象評価については調査されていない.

そこで，本調査では，評価者の個人特性の内，性格特性とコミュニケーションスキルに焦点を当て，雑談対話の破綻応答文に対する不快感の度合いの分析を実施する。本調査によって性格特性・コミュニケーションスキルと破綻応答文に対する許容度に一定の規則性を見出すことができれば，それを雑談対話システムに組み込むことにより，ユーザの特性に合わせた対話の展開が可能となり，対話継続欲求の低下を防ぐ効果が期待できる。

## 2 調査内容

## 2. 1 雑談対話コーパス

システム発話に対する破綻アノテーションを行ってもらうために，岩下 [5]のチャットボットとの対話コーパスから 12 件を抽出した。この対話コーパスは, LINE を通じてインターメディアプランニング株式会社のチャットボット「かたらい」と，以下の 3 つのテーマに則し雑談した際の対話データである.

-「新しいクラスで初めて知り合った隣の席の学生と始めて会話する感じで」

- 「好きな○○について」

- 「小学校の時の思い出」

1 人が 3 つのテーマを合わせて約 10 分間チャットしたもので， 12 人分の対話データにシステム発話は 2156 件含まれている.

## 2.2 破綻アノテーション実験

実験参加者は 20 代の日本語母語話者の男女 10 名である。実験課題は以下の通りである.

1. 直感に従ってシステム発話を $\bigcirc, \triangle, \times の 3$ 種類で評価

2. $\triangle$ もくは $\times$ と評価した発話については, 5 件法のリッカート尺度を用いて, どの程度不快に感じるかについて評価

○， $\triangle ， \times$ の基準は，東中ら [1]を参考に，システムの発話を破綻の度合いに応じて, 以下の 3 種類に分類するよう指示した。

- $\bigcirc$ ：「破綻ではない」…当該システム発話のあと対話を問題無く継続できる.

- $\triangle$ : 「破綻と言い切れないが，違和感を感じる

ズに継続することが困難.

- $\times$ :「あきらかにおかしいと思う発話（破綻）」 ‥当該システム発話のあと対話を継続することが困難.

不快感は 5 件リッカート尺度（1.全く不快ではない〜5. 非常に不快である) で回答してもらい, $\triangle, \times$ のシステム発話数で除することで標準化を行った.

不快感の得点 $=([1$ の個数 $] * 1+[2$ の個数 $] * 2$ $+[3$ の個数 $] * 3+[4$ の個数 $] * 4+[5$ の個数 $]$

*5) $/[\triangle, \times$ の個数 $]$

## 2.3 事後アンケート

実験参加者自身の性格特性・コミュニケーションスキルに関する質問に回答してもらった。性格特性については,小塩ら [6]の日本語版 TIPI-Jを使って,全 10 項目を 7 件法のリッカート尺度で回答してもらい, 「外向性」, 「協調性」, 「勤勉性」, 「神経症傾向」,「開放性」の 5 因子の得点を計測した。 コミュニケーションスキルについては, 藤本ら [7] の ENDCORE を使って, 全 6 項目を 7 件法のリッカ一ト尺度で回答してもらい，「自己統制」，「表現力」,「解読力」,「自己主張」,「他者受容」,「関係調整」の 6 因子の得点を計測した。

## 2. 4 分析方法

性格特性・コミュニケーションスキルと破綻発話への不快感の関係を明らかにするために，TIPI-J と ENDCORE の各得点を予測変数, 標準化済みの不快感得点を目的変数として重回帰分析を行った.

## 3 分析結果

調査によって得られた数値を表 1-3 にまとめた.

表 1 破綻アハテーションに関する基本統計量

 &  &  &  \\

表 2 性格特性の得点の基本統計量

 & 開放性 \\

表 3 コミュニケーションスキルの基本統計量

 &  &  &  &  &  \\

## 3.1 性格特性と不快感の関連

性格特性 5 因子の得点からシステム発話への不快感の得点を予測するために，強制投入法の重回帰分析を行った（表 4）.

表 4 性格特性を予測変数とした重回帰分析の結果

分析の結果, 「神経症傾向」の標準偏回帰係数にのみ有意傾向が見られ, 不快感に影響を与えていることが分かった。

## 3.2 コミュニケーションスキルと不快感の

## 関連

ENDCORE 各因子の得点からシステム発話への不快感の得点を予測するために，強制投入法の重回帰分析を行った.「他者受容」と「関係調整」については VIF が 10 を超えたため分析から除外した（表 5).

表 5 コミュニケーションスキルを予測変数とした重回帰分析の結果

調整済み $R^{2}=0.81,{ }^{*} p<0.05$

分析の結果, 「自己統制」の標準偏回帰係数のみ統計的に有意であり，不快感に影響を与えていることが分かった。

## 4 考察

分析結果から，TIPI-J における「神経症傾向」の得点が高い評価者は破綻発話への不快感の度合いが高くなることが分かった. 小塩 [5] らによると, 神経症傾向の得点が高いとは「心配性で，う万たえやすく」「冷静で, 気分が安定し」ない特性を持つ人物である。また，ENDCORE における「自己統制」の得点が高い評価者は破綻発話への不快感の度合いが低くなることがわかった. 藤本ら [7]によると, 自己統制の得点が高いとは「自分の感情や行動をうまくコントロールする」特性を持つ人物である.

これらを踏まえると，「神経症傾向」が強い評価者は正直に不快感を示したが，「自己統制」が強い評価者は実は不快に思っているけれどもそれをそのまま回答しなかった可能性がある。もしそうだとすれば，アンケート調査のような意識的，主観的な方法ではなく皮膚電位や心拍などの生体信号データから不快感を計るような工夫が必要かもしれない.

## 5. おわりに

本研究は, さまざまある個人特性の中から性格特性とコミュニケーションスキルに着目し, 破綻に対する許容度が予測可能かどうかを検証した. その結果, TIPI-J の「神経症傾向」と ENDCORE の「自己統制」が破綻発話への不快感の予測に有効であることが示唆された. しかし, 現時点で実験参加者が 10 名と少ないため, より多くのデータを収集し, 精度の高い分析を目指すことを今後の課題とする.

## 謝辞

本研究は JSPS 科研費 JP19K12191「雑談対話システムへの個性の付与とそのコミュニケーションへの影響について」の助成を受けて行われたものである。 また, 同志社大学と東京工科大学の方々に実験にご協力いただいた。ここに記して感謝いたします.

## 参考文献

1.東中竜一郎，船越孝太郎，荒木雅弘，塚原裕史，小林優佳, 水上雅博. テキストチャットを用いた雑談対話コーパスの構築と対話破綻の分析. 自然言語処理 23(1), pp.59-86, 2016.

2. 叶内晨, 赤崎智, 堀江伸太朗, 小亀俊太郎. Capex 雑談対話コーパスの構築とその分析. 言語処理学会第 28 回年次大会発表論文集 pp.1090-1094, 2022.

3. 宮本友樹, 磐下大樹, 遠藤水紀, 永井望, 片上大輔. 雑談対話システムにおける心理的近接発話の戦略が対話の評価に及ぼす影響. 人工知能学会論文誌, 36(5), AG21-I_1-14, 2021.

4. 菊池浩史, 楊潔, 菊池英明. 雑談対話システムにおけるユーザの許容範囲を考慮した多様な同調応答の検討. 人工知能学会全国大会論文集第 35 回,4E2-OS-11b-02, 2021.

5. 岩下志乃. チャットボットとの対話コーパスと性格特性・社会的スキルのデータ公開.

 2021.

6. 小塩真司, 阿部晋吾, カトローニピノ. 日本語版 Ten Item Personality Inventory (TIPI-J) 作成の試み. パ ーソナリティ研究, 21(1), pp.40-52, 2012.

7. 藤本学・大坊郁夫. コミュニケーション・スキルに関する諸因子の階層構造への統合の試み. パーソナリティ研究, 15(3), pp.347-361, 2007.