HAI シンポジウム 2022
Human-Agent Interaction Symposium 2022

G-3

テキスト対話エージェントからの返信間隔の違いはユーザの印象評価に影響を与えるのか
How do different switching pause durations between users and text-dialogue agent
affect the users’ impressions of this agent?
須田翔悟 1

神保一馬 1

小松孝徳 1

山田誠二 2,3

Shogo Suda1, Kazuma Jimbo1, Takanori Komatsu1 and Seiji Yamada2,3
1

明治大学総合数理学部，2 国立情報学研究所，3 総合研究大学院大学
1
Meiji University, 2National Institute of Informatics, 3SOKENDAI

昨今の急速な AI 技術の発展により，ユーザとチャットを行うテキスト対話エージェントが普及しつつある．その一例であるチャットボットは，ユーザの入力に対して即時的な返信を行っているが，人間同士がチャットなどで雑談をする際には必ずしも即時的な返信を行っているわけではない．そこで本研究では，ユーザと雑談を行う目的のテキスト対話エージェントは即時的な返信よりも間隔を開けた返信の方がユーザに好印象を与えると考え，それを検証するための実験を行った．

1. はじめに
昨今の急速な AI 技術の発展により，ユーザとテキスト対話を行うテキスト対話エージェントが普及しつつあり，それらはチャットボットとして様々なシステムに実装されている．例えばヤマト運輸は，ユーザから送られるテキストメッセージによって配達時間や配達方法を指定することができる LINE botを開発した[1]．また任天堂ではユーザからの簡単な問い合わせに対応するヘルプデスクとしてチャットボットを活用している[2]．チャットボットの多くは，上記のように問い合わせ対応などの具体的な業務を担当している一方，人間と自然な雑談を行うことを目的としたテキスト対話エージェントも開発されつつある．
その一例として挙げられるのが，Microsoft 社によって開発された AI コミュニケーション bot の「りんな」である[3]．「りんな」はディープラー
ニングを用いた自然言語処理技術により，ユーザと人間のような文脈を踏まえた自然な会話を行うことができる．しかしながら，「りんな」との会話においてユーザが「死ね」という単語を多用するなど，
必ずしも「りんな」はユーザに受け入れられていなかったと Microsoft の研究チームは報告している．
そこで著者らは，「りんな」がユーザから受けられなかった原因の一つとして，ユーザからのメッセー
ジを受け取ると即座に返信を行うという即時応答性にあると考えた．人間同士のテキストチャットでは，メッセージの送信後，その返信までの間隔は数秒間空くことは普通であり，返信が即座に返ってく
ることはほとんどない．そのため，「りんな」の即座の返信がユーザに対して違和感や圧迫感を与えていたと考えられる．
そこで本研究では，ユーザと雑談をする目的であるテキスト対話エージェントは，ユーザからのメッ
セージに対してどのくらいの間隔を開けて返信するべきなのかを実験的に調査することとした．具体的には，ユーザによるメッセージの送信からエージェ
ントによる返信までの間隔（交替潜時）を「独立変数」，その際のユーザのエージェントへの印象を「従属変数」とした実験を実施した．

2. 関連研究
コンピュータシステムにおいて，ユーザからのアクションに対する応答時間は，満足度を向上させるための重要な要素であるため，コンピュータシステ
ムにおける遅延に関する研究はこれまで盛んに行われてきた[4-8]．例えば，Hoxmeir ら[9]はシステムの応答時間の遅延とユーザの満足度の関係について調
査し，システムの応答時間に遅延がない場合に最も満足度が高く，遅延が 3 秒～9 秒の場合は遅延がない場合に比べて満足度が約 3 分の 2 以下に減少し，遅延時間が 12 秒になるとそれが約 3 分の 1 に減少することを報告した．

しかし先の「りんな」の例のように，エージェン
トの「早すぎる応答」はユーザに機械的な印象を与えてしまうため，必ずしも応答が早ければ良いというわけではない ことも報告されている [10-12]．
Moon [13]は，参加者に返信間隔が操作されたテキス
ト対話エージェントと共に「砂漠の生存問題」に取り組んでもらう実験を実施した．
「砂漠の生存問題」とは，砂漠で生き延びるために必要な道具 12 個の中から，どの道具を使用したいかのランク付けを行うというものである．その結果，短い返信間隔（0～1秒）や長い返信間隔（13～18 秒）よりも，適度な返信間隔（5～10 秒）のエージェントの方が，ユーザにとって説得力があると認識されていたことが明らかとなった．
これらの先行研究においては，参加者は何かしら与えられた目的を達成するためにエージェントと会話を行うという実験環境が設定されている．一方で，本研究のようにテキスト対話エージェントと雑談を行うことを目的とした実験環境において，その返信間隔の影響を考察した研究は，管見の限り行われていないのが現状である．また返信間隔に関しても，先行研究では長くとも数十秒程度までしか設定されておらず，本研究で行うような 1 分以上の長い返信間隔の影響は考察されていない．

3. 予備調査
テキスト対話システムとユーザとの自然な返信間隔を考察するため，まずは最も自然なテキストコミュニケーションとみなすことができる「人間同士のテキスト対話」において，返信間隔がどのように認識されているかを把握する予備的な調査を実施した．本調査にはクラウドソーシングによって募集された 246 人（18 歳～81 歳，平均年齢 41.6 歳；男性
165 人，女性 80 人，無回答 1 人）が参加した．調査における質問項目を表 1 に示す．
その結果，54.0%の回答者が SNS でのメッセージに気づいてから一時間以上の間隔を空けて返信すると回答していた．また，メッセージアプリの LINE
でも同様に，一時間以上後に返信すると 40.7％が回答していた．特に 18 歳から 24 歳の若者層では，SNS のメッセージに気づいてから一日以上空けて返信すると 47％が回答し，LINE でも 44.4%が一日以上空けると回答するなど，返信間隔が極端に長い傾向にあることが明らかとなった．
また，メッセージには返事が急がれているものとそうでないものがある．返事が急がれている SNS
でのメッセージに対しては 62.1%が 10 分以内に返信すると回答し，LINE でも 71.0%が 10 分以内に返表１：予備調査の質問項目
質問
a-1

インスタグラムやTwitterなどのSNSのメッセージ機能において、
普段どれくらい未読メッセージをためていますか
インスタグラムやTwitterなどのSNSのメッセージ機能において、

a-2

メッセージに気づいてから、平均的にどれくらいの間隔を空けて返信しますか
インスタグラムやTwitterなどのSNSメッセージ機能において、 返a-3

信が急がれているメッセージ対する返信時間はメッセージに気が付いてからどのくらいですか
インスタグラムやTwitterなどのSNSメッセージ機能において、返a-4

信が急がれていないメッセージ対する返信時間はメッセージに気が付いてからどのくらいですかa-5

LINEで平均的にメッセージに気が付いてからどのくらいの間隔を空けて返信しますか

a-6

LINEの未読メッセージの数はどのくらいですかa-7

LINEを1日に何回開きますか

a-8
a-9

LINEで返事を急がれているメッセージに対して、メッセージに 気が付いてからどれくらいの間を空けて返信しますか
LINEで急がれていないメッセージに対して、メッセージに気が付いてからどのくらい時間を空けて返信しますか

信すると回答していた．一方，返事を急がれていな
い SNS でのメッセージに対しては 45.1%が一時間以上の間隔を空けると回答し，LINE でも 39.0%が一時間以上の間隔を空けると回答していた．
このことからテキスト対話における会話の形態
は，大きく二種類に分類できると考えられる．一つは，相手が早急な返信を求めているものである．こういった会話ではお互いが相手のメッセージを受け取ると即座に返信を行うので，会話のテンポは速くなる．また，目的が達成されれば会話は終了することが多い．このような会話を本稿では「同期的会話」と呼ぶ．一方，雑談のように会話の内容が早急な返信を求めない場合，返信間隔は長くなる傾向にあるといえる．こういった会話ではお互いが都合のいいタイミングで返信を行うため，会話のテンポは遅くなり，長期間にわたって会話が続くことが多い．このような会話を本稿では「非同期的会話」と呼ぶ．
本稿で着目するテキスト対話エージェントとユー
ザとの雑談という状況は非同期的会話とみなすことができるため，テキスト対話エージェントがユーザと雑談を行う場合，返信間隔を長くした方がユーザからの印象は向上すると著者らは考えた．特に，人間同士のテキスト対話においては一時間以上もしくは一日以上空けてから返信するケースが多くみられていたことから，これらの返信間隔を含んだ実験設定が必要だと考えられた．

表 2：実験後アンケートの質問項目
質問b-1「えだまめ」は親しみやすいと感じたb-2「えだまめ」と仲良くなれたと感じたb-3「えだまめ」には人間味があると感じたb-4「えだまめ」は好印象だったb-5「えだまめ」との会話に圧迫感を感じたb-6「えだまめ」は話しかけやすいと感じたb-7「えだまめ」との会話は返信しやすいと感じたb-8「えだまめ」との会話は盛り上がったと感じたb-9「えだまめ」と話すのは楽しいと感じたb-10「えだまめ」との会話は自然だと感じたb-11「えだまめ」に愛嬌を感じた

4. 2. 実験設定

図 1：
「えだまめ」と参加者の会話

4. 実験
4. 1. テキスト対話エージェント「えだまめ」
本実験にて参加者とテキスト対話を行うエージェ
ントとして， LINE bot「えだまめ」を作成した．
「えだまめ」は LINE Developer および Google App Scriptにて実装された bot であり，LINE 上での公式アカウ
ントとして運用した．
「えだまめ」は実験参加者からメッセージを受け取ると，実験条件に対応した返信間隔にてメッセー
ジを返信する．なお，「えだまめ」は参加者のメッセージの内容に関わらず，決まった文章を返信することとした（図 1）．これは，参加者の送信内容によって「えだまめ」と参加者との対話内容が変化することを防ぎ，対話の内容ではなく返信間隔の違いのみ
が参加者の心象に与える影響について考察するためである．よって，「えだまめ」の返信は参加者の送信内容に関わらず，できるだけ自然な会話になるように配慮して設計された．具体的には，参加者の返信に対して何らかの反応を示したのち，何らかの質問を返すという形式で会話を成立させるように設計した．

本実験では，ユーザのメッセージ送信から「えだまめ」の返信までの間隔を独立変数として設定した．
独立変数の具体的な水準として，以下の六水準が設定された：0 秒，5 秒，1 分，10 分，1 時間，24 時間．
1 時間，24 時間という長い返信間隔は，本稿における予備調査にて，人間同士の非同期的会話において一般的な返答時間であったこと，0 秒および 5 秒という短い返信間隔は，テキスト対話における有効な返信間隔として先行研究にて報告されていること，
1 分，10 分という中程度の間隔は，長い返信間隔と短い返信間隔の間を補完する条件となることから採用された．
また，実際に対話を行った「えだまめ」に対するアンケート調査の結果を従属変数として設定した（表 2）．本アンケートは，b-1 から b-10 までの 5 段
階の 10 問のリッカート尺度（最低評価が 1，最高評
価が 5：b-5 は逆転項目）および b-11「そう思った/そう思わなかった」の 2 択の質問から構成されている．
本実験ではこの 11 問の質問項目を，「えだまめ」というエージェントの人格に対する評価である「人格的印象点」と，「えだまめ」との会話自体に対する評価である「機能的印象点」の二種類に分類して扱うこととした．具体的には，b-1 から b-4 までの四問の合計点を「人格的印象点」（最低点 4 点，最高点 20点，クロンバックのα係数：0.83），b-5 から b-10 までの六問の合計点を「機能的印象点」（最低点 6 点，
最高点 30 点，クロンバックのα係数：0.64）とした．
また，表 2 の質問のほかに，「えだまめ」に対する印象を自由に記入してもらう自由記述欄にも回答を求めた．

図 2：各水準における人格的印象点

図 3：各水準における機能的印象点

4. 3. 実験参加者
本実験には，60 名の大学生および大学院生が参加した（18〜23 歳，平均年齢 20.7 歳；男性 32 名，女性 28 名）．これらの参加者は講義の課題の一環として本実験に参加したため，報酬は支払われなかった．
また，これら 60 名の参加者は，無作為に独立変数の六水準に 10 人ずつ配置される，参加者間計画として実施された．なお，参加者にはテキスト対話エージ
ェントの返信間隔については何も情報を与えなかった．

4. 4. 実験手順
参加者はまず，配置された実験条件に応じた返信
間隔を表出する「えだまめ」を LINE で友達に追加するように指示された．
「えだまめ」を友達に追加す
ると，「えだまめ」から参加者に話しかけることで，「えだまめ」との対話が開始される．そして会話終了時に「えだまめ」から示される URL にアクセスし，Google Form に実装された実験後アンケートに回答することで実験が終了した．
また，「えだまめ」との会話の途中で 7 日間以上返信をしなかった参加者は会話を放棄したとみなし，会話が全て終了していなくても実験後アンケートに回答してもらい，同時に会話を放棄した理由を記載するように指示された．

4. 5. 実験結果
人格的印象点に関して，一要因参加者間分散分析（独立変数：返信間隔（六水準），従属変数：人格的印象点）を行ったところ，群の効果が有意であった[F(5,59) = 3.46, p <. 05]（図 2）．HSD 法による多重比
較の結果，1 分水準よりも 5 秒水準および 1 時間水
準の方が，人格的印象点が有意に高いことが明らかとなった（MSe = 9.7056, p <. 05）．

図 4：自由記述の分析結果

続いて，機能的印象点に関して，一要因参加者間分散分析（独立変数：返信間隔（六水準），従属変数：
機能的印象点）を行ったところ，群の効果に有意傾向が観察されたものの [F(5.59) = 2.27, p <. 10]（図 3），
HSD 法による多重比較の結果，どの水準間においても有意差は観察されなかった（ MSe = 21.7741, p< .05）．
実験後アンケートにおける自由記述を分析した結果，0 秒水準において「圧迫」や「違和感」，5 秒水
準において「流れ」，24 時間水準おいて「スルー」という単語が特徴的に観察された．これらの関係性は，
KHcoder[14]による共起ネットワーク図においても確認することができた（図 4)．
なお，「えだまめ」との会話を放棄した参加者数は0 秒水準で 1 人，10 分水準で 2 人，1 時間水準で 2人，24 時間水準で 1 人であったが，5 秒水準および
1 分水準では放棄者は確認されなかった．

5. 考察5. 1. 各水準における人格的印象点
本実験の結果より，「えだまめ」というエージェン
トの人格に対する評価である人格的印象点は，5 秒水準において最も高い得点を示していることが分かった．Moon [13]は，同期的会話においては短い返信
間隔（0～1 秒）や長い返信間隔（13～18 秒）よりも，適度な応答時間（5～10 秒）の方が，ユーザからの評
価が高いことを報告していた．この Moon [13]の研究と本実験とでは会話の形態が同期的か非同期的かという違いがあるが，その結果はほぼ同一であったといえる．よって，会話の形態によらず，その返信間
隔が 5 秒の場合に，テキスト対話エージェントの評
価が高くなることが明らかとなった．
これまでの先行研究では本実験で着目したような
1 分以上の返信間隔は実験条件として使用されていなかったため，例えば Moon の結果を踏まえると，返信間隔が長くなるほどエージェントの評価は減少
し続けると考えられていたといえる．しかし本実験の結果からは，1 分水準においてエージェントの印
象点は最も低くなるものの，1 時間水準になると 1分水準に比べて有意に印象点が高くなっていたことが明らかとなった．さらにその得点は印象点が最も高かった 5 秒水準と同じような値であったといえる．
この結果は，著者らの予備調査において，人間同士のテキスト対話における一般的な返信間隔が 1 時間
や 24 時間であったことと一致しており，非同期的会
話においては長い返信間隔の方がエージェントへの印象が良くなるという著者らの仮説がある程度支持されたといえる．しかしながら，予備調査で一般的な返信間隔であった 24 時間水準では，1 時間水準と比べて人格的印象点が低くなっていたことも確認された．これは，本実験における参加者とエージェン
トが親密でなかったためだと考えられるため，この要因に関する追加実験の必要性があるといえる（例．
対話相手が親密なエージェントの場合/初対面のエージェントの場合）．
今回の実験から雑談のような非同期的会話では返信間隔が 1 時間水準であっても，エージェントに対する評価は 5 秒水準の場合と同程度であることが明らかになった．返信間隔が短いと会話はすぐに終わってしまうが，返信間隔が長いと会話のテンポは遅くなり，会話が長期間にわたって続くことが多い．
つまり，雑談を行うテキスト対話エージェントは，返信間隔を 1 時間程度に設定することでユーザから高い評価を得ながら，長期的な関係を維持することができるといえる．この知見は，HAI 分野の目標の１つである「ユーザと長く付き合っていけるパート
ナーとしてのエージェントの開発」[15]の達成に有用であると考えられる．

5. 2. 各水準における機能的印象点
会話のシナリオによって生じたエージェントへの評価である機能的評価点は，5 秒水準における評価
が 0 秒水準と同程度であるという点を除いて，人格的評価点と似たような傾向を示していたといえる．
しかし分散分析において有意差は観察されず，さらには機能的印象点におけるクロンバックのα係数も低い値を示していた（0.64）．特にクロンバックのα係数が低い値を示していることは，どの水準でも参加者が同じような回答をしていたことを示唆しており，各水準間における機能的印象点に有意な差がな
いことと合致している．よって，「えだまめ」の返
信間隔の違いは，「えだまめ」との会話自体に対する印象には影響を与えていなかったことが明らかとなった．

5. 3. 各水準における自由記述欄の傾向
次に，参加者の自由記述欄から各水準についての特徴的な記述に着目する．
0 秒水準では，「圧迫」や「違和感」といった単語が特徴的に観察された．これらは，「返信が早く圧迫感があった。
」「即座に返信が来るので違和感があった。
」というようなネガティブな文脈で使われていた．
このように 0 秒水準ではネガティブな単語が自由記
述欄で使われていたにも関わらず，人格的印象点は比較的高い値を示していた．これは，返信間隔が 0秒の場合，参加者とエージェントが即座に返信しあうため，会話のテンポが速く，違和感や圧迫感があってもそれが顕在化する前に会話自体が終了していたことが原因だと考えられた．
5 秒水準では，「流れ」という単語が特徴的に使用されていた．具体的には，「会話の流れが自然だった。」というような使われ方をしていた．エージェントからの返信内容は共通であるのも関わらず，5 秒においてのみ「流れ」という単語が観察されたため，5 秒程度の適度に短い返信間隔においては，ユーザはエージェントとの会話を自然なものであると感じやす
くなり，その結果として人格的印象点が高くなったと考えられた．
24 時間水準においては，「スルー」という単語が特徴的に使用されていた．よって，返信間隔が極端に長くなると，ユーザは会話のかみ合わなさや不自然さに気がつきやすくなり，その結果としてエージェ
ントに対する評価が低下したと考えられた．これは，0 秒水準においてエージェントに対して違和感があったにも関わらず評価が高かったことと関連していると推測された．つまり，短い返信間隔ではユーザも即座に返信をするため，会話の些細な違和感や不自然さを気にする間もなく会話が終了してしまうが，逆に長い返信間隔では会話が持続し続けているために，それらの欠点に意識が向いてしまい，結果として低評価に結びついていたと考えられた．

ことが明らかとなり，ユーザにとって対話しやすい
テキスト対話エージェントの設計に貢献できる知見を得ることができたといえる．

参考文献[1] ヤマト運輸, “LINE で受け取るをもっと便利に”，
https://www.kuronekoyamato.co.jp/ytc/campaign/renkei/LINE/,
参照 2022 年 1 月 23 日
[2] 任天堂, ”ソーシャルメディアアカウント”，
https://www.nintendo.co.jp/social/, 参照 2022 年 1 月 23 日
[3] Xianchao Wu, Kazushige Ito, Katsuya Iida, Kazuna Tsuboi,

5. 4. 本実験の限界と今後の方向性
本実験では「えだまめ」からの返信内容はあらか
じめ決められており，「えだまめ」は参加者からの質問に返答する機能は有していなかった．そのため，一部の参加者は，自由記述にて「えだまめに質問を無視された。
」と回答していた．今後はユーザからのメッセージに対して，そのメッセージに応じた返答を表出できるテキスト対話エージェントにおいても，本研究と同様の結果が得らえるかを調査していきた
いと考えている．
なお，本研究の結果を精査したところ，参加者の性別の違いが人格的印象点に異なる影響を与えていたことが示唆された．具体的には，男性に比べ女性の方がエージェントに対する評価が低い傾向にあったことが確認された．ただし，実験参加者の男女の数に偏りがある状態での比較のため，この段階ではこれ以上この結果について言及することはできない．
将来的には実験参加者数を増やすのと同時に，実験参加者の性別などを統制した環境にて実験を行っていきたいと考えている．

6. おわりに本研究では，テキスト対話エージェントがユーザと雑談を行う場合，返信間隔を長くした方がユーザからの印象は向上するという仮説を立て，それを検証するための実験を行った．その結果，返信間隔が5 秒もしくは 1 時間の場合に，エージェントへの印
象が有意に高くなることが明らかとなった．従来の研究では 1 分以上の返信間隔での実験は行われておらず，エージェントの評価は返信間隔が長くなるにつれて悪化すると考えられていた．しかし本研究の結果より，雑談においては返信間隔が 1 時間の場合であっても，エージェントの評価が高くなるという

Momo Klyen: “りんな：女子高生人工知能”, 言語処理学会
2016 年次大会 発表論文集, (2016)[4] Appel J, von der Pütten A, Krämer NC, Gratch J.: “Does
Humanity Matter? Analyzingthe Importance of Social Cues andPerceived Agency of a Computer System for the Emergence ofSocial Reactions during Human-Computer Interaction”,
Advances in Human-Computer Interaction,Vol. 2012, pp. 1–10,(2012)[5] Hoxmeier JA, DiCesare C.: “System Response Time andUser Satisfaction: An Experimental Study of Browser-based
Applications”, Proceedings of the 6th Americas Conference on
Information Systems (AMCIS), Proceedings. 2000 Jan 1:347.
(2000)[6] 志和敏之, 神田崇行, 今井倫太, 石黒浩, 萩田紀博, 安西祐一郎,: ”ロボットの反応時間と反応遅延時における間投詞の効果”，日本ロボット学会誌, Vol. 27, No. 1, pp.8795, (2009）[7] Mentzer G, Cryan J, Teclehaimanot B.: “Two Peas in a
Pod? A Comparison of Face-to- Face and Web BasedClassrooms”, Journal of Technology and Teacher Education,
Vol. 15 No. 2, pp. 233–246, (2007)[8] 石井俊太郎, 下田怜奈, 藤江真也,: ”チャットボットの発言タイミング制御とその印象評価”, InIEICE Conferences
Archives 2018 Sep 12. The Institute of Electronics, Information
and Communication Engineers, (2018)[9] Hoxmeier JA, DiCesare C,: “System Response Time andUser Satisfaction : An Experimental Study of Browser-based
Applications”, Proceedings of the 6th Americas Conference on
Information Systems (AMCIS), pp. 140–145, (2000)[10] Kang L, Tan CH, Zhao JL, “The impact of intra-transaction
communication on customerpurchase behaviour in e-commerce
context”,

[11] Gnewuch U, Morana S, Adam MT, Maedche A, “Faster Is
Not Always Better: Understanding the Effect of Dynamic
Response Delays in Human-Chatbot Interaction.”, Proceedingsof the European Conference on Information Systems (ECIS),(2018)[12] Holtgraves TM, Ross SJ, Weywadt CR, Han TL,“Perceiving artificial social agents”, Computers in Human
Behavior 23, pp.2163-2174, (2007)[13] Moon. Y, “The effects of physical distance and response
latency on persuasion in computer- mediated communicationand human-computer communication”, Journal of Experimental
Psychology: Applied, Vol.5, No.4, pp.379–392, (1999).
[14]http://khc.sourceforge.net/, 参照 2022 年 1 月 23 日
[15] 宮本友樹, 片上大輔, 重光由加, 宇佐美まゆみ, 田中
貴紘, 金森等, “ポライトネス・ストラテジーに基づく会
話エージェントの言語的な振る舞いの違いが人との関係性構築にもたらす効果～初対面における冗談の心理効果～”. 知能と情報, vol. 30, No. 5, pp. 753-765, (2018)