人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第32回)
SIG-AM-32-03

ChatGPT を用いた初対面のオンラインコミュニケーション
における質問力向上支援システム
A Support System for Improving Questioning Skills in Online
Communication with Person Meeting for the First Time using
ChatGPT松田 駿宏 1∗ 砂山 渡 1 服部 峻 1Takahiro Matsuda1
Wataru Sunayama1 Shun Hattori1
滋賀県立大学 工学部
School of Engineering, The University of Shiga Prefecture1

1

Abstract: The term “questioning skills” is considered a necessary skill for eﬀective communication. In order to acquire this skill, you need repetitive experience but there is not many opotunitis
to practice for acquiring this skill in real life. Therfore, in this study, we propose a system that enables users to practice for acquiring “questioning skills” by using ChatGPT, large language modelthat can imitate chat-based dialogues.

1

はじめにコミュニケーションを円滑に, また効果的に行うためには「質問力」が不可欠と考えられ, 「質問力」をうまく用いることができれば, 個人やビジネスにおいて有利な状況をもたらし, また個人のスキルアップや新しい知見に繋げることもできる. したがって, 「質問力」の向上を支援することは様々なメリットをもたらすこととなる.
しかしながら, 個人でこの能力を効果的に養うことは難しい. なぜなら, 基本的に質問はコミュニケーションを行う相手に対して行うものであり, かつ個人で「質問力」を向上させることのできるシステムや手段は見受けられないというのが現状としてあるためである.
また, 近年のコミュニケーションでは, SNS 等の発達により, オンライン上でのチャットベースのコミュニケーションが盛んになっている.
そこで, 本研究ではチャットベースでのコミュニケーションを模倣可能な大規模言語モデル ChatGPT を用いて, 架空の人物を生成し, ユーザがこれと対話することで, ユーザの「質問力」の向上を図るための経験を積むことができるシステムを提案する. 具体的には,
ChatGPT により生成した人物像情報を持つ人物に対してユーザが質問を入力し, その質問に対して, ChatGPTを用いた評価やアドバイス, その人物からの回答を模∗ 連絡先： 滋賀県立大学 工学部

松田 駿宏〒 522-8533 滋賀県彦根市八坂町 2500
E-mail: tz23tmatsuda@ec.usp.ac.jp

した文章を生成し, ユーザにフィードバックを行うこと
で, 疑似的にコミュニケーションの経験を積むことのできる環境を提供し, 質問力の向上を支援する.

2

関連研究

2.1

質問力についての研究

質問力を評価する手法を開発することを目的としている研究がある [1]. この研究では, 結果的に, 日頃から質問力向上の支援を行っていく必要性が説かれている.
しかし, 現状, 日常的にそのような支援を行うことのできる仕組みやシステムは見受けられない. そこで, 本研究では, 日常的に質問力向上支援を行うことのできるシステムの提案を目指す. その上で, まずは「質問力」とは何かということについて定義する必要がある.
「質問力」の定義について, 池田は「質問力」を「相手や自分, 状況などを偏見をもたずに捉え, それを質問としてバイアスをかけずに表現できるような力」[2] であるとしている. 一方, 本研究の目的は「オンラインコミュニケーションにおける質問力向上支援」であり,対人のコミュニケーションが前提となる. その上で, 前述の定義を解釈し, 本研究に適合するように再構築し,「質問力」の定義を「相手の持つ情報を正確に把握し,それに対して適切に表現した質問を行うことで, さらなる情報を引き出す力」とした.

ー 17 ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第32回)
SIG-AM-32-03

2.2ChatGPT を用いたスキル獲得支援

2022 年 11 月, アメリカ合衆国の AI 研究開発企業の一つである OpenAI は, 自然言語処理のモデルであるGPT を搭載したチャットボットサービス ChatGPT を公開した [3].
ChatGPT とは人工知能の一種で大規模言語, すなわち数十億単語以上のテキストデータを学習して, 自然言語処理や対話を行うことができるシステムである [4].
ChatGPT において特筆すべきはその学習するパラメータ数の膨大さにある. ChatGPT は生成 AI の一種であるが, 生成 AI のニューラルネットワークは深層学習により学習が行われる. その点で ChatGPT は先述の通り, 大量のパラメータを学習することにより, システムの自由度が増し, 処理能力が飛躍的に向上した [5]. これにより使用者はこれにプロンプトと呼ばれるテキスト入力を与えることで, 恰も人間が対応したかのような返答を受け取ることができる. そして, 使用者から見た大きな特徴は, ChatGPT からの返答が, 文法や意味の一貫性をある程度保ちながら自然な形で出力され, また様々なタスクに対応できる汎用性を持つということである [6]. その有用性から, これを利用した様々なサービスが開発されている.
そのような, ChatGPT を用いて, 公務員試験の受験対策支援を行うことを目的とする研究がある [7]. この研究の結果, 「時事的な問題」について, 適切に作問と解説が可能であることが示された.
このように ChatGPT を活用することで, 人間側の能力を向上させようとする取り組みが存在しており, 本研究も同様の観点により行ったものである. しかしながら, ChatGPT 等, 生成 AI を用いて質問力を向上させるということを目的とした取り組みについては見受けられなかった. したがって, 本研究に関して, 新規性のあるものであると言える.

3

質問力向上支援システム

本章では, 質問力向上支援システムについて述べる.
質問力向上支援システムの構成を図 1 に示す.
システムの処理の流れとしては, まず, ユーザの会話相手となる人物像を生成する. その後, ユーザはその人物の情報を引き出すための質問を行う. システムは人物像情報を基に ChatGPT により質問に対する回答を生成する. その後, その質問に対する評価を独自で設定した「達成度」と「好感度」という指標をもとに, 同じ
く ChatGPT を用いて行い, 最終的にそれらの判定結果や, 会話のヒントとなる情報をユーザにフィードバックする. このやり取りを全ての人物の情報を引き出すまで, あるいは一定回数繰り返す.

図 1: 質問力向上支援システムの構成
表 1: ChatGPT の API で用意されているプロンプトの役割
rolesystem
assistant
user

3.1

content
ChatGPT の回答の答え方に関する条件
ChatGPT の過去の回答
ChatGPT に与える質問

ChatGPT の利用

本節では, 質問力向上支援システムにおける ChatGPT の利用方法について述べる.
ChatGPT には, プログラム上で ChatGPT の出力を呼び出すための API(Application Programming Interface) が用意されており, 表 1 の役割 (role) と内容(content) を組み合わせた入力 (プロンプト) を与えることで, 出力としての回答を得ることができる. 例えば,ChatGPT に単に質問するだけであれば, user の roleを使って, content に質問を与えれば回答を得られる.
また, ChatGPT にこれまでの質問や回答の履歴を元に回答をしてほしい場合には, assistant と user を使って過去の質問とその回答の系列を入力として渡した上で, 質問の回答を求めることもできる. これらに加えて,ChatGPT の回答時に, どのような観点で回答してほしいか, どのような形式で出力してほしいか, などの答え方に関する条件を system の role に設定して渡しておくことで, 期待する結果を得やすくすることができる.

3.2

人物像の生成

本節では, 質問力向上支援システムにおける, ユーザの会話相手となる人物の人物像情報の生成手法について述べる.
本システムでは, ユーザの会話相手となる架空の人物像を生成する. 人物像の情報は十分な量かつ一般的な種類として, 「名前, 年齢, 性別, 性格, 職業, 背景, 目標, 関心・趣味, 悩み, 外見」の 10 項目で定義され, 基本的な情報からより詳細な情報まで最大 3 段階で深堀ー 18 ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第32回)
SIG-AM-32-03

表 2: 人物像の項目内の情報の深さの各内容
情報の深さ
深度 1
深度 2
深度 3

表 4: 情報の深度ごとの付加される達成度の点数

内容
基本的な情報 1 文
普段の様子や一般的情報 1 文
簡単なエピソード 2 文

情報の深度
深度 1
深度 2
深度 3

表 3: 情報の解放の条件
情報の深度の変化
1 から 22 から 3

質問の入力と回答の生成

本節では, 質問力向上支援システムにおける, ユーザからの質問の入力と, それに対する回答の生成の手法について述べる.
本システムにおいて, ユーザはシステム側で生成した人物像の情報を持つ人物に対して質問を行う. 3.2 節により人物像の情報が生成された後, 質問を入力し, その後, 人物の全ての情報を引き出すまで, あるいは一定回数質問を繰り返すまで, 質問の入力を行う.
また, 本システムでは, ユーザからの入力 (質問) に対して, 過去のやり取りも踏まえつつ, 人物像の情報から適切な回答を ChatGPT により生成している. さらに,回答に用いる人物像の情報を諸条件により制限している. 各種条件を満たした場合, より深い深度の情報を人物像の情報として含めることで, より多くの情報を引き出すことができるようにしている. 例えば, システム起動直後は深度 1 の情報のみを人物像情報として取り入れ, 諸条件をクリアした場合, 人物像情報に深度 2 の情報を加えるようにしている. そこで, ここでは, より多くの情報を引き出せるようになることを「情報の解放」と呼ぶ. 具体的には, 表 3 の条件に従うものとする.

3.455.56

表 5: 好感度の判定を行うプロンプト (一部抜粋)

変化条件「引き出せた深度 1 の人物像情報の項目の数が 4 個以上」かつ「好感度 4 以上」「引き出せた深度 2 の人物像情報の項目の数が 4 個以上」かつ「好感度 8 以上」して設定している. なお, 各段階の内容をまとめたものを表 2 に示す. なお, 各深度の基準は自己開示の深さを測定する自己開示尺度 [8] を参考にしつつ, 本システムに合うように再構築した結果である.

3.3

一項目当たりの点数 (点)これまでに行われた質問とそれに対する回答から、質問する人の質問の特徴を考え、質問する人に向けて、より良い質問ができるようなアドバイスを出力してください。「質問文」
が丁寧さや自然さが感じられる好意的な文である場合は点数を 1、逆に「質問文」に粗雑さや乱暴さが感じられる敵対的な文である場合は点数を-1 とし、好意的でも敵対的でもどちらでもないと判断できる場合は 0 を出力し、またその点数になった理由を出力してください。

3.4.1

本項では, 質問力向上支援システムにおける, ユーザの質問が人物像情報を引き出せたかどうか判定する手法について述べる.
質問力を評価する手法として QQTest という手法が開発, 提案されている [1] が, これは文章を読み, それに対する質問を評価する手法であるため, 本研究の方向性とは少々異なる. したがって, 本システムに関しては新たに採点基準を設ける必要がある. そこで, 本システムではなるべく定量的に評価を行うため, 「最終的に,質問によりいくつ人物像情報を開示することができたか」という視点で点数化を行う. そこで, 入力された質問とその回答により, 新しくどの項目の情報を引き出すことができたかを判定する.
本システムでは, 引き出された人物像の情報の量と深度により最終的な点数を算出している. ここで, 付加される点数の基準をまとめたものを表 4 に示す.
3.2 節にて述べた通り, 本システムでは, 10 個の項目を持つ人物像の情報が生成されるが, 引き出すことにより点数が付けられる項目は「職業, 背景, 目標, 関心・趣味, 悩み, 外見」の 6 項目とし, その上で, 表 4 のような基準で 100 点満点で点数を付けている. なお, 表 4に従い採点すると, 全ての情報を引き出せた場合 99 点となるため, その場合のみ例外で 100 点とし, それ以外は表 4 に従った採点を行っている.

質問の評価：達成度と好感度
3.4.2

本節では, 質問力向上支援システムで行われる, 入力された質問に対する評価手法について述べる. ここでの評価手法は「達成度の評価」, 「好感度の判定」を指し, それぞれ本システムの目的に沿う形で設けられている.

達成度の評価

好感度の判定

本項では, 質問力向上支援における, 好感度の判定手法について述べる.
今回, 対人におけるコミュニケーションが前提となっているため, 現実的に考えれば, 会話相手から情報を引き出す場合, 会話の中で相手に不快感を抱かせないよー 19 ー人工知能学会 インタラクティブ情報アクセスと可視化マイニング研究会(第32回)
SIG-AM-32-03

表 8: 達成度の評価値 (被験者平均)

表 6: アシストコメント生成用プロンプトと出力例 (一部抜粋)
これまでに行われた質問と「すでに引き出せている情報」から質問相手からまだ得られていない人物像情報を引き出すために行ったら良い質問の仕方や質問する人がそのために目を向けるべきポイントについてのアドバイスを出力してください.
(生成された出力例) 悩みについてはその職業で生じやすい課題やストレスと、高齢者医療への貢献を目標としている点を結びつけて質問しましょう。打ち克とうとする障害に関する問いかけを行うことで、内面的な悩みに迫ることができます。

提案システム
人物像 1
人物像 2
人物像 3

うにしつつ, 相手の情報を引き出す必要が出てくる. そのため, 本システムでは「好感度」という指標を導入している. 好感度の判定を行うプロンプトを表 5 に示す．
このプロンプトによって得られる結果を加算することで好感度の評価値とする．3.3 節により先述の情報の解放の条件として用いることで, より現実的なコミュニケーションを模した評価を可能としている.

3.5

フィードバックの生成

本節では, 質問力向上支援システムにおいて行われる, ユーザへのフィードバックの生成手法について述べる.
本システムでは, ユーザの質問力向上に寄与するため, 適切なフィードバックを行うことが求められる. そこで, 本システムでは, システムとの会話中には「アシストコメント」を, 会話終了後には「会話の総括」を生成する.
まず, 本システムにおける「アシストコメント」とは,ユーザとシステムとの会話をアシストすることで情報を引き出すのに役立つ情報を表す. これは表 6 のプロンプトにより生成しており, 一定回数の質問で, 情報の解放が行われない場合にユーザに提供している.
次に, 本システムにおける「会話の総括」とは, 会話が終了された場合に今までの会話から ChatGPT により生成する, 次回の会話や現実での会話に有用な情報を82.4
72.6
68.4

表す. なお, そのアドバイスを生成する際に ChatGPTに与えるプロンプトは表 7 のようになっている.

質問力向上支援システムの評価実験4

表 7: 会話の総括生成用プロンプトと出力例 (一部抜粋)
これまでに行われた質問とそれに対する回答から、質問する人の質問の特徴を考え、質問する人に向けて、より良い質問ができるようなアドバイスを出力してください。
(生成された出力例) アドバイス：質問の範囲をもっと広げる
か、既に得られた情報に基づいてより深く掘り下げる新しい質問を試みてください。たとえば、医師としてのキャリアを深掘りするため、どのような困難に直面し克服したのか、または地域コミュニティとの関わりについて詳しく尋ねることができます。

比較システム

77.1
61.6
78.0

本章では, 質問力向上支援システムの評価実験について述べる.
本実験の目的は, 質問力向上支援システムを使用したオンライン上のコミュニケーションにおいて, システムが与えるアシスト機能の有無が被験者のコミュニケーションに及ぼす影響を評価し, アシスト機能の有効性についての洞察を得ることである.

4.1

実験の手順

本節では, 質問力向上支援システムの評価実験の手順について述べる.
本実験では, 14 名の大学生, 大学院生を被験者として, 7 名に提案システムをそのまま, 7 名に「アシストコメント」と「会話の総括」のフィードバックがない比較システムを利用してもらい, 3 名の架空の人物の情報を引き出してもらった. この 3 名は事前に本システムを用いて生成していた人物から選んだものであり, 年齢, 性別, 職業等の情報ができるだけ幅広くなるような3 名を採用した.

4.2

実験結果と考察

本節では，検証実験の結果と考察について述べる．

4.2.1

各グループの比較

本項では, 各 7 名のグループの実験結果を比較した結果とそれに対する考察について述べる.
表 8 に各グループ, 各人物像の達成度の評価値を平均した結果をまとめた.
表 8 より, 各状況において, 平均 60 点以上取れていることが分かる. このことから, システム上で質問により人物の情報を引き出すことが可能であり, 質問力向上支援システムとしての基盤は完成できていると考えらー 20 ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第32回)
SIG-AM-32-03

図 2: 問題のあるアシストコメントの影響を受けた質
問と評価値の関係れる. 一方, 提案システムの結果と比較システムの結果を比較すると, 人物像 3 については, 提案システムの方が点数が高くなったが, 人物像 1, 2 の場合は比較システ
ムの方が点数が低くなったことが読み取れる. 本シス
テムにおいて, 本来, フィードバックがある方が, 点数取得には有利と考えられる. したがって, 各システムの点数の差にばらつきがあるということは, フィードバッ
クの効果が必ずしも上がらなかったということが分かる. フィードバックの効果が必ずしも上がらなかった
原因としては, システムからのフィードバックが点数取得に不適切な方向にユーザを誘導してしまったことが挙げられる. 特に, 人物像の情報の中に存在しない内容をフィードバックしてしまうケースが多く, そのようなフィードバックが反映されたと考えられる質問の数と提案システムを用いた各被験者の達成度の評価値の関係を表したグラフを図 2 に示す.
図 2 からもわかる通り, これらの関係は負の相関関係があり, 実際に相関係数を求めると, -0.73 となる. これにより, 人物像の情報の中に存在しない内容のフィードバックが点数取得の妨げとなった主な原因として考えられる.

4.2.2

人物像間の評価値のばらつき

本項では, 表 8 によりみられた人物像間の評価値のばらつきについて結果をまとめ, 考察を行う.
図 3 に各人物像における情報の項目 (職業, 背景等)をそれぞれ提案システムを用いた被験者が何名引き出すことができたかを示すグラフを示す. なお, 各項目の識別方法として, 例えば, 深さ 1 の職業についての情報は「職業 1」, 深さ 3 の外見についての情報は「外見 3」という様に命名している.
図 3 より, 項目によっては, 人物像によって引き出せた人数に大きくばらつきがあることがわかる. そこで,各項目について, 引き出せた人数が最大であった人物像

図 3: 各人物像における情報の項目を引き出すことのできた提案システムを用いた被験者の人数図 4: 各項目における引き出せた人数が最大であった人物像の際の人数と引き出せた人数が最小であった人物像の際の人数の差の際の人数から, 引き出せた人数が最小であった人物像の際の人数を引いた数について示したグラフを図 4 に示す. この数について具体的に説明すると, 例えば, 図3 の外見 1 に注目すると, 人物像 3 の本項目を引き出せた人数が 6 人で最大であり, 人物像 2 の本項目を引き出せた人数が 3 人で最小のため, 求める数はその差を取り, 3 となる.
図 4 より, 特に, 職業 2, 外見 2, 外見 3 の人物像間のばらつきが大きいということが分かる. この要因としては, 引き出せない項目の内容は具体性が欠けており,アシストコメントによる補助は基本的に具体的な内容を引き出すように要求するものが多かったことが考えられる. したがって, 人物像によってばらつきが大きい項目は人物像によっては具体性の欠けた内容になっているものとそうでないものに分かれたためであると言える. これの根本的な問題としては, やはりフィードバックの内容が偏っていたことが挙げられる.

ー 21 ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第32回)
SIG-AM-32-03

5

おわりに[6] 松田翔太：ChatGPT を活用した情報教育の提案,第一工科大学研究報告, Vol.35, pp.37 – 40, (2022)

本研究では, ユーザの質問力を向上させるための, 質問力向上支援システムを構築した.
また, 本研究のシステムを使用したオンライン上のコミュニケーションにおいて, システムが与えるフィードバックの有無が被験者のコミュニケーションに及ぼす影響を評価するための実験を行った. 結果としては, 各情報において達成度の評価値が平均 60 点以上となっており, 質問力向上支援システムとしての基盤は完成できていると考えられる. 一方, 本システム上でのフィードバックについて様々な改善点が浮き彫りとなった. 具体的には, 「フィードバックが人物像の情報に存在しない情報について言及してしまう」, 「人物像の情報が具体性に欠けている場合, そこについてフィードバックでフォローできていない」, 「フィードバックによる情報供給が過多であり, 質問のポイントを絞れない」などの改善点が挙げられた. このような改善点から, 本システ
ムにおける適切なフィードバックには, 「まだ引き出すことのできていない情報を引き出しやすくすることのできる内容であること」, 「実際のコミュニケーションにおいて有用な内容であること」, 「分量が過多にならず, 質問のポイントが絞れること」の三点が求められることが分かった.
今後の課題としては, 今回の実験を受けての本システ
ムの改良と, 本システム上での達成度の評価値と外部指標の相関関係について調査することで, 本システムにおける評価値の妥当性について検討することが挙げられる.

[7] 古矢一翔, 林浩一：公務員試験対策のための対話型生成 AI の活用，情報教育シンポジウム, pp.204– 209, (2023)[8] 丹羽空，丸野俊一：自己開示の深さを測定する尺度の開発，パーソナリティ研究, Vol.18, No.3, pp.196– 209, (2010)

参考文献[1] 池田文人, 岩間徳兼, 成田秀夫：QQTest の開発と試行 –探求学習の成果を測定するための指標づくりを目指して-, 大学入試研究ジャーナル, Vol.32,pp.35 – 42, (2022)[2] 池田文人：どのように質問力を評価するか？
：メタモデルに基づいた評価の信頼性に関する検証, 高等教育ジャーナル：高等教育と生涯学習, Vol.25,pp.55 – 61, (2018)[3] ChatGPT：(URL)https://chat.openai.com/（2024 年 1 月 29日確認）[4] 矢守恭子, 杉山雅英：生成 AI のサポートによるコード作成, 情報学研究, Vol.32, pp.1 – 3, (2023)[5] 平田隆幸：ChatGPT と工学部教育 –生成 AI によって大学教育は変わるのか-, 福井大学 学術研究院工学系部門 研究報告, Vol.72, pp.17 – 25, (2023)

ー 22 ー