HAI シンポジウム 2024
Human-Agent Interaction Symposium 2024

P-24

外部情報を使用した英会話学習支援システム
English Conversation Learning Support System Using ExternalInformation
山口 真央 1

河野 誠也 2 Garcia Contreras Angel2
吉野 幸一郎 2 飯尾 尊優 1 ∗Mao Yamaguchi1 Seiya Kawano2 Garcia Contreras Angel2
Koichiro Yoshino2 Takamasa Iio1
同志社大学
Doshisha University2
理化学研究所ガーディアンロボットプロジェクト
2
Guardian Robot Project, RIKEN
1

1

Abstract: This study explores the impact of social robots that incorporate external informationin conversations on language learning. The experiment involved four participants watching avideo of a robot giving a scripted speech in English under two conditions: one with external
information available and one without. The participants were asked questions related to the script.
Experimental results indicate improved comprehension with external information, emphasizing its
potential value in language learning. Additionally, the study underscores the inﬂuence of content
types and delivery methods on learner comprehension, highlighting considerations for language
learning system design using social robots.

1

はじめに

近年、テクノロジーの進化に伴い、教育の分野においてもインタラクティブシステムを用いた新しい学習方法が模索されている [1]。中でも、人工知能（AI）を活用したソーシャルロボットの教育への応用は、その可能性と限界について多くの研究者から注目を集めている [2]。ソーシャルロボットは、人間との対話を通じて学習をサポートする機能を有しており、特に言語学習の分野においてその効果が期待されている [3]。言語学習では、コミュニケーション能力の向上に重点を置くことが多く、対話形式の学習が重要視されている [4]。
特に、対話能力を持つロボットは、言語学習の有効なツールとなり得る [5]。
ロボットは、実世界に身体を持つため、こうした身体を持たないエージェントと比較して日常生活で活用しやすい実践的な学習を促進できる可能性がある。なぜなら、ロボットは学習者と同じ物理空間に存在するために、学習者と社会的な文脈を共有した会話を行いやすいためである。ロボットはセンサを持ち自身や学習者の周辺の環境に関する情報（本稿では「外部情報」と∗ 連絡先： 同志社大学文化情報学部(京田辺市多々羅都谷 1-3)
E-mail:tiio@mail.doshisha.ac.jp呼ぶ）を取得することができる。例えば、取得された外部情報を用いれば、「ドアを閉めて (Close the door.)」や「机の上が汚いよ。掃除したら？(Your desk is dirty.
Why don’t you clean it?)」、「おいしそうなハンバーガーだね (Looks like a delicious hamburger.)」というようなコンテキストに応じた発話が生成できる可能性がある。子どもの言語発達に関して、単に言葉に触れることだけでなく、会話の文脈を理解し、意味を伝え、そして言葉を用いてコミュニケーションを行う社会的相互作用が重要である [6] ことから、こうした社会的な文脈を学習者と共有した会話が言語学習の効果を高める可能性は十分にあると考えられる。
ロボットの物理的な存在が学習を含む様々なインタラクションにおいてポジティブな影響をもたらすことは広く知られている [7] が、上記で述べたような外部情報を活用した会話を行うことが、学習者の言語理解やコミュニケーション能力の向上に寄与するかどうかは、明らかにされていない。そのような会話が実際に言語学習においてどのような影響をもたらすかについて実際の被験者実験に基づく検討が必要である。
本研究では、ソーシャルロボットが外部情報を用いた会話を提示することが、学習者の言語学習に与える影響について探索的な予備調査を行うことを目的とす

表 1: 対象オブジェクトと各条件
対象オブジェクト
傘
観葉植物
リモコン
マグカップ

条件
外部情報なし外部情報なし外部情報あり外部情報ありる。具体的には、日本人大学生の英会話学習を対象とし、ロボットが外部情報を取り入れた会話を行う動画と、そうでない会話を行う動画を用意し、これらを見た後の学習者の理解度を、問題解答の正解率を通じて比較する実験を行った。この実験を通じて、外部情報を活用した会話が言語学習に及ぼす効果について考察を試みる。本研究は、ソーシャルロボットを用いた言語学習システムの設計において、外部情報の活用が持つ潜在的な価値についての示唆を提供することに貢献しようとするものである。

2

方法

2.1

実験計画

外部情報の利用が英会話の内容理解にどのような効果を与えるかについて検討するために、本研究では「外部情報あり条件」「外部情報なし条件」の 2 つの条件を設け、参加者内実験を行った。
外部情報の有無を実験条件として比較するために、
表 1 のように 4 種類の英文を準備し、それらの英文に対して外部情報あり条件の動画と外部情報なし条件を割り当てた。動画内に対象物体を提示する条件を「外部情報あり条件」、動画内に対象物体を提示しない条件を「外部情報なし条件」とした。実験中の学習効果の影響を考慮し、動画と動画内容のテストを無作為な順番で提示することとした。

2.2

実験対象者

本実験の参加者は 4 名 (男性:2 名、女性:2 名) であり、年齢の平均は 22.25 歳 (男性:22.00 歳、女性:22.50 歳)、年齢の標準偏差は 0.69 歳 (男性:1.00 歳、女性:0.50 歳)であった。同志社大学に所属する一般の学生を実験の対象者とした。

2.3

実験材料

実験を実施するにあたり、ロボットが任意のジェスチャーをしながら英語のスクリプトを発話するシステムを作成した。より具体的には、1 のように小型の対話ロボットを用い、定型文の英語のスクリプトを、外部情報あり条件では対象物体を指す動作、外部情報なし条件ではランダムに生成された動作をさせることでロボットの自然な発話を可能にした。動画を見せ、質問に答えさせるための PC として 1 台の PC、ロボッ
トは CommU(ヴィストン社)1 を用いた。また、テストの回答を入力するために Google Forms を使用した。

(a) 外部情報あり条件(b) 外部情報なし条件

図 1: 各条件におけるロボットの様子
また、ロボットに発話させたスクリプトは、ロボッ
トのカメラから観測されたオブジェクトデータより無作為に 4 つを抽出し、それぞれ ChatGPT を用いて文章を生成した。その際、プロンプトには以下の条件を提示した。

• 英文の難易度は TOEIC780 点程度• 口語の英文を出力すること• 提示された物体の名前は英文中には絶対に使わないが、その物体に関する文章を出力すること
文章の難易度は CFER の B2 程度とした。大学生における CFER の平均は B1 程度であり、B2 の難易度の文章という被験者の言語処理能力を若干上回る認知的挑戦を提供し、物体の有無に関する認識差をより効果的に測定するためである。
上記のプロンプトで得られたスクリプトの一例を以下に示す：
potted plant - It’s always nice to have a bit of greenery around the house; it not only brightens up theplace but also brings a touch of nature indoors.

2.4

実験環境

本研究では外部情報の効果を検証するため、理化学研究所内のスペースを利用した。
図 2 に実験環境の見取り図、図 3 に実験環境の写真を示す。スペースにはパーテーションを設置し、スペース内部には机と椅子を設け、机上に PC を設置した。実験者は実験実施中の不正行為を防止するために実験参加者の視野に入らない場所で実験参加者の監視を行った。
1 https://www.vstone.co.jp/products/commu/index.html

図 4: 実験手順

表 2: 対象オブジェクトと各条件における正答率
図 2: 実験環境の見取り図

対象オブジェクト
傘
観葉植物
リモコン
マグカップ

条件
外部情報なし外部情報なし外部情報あり外部情報あり

正答率 (％)
075
5075

参加者の属性についても同時に測定した。ただし、特性および属性に基づく分析は本論文では報告しない。
参加者の動画の内容理解度を測定する尺度として、テストの正答率を使用した。テストは ChatGPT を用いて作成した。ChatGPT にロボットの発話スクリプ
トを渡し、以下の条件より 4 択のクイズを作成させた。

• TOEIC780 点程度の 4 択クイズを英語で作成すること

図 3: 実験環境

2.5

実験手順

図 4 に実験手順を示す。
参加者はロボットの発話動画を視聴し、動画に対するテストへの回答を行った。実験中参加者へのすべての教示は Google Forms により行った。初めに、実験参加者が着席した後、イヤホンの装着を求めた。その後、実験説明書と実験に対する同意を確認する事前アンケートへの回答を依頼した。参加者の回答終了を確認後、動画視聴とテストを開始した。動画は、それぞれ 10 秒程度であり、一度だけ動画を視聴した後に動画に対する内容理解度を 4 択クイズの方式でテストした。
完了が確認され次第、回答に不備がないか確認を行った。確認が完了した後、参加者に対して実験の終了を通達し、参加者がブースから出ていった際に実験を終了するものとした。

2.6

測定変数

本研究ではロボットの発話動画の内容の理解度を測るテストを実施した。その際、参加者の英語レベルとテストの難易度は発話文章の難易度と同等にし、外部情報の有無に関わらず発話内容を理解することができれば回答することが可能なテストとした。具体例を以下に示す：

Q. What are the beneﬁts of having plants in thehouse as mentioned in the sentence?
a. They require frequent outdoor exposure.
b. They enhance the interior with brightness and anatural feel.
c. They increase the overall temperature of thehouse.
d. They make the house less spacious.

3

結果

3.1

テストの正答率

本研究では、特定の対象オブジェクトに対する正答率を、外部情報の有無という条件下で測定した。表 2 に示す結果から、外部情報の提供が被験者の正答率に与える影響に差が見られた。傘に関しては正答率は 0 ％となり、被験者は発話を理解できていなかった。一方

で、観葉植物については正答率が 75 ％であったことより、比較的高い理解度であった。外部情報が提供された条件下では、リモコンとマグカップに対する正答率がそれぞれ 50 ％、75 ％となった。これより、外部情報の提供が発話内容の理解を促進させた可能性が示唆される。

4

考察

4.1

結果の解釈

結果より外部情報を提供した条件下での学習者の正答率が、外部情報なしの条件と比較して、一部のオブジェクトにおいて改善されたことが観察され、外部情報を用いることで学習者の理解度が向上したことが示唆された。これは、外部情報をして提示されたオブジェクトが被験者とロボット間における共同注意をもたらしたと考えられる。共同注意は他者と注意対象を共有する行動であり、人間の言語学習において重要な役割を担っていると言われている。[8] 一方、外部情報なしの条件では、観葉植物に関する正答率が 75 ％と高いものの、傘に対する正答率が 0 ％と極めて低かった。この結果から、学習コンテンツの種類や提供方法が学習者の理解度に大きく影響を与える可能性があると考えられる。

4.2

本研究の限界本研究にはいくつかの限界が存在する。まず、サンプルサイズが小さく、結果の一般化には十分ではない。
本研究の結果は、あくまで探索的な予備調査に基づくものであり、より広範なサンプルに基づく追加研究が必要である。また、研究では限られた数のオブジェクトと条件のみが検討された。外部情報の種類や提供方法、学習者の個別差など、影響を与えうる他の要因についての検討が不足している。さらに、正答率のみを評価指標としたことも限界の一つであり、学習者の動機付けや満足度など、他の重要な学習成果に関するデータが欠如している。今後の研究では、これらの限界を克服するための方法論の改善が求められる。

5

おわりに

本研究の目的は、ソーシャルロボットが外部情報を用いた会話を提示することが学習者の言語学習に与える影響を探索することであった。その結果、外部情報ありの条件下での正答率がそれぞれ 50 ％、75 ％となり、外部情報の提示が学習者の理解度向上に寄与する可能性を示唆した。特に、共同注意の概念を通じて、ソーシャルロボットと学習者間での情報共有が理解度を深める要因の一つであることが推測された。
一方で、本研究は対象オブジェクトの数が限られており、参加者の背景や外部情報の質に関する詳細が不足しているなど、いくつかの限界がある。また、正答率のみを指標としたことは、言語学習の複雑性を完全に捉えきれていない可能性を示している。
外部情報が言語学習における理解度向上に寄与することを示唆する結果は、ソーシャルロボットを使用した教育環境における共同注意の機会を意識的に組み込むことの可能性を示唆している。今後の研究では、ロボットと人との実環境での対話や、学習者の背景や外部情報の選出をより詳細に検討することが求められる。
さらに、学習者のモチベーションや記憶の持続性など、他の学習成果指標を考慮に入れることで、言語学習における外部情報の影響をより深く理解することができるだろう。

謝辞
本研究は JSPS 科研費 19H05691 と 22H04873 の支援を受けたものです。

参考文献[1] Kurt VanLehn. The relative eﬀectiveness of human tutoring, intelligent tutoring systems, and other tutoring
systems. Educational psychologist, Vol. 46, No. 4, pp.
197–221, 2011.
[2] Tony Belpaeme, James Kennedy, Aditi Ramachandran, Brian Scassellati, and Fumihide Tanaka. Social robots for education: A review. Science robotics,Vol. 3, No. 21, p. eaat5954, 2018.
[3] Natasha Randall. A survey of robot-assisted language
learning (rall). ACM Transactions on Human-Robot
Interaction (THRI), Vol. 9, No. 1, pp. 1–36, 2019.
[4] Haruka Konishi, Junko Kanero, Max R Freeman,
Roberta Michnick Golinkoﬀ, and Kathy Hirsh-Pasek.
Six principles of language development: Implications
for second language learners. Developmental neuropsychology, Vol. 39, No. 5, pp. 404–420, 2014.
[5] Takamasa Iio, Ryota Maeda, Kohei Ogawa, Yuichiro
Yoshikawa, Hiroshi Ishiguro, Kaori Suzuki, TomohiroAoki, Miharu Maesaki, and Mika Hama. Improvementof japanese adults’ english speaking skills via experiences speaking to a robot. Journal of Computer Assisted Learning, Vol. 35, No. 2, pp. 228–245, 2019.
[6] Jacqueline Kory and Cynthia Breazeal. Storytellingwith robots: Learning companions for preschool children’s language development. In The 23rd IEEE international symposium on robot and human interactivecommunication, pp. 643–648. IEEE, 2014.
[7] Jamy Li. The beneﬁt of being physically present:
A survey of experimental works comparing copresentrobots, telepresent robots and virtual agents. International Journal of Human-Computer Studies, Vol. 77,
pp. 23–37, 2015.
[8] Michael Tomasello. Joint attention as social cognition. In Joint attention, pp. 103–130. Psychology
Press, 2014.