言語処理学会 第25回年次大会 発表論文集 (2019年3月)

人工無脳は無能でない—人工無脳に基づいた英語ライティング学習支援の効果測定—
橋口友哉†

岸本優也†

河原源太郎†
永田松本佳樹†DrissSadoun††亮†† 甲南大学 †† PostLab
E-mail: †nagata-nlp2019@ hyogo-u.ac.jp.
クリプトを，ライティングのトピックに沿った発話や質問と1. は じ め になるように設計した．学習者は ELIZA と対話を行い，その英文ライティングの学習において，たくさんの量を書くこ結果をライティング結果とした．一方で，チャットボットをとは重要な学習活動であるが，学習者にとって困難が伴うこ用いない場合は，Web ブラウザ上で動作するエディタで学習とが少なくない．特に，初級から中級の学習者にとっては，者はライティングを行った．これらのライティングの結果かたくさん書くことは敷居が高い．そもそも何を書くべきか思ら，両者の書く量にどの程度差異が生まれるかを測定した．

いつかないという問題がある．仮に，思いついたとしても，更に，得られたデータを定量的および定性的に分析し，両者それをどのように英語で表現したらよいかが分からないといの違いを考察した．仮に，ELIZA のような単純なアルゴリう問題もある．学習者が知っている単語でも，文章中で適切ズムに基づいたチャットボットでも，たくさん書かせることに使うことは難しいことが少なくない．このような状況で，に効果があるとなれば，ライティング学習支援の新たな可能モチベーションを保ちつつ，ライティング学習を続けるとい性を示唆することになる．そのような結果は，より高度な対うのは多大な労力を要する．教師などからのフィードバック話システムを用いた学習支援システムの開発に繋がる．

がなくとも，書き続けることでライティングの正確さが向上するという報告 [1] もあり，学習者にいかにたくさん書かせるかということは，ライティング学習が成功するための一つ

2. 仮説の検証方法
1. の仮説を検証するため，学習者に実際にライティングを行ってもらう実験を行った．具体的には，チャットボットをの大きな鍵といえる．
以上のような背景を踏まえ，本稿では，次のような仮説を立て，新しい英文ライティング学習支援方法を提案する：
仮説： 単純なチャットボット（人工無脳）でも，たくさん書くという学習活動を支援することには効果がある．

利用したライティング（以降，チャットボットありと表記する）と用いないライティング（以降，チャットボットなしと表記する）で，書く量にどの程度差異が生まれるかを測定した．
既に述べたように，用いたチャットボットは ELIZA に基づく．実装したシステムのサンプル画面を図 1 に示す．図 1 の

この仮説の根拠は次のようなものである．チャットボットが左側のアイコンから出ている吹き出しのテキストがチャット学習者に対して行う対話や質問により，学習者は書く内容をボットの発話である．この図のように，まずはチャットボッ思い浮かべやすくなることが予想される．すなわち，チャットが学習者に話しかけることでライティングが始まる．学習

トボットとのやり取りを通じて，より幅広い内容についてラ者は，チャットボットの発話に対して返答するという形でライティングを行うと期待できる．更に，チャットボットの発イティングは進んでいく．その結果は，ログファイルとして話中の単語や表現を，学習者の英文に取り入れるという効果保存される．

もみられる可能性がある．英語母語話者との会話で，新しい本検証実験で用いた ELIZA のスクリプトは，英語教員と単語や表現を学び，更にその会話中で使用するということは言語処理技術者が協力して作成した．ライティングのトピッ

実際によく行われることである．また，学習者が一人で淡々クは，「自己紹介」と「趣味」に関するもの二種類とした．そと書くよりも，相槌や質問といったチャットボットからのリれぞれのトピックに対して，ライティングが続くようにといアクションがあるほうが書くためのモチベーションが保ちやう観点からスクリプトを作成した．スクリプト中のキーワーすいということも予想できる．

ドについては「自己紹介」が 30 個，「趣味」が 28 個のスク

本研究では，この仮説の検証を行った．具体的には，チャットボットを用いてライティングを行った場合とそうでない場リプトとなった．また，キーワードに対する返答については「自己紹介」が 83 種類，「趣味」が 79 種類となった．

合で，書く量にどの程度差異が生まれるかを測定した．本研

一方，チャットボットなしのライティングでは，Web ブラ究で用いたチャットボットは ELIZA [2] である．ELIZA のスウザ上で操作を行うエディタとした（図 2）．このエディタ― 1169 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

検証実験は二回にわけて行った．一回目は 2016 年に学習者 10 名で行った．二回目は 2017 年に別の 9 名で行った．ただし，内 1 名については正しくデータを取得できなかったた
め，最終的に得られたデータは 8 名分である．したがって，計 18 名の延べ 36 回分のライティングデータを得た．なお，ライティングは一日に一回とした（すなわち，各学習者は二つのトピックについて別の日にライティングを行った）．

2017 年に実施した検証実験では，ライティング終了後，学習者に自由記述式で各システムについての感想を書いてもらった．チャットボットありとなし，それぞれ 8 人分の計 16のアンケート結果を得た．
検証実験の結果得られたライティングデータの量を計数するために，次の前処理を施した．チャットボットありの条件
では，チャットボットが同じ質問を繰り返し，それに対して
図 1：

チャットボットを利用した場合のライティング画面．

学習者も同じ回答を繰り返すことがある．このような同一内容をそのまま計数することは，どの程度書く量に差異があるかを検証する上で好ましくない．そこで，同じ質問に対して同じ回答をしている部分は削除した．また，ほぼ同じ表層で，同一内容を表している場合も削除した（この場合，より長い方を残した）．この作業は，目視で確認し人手で行った．また，実質的なライティング量を計数するため，次の 14 種類の記号が単独で出現した場合は削除した：「.」，「,」，「!」，「?」，「 」，「 」，「‘」，「’」，「/」，「(」，「)」，「...」，「-」，「:」．なお，単語の同定には，Stanford-corenlp（注 2）を用いた．

図 2： チャットボットなしの場合（通常のエディタ）のライティン

3. 検 証 結 果

グ画面．

測定結果を表 1 に示す．
「単語トークン数平均値」とは，学は，文章の入力や編集という基本的な操作が可能である．し習者が書いた単語の総数をチャットボットあり／なしごとにたがって，通常のライティングのようにエディタ上にテキス平均した値である．同様に，「単語タイプ数平均値」とは，学トを入力することで学習者はライティングを行う．

習者が書いた単語の種類数をチャットボットあり／なしごと以上の二種類のシステムを用いて，学習者に英文を書いてに平均した値である．

もらった．学習者は大学生 18 名である．各学習者は，チャッ

表 1 から，チャットボットありの条件では，チャットボッ

トボットあり／なしの各一回，計二回のライティングを行っトが同じ質問を繰り返して行うことがあるので，単純に単語た．各回 50 分のライティング時間とした．ライティングのトークン数を数えるとライティング量を大きく見積もってし際には，辞書などは用いず，学習者は自力でライティングをまうことがわかる．今回の検証手順のように，同一質問に対行ったする同一内容の返答かを目視によりチェックして，実質のラ（注 1）．

本検証実験には，チャットボットあり／なしと二種類のライティング量を測定する必要があるといえる．

イティングトピックがあるため，計四種類の条件があること同一内容を削除した場合，チャットボットありでは，チャッになる．チャットボットの使用順とトピックが書く量に与えトボットなしと比べて，単語トークン数の平均値は約 1.2 倍る影響を極力減らすため，18 名の学習者をランダムかつ均となった．より詳細に両者の違いを分析するために，チャッ等に四種類の条件に振り分けた．ただし，18 名で完全に均等トボットなし／ありを x/y 軸にとった単語トークン数の散にはできないため，チャットボットを先に使用して「自己紹布図を図 3 に示す．各プロットは学習者一人ひとりに対応す介」についてライティングという条件を 5 名，通常のエディる．同図からわかるように，大部分の学習者において，チャッタを先に使用して「自己紹介」についてライティングというトボットを利用した場合，通常のエディタを用いたときの同条件を 5 名，残りの条件を各 4 名と振り分けた．

等以上の量を書いたことがわかる．ただし，両条件の差につ（注 1）：ただし，チャットボットの発話を参考にすることは除く．

（注 2）：https://stanfordnlp.github.io/CoreNLP/― 1170 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 1： チャットボットあり／なしのライティング量の平均値．
単語トークン数平均値

単語タイプ数平均値

295

117

247

115

204105

チャットボットあり

600500（同一内容を削除）
チャットボットなし

400

いて，t 検定を行ったところ，p 値は 0.064 となり，有意水

Chatbot

チャットボットあり

準 5%では有意とはいえないという結果となった．しかしな

300

200

がら，p 値は比較的小さな値を示しておりチャットボットを用いることで学習者はたくさん書ける傾向にあることを示唆
100する．
一方，単語タイプ数の差（注 3）についても t 検定を行ったと0ころ p 値は 0.270 とより大きな値で有意とはいえないという

0100

200300400500600Editor

結果となった．今回用いたチャットボットは，より多くの種類の単語を学習者に使わせるように設計されたわけではない

図 3： チャットボットあり／なしにおける単語トークン数の散布図

ので，この結果はある意味妥当であるといえる．ただし，4.
で説明するように，一部の学習者については，チャットボットの発話に出現した単語をライティングに利用していると思われる事例が確認された．
また，アンケートの結果は次のように要約される．チャッ
トボットなしの条件では，「単語を思い出せなくて書くのに苦労した。」（3 名），「辞書を使って書きたかった。」（1 名）という，自力で書くことの難しさに関するものが多数を占めた（なお，アンケートの全回答数はチャットボットあり／なし，各 8 名分である）．
一方，チャットボットありの条件では，「対話形式の方が楽しくて時間が早く感じた。」（1 名），「対話形式の方が話題にあわせて言葉を引き出してくれようとするので楽だった。」（1 名），「英語を書く話題に悩まなかった。」（1 名）のように，対話形式でのライティングに対してポジティブな意見がみられた．しかしながら，同時に，「同じ質問が繰り返されて返答に困った。」（4 名），「システムの質問に具体性がなく返答しにくい。」（3 名）というネガティブな意見も多く見られた．

4. 考

察

ただし，ライティング結果を実際に分析したところ，同じ質問を二度することに良い面もあることが確認できた．同じ質問が繰り返された際に，以前の内容を振り返り，二度目のライティングでは，自発的に間違いを修正したり，表現を工夫したりしている例が観測された．全てのデータを分析した
ところ，同じ質問により文の質が向上した学習者は 18 名中10 名であった．具体的には，綴り誤りの訂正，主語動詞の一致誤りの訂正，冠詞の抜けの訂正，情報の追加などが確認できた．以上のことは，同じような質問を適度に繰り返すことにはメリットもあることを示唆する．
更に，チャットボットありの条件のみで使用された単語について調査を行った．表 2 に，チャットボットありの条件のみで使用された単語とその頻度を示す．表 2 より，“lyrics”，“elder”，“active” など比較的難易度が高い単語が使用されていることがわかる．
実際に対話の流れを分析してみると，チャットボットの発話にこれらの単語が出現し，その単語を学習者が自身の次の3. の結果から，学習者はチャットボットを利用することでたくさん書ける傾向にあることがわかった．本節では，実験結果を更に詳細に分析することで，チャットボットをライティングに用いることのメリットとデメリットを考察する．
アンケートの結果から，チャットボットが繰り返し同じ質問をすることを敬遠する学習者がいることが明らかになった．
現行のチャットボットでは，アルゴリズムの性質上，長時間使用すると同じ質問を繰り返すことは避けられない．この点（注 3）：こちらも同一内容を削除した場合を対象にしてである．チャットボッ
トあり／なしの平均値の比は約 1.1 である．

については，一度した質問はしないなどの制御が必要となる．

返答で使用している例が多数確認できた．表 3 は，表 2 の単語のうち，チャットボットの発話に出現したもの，かつ，その発話の直後に，学習者が自身の発話でその単語を使用した割合を示す．表 3 から，チャットボットありの条件のみで使用された単語のうち約半分は，チャットボットの発話から流用したことがわかる．このことから，チャットボットの発話に（すなわち，スクリプトに），学習させたい単語を入れておくことで，効率的に単語の学習が行われる可能性があることを示唆する．
一方，チャットボットをライティング学習に用いることのデメリットの一つに文のつながりや文章の流れといった文章― 1171 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

表 2： チャットボットありの条件のみで使用された単語．の時点で文章構成を検討する．加えて，誤りの修正，既に書単語

頻度いた内容の掘り下げ，新たな内容の追加などの検討をしてもyes

29

よい．最後に，この結果に基づいて，通常のライティングをlyrics

18行うという方法である．以上の過程により，文章構成も考慮

likes

15

しつつ，より幅広い内容についてたくさん書くという学習活

born

13

nickname

12yesterday

12

an

8n’t

7

本稿では，
「単純なチャットボット（人工無脳）でも，たく動を行うことができる．

5. お わ り にtalking

7

さん書くという学習活動を支援することには効果がある．
」

remember

6という仮説を検証した．具体的には，チャットボットを用いactive

5

たライティングと通常のライティングとでどの程度書く量にelder

4差が出るかを測定した．その結果，チャットボットを用いる

sports4とより多く書ける傾向にあることが確かめられた（チャットボットありの場合は 1.2 倍多く書ける結果となった．ただし，

表 3：

チャットボットの発話に出現した単語を使用した学習者の割合（%）．

p 値は 0.064 である）．更に，得られたデータを定量的および定性的に分析した．その結果，チャットボットを利用する単語単語を使用した学習者の割合

born100

nickname

89

active56

an56

た．以上の結果と分析に基づき，チャットボットを用いたラlyrics

56

イティングと従来のライティングとを組み合わせた新しいラelder

44

イティング学習支援方法を提案した．

sports44

ことで学習者は，（1）自発的に，間違いの修正や表現の改善を行うことがある，（2）チャットボットの発話に出現した単語を自身のライティングに使用する，ということも確認でき参考文献構成に関する検討が行われにくいということがある．なぜな
ら，ELIZA に基づいたチャットボットは，発話の選択にランダム性を伴うためである．そのような発話に対して学習者は自身の返答を書くため，文章構成について検討が行われにくいのは，ある意味当然である．一つの改善方法としては，[1] R. Nagata and K. Nakatani, “Evaluating performance ofgrammatical error detection to maximize learning eﬀect,”
Proc. of 23rd International Conference on ComputationalLinguistics, poster volume, pp.894–900, 2010.
[2] J. Weizenbaum, “ELIZA ― a computer program for thestudy of natural language communication between manand machine,” Communications of the ACM, vol.9, no.1,
pp.36–45, 2000.

チャットボットに文章の流れを考慮するような制御機構を導入することが考えられる．しかしながら，そのような制御構造を導入することは容易ではない．また，仮に導入できたとしても，学習者が明示的に文章構成を考えてライティングを行うとは限らない（文章の流れは考えず，学習者はチャットボットの発話に単に返答するということが予想される）．
以上を踏まえ，本稿では，チャットボットを用いた，次のようなライティング学習活動を提案する．まず，今回の検証
実験のように，学習者はチャットボットを利用してライティングを行う．チャットボットの利用により，学習者は，より幅広い内容について，たくさんの量を書くことが期待できる．
一方，上で指摘したように，ここで得られたライティング結果は，文章構成についてはほとんど検討されていないものである可能性が高い．そこで，学習者は，チャットボットの発話と自分の発話（ライティング）を振り返り，内容の取捨選択，グルーピング，書く順番などを検討する．すなわち，こ― 1172 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.