東海地区

教育システム情報学会

2017年度学生研究発表会

音声対話を活用した日本語ディクトグロスシステムの試作
A prototype of Japanese Dictogloss System Utilizing Spoken Dialogue
中原 稔貴*1, 小暮 悟*2, 野口 靖浩*2, 小西 達裕*2, 近藤 真*2 ,伊東 幸宏*3Toshitaka NAKAHARA*1, Satoru KOGURE*2, Yasuhiro NOGUCHI*2,Tatsuhiro KONISHI*2, Makoto KONDO*2, Yukihiro ITOH*3*1 静岡大学総合科学技術研究科*1Graduate School of Integrated Science and Technology, Shizuoka University*2 静岡大学情報学部 *3 静岡大学
*2Faculty of Informatics, Shizuoka University 3Shizuoka University
Email: gs16029@s.inf.shizuoka.ac.jp
あらまし：ディクトグロスとは，言語学習において重要な 4 つの言語スキル(listening, speaking,reading, writing) を一度の学習で全て鍛えられる学習法のことである．我々はディクトグロスを独学で学ぶことができる日本語ディクトグロスシステムを開発してきた．先行システムでは listening, reading,writing の 3 技能の学習にのみ対応しており，speaking には対応していなかった．そこで，本研究では，音声認識を活用することで先行研究のシステムを speaking スキルの学習が可能なように改良する．実際に，音声認識器をシステムに組み込み，認識した学習者の発話に対して，発音評価できる機構を実装した．
キーワード：ディクトグロス，Focus on Form, 第二言語学習支援，音声認識

1.

課題文はその単元で学習すべき項目（学習目標言語形式）を含むように設計されている．次に，学習者は教師役が録音済みの課題文音声の聴解を行う．学
習者は聴解中に学習者回答（復元文）作成のためのメモをとる．このメモは，システム中に入力するのではなく，別途紙媒体のメモ用紙を用意し，自筆するよう設計されている．

はじめに(1)

ディクトグロスとは，1990 年に Wajnyb によって提唱された，言語学習において複数の言語スキルを協調的に学習することができる学習法のことであり, 第二言語の学習方法として注目されている．ディクトグロスでは, まず，教師が課題文となる短い文章を読み上げ(ディクテーションステージ), 学習者は読み上げた文章についてメモを取り，学習者同士でメモを見せあい相談しながら元の課題文を復元していく(復元ステージ)．最後に教師が答え合わせを行い, 復元文の誤りや課題のポイントなどを解説する(解析・正誤判定ステージ). ディクトグロスの特徴は, 言語学習において重要な 4 つの言語スキル(listening, speaking, reading, writing) を一度の学習で全て鍛えられる点にある.
ディクトグロス活動は, 協調的な学習者と教師の確保が必要で，独学には向いていないという欠点がある. そこで，パートナーとなる学習者役を協調的学 習 者 エ ー ジ ェ ン ト (CLA ： Collaborative LearnerAgent) として, 教師役を教師エージェント(TcA：Teacher Agent) としてシステム上で実現することで,独学可能な日本語ディクトグロス環境(2)を構築してきた．本来のディクトグロスにおける，speaking の技能を養うための「学習者同士での会話」に対して，先行研究ではキーボード入力とマウス入力によって補っている．
本研究では，音声認識を活用することで先行研究のシステムを speaking スキルの学習が可能なように拡張する．

2.

2.2 復元ステージ
学習者は紙媒体のメモを元に，解答を入力フィールドに入力する．学習者の解答が入力されると，システムは学習者の復元文に対して CLA の復元文を生成する．このとき，CLA が作成する復元文は，学習者が効果的な学習を行えるように，学習者の復元文の内容に応じて自動生成される．(1) 学習目標言語形式 (2) キーワード (3) 他の言語形式 (4) それ以外に応じて，数字が小さいほうがより学習者がその単語に着目できるようにポリシーが設計されている．先行システムには，学習者が CLA に語があったかどうかを質問する機能がある．それぞれの学習者の復元文に対して，形態素解析結果によって，形態素ごとにボタン群を作成してあり，その単語をクリックすると，会話文が自動生成される．本研究ではこの部分に音声対話を活用する．
2.3 解析・正誤判定ステージ
学習者が最終的な復元文を入力した後，TcA は正解文を学習者に提示する．学習指導は，復元文と課題文との差分や誤りの種類に応じて太字や下線，色などの視覚的目印を用いてインプット強化を行ったり，言語形式の誤りの詳細や使用方法を提示したりする．それと同時に学習者の入力した復元文に含まれる誤りも提示する．

ディクトグロス学習環境

2.1 ディクテーションステージ
学習者はまずシステム上から課題の選択を行う．

63

東海地区

3.

音声対話を活用したディクトグロスシステ
ムの改善方針3.1“話すこと”とは教育システム情報学会『話すことを教える』(３)では，話すという行為には以下の 3 つのプロセスがあると述べている．(1)
言いたい内容を考える(2) どのように言うか考える(3) 実際に言う．言語学習の初期段階においては(1)の言いたい内容を考える部分と，(2) どのように言うか考える，及び (3) 実際に言うの間には，大きなギャップがある．学習者が実際に話せるようになるためには，学習者自身が言いたい内容や表現を考えるプロセスを含んだ練習も行う必要がある．
このため，システムの学習の段階で，考えうる(1)のパターンについて，それをどのような文で CLA に伝えられるのかについて何らかの手段で提示する必要がある．

図 1. 復元文読み上げの動作例
習者の復元文がある程度正解の文と一致していないと起動しない．
次に，CLA との対話インタフェースの動作例を図2 に示す．学習者は Ask と書かれたボタンを押して発話を開始する．ここでは，``S1 に「雨」はありましたか？”と認識して対話が進んでいることがわかる．復元文訂正等が終了した後，復元文の正誤判定，および発音評価の結果がフィードバックされる．

3.2 発音誤りを評価する
会田ら(4)らは「外国人の発音には様々な誤りが含まれている．その誤りを診断し，指導することは日本語教育上，非常に重要である．」と述べている．本
研究でも，音声認識を用いて発音誤りを評価するシステムを検討する．このことが speaking を鍛えることに間接的につながると考えている．そこで，学習者の復元文をシステムに発話してもらい，認識することで，発音評価ができるのではないかと考えた．
また，その発音評価結果を指摘する機能も実装する．

4.

2017年度学生研究発表会

音声対話を活用したディクトグロス支援環
境の設計と試作

図 2. CLA との対話インタフェース

4.1 学習者の復元文読み上げ認識機能

5.

復元ステージにおいて，学習者が復元文を入力した後，CLA との対話に移行する前に，システムから学習者に対して復元文を読み上げさせる．対話を阻害したくないため，発音の正誤に対するフィードバ
ックは解説・正誤判定ステージにて行う．

終わりに

本研究では，音声対話を活用した日本語ディクトグロスシステムを試作した．今後は作成したシステ
ムを留学生に使用してもらってのユーザビリティ評価を予定している．また，CLA の発話に音声合成などを用いる双方向音声対話の枠組みを検討する．

4.2 CLA との音声対話をする機能
復元ステージにおいて，学習者は CLA と自身の復元文の違いに気づくと，形態素毎に作成されたボタンを押す．これにより発話文が自動生成される．この部分について本実装では，音声認識を導入し，発話分を自動生成せず実際に発話してもらい，その文を認識することでどの形態素に関する指摘なのかを識別する．
しかしこの方法では学習者が質問の定型文を覚えておく必要があるので，質問の仕方が全く分からない学習者に考慮して質問例を示したマニュアルを用意するなどの対策を取る必要がある．

謝辞
本研究は JSPS 科研費 JP17K00483 の助成を受けたものです．
参考文献(1) Wajnryb, R. “Grammar Dictation”, Oxford: Oxford
University Press (1990).
(2) Kogure, S., Okugawa, K., Noguchi, Y., Konishi, T., andItoh, Y., “Improvement of the Situational Dialog Function
and Development of Learning Materials for a Japanese
Dictogloss Environment”, Proceedings of ICCE2017,
pp.104-106 (2017).
(3) 国際交流基金,“ 話すことを教える”, ひつじ書房, 第3 版 (2012).
(4) 会田清, 李圭建, 白井克彦,“ 音声認識技術を利用した日本語発音学習システム”, 早稲田大学日本語研究教育センター紀要 0915-440x 早稲田大 (1997).

4.3 システム概略
図 1 にシステム動作例を示す．(S1) と書かれている部分は学習者がキーボードから復元文を入力する部分である．A にあるボタンを押すとその復元文の発話を促すダイアログ(B)が現れる．この処理は，学64