# スマートスピーカー用日本語学習機能の開発

加藤大輔 宾戸真
東京電機大学大学院 情報環境学研究科
$\{20$ jkm08\}@ms. dendai.ac. jp, \{shishido\}@mail.dendai. ac.jp

## 概要

学校の授業内でデジタル教材を紙教材と併用することができる法令が実施され, デジタル教材の需要が拡大されている.デバイスがいくつかある中で, スマートスピーカーを使用した学習教材の実例はまだ少ない状況にある.スマートスピーカーは AI アシスタン卜機能を搭載しており，その操作方法は音声によるものである。この人間対機械で対話をするという行為を利用し，語学学習を日常に身近なものしたいと考えた. そこで本研究ではスマートスピーカー内の機能として日本語を母語としない日本語学習者のための日本語学習機能を開発し, 使用感を確認するための実験を行った。

## 1 はじめに

令和 2 年度から新学習指導要領を踏まえた授業の改善や特別な手助けが必要となる生徒のための補助を目的として，これまでの紙の教科書に加えて学習者用のデジタル教材を併用することができる法令が実施され, デジタル教材の需要が拡大されている。[1]しかしその中で，スマートスピーカーを使用した学習教材の実例はまだ少ない状況にある。現在スマートスピーカーの普及は急速に進んでおり,今後より生活に身近なものになると考えられている。[2]

そのようなスマートスピーカーの特徴である，話しかけるだけで操作ができる点やAI アシスタント機能が搭載されている点から紙教材での学習方法に比べて, 日常生活で何かをしながら，必要以上に頑張らなくても，学習を面白いと魅力に感じながら, できることを増やせるような学習方法の可能性を検証したいと考えた. そこで本研究では, スマ一トスピーカーの現状についての調査, スマ一トスピーカー用の学習機能の開発,スマー トスピーカーでの学習の可能性について調査する。

## 2 先行研究 $\cdot$ 類似教材

スマートスピーカーを利用した日本語学習機能に関する研究としては, 熊本大学の甲斐晶子 (2018.9) [3] があげられる.また,スマ一トスピーカーを利用した学習教材の例としては，「ベストティーチャーから生まれた英語リスニングドリル 100 選」（株式会社べストティーチャー)(2017.10)[4]や「九九ゼミ」（株式会社八雲ソフトウェア)(2018.12) [5]などがある.

## 3 Amazon Echo と Alexa

スマートスピーカーとは音声で操作することができる対話型の AI 機能を持つスピーカ一であり，ユーザが話しかけることで，天気， ニュース, 時間, 音楽, 家電を操作することができる.日本で主に流通しているものは Am azon Echo (Amazon), Google Home(Google), Home Pod(Apple)などがある. 本研究で使用するスマートスピーカーは, 世界で一番普及している点, デバイスに画面があり画面の必要性を比較できる点, そして個人の開発者によってAI アシスタントの機能を拡張できる開発環境が日本語にも対応している点から Amazon の AlexaというAIアシスタント(クラウドベースの音声サービス)を搭載した A mazon Echoを選択した。

## 4 Alexa スキルの仕組み

Amazon Echoには普段周りの音を聞いている状態であるマイクが内蔵されており，ユー ザーが発話した「アレクサ」というウェイクワードに反応して要求を録音し, 音声データとしてインターネットを通じてAlexaに転送する.その転送されたデータを Alexa の自動音声認識(ASR) と自然言語理解 (NLU)で処理し，プログラムを実行するサーバーにリクエストデータとして転送する.サーバーが処理後転送したレスポンスをAlexa の音声合成 (TTS)を通じてユーザの耳に届ける．６］

## 5 学習機能の作成

Amazon Echo に搭載されているAlexaを用いて日本語学習者を対象とした日本語を学習することができる Alexa スキルを作成する.Alexa スキルを作成する方法は多く存在するが, 本研究では Alexa スキルをノンコー ディングで作成することができるサービスであるVoiceflowを使用した。[7]

## 5.1 Voiceflow とは

はじめに Alexa と対話するには「Alexa,○○を開いて」のようなフレーズを発話する必要がある. この○○に入る名称をここでは呼び出し名と言い，最初に設定する.また,Voiceflow は Alexa が発話する Speak ブロックとユーザの発話内容を判別し分岐させる Choice ブロックを使用することで,会話をフローチャートのように作成することができ,実際の会話の動きを視覚化することができる.

## 6 予備実験

## 6.1 実験内容

Zoom のビデオ通話を通して Amazon Echo の画面を見ながら 3 種類の問題を操作し, 教材の評価をする。

## 6.2 実験被験者

東京電機大学在学の留学生 5 名と東京電機大学日本語教師 1 名を対象として実験を行った. 留学生の日本語学習歴は 3 年以上であっ
た.

## 6.3 予備実験で使用する Alexa スキ ル

予備実験で使用するために Voiceflow で作成した Alexaスキルは画面表示の有無での使用度を比較するために, 画面表示がなく, 音声のみを聞いて解答する問題である” 反対の言葉”，画面表示を見て解答をする問題”漢字の読み方”, 画面表示はあるが見なくても解答ができる問題” 言葉の言い換え”の 3 種類の問題である. 問題の内容は, 日本語能力試験の問題を引用した. [8] 日本語能力試験の問題の引用に関しては, 著作権者の国際交流基金及び日本国際教育支援協会の著作物利用方法に従い, 作成した Alexa スキルの一般公開はせず, 本研究における実験時及び本論文のみの使用に限る.

## 6.3.1 反対の言葉

“反対の言葉” は問題で読まれた単語に対して反対の意味の単語を答えるものである。画面表示はないため音声のみを聞いて解答する必要がある.

## 6.3.2 漢字の読み方

“漢字の読み方”は画面に表示されている問題文の中の下線部の漢字の正しい読み方を 4 つの選択肢から選ぶものである. 問題文は読まれないため画面を見て解答する必要がある。

## 6.3.3 言葉の言い換え

“言葉の言い換え”は画面に表示されている問題文の中の下線部の言葉に意味が最も近いものを 4 つの選択肢から選ぶものである。問題文と選択肢が読まれるため画面表示を見なくても解答できる。

## 6.4 予備実験結果

スマートスピーカーを使用したことがあった被験者は半数であった, 問題操作の容易さには全員から肯定的な意見があり, スマートスピーカーを操作し学習する方法は学習者に受け入れられそうであることが確認できた.画面表示の有無に関しては意見が分かれ

たが,画面表示有りでは問題の説明や問題文,解説が全てで日本語での表示だけであったため英語での表示があると日本語に不慣れな学習者にとってより分かりやすいという意見が得られた。画面表示無しでは, 普段の生活で料理が退屈であるため, 音声だけで操作することができれば料理しながら学習することができて良いという意見を得ることができた. 問題の内容については” 反対の言葉”で文脈がないと意味が取れないものがあり, 単語ではなく文レベルで発話させることによって文法の変形練習もできるのが良いという意見を得ることができた。

## 7 本実験

## 7.1 予備実験結果から作成した Alexa スキル

予備実験の結果から対象となる学習者の日本語能力に合った問題の難易度や構成を改めて検討し, 対象を東京電機大学大学院の留学生の入学生の基準となっている日本語能力試験 N2 レベルとし, 試験の練習ができるような Alexa スキルを作成した.作成には日本語能力試験 N2 の練習をするために, 実際に試験に出題された問題を使用し, 問題の説明や問題文における漢字の振り仮名等を N2 レベルで統一した.また,この試験は言語知識 (文字・語彙・文法), 読解, 聴解, の 3 科目に分けられ, 18 種の大門で構成されている. この中から,スマートスピーカーの機能で学習するために, 画面に問題文が入りきらない長文の読解問題等の問題として成り立たないものを除いた全 9 種の大問の各 2 問ずっで構成することとした. [8]

問題は選択式方式であり, 学習者は 4 つの選択肢から選び, 解答する. 選択肢は問題の性質上, 言葉で解答するものと, 振られた数字で解答するものがある.このように解答方法が変わる問題の前には学習者が戸惑うことの内容に解答方法が音声で指示される.また,日本語能力試験 N2 で構成されている科目と問題数は以下の表の通りであり赤色の中括弧で括られているものが今回のAlexa スキルで出題される科目である.

そして, 実際にスマートスピーカーの画面に表示される問題の例は以下の図の通りであり, 文字・語彙の問題は緑, 文法の問題は黄色, 聴解の問題は水色と分けることとした.

## 7.2 実験内容

紙教材での学習とAlexaスキルでの学習を行い, 学習中の集中度, リラックス度, 没入度,緊張度, 落ち着き度の測定を行い測定データの分析を行う. 集中度, リラックス度の測定には米 NeuroSky 社のへッドセッド型の簡易型脳波測定器 MindWave Mobile2を, 没入度,緊張度, 落ち着き度の測定には JINS 社の眼鏡型ウェアラブル端末 JINSMEMEを使用する. [9] [10]

## 7.2.1 Mind Wave Mobile2

MindWave Mobile2 ではセンサーアームに搭載された電極から検出した脳波を基に， $\alpha$ 波・ $\beta$ 波などのパワースペクトルや NeuroSky 社独自の脳波解析アルゴリズムから集中度・リラックス度のレベル, 及び瞬きの有無のデー 夕を出力する. 本実験では集中度・リラックス度の測定を行う。

## 7.2.2 JINSMEME

JINSMEME では 6 軸モーションセンサーによる体の体軸変化の記録や 3 点式眼電位センサーによるまばたき, 視線移動の記録, 集中力, 活力, 落ち着き等ココロの状態の補足をする. 本実験では没入度・緊張度・落ち着き度の測定を行う。

## 7.2.3 測定データの定義
- MindWave

Attention: 集中度 $(0 \sim 100$, 集中していない〜集中している)

Meditation：リラックス度 $(0 \sim 100$, リラックスしてない〜リラックスしている)

測定間隔： 1 秒毎

## - JINSMEME

focus Score：没入度 $(0 \sim 100$, 没入度が低い
没入度高い)

tension Score：緊張度 $(0 \sim 100$, 緊張が弱い〜緊張が強い)

calm Score : 落ち着き度 $(0 \sim 100$, 落ち着いていない〜落ち着いている)

測定間隔: 15 秒毎

## 7.3 実験被験者

東京電機大学在学の留学生 23 名を対象として行った。

日本語学習歴は 2 年以上で 5 年以上学習している人が 6 割であった.

## 7.4 実験結果

本実験でスマートスピーカーを初めて操作したという被験者は約 7 割であったが操作に戸惑うことなくスムーズに問題を解答することができた. 正答率は紙教材が $86.4 \%$, Alex a スキルが $82.6 \%$ で紙教材の方が僅かに上回ったがそれほど差はないと考える.また, Min dWave とJINSMEME で測定したデータは, 各被験者のデータ数, 最高値, 最低値, 平均値, データの值が 70 以上の数と割合, データの值が 30 以下の数を表にした. 以下は測定したデータから一例として紙教材で学習している際に MindWave で測定した Attention (集中度）の表.である。

## 7.5 データ分析

本実験で測定した集中度, リラックス度,没入度, 緊張度, 落ち着き度が 70 以上であった割合と 30 以下であった割合をそれぞれ紙教材とAlexaスキルで以下のグラフのように比較する。

また, 全てのデータを比較した結果を次に記す.

- MindWave

集中度

70 以上：紙教材の方が多く, 集中度が高い, 30 以下: Alexaスキルが多く, 集中度が低い。 リラックス度

70 以上：紙教材の方が多くリラックス度が高い.

30 以下: Alexa スキルが多く, リラックス度が高い。

## - JINSMEME

没入度

70 以上：紙教材の方が多く, 没入度が高い。 30 以下: Alexaスキルが多く, 没入度が低い.

## 緊張度

70 以上：Alexaスキルが多く, 緊張度が高い.

30 以下：紙教材の方が多く, 緊張度が低い。落ち着き度

70 以上: 紙教材の方が多く, 落ち着き度が高い.

30 以下: Alexa スキルが多く, 落ち着き度が低い。

## 8 考察

実験前の仮説では, 紙教材の方が集中度, 没入度, 緊張度が高く, Alexa スキルの方がリラックス度, 落ち着き度が高いと考えていたが,実験結果は紙教材の方が集中度, 没入度, リラックス度, 落ち着き度が高く, Alexa スキルの方が緊張度が高いという結果となった. 教材の操作方法について問題はなかったが, 初めてスマートスピーカーを操作する被験者も多く, 被験者がこれまで長い期間学習に使用してきた紙教材と比較すると慣れによる差も多く出たと考えられる。

## 9 今後の展望

今回の実験は一回限りの学習だったため,今後は実験期間を長くし, 複数回学習することによってスマートスピーカーの操作に慣れる期間が必要だと考える. また, 実験の結果は仮説通りの結果とはならなかったが, 被験者からスマートスピーカーでの語学学習について肯定的な意見も多く, 教材の改良に努める.そして, 本来の目標であったスマー トスピーカーを利用したリラックス状態でのながら学習で学習効果を高められるような教材の工夫を目指す.

## 参考文献

[1]文部科学省.デジタル教科書について.” htt ps://www.mext.go.jp/a_menu/shotou/kyouk asho/seido/1407731.htm"

[2] Canalys: Global smart speaker installed bas e to top 200 million by end of 2019 " http s://www.canalys.com/newsroom/canalys-glob al-smart-speaker-installed-base-to-top-200million-by-end-of-2019”,2019.5.15

［3］甲斐晶子ほか 3 名，”受身系転換練習のためのスマートスピーカー (Alexa) 用機能の開発”日本教育工学会第34回全国大会発表論文集, 2018.9, pp.669-670.

[4]「ベストティーチャーから生まれた英語リスニングドリル100選を Google Home に提供」”https:// www.best-teacher-inc.com/news/google-hom e",2017.10.15

５5］株式会社八雲ソフトウェアホームページ "https: //8clouds.co.jp/smart/”, 2020.4.1 参照

[6] Alexa スキル開発トレーニング ”https://develop er.amazon.com/ja-JP/alexa/alexa-skills-kit/t raining/build-a-skill”, 2020.4.1 参照

[7] Voiceflow "https://www.voiceflow.com/"

[8] 日本語能力試験公式ウェブサイト “https://ww w.jljl.jp/index.html”, 2012

[9] Neurosky “https://www.neurosky.jp”

[10] JINS MEME “https://jinsmeme.com”

## 付録

図 1 “漢字の読み方” のフローチャート

[8]

0

図 2 “言葉の言い換え”のフローチャート

$[8]$

図 3 “表記” の問題画面 [8]

図 4 “文法” の問題画面 [8]

図 5 “聴解” の問題画面 [8]

図 6 MindWave Attention $\sigma$ 比較 (70 以上)

図 7 MindWave Attention の比較 (30 以下)

表 1 MindWave で測定した Attention のデータ

 &  \\