東海地区

教育システム情報学会 2022年度学生研究発表会

深度カメラを利用した子供向け英単語学習アプリの制作
Development of Kid`s Application for Learning English Vocabulary
using Depth Camera
武田 冴子*1, 向 直人*1
Sayuko TAKEDA*1, Naoto MUKAI*2*1椙山女学園大学 文化情報学部*1
Faculty of Cultural-Information Studies, Sugiyama Jogakuen University
Email: tsa19da075@g.sugiyama-u.ac.jp
あらまし： 2020 年度から新学習指導要領が施行され，小学校における英語が必修化された．これに伴い，幼児や小学校低学年からの英語学習が注目されている．本研究では，幼児や小学生を対象に，ゲーム形式で楽しく学べる英単語学習アプリの制作を目指した．学習者は，深度カメラの前方に立ち，人差し指をセンサに近づけて，空中にアルファベットを描く．身体の動作と連動して，英単語を学習することで，記憶保持効果を向上させることが期待できる．アンケート結果から，アルファベットの認識精度は十分であり，英単語の習得に役立つとことが示唆された．
キーワード：深度カメラ，英単語学習アプリ，ゲーム形式

1.

学の学生を対象として，提案するアプリを体験してもらい，その有効性を検証した．

はじめに2020 年度から新学習指導要領が施行され，小学校における英語が必修化された．3 年生・4 年生では「外国語活動」を通じて英語に親しみ，5 年生・6 年
生では英語を「教科」として基礎的なコミュニケーションの技術を学ぶ．これを受け，幼児や小学校低学年からの英語学習への需要が一層高まることが予想される．近年，小学生を対象とした英語学習アプ
リ が 注 目 さ れ て い る ． Monkimun 社 が 提 供 す る「Lingokids1」は，オックスフォード大学出版局のコンテンツを利用して，オリジナルのキャラクターと一緒に遊びながら英語を学ぶことができる．また，
ワオ・コーポレーションが提供する「ワオっち！イングリッシュスクール！2」は，挨拶や会話に加えて，カルタやゲームなどのゲーム形式で英語を学ぶことができる．一方で，川村らは，身振りなどの運動イメージは，英単語の記憶に有効であることを指摘している[1]．しかし，スマートフォン向けに提供されている多くの英語学習アプリでは，英語学習者の身体動作を検出することが困難であり，記憶保持効果を十分に発揮することができていない．そこで，本研究では，インテル® RealSenseTM テクノロジーの深度カメラ D435 を利用して，ゲーム形式で学べる英語学習のアプリを制作する．深度カメラで英語学習者の指の動きを監視し，空中に描いたアルファベットを認識する．また，空中に描いたアルファベットの正解・ 不正解をチェックするために意思伝達用スイッチであるジェリービーンスイッチツイストを採用する．スイッチを用いることでクイズ番組のような臨場感を演出することができる．椙山女学園大2.

深度センサを利用した英単語の認識

本章では深度センサを利用した英単語学習アプリの詳細について述べる．これまでにも，英語学習にセンサを利用した研究が報告されている．矢澤らはLeap Motion を利用して，仮想空間内のアルファベットが描かれたキューブを掴んで並べる方法で英単語を構成する[2]．また，森らは JINS MEME と MyBeatを利用して，マウスクリックで英単語を選択したときの生体情報を収集した[3]．本研究では，深度カメラの D435 を用いることで，空中にアルファベットそのものを描くことを可能にしている．
2.1 英単語の認識
深度カメラの D435 で撮影された映像は，幅が 640ピクセル，高さが 480 ピクセル，フレームレートが15fps である．この映像の各画素に対して，距離（深さ）を計測することができる．学習者はカメラの前方に立ち，指をカメラに向けて動かすことでアルファベットを描く．図 1 に示すようにカメラから指までの距離（深さ）が 200mm から 300mm の範囲にある画素の座標を取得し，その平均座標を指の位置と判断し，小さな円を映像に重ねて描く．

1

https://apps.apple.com/jp/developer/monkimun-inc/id777748110
2
https://waochi.wao.ne.jp/waochi-english-school/

図 1 画素の平均座標

89

東海地区

教育システム情報学会 2022年度学生研究発表会

わかる．一方で，「難易度」の平均スコアは 3.33 と相対的に低く，標準偏差も 1.33 と大きかった．これは，学習者によって，アプリの難易度の捉え方が大きく異なることを示している．前方のモニタを視野に入れながら，指を動かしてアルファベットを描く必要があり，思い通りに描くには慣れが必要である．
加えて，カメラと指の距離をキープする必要もあることから，入力が難しいと感じる学習者がいた．
「楽しさ」の平均スコアは 4.44 と非常に高かった．入力が難しいと感じながらも，ゲーム要素があることから，楽しく英単語を学習することができたと言える．

指を動かして円を連続で描くことで，アルファベットの形状を表現する．アルファベットの形状が完成した段階で，OCR ソフトの Tess4J を適用し，対応するアルファベットをテキスト・データとして認識する．
2.2 アプリの実行手順
単語「APPLE」を例として，アプリの実行手順を説明する．アプリを起動すると，図 2 に示すように「APPLE」の最初のアルファベットである「A」が問題として出題される．学習者は画面右側に表示されるアルファベットを参考に，カメラの前でアルフ
ァベットを空中に描く．

図 2 単語の出題

図 4 実験の様子

学習者が「A」と描くと，図 3 のように画面左側に表示される．アルファベットを描き終わった段階で，青色のスイッチを押すと，描かれたアルファベットがテキスト・データとして認識され，アルファベッ
トの正誤が判定される．このとき，赤色のボタンを押すと，描いたアルファベットはクリアされ，再度，描くことができるようになる．認識されたテキス
ト・データが「A」と一致していたら，画面右側の背景色が赤色に変わり「正解！」という文字列を表示する．この操作を残る「PPLE」の 4 文字に対しても同様に行う．

図 5 英単語学習アプリの評価

4.

図 3 単語の入力と判定

3.

まとめ

本研究では，深度カメラを利用した英単語学習アプリを制作し，本学の学生を被験者として評価実験を実施した．被験者全員が「子供の学習意欲の向上に役立つ」と回答しており，提案したアプリは高い評価を得た．今後，小学校低学年の生徒を対象に実験を実施することが課題となる．また，スマホ向けのアプリとしてリリースすることを目指したい．

実験椙山女学園大学の学生 9 人を被験者として実験を実施した．実験では，英単語学習アプリを利用して，「APPLE」「BANANA」「STRAWBERRY」の 3 単語を出題する．図 4 が実験の様子である．実験後に被験者に「アルファベットの認識精度」「アプリの難易度」「アプリの楽しさ」に関して，1〜5 の 5 段階のスコアで評価してもらった（5 が最もポジティブな評価を表す）．図 5 にスコアの平均と標準偏差を示す．
「認識精度」の平均スコアは 4.0 と高く，空中に描いたアルファベットは概ね正しく認識されたことが90

参考文献(1) 川村義治, イメージと記憶 : “なぜ身体動作イメージは英単語の記憶再生に効果があるのか”, 教育メディア研究, 12 巻, 2 号, p. 31-41，2005(2) 矢澤亮太，宮崎剛：“モーションセンサデバイスを用いた仮想空間内での英単語学習教材の提案”，情報処
理学会第 79 回全国大会，3X-06，2017(3) 森朝春，長谷川達人：“ウェアラブルデバイスを用いた英単語 4 択課題における確信度および主観的難易度の推定”，情報処理学会論文誌,Vol. 61，No. 8，pp.
1306-1318，2020