中国地区

教育システム情報学会 2021年度学生研究発表会

画像処理技術を用いた HMD 型語彙学習支援システム
HMD-based Vocabulary Learning Support System
Using Image Processing Technology
影井 健人*1, 毛利 考佑*2, 松原 行宏*2, 岡本 勝*2
Kento KAGEI , Kousuke MOURI*2, Yukihiro MATSUBARA*2, Masaru OKAMOTO*2*1
広島市立大学*1
Hiroshima City University*2
広島市立大学大学院*2
Hiroshima City University Graduate School
Email: d20050@e.hiroshima-cu.ac.jp*1

あらまし： モバイル機器の普及により，語彙学習において，学習者はモバイル機器を利用し, 容易に学習ログを残すことが可能となった. しかしながら，従来の語彙学習に関する研究では以下のような課題がある．母語から学習したい言語に翻訳する手間がかかる．物体名の記録を入力する手間がかかる．カメラの特性上記録後すぐに学習を行うことが困難である．そこで本研究では画像処理技術を用いた HMD 型語彙学習システムを提案する．
キーワード：画像処理技術，HMD, 語彙学習

1.

はじめにスマートフォンやタブレット端末などのモバイル機器の普及により，語彙学習において，学習者はスマートフォンを含むモバイル機器や PC を利用し,容易に学習ログを残すことが可能となった. 従来の語彙学習に関する研究では，ウェアラブルカメラで記録したライフログと画像処理技術を用いた語彙学習支援システムが開発されている(1)．この研究では，学習者がウェアラブルカメラを首にぶら下げ，日常生活の体験を画像として自動的に記録し，一日の終わりにライフログから学習を行うことができる．しかしながら，記録した画像に写っている物体を学習する場合，以下のような課題がある．(1)学習を行った単語かどうか表示がないため，記録の重複の可能性がある．(2)物体名の記録を入力する手間がかかる．
(3)カメラの特性上記録後すぐに学習を行うことが困難である．そこで本研究では画像処理技術を用いた HMD 型語彙学習システムを提案する．

2.

選択後，撮影モードが開始され，任意撮影と 20 秒ごとの自動撮影を行う．撮影した画像は，画像処理部で，まず API へ送信される．API の出力から画像内の物体に輪郭表示を付ける画像処理が行われ，処理画像と API から取得した翻訳した物体名が記録される．任意撮影した画像は，画像処理後すぐ表示され，撮影後すぐに学習を行うことができる．自動撮影した画像は，撮影モード終了後，まとめて画像処理が行われ，学習部で学習することができる．
学習部では，学習したデータからクイズ形式で復習を行うことが可能となっている．また，学習を行った物体名は記録され，学習を行う際，対象の物体に対して学習を行ったかどうかが学習者へ表示される．

提案システム2.1 システム概要
システムの外観と学習画面の表示例を図 1 に示す．
学習者は HMD を装着し，HMD を用いて写真の記録と画像処理，物体名の翻訳を行う．処理後，アノテーションを付与した画像と翻訳した物体名を表示し語彙学習を行う．本システムで使用する HMD は透過型でディスプレイが透過しており，装着した状態で現実世界を見ることができ，学習者の視界に学習画面などが表示される．

(a)システムの外観

2.2 システム構成
図 2 にシステムの構成図を示す．本システムは，「撮影部」，「画像処理部」，「学習部」に分けられ，すべて HMD で行われる．撮影部では，学習言語を表示と学習

167(b) 学習画面

図 1 システムの外観と学習画面
撮影部
自動撮影

取得画像
任意撮影

画像処理部

学習部

API
出力

学習記録

学習

画像処理

記録保存

記録保存

復習

図 2 システム構成図

中国地区

3.

教育システム情報学会 2021年度学生研究発表会

また，学習時に表示される画像に関する評価においても提案システムの方が良い評価を得られ，アノテーションを付与した画像からの学習の方が記憶に残りやすく，学習効果を実感していることが確認できた．一方で，提案システムに関して，誤認識や物体の検出ができないことがあった事が確認できた．

検証実験

3.1 実験目的と方法
本実験では，本提案システムと従来の学習方法を比較し，学習効果と学習数に変化がみられるのかの検証を行った．従来の学習方法として，HMD で任意または自動での撮影を行い，学習者が自ら，写真内の物体名を記録し学習するシステムを実装した．
被験者は韓国語学習経験のない 4 名とし，事前テスト，アンケートにより，2 名ずつにグループ分けした．グループごとに提案システム(グループ 1)，従来の学習システム(グループ 2)を用いて韓国語の学習を行ってもらった後，韓国語のテストと事後アンケートに回答してもらった．システムの使用時間は撮影モード 15 分，自動撮影画像からの学習 10 分，復習 10 分とした．テストのスコアと，任意または自動撮影した画像から学習したログ数を取得し，比較した．

4.

3.2 実験結果
表 1 に事後テストのスコア，任意撮影画像からの学習ログ数，自動撮影画像からの学習ログ数を示す．
表 1 より，提案システムを用いた学習の方がテストのスコア，任意撮影画像から学習したログ数，自動撮影画像から学習したログ数すべてにおいて良い結果を得ることができ，提案システムによる学習効果と学習記録効率の向上が確認できた．
表 1 実験結果
グループ

テスト

任意撮影の自動撮影のログ数

ログ数

AVG.

SD.

AVG.

SD.

AVG.

SD.

1(N=2)

62

10.5

2.5

9.5

1.52(N=2)1.5

1.55032

表 2 に事後アンケートの記録時の操作に関する評価（Q1），学習時に表示される画像に関する評価（Q2），画像処理に関する評価（Q3）の 7 段階評価平均を示
す． 表 2 より，提案システムの方が記録時の操作が簡単であったことが確認できた．
表 2 事後アンケート結果
グループ
グループ
質問
1
2
Q1:写真と物体名の記録は3.51
簡単だった
Q2:画像を見ながらの学習
6
1
は記憶に残りやすかった
Q3:誤認識や物体を検出できないことがあった
5.5（提案システムのみ）考察

実験より，提案システムによって学習効果の向上を確認することができた．学習効果の向上の理由として以下の 2 つが挙げられる．1 つ目は，画像処理技術を用いた学習によるものであると考える．表 2の Q2 より，従来の学習方法と比較し，提案システムの画像処理を行った画像からの学習の方が，学習者が学習効果を実感していることが確認できた．自分の視ている世界を記録し物体に輪郭を付けて表示することで，直感的に理解でき，記憶に残りやすかったと考える．2 つ目は，記録効率の向上が考える．
表 1 より，記録の効率化を確認することができた．
これにより，より多くの単語を学習することができ，学習効果にも影響が出たと考える．
また実験より，提案システムによって学習記録の効率の向上を確認することができた．記録効率の向上の理由として以下が挙げられる．1 つ目は，システムによる画像の選択と翻訳と記録が考える．提案システムでは，撮影した画像から物体検出を行い，物体名の翻訳と記録をシステム内で行う．これにより，物体の写っている画像のみ学習者に提供し，翻訳と入力の手間を省いくことができ，記録効率が向上したと考えられる．2 つ目は，画像処理技術による見落としの防ぎが考えられる．，表 1 より，グループ 1，2 の自動撮影のログ数の差が任意撮影のログ数の差より大きくなっていることが分かる．これは，提案システムは学習者の認識していない物体も認識し，学習者の見落としを防いだためである考える．
これより，提案システムは学習者の見落としを防ぎ，学習効率の向上にもつながったと考える．

5.

まとめ

本研究では，画像処理技術を用いた HMD 型語彙学習システムの開発を行った．また，従来の学習方法と比較し学習効果と学習数に変化がみられるのか検証実験を行った．実験より，提案システムを用いた学習の学習効果と学習記録効率の向上を確認できた．一方で，事後アンケートより，誤認識や物体を検出できないことがあった事が確認できた．今後の課題として，より良い物体検出モデルの検討やリアルタイム物体検出による学習などが考えられる．
参考文献(1) Bin Hou, Hiroaki Ogata, Mengmeng Li, Noriko
Uosaki, ” PACALL:Supporting Language Learning
Using SenseCam”， International Journal of Distance
Education Technologies，
Vol.1，No.11，
pp.14-30（2013）．

168