2020 PC Conferece

複合現実を活用した中国語単語学習教材の開発
小渡悟*
Email: sodo@okiu.ac.jp*: 沖縄国際大学産業情報学部産業情報学科◎Key Words

1.

複合現実（MR），拡張現実（AR），単語学習，外国語学習

はじめに近年，スマートフォンの普及と高性能化，人工知能技術の発展に伴って，実質現実（VR；Virtual Reality）や拡張現実（AR；Augmented Reality），複合現実（MR；MixedReality）を謳ったサービスが増えている．このような背景から，教育分野においても VR/AR/MR が活用されている(1)．例えば，VR の活用では，高校生を対象とした科学実験シミュレーションが可能な VR 実験空間システム(2)，能動的視点移動による月の満ち欠けについて学ぶ探索型VR 教材(3)などが提案されている．
語学学習において英語前置詞の空間的な意味をより効果的に習得するには，個々の英語前置詞の空間的意味に応じて提示するのが効果的であったという報告(4)もなされている．企業としても Google社 の Expeditions(5) ， Unimersiv 社 の Unimersiv(6) ，Lifeliqe 社の LifeliqeVR Museum(7)などが提供されている．AR においては，HMD と AR 技術で仮想実験環境を体験できる手法の報告(8)，音波の発信機と受信機における音波の伝搬に伴う空気密度変化をAR 表示する教材の有効性の報告(9)がなされている．語学学習においては AR マーカを英単語に対応させ，それらを組み合わせて英文を構築する手法の報告(10)がなされている．
本報告では MR（複合現実）を活用した中国語の単語学習を行えるシステムを構築したので報告する．我々はスマートフォンで単語学習を行えるスマートフォンアプリを報告している(11)．本報告ではスマートフォンへのインストール作業を極力減らし，汎用性を高めることを目的として Web ブラウザで動作するシステムについて報告する．提案システムではマーカ追跡型と画像追跡型，位置情報ベース型の 3 つのモードがあり，マーカ追跡型では，識別マーカを記載したカードの裏側に中国語の単語を記載し，カメラの前に識別マーカ側を向けて配置することでイラストや映像で単語の意味を確認することができる．
画像追跡型では，識別マーカの代わりに登録画像を用いてマーカ型と同様の機能が利用できる．位置情報ベース型では，端末の GPS 機能から取得した位置情報を基準として建物，場所についての単語を確認できる．

2.

語学学習への VR・MR の活用

VR・AR・MR について定義を確認する．図 1 に Milgram
らの定義したVirtuality Continuum を示す(12)．
ここでは，Real 環境と Virtual 環境を対極のものとして左右に位置づけ，Real と Virtual が混ざり合った部分を Mixed
Reality と定義している．現実世界の情報を Virtual 情報

RealEnvironment

Augmented
Reality

Augmented
Virtuality

VirtualEnvironment

Reality-Virtuality Continuum
Mixed Reality

図 1 Virtuality Continuumで強化したのが AR，VR において現実の情報を付加して情報を強化したのが AV となる．MR はこれらを内包する用語となる．本研究では AR を内包する MR を用いる．
第二言語習得に VR が有効という報告がある(13)．英語前置詞の空間的な意味をより効果的に習得するために，個々の英語前置詞の空間的意味に応じて提示するのが効果的であったという報告(4)もなされている．我々は VR 画像のみの自己学習ではなく，中国語の運用練習に臨場感のある VR 映像を活用することで，受講者に興味を持たせるだけでなく学習効果の高い授業運営を行えることを報告している(14)．同報告では VR 画像のみの自己学習ではなく，中国語の運用練習に臨場感のある VR 映像を活用することで，受講者に興味を持たせるだけでなく学習効果の高い授業運営を行えることを示している．
語学学習においては AR マーカを英単語に対応させ，それを組み合わせて英文を構築する手法の報告(10)がなされている．また，2019 年度の小学校の英語教科書において，情報の付加として QR コードが活用され始めている．

3.

提案システムWeb システム上で動作する MR を活用した中国語の単語学習を行えるシステムを構築した．スマートフォンへのインストール作業を極力減らし，汎用性を高めることを目的として Web ブラウザで動作するシステムとした．
MR の機能としては JavaScript ライブラリとして AFrame（version 1.0.0），AR.js（version 3.1.0）をメインとして使用した．位置情報の設定に必要な緯度と経度は Geocoding（ https://www.geocoding.jp/ ）から検索し，その値を用いた．提案システムは大学の個人用サイトにアップロードして使用した．AR.js では画像追跡，位置情報ベース，マーカ追跡が利用できる．画像追跡，マーカ追跡では，カメラで識別画像/識別マーカを検出した場合，その上または近くに画像，GIF，3D モデル，2D 映像を提示することができる．位置情報ベースでは，緯度と経度で指定された現実世界の該当場所に提示される．提示場所は-229-

2020 PC Conferece
実際の位置に固定され，ユーザの位置に応じて大きさなどが変化する．
提案システムではマーカ追跡型と画像追跡型，位置情報ベース型の 3 つのモードがあり，マーカ型では，識別マーカを記載したカードの裏側に中国語の単語を記載し，カメラの前に識別マーカ側を向けて配置することでイラストや映像で単語の意味を確認することができる．画像追跡型では，識別マーカの代わりに登録画像を用いてマーカ型と同様の機能が利用できる．位置情報ベース型では，端末の GPS 機能から取得した位置情報を基準として建物，場所についての単語を確認できる．いずれのモードにおいてもカメラ接続とスマートフォンの動作と方向の許可を求められるため，ユーザが許可を出していく必要がある．
マーカ追跡型の例として，図 2 に 10 種類の識別マーカを示す．識別マーカの裏側には中国語の単語を記載し，図3 に示すようにカメラの前に識別マーカ側を向けて配置することでイラストや映像で単語の意味を確認することができる．画像追跡型においても同様な処理を行える．
位置情報ベース型の例として，図 4 に学内図書館の例を示す．あらかじめ情報を設定しておいた場所にてカメラを向けると日本語と中国語が交互に提示される．

図 2 識別マーカの例（10 種類）

図 3 識別マーカと映像提示の例(a) 日本語表記(b) 中国語表記
図 4 位置情報ベース型の例

4.

おわりに専用アプリのインストールが不要な Web システム上で動作するMR を活用した中国語の単語学習システムを構築した．現状としてはマルチカメラ搭載の機種では Chromeが適切にカメラを検出できない場合がある，iOS 版Chrome
ではカメラアクセスがサポートされていないため使用できないなどの制限がある．
提案システムは，講義のグループワークにてグループ内で相談しながら作業を進めていく学習スタイルを想定して開発を行った．教室内では識別カード/識別画像を並べ替えることで文章を完成させることを目指し，位置情報ベース型では，レクリエーションとしてのオリエンテーリングと語学学習を組み合わせた使用を想定した．
今後は提案システムを用いた講義を行い，使用感などの意見を収集するとともに学習効果の測定・評価を行っていきたい．
謝辞 本研究は JSPS 科研費 JP19K00879 の助成を受けたものです．

参考文献
(1)

山元翔：
“AR/VR の教育・学習支援システムへの利用と課題”，
教育システム情報学会誌，vol.36，no.2，pp.49-56（2019）(2) Numan Ali et al.：“3D Interactive Virtual Chemistry
Laboratory for Simulation of High School Experiments”，
Proceedings of EURASIA GRAPHICS，vol.2014，pp.1-6（2014）(3) 戸崎典夫 他：“月の満ち欠けについて学ぶ探索型 VR 教材の開発”，日本教育工学会論文誌，vol.42(Suppl.)，pp.8992（2018）(4) 小島隆次 他：“仮想空間を用いた英語前置詞教材の効果的利用”，日本教育工学会論文誌，vol31，no.2，pp.219-228（2007）(5) Google：“Google Expeditions”,
https://edu.google.com/intl/ja/products/vrar/expeditions/ （参照：2020.6.15）(6) Unimersiv：“Unimersiv”，
https://unimersiv.com/ （参照：2020.6.15）(7) Lifeliqe 社：“Lifeliqe VR Museum”，
https://www.lifeliqe.com/products/vr-museum （参照：2020.6.15）(8) 岡本勝 他：“ヘッドマウントディスプレイと拡張現実感技術を用いた無機化学学習支援システムの開発”，教育シス
テム情報学会誌，vol.35，no.4，pp.312-321（2018）(9) 青木悠樹 他：“音波を可視化させたタブレットによる拡張現実教材の開発”，教育システム情報学会誌，vol35，no.3，pp.297-300（2018）(10) 真田博文 他：“拡張現実を利用した初等英語向け学習教材の開発”，教育システム学会誌，vol.33，no.4，pp.176-180（2016）(11) 小渡悟：“VR(実質現実)・AR(拡張現実)を活用した語学教育教材の開発”，私立大学情報教育協会 教育イノベーション
大会，B-17，pp.216-217（2019）(12) Milgram.P. and Fumio.K：“A taxonomy of mixed reality
visual displayes”，IEICE Transactions on Informationand System，vol.77，no.12，pp.1321-1329（1994）(13) Jennifer Legault et al.：“Immersive Virtual Reality
as an Effective Tool for Second Language Vocabulary
Learning”，Languages，vol.4(1)，13（2019）(14) 小渡悟，渡邉ゆきこ：“VR（仮想現実）画像を使った中国語教育の試み”，私立大学情報教育協会，2019 年度 ICT 利用による教育改善研究発表会，C-9，pp.149-152（2019）-230-