関西地区

教育システム情報学会 2019年度学生研究発表会

人工知能の自然言語処理を利用した VR による本読解アプリの提案
Proposal of a Book Reading App using VR by
Natural Language Processing in Artificial Intelligence
上野 浩平*1,内田 知巳*1,羽岡 浩二*1,中島 智晴*2,吉田 典弘*1
Kohei UENO*1, Tomomi UCHIDA*1, Koji HAOKA*1, Tomoharu NAKASHIMA*2, Norihiro YOSHIDA*1*1 羽衣国際大学*1

現代社会学部

放送・メディア映像学科

HAGOROMO University of International Studies*2

大阪府立大学

現代システム科学系*2

Osaka Prefecture University

Email: 17765653@hagoromo.ac.jp
あらまし：仮想現実（VR）が私達の生活の様々な場面で利用されている．2020 年 7 月に開催予定の東京
オリンピックの競技中継では，今までにはなかった方角などから映像表示ができるようになるなど，この分野の技術発展が期待される．このような VR を利用する動向は教育の現場においても同様であり，授業における教育効果の改善のために VR を利用した様々なシステムが提案されている．本稿では，若い世代を中心に読書離れが問われているが，読書においてゲームエンジン（Unity）で制作した VR と人工知能（AI）の自然言語処理を組み合わせることで，より読書を身近なものとし，本の内容を分かりやすくさせる VR アプリを提案する．特にこのアプリを実現させるためには，AI による日本語の自然言語処理が実現できることと，本の文章中における単語を認識し，それに関した的確なものを VR で表示することが重要であるので，現時点における問題点についても言及する．
キーワード：仮想現実（VR），自然言語処理，読書

1.に表現することを提案する．

はじめに筆者らが所属する大学の所在地である大阪府堺市
では，2019 年 7 月に世界文化遺産として百舌鳥・古市古墳群の登録が決定されている．堺市博物館では古墳群を紹介する仮想現実（VR）コーナー(1)があり，実物は地上からだと古墳群の全体の状況を把握できないため，この VR が好評を得ている．また，2019
年 9 月から日本で開催されたラグビーワールドカップでは，VR を用いて選手がプレーしているグランド上からの状況が伝えられ，今までにない方角などから映像を表示できるなど VR が多くの場面で利用されている．筆者らは VR を読書に利用できないかを考えた．その理由は読書中の手間をより減らすためである．本を読んでいる時，知らない単語がある場合には，その単語を検索する必要が出てくる．最近では，手元にスマートフォンがあれば検索も容易なのだが，知らない単語が現れた場合に検索を何度も行うのはとても煩わしいはずである．そこで，ゲームエンジン（Unity）による VR アプリにより，スマートフォン上でこのアプリを利用するだけで，上記の手間を減らすことができるのではないかと考えた．さらに，本を見開いた状態に利用して，文章が今，どの様なシーンを示しているのか，嬉しいシーンなのか，楽しいシーンなのか，悲しいシーンなのかを，本の文章中における単語の読解において，人工知能（AI）の自然言語処理を用いることで VR 上1152.

提案する VR アプリの着眼点提案するアプリのきっかけは，VR を用いたゲー
ムを製作していた時に，VR を利用すれば読書がもっと楽しくなるのではないかと考えたからである．
特に若い世代の本離れや読書嫌いが多いとされているが，このような人たちにも VR アプリにより読書に興味を持ってくれるのではないかとも考えている．
さらに，VR アプリの機能を考える上では，なぜ本を読書することよりも，アニメーション（アニメ）や漫画が流行るのかにも着目した．この理由は，読書よりもアニメや漫画の方が場面をイメージしやすく，視覚への情報が大きな影響を与えることが要因ではないかと思われる．また，ライトノベルの様に，挿絵がある小説も存在するが，アニメや漫画と比較すると，特に登場人物の「動き」や場面を「空間」でイメージすることがしづらいと思われる．そこで，このような登場人物の「動き」や場面を「空間」でイメージすることを読書に加えるとしたらどうすれば良いかを考えたとき，VR を利用することが有効ではないかと考えた．また，本の文章中に関する映像を VR で表示することができれば，読書中に分からない言葉があっても検索の手間が省かれるとともに，その場面のイメージを提示できれば，VR アプリによって本の内容もより分かり安くなると思われる．

関西地区

3.

教育システム情報学会 2019年度学生研究発表会提案する VR アプリ

3.1 VR アプリの制作方法提案する VR アプリの特徴は，本にある日本語の単語を AI の自然言語処理を用いて読解し，VR ゴーグルにおいて的確な映像表示などをするところにある．VR で本を読むこと自体は，既に Immersion VR
Reader という Oculus GO 専用のアプリがリリースされている(2)．しかし，このアプリには問題点がある．
それは本稿で提案する VR アプリの制作を開始する
時点では，英文にしか対応をしていなかったことである．また，これ以外には，日本語の読解に対応しているアプリが開発されていないことにある．そこで着目したのが，IBM 社が発表している Watson(3)の利用である．Watson の機械学習では自然言語処理を用いて，文章読解ができる機能を持っている．その自然言語処理の段階で，「分かち書き」という，文章を各単語に分けられ，その後，各単語に品詞が割り振られる．さらに，この中から名詞だけを自動で検索し，その検索結果に対応したものを VR として投影することとした．制作の第一段階としては，Watson
では様々な機能の人工知能を使うことができるので，その中にある Tone Analyzer という，文章を読んで感じる感情を取得できる機能を利用する．さらに，その取得した感情と，それに対応した背景色を VR に投影したいと考えている．よって，提案するアプリの特徴は，Watson により文章から取得した感情に関するデータをゲームエンジン（Unity）で取得し，それに対応する VR を構築するにことにある．本アプ
リの動作イメージは，VR ゴーグルを掛けると，何もない空間に白い四角が現れる．そして，空間の真ん中に読書する本の文章が表示される．次に，文章中にある名詞を自動で検索し，名詞に対応した映像や背景色を VR による 360°投影をさせる．文章中で名詞以外に気になる単語があれば，Bluetooth によるリモコンを用いて手動で選択ができるようにする．
また，読書する本を見開いた状態にして，文章全体を Tone Analyzer で読み込み，自然言語処理の結果に応じて，VR の背景色を表示させるなど，場面の雰囲気を映像や色で表現することを実現する．
3.2 VR で表示される映像と VR 酔いへの対応
本稿で提案する VR アプリにより，VR ゴーグルに表示される映像のレイアウトを図１に示す（発表時には会場で投影を予定）．このレイアウトは前節で示したように，真ん中に文章，左右にはこの文章に関連した映像を表示，そして，背景色も文章に合わせて表示するようにする．また，VR を用いた場合に（4）心配される「VR 酔い」
については，読書というコンセプトにおいては問題ではなくなる．「VR 酔い」の原因として映像と自身の感覚の誤差による不快感によるもので多いが，読書では VR の空間に表示する映像においては，揺らぎが生じることが少ないた
め，「VR 酔い」の心配はないと考えている．

116

図 1 提案 VR アプリによる画面表示のレイアウト

4.

提案する VR アプリの課題

本稿で提案する VR アプリの現段階での目標は，日本語の読解を人工知能を利用して行うことである．
現段階としては，Watson に英単語を読ませ，その単語に関する背景色を VR の映像として表示ができるかを検討している．例えば，文章中に blue という単語があった場合に，それを Watson による自然言語処処理によって判断させ，提案する VR アプリにより，青色を背景色として VR として映像を表示ができるようにすることを試みている．さらに，Watson 以外での日本語の読解，漢字，ひらがな，カタカナの認識に対応しているアプリの再調査も予定している．
今後の AI に関する技術発展による自然言語処理機能の向上にも注目していきたい．

5.

おわりに

本稿では，ゲームエンジン（Unity）と人工知能による自然言語処理を利用して，本の文章中の日本語を読解し，より読書が楽しめる VR アプリを提案した．現時点では，提案 VR アプリは自然言語処理が英文字だけに対応しているので，今後は日本語の認識として，漢字，ひらがな，カタカナの読解をすることができ，その単語に関して的確な対応することで，映像の表示ができるようにアプリの改良を重ねていきたい．また，アプリの完成後は，多くの人に使用をしてもらい，定量的と定性的なアンケートを通じて，アプリの性能向上を行う予定である．

参考文献(1)堺市役所:360 度映像で鑑賞！百舌鳥古墳群疑似体験ツアー,
https://www.city.sakai.lg.jp/kanko/hakubutsukan/df_filename_renewal.html (2020.2.8 確認)(2)VR 読書の先駆け”ImmersiionVR Reader”,
https://lifehacking.jp/2018/06/immersion-vr-read(2019.12.17 確認)(3) IBM Watson, https://www.ibm.com/watson/jp-ja/(4)氏家弘裕:知っておきたいキーワード「映像酔い」,
https://www.jstage.jst.go.jp/article/itej/61/8/61_8_1122/_pdf/-char/ja(2019.12.17 確認)