D1-1

AR 技術を用いた視覚的指示を取り入れたソフトウェアの開発
Development of Software using Visual Instruction
by means of Augmented Reality
舩木 英岳*1，大中 優輝*1，古林 達哉*1，木下 博美*2，丹下 裕*1
HIdetake FUNAKI*1, Yuuki ONAKA*1, Tatsuya FURUBAYASHI*1, Hiromi KISHITA*2, Yutaka TANGE*1*1
舞鶴工業高等専門学校 電気情報工学科*1
National Institute of Technology, Maizuru College*2
京都府立舞鶴支援学校*2
Kyoto Prefectural Special Support School in Maizuru
Email: funaki@maizuru-ct.ac.jp
あらまし：筆者らは，平成 25 年度から地元の特別支援学校からの要望に基づき，教育支援ツールの開発に取り組んできた．本研究では，視覚的な指示・表現が効果的と言われる自閉症児童を対象とし，AR 技術を応用した視覚的表現が可能な教材ソフトウェアを開発した．本教材は，特別支援学校教員から教育面から評価を受け，授業に導入することで学習意欲を引き出すことが可能であることが分かった．今後は，特別支援学校教員と意見交換を行いながら，実際に子供の教育に導入することで教育の質の向上を図る．
キーワード：AR 技術，視覚的指示，教育支援ツール

1.

はじめに

筆者らは，平成 25 年度から京都府立舞鶴支援学校と連携し，教育支援ツールの開発に取り組んできた．
最近では，複数 AR マーカを組み合わせた調理体験ソフトウェアを開発した[1]．このソフトウェアは，単純に 3DCG を表示させるのみでなく，各自選択した複数の AR マーカを組み合わせることで，調理過程を表示させることができる．本ソフトウェアは，特別支援学校教員に好評であり，教育教材に AR 技術を導入することで支援学校の教育の質を改善できると考えられる．
そこで本研究では，更なる AR 技術を応用した教育教材を開発し，教育効果を検証することを目指す．
今回は，視覚的な指示・表現が効果的である自閉症児童に対して，AR 技術を用いて漢字や算数の学習教材を開発し，支援学校教員に教育面からの評価を受けた．

2.

2.3 マッピング
ソフトウェア上に表示する CG を作成するために，モデリングソフト(Metasequia)を使用した．しかし，Metasequia を用いた CG の作成には，一定の技量が必要であり，CG を作成する作業自体に時間がかかる．そこで，本研究では CG に写真やイラストを貼り付けるマッピング手法を用いる．図 2 は，「鉛筆」の AR マーカにマッピング手法を用いて作成した
CG を示す．

図1

AR 技術について

2.1 ARToolkit
ARToolKit は，奈良先端科学技術大学院大学の加藤博一教授によって，AR 研究のために開発された C言語ライブラリである．ARToolKit では，マーカに描かれた模様を認識し，マーカとカメラの位置関係やマーカとカメラの向きを計算し，処理する関数を提供する．
2.2 AR マーカ
ARToolKit を用いたソフトウェアでは，図 1 のよ
うな AR マーカを使用する．検出・認識された ARマーカの位置や方向などを基準に，目的とする CGを描画する．

3.

AR マーカ図 2 マッピングによる CG視覚的指示を表現するソフトウェア

3.1 漢字学習の表現
漢字学習は，漢字が描かれた AR マーカを認識させ，それに対応する写真やイラストを表示させることで視覚的に表現する．さらに本ソフトウェアでは，部首の組み合わせにも対応させている．ここでは，「一」，「右」，「音」，「日」，「立」の 5 つの AR マー
カと、正しい部首の組み合わせを判定する「答え」
表示用の AR マーカを例にして説明する．AR マーカを認識した場合に表示する CG は，図 3 のようなフローチャートで場合分けを行う．なお，図中の「」と［］は以下の意味を持つ．

― 67 ―(1)「」：「」内の AR マーカを認識しているか？
(2)［］：［］内の漢字に対応する CG を表示する

教育システム情報学会 JSiSE2015
第 40 回全国大会 2015/9/1～9/3

ソフトウェアの実行結果
図 3 は，「立」と「日」を認識し，「音」と読める
位置関係にあるときに，図 4 のように「答え」と書かれた AR マーカ上に音符のイラストが表示される．
また，位置関係が正しくない場合は，図 5 のようにバツ「×」の画像が表示される．
「りんご」，「×3」と書かれたマーカを組み合わせることで，図 6 のようなりんごの CG が 3 個表示される．さらに，「-2」というマーカを加えることで，
図 7 のようにりんごの数は 2 個減り，1 個だけ表示される．図 8 は，数がマイナスの場合を示す．
4.

No

「答え」
Yes

No「立」と「日」Yes

NoNoNoNo

音と読める？

No

Yes

「音」
Yes

「一」
Yes

「右」
Yes
[右]

[音]

[一]

図3[×]

漢字学習における場合分け

3.2 算数の文章題の表現
算数の文章題は，AR マーカの組み合わせによって，リンゴの CG を増減させることで視覚的に表現する．表 1 に示すような AR マーカを用意する．以下の順序によりカメラに AR マーカを認識させることで，リンゴの増減を表現する．

図 3「立」と「日」の認識 図 4 音符のイラスト(1) 「リンゴ」とグループ 1 の AR マーカを組み合わせることで，りんごの増加を表現する．
(2) (1)の状態にグループ 2 の AR マーカを組み合わせることで，りんごの減少を表現する．
表1

図5「×」と表示

図6

図71 個に減らす

3 個に増やす算数の文章題を表現するための AR マーカ
増減させる対象物を表示さ「リンゴ」

せる AR マーカ

×6，×5，×4，×3，×2

グループ 1（対象物の増加を表現）－6，－5，－4，

グループ 2－3，－2，－1（対象物の減少を表現）

3.3 開発環境本研究では，視覚的指示を表現するソフトウェアを開発するに当たり，表 2 のような環境を PC に構築した．
表 2 開発環境
Visual Studio 2010

使用言語

C 言語

ライブラリ

ARToolKit，OpenGL，GLMetaseq

マイナスの状態

教育教材としての評価
支援学校教員に，本ソフトウェアの教育面から評価を依頼した．支援学校の授業もタブレット端末により進めており，子供たちにも導入がしやすいことが分かった．また，視覚的な操作ができるソフトウ
ェアであるため興味を引くことができ，学習意欲を引き出す可能性が高いことが分かった．本ソフトウ
ェアは導入教育に効果があり，すべての学年の漢字を含める必要はなく，算数も九九の計算程度でよいというアドバイスをいただいた．
5.

上記の(1)，(2)の順序に従って AR マーカを認識させた場合，りんごの数は－6 個から 6 個まで表現できる．本研究では，マイナスになった場合を一括りにし，マイナスであるという状態と，0 個から 6 個という状態を表現することとした．

IDE

図8

おわりに
本研究では，AR 技術を用いて漢字や算数の学習ができるソフトウェアを開発した．AR を用いることにより，視覚的な表現が可能となった．今後は支援学校の教育現場に本ソフトウェアを導入する．

6.

参考文献
(1) 畠中悠子，“複数の AR マーカを組み合わせた調理体
験ソフトウェアの開発”，舞鶴高専電気情報工学科卒
業研究，2011．

― 68 ―