情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161A03
2016/3/2

幼児向け AR と Kinect による言葉あそび支援システム

西田裕己†1西村 拓哉†1伴 碧†2菅谷みどり†1

幼児向けの言葉の学習には，幼児期の子どもの興味・関心を引き出し，楽しみながら文字の学習を行う環境づくりが望まれる．本研究では，こうした幼児の向けの Augmented Reality(AR, 拡張現実)を用いた想像力を拡張する多様な言葉遊びシステムを開発した．本システムは PC に接続した Kinnect カメラ
で，ひらがなが書かれた正方形のマーカーを撮影すると，PC 画面上では，このマーカー上に，文字が表現する形状のものが３次元 CG 上で表示されることで，幼児の文字学習の支援を行う．

Wordplay Support System by AR and Kinect for Children

YUKI NISHIDA†1 TAKUYA NISHIMURA†1
MIDORI BAN†2 MIDORI SUGYAYA†1

On learning of words for infants, pull out the children's interests of childhood, creating an environment that performs learning ofcharacter while enjoying is desired. In this study, we have developed Augmented Reality (AR, augmented reality) of towards
these young children a variety of word play system that extends the imagination that was used. In the present system Kinnect
camera connected to the PC, and when you shoot the marker square hiragana was written, on the PC screen, on this marker, thatthose of shape the character to express is displayed on the three-dimensional CG in, to perform the support of the infant'scharacter learning.

1. はじめにa*

子どもの興味・肝心を引き出し，楽しみながら文字の学習を行う環境づくりが望まれる．

「読み・書き・そろばん」という言葉にもあるように，

本研究では，こうした幼児期の言葉あそびの環境を提供

日本では文字に関する学習が古くから重要視されてきた．

するため，幼児の向けの Augmented Reality(AR, 拡張現実)

文字の学習は，教育課程において小学校入学以降に指導さを用いた多様な言葉遊びシステムを開発した．本システムれる．しかし近年では，発達加速現象と呼ばれるように，は PC に接続した Kinect カメラで，ひらがなが書かれた読み書きを取得し始めるのは 3 から 4 歳にかけてであり，5正方形のマーカーを撮影すると，PC 画面上では，このマー歳になる頃には，ほとんどの子どもが読み書きできるようカー上に，文字が表現する形状のものが３次元 CG 上で表になっている[1]．

示されるシステムとした．予備実験は 3 歳 3 ヶ月の男児で幼児期の文字の学習について，幼稚園教育要領での直接実施し，子どもが本システムでより多くの時間遊んだり，的な表現はないものの，「イメージや考えを言葉で表現しな後から文字で遊ぶ様子がみうけられた．本論文の構成は，2

がら，遊びを通して文字の意味や役割を認識したり，記号節で提案システムについて，3 節にて設計と実装，4 節にてとしての文字を獲得する必要性を理解したりし，必要に応予備実験，最後 5 節でまとめと今後の課題とした．

じて具体的な物と対応させて，文字を読んだり，書いたりする」ことを，幼児期の終わりまでに育って欲しい幼児の

2. AR と Kinect の言葉遊びシステム具体的な姿として挙げている[2]．しかし実際，子どもが言2.1

システム概要葉のみからイメージを喚起することは困難である。また，本研究で提案する AR と Kinect のシステムは下記の通文字を読めたとしても，文字が持つ意味や内容を理解しなりである．１枚１枚，50 音の１文字が表示された AR マー

ければ知識にはつながらない。記号としての文字の詰め込

カーの文字カードを Kinect にかざす．PC 上のプログラム

みではなく，興味・関心をもたせるような形の遊びとしてを通じて，その文字に対応する 3D の画像が表示される．

言葉を取り込むことが重要となる[3]．そのため，幼児期の図 1 にシステム概要を示した．

†1 芝浦工業大学 情報工学科
Shibaura Institute of Technology, Information Science and Engineering†2 同志社大学 心理学部 University of Doshisha, Faculty of Psychology.

© 2016 Information Processing Society of Japan

日本語の言葉は，同じ言葉も順番を変更するとイメージが変化する．例えば，「イカ」と「カイ」は両者とも同じ「イ」「カ」という二つの文字を組み合わせているが，それによ167

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

161A03
2016/3/2

り表現されるイメージは全く異なる．幼児にとっては．こ月の幼児 1 名を対象とし，予備実験を実施した．実験ではうしたイメージの違の違いについては，必ずしも本物をみ主に「イカ」「カイ」の二つの言葉と AR マーカーを用いて，て理解するという経験があるとは限らず，イメージするこ

これらの文字の学習と，その意欲を提案システムなし，あとが難しい．これに対して，本システムをもちいることで，りのどちらがより効果的であるかを比較するものとした．2

イメージを具体的に喚起し，イメージと文字をむすびつけつの実験を行う際に，事前に時間をとって「イ」はひらがて理解することを促すものとなる．

なの「い」,「カ」はひらがなの「か」という知識を教えたものとする．
実験１（提案システムなし）
席に座ってもらった被験者に対してカタカナで「イ」と「カ」が書き込まれている AR マーカーを渡し，それらで単語を組み立ててもらう．その後，組み立ててもらった単語を被験者に確認してもらいその時の反応を記録する．
実験 2（提案システムあり）
本研究のシステムを起動しながら,席に座ってもらった被験者に対して実験 1 と同じようにカタカナが書き込まれている AR マーカーを複数枚渡し単語を組み立ててもらう．
その後 Kinect を利用して被験者に組み立ててもらった単語を映す．PC 上に表示された画面を被験者に確認してもらい,図 1 システム概要

その時の反応を記録する．
上記の 2 つの実験で得られたデータを比較する．

3．設計および実装

実験結果

AR マーカーを用いた設計について説明する．Kinect か実験 1 は単語を組み立ててもらうことができたが，組みら AR マーカーを利用するためには，NyARToolkit [4]ライ

立て終わった瞬間に首を回し周りの様子伺ったり，席からブラリ を用い た．ま た， 画 面に表 示する 3D 画像 は，離れて周囲を歩き回ったりなど，組み立てた単語に対してMetasequoia[5] で作ったものを用いた．3D 画像を用いた理興味を示すような反応を得ることができなかった．

由は，2D 画像よりも 3D 画像の方がより立体感があること

実験 2 では、「イカ」という単語を組み立ててもらった時から，幼児の理解の促進に役立つと考えたためである．に，システムによって表示された画面に対し指を差しながら「イカちゃん」と，言葉を発していた．しかし，「カイ」という単語を組み立ててもらった時にも画面に対して「イカちゃん」という言葉を発した．

図 3 子どもが実験に取り組んでいる様子
また，時間を置いて，子どもに再度「こっちと，こっちどっちが楽しかった？」と確認したところ，「いかちゃん！」図 2 実際のマーカーと 3D 画像が表示される様子と即答した．また，実験時には「カイ」に対しての反応は薄かったが，時間をおいて理解ができたのか「カイ，カイ」

4．予備実験
今回，被験者がカタカナを読むことができない 3 歳 3 ヶ© 2016 Information Processing Society of Japanと繰り返し述べた．
また，子どもの保護者へのアンケートでは，文字学習をさ168情報処理学会 インタラクション 2016
IPSJ Interaction 2016

せるのであれば，もう少しサンプルを増やして，様々な言

161A03
2016/3/2としてまとめて行く予定である．

葉をイメージと合わせて理解させたい．また，もう少し，3D もただ画面に表示されるだけではなく，イカが泳いだり，カイがパクパク息をしたり動的な部分が出てくると，本物の動きを学習するなどの効果があるのではないかとの感想があった．

5．今後の課題
組み立ててもらった単語に Kinect で映して画面に表示すると 3D 画像が表示させた場合,言葉だけの場合と比べて幼児の興味を大きく引くことに成功した．
今後の課題として挙げられるものが 3 つある．
1 つ目は予備実験手順の見直しおよび，被験者数を増やした実験の実施である．今回の実験では被験者がカタカナを読むことができなかったため事前にカタカナの読み方を教えたが，被験者にとって短時間で理解することが困難だ

参考文献[1] 高橋登，読み書き能力の文化的発達の理論に向けて，心理学評論，49（1），197-210，2006.
[2] 文部科学省 幼児期の教育と小学校教育の円滑な接続の在り方に関する調査研究協力者会議，2010.
[3] 内田伸子，発達心理学―ことばの獲得と教育，岩波書店，1999.
[4] NyARToolkit : http://nyatla.jp/nyartoolkit/wp/[5] Metasequoia : http://www.metaseq.net/jp/[6]蔵田武志，興梠正克，大隈隆史，酒田信親，葛岡英明，西村拓
一:「実世界と仮想世界」を繋ぎ「人と人」を結ぶ拡張現実インタ
ラクション,ウェアラブルコンピューティング

ったと考えられる「イカ」とは読めたが文字を逆さにした「カイ」は読めなかったので実験 2 の結果が得られたように考えられる.カタ．カナを読むことができる被験者で実験を実施すれば結果が変わっていた可能性がある．また，実験対象の人数を増やして多くのデータから結果を分析する必要がある．
2 つ目は Metasequoia の 3D 画像の質を上げることである．
今回，予備実験で，特に２つ目の「カイ」について，言語反応が得られなかった理由として，作成した 3D 画像の質が被験者にとって認識しにくいものであったことが考えられる．単語が読めたとしても何が表示されたかわからないものであったことから，より印象の強い「」の言葉を発したと考えられる．このことから，イメージ正確かつ分かりやすく作成することが必要と考えた．
3 つ目は，表示する 3D 画像を増やす必要がある．今回用意した 3D 画像が「イカ」と「カイ」のみであったため，言葉の反応と，イメージの対応が十分であるケースと，十分ではないケースが，何に起因するものか，十分に分析することができなかった．また，子どもが，より文字の学習意欲をたかめるように今後発展させるためには，表示させる3D 画像のパターンを増やしてゆく必要がある．さまざまな言葉遊びを，被験者が楽しむことができれば，本システムの有効性もより高まるものと期待できる．

6．まとめ
幼児向けの言葉の学習には，幼児期の子どもの興味・関心を引き出し，楽しみながら文字の学習を行う環境づくりが望まれる．本研究では，Augmented Reality(AR, 拡張現実)を用い多様な言葉遊びシステムを開発した．子どもに実際に遊んでもらう予備実験では，3D 画像を配置した本システ
ムの有効性を確認することができた一方，画像によっては分かりづらく，それが言葉につながらないといった問題があった．今後，課題に示した内容をもとに，さらなる研究© 2016 Information Processing Society of Japan169