Interactive Floor Interface を用いた教育支援システムの改善
Improve Education Support System with Interactive Floor Interface
赤坂 総司 1)
Soshi Akasaka

金丸 隆志 1)
Takashi Kanamaru

1. はじめに
情報社会化に伴い、教育分野が見直されている。2017 年、
日本の中等教育現場では約 10 年ぶりに学習指導要領が改訂された[1]。その中では ICT 環境の充実に配慮されている。
一方、2018 年には 90%を超える中学校がプロジェクタを導入していることが明らかになっている[2]。また、アクティブラーニングという生徒参加型による教育効果も注目を集めている[3]。以上を踏まえ、我々は生徒参加型授業を行え る ICT 教 育 支 援 シ ス テ ム と し て ｢ Interactive FloorInterface｣を開発した[4]。本研究では、このシステムの改善を目的とする。（FIT2021 第 20 回情報科学技術フォーラム
講演論文集 第 3 分冊 (2021) pp.351-352.）

2. 先行研究:Interactive Floor Interface
Interactive Floor Interface(以下 IFI)は床にプロジェクタで教育情報を提示するシステムである。センサで人の動作を読み取る認識部と、その上で動作する教育コンテンツが主な構成要素である。先行研究における IFI は Kinect v2、プロジェクタ 2 台、およびそれらを固定する装置から構成されている(図 1)。

図 2 波の干渉を学習するための 3 つのモード
図 2 の Distance モードは Projection Area 内に立った複数の人の位置を波源として波が発生するモードである。ユー
ザーと観測点までの距離をもとに波の強め合い・弱め合いを理解することができる。Real モードは Distance モードの背景を変え、現実の水面波に近づけたモードである。
Moiré モードでは 2 つの波源を固定した時の強め合い弱め合いの点をそれぞれピンクと水色で表示している。
IFI では、Kinect v2 により得られた骨格座標に基づくジェスチャー認識を利用して機能を切り替えていた。しかし、波の現象の理解という機能とジェスチャーとに関連性が低いことから、学習者が直感的に学習内容を理解することに至らなかった。これは、認識可能なジェスチャーが「右手を上げる」等の静的なジェスチャーのみであり自由度が低かったためであると我々は考えた。そこで、動的なジェスチャーを認識する手法を取り入れ、機能とジェスチャーに関連性を持たせることにした。さらに、Kinect v2 は販売が中止されているため、センサの変更も行った。

3. システムの変更点
図 3 に本研究における変更点をまとめる。

図 1 IFI の概要図
IFI に対する入力はユーザーの動作であり、出力はプロジェクタを通して床に投影される映像である。図 1 のRecognition Area でユーザーがあらかじめ登録された動作をすると、Kinect v2 がそれを認識し、動作に応じて提示する情報や機能がリアルタイムに変化する。Projection Area に提示する例として、水面波の干渉の教育コンテンツを開発した(図 2)。

1)工学院大学

Kogakuin University図 3 本研究における変更点
使 用 す る セ ン サ は 、 Kinect v2 の 後 継 機 で あ る AzureKinect とした。データ取得用の言語は C#から Python に変更している(図 3)。Azure Kinect を Python で使用するには、
Ibai Grordo 氏 が 提 供 し て い る ラ イ ブ ラ リ で あ る
pyKinectAzure を使用した[5]。Kinect v2 ではジェスチャー認識用の GUI ツール Visual Gesture Builder を利用できたが、Azure Kinect では利用できないため、ジェスチャー認識はPython で実装したニューラルネットワークで行う。また、その結果、データ取得・ジェスチャー認識部（Python）と教育コンテンツの描画部（Unity + C#）で言語が異なってしまう。Python と Unity + C#の間の通信のために UDP 通信を利用する。これは、Python 側で取得した人の座標データやジェスチャー認識結果を Unity + C#側に送信し IFI を動かすためである。図 4 は本研究で改善した IFI の動作を示すフローチャートである。

図4

IFI のフローチャート

3.1 ジェスチャー認識
IFI はユーザーの動作により教育コンテンツを操作できるインタラクティブ性をもっている。その機能には、
Azure Kinect により得られた骨格座標に基づくジェスチャー認識を利用している。ジェスチャーは次の手順で作成した。
① 認識させたいジェスチャーを記録し、ジェスチャーデータを作成する。用いるジェスチャーの種類の分だけデータを用意する。
② 「ジェスチャーをしていない状態」のデータを作成する。その際、①のジェスチャーと誤認識させたくないポーズもデータに含めるようにする。
③ 「認識させたいジェスチャー」一種類当たり 60 個のデータを用意する。「ジェスチャーをしていない状態」も 60 個のデータを用意する。
④ 作成したデータを中間層が 2 層のディープニューラ
ルネットワークに学習させる。
これにより、Azure Kinect でジェスチャー認識を行う。

図 6 各機能と実装予定ジェスチャーの対応図
波の周波数は、「右手をうねらせることで大きく、左手をうねらせることで小さく」する。これは、腕を正弦波に見立てたジェスチャーであり、左右の手で機能を逆にするものとした。Moiré モードへの切り替えは、「両手を横にうねらせる」とする。Moiré モードは干渉縞を表示する機能であるため、両手を同時にうねらせることで 2 つの波を表現している。Distance モードへの切り替えは、「両手を前に広げる」ことで行う。Distance モードは 2 つの波源の距離と観測点における強め合い・弱め合いを表示する機能であるため、両手を前に広げることで距離を表現している。

4. UDP 通信
本システムでは、Python 側で得られたデータ・ジェスチャー結果を、描画を担当する Unity + C#側に伝える必要がある。そこで、UDP 通信を利用して通信を行うことにした。
図 7 は UDP 通信で、体の中心座標とジェスチャー結果の送受信を行っている様子である。図の左が送信側(Python)で右が受信側(Unity + C#)であり、この情報に基づいて教育コンテンツが操作される。

図7

UDP 通信(左:Python 右:Unity + C#)

5. おわりに図 5 作製した静的ジェスチャー
図 5 は、先行研究で使用していたジェスチャーを示している。しかし、これらのジェスチャーは 2 章でも述べたように、学習者が直感的に支援内容を理解できるものではない。そこで、動的なジェスチャーを実装し、機能に合わせて静的･動的ジェスチャーを使い分けることで直感的な使用･理解につながると考えた。図 6 は機能に合わせた静的･動的ジェスチャーの対応図である。

本稿では先行研究で開発した ICT 教育支援システムにおける機能を直感的に使用できるよう、用いるジェスチャーを静的なものから動的なものに変更した。さらに、用いるセンサを Kinect v2 から Azure Kinect に変更した。今後、さらなる教育コンテンツの改善を行う予定である。
参考文献[1] 文部科学省, “新学習指導要領総則”, 2017[2] 一般社団法人 日本教育情報化振興会, “第 11 回 教育用コンピュータ等に関するアンケート調査 報告書”, 2018.
[3] 文部科学省, “新しい学習指導要領の考え方-中央教育審議会における議論から改定そして実施へ-,” 2017.
[4] 赤 坂 総 司 , 大 野 智 也 ,大 原 広 暉 ,金 丸 隆 志 ”Interactive Floor
Interface を用いた教育支援システムの開発,” 情報科学技術フォーラム講演論文集,19th 巻,第 3 分冊号, pp377-378, 2020.
[5] https://github.com/ibaiGorordo/pyKinectAzure