教育システム情報学会 2013年度学生研究発表会

関西地区

データグローブを使用した手指動作スキル学習支援システム
A Finger Motion Skill Learning Support System Using Data Gloves
岩峪 和真， 曽我 真人， 瀧 寛和
Kazuma IWASAKO， Masato SOGA， Hirokazu TAKI
和歌山大学システム工学部
Faculty of System Engineering, University of Wakayama
Email: soga@sys.wakayama-u.ac.jp
あらまし：手指の動作スキルの学習では，熟練者の手指の動きを学習者が目視により模倣して学習するのが普通である。本研究室では，熟練者に対面して習う機会が少ない学習者でも，自習学習で手指の動作スキルの練習ができるように，熟練者や学習者の手指の動きをデジタル化することを目的として，磁気式位置センサを用いて手指の動きを計測し，3D モデルで再現するシステムが開発されている。しかし，実験後のアンケートから，センサ数が多く装着に手間がかかる，また，装着中もセンサが煩わしいという課題が得られた。したがって，学習者が利用する学習支援環境においては，繰り返し利用する為に，着脱が容易なデータグローブを用いることでこれらの課題の解決を目指した．更に，学習支援システムとして利用する為に，手本動作の 3D モデルと学習者の 3D モデルを重ね表示し，手本動作を追従することで二つの動作のズレを計測するシステムを開発した。
キーワード：手指動作，スキル学習，学習支援，データグローブ，3D モデル

1.

はじめにPC から成る．
2.1 データグローブ 5DT Data Glove 14 Ultra
5DT 社が開発した手指のモーションキャプチャシ

手話等の手指の形状が重要な動作のスキル学習では，手話教室に通い熟練者の指導を受ける方法が一般的である．一方で，時間や場所の条件により教室に通うことが出来ず，書籍や DVD による独学を行ステムである．各指の第 2 関節，第 3 関節及び指の間に計 14 個のセンサが取り付けられており，各関節の曲がり具合を 0 から 1 までの小数値で返す．本シう学習者も多い．しかし，独学では熟練者による客観的な評価を受けることが出来ない為，学習者が誤った動作を覚えてしまう恐れがある．すなわち，手ステムの内部では，これらの値を関節の曲げ角度に変換した上で利用している．
2.2 ウィンドウの構成
本システムのウィンドウは，大きく分けて 3D モ

話等の手指動作を独学する場合には，学習者の動作を客観的に評価し提示するシステムが必要である．
以上の背景から，本研究では熟練者の手指動作を3D モデルにより再現し，データグローブを装着したデル提示部，アドバイス提示部，そして操作部の 3要素で構成されている（図 1）．3D モデル提示部には，手本モデルと学習者モデルが表示される．手本学習者がそれを模倣すると，熟練者の手指動作とのズレを計測し，学習者へのフィードバックを行う学習支援システムの構築を目指した．本研究室では，モデルには，予め用意した熟練者の手指動作データが与えられ，手本となる動作が再現される．学習者
モデルには，学習者が装着しているデータグローブのデータが与えられ，学習者の手指動作がリアルタ

磁気式位置センサを用いて手指の動きを 3D モデルで再現するシステムが開発されている[1]．しかし，センサは優先であり，また片手指に合計 12 個のセンサを装着することから，装着に時間がかかる，また装着中もセンサが煩わしいという問題を抱えている．
したがって，本研究では学習者が繰り返し利用する為に，着脱が容易なデータグローブを採用した．

2.

システムの構成

イムで再現される．操作部では学習を行う動作の選択，手本動作を行う速度の変更，手本動作とのズレの計測や学習者モデルの表示・非表示の切り替えを行うことが出来る．アドバイス提示部には 2 個のテキストエリアがある．一方には，手本の動作とのズレが大きい指の指摘や，動作を改善するためのアドバイスが提示される．もう一方には学習者の動作を点数化した値と，前回の点数からの向上値が提示される．

本システムは，学習者の手指の動きを取得するデータグローブと，学習者へのフィードバックを行う

31

教育システム情報学会 2013年度学生研究発表会

関西地区（1:感じた⇔5:感じなかった）f) システムの操作を覚えるには時間がかかる（1:かかる⇔5:かからない）
5.1 アンケート結果
各項目の評価結果の平均値と分散値を表 1 に示す．
尚，回答者は 20 代の学生 8 名である．
表 1 システム評価アンケート

図1

システムの GUI

対象動作

3.

指文字に設定した。指文字とは日本語の 50 音を表す
手話の一種である。手指の形状が重要な要素であることから本システムを用いた学習の対象に適してい

手指動作のデータは，各センサの数値の時系列データとして記録されている．これらの時系列データに DP マッチングを用いることで，手本動作との類

def

3.8

4.8

4.1

4.6

分散0.8

1.0

1.9

0.2

1.1

0.5

意見が得られた．3D モデルについては，これらの意見を踏まえ改善を行うと共に，取得データのモデルへの適切な対応付けが必要である．

似度をセンサごとに算出した．これらの類似度を指ごとに合計，正規化することで各指のズレの値としている．そして，ズレの値が設定した閾値を越えた
場合，テキストで「○○指のズレが大きいです」と尚，本システムの操作に関しては高い評価を得ており，操作や設定項目を限定したことが要因であると考えられる．

いうアドバイスを提示する．また全てのセンサの類似度を合計，正規化することで動作全体の類似度としている．動作全体の類似度は，学習者の動作の点

6.

まとめ
実験結果より，3D モデルの重ね表示や提示の方法数としてアドバイス提示部に提示される．の改善が課題として得られた．また学習動作の診断に関して，今回用いた動作の診断方法では文章等の連続した動作には対応できない．そこで，診断方法を見直すと共に，より高度な判定手法である HMM

評価実験

評価実験では，実験協力者には本システムを利用した後に 5 段階評価及び自由記述アンケートを実施した．アンケート内容と評価項目を次に示す．

b)

c

3.0

に関しては，ズレの大きい指のみを強調表示するといった提示方法の改善が必要である．また学習動作の再現についての評価はやや低く，自由記述欄からは，個人の手の大きさに応じたモデルの必要性等のズレの計測方法a)b

3.1

3D モデルの重ね表示に関しては，違いを認識できたという評価が多い反面，手本モデルと学習者モデルの区別がしづらいという意見も得られた．この点

る．

5.

a

平均

5.2 考察データグローブの着脱に関する評価が高いことから，先行研究[1]で得た課題は解決できたといえる．

システムを構築するに当たり、学習の対象動作を4.

質問を導入することで，文章への対応と診断精度の向上を目指す．

自分の手指動作がモデルで正確に再現できていた（1:出来ていなかった⇔5:出来ていた）
重ね表示時でも、手指動作は見やすかった

参考文献(1) 安井仁彦：“磁気閾値方向センサを利用したモーショ（1:見づらかった⇔5:見やすかった）c) 重ね表示により手本動作との違いを認識できた（1:出来なかった⇔5:出来た）d) データグローブの装着は簡単だった

ンキャプチャによる手指動作の計測と 3D モデルでの再現”，和歌山大学システム工学部卒業論文 (2009)(2) 栗林亮，向井信彦，小杉信: “データグローブを使用した手話学習支援システムの構築”, 社団法人映像情報メディア学会技術報告 (2004)（1:面倒だった⇔5:簡単だった）e) 学習中、データグローブが煩わしく感じた32