研究報告書概要

人間と遊び

音 楽 ゲ ー ム フ ィ ケ ー シ ョ ン と AR を 用 い て
長期継続利用を促進する手指運動訓練システム
奈良先端科学技術大学院大学 先端科学技術研究科 情報科学領域
助教 藤本雄一郎

さらに，研究を進める中で得られた知見に基づき，上記に加え，手指を十分に扱えることは日常生活で重要だが，加齢による今回，下記の三つの事柄を実行した．

筋力の衰えや，脳卒中等による機能低下等により，それが困難な人も多い．
手指の機能回復や機能低下の抑制には継続的なリハビ（Ａ）拡張現実感機能の実装とその評価リテーション（以下，リハビリ）が必要だが，従来のリハビリに（Ｂ）ポータブルＰＥＴＳの開発

は，（１）実施状況確認のため，作業療法士等の助力が必要，（２）（C）ポータブルＰＥＴＳによる擬似ＡＲ機能の実装と評価リハビリが単調であり，モチベーション持続が困難という二つの（Ａ）拡張現実感機能の実装とその評価問題が存在し，その長期継続を阻害していた．これらに対し，本提案した音楽ゲームフィケーションを取り入れた手指運動訓動訓練システムを提案する．
（１）に対しては，PETS（Pressing

練システムを作業療法士に体験いただき，フィードバックを得た

Evaluation Training System）という各指の力を計測できるシ

ところ，最も優しい難易度の手指の動作でも，初学者には困難でステム（図1）を用い，指運動の適切性を自動評価することでこあるとの指摘をいただいた．これは，訓練情報が表示されるデスれを行う（これは，以前の共同研究にて，共同研究機関である

クトップモニタと，指を動作させるＰＥＴＳの位置が乖離してい

助成研究Ａ

National Cheng Kung Universityにより開発）．
（２）に対してるため，音楽に合わせて表示されるノートと指との対応関係の直は，音楽ゲームフィケーションを取り入れることで解決を図った．

感的理解が困難であることに起因することがわかった．
この解決

具体的には，楽曲にあわせて，各指に対応したレーンに，ノートのため，拡張現実感技術（以下，AR）を導入した．具体的には

1と呼ばれる矩形が上から下へと流れてくる．
ユーザは音楽にあわユーザに頭部装着型ディスプレイ（ヘッドマウントディスプレイ，せて，タイミングよく，各指のＰＥＴＳのスイッチを押すことで，以下HMD）を装着させ，PETSに置かれた指に対応付けて，音正しい楽曲が演奏される（音楽ゲームといわれるゲームジャンル楽ノートを表示させることで，上記の対応関係の理解が容易になを模倣）．このノートの配置を変化させることで，手指のリハビると予想した（図２）．この仮説と提案システムの有効性を確か

リで重要な各指の「独立性」，「協調性」，「俊敏性」，「力の正確性」

めるため，通常のデスクトップモニタによる表示と，ARを用いなどが訓練できるような設計となっている．さらに，YAMAHAた表示で，音楽リハビリゲームを行う比較実験を大学院生１０名

等のオンラインストアから購入したユーザの好きな楽曲を基に，にて行った．その結果，AR使用時の方がミスタッチの回数が少手指の状態に合わせた，対象者固有の訓練を生成できるようにしなく，また，最適なタイミングと実際にボタンが押されたタイミ

た．また，同楽曲内でも，「力の閾値」「楽曲のテンポ」，「指の選ングのずれが小さいことが明らかとなった．また，被験者から，択」，「演奏感覚」，「演奏する楽器パート」などの多様なパラメー」とい「知っている曲と知らない曲では楽しさが全く異なった．

タを調整できるようにしており，同じ楽曲内でも，長く，楽しみう意見が多く得られた．これは，提案システムのポイントの一つながらトレーニングできるような設計を行っている．

である，ユーザの好きな楽曲で訓練できることの有効性を示唆︵１年間︶

研究では，音楽演奏のゲーミフィケーションを取り入れた手指運

図２： 拡張現実感を利用した音楽演奏リハビリテーション

図１： 据え置き型PETS

30- 1 -

研究報告書概要

財団レポート 2021

する結果であると考えている．なお，これらの結果をまとめ，国ることで，その仮想手に対して，身体所有感を誘発させる現象で際会議発表を行っている[1]．

ある（ラバーハンド錯覚の仮想手版であるといえる）．ポータブ
ルPETSにより各指のおよその形状は常に計測できるため，この情報を用いて，関節角度を制御可能な３Ｄモデルの手をタブレ（Ｂ）ポータブルＰＥＴＳの開発ット端末にリアルタイムで表示させる．
タブレット端末上のこのを使用しており，主に病院等での使用を想定していた．一方，日手の表示位置と，訓練コンテンツの位置を可能な限り近づけるこ

常的なリハビリテーションを考えると，各患者の自宅で行えることで，ユーザが仮想手を自身の手だと錯覚し，拡張現実感利用時とが望ましいケースがある．そこで，我々は，この据え置き型Ｐと同等の対応関係理解促進効果が得られると予想した(図4)．

ＥＴＳに代わるデバイスとして，持ち運びが容易で，軽量なポー

このバーチャルハンドイリュージョンの提案システムにおけタブルＰＥＴＳ（図３）を開発した．
このポータブルＰＥＴＳは，る効果と，ポータブルPETS 自体のユーザビリティを確かめる４本の指に対応した，四つの独立したトリガーを有しており，そために被験者実験を行った．実験条件として，手の動きを表示しれぞれ内部にばねと圧力センサが組み込まれている．そのため，ない条件と，手の動きを表示した条件，さらに手の動きだけでな

従来のＰＥＴＳと同様，各指が押した力を個別に計測可能である．

く，ポータブルPETS の３D モデルも表示した条件の計３条件

またこのデバイスは，Arduinoに接続されており，計測したデーを設定した．また，演奏する曲は難易度の低いものと高いもののタをＰＣやタブレット等に送信できる．さらに，図３のように内2種類を用意した．その結果，難易度が高い曲の演奏時のみ，仮部のばねは簡単に取り外し可能であるため，強度が異なるばねに想手を表示する条件で，ミスタッチの回数が有意に減少するなど，変えることで，各指の状態を考慮して，適切な負荷をかけること正確に演奏できることが明らかとなった．この実験により，当該ができる．これは据え置き型 PETS にはなかった機能であり，システムでの訓練コンテンツと実際の指の間の認知マッピング

先の実験で多くの参加者が要望としてコメントしていたことかにおいて，バーチャルハンドイリュージョンが拡張現実感技術使ら組み込んだ．この作成したデバイスに対し，在宅用のリハビリ用時と類似の効果を持つことが示された．
上述の通り，ソフトウェア，ハードウェア両面において，実用方々に体験していただき，概して，肯定的なコメントをいただい的なシステムができつつあるが，実際の長期継続効果についてはている．また，本デバイスの社会実装に向け，Hack Osakaのテ未だ検証できていない．今後の課題としては，想定ユーザによるックミーティングなどにて出展を行った[2]．

実験と社会実装に向けた取り組みが挙げられる．

（Ｃ）
ポータブルＰＥＴＳによる擬似ＡＲ機能の実装とその評価

謝辞：本研究の遂行に際し，所属研究室の大学院（Ａ）のＨＭＤ使用時に被験者から得られた否定的な意見として，生であった井上 直樹さん，Peiming Liu さんの両名

HMDを装着すると，頭が痛くなる，視野が狭くなるなどがあっが大きな貢献を果たした．改めてお礼申し上げる．

た．さらに，最終的なユーザが高齢者や脳卒中患者であることを[1] Naoki Inoue, Yuichiro Fujimoto, Alexander Plopski, Sayaka Okahashi,

考えると，ＨＭＤが使用できる状況はさらに限定される．そのたMasayuki Kanbara, Hsiu-Yun Hsu, Li-Chieh Kuo, Fong-Chin Su, Hirokazu

め，ポータブルPETS とともに使用するディスプレイは，よりKato, "Effect of Display Location on Finger Motor Skill Training with Music-

一般的なタブレット端末を想定した．そこで，再度生じる訓練コ

based Gamification," International Conference on Human-Computer

ンテンツと手指の対応付けの問題解決のため，今度は，バーチャ

Interaction (HCII2020), Springer, pp.78-79, Online, 22 Jul. 2020.

ルハンドイリュージョンを利用することとした．これは，人の手[2] Hack Osaka 2021 テックミーティング https://www.innovation-の動作を反映して動く仮想の手をディスプレイなどに表示させosaka.jp/hackosaka2021/tech.php

1︵１年間︶に適しているか否か確認するため，作業療法士，理学療法士の助成研究Ａ

ここまでのシステムは図１の据え置き型のＰＥＴＳとＨＭＤ

図4： バーチャルハンドイリュージョンを利用した
図３： ポータブルPETS

音楽演奏リハビリテーション- 2 -31