WISS 2023

AR ハンドと EMS による手指の同期を用いた遠隔でのピアノ演奏指導
守 新太郎 ∗

井原 圭一 †

川口 一画 ‡

概要. 遠隔同期型の楽器演奏指導において細かな演奏動作を確認するためには，学習者は複数の視点から
指導者の動作を見る必要がある．そのため，複数カメラの設置と映像のスイッチングが必要となり，操作が負担となる．また，各カメラの視点は固定されているため，学習者はより細かな動作の確認ができない．
加えて，対面で行う指導と比べて，指導者の存在感を感じづらい．そこで，我々は，拡張現実感 (AR) と電
気的筋肉刺激（EMS）を組み合わせて遠隔からの楽器演奏支援システムを提案する．指導者の手の動きを変換し学習者の HMD 越しに表示することによって，演奏時の手の形の効率的な伝達および遠隔者の存在感の向上を目指す．また，指導者が楽器の弦や鍵盤などを押さえたときに，学習者の手に対して EMS を与えることによって，指の動きや押す強さを提示する．本論文では，ピアノの演奏指導における提案システムのプロトタイプを実装し，ピアノ指導における具体的なインタラクション方法を示す．

1

はじめに

近年，楽器を始める人の増加に加えて，オンライン指導も増加している．オンライン指導には，動画を視聴して学習するオンデマンド型や，リアルタイ
ムで指導者が遠隔から学習者に指導する遠隔同期型がある．ただ，遠隔同期型の楽器演奏指導において細かな演奏動作を確認するためには，指導者および学習者がともに複数の視点から相手の動作を見る必要がある．そのためには複数カメラの設置と映像のスイッチングが必要となり，操作が負担となる [6]．
また，各カメラの視点は固定されているため，演奏時の細かい指の動きや角度を確認したい場合（弦の押さえ方の確認など）に問題が生じる.
このような視点の課題に対する先行研究として，
拡張現実感 (AR) を用いたアプリケーションが検討されている．AR を用いた方法 [13] では，ピアノ演
奏時の指導者の手を AR アバタに変換し，学習者がHMD を通して手の形を確認できるようにすることによって，指導者は学習者に対して鍵盤に置く手の位置や動作を効率的に伝えられる．ただし，AR ア
バタでは，楽器の弦や鍵盤などを押す強さは提示できない．また，手のみの AR アバタでは，遠隔同期型での指導の場合，指導者の存在感を感じづらい．
これに対して，EMS を用いた方法 [26] では，電気刺激により楽器を演奏する学習者の指を直接制御することによって，楽器の弦や鍵盤などを押す強さを提示することができる．また，初心者は，打鍵時の再現性が低い [28] ことから，指を直接制御することによって指の角度や動きの再現性を高められる．ただし，EMS を用いた手法は，指導者が学習者に対Copyright is held by the author(s).
筑波大学 情報メディア創成学類†
筑波大学 情報理工学位プログラム‡
筑波大学 システム情報系∗

して遠隔からリアルタイムに指示を行うケースでは検討されていない．
そこで本研究では，楽器演奏支援に対するアプ
ローチとして，AR アバタと電気的筋肉刺激（EMS）
を組み合わせて，遠隔からの楽器演奏を支援するシ
ステムを提案する (図 1)．これは，指導者を AR アバタに変換し学習者の HMD 越しに表示することによって，演奏時の手の形や位置を効率的に伝え，遠隔指導時の存在感を向上させる．加えて，指導者が楽器の弦や鍵盤などを押さえたときに，学習者の手に対して EMS を与えることによって，指の動きや押す強さを提示する．これにより，学習者は能動的に自分の手を動かしながら，受動的に指導者からの指の動きの指示を受けられる．
本論文では，そのプロトタイプとしてピアノ演奏
時に AR ハンドと EMS（2 チャンネル出力）で遠隔指導を行うシステムを実装する．また，本プロト
タイプを用いた指導方法を示す．

2

関連研究

本システムは，AR アバタと EMS を用いて，遠隔からの楽器演奏を支援する．本章では，楽器演奏
支援に対する既存手法，および EMS に関する関連研究について述べる．

2.1

ピアノにおける楽器演奏支援

楽器演奏支援として，いくつかのアプローチがある．ピアノの指導に対する学習者ベースのアプロー
チでは，（1）さまざまな身体部位の動きと姿勢を同期させる，(2）譜読力を向上させる（3）学習者のモ
チベーションを高める（4）アドリブ演奏を奨励する
ことの 4 つが重要である [4]．身体の同期を用いたア
プローチとして，ユーザに対して次にどの鍵盤を押せばいいかを色分けする，タイミングのエラーを表

WISS 2023

図 1. 提案システムを示す．(a) 指導者の演奏を単眼カメラから撮影し，ハンドトラッキング情報を学習者側へ送信する．
(b) 学習者は EMS を指に装着し，指導者の手を模した AR ハンドに手の動きを追従しながら，EMS による指の動きの支援を受ける．(c) 指導者の手の俯瞰映像から関節点を取得する．(d) 指導者の手を模した AR ハンド．関節点とそれらを結ぶボーンから構成される．

示させるといったフィードバックを与えるものがある [10, 11, 25]. また，ハンドトラッキングを用いて指導者の手の形を AR アバタに変換し，それを学習者に対して，HMD 越しに表示させることによって，手の形や動きを効率的に伝える手法も提案されている [13]．この手法では，現実空間の鍵盤の上に表示された指導者の手の動きを理解することによって，学習者は演奏時の手を正しく位置づけ，手の形を再現する能力が高まることが示唆されている．加えてLiu らは，指導者と学習者の手の動きをモーション
キャプチャによって記録し，ボーン表示を用いて手の動きの違いを視覚的に表示する手法を提案している[14]．譜読力への支援として，ピアノロールを鍵盤の延長線上に表示させ，次に押す鍵盤の位置に加えて，タイミングをユーザに教える手法がある [2, 7]．
学習者のモチベーションを高めるアプローチでは，AR とゲーミフィケーションに基づいたアプローチがある．ピアノの演奏にゲームプレイの要素を追加したもの [17] や，定期的にピアノを演奏してポイントを獲得するといったインセンティブ [18] によって動機づける手法がある．アドリブ演奏への支援として，手のジェスチャーをカメラ [8] や EMG[12] を用いて検出し，手の形や動きに応じて，音を変化させ，音の表現を拡張している．先行研究とは異なり，本研究では，AR アバタと EMS を組み合わせること
で，手指の動きの同期をリアルタイムで行い，学習効率の向上を図る．

2.2 電気的筋肉刺激 (EMS)
EMS を用いた楽器演奏アプリケーションはこれまでにいくつか検討されている．Stimulated Percussions[5] は，前腕もしくは，ふくらはぎに電気刺激を与えて打楽器でのリズムをユーザに直接提示する．Niijima らは，トレモロ演奏するピアノ熟練者と初心者の筋活動を比較し，ピアノ熟練者が演奏時によく活動する上腕筋や前胸筋へ EMS を与えることによって，初心者がトレモロ演奏するときに不必要な筋活動を抑制している [19]．ただ，この研究ではピアノの演奏手法としてトレモロ演奏のみに限定している．PossessedHand[27] は，前腕周囲の筋肉に電気刺激を与えることによってユーザの指を制御する．各筋肉は 28 個の電極パッドを介して刺激され，手の 16 の関節の動きを制御できる．このシステ
ムを用いて，琴の楽器演奏支援を行い，タイミング

AR ハンドと EMS による手指の同期を用いた遠隔でのピアノ演奏指導のエラー，および弦の間違いを軽減している．ただ，このシステムは，親指を除く PIP 関節（近位指節骨間関節）を独立的に制御できるが，それ以外の関節は制御できない．これは，前腕部にある指を屈曲するための指屈筋が密接しているため，前腕部に電気刺激を与えると関節を独立的に制御することが難しくなるからである．そこで，Takahashi らは，指のMCP 関節（中手指節間関節）を動かす虫様筋に電気刺激を与える手法をとっている [26]．これは，従来の前腕部に電気刺激を与える手法と比べて，MCP関節を独立的に制御することができる．また，複雑な指の形を制御する方法として，EMS と外骨格を組み合わせたものが検討されている [20]．これは EMS
によって指を作動させ，外骨格を用いて指を正確な位置で停止させるアプローチを取っている．これによって，MCP，および PIP 関節を独立して制御できる．先行研究では，指導者が学習者に対して遠隔からリアルタイムに指示を行うケースでは検討されていない．そこで，我々は，Takahashi らの先行研究を元に，EMS を用いて遠隔にいる指導者の指の動きを学習者の指へ提示する．

3

提案システム提案システムは，HMD を通した AR アバタの表
示と，EMS の制御の組み合わせで構成されている．
将来的には，指導者の全身を AR アバタとして提示
し，さらに両手の全ての指（10 チャンネル）に EMSを提示する予定であるが，本論文中ではそのプロトタイプとして，AR ハンドの提示と 2 チャンネル分の EMS 提示が可能なシステムを実装した．本章では提案システムにおけるこれらのシステム実装構成について述べる．

3.1

システム構成提案システムの実装構成を図 2 に示す．単眼カメ
ラ (カメラ：Sony α6300，レンズ：SELP1650) を用いて指導者の手の映像を取得し，MediaPipe を用いてハンドトラッキングを行う．ハンドトラッキング情報と，ピアノ演奏における MIDI 情報を，UDP 通信を用いて指導者側の PC(CPU:Intel Core i7-12700H，
GPU：Intel Arc A370M，メモリ：32GB) から，学習者側の PC(CPU:Intel Core i7-11800H，GPU：
GeForce RTX 3070 Laptop，メモリ：64GB) に送
信し，HMD 上にアバタとして表示する．そして，マイコンから EMS を制御し，学習者の指を制御する．
指導者と学習者は，ビデオ会議ツールを用いて，音声を共有する．また，指導者は，学習者の学習状況を確認するため，学習者側の手を映したカメラ映像
を，ディスプレイにて確認する．単眼カメラの位置は鍵盤の真上に設定した．HMD は Hololens2[15] を，
HMD への表示ソフトウェアとして Unity（バージョン 2021.3.21f1）を用いた．また，ピアノは Casio

LK-520[1] を用いた．

図 2. システム構成図．

3.2

指導者の演奏動作の取得

指導者の演奏時の手の動きを，ハンドトラッキン
グを用いて取得し，打鍵時の強さを EMS 入力として用いるため，MIDI 情報を取得する．

3.2.1 関節点の取得
OpenCV と Mediapipe のライブラリがパッケージ化されている CVzone[3] を用いて，指導者に対しハンドトラッキングを行い，UDP 通信にて学習側のPC へ送信する．ハンドトラッキングは，Mediapipe
を用いて，手首と各指 4 点の計 21 点の関節点を取得した．リアルタイムでのハンドトラッキングにおけるフレームレートは 20FPS 程度であった．

3.2.2 MIDI 情報
Mediapipe を用いたハンドトラッキング情報では，真上からの映像であるため，指がどの程度曲がっているか取得することが難しく，EMS の強さを調節するための入力として用いることができない．そこで，指導者が演奏するピアノの MIDI 情報から，打鍵または離鍵した鍵盤の位置，および打鍵の強さ (音の大きさ) を取得し，打鍵の強さに応じて与える EMSの強さを調節する．このとき，打鍵の強さは 128 段
階で取得できる．そして，打鍵または離鍵した鍵盤の位置，および AR 上に表示されたピアノと AR ハ
ンドの衝突情報を用いて，弾いている鍵盤の指を推定し，EMS を与える指を選択する．具体的には，各指の先端の関節点と，仮想ピアノの各鍵盤にゲーム
オブジェクト同士の物理的な衝突を検出する機能を持つ Collider コンポーネントを持たせている．鍵盤の Collider コンポーネントを図 3 のように y 軸上に検出範囲を伸ばすことによって，x 軸と z 軸の 2 次
元平面上において，関節点と鍵盤が重なったときに衝突を検出する (図 4)．そして，打鍵，または離鍵した鍵盤の位置と，その鍵盤と重なっている関節点から，弾いている鍵盤の指を推定する．

WISS 2023

EMS 制御既製品として AR との組み合わせを想定している
EMS デバイス Unlimitedhand がある [9]．このデバ
3.4

図 3. 鍵盤の Collider コンポーネント．

イスでは手指の動きに関する入出力を行えるが，指の動きが限定的であるため，ピアノ演奏に対して不適当である．そこで，電気刺激によって学習者の指を直接制御する EMS 制御装置として，Pfeiﬀer らの
Let-Your-Body-Move toolkit [21] を使用した (図5)．また，EMS 生成器として Sanitas SEM 43[23]を使用した．このツールキットにおける制御回路は，
Arduino の出力に応じて，デジタルポテンショメー
タによって MOSFET を制御して抵抗値を調整し，
EMS の出力電流を調節する．MOSFET の抵抗値
は 256 段階で変更できるため，EMS の出力は 256
段階の調節ができる．

図 4. 関節点と鍵盤の衝突検出．衝突検出を視覚的に分かりやすくするため，鍵盤に対して衝突した指ごとに色付けを行っている (e.g. 左手親指：赤色)．
3 オクターブ目のレが押された場合，レの鍵盤と重なっている左手親指に対して EMS を与える．

MIDI 情報は，ピアノから USB 接続で指導者側の PC に送られ，Python ライブラリの Pygame[22]を用いて情報を取得する．その後，UDP 通信によって学習者側の PC へ MIDI 情報が送信される．このとき，MIDI 情報を即時に送信すると，複数の鍵盤を同時に打鍵，または離鍵した情報が損失する場合があるため，即時送信ではなく，0.05 秒おきに送信
する．
3.3

AR ハンド表示

指導者の手を模した AR ハンドは，関節点の球体と関節点をラインで結んだ構成をしている (図 1(d))．
AR 空間上には現実のピアノとの位置を調節するために，現実のピアノと同等サイズの仮想ピアノを配置している．この仮想ピアノを現実のピアノに重畳表示して，位置合わせを行う．Mediapipe で取得
した手のランドマーク座標は，Unity 上にて関節点を表示する球体に各関節の座標に対して入力する．
AR ハンドのサイズは，仮想ピアノと比較しながら
図 1(c) のような指導者の手と大きさが同じになる
ように，x,y,z 軸のすべてのスケールを手動で調整する．

図 5. EMS 制御基板．(a) 表面．(b) 裏面．

ピアノの演奏では，音階を打鍵する場合，MCP関節が屈曲し PIP 関節が伸展する．また，和音を打鍵する場合，手首，MCP 関節および，DIP 関節(遠位指節骨間関節) が屈曲する [24]．したがって，
音階・和音の演奏動作から指の MCP 関節を屈曲・伸展させるため，電極パッドの装着位置として指のMCP 関節を独立して制御できる手の虫様筋に設定した (図 6)．電極パッドのサイズは，1 × 3 cm (虫様筋) と 3 × 3 cm (手首) とした．MCP 関節の手のひらとの最大屈曲角度は，全ての指で 90 度程度であった．ここで，親指の装着位置は，虫様筋が無いため，
MCP 関節を屈曲させる長母趾屈筋に電極パッドを装着した．現段階での実装では，EMS の出力チャンネルが 2 チャンネルのみであるため，指を制御できる数は 2 本である．鍵盤の打鍵から指に EMS が与えられるまでの時間は約 0.2 秒であった．また，指が動き始めてから最終的な指の形になるまで，最大約 0.4 秒かかった．研究室内の同一ネットワーク
を使用している環境では，キーボードの打鍵から光るタイミングまでの時間差から，ハンドトラッキン
グと MIDI イベントの受信との間には約 0.2 秒の遅AR ハンドと EMS による手指の同期を用いた遠隔でのピアノ演奏指導

図 7. 実装したプロトタイプを用いた指導のながれを示す．(a) 学習フェーズ: 指導者は学習者へ手本を示す．(b)(c) 学習
フェーズ: 学習者は AR ハンドに重なるよう自分の手を動かして学習．(d) テストフェーズ: 学習者は何も見ずにピアノ演奏のテストを行う．(e) フィードバックフェーズ: 指導者は学習者へテスト中に出た技術的課題に関してフィードバックを与える．

延が生じている．また，EMS が与えられてから最終的な指の形になるまで，最大で約 0.2 秒かかることが観察されたため，この環境では，AR ハンドと
EMS の出力がほぼ同時に実行されている．しかし，遅延時間はネットワーク環境などに依存すると考えられるため，今後の課題として適切な同期処理を検討する必要がある．

題に関して学習者へフィードバックを与える(図 7(e))．
そして最終的に学習者がテストの合格基準を満たす
まで，1 ∼ 3 を繰り返し，指導を行う．

4

今後の課題

実装したプロトタイプの評価実験計画，現段階での提案システムの課題，および拡張したシステムの評価実験計画について述べる．

4.1

図 6. EMS 装着位置．(a)EMS を左手人差し指の虫様筋に装着した．手首の電極パッドは GND として用いる．(b)EMS を与えたときの指の曲がり具合．

3.5

実装したプロトタイプを用いた指導のながれ実装したプロトタイプを用いた指導では，以下のように指導を行う．

1. 学習フェーズ：指導者はピアノを演奏し，学習者に対して課題曲またはフレーズの手本を示す (図 7(a))．学習者は，鍵盤上に表示されたAR ハンドに重なるよう自分の手を動かすことで，指導者の手の動きを学習する (図 7(b)(c))．
このとき，学習者の指には指導者の動きと連動して EMS が与えられ，EMS をトリガーとして学習者自身も指を動かしながら，指の動きのタイミングや強さを学習する．

2. テストフェーズ：学習後，学習者は指導者の手の動きを思い出しながら，何も見ずにピアノ演奏のテストを行う (図 7(d))．

3. フィードバックフェーズ：テスト後，指導者は学習者の手の動きをディスプレイで確認しながら，テスト中に出た運指，音の強弱，およびリズムの正確さなどの演奏時の技術的課

評価実験計画

今後，提案システムの実用性と有効性を確認する
ために評価実験を行う．評価実験の目的として，提案システムが実際の楽器学習者に対してどれだけ効果的な支援を提供できるかを検証する．タスクとして，3.5 節中の 1 ∼ 3 で示した一連の指導を実施す
る．調査項目として，演奏技術の向上度や学習効果の定量的な評価，およびモチベーション向上度などを調査する．また，アンケートやインタビューを通じて，ハンドトラッキングのフレームレートや遅延がシステムに影響があるか，学習者の意見や感想を収集し，システムの利点や課題を調査する．
また，評価実験では指導者側からの評価を考慮する必要がある．指導者の評価として，システムを通じて学習者に適切なフィードバックを提供できるか，
遠隔指導の実現がどの程度実用的かなどを評価項目として取り入れる．指導者の視点からの評価を通じて，指導者と学習者の双方にとって最適なシステムを調査する．

4.2

提案システムの拡張

今後の実装として，AR アバタ，および EMS の実装の拡張，ピアノ位置調整の簡素化，およびピアノ以外の楽器の拡張を行う．

AR アバタの実装
現段階での AR アバタの実装では，指導者の手をAR 表示したのみであり，その他の身体部位の AR
4.2.1

表示は行っていない．今後の実装として，指導者の上半身，および顔の AR アバタ実装を行う必要がある．
具体的な実装方法として，指導者の前にトラッキン

WISS 2023

グ用のカメラを設置し，上半身と顔のトラッキング
情報を取得し，学習者側へ情報を送る．トラッキン
グはハンドトラッキングと同様に Mediapipe を用いる．そして，そのトラッキング情報をもとに Unity
にて AR アバタの実装を行う．
指導者の上半身および頭を AR アバタとして提示する場合，それを学習者に対してどのような配置で提示するかは検討が必要である．例えば，指導者を学習者の対面に表示することによって，手の動きや姿勢，体を使った表現などを，鍵盤との視線の遷移を小さくして確認できるようにする，指導者を学習者の隣に表示させることによって，指導者の存在感を高め，学習者の集中力を上げる，といった表示方法が考えられる．また，それぞれの配置に対して，
EMS をどのように組み合わせるかについても検討が必要である．

4.2.2

EMS チャンネル数の拡張

現段階での提案システムの実装では，EMS の出力チャンネルが 2 チャンネルのみである．これは EMS
生成器から出力されるチャンネル数が 2 つであるためである．したがって，両手すべての指を動かすにはチャンネル数を 10 チャンネルに拡張する必要があるため，EMS 生成器を 1 台から 5 台に増やして
制御する．

4.2.3

指の動きの提示

本論文では，指導者の指の動きを，MIDI 情報か
ら間接的に取得している．また，指の動きの提示として MCP 関節の屈曲に限定している．音階の打鍵では MCP 関節が主として屈曲するが，和音の打鍵では MCP 関節に加えて手首や DIP 関節が屈曲する．したがって，より正確な指の動きの提示を行う
ため，筋電位を用いて指導者の指の動きの情報を取得し，MCP 関節に加えて手首や DIP 関節の動きの提示を行う．

4.2.4 ピアノ位置調整
AR 上のピアノと学習者側のピアノと位置調整を行う場合，学習者側のピアノを移動させることによって調整する．これは Unity から Hololens2 への出力として，Holographic Remoting を用いているが，この出力方法では，Hololens2 の初期位置を前回のアプリケーションが終了した位置としている．したがって，アプリケーション終了時にはあらかじめ決まった場所に置く必要があり，この置き場所が変わると都度調整する必要がある．このような調整方法
では，学習者側のピアノが電子ピアノのような移動しやすいピアノに限定され，グランドピアノのような移動が難しいピアノでは適用できない．
この課題の対策として，QR コードを用いたトラッキングによる解決方法が考えられる．HoloLens 2 では， 内蔵カメラから QR コードを検出し，現実空間
での QR コードの位置を原点位置に設定することができる [16]．したがって，原点位置に AR，および現実空間のピアノの位置を設定することによって，自動的に AR 空間と現実空間の位置合わせができる．

5

まとめ

本研究では，提案システムとして指導者の AR ア
バタと EMS を組み合わせたピアノ演奏指導支援を提案した．そして，そのプロトタイプとして，指導者の手を模した AR ハンドと EMS を組み合わせたシステムを実装した．また，本プロトタイプを用いた，具体的な指導方法を示した．
今後の課題として，提案システムの実用性と有効性を確認するために，評価実験を行い，システムが学習者の演奏技術向上や学習効果促進にどの程度効
果的かを調査する．また，学習者の評価に加えて指導者側にとって提案システムが実用的であるか調査
し，AR アバタ，および EMS のチャンネル数の拡張を行う．
まとめとして，提案システムは遠隔楽器指導における新たな可能性を開拓するものであり，今後の改善によってより学習者に対する学習支援が実現できると考えられる．

参考文献[1] Casio.
LK-520—CASIO.
https://www.casio.com/jp/electronic-musicalinstruments/product.LK-520.
(Accessed on
09/06/2023).
[2] J. Chow, H. Feng, R. Amor, and B. C. Wünsche.
Music Education Using Augmented Reality witha Head Mounted Display. In Proceedings of the
Fourteenth Australasian User Interface Conference - Volume 139, AUIC ’13, pp. 73–79, AUS,
2013. Australian Computer Society, Inc.
[3] CVzone. CV Zone - Computer Vision Zone.
https://www.computervision.zone. (Accessedon 09/06/2023).
[4] J. A. Deja, S. Mayer, K. Čopič Pucihar, and
M. Kljun. A Survey of Augmented Piano Prototypes: Has Augmentation Improved Learning
Experiences? Proc. ACM Hum.-Comput. Interact., 6(ISS), nov 2022.
[5] A. Ebisu, S. Hashizume, K. Suzuki, A. Ishii,
M. Sakashita, and Y. Ochiai. Stimulated Percussions: Method to Control Human for Learning Music by Using Electrical Muscle Stimulation. In Proceedings of the 8th Augmented
Human International Conference, AH ’17, New
York, NY, USA, 2017. Association for Computing Machinery.
[6] C. A. Fraser, J. O. Kim, A. Thornsberry,
S. Klemmer, and M. Dontcheva. Sharing theAR ハンドと EMS による手指の同期を用いた遠隔でのピアノ演奏指導

Studio: How Creative Livestreaming Can Inspire, Educate, and Engage. In Proceedings ofthe 2019 Conference on Creativity and Cognition, CC ’19, pp. 144–155, New York, NY, USA,2019. Association for Computing Machinery.

[18] W. Molloy, E. Huang, and B. C. Wünsche.
Mixed Reality Piano Tutor: A Gamiﬁed Piano Practice Environment. In 2019 International Conference on Electronics, Information,
and Communication (ICEIC), pp. 1–7, 2019.

[7] S. Glickman, B. Lee, F. Y. Hsiao, and S. Das.
Music everywhere - augmented reality piano improvisation learning system. In New Interfaces
for Musical Expression, 2017.

[19] A. Niijima, T. Takeda, K. Tanaka, R. Aoki,
and Y. Koike. Reducing Muscle Activity When
Playing Tremolo by Using Electrical Muscle
Stimulation to Learn Eﬃcient Motor Skills.
Proc. ACM Interact. Mob. Wearable UbiquitousTechnol., 5(3), sep 2021.

[8] N. Granieri and J. Dooley. Reach, a keyboardbased gesture recognition system for live pianosound modulation. 06 2019.
[9] I. H2L. UnlimitedHand について - UnlimitedHand. http://unlimitedhand.com/. (Accessedon 09/06/2023).
[10] F. Huang, Y. Zhou, Y. Yu, Z. Wang, and S. Du.
Piano AR: A Markerless Augmented Reality
Based Piano Teaching System. In 2011 Third
International Conference on Intelligent HumanMachine Systems and Cybernetics, Vol. 2, pp.
47–52, 2011.
[11] B. István and S. Dieter. Augmented Reality
Agents in the Development Pipeline of Computer Entertainment. Entertainment Computing - ICEC 2005, pp. 345–356, 2005.
[12] J. Karolus, A. Kilian, T. Kosch, A. Schmidt,
and P. W. Wozniak. Hit the Thumb Jack! Using
Electromyography to Augment the Piano Keyboard. In Proceedings of the 2020 ACM Designing Interactive Systems Conference, DIS ’20, pp.
429–440, New York, NY, USA, 2020. Association for Computing Machinery.
[13] K. Labrou, C. H. Zaman, A. Turkyasar, and
R. Davis. Following the Master s Hands: Capturing Piano Performances for Mixed Reality Piano Learning Applications. 2023.
[14] R. Liu, E. Wu, C.-C. Liao, H. Nishioka, S. Furuya, and H. Koike. Synchronized Hand Difference Visualization for Piano Learning. In
ACM SIGGRAPH 2022 Posters, SIGGRAPH’22, New York, NY, USA, 2022. Association for
Computing Machinery.
[15] Microsoft.
Microsoft
HoloLens—
Mixed Reality Technology for Business.
https://www.microsoft.com/en-us/hololens.
(Accessed on 09/06/2023).
[16] Microsoft. QR コード追跡の概要 - Mixed
Reality — Microsoft Learn.
https://learn.
microsoft.com/ja-jp/windows/mixedreality/develop/advanced-concepts/qr-codetracking-overviewdevice-support. (Accessed on
09/06/2023).
[17] D. Molero, S. Schez-Sobrino, D. VallejoFernandez, C. González-Morcillo, and J. Albusac. A novel approach to learning music andpiano based on mixed reality and gamiﬁcation.
Multimedia Tools and Applications, 80:165–186,
2020.

[20] R. Nith, S.-Y. Teng, P. Li, Y. Tao, and
P. Lopes. DextrEMS: Increasing Dexterity inElectrical Muscle Stimulation by Combining It
with Brakes. In The 34th Annual ACM Symposium on User Interface Software and Technology, UIST ’21, pp. 414–430, New York, NY,
USA, 2021. Association for Computing Machinery.
[21] M. Pfeiﬀer, T. Duente, and M. Rohs. Let
Your Body Move: A Prototyping Toolkit for
Wearable Force Feedback with Electrical Muscle
Stimulation. In Proceedings of the 18th International Conference on Human-Computer Interaction with Mobile Devices and Services, MobileHCI ’16, pp. 418–427, New York, NY, USA,2016. Association for Computing Machinery.
[22] Pygame.
pygame.org
news.
https://www.pygame.org/news.
(Accessed
on 09/06/2023).
[23] Sainitas. For regeneration and pain relief SEM
43 - Digital EMS/TENS — Sanitas Onlineshop.
https://sanitas-online.de/en/p/sem-43-digitalems-tens-1. (Accessed on 09/06/2023).
[24] N. Sakai, M. C. Liu, F.-C. Su, A. T. Bishop,
and K.-N. An. Motion Analysis of the Fingers
and Wrist of the Pianist. Medical Problems of
Performing Artists, 11(1):24–29, 1996.
[25] C.-H. Sun and P.-Y. Chiang. Mr. Piano: A
Portable Piano Tutoring System. In 2018 IEEEXXV International Conference on Electronics,
Electrical Engineering and Computing (INTERCON), pp. 1–4, 2018.
[26] A. Takahashi, J. Brooks, H. Kajimoto, and
P. Lopes. Increasing Electrical Muscle Stimulation’s Dexterity by Means of Back of the Hand
Actuation. In Proceedings of the 2021 CHI Conference on Human Factors in Computing Systems, CHI ’21, New York, NY, USA, 2021. Association for Computing Machinery.
[27] E. Tamaki, T. Miyaki, and J. Rekimoto. PossessedHand: Techniques for Controlling Human
Hands Using Electrical Muscles Stimuli. In Proceedings of the SIGCHI Conference on Human
Factors in Computing Systems, CHI ’11, pp.
543–552, New York, NY, USA, 2011. Association for Computing Machinery.
[28] 雅展 三浦. ピアノ演奏の初期教育における指の構
えに関する考察. 音楽音響研究会資料, 39(8):37–
42, 02 2021.