情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1P-77
2020/3/9

AR を用いたギター演奏学習支援システムの一提案
三浦駿†1,a安藤敏彦†1

概要：近年の AR 技術の発展を背景に，AR を技術習得に活用する試みが広がっている．本研究では楽器の演奏支援，特にギター演奏に焦点を当て，演奏者の指・手の様子を手鏡のメタファーで AR 表示することにより，演奏者から指・手が見えやすく，かつ演奏動作の自由度が高い，鏡型インタフェースによる演奏学習支援手法を提案する．また，これまでの演奏者が自身の演奏が正しいのかどうか判断できないという課題に対し，演奏が正しいのかどうかを判定し，判定した結果や具体的なアドバイスを演奏者へフィードバックすることで，演奏者が独りでギター演奏技術を習得するということができる支援システムを実現することを目標とする．

1. はじめに1.1 背景2. 既存研究
ギターの演奏学習支援に関する試みとして，元川ら[5]に近年，AR（Augmented Reality，拡張現実）技術が急速による研究がある．元川らは図 1 に示すように，ギター演奏発展を遂げている．International Data Corporation が 2019 年

者の対面に Web カメラを設置し，撮影する映像をリアルタ

11 月に発表した市場調査結果[1]によれば，2023 年までのイムに PC で処理，ディスプレイに表示している．ディスAR/VR（Virtual Reality，仮想現実）ハードウェア・ソフト

プレイには演奏者を鏡表示したものに，コード弾き（複数ウェアおよび関連サービスの年間平均市場成長率は 77.0%の弦を同時に押さえて和音を奏でる奏法）のお手本 3D モと言われている．このような AR の発展を背景に，AR を技デルを透過重畳表示している．鏡表示で実物のギターにお術習得に活用する試みが広がっている．藤塚ら[2]と古川ら手本が重畳表示されるため，演奏者は直感的にコード弾き[3]は習字における HMD（Head Mounted Display，頭部装着を習得することができる．

ディスプレイ）を利用した技術習得支援を，竹川ら[4]はピ

その一方で，演奏者とディスプレイの位置関係に制約がアノにおける演奏支援情報のプロジェクタ投影をそれぞれあるため演奏学習における自由度が低く，演奏者からの視行っており，視覚的に分かりやすく，効率的に技術を習得

点で自分の手元を見ながらの演奏がしづらいという欠点がすることができる支援システムをそれぞれ提案している．

ある．

1.2 概要本研究では楽器の演奏支援をテーマとして取り上げ，楽器としてギターに焦点を当てる．ピアノやトランペット，ドラムを例とした，操作する対象物や指・手が演奏者から見えやすい楽器は，前述のような直接的な支援情報の提示が可能である．これに対し，ギターのような指・手の位置が演奏者から見えにくい楽器は，支援方法に工夫が必要であると考えられる．そこで本研究では，演奏者の指・手の様子を手鏡のメタファーで AR 表示することにより，演奏図 1 元川らによる提案システムの模式図

者から指・手が見えやすく，かつ演奏動作の自由度が高い，鏡型インタフェースによる演奏学習支援手法を提案する．

これに対し著者ら[6]による先行研究では，図 2 に示すよ

また，技術習得を支援するシステムにおいては，ユーザ

うな HMD を用いた鏡型インタフェースによる演奏学習支の動作に対してフィードバックを行うことで反復学習に役援手法を提案している．図 2 左は演奏者が提案システムを立ててもらうということも必要な要件の一つとなる．そこ使用している様子で，図 2 右は演奏者が HMD を通して見で本研究では，演奏者の演奏に対し何らかの評価をし，演ることができる映像である．ディスプレイの代わりに HMD

奏におけるアドバイスを提示することで，演奏者が独りでを利用することで演奏者は手元を直接見ながら演奏できる

ギター演奏技術を習得することができる支援システムを実と同時に，演奏者とディスプレイの位置関係の制約を解消現することを目標とする．

している．

†1 仙台高等専門学校
a a1811525@sendai-nct.jp© 2020 Information Processing Society of Japan461

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

1P-77
2020/3/9

しかし，演奏学習支援情報を提示するだけにとどまっており，演奏者が自身の演奏が正しいのかどうか，正しくないのであればどう間違えているのかを判断できないという課題がある．

図 4 お手本のモデル例（A コード）図 2

三浦らによる提案システムの模式図

4.2 カメラ映像の鏡表示
演奏者がお手本のモデルと自身の指・手の様子を見なが

3. 提案

ら演奏学習をすることができるよう，手鏡のメタファーを本研究では，図 3 に示すような，マイクを利用し演奏者実現する．実現にあたっては，演奏者の対面にカメラを設の演奏をもとにフィードバック行う機能を有した鏡型イン置し，カメラから撮影する映像をリアルタイムに PC で処

タフェースによる演奏学習支援手法を提案する．先行研究

理，鏡表示したものを演奏者の HMD に表示する．この際，と同様に演奏者は HMD を装着し，HMD 上に映し出されるカメラで撮影する映像を単に反転表示するだけでは，支援演奏学習支援情報と自分の手元の両方を見ながら演奏をすに関係のない情報が多く映り込み，演奏者の手・指の表示ることができ，さらに，演奏に対するフィードバックをもが不鮮明になる可能性もあり有効ではない．そこで，ギタとに反復練習をすることができる．演奏者は自身の演奏がーの構造特徴に基づいた追跡を行い，ギターの指板上にお正しいのかどうか，正しくないのであればどう間違えていける演奏者の手をクリッピング表示するものとする．これるのかを確認し，それらを踏まえ繰り返し演奏学習をする

により，図 5 に示すように，無駄な情報を削除しつつ手鏡ことで，独学で演奏技術を習得することができる．のメタファーを実現する．

図 3 本提案システムの模式図

4. 設計
本提案システムを実現するにあたり，図 3 右に示す「お手本のモデル」と「カメラ映像の鏡表示」，そして，演奏に対する「フィードバック」の 3 つを設計および実装する．
4.1 お手本のモデル
従来のギター演奏学習と言えば，教則本や映像を見ながらの練習手法が主だったと考えるが，これらは共通してお手本が平面情報である．さらに言えば，弦上の押さえる位置を明示するだけものもあり，実際の手の形が分からない，頭の中で 3 次元に変換しながら演奏する必要があるなどの欠点がある．
そこで本研究では，HMD のユーザに視覚的に分かりやすく 3 次元情報を提示することができる利点を生かし，図4 に示すような，3 次元のお手本のモデルを表示し．弦上の押さえる位置を青丸で明示する．これにより，演奏者は頭の中でお手本を変換する必要がなく，直感的に分かりやすいお手本の情報の提示が可能となった．

© 2020 Information Processing Society of Japan

図 5 カメラ映像の鏡表示例
4.3 フィードバック
演奏者の演奏に対するフィードバックとして，演奏の正誤判定，判定結果と結果を踏まえた演奏上のアドバイスの提示を考える．
まず，演奏の正誤判定については，演奏した音をもとにした手法や，エレキギターから出る電気信号をもとにした手法などいくつか考えられる．本研究では，エレキギターやアコースティックギターなどのギターの種類よらないため汎用性が高く，ハードウェアに依存しないという理由から前者を採用する．具体的には，マイクから取得する演奏した音をリアルタイムにフーリエ変換し，ギターから出る周波数範囲でピーク値を探索，対応する周波数を演奏された音とする．また，本提案システムではお手本のモデルをこちらから提示するため演奏されるであろう音が予め分かっている．そこで，演奏された音と演奏されるであろう音の情報を比較することで演奏の正誤を判定する．

462

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

次に，判定結果と結果を踏まえた演奏上のアドバイスの提示については，演奏された音の描画とコメント表示によって行う．図 6，図 7 に示す通り，お手本のモデル上に演奏された音を赤楕円で明示し，お手本との差異から具体的なアドバイスを下部に表示している．お手本のモデルの通りに正しく演奏した場合（図 7）には，カメラ映像の鏡表示上に大きく丸印が描画される．
これらのフィードバックにより，演奏者は自身の演奏と

1P-77
2020/3/9[4]竹川佳成, 椿本弥生, 田柳恵美子, 平田圭二: “鍵盤上への演奏補助情報投影機能をもつピアノ学習支援システムにおける熟達化プロセスの調査,” IPSJ SIG Technical Report Vol.2013MUS-98 No.7, Vol.2013-EC-27 No.7, pp.1-8 (2013).
[5]元川洋一, 斎藤英雄: “ギター演奏支援のための構造特徴追跡を利用したマーカレス AR 表示,” TVRSJ Vol.13 No.2 pp.267-278(2008).
[6]三浦駿, 菅沼拓夫, 安藤敏彦: “AR を用いたギター演奏学習支援システムの設計,” 第 81 回情報処理学会全国大会, 2ZJ-08,pp.4-803-4-804 (2019).

お手本との差異を客観的に省みることができるようになり，表示されたアドバイスをもとに正しい演奏を目指して繰り返し演奏学習ができるようになる．

図 6 間違えて演奏した例

図 7 正しく演奏した例

5. おわりに
本稿では，AR を用いたギター演奏学習支援システムとして，マイクを利用し演奏者の演奏をもとにフィードバック行う機能を有した鏡型インタフェースを提案した．今後は，ユーザ評価実験で本提案システムの有用性について検証を行い，さらにコンテンツや支援手法に関して改良を行う予定である．

参考文献[1]International Data Corporation: “Worldwide Semiannual Augmentedand Virtual Reality Spending Guide 2019H1”, <https://www.idc.com/tracker/showproductinfo.jsp?prod_id=1381>(accessed 2019/12/10).
[2]藤塚哲也, 小林幸雄: “拡張現実を用いた毛筆学習支援システムに関する研究,” 電気情報通信学会総合大会講演論文集 2014
年 情報・システム(1), p.163 (2014).
[3]古川詩帆, 石川渓太, 内林俊洋, 阿部亨, 菅沼拓夫: "AR 技術を用いた技能習得支援に関する一考察,” 第 80 回情報処理学会
全国大会予稿集, 1ZE-08, pp.4-755-4-756 (2018).

© 2020 Information Processing Society of Japan463