WISS2012

学習の敷居の低さとシステムからの離脱の容易さを両立した
学習支援システムの実現に向けて
竹川佳成

寺田 努

塚本昌彦∗

概要. 近年，AR 技術・VR 技術・ロボット技術など科学技術の進展に伴い，テニス・ゴルフ・習字・楽器
演奏・歌唱などの身体動作のスキル（本研究では技能と呼ぶ）の習得を補助する学習支援システムが多数提案されている．これらのシステムは習得したい技能の模範や学習者の誤りを提示することで，難度の高い技
能を短時間で習得でき，学習効率の向上に寄与している．特に，動作直前あるいは動作中の模範の提示は，学習の敷居を下げ学習者に成功イメージを体験させられ，モチベーションの維持に重要である．しかし，システムをいつでもどこでも利用できるような状況ではないことがあるため，最終的にシステムの支援がな
くとも技能を使えるようになっている必要がある．過度な模範の提示は，システムへの依存を促し習熟の停滞をまねいてしまう．したがって，動作直前あるいは動作中に模範などを提示する学習支援システムは，未熟な学習者に対する支援方法の検討だけでなく，習熟が進んだ学習者のために補助情報からの離脱も検討する必要がある．既存の学習支援システムの多くは，システムからの離脱についてはほとんど考慮してこなかった．そこで，本研究では，学習の敷居の低さとシステムからの離脱の容易さを両立した学習支援シス
テムの構築をめざす．本論文では，既存の学習支援システムを分析し，離脱の方法や離脱の適用タイミングについて議論する．また，ピアノ演奏を対象に本論文で提唱している「システムからの離脱」というアプローチを実際に適用し，その有用性を検証した．

1

はじめに

近年，AR 技術・VR 技術・ロボット技術などの進展に伴い，テニス・ゴルフ・習字・楽器演奏・歌
唱・触診などの身体動作のスキル（本研究では技能と定義する）の習得を補助する学習支援システムが多数提案されている [1]-[12] ．技能の習得には，一連の動作の記憶や，効果的な身体の動かし方の分析といった頭で理解するだけでなく，正確に身体動作としてそれらを表現する必要があるため，多大な時
間と労力を要する．このために，多くの人は技能の習得に挫折してしまったり，ある程度技能を習得した段階で伸び悩んでしまう．
既存の学習支援システムは，例えば，「ラケットにワイヤを取り付け力覚によるテニススイングの教示[2]」や，「ピアノ学習において次に弾く鍵を視覚的に提示する [4]」「触診において患者の腹部をどれくらいの圧で押しているか圧力分布を視覚化する [8]」といったように，学習者に視覚・力覚・聴覚などを介して，動作直前に模範を提示したり，動作中の現状を提示したりする．学習者は，この支援を使いながら繰り返し訓練することで技能を習得していく．また，人は誤りを指摘されることで正しく理解する．
したがって，学習において誤りを指摘することは重要であり，学習者が行っている一連の行動をシステ
ムが認識および分析し，誤りの指摘，正解率や誤りの傾向の提示，誤りを克服するための課題の生成などをオンラインあるいはオフラインで提供するシス
テムもある [7]-[12]．このような，模範の提示，誤りの指摘，ペナルティの提供は，効率的な学習に大き∗Copyright is held by the author(s).
公立はこだて未来大学, 神戸大学大学院工学研究科/科学
技術振興機構さきがけ, 神戸大学大学院工学研究科

く貢献する．特に，動作直前や動作中の模範や現状の提示は，学習の敷居を下げモチベーションの維持に効果があり，学習の初期段階における挫折を防ぐ上で重要である．
しかし，システムをいつでもどこでも利用できるような状況ではなかったり，人前での披露などシス
テムを使わないことが望ましい状況があるため，最終的にシステムの支援がなくとも技能を使えるようになっている必要がある．システムの支援を使わずに技能を実施できるよう訓練する段階にありながらも，システムが補助情報を学習者に提示し続けると，学習者はシステムの支援に依存しがちになり，習熟が停滞してしまうおそれがある [8]．したがって，動作直前あるいは動作中に模範などを提示する学習支援システムは，未熟な学習者に対する提示方法の検討だけでなく，習熟が進んだ学習者のために補助情報からの離脱も考慮する必要がある．模範や現状を提示する機能をもつ既存の学習支援システムの多く
は，システムによる支援に注力しており離脱についてはほとんど考慮してこなかった．
そこで，本研究では，学習の敷居の低さとシステ
ムからの離脱の容易さを両立した学習支援システムの構築をめざす．
本論文では，既存の学習支援システムを分析し，離脱の方法や離脱の適用タイミングについて議論する．また，ピアノ演奏を対象に本論文で提唱している「システムからの離脱」というアプローチを実際に適用し，その有用性を検証した．

2

関連研究

技能習得を目的とした既存の学習支援システムは「誤りをさせないシステム」「模範や現状を提示し，

WISS 2012

誤りを指摘するシステム」「誤りのみ指摘するシステム」の 3 種類に大きく分類される．以下，それぞれについて説明する．
誤りをさせないシステム ピアノ演奏 [1] や，テニスのスイング [2]，習字 [3] などを対象に，ワイヤによる張力や電磁石による磁力など力覚提示を利用することで，学習者に常に正しい動作しかさせない学
習支援システムがある．学習者は正しい動作を何度も繰り返すことで動作を習得できる．また，システ
ムの指示に従って動けば良いため，学習の敷居は低い．しかし，漫然とシステムの指示に従い身体を動かしているだけでは，システムの補助を使わずに正しく技能を実施できるようになるには時間がかかる[13]．したがって，システムの支援なしで技能を実施することを目的とするのであれば，システム支援からの離脱についても検討する必要がある．これらの研究はシステムによる補助は検討しているが，システムからの離脱については検討していない．一方，
本研究では，システムの補助とシステムからの離脱の両方を検討している点で異なる．
模範や現状を提示し，誤りを指摘するシステム 歌
唱・習字・楽器演奏・触診などさまざまな分野を対象に，「模範や現状の提示」と「誤りの指摘」の両方を行う学習支援システムが提案されている．例えば，演奏初期段階 (ピアノ初心者が初見の楽曲に対して
運指や打鍵位置を覚えるために練習している段階)において，次に打鍵すべき鍵など演奏支援情報を光で指示する光る鍵盤 [4] やソフトウェアが楽器メー
カからいくつか販売されている．また，我々の研究グループは，鍵盤の上に設置したプロジェクタから，
打鍵位置・運指・リズム・楽譜などを鍵盤やその周囲に提示する学習支援システムを提案してきた [5, 6]．
これらは，模範を動作前に提示することで学習の敷居を下げると同時に，誤った動作を行った場合，正しい打鍵位置と現在押している打鍵位置を視覚的に強調して誤りに気づかせたり，次の模範を提示せず誤った箇所を学習者に再度実施させるといったペナ
ルティを与えることで，学習者が正しく動作を理解できるような機能をもつ．
また，システムが明示的に誤りを指摘することはないが，現状を提示することで学習者に誤りを自発的に気づかせるシステムもある．歌唱の学習支援である MiruSinger[7] は，学習者が現在歌っている音
高と正解音高をディスプレイにそれぞれリアルタイ
ムに提示することで，学習者が自発的に誤りに気付
きピッチを修正できるようにしている．看護師のための触診学習支援として，患者の腹部など身体の部位にどれだけの圧力をかけて触診しているかを可視化したり，熟練者の圧力分布の模範を提示するシス
テム [8] もある．
学習初期段階において，模範や現状の情報を活用しながら正しい動作を理解することは，モチベーションの維持や習熟の向上に効果的である．しかし，学習が進み，この状況で誤りをほとんどしなくなった
段階においては，システムが提示する情報を漫然とおいかけるようになり習熟が停滞してしまうと同時に，システムの支援なしでは技能の動作を再現できない．したがって，模範や現状の提示を適切なタイ
ミングで使わないようにする仕組みが求められる．
誤りのみ指摘するシステム このシステムの具体例として，蓄積した行動履歴から苦手な箇所を見つ
けて集中的にトレーニングするシステム [9, 10] や，行動を自動的に評価しアドバイス文や誤りを視覚的に提示するシステム [11] がある．また，動作直後にインタラクティブに誤りの指摘を行う事例として Thermoscore[12] がある．Thermoscore は，学習者が間違った鍵を打鍵した場合，鍵盤上にあるペルチェ素子を熱くし，学習者に誤りを身をもって気づかせる．
この種のシステムは誤りのみ指摘するため，他のアプローチと比べて学習者はシステム支援から容易に離脱できる．システムによる支援を使いながら訓練しミスせず動作を行えるようになれば，システム支援の有無にかかわらず学習者は技能を実施できる．
したがって，システムからの離脱を考慮する必要はないが，動作前あるいは動作中における補助情報がないため学習の敷居は高い．

3

システムからの離脱

冒頭で述べたように，難度の高い技能の習得において，システムによる模範や現状の提示により成功
イメージを体験させることは，学習効率の向上だけでなく，学習の敷居を下げ学習のモチベーションの維持に重要である．一方，システムの支援はいつでもどこでも利用できるわけではないため，システム
支援がなくとも技能を使えるようになっておく必要がある．過度な模範や現状の提示は，システムへの依存を促し習熟の停滞をまねいてしまうが，未熟な状態で模範の提示を外してしまうと学習効率やモチベーションの低下をまねいてしまう．したがって，離脱方法やそのタイミングについて検討する必要がある．
システムからの離脱方法として以下の 2 つが考えられる．
模範や現状の提示を軽減する 習熟状況に応じて，模範や現状の提示度合いを変更する方法がある．これは，J. Lave が提唱した伝統的徒弟制 (弟子が師
匠の技を繰り返し観察し，次に師匠のガイドを受けながら実践し，そして，師匠からの支援が徐々に減ることで技を習得していく学習理論)[14] という学習理論を応用した手法である．この学習理論をシステムに適用することで，例えば，ピアノ演奏における打鍵位置の習得で，光るピアノを用いて次に弾く
鍵が提示されている場合，鍵盤を見ずに弾けるようになった箇所から次に弾く鍵を提示しないことにより，システムからの離脱を支援できる．他の例として，習字の訓練において，ディスプレイに表示された手本を見ながら訓練している場合，熟達度に応じて部分的に手本を提示しないといった離脱方法が考えられる．

学習の敷居の低さとシステムからの離脱の容易さを両立した学習支援システムの実現に向けて習字で数文字を訓練している場合など作業の行程が少ない場合，学習者自身で不要な情報を手動で取捨選択できるが，ピアノの訓練のように数十個におよぶ音符に対し個別に学習者に選定を求めることは学習者にとって煩雑な作業で負担となってしまう．
この場合，動作履歴の解析によりどの情報をどの程度まで提示するかをシステムが判断する機能が求められる．
模範や現状の提示情報を使わないように促す こ
れは，システムが提供する模範や現状の提示情報を使わないように学習者を誘導する方法である．例えば，補助情報を使わずに動作を正しく実施できれば習熟度合いを示す得点が加算されるといったことで実現できる．具体的には，光る鍵盤で打鍵位置を訓練している場合，打鍵位置情報を見ないで弾ければ得点が加算される．これにより，学習者はシステムの支援を使わない動機付けとなると同時に，打鍵位置情報を必要とした箇所としなかった箇所が視覚的にわかれば自身の弱点の発見にもつながる．また，システム補助を使っているときにペナルティを与えることによって，システム補助の利用を抑制できる．
例えば，「点数が大きく下がる」「電気ショックや鍵盤から針が出てくるなど身体に痛みを与える」「反復回数が増える」「親に通知される」などが考えられる．
これは，学習者自身が提示情報を使うかどうかを判断するため，システム側で提示情報を提示するかどうか判断する必要がない．しかし，提示情報を見たくなくても目に入ってしまうなど，学習方法によってはうまく適用できない場合がある．また，学習者のある動作に対して，システムが提供する情報を利用したかどうかを判別する機能がシステムに求められる．さらに，ペナルティの提供は，緊張感をもって訓練にのぞめるが，身体的あるいは精神的な苦痛
は特に子供にとって練習するモチベーションを下げる要因ともなり得るためペナルティの質や量は慎重に検討すべきである．

4

ピアノ演奏への適用

本論文で提唱している「システム支援からの離脱」
を組み込んだピアノ演奏学習支援システムを構築する．ここではピアノ初心者を対象としており，五線譜やシステムが生成する補助情報を活用しながら学習者はある楽曲を一から訓練し，できるだけ速く打鍵位置を学習し，最終的にシステムの補助なしで正確に打鍵位置を捉えながら演奏できるようになることをめざす．この要求を満たすシステムの要件として以下があげられる．

終的に目標とする楽曲を演奏できるようになるまでに時間がかかっていた．また，筆者らの研究グルー
プは，これまでにピアノ初心者のための学習支援シ
ステムを構築しており，評価実験の結果より，光る
鍵盤のように次の打鍵位置を鍵盤上に提示すること
は，演奏の敷居を下げ，打鍵位置を理解する効果的な方法であることが証明されている．したがって，本システムにおいても光る鍵盤のような打鍵位置の提示を採用する．
鍵盤上に提示された打鍵位置情報からの離脱 読
譜力 (五線譜に記載された音符の意味や，その音符に対応する鍵を判別できる能力) が十分にない場合，
鍵盤上の情報提示は打鍵位置を把握するために有効な手段であるが，この情報に依存し過ぎて，次に提示される打鍵位置情報を漫然と追いかける傾向に陥りやすい．また，この落とし穴に気づき，手元の情報をできるだけ見ないように訓練する学習者もいる
が，楽曲中には難易度の異なる箇所が散在し，しかも，訓練中は正しい打鍵や運指，読譜に集中しなけ
ればならないため，どの音符に対して情報を必要としていたかを把握することは難しく，手間がかかる．
そこで，本研究では学習者の視線を取得し，視線情報からある打鍵において，鍵盤あるいは楽譜のどちらを見ていたか認識する機能を提案する．この認識結果を図 1 のように楽譜上に提示することにより，学習者はどの音符で打鍵位置情報を必要としたか直観的に認識できる．このようにすることで，鍵盤上に提示された打鍵位置情報からの離脱に対する学習者のモチベーションが向上すると同時に，学習者に楽譜を見るように促しているため読譜力の向上にも役立つ．この手法は，3 章で述べた「模範や現状の提示情報を使わないように促す」アプローチに相当する．例えば，演奏履歴や視線情報から打鍵位置情報を提示するかどうか判定し，判定結果にもとづき動的に提示情報を変更するといった「模範や現状の提示を軽減する」アプローチも考えられるが，ピアノ演奏では読譜力を向上させることも重要であり，提案手法は，打鍵位置情報からの離脱と読譜力の向上の両方を獲得できるため採用した．

4.1

システム構成提案する学習支援システムのシステム構成を図 2に示す．演奏者の前方に設置したカメラを用いて視線を認識し，鍵盤上部に設置したプロジェクタを用いて鍵盤上に演奏支援情報や演奏者の前方に楽譜を提示する．プロジェクタを利用することで鍵盤上や鍵盤付近に演奏支援情報を投影できる．システムは，
MIDI 情報 (打鍵位置や打鍵強度) を入力とする．

4.2
鍵盤上への打鍵位置情報の提示 演奏者は演奏したい楽曲があった場合，とにかくその楽曲を弾けるよ
うになりたいという思いが強い．しかし，ピアノ初心者は，楽譜の音符と，その音符に該当する鍵盤の対応付けをとることが困難であるため，五線譜とピアノしか利用しない旧来のピアノ学習方法では，学習者はまず譜読みの勉強から開始する必要があり最提示コンテンツ
図 1 を用いてシステムが提案するコンテンツについて説明する．図中の番号は，以下の括弧内の番号に対応している．

1. 既存の紙媒体の楽譜と同様の楽譜 (1) を提示する．

2. 現在の演奏位置 (2) を提示する．これにより，WISS 2012
拡大図
②現在の演奏位置④鍵盤目視ボール

楽譜を見ているとき①楽譜③次に打鍵する鍵鍵盤を見ているとき

図 1. 提示コンテンツ
図 3. 視線認識用カメラの装着
プロジェクタ

映像信号

視線認識
映像生成用PC

実装

5

カメラ映像
視線認識用
カメラ

MIDI情報MIDI鍵盤

図 2. システム構成

学習者は現在どこを演奏しているか直観的に理解できる．また，正しい鍵を弾いたときのみ演奏位置は進むようになる．

3. 鍵盤上には，光る鍵盤と同様，次に演奏する
鍵上を赤枠 (3) で提示する．
4. 各音符の上に鍵盤を見ずに弾けたかどうかを意味する鍵盤目視ボール (4) を提示する．図1 に示すようにある瞬間において同時に弾くべき音に対して，1 つの鍵盤目視ボールが対応づけられている．鍵盤目視ボールの初期カ
ラーは赤色で，鍵盤を見ずに弾けた場合，信号機のように，1 回目は黄色，2 回連続でできた場合は青色，3 回連続でできた場合は透明に変化する．一度でも鍵盤を見れば玉の色は赤色に戻ってしまう．また，たとえ鍵盤を見ずに弾いたとしても打鍵ミスをすれば玉の色が赤色に変わる．これにより，学習者は楽譜
上のどの音符で鍵盤や鍵盤上に提示される情報に頼っているかがわかる．本研究ではこれを視線チェック機能と呼ぶ．このように，打鍵位置情報を見ないように促すことで打鍵位置情報からの離脱を支援する．

5. 上記で述べた各種機能の On/Oﬀ を切り替えるアイコンを，演奏で使用しない鍵の鍵盤上に用意し，ユーザが選択的に利用できるようにする．

4 章で述べた学習支援システムのプロトタイプを実装した．PC は SONY 社の VPCSA を使用した．
また，MIDI 鍵盤として CASIO 社の PriviA PX110 を使用し，視線認識用カメラとして Buﬀallo 社の BBT-WC01/SV を使用した．図 3 に示すように，目の前にカメラを設置し，あらかじめ楽譜を見ている場合と鍵盤を見ている場合における目の画像を取得し，テンプレートマッチング法により楽譜か鍵盤のどちらを見ているか認識する．プロトタイプの視線認識器は，2 種類のテンプレート画像から入力画像を識別するためリアルタイムに確実に鍵盤か楽譜のどちらを見ているか判別できるが，例えば，鍵盤上にあるどちらの手を見ているか，楽譜上のどの音符を見ているかといった細かな認識はできない．な
お，目の前にあるカメラは演奏を妨げない．
プロジェクタとして BenQ 社の MP776 ST を使用した．プロジェクタの鍵盤投影領域は 6 オクターブ (72 鍵) で，プロジェクタの映像がよく見えるように黒鍵を白く塗りスクリーンとして鍵盤上部に白いプラスチックの板を設置した．PC 上のソフトウェアの開発は，Windows 7 上で Microsoft 社の VisualC++ 2010 と Intel 社の OpenCV ライブラリを用いて行った．

評価実験

6

評価実験では，視線チェック機能の有用性を検証するために演奏初期段階 (ピアノ初心者が初見の楽曲に対して運指や打鍵位置を覚えるために練習している段階) における提案システムを用いた際のピアノ演奏に関する習熟の速さを評価した．

6.1

実験の手順
実験の手順を以下に示す．

比較対象 評価実験では，視線チェック機能を適用した場合と適用していない場合についてそれぞれ比較した．両手法において視線チェック機能の有無以
外は 4 章で説明したコンテンツを全て提示した．
被験者 手法ごとにそれぞれ 3 名ずつ実験してもらった．また，一度実験に参加した被験者は他の比学習の敷居の低さとシステムからの離脱の容易さを両立した学習支援システムの実現に向けて

表 1. 本番演奏の各回における打鍵ミス数

被験者
視線
チェック
なし
視線
チェック
あり

A
B
C
D
E
F

1
40
35
35
48
48
36

2
31
31
32
39
37
28

3
19
34
27
22
22
15

表 2. 訓練終了後の鍵盤目視ボール数

4
11
29
20
10
13
7

5
13
27
15
3
7
0

較対象の実験には参加せず，実験は全て異なる被験者により実施された．被験者は五線譜がほとんど読めない鍵盤経験歴のない大学院生および大学生である．なお，各被験者にはあらかじめ楽譜上に書かれている音符の意味や，各種機能の使い方を説明した．
課題曲 W. A. Mozart のトルコ行進曲を，最初から 9 小節目まで両手で演奏してもらった．
実験方法 実験では，「6 分間の訓練後，本番として通し演奏（最初から最後まで一通り演奏すること）を行う」という試行を 5 回繰り返し，通し演奏ごとに打鍵ミス数を計測した．通し演奏時は，両手法において前面にある楽譜のみ（現在の演奏位置も提示
しない）提示した．また，誤打鍵 (間違えて打鍵した場合)，未打鍵 (打鍵しない場合)，余打鍵 (余分に打鍵した場合) を打鍵ミスとみなした．
被験者への指示 6 分間の訓練では「自由に練習してもらって良い」と指示し，手法ごとに割り当てた演奏モードの機能を使って自由に訓練してもらった．
なお，いずれの手法においても，難しすぎて練習を放棄した被験者はいなかった．

6.2

実験結果と考察
試行ごとの各被験者の打鍵ミス数を表 1 に示す．
視線チェック機能を使った被験者は視線チェック機能を使っていない被験者よりミス数が減少した．5 回目の通し演奏においては，視線チェック機能を使った被験者 F は一度も打鍵ミスすることなく演奏でき，「視線チェック機能を利用した被験者の打鍵ミス数の平均」と「視線チェック機能を利用しなかった被験者の打鍵ミス数の平均」では 10%の有意傾向 (p 値=0.057) が観測された．
視線チェック機能がない被験者は，異なる行動パ
ターンが観測された一方，視線チェック機能をもつ
被験者は同じ行動パターンが観測された．以下，被験者ごとに考察する．なお，以下に示す被験者の行動は実験者が観察したもので，実験終了後に被験者に確認している．
被験者 A 被験者 A は，1 回目や 2 回目で楽譜や鍵盤を交互に見ながら訓練し，3 回目や 4 回目は鍵盤上の提示情報を中心に見ながら訓練し，5 回目は鍵盤上の提示情報を使わずに，鍵盤を見ながら訓練していた．また，楽譜に記載された音符と鍵の対応関係を憶えるといった楽譜の学習はせず，打鍵位置

被験者

D

E

F

ボールの色
赤
黄
青
無
赤
黄
青
無
赤
黄
青
無

1
35
10
2
0
44
3
0
0
35
4
6
2

2
18
16
13
0
36
7
4
0
31
10
4
2

3
16
14
13
4
27
5
2
13
20
7
7
13

4
12
4
25
6
16
7
0
24
13
8
0
26

5
8
6
3
30
1
1
0
45
2
2
0
43

の記憶に専念していた．本番を想定して提示情報を無視して訓練する様子が見られたが，誤ったパター
ンを記憶してしまった箇所や，完全に記憶できていない箇所があり，最終的にミスが残ったままであった．1 回目や 2 回目の訓練では，右手と左手の打鍵
タイミングを把握するために楽譜を見ていた．
被験者 B 被験者 B は，1 回目から 5 回目の訓練において終始鍵盤を見ながら訓練していた．被験者
A と同様，打鍵位置の記憶に専念していた．5 回目の本番において，打鍵位置がわからなくなった場合，楽譜から現在の演奏位置を読み取れず復帰が難しく
未打鍵や誤打鍵が頻繁に生じた．
被験者 C 被験者 C は，1 回目から 3 回目の訓練
中は楽譜や鍵盤を交互に見ながら訓練しており，4回目および 5 回目は楽譜を見ながら訓練していた．
被験者 A や被験者 B と異なり楽譜ベースの訓練をしており，本番で打鍵位置がわからなくなった場合，一部の音符については楽譜から打鍵位置を推測する
ことが 4 回目や 5 回目の本番ではできるようになっていた．しかし，誤ったパターンを記憶してしいる箇所がありミス数が増加した．
視線チェック機能を使った被験者 表 2 に，各訓練を終えたときにおける鍵盤目視ボールの数を示す．
視線チェック機能を使った被験者は，表 2 の結果に示すように，1 回目や 2 回目の訓練中は鍵盤と楽譜を交互に見ていたため，大部分の鍵盤目視ボールは赤色のままである．しかし，1 回目の訓練の終盤では，片手演奏かつ直前に弾いた箇所とほぼ同じ高さの鍵である箇所について，手元の鍵盤を見ずに演奏できるようになっていた．訓練が進むにつれ着実に鍵盤を見ないで弾ける音符の数が増え，4 回目や 5
回目の訓練中は楽譜を中心に見ており，青色や無色になっている鍵盤目視ボールが多く観測された．赤色の鍵盤目視ボールの数が減るほど，打鍵ミスも減少する傾向が見られ，最終的に 5 回目の訓練の終盤
では，鍵盤を見なければならない音符は 10 個以下になっていた．
楽譜を見ながら訓練していたため，4 回目や 5 回WISS 2012

目の本番では，打鍵位置がわからなくなった場合，楽譜から現在の演奏位置を読み取り，打鍵位置を推測することができるようになっていた．これにより譜読みの能力も向上したと思われる．
「視線チェック
機能により楽譜を見るモチベーションがあがる」という意見が 2 名の被験者より得られた．また，全被験者は鍵盤目視ボールから弱点を理解し集中的に訓練する様子が観測された．同時に，この集中訓練によりミスが着実にクリアされていた．
一部の被験者から，「例えば，両手で演奏している
ときに左手だけ鍵盤を見ている場合，見ていなかった右手の音符は鍵盤目視ボールの色が変化するようにしてほしい」といったより細やかな視線チェック機能の要求がコメントとしてよせられた．現時点では，実装上の理由から鍵盤のどの辺りを見ているか認識できないが，鍵や楽譜上の音符単位で視線認識できれば，詳細な理解度判定を提供でき，学習にも効果があると見られる．これらについては今後の課
題である．

7

まとめ

本研究では，学習の敷居の低さとシステムからの離脱の容易さを両立した学習支援システムの実現をめざし，その第一段階としてピアノ演奏の学習支援を対象に，学習者の視線情報を活用することで，打鍵位置情報からの自然な離脱を促すピアノ学習支援システムを構築した．初心者が光る鍵盤のような鍵盤上に情報を提示する環境で訓練することを想定し，学習者の視線を認識し鍵盤を見ずに弾けたときには，該当する音符にアノテーションを付加することで，学習者は提示情報を必要としている箇所を直観的に理解できる．評価実験より視線チェック機能を利用した被験者は，利用していない被験者と比べて，打鍵ミスが減少し，30 分の訓練でほとんど打鍵ミスな
く弾けるようになり，正確な鍵の打鍵において効果的な学習ができていることが確認できた．
本手法は学習者に提示情報を使っているかどうかを提示することで，学習者に支援からの離脱を促した．これは，習字やテニスなどにおいてディスプレイに提示された模範と，自身の現状を交互に比較しながら学習する場合，同様の手法で，支援情報からの離脱を促せる．一方，筆の筆圧を音の提示により適切な筆圧かどうかを確認したり，テニスの素振りをワイヤによって誘導することで正しいフォームを覚えるといった聴覚や力覚による支援は，提示情報を視覚のように無視できないため，提示情報を削減
する離脱方法が適していると思われる．今後は，他の技能を対象とした学習支援に対して離脱方法を適用したり，技能のように身体動作の訓練以外に，手話や英会話の聴き取りといった視覚的な判別能力や聴き取り能力を訓練する必要のある学習に対して提案する離脱方法を検討し，理論としての体系化に取り組んでいきたい．

参考文献[1] C. Lewiston: MaGKeyS: A haptic guidance keyboard system for facilitating sensorimotor train-

ing and rehabilitation, PhD Thesis. MIT Media
Laboratory, 2008.
[2] S. Kawamura, M. Ida, T. Wada, and J. Wu: Development of A Virtual Sports Machine Usinga Wire Drive System-A Trial of Virtual Tennis,
Proceedings of IEEE/SRJ International Conference on Intelligent Robots and Systems, pp.111–
116, 1995.
[3] K. Henmi and T. Yoshikawa: Virtual Lesson and
Its Application to Virtual Calligraphy System,
Proceedings of IEEE International Conferenceon Robotics and Automation, pp. 1275–1280,
1998.
[4] CASIO：光ナビゲーションキーボード：
http://casio.jp/emi/key lighting/.
[5] 竹川佳成, 寺田 努, 塚本昌彦: 運指認識技術を活用したピアノ演奏学習支援システムの構築, 情報処
理学会論文誌, Vol. 52, No. 2, pp. 917–927, 2011.
[6] 竹川佳成, 寺田 努, 塚本昌彦: リズム学習を考慮したピアノ演奏学習支援システムの構築, 情報処
理学会インタラクション 2012, pp. 73–80, 2012.
[7] T. Nakano, M. Goto, and Y. Hiraga:
MiruSinger: A Singing Skill Visualization Interface Using Real-Time Feedback and Music CD
Recordings as Referential Data, Proceedings ofIEEE International Symposium on Multimedia
Workshops, pp. 75–76, 2007.
[8] 細澤あゆみ, 渋沢良太, 山本洸希, 湯瀬裕昭, 青山知靖, 鈴木直義: 臨床看護師のフィジカルアセ
スメント動作学習支援システムの開発：これまでの成果と今後の展望, 情報処理学会研究会報告(Vol.2009-CE-99 No.7), Vol. 2009, No. 7, pp. 1–
7, 2009.
[9] M. Mukai, N. Emura, M. MIURA, and M.
Yanagida: Generation of Suitable Phrases for
Basic Training to Overcome Weak Points in
Playing the Piano, Proceedings of International
Congress on Acoustics, MUS-07-018, 2007.
[10] T. Kitamura and M. Miura: Constructing a
Support System for Self-learning Playing the Piano at the Beginning Stage, Proceedings of International Conference on Music Perception andCognition, pp. 258–262, 2006.
[11] 森田慎也, 江村伯夫, 三浦雅展, 秋永晴子: 柳田益造：演奏特徴の強調およびアドバイス文呈示によるピアノ基礎演奏の独習支援, 日本音響学会平成20 年度秋季研究発表会, pp. 933–934, 2008.
[12] H. Miyashita, K. Nishimoto: Thermoscore: A
New-type Score with Temperature Sensation,
Proceedings of International Conference on New
Interface for Musical Expression, pp. 104–107,
2004.
[13] J.A. Adams: A Closed Loop Theory of Motor
Learning, Journal of Motor Behavior, pp. 111150, 1971.
[14] J. Lave: The Culture of Acquisition and thePractice of Understanding, Cambridge University Press, pp. 309–327, 1988.