人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-07

クラシックギターの指導現場における知識の体系化とその実現に向けた検討
A Study of Classical Guitar Lessonsfor Knowledge Systematization
三浦寛也 1 * 飯野なみ 1,2

Hiroya Miura1
11

理化学研究所革新知能統合研究センター

RIKEN Center for Advanced Intelligence Project22

Nami Iino1,2

産業技術総合研究所

National Institute of Advanced Industrial Science and Technology

Abstract: This paper presents the features of the one-on-one classical guitar lessons of a particular pair.
The aim of our research are clarify the patterns of interactions between speeches and performances andvisualize the change of student’s performances. In this study, we report the results of the acoustic analysisof the audio data and the conversation analysis of actual contents of speeches.
その過程から，学習者や指導者の思考を知ることは不可

1欠である．このような個別の事象を扱う研究では，ボトはじめにムアップ的に複数の事象の中から，共通となる特徴を発本研究の目的は，演奏指導現場における音声データを見していくことが期待できる．そこで本稿では，先述し用いた知識構造化データの獲得と楽譜へのアノテーショた目標達成のための第一歩として，特定のペアにおけるンに基づく知識発見を支援するシステムの開発である．

クラシックギターレッスンの複数回にわたる音声デー

近年，音楽教育の場において，より細かな指導が重視さタを対象に，教授学習場面での発話と演奏のインタラクれる個人レッスンの需要が高まっている．当該場面におションのパターンや，実際の発話内容に着目した分析をいては，演奏に加え議論を交わすことがあるため，演奏進め，指導内容の変遷やその特徴，そして協働的な演奏練習の音声を収録することが多く，記録したデータを有構築過程がいかに行われるのかを明らかにする．

効活用するためには，練習時の発話や演奏状況の効果的楽器指導に関する先行研究はこれまで教育工学や芸術な記述が必要となる．このような背景から，筆者らは，学の観点から述べられることが多かったが，近年では，これまで楽器演奏における教授学習場面を対象とした，コンピュータを用いた演奏練習の支援が数多く行われてより持続的に知識を蓄積し獲得していくためのナレッジ

きている [坂本 15] ．具体的な事例として，遠隔隔で同期マネジメントの基盤構築のための研究を進めてきた．具式のアンサンブル練習を行うためのプロトタイプツール

体的な取り組みとして，これまでおよそ 5 年に渡り，個キット [Akoumianakis 08] や，音楽初心者向けのリアル人レッスンに着目してクラシックギターの個人レッス

タイムな音楽コラボレーションシステム [Gurevich 06]

ン内で起こる演奏や発話などの音声データを収録してなどが開発されてきた．また，音楽理解や音楽学に関すいる．

る支援のための研究では，演奏を録音し音程の情報を多楽器演奏の個人レッスンには，極めて個人差が大きい角的に表示することでピッチの揺れやずれを指摘する内容を孕んでいる. しかし共通して生徒の上達支援と指システム [Lim 09] や，オーケストラスコアの理解を支導の質的向上を目的としている．積み上げられていった援するシステム [松原 12]，共同演奏における演奏者間のコミュニケーションモデルを調査により構築した研究 [Kawase 07] などがある．しかしこれらの研究の多く* 連絡先：理化学研究所 革新知能統合研究センター, 〒103-0027

東京都中央区日本橋１丁目４−１ 日本橋一丁目三井ビルディン
グ 15 階, E-mail: hiroya.miura@riken.jp

は，大型ディスプレイや専用アプリケーションなどの環ー 35 ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-07

境に関する制約が多く，実際の指導現場を科学的な観点から分析・支援する研究はあまりない．

2

本研究の最終目標
本研究の最終目標として，演奏指導現場におけるマルチメディア情報を用いた情報構造化と楽譜へのアノテーションによる，再利用可能な知識の抽出を実現するシステムの開発を実現する．この目標を達成するためには，楽器演奏の指導現場で記録された発話や演奏状況を効果的に記述するための枠組みを提案し，以下の機能を包含するようなシステムの開発が求められる；レッスン中に図1

本研究で開発するシステムの想定図記録された発話を抽出し譜面上に表示する機能，各発話と楽曲との対応関係を特定する機能，タブレット端末等で撮影した写真や動画を読み込み，楽譜上の適切な箇所に関連付ける機能，発話情報とオントロジーとの関連付けをおこなう機能 (図 1)．
目標達成のための具体的なアプローチとして，指導者と学習者の発話内容やそタイミング，演奏音と発話との前後関係から，演奏指導に起こる発話がどの演奏音に対するものかを自動推定することで，構造化された知識データを生成し，そこから再利用可能な知識の体系化を目指す．また，レッスンで起こる発話には，同一あるいは類似テーマという関係付けを同定し，類似性計算やアノテーションの付与によって，レッスン集合を構造的に表現することができると考えている．本研究では，その初期検討として，主に音声区間分析および発話分析について取り組み，そこで得られた成果や知見をもとにシステムの構築を目指す．

3

指導現場では，指導者と学習者のためにギターが 2 台必要となる．2 つの楽器音の違いとして，楽器の音響的な特徴や演奏者の弾き方などが複雑に混ざっている．次に発話に関して，個人の特徴があるが，声道長や声帯などの先天的な発声器官の個人差によるものと，アクセン
トなどの後天的な話し方のくせによるものとが相互にからみ合っている．上述以外の音声として，メトロノームや環境音などがノイズの一例である．また，クラシック
ギターには非常に多くの演奏法があり，中でも効果音奏法*1 は，楽器の胴体をタップしたり弦を引っ掻いたりするため，通常のクラシックギター音とは区別されたり雑音として扱われることが予想される．このような多種多様な音声が混在するデータから，音声情報と演奏区間の同定によって指導者と学習者の演奏活動を正確に記述することで，より効果的なレッスン指導への応用や，指導者と学習者の演奏構築過程の解明に寄与できる.

教授学習場面の音声区間分析
本節では，レッスン中に起こる事象を正確に記述す3.1

対象データるための方法として，音声データの分析からレッス

本研究で対象とするレッスン形態は，クラシックギン中に発せられる音声情報の同定とその区間検出をターのマンツーマンレッスンである．指導者はプロの演実施した．一般に，演奏指導を実施する際に考慮する奏家として活動している成人女性であり，国内トップレ必要がある主要素は，演奏音と発話である．これらをベルのギターコンクールを複数優勝した経験を持つ．指統合的に組み合わせることによって，演奏者は独自

導歴は 7 年で大学生から高齢者まで幅広い年齢層の指の演奏表現を構築する．楽器演奏における教授学習導にあたっている．学習者はアマチュアの成人男性であの相互行為を記述した研究では，指導者と学習者両り，コンサートやアマチュア向けのギターコンクールの者の発話と演奏音に着目した分析が主流となってい出場に向けて積極的に取り組んでいる．このペアの受講る [Paul 94, Suchman 87, Sudnow 78]．これらの先行研

歴は 5 年と比較的長く，良好な関係が構築されている．

究に倣い，本研究で対象とする音声データは，演奏音(music), 発話 (speech), ノイズ (noise)，無音 (noEnergy)の 4 つの要素に着目した分析をおこなった．

音声データは，学習者が個人の録音機材 TASCAM

まず，演奏音に関して，一般的にクラシックギターの*1 ギ タ ー 奏 法 オ ン ト ロ ジ ー [Iino 19] で 定 義 さ れ て い る ，効果音を出すことを目的とした演奏法.https://github.com/guitar-san/Guitar-Rendition-Ontology

ー 36 ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-07

表1ID
01
02
03
04
05
06
07
08
09
10
11
12

楽曲 / 作曲者

El Testament d’Amelia/ F. Tarrega
Introduction and Variations
on a Theme by Mozart/ F. Sor
Olite
from Castillos de Espana/ F. M. Torroba

対象データと音声区間分析結果の一覧

日付時間

演奏 (music)

発話 (speech)

ノイズ (noise)

無音 (noEnergy)

2018/07/19
2018/07/26
2018/08/03
2018/08/09
2018/07/26
2018/08/03
2018/08/09
2018/10/04
2019/01/17
2019/02/15
2019/03/08
2019/05/30

22:02
18:42
25:20
28:56
14:06
18:25
25:16
15:13
24:48
28:10
21:23
31:15

55.9%
62.7%
91.6%
84.0%
77.7%
94.0%
79.5%
78.0%
86.3%
87.5%
93.9%
95.8%
82.2%

29.5%
27.0%
6.1%
12.0%
17.2%
2.1%
15.3%
17.5%
5.7%
10.0%
2.3%
1.8%
12.2%

12.9%
2.7%
1.5%
1.3%
0.5%
1.1%
0.9%
2.1%
8.0%
0.4%
0.7%
2.2%
2.9%

1.7%
7.5%
0.8%
2.7%
4.6%
2.8%
4.3%
2.3%
0.0%
2.1%
3.1%
0.1%
2.7%

平均

DR-05 を用いて約 1 年間に及ぶレッスンを記録した結盤になるにつれて実演する機会が増していくことが推測果であり，これまでにおよそ 100 件以上のデータを収録できる．このように音声区間分析の結果から，特定の楽している．本稿では，その中から本著者らがそれらを楽曲を熟練する過程で発話と演奏のインタラクションやそ曲ごとに分類し選定したものである．具体的には，1 曲のパターンに変化があることが伺える．一方で，技術的につき 3 回以上のレッスンを実施した次の 3 曲を対象

課題として，本分析では演奏中 (music) の発話 (speech)とし，全 12 件分の WAV データの分析を行った；(a) Elは全て music としてタグ付けされるため，演奏と同時にTestament d’Amelia（アメリアの遺言），(b) Introductionand Variations on a Theme by Mozart（魔笛の主題による変奏曲），(c) Olite from Castillos de Espana（スペインの発せられた発話について考慮されていない可能性がある城よりオリーテ）．

が大きくなった一要因である考えられる．と考えられる．また，対象データでは，指導者と学習者の歌唱頻度が高かったことも，その結果，music の割合音声区間の分割において，music の割合が大きかった

3.2

ことを受けて，手動による書き起こし結果をもとに音声分析手法とその結果区間の再分類を行った．図 2 は，ID: 03 の結果を可視化対象とする音声データの解析手法として，Doukhan

したものである．図内の最上部は inaSpeechSegmenter

らが提案した inaSpeechSegmenter[Doukhan 18] を用いによって分割された項目の変化，中央は指導者の変化て ，音 声 情 報 の 同 定 と そ の 区 間 検 出 を お こ な っ た ．

を，最下部は学習者の変化をそれぞれ示している．青inaSpeechSegmenter は，男女の発話時間割合推定に基色は music，赤色は speech，水色は noise と noEnergy

づく大規模な男女平等研究を行うために設計されたである．薄い赤色は，inaSpeechSegmenter では music

CNN ベースの音声区間検出フレームワークであり，音に分類されたが，実際にはその間に発話をしていた声信号を音楽，音声，雑音の均質なゾーンに分割するこ箇所として，music&speech と分類した．また黒色は，とができる．inaSpeechSegmenter による分析から，先述

inaSpeechSegmenter で speech に分類されたが，発話を聞いていた場合を表しており，no-speech と分類した．
図 2 の結果から，指導者と学習者の変化に着目すると，music&speech の割合が非常に多く見られた．特にした演奏音 (music), 発話 (speech), ノイズ (noise)，無音(noEnergy) の 4 要素に分類した結果を表 1 に示す．
本分析結果では，music が音声情報の中で最も割合が大きかった要素であった．一方で speech は非常に小さく，一部は noise や noEnergy とほぼ同等であった．本
結果を概覧すると，各レッスンの初期段階 (ID:01, ID:05,ID08 など) においては，発話区間 (speech) の割合が多く，レッスン回数を重ねるごとに (ID:03, ID:06, ID:12 など) 減少していくという一定の傾向が見られた．これは，多くの音楽レッスンでは発話が大半であり，学習者は傾聴と演奏を繰り返している．しかし今回の結果からは，学習者の music&speech も非常に多く，活発な会話が行われていたことを示している．これは，両者が互いに発言しやすい良好な関係が築けていることを示唆している．このように，音声区間の情報が指導者と学習者の関教授学習場面の序盤では，口頭による指導が多いが，終ー 37 ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-07!!"#$%!#&''%(!!"#$%)#&''%(!*+$#', *+,*'-./!*+-#&''%(!"#

図 2 ID:03 (El Testament d’Amelia) を対象とした音声区間分析の結果

表 2 ID:03 (El Testament d’Amelia) を対象とした書き起こしデータと意味ラベルの付与係性を表す一つの指標になる得ることが推測される．

ID

書き起こしデータに基づく発話分析443

12 件を対象に，発話の書き起こしとその分析をおこなった．書き起こし作業は筆者ら 2 名が実施した．各発話あと，タッタッタって切れるのはやめましょう．

44

なので，その中にレーレッファーっ45

あとこう振りかぶらないで．

46

弾けなくなっちゃう．

開始/終了時刻，発話長などの情報も同時に記録した (表97

形態素解析結果から見る教授学習場面の傾向

書き起こした ID:01 から ID:04 までの 4 件のデータにTechnical
Facility
Technical
Facility

なってるのであれば本番ね，あの，上がってもそこまでしかいかない

Tempo

ので．
あの，だからこれからはちょっと98

対して，形態素解析を行った．その結果，名詞は，指導落として弾くようにして，上がってもそれくらいになるようにして

Tempo

いきましょう．

者：523, 168, 217, 268，学習者：510, 166, 124, 91, 動詞

あとね，なんかね，ちっちゃくなっは，指導者：445, 132, 190, 213, 学習者：377, 95, 86, 49，
形容詞は，指導者：110, 43, 72, 66，学習者：68, 20, 17,Intonation

でもあのスピードで弾けるように2)．

4.1

Intonationて息吸うことはないと思います．

は，前後の発話との時間間隔や意味的なまとまりに考慮した上でセグメント化し，発話 ID や発話者，発話の意味ラベル

あくまで，レーファーっていう旋律

教授学習場面における発話と演奏の状況やそのパターンを明らかにするため，3.1 節で詳述した音声データ全

発話内容

99

16（ID: 01∼04 の順）の単語数が抽出された．顕著な特たりするので，もうちょっとはっきり一個一個出していいと思いま

Dynamics

す，音がちっちゃい．

徴としては，名詞に分類された単語の中で「これ」「それ」といった指示語が多くみられたことである．名詞の約 20% が指示詞であることがわかった．これは，楽譜指示詞を抽出することで，楽譜のどの情報に対して発言を用いた指導であることや，弾き方や音色に関する内容されているのか，あるいはどのような指導が行われていが多いためだと考えられる．特に ID:01 では，音色の話るのかを推測できる可能性がある．

題から「爪の削り方 」に関する指導が行われ，爪の箇また，重要単語の同定として，1 レッスンデータごと所や形を表す際に指示詞を多く用いてた．このように，に含まれる名詞と形容詞を抽出し，TF-IDF 法の適用に*2よって得られる単語群の上位 10% を抽出した．分析結果から，各レッスンの初期段階 (ID:01, ID:05, ID08 な*2 クラシックギターは，基本的に演奏者の地爪で弦を弾くため，爪の形状や磨きの細かさによって音色が変化する．

ど) では，“伸び，溜め，雰囲気，ストーリー，コントー 38 ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-07

表 3 ID:01∼04 (El Testament d’Amelia) に含まれる意味ラベルの割合

ロール” といった単語が得られる一方で，レッスン回数を重ねるごとに (ID:04, ID:07, ID:12 など) “Harmonics,Vibrato, Portamento, Ceja” といった音楽用語やクラシッ

意味ラベル

回数割合

クギター奏法などの固有表現を含む単語が上位に選定さテンポ (Tempo)れることが分かった．これは，広義の意味を含む内容か技法 (Technical Facility)

ら，より詳細かつ専門的な技法に関する指導へと教授内音楽の表現 (Intonation)

容が変化していることが推測できる．このように， 形態

リズム (Rhythm)

素解析によって，レッスン固有の特徴や傾向を正しく理音の強弱 (Dynamics)解するための手掛かりになると考えられる．

その他 (Other)

133
77
129
30
1327

32.6%
18.8%
31.5%
7.3%
3.2%
6.6%

合計

409

100.0%

教授場面における意味ラベルの推移

4.2

本研究で取り扱うレッスンでは，具体的な指摘や助言などは，主に指導者の発話に現れる．そのため，本研究では，各発話の内容を把握する指標として，先行研究 [Ellen 03] を参考に，指導者の各発話に対して，テンポ (Tempo), 技法 (Technical Facility), 音楽の表現(Intonation), リズム (Rhythm) 音の強弱 (Dynamics), その他 (Other) の 6 項目の意味的ラベル (以下，“意味ラベル” と呼ぶ) を手動で付与した (表 2)．本ラベルの付与により，教授学習場面において，どのようなタイミングでどういった指示が行われているのかを定量的に判断することができる．

ID:01∼04 (El Testament d’Amelia) を対象とした意味ラベルの付与結果として，表 3 に意味ラベルの割合と，図 3 に全体の推移を示す．表 3 より，テンポ (Tempo) に関する意味ラベルが 32.6% と最も割合が大きかった要素であった．続いて，音楽の表現 (Intonation) の意味ラベルが 31.5% と高い割合で出現した．一方で，音の強弱 (Dynamics) についての割合は低く，全体を通して教授されることが少ないことが分かった．また，図 3 の結果から，音楽の表現 (Intonation) : 10, 5, 65, 49，リズム(Rhythm): 1, 7, 1, 21 (ID: 01∼04 の順) とレッスン回数を重ねるごとにその値が増加していくことが分かった．
この結果から，全体的な傾向として，技術的な教授内容から，より音楽的な表現や全体のリズム感を練っていく教授内容に変化していることが示唆される．以上より，

図 3 ID:01∼04 (El Testament d’Amelia) を対象とした意味ラベルに関する推移

出とその可視化を行った．さらに実際の音声データから発話を書き起こし，形態素解析による会話分析，そして意味ラベルの付与とその解析により，楽器指導における現場固有の特徴や傾向を提示することができた．
今後，第 2 章で先述したシステムや協働的な演奏構築過程の可視化に向けて，(a) 一人称研究 [諏訪 13] と身体知研究 [古川 06] のような個の事象に焦点を当てたより主観的な研究，(b) 機械学習のような客観的かつ普遍的な研究を，並行して進めていく．これにより，様々な事象に対応しうる知識の体系化を目指す．

意味レベルの付与とその解析によって，複数のレッスンを横断する演奏構築過程の解明に寄与できると考えられる．

5おわりに
本稿では，クラシックギターの指導時の収録音源を分析し，指導現場における様々な特徴や問題点について議論した. 具体的には，畳み込みニューラルネットワーク(CNN) ベースのフレームワークを用いて音声区間の検参考文献[Akoumianakis 08] Akoumianakis, D., Vellis, G., Milolidakis, L., Kotsalis, D. and Alexandraki, C.: Distributed collective practices in collaborative music
performance, ACM DIMEA: Digital Interactive Media in Entertainment and Arts, pp. 368–375 (2008).
[Doukhan 18] Doukhan, D., Carrive, J., Vallet, F.,
Larcher, A., and Meignier, S.: An Open-Sourceー 39 ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第25回)
SIG-AM-25-07

Speaker Gender Detection Framework for Monitoring Gender Equality, IEEE International Conference on Acoustics Speech and Signal Processing,
ICASSP, Vol. 7, pp. 103–122 (2018).
[Ellen 03] Ellen, M.,: A Descriptive Analysis of Error
Correction in Instrumental Music Rehearsals, Journal of Research in Music Education, Vol. 51, No. 3,pp. 218–230 (2003).
[古川 06] 古川康一: 身体知としての弦楽器演奏スキル,
バイオメカニズム学会誌, Vol. 30, No. 1, pp. 17―20(2006).
[Gurevich 06] Gurevich, M.: JamSpace: A networked
Real-time Collaborative Music Environment, ACM
CHI Extended Abstracts on Human Factors in Computing Systems (2006).
[Iino 19] Iino, N., Nishimura, S., Nishimura, T., Fukuda,K., Takeda H.: The Guitar Rendition Ontology forTeaching and Learning Support, The 13th IEEE
International Conference on Semantic Computing(ICSC), Resource track, Vol. 1, pp. 404–411 (2019).
[Lim 09] Lim, K. A. and Raphael, C.: InTune: a musician’s intonation visualization system, ACM SIGGRAPH (2009).
[松原 12] 松原正樹, 諏訪正樹, 斎藤博昭: インタラクティ
ブな楽譜色付けによるオーケストラスコア理解支援システム, 人工知能学会論文誌, Vol. 27, No. 5,

pp. 281–295, (2012).
[Kawase 07] Kawase, S., Nakamura, T., and Draguna,
M.: Communication channels performers and listeners use: a survey study, Proceedings of the International Conference on Music Communication, pp. 76–79 (2007).
[難波 97] 難波精一郎 編集: コンピュータと音声, 音の科学, 朝倉書店, pp. 103–118 (1997).
[Paul 94] Paul F. Berliner: Thinking in Jazz: The Inﬁnity Art of Improvisationd, Chicago, University ofChicago Press (1994).
[坂本 15] 坂本雄彦: 演奏練習における音声ログの楽譜への対応付けと可視化および演奏に関する議論への活用, 筑波大学大学院博士課程 システム情報工学研究科修士論文 (2015).

[Suchman 87] Suchman, L. A.,: Plans and situated action,
New York: Cambridge University Press (1987).
[Sudnow 78] Sudnow, D.,: Ways of the hand, Cambridge,Harvard University Press (1978).
[諏訪 13] 諏訪正樹, 堀浩一: 特集「一人称研究の勧め」にー 40 ー

あたって，人工知能学会誌, Vol. 28, No. 5, pp. 688(2013).