2K4-GS-10-04
The 36th Annual Conference of the Japanese Society for Artificial Intelligence, 2022

演奏指導場面における音声区間の構造的分析
Structural Analysis of Audio Information in Musical Performance Instruction
飯野 なみ ∗1∗2

三浦 寛也 ∗2

武田 英明 ∗1

浜中 雅俊 ∗2

西村 拓一 ∗3

Nami Iino

Hiroya Miura

Hideaki Takeda

Masatoshi Hamanaka

Takuichi Nishimura∗1∗2

国立情報学研究所

National Institute of Informatics∗3

理化学研究所

RIKEN Center for Advanced Intelligence Project

北陸先端技術大学院大学

Japan Advanced Institute of Science and Technology

Instrumental performance is one of the most diﬃcult skills to evaluate quantitatively. There are also variousways to analyze the verbal and non-verbal information generated in the ﬁeld of instruction. In our previous study,
we analyzed the performance and speech segments in one-to-one classical guitar lesson, and deﬁned instructionallabels that represent the “instructor’s perspective.” In this study, we attempted to analyze the lesson structurally
by aggregating the above segment information and the information of the instructional labels assigned to them.
The results indicate that there is commonality in group interpretations in the tree structure and that new labelsthat semantically categorize the content of teachers’ speeches are useful in determining the hierarchy.

1.

入し，議論内容を木構造で表現することで，会議録を振り返る時の観点を切り替えることができる．その他，演奏とそれに対する講評文を収集した「演奏講評文書データベース」が構築・公開されている [Matsubara 21]．このデータベースはリアルタイムの演奏指導ではないが，指導者の “ことば” に着目しているという点で本研究への適用可能性がある．

はじめに各種技能の教授学習プロセスには非顕在な知識が豊富に存在する．中でも楽器演奏は定量的な評価が困難な領域であり，指導の現場で発生する言語・非言語情報の分析方法も一意に定まらない．これまで我々は，演奏指導（レッスン）の要約に向けて，クラシックギターの個別指導を対象に実際のレッスン現場で記録された音声情報の分析を行ってきた．まず，音声区間分
析では CNN ベースのフレームワークを用いた音声区間検出，および深層学習プロセスを用いた自動書き起こしを実施した．
次に，発話分析では教師の発話に着目して，“指導者の観点”を表す指導ラベルを定義し，各発話に対して付与することで複数回に渡るレッスンの指導変化を明らかにした．
しかしながら，上記 2 つの分析結果の統合には多くの課題がある．そこで本研究では，楽器の指導場面における演奏・発話区間の情報と，それらに対して付与した指導ラベルを集約するための第一歩として，レッスンの構造的な分析を試みた．具体的な取り組みとして，Generative Theory of Tonal Music(GTTM) を援用して，教師の発話に対する時間的・階層的な構造を持つ木構造を手動で作成した．本稿では 2 名の分析者による木構造の比較を通して，共通する構造パターンの抽出や，木構造の自動生成に向けたルールについて考察した．結果として，木構造におけるグループ（発話のまとまり）の解釈には共通性があり，階層の決定付けには SOAP と呼ばれる指導内容を分類するラベルが有用であることが示された．

2.

3.

演奏指導現場の傾向

本章では，分析対象であるレッスンの特徴について述べる．
先行研究 [三浦 21] と同様のペアにおける音声情報から，特定の楽曲における 4 回分のレッスン傾向について調査した．

3.1

音声区間

本研究ではクラシックギターの個別指導を対象としていることから，音声の種類を (1) 教師の発話，(2) 生徒の発話，(3)演奏音の 3 つに分類した．演奏音は，Doukhan らが提案した
inaSpeechSegmenter [Doukhan 18] を用いて，音声情報の同定とその区間検出をおこなった．なお，本音声データは 1 つのマイクで収録されており，教師と生徒それぞれの演奏音の識別が困難であることから，演奏音を 1 つにまとめている．教師と生徒の発話区間については，inaSpeechSegmenter では演奏音が優先して検出されるため，過去に行なった書き起こしデータを用いた．
図 1 は，4 回分のレッスンにおける 3 種類の音声情報を時系列に可視化した結果である．時系列変化を見ると、平均して演奏区間が長く，演奏が行われている状態で短い発話区間が出現していることが分かった。発話区間では，教師の発話量が多い
ものの，生徒の応答と思われる短い発話も目立っており，活発なインタラクションが行われていることが示唆された．
次に，4 回のレッスンにおける音声区間の割合を調査した（表 1）．全体を通して教師の発話の割合は変化が少なかった．
一方で，生徒の発話は減少傾向にあり，反して演奏時間が長くなる傾向が見られた．これは生徒が上達したことで “演奏による応答” が増えたことが要因と考えられる．以上から，教師が1 回のレッスンで与える情報量は概ね等しく，教師の発話のみに着目してより詳細な分析をすることでレッスンの要点を抽出

関連研究

様々なアノテーション情報が付与された会議録を対象に，言間の階層関係に基づく対話的な情報構造化手法を提案した研究がある [三浦 19]．この研究では，議論に含まれる意図を明示的に表現するため，言語・非言語情報に基づいて階層的な重要度を表す木構造とその抽出方式を実装している．発言時間や発言者の社会的地位といった，多様な発言間の類似性尺度を導
連絡先: 飯野なみ，国立情報学研究所，東京都千代田区一ツ橋2-1-2，nami-iino@nii.ac.jp1

2K4-GS-10-04
The 36th Annual Conference of the Japanese Society for Artificial Intelligence, 20224.



前章では，教師の各発話における重要度の同定が必要であることが示唆された．我々が目指している本研究の最終成果は，レッスンの要約を達成することである．そこで本章では，教師の発話を階層的に捉えるための第一歩として，GTTM を援用した発話の構造化を行う．




4.1




 !,+ 8,-&* .# 7 $
 )%0'("2 18,5/ 7 $ 62  7 $   437 $

図 1: レッスン音声の時系列変化できる可能性があることが分かった．
表 1: 各音声区間の割合
教師の発話 生徒の発話

1 回目
2 回目
3 回目
4 回目

3.223.5%
27.1%
26.5%
26.3%

21.6%
26.3%
12.8%
10.6%

観点による木構造の違い

GTTM [Lerdahl 83] は数学的な演算ができる音楽理論であり，分析することで階層的な時間構造および枝の主従関係を持つ木構造を生成することができる．GTTM の最大の特長は，基本的なルールを保持しながらも分析者の解釈によって木構造が変化することである．また，木構造の上位階層から抽象化されたグループを抽出する，簡約と呼ばれる操作も可能である．
つまり，GTTM の利用はレッスンの情報集約と可視化に貢献し得る．
そこで本研究では研究者 2 名によってそれぞれ構造化を試みた．まず，前章で分析した 4 回のレッスンのうち 1 回目のレッスンの教師の発話を取り上げ，前後の音声区間と発話内容に基づいて 5 つ程度のセクションに分けた．次に，各セクションごとにより詳細なグループ（発話のまとまり）を作り，その中で階層化を行なった．
図 2 に，発話と木構造の一例を示す．木構造 A，B は分析者A，B の分析結果に対応している．比較すると，グループに大きな違いは見られなかった．図 2 では 3 つのグループに分かれており，大局的な認識には共通性があることが示唆された．
一方で，グループ内の階層には違いが見られた．この要因として，分析者 A は要約を強く意識しており，発話内容を時系列的に見る傾向が強かったこと，分析者 B は中分類の数や後半の発話が重要であるという観点で分析していたことが挙げられる．どちらの木構造も “間違いではない” が，汎用的かつ説得力のある木構造を作るためには階層を判断するためのルール作りが求められる．そのためには，我々が定義したラベル以外の要素を考慮することで，有用な指標が見つかる可能性がある．

レッスン

教師の発話における構造的分析

演奏音

4.2

54.9%
46.6%
60.7%
63.1%

自然言語を対象として文章の意味的要素を考慮した分類に，SOAP がある．これは医療現場における医師の思考過程を，自然文を用いてカルテに科学的に記載する枠組みであり，次の 4つの項目から成る：Subjective data (S), Objective data (O),Assessment (A), Plan (P)．松原らの研究では，SOAP を音楽用に適用させて，以下のように定義した [Matsubara 21]．本
研究ではこれらが指導内容を特徴づけるものであると考え，新たに教師の発話に対して付与した．1 つの発話が複数のラベルを持つと判断した場合は，2 つ以上付与した．

指導ラベル

前節の音声区間の結果を踏まえて，教師の発話に対して観点を表す “指導ラベル” を付与した．指導ラベルは，4 つの大分類と 18 つの中分類で構成されている．詳細は [三浦 21] を参照されたい．付与の際は，中分類は 2 つまで付与できるようにした．なお，図 1 の教師の発話では大分類の変化も示している．発話区間と指導ラベルの変化から，次の傾向が見えた．
(a) レッスンの初期段階では大分類は局所的に変化することが多いが，回数を重ねるごとに，指導ラベル内容の変化は大域的に変化することが多い．図 1 では大分類 B を中心とした指導に変化している．(b) 大分類と中分類の組み合わせにもパターンが存在する．大分類 B に限定した場合、初期段階では速度や奏法が多く，後期になると音色や音楽的なまとまりといったラベルが頻出された．ただし，指導ラベルだけでは教師のどの発言が重要であるか，といった要点を掴むには情報が不十分である．効率的に重要なポイントを把握し，振り返りをしやすくするためには，教師の発話のさらなる詳細な分析が必要である．

SOAP ラベルの有用性

S : 演奏の特定箇所の批評のうち根拠が講評者の主観に基づく場合
O : 演奏の特定箇所の批評のうち根拠が楽譜を参照できる
場合または客観的な音楽的知識からなる場合
A : 演奏全体や演奏者に関する批評 (音楽認知や奏法の癖)P : あるべき演奏の目標提示や目標に対する練習方法の提示
5 つのセクションにおいてラベル付けできた割合を表 2 に示す．また，図 2 には SOAP を付与した結果も示している．注
目すべき点は，付与できなかった「該当なし」の発話が約 30%もあったことである．例えば，図 2 の冒頭のようにリズムを2

2K4-GS-10-04
The 36th Annual Conference of the Japanese Society for Artificial Intelligence, 2022   

HQ

0# +<=74;
#  J(0*"

ME

TD




ME

TDME



TDPG



HQ



HQ

1;1;%(0U&%).'

AS HQ3#BMME



HQ



PG

ME

HQ ,#PG@U& .+C!?I0*"J 0( . N #O . . N. N- +5:239= (856

HQ

>K>K(0# %)

HQAS
HQ-$ L((!  -0JR-*! -M-#F/ "MEMEME  
PG

図 2: 発話情報と木構造

2 つの木構造からパターンを抽出し，より精緻な分析に向けた
新たなラベルの追加と自動化に向けた課題の整理を行なった．
本研究のような極めて固有かつ複合的なリアルタイム情報を扱うためには，膨大なデータから特徴を見つけるのではなく，個別のデータの精密な分析による共通項への落とし込みが重要であると考えている．それによって，分析結果の解釈や説明可能性の向上に繋がることが期待できる．

カウントしているものや，「なるほど」といった短い単語による応答などが挙げられる．つまり，教師の発話の中で明確に “意味を持つ” の発話は限られており，SOAP ラベルが重要度の同定に有用であることが示唆された．さらに階層構造に着目す
ると，S よりも P が上位に位置するというパターンが多く抽出された．ただし，特定のラベルが連続しているケースもあることから，より多くのパターンを収集する必要がある．

謝辞

表 2: SOAP ラベルの傾向
ラベル
個数 (割合)

SO
A
P
S&A
該当なし

4.3

この研究の一部は栢森情報科学振興財団の助成を受けて遂行された．

8 (16.7%)
9 (18.6%)
1 (2.1%)18 (37.5%)
1 (2.1%)
11 (22.9%)

参考文献[Doukhan 18] Doukhan, D., Carrive, J., Vallet, F., Larcher,A., and Meignier, S.: An Open-Source Speaker Gender
Detection Framework for Monitoring Gender Equality,
IEEE International Conference on Acoustics Speechand Signal Processing, ICASSP, 7, pp.103–122 (2018).

自動化に向けて本章で述べた木構造の自動生成のための取り組みとして，生成方式とそのルールを試案している．この木構造は，構造的に重要な発言が幹になるような 2 分木であり，レッスン音声に含まれる発話やそのメタデータを含む会議記録の情報に基づき，以下 2 項目のルールに基づいてボトムアップに生成されることが期待できる．(1) レッスンデータに含まれるグループ（ゲシュタルト）を抽出するルール (Grouping Preference Rules: GPR)，(2) あるグループ全体の時間幅を代表する重要な発言を同定するルール (Signiﬁcance Preference Rules : SPR)．
(1) では，発言時間長，発話量などの尺度をもとにルールが構成される．また (2) では，発話の間隔や発話量，重要単語の初出箇所，3.2 節で詳述した指導ラベルの変化 (中・大分類)，演奏中の発話であるかどうか，4.2 節で述べた SOAP ラベルの付与情報をもとにした，ルール構成を検討している．

5.

[Lerdahl 83] Lerdahl, F. and Jackendoﬀ, R.: A Generative
Theory of Tonal Music, MIT Press (1983).
[Matsubara 21] Matsubara, M., Kagawa, R., Hirano, T.,
and Tsuji, I.: CROCUS: Dataset of Musical Performance Critiques Relationship between Critique Content and Its Utility, AProc. of the 15th International
Symposium on CMMR, pp.279–288 (2021).
[三浦 19] 三浦 寛也, 竹川 佳成, 寺井 あすか, 平田 圭二: 言語・非言語情報に基づく議論構造化と要約生成を繰り返しながら議事録を生成するシステムの実現, 知能と情報 (日本知能情報ファジィ学会誌), Vol.31, No.1, pp.1–10 (2019).
[三浦 21] 三浦寛也, 飯野なみ, 浜中雅俊, 武田英明, 西村拓一:
楽器演奏場面における指導知識のモデル化の試み, 第 35回人工知能学会全国大会, 1E4-OS-8b-03 (2021).

まとめ

本稿では，音声区間と発話内容を統合的に分析するために，GTTM を援用した教師の発話の構造的分析を試みた．まず対象レッスンの音声的な特徴と，我々が定義した指導ラベルにおける課題を明らかにした．次に，GTTM を援用して生成した

3