情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3P-782024/2/28

対話ロボットを用いた演奏学習支援システムの開発
松阪瑠音 1,2

塩見昌裕 1

滝口哲也 2

概要：楽器演奏を上達させるためには継続的な練習が必要だが，特に独学ではモチベーションの維持や技術の向上に一部限界がある．この課題を解決するために，ロボットで演奏学習の支援ができないかと考えた．過去の文献で，ロボットを用いた「褒め」による学習支援に関する研究はいくつかなされているが，演奏分野におけるロボットの「振る舞い」や「態度」が及ぼす影響に関する研究には注目が置かれていない．以上のことから，本研究では，対話ロボットを用いた演奏学習支援システムを開発し，聴取者であるロボットがする振る舞いが演奏者に与える影響を検証することを目的とする．

1. はじめに援システムを開発し，聴取者の振る舞いが演奏者に与える影響を検証することを目的とする．

昨今の COVID-19 の流行によって，自宅でできるもの・

本論文の構成は次のとおりである．2 章では関連研究にことに対して大きく関心が向けられた．中でも，楽器の需ついて述べ，3 章では作成したシステムについて説明する．

要は非常に高いものとなっており，株式会社山野楽器が実最後に，4 章で今後の展望を述べる．

施した，ウイルス流行前の 2019 年と流行時の 2022 年の年間の売り上げを比較した調査では，電子ピアノやアコース

2. 関連研究ティックギターではおよそ 1.2 倍，電子ピアノよりさらにこれまでにも，演奏分野に限らずロボットを用いた学習

コンパクトな形状を持つポータブルキーボードではおよそ支援に関する研究というのは多くなされている．Mumm ら

1.6 倍となっている [1]．の研究 [2]では，ロボットの「褒め」によってモチベーショ演奏を上達させるためには，レッスンを受講するというンの向上が確認された．さらに，塩見らの研究 [3]では，運選択肢があるが，コロナ禍では対面でのレッスンは制限さ動技能の向上が確認され，ロボットの数については 1 体よれ，その代替案であるオンラインでのレッスンが充実した．

りも 2 体の方が向上率は高くなるという結果になった．そまた，レッスンの受講はせずに独学で学ぶという人も，楽の他の研究 [4-6]でもロボットの「褒め」による学習支援が器の売り上げの増加に伴い，大きく増えたことが推察されもたらす効果について，すべてプラスの影響を与えることる．普段，楽器を練習する際には，こういった独学や次のが分かっており，ロボットを用いた学習支援分野の可能性レッスンまで自主練習をするという形になるが，特に独学を示唆している．そして，対話ロボットを用いた演奏学習においては練習のモチベーションの維持や技術の上達に一支援に関する Song らの研究 [7]では，児童であるピアノの部限界があり，長期的な練習を必要とする楽器の練習にお演奏者演奏に対してのロボットの支援の内容が，評価的かいては大きな課題であるといえる．この課題を解決するた

非評価的かで違いを調べ，演奏者の熟練度によって支援にめに，近年，ロボットを用いた学習支援に関する研究が多対する反応が変わると結論付けた．例えば，初学者では非くなされており [2-7]，その知見を演奏分野へ活用するこ

評価的な支援の方が効果は高い結果となり，この要因としとを考えた．ては，社会的促進理論 [8]が影響していると考えられる．

過去の研究では，主にロボットと人間の「対話」を軸にした学習支援の研究が行われてきた．だが，ロボットが演

3. システムについて奏を聴くときの「振る舞い」や「態度」に関しては注目さ本研究で開発したシステムの概略図を図 1 に示す．本シれておらず，演奏のモチベーションや技能向上を支援する

ステムは MIDI 機能を用いて，ピアノの演奏状況を把握で適切なコミュニケーションを目指すため，このテーマにつきるシステムである．ピアノを選択した理由は，MIDI デーいて研究することとした．我々の仮説は以下である．

タの取得のしやすさや，演奏人口が多さといった理由からである．

ロボットが楽しげに演奏を聴けば，演奏者のモチベーションや運動技能は向上するのではないか

反対に無反応だと下がるのではないか
そこで，本研究では，対話ロボットを用いた演奏学習支

MIDI キーボードで得られた MIDI データを用いて，演奏の状況を判定し，それに応じて対話ロボットに設定した動作や対話を実行させるというシステム構造である．各要素について，以下で詳しく説明をする．

1 株式会社 国際電気通信基礎技術研究所
2 神戸大学大学院© 2024 Information Processing Society of Japan1390

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

3P-78
2024/2/28

3.3 コンピュータ
コンピュータ内に以下の 3 つの機構があり，それらが機能することで，ロボットを動作させることができる．各機構について，以下で説明する．
(1)

演奏状況判定機構

MIDI データを用いて，ピアノの演奏状況を判定する機構を作成した．本研究では，判定の指標として，MIDI データ
図 1

システムの概略図

内のノート（音符）の高さ，長さ，強さの 3 つを使用する．
3 つの指標はそれぞれ、10 進数表記で以下のように規定さ3.1 MIDI キーボードれている．

本研究では，演奏状況を把握するために，MIDI (Musical

Instrument Digital Interface) と呼ばれる規格を使用した．この MIDI データはデータサイズが小さく，機器間での共有

21 から最高音 108 まで，中央のド (C4) の音が 60


や転送も容易にできるため，後述の実験内で扱う楽曲を制作する際にも扱いやすいと考え，利用するに至った．

ノートの高さ：ピアノの鍵盤と同期しており最低音
ノートの長さ：鍵盤を押したとき（ノートオン）の時
刻から離したとき（ノートオフ）の時刻



使用したキーボードは，ヤマハ社製の CK88 であり，内ノートの強さ：1 から 128 まで，数字が高いと強く低いと弱い部に MIDI 機能を搭載している．図 2 にキーボードの外観

リアルタイムに入力した MIDI データからこの 3 つのデーを示す．

タを取得し，事前に作成した楽曲の MIDI データと照合し，判定を行う．判定はノートごとに行い，以下を満たすノートを「成功」として，その数をカウントしていく．


ノートの高さが一致

ノートオンとノートオフの時刻がそれぞれ±0.5 秒以内

ノートの強さが±30 以内カウントした演奏数を記録し，次の演奏データとの比較を
図 2

キーボードの外観行う．
(2)

3.2 対話ロボット

対話制御機構ロ ボ ット の 対 話 を 実 現 する た め に ， 株 式会 社 AHS の本研究では，ヴイストン株式会社が開発した「Sota」と呼VOICEPEAK というソフトを使用した．このソフトでは，ばれる対話ロボットを使用した．Sota は，全長約 30cm，重言葉の抑揚やイントネーションを事細かく設定でき，自然さ約 800g のテーブルトップ型ロボットであり，頭部に 3 自な対話が可能となる．ここで作成した音声の wav ファイル

由度，肩部に 2 自由度，肘部に 1 自由度，胴部に 1 自由度を，ヴイストン社の VstoneMagic というソフト内で設定し，の可動域を有している．胸にスピーカーを備え，これによ対話が実現できる．

り対話が可能となる．ロボットの外観を以下の図 3 に示す．

(3)動作制御機構ロボットの動作を実現するために，前述の VstoneMagic を用いて，対話時や演奏中の動作を設計した．
本研究では，後述の実験のために演奏中におけるロボットの 2 つの動作を作成した．動作は以下の(a)，(b)である．
(a) 頷く：演奏のリズムに合わせて頷く(b) 楽しげに聴く：演奏のリズムに合わせて身体を動かす
この 2 つの動作を演奏のリズムに合わせてロボットに行わせる．前述の演奏状況判定機構でキーボードからの入力を認めると，本制御機構に命令がなされ，その後ロボットに指定の動作をさせるという仕組みである．ロボットの動作例を以下の図 4 に示す．
図 3

Sota の外観© 2024 Information Processing Society of Japan1391

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

(a)(b)

頷く
図 4

3P-78
2024/2/28

楽しげに聴くロボットの動作例

4. 今後の展望(1) 実験12-15).
[2] Mumm, J. and Mutlu, B.: Designing motivational agents: The role ofpraise, social comparison, and embodiment in computer feedback.
Computers in Human Behavior, 2011, vol. 27, no. 5, pp. 1643-1650.
[3] Shiomi, M., Okumura, S., Kimoto, M., Iio, T. and Shimohara, K.:
Two is better than one: Social rewards from two agents enhance
offline improvements in motor skills more than single agent. PLoS
ONE, 2020, 15(11): e0240622.
[4] Johnson, D., Gardner, J., and Wiles J.: Experience as a moderator of
the media equation: the impact of flattery and praise. International
Journal of Human-Computer Studies, 2004, vol. 61, no. 3, pp. 237–258.
[5] Leyzberg, D., Spaulding, S. and Scassellati, B.: Personalizing robot
tutors to individuals’ learning differences. Proceedings of the 2014
ACM/IEEE international conference on Human-robot interaction,
2014, pp. 423–430.
[6] Warren, Z. E., Zheng, Z., Swanson, A. R., Bekele, E., Zhang, L.,
Crittendon, J. A., et al.: Can robotic interaction improve joint
attention skills?. Journal of autism and developmental disorders,
2015, vol. 45, no. 11, pp. 3726–3734.
[7] Song, H., Barakova, I. E., Markopoulos, P. and Ham, J.:
Personalizing HRI in Musical Instrument Practicing: The Influenceof Robot Roles (Evaluative Versus Nonevaluative) on the Child’sMotivation for Children in Different Learning Stages. Front. Robot.
AI, 2021, 8:699524.
[8] Zajonc, R. B. Social Facilitation. Science, 1965, 149, pp. 269–274.

約 30 名の初学者を対象に被験者実験を行う．実験内容はピアノの演奏である．聴取者の振る舞いが演奏者のモチベーションや運動技能に与える影響を調べるために，以下の3 つの条件で比較を行う．
動作無し

頷く

楽しげに聴くこの 3 つの条件に作成した 3 つの楽曲をランダムに割り当て，順序不同で 3 セッションの実験を行う．1 セッションごとに 5 回演奏をし，演奏後にはロボットが褒めるという流れで実施予定である．
(2) システムの評価
被験者実験を経て、システムの有効性と仮説の検証のためにシステムの評価を行う．評価指標は主観評価としてアンケートを，客観評価として演奏成績の 2 つを用いる．
アンケート：各セッション終了後に行う，モチベーシ
ョンが向上したかどうか等

演奏成績：演奏状況判定機構で得られた成績

以上の指標からそれぞれ分散分析を行い，システムの有効性と仮説の検証を行う．
謝辞

本研究の一部は JST，CREST，JPMJCR18A1 の支援を受けたものです．

参考文献[1] “コロナ禍前比較 この楽器が売れた！
山 野 楽 器 楽 器 販 売 数 量 UP 率 ラ ン キ ン グ ”.
https://kyodonewsprwire.jp/release/202203048202, ( 参 照 2023-© 2024 Information Processing Society of Japan1392