平 成 ２９ 年 度

修士論文概要

主査

舟橋 健司

副査

佐藤 淳

研究室

舟橋研究室

入学年度

平成２８年度

学籍番号28414101

氏名

松末 千佳

論文題目

コード進行推定に基づき間違いを自動補正するタッチタイプ可能な VR ピアノシステム

Touch-typable VR piano that corrects mistakes based on chord progression estimation

1

はじめにる．ここで a はコードのルート音 (コードの基準音) を示し，a = C, D♭, D, E♭, E, F, G♭G, A♭, A, B♭, B の音楽経験者にとって最も自然な演奏方法は，鍵盤を12 種類とする．また b はコードの属性を示し，M7, m7,見ずにタッチタイプで行うことである．タッチタイプで7, mM7, sus4, dim, m7-5 の 7 種類とする．コードの推ピアノを演奏できる理由として，ピアノの鍵盤から得

定はコードトーンに基づいた推定手法や，調の推定とられる垂直方向からの力覚フィードバックと，隣の鍵盤同様のサンプルデータをもとにした統計的な推定手法から得られる水平方向からの力覚フィードバックによっに基づいて行う．なお，この時の最も高いコード確率て，自身の指の位置を判断し，次の鍵盤を打鍵するとを Cvaln とする．最後に推定調と推定コードをもとに，きに無意識的に指のずれを補正していることが考えられる．しかし既存の VR ピアノ [1] の演奏方法は，ディスプレイなどの視覚情報を頼りに鍵盤の位置を把握し時刻 tn における鍵盤 S に対する各鍵盤の確率 (理論打鍵確率) P theS,n を決定する．
打鍵位置による推定手法と音楽理論による推定手法て演奏を行うため，音楽経験者が普段から行う自然なを統合した上で打鍵音を推定，決定する．なお，ユー演奏方法とは異なる．一方で，作曲支援システム [2] でザは手動で打鍵位置と音楽理論の信頼度を設定するこは自然な旋律，すなわち音の並びを作るために音楽理とができる．例えばユーザが音楽経験者であり，打鍵論を用いている．そこで本研究では，従来の VR ピアした位置に自信を持って演奏していた場合には，音楽ノに対し，作曲支援システムでも用いられている音楽理論の信頼度を低く設定し，打鍵位置の信頼度を高く理論を利用して，誤打鍵による不自然な音の並びを補設定することでユーザの思い描いたメロディに近い演正することでタッチタイプ演奏が可能な VR ピアノシ奏を実現する．反対に，ユーザが音楽未経験者であり，ステムを提案する．また，提案システムでは，ユーザ演奏を行ったとしても自分の思い通りの鍵盤を押す自の打鍵位置の信頼度合い，あるいは音楽理論の重視度信がない場合や，そもそも適切なメロディを思い浮か合いの重み付けを調整できる．音楽理論の信頼度を高べられない場合には，音楽理論の信頼度を高く設定し，めることにより，音楽未経験者がランダムな運指で演打鍵位置の信頼度を低く設定することで，おおよそラ奏を行っても適切なメロディを生成することが可能でンダムな打鍵に対しても違和感のないメロディを実現ある．

する．

2

タッチタイプ演奏を実現する手法

しかし，音楽理論の信頼度とはいうが，そもそも推定した調やコード自体の信頼度は完全ではない．なぜまず取得された打鍵位置から n 回目の打鍵時に鍵盤なら，調においてもコードにおいても最も確率が高かっ

S が打鍵された各鍵盤の確率 (打鍵位置確率) P posS,nた調やコードを選択して推定調，推定コードとして採を推定する．打鍵位置とは，鍵盤座標系における打鍵用しているだけであり，採用されなかった調やコード時の指先位置とする．次にその確率に基づいて，演奏の確率の中にも採用されたものの確率を超えない程度している曲の調 (推定調) を推定する．演奏曲の調は，に高い場合も存在するためである．

時刻 tn においての調 k であると判断する確率 (調確率)そのため，本システムではユーザが決定した音楽理P keyk,n のうち，最も確率が高い調 k とする．k は C,論の信頼度（指定信頼度）と，調とコードの信頼度かD♭, D, E♭, E, F, G, ♭G, A♭, A, B♭, B の 12 種類とすら得られた音楽理論の信頼度（推定信頼度）の比によっる．調確率 P keyk,n の推定はスケールの構成音をもとて最終的な音楽理論の信頼度を決定する．まず，ユーにした推定手法や，サンプルデータをもとにした統計ザが設定した打鍵位置の指定信頼度を W pos-user と的な推定手法に基づいて行う．この時の最も高い調確し，音楽理論の理論の指定信頼度を W the-user とする

率を Kvaln とする．次に推定調を用いて打鍵時のコー(W pos-user + W the-user = 1) ．また調確率 P keyk,nド (推定コード) を推定する．コードは，時刻 tn におの中で最も高い値である Kvaln をもとに調の推定信頼いてコード (a, b) であると判断する確率 (コード確率)度 W keyn を決定し，コード確率 P code(a,b),n の中で最P code(a,b),n のうち，最も確率が高いコード (a, b) とすも高かった値である Cvaln を用いてコードの推定信頼度 W coden を決定する．これらの値から，時刻 tn にがあるため，アボイドノートになる確率を下げなけれおける実際の音楽理論の推定信頼度 W then を決定し，ばならないということもわかった．

W then + W posn = 1 を維持するように打鍵位置の推定信頼度 W posn を決定した上で，理論打鍵確率と位置打鍵確率をもとに最終的な打鍵確率を求める．具体的には，いくつかのサンプル曲をもとに演奏実験を行った上で，経験的に式 1 のように重みを定義する．また，
時刻 tn における鍵盤 S に対する打鍵確率 PS,n は式 2により決定する．打鍵確率 PS,n が最も高い S を時刻 tnの打鍵音として決定し，奏でる．

3W then=

W keyn=W coden=W posn=

W keyn + W coden× W the-user
212−Kvaln+ 2Kvaln
100100log 10 × Cvaln + 1
31 − W thenPS,n=P theS,n × W then ＋ P posS,n × W posn (2)(1)

実験
システムの有用性を示すため，音楽経験者と音楽未経験者それぞれに 4 小節の曲を 3 曲演奏してもらい，そ図 1: システムの外観

れぞれ 5 パターンの指定信頼度を用いた補正を行った
後，補正後のメロディに対する評価を行う．補正後のメロディの妥当性を評価するため，補正後のメロディに推定コードを合成することによって楽曲を作成し，音楽経験者 33 人，音楽未経験者 21 人にその音楽らしさを評価してもらった．なお，以下の音楽用語は文献 [3]参照のこと．
音楽経験者による評価では，ユーザの意図していないミスを，音楽理論により適切に修正できるかどうか評価する．その結果，経験者の演奏に対して僅かに音楽理論による補正を行うことは，ユーザの希望通りのメロディを推定することに有効であるが，過大な補正はユーザの意思とは異なるメロディを出力することに繋がる可能性があることがわかった．しかし，どの指定信頼度であっても，音楽理論をもとにした補正結果は，おおむね音楽的に違和感のないメロディを出力できることがわかった．

4むすび
従来の VR ピアノに対し，作曲支援システムでも用いられている音楽理論を利用して，誤打鍵による不自然な音の並びを補正することでタッチタイプ演奏が可
能な VR ピアノシステムを提案した．今後の課題として，音楽理論による補正を行う際の要素の見直し，テンポと拍子の推定手法の検討，メジャーキー以外の曲の考慮などが挙げられる．また，現在のシステムでは同じ運指で演奏を行った場合，全く同じ補正が行われる．なお，この時に選択される調やコードはサンプルデータ内で多く用いられる調やコードが選択されるため，生成した楽曲が似通ったものになりがちである．そこで，調，コード，鍵盤の推定手法にランダム性を取り入れることも検討したい．

参考文献

一方で音楽未経験者による評価では，提案手法によ[1] Chia-Hung Yeh, Wen-Yu Tseng, Jia-Chi Bai,るシステムが，ユーザのおおよそランダムな運指に対

Ruey-Nan Yeh, Sun-Chen Wang, Po-Yi Sung,して，音楽理論により妥当なメロディを生成できるか“Virtual Piano Design via Single-view Video based

どうか評価する．その結果，音楽未経験者によるランon Multifinger Actions Recognition”, Human-

ダムな運指を音楽的に優れた楽曲に補正するためには，

Centric Computing, ID: 11517146, 2010.

ダイアトニックコードに沿ったコード付けを行い，更にそのコードトーンと一致するメロディになるよう補[2] 川島奨大, 柳英克, “初学者を対象とする作曲支援

正を行うことで，音楽性を損なわない楽曲を出力できWeb アプリケーションシステムの開発と評価”, IPSJる可能性が高いことがわかった．なお，メロディの補Interaction, ID: 1-405-54, 2017

正を行う場合には，その音がダイアトニックスケール[3] Andrew Milne, The Tonal Centre,

上の音であったとしてもアボイドノートである可能性

http://www.tonalcentre.org/, 2017