An Analysis of Timing that Pianists touch Black Keys

1.はじめに
ピアノ演奏において打鍵したい鍵盤に手指を運ぶ過程は「視覚誘導性到達運動」であるととらえがちである．しかし，ピアノ奏者が演奏している様子を観察すると，彼らが鍵盤を見ている時間の割合は低く，特に初見演奏ではほとんどの時間が楽譜を見るのに使われている．また，全盲であってもプロ奏者として活躍しているピアニストがいる．これらの事実は，ピアノ演奏での鍵盤定位において視覚以外の手がかりが重要であることを意味している[1-4].そのような手がかりの一つに，奏者が鍵盤に触れる際に得られる触覚情報がある．ピアノ鍵盤は黒鍵が白鍵と比べておよそ12 mm突起しており，これら2種類の鍵盤が作り出す凹凸形状が演奏者に対しさまざまな触覚的手がかりを与えている.実際,ほとんどのピアノ奏者が，演奏中に鍵盤（特に黒鍵）の触覚情報が重要な手がかりになっていることを自覚している．その一方で,奏者がいつどのように黒鍵に触れているのか,また，その際に得られる触覚情報が手指の運動制御にどのように利用されているのか,その実態や機序は明らかではない.本研究では，ビアノ演奏における触覚情報の働きを解明することを目的として，ピアノ奏者がいつどのように黒鍵に触れているかを実験的に計測・解析した.具体的には，３名の被験者に10曲のクラシック作品の抜粋を演奏してもらい，演奏中に黒鍵に接触する時刻と打鍵する時刻の関係性を分析した.以下では，実験の方法および結果を紹介し，結果について考察する.
2.美酸方法
2.1.被験者
本実験には，音楽大学・藝術大学等においてピアノ演奏の専門教育を受けた奏者2名と，専門教育を受けていないアマチュア奏者1名（筆者の1人）が参加した．なお，本研究は，電気通信大学ヒトを対象とする実験に関する倫理審査委員会の承認を受けて行った.
2.2.禁煙
本実験は，36個の黒鍵すべてに接触センサを取り付けた竜子キーボード(ヤマハP-155)を用いて行った.具体的には，黒鍵に貼付した導電性テープを静電容量式接触センサに接続し，奏者が黒鍵に接触したことを離気的に検出した.接触センサの出力は,マイコンによりサンプリング周期約12 msでAD変換した後USB経由でPCに収録した.また，崔子ビアノから出力されるMIDIコードをPCで取得することにより打鍵情報を記録した.接触データとMIDIデータは,同一プログラム上で一括して収録することにより両者の同期をとった（図1).なお，同種の計測システムとしてはより高性能なものがすでに提案・構築されている[5-7].
2.3.方法
本実験の目的は，奏者がピアノを自然に演奏する際の黒鍵接触状況を観察することであるから,実験では,機械的な打鍵シーケンスではなく，音楽作品である課題曲を題材とし，被験者がこれらを自由に演奏する際の黒鍵接触情報と演奏情報(MIDIデータ)を記録した.課題曲は表1に示した10曲（抜粋）である．被験者は，これらの課題曲から自然に演奏できるものを選択し，それらを３回ずつ演奏した（専門教育を受けた被験者は全曲，アマチュア被験者は6曲).演奏実験終了後に，被験者のピアノ学習の履歴および実験中に気づいたことについてのアンケートを行った．特に，黒鍵に導電性テープを貼付したことで演奏に影響が生じたかどうかを質問した.

2.4.分析
竜子ピアノから出力されるMIDIデータに含まれるイベントのうち，鍵盤を押したイベント（note-on）と鍵盤を離したイベント（note-off）を抽出し，それらのタイミングを取り出した.これら打鍵・雕鍵のタイミングと，接触センサで検出した黒鍵との接触・乖離のタイミングとの関係性を分析した.被験者として参加した筆者の個人的経験から，ピアノ奏者が演奏中に黒鍵に接触する場面として，少なくとも以下の四つのケースが想定されたため，今回は主としてこれらの観点から実験データを分析した.
①打覺のための接触
その黒鍵を打鍵するために接触する場面である．この場面については，鍵盤を押して発音する（つまり, note-onとして記録される)時点のどのくらい前から鍵盤に触れているかを分析の対象とした.
②打難の準備としての接触
すぐに打鍵するのではなく，将来的に打鍵する予定のある鍵盤に事前に接触する場面である．これは，目標とする鍵盤を間違いなく打鍵するために，事前にその場所に指をおいて準備する動作と考えられる（このような動作は通常無意識のうちに行われる).この場面では，打鍵のどのくらい前に目標の鍵盤に触れているかを分析の対象とした.
③無雑にはさまれた白雑を打雑する際の側面接触
ピアノの鍵盤は一部を除いて白鍵と黒鍵が交互に並んでおり，二つの黒鍵にはさまれた白鍵を鍵盤の奥の部分で打鍵するときには，打鍵する指が両側の黒鍵に同時に触れる.このことは逆に,その指が両側の二つの黒鍵で左右から挟まれるで目的の白鍵を間違いなく打鍵できることを意味する。この効果は，その指だけでなく手全体の位置を定めるうえでも重要で，同時に打鍵する他の指を目的の位置に誘導する際にも利用される．例えば，FAC（ファ・ラ・ド）の三和音を右手の親指，中指，小指を使って弾くとき，中指を二つの黒鍵のあいだに滑り込ませれば，それがビボットとして機能し，残りの二つの指を目標の鍵盤を誘導できる(図2).
④その他
将来的にその鍵盤を弾くわけでも，白鍵を弾く際に側面から触れているわけでもないのに，黒鍵に触れている場合がある．この場合については，いかなる理由で黒鍵に触れているかを個別に検討した.
3.美酸結果
3.1.結果の評価方法
ピアノ演奏は奏者一人一人の表現活動であるから,その奏法に唯一の正解があるわけではなく，また，同ーの奏者でも演奏ごとに演奏内容が変化する．したがって，本研究のような実験では，通常の自然科学の実験で行われるような，試行数や被験者数を増やして統計的解析を加えるという分析手法はそぐわない．本研究では,被験者ごと試行ごとにデータを個別に検討し,その間に共通する特徴的な結果を抽出することにより結果を評価した．以下，各節において，本研究で観察された特徴的な結果の一部を具体的に紹介する.結果の説明に入るまえに，結果を評価する準備として二つのことを述べておく.まず，実験後のアンケートでは，いずれの被験者も，黒鍵に貼付した導電シートは(少なくとも主観的には)演奏に影響を与えなかったと回答した.次に，実験者が黒鍵を機械的に打鍵した条件において黒鍵接触時刻と打鍵時刻（note-onのイベント時刻）の差を評価したところ,おおむね20-30 msであった（ただし，接触センサのサンプリング周期が12 msであることに注意).このことから，以下では，両者の時間差がこの数値と比較して有意に長い場合は，奏者が打鍵のためだけに黒鍵に接触していないことを表すものとして，結果を解釈することにする.
3.2.例1:曲の冒頭部
図3は，課題曲①の冒頭部の楽譜[7]と，この部分を演奏した３名の被験者の打鍵タイミングと黒鍵接触タイミングをピアノロールとして示したものである.図の横軸は時刻，縦軸は鍵盤位置を表しており，図中の灰色の長方形は押鍵している（つまり，打鍵してから雕鍵するまでの）時間帯を，黒い実線は鍵盤に接触している時間帯を表している．なお，図中に実線が細かく途切れている部分があるが，これは接触センサの出力信号に不安定な部分があるためである.楽譜からわかるようにこの曲は４音から構成される和音から始まるが,これら４音のうち一番上の音(Cis5)のみが黒鍵で演奏される.図からわかるように,すべての被験者はこの鍵盤を打鍵するかなり以前から接触している（図中矢印a).被験者B, Cではその時間差は約２秒で，これはほぼ１小節に近い長さである．被験者Ａにおいてはそれ以上以前から鍵盤に触れている.さらに，この図からは，すべての被験者に共通してC4とD4のあいだの黒鍵，D4とE4のあいだの黒鍵に触れている様子が読み取れる（矢印b）。これらの鍵盤はいずれも打難しない(発音されない)鍵盤であるが,左手でA3とE4の白鍵を（おそらく薬指と親指で）押さえる際に人差し指と中指がこれらの黒鍵に触れたものと推察される.これは,先に前節で指摘した演奏に直接関与しない黒鍵との接触(分類④)の例であるが,このような触覚情報も指の定位において一定の感覚手がかりを与えている可能性が考えられる.曲の冒頭で演奏開始のかなり前から鍵盤に触れていることを示す例をもう一つ示しておく．図4は，課題曲②の冒頭部の楽譜[7]と，この部分を演奏した被験者Aのデータである．課題曲①と同様に，冒頭の二つの音(Es3, Es4)を弾くかなり以前よりこれらの鍵盤に触れていることが確認できる（図中矢印a).さらに,そのあとに打鍵する黒鍵（BやAs）についてもあらかじめそこに指を置いている様子が読み取れる（矢印b).なお，本実験では，全被験者が全課題曲において冒頭の音の鍵盤に触れていることが確認できた.
3.3.例2:離れた農産の打難
図 5 は課題曲⑦の 9-11 小節目の楽譜[8]と被験者 Bのデータを示したものである.この曲において左手は,各小節の１拍目で左に移動して低いベースの音を弾き,右に移動して和音を二つ続けて弾くという動作を繰り返す.この曲のテンポはかなり速く,左手１音あたりの時間は250 ms程度しかない.左に大きく移動してベース音を弾く箇所で，鍵盤に接触する時刻と打鍵する時刻にはどの程度の差があるであろうか？図に示した小節ではベース音がいずれも黒鍵（As, Es）である（点線の円部分）ので，これらについて鍵盤接触および押鍵の時間関係を細かく調べると，押鍵している時間長が50-80 msであるのに対し，鍵盤に接触する時刻は打鍵（鍵盤を押し下げる）時刻よりも40- 150 ms先行していた．また，この課題曲の３試行全体のベース音の打鍵時刻と鍵盤接触時刻の時間差(以下,接触先行時間と呼ぶ）を平均値（土標準偏差）は70土80 ms，中央値は45 msであった（標準偏差が大きいのは，曲の冒頭部での先行時間が他の打鍵に比べて長いためである）また，この被験者では，二つの無鍵（As, Es）のあいだで接触先行時間の中央値を比較すると,より左側に位置する（つまり跳躍距離が長い）Asでは約60 msであったのに対し，相対的に跳躍距離が短いEsでは35 msであった．このことは，より遠い鍵盤に跳躍する方が早目に目標の鍵盤に接触していることを意味しており興味深い．なお，被験者Aでは，AsとEsの接触先行時間の中央値はそれぞれ約70 ms, 90 msで,被験者Ｂとは逆の傾向を示した（ただし，どちらの中央値も上の被験者より長いことに注意).いずれにせよ,ここで得られた時間差は，統制実験で求めた機械的打鍵時の時間差20-30 msに比べると長いことから，早いテンポの曲で手を素早く大きく動かす必要がある状況でも，ピアノ奏者は打鍵に先んじて必要最小限の時間以上のあいだ目的の鍵盤に触れているといえる.一方，図6は課題曲⑧の5小節目のデータを示したものである．この曲でも左手は左右に大きく跳躍するが，曲のテンポが課題曲④と比べて遅く，左手の動きに時間的余裕がある点が異なる（左手１音あたりの時間は600 ms程度).この図に示した範囲では,接触先行時間は200-300 ms程度である（1音の長さの1/3以上であることに注意).このことは，この奏者が，ペダルを利用して移動前に弾いた和音の響きを残しつつ、左手をベース音の鍵盤に早めに移動させていることを明確に示している.
3.4.例3 :黒鏡に挟まれた指の接触
図7は課題曲①の8-9小節目の楽譜[9]と被験者Ｂのデータを示したものである．この部分の右手の演奏に注目すると，右手はこの２つの小節でG4（ソ）の音を6回打鍵する.この音は白鍵で弾くが,図を見るとわかるように，被験者はこの白鍵の両側に位置する黒鍵に継続的に接触している（図中矢印部分）。これは，2.4節のケース③で指摘したように，この鍵盤を打鍵する指（おそらく人差し指）が二つの黒鍵の間に入り込んでいるために，両側の黒鍵のセンサがそれを検出しているためと考えられる.
困7：陳題曲の例
4.まとめと考察
本研究では，黒鍵に貼付した触覚センサを利用してピアノ奏者が音楽作品を演奏する中で黒鍵に接触する様子を実験的に計測し，ピアノ奏者がいつどのようにして黒鍵に接触しているかを分析した.その結果，以下のことが明らかになった. ・演奏開始に際し，ピアノ奏者は最初に打鍵する鍵盤にかなり（1秒以上）前から触れていること. ・跳躍後に黒鍵を打鍵する場合には，打鍵に先んじて黒鍵に触れている時間があること.その時間の長さは演奏する曲のテンポに彼存するが,速い曲を演奏する場合でも中央値で40 ms以上あり，打鍵に必要な最小時間（20-30 ms）に比べて長いこと.また,ゆっくりした曲では200ms以上にも及ぶこと. ・ピアノ奏者は，打鍵しない（演奏音を発しない）黒鍵に頻繁に接触していること. •和音を演奏する場面では，ピアノ奏者が鍵盤の奥の部分で白鍵を打鍵していること.以上の結果は，ピアノ奏者が誤打鍵を防ぐために鍵盤の触覚手がかりや黒鍵と身体の物理的制約を積極的に利用している様子を示したものであると考えられる.冒頭でも述べたように，このような黒鍵の接触情報が有用であることはピアノ奏者が経験的に知っていることであるが，本研究ではその物理的実態を客観的データとして示すことができた．以下では，この結果を踏まえ，ピアノ演奏において打鍵に先んじて鍵盤に触れることの運動制御上の意味について考察する.ピアノ演奏の運動制御において，目的の黒鍵に事前に触れることの第一の意義は，目的の鍵盤を触覚的に（あるいは身体感覚的に）定位することにあるといえる．すなわち，目的の鍵盤に接触することにより，打鍵に先立って指と鍵盤との相対的位置関係(水平方向,鉛直方向とも）を一定に保ち，ミスタッチ（間違った鍵盤を押してしまったり，正しくない速さで鍵盤を押してしまったりすること）のリスクを低下させていると考えられる．このことをより大局的に解釈すれば，ピアノ奏者が早めに目的の鍵盤に接触する意味は,「手や指を目的の鍵盤まで運ぶ到達運動」と「鍵盤を押して音を出す打鍵運動」を分離することにあるといえるかもしれない．演奏音を望ましい音量・音色で鳴らすためには，打鍵動作を精密に制御する必要があるが，演奏中のすべての打鍵でそのような制御を安定して実現するには，どの鍵盤を弾くときも共通の打鍵方法を用いることが有効な戦略である．そのためには，移動量に応じて運動の内容が変化する到達運動から，打鍵する動作を独立させることが望ましい．つまり，鍵盤まで指を運ぶ運動と鍵盤を押す運動を一括して実行するのではなく，まず目標の鍵盤に到達し，触覚情報に基づいて鍵盤と指との相対的関係を整えてから打鍵動作を開始するという戦略をとることが安定した演奏を実現する上で合理的な戦略であると考えられる．このような制御戦略の考え方は現時点ではあくまで仮説であり，ピアノ奏者が現実にそのような戦略をとっているかどうかを検証するには，鍵盤に接触する前と後の腕や手指の動きの変化を詳細に分析する必要がある.最後に，本研究で得られた知見は，ピアノ演奏の指導指針に対して裏付けを与えるものになると考えられる．例えば，上でまとめた本研究の結果より， ・演奏を始める際は最初に弾く鍵盤に指を置くこと・跳躍がある場合は，早めに目的の鍵盤に触れて打鍵するための手指の状態を整えること•和音を弾く際には，遊んでいる（打鍵に使わない）指を鍵盤に軽く触れるようにすることといった指導法を導くことができる.これらの内容をそのままの形で生徒に教示するのがよいかについては疑問が残るものの（「結果としてそうなっていること」と「意識してそのように実行すること」とは違う) [12],ここで指摘した内容はピアノ演奏指導の現場で言われている内容と一定の関係性がある．例えば，演奏指導の現場では「鍵盤間を移動するときはできるだけ速く（注：「早く」ではない）腕や手を動かすこと」という指導がなされるが，これは上で述べた「早目に目的の鍵盤に触れる」ことの裏返しになっている．このように，本研究の知見はピアノ指導の現場で用いられている教示内容が「なぜそうするのがよいのか」という理由付けを身体運動制御の観点から与えるものといえる.そのような意味で,自然な演奏の実態を計測•解析し,その中に演奏技能の原理や物理的・身体的意味を見出すことは，ピアノ指導法の物理的・身体的理論を定式化するうえで有意義な作業であると考える.本研究の実施にあたり,カワイサウンド技術・音楽振興財団から研究助成(ビアノ演奏における複数鍵盤操作の関係性の解析およびそれに基づく練習支援システムの構築」)を受けた.この場を借りて謝意を表する.女鉄[1]アンスガー・ヤンケ(アドリアン・ヤンケ訳):アノ・テクニックの科学プロフェッサー・ヤンケのピアノ・メソード,アルテスパプリッシング, 2016.ほか[2] Goebl, W. and Palmer, C.: Tactile feedback and timing accuracy in piano performance, Experimental Brain Research, 186, 471–479, 2008. [3] Tsutsumi, H., Nishino, H. Kagawa, T.: A Tactile Assistance for Improving Fingering Skill in Piano Performance. 2018 IEEE International Conference on Consumer Electronics-Taiwan (ICCE-TW) , 1-2, 2018. [4] 愛庭,阪口:ピアノ演奏における触覚情報の役割:打鍵しない鍵盤がもたらす触力覚的手がかりの効果,第10回 Motor Control研究会, 2016. [5] McPherson, A. and Kim, Y.: Design and applications of a multi-touch musical keyboard. Proceeding of 8th. Sound and Music Computing Conference (SMC), 2011. [6] McPherson, A.: TouchKeys: capacitive multi-touch sensing on a physical keyboard, Proceedings of the International Conference on New Interfaces for Musical Expression (NIME), 2012. [7] MacRitchie, J. and McPherson, A.P.: Integrating optical finger motion tracking with surface touch events, Front. Psychol. 6, 702, 2015. [8] https://imslp.org/wiki/File:PMLP07983- Burgmueller_25_leichte_Etueden_Op_100_Peters_fil ter.pdf [9] https://imslp.org/wiki/File:PMLP02373- Chopin_Valses_Durand_9709_Op_64_filter.pdf [10] https://imslp.org/wiki/File:PMLP02312-Chopin_- Opus_9_(Cortot)_french.pdf [11] https://imslp.org/wiki/File:PMLP06507- Brahms_Werke_Band_12_Breitkopf_JB_46_Op_39_f ilter.pdf [12]阪日：身体の主観的分節構造が技能動作に与える影響，第31回人工知能学会大会(JSAI-2017), 103- OS-30c-2, 2017.